NVIDIA won't like this. I Ran Nemotron 3 ULTRA on a Mac 🤯 | RIP Claude?

Valeur des informations & solidité de l’argumentation

La valeur informative de la vidéo est élevée pour une démonstration pratique : elle fournit des données chiffrées sur les performances d’inférence, des comparaisons directes avec plusieurs modèles de référence, et une évaluation nuancée des forces et faiblesses. L’argumentation est appuyée par des captures d’écran, des exemples concrets et des tests répétés avec différents réglages de raisonnement. L’auteur adopte une approche pragmatique, reconnaissant les limites de son test (temps long, erreurs de génération) tout en soulignant le potentiel du modèle. Cependant, certains choix restent subjectifs (notation des résultats) et les benchmarks ne sont pas standardisés. La démonstration que le modèle peut tourner sur un Mac avec des quantifications est originale et contrebalance les exigences matérielles officielles.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est moyenne : les tests sont réalisés de manière artisanale mais transparente, avec une vérification de l’intégrité du code d’inférence via le cloud NVIDIA. L’auteur cite les sources directement (Hugging Face pour le modèle, inferencer.com pour l’application de test) et fournit des liens vers des vidéos compagnons sur d’autres modèles. L’adéquation du titre au contenu est globalement correcte, bien que la mention ‘RIP Claude’ soit trompeuse : Claude n’est jamais testé, et la comparaison se fait plutôt avec GLM et Kimi. Les sources utilisées sont principalement les modèles eux-mêmes et des outils open-source, ce qui renforce la crédibilité, mais le manque de protocole formel et de références académiques limite la portée scientifique.

Le titre est accrocheur et légèrement exagéré, mais il reflète bien le contenu principal : le test de Nemotron 3 Ultra sur un Mac. La mention 'RIP Claude' est très peu abordée dans la vidéo, ce qui crée une légère dissonance, mais le corps de la vidéo reste concentré sur la comparaison avec d'autres modèles.

8/10

Le test est méthodique et transparent, avec des comparaisons réelles sur différents quantifications et modes de raisonnement. L'auteur documente ses procédures et fournit des liens vers les ressources utilisées. Cependant, il s'agit d'une évaluation subjective sans protocole scientifique formalisé, et certains aspects (comme les benchmarks annoncés par NVIDIA) sont relayés sans vérification approfondie.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 01:00Introduction du modèle Nemotron 3 Ultra (550B paramètres) et de la licence ouverte.
• 02:30Test de culture pop : reconnaissance de la chanson 'Remember the Name' de Fort Minor, avec comparaison à d'autres modèles.
• 05:00Test de génération de code : Flappy Bird en HTML, comparaison des trois quantifications.
• 08:00Test de Flappy Bird en 3D, avec erreurs de collision et comparaison avec GLM.
• 10:00Test MS Word clone : génération de 32 000 tokens, résultat médiocre avec la version 4.5-bit.
• 12:00Problème mathématique de type olympiade : la version 6.2 INF donne la bonne réponse après 10 000 tokens, les autres échouent.
• 14:00Test Python : jeu Snake, les trois versions produisent du code fonctionnel, mais la 6.2 INF propose deux options (turtle et pygame).
• 16:00Générateur de planètes procédural : échec avec runtime error, malgré 35 000 tokens générés.
• 18:00Comparaison finale avec GLM (Flappy Bird 3D), conclusion sur le potentiel du modèle.

• Modèle Nemotron 3 Ultra sur Hugging Face (recherche) — Lien officiel vers les modèles Hugging Face de la série Nemotron 3 Ultra, utilisés pour télécharger différentes quantifications.
• Inferencer App — Application utilisée pour exécuter le modèle localement sur Mac.
• Vidéo Kimi K2.6 — Vidéo compagnon comparant un autre modèle (Kimi K2.6) sur le même type de tests.
• Vidéo GLM 5.1 — Vidéo compagnon sur GLM 5.1, utilisée pour des comparaisons.
• Vidéo MTP AI Harness — Vidéo compagnon sur un outil de test AI.

• Comparaison GLM 5.1 (vidéo) — Cette vidéo montre que GLM réussit à générer un Flappy Bird 3D fonctionnel, contrairement à Nemotron, ce qui corrobore les observations de xCreate sur les performances de GLM.

• Benchmarks officiels NVIDIA — NVIDIA revendique des performances comparables à celles de GLM et Kimi, mais les tests de xCreate montrent que Nemotron est nettement inférieur en génération de code 3D, ce qui contredit ces benchmarks.

• vtudio.com