Qwen 3.8 27B Just Hit 200 Token/s on Mac M5 (Lithos Metal)

Qwen 3.8 27B Just Hit 200 Token/s on Mac M5 (Lithos Metal)

Qwen 3.8 27B vient d'atteindre 200 token/s sur Mac M5 (Lithos Metal)

Historique des titres
  • Qwen 3.8 27B Just Hit 200 Token/s on Mac M5 (Lithos Metal) — observé le 20261031-2309 UTC (YouTube)

par Kai · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative
🎙 Kai 👥 65K 📅 16 octobre 2026 ⏱ 19 min 👁 46K 📄 revue d'actualité 🧭 2026-10-31
Disponible en : Français (actuel) English

Mots-clés

décodage spéculatifbande passante mémoireM5 MaxLithos Metaltokens par seconde

Résumé

La vidéo analyse les performances annoncées du moteur Lithos Metal pour exécuter Qwen 3.8 27B sur Mac M5 Max, notamment le chiffre de 200 tokens par seconde. Elle explique d’abord la limite physique imposée par la bande passante mémoire : environ 38 tokens/s pour un décodage classique. Ensuite, elle décrit la technique de décodage spéculatif (DSpark) qui permet de dépasser cette limite en faisant deviner plusieurs tokens par un petit modèle puis en les vérifiant en une seule passe. L’auteur montre que le chiffre de 200 provient d’une projection optimiste du taux d’acceptation (6 tokens sur 7), alors que les mesures réelles donnent environ 80 tokens/s. Il compare également les performances selon le type de contenu (code vs. texte) et souligne que le préchargement (prefill) est plus lent que chez les concurrents, ce qui pénalise les usages agents. Enfin, il recommande d’installer ce moteur uniquement sur certains Mac équipés d’un GPU 40 cœurs M5 Max, pour des usages spécifiques comme le codage.

162 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

L’apport principal réside dans la démystification d’un chiffre viral : l’auteur décompose l’origine du 200 tokens/s en distinguant projection, mesure et contexte. L’argumentation s’appuie sur des chiffres concrets (614 GB/s, 16 GB de modèle, 38 tokens/s de plafond), des comparaisons avec d’autres moteurs, et des mesures issues de l’équipe elle-même. La solidité du propos vient de la lecture approfondie des documents sources, des benchmarks réels, et de la prise en compte des facteurs contextuels (type de tâche, matériel, précharge). L’auteur ne se contente pas de rapporter des chiffres, il explique les mécanismes (décodage spéculatif, méga-kernels) et les implications pratiques pour l’utilisateur.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : les sources citées incluent le dépôt GitHub lithos-metal, les études détaillées, l’article arXiv de DeepSeek sur DSpark, la fiche du modèle Qwen, et des benchmarks issus de la communauté (Reddit, X). L’auteur signale les limites des comparaisons et les divergences entre les chiffres annoncés et mesurés. Le titre, bien qu’accrocheur, ne reflète pas la nuance du contenu : il laisse entendre un résultat validé, alors que la vidéo montre qu’il s’agit d’une projection optimiste. Cette adéquation partielle est compensée par l’analyse critique et la transparence des données.

209 mots

Adéquation titre / contenu

Le titre est accrocheur mais pose un problème de nuance : le chiffre de 200 tokens/s est une projection, non une mesure réelle end-to-end. La vidéo s'attache à clarifier cet écart, ce qui rend le titre partiellement adéquat.

Qualité & fiabilité

8/10

Le créateur effectue une analyse rigoureuse en se basant sur la lecture des documents sources (README, études, issues GitHub) et en distinguant clairement les projections des mesures réelles. La démarche critique et contextualisée confère une grande fiabilité.

Chapitres

Sources citées

Sources concordantes

  • Étude de mesure (DSpark refinement) — Confirme le taux d'acceptation réel (~2,5) et le débit mesuré (~80 tok/s)
  • Comparaison des backends — Détaille les méthodes de mesure et les limites de comparaison, appuyant l'analyse critique de la vidéo
  • Rapport de divergence (M3 Max) — Illustre un problème de correction, renforçant l'idée que le moteur est encore expérimental

Sources discordantes

  • Blog Lithos AI (200 tok/s) — Annonce un chiffre de 200 tok/s sans préciser qu'il s'agit d'une projection optimiste, divergent des mesures réelles
  • MLTF 200+ (Reddit) — Chiffre de 200 tok/s obtenu en sommant quatre requêtes, pas une mesure single-user, ambiguïté mise en avant par la vidéo

Références externes

Apport & nouveautés

Cette vidéo apporte une analyse critique et nuancée d’un buzz technologique, en déconstruisant le chiffre de 200 tokens/s et en le replaçant dans son contexte réel. Elle propose une méthode pour évaluer ce type d’annonces : identifier ce qui est mesuré, dans quelles conditions, et comparer sur des tâches complètes. Elle souligne également un point souvent négligé : l’importance du préfill pour les usages agents, où lire le contexte domine le temps de réponse. L’originalité réside dans la mise en évidence de l’écart entre les performances théoriques (projections) et pratiques (mesures), et dans la recommandation personnalisée selon le matériel et le type de contenu.

Pour aller plus loin :

166 mots

Profil radar

Le profil radar montre des scores élevés en quantité et qualité d'information, avec un niveau technique solide et une fiabilité globale très bonne. La vidéo se distingue par sa richesse de données et sa capacité à vulgariser des concepts complexes sans sacrifier la précision.

Fiabilité 9/10