Qwen 3.8 27B + DFlash2: 140 Token/Sec?

Qwen 3.8 27B + DFlash2: 140 Token/Sec?

Qwen 3.8 27B + DFlash2 : 140 jetons/s ?

Historique des titres
  • Qwen 3.8 27B + DFlash2: 140 Token/Sec? — observé le 20261101-0050 UTC (YouTube)

par Kai · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative
🎙 Kai 👥 65K 📅 22 août 2026 ⏱ 15 min 👁 15K 📄 revue d'actualité 🧭 2026-11-01
Disponible en : Français (actuel) English

Mots-clés

speculative decodingMTPDFlash 2tokens/sGPU

Résumé

La vidéo examine la revendication de 140,6 tokens par seconde pour DFlash 2, un module de décodage spéculatif pour Qwen 3.8 27B. L’auteur démontre que ce chiffre est comparé à une ligne de base sans spéculation (47,4 tok/s) alors que le modèle avec MTP activé atteint déjà 114,7 tok/s. L’amélioration réelle n’est donc que d’environ 23 % par rapport à une configuration optimale courante. Il explique le fonctionnement du décodage spéculatif, la différence entre DFlash 1 et 2, et mentionne les mécanismes internes : le choix de candidats via une attention bilinéaire et l’ajout de convolutions pour corriger l’effondrement de l’attention. Les retours d’utilisateurs réels sur différentes cartes graphiques montrent une parité approximative avec MTP, parfois une légère amélioration, au prix d’une utilisation mémoire accrue. L’auteur identifie un cas d’usage où DFlash 2 apporte un gain net : la reproduction de contexte (RAG, édition de code), avec jusqu’à 381 tok/s sur RTX 3090. Il souligne que les installations nécessitent des branches de développement non fusionnées et que certains benchmarks ont été retirés. Il recommande de vérifier d’abord si MTP est activé avant toute comparaison et de ne pas adopter DFlash 2 pour un usage général sur 24 Go de VRAM.

200 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur de cette vidéo réside dans son analyse critique détaillée d’un benchmark viral, démystifiant les chiffres avec une perspective technique précise. L’argumentation est solide : elle s’appuie sur des chiffres provenant de la même table, sur des retours d’utilisateurs de différentes configurations, et sur une explication mécaniste du fonctionnement de DFlash 2. L’auteur adopte une posture nuancée, reconnaissant à la fois les limites (parité avec MTP, coût mémoire) et les réels avantages dans des cas spécifiques. Il souligne l’importance de toujours comparer par rapport à une configuration déjà optimisée, évitant ainsi un piège courant. La transparence sur le fait qu’il n’a pas lui-même testé le module renforce l’honnêteté de la démarche.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : l’auteur cite les sources primaires (tableaux du modèle, commentaires Reddit, retours de testeurs) et identifie les conflits d’intérêts potentiels (vendeur de quants). Il distingue clairement les données auto-rapportées et invite à la prudence. L’adéquation entre le titre et le contenu est bonne : le titre pose une question à laquelle la vidéo répond de manière approfondie, en donnant le contexte complet. Les sources citées ne sont pas toutes vérifiables, mais l’auteur précise chaque origine. La manipulation des chiffres est honnête, et il met en évidence une erreur de benchmark commise par un développeur tiers, ce qui témoigne d’une démarche critique.

233 mots

Adéquation titre / contenu

Le titre interroge la validité du chiffre de 140 tokens/s ; le contenu répond en démontrant que ce chiffre est réel mais trompeur hors contexte, tout en explorant les cas où DFlash2 excelle.

Qualité & fiabilité

8/10

L'analyse est rigoureuse, méthodique et transparente sur la provenance des chiffres, mais repose sur des données auto-rapportées et non reproduites par l'auteur.

Chapitres

Sources discordantes

  • Benchmark retiré par un développeur tiers — Un tableau de benchmarks publié la même semaine a été retiré car mesuré dans une configuration qui n'exécutait pas de décodage spéculatif, remettant en cause la validité des chiffres initiaux.

Apport & nouveautés

La vidéo apporte une clarification importante sur le benchmark de DFlash 2, en repositionnant le chiffre de 140 tokens/s par rapport à MTP, une donnée souvent négligée. Elle explique en détail les innovations mécaniques de DFlash 2 (choix de candidats via attention bilinéaire, convolutions pour atténuer l’effondrement de l’attention), ce qui constitue une vulgarisation technique originale. Elle identifie également les cas d’usage où la technique est réellement bénéfique (RAG, édition de code) et le contexte où elle ne l’est pas (concurrence élevée).

Pour aller plus loin :

  • Speculative decoding (concept général) — Pertinence directe pour comprendre la base.
  • Multi-Token Prediction (MTP) — Technique intégrée à Qwen, clé pour la comparaison.
  • DFlash 2 (article technique de la boîte) — Source primaire non fournie dans la vidéo, mais accessible via les références mentionnées.

131 mots

Profil radar

Le profil radar montre une très bonne quantité et qualité d'information, un niveau technique élevé, mais une fiabilité globale légèrement inférieure en raison de la dépendance à des données auto-rapportées et à des branches non officielles. La critique méthodologique compense en partie cette limite.

Fiabilité 7/10