Qwen 3.8 27B Just Got 2× Faster on Mac Same Hardware

Item: Qwen 3.8 27B Just Got 2× Faster on Mac Same Hardware
Rating: 5
Author: PostSingularity Institute

Qwen 3.8 27B est devenu 2× plus rapide sur Mac Même matériel

Historique des titres

Qwen 3.8 27B Just Got 2× Faster on Mac Same Hardware — observé le 20261031-2325 UTC (YouTube)

par Kai · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative

🎙 Kai 👥 65K 📅 22 septembre 2026 ⏱ 16 min 👁 50K 📄 revue d'actualité 🧭 2026-10-31

Disponible en : Français (actuel) English

Mots-clés

Qwen3.8-27BSplashdécodage spéculatifbande passante mémoireinférence locale

Résumé

Cette vidéo analyse la revendication selon laquelle Qwen 3.8 27B pourrait être exécuté 2× plus rapidement sur Mac grâce au moteur d’inférence Splash, développé par Inco AI. L’auteur commence par contextualiser la performance de 144 tokens par seconde affichée sur un M5 Max, puis examine l’architecture de Splash, qui est spécialisé pour deux modèles seulement. Il explique le goulot d’étranglement de la bande passante mémoire, qui limite la vitesse de décodage à environ 20 tokens par seconde sur un M5 Pro. Ensuite, il introduit le décodage spéculatif, où un petit modèle propose des jetons que le grand modèle vérifie en une passe, ce qui explique la multiplication par 3,5 de la vitesse. L’auteur compare le benchmark de 2× à oMLX, qui n’a pas de support de modèle draft pour Qwen, ce qui fausse la comparaison. De plus, il souligne le temps de préfill de 96 secondes sur un prompt froid de 32K tokens, ce qui réduit le taux effectif à 8,9 tokens par seconde. Enfin, il recommande d’activer la prédiction multi-tokens du modèle Qwen lui-même et de mesurer les performances réelles avec un chronomètre. La vidéo conclut en distinguant les utilisateurs pour qui Splash est utile (sur M3+, avec 48 Go, pour des sessions d’agents longues) et les autres.

209 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur principale réside dans la déconstruction du mythe du « 2× plus rapide » : l’auteur recourt aux chiffres publiés par Inco et effectue des calculs explicites pour démontrer que la bande passante mémoire impose une limite physique, et que le gain réel provient du décodage spéculatif. L’argumentation est solide car elle s’appuie sur des sources primaires (blog d’Inco, spécifications Apple) et sur une analyse critique des méthodologies de benchmark. Il met également en lumière des métriques négligées comme le temps de premier token (prefill) et le rôle du cache, ce qui enrichit la compréhension du sujet. La logique est transparente et suit un cheminement clair : de l’étonnement initial à l’explication technique, puis à des recommandations pratiques.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : l’auteur cite toutes ses sources, vérifie les calculs, et prend soin de distinguer les faits des interprétations. Il souligne les limites des benchmarks (workload choisi, absence de draft, etc.) et ne tombe pas dans le sensationnalisme. Le titre, bien qu’accrocheur, est fidèle au contenu car la vidéo traite effectivement de cette affirmation. Les sources sont fiables (blog officiel, dépôts GitHub, site d’Apple) et correctement référencées, avec des liens directs. L’adéquation titre/contenu est parfaite : il annonce une analyse critique et la livre.

222 mots

Adéquation titre / contenu

Le titre est accrocheur mais représente bien le sujet : la vidéo examine la revendication de 2× plus rapide et la déconstruit.

Qualité & fiabilité

8/10

L'auteur vérifie les affirmations d'Inco AI en recalculant les chiffres, en contextualisant les benchmarks et en identifiant la cause réelle (décodage spéculatif). Les sources sont citées et l'analyse est méthodique.

Chapitres

Sources citées

Splash sur GitHub — Dépôt officiel du moteur d'inférence Splash, utilisé pour l'analyse de son architecture.
Demande de support draft model pour oMLX — Problème ouvert mentionnant l'absence de support draft pour Qwen, appuyant l'argument sur la comparaison déséquilibrée.
Qwen3.8-27B (modèle de base) — Page du modèle Qwen 3.8 27B, montrant qu'il possède déjà une tête de prédiction multi-tokens.
Qwen3.8-27B-Splash (modèle Splash) — Modèle optimisé pour Splash, incluant le draft DFlash 2.
Article de blog d'Inco AI sur Splash — Post de lancement de Splash, avec les benchmarks et la note méthodologique.
Article de blog de LM Studio sur Splash Engine — Annonce de l'intégration de Splash dans LM Studio, source de la viralité du chiffre 74.
Quels Macs peuvent exécuter Splash — Outil indiquant les modèles Mac compatibles avec Splash (M3+ et MacOS 26.4).
Annonce des M5 Pro et M5 Max par Apple — Specifications officielles de la bande passante mémoire des M5 Pro et M5 Max.
DFlash 2 : décodage spéculatif — Article sur DFlash 2, le draft model utilisé par Splash.
Benchmark efficace tokens par seconde — Discussion communautaire illustrant l'impact du prefill sur le taux effectif, citée pour la métrique des tokens efficaces.
Vidéo connexe : oMLX Explained — Vidéo recommandée par l'auteur pour approfondir oMLX.
Vidéo connexe : Best Local Hardware — Vidéo recommandée sur le matériel local.

Sources concordantes

Demande de support draft model pour oMLX — Confirme qu'oMLX n'avait pas de draft pour Qwen, justifiant la comparaison biaisée.
Benchmark efficace tokens par seconde — Illustre l'importance du temps de préfill, en accord avec les calculs de l'auteur.

Apport & nouveautés

L’apport original est de démystifier le chiffre de « 2× plus rapide » en montrant qu’il résulte principalement du décodage spéculatif (grâce au petit modèle DFlash 2) et non d’une optimisation du moteur Splash lui-même. L’auteur effectue des calculs transparents pour établir les limites physiques (bande passante mémoire) et met en évidence l’importance du préfill et du cache, habituellement omis des benchmarks. Il propose une méthodologie concrète pour mesurer les performances réelles (chronomètre à l’appui) et recommande d’activer la prédiction multi-tokens déjà intégrée dans Qwen. Cette vidéo permet aux utilisateurs de comprendre les vrais leviers de performance plutôt que de se fier aux chiffres marketing.

Pour aller plus loin :

Décodage spéculatif (Wikipedia) — Pédagogique pour comprendre la technique.
Prédiction multi-tokens (arXiv) — Article de recherche fondateur sur la méthode.
Annonce M5 Pro et M5 Max (Apple) — Specs officielles pour recalculer les limites.

144 mots

Profil radar

Le profil radar montre un équilibre entre quantité et qualité de l'information, avec un niveau technique élevé et une fiabilité robuste. La vidéo est dense et fiable, avec une forte composante technique, ce qui la rend précieuse pour un public averti.

Fiabilité 8/10