llama.cpp Just Made 125B MoE Models 4× Faster!

Item: llama.cpp Just Made 125B MoE Models 4× Faster!
Rating: 5
Author: PostSingularity Institute

llama.cpp vient de rendre les modèles MoE de 125B 4× plus rapides

Historique des titres

llama.cpp Just Made 125B MoE Models 4× Faster! — observé le 20261031-2304 UTC (YouTube)

par Kai · Voir la chaîne sur PSI

Sciences appliquées & ingénierie IA — Actualité & Applications UYInformatique UYQIntelligence artificielle (IA)

🎙 Kai 👥 65K 📅 22 octobre 2026 ⏱ 28 min 👁 60K 📄 revue d'actualité 🧭 2026-10-31

Disponible en : Français (actuel) English

Mots-clés

expert cacheMoEVRAMhit ratePCIe

Résumé

Vidéo technique de Kai présentant le nouveau cache d’experts MoE intégré à llama.cpp (version 0.7.0). L’auteur explique le fonctionnement des modèles MoE, le problème de l’utilisation de la VRAM, et comment le cache d’experts permet de conserver les experts fréquemment utilisés en mémoire GPU, réduisant ainsi les transferts PCIe. Il détaille les mesures de performance : un facteur 4 annoncé est obtenu contre un scénario avec zéro expert en VRAM ; les comparaisons plus honnêtes donnent 1,5 à 2,2 fois. Les facteurs clés sont la taille de la VRAM et la largeur du slot PCIe. Les cartes avec 8-12 Go de VRAM peuvent voir des performances dégradées. Il fournit une procédure de test en 15 minutes pour mesurer son propre hit rate. Il mentionne aussi Strata, un runtime spécialisé plus rapide sur Qwen3.8-Flash-Next, mais limité à cette famille de modèles. La conclusion distingue les gagnants et les perdants selon le matériel et les usages.

154 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La vidéo apporte une valeur importante en décryptant le battage médiatique autour du facteur 4, en expliquant les mécanismes sous-jacents du cache d’experts, et en donnant des repères concrets (seuil de 85% de hit rate, impact du slot PCIe, etc.). L’argumentation s’appuie sur de nombreux témoignages d’utilisateurs et des mesures chiffrées issues des PR et des threads Reddit, ce qui renforce sa crédibilité. L’auteur adopte une position critique et mesurée, reconnaît les limites et les cas où la fonctionnalité est néfaste.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : l’auteur cite des sources primaires (pull requests, issues, releases, tests communautaires) et les distingue clairement. Il précise les conditions de mesure et les baselines, évitant les généralisations abusives. Le titre, bien qu’accrocheur, est nuancé dans le contenu : le facteur 4 est contextualisé et les comparaisons plus réalistes sont données. L’adéquation titre/contenu est bonne, avec une légère réserve sur le côté sensationnaliste du titre.

166 mots

Adéquation titre / contenu

Le titre est accrocheur mais le contenu nuance le facteur 4 en expliquant le contexte de mesure, ce qui est honnête. L'adéquation est bonne malgré un léger sensationnalisme.

Qualité & fiabilité

9/10

Vidéo bien sourcée, avec explications techniques précises et mise en perspective critique. Les sources primaires (PR, issues, tests communautaires) sont citées et les limites sont clairement exposées.

Chapitres

Sources citées

lich-77's GPU-resident LRU cache (issue #29949) — Source des résultats de 4x sur RX 7900 XTX
Merged expert cache (PR #29887) — Cache d'experts intégré à llama.cpp, table RTX 4090/5090
Multi-GPU cache and prompt-speed table (PR #30112) — Améliorations multi-GPU et impact sur la vitesse de prompt
Pinned memory on Windows (PR #30449) — Correction du problème de mémoire épinglée sous Windows (37.76 à 62.73 t/s)
Release v0.7.0 — Version officielle avec le cache d'experts
First build with the cache (b11480) — Première build contenant le cache
Qwen3.8-Flash-Next model card — Fiche du modèle 125B utilisé dans les benchmarks
r/LocalLLaMA PR thread (RTX 5090/3060 runs) — Tests de la PR par la communauté (5090, 3060)
RTX 4060 laptop runs — Tests sur RTX 4060 laptop 8 Go
Pinned RAM, 48 syncs, Strata same-PC test — Comparaisons de mémoire épinglée et test Strata sur même PC
80B on 16 GB cache sweep — Balayage de tailles de cache sur un modèle 80B
NoCodeAbode, 12 GB RTX 4070 SUPER test — Test indépendant sur RTX 4070 SUPER 12 Go
Strata README (RTX 5070 speeds) — Documentation de Strata, runtime spécialisé MoE

Sources concordantes

Pull Request #29887 — Confirme les gains de décode sur cartes haut de gamme
Release v0.7.0 — Valide la disponibilité officielle du cache
Modèle Qwen3.8-Flash-Next — Fournit les caractéristiques du modèle utilisé dans les tests

Apport & nouveautés

L’apport original est de clarifier le fonctionnement et les conditions d’efficacité du cache d’experts, tout en fournissant une méthodologie de test reproductible pour chaque utilisateur. La vidéo se distingue par son honnêteté sur les limites et son approche pratique.

Pour aller plus loin :

Mixture of Experts — Concepts de base des modèles MoE.
PCI Express — Comprendre l’impact de la bande passante.
llama.cpp — Le dépôt officiel pour suivre l’évolution du cache.

73 mots

Profil radar

Le profil radar est équilibré, avec une légère supériorité en quantité et qualité d'information par rapport au niveau technique, mais l'ensemble est très solide. La fiabilité globale élevée renforce la crédibilité de la vidéo.

Fiabilité 9/10

💬 Sur les 30 commentaires analysés, le climat est très positif : les téléspectateurs apprécient la clarté des explications, la précision technique et l'honnêteté, certains partageant leurs propres mesures (souvent avec Strata) et soulignant l'accessibilité. Quelques commentaires évoquent des réserves sur la prefill et la comparaison avec d'autres runtimes.