Why Your Mac Is Slow at Local AI (And It's Not the Chip)

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée car l’auteur va au-delà du discours courant sur la bande passante mémoire et identifie un facteur souvent négligé : le cache de préfixe. Son argumentation est solide, appuyée par des exemples chiffrés et des logs réels, et il prend soin de présenter le point de vue du chip de manière équitable. La démonstration est logique et progressive, des concepts de base aux implications pratiques. L’auteur cite de nombreuses sources, ce qui renforce la crédibilité de son discours.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est satisfaisante : les sources incluent des posts Reddit détaillés, des documentations officielles (Apple, Ollama, Claude Code) et des benchmarks de llama.cpp. Cependant, il s’agit surtout d’une synthèse de cas anecdotiques, sans étude systématique ni contrôle statistique. Le titre est parfaitement adéquat, résumant la thèse principale. On note une transparence sur les limites des mesures, mais certaines affirmations auraient gagné à être vérifiées plus largement.

Le titre reflète exactement le contenu : l'auteur démontre que la lenteur provient principalement du cache et du prefill, pas du chip.

8/10

Explication claire et bien documentée, appuyée sur des sources variées (posts Reddit, documentations officielles). Quelques affirmations reposent sur des cas anecdotiques, sans analyse statistique rigoureuse.

• 00:00Eight hours, fifteen edits
• 01:17The memory bandwidth case, stated fairly
• 03:08Reading vs writing: prefill and decode
• 05:08Same Mac, 6 seconds or 268
• 06:46Cache killer 1: the Claude Code header
• 08:17Cache killer 2: Ollama's 32K window
• 09:40The model, the frontend, the thinking tokens
• 11:52Where the chip does matter
• 13:14The checklist

• 8 hours for 15 edits, M5 Max 128GB, LM Studio log — Exemple réel d'une session d'agent codant très lente, avec log montrant 'forcing full prompt reprocessing'.
• 'MLX is not faster': 57 tok/s shown vs 3 tok/s effective, M1 Max — Mesure de la vitesse réelle (prefill) vs affichée, sur M1 Max.
• M5 Pro 64GB, Qwen3.8-27B, cache hit 6.1 s vs recompute 268.2 s — Comparaison des temps de premier token avec et sans cache de préfixe.
• M5 Pro 48GB + Ollama + Claude Code, repeated compaction — Problème de recompaction récurrente due à la fenêtre de contexte par défaut.
• OpenClaw 0 cached tokens, Hermes caches fine — Différence de comportement de cache entre deux frontends d'agents.
• M1 Max 32K first token, 672 s — Temps de prefill d'un gros contexte sur M1 Max.
• M5 Max 32K prefill, 615–827 tok/s — Vitesse de prefill sur M5 Max, montrant l'amélioration.
• MacBook Pro M5 Max tech specs (614 GB/s) — Spécifications officielles de bande passante mémoire.
• Mac mini M6 tech specs (170 GB/s) — Bande passante mémoire du M6 pour comparaison.
• Apple, M5 Pro and M5 Max (Neural Accelerator in each GPU core) — Annonce officielle des accélérateurs neuronaux.
• llama.cpp Apple Silicon benchmarks — Benchmarks de performance prefill/model sur diverses puces.
• Claude Code attribution block, v2.1.181 — Documentation sur le bug du header et sa correction.
• Unsloth Claude Code guide — Guide pratique mentionnant le correctif.
• Claude Code's first request, ~32,800 tokens — Mesure de la taille du premier prompt de Claude Code.
• Ollama context length — Documentation officielle sur la fenêtre de contexte.
• Ollama + Claude Code — Guide d'intégration d'Ollama avec Claude Code.
• Qwen3.8-27B model card — Fiche du modèle, informations sur les capacités de raisonnement.
• Why hybrid models re-process the prompt — Article expliquant la limite des modèles hybrides pour le rewind du cache.
• JSyntax, 'Local AI on a Mac Is a Waste of Money' — Vidéo contradictoire, point de vue opposé sur l'utilité du local AI sur Mac.

• Reddit post sur le M5 Pro et cache — Confirme l'impact énorme du cache sur les temps de réponse.
• Reddit post OpenClaw vs Hermes — Confirme que certains frontends ne respectent pas le cache.
• Apple specs — Donne les chiffres de bande passante utilisés dans l'argumentation.

• JSyntax, 'Local AI on a Mac Is a Waste of Money' — Cette vidéo affirme que l'IA locale sur Mac est un gaspillage, contrairement à la thèse de l'auteur qui montre que le problème est logiciel et peut être corrigé.