
What It Really Costs to Run a 1TB AI Model at Home
Ce que coûte réellement l'exécution d'un modèle d'IA de 1 To à la maison
Historique des titres
- What It Really Costs to Run a 1TB AI Model at Home — observé le 20261117-0331 UTC (YouTube)
Mots-clés
Résumé
284 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
La vidéo apporte des chiffres concrets et une analyse coût-bénéfice rigoureuse, basée sur des sources vérifiables (Apple, Artificial Analysis, prix catalogues). L’argumentation est structurée : clarifications techniques, calculs transparents, comparaisons systématiques avec la location. L’accent sur le coût par token, plutôt que le coût d’achat, est une contribution utile. Les limites des estimations (ex: Kimi sur 4 Mac) sont clairement signalées. Le raisonnement pour expliquer pourquoi le local perd structurellement face au cloud (bande passante, utilisation) est solide. La vidéo ne se contente pas d’un simple rapport coût/matériel ; elle prend en compte la latence, le prefill, les scores d’intelligence, et les alternatives. Cette approche multifactorielle renforce la crédibilité de l’analyse.
Rigueur scientifique, qualité des sources, adéquation du titre
Les sources sont majoritairement primaires : benchmarks Apple, listing officiels des prix, pages Hugging Face des modèles, données d’Artificial Analysis. Les prix sont datés (16 novembre 2026) et l’auteur précise les conditions de mesure. Les estimations non mesurées sont annoncées comme telles. L’adéquation titre/contenu est excellente : le titre annonce une analyse des coûts, et la vidéo la délivre en détail. Les commentaires ne sont pas fournis, donc aucune tendance n’est analysée. La qualité scientifique est bonne : les calculs sont reproductibles et les hypothèses explicites.
212 mots
Adéquation titre / contenu
Le titre est exact : la vidéo détaille le coût réel par token de l'exécution locale de modèles de 1 To, incluant matériel et électricité.
Qualité & fiabilité
8/10
L'auteur s'appuie sur des benchmarks officiels (Apple MLX), des données de prix vérifiées à une date précise, et des mesures indépendantes d'utilisateurs. Méthodologie transparente, mais certaines estimations (ex: Kimi K3.1 Pro sur 4 Mac) sont extrapolées et signalées comme telles.
Chapitres
- The $44,598 shopping cart
- 1T vs 1TB: three models, three sizes
- Why owning a terabyte looks smart
- Total parameters vs active parameters
- The receipt: Mac Studios and DGX Sparks
- The receipt: server RAM, RTX PRO 6000 and DGX Station
- The macOS default that hides 137GB
- Apple's own number: 24.99 tokens a second
- Prefill: 63 tokens read for every one written
- Your rig has a per-token price
- One task: 38 minutes against 5
- The scoreboard: 25, 26 and 46
- Kimi K3.1 Pro: worth a terabyte, needs 1.56TB
- The cheap terabytes: DDR4, SSDs and tinybox
- Where clusters stop working
- Who should buy one anyway
- Rent the model, then price the box
Sources citées
- Apple MLX distributed inference — Benchmark officiel d'Apple pour exécuter Muse Spark Open en distribué, donnant 24.99 tokens par seconde sur deux Mac Studio M5 Ultra.
- Apple Mac Studio power consumption — Données de consommation électrique du Mac Studio (385 W en pleine charge) utilisées pour calculer le coût d'électricité.
- Apple Mac Studio store — Prix du Mac Studio M5 Ultra 512 Go : 22 299 $, configuré en deux exemplaires pour la configuration 'Meta'.
- Artificial Analysis Intelligence Index v5 — Méthodologie de l'indice d'intelligence utilisé pour comparer les modèles (scores 25, 26, 46, etc.).
- Artificial Analysis - Muse Spark Open — Données de performance et de coût hébergé pour Muse Spark Open (4.25 $ par million de tokens de sortie).
- Artificial Analysis - Mistral Large 4 — Données de performance et de coût pour Mistral Large 4.
- Artificial Analysis - Kimi K3.1 Pro — Données de performance et de coût pour Kimi K3.1 Pro.
- Hugging Face - Muse Spark Open — Poids du modèle Meta Muse Spark Open (taille 533 Gio en 4 bits).
- Hugging Face - Mistral Large 4 — Poids officiel de Mistral Large 4 (1 060 Gio).
- Hugging Face - Kimi K3.1 Pro — Poids officiel de Kimi K3.1 Pro (1 561 Gio).
- OpenRouter - Muse Spark Open — Tarification hébergée pour Muse Spark Open (4.25 $ par million de tokens de sortie).
- OpenRouter - Kimi K3.1 Pro — Tarification hébergée pour Kimi K3.1 Pro (10 $ par million de tokens de sortie).
- Server RAM prices (DDR5) — Prix d'une barrette 64 Go DDR5 (env. 2 561 $) pour estimer le coût d'une configuration serveur.
- Server RAM prices (DDR4) — Prix d'une barrette 64 Go DDR4 (env. 295 $) pour une option économique.
- NVIDIA DGX Spark price (implicator) — Prix du DGX Spark 128 Go (6 950 $) et du 64 Go (4 999 $).
- NVIDIA Developer Forum - Kimi K3 on 16 DGX Sparks — Mesures utilisateurs sur la vitesse de Kimi K3 sur 16 DGX Sparks (21-30 tokens/s).
- Notebookcheck - Tiny Corp red Kimi — Annonce de la tinybox Red Kimi (30 000 $) et spécifications.
Sources concordantes
- Apple MLX benchmark — Chiffres de vitesse mesurés par Apple pour Muse Spark Open, concordant avec les estimations de la vidéo.
- Artificial Analysis Intelligence Index — Scores d'intelligence utilisés, cohérents avec la comparaison des modèles.
Sources discordantes
- Tiny Corp annonce 40 tokens/s sur Kimi K3 — La vidéo remet en doute ce chiffre, calculant un plafond théorique de 4 tokens/s si chaque poids doit être chargé depuis le SSD, et note l'absence de benchmarks indépendants.
Apport & nouveautés
La vidéo propose une méthodologie inédite pour estimer le coût réel par token de l’exécution locale d’un modèle de 1 To, en incluant l’amortissement du matériel et l’électricité, et en comparant systématiquement avec la location. Elle clarifie la distinction entre paramètres et octets, et détaille l’impact de l’architecture Mixture of Experts sur les besoins mémoire et la vitesse. Les conclusions remettent en question la pertinence d’acheter du matériel haut de gamme pour un usage individuel, même pour les modèles les plus puissants.
Pour aller plus loin :
- Mixture of Experts (Wikipedia) — Architecture expliquée, base des modèles cités.
- Memory bandwidth (Wikipedia) — Notion clé pour comprendre la vitesse d’inférence.
- OpenRouter — Plateforme de location de modèles, utilisé pour les prix hébergés.
- Hugging Face — Dépôt des poids des modèles, référence pour les tailles.
133 mots
Profil radar
Le profil radar montre un score élevé en quantité d'information (9/10) et en qualité (8/10), un niveau technique substantiel (7/10) et une fiabilité globale très correcte (8/10). La vidéo est dense et factuelle, avec une légère emphase sur la critique économique plutôt que sur des démonstrations mathématiques poussées.