Bytes Is This The End of Token?

Valeur des informations & solidité de l’argumentation

La valeur de la vidéo réside dans son analyse critique des articles scientifiques, avec une distinction nette entre les prévisions et les faits. L’auteur fournit des données chiffrées et des exemples concrets, comme les différences de coût entre les modèles. L’argumentation est solide : il reconnaît les limites des études, comme le fait que le modèle à octets n’a pas été entraîné jusqu’à son plafond prédit, et il souligne les compromis entre efficacité de données et calcul. Il propose une méthode pratique pour évaluer le coût réel des API, ce qui renforce la pertinence de son propos.

Rigueur scientifique, qualité des sources, adéquation du titre

La vidéo cite de nombreuses sources académiques et techniques, listées dans la description. L’auteur fait preuve de rigueur en confrontant les chiffres annoncés aux résultats réels des checkpoints, et en mentionnant les limites des méthodes de régression. Le titre est en adéquation avec le contenu, qui répond à la question de manière nuancée. Les sources sont variées et incluent des articles, des blogs, et des discussions communautaires, ce qui apporte une perspective large. L’auteur ne se contente pas de vulgariser ; il apporte un regard critique.

Le titre interroge la fin des tokens, et le contenu explore cette question en détail, avec une réponse nuancée.

8/10

La vidéo analyse plusieurs papiers académiques, distingue les prévisions des résultats mesurés, et présente des limitations. Elle fournit des chiffres précis et des sources vérifiables.

• 00:00Why my API bill went up
• 01:44What a token actually is (the strawberry problem)
• 04:22Meta's byte model: forecast vs fact
• 07:06One-sixth the data, six times the math
• 11:49BLT & H-Net: bytes without the slowdown
• 17:16You're already paying by the byte
• 20:51So is it the end of tokens?

• Breaking the Token Ceiling (Meta FAIR + UW) — Papier principal sur les modèles à octets.
• Full paper, tables & figures — Version HTML du papier.
• Byte Latent Transformer (Meta, 2024) — Papier sur le Byte Latent Transformer.
• Cartesia, From Tokens to Bytes I — Blog de Cartesia sur H-Net.
• Cartesia, From Tokens to Bytes II — Suite du blog.
• Albert Gu on H-Net — Tweet d'Albert Gu sur H-Net.
• Albert Gu, hand-crafted regexes in every LLM — Tweet sur les regex manuels.
• DeepSeek's hard-coded CJK regex — Tweet sur le regex de DeepSeek.
• Llama 3 pre-tokenizer regex — Code du tokenizer de Llama 3.
• "strawberry" in the Llama 3 tokenizer — Outil pour visualiser les tokens.
• Tokenizer unfairness between languages (Oxford) — Étude sur l'inégalité des tokenizers.
• Better Stack, AI Models Might Not Need Tokens Anymore — Vidéo courte liée au sujet.
• Comment, "hope you enjoy waiting 4x longer" — Commentaire mentionné.
• Comment, "context gets much more expensive" — Autre commentaire.
• r/LocalLLaMA thread — Discussion sur LocalLLaMA.
• Anthropic, Claude Opus 4.7 tokenizer (archived) — Annonce d'Anthropic.
• Simon Willison, Claude token counts — Analyse de Simon Willison.
• OpenRouter, Opus 4.7 tokenizer cost — Analyse des coûts.
• Aleph Alpha Kolibri tokenizer test — Test du tokenizer d'Aleph Alpha.
• Bolmo 7B byte model (Ai2) — Modèle byte d'AI2.

• Byte Latent Transformer (Meta, 2024) — Prouve que les modèles à octets peuvent être efficaces.
• Cartesia, From Tokens to Bytes I — Présente H-Net avec des résultats de performance.
• Tokenizer unfairness between languages (Oxford) — Confirme les inégalités de tokenization.

• youtu.be
• youtu.be
• youtu.be
• youtu.be
• youtu.be