What’s Next in the Agent Stack | Shelby Heinecke, Salesforce
Mots-clés
Résumé
187 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
La conférence apporte une valeur certaine en présentant des outils concrets et open source pour la mise en production d’agents IA. L’argumentation est structurée autour de la nécessité de relever les défis de latence, de fiabilité et d’évaluation. Heinecke justifie l’importance des petits modèles par des arguments de coût, de latence et de confidentialité, et illustre ses propos avec des exemples concrets (comme la question sur le numéro du motard). La démonstration s’appuie sur des résultats de recherche, mais reste promotionnelle, sans comparaison approfondie avec d’autres solutions existantes.
95 mots
Adéquation titre / contenu
Le titre correspond bien au contenu : la conférence explore les composants émergents de la pile d'agents, en se concentrant sur les outils développés par Salesforce.
Qualité & fiabilité
7/10
Présentation par une chercheuse senior de Salesforce, s'appuyant sur des travaux de recherche internes publiés et open source. Les informations sont précises et techniques, mais la présentation est orientée vers la promotion des outils de Salesforce, sans recul critique ni comparaison exhaustive avec d'autres approches.
Moments clés
Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.
- Introduction : présentation de Salesforce AI Research et de la vague 3.5 de l'IA.
- Discussion sur les petits modèles et leur importance pour la latence et la confidentialité.
- Présentation des modèles d'action (xLAM) et de leur taille (1B, 3B, 8B).
- Explication du pipeline APIgen pour générer des données d'action synthétiques.
- Introduction de TACO, le modèle d'action multimodal, avec un exemple de question sur une image.
- Présentation de MCPEval pour l'évaluation des agents sur les serveurs MCP.
- Discussion sur l'optimisation des prompts pour la production et les défis associés.
Sources citées
- MLOps World | GenAI Summit 2025 — Site de la conférence où la présentation a été donnée.
Sources concordantes
- xLAM: Large Action Models — Page Hugging Face du modèle xLAM mentionné dans la vidéo.
Apport & nouveautés
La conférence présente des outils open source récents de Salesforce pour la mise en production d’agents IA, notamment des modèles d’action de petite taille, un pipeline de génération de données synthétiques, un framework d’évaluation pour MCP et un outil d’optimisation de prompts. Ces contributions sont originales dans la mesure où elles abordent des aspects pratiques souvent négligés dans la recherche académique.
Pour aller plus loin :
- Model Context Protocol (MCP) — Protocole standardisé pour connecter des agents à des outils et API, central dans la présentation.
- Function Calling in LLMs — Article d’OpenAI sur l’appel de fonctions, concept clé des modèles d’action.
- Chain-of-Thought Prompting — Article fondateur sur le raisonnement en chaîne de pensée, utilisé dans TACO.
- Small Language Models — Article sur l’efficacité des petits modèles de langage, pertinent pour la discussion sur les modèles d’action.
137 mots
Profil radar
Le profil radar montre une bonne quantité d'informations et un niveau technique correct, mais une fiabilité globale modérée en raison du caractère promotionnel de la présentation. La qualité de l'information est bonne, mais l'absence de sources externes détaillées limite la vérifiabilité.