Building Conversational AI Agents with Thread-Level Eval Metrics

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée pour les praticiens souhaitant implémenter des agents conversationnels avec une évaluation robuste. Les intervenants fournissent des explications claires sur l’architecture multi-agents et l’évaluation au niveau du fil de discussion, une approche plus holistique que l’évaluation au niveau des traces. L’argumentation s’appuie sur des exemples concrets d’échecs en production pour justifier la nécessité de l’observabilité et des métriques personnalisées. La démonstration pratique renforce la crédibilité, mais la session reste un atelier et ne présente pas de résultats quantitatifs comparant les approches.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est correcte pour un atelier technique. Les intervenants citent des exemples réels de défaillances d’IA, mais sans références académiques. Les sources mentionnées sont principalement les documentations de CrewAI et Comet Opik, ainsi que le site de la conférence. L’adéquation titre/contenu est bonne : le titre reflète précisément le sujet. Aucun commentaire n’est fourni pour analyser les tendances du public.

Le titre correspond bien au contenu : la session porte sur la construction d'agents conversationnels avec des métriques d'évaluation au niveau du fil de discussion.

7/10

Présentation technique de deux outils open source (CrewAI, Comet Opik) avec démonstration pratique. Les intervenants sont des experts reconnus dans le domaine. Les concepts sont expliqués clairement, mais la session est un atelier et ne fournit pas de preuves empiriques de l'efficacité des méthodes. Les sources citées se limitent aux sites des outils et à la conférence.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 02:00Introduction des intervenants et contexte sur le ROI des agents IA.
• 05:00Exemples d'échecs d'IA en production (chatbot Chevrolet, drive-thru McDonald's).
• 10:00Présentation du workflow : chatbot de support client avec évaluation LLM-as-a-Judge et feedback humain.
• 15:00Explication des concepts de CrewAI : agents, tâches, crews, flows.
• 25:00Présentation de Comet Opik : fonctionnalités de traçage, évaluation, optimisation et monitoring.
• 30:00Début de la démonstration pratique : installation et configuration de l'environnement.
• 40:00Architecture du chatbot : classification, routage, crews spécialisés, archivage.
• 50:00Mise en place des métriques d'évaluation avec Opik : LLM-as-a-Judge et feedback humain.
• 1:00:00Discussion sur les limites de LLM-as-a-Judge et l'importance de l'observabilité.
• 1:10:00Conclusion et ressources pour aller plus loin.

• MLOps World | GenAI Summit 2025 — Conférence où la session a été enregistrée.

• CrewAI Documentation — Documentation officielle de CrewAI, mentionnée par Tony Kipkemboi.
• Comet Opik — Site officiel d'Opik, présenté par Claire Longo.