Go to Prod With AI Automated Workflow at Work | Pratik Verma, Okahu.ai
Mots-clés
Résumé
195 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
La valeur principale de cette présentation réside dans son approche pratique : elle montre concrètement comment un agent Teams est développé, déployé et surveillé. Les exemples de défaillances sont réalistes et illustrent bien les défis de la non-déterminisme des LLM. L’argumentation est solide dans la mesure où elle s’appuie sur une démonstration en direct et des cas d’usage réels. Cependant, la présentation est aussi une vitrine pour l’outil Okahu, ce qui peut biaiser le discours : les solutions proposées sont systématiquement orientées vers cet outil. La démonstration de l’observabilité est convaincante, mais on peut regretter un manque de recul critique sur les limites de l’approche ou sur des alternatives.
Rigueur scientifique, qualité des sources, adéquation du titre
La rigueur scientifique est moyenne : l’orateur s’appuie sur son expérience et des exemples concrets, mais il ne cite pas de sources académiques ou de références externes. Les seules sources mentionnées sont le site de l’événement (mlopsworld.com) et un dépôt GitHub (Okahu demos) évoqué oralement. Le titre est fidèle au contenu, qui traite bien de la mise en production d’agents IA. L’adéquation est donc bonne. On note l’absence de commentaires à analyser.
196 mots
Adéquation titre / contenu
Le titre correspond bien au contenu : il s'agit d'une présentation sur la mise en production d'agents IA, avec une étude de cas sur un bot Microsoft Teams.
Qualité & fiabilité
7/10
La présentation s'appuie sur une démonstration concrète et des exemples issus de l'expérience de l'orateur, mais elle est principalement promotionnelle pour l'outil Okahu. Les sources sont limitées à un lien vers le site de l'événement et un dépôt GitHub mentionné oralement.
Moments clés
Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.
- Introduction et contexte de la présentation
- Démonstration d'un agent Teams en action
- Définition d'un agent IA et différence avec le code traditionnel
- Présentation du code du bot Teams dans VS Code
- Test local avec l'extension M365 et déploiement sur Azure
- Exemples de défaillances : réponse incorrecte, échec de récupération, réponse tronquée
- Introduction de Monocle et de l'instrumentation
- Démonstration du portail Okahu : traces, insights, catégorisation des erreurs
- Analyse des métriques d'engagement et de taux de complétion
- Identification des problèmes au niveau des composants et des inférences
- Comparaison des modèles et des fournisseurs
- Résumé des problèmes courants et recommandations
Sources citées
- MLOps World — Site de l'événement où la présentation a été enregistrée
Sources concordantes
- MLOps World — Site de l'événement, cohérent avec le sujet de la présentation
Apport & nouveautés
L’apport principal de cette vidéo est de montrer concrètement comment l’observabilité peut aider à fiabiliser les agents IA en production, en s’appuyant sur une étude de cas réelle. L’utilisation d’OpenTelemetry et d’outils open source comme Monocle est un point intéressant. La démonstration du portail Okahu illustre comment les développeurs peuvent identifier rapidement les problèmes et itérer sur les prompts et le code.
Pour aller plus loin :
- OpenTelemetry — Standard pour la télémétrie, pertinent pour comprendre la base technique de l’observabilité.
- Microsoft Teams AI SDK — Documentation officielle pour construire des agents Teams.
- Azure OpenAI Service — Service cloud utilisé dans la démonstration pour héberger les modèles.
107 mots
Profil radar
Le profil radar montre des scores modérés sur tous les axes, avec une légère dominance de la quantité d'information et de la fiabilité globale. Cela indique une présentation informative mais qui manque de profondeur technique et de références solides.