The Agentic Flow I Designed Versus the Actual Flow: And How I Discovered It Using OpenTelemetry
Mots-clés
Résumé
165 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
La valeur des informations est élevée : l’orateur propose une méthode concrète et réutilisable pour améliorer la fiabilité des agents IA, en s’appuyant sur des concepts éprouvés du BPM. L’argumentation est solide, structurée et illustrée par un cas d’usage réel. Il démontre que les agents, bien que probabilistes, présentent des schémas récurrents et que le process mining permet de les identifier et de les corriger. La démonstration est convaincante, avec des résultats chiffrés (fitness, précision) et une analyse des causes du drift.
Rigueur scientifique, qualité des sources, adéquation du titre
La rigueur scientifique est bonne : l’orateur cite des références académiques (Wil van der Aalst, patterns de workflow) et des outils standards (PM4Py, XES, BPMN). Les sources sont pertinentes et utilisées à bon escient. Le titre est parfaitement adéquat au contenu, qui compare effectivement le flux conçu et le flux réel. La présentation est honnête sur les limites et les résultats, sans surinterprétation.
160 mots
Adéquation titre / contenu
Le titre reflète exactement le contenu : comparaison entre le flux conçu et le flux réel découvert via OpenTelemetry et process mining.
Qualité & fiabilité
8/10
L'exposé s'appuie sur une expérimentation concrète (agent AWS AgentCore) et une méthodologie éprouvée (process mining). Les concepts sont expliqués avec précision et les résultats sont présentés de manière transparente, avec des limites clairement identifiées (ex. drift).
Moments clés
Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.
- Introduction : l'orateur présente le sujet et son parcours en BPM.
- Présentation de l'architecture type d'un agent et de l'idée de le considérer comme un processus.
- Introduction de l'observabilité avec OpenTelemetry et des trois types : évaluation, métriques, traces.
- Explication de la transformation X-Ray vers XES et de l'utilisation de PM4Py.
- Présentation des patterns d'agents (ReAct, graph, swarm) et des patterns de workflow (deferred choice, parallel split, etc.).
- Définition du process mining et de ses entrées (event log) et sorties (processus découvert, variance, conformance).
- Explication de la fitness et de la précision, et de la notion de drift.
- Présentation de l'exemple concret : l'agent de tutelle (trusteeship) et son flux prévu.
- Résultats du process mining : comparaison du flux prévu et du flux découvert, identification d'un écart.
- Analyse de conformité : fitness de 60% pour le flux prévu, et diagnostic des variants problématiques.
- Recommandations pour corriger l'agent (ajustement du prompt) et conclusion.
- Questions-réponses : origine du drift et impact des graphes.
Sources citées
- Dépôt Git de l'exemple (lien mentionné dans la vidéo) — L'orateur mentionne un dépôt Git contenant le code des agents, le harnais de test, la conversion X-Ray vers XES et les notebooks PM4Py.
- PM4Py — Outil de process mining pour Python utilisé pour l'analyse.
- XES (eXtensible Event Stream) — Format standard pour les journaux d'événements utilisé par PM4Py.
- BPMN (Business Process Model and Notation) — Notation utilisée pour modéliser le flux prévu de l'agent.
- Wil van der Aalst — Chercheur en BPM et process mining, cité pour les patterns de workflow.
Sources concordantes
- Process mining - Wikipedia — Confirme les concepts de process mining et de conformance.
- OpenTelemetry — Confirme l'utilisation d'OpenTelemetry pour l'observabilité.
Apport & nouveautés
L’apport original réside dans l’application du process mining, une technique mature du BPM, à l’analyse des agents IA. L’orateur démontre concrètement comment les traces OpenTelemetry peuvent être transformées en journaux d’événements exploitables pour révéler les écarts entre le flux conçu et le flux réel. Cette approche permet d’identifier les inefficacités, les étapes superflues et les problèmes de conformité, et de guider les corrections (prompt, graphe). La démonstration sur un agent réel (trusteeship) avec des métriques de fitness et de précision renforce la crédibilité de la méthode.
Pour aller plus loin :
- Process mining - Wikipedia — Vue d’ensemble de la discipline.
- OpenTelemetry — Standard d’observabilité utilisé pour les traces.
- LangGraph — Framework pour construire des agents sous forme de graphes, mentionné dans la vidéo.
- Anthropic’s agent patterns — Patterns d’agents documentés par Anthropic, cités par l’orateur.
136 mots
Profil radar
Le profil radar montre une bonne maîtrise technique et une fiabilité élevée, avec une quantité d'information substantielle. La qualité de l'information est également bonne, mais le niveau technique est légèrement inférieur, ce qui reflète une présentation accessible malgré la complexité du sujet.