Demand-Driven Context: What 300 Incidents Reveal About Tribal Knowledge - Raj Navakoti
Contexte axé sur la demande : ce que 300 incidents révèlent sur les connaissances tribales - Raj Navakoti
Mots-clés
Résumé
167 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
La valeur principale réside dans l’approche inverse du tout-documenter : utiliser l’échec de l’agent comme signal pour identifier les lacunes de connaissances. L’argumentation s’appuie sur les résultats chiffrés (46 entités, convergence observée) et des exemples concrets (runbooks régionaux, vocabulaire métier). L’idée de finitude des connaissances pour un agent contredit l’approche naïve du « tout injecter » et est bien illustrée. La méthode est pragmatique et reproductible, bien que les résultats proviennent d’un seul cas d’étude non contrôlé.
Rigueur scientifique, qualité des sources, adéquation du titre
Les sources citées se limitent aux liens de la description (NDC Conferences et NDC Oslo), aucun article scientifique n’est référencé. Le contenu repose sur l’expérience personnelle de l’orateur, ce qui en fait un retour d’expérience de praticien. Le titre est légèrement exagéré (300 incidents mais clusterisés en 20 types), mais l’orateur le reconnaît lui-même. La rigueur scientifique est modérée : pas de protocole détaillé, pas de validation externe, mais une démarche structurée et des données de convergence. L’adéquation titre/contenu est acceptable.
173 mots
Adéquation titre / contenu
Le titre est accrocheur et reflète le contenu : 300 incidents sont évoqués, bien que le regroupement les réduise en pratique. Adéquation correcte.
Qualité & fiabilité
7/10
Méthodologie originale avec données d'expérimentation (300 incidents, 46 entités, convergence après 9 cycles). Basée sur une seule expérience non peer-review, mais le raisonnement est cohérent et les leçons pratiques sont utiles.
Moments clés
Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.
- Introduction et question au public sur les tâches les plus pénibles pour un ingénieur
- Présentation de Bob, l'expert tribal, et de la première tentative d'agent avec runbooks
- Échec de la première tentative : l'agent répète la question au lieu de résoudre
- Deuxième tentative avec RAG sur tout Confluence, encore un échec
- Idée du Demand-Driven Context : laisser l'agent demander les connaissances manquantes
- Expérience sur 300 incidents, clustering en 20 types, et déroulement des 9 cycles
- Résultats : 46 entités, convergence, et leçon sur l'importance du regroupement
- Discussion sur la finitude des connaissances pour un agent et la maintenance avec propose knowledge
- Conclusion et rappel des points clés
Sources citées
- NDC Conferences — Organisateur de la conférence où la présentation a été enregistrée
- NDC Oslo — Conférence spécifique où la talk a eu lieu
Apport & nouveautés
Le Demand-Driven Context propose une articulation inédite entre TDD et curation de connaissances pour agents. L’idée de faire de l’échec de l’agent un signal de documentation est originale et contre-intuitive. L’application aux incidents comme tests de la base de connaissances est un angle novateur. La mise en évidence de la finitude des connaissances nécessaires à un agent contredit les approches de type « company brain » global.
Pour aller plus loin :
- Test-driven development — Source de l’inspiration pour le cycle fail-demand-pass.
- Retrieval-Augmented Generation — Technique utilisée dans la seconde tentative et contexte du problème.
- Model Context Protocol — Outil utilisé pour implémenter le skill de proposition de connaissances via pull requests.
- Knowledge graph — Approche alternative pour structurer les connaissances, évoquée implicitement.
123 mots
Profil radar
Le profil radar est équilibré avec des scores légèrement supérieurs en quantité et qualité d'information, traduisant un contenu dense et bien organisé. Le niveau technique est correct pour un public d'ingénieurs, et la fiabilité globale est acceptable malgré l'absence de sources externes.