Evaluating AI Agents and RAG Systems

Evaluating AI Agents and RAG Systems

par David Okpare

Sciences appliquées & ingénierie IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative
🎙 David Okpare 👥 278 📅 27 novembre 2025 ⏱ 48 min 👁 49 📄 tutoriel 🧭 2026-08-16
Disponible en : Français (actuel) English

Mots-clés

évaluationRAGagentsLLMproduction

Résumé

La session, animée par David Okpare, ingénieur IA consultant, porte sur les méthodes d’évaluation des systèmes d’IA générative, en particulier les pipelines RAG et les agents autonomes. L’orateur insiste sur la nécessité d’évaluer chaque composant séparément, tant en développement (offline) qu’en production (online), pour éviter des défaillances coûteuses. Il présente les métriques classiques pour la phase de récupération (precision@k, recall@k) et pour la génération (faithfulness, correctness, helpfulness), en soulignant l’importance du recall. Il introduit également l’utilisation d’un LLM comme juge pour évaluer la qualité des réponses. Pour les agents, il propose d’évaluer la sélection des outils, les paramètres extraits, le chemin de convergence et la réponse finale. La partie pratique montre l’implémentation d’évaluations RAG avec BM25 et un juge LLM, puis l’évaluation d’un agent simple avec des cas de test. L’orateur recommande d’utiliser des données synthétiques en l’absence de données réelles et de suivre un cycle itératif d’amélioration continue.

149 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée pour un public de développeurs et d’ingénieurs IA : l’orateur partage des retours d’expérience concrets, des exemples de code et des bonnes pratiques. L’argumentation est solide, appuyée par des exemples réels (Taco Bell) et des démonstrations pratiques. Toutefois, certaines notions sont survolées et l’absence de références académiques limite la profondeur théorique.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est correcte : les concepts sont présentés avec précision, mais sans sources bibliographiques. La qualité des sources est donc moyenne, reposant principalement sur l’expérience de l’orateur. L’adéquation titre/contenu est parfaite.

105 mots

Adéquation titre / contenu

Le titre correspond parfaitement au contenu : la session est entièrement consacrée à l'évaluation des systèmes RAG et des agents IA.

Qualité & fiabilité

7/10

Exposé technique structuré, fondé sur une expérience pratique, mais sans références bibliographiques explicites ni démonstration exhaustive des concepts avancés.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

  • Instructor (bibliothèque Python) — Mentionné comme bibliothèque pour les sorties structurées de LLM
  • Sabian (modèle de langue pour langues africaines) — Projet mentionné dans l'introduction

Sources concordantes

  • RAG (Retrieval-Augmented Generation) - Wikipedia — Concept central de la vidéo
  • Okapi BM25 - Wikipedia — Moteur de recherche utilisé dans la démonstration

Apport & nouveautés

L’apport principal réside dans la mise en pratique concrète de l’évaluation de systèmes RAG et d’agents, avec des exemples de code et des recommandations opérationnelles. L’orateur insiste sur l’importance d’évaluer chaque composant séparément et de suivre un cycle itératif.

Pour aller plus loin :

79 mots

Profil radar

Le profil radar montre une bonne maîtrise technique et une fiabilité correcte, mais une quantité d'information modérée et une qualité perfectible. Le niveau technique est élevé, adapté à un public averti.

Fiabilité 7/10