Architecting a Deep Research System | Suhas Pai, Hudson Labs
Mots-clés
Résumé
155 mots
Évaluation critique
Valeur des informations & solidité de l’argumentation
La valeur des informations est élevée pour un public technique : l’orateur partage son expérience concrète de construction d’un système de deep research, avec des détails sur les choix d’architecture et les pièges à éviter. L’argumentation est solide, appuyée par un exemple frappant de déduction à partir de sources éloignées, et par la reconnaissance honnête des limites (hallucinations, difficultés d’évaluation). Il propose des stratégies d’évaluation originales, comme la création de scénarios avec des connaissances émergentes, qui sont directement applicables. La discussion est structurée et les compromis sont bien expliqués.
Rigueur scientifique, qualité des sources, adéquation du titre
La rigueur scientifique est correcte pour une conférence technique : l’orateur s’appuie sur son expérience et mentionne des modèles et des techniques connus, mais sans citer de sources formelles. La qualité des sources est donc moyenne, mais le contenu est crédible. L’adéquation titre/contenu est bonne : le titre annonce clairement le sujet et la conférence le traite en profondeur. Aucun commentaire n’est fourni, donc aucune analyse des tendances du public n’est possible.
176 mots
Adéquation titre / contenu
Le titre correspond bien au contenu : l'orateur détaille l'architecture d'un système de deep research, ses composants et les compromis de conception.
Qualité & fiabilité
7/10
Exposé technique d'un praticien expérimenté, avec des exemples concrets et des stratégies d'évaluation. Manque de références formelles et de données quantitatives, mais la crédibilité est renforcée par l'expérience de terrain et la transparence sur les limites.
Moments clés
Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.
- Introduction : définition des systèmes de deep research et distinction entre recherche et raisonnement.
- Exemple concret de déduction à partir de sources disparates (problème de chaîne d'approvisionnement).
- Présentation des composants de base : récupération, raisonnement, génération de rapport, équilibreur profondeur/largeur.
- Détail du système de récupération agentique : quoi, quand, comment chercher.
- Gestion du contexte : orchestration, résumé, et limites de contexte.
- Équilibre profondeur/largeur : stratégies pour éviter les impasses et les recherches hors sujet.
- Stratégies d'évaluation : scénarios avec connaissances émergentes, utilisation de Wikipedia, évaluation par composants.
- Métriques d'évaluation : factualité, citabilité, non-répétitivité, etc.
- Questions-réponses : couverture des sources, hallucinations, conseils pour débuter.
Sources citées
- MLOps World — Conférence d'origine de la session, mentionnée dans la description.
Sources concordantes
- OpenAI Deep Research — Exemple de système de deep research commercial, mentionné implicitement.
- Gemini Deep Research — Autre exemple de système de deep research commercial.
Apport & nouveautés
L’apport principal est la description détaillée des composants d’un système de deep research et des compromis de conception, basée sur une expérience concrète. L’orateur propose des stratégies d’évaluation originales, notamment la création de scénarios avec des connaissances émergentes, qui sont peu documentées ailleurs. Il met en lumière les défis pratiques de la gestion du contexte et de l’équilibre profondeur/largeur.
Pour aller plus loin :
- Deep Research — Article Wikipédia sur le concept de deep research.
- Retrieval-Augmented Generation — Technique clé pour la récupération d’informations.
- Chain-of-Thought Prompting — Méthode de raisonnement pour les modèles de langage.
- Reinforcement Learning from Human Feedback — Technique d’entraînement pour aligner les modèles.
107 mots
Profil radar
Le profil radar montre un niveau technique élevé et une bonne quantité d'informations, mais une fiabilité globale moyenne en raison du manque de sources formelles. La qualité de l'information est bonne, mais l'absence de références bibliographiques limite la vérifiabilité.