HAI Seminar with Sheng Wang: Generative AI for Multimodal Biomedicine

Le séminaire de Sheng Wang offre un aperçu substantiel des avancées récentes en IA générative pour la biomédecine, avec un accent sur les modèles de fondation multimodaux. La valeur des informations est élevée : Wang présente des travaux publiés dans des revues prestigieuses (Nature) et soutenus par des collaborations avec Microsoft Research et Providence Genomics. Les exemples concrets, comme la conversion d’une lame de pathologie en une ’longue phrase’ pour utiliser des techniques de long contexte, illustrent clairement les défis et solutions. L’argumentation est solide, s’appuyant sur des résultats chiffrés (25/26 tâches, 90% de précision pour le sous-typage) et une logique pédagogique progressive. La rigueur scientifique est globalement bonne, mais on peut noter un manque de détails sur les méthodologies d’évaluation et les limites des modèles. Les sources sont de qualité, issues de la recherche académique, et la présentation est bien structurée. L’adéquation titre/contenu est parfaite. Cependant, le niveau technique est élevé, ce qui pourrait limiter l’accessibilité pour un public non spécialiste. Enfin, la discussion sur les implications éthiques et les biais potentiels est absente, ce qui constitue une lacune pour une évaluation critique complète.

Le titre reflète bien le contenu : il s'agit d'un séminaire sur l'IA générative pour la biomédecine multimodale, avec une présentation de trois modèles.

8/10

Conférence académique par un chercheur reconnu, présentant des travaux publiés dans des revues à comité de lecture (Nature). Les résultats sont étayés par des données chiffrées et des collaborations institutionnelles. La présentation est claire et structurée, mais certaines affirmations générales (ex. 'meilleure performance sur 25/26 tâches') manquent de détails méthodologiques complets.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction par Russ Altman et présentation de Sheng Wang
• 03:00Revue des paradigmes d'IA en médecine : deep learning, modèles de fondation, multimodaux, multi-agents
• 10:00Présentation de GigaPath : modèle de pathologie entière, défis des images gigapixels, solution par long-context modeling
• 20:00Résultats de GigaPath : sous-typage de cancer, prédiction de biomarqueurs, chaîne de pensée guidée par guidelines cliniques
• 30:00Présentation d'OCTCube : modèle 3D pour imagerie rétinienne, défis des volumes 3D
• 40:00Présentation de BiomedParse : modèle multimodal intégrant 9 modalités d'imagerie, projection dans l'espace textuel
• 50:00Discussion sur les applications futures : intégration multi-omiques, systèmes multi-agents, collaboration homme-IA
• 1:00:00Questions-réponses avec le public

• GigaPath: A Foundation Model for Whole-Slide Pathology — Article publié dans Nature présentant le modèle GigaPath, mentionné par l'orateur comme publication récente.
• OCTCube: A 3D OCT Retinal Imaging Foundation Model — Prépublication arXiv présentant le modèle OCTCube, mentionné par l'orateur.
• BiomedParse: A Multimodal Foundation Model for Biomedical Imaging — Prépublication arXiv présentant le modèle BiomedParse, mentionné par l'orateur.

• A foundation model for clinical-grade imaging — Article Nature sur GigaPath, cohérent avec les affirmations de l'orateur sur les performances du modèle.
• Foundation models for generalist medical AI — Article de revue sur les modèles de fondation en médecine, soutenant l'idée de généralisation à plusieurs tâches.

• Limitations of foundation models in medical imaging