Embodied Language: Evaluating LLMs in the Real World

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’auteur, expert reconnu, offre une perspective historique et critique sur l’évolution de l’IA incarnée. L’argumentation est solide, s’appuyant sur des exemples concrets et des références académiques. Il démontre que le problème du grounding n’est pas résolu, et que les solutions actuelles reposent souvent sur des simplifications. Il met en évidence les tensions entre les approches symboliques et les approches robotiques, et plaide pour une intégration plus profonde de l’embodiment. La démonstration est convaincante, bien que certaines affirmations générales (comme ‘vous ne pouvez pas apprendre le langage à partir de la radio’) mériteraient d’être nuancées.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’auteur cite des travaux publiés dans des conférences majeures (AAAI, CVPR, EMNLP) et des références pertinentes. La qualité des sources est élevée. L’adéquation entre le titre et le contenu est bonne : le titre annonce clairement le sujet, et le contenu y correspond. Cependant, la présentation est parfois informelle, avec des digressions et des remarques personnelles, ce qui peut nuire à la clarté. Aucun commentaire n’a été fourni pour analyser les tendances du public.

Le titre reflète bien le contenu : l'évaluation des LLM dans des contextes incarnés et réels.

8/10

Exposé par un chercheur reconnu (CMU), s'appuyant sur des travaux publiés et des références académiques solides. Le contenu est nuancé et critique, mais certaines affirmations générales manquent de preuves détaillées.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction par l'hôte et début de l'exposé de Yonatan Bisk.
• 02:00Présentation du laboratoire et des trois axes de recherche.
• 05:00Discussion sur l'importance de l'embodiment pour le langage.
• 10:00Exemple de navigation avec Chen et Mooney (2011) et Rosenthal et Veloso.
• 15:00Présentation du benchmark ALFRED et de ses limites.
• 20:00Discussion sur les modèles de manipulation et les défis du grounding.
• 25:00Exemples de robots récents et question de l'alignement langage-action.
• 30:00Analyse des problèmes de référence et de perspective sociale.
• 35:00Conclusion et perspectives.

• Mecattaf, M. G., Slater, B., Tešić, M., Prunty, J., Voudouris, K., & Cheke, L. G. (2024). A little less conversation, a little more action, please: Investigating the physical common-sense of LLMs in a 3D embodied environment. arXiv. — Référence mentionnée dans la description de la vidéo.
• Wu, Y., Min, S. Y., Bisk, Y., Salakhutdinov, R., Azaria, A., Li, Y., Mitchell, T., & Prabhumoye, S. (2023). Plan, Eliminate, and Track – Language Models are Good Teachers for Embodied Agents. arXiv. — Référence mentionnée dans la description de la vidéo.
• Bisk, Y., Zellers, R., Gao, J., & Choi, Y. (2020). PIQA: Reasoning about Physical Commonsense in Natural Language. In Proceedings of the AAAI Conference on Artificial Intelligence, 34, 7432–7439. — Référence mentionnée dans la description de la vidéo.
• Shridhar, M., Thomason, J., Gordon, D., Bisk, Y., Han, W., Mottaghi, R., Zettlemoyer, L., & Fox, D. (2020). ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). — Référence mentionnée dans la description de la vidéo.
• Bisk, Y., Holtzman, A., Thomason, J., et al. (2020). Experience Grounds Language. EMNLP. — Référence mentionnée dans la description de la vidéo.

• Bisk, Y., Holtzman, A., Thomason, J., et al. (2020). Experience Grounds Language. EMNLP. — Article fondateur de l'auteur sur l'ancrage du langage.
• Shridhar, M., et al. (2020). ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks. CVPR. — Benchmark présenté dans la vidéo.

• Bubeck, S., et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. — Contraste avec l'idée que les LLM peuvent atteindre une compréhension générale sans embodiment.