Surface Data vs. Deep Data

L’exposé d’Alyosha Efros est une contribution stimulante au débat sur le rôle des données et du calcul en IA. Sa critique de la ‘Bitter Lesson’ est bien argumentée, s’appuyant sur des analogies historiques pertinentes (Darwin, Newton) pour souligner que la simplicité est un progrès scientifique, non une amertume. Il introduit un concept intéressant d’’entropie irréductible’ pour expliquer pourquoi les données sont indispensables : notre monde est le produit de hasards (collisions d’astéroïdes, etc.) qui ne peuvent être déduits des lois physiques. Cette idée est originale et mérite réflexion, bien qu’elle ne soit pas formalisée mathématiquement. L’argument principal est que le calcul ne peut pas remplacer les données, car il faudrait simuler tous les hasards possibles pour arriver à notre monde spécifique. Cette position est défendue avec des exemples concrets, comme l’attribution de données dans les modèles de génération d’images, où il montre que les images générées sont fortement influencées par des images spécifiques des données d’entraînement. Cela appuie l’idée que les modèles ne créent pas vraiment, mais réorganisent des données existantes. La référence à ‘Neural Thickets’ est également pertinente : ce papier suggère que les modèles pré-entraînés contiennent déjà toutes les compétences, et que le post-entraînement ne fait que les révéler. Cela renforce l’idée que les données sont primordiales. Cependant, l’argumentation repose en partie sur des opinions personnelles et des analogies, et certaines affirmations ne sont pas rigoureusement démontrées. Par exemple, la notion d’entropie irréductible est intuitive mais n’est pas quantifiée. De plus, la distinction entre ‘surface data’ et ‘deep data’ annoncée dans le titre n’est pas clairement explicitée ; le contenu se concentre sur la primauté des données en général. L’adéquation titre/contenu est donc partielle. La qualité des sources est bonne : il cite des travaux publiés (comme ‘The Unreasonable Effectiveness of Data’ de 2009, et des papiers récents sur l’attribution de données et les ‘Neural Thickets’). Cependant, il ne fournit pas de références précises pour tous les travaux mentionnés, ce qui limite la vérifiabilité. Dans l’ensemble, c’est une conférence de haut niveau, destinée à un public de spécialistes, qui offre une perspective rafraîchissante sur le rôle des données, mais qui aurait gagné à être plus rigoureuse sur certains points.

Le titre est évocateur mais le contenu traite davantage de la primauté des données sur le calcul que d'une distinction explicite entre données de surface et données profondes.

8/10

Exposé argumenté par un chercheur reconnu, s'appuyant sur des travaux publiés et des exemples concrets, mais reposant en partie sur des opinions personnelles et des analogies non démontrées.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 02:00Introduction et critique de la Bitter Lesson de Rich Sutton.
• 05:00Analogies avec Darwin et Newton pour montrer que la simplicité est bénéfique.
• 10:00Discussion sur l'entropie irréductible et la nécessité des données.
• 15:00Exemple de génération d'images et attribution de données.
• 20:00Présentation du papier Neural Thickets et de ses implications.
• 25:00Discussion sur le post-entraînement et la révélation des compétences.
• 30:00Conclusion et paraphrase d'Arthur C. Clarke.

• Page de la conférence sur le site du Simons Institute — Page officielle de la conférence, fournissant des informations sur l'événement et le conférencier.

• The Unreasonable Effectiveness of Data — Article de 2009 qui soutient que les données sont le principal moteur du progrès en IA, en accord avec l'argument d'Efros.
• Neural Thickets — Papier récent montrant que les modèles pré-entraînés contiennent des compétences latentes, ce qui appuie l'idée que les données sont primordiales.

• The Bitter Lesson