Michael Goodale: Meta-Learning Neural Mechanisms rather than Bayesian Priors

Michael Goodale présente son article co-écrit avec Salvador Mascarenhas et Niels Taatgen, publié à ACL, qui examine si le méta-apprentissage de réseaux neuronaux sur des langages formels acquiert réellement un a priori bayésien de simplicité ou plutôt des mécanismes neuronaux réutilisables. Il commence par rappeler le contraste entre la généralisation humaine à partir de peu de données et la nécessité de grandes quantités de données pour les réseaux de neurones. Il introduit l’analyse rationnelle et l’approche bayésienne, notamment l’utilisation de la complexité de Kolmogorov comme mesure de simplicité, illustrée par le modèle de Yang et Piantadosi pour l’apprentissage de langages formels. Il critique l’implémentation pratique de ces modèles symboliques, trop coûteuse, et propose le méta-apprentissage comme solution. Il détaille la méthode MAML et l’étude de McCoy et Griffiths qui méta-entraînent un LSTM sur des langages formels avec un a priori de simplicité. Goodale et ses collègues formulent deux hypothèses : l’acquisition d’un biais de simplicité (simplicity bias) ou l’apprentissage de mécanismes neuronaux (mechanistic complexity). Pour les tester, ils créent deux ensembles de données : l’un avec des langages de complexité variable (via la grammaire minimaliste) pour tester le biais de simplicité, et l’autre avec un seul langage répété (avec permutation des tokens) pour tester l’acquisition de mécanismes. Ils utilisent un LSTM de 1000 dimensions et une métrique d’évaluation basée sur la continuation de préfixes. Les résultats préliminaires suggèrent que les modèles méta-entraînés n’acquièrent pas nécessairement un a priori de simplicité, mais plutôt des mécanismes génériques utiles pour l’apprentissage rapide. La présentation se termine par une discussion sur les implications pour la modélisation cognitive et l’apprentissage automatique.