Yash Sarrof: Length Generalization of Transformers with a Growing Test time Alphabet

L’exposé de Yash Sarrof, doctorant à l’Université de la Sarre, porte sur la généralisation en longueur des transformers, mais dans un cadre où le vocabulaire (alphabet) croît également au moment du test. Il commence par rappeler le concept de généralisation en longueur et les travaux antérieurs sur C-RASP, un langage de programmation logique qui caractérise les capacités des transformers à softmax. Il cite notamment les travaux de Huang et al. qui ont montré que les transformers généralisent en longueur sur les tâches exprimables en C-RASP. Ensuite, il motive la nécessité d’une généralisation à la fois en longueur et en vocabulaire, en prenant l’exemple de la planification automatique. Il introduit alors une nouvelle variante, C-star RASP, qui ajoute un prédicat de correspondance (match) pour gérer un alphabet potentiellement infini. Le résultat principal est que si une tâche est exprimable en C-star RASP, alors les transformers généraliseront à la fois en longueur et en vocabulaire. Il esquisse la preuve en s’appuyant sur le concept de transformer limite symbolique, une extension du transformer limite de Huang et al. qui permet des entrées infinies en longueur et en vocabulaire, tout en imposant des contraintes de translation invariance et de localité. Il discute également des limitations, notamment l’exclusion du prédicat positionnel pour des raisons techniques. L’exposé est technique et s’adresse à un public familier avec les transformers et la logique.