Noam Razin - What Makes a Good Proxy Reward Function for Language Model Post-Training? (Eng)

La conférence de Noam Razin, chercheur à Princeton, aborde la question de la qualité des fonctions de récompense proxy utilisées lors du post-entraînement des modèles de langue par apprentissage par renforcement. L’orateur commence par rappeler le contexte : les modèles de langue sont pré-entraînés puis post-entraînés, et ce post-entraînement repose souvent sur des récompenses proxy imparfaites, car la récompense idéale est rarement accessible. Il souligne que la sagesse conventionnelle consiste à évaluer ces récompenses proxy par leur précision, c’est-à-dire leur capacité à classer correctement des paires de sorties. Cependant, il démontre que cette approche est insuffisante. En adoptant une perspective d’optimisation, il montre que la variance de la récompense est un facteur crucial : si elle est faible, le paysage de l’objectif est plat et l’optimisation par policy gradient est lente. Il prouve que la vitesse d’optimisation est inversement proportionnelle à la variance initiale de la récompense. De plus, il établit que toutes les erreurs de récompense ne sont pas nuisibles : certaines peuvent être bénignes, voire bénéfiques. Il illustre ces résultats par des expériences sur des modèles de langue, montrant qu’une récompense parfaitement précise mais à faible variance peut être moins efficace qu’une récompense moins précise mais à variance élevée. Il discute également des implications pratiques, comme l’importance du fine-tuning supervisé initial pour augmenter la variance, et propose des métriques pour évaluer les récompenses proxy. En conclusion, il insiste sur le fait que la qualité d’une récompense proxy ne peut pas être jugée uniquement par son écart à la récompense idéale, mais doit tenir compte de l’interaction entre la récompense, la politique initiale et l’algorithme d’apprentissage.