10: Generative AI – Adapting LLMs with Parameter-Efficient Fine-Tuning

Ce cours magistral se distingue par sa clarté pédagogique et sa rigueur scientifique. L’instructeur, Rama Ramakrishnan, est un expert reconnu dans le domaine de l’apprentissage automatique, et cela se reflète dans la précision des explications et la pertinence des exemples. La première partie, consacrée à l’évolution des modèles GPT et à l’instruction tuning, est particulièrement bien structurée. L’explication du passage de GPT-3 à InstructGPT via le RLHF est détaillée et accessible, sans sacrifier la profondeur technique. L’utilisation d’exemples concrets, comme la réponse de GPT-3 à la question sur l’alunissage, illustre efficacement les limitations des modèles non ajustés. La construction du modèle de récompense est expliquée de manière intuitive, avec une dérivation de la fonction de perte qui reste compréhensible pour un public averti. La seconde partie, consacrée aux méthodes PEFT, est tout aussi solide. L’instructeur présente LoRA et les adaptateurs avec des schémas clairs et des explications sur leur fonctionnement et leurs avantages. Il souligne à juste titre que ces techniques permettent de réduire considérablement les coûts de calcul et de stockage, tout en maintenant des performances comparables au fine-tuning complet. L’accent mis sur l’aspect pratique, avec des références à des bibliothèques comme Hugging Face, renforce l’utilité du cours pour des apprenants souhaitant appliquer ces méthodes. Cependant, on peut regretter que le cours ne mentionne pas certaines limites ou critiques de ces approches, comme les biais potentiels ou les questions éthiques liées à l’utilisation de données humaines pour le RLHF. De plus, la partie sur les PEFT aurait pu être approfondie, notamment en comparant différentes méthodes de manière plus systématique. L’adéquation entre le titre et le contenu est bonne, même si le titre met l’accent sur le PEFT alors que la première moitié du cours est consacrée à l’instruction tuning. Cette divergence est mineure et n’affecte pas la qualité globale. En conclusion, ce cours est une excellente ressource pour comprendre les mécanismes d’adaptation des LLM, avec un bon équilibre entre théorie et pratique. Il est recommandé à toute personne ayant des bases en apprentissage profond et souhaitant se familiariser avec les techniques de fine-tuning efficaces.

Le titre annonce l'adaptation des LLM par fine-tuning efficace en paramètres, et le contenu couvre effectivement cette thématique, en la contextualisant avec l'évolution des GPT et l'instruction tuning.

9/10

Cours magistral de niveau universitaire (MIT) par un expert reconnu, s'appuyant sur des travaux de recherche publiés (InstructGPT, PEFT). Les explications sont précises, les concepts sont correctement définis, et les références aux sources sont claires. La rigueur scientifique est élevée, bien que le format de cours ne permette pas une vérification exhaustive des affirmations.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et rappel du cours précédent sur la construction d'un modèle GPT.
• 05:00Explication des différences entre GPT-2 et GPT-3, et du phénomène de changement de phase.
• 10:00Début de la discussion sur l'instruction tuning et ses motivations.
• 15:00Présentation de l'étape 1 : le fine-tuning supervisé sur des données humaines.
• 20:00Explication de l'étape 2 : la collecte de classements humains et la construction du modèle de récompense.
• 25:00Discussion sur les implications pratiques du RLHF et la confidentialité des données.
• 30:00Transition vers l'adaptation des LLM à des tâches spécifiques et introduction au fine-tuning.
• 35:00Présentation des méthodes PEFT, notamment LoRA et les adaptateurs.
• 40:00Explication détaillée du fonctionnement de LoRA et de ses avantages.
• 45:00Comparaison entre fine-tuning complet et PEFT, et considérations pratiques.

• Page du cours MIT 15.773 — Page officielle du cours, contenant les ressources et supports.
• Playlist YouTube du cours — Playlist des vidéos du cours.
• Page de support OCW — Page de soutien financier pour OpenCourseWare.
• Politique de commentaires OCW — Règles de commentaires pour les plateformes OCW.
• Termes d'utilisation OCW — Conditions d'utilisation des contenus OCW.

• LoRA: Low-Rank Adaptation of Large Language Models — Article de recherche présentant LoRA, une méthode PEFT mentionnée dans le cours.
• Training language models to follow instructions with human feedback — Article InstructGPT, source principale de l'instruction tuning.