Generative AI L26: LLM jail breaks, DAN jail breaks. Post training and fine-tuning LLMs

Generative AI L26: LLM jail breaks, DAN jail breaks. Post training and fine-tuning LLMs

par Agha Ali Raza

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative
🎙 Agha Ali Raza 👥 3K 📅 23 mai 2026 ⏱ 70 min 👁 49 📄 cours magistral 🧭 2026-08-15
Disponible en : Français (actuel) English

Mots-clés

jailbreakDANprompt injectionalignementfine-tuning

Résumé

Ce cours de la série ‘Foundations of Generative AI’ aborde la problématique de l’alignement des modèles de langage (LLM) après leur pré-entraînement. L’instructeur commence par un récapitulatif des architectures (encodeur, décodeur, encodeur-décodeur) et de leurs objectifs d’entraînement. Il souligne que les modèles pré-entraînés, bien que très performants, ne sont pas prêts pour une utilisation directe car ils ne distinguent pas les contenus nuisibles des contenus utiles. Il introduit la notion de jailbreak, notamment les attaques DAN (Do Anything Now), et montre comment des prompts manipulateurs peuvent contourner les garde-fous. Il discute également des attaques par injection de prompt, illustrées par des exemples concrets dans le contexte académique. Ensuite, il aborde les méthodes de post-entraînement et de fine-tuning pour aligner les modèles, en soulignant les risques de perte de capacités générales (catastrophic forgetting) et la difficulté de l’équilibre entre spécialisation et généralité. Le cours se conclut sur des conseils pratiques concernant l’utilisation des LLM et la protection de ses données personnelles.

160 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : le cours fournit une explication claire des concepts de jailbreak, de prompt injection et d’alignement, avec des exemples concrets et des références à des travaux académiques. L’argumentation est solide, s’appuyant sur des cas réels (comme l’étude de 145 jailbreaks) et des démonstrations pratiques. L’instructeur adopte une approche pédagogique progressive, reliant les concepts à des situations pratiques. Cependant, certaines affirmations, comme l’absence de méthodes fiables de détection de l’IA, auraient pu être nuancées par des références plus récentes.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : l’instructeur cite des sources académiques (ACM CCS 2024) et des articles de presse (CNBC), et il recommande des ressources supplémentaires. La qualité des sources est correcte, mais certaines références ne sont pas détaillées dans la description. L’adéquation titre/contenu est bonne, le titre reflétant fidèlement les thèmes abordés. Les commentaires ne sont pas fournis, donc aucune analyse des tendances du public n’est possible.

167 mots

Adéquation titre / contenu

Le titre décrit bien le contenu : jailbreaks et post-entraînement/fine-tuning.

Qualité & fiabilité

8/10

Cours universitaire structuré, références académiques citées (ACM CCS 2024), exemples concrets, mais certaines affirmations non sourcées et ton parfois digressif.

Chapitres

Sources citées

Sources concordantes

  • Article CNBC sur les jailbreaks — Mentionné dans la vidéo comme exemple de manipulation

Apport & nouveautés

Le cours apporte une perspective pédagogique sur les jailbreaks et l’alignement des LLM, en reliant des concepts théoriques à des exemples pratiques. Il met en lumière l’importance de la sécurité et de l’éthique dans le déploiement des modèles de langage.

Pour aller plus loin :

77 mots

Profil radar

Le profil radar montre un bon équilibre entre la quantité et la qualité des informations, avec une fiabilité globale élevée. Le niveau technique est soutenu, adapté à un public étudiant avancé.

Fiabilité 8/10