Generative AI L9: Skipgram, CBOW (full softmax variant, negative sampling variant), GloVe

Item: Generative AI L9: Skipgram, CBOW (full softmax variant, negative sampling variant), GloVe
Rating: 4
Author: PostSingularity Institute

par Agha Ali Raza

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQLLangage naturel et traduction automatique

🎙 Agha Ali Raza 👥 3K 📅 9 mai 2026 ⏱ 71 min 👁 95 📄 cours magistral 🧭 2026-08-15

Disponible en : Français (actuel) English

Mots-clés

word2vecsoftmaxnegative samplingembeddingsGloVe

Résumé

Ce cours magistral, dispensé à LUMS dans le cadre du cours ‘Foundations of Generative AI’, présente en détail les modèles classiques de plongements lexicaux (word embeddings). Le professeur commence par un rappel des concepts de base : fenêtre glissante, paires centre-contexte, et la différence entre Skipgram et CBOW. Il détaille ensuite le modèle Skipgram avec softmax complet, en expliquant l’architecture du réseau de neurones, les matrices d’embedding W et W’, et la fonction objectif. Il souligne le coût computationnel élevé de cette approche, dû au calcul du dénominateur sur tout le vocabulaire. Il présente ensuite CBOW, qui prédit le mot central à partir du contexte, en agrégeant les embeddings des mots de contexte. La partie principale est consacrée à la variante avec échantillonnage négatif (negative sampling), qui permet de réduire considérablement le coût de calcul en n’utilisant qu’un sous-ensemble de mots négatifs. Enfin, il introduit GloVe, une méthode qui exploite les statistiques de co-occurrence globale du corpus pour construire des embeddings. Tout au long du cours, l’accent est mis sur la compréhension mathématique et l’implémentation pratique.

176 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : le cours fournit une explication complète et détaillée des modèles de plongements lexicaux, avec toutes les dérivations mathématiques nécessaires. L’argumentation est solide, car le professeur justifie chaque choix de conception (par exemple, l’absence de fonction d’activation sur la couche cachée pour préserver les relations linéaires entre les vecteurs de mots). Il explique clairement les limitations des modèles à softmax complet et motive l’introduction de l’échantillonnage négatif. La progression pédagogique est logique, allant du plus simple au plus complexe, et chaque modèle est comparé aux autres.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : le cours est structuré, les formules sont correctes et les explications sont précises. Cependant, aucune source externe n’est citée dans la vidéo elle-même ; les références sont fournies dans la description (site du cours et playlist). Le titre est en adéquation avec le contenu, qui couvre effectivement les modèles annoncés. La qualité des sources est donc indirecte, via les supports de cours disponibles en ligne.

178 mots

Adéquation titre / contenu

Le titre décrit précisément le contenu : les modèles Skipgram, CBOW et GloVe sont effectivement couverts, avec les variantes full softmax et negative sampling.

Qualité & fiabilité

8/10

Cours universitaire de niveau master, structuré et pédagogique, avec dérivations mathématiques complètes. Les concepts sont présentés avec rigueur, mais sans validation par des sources externes dans la vidéo.

Chapitres

Sources citées

Site du cours CSaLT — Slides et évaluations du cours, mentionnés dans la description.
Playlist YouTube du cours — Liste des vidéos du cours, mentionnée dans la description.

Sources concordantes

Article original Word2Vec — Article fondateur de Mikolov et al. sur les modèles Skipgram et CBOW.
Article GloVe — Article de Pennington et al. présentant GloVe.

Apport & nouveautés

Ce cours apporte une explication pédagogique approfondie des modèles de plongements lexicaux, avec un accent sur les détails mathématiques et les compromis computationnels. Il est particulièrement utile pour les étudiants qui souhaitent comprendre les fondements de Word2Vec et GloVe avant de passer à des modèles plus récents.

Pour aller plus loin :

Word2Vec (article Wikipedia) — Article de référence sur Word2Vec, incluant Skipgram et CBOW.
GloVe (page officielle) — Page du projet GloVe à Stanford, avec code et explications.
Negative Sampling (article) — Article original de Mikolov et al. sur les techniques d’échantillonnage négatif.

94 mots

Profil radar

Le profil radar montre un score élevé dans toutes les dimensions, indiquant une vidéo très complète et fiable. La quantité d'information est importante, la qualité est bonne, le niveau technique est élevé, et la fiabilité globale est solide.

Fiabilité 8/10