[ИАД, осень 2025] Методы глубокого обучения. Занятие 4: Introduction to NLP, Word Embeddings

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée pour un public étudiant : le cours couvre des concepts essentiels du NLP avec des explications intuitives et des exemples concrets. L’argumentation est solide, s’appuyant sur des démonstrations progressives et des références à des travaux de recherche (notamment sur l’impact de la taille de fenêtre et les métriques de co-occurrence). L’enseignant encourage la réflexion critique en posant des questions et en signalant les limites des approches naïves. La présentation est pédagogique, mais certaines parties pourraient être plus rigoureuses sur le plan formel (par exemple, la distinction entre matrice et tenseur).

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est globalement bonne : le cours s’appuie sur des concepts établis et mentionne des travaux de recherche (par exemple, sur l’analyse des fenêtres contextuelles). Cependant, les sources ne sont pas systématiquement citées de manière précise (pas de références complètes). L’adéquation entre le titre et le contenu est bonne, le cours traitant bien des sujets annoncés. Les commentaires ne sont pas fournis, donc aucune analyse des tendances du public n’est possible.

Le titre correspond au contenu : il s'agit bien d'une introduction au NLP et aux word embeddings dans le cadre d'un cours sur les méthodes d'apprentissage profond.

7/10

Cours universitaire structuré, présentant des concepts fondamentaux du NLP (n-grammes, distributionnalisme, word embeddings) avec des références à des travaux de recherche. La présentation est claire mais repose sur des supports visuels empruntés sans vérification indépendante des sources.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction et rappel sur les n-grammes pour capturer les relations entre mots.
• 05:00Exemple de la tequila : la distributionnal hypothesis et l'inférence du sens par le contexte.
• 10:00Construction de matrices de co-occurrence et réduction par SVD.
• 15:00Discussion sur la taille de fenêtre, les pondérations et les métriques alternatives (PMI, PPMI).
• 20:00Extension aux documents entiers : matrice TF-IDF et embeddings de documents.
• 25:00Introduction à word2vec : apprentissage de probabilités de co-occurrence et deux vecteurs par mot.
• 30:00Exemples de relations sémantiques (roi/reine) et propriétés des embeddings.
• 35:00Discussion sur les améliorations possibles et les limites de word2vec.

• Cours NLP de Elena Voita — L'enseignant mentionne avoir emprunté des illustrations de ce cours.
• Cours Mathématiques des Big Data (Гасников) — Recommandé pour approfondir les méthodes de réduction dimensionnelle comme SVD.

• Cours NLP de Elena Voita — Source d'inspiration pour les illustrations et les concepts.