[ИАД, весна 2026] Введение в машинное обучение. Лекция 3: Нейронные сети

Item: [ИАД, весна 2026] Введение в машинное обучение. Лекция 3: Нейронные сети
Rating: 4
Author: PostSingularity Institute

par Machine Learning – Intelligent Systems

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQNRéseaux neuronaux et systèmes flous

🎙 Machine Learning – Intelligent Systems 👥 8K 📅 26 février 2026 ⏱ 91 min 👁 227 📄 cours magistral 🧭 2026-08-16

Disponible en : Français (actuel) English

Mots-clés

neurone artificielperceptron multicoucherétropropagationfonction d'activationuniversal approximation

Résumé

Cette troisième leçon du cours d’introduction à l’apprentissage automatique se concentre sur les réseaux de neurones. Le professeur commence par rappeler le modèle du neurone artificiel de McCulloch-Pitts, inspiré de la biologie, et montre qu’un seul neurone ne peut résoudre que des problèmes linéairement séparables. Il démontre ensuite que toute fonction booléenne peut être représentée par un réseau à deux couches, en utilisant les formes normales disjonctives ou conjonctives. Il aborde la question de l’universalité des réseaux de neurones : la théorème de Kolmogorov-Arnold (1957) assure qu’une fonction continue peut être représentée exactement par une superposition de fonctions univariées, mais cette construction n’est pas directement applicable aux réseaux de neurones classiques. Il mentionne les réseaux KAN (Kolmogorov-Arnold Networks) comme une tentative récente d’exploiter cette idée. Il présente ensuite le théorème de Cybenko (1989) qui garantit qu’un réseau à deux couches avec une fonction d’activation sigmoïde peut approximer toute fonction continue avec une précision arbitraire. Malgré cela, il explique pourquoi des réseaux plus profonds sont nécessaires en pratique. La majeure partie de la leçon est consacrée à la dérivation de l’algorithme de rétropropagation (backpropagation) pour l’entraînement des réseaux multicouches. Il introduit les notations matricielles et vectorielles, définit la fonction de perte quadratique, et montre comment calculer les gradients par rapport aux poids en utilisant la règle de dérivation en chaîne. Il insiste sur l’importance de la non-linéarité des fonctions d’activation et sur le rôle des couches cachées. La leçon se termine par une discussion sur les différentes fonctions d’activation (sigmoïde, tanh, ReLU) et sur les raisons pour lesquelles les réseaux profonds sont plus efficaces que les réseaux peu profonds.

268 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : le cours fournit une base théorique solide sur les réseaux de neurones, en s’appuyant sur des théorèmes mathématiques et des références historiques. L’argumentation est rigoureuse : le professeur démontre pas à pas les propriétés des réseaux, en distinguant les résultats exacts (théorème de Kolmogorov-Arnold) des résultats d’approximation (théorème de Cybenko). Il critique avec nuance l’interprétation du théorème de Kolmogorov-Arnold comme justification des réseaux de neurones, et présente les KAN comme une tentative intéressante mais non universelle. La dérivation de la rétropropagation est claire et pédagogique, avec des notations soignées. Le professeur encourage l’interaction et répond aux questions, ce qui renforce la compréhension.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est remarquable : le cours s’appuie sur des résultats mathématiques établis et cite des travaux fondateurs (McCulloch-Pitts, Rosenblatt, Kolmogorov, Cybenko). Les explications sont précises et les limites des approches sont clairement indiquées. La qualité des sources est bonne, mais la description de la vidéo ne fournit pas de liens directs vers les références, ce qui limite la vérifiabilité immédiate. L’adéquation entre le titre et le contenu est parfaite : le titre annonce une introduction aux réseaux de neurones, et le cours couvre effectivement les concepts fondamentaux, les théorèmes d’approximation et l’algorithme de rétropropagation. Aucun commentaire n’est fourni, donc aucune tendance du public n’est analysée.

231 mots

Adéquation titre / contenu

Le titre annonce une introduction aux réseaux de neurones dans le cadre d'un cours de machine learning ; le contenu correspond parfaitement, avec une progression pédagogique claire.

Qualité & fiabilité

8/10

Cours universitaire structuré, fondé sur des théorèmes établis (Kolmogorov-Arnold, Cybenko) et des références historiques précises. Le professeur distingue clairement les faits mathématiques des interprétations, et signale les limites des approches. La rigueur est élevée, mais le format oral et l'absence de sources détaillées dans la description limitent la vérifiabilité immédiate.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

McCulloch-Pitts neuron (Wikipedia) — Le professeur mentionne le modèle de neurone artificiel de McCulloch-Pitts (1943) et montre une image de neurone biologique.
Frank Rosenblatt et le perceptron — Le professeur évoque le premier neuro-ordinateur de Rosenblatt et son apprentissage de la reconnaissance de formes.
Théorème de Kolmogorov-Arnold — Le professeur discute de la solution de la 13e problème de Hilbert par Kolmogorov et de son lien avec les réseaux de neurones.
Cybenko's theorem (Universal Approximation Theorem) — Le professeur présente le théorème de Cybenko (1989) sur l'approximation universelle des fonctions continues par des réseaux à deux couches.
Kolmogorov-Arnold Networks (KAN) — Le professeur mentionne les réseaux KAN, une construction récente basée sur le théorème de Kolmogorov-Arnold.

Sources concordantes

Deep Learning (Goodfellow et al.) — Ouvrage de référence qui couvre en détail les réseaux de neurones et la rétropropagation, en accord avec le contenu de la leçon.
Neural Networks and Deep Learning (Michael Nielsen) — Ressource en ligne qui explique la rétropropagation de manière intuitive, cohérente avec l'approche pédagogique du cours.

Sources discordantes

Interprétation du théorème de Kolmogorov-Arnold comme fondement des réseaux de neurones — Certains auteurs considèrent le théorème de Kolmogorov-Arnold comme une justification des réseaux de neurones à deux couches, mais le professeur souligne que cette interprétation est discutable car le théorème exige une représentation exacte et des fonctions non lisses, ce qui ne correspond pas aux réseaux de neurones pratiques.

Apport & nouveautés

Cette leçon apporte une clarification conceptuelle importante : elle distingue nettement le théorème de Kolmogorov-Arnold (représentation exacte) du théorème de Cybenko (approximation), et montre pourquoi le premier n’est pas directement applicable aux réseaux de neurones classiques. Elle présente également les réseaux KAN comme une tentative d’exploitation pratique de ce théorème, tout en soulignant leurs limites. La dérivation détaillée de la rétropropagation, avec des notations claires, constitue un apport pédagogique solide.

Pour aller plus loin :

Théorème d’approximation universelle — Pour approfondir les conditions et les variantes de ce théorème.
Rétropropagation — Pour une explication détaillée de l’algorithme de backpropagation.
Réseaux de neurones artificiels — Pour une vue d’ensemble des architectures et des applications.
Fonction d’activation — Pour comprendre le rôle des différentes fonctions d’activation (sigmoïde, ReLU, etc.).

127 mots

Profil radar

Le profil radar montre une excellente qualité et fiabilité de l'information, avec un niveau technique élevé. La quantité d'information est également bonne, mais la note globale est légèrement inférieure en raison de l'absence de sources détaillées dans la description et du format oral qui limite la vérifiabilité immédiate.

Fiabilité 8/10