Daniel Povey: Old and New Work in Discriminative Training of Acoustic Models

Daniel Povey, expert en reconnaissance vocale, présente un panorama des techniques d’entraînement discriminatif pour modèles acoustiques. Il commence par rappeler le contexte : les modèles de Markov cachés (HMM) avec mélanges de gaussiennes, dont les paramètres sont traditionnellement estimés par maximum de vraisemblance. Il introduit ensuite l’entraînement discriminatif, qui vise à optimiser directement la précision sur les données d’entraînement. Il détaille trois approches principales : MMI (Maximum Mutual Information), MCE (Minimum Classification Error) et MPE (Minimum Phone Error). Pour MMI, il explique le principe de maximisation de la probité a posteriori de la transcription correcte, et mentionne des améliorations pratiques comme la correction d’un problème dimensionnel dans l’équation de mise à jour. Il critique MCE, notamment son utilisation d’une fonction sigmoïde qui peut saturer sur de longues phrases, le rendant inadapté à la reconnaissance à grand vocabulaire. Il présente ensuite MPE, qu’il a développé à Cambridge, basé sur la précision au niveau des phones, et souligne l’importance du lissage I-smoothing pour éviter le sur-apprentissage. Enfin, il décrit FMPE (Feature-space MPE), une technique récente qui applique l’entraînement discriminatif dans l’espace des caractéristiques, en apprenant un décalage non linéaire des vecteurs acoustiques. Il discute des détails d’implémentation, comme le calcul de différentielles indirectes, et rapporte des améliorations typiques de 10 à 15% en taux d’erreur. Il conclut par une réflexion sur la nature future de la solution au problème de la reconnaissance vocale, évoquant la possibilité d’une solution simple plutôt que d’un système complexe.