The Algorithm That Nearly Killed Me: When Testing Isn't Enough - Andrew Paul - NDC Oslo 2026

The Algorithm That Nearly Killed Me: When Testing Isn't Enough - Andrew Paul - NDC Oslo 2026

L'algorithme qui a failli me tuer : quand tester ne suffit pas - Andrew Paul - NDC Oslo 2026

🎙 Andrew Paul 👥 230K 📅 13 octobre 2026 ⏱ 61 min 👁 19 📄 opinion experte 🧭 2026-10-13
Disponible en : Français (actuel) English

Mots-clés

testsIApompe à insulinecas limitesapprentissage automatique

Résumé

Dans cette conférence enregistrée à NDC Oslo, Andrew Paul, formateur en génie logiciel et consultant, raconte son expérience personnelle avec une pompe à insuline intelligente. Diabétique de type 1 depuis près de 30 ans, il décide de passer de injections manuelles à une pompe automatisée qui ajuste l’insuline via une application sur smartphone. Après 72 heures d’utilisation, l’algorithme commence à délivrer des doses insuline de manière incohérente : l’application affiche des doses très élevées alors que la pompe n’administre rien, provoquant une hyperglycémie sévère et une acidocétose menaçante. Grâce à son expérience, il réagit à temps et reprend ses injections. Il analyse ensuite les défauts des tests logiciels traditionnels : ils valident les hypothèses plutôt qu’ils ne les défient, testent l’implémentation plutôt que le comportement, et confondent couverture complète et sécurité réelle. Il illustre son propos avec des exemples de cas limites (faible glycémie, obstruction de la canule) et les intersections de cas limites, soulignant que les systèmes d’apprentissage automatique amplifient les biais existants. Il appelle à une évolution des pratiques de test vers des approches centrées sur l’impact et les comportements réels, et pose des questions essentielles sur la fiabilité des systèmes décisionnels dans des contextes critiques. La présentation combine un récit personnel poignant et une réflexion technique approfondie sur les limites du testing dans les systèmes adaptatifs.

219 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur principale réside dans le témoignage authentique et détaillé d’un ingénieur confronté à une défaillance d’un algorithme médical. L’argumentation est solide : l’orateur établit un parallèle entre les défauts de test classiques et les risques particuliers des systèmes d’apprentissage, en utilisant des exemples concrets (gestion des cas limites, cross-boundary) et en les généralisant à d’autres domaines comme les paiements bancaires ou les réseaux sociaux. Il démontre que les tests traditionnels, même réussis, ne garantissent pas la sécurité des utilisateurs lorsque le système apprend et s’adapte. La présentation incite à une remise en question des pratiques actuelles, en plaidant pour une évolution vers des tests basés sur le comportement et l’impact, et non sur la couverture. L’argumentation est convaincante grâce à la crédibilité de l’orateur et à la richesse des anecdotes.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est relative : l’orateur s’appuie principalement sur son expérience personnelle et des observations empiriques, sans citer d’études scientifiques ou de références externes. Les seules sources mentionnées sont les sites de la conférence NDC, qui ne sont pas des références académiques. La qualité des sources est donc limitée, mais le contenu est cohérent et s’appuie sur des concepts établis en ingénierie logicielle et en test logiciel. L’adéquation entre le titre et le contenu est parfaite : il annonce un drame personnel lié à un algorithme et aborde précisément les insuffisances des tests. Aucun commentaire public n’a été fourni, donc aucune analyse des tendances du public n’est possible.

255 mots

Adéquation titre / contenu

Le titre correspond bien au contenu : l'algorithme de la pompe à insuline a failli tuer l'orateur, et le propos se concentre sur les insuffisances des tests.

Qualité & fiabilité

7/10

Témoignage personnel étayé par une expérience professionnelle de 15 ans dans le génie logiciel, mais reposant sur un seul cas anecdotique sans données externes vérifiées.

Moments clés

Sources citées

  • NDC Conferences — Conférence où la session a été enregistrée, mentionnée dans la description.
  • NDC Oslo — Site officiel de la conférence NDC Oslo, lieu de l'enregistrement.

Sources concordantes

Apport & nouveautés

L’apport original de cette conférence est de relier un cas personnel extrêmement concret de défaillance d’un algorithme de santé aux lacunes théoriques des pratiques de test logiciel, en particulier pour les systèmes d’apprentissage automatique. L’orateur insiste sur le concept de « cas limites entre cas limites » (boundary between edge cases), souvent négligés, et propose une réflexion sur la nécessité de tester le comportement plutôt que l’implémentation, et sur les limites de la couverture de tests face à l’adaptativité des modèles. Son témoignage apporte une illustration saisissante des dangers potentiels des décisions automatisées dans des contextes critiques.

Pour aller plus loin :

  • Test logiciel — Pertinent pour les bases des tests et leurs limites.
  • Apprentissage automatique — Pertinence pour comprendre le comportement adaptatif des modèles.
  • Dispositif médical — Pertinent pour les enjeux de réglementation et de sécurité des dispositifs médicaux.
  • Gilded Rose (exercice de refactoring) — Mentionné dans la vidéo, sans URL garantie, mais utile pour illustrer les pièges des tests basés sur l’implémentation.

164 mots

Profil radar

Le profil radar présente une bonne quantité d'informations et une qualité élevée, mais un niveau technique modéré et une fiabilité globale relative due à l'absence de références externes. La force de cette présentation réside dans l'authenticité du récit et la pertinence des exemples, tandis que sa faiblesse provient du manque d'études ou de données objectives pour étayer les affirmations générales.

Fiabilité 7/10