Google Webinar | Risk Classification with LLMs

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée pour les professionnels de la cybersécurité cherchant à automatiser la classification des risques. L’argumentation est solide, basée sur une expérience concrète chez Google, avec des exemples précis et des mesures de performance (précision, rappel). L’oratrice insiste sur l’importance du processus plutôt que sur le modèle lui-même, ce qui est une approche pragmatique. Cependant, certains points manquent de détails chiffrés (ex. taux de précision exacts) et la présentation reste à un niveau intermédiaire, sans entrer dans les aspects techniques avancés de l’ingénierie des prompts.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est correcte pour un webinaire d’entreprise : la méthode est décrite de manière structurée, avec des références à des taxonomies reconnues comme CWE-25 de MITRE. Les sources citées sont principalement internes à Google, et le seul lien externe fourni est celui de la chaîne BrightTalk, qui n’apporte pas de références supplémentaires. Le titre est en adéquation avec le contenu, bien que le terme ‘webinar’ indique clairement le format. La présentation ne prétend pas être une étude scientifique, mais plutôt un retour d’expérience, ce qui est acceptable dans ce contexte.

Le titre est clair et correspond au contenu : un webinaire sur la classification des risques avec des LLM.

7/10

Présentation d'une méthode éprouvée en entreprise, avec des retours d'expérience concrets et des mesures de performance. Cependant, absence de détails chiffrés précis et de références académiques.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction par Morgan Garland (WiCyS) et présentation de l'organisation.
• 03:00Début de la présentation par Sharon Crew, définition du problème de la classification des risques.
• 07:00Explication de l'utilisation des LLM pour la classification, avec des exemples de catégories.
• 10:00Présentation du processus de classification : définition du cas d'usage, prompt initial, collecte de ground truth.
• 15:00Leçons apprises sur la collecte de ground truth : importance du playbook, échantillonnage équilibré, accord inter-évaluateurs.
• 20:00Conseils sur la sélection des modèles : température à zéro, modèles de raisonnement, classification multi-labels.
• 25:00Gestion des hallucinations avec une sortie structurée, et importance de la distinction entre déclencheur et cause racine.
• 30:00Mesure de la précision et du rappel, et comment les utiliser pour améliorer le prompt.
• 35:00Conclusion et points clés à retenir : taxonomie claire, ground truth rigoureux, itération.
• 40:00Session de questions-réponses avec l'audience.

• WiCyS Strategic Partners Webinars — Lien fourni dans la description pour accéder à d'autres webinaires des partenaires stratégiques de WiCyS.

• CWE - Common Weakness Enumeration — Taxonomie des faiblesses logicielles, citée dans la vidéo comme base pour la classification.