Se protéger, se défendre : tels étaient les maitres-mots de ce défi visant à assurer l’intégrité du système tout au long de sa vie opérationnelle. Au total, plus d’une dizaine de partenaires (laboratoires, start-ups, PME, ETI ou grands groupes) ont participé à ce défi amenant plusieurs solutions innovantes. Deux d’entre eux se sont particulièrement distingués et ont été primés par le jury, comprenant outre le COMCYBER et l’AID, des experts de l’Agence ministérielle pour l’IA de défense (AMIAD) et de la Direction générale pour l’armement (DGA).

Suite d’outils BET ("Behavior Elicitation Tool")

La suite d’outils BET, développée par la société PRISM EVAL, vise à sécuriser les LLMs (large language models). Ces modèles sont par exemple utilisés pour des chatbots à base d’IA comme Le Chat, Chat GPT ou GenIAlly, l’outil interne du ministère des Armées. La PME a ainsi développé un premier outil, BET Eval, pour tester la robustesse des LLMs, en s’appuyant sur une approche innovante à base de combinaison de primitives comportementales d'attaques, qui permet d’adresser un large panel d’attaques. Les tests réalisés par l’outil portent sur la génération de contenus malveillants ou dangereux, sur l’extraction non autorisée d’informations sensibles, sur le contournement des garde-fous.

PyRAT et PARTICUL

Les solutions du CEA-List se concentrent sur les attaques adversariales visant, en modifiant les données d’entrée, à provoquer une mauvaise réponse d’un système à base d’IA, par exemple un système de classification d’images. Pour cela, il s’appuie sur la combinaison de deux outils : l’un, PyRAT, assure une vérification formelle de la sécurité d’un réseau de neurones apportant des garanties mathématiques fortes, pour se prémunir de modifications imperceptibles des données par l’attaquant ; l’autre, PARTICUL, détecte les parties récurrentes d’un ensemble de données pour calculer un score de confiance sur de nouvelles données, et permet de se prémunir de modifications plus visibles tels que l’ajout de patchs.

L’intelligence artificielle est un enjeu majeur pour les forces armées. En tant que système d’information, assurer sa sécurisation est indispensable. Le Commandement de la cyberdéfense (COMCYBER) s’engage aujourd’hui aux côtés de l’Agence de l'innovation de Défense (AID) dans ce défi innovant : celui d’identifier et d’évaluer l’intérêt de technologies permettant de se protéger et de détecter des attaques sur les systèmes incluant l’IA.