Un défi proposé par le COMCYBER et l’AID

En octobre 2024, la Direction des systèmes d’information (DSI) cyber du COMCYBER ainsi que l’Agence de l’Innovation de Défense (AID) de la Direction générale de l’armement (DGA) ont lancé conjointement le défi « sécurisation de l’IA », avec la participation dans le jury d’experts de l’Agence ministérielle pour l’intelligence artificielle de défense (AMIAD) et la Direction de l'ingénierie et de l'expertise de la DGA.

Ce défi avait pour objectif d’identifier des solutions ou briques technologiques permettant de se protéger ou de détecter des attaques ciblant les systèmes à base d’intelligence artificielle. Une dizaine de solutions ont ainsi été proposées par des industriels et organismes de recherche.

Deux objectifs étaient au cœur de ce défi :

• Identifier des approches innovantes et des solutions de sécurisation dans un domaine jeune et en pleine expansion ;
• Observer comment les industriels et académiques se représentent les attaques contre l’IA afin d’enrichir notre propre analyse.

La nécessité de protéger les systèmes à base d’IA

Avec le recours à l’intelligence artificielle au sein du ministère des Armées, la protection et la sécurisation des systèmes et de l’utilisation de celle-ci est pensée dès aujourd’hui. Car les systèmes comprenant des traitements à base d’intelligence artificielle (IA) comme tous systèmes peuvent faire l’objet d’attaques spécifiques. La démarche initiée par le COMCYBER et l’AID permet ainsi d’anticiper les nouvelles menaces de l’utilisation de l’intelligence artificielle dans notre quotidien. La recherche de nouvelles solutions de protection et de sécurisation est un enjeu permanent.

Une dizaine de solutions proposées

Le défi « sécurisation de l’IA » a reçu plusieurs propositions de solutions permettant d’adresser différentes menaces afin de sécuriser les systèmes comprenant des traitements à base d’intelligence artificielle.. Les solutions proposées par CEA-LIST et PrismEval se sont distinguées.

La suite d’outils développée par PrismEval

Axée sur les modèles de langage possédant un grand nombre de paramètres ou LLM (Large language model), la solution proposée par l’entreprise PrismEval intitulée "Behavior Elicitation Tool" (BET) est une suite d’outils visant à sécuriser ces modèles. Omniprésents, les LLM sont des outils permettant de gagner du temps au quotidien. Cette suite d’outils BET a été distinguée par le jury du défi « sécurisation de l’IA »

De nombreuses questions s’ouvrent désormais dans leur utilisation et la sécurisation des modèles utilisés. La solution proposée par PrimsEval permet d’évaluer la robustesse de ces modèles de la conception à l’utilisation. La suite d’outils "Behavior Elicitation Tool" fournit également des analyses des modèles d’attaque dans l’objectif de s’en prémunir et d’enrichir nos propres évaluations.

Les solutions proposées par le CEA-List

La deuxième solution primée par le défi « sécurisation de l’IA » est celle proposée par le CEA-List. Le CEA-List a proposé une combinaison de deux outils que le jury a décidé de distinguer : les solutions PyRAT et PARTICUL qui se concentrent sur les attaques adversariales visant, en modifiant les données d’entrée, à provoquer une mauvaise réponse d’un système à base d’IA, par exemple un système de classification d’images.

PyRAT assure une vérification formelle de la sécurité d’un réseau de neurones apportant des garanties mathématiques fortes, pour se prémunir de modifications imperceptibles des données par l’attaquant.

PARTICUL détecte les parties récurrentes d’un ensemble de données pour calculer un score de confiance sur de nouvelles données et permet de se prémunir de modifications plus visibles tels que l’ajout de patchs.