Quelle IA résiliente pour les systèmes critiques ?

Grâce à ses capacités d’automatisation de certaines tâches, mais aussi d’adaptation à des situations imprévues, l’intelligence artificielle est un facteur de résilience pour de multiples systèmes. Dans des secteurs vitaux comme l'énergie, la santé ou les transports, les failles possibles de l'IA peuvent sérieusement menacer des entreprises essentielles. Nous allons voir comment l'IA peut menacer une entreprise et l'importance de se former intelligemment à l'IA

Comment définir un système critique ?

Les systèmes critiques sont nombreux. Ils se situent dans des secteurs d’activité très différents comme celui de l’énergie (centrales nucléaires, réseaux de distribution de gaz ou d’eau, barrages hydrauliques…), des banques (trading), de la santé, du transport (aérien, ferroviaire...) et des environnements scientifiques et pharmaceutiques (tests en laboratoire…).

Ces systèmes se caractérisent de deux manières :

• La criticité de leurs données : si quelques données seulement sont perdues, c’est toute l’activité de l’entreprise qui est mise en danger.
• La disponibilité de leurs données : en cas d’incident, il est nécessaire de la restaurer en très peu de temps.

D'autres exigences, telles que la performance ou la rentabilité, peuvent également être déterminantes pour un système critique.

En quoi l’IA peut-elle montrer des points de défaillance ?

L’intelligence artificielle est de plus en plus fréquemment utilisée dans les systèmes critiques.
Ses bénéfices sont nombreux : prise en charge de jeux de données toujours plus étendus et complexes, aide à l’analyse, capacités prédictives, génération de textes pour interagir avec des collaborateurs ou des clients dans le cadre de chatbots... 

Mais l’IA peut également présenter de multiples pièges dans lesquels il est facile de tomber, et ce, à toutes les étapes du processus : lors du choix des jeux de données initiaux (risques de biais), le manque de transparence pendant la phase d’entraînement des modèles, l’absence de dispositifs de protection permettant d’assurer la confidentialité des données, l’enfermement des algorithmes dans des boîtes noires (perte de connaissance / non explicabilité…).

Il est par ailleurs important de souligner que plus on donne de crédit aux résultats fournis par l’IA, moins on est enclin à remettre en cause la pertinence de ses réponses. Prenons l’exemple du secteur médical : de plus en plus d’éditeurs proposent des solutions d’assistance à la détection de cellules anormales, qui aident les équipes médicales à diagnostiquer certains cancers. Le risque est que ces outils prennent de plus en plus de place dans le processus de détection et que le personnel médical s’en remette intégralement à eux, sans être capable de détecter une potentielle erreur d’analyse. 

Quelles bonnes pratiques pour renforcer la résilience d’une intelligence artificielle ?

En matière d’IA et de résilience, il est impératif de garder la maîtrise de toutes les étapes : les données d’origine doivent être exemptes de biais et les processus d'entraînement rigoureux. Quant à la transparence, elle doit être omniprésente afin de faciliter l’explicabilité des algorithmes. 

Une IA résiliente est aussi un système auto-remédiant. L’IA doit en effet être en mesure d’analyser ses propres changements de paramètres et de comportement. Cela lui permet de détecter si une personne mal intentionnée est en train de modifier son modèle interne, de procéder à une injection de prompts ou de fine-tuner un de ses LLM (grands modèles de langage) s’il s’agit d’une IA générative.

Enfin, une IA résiliente est une IA sur laquelle des jeux de tests (pour des réseaux de neurones statiques par exemple) peuvent être réalisés afin de vérifier qu’ils mènent aux bons résultats. De même, l’utilisation de moteurs d’inférence permet de vérifier que les résultats sont dans les normes, que la solution est « jouable », ce qui peut s’avérer particulièrement précieux dans le cadre, par exemple, d’un projet de recherche de nouveaux médicaments.

L'IA est une technologie puissante, mais elle doit rester, en toutes circonstances, sous le contrôle de l’humain. Pour y parvenir, l'IA résiliente doit avant tout être une IA responsable en laquelle les experts peuvent avoir confiance. C’est la condition sine qua none de sa pérennité au sein de systèmes critiques.

Cet article est la synthèse des échanges ayant eu lieu lors d’une table ronde organisée le 28 mars 2024 à l’occasion du Forum InCyber, à Lille. Les débats ont réuni Frédéric Daurelle, Architecte Sécurité chez Salesforce, Deepak Dube, CEO d’Eazyml, Hakim Loumi, Data & AI Security - Senior Product Manager chez Oracle et Henri Pidault, DSI Groupe de la SNCF.