contact@acceis.fr | 02.30.02.19.08

 

Rapport Villani sur l’IA : et la sécurité ?

Rapport Villani sur l’IA : et la sécurité ?

Donner un sens à l’Intelligence Artificielle, et la sécuriser ?

 

Le mathématicien et député Cédric Villani s’est essayé à l’exercice traditionnel, en France, du rapport sur un sujet technique et technologique devant tracer les grandes lignes d’une politique industrielle nationale. Ici, c’est l’intelligence artificielle qui a fait l’objet du rapport, à la demande du Premier Ministre E. Philippe. Le résultat de la « Mission Villani » a donné lieu à une présentation très sollennelle la semaine dernière, lors d’une conférence regroupant parmi les meilleurs experts du sujet au Collège de France et le président E. Macron.

 

La volonté du gouvernement français est de disposer, à court terme, des ressources nécessaires (humaines et technologiques), d’un environnement adapté (en matière de formation académique, de R&D, de règlementation, de capacité de pénétration de marché), de tendre vers une responsabilisation des acteurs (l’éthique de l’IA), et d’apporter un soutien politique et financier concourant à ces objectifs.

 

Nonobstant les lacunes classiques et les biais prévisibles de ce rapport, sa lecture peut laisser le lecteur circonspects sur un point majeur : quelle place pour la sécurité des systèmes d’intelligence artificielle ?

 

 

L’impact de l’IA sur la sécurité

 

Lier l’intelligence artificielle et la sécurité incite à analyser les différentes dimensions de la sécurité affectées, d’en déduire les besoins de sécurité émergeant, puis d’en évaluer les vulnérabilités et menaces pouvant générer des risques. Si l’intelligence artificielle a toujours nourri de nombreux fantasmes catastrophistes vis-à-vis des menaces qu’elle peut engendrer pour la société, les récentes évolutions imposent cependant de réfléchir aux conséquences concrètes et anticipables des risques qui pèsent sur les systèmes d’intelligence artificielle (SIA) existants – et dont les fonctionnalités, ou prises de décisions, ont un impact direct et réel sur les utilisateurs. Heureusement, de nombreux experts en IA se sont déjà penchés sur la question et ont contribué à recentrer les débats sur les problématiques réelles en matière de sécurité.

 

En substance, la question réside dans l’utilisation malveillante des SIA : comment exploiter les SIA à des fins malveillantes ? Quelles en seraient les conséquences ?

 

L’état actuel de l’art permet d’identifier trois dimensions de la sécurité affectées par un détournement des usages des SIA :

 

•  La sécurité numérique ;
  La sécurité physique ;
  La sécurité politique.

 

La sécurité numérique renvoie à deux aspects. D’une part, l’utilisation malveillante des SIA pour compromettre la disponibilité, l’intégrité, la confidentialité des systèmes d’information. Les systèmes d’intelligence artificielle, notamment les techniques d’apprentissage automatisé, ont en effet des propriétés intrinsèques pouvant affecter la sécurité des systèmes d’information en agissant sur les menaces actuelles. L’IA peut ainsi :

 

Amplifier les menaces existantes ; l’efficacité, l’échelle et la diffusion croissante des SIA devrait tendre à avoir un effet levier sur les cyberattaques, multipliant tant leur quantité que leur efficience ;
Générer de nouvelles menaces ; outrepassant les limites des capacités humaines, les SIA pourront permettre d’envisager de nouvelles attaques, soit en exploitant leurs capacités propres, soit en exploitant leurs vulnérabilités intrinsèques ;
  Modifier la nature des menaces ; la combinaison des deux aspects précédents suggère que l’amplification qualitative et quantitative permettra des attaques extrêmement sophistiquées et plus efficaces.

 

Les SIA étant bien plus efficaces et performants que les humains, ils accomplissent, une fois correctement paramétrés et entraînés, certaines tâches bien plus rapidement (rendant la tâche moins onéreuse), et peuvent appliquer ce traitement à beaucoup plus de systèmes supports qu’un humain. Par exemple, les activités de recherche & sauvetage peuvent être exécutées plus rapidement, efficacement et sur des champs bien plus étendus par des SIA que par des analystes humains. Utilisées à des fins malveillantes, les capacités des SIA sont donc susceptibles de générer des nouvelles menaces de nature à affecter la cybersécurité de manière globale. Cependant, il faut conserver à l’esprit que les SIA sont également utilisés pour développer des mesures de détection et de prévention pour la cybersécurité, équilibrant ainsi la balance. En définitive, si les SIA peuvent amplifier qualitativement et quantitativement les menaces existantes en matière de cybersécurité, ils peuvent également amplifier les moyens de protection et de défense contre ces mêmes menaces.

 

D’autre part, l’aspect plus « nouveau » est celui qui affecte la sécurité des systèmes d’IA. Ici, la problématique réside dans l’exploitation des vulnérabilités présentes dans le SIA et affectant leur fonctionnement. Cela inclut des vulnérabilités spécifiques aux systèmes d’apprentissage automatisé, tels que celles liées aux Generative Adversarial Networks (GANs), à l’intoxication des données fournies au SIA, mais également des vulnérabilités plus classiques affectant les systèmes d’information. En définitive, les SIA peuvent être affectés par des vulnérabilités ciblant les algorithmes (modification, effacement) ou la sécurité (intégrité, confidentialité, disponibilité) des données fournies aux SIA.

 

Or, les systèmes d’intelligence artificielle reposant en grande partie sur ces deux éléments, une atteinte à leur sécurité constitue un risque majeur ; l’ouverture des données, considérée comme indispensable au développement de l’IA, ouvre également la porte à des nouvelles menaces facilitant un détournement des usages des SIA. L’intoxication des données d’entrée, par une atteinte à leur intégrité notamment, permet de facilement corrompre un SIA, comme l’a démontré l’expérience « Tay » de Microsoft. Dans ces conditions, la sécurité des SIA, dans leur ensemble, devra inexorablement être prise en compte par les acteurs pour minimiser les risques de détournement d’utilisation.

La dimension physique apparaît affectée dès lors que des SIA sont utilisés dans des systèmes robotiques, tels que les véhicules autonomes, les robots industriels, etc. L’exploitation des vulnérabilités des SIA peut en effet constituer un risque dès lors que les paramétrages sont modifiés et permettent des actions pouvant avoir des conséquences sur le monde extérieur, voire les êtres humains. Là encore, les exemples illustrant les conséquences concrètes de compromission de SIA sont (déjà) largement documentés, et bien que l’on puisse supposer que ces recherches vont servir à améliorer les SIA, la tendance à la multiplication des robots et systèmes intégrant de l’intelligence artificielle pour aider à la décision impose de souligner les risques qui peuvent émerger dans cette dimension.

 

La sécurité politique correspond à l’utilisation de SIA à des finalités politiques, c’est-à-dire l’exploitation des algorithmes d’intelligence artificielle intégrés dans les plateformes d’information et de communication pour atteindre un objectif politique défini. Cela vous semble familier ? Effectivement, la dernière élection présidentielle américaine a fait écho de cette problématique, sur fond d’ingérence russe ayant permis la diffusion massive de fausses informations – sur Facebook notamment – et ayant contribué, in fine, à l’élection de Donald Trump (« it’s all fake news« ). La manipulation d’information et la polarisation des opinions engendrées par les algorithmes d’IA peut effectivement contribuer à faciliter la diffusion d’idéologies et de discours politisés – on notera néanmoins que si les outils sont nouveaux, et à cet égard plus performants, le procédé ne l’est pas. Le risque, sur ce plan, réside donc dans la rapidité de remise en question de paradigmes qui sont considérés comme acquis : politiques, sociaux, sociétaux, économiques, voire, et c’est peut-être là le plus dramatique, scientifique.

 

 

L’Intelligence Artificielle et la sécurité : antinomiques ?

 

De la dualité intrinsèque des technologies

 

L’IA est par nature une technologie duale. Les fonctions exécutées par de nombreux SIA peuvent être utilisées tant à des fins bénéfiques qu’à des fins malveillantes pour la société. Les exemples des systèmes de cybersécurité ou de drones autonomes, utilisant de l’IA, sont les plus révélateurs à cet égard ; les techniques utilisées par ces systèmes peuvent avoir des applications autant défensives qu’offensives. C’est le propre des technologies numériques, dont la nature est de facto définie par la finalité de l’usage pour lequel elles sont créées. En l’occurrence, les systèmes d’information et les systèmes d’intelligence artificielle seront développés avec la volonté d’effectuer des fonctions identifiées, mais la finalité de leur utilisation dépendra de l’intention de leurs utilisateurs. Si l’on reprend les exemples cités, en matière de cybersécurité, les hackers exploitent les techniques déployées pour défendre les SI pour mieux les contourner et ainsi générer de nouvelles attaques plus performantes. A l’inverse, les drones sont aujourd’hui utilisés pour tout un ensemble d’usages bienveillants (livraisons de colis, exploration de terrains non praticables par les humains, etc.) mais les premières finalités recherchées relevaient principalement de la défense, avec le développement de systèmes autonomes de guerre (drones aériens, terrestres, maritimes, etc.).

 

Dans ces conditions, la dualité des technologies des SIA fait émerger des risques de sécurité difficilement anticipables mais réels. C’est tout le paradoxe de l’innovation dans les technologies duales : à trop anticiper le détournement d’utilisation, on pourra nuire à l’innovation technologique par principe de précaution, et, inversement, le détournement malveillant des innovations impose d’améliorer davantage les technologies pour renforcer la sécurité et minimiser les risques de détournement. L’innovation apprend de ses erreurs, mais doit les produire au préalable.

 

Ouverture des systèmes d’intelligence artificielle

 

On se trouve dans le cœur du problème qui lie sécurité et intelligence artificielle. Le rapport Villani demande l’ouverture de l’IA, dans toutes ses composantes : ouverture des données pour nourrir les systèmes d’IA, et ouverture des « boîtes noires » pour comprendre les décisions des algorithmes et notamment ceux des systèmes d’apprentissage profond. Quelle place accorder à la sécurité dans ces initiatives ?

 

L’ouverture des données – i.e. la mise à disposition de données publiques, voire privées pour les SIA afin d’améliorer les phases d’apprentissage – est une problématique qui comprend des enjeux qui lui sont spécifiques. Si le rapport Villani encourage et appelle de ses vœux une plus grande ouverture des données pour nourrir les SIA, la problématique de la sécurisation des données n’est que brièvement mentionnée. Or, nous l’avons vu, une altération ou une compromission des données peut conduire à une modification des comportements des SIA et induire des risques conséquents entravant considérablement l’apport des technologies d’intelligence artificielle. Par conséquent, la sécurité des données devient un enjeu de taille pour la sécurité des SIA, mais elle devra être prévue suffisamment en amont pour ne pas limiter les fonctionnalités et l’apport recherché des technologies – renvoyant ainsi à la perception classique de la sécurité comme contrainte sans retour sur investissement. Pour autant, l’ouverture des données est déjà un sujet de négociations intenses et nécessite des moyens et des procédures nombreuses pour être mise en œuvre et opérationnalisable. Aussi, ajouter une contrainte supplémentaire dans le déploiement suscitera inévitablement des réticences de la part des acteurs concernés, risquant de freiner l’ouverture des données pour les SIA. C’est pourquoi il est impératif de penser la sécurité dès la conception des systèmes, afin qu’elle ne vienne pas imposer une refonte globale des processus et empêcher le développement de nouvelles technologies ou de nouveaux usages numériques.

 

L’autre point lié à l’ouverture des SIA, cité dans le rapport Villani, est celui relatif à l’ouverture des « boîtes noires » des systèmes de deep learning, pour s’assurer de comprendre les prises de décisions des SIA. Outre la difficulté intrinsèque de la question, d’aucun estime qu’il s’agit là de se donner bonne conscience sans pour autant constituer un intérêt scientifique – mais trouve un intérêt sociétal réel.
L’éthique des systèmes d’intelligence artificielle passera-t-elle par la sécurité des algorithmes ? La question est légitime dans la mesure où, comme il est indiqué, expliquer le fonctionnement des « boîtes noires » des systèmes d’apprentissage profond reste encore à un niveau théorique, alors que les risques de sécurité liés à la compromission des algorithmes sont bien réels. Aussi, la préconisation du rapport Villani « d’auditer les boites noires » des SIA pour s’assurer que les algorithmes sont conformes au cadre juridique national et à l’éthique oublie les aspects techniques et organisationnels nécessaires à la garantie d’un niveau de sécurité satisfaisant pour l’utilisation d’un SIA. Avant d’évaluer l’équité et l’éthique des décisions prises par le système, il convient d’évaluer qu’aucun des éléments qui le constitue ou qui préside à sa prise de décision n’a été compromis.

 

En définitive, la sécurité et les systèmes d’intelligence artificielle ne sont pas forcément incompatibles. La protection des systèmes basée sur des mesures qui reprendraient en très grande majorité les mesures définies de SSI définies par l’ANSSI et les dispositions du RGPD, constituerait une base suffisamment étoffée pour apporter un niveau de sécurité satisfaisant afin de minimiser les risques d’exploitation malveillante des technologies d’IA. Bien sûr, pour certains aspects (mise à disposition des données, erreur de décision des systèmes, etc.), la sécurité revêt un aspect contraignant voire fatidique, mais c’est le propre de la sécurité : apprendre des erreurs pour améliorer encore et toujours les mesures de prévention et de correction.

 

Tout comme l’intelligence artificielle, en somme.