Comment l’IA générative transforme le comportement des utilisateurs internes
Les systèmes d’IA, en particulier les plateformes génératives telles que les chatbots, sont conçus pour interagir avec les humains. Ils sont dotés de capacités de réponse extraordinaires, semblables à celles des humains, qui peuvent à la fois confirmer et amplifier les idées et idéologies humaines, offrant ainsi un partenariat cognitif séduisant entre la machine et l’humain. Face à la menace que représentent les acteurs internes, la diversité des interactions offertes par l’IA peut considérablement accélérer un incident lié à une menace interne et faciliter la mise en place de nouvelles plateformes d’attaque permettant de mener des actes malveillants de l’intérieur.
Cet article propose une analyse sur la manière d’appréhender ce nouveau paradigme du risque interne, et expose les principes clés de gouvernance permettant aux RSSI, RSE et responsables SOC de gérer les menaces inhérentes au risque interne lié à l’IA.
Qu’est-ce qu’une menace interne ?
Il existe de nombreuses définitions, dans l’industrie ou les pouvoirs publics, de ce qui constitue une menace interne. Essentiellement, il s’agit du préjudice causé lorsque l’accès de confiance à des informations, actifs et membres sensibles de votre personnel est utilisé à mauvais escient, à des fins malveillantes ou par négligence.
Les méthodologies traditionnelles de gestion des menaces internes reposent depuis longtemps sur deux concepts clés : l’assurance quant aux personnes ayant accès à des actifs sensibles, et un système de défense multicouche pour surveiller toute violation de vulnérabilité. Cela s’effectue souvent à la fois avant, et après que l’accès a été accordé. Dans la phase préalable à l’accès, cette assurance s’obtient par le biais de vérifications de sécurité ou lors du recrutement. Une fois l’accès accordé, des contrôles tels que la gestion des accès à privilèges, et l’architecture confiance zéro offrent plusieurs couches défensives.
Comment l’IA transforme-t-elle le paradigme de la menace interne ?
Bien que ces deux concepts restent au cœur de la gestion des menaces internes, l’introduction de l’IA apporte trois nouveaux aspects clés qui vont remodeler le paradigme.
L’IA peut agir comme un amplificateur cognitif, influençant et affectant les motivations qui peuvent conduire à des activités internes malveillantes. Cela concerne tout particulièrement l’acteur malveillant interne délibéré, c’est-à-dire une personne qui envisage de commettre un acte préjudiciable de l’intérieur. Ces personnes peuvent désormais se tourner vers les systèmes d’IA pour valider leur raisonnement, obtenir des éclairages uniques et, surtout, trouver des raisons de passer à l’action. Les systèmes génératifs étant conçus pour interagir avec les utilisateurs et abonder dans leur sens, un système d’IA utile peut ainsi se transformer en une dangereuse machine à encourager les dérives pour les personnes ayant des intentions malveillantes en interne.
L’IA peut faire office de levier opérationnel. L’IA peut désormais développer et élargir la gamme d’outils nécessaires pour perpétrer des actes malveillants d‘initié. De nouvelles plateformes d’ingénierie sociale telles que le vishing et les deepfakes confèrent aux cyberadversaires un nouvel avantage pour causer des préjudices d’origine interne. L’IA peut générer des solutions et des plateformes opérationnelles à une vitesse toujours plus élevée ; souvent sans qu’une expertise métier humaine soit nécessaire pour exécuter les activités. Tandis qu’on attend toujours plus des capacités avancées de l’IA, le seuil d’accès requis pour exploiter ces plateformes a quant à lui considérablement baissé.
L’IA peut agir comme une menace interne semi-autonome, en particulier lorsque des systèmes d’IA agentique ou des identités non humaines se voient accorder un large degré d’ autonomie ; cela a pour effet de créer un vecteur de préjudices internes avec peu ou pas de supervision ou de contrôle humain. À mesure que les agents IA prennent en charge bon nombre des couches d’orchestration autrefois réservées aux humains, ils le font sans être soumis à certaines des restrictions d’autorisations qui s’appliquent généralement aux comptes de service. Compte tenu de l’étendue de leurs accès et de leur autorité, ces identités non humaines (INH) peuvent elles-mêmes devenir la cible d’intentions malveillantes de la part d’initiés. Cela fait généralement référence aux risques croissants d’injection de prompt, d’empoisonnement ou d’autres formes de biais intégrés. À bien des égards, cela reflète les risques d’ingénierie sociale auxquels les humains sont traditionnellement confrontés. Même en l’absence de tentatives délibérées ou malveillantes visant à les corrompre, les systèmes d’IA et les agents IA peuvent mener des actions involontaires ; ce qui peut créer des vulnérabilités aux préjudices internes et donc des opportunités d’attaque.
Comment se prémunir contre les menaces internes liées à l’IA
Les surfaces d’attaque de plus en plus étendues, créées ou facilitées par l’IA, suscitent une inquiétude croissante. Dans les propres recherches de Darktrace sur la cybersécurité liée à l’IA, les risques introduits, et reconnus, par la prolifération des outils et systèmes d’IA continuent de dépasser les politiques traditionnelles et les garde-fous de gouvernance. 22 % des personnes interrogées dans l’enquête ont cité « l’utilisation abusive interne facilitée par l’IA générative » comme une préoccupation majeure en matière de menaces. Et pourtant, dans la même enquête, seuls 37 % de l’ensemble des personnes interrogées disposent de politiques formelles encadrant l’utilisation sûre et responsable de l’IA. Cela fait apparaître un écart important et préoccupant entre les risques connus et les inquiétudes liées aux menaces, mais aussi à notre capacité (et les ressources) à les atténuer.
Que peuvent faire les RSSI et les responsables SOC pour protéger leur organisation contre les menaces internes liées à l’IA ?
Face à l’adaptation rapide, à l’adoption et au déploiement à grande échelle des systèmes d’IA, la mise en place d’une gouvernance de l’IA adaptée est un impératif. Sur le long terme, trouver le juste équilibre entre les gains de productivité générés par l’IA et le respect rigoureux des exigences de conformité ne peut être que bénéfique. Il sera crucial d’adapter les dispositifs traditionnels de lutte contre les menaces internes afin de prendre en compte les nouveaux risques liés à l’utilisation de l’IA. Tout comme il sera essentiel de comprendre l’intérêt des systèmes d’IA qui renforcent la résilience de votre cybersécurité plutôt que de la compromettre.
Pour les personnes en charge de la sécurité et de la protection des actifs et des données de leur entreprise, la manière dont l’IA a bouleversé le paradigme des menaces internes peut sembler intimidante. L’adoption d’une gouvernance de l’IA solide et adaptée peut être difficile à mettre en place en raison du volume et de la complexité des systèmes à surveiller. Outre les mesures traditionnelles d’atténuation des menaces internes, telles que la surveillance des utilisateurs, les contrôles d’accès et la gestion active, la rapidité et l’autonomie de certains systèmes d’IA nécessitent différentes couches de contrôle supplémentaires.
Comment Darktrace aide à se prémunir contre les menaces internes liées à l’IA
Darktrace a démontré qu’il est possible, grâce à des plateformes telles que notre Cyber AI Analyst propriétaire et à notre dernier produit, Darktrace / SECURE AI, de rendre les systèmes d’IA capables d’apprendre par eux-mêmes, de s’autoévaluer et de résister aux comportements imprévisibles de l’IA, tout en offrant des résultats impressionnants. Ces solutions viennent compléter les stratégies traditionnelles des COS et des RSSI pour lutter contre les menaces internes.
Avec / SECURE AI, certains risques éphémères liés à l’utilisation de l’IA peuvent être plus facilement encadrés. Plus précisément, la capacité à surveiller les prompts conversationnels (qui peuvent à la fois influencer les résultats de l’IA et révéler d’éventuelles tentatives de manipulation de l’IA, signalant ainsi précocement une intention malveillante interne) ; l’observation en temps réel de l’utilisation et du développement de l’IA (mettant en évidence d’éventuels angles morts entre le développement et le déploiement de l’IA) ; la détection de l’IA fantôme (révélant les outils et agents non approuvés dans l’ensemble de votre infrastructure informatique) ; et la capacité à savoir quelles identités (humaines ou non humaines) disposent de droits d’accès. Toutes ces fonctionnalités s’appuient sur les structures solides déjà en place pour la gestion des menaces internes.
Comment adopter une approche de défense en profondeur face aux menaces internes liées à l’IA
Même sans ces outils, il existe quatre domaines clés dans lesquels des contrôles robustes et plus efficaces peuvent atténuer la menace interne liée à l’IA. Chacun des éléments ci-dessous propose une approche de défense en profondeur : associer la prise en compte et la compréhension d’un vecteur de menace interne à des contrôles qui peuvent renforcer vos défenses.
Contrôles d’identité et d’accès
Bien comprendre les entités qui peuvent accéder à vos informations, actifs et membres sensibles de votre personnel constitue la première étape pour comprendre le contexte dans lequel des préjudices liés aux menaces internes peuvent survenir. L’IA a montré que les opérateurs de chair et d’os ne sont pas les seuls à pouvoir perpétrer des menaces internes ; les identités non humaines (telles que les systèmes d’IA agentique) peuvent agir de manière autonome et libre si elles disposent des identifiants appropriés. En traitant les identités non humaines de la même manière que les opérateurs humains (plutôt que comme de simples outils informatiques utiles), et en ajoutant des mesures similaires d’atténuation et de gestion, vous pouvez protéger à la fois votre entreprise, et les identités qui lui sont associées contre toute intention malveillante d’origine interne.
Visibilité et détection de l’IA fantôme
Configurer soigneusement les systèmes d’IA, ainsi que maintenir une surveillance interne, peut aider à identifier l’utilisation de « IA fantôme », définie comme l’utilisation d’outils d’IA non approuvés sur le lieu de travail. L’adoption de l’IA fantôme pourrait résulter d’une préférence délibérée ou d’une recherche de raccourcis amenant les personnes à utiliser des systèmes et des modèles qu’elles connaissent, même s’ils ne sont pas approuvés. Outre certains risques inhérents, du point de vue des performances, à l’utilisation de l’IA fantôme (comme les fuites de données et les actions indésirables), celle-ci pourrait également préfigurer de sérieux préjudices de la part d‘initiés (que ce soit par des tentatives délibérées de contourner les contrôles habituels, ou en créant des failles au moyen d’outils non mis à jour ou non homologués).
Garde-fous des prompts et des sorties
La possibilité de mettre en place des garde-fous pour les systèmes d’IA offre une sorte de couche traditionnelle de « protection périmétrique » dans l’architecture de défense de l’IA. Elle permet de vérifier les prompts et les réponses au regard des vecteurs de menace connus ou des méthodes de gestion des menaces internes. À elles seules, ces mesures de protection traditionnelles n’offrent qu’une assurance limitée. Toutefois, si cette approche est associée à une détection des menaces axée sur le comportement et à un système d’application des règles qui dissuade les activités internes malveillantes comme accidentelles, elle offrirait une capacité de confinement considérable dans le cadre d’une défense en profondeur.
Journalisation forensique et préparation à la réponse aux incidents
La détection, la collecte de données, l’analyse forensique et l’investigation sont des éléments inhérents à toute stratégie efficace d’atténuation des menaces internes. Pour bien comprendre l’ampleur ou la portée de toute activité interne suspectée (par exemple, déterminer si elle était délibérée, ciblée ou susceptible de se reproduire), cette riche source d’analyse pourrait se révéler inestimable. À mesure que la nature des activités commerciales devient de plus en plus éphémères : les actifs étant sécurisés dans des conteneurs distants, les informations analysées au moyen d’architectures temporaires ou basées sur le cloud, et les nœuds d’accès répartis au-delà du champ de visibilité direct des équipes de sécurité internes ; le développement d’une gouvernance de l’IA fondée sur le confinement, la détection et l’application des politiques gagnera toujours plus en importance.
L’activation de ces contrôles peut offrir une visibilité sur certains des risques souvent évoqués en rapport à la gestion de l’IA et améliorer leur supervision. Avec des analyses de données adaptées et une supervision humaine appropriée des actions à haut risque, une telle approche peut mettre en lumière les principales inquiétudes soulevées par un nouveau paradigme de menaces internes liées à l’IA ; à condition de :
- S’assurer que les systèmes d’IA délibérément mal configurés sont rendus visibles via des contrôles réguliers.
- Signaler tout changement dans l’activité des systèmes susceptible d’indiquer des actes malveillants d’initié ; qu’ils soient malveillants ou accidentels.
- Promouvoir un processus sécurisé dès la conception qui décourage et dissuade les velléités d’initié.
- Garantir que le plan de contrôle des accès basés sur l’identité couvre les personnes, les identités non humaines (NHI) et les modèles d’IA, et :
- Proposer des stratégies de confinement positives qui aideront à calibrer le degré de contrôle exercé sur l’IA et à minimiser les activités indésirables.
Pourquoi la menace interne reste un défi humain
À la base, quelle que soit sa configuration, l’IA reste un outil algorithmique ; quelque chose conçu pour automatiser, traiter et gérer des fonctions informatiques à la vitesse d’une machine, et accroître la productivité. Même lorsque les meilleures défenses de cybersécurité sont en place, la réussite d’un programme de gestion des menaces internes dépendra toujours de la capacité des opérateurs humains à identifier, à effectuer le triage et à gérer la surface d’attaque exposée aux menaces internes.
Dans l’absolu, les politiques de gouvernance de l’IA, les points d’arrêt contrôlés par « l’humain dans la boucle » et les fonctions de surveillance automatisées ne permettront pas de se prémunir complètement contre les actes malveillants d‘initié ; à moins, bien sûr, qu’émerge une volonté de gérer cette question de manière proactive, en s’appuyant sur une culture solide axée sur la prévention des abus de confiance et de responsabilités.
[related-resource]
Découvrez comment sécuriser vos outils d’IA
Découvrez comment identifier les risques liés à l’IA afin d’établir des cadres et contrôles de gouvernance de l’IA pour sécuriser l’innovation




















