Pourquoi la shadow IA émerge
Imaginez que vous êtes un employé sous pression, avec des échéances qui s’accumulent et des tâches répétitives qui s’amoncellent chaque jour. Vous trouvez en ligne un outil d’IA gratuit qui promet d’automatiser le travail en quelques secondes ; aucune approbation n’est nécessaire. Cela semble être une victoire facile, vous collez quelques données, rédigez rapidement une invite, et avancez plus vite.
Mais à cet instant, quelque chose a changé.
Des informations sensibles sur les clients sont saisies dans un outil que votre organisation ne surveille pas, ne contrôle pas et ne peut pas consulter, et soudain, ces données ne sont plus là où elles devraient être, et personne ne sait où elles sont passées.
C’est la réalité de l’ IA fantôme : des employés qui utilisent des outils d’IA non autorisés pour aller plus vite, tout en créant involontairement un risque qui échappe totalement à toute visibilité et à tout contrôle.
Il ne s’agit pas d’un cas isolé : selon des études menées auprès d’entreprises, près de la moitié des employés déclarent utiliser des outils d’IA non autorisés, privilégiant souvent la rapidité et la productivité au détriment de la sécurité. De plus, 51 % des employés déclarent connecter des outils d’IA à des systèmes ou applications professionnels sans l’autorisation du service informatique, ce qui engendre des risques opérationnels importants. Dans les organisations où l’utilisation de l’IA fantôme est particulièrement répandue, le coût moyen des incidents de sécurité peut atteindre 670 000 dollars.
Bien que l’IA fantôme soit souvent une préoccupation majeure pour les professionnels de la sécurité, elle ne constitue qu’un aspect de la manière dont l’utilisation de l’IA peut accroître les risques. La compréhension et la gestion de l’utilisation de l’IA fantôme doivent être considérées comme faisant partie d’une stratégie globale et complète de gestion des risques visant à sécuriser les systèmes d’IA, notamment les identités humaines et celles des agents, les interactions, les partenariats entre humains et IA, ainsi que les comportements qui s’exercent dans l’ensemble de l’entreprise numérique, de la visibilité et de la gouvernance à la détection, à la réponse et au rétablissement.
Une gestion efficace des risques repose sur une stratégie à plusieurs niveaux et interdisciplinaire. Cette stratégie doit couvrir la gouvernance et la visibilité, le contrôle des identités, des accès et des agents, la sécurité et la confidentialité des données, les pratiques MLOps et LLMOps sécurisées, la sécurité à l’exécution, la détection fondée sur les comportements, la réponse autonome et la reprise des activités.
Cet article de blog explore un cas d’usage spécifique de gouvernance et de visibilité lié à l’IA fantôme et met en lumière les défis qu’il présente, ainsi que les stratégies de défense que les équipes de sécurité peuvent adopter.
Pourquoi l’IA fantôme est difficile à détecter
En matière d’IA, les activités facilement observables par les organisations ne reflètent pas toujours l’ensemble des usages de l’IA au sein des outils, des applications et des flux de travail de l’entreprise. Par conséquent, les organisations qui utilisent des méthodes traditionnelles fondées sur des règles pour détecter les activités inhabituelles peuvent avoir du mal à distinguer les usages non autorisés de l’IA des activités opérationnelles légitimes, notamment à mesure que les applications SaaS, les API et les couches d’orchestration intègrent davantage l’IA dans les processus métier courants. S’appuyer sur des renseignements préalablement recueillis pour identifier les menaces, ou sur des listes d’autorisation et de blocage difficiles à maintenir à jour, ne constitue pas une stratégie suffisamment dynamique pour gérer les risques. Par ailleurs, de nombreuses organisations concentrent leurs efforts sur la détection de l’IA fantôme au sein de leurs infrastructures administrées, notamment au niveau des passerelles, des points de terminaison et des architectures SASE, ce qui constitue une base essentielle. Toutefois, les organisations doivent disposer d’une visibilité sur l’ensemble de leurs infrastructures réseau et être capables d’y détecter l’IA fantôme, qu’il s’agisse d’environnements sur site, hybrides, de centres de données ou d’infrastructures cloud, même lorsque les agents installés sur les points de terminaison n’offrent pas de visibilité sur ces environnements. Cela permet de mettre en évidence l’utilisation du protocole MCP, des flux de données et des agents autonomes dans l’ensemble de ces environnements.
Par exemple, les employés interagissent chaque jour avec des assistants d’IA sur des plateformes SaaS approuvées. Cependant, les extensions de navigateur et autres types de plug-ins peuvent acheminer des requêtes contenant des données d’entreprise vers des services d’IA intégrés, d’une manière qui échappe à l’équipe de sécurité. Les workflows reposant sur l’IA peuvent faire appel, en arrière-plan, à plusieurs API, couches d’orchestration et services cloud, ce qui complique la tâche des outils de sécurité traditionnels lorsqu’il s’agit de déterminer où les données sont traitées, stockées ou retransmises. Comme une grande partie de cette activité se déroule au sein de sessions de navigateur de confiance et de trafic SaaS chiffré, les contrôles classiques de surveillance du réseau, de DLP et de gestion des listes d’autorisation d’applications manquent souvent du contexte nécessaire pour identifier ou encadrer précisément ces interactions
Identifier les outils d’IA présents dans l’environnement n’est qu’une partie de l’équation. Le véritable défi réside dans la compréhension des comportements liés à leur utilisation. Une application d’IA n’est pas intrinsèquement risquée, mais la manière dont les utilisateurs ou d’autres actifs interagissent avec elle peut l’être. L’exposition de données sensibles, les schémas d’accès anormaux et l’utilisation abusive de flux de travail assistés par l’IA paraissent souvent légitimes pris isolément et ne deviennent visibles qu’au moyen d’une analyse comportementale à l’échelle de l’environnement global.
Ce que la visibilité de l’IA fantôme montre et ne montre pas
Une visibilité complète sur l’IA fantôme permet aux organisations de répondre à plusieurs questions importantes :
- Quels types d’IA utilisons-nous ? Quelles plateformes d’IA, quels agents, clients/serveurs MCP et services sont actifs dans l’ensemble de l’entreprise ?
- Qui utilise les services d’IA ? Quels utilisateurs, unités opérationnelles ou systèmes interagissent avec ces services d’IA ?
- Nos données sont-elles en sécurité ? Des données sensibles ou réglementées sont-elles exposées via des prompts, des workflows ou des intégrations ?
- Les systèmes d’IA se comportent-ils comme prévu ? Les systèmes d’IA présentent-ils un comportement anormal ou fonctionnent-ils en dehors des processus de gouvernance approuvés ?
- Nos systèmes d’IA sont-ils victimes d’une attaque ? Un attaquant tente-t-il de manipuler les prompts, d’influencer le comportement des agents ou d’exploiter des workflows reposant sur l’IA ?
Répondre à ces questions est essentiel aux efforts plus larges de gouvernance de l’IA. Cependant, cela se limite à aider les équipes à comprendre les interactions initiales et ne leur permet pas de comprendre les dépendances et les résultats essentiels pour sécuriser l’IA dans toute l’entreprise.
Une visibilité plus approfondie, qui permet de comprendre les dépendances et les résultats, n’est pas toujours proposée par les solutions ponctuelles de sécurité de l’IA. Répondre aux questions ci-dessous nécessite de comprendre le comportement à l’exécution et les résultats opérationnels :
- Quelles actions l’interaction avec l’IA a-t-elle déclenchées ?
- À quels systèmes, applications ou données a-t-il accédé ? L’IA a-t-elle fonctionné au-delà des autorisations ou du périmètre qui lui étaient attribués ?
- Une interaction à faible risque pourrait-elle entraîner des conséquences à haut risque ?
- Quelle est la compréhension du risque et du contexte d’une activité anormale pour faciliter la hiérarchisation de l’analyse et de l’action d’Autonomous Response ?
La distinction entre ces deux ensembles de questions met en évidence deux niveaux distincts de sécurité de l’IA. Le premier ensemble de questions porte sur la découverte et la visibilité des interactions. Le deuxième ensemble vise à fournir une visibilité incluant le contexte et les résultats, éléments essentiels à la gestion des risques ultérieurs associés aux activités en aval dissimulées.
Ensemble, ces couches permettent aux organisations d’aller au-delà de la simple identification de l’utilisation de l’IA pour comprendre comment l’IA se comporte sur le plan opérationnel dans toute l’entreprise.
Comment les organisations s’attaquent à l’IA fantôme
La plupart des organisations considèrent encore l’IA fantôme comme un problème de contrôle des applications et s’appuient sur des politiques, des restrictions de navigateur et des listes d’autorisation et de blocage. Cependant, l’adoption de l’IA évolue plus rapidement que la plupart des processus de gouvernance ne peuvent raisonnablement suivre. De nouveaux assistants, plug-ins et fonctionnalités d’IA intégrées apparaissent sans cesse, ce qui crée une pression pour favoriser la productivité de l’entreprise tout en maîtrisant les risques.
Les processus de gouvernance existants ont été conçus pour un cycle d’adoption du SaaS plus traditionnel, dans le cadre duquel les nouvelles applications pouvaient être examinées, approuvées, et surveillées sur des horizons temporels plus longs. L’adoption de l’IA fonctionne différemment. De nouvelles fonctionnalités peuvent apparaître du jour au lendemain au sein de plateformes existantes déjà utilisées par les employés, ce qui complique, pour les équipes chargées de la sécurité et de la gouvernance, le maintien d’une compréhension précise de l’exposition de l’entreprise à l’IA. Cela signifie que de nombreuses organisations font face à une charge opérationnelle importante, en particulier dans les environnements de grande envergure où l’utilisation de l’IA est décentralisée entre les équipes, les départements, et les services tiers.
Par où les organisations devraient-elles commencer pour sécuriser leurs systèmes d’IA ?
L’identification de l’IA fantôme demeure un élément essentiel et continu pour les comités chargés des risques liés à l’IA et de la gouvernance, ainsi que pour les équipes de sécurité. Alors que les organisations cherchent à obtenir des certifications en IA, la visibilité sur l’ensemble de l’adoption de l’IA, de son utilisation en entreprise à l’innovation et au développement sur mesure, est cruciale, notamment avec la norme ISO 42001 relative aux systèmes de management de l’IA. L’identification de l’IA fantôme donne aux organisations la visibilité nécessaire pour décider si un outil d’IA doit être intégré à des environnements gouvernés afin de réduire les risques de perte de données (DLP), ou si des politiques doivent être établies et appliquées pour en restreindre l’utilisation.
Alors que les organisations innovent et adoptent rapidement l’IA, elles s’exposent à des risques de plus en plus importants. Les organisations doivent mettre en place une stratégie pour atténuer les risques présumés, en particulier dans le contexte de l’adoption de solutions tierces. La visibilité, la surveillance, l’application de la gouvernance, la détection comportementale des systèmes non déterministes, ainsi que l’investigation et le confinement autonomes deviennent essentiels pour atténuer les risques liés aux systèmes d’IA.
Comment Darktrace sécurise l’IA et l’IA fantôme
Les attaquants utilisent l’IA pour aller plus vite, déployer leurs tactiques à plus grande échelle et rendre les menaces plus adaptatives et convaincantes. En interne, les organisations sont aux prises avec de nouvelles formes de risque générées par l’IA générative, les agents autonomes, l’IA fantôme et des environnements numériques de plus en plus complexes.
Darktrace aide les organisations à protéger à la fois les personnes et l’IA dans un monde où l’IA est désormais au cœur des activités des entreprises. Darktrace / SECURE AI aide les organisations à détecter et à contrôler l’IA fantôme en mettant en évidence les activités liées à l’IA non autorisées ou inattendues là où elles se manifestent – notamment grâce à la détection de MCP, en distinguant l’utilisation abusive d’outils légitimes de celle de services non approuvés, et en appliquant des politiques pour limiter l’exposition des données tout en guidant les utilisateurs vers des solutions approuvées.
Restez au fait de la sécurité de l’IA
Inscrivez-vous au programme Secure AI Readiness ici : vous bénéficierez d’un accès exclusif aux dernières actualités sur les menaces liées à l’IA, aux évolutions des approches émergentes qui façonnent la sécurité de l’IA et aux dernières innovations, dont les travaux actuellement menés par Darktrace dans ce domaine.
Vous souhaitez échanger avec un expert Darktrace sur la sécurisation de l’IA ? Inscrivez-vous ici pour obtenir des conseils pratiques sur les risques liés à l’IA qui comptent le plus pour votre entreprise, ainsi qu’une vision claire des priorités en matière de gouvernance, de visibilité, de réduction des risques et de préparation à long terme.







.avif)



.avif)
.png)




%20(1).png)
.png)
.png)



















