Points clés à retenir
- La sécurité de l’IA en entreprise ne se limite pas à protéger les modèles d’IA : elle consiste également à sécuriser les agents IA, les données d’entreprise, les identités, les API et les intégrations tierces. Pour gérer efficacement les risques liés à l’IA, les organisations doivent savoir où l’IA est déployée, à quoi elle peut accéder et comment elle se comporte.
- Un cadre efficace de sécurité de l’IA rassemble nécessairement gouvernance, gestion des identités et des accès, protection des données, surveillance de l’exécution et sécurité de la chaîne d’approvisionnement logicielle. Aucun contrôle ni garde-fou de l’IA ne suffit à lui seul à protéger l’IA d’entreprise.
- L’adoption de l’IA et la sécurité de l’IA doivent évoluer de concert. L’intégration de contrôles de sécurité tout au long du cycle de vie de l’IA permet aux organisations de réduire les cyberrisques, de favoriser la conformité réglementaire et de développer leurs initiatives en matière d’IA à plus grande échelle avec davantage de confiance.
Pourquoi la sécurité de l’IA en entreprise est-elle désormais une priorité ?
La sécurisation de l’IA en entreprise est désormais une priorité, car son adoption progresse plus vite que la gouvernance, la propriété et les contrôles techniques. Les outils d’IA générative, les fonctionnalités d’IA intégrées et les agents autonomes peuvent accéder à des données sensibles, prendre des décisions et se connecter à des systèmes externes, créant ainsi des risques en matière de sécurité, de confidentialité, de conformité et au niveau des opérations. Pour de nombreuses organisations, le premier défi n’est pas de savoir s’il faut sécuriser l’IA, mais ce que signifie concrètement « sécuriser l’IA ». S’agit-il de protéger les modèles ? Régir les données ? Surveiller les réponses ? Ou contrôler le comportement des agents IA une fois déployés ?
Alors que la demande d’adoption augmente, sécuriser l’utilisation de l’IA en entreprise reste une notion abstraite pour beaucoup, et rendre son utilisation opérationnelle va bien au-delà de la simple visibilité. Les professionnels doivent également prendre en compte la manière dont l’IA est acquise, développée, déployée, utilisée et encadrée dans l’ensemble de l’entreprise.
L’objectif pour les équipes de sécurité : mettre en œuvre un cadre clair de sécurité de l’IA articulé autour du cycle de vie. Ce blog présentera la diversité des cas d’usage de l’IA à prendre en compte lors de l’élaboration de ce cadre et la manière d’aborder ce sujet auprès d’un public non technique.
Que signifie sécuriser l’IA en entreprise ?
Sécuriser l’IA consiste à maintenir une visibilité et un contrôle sur les domaines où l’IA est utilisée, les données auxquelles elle accède, le comportement des modèles et des agents, et la conformité de leurs actions aux objectifs de l’entreprise. Cela englobe les applications, les identités, l’infrastructure, les données, les processus de développement et les tiers, si bien que la responsabilité ne peut incomber à une seule fonction de sécurité.
La sécurisation de l’IA est souvent présentée comme un prolongement des disciplines de sécurité existantes. En pratique, cette hypothèse peut prêter à confusion.
Les fonctions de sécurité traditionnelles s’articulent autour de périmètres relativement stables. La sécurité des applications se concentre sur le code et la logique. La sécurité du cloud régit l’infrastructure et l’identité. La sécurité des données protège les informations sensibles au repos et en transit. La sécurité des identités contrôle qui peut accéder aux systèmes et aux services. Chaque fonction dispose d’une responsabilité clairement définie, d’outils établis, et de modes de défaillance bien compris.
L’IA ne correspond parfaitement à aucune de ces catégories. Un système d’IA est à la fois :
- Une application qui exécute une logique
- Un processeur de données qui ingère et génère des informations sensibles
- Une couche de prise de décision qui influence ou automatise les actions
- Un système dynamique qui change de comportement au fil du temps
Par conséquent, les risques de sécurité induits par l’IA concernent simultanément plusieurs domaines. Une seule interaction avec l’IA peut impliquer une utilisation abusive d’identités, une exposition des données, un détournement de la logique des applications et des risques liés à la chaîne d’approvisionnement, le tout au sein d’un même flux de travail. C’est à ce stade que les frontières traditionnelles entre les fonctions de sécurité commencent à s’estomper.
Par exemple, un prompt malveillant envoyé par un utilisateur autorisé ne constitue pas une compromission d’identité classique, mais il peut entraîner une fuite de données ou des actions non autorisées. Un agent IA qui appelle un service externe peut sembler relever d’un comportement légitime d’une application, alors même qu’il enfreint les exigences en matière de souveraineté des données ou de conformité. Le code généré par l’IA peut passer les contrôles de développement standard tout en introduisant des vulnérabilités subtiles ou des dépendances compromises.
Dans chaque cas de figure, aucune équipe de sécurité n’assume à elle seule la responsabilité du risque.
C’est pourquoi la sécurisation de l’IA ne peut se limiter à la sécurité des modèles, aux politiques de gouvernance ou aux seuls contrôles périmétriques. Cela nécessite une approche commune de la sécurité couvrant le développement, les opérations, le traitement des données et les interactions avec les utilisateurs. Sécuriser l’IA, c’est comprendre non seulement si l’accès aux systèmes est sécurisé, mais aussi s’ils sont utilisés, entraînés et autorisés à agir conformément aux objectifs de l’entreprise et à sa tolérance au risque.
Au fond, sécuriser l’IA consiste à rétablir la clarté dans des environnements où la responsabilité peut rapidement devenir floue. Il s’agit de savoir où l’IA est présente, comment elle se comporte, ce qu’elle est autorisée à faire et comment ses décisions affectent l’ensemble de l’entreprise. Sans cette clarté, l’IA devient un facteur d’amplification tant de la productivité que des risques.
Que doit couvrir un cadre de sécurité de l’IA en entreprise ?
Un cadre de sécurité de l’IA en entreprise doit prendre en compte les utilisations abusives et les comportements émergents, la surveillance au moment de l’exécution, le développement et l’infrastructure, l’IA fantôme et les chaînes d’approvisionnement tierces, ainsi que la préparation organisationnelle. Ensemble, ces domaines couvrent la manière dont l’IA est acquise, développée, déployée, utilisée, surveillée et gouvernée tout au long de son cycle de vie.
Il existe cinq domaines clés pour sécuriser l’IA en entreprise :
- Se défendre contre les utilisations abusives et les comportements émergents de l’IA
- Surveiller et contrôler l’IA en fonctionnement
- Protéger le développement et l’infrastructure de l’IA
- Sécuriser la chaîne d’approvisionnement de l’IA
- Renforcer la préparation et la supervision
Ensemble, ces catégories offrent un cadre structuré pour comprendre comment les risques liés à l’IA se manifestent et où les équipes de sécurité devraient concentrer leurs efforts.
1. Se défendre contre les utilisations abusives et les comportements émergents de l’IA
Les systèmes et agents d’IA générative peuvent être manipulés de manière à contourner les contrôles traditionnels. Même lorsque l’accès est autorisé, l’IA peut faire l’objet d’une utilisation abusive, être détournée ou être influencée par des prompts et des interactions soigneusement conçus.
Les principaux risques comprennent :
- Injection de prompt malveillant conçue pour contraindre à des actions indésirables
- Cas d’usage non autorisés ou non prévus qui contournent les garde-fous
- Exposition de données sensibles par le biais des historiques de prompts
- Des réponses issues d‘hallucination ou malveillantes qui influencent le comportement humain
Contrairement aux applications traditionnelles, les systèmes d’IA peuvent produire des résultats préjudiciables sans être explicitement compromis. La sécurisation de cette couche nécessite de surveiller l’intention, et pas seulement l’accès. Les équipes de sécurité doivent savoir quelles instructions sont données aux systèmes d’IA, comment leurs résultats sont utilisés et si leur utilisation est conforme aux objectifs commerciaux approuvés
2. Surveiller et contrôler l’IA en fonctionnement
Une fois déployés, les agents IA fonctionnent à la vitesse et à l’échelle d’une machine. Ils peuvent lancer des actions, échanger des données, et interagir avec d’autres systèmes avec peu de supervision humaine. Cela rend la visibilité au moment de l’exécution essentielle.
Les risques opérationnels liés à l’IA comprennent :
- Agents utilisant les autorisations de manière non prévue
- Connexions sortantes non contrôlées vers des services ou des agents externes
- Perte de visibilité forensique sur les composants d’IA éphémères
- Transmission de données non conforme entre juridictions
Garantir la sécurité de l’IA en environnement opérationnel nécessite une surveillance en temps réel du comportement des agents, des points de contrôle centralisés tels que les passerelles IA, et la capacité de relever l’état des agents à des fins d’investigation. Sans ces capacités, les équipes de sécurité peuvent manquer de visibilité sur le comportement des systèmes d’IA une fois en production, en particulier dans des environnements cloud natifs ou réglementés.
3. Protéger le développement et l’infrastructure de l’IA
De nombreux risques liés à l’IA apparaissent bien avant le déploiement. Les pipelines de développement, les configurations d’infrastructure, et les décisions architecturales influencent tous la posture de sécurité des systèmes d’IA.
Les risques courants comprennent :
- Autorisations et garde-fous mal configurés
- Architectures d’agents non sécurisées ou trop complexes
- L’Infrastructure as code (IaC) à l’origine de problèmes de configuration cachés
- Vulnérabilités du code généré par l’IA et des dépendances
Le code généré par l’IA ajoute une nouvelle dimension au risque, car l‘hallucination de paquets ou le détournement de logique peuvent être plus difficiles à détecter et à déboguer que le code écrit par des humains. Sécuriser le développement de l’IA implique d’appliquer des contrôles de sécurité dès le début, notamment une analyse statique, une revue de l’architecture et une surveillance continue de la configuration tout au long du processus de développement.
4. Sécuriser la chaîne d’approvisionnement de l’IA
Les chaînes d’approvisionnement de l’IA sont souvent opaques. Les modèles, les jeux de données, les dépendances et les services peuvent provenir de tiers offrant des niveaux variables de transparence et de garanties.
Principaux risques liés à la chaîne d’approvisionnement :
- Outils d’IA fantôme utilisés en dehors des contrôles approuvés
- Agents IA externes bénéficiant d’un accès interne
- Prestataires appliquant l’IA aux données d’entreprise sans le déclarer
- Modèles, données d’entraînement ou dépendances compromis
Sécuriser la chaîne d’approvisionnement de l’IA nécessite de découvrir où l’IA est utilisée, de valider la provenance et les licences des modèles et des données, et d’évaluer la manière dont les fournisseurs traitent et protègent les informations de l’entreprise. Sans cette visibilité, les organisations s’exposent à des fuites de données, à des risques réglementaires et à des compromissions en aval par le biais d’intégrations de confiance.
5. Renforcer la préparation et la supervision
Même avec des contrôles techniques robustes, la sécurité de l’IA échoue en l’absence de gouvernance, de tests et d’équipes formées. L’IA introduit de nouveaux scénarios d’incident auxquels de nombreuses équipes de sécurité ne sont pas encore préparées à faire face.
Les risques liés à la supervision comprennent :
- Manque de reporting pertinent sur les risques liés à l’IA
- Systèmes d’IA non testés en production
- Équipes de sécurité non formées aux menaces spécifiques à l’IA
Les organisations ont besoin de rapports qui tiennent compte de l’IA, d’exercices de red teaming et de purple teaming intégrant les systèmes d’IA, ainsi que de formations continues pour renforcer leur préparation opérationnelle. Ces capacités permettent de comprendre et de tester les risques liés à l’IA, et d’améliorer continuellement leur gestion, plutôt que de les découvrir lors d’un incident en cours.
Repenser la sécurité de l’IA pour les dirigeants
La sécurité de l’IA n’est pas qu’un enjeu technique. C’est une question de confiance, de responsabilité et de résilience. Les conseils d’administration veulent avoir l’assurance que les décisions fondées sur l’IA sont fiables, explicables et protégées contre toute manipulation.
Une communication efficace avec la direction porte sur :
- Confiance : assurance quant à l’intégrité des données, le comportement des modèles et les réponses
- Responsabilité : une attribution claire des responsabilités entre les équipes et les fournisseurs
- Résilience : la capacité d’opérer, d’auditer, et de s’adapter en cas d’attaque ou face à la réglementation
Calquer les initiatives de sécurité de l’IA sur des référentiels reconnus tels que la norme ISO/IEC 42001 et le NIST AI Risk Management Framework contribue à démontrer la maturité et à aligner la sécurité de l’IA sur des objectifs de gouvernance plus larges.
Conclusion : la sécurisation de l’IA est un défi qui s’étend sur l’ensemble de son cycle de vie
Les mêmes caractéristiques qui font de l’IA une technologie transformatrice la rendent également difficile à sécuriser. Les systèmes d’IA brouillent les frontières traditionnelles entre les logiciels, les utilisateurs et la prise de décision, élargissant ainsi la surface d’attaque de manière subtile, mais significative.
Sécuriser l’IA nécessite de rétablir la clarté. Savoir où l’IA intervient, comment elle se comporte, qui la contrôle et comment elle est régie. Une approche fondée sur un cadre de référence permet aux organisations d’innover avec l’IA tout en maintenant un niveau élevé de confiance, de responsabilité et de contrôle.
La sécurisation de l’IA est un processus continu, mais elle commence par la compréhension des risques sur l’ensemble du cycle de vie de l’IA et par la mise en place de pratiques de sécurité qui évoluent au même rythme que la technologie.
Darktrace / SECURE AI soutient cette approche du cycle de vie en réunissant une visibilité à l’échelle de l’entreprise, une surveillance des comportements et un contrôle en temps réel, ce qui aide les équipes de sécurité à identifier les activités à risque et à adopter l’IA de manière plus sûre.
[related-resource]
Téléchargez le cadre de référence complet
Découvrez comment identifier les risques liés à l’IA afin d’établir des cadres de gouvernance et des contrôles dans votre organisation.
.avif)





















