ブログ
/
AI
/
July 16, 2025

サイバーセキュリティのためのAI成熟度モデルの紹介

サイバーセキュリティのためのAI成熟度モデルは、実際のユースケースとエキスパートの知見に基づいた、この種の指針の中でも最も詳細なガイドです。CISOが戦略的な意思決定を行うための力となり、どのAIを導入すべきかだけではなく、組織を段階的に強化し優れた成果を得るためにどのように進めるべきかを知ることができます。
Inside the SOC
Darktrace cyber analysts are world-class experts in threat intelligence, threat hunting and incident response, and provide 24/7 SOC support to thousands of Darktrace customers around the globe. Inside the SOC is exclusively authored by these experts, providing analysis of cyber incidents and threat trends, based on real-world experience in the field.
Written by
Ashanka Iddya
Senior Director, Product Marketing
Default blog image
16
Jul 2025

サイバーセキュリティへのAIの導入:宣伝文句を超えて

今日のセキュリティオペレーションはパラドックスに直面しています。業界ではAI(Artificial Intelligence)が全面的な変革を約束し、ルーチンタスクを自動化することにより検知と対処が強化されると言われています。しかしその一方で、セキュリティリーダーは意味のあるイノベーションとベンダーの宣伝文句を区別しなければならないという大きなプレッシャーに直面しています。

CISOとセキュリティチームがこの状況を乗り越えるのを支援するため、私たちは業界で最も詳細、かつアクション可能なAI成熟度モデルを作成しました。AIおよびサイバーセキュリティ分野のエキスパートと協力して作成したこの枠組みは、セキュリティライフサイクル全体を通じてAIの導入を理解し、測定し、進めていくためのしっかりとした道筋を提供します。

なぜ成熟度モデル?なぜ今必要?

セキュリティリーダー達との対話と調査の中で繰り返し浮かび上がってきたテーマがあります。

それは、AIソリューションはまったく不足していないが、AIのユースケースの明瞭性と理解が不足している、ということです。

事実、Gartner社は「2027年までに、エージェント型AIプロジェクトの40%以上が、コスト上昇、不明瞭なビジネス上の価値、あるいは不十分なリスク制御を理由として打ち切られるだろう」と予測しています。多くのセキュリティチームが実験を行っていますが、その多くは意味のある成果を得られていません。セキュリティの向上を評価し情報に基づいた投資を行うための、標準化された方法に対する必要性はかつてなく高まっています。

AI成熟度モデルが作成されたのはこのような背景によるものであり、これは次を行うための戦略的枠組みです:

  • 人手によるプロセス(L0)からAIへの委任(L4)に至る5段階の明確なAI成熟度を定義
  • エージェント型生成AIと専用AIエージェントシステムから得られる結果を区別
  • リスク管理、脅威検知、アラートトリアージ、インシデント対応といった中核的な機能にわたって評価
  • AI成熟度を、リスクの削減、効率の向上、スケーラブルなオペレーションなど、現実の成果に対応させる

[related-resource]

このモデルで成熟度はどのように評価されるか?

「サイバーセキュリティにおけるAI成熟度モデル」は、世界で10,000社に及ぶDarktraceの自己学習型AIおよびCyber AI Analystの導入例から得られたセキュリティオペレーションの知見に基づいています。抽象的な理論やベンダーのベンチマークに頼るのではなく、このモデルは実際にセキュリティチームが直面している課題に基づき、AIがどこに導入されているか、どのように使用されているか、そしてどのような成果をもたらしているかを反映しています。

こうした現実に即した基盤により、このモデルはAI成熟度に対する実務的な、体験に基づいた視点を提供します。セキュリティチームが現在の状態を把握し、同じような組織がどのように進化しているかに基づいて現実的な次のステップを知るのに役立ちます。

Darktraceを選ぶ理由

AIは2013年のダークトレースの設立以来そのミッションの中心であり、単なる機能ではなく、企業の基盤です。10年以上にわたりAIを開発し現実のセキュリティ環境にAIを適用してきた経験から、私たちはAIがどこに有効で、どこに有効でないか、そしてAIから最も大きな価値を得るにはどうすべきかを学びました。

私たちは、現代のビジネスが膨大な、相互に接続されたエコシステム内で動いていること、そしてそこには従来のサイバーセキュリティアプローチの維持を不可能にする新たな複雑さや脆弱さが生まれていることを知っています。多くのベンダーは機械学習を使用していますが、AIツールはそれぞれ異なり、どれも同じように作られているわけではありません。

Darktraceの自己学習型AIは多層的なAIアプローチを使用して、それぞれの組織から学習することにより、現代の高度な脅威に対するプロアクティブかつリジリエントな防御を提供します。機械学習、深層学習、LLM、自然言語処理を含む多様なAIテクニックを戦略的に組み合わせ、連続的、階層的に統合することにより、私たちの多層的AIアプローチはそれぞれの組織専用の、変化する脅威ランドスケープに適応する強力な防御メカニズムを提供します。

この成熟度モデルはこうした知見を反映し、セキュリティリーダーが組織の人、プロセス、ツールに適した適切な道筋を見つけるのに役立ちます。

今日のセキュリティチームは次のような重要な問いに直面しています:

  • AIを具体的に何のために使うべきか?
  • 他のチームはどのように使っているのか?そして何が機能しているのか?
  • ベンダーはどのようなツールを提供しているのか、そして何が単なる宣伝文句なのか?
  • AIはSOCの人員を置き換える可能性があるのか?

これらはもっともな質問ですが、簡単に答えられるとは限りません。それが、私たちがこのモデルを作成した理由です。セキュリティリーダーが単なるバズワードに惑わされず、SOC全体にAIを適用するための明確かつ現実的な計画を作成するのを助けるために、このモデルが作成されました。

構成:実験から自律性まで

このモデルは5つの成熟段階で構成されています:

L0 –  人手によるオペレーション:プロセスはほとんどが人手によるものであり、一部のタスクにのみ限定的な自動化が使用されます。

L1 –  自動化ルール:人手により管理されるか、外部ソースからの自動化ルールとロジックが可能な範囲で使用されます。    

L2 –  AIによる支援:AIは調査を支援するが、良い判断をするかどうかは信頼されていません。これには人手によるエラーの監視が必要な生成AIエージェントが含まれます。    

L3 –  AIコラボレーション:組織のテクノロジーコンテキストを理解した専用のサイバーセキュリティAIエージェントシステムに特定のタスクと判断を任せます。生成AIはエラーが許容可能な部分に使用が限定されます。  

L4 –  AIに委任:組織のオペレーションと影響について格段に幅広いコンテキストを備えた専用のAIエージェントがほとんどのサイバーセキュリティタスクと判断を単独で行い、ハイレベルの監督しか必要としません。

それぞれの段階が、テクノロジーだけではなく、人とプロセスもシフトすることを表しています。AIが成熟するにつれ、アナリストの役割は実行者から戦略的監督者へと進化します。

セキュリティリーダーにとっての戦略上の利益

成熟度モデルの目的はテクノロジーの導入だけではなく、AIへの投資を測定可能なオペレーションの成果に結びつけることです。AIによって次のことが可能になります:

SOCの疲労は切実、AIが軽減に貢献

ほとんどのセキュリティチームは現在もアラートの量、調査の遅延、受け身のプロセスに苦労しています。しかしAIの導入には一貫性がなく、多くの場合サイロ化しています。上手く統合すれば、AIはセキュリティチームの効率を高めるための、意味のある違いをもたらすことができます。

生成AIはエラーが起こりやすく、人間による厳密な監視が必要

生成AIを使ったエージェント型システムについては多くの誇大広告が見られますが、セキュリティチームはエージェント型生成AIシステムの不正確性とハルシネーションの可能性についても考慮に入れる必要があります。

AIの本当の価値はセキュリティの進化にある

AI導入の最も大きな成果は、リスク対策から検知、封じ込め、修復に至るまで、セキュリティライフサイクル全体にAIを統合することから得られます。

AIへの信頼と監督は初期段階で必須となるが次第に変化する

導入の初期段階では、人間が完全にコントロールします。L3からL4に到達する頃には、AIシステムは決められた境界内で独立して機能するようになり、人間の役割は戦略的監督になります。

人間の役割が意味のあるものに変化する

AIが成熟すると、アナリストの役割は労働集約的な作業から高価値な意思決定へと引き上げられ、重要な、ビジネスへの影響が大きいアクティビティやプロセスの改良、AIに対するガバナンスなどに集中できるようになります。

成熟度を定義するのは宣伝文句ではなく成果

AIの成熟度は単にテクノロジーが存在しているかどうかではなく、リスク削減、対処時間、オペレーションのリジリエンスに対して測定可能な効果が見られるかどうかで決まります。

[related-resource]

AI成熟度モデルの各段階の成果

セキュリティ組織は人手によるオペレーションからAIへの委任へと進むにつれてサイバーセキュリティの進化を体験するでしょう。成熟度の各レベルは、効率、精度、戦略的価値の段階的変化を表しています。

L0 – 人手によるオペレーション

この段階では、アナリストが手動でトリアージ、調査、パッチ適用、報告を、基本的な自動化されていないツールを使って行います。その結果、受け身の労働集約的なオペレーションになり、ほとんどのアラートは未調査のままとなり、リスク管理にも一貫性がありません。

L1 – 自動化ルール

この段階では、アナリストがSOARあるいはXDRといったルールベースの自動化ツールを管理します。これにより多少の効率化は図れますが、頻繁な調整を必要とします。オペレーションは依然として人員数と事前に定義されたワークフローに制限されます。

L2 – AIによる支援

この段階では、AIが調査、まとめ、トリアージを支援し、アナリストの作業負荷を軽減しますが、エラーの可能性もあるためきめ細かな監督が必要です。検知は向上しますが、自律的な意思決定に対する信頼度は限定的です。

L3 – AIコラボレーション

この段階では、AIが調査全体を行いアクションを提示します。アナリストは高リスクの判断を行うことと、検知戦略の精緻化に集中します。組織のテクノロジーコンテキストを考慮した専用のエージェント型AIエージェントシステムに特定のタスクが任され、精度と優先度の判断が向上します。

L4 – AIに委任

この段階では、専用のAIエージェントシステムが単独でほとんどのセキュリティタスクをマシンスピードで処理し、人間のチームはハイレベルの戦略的監督を行います。このことは、人間のセキュリティチームが最も時間と労力を使うアクティビティはプロアクティブな活動に向けられ、AIがルーチンのサイバーセキュリティ作業を処理することを意味します。

専用のAIエージェントシステムはビジネスへの影響を含めた深いコンテキストを理解して動作し、高速かつ効果的な判断を行います。

AI成熟度モデルのどこに位置しているかを調べる

「サイバーセキュリティのためのAI成熟度モデル」 ホワイトペーパーを入手し、評価を行ってみましょう。自社の現在の成熟段階をベンチマークし、主なギャップがどこにあるのかを調べ、次のステップの優先順位を特定するためににお役立てください。

Inside the SOC
Darktrace cyber analysts are world-class experts in threat intelligence, threat hunting and incident response, and provide 24/7 SOC support to thousands of Darktrace customers around the globe. Inside the SOC is exclusively authored by these experts, providing analysis of cyber incidents and threat trends, based on real-world experience in the field.
Written by
Ashanka Iddya
Senior Director, Product Marketing

More in this series

No items found.

Blog

/

OT

/

September 3, 2026

Botnet Behind the Camera: Mirai Katana Activity on a Video Recording Device

Default blog imageDefault blog image

Key takeaways

  • Darktrace identified a camera device infected with the Mirai/Katana botnet in a sports-sector customer environment, showing how exposed IoT devices can become active participants in wider attack chains.
  • The compromise involved suspicious Wget behavior, file downloads from rare external IPs, unusual incoming HTTP connections to video recorder management interfaces, and large outbound data transfers to infrastructure associated with botnet activity.
  • The incident highlights the importance of extending visibility and response beyond traditional endpoints, as unmanaged or overlooked connected devices can be exploited for command-and-control, malware delivery, and data exfiltration.

Mirai and the Katana variant

Mirai is a botnet that first emerged in August 2016 and is well known for launching large-scale distributed-denial-of-service (DDoS) attacks, typically targeting exposed Internet of Things (IoT) devices. It identifies vulnerable IoT devices ,often by abusing default credentials or exposed services, and recruiting them into a remotely controlled botnet that can be used in DDoS campaigns [1].

Katana, one of the many variants that arose after Mirai’s source code was released publicly, was first observed in late 2020 and has been seen using more advanced capabilities, including custom command-and-control (C2), persistence mechanisms, and DDoS functionality [2].

In March 2026, research from the Nokia Deepfield Emergency Response Team (ERT) identified Katana as a Mirai-derived DDoS botnet targeting Android-based TV set-top boxes through exposed Android Debug Bridge (ADB) access.  Observed capabilities included custom C2, runtime domain rotation, multiple DDoS methods, and an on-device compiled kernel rootkit used for persistence and stealth [3].

Darktrace’s detection of Mirai Botnet activity on a camera device

In early 2026, Darktrace identified a Network/Digital Video Recorder (NVR/DVR) on the network of a sports-sector customer that had been infected with the Mirai Katana botnet and subsequently used to exfiltrate data from the customer’s environment. Seemingly related follow-up activity was observed on the same device several months later.

In both instances, the Darktrace Security Operations Centre (SOC) alerted the customer as part of the Managed Threat Detection (MTD) service. However, as Darktrace’s Autonomous Response capability was not fully enabled on the affected device, Darktrace was unable to proactively block the suspicious activity or prevent the compromise from continuing and recurring.

The initial compromise appears to have occurred when the affected device was seen using Wget to download Linux-based Executable and Linkable Format (ELF) files from a rare external IP, 195.177.94[.]105, which had not previously been observed in the customer’s network. Further analysis downloaded file hashes identified files related to the Mirai botnet.

Figure 1: Darktrace’s Real-Time AI Analyst investigation into the unusual outbound connection where the ELF files were downloaded.

Within a few hours, Darktrace detected the device uploading close to 3GB of data to another external IP, 50.7.49[.]4:3017 (ASN AS30058 FDCSERVERS), suggesting that the activity was likely routed via a virtual private server (VPS) hosted by FDC Servers [2]. Attackers often abuse VPS infrastructure from legitimate cloud providers to blend in with legitimate traffic and evade IP reputation and geolocation-based detections.

Figure 2:  Darktrace’s detection of the unusual data upload activity by the affected camera device.

Darktrace continued to observe similar data transfers to multiple rare endpoints  including 171.225.223[.]53, 95.161.128[.]62, 61.7.209[.]88, 95.161.128[.]62, which have been linked to Mirai by open-source intelligence (OSINT).

Figure 3: Darktrace’s detection of spikes in unusual external data transfer activity from the camera device.

Exploitation continued

Several months later, Darktrace identified the same exfiltration pattern on the device again, this time with stronger indications of associations with Mirai Katana botnet infection.

The device received incoming HTTP connections from 129.121.114[.]124, an external IP known to be associated with the Katana botnet IP [3]. The connections targeted the ‘/dvr/cmd’ path using the root username and user agent Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.246.

The ‘/dvr/cmd’ path appears to be associated with the affected device’s web management functionality. This API endpoint has historically been targeted by Mirai and other IoT botnets through the exploitation of critical command injection vulnerabilities and automated botnet exploitation [4].

Figure 4: Darktrace’s  detection of HTTP connectivity from the external IP associated with Mirai Katana Botnet.

A few days later, Darktrace observed the Wget utility being used to download ELF files, including “/lil”,  from the IP 129.121.114[.]124. OSINT reporting has since associated this IP address with the Mirai Katana botnet. Notably, the IP observed earlier in the year, 195.177.94[.]105, had also hosted a file named “lil”, indicating a link between the observed activity.

Over the following days, the device received a sudden spike in connections from multiple rare external endpoints, suggesting a possible successful brute force attack. Darktrace also observed the device exfiltrating just under 4GB of data to another Mirai-associated IP address,  66.92.198[.]194, over ports 3344, 954922, and 80. Finally, the device was seen uploading data to the Mirai botnet IP 5.175.249[.]53 over port138 and exhibited an increase in UDP connections to 34.18.28[.]10 over port 9068.

Following both file download events, Darktrace identified spikes in external data transfers and connection attempts to rare destinations. While Darktrace’s Threat Research team could not confirm with high confidence that this to activity was directly associated with Mirai, it may indicate that Mirai Katana includes data exfiltration functionality.

Darktrace’s threat researchers also identified an internet-facing NTP server belonging to a separate customer receiving incoming connection attempts from the same initially observed IP, 195.177.94[.]105,over the port 123. This suggests that Mirai Katana may not exclusively target IoT devices.

Conclusion

This case demonstrates how threat actors can exploit overlooked IoT and OT devices to support broader malicious objectives. Here, a camera device infected with a botnet was used to exfiltrate data from the customer's environment, showing how peripheral assets can become active participants in an attack chain.

This case also reinforces a challenge many organizations face today: extending security visibility beyond traditional endpoints and servers. Cameras, sensors, and other connected devices often operate with limited monitoring and may fall outside established security processes, despite maintaining network connectivity and access to potentially sensitive environments. This is particularly relevant in the sports sector, where growing reliance on connected cameras, smart stadium technologies, and other IoT devices continues to expand the attack surface, as highlighted in Darktrace's Sports Sector Threat Report.

As botnets like Kata and Mirai continue to evolve, defenders need visibility across unmanaged IoT and edge devices, as well as security solutions that can recognize subtle deviations in device behavior that may indicate an emerging compromise.

Credit to Parvatha Ananthakannan (Cyber Analyst), Signe Zaharka (Principal Analyst)

Edited by Ryan Traill (Content Manager)

Appendices

Darktrace Model Detections

·      Anomalous File / EXE from Rare External Location

·      Anomalous File / Multiple EXE from Rare External Locations

·      Device / Initial Attack Chain Activity

·      Unusual Activity / Unusual External Data to New Endpoint

·      Anomalous Connection / Data Sent to Rare Domain

·      Unusual Activity / Enhanced Unusual External Data Transfer

·      Anomalous Connection / Uncommon 1 GiB Outbound

·      Device / Significant UDP Increase

·      Anomalous Connection / Low and Slow Exfiltration to IP

·      Compromise / Large Number of Suspicious Failed Connections

·      Compromise / Large Number of Suspicious Successful Connections

·      Unusual Activity / Unusual External Activity

·      Compliance / SSH to Rare External Destination

·      Unusual Activity / Unusual DNS

·      Device / External Network Scan

·      Device / Suspicious DNS Activity

·      Device / Large Number of Model Alerts

List of Indicators of Compromise (IoCs)

Indicator of Compromise Type Description
195.177.94[.]105 IP C2 endpoint
50.7.49[.]4:30171 IP Possible C2 endpoint
129.121.114[.]124 IP C2 endpoint
hxxp://195.177.94[.]105/n3 URL Likely C2 endpoint
hxxp://195.177.94[.]105/n2 URL Likely C2 endpoint
hxxp://129.121.114[.]124/lil URL Likely C2 endpoint
hxxp://129.121.114[.]124/HHn URL Possible C2 endpoint
hxxp://129.121.114[.]124/JFc URL Possible C2 endpoint
hxxp://129.121.114[.]124/jum URL Likely C2 endpoint
hxxp://129.121.114[.]124/OaSf URL Likely C2 endpoint
hxxp://129.121.114[.]124/OPWg URL Possible C2 endpoint
hxxp://129.121.114[.]124/vHwK URL Possible C2 endpoint
hxxp://129.121.114[.]124/VLv URL Possible C2 endpoint
hxxp://129.121.114[.]124/WbJ URL Possible C2 endpoint
hxxp://129.121.114[.]124/zkR URL Possible C2 endpoint
Ab17883ae4c3bc6afa18c439166eeeb4b03186e3093d984e3a95f573e0fcb7d8 SHA-256 Mirai payload
3d587e809dac49d34a3f717e072fd0aebe5e71db63333e45c81577d6b4266f87 SHA-256 Mirai payload
Bf6e81733a7e209d3dce80d15bf3c5d300752d961fae6b45d90c9bbe7f8c89a2 SHA-256 Possible payload
f25488303813ab1ec0eaa71562938601aac185e8aaf93adb84522557f7cf4dd6 SHA-256 Possible payload
0cb4ff6b71f4423184bfa35c34e9090297637208b0e30205d4b224e56abde2ef SHA-256 Possible payload
19c24cbeaf06b2e7697083f33a85521a9315105c784691bde7420fde4cc69410 SHA-256 Likely Mirai payload
1e74f734fff8df91f4f7172d0de10c421eca78aeb800e8a48e16bc5dbde5d20e SHA-256 Possible payload
6e71f7763d1f29d5712106ebb122e281c32787540aa2342b0fe5351d585d18d7 SHA-256 Possible payload
71f4ff7cdb6d6a7d2673c543c5d2535093afbd707b20a5b9ddf735466c1105c1 SHA-256 Possible payload
76db7ee73ebf15e48a3cb24a074d92248671ef2c6ed3bc3e708377341fb7674d SHA-256 Possible payload
da87a65f7beb438e61f0b61964fed8aa305a380f569042f84c55eca8fa7929b8 SHA-256 Possible payload
e15809eb6ba66477175270d62cfa53e4bf278595f69938708c81c4bc457930fe SHA-256 Mirai payload

MITRE ATT&CK Mapping

Tactic Technique ID Technique / Sub-technique
Initial Access T1659 Content Injection
T1189 Drive-by Compromise
Exfiltration T1041 Exfiltration Over C2 Channel
T1048.003 Exfiltration Over Unencrypted Non-C2 Protocol
Command and Control T1105 Ingress Tool Transfer
T1095 Non-Application Layer Protocol
T1571 Non-Standard Port
Reconnaissance T1595.001 Scanning IP Blocks
Continue reading
About the author
Parvatha Ananthakannan
Cyber Analyst

Blog

/

AI

/

August 26, 2026

AI Agents: Securing the Path from Intent to Action

Default blog imageDefault blog image

The UK’s National Cyber Security Centre (NCSC) recently published guidance on managing the cyber risk of agentic AI. While the document is framed as interim advice as more formal guidance is developed, the framing reflects the current state of the industry: organizations are already deploying agents into production environments while standards, controls, and operating models for autonomous systems remain unsettled. Governance is evolving alongside adoption rather than preceding it, a reality which underscores the importance of robust controls.  

The NCSC’s guidance recommends aligning controls to an agent's level of autonomy, assigning distinct identities, limiting permissions, constraining access to systems and data, monitoring activity, maintaining human oversight, and preserving the ability to intervene when necessary. Most of these recommendations will sound familiar to security teams. The challenge is not the novelty of the controls. It is the type of system those controls now need to govern.

The shift from model security to agent security

For several years, AI security discussions have focused heavily on models. Can a model be manipulated? Jailbroken? Trusted? Can it expose information it should not? Those questions remain important, but they capture only part of the problem. A model generating text is one thing. A system connected to identities, applications, tools, workflows, and business data is another.

The difference becomes clearer when comparing a chatbot that answers questions with an agent that can retrieve customer records, update tickets, invoke tools, trigger workflows, and interact with external systems. The underlying model may be identical. Its access is not. The security question begins to shift from what the model knows to what the system can do.

The same theme appears in the Five Eyes statement released earlier this year, describing AI as a force multiplier that is accelerating both offensive and defensive cyber operations. The NCSC guidance explores what that reality looks like when autonomous systems begin operating inside enterprise environments.

Securing AI agents in operation

The NCSC spends relatively little time debating model behavior and considerably more time discussing identity, permissions, monitoring, oversight, containment, and response. Agents are treated as participants within an environment rather than isolated pieces of technology.  

That's broadly consistent with how we think about the problem at Darktrace.

An agent should not be treated as an extension of a user account. It develops its own behavioral patterns. It accesses systems, interacts with data, invokes tools, and moves across workflows in ways that can be observed independently. Understanding what an agent is permitted to do matters. Understanding how it actually behaves once deployed, and whether that behavior aligns with business intent, matters just as much.

Identity provides an obvious example. The NCSC recommends assigning distinct identities to agents rather than allowing them to disappear into surrounding human or service accounts. Most importantly, assigning agents distinct identities enables independent behavioral monitoring.

Development assumptions vs. real-world behavior

The same principle extends to monitoring. NCSC guidance places agent activity within normal security operations rather than treating it as a separate AI governance function. Many of the controls described are put in place before an agent begins operating. Sandboxing, credential design, approval workflows and human oversight all reflect judgments about how the system is expected to behave and what risks it is likely to create.

Actual use may challenge those assumptions. Access patterns change. Workflows expand. Systems begin interacting with resources they have never touched before. Processes that appeared reasonable during design behave differently in production. Human oversight requirements may turn out to be either excessive or inadequate once the system is operating at scale and operating within the context of unique business processes.

The Five Eyes statement points to a similar issue: organizations need confidence that controls continue to work as intended once systems are exposed to real users, data, tools and operational pressures. Often, the question is not whether an agent is technically allowed to perform an action, but whether its behavior remains consistent with the role it was intended to play.

Monitoring and governance of AI agents go hand-in-hand

This problem is exactly why monitoring and governance should be treated as part of the same process. Governance sets the initial parameters for deployment, while monitoring provides evidence about whether those parameters remain appropriate. That evidence should, in turn, inform changes to permissions, controls and oversight.

This matters increasingly as autonomous systems are integrated into business processes. The relevant risk is shaped not only by the model or agent itself, but by what it can access, what actions it can take, and how its behavior changes in practice.

Developing continuous oversight of AI agent behavior

The implication is clear: governance cannot end at deployment. Organizations need a way to understand how agents behave after deployment, test whether controls remain appropriate, and adjust them as conditions change. That requires visibility not just into technical activity, but into whether that activity makes sense in the context of the business process the agent is intended to support.

This is where business-centric behavioral security can become critical. Risk does not emerge from the model itself: it emerges from the actions an autonomous system takes within the enterprise and the downstream consequences of those actions.  

An agent can operate exactly as intended and still create risk if it accesses sensitive information in an unexpected context, exercises permissions in ways that create unintended exposure, or influences business processes in ways that were not anticipated during design and review.

Traditional governance vs. behavioral security

Traditional governance frameworks provide assurance at a point in time. Behavioral security can provide ongoing visibility into how autonomous systems interact with the organization they are meant to serve. Rather than focusing exclusively on model performance or policy compliance, organizations need to understand whether an agent's behavior aligns with business intent, operational expectations, and acceptable risk tolerances as conditions change.

As enterprises move from isolated AI deployments to interconnected ecosystems of agents, visibility into behavior becomes as important as visibility into code. Governance determines what an autonomous system is permitted to do. Behavioral analytics helps determine what it is doing, what business outcomes it is producing, and whether those outcomes remain aligned with the organization's objectives.

[related-resource]

Continue reading
About the author
Margaret Cunningham, PhD
VP, Security & AI Strategy, Field CISO
あなたのデータ × DarktraceのAI
唯一無二のDarktrace AIで、ネットワークセキュリティを次の次元へ