ブログ
/
Identity
/
May 26, 2022

Multi-Account Compromise in Office 365

Learn how internal phishing can compromise accounts swiftly & how Darktrace/Apps can prevent future attacks effectively.
Inside the SOC
Darktrace cyber analysts are world-class experts in threat intelligence, threat hunting and incident response, and provide 24/7 SOC support to thousands of Darktrace customers around the globe. Inside the SOC is exclusively authored by these experts, providing analysis of cyber incidents and threat trends, based on real-world experience in the field.
Written by
Laura Leyland
Cyber Analyst
Default blog image
26
May 2022

In February 2022, Darktrace detected the compromise of three SaaS accounts within a customer’s Office 365 environment. This incident provides an effective use case for highlighting how Darktrace/Apps and Darktrace/Email can work together to alert to unusual logins, app permission changes, new email rules and outbound spam. It also emphasizes an instance where Darktrace RESPOND/Apps could have been set to autonomous mode and stopped additional compromise.

Account Compromise Timeline

February 9 2022

Account A was logged into from a rare IP from Nigeria with the BAV2ROPC user agent which is commonly associated with SaaS account attacks. BAV2ROPC stands for ‘Basic Authentication Version 2 Resource Owner Password Credential’ and is commonly used by old email apps such as iOS Mail. It is often seen in SaaS/email account compromises where accounts have ‘legacy authentication’ enabled. This is because, even if multi-factor authentication (MFA) is activated, legacy protocols like IMAP/POP3 are not configured for MFA and so do not result in an MFA notification being sent.[1][2]

Account A then created a new email rule which was named as a single full stop. Attackers commonly create new email rules to give themselves persistent access by using the ability to forward certain emails to external email accounts they own. This means that even if the account’s password is changed or MFA is turned on, the attacker keeps getting the forwarded emails as long as the rule remains in place. In this case, the attacker configured the new email rule using the following fields and features:

  • AlwaysDeleteOutlookRulesBlob – hides any warning messages when using Outlook on the web or Powershell to edit inbox rules. It is likely that the attacker had a set list of commands to run and didn’t want to be slowed down in the exploitation of the account by having to click confirmation messages.
  • Force – hides warning or confirmation messages.
  • MoveToFolder – moves emails to a folder. This is often used to move bounced emails away from the inbox in order to hide the fact the account is being used to send emails by the attacker.
  • Name – specifies the name of the rule, in this case a single full stop.
  • SubjectOrBodyContainsWords – emails with key words are actioned.
  • StopProcessingRules – determines whether subsequent rules are processed if the conditions of this rule are met. It is likely in this case the attacker set this to false so that any subsequent rules would still be processed to avoid raising suspicion.

Account A was then observed giving permission to the email management app Spike. This was likely to allow the rapid automated exploitation of the compromised account. Attackers want to speed up this process to reduce the time between account compromise and malicious use of the account, thus reducing the time security teams have to respond.

Figure 1: Screenshot from SaaS console showing the timeline of giving consent to the email management application Spike and the creation of the new inbox rule

The account was then observed sending 794 emails over a 15 minute period to both internal and external recipients. These emails shared similar qualities including the same subject line and related phishing links. This mass spam was likely due to the attacker wanting to compromise as many accounts and credentials as possible within the shortest timeframe. The domain of the link sent in the emails was spikenow[.]com and was hidden by the text ‘View Shared Link’. This suggests that the attacker used Spike to send the emails and host the phishing link.

Figure 2: Screenshot of AGE UI showing the spike in outbound messages from the compromised account – the messages all appear to be the same format
Figure 3: Screenshot from Darktrace/Email of the link and text that masked the link: ‘View Shared File’

Within 15 minutes of this large volume of outbound email from Account A, Account B was accessed from the same rare IP located in Nigeria. Account B also created a new email rule which was named a single full stop. In addition to the previous rules, the following rules were observed:

  • From – specifies that emails from certain addresses will be processed by the rule.
  • MarkAsRead – specifies that emails are to be marked as read.

Due to the short timeframe between the phishing emails and the anomalous behavior from Account B, it is possible that Account B was an initial phishing victim.

Figure 4: Screenshot of the SaaS console showing Account B login failures, then successful login and inbox rule creation from the rare Nigerian IP

February 10 2022

The next day, a third account (Account C) was also accessed from the same rare IP. This occurred on two occasions, once with the user agent Mozilla/5.0 and once with BAV2ROPC. After the login at 13:08 with BAV2ROPC, the account gave the same permission as Account A to the email management app Spike. It then created what appears to be the same email rule, named a single full stop. As with Account B, it is possible that this account was compromised by one of the phishing emails sent by Account A.

Figure 5: Timeline of key incidents with Darktrace/Apps actions

Whilst the motive of the threat actor was unclear, this may have been the result of:

  • Credential harvesting for future use against the organization or to sell to a third party.
  • Possible impersonation of compromised users on professional websites (LinkedIn, Indeed) to phish further company accounts:
  • Fake accounts of one user were discovered on LinkedIn.
  • Emails registering for Indeed for this same user were seen during compromise.

How did the attack bypass the rest of the security stack?

  • Compromised Office 365 credentials, combined with the use of the user agent BAV2ROPC meant MFA could not stop the suspicious login.
  • RESPOND was in Human Confirmation Mode and was therefore not confirmed to take autonomous action, showing only the detections. Disabling Account A would likely have prevented the phishing emails and the subsequent compromise of Accounts B and C.
  • The organization was not signed up to Darktrace Proactive Threat Notifications or Ask The Expert services which could have allowed further triage from Darktrace SOC analysts.

Cyber AI Analyst Investigates

Darktrace’s Cyber AI Analyst automates investigations at speed and scale, prioritizing relevant incidents and creating actionable insights, allowing security teams to rapidly understand and act against a threat.

In this case, AI Analyst automatically investigated all three account compromises, saving time for the customer’s security team and allowing them to quickly investigate the incident themselves in more detail. The technology also highlighted some of the viewed files by the compromised accounts which was not immediately obvious from the model breaches alone.

Figure 6: Screenshot of AI Analyst for Account A
Figure 7: Screenshot of AI Analyst for Account B
Figure 8: Screenshot of AI Analyst for Account C

Darktrace RESPOND (Antigena) actions

The organization in question did not have RESPOND/Apps configured in Active Mode, and so it did not take any action in this case. The table below shows the critical defensive actions RESPOND would have taken.[3]

Nonetheless, we can see what actions RESPOND would have taken, and when, had the technology been enabled.

The above tables illustrate that all three users would have been disabled during the incident had RESPOND been active. The highlighted row shows that Account A would have been disabled when the internal phishing emails were sent and possibly then prevented the cascade of compromised email accounts (B and C).

Conclusion

SaaS accounts greatly increase a company’s attack surface. Not only is exploitation of compromised accounts quick, but a single compromised account can easily lead to further compromises via an internal phishing campaign. Together this reinforces the ongoing need for autonomous and proactive security to complement existing IT teams and reduce threats at the point of compromise. Whilst disabling ‘legacy authentication’ for all accounts and providing MFA would give some extra protection, Darktrace/Apps has the ability to block all further infection.

Credit to: Adam Stevens and Anthony Wong for their contributions.

Appendix

List of Darktrace Model Detections

User A – February 9 2022

  • 04:55:51 UTC | SaaS / Access / Suspicious Login User-Agent
  • 04:55:51 UTC | SaaS / Access / Unusual External Source for SaaS Credential Use
  • 04:55:52 UTC | Antigena / SaaS / Antigena Suspicious SaaS and Email Activity Block
  • 04:55:52 UTC | Antigena / SaaS / Antigena Suspicious SaaS Activity Block
  • 14:16:48 UTC | SaaS / Compliance / New Email Rule
  • 14:16:48 UTC | SaaS / Compromise / Unusual Login and New Email Rule
  • 14:16:49 UTC | Antigena / SaaS / Antigena Significant Compliance Activity Block
  • 14:16:49 UTC | Antigena / SaaS / Antigena Suspicious SaaS Activity Block
  • 14:45:06 UTC | IaaS / Admin / Azure Application Administration Activities
  • 14:45:07 UTC | SaaS / Admin / OAuth Permission Grant
  • 14:45:07 UTC | Device / Multiple Model Breaches
  • 14:45:08 UTC | SaaS / Compliance / Multiple Unusual SaaS Activities
  • 15:03:25 UTC | SaaS / Email Nexus / Possible Outbound Email Spam
  • 15:03:25 UTC | SaaS / Compromise / Unusual Login and Outbound Email Spam

User B – February 9 2022

  • 15:18:21 UTC | SaaS / Compliance / New Email Rule
  • 15:18:21 UTC | SaaS / Compromise / Unusual Login and New Email Rule
  • 15:18:22 UTC | Antigena / SaaS / Antigena Significant Compliance Activity Block
  • 15:18:22 UTC | Antigena / SaaS / Antigena Suspicious SaaS Activity Block

User C – February 10 2022

  • 14:25:20 UTC | SaaS / Admin / OAuth Permission Grant
  • 14:38:09 UTC | SaaS / Compliance / New Email Rule
  • 14:38:09 UTC | SaaS / Compromise / Unusual Login and New Email Rule
  • 14:38:10 UTC | Antigena / SaaS / Antigena Significant Compliance Activity Block
  • 14:38:10 UTC | Antigena / SaaS / Antigena Suspicious SaaS Activity Block

Refrences

1. https://www.ncsc.gov.uk/guidance/phishing#section_3

2. https://www.bleepingcomputer.com/news/security/microsoft-scammers-bypass-office-365-mfa-in-bec-attacks/

3. https://customerportal.darktrace.com/product-guides/main/antigena-saas-inhibitors

Inside the SOC
Darktrace cyber analysts are world-class experts in threat intelligence, threat hunting and incident response, and provide 24/7 SOC support to thousands of Darktrace customers around the globe. Inside the SOC is exclusively authored by these experts, providing analysis of cyber incidents and threat trends, based on real-world experience in the field.
Written by
Laura Leyland
Cyber Analyst

More in this series

No items found.

Blog

/

AI

/

July 20, 2026

スタジアム運営を任されるAI。セキュリティチームはこれをどう保護すべきか?

Default blog imageDefault blog image

スタジアム運営に使われるAIをどう保護するべきか

主なポイント

  • AIはアクセス管理、群衆管理、チケット発行、設備管理、監視カメラ等、スタジアムの運営に重要な機能に導入されつつある。  
  • シャドーAIやサードパーティAIの利用はスタジアムのセキュリティチームの目の届かないところでリスクを生み出している。
  • セキュリティチームはどのようなAIシステムが存在しているかだけでなく、それらが何にアクセスし、どのようなアクションを実行できるかを理解できなければならない。
  • イベントのレジリエンスにはAI、IT、OT、アイデンティティ、サードパーティ全体に渡る継続的監視と対応が必要。

現代のスタジアムは、他に類を見ないインフラです。以前にも書いたことがありますが、イベント開催日には、スタジアムに生命が吹き込まれ、グッズや食べ物の販売、交通のハブ、広大な通信インフラ、そしてフィールド上のさまざまな技術など、これらが連携した1つの巨大なエコシステムとして機能します。その規模と複雑性により、スタジアムはサイバーセキュリティにとって最も過酷な環境の1つとなっています。その運営に今、AIを導入することで私たちは新たな次元のリスクを負おうとしています。

スタジアム運営にAIを導入することの利点は明らかです。スタジアム運営者はAIを使うことにより、混雑したゲートからファンを安全に誘導し、売店の需要を予測し、生体認証システムを管理し、不審な動きを監視カメラで見つけ、また空調や換気を制御することができます。上手く使えば、イベントをより安全に、迅速に、より効率的にすることができます。

ただし、AIはセキュリティモデルも変化させます。

ダークトレースが最近発表したスポーツを取り巻く脅威状況についての調査では、プロスポーツ組織のサイバーセキュリティプロフェッショナルを対象に、自組織の運用範囲の中でサイバー侵害が最も重大な影響を及ぼすのはどこかという質問をしました。調査対象のプロフェッショナルの最も多い34%が指摘した分野は、スタジアムの運営でした。それと同時に、35%は自組織がすでにスタジアムの運営にAIを使用している、あるいは今後12か月間に導入の予定があると回答しています。

セキュリティチームはもはや、スタジアムを中心とした従来型のITシステムだけを保護しているのではありません。スタジアムの基盤となる重要機能を動かしている、AIシステムの保護も求められるようになっているのです。

承認済みAIとシャドーAIの違い

スタジアムのセキュリティチームが知っているAIと、そうでないAIの間には明確な違いがあります。

承認済みAIとは、審査およびテストされ、施設の運用環境に統合されたAIです。こうしたAIは、監視カメラのアナリティクス、アクセス管理、設備管理、チケット発行、ロジスティクス、放送オペレーション、海賊版対策などに使われているかもしれません。それらのAIには、明確なオーナーシップ、アクセス制御、ログ記録、ベンダーレビュー、データ保護規則などがあるはずです。それによってリスクがなくなるわけではありませんが、セキュリティチームは適切なガバナンスを整備できます。

シャドーAIはそれとは違います。シャドーAIとは、従業員、請負業者、サプライヤーによる承認されていないAIの利用です。多くの場合それは善良な意図で始まります。たとえば、作業をもっと早く進めたいと思う人がいるかもしれません。あるいは、ブリーフィングの原稿を作るためにスタッフが内部情報をパブリックAIにペーストする、開発者がチケット発行プログラムのデバッグのためにAIアシスタントを使用する、サプライヤーがAIスケジューリングツールを配送ルートに接続する、デザイナーがモックアップ作成のために未公開の会場設計図やスポンサーの資料をAIにアップロードするなどの事です。

これらの行動はいずれも、それを行っている人からすればセキュリティ上の判断のようには感じられません。しかし、これらの行為は機密性の高い運営データを、スタジアムが管理していない環境に送出し、隠れたリスクを生みます。

承認済みAIスタックは、セキュリティチームから見えています。シャドーAIスタックは多くの場合そうではありません。

試合開催日に増幅するリスクと影響

通常のエンタープライズ環境であれば、不審なログイン、普段とは異なるデータ転送、予期しないサードパーティサービスへの接続をセキュリティチームが調査するための時間は数時間あるでしょう。スタジアムでは、インシデントが起こる可能性の高い瞬間は、チームに最も余力がなくインシデントが最も大きな影響を及ぼし得るタイミング、つまり試合開催日です。

群衆管理に使われているAIシステムが予期せぬ振る舞いをしたとき、その問題は単に技術上の問題ではありません。それは会場内の物理的な動きに影響を及ぼすかもしれません。

サプライヤーツールが運営データを承認されていないAIプラットフォームに送信すれば、それはデータガバナンスだけの問題ではありません。配送ルートやアクセス制限のスケジュール、スタッフ配備計画などが漏洩するかもしれません。

最も危険なシナリオは必ずしも派手な、劇的な攻撃とは限らず、外部ベンダーがソフトウェア更新でAI機能を追加した、あるいはスタッフのワークフローで未承認のツールが使用されているなど、誰も想定していなかった隠れた依存関係から発生することがあります。

イベントが始まると、これらの隠れたつながりが運営上のリスクになる可能性があります。

サプライチェーンはスタジアムのアタックサーフェス(攻撃対象領域)の一部

すべての大規模スポーツイベントは、さまざまなサプライチェーンとパートナーシップで構築されています。ケータリングサービスや輸送、放送システム、施設管理チームなど、あらゆるピースが必須であり、それぞれがセキュリティチャネルを作り出しています。サプライチェーン侵害のリスクはすでによく知られており私たちが目にしてきたいくつかの有名な侵害事例の原因となっています。マジソン・スクエア・ガーデンを所有するMSG Entertainment社のデータ侵害事例は3月に大きく報道されましたが、これはMSG Entertainment社のバックオフィスシステムで使用されていたOracleのE-Business Suiteから発生していました。また、2018年の平昌冬季オリンピックを標的としたOlympic Destroyer攻撃はこの大会のメインITサービスプロバイダーに対する侵害から始まったと言われています。そして、AIの導入によりこのリスクは増大しつつあります。

スタジアム自体は自社のAIシステムに厳しいルールを設けているかもしれませんが、ベンダーは別のツールを使っている場合があります。スタッフの配備や、配送のタイミング、在庫、顧客とのやり取りの管理にAIを使っている業者もあるでしょう。また、既に使用しているソフトウェアにAI機能が追加されていることに気が付いていないケースもあります。

スタジアムの運営でAIを保護する際の最も難しい問題の1つはこの点です。リスクはスタジアムが選択したツールから来るとは限らないのです。サプライヤーが選択したツールや、有効に設定されていることをサプライヤーが知らなかった機能からリスクが発生する可能性があります。

セキュリティチームは、ベンダーのアクセスを管理するのと同じようにベンダーのAIを扱う必要があります。サプライヤーが何に接続できるか、どのようなデータを見ることができるか、どのようなツールを使っているか、そしてこれらのツールがデータ露出や水平移動(ラテラルムーブメント)の新たな経路を作り出さないかを知る必要があるのです。

サードパーティAIツールがリスクを作り出すのに深いアクセス権は必要ありません。特定の情報が不適切なタイミングで露出するだけでリスクを招きます。

スタジアム運営におけるAIについてセキュリティチームが確認すべき4つの質問

AIがスタジアム運営の一部となるなかで、セキュリティチームは基本的な承認リストの先へ進む必要があります。次の4つの点を問う必要があります:

1.  AIはどこで使われているか?

すぐに思いつくのは、コンピュータービジョン、アクセス管理、チケット発行、ロジスティクス、設備管理等のツールです。しかし、SaaSプラットフォーム、ベンダーツール、ブラウザ拡張、開発者ワークフロー、スマートビルディングシステム、コラボレーションツールにも見えにくい形でAIが含まれています。

2. AIは何にアクセスできるか?

そのAIはインシデントログ、スタジアム設計図、チケット発行データ、ビデオ映像、建物管理、ファン情報、認証情報、サプライヤーシステムを見ることができるでしょうか?それは情報を分析するだけでしょうか、それともアクションを実行することもできるでしょうか?

3. AIは何を実行できるか?

AIエージェントは単なる受動的ツールではありません。APIを呼び出す、記録を更新する、命令を生成する、ワークフローをトリガーする、あるいはユーザーやサービスアカウントの権限を持って行動できるものもあります。スタジアムにおいて、その違いはきわめて重要な意味を持ちます。アクションを提案するAIシステムと、アクションを実行できるAIの間には大きな違いがあります。

4. 何が正常な状態か?

セキュリティアーキテクチャとしては、静的なルールだけでは不十分となるでしょう。AIの使用状況は急激に変化します:既存のプラットフォーム内にAIツールが出現し、ベンダーがAIを使った新しいサービスを追加し、多忙をきわめたスタッフはAIを使った回避策を見つけるかもしれません。セキュリティチームは、何かが変化したときにそれを発見できるよう、人、アイデンティティ、デバイス、ネットワーク、クラウドサービス、サプライヤー、AIツールのすべてにわたって正常な振る舞いを理解している必要があります。

このことは、わずかな異常が重大な意味をもつかもしれない、イベント開催中の環境において特に重要です。未承認のAIサービスへの接続は、ある状況では無害かもしれませんが別の文脈では深刻なものとなる可能性があります。そしてAIエージェントによるアクションの実行は、午前3時にセットアップを行っている状況では予期されたものかもしれませんが、試合開催中にそのアクションが発生した場合、疑わしいものかもしれません。あるアクティビティを意味のあるセキュリティ情報にするのはコンテキストです。また、迅速な対応を可能にするのもコンテキストであると言えます。組織内のAIベースセキュリティシステムが、アクションを実行する必要があることを知るためのリアルタイムのコンテキストを構築できれば、マシンスピードで脅威に対応できます。

AIはスタジアムの安全に貢献できる、ただしAIが安全であることが条件

AIにはスタジアム運営に貢献できる役割があります。観客の混雑をより早期に検知し、ボトルネックを解消し、施設をより効率的に管理し、ファン体験を向上させ、プレッシャーのかかる状況下でイベント運営チームをサポートすることができます。

問題への答えはすべてのAIの導入のペースを落とすことではありません。それが解決策ではありません。答えは、AIを可視化し、管理し、試合日の運営の一部となる前に安全にすることです。

スタジアムの運営チームやイベント主催者にとって、これはAIの使用を会場とサプライヤーエコシステム全体にわたってマッピングすることを意味します。また、各AIシステムが何にアクセスでき、どのようなアクションを実行できるかを理解することです。スタッフの判断で回避策を探すのに任せるのではなく、彼らのニーズを満たす承認済みのツールを提供することも重要です。ベンダーとの契約や監査にAIの利用について明記することも必要です。さらに、わかりやすい主なシステムだけではなく、環境全体で動作を監視することも大事です。スタジアムから見えないものを安全にすることはできません。

AIが、スタジアム内の人の移動、アクセスの制御、設備の管理、サプライヤーのサポート、メディアの権利保護の一部となるとき、それはもはや追加機能ではなく、イベントインフラの一部となるのです。

イベントインフラは、スタジアムのゲートが開く前に入念に準備され、安全でシームレスかつ信頼性の高いイベント体験を実現するのに必要な、オペレーショナルレジリエンスによって維持されなければなりません。

Darktraceはスタジアム運営のためのAIをどう保護できるか

ダークトレースは、10年以上にわたり構築してきたビヘイビアAIの専門技術を、複雑で曖昧な環境で機能するように設計された、組織全体をカバーするプラットフォームで提供しています。2022 FIFAワールドカップカタール大会からF1グランプリまで、Darktraceは世界のさまざまな会場や米国中のスタジアムにおいて運営を支える統合された大規模なITおよびOT環境を保護しています。

他のサイバーセキュリティ技術は、過去の攻撃に基づいて新しい攻撃を予測しようとします。しかし問題は、AIが人間のように動作することです。あらゆるアクションが新たな情報をもたらし、それによってAIの動作は変化するため、予測不可能です。過去に見られた攻撃の戦術はもはや方程式の小さな部分に過ぎません。その結果多くのベンダーは実証されていない技術を買収し、改修することによりAIの保護を行おうとしています。  

ダークトレースのアプローチは他とは根本的に異なります。ダークトレースの適応型AIは、人とAIの振る舞いを学習し続けることにより組織についての理解を構築するため、動作の逸脱が起こった時にそれを検知し自律的に対応することが可能です。ダークトレースの提供するビヘイビアベースの防御プラットフォームは、新たなワークフロー、エージェント、アプリケーションの導入に対応して組織内のAI、人、インフラを保護することにより、大規模なAI変革を可能にします。

AIによって変化する組織の潜在力。Darktraceは組織が自信を持って前へ進むのに役立ちます。ダークトレースはスタジアムインフラ内の人とテクノロジーを保護するセキュリティチームに対し、新たなテクノロジーの導入を保護するのに必要な理解、可視性、自律的アクションを提供し、AI時代を構築するための変革を後押しします。

[related-resource]

Continue reading
About the author
Karim Benslimane
VP, Field CISO

Blog

/

AI

/

July 15, 2026

Security After Signatures: Operating in a World of Pre‑CVE Disclosure Exploitation, Collapsed Trust Boundaries, and Autonomous Systems

Default blog imageDefault blog image

Three shifts have reshaped what it means to defend an enterprise securely.  

First, exploitation often begins before defenders have a Common Vulnerabilities and Exposures (CVE) identifier, a security advisory, or an entry in the Cybersecurity and Infrastructure Security Agency's (CISA) Known Exploited Vulnerabilities (KEV) catalog.

Secondly, the trust boundary has moved beyond the network edge into identities, tokens, APIs, and Software-as-a-Service (SaaS) workflows.  

Third, an increasing share of business activity is executed through automation, integrations, and AI agent-like systems that can act faster than teams can verify intent.  

If your security model still relies on detecting known bad artefacts, triaging isolated alerts, and waiting for confirmation before acting, you are already behind the threat.  

This is not a failure of security teams; it’s a failure of the operating model to keep pace with how the environment has changed.

A SOC built around alerts and signatures assumes that malicious activity will eventually surface as an event. In real incidents, however, the decisive evidence is rarely a single event. Instead, it is a chain of individually explainable actions that only appears malicious once you connect the dots across identity, non-human identity, cloud, email, SaaS, operational technology (OT), and network telemetry.

The defenders succeeding today observe behaviors, link them into sequences, understand what those sequences mean, and contain impact before the full story unfolds. That is the operating model the current threat environment demands.  

Exploitation before disclosure

The first shift is the straightforward: the time to exploit has dropped to nearly zero.  

In one example, Darktrace observed a sequence of subtle but strategically significant anomalies within a customer environment that later aligned with exploitation of CVE‑2025‑0994 in Trimble Cityworks by likely Chinese-nexus threat actors. Behavioral indicators were visible at least 18 days before public disclosure, with related anomalies emerging 40 to 50 days earlier during the intrusion window.  

This case illustrates a familiar pattern: clusters of weak‑signal anomalies combing to form an actionable picture of intrusion long before a CVE is published. Such activity reflects long‑horizon, option‑preserving operator models often associated with mature state‑linked activity.  

Figure 1: Darktrace’s detection of malicious exploitation of CVE 2025-0994, later tied to Chinese-nexus threat actors targeting critical national infrastructure (CNI) in the US, weeks before public disclosure.

Throughout 2025 and 2026, Darktrace has continued to observe the value of anomaly-based detections across a range of incidents.

CVE CVE Public Disclosure Date Darktrace Detection Date Days Between Detection of Exploitation and CVE Public Disclosure
CVE 2025 0994
(Trimble City Works)
2025-02-06 2025-01-19 18 Days
CVE 2025-24183
(Apache)
2025-03-10 2025-02-18 20 days
CVE 2025-10035
(Fortra GoAnywhere)
2025-09-18 2025-09-11 7 days

Identity is the real control plane

The second shift is that identity has replaced perimeter as the primary control plane. As Darktrace’s Annual Threat Report 2026 illustrated, identity remains the main challenge in defending against modern intrusions. A clear example is the Adversary-in-the-Middle (AiTM) case published by Darktrace in December 2025. A phishing email led to the compromise of an Office 365 account. Session hijacking bypassed multi-factor authentication (MFA), and the compromised account was used for follow-on phishing and persistence activities including the creation of malicious email rules.  

Every step in that sequence mattered. A successful login alone does not prove legitimacy. An inbox rule, on its own, may not appear catastrophic. Mail activity, viewed in isolation, may seem operationally normal. But the behavioral chain tells a different story: credential theft, token abuse, persistence, and onward compromise through a trusted identity.  

This is why the question is no longer “Did the user authenticate successfully”. The more important question is, “Does this identity action make sense right now, in this context, given what came before it?” The AiTM case shows how identity can be compromised. In practice, however, attacks rarely remained confined to identity alone.  

In another Darktrace case, a compromised SaaS account triggered activity across the email, SaaS, and network layers, including inbox rule changes, phishing propagation, and connections to suspicious infrastructure. Viewed in isolation, none of these events were decisive. Together, however,  they formed a behavioral sequence that revealed the intrusion, with the full attack story automatically correlated and surfaced to defenders by Darktrace’s Cyber AI Analyst.  

Figure 2: Cyber AI Analyst correlated and appended additional events to the incident, including other users who connected to the suspicious redirect link after outbound phishing emails were sent.

AI accelerates the threat  

The third shift is the one many teams still underestimate: trusted tooling, integrations, and AI agent-like systems can create actions that appear legitimate but are strategically dangerous.  

The shift becomes clearer when examining how governments are now framing AI risk. In 2026, guidance published by CISA, UK’s National Cyber Security Centre (NCSC) and Five Eyes partners warned that agentic systems expand attack surfaces, accumulate privilege, and can behave in ways that are difficult to predict or explain [1]. The advice is simple: assume unexpected behavior and design controls around it.  

The real risk is not AI usage. It is unknown autonomy: systems with credentials, data access, and action paths that can execute workflow steps without sufficient behavioral validation, traceability, or human oversight. Darktrace’s Model Context Protocol (MCP) risk analysis provides a useful framework for understanding this challenge. Over-privileged agents, content injection, and tool abuse become high-consequence risks when connected systems can dynamically retrieve data, execute actions, and communicate externally.  

Whether security teams like it or not, AI is already in the enterprise. It will help drive innovation, but it will also be abused, whether accidentally or maliciously. In each of the cases below, AI either scaled the attacker, built the tooling, or existed within the environment as something to exploit or misuse.

1. AI as an Attack Multiplier

In one campaign targeting Mexican government entities, a single operator used commercial AI platforms to generate exploits, automate reconnaissance, and process large volumes of data, compressing work that would traditionally have required an entire team into a single workflow [2].  

Darktrace is also observing this trend further down the stack. In one case, Darktrace identified AI-generated malware exploiting React2Shell, where an attacker used a Large Language Model (LLM) to produce working exploit code and deploy it at scale.  

[darktrace.com], [darktrace.com]

2. AI as an Attack Surface

Attempted AI exploitation is now appearing within customer environments. In one case involving an automation technology manufacturer, a compromised LLM proxy was seemingly used as a stepping stone to access additional AI services. When that attempt failed, the attacker pivoted to cryptomining.

What is clear is that the AI layer has already become an asset worth probing, exploiting, and pivoting through. It is also clear that defenders benefit from rapidly understanding how these activities connect. In this case, Cyber AI Analyst automatically pieced together the intrusion, while Darktrace’s Managed Threat Detection service alerted to the customer, enabling the activity to be contained before it could progress further.

Figure 3: Cyber AI Analyst's investigation into a compromised LLM proxy that was abused for cryptomining activity.

AI as a trusted but dangerous actor

This does not require a cinematic vision of “rogue AI.” The Salesloft incident provides a more grounded example, where AI and automation operate with legitimate access but served malicious intent. In that case, attackers abused compromised OAuth tokens associated with the Drift AI chat agent to export significant volumes of data from Salesforce environments.  

The activity resembled legitimate API usage and relied on trusted SaaS integrations rather than malware or other obvious signs of intrusion. That is precisely the challenge. Traditional security controls are good at detecting forced entry, but far less effective when a trusted application integration behaves in a way that is technically permitted yet operationally harmful.  

In these scenarios, the security challenge shifts from validating access to validating behavior.

This is what that looks like in practice: AI-linked identities executing legitimate actions that require behavioral validation rather than access validation.

Figure 4: Darktrace / SECURE AI highlights anomalous activity across AI identities, surfacing critical behavior that requires validation and containment.

Early observations from Darktrace / SECURE AI deployments reinforce this reality. Across Darktrace's observed fleet, AI service connections per deployment increased 13% during the first half of 2026, reaching over 16 million connections overall. The typical organisation now interacts with seven different AI providers, evidence that AI is no longer operating at the edges of the enterprise. It is increasingly woven into day-to-day business activity.

The most common risks are not compromised models or advanced AI attacks. Instead, they stem from employees and business functions exposing sensitive information through entirely legitimate-looking interactions. Darktrace has observed repeated submission of personally identifiable information (PII), tax information, identification documents, and medical data into LLM prompts, alongside widespread use of unsanctioned (shadow) AI services and growing AI activity from mobile devices.  

For defenders, the challenge is increasingly one of context: understanding when legitimate business use crosses into material risk, while preserving privacy and user trust.

Conclusion

Across all three shifts, the pattern is the same: behavior precedes understanding. Security teams are not losing because adversaries have become invisible. An increasingly outdated security model assumes that malicious activity will reveal itself cleanly and early. It no longer does.  

In 2026 and beyond, defenders win by understanding behavioral sequences, continuously validating trust, and acting before certainty becomes hindsight. That is security after signatures. That is security in the AI era.

Credit to: Daniel Levy, Threat Hunting Data Scientist

Edited by: Ryan Traill, Content Manager

References

[1] https://www.cyber.gov.au/business-government/secure-design/artificial-intelligence/careful-adoption-of-agentic-ai-services  

[2]https://www.latimes.com/business/story/2026-02-26/hacker-used-anthropics-claude-ai-to-steal-mexican-government-data

Continue reading
About the author
Nathaniel Jones
VP, Security & AI Strategy, Field CISO
あなたのデータ × DarktraceのAI
唯一無二のDarktrace AIで、ネットワークセキュリティを次の次元へ