Darktrace cyber analysts are world-class experts in threat intelligence, threat hunting and incident response, and provide 24/7 SOC support to thousands of Darktrace customers around the globe. Inside the SOC is exclusively authored by these experts, providing analysis of cyber incidents and threat trends, based on real-world experience in the field.
Written by
Dan Fein
VP, Product
Share
15
Jul 2020
With the move to remote working, the number of active daily users on Microsoft Teams has grown to 75 million, up from 20 million this time last year. Similar trends are being seen across Slack, Zoom, and Google Meet. With these SaaS applications becoming a staple in our working lives, we can expect cyber-criminals to begin leveraging their household names and trusted reputation to launch email attack campaigns.
Indeed, Darktrace’s AI picked up on one such attempt last month while deployed in passive mode at a multinational conglomerate. Antigena Email identified 48 incoming emails that impersonated a Microsoft Teams notification, but in fact came from an unknown sender and rare domain. The emails contained a hidden link to a Google storage site, hidden behind the text ‘Accept Collaboration’.
Figure 1: A snapshot of Antigena Email's user interface
File storage links such as these are often used because they bypass spam filtering. Whilst the links themselves aren’t deemed as malicious, they may well include malware-containing files or other harmful content. Whilst this attack would have been waved through by a traditional email security tool, Antigena Email noticed that in this case the page appeared to be hosting a Microsoft sign-in page. At the time the email came through, a URL scan did not reveal this site as malicious, but Antigena Email recognized that it is highly unusual for a Google domain to be hosting an Office login page.
Recognizing this as an attempt to impersonate an internal service to distribute phishing links, Antigena Email locked the link in question and held the messages back from the inbox. The screenshot below reveals the full list of models that were breached, and the respective actions that this prompted the AI to take.
Figure 2: The complete list of model breaches associated with this email, and the relevant actions taken
None of the 48 emails were caught by Microsoft’s built-in security tools, and 12 of the emails were opened by the recipient. Additionally, emails were sent to recipients in alphabetical order, suggesting that the attacker may have gotten hold of a company address book and likely would have continued their attack – targeting even more employees – had Antigena Email not identified the malicious activity and immediately alerted the security team.
This was not the first, and is unlikely to be the last, time that attackers leverage trusted SaaS collaboration tools to try and engage users and coax them into clicking a malicious link. Antigena Email can see through these attempts, recognizing when a trusted brand name is being used to mask unusual and threatening behavior. Hundreds of organizations are now relying on this AI technology for a more comprehensive detection and response strategy against these increasingly sophisticated attacks.
Darktrace cyber analysts are world-class experts in threat intelligence, threat hunting and incident response, and provide 24/7 SOC support to thousands of Darktrace customers around the globe. Inside the SOC is exclusively authored by these experts, providing analysis of cyber incidents and threat trends, based on real-world experience in the field.
“I wonder if running that tool influenced the connectivity in some way.”
“I might need to target down or reboot, but first, I'll investigate the network using ARP. I wonder if ARP is responding properly. If I see "ip neigh stale," that could indicate a problem. I think arping might help in this situation, but I’ll need to keep an eye on how the network is behaving. It's all about figuring out where the issue lies!”
図10：エージェントの異常なLDAPアクティビティに対してトリガーされたこのLinuxサーバーに対するモデル検知は、Cyber AI Analystによって自律的に調査され、その調査結果にはエージェントの異常なSMBセッションアクティビティに関する内容が含まれ、Cyber AIAnalystインシデントに記録されました。
DarktraceのCyber AI Analystは、エージェントのアクティビティによってトリガーされたモデル検知を自律的に調査し、その調査結果を1つの重要なインシデントレポートにまとめました。インシデント報告書の内容は、エージェントによるネットワークスキャンから始まりコーディング演習内容のSMBベースの上書きで終わる、エージェントの行動の各段階を詳しくカバーしています。
図20：Cyber AI Analystは、モデル検知に対する自律的な調査を通じて得られた所見をつなぎ合わせ、エージェントの進行状況のタイムラインを作成し、アクティビティを視覚的に表したグラフとともに提供しました。
Cyber Verification Program下のAnthropic Opus 4.6モデルなど、他のフロンティアモデルを使用したエージェントも、Darktraceのシミュレートされた環境で同じ設定とタスクを使ってテストされました。反復の度に、エージェントは演習の内容または採点プログラムを変更して不正を行おうとしました。基盤となるモデルに関係なく、エージェントは自分が置かれた環境を侵害することで、100％のスコアを達成する方法を見つけることに成功していました。これらのエージェントによるハッキングは、アクティビティの内容こそ違っていましたが、すべてその環境のベースラインの振る舞いから大きく逸脱した動作を引き起こしていました。これらの逸脱はDarktraceプラットフォームに十分な検知の機会を提供し、エージェントの逃げ場はありませんでした。
エージェンティックハーネスは会話履歴をローカルに保存しますが、ダークトレースの研究者たちは、保存されたAIの応答が本当にモデルによって生成されたものであるかどうかの検証が行われていないことを発見しました。また、この設計上の選択がAnthropic Claude Code、AWS Kiro-CLI、OpenAI Codex、およびオープンソースのPiにわたって共通していることを確認しました。
会話履歴は多くの場合クライアント側に保存されます。例えば、Anthropic Claude Code、OpenAI Codex、AWS Kiro-CLI、Piなどでもそうです。そのため、ユーザーはセッションを自由に再開でき、一部の製品にはその履歴を操作する機能が組み込まれています。たとえば、会話の中の特定の時点に戻り、送信したメッセージを編集して、会話を別の軌道へ進めていくことができます。きわめて重要な点として、私たちが調査したすべてのケースにおいて、保存されているAIの応答が対応するモデルから生成されたものであり改ざんされていないことの検証は行われていませんでした。
