The recent security incident disclosed jointly by OpenAI and Hugging Face is quickly becoming one of the most discussed AI security stories of the year; it's one that has generated great discussion amongst our researchers and technical teams here at Darktrace.

During an internal evaluation of advanced OpenAI models, an autonomous agent reportedly escaped its intended testing boundaries, obtained internet access, and compromised Hugging Face infrastructure while attempting to evaluate and benchmark the model's cyber capabilities. OpenAI has described it as an unprecedented cyber incident and is collaborating with Hugging Face to investigate and share its findings publicly to help defenders understand the implications and improve AI safety across the community.

What this means for organizations deploying AI agents

The most important takeaway for security leaders is not that the AI model is capable of complex and effective chained attacks. It's what this tells us about the guardrails and protections that need to be put in place to ensure these increasingly capable models are safely used within our businesses.

According to OpenAI's investigation, the models were not acting with malicious intent. They were attempting to achieve a legitimate assigned objective. In pursuing that objective, they identified a path that involved obtaining information from a third party's environment and followed it to completion. From the model's perspective, that appears to have been an effective solution to the problem it was given.

Many organizations still hold the assumption that giving an AI agent a legitimate goal will naturally result in legitimate behavior. Increasingly, that is not something defenders can safely assume.

A human who encounters a "permission denied" message generally understands the technical restriction as well as the social meaning behind it. An agent may interpret that message only as evidence that one method to achieve its objective has failed. What makes this incident notable is the agent’s ability to keep pursuing the objective, revise its plan, and combine many individually useful actions into an outcome its designers did not intend.

This is not an isolated challenge. Recent research from the UK's AI Security Institute found that frontier models often attempt to "cheat" evaluations by finding unintended shortcuts to success. More interestingly, that behavior is not always reflected in chain-of-thought outputs and is not always admitted when models are questioned about their actions. One lesson for defenders is that understanding what an AI system says it is doing is not always the same as understanding its behavior and what it is actually doing.

Why behavioral security is an essential security foundation

That's the principle behind Darktrace / SECURE AI and our broader approach to behavioral security. Understanding intent or putting in place static guardrails is not enough; security teams need visibility into how agents behave over time, what resources they interact with, how their behavior changes, and whether they begin pursuing objectives in unexpected ways. Research released by NIST earlier this summer reinforced that rules alone are not sufficient to defend against AI threats, with one conclusion being that "there will always be a way to prompt an AI system to disregard its rules - it's just a matter of finding it."

Another interesting lesson is that nothing described in OpenAI's preliminary findings appears fundamentally impossible for a skilled human attacker. But it does highlight the accessibility and scale that could be unlocked for attackers as increasingly capable models become more widely available. Resource constraints that attackers deal with will decrease as frontier models can help execute elements of those attack workflows autonomously, persist through failure, and iterate towards an objective. Capabilities that were once limited to skilled attackers can increasingly be supplemented with these systems, lowering the barrier to entry to conduct complex cyber operations.

It is incredibly positive to see OpenAI and Hugging Face investigating this incident collaboratively and sharing their findings publicly. Transparency and collaboration around incidents like these helps the entire security community better understand how rapidly AI capabilities are evolving and where we need to improve safeguards. It also reinforces why Darktrace is excited to be partnering with OpenAI through the Daybreak Cyber Partner Program: to explore how advanced AI can be used safely and responsibly in support of defenders while developing the visibility, governance, and security controls needed for increasingly autonomous systems.

This incident is an important reminder that capable AI systems will not always behave in the ways we expect. As organizations deploy AI agents across critical workflows, understanding behavior is an even more important foundation for effective security.

[related-resource]

スタジアム運営に使われるAIをどう保護するべきか

主なポイント

• AIはアクセス管理、群衆管理、チケット発行、設備管理、監視カメラ等、スタジアムの運営に重要な機能に導入されつつある。  
• シャドーAIやサードパーティAIの利用はスタジアムのセキュリティチームの目の届かないところでリスクを生み出している。
• セキュリティチームはどのようなAIシステムが存在しているかだけでなく、それらが何にアクセスし、どのようなアクションを実行できるかを理解できなければならない。
• イベントのレジリエンスにはAI、IT、OT、アイデンティティ、サードパーティ全体に渡る継続的監視と対応が必要。

現代のスタジアムは、他に類を見ないインフラです。以前にも書いたことがありますが、イベント開催日には、スタジアムに生命が吹き込まれ、グッズや食べ物の販売、交通のハブ、広大な通信インフラ、そしてフィールド上のさまざまな技術など、これらが連携した1つの巨大なエコシステムとして機能します。その規模と複雑性により、スタジアムはサイバーセキュリティにとって最も過酷な環境の1つとなっています。その運営に今、AIを導入することで私たちは新たな次元のリスクを負おうとしています。

スタジアム運営にAIを導入することの利点は明らかです。スタジアム運営者はAIを使うことにより、混雑したゲートからファンを安全に誘導し、売店の需要を予測し、生体認証システムを管理し、不審な動きを監視カメラで見つけ、また空調や換気を制御することができます。上手く使えば、イベントをより安全に、迅速に、より効率的にすることができます。

ただし、AIはセキュリティモデルも変化させます。

ダークトレースが最近発表したスポーツを取り巻く脅威状況についての調査では、プロスポーツ組織のサイバーセキュリティプロフェッショナルを対象に、自組織の運用範囲の中でサイバー侵害が最も重大な影響を及ぼすのはどこかという質問をしました。調査対象のプロフェッショナルの最も多い34%が指摘した分野は、スタジアムの運営でした。それと同時に、35%は自組織がすでにスタジアムの運営にAIを使用している、あるいは今後12か月間に導入の予定があると回答しています。

セキュリティチームはもはや、スタジアムを中心とした従来型のITシステムだけを保護しているのではありません。スタジアムの基盤となる重要機能を動かしている、AIシステムの保護も求められるようになっているのです。

承認済みAIとシャドーAIの違い

スタジアムのセキュリティチームが知っているAIと、そうでないAIの間には明確な違いがあります。

承認済みAIとは、審査およびテストされ、施設の運用環境に統合されたAIです。こうしたAIは、監視カメラのアナリティクス、アクセス管理、設備管理、チケット発行、ロジスティクス、放送オペレーション、海賊版対策などに使われているかもしれません。それらのAIには、明確なオーナーシップ、アクセス制御、ログ記録、ベンダーレビュー、データ保護規則などがあるはずです。それによってリスクがなくなるわけではありませんが、セキュリティチームは適切なガバナンスを整備できます。

シャドーAIはそれとは違います。シャドーAIとは、従業員、請負業者、サプライヤーによる承認されていないAIの利用です。多くの場合それは善良な意図で始まります。たとえば、作業をもっと早く進めたいと思う人がいるかもしれません。あるいは、ブリーフィングの原稿を作るためにスタッフが内部情報をパブリックAIにペーストする、開発者がチケット発行プログラムのデバッグのためにAIアシスタントを使用する、サプライヤーがAIスケジューリングツールを配送ルートに接続する、デザイナーがモックアップ作成のために未公開の会場設計図やスポンサーの資料をAIにアップロードするなどの事です。

これらの行動はいずれも、それを行っている人からすればセキュリティ上の判断のようには感じられません。しかし、これらの行為は機密性の高い運営データを、スタジアムが管理していない環境に送出し、隠れたリスクを生みます。

承認済みAIスタックは、セキュリティチームから見えています。シャドーAIスタックは多くの場合そうではありません。

試合開催日に増幅するリスクと影響

通常のエンタープライズ環境であれば、不審なログイン、普段とは異なるデータ転送、予期しないサードパーティサービスへの接続をセキュリティチームが調査するための時間は数時間あるでしょう。スタジアムでは、インシデントが起こる可能性の高い瞬間は、チームに最も余力がなくインシデントが最も大きな影響を及ぼし得るタイミング、つまり試合開催日です。

群衆管理に使われているAIシステムが予期せぬ振る舞いをしたとき、その問題は単に技術上の問題ではありません。それは会場内の物理的な動きに影響を及ぼすかもしれません。

サプライヤーツールが運営データを承認されていないAIプラットフォームに送信すれば、それはデータガバナンスだけの問題ではありません。配送ルートやアクセス制限のスケジュール、スタッフ配備計画などが漏洩するかもしれません。

最も危険なシナリオは必ずしも派手な、劇的な攻撃とは限らず、外部ベンダーがソフトウェア更新でAI機能を追加した、あるいはスタッフのワークフローで未承認のツールが使用されているなど、誰も想定していなかった隠れた依存関係から発生することがあります。

イベントが始まると、これらの隠れたつながりが運営上のリスクになる可能性があります。

サプライチェーンはスタジアムのアタックサーフェス（攻撃対象領域）の一部

すべての大規模スポーツイベントは、さまざまなサプライチェーンとパートナーシップで構築されています。ケータリングサービスや輸送、放送システム、施設管理チームなど、あらゆるピースが必須であり、それぞれがセキュリティチャネルを作り出しています。サプライチェーン侵害のリスクはすでによく知られており私たちが目にしてきたいくつかの有名な侵害事例の原因となっています。マジソン・スクエア・ガーデンを所有するMSG Entertainment社のデータ侵害事例は3月に大きく報道されましたが、これはMSG Entertainment社のバックオフィスシステムで使用されていたOracleのE-Business Suiteから発生していました。また、2018年の平昌冬季オリンピックを標的としたOlympic Destroyer攻撃はこの大会のメインITサービスプロバイダーに対する侵害から始まったと言われています。そして、AIの導入によりこのリスクは増大しつつあります。

スタジアム自体は自社のAIシステムに厳しいルールを設けているかもしれませんが、ベンダーは別のツールを使っている場合があります。スタッフの配備や、配送のタイミング、在庫、顧客とのやり取りの管理にAIを使っている業者もあるでしょう。また、既に使用しているソフトウェアにAI機能が追加されていることに気が付いていないケースもあります。

スタジアムの運営でAIを保護する際の最も難しい問題の1つはこの点です。リスクはスタジアムが選択したツールから来るとは限らないのです。サプライヤーが選択したツールや、有効に設定されていることをサプライヤーが知らなかった機能からリスクが発生する可能性があります。

セキュリティチームは、ベンダーのアクセスを管理するのと同じようにベンダーのAIを扱う必要があります。サプライヤーが何に接続できるか、どのようなデータを見ることができるか、どのようなツールを使っているか、そしてこれらのツールがデータ露出や水平移動（ラテラルムーブメント）の新たな経路を作り出さないかを知る必要があるのです。

サードパーティAIツールがリスクを作り出すのに深いアクセス権は必要ありません。特定の情報が不適切なタイミングで露出するだけでリスクを招きます。

スタジアム運営におけるAIについてセキュリティチームが確認すべき4つの質問

AIがスタジアム運営の一部となるなかで、セキュリティチームは基本的な承認リストの先へ進む必要があります。次の4つの点を問う必要があります：

1. ‍ AIはどこで使われているか？

すぐに思いつくのは、コンピュータービジョン、アクセス管理、チケット発行、ロジスティクス、設備管理等のツールです。しかし、SaaSプラットフォーム、ベンダーツール、ブラウザ拡張、開発者ワークフロー、スマートビルディングシステム、コラボレーションツールにも見えにくい形でAIが含まれています。

2. AIは何にアクセスできるか？

そのAIはインシデントログ、スタジアム設計図、チケット発行データ、ビデオ映像、建物管理、ファン情報、認証情報、サプライヤーシステムを見ることができるでしょうか？それは情報を分析するだけでしょうか、それともアクションを実行することもできるでしょうか？

3. AIは何を実行できるか？

AIエージェントは単なる受動的ツールではありません。APIを呼び出す、記録を更新する、命令を生成する、ワークフローをトリガーする、あるいはユーザーやサービスアカウントの権限を持って行動できるものもあります。スタジアムにおいて、その違いはきわめて重要な意味を持ちます。アクションを提案するAIシステムと、アクションを実行できるAIの間には大きな違いがあります。

4. 何が正常な状態か？

セキュリティアーキテクチャとしては、静的なルールだけでは不十分となるでしょう。AIの使用状況は急激に変化します：既存のプラットフォーム内にAIツールが出現し、ベンダーがAIを使った新しいサービスを追加し、多忙をきわめたスタッフはAIを使った回避策を見つけるかもしれません。セキュリティチームは、何かが変化したときにそれを発見できるよう、人、アイデンティティ、デバイス、ネットワーク、クラウドサービス、サプライヤー、AIツールのすべてにわたって正常な振る舞いを理解している必要があります。

このことは、わずかな異常が重大な意味をもつかもしれない、イベント開催中の環境において特に重要です。未承認のAIサービスへの接続は、ある状況では無害かもしれませんが別の文脈では深刻なものとなる可能性があります。そしてAIエージェントによるアクションの実行は、午前3時にセットアップを行っている状況では予期されたものかもしれませんが、試合開催中にそのアクションが発生した場合、疑わしいものかもしれません。あるアクティビティを意味のあるセキュリティ情報にするのはコンテキストです。また、迅速な対応を可能にするのもコンテキストであると言えます。組織内のAIベースセキュリティシステムが、アクションを実行する必要があることを知るためのリアルタイムのコンテキストを構築できれば、マシンスピードで脅威に対応できます。

AIはスタジアムの安全に貢献できる、ただしAIが安全であることが条件

AIにはスタジアム運営に貢献できる役割があります。観客の混雑をより早期に検知し、ボトルネックを解消し、施設をより効率的に管理し、ファン体験を向上させ、プレッシャーのかかる状況下でイベント運営チームをサポートすることができます。

問題への答えはすべてのAIの導入のペースを落とすことではありません。それが解決策ではありません。答えは、AIを可視化し、管理し、試合日の運営の一部となる前に安全にすることです。

スタジアムの運営チームやイベント主催者にとって、これはAIの使用を会場とサプライヤーエコシステム全体にわたってマッピングすることを意味します。また、各AIシステムが何にアクセスでき、どのようなアクションを実行できるかを理解することです。スタッフの判断で回避策を探すのに任せるのではなく、彼らのニーズを満たす承認済みのツールを提供することも重要です。ベンダーとの契約や監査にAIの利用について明記することも必要です。さらに、わかりやすい主なシステムだけではなく、環境全体で動作を監視することも大事です。スタジアムから見えないものを安全にすることはできません。

AIが、スタジアム内の人の移動、アクセスの制御、設備の管理、サプライヤーのサポート、メディアの権利保護の一部となるとき、それはもはや追加機能ではなく、イベントインフラの一部となるのです。

イベントインフラは、スタジアムのゲートが開く前に入念に準備され、安全でシームレスかつ信頼性の高いイベント体験を実現するのに必要な、オペレーショナルレジリエンスによって維持されなければなりません。

Darktraceはスタジアム運営のためのAIをどう保護できるか

ダークトレースは、10年以上にわたり構築してきたビヘイビアAIの専門技術を、複雑で曖昧な環境で機能するように設計された、組織全体をカバーするプラットフォームで提供しています。2022 FIFAワールドカップカタール大会からF1グランプリまで、Darktraceは世界のさまざまな会場や米国中のスタジアムにおいて運営を支える統合された大規模なITおよびOT環境を保護しています。

他のサイバーセキュリティ技術は、過去の攻撃に基づいて新しい攻撃を予測しようとします。しかし問題は、AIが人間のように動作することです。あらゆるアクションが新たな情報をもたらし、それによってAIの動作は変化するため、予測不可能です。過去に見られた攻撃の戦術はもはや方程式の小さな部分に過ぎません。その結果多くのベンダーは実証されていない技術を買収し、改修することによりAIの保護を行おうとしています。  

ダークトレースのアプローチは他とは根本的に異なります。ダークトレースの適応型AIは、人とAIの振る舞いを学習し続けることにより組織についての理解を構築するため、動作の逸脱が起こった時にそれを検知し自律的に対応することが可能です。ダークトレースの提供するビヘイビアベースの防御プラットフォームは、新たなワークフロー、エージェント、アプリケーションの導入に対応して組織内のAI、人、インフラを保護することにより、大規模なAI変革を可能にします。

AIによって変化する組織の潜在力。Darktraceは組織が自信を持って前へ進むのに役立ちます。ダークトレースはスタジアムインフラ内の人とテクノロジーを保護するセキュリティチームに対し、新たなテクノロジーの導入を保護するのに必要な理解、可視性、自律的アクションを提供し、AI時代を構築するための変革を後押しします。

[related-resource]