何も壊れていないのに、AIエージェントがセキュリティを破綻させる理由

AIエージェントは、実験段階から本番環境へと急速に移行しています。アラートのトリアージ、プルリクエストのレビュー、ログの要約、チケットの振り分けを行い、実際の認証情報を使ってシステム全体でアクションを実行します。

セキュリティの観点から見ると、こうしたシステムの多くは問題がないように見えます。メモリ安全性に問題のあるコードはありません。明らかなインジェクションの欠陥もありません。認証の不備もありません。それでも、たった一文に従っただけで、時には壊滅的な結果を招くことがあります。

このギャップは、パッチの適用漏れや未スキャンの依存関係が原因ではありません。LLMのような非決定論的システムが、信頼境界の意味を変えてしまうことに起因します。

最近のSnyk Labsの調査では、従来のAppSecモデルではエージェントの振る舞いを適切に推論できない理由と、脅威モデリングがAIネイティブアプリケーションを守る最も効果的な方法の一つとして注目されている理由を解説しています。

決定論的なセキュリティはエージェント型システムにそのまま当てはまらない

従来のアプリケーションセキュリティは、予測可能な動作を前提に構築されています。入力はデータとして扱われ、命令はコードによって制約され、制御によって明確な境界が強制されます。しかし、AIエージェントの動作は異なります。意味を解釈し、文脈を踏まえて推論し、行動するタイミングを判断します。その結果、システムが設計どおりに動作しているにもかかわらず、有害な結果につながる新たなリスクが生まれます。

たとえば、次のようなケースです。

• AIエージェントが、課題、メール、ドキュメントに含まれる信頼できないテキストを読み取ります。

• そのテキストによって、エージェントがタスクを解釈する方法が巧妙に変えられます。

• エージェントは正規のツールと権限を使ってアクションを実行します。

• 機密データが、本来あるべきではない場所に流出します。

セキュリティスキャナーから見れば、何も「壊れて」いません。一方、攻撃者から見れば、すべてが思いどおりに進んでいます。これが、プロンプトインジェクションがOWASP Top 10 for LLMsの上位に挙げられる理由であり、静的解析だけではこうした問題を検出できない理由です。

エージェント型システムの真のリスクは技術面ではなく振る舞いにある

調査で明らかになった最も重要な変化の一つは、障害が発生する場所です。エージェント型システムの障害は、コード層ではなく振る舞いの層で発生する傾向があります。セキュリティチームは、次のような問いを投げかける必要に迫られています。

• この入力は文脈として機能しているのか、それとも命令なのか。

• エージェントに、今読んだ内容に基づいて行動させてよいのか。

• この出力が別のエージェントの入力になったら、何が起こるのか。

これらは意味に関する判断であり、本質的に確率的なものです。適切に設計されたガードレールであっても、大規模な運用で完璧な結果を保証することはできません。既存の多くのツールが効果を発揮できなくなるのは、設計が不十分だからではなく、意図、主体性、情報の流れを推論するように作られていないからです。

最近の業界インシデントを見ると、この変化は明らかです。

2025年初頭、研究者はServiceNowとSalesforceの両社におけるエンタープライズ向けエージェントの導入で、従来型の脆弱性が存在しないにもかかわらず問題が発生したことを公表しました。

ServiceNowの事例では、内部エージェントが信頼できるプロバイダーからのものに見えるリクエストを正しく処理しました。しかし、本人確認情報が検証済みの主張ではなくユーザー提供のメタデータとして扱われたため、エージェントは攻撃者に代わって高い権限を持つセッションを作成しました。これは、エージェントのロジックだけで引き起こされた、典型的な「混乱した代理人」の問題です。

Salesforceでは、公開フォームのフィールドが未加工のまま、内部の「要約」エージェントのコンテキストウィンドウに渡されました。これにより、信頼できない入力がエージェントの意図を変え、日常的なワークフローがデータ流出の経路に変わりました。どちらのケースでも、コードスキャンは問題なく、権限も技術的には有効で、システムは設計どおりに動作していました。障害が発生したのは振る舞いの層です。エージェントが文脈から意味、権限、意図を推測した一方で、セキュリティツールはその文脈を不活性なデータとして扱っていました。

個々のエージェントよりも組み合わせが重要な理由

エージェント型システムで最も深刻な障害の多くは、単一のエージェント内で発生するのではありません。エージェントをワークフロー、パイプライン、オーケストレーションされたシステムに組み合わせたときに生じます。それぞれのエージェント単体は適切に設計されているように見えるかもしれません。権限は適切に範囲が限定され、ポリシーが適用され、想定どおりに動作します。個別に見れば明らかに危険な点がないため、セキュリティレビューも通過します。

リスクはエージェント間の継ぎ目に現れます。あるエージェントの出力が別のエージェントの入力になると、機密性、意図、送信先が明示的に確認されないまま、新たなデータ経路が形成されることがあります。後続のエージェントが「適切に対処する」とシステムが想定するだけで、情報が信頼境界を越えてしまう可能性があります。これは、「混乱した代理人」や「チェック時と使用時の不整合」といった、従来からあるセキュリティ上のパターンに似ています。ただし重要な違いがあります。エージェント型システムでは、固定されたロジックではなく、モデルの推論によってこうした問題が動的に引き起こされる可能性があります。

エージェントのワークフローが複雑になるほど、リスクは単一コンポーネントの欠陥ではなく、システムから創発する性質になります。そのため、セキュリティ分析の主な対象とすべきなのは個々のエージェントではなく、その組み合わせです。

脅威モデリングでセキュリティチームの対応力を高める

技術的に何も壊れていないため、従来のセキュリティツールではエージェントの振る舞いを推論するのが困難です。脅威モデリングは、コードの正しさではなくシステムの振る舞いに焦点を移すことで、分析に構造をもたらします。関数に脆弱性があるかどうかを問う代わりに、チームはエージェント型システム内でデータ、権限、意思決定がどのように移動するかを調べます。

このアプローチでは、スキャナーでは答えられない問いを明らかにできます。信頼できない入力はワークフローのどこから入るのか。機密データを読み取れるエージェントはどれか。どのアクションが外部の状態を変えるのか。ワークフローの前半で下された判断は、後続のアクションをどのように制約または可能にするのか。

こうした関係を可視化することで、脅威モデリングはコンポーネントが連携したときにのみ生じる障害経路を明らかにします。エージェントを個別に確認するだけでは、その経路は見えません。非決定論的システムに対応するセキュリティチームにとって、これは大きな強みです。脅威モデリングは、あらゆる結果を予測しようとするものではありません。障害が起こりうる場所をチームが把握し、実際に発生した場合の影響を抑える制御を設計できるよう支援します。

防止から封じ込めへ

エージェント型システムは、「セキュア」の意味を見直す必要性を突きつけています。振る舞いが確率的である以上、発生可能性をゼロにすることはほぼできません。強力な安全対策を講じても失敗の余地は残り、規模が大きくなれば、小さな確率も運用上の現実となります。このような環境では、防止だけに依存するセキュリティ戦略では不十分です。

検知と同じくらい、封じ込めが重要になります。目標は、各エージェントがアクセスできる範囲、実現可能な能力の組み合わせ、機密データが移動できる範囲を制限することへと変わります。境界が常に守られると想定するのではなく、境界が破られても安全を保てるようシステムを設計します。この考え方では、被害範囲の縮小、能力の分離、データフローに対する明示的な制御を重視します。

脅威モデリングは、封じ込めが最も重要となる箇所をチームが特定できるよう支援し、この移行を後押しします。モデルが予想外の振る舞いをした場合でも、ユーザーとデータを保護し続けるレジリエントなシステムを設計するためのフレームワークを提供します。

エージェント型AIのセキュリティが脅威モデリングから始まる理由

AIエージェントはソフトウェアの振る舞いを変え、それに伴ってセキュリティ障害の発生の仕方も変えています。最も大きなリスクは、もはや個別の脆弱性や設定ミスだけにあるのではありません。自律システムが文脈をどう解釈し、能力をどう組み合わせ、信頼境界を越えてどう行動するかにあります。こうしたシステムを守るには、決定論的な前提を超え、振る舞い、相互作用、影響を考慮したアプローチを取り入れる必要があります。

脅威モデリングは、実践的な前進の道筋を示します。エージェントの振る舞いとシステムの構成を、セキュリティ上の重要な検討事項として扱うことで、AI主導の開発に合わせて拡張できる制御を設計するための明確な指針を得られます。エージェント型システムが現代のアプリケーションの基盤となるなか、この変化が、これからの開発に歩調を合わせるセキュリティのあり方を決定づけるでしょう。

さらに詳しく知り、詳細な調査レポートをお読みになりたいですか？今すぐLabをのぞいてみましょう。

すでにSnykをご利用で、この調査に関心をお持ちですか？Secure Agent Design（AI脅威モデリング）ソリューションをプレビューできるEvo Design Partner Programへの参加をお申し込みください。