AIアプリケーションがさらされている理由

新しいエンタープライズAIアシスタントについて、3つの異なるセキュリティレポートが返ってきたと想像してください。

1. Web脆弱性スキャナーは開いた扉はゼロと報告します。

2. モデル評価フレームワークは、脱獄プロンプトを実行し、合格水準の安全性スコアを報告します。

3. 静的コードアナライザーは、バックエンドユーティリティ内のコマンド実行関数にフラグを立てますが、そこに直接触れるHTTPルートがないため、低い重大度と評価します。

書類上は本番環境に投入できる状態に見えます。しかし実際には、脅威アクターが数分でガードレールを回避します。なぜでしょうか。AIモデルを仲介役として利用するからです。攻撃者はLLMを誘導して内部ユーティリティツールを呼び出させ、信頼できないプロンプトとバックエンドの実行シンクを直接つないでしまいます。

各セキュリティツールは、それぞれの狭い視野の中では真実を報告していました。それでも、システム全体はエンドツーエンドで悪用可能なままでした。これが、現代のAIアーキテクチャにおける連鎖リスクの実態です。

連鎖リスクは、脆弱性を分離して考えるモデルを破壊する

従来のAppSecは、コンポーネント内の欠陥を見つけ、修正し、分離されたメタデータに基づいて重大度スコアを割り当てるという単純な前提の上に構築されていました。しかしAIアプリケーションは、このモデルを完全に覆します。プロンプトテンプレート、ベクトル検索（RAG）、動的なツール呼び出し、Model Context Protocol（MCP）エンドポイントを基盤とする環境では、セキュリティリスクが単一の分離されたモジュール内に存在することはほとんどありません。危険はむしろ、次のようなレイヤー間の継ぎ目で発生します。

1. 既知の分類体系に基づく連鎖: 未検証のAPIパラメーターやSSRFなどの従来型の欠陥が、AIインタラクションを通じて連続的に組み合わされ、権限をエスカレートします。

2. レイヤー横断の振る舞いによる創発: どのコンポーネントにも不具合がなく、CVEも存在せず、すべてのシステムが設計どおりに動作しているにもかかわらず、複雑な相互作用の結果、データ流出、不正な取引、ユーザーの権限を使った破壊的なアクションなど、重大なビジネス被害が生じます。

連鎖リスクに対抗するには、セキュリティリーダーはベンダーツールを交換可能なコモディティ製品として扱うのをやめ、3つの異なるテスト視点を中心に戦略を組み立てる必要があります。

敵対的AIテストにおける3つの視点と、1つだけでは不十分な理由

AIアプリケーションスタックを効果的に評価するには、セキュリティプログラムが3つの視点を通じて、根本的に異なる3つの運用上の問いを投げかける必要があります。

1. DAST — 何が公開されているか？

2. AIペネトレーションテスト — 何が悪用可能で、その頻度はどの程度か？

3. AIレッドチーム — 攻撃者は何を達成できるか？

視点1: DAST、攻撃対象領域をマッピングする

動的アプリケーションセキュリティテスト（DAST）は、稼働中のシステムで公開されているエンドポイントを、広範かつ迅速、低コストで決定論的にマッピングします。DASTツールの役割は、攻撃対象領域がどこから始まるかを示すことです。ただし盲点もあります。DASTは意味的な信頼関係を理解しないため、確率的モデルが下流でペイロードデータをどのように解釈し、行動するかを予測できません。

視点2: AIペネトレーションテスト、悪用可能性を検証する

AIペンテストは、公開された対象に標的型の振る舞い技術を適用し、悪用可能性を実証します。AIの出力は確率的であるため、視点2では反復試行スイープ（N）を実行して統計的信頼度を確立し、ガードレールの回避が単発の偶然ではなく、30%の確率で成功することを証明します。AIペンテストはコンポーネントレベルの境界に焦点を当てるため、単一のツール呼び出しを操作できるかどうかを示します。盲点は、その悪用が複数ステップのビジネスプロセスをどのように移動するかを追跡しないことです。

視点3: AIレッドチーミング、ビジネスへの影響を実証する

AIレッドチーミングは、目的主導型の敵対的な姿勢を取ります。AIレッドチーミングは、プロンプトインジェクションのチェックリストを実行するものではありません。顧客データベースからの情報流出や不正な資金移動の開始といった目的を設定し、アプリケーション、モデル、ツール、データの各レイヤーにまたがるプリミティブを連鎖させて達成します。ただし、レッドチーミングにはコストという制約があります。リソースを大量に消費し時間もかかるため、基本的な設定ミスや認可チェックの欠落を見つけるために使うと、自動化ですでに処理できる作業に専門家の予算を費やすことになります。

3つの視点は、セキュリティプログラム設計における構造上の重要な特性で異なる

プログラム設計に重要な各項目で比較した3つの視点。

解決策: 分離ではなくオーケストレーション

この3つの視点を、別々のスケジュールで、ベンダーごとに分離して実施し、独立したPDFレポートを作成すると、攻撃者が悪用するまさにその可視性のギャップが生まれます。

真のセキュリティ保証には、統合テストハーネスが必要です。

1. DASTは攻撃対象領域をマッピングし、有効なエンドポイントをペンテストに提供します。

2. AIペンテストはコンポーネントの境界を検証し、確認済みの悪用を自動回帰テストに変換します。

3. AIレッドチーミングは予算を新たなレイヤー横断型攻撃連鎖に集中させ、新たに発見したプリミティブを自動化スイートへ戻します。

3つのエンジンが共通のアーキテクチャを共有すると、各評価によって次の評価がより速く、低コストで、正確になります。

運用と経済性に関する全体像をご覧になりませんか？

このフレームワークは出発点にすぎません。継続的で監査対応可能なAIテストプログラムを構築するには、その基盤となる経済性、ルーティングポリシー、コンテキストアーキテクチャを習得する必要があります。

さらに詳しく知りたい方へ。関連ホワイトペーパー、Chained Risk: The Operating Model and Economics of Adversarial Testingでは、次の内容を取り上げています。

• 4つのAIレイヤーと6つの共有基盤 – 単一のハーネスの下でDAST、AIペンテスト、レッドチーミングを統合するためのアーキテクチャ設計。

• コンテキストラダー – アーキテクチャ図とプロンプトスキーマを共有することで、評価1回あたりの意思決定に必要な呼び出し数を15,500回から約2,000回に削減する方法。

• 6つのコストレバー –試行の深度、APIトークン消費量、人間の専門家の時間のバランスを取るための実践的な計算。

• 決定論的なルーティングポリシーテーブル –コードコミット、エージェンシーのシフト、リスク階層に対して評価をスケジュールするための、経営層向けのルール。