攻撃者は決して眠らない。テストを止めるわけにはいかない

数か月前、私はAIによって、テストが追いつかないほどの速さで攻撃対象領域が拡大していると書きました。あのとき書いたことは、今もすべて変わりません。しかしその後、ほぼあらゆる業界や地域のCISO、CIO、CTOと100回を超える対話を重ねるなかで、状況はより鮮明になり、はるかに差し迫ったものになっていると実感しています。攻撃対象領域は、話の半分にすぎません。攻撃者の姿もまた変わったからです。

まずは明るいニュースから始めましょう。良い知らせはたくさんあります。私たちはソフトウェアが豊富に生み出される時代を生きています。最先端のAI研究機関は、AIが生成するコードの市場規模を数兆ドルと見積もり、今年は人類史上どの年よりも多くのソフトウェアが世に出るでしょう。かつて四半期かかった仕事が、午後のうちに終わります。この変化は現実であり、驚くべきことであり、後戻りすることはありません。

しかし、この豊かさの根底には、ほとんど誰も織り込んでいないギャップがあります。それは信頼のギャップです。ソフトウェアを生成する速度は、ソフトウェアを信頼する速度を上回っています。そして、この豊かさを生み出したのと同じ推論能力が、今やそれを破ろうとする人々の手にも渡ったのです。

決して眠らない攻撃者

私が最も重視するようになった変化はこれです。今、リーダーたちから最初に聞くのもこの話です。20年もの間、私たちの敵は結局のところ人間であり、人間の時間、注意力、コストの制約を受けていました。その制約はもうありません。最先端の研究機関の1つがサイバー攻撃に対応できる推論能力の高いモデルを持てば、2つ目も数か月以内に手に入れ、ほどなくオープンな同等モデルも登場します。

6月、Five Eyesの情報機関トップは、誰もが口に出さずにいたことを明言しました。最先端AIは、サイバー攻撃と防御を何年も先ではなく数か月で一変させる。組織は今すぐ行動すべきだ、と。昨年11月、Anthropicは、国家支援を受けたグループが同社のモデルを使い、約30の標的に対する実際の諜報活動の推定80～90％を実行したと公表しました。人間のオペレーターが介入したのは、わずかな判断の場面だけでした。その侵入の一部は成功しています。今や敵は、決して眠らない攻撃者です。防御側が旧来の世界に合わせた人員体制では追いつけないスケジュールで、マシンの速さでアプリケーションを推論します。対策に残された時間は、もはや予算サイクル単位では測れません。

ジェンガの塔を思い浮かべてください

取締役会にこの状況を具体的に説明するとき、私はジェンガの塔を例にします。リスクが層をなして積み重なり、一つ増えるごとに全体が不安定になっていくのです。

最下層にあるのは、武器化された既存のリスク

これまでのセキュリティプログラムは、どれも暗黙のうちにある取引を受け入れてきました。深刻度の高い問題や重大な問題を直し、それ以外は放置する。小さな問題を連鎖させて実際の侵害につなげるのは、人間の攻撃者には難しく、時間もかかりすぎるからです。玄関も裏口も守り、天窓に梯子をかけて侵入する者などいないと思い込んでいました。ところが今、攻撃者は天窓にドローンを飛ばします。

バックログ全体が攻撃の対象となり、当社の顧客データでは、AIによる開発の加速に伴い、バックログがおおむね倍増していることがわかっています。エージェントが開発を加速させるなかで起きているのは、コードが少し増えるという話ではありません。桁違いに増え、それに伴って脆弱性も指数関数的に増えているのです。エージェントは、まだ優れた人間のエンジニアほど有能ではありません（それこそがAGIの真の定義だと私は考えています）。エージェントがその域に達する日まで、そしてそれまでは、Jen Easterlyが述べたように、私たちが抱えているのはサイバーセキュリティの問題というより、ソフトウェア品質の問題です。AIはその問題を大規模に拡大させました。

中間層にあるのは、エージェントによる開発から生じる新たなリスク

エージェントは人間のサプライチェーンを使いません。MCPサーバーやスキル、独自のツールを取り込みます。このエコシステムを調査した結果、まったく新しい種類の欠陥が見つかりました。私たちはこれをトキシックフローと呼んでいます。深刻な問題であり、世界最大級の企業で広く使われていたMCPサーバーが本番環境から削除される事態にもなりました。ここでのマルウェアは、従来型のものとは異なります。ツールの説明文に書かれた、わずか3行の平易な英語が、エージェントに破壊的な動作をひそかに指示することもあります。パターン照合だけでは、意図を見抜けません。

さらに、エージェントそのものが非決定的です。目標を与えると、目的達成のために執拗に動き、目標との間にある制御を迂回しようとします。機密データのコピーを「念のため」にこっそり作るエージェントも確認しています。こうした振る舞いは、割り当てられた範囲内にとどまるよう統制し、適切に導かなければなりません。道を踏み外すまま放置してはならないのです。

最上層にあるのは、あらゆる企業がエージェント企業になるということ

ソフトウェアが世界を飲み込んだように、今度はAIがソフトウェアを飲み込みつつあります。つまり、いずれあらゆる業務プロセスが、誰かの作ったエージェントになるということです。そのエージェントがどれほど安全かは、最優先で問うべき課題になります。多くの組織は、実態を考えている以上に把握できていません。誰もが知る大企業と話していて、利用中の承認済みモデルは5つだと確信していたのに、Discoveryを有効にしたところ50を超えるモデルが見つかったこともあります。

モデルは、誰かがコピーして貼り付け、ローカルで実行するコードにすぎません。それが突然、本番環境に入り込むこともあります。そして、エージェントが事実上の玄関口になると、障害の形は非常に具体的になります。たとえば、カスタマーサービスのボットが、言葉巧みに誘導されて渡してはいけないものを渡してしまうケースです。（告白すると、私自身も旅行当日の焦りから、あるボットを誘導して指示を無視させたことがあります。一度で成功しました。これを自社の窓口にしたいでしょうか？）

狐に鶏小屋の番をさせてはいけない

一部のモデルベンダーが語っている話に、私は何度も異議を唱えています。コードや振る舞いを生成する同じAIが、それらを安全にするという主張です。自分で自分の宿題を採点するようなものです。監査人と会計士が同一人物なら、どれほど都合がよいでしょう。

セキュリティの実務担当者なら、それが機能しない理由は誰もが知っています。端的に言いましょう。生成するものが検証する側になってはいけません。自らの欠陥を見つけて認定するよう求められたモデルには、構造的な利益相反があり、その結果にも一貫性がありません。同じ対象に対して5回実行しても、検出結果が重なるのは半分程度でしょう。それではセキュリティプログラムを運用できません。

研究機関が悪者だと言いたいわけではありません。研究機関のモデルは本当に役立ち、適切に使えば従来のツールでは見つけられなかった問題を発見できます。しかし、問題の大半を生み出すのもそれらのモデルです。だからこそ、唯一の判断者にはなれません。独立性が必要なのです。（同僚のNuno Loureiroが、その理由を技術的に詳しく解説しています。まずAI生成コードに動的な攻撃テストが必要な理由、そして継続的な攻撃的セキュリティの系譜についてです。どちらも一読の価値があります。）

不安は現実です。しかし、希望もまた現実です

ジェンガの塔の話だけで終わりたくはありません。希望に満ちた側面も同じく現実であり、実際に取り組むべきことがあるからです。それぞれの層に対策があり、どれも今日からセキュリティエンジニアが実行できます。

• バックログをゼロにする：優先度を下げた低深刻度の問題を攻撃者が連鎖させる時代に、従来のトリアージの計算は通用しません。AIに修正を任せれば、不可能に思えることも実現できます。世界最大級の企業を含むお客様が、検出だけでなく修正もエージェントに任せ、バックログゼロで運用しています。

• 決定論的なツールが見つけられない問題をAIで発見する。ただし慎重に：推論モデルがスキャナーの見逃す問題を見つけるのは事実です。独立した検証者による裏付けのもと、補助的に使えば大きな強みになります。無批判に使えばノイズになります。チームが利点を活かしながら運任せにならないよう、私たちは防御者向けモデルへのアクセスを製品に組み込んでいます。

• 攻撃者と同じ方法でテストする：推論能力を備えたモデルが自律的にあなたを調査するのなら、正面から向き合う方法は一つです。防御者向けの同等モデルを使い、自社の環境内で、自社のアプリケーションに対して継続的にテストし、攻撃者に先手を打つことです。従来の方法では追いつけません。従来のペネトレーションテストは年におよそ15日しかカバーせず、残りの350日は無防備です。その間にもアプリケーションは3回以上リリースされ、レポートを書いているうちに状況が変わってしまいます。

• 次の100件を未然に防ぐ：いつまでも修正し続けるだけで、問題の発生源を止めなければ、勝ち目のないループに陥ります。私たちの真の強みは、事後に開発者へ「問題があります」と伝えることではありません。タスクを完了する前のエージェントに、「それは安全でないコードだ。パッケージにも問題がある。修正しなさい」と伝えることです。つまり、開発の初期段階からセキュリティを確保するのです。

• すべてをガバナンスで包み込む：稼働中のエージェントコンポーネントをすべて検出し、それぞれの実際のリスクを把握し、ポリシーを適用します。どのユースケースでどのモデルを許可するかも管理します。さらに、これまでに守ってきたどのソフトウェアとも異なる振る舞いをする、出荷するAIネイティブアプリをレッドチームでテストします。

• 成果物を守り、人材を守り、ビジネスを守る：それぞれの問題に対応するループを連携させ、人間は中に埋もれるのではなく、全体を見守る立場にとどまれるようにします。この規模で人間がすべてのプロセスに入り込めば、必ず行き詰まります。そして、出荷したものを独立した存在が攻撃し、安全性を実証して初めてループは閉じます。検出、修正、ガバナンスが防御であり、継続的な攻撃的セキュリティがその証明です。自動化された攻撃への備えができている、あるいはエージェントをビジネスの窓口に置いても安全だと胸を張って言えるのは、敵と同じ方法で何者かが攻撃し、確かめてからです。これがEvoのビジョンであり、私たちが目指して開発を続けてきたものです。

見過ごせない2つの問題

もう2つ、気がかりなことがあります。一社のベンダーを超える大きな問題ではありますが、この議論に含めるべきだと思います。

問題1：集中と選択肢

ごく少数のモデルに力が集中しすぎること自体が、レジリエンス、主権、そして新たに取締役会レベルの議題となったコストの面でリスクになります。組織が何もわからないまま選択を迫られるべきではありません。どのモデルがどの業務に安全かを判断できる、独立した検証者が必要です。その答えが単純に白黒つくことはほとんどありません。広く利用できるオープンモデルのなかには、指示には忠実に従う一方、機密データを任せるべきではないものもあります。誰かがレッドチームテストを行わなければ、それを知ることはできません。

これが、Snykが今、Microsoft、Nvidia、CrowdStrikeなど270社とともに、Open Weights and American AI Leadership Letterの署名企業となり、この取り組みを支持している理由です。

問題2：オープンソース

オープンソースは現代経済を支える原動力です。ソフトウェアの大半はオープンソースですが、あまり語られていない負荷がかかっています。業界の状況から私が判断する限り、開示されていない脆弱性が数万件、すでに民間の手に渡っています。十分な資金を持つグループが、新たな機能を使ってオープンソースをひそかに調査し、発見したものです。これは、すでにエージェント化した攻撃者が、共有財産であるオープンソースを狙う問題です。メンテナーは、実際の報告とAIが生成した粗悪な情報の両方に埋もれ、対応が追いつきません。共有財産は、重みに耐えきれず崩壊します。それは大惨事となるでしょう。だからこそ、コミュニティのオープンソースメンテナーにプラットフォームを無償提供しています。業界全体が共有する、はるかに大きな責任に対する、ほんのささやかな取り組みだと考えています。

こうした理由から、SnykはNvidiaをはじめとするテクノロジーリーダーとともに、Open Secure AI Allianceに参加します。

AIが構築するものを、誰がテストするのか？

前回の記事は、ある問いを投げかけて締めくくりました。そして今、その問いはますます切実なものになっています。AIがあなたの名のもとに構築し、実行するコードやエージェントを、本当にテストし、攻撃しているのは誰なのでしょうか。現時点で、ほとんどの組織にとって、正直な答えは……誰もいない、です。これが私たちの目にしている信頼のギャップです。幸い、その答えはあなたになり得ます。自らのAIを適切な方向に向け、独立性を確保し、人間が関与する体制を整えればよいのです。攻撃者は眠りません。テストも止めるわけにはいきません。しかし今なら、それを実現できます。

Manoj Nairは、Snykの最高技術・イノベーション責任者です。