政府がAIモデルを突然禁止。エンジニアの視点から

私はこの3年近く、チームのソフトウェア開発・リリースのプロセスにAIを組み込んできました。だから今週、米国政府があるAIモデルを事実上停止させたというニュースを聞いて、本当に驚きました。ある国だけの話でも、ある企業だけの話でもありません。地球上のすべての人に、一斉に起こったのです。

わずか3日です。AnthropicのFable 5とMythos 5が利用可能になってから、政府がすべての人に対して停止を命じるまでの期間です。

利用制限ではありません。対象国を定めた輸出規制でもありません。無効化です。完全に。すべてのユーザーに対して。命令の対象は厳密には外国人によるアクセスでしたが、Anthropicには外国人と米国人をリアルタイムで確実に見分ける方法がありませんでした。そのため命令に従うには、両モデルを全ユーザーに対して停止するしかありませんでした。6月9日に公開され、6月12日には姿を消しました。

セキュリティに携わる方は、ぜひこの件に注目してください。政治的な理由からではありません。今の私たちがどこにいて、これからどこへ向かうのかを、この件が示しているからです。

何が起きたのか

要点を簡単に説明します。

Mythos 5は、ソフトウェアの脆弱性を見つける能力が並外れて高いことがわかりました。本当に非常に優秀なのです。何十年もコードベースに潜んでいたバグを見つけ出せるほどです。その後、ある研究者が脱獄手法を発見し、Anthropicが意図していなかった形で脆弱性検出機能を引き出しました。政府はこれを国家安全保障上のリスクと判断しました。敵対勢力がMythosを利用してゼロデイ脆弱性を大規模に発見し、悪用することを懸念したのです。

そこで政府は輸出管理指令を発令しました。Anthropicは米国人とそれ以外の人々を確実に区別できなかったため、実質的に選択肢はありませんでした。Fable 5とMythos 5の両方を全ユーザーに対して停止したのです。

Anthropicは、事態が実際にどれほど深刻だったかについて異議を唱えています。脱獄手法の影響は限定的で、対応は過剰だったと主張しています。この点については、妥当な議論ができるでしょう。同僚のStephen Thoemmesが、実際に何が起きたのか、そしてセキュリティ分野がこれまでデュアルユースの能力にどう向き合ってきたのかを詳しくまとめています。具体的な経緯はこちらをご覧ください。この記事では、それが何を意味するのかを考えます。

問題1：AIベンダーがサプライチェーンリスクになる

誰も話したがらない問題について話しましょう。

エンジニアリングチームがFable 5やMythos 5を、コードレビュー、脆弱性のトリアージ、セキュリティ分析など、何らかのワークフローに組み込んでいたとします。6月12日に目覚めると、その機能はただ……消えていました。提供終了の予告も、移行期間も、「代替手段が見つかるまで90日間は使えるようにしておきます」という案内もありません。ただ消えたのです。

これはサプライチェーン上の事態です。

私たちの業界は、ソフトウェアサプライチェーンが脆弱であることを、時には痛い目に遭いながら何年もかけて学んできました。たった1人のメンテナーがnpmパッケージを大量に削除し、インターネットの半分が壊れるのを目の当たりにしました。SolarWindsも、Log4Shellも経験しました。SBOMや依存関係スキャン、そして他人のコードが突然消えたり、私たちの知らないうちに悪意あるものに変わったりするリスクを管理するためのツール群を整備してきました。

そこで質問です。AIモデルへのアクセスについても、同じ厳密さで考えている人はどれくらいいるでしょうか。

多くのチームは、AIモデルへのアクセスを電気や水道のようなものとして扱っています。登録してAPIキーを取得し、ワークフローに組み込み、明日も使えるだろうと何となく思い込む。今週、その前提に大きな穴が空きました。バージョンを固定してリポジトリに取り込めるライブラリとは違い、他者のサーバーで動くモデルをキャッシュすることはできません。なくなれば、それまでです。

Snykで私のチームが日々取り組んでいるのは、まさにこの問題です。セキュリティをコードやエージェントとともに機能させ、最初に組み込んだモデルから事実上「借りる」ものにしないことです。実践的な教訓は地味ですが、重要です。自分で管理できない他の依存関係と同じように、モデルへのアクセスを扱いましょう。代替手段を用意し、その前段に抽象化レイヤーを置きましょう。そして、ある朝モデルが消えていたときの計画を立てておきましょう。

問題2：防御に役立つ機能を禁止しても、攻撃者は止められない

次に、サイバーセキュリティの観点から考えてみましょう。ここから話はかなり厄介になります。

政府の懸念は、十分理解できます。Mythos 5は脆弱性の発見能力が非常に高く、敵対勢力が手にすれば、これまでにない速さでゼロデイ脆弱性を発見し、悪用できるかもしれません。それは現実的な懸念です。軽視するつもりはありません。

しかし、脆弱性を見つけるツールを禁止したとき、実際に被害を受けるのは誰なのか。この問いをもっと多くの人が投げかけるべきです。

脆弱性を見つけて悪用しようとする攻撃者は、書類を提出して輸出管理指令に従ったりはしません。これまでもそうでした。それこそ攻撃者の定義です。彼らはルールに従いません。脱獄したMythosがゼロデイを見つけられるなら、その能力はすでに世の中に出ています。脱獄手法は公開されました。もう取り消すことはできません。

では、実際に被害を受けるのは誰でしょうか。防御側です。セキュリティ研究者です。攻撃者に先んじて脆弱性を見つけ、修正しようと取り組む、皆さんのような企業のチームです。

サイバーセキュリティは、常に攻防の競争でした。この業界が生まれて以来ずっとそうです。現代のアプリケーションセキュリティの前提は、防御側にも攻撃者と少なくとも同等の能力が必要で、理想的にはそれを上回るべきだということです。誰かに見つけられる前に、自分たちのコードをスキャンする。自社システムに侵入テストを行う。攻撃者が使うのとまったく同じツールを自社のインフラに向けて実行し、先に弱点を見つけるのです。

ルールに従うすべての人からその能力を取り上げても、攻撃者の動きはまったく鈍りません。防御側だけが昨日より不利になるのです。そして、セキュリティに価値あるもののほとんどは、こうした両面性を持っています。まさにデュアルユースです。Stephenの記事では、協調的な脆弱性開示から多層防御まで、業界がこの難しさにどう向き合ってきたかを掘り下げています。私の要約はもっと短くできます。悪用される可能性があるたびに機能を引き上げていたら、停止スイッチが向けられるのは、実際に防御に取り組む人々です。

これは危険な前例になる

誤解のないように言っておきます。政府が行動を起こした理由は理解しています。国家安全保障は重大な問題です。敵対する国家が、ゼロデイを次々と生み出すAIを手にすることを考えれば、本当に恐ろしいことです。決して軽々しく扱える懸念ではありません。

しかし、今回の出来事そのものよりも、その前例となることを私は懸念しています。

今回、AIモデルは潜在的な悪用のシナリオを理由に、何の予告もなく、世界中のすべての人に対して停止できると示されました。実際の攻撃があったわけではありません。侵害が確認されたわけでもありません。悪意ある行為に使われる可能性がある脱獄手法があっただけです。

この考え方をその先まで当てはめてみましょう。ネットワークトラフィックの異常検知に優れた次のモデルが登場し、その同じ機能が監視に転用できるとしたら、どうなるでしょうか。セキュリティパッチの生成に長けたモデルが登場し、理論上はエクスプロイトコードの生成にも誘導できるとしたら、どうなるでしょうか。セキュリティで本当に役立つ機能のほとんどは、その性質上デュアルユースです。それは欠陥ではありません。それがこの分野の本質です。

そのたびに同じような対応をすれば、結局、攻撃者は両手を自由に使える一方で、防御側は片手を背中に縛られたまま戦うことになります。そもそも輸出管理を守るはずのない攻撃者は、何の影響も受けません。

誰も安全にはなりません。ただ、何かをした気になるだけです。

セキュリティ業界が取り組むべきこと

では、これからどうすればよいのでしょうか。すべての答えを持っているとは思いませんが、声を大にして伝えるべきことがいくつかあります。

デュアルユースAIの能力に関する、実効性のある枠組みが必要です。「アクセス制御の方法がわからないから全面禁止する」というのは、あまりに大ざっぱな対応です。私たちは何十年も、責任ある情報開示、ライセンス、法的枠組み、コミュニティの規範を通じて、この難しさに向き合ってきました。ツールそのものを禁止してきたわけではありません。停止スイッチに手を伸ばすのではなく、同じようにきめ細かくAIに向き合う必要があります。

セキュリティコミュニティは、意思決定の場に参加する必要があります。今回の決定を下したのは貿易規制当局であり、ソフトウェアを実際にどう守るかを日々考えている人々ではありません。商務省を批判しているわけではありません。輸出管理は彼らの仕事です。しかし、防御的セキュリティへの影響は非常に大きく、その影響を理解する人々は、次の決定が下された後ではなく、その前に議論の場に加わるべきです。

企業は今すぐ、AI戦略にレジリエンスを組み込む必要があります。次のモデルが停止されるまで待ってはいけません。自社で管理できないAI上に重要なワークフローを構築しているなら、複数ベンダーの活用、抽象化レイヤー、代替手段など、今すぐ緊急時の計画を用意する必要があります。実際にそうであるように、これをサプライチェーンリスクとして扱いましょう。

そして、Snykの基本理念は、開発者、そして今やAIエージェントの手にセキュリティツールを届ければ、ソフトウェアは安全性が高まるということです。脆弱性を見つけて修正できる人が増えるほど、誰にとっても安全になります。静的解析でも、オープンソースの脆弱性データベースでも、これまで誰もが使えるようにしてきたあらゆるセキュリティ機能でも、そうでした。AIを活用したセキュリティでも同じだと、私は確信しています。

「このツールは強力だ」への答えは、「適切な人が責任を持って使えるようにしよう」であるべきです。「誰にも使わせないようにしよう」ではありません。

残された時間は少ない

今、私たちは転換点にいます。セキュリティにおけるAIの能力は急速に進歩していますが、それを取り巻く政策の枠組みは追いつこうと必死です。技術にできることと、ルールが許すことの間にあるギャップこそ、真のリスクが潜む場所です。

今週のFable 5とMythos 5の禁止は、これから何年にもわたって続く、より大きな議論の前触れです。サイバーセキュリティにおけるデュアルユースAIへの対応次第で、防御側が攻撃者に追いつき続けられるのか、それとも取り返しのつかないほど後れを取るのかが決まります。

拙速に進めるより、正しく進めたいと思います。しかし、今すぐ議論を始める必要があります。今日下す決定が、この先長い間、セキュリティのあり方を形作るからです。

それまでの間にできることは？AIの依存関係を確認してください。本当に、今すぐです。今週の出来事が教えてくれたのは、今日頼りにしているモデルが明日も使えるとは限らない、ということです。