政府がAIモデルを突然禁止。エンジニアの視点から

私はこの3年近く、チームのソフトウェア開発・リリースのプロセスにAIを組み込んできました。だから今週、米国政府が事実上あるAIモデルを停止させたというニュースを聞いたとき、本当に驚きました。ある国だけの話でも、ある企業だけの話でもありません。地球上のすべての人に、一斉に影響する出来事です。

わずか3日。AnthropicのFable 5とMythos 5が利用可能だった期間です。その後、政府は全員に対してモデルを停止するよう命じました。

利用制限ではありません。対象国を定めた輸出規制でもありません。無効化です。完全に。すべてのユーザーに対して。命令の対象は厳密には外国籍の人によるアクセスでしたが、Anthropicには外国籍の人と米国人をリアルタイムで確実に見分ける方法がありませんでした。そのため、命令に従うには両モデルを全員に対して停止するしかありませんでした。6月9日に公開され、6月12日には姿を消しました。

セキュリティに携わっているなら、これは真剣に受け止めるべきです。政治的な理由からではありません。私たちが今どこにいて、これからどこへ向かうのかを示しているからです。

何が起きたのか

要点を簡単に説明します。

Mythos 5は、ソフトウェアの脆弱性を見つける能力が並外れて高いことが分かりました。本当に優れていたのです。何十年もコードベースに潜んでいたバグを見つけ出せるほどの能力です。その後、ある研究者が、Anthropicの意図しない形で脆弱性検出能力を引き出すジェイルブレイクを発見しました。政府はこれを受け、国家安全保障上のリスクだと判断しました。敵対勢力がMythosを使い、ゼロデイ脆弱性を大規模に発見して悪用することへの懸念があったのです。

そこで政府は輸出規制の指令を出しました。Anthropicには米国人とそれ以外の人を確実に見分ける方法がなかったため、実質的に選択肢はありませんでした。Fable 5とMythos 5の両方を、すべての人に対して無効化したのです。

Anthropicは、事態がどれほど深刻だったのかについて異議を唱えています。ジェイルブレイクの範囲は限定的で、対応は大げさすぎたという主張です。これについては、意見が分かれて当然でしょう。同僚のStephen Thoemmesが、何が起きたのか、そしてセキュリティ業界がこれまでデュアルユースの能力にどう対処してきたのかを詳しくまとめています。具体的な経緯はこちらをご覧ください。この記事で扱うのは、それが何を意味するのかです。

問題1：AIベンダーがサプライチェーンリスクになる

誰も話したがらない問題について話しましょう。

エンジニアリングチームがFable 5やMythos 5を何らかのワークフロー（コードレビュー、脆弱性のトリアージ、セキュリティ分析など）に組み込んでいたとします。6月12日に目を覚ますと、その機能がただ……なくなっている。廃止の事前通知も、移行期間も、「代替手段が見つかるまで90日間は使えるようにしておきます」という案内もありません。ただ、なくなったのです。

これはサプライチェーン上のインシデントです。

私たちの業界は、ソフトウェアサプライチェーンが脆弱であることを、時に痛い目に遭いながら何年もかけて学んできました。たった一人のメンテナーがnpmパッケージを大量に削除し、インターネットの半分を壊すのを目の当たりにしました。SolarWindsも、Log4Shellも経験しました。SBOMや依存関係スキャン、そして他人のコードが突然消えたり、知らないうちに悪意あるものへ変わったりするリスクを管理するためのツール群を整備してきました。

そこで聞きたいのです。AIモデルへのアクセスについても、同じくらい厳密に考えている人はどれくらいいるでしょうか。

多くのチームは、AIモデルへのアクセスを電気や水道のようなものとして扱っています。登録してAPIキーを取得し、ワークフローに組み込んで、明日も使えると何気なく思い込む。今週、その前提に大きな穴が開きました。バージョンを固定してリポジトリに取り込めるライブラリとは違い、他社のサーバーで動くモデルをキャッシュすることはできません。なくなれば、それきりです。

Snykで私のチームが日々取り組んでいるのは、まさにこの問題です。セキュリティをコードやエージェントに組み込み、最初に連携したモデルから借りているだけ、という状態にならないようにすることです。実際に役立つ教訓は地味ですが、重要です。自分で管理できない他の依存関係と同じように、モデルへのアクセスを扱いましょう。代替手段を用意し、その前段に抽象化レイヤーを設けること。そして、ある朝突然使えなくなった場合の計画を立てておきましょう。

問題2：防御側の能力を禁止しても、攻撃者は止められない

次はサイバーセキュリティの観点です。ここからは、かなり居心地の悪い話になります。

政府の懸念は簡単に理解できます。Mythos 5は脆弱性を見つける能力が非常に高く、敵対勢力の手に渡れば、これまでにない速さでゼロデイ脆弱性を発見し、悪用できるかもしれません。それは現実的な懸念です。軽く扱うつもりはありません。

しかし、あまり問われていないと感じるのは、脆弱性を見つけるツールを禁止したとき、実際に被害を受けるのは誰なのか、ということです。

脆弱性を見つけて悪用しようとする攻撃者は、書類を提出して輸出規制の指令に従ったりしません。これまでもそうでした。そもそも攻撃者とはそういうものです。ルールには従いません。ジェイルブレイクされたMythosがゼロデイを見つけられるなら、その能力はすでに外に出ています。ジェイルブレイクの手法は公開されました。もう元には戻せません。

では、実際に被害を受けるのは誰でしょうか。防御側です。セキュリティ研究者です。攻撃者に先を越される前に脆弱性を見つけ、修正しようとしている、皆さんのような企業のチームです。

サイバーセキュリティは、業界が始まった頃からずっと軍拡競争の場でした。現代のアプリケーションセキュリティの基本は、防御側が攻撃者と少なくとも同等の能力を持ち、理想的にはそれを上回る必要があるということです。他者に先んじて自分たちのコードをスキャンする。自社システムにペネトレーションテストを実施する。攻撃者が使うのと同じツールを自分たちのインフラに向けて使い、先に穴を見つけるのです。

ルールを守る人たちからその能力を取り上げても、攻撃者の動きはまったく遅くなりません。防御側を昨日より不利な立場に置くだけです。セキュリティで価値のあるもののほとんどは、こうした両面性を持っています。根本的にデュアルユースなのです。Stephenの記事では、協調的な脆弱性開示から多層防御まで、業界がこれまでこの緊張関係にどう対処してきたかを掘り下げています。私からは、もっと簡潔に言いましょう。悪用される可能性があるたびに能力を取り上げていたら、結局、停止スイッチを向けられるのは防御に取り組む人たちです。

これは危険な前例になる

はっきりさせておきたいことがあります。政府が行動を起こした理由は理解できます。国家安全保障は重大な問題であり、敵対する国家がゼロデイを次々と生み出すAIを使うと考えれば、確かに恐ろしいことです。決して軽視できる懸念ではありません。

しかし、私が懸念しているのは今回の出来事よりも、それが前例となることです。

今回、AIモデルが、起こりうる悪用シナリオを理由に、何の事前通知もなく世界中のすべての人に対して停止されることが明らかになりました。実際の攻撃が起きたわけではありません。侵害が確認されたわけでもありません。悪用される可能性があるジェイルブレイクがあった、ということです。

この理屈を先に進めてみましょう。ネットワークトラフィックの異常検知に非常に優れた次のモデルが登場し、その能力が監視にも転用できるとしたら、どうなるでしょうか。セキュリティパッチの生成に優れたモデルが、理論上はエクスプロイトコードの生成にも使えるとしたら、どうなるでしょうか。セキュリティに真に役立つ能力のほとんどは、本質的にデュアルユースです。それは欠陥ではありません。それがこの分野の本質です。

そのたびに同じ対応をすれば、輸出規制を守るつもりのなかった攻撃者は両手を自由に使える一方で、防御側は片手を後ろに縛られたまま戦うことになります。

それで安全になる人は誰もいません。ただ、何かをした気になれるだけです。

セキュリティ業界が今、正しく取り組むべきこと

では、これからどうすればよいのでしょうか。すべての答えを持っているとは思いませんが、率直に伝えておくべきことがいくつかあります。

デュアルユースAIの能力に関する、実効性のある枠組みが必要です。「アクセス制御の方法が分からないから全面禁止する」というのは、あまりに乱暴な手段です。私たちは何十年も、責任ある脆弱性開示、ライセンス、法的枠組み、コミュニティの規範を通じて、この緊張関係を管理してきました。ツールそのものを禁止してきたわけではありません。AIにも、停止スイッチに頼るのではなく、同じようなきめ細かさを持ち込む必要があります。

セキュリティコミュニティは、意思決定の場に加わる必要があります。今回の判断を下したのは、ソフトウェアのセキュリティを実際にどう確保するかを日々考えている人たちではなく、貿易規制の担当者でした。商務省を批判する意図はありません。輸出規制は彼らの職務です。しかし、防御的なセキュリティへの影響は非常に大きく、その影響を理解している人たちが、次の判断の後ではなく、判断が下される前に議論に参加すべきです。

企業は今すぐ、AI戦略にレジリエンスを組み込む必要があります。次のモデルが突然使えなくなるまで待ってはいけません。自社で管理できないAIを基盤に重要なワークフローを構築しているなら、マルチベンダー戦略、抽象化レイヤー、代替手段など、今すぐ緊急時の計画を用意する必要があります。実際に存在するサプライチェーンリスクとして扱いましょう。

Snykの基本的な考え方は、開発者、そして今ではAIエージェントにもセキュリティツールを届けることで、ソフトウェアの安全性を高めるということです。低下させるのではありません。脆弱性を見つけて修正できる人が増えるほど、誰にとっても安全になります。静的解析でも、オープンソースの脆弱性データベースでも、これまで民主化してきたあらゆるセキュリティ機能でも、そうでした。AIを活用したセキュリティでも同じだと確信しています。

「このツールは強力だ」というときの答えは、「適切な人が責任を持って使えるようにしよう」であるべきです。「誰にも使えないようにしよう」ではありません。

待ったなしの状況

私たちは大きな転換点にいます。セキュリティ分野のAI能力は急速に進歩していますが、それを取り巻く政策の枠組みは対応に追われています。技術でできることと、ルールで許されることの間にあるこの隔たりに、真のリスクが潜んでいます。

今週のFable 5とMythos 5の禁止は、これから何年にもわたって続く、より大きな議論の前触れです。サイバーセキュリティにおけるデュアルユースAIへの対処の仕方によって、防御側が攻撃者に追いつき続けられるのか、それとも取り返しのつかない遅れをとるのかが決まります。

急ぐよりも、正しく進めたいと思います。ただ、今すぐ議論を始める必要があります。今日下す判断が、これから長い間、セキュリティのあり方を形作るからです。

その間にできることは？AIの依存関係を確認してください。本当に、今すぐです。今週の出来事から学べることがあるとすれば、今日頼りにしているモデルが明日も使えるとは限らない、ということだからです。