Evo Code Scanning Agentは、一部のSnykのお客様を対象に実験的プレビューを実施中です。AIによる推論、専門モデル、決定論的分析、セキュリティ知識、そしてSnyk製品全体から得られる知見を活用するコンテキストレイヤーを組み合わせ、単一のアプローチだけでは検出が難しい脆弱性を見つけられるよう開発を進めています。このシステムにはさまざまな要素が含まれます。今回はその構成要素の一つであるセキュリティハーネスに注目します。これは、AIモデルがコードを探索し、潜在的な脆弱性を調査し、検出結果を報告する方法を導くものです。
ハーネス単独の貢献を確認するため、Claude SecurityとCodex Securityが使用するものと同じ市販モデルを組み合わせました。同じコンピューティング予算で比較したところ、Evo Code Scanning Agentはどちらよりも多くの既知の脆弱性を発見しましたが、両ツールの方が適合率は高くなりました。これは初期段階の結果であり、エージェントは現在も進化を続けています。Snykのお客様で試してみたい方は、プレビューにご参加ください。Snykのアカウントチームにお問い合わせください。
今回のテストでは、次の2組をそれぞれ単一のモデルで実行しました。
各スキャナーは同じ14個のアプリケーションを対象に、アプリごとに少なくとも3回実行し、既知の脆弱性1,426件を基準に評価しました。
14個のアプリケーションで平均した、同じコンピューティング予算における既知の脆弱性の検出割合。
同じコンピューティング予算でより多くの検出結果
AIスキャナーが検出できる結果の網羅性は、与えられるコンピューティング予算によって異なります。公平に比較するため、14個のアプリケーションで平均した各ラボツールの予算と同じコンピューティング予算をEvo Code Scanning Agentに与えました。Claude Securityとの比較では、既知の脆弱性の57%を検出したのに対し、Claude Securityは32%でした。Codex Securityとの比較では、Evo Code Scanning Agentは66%、Codex Securityは43%を検出しました。14個すべてのアプリケーションで、それぞれのラボツールを上回りました。
脆弱性をより多く発見し、その影響を把握する
両方のラボツールは、Evo Code Scanning Agentより適合率が高くなりました。Claude Securityは、到達可能性、防御、影響を確認する検証パネルで候補を一つずつ検証します。また、Codex Securityのdeepモードは報告前にレビューを繰り返します。現在、ハーネスの適合率向上に取り組むとともに、測定に使用する正解データの改善を進めています。
|
| | |
| | 97.5%(Codex Security deep) |
同じコンピューティング予算での適合率:検出した固有の脆弱性数 ÷(検出した固有の脆弱性数 + 固有の誤検知数)。
同じコンピューティング予算で比較した場合、Evo Code Scanning Agentはどちらのラボツールよりも多くの既知の脆弱性を発見しましたが、2つのモデル間で適合率とのトレードオフは異なりました。GPT-6.1 Solでは、Codex Securityの43%に対し66%の既知の脆弱性を検出し、適合率は90%対97.5%でした。Claude Sonnet 5.5では、Claude Securityの32%に対し57%を検出しましたが、適合率の差はより大きく、65%対94%でした。私たちは意図的に、適合率の改善を続けながら、より広範な脆弱性の発見を優先しています。
また、Snyk製品全体のコンテキストを活用し、各検出結果の重要性をチームが把握できるようにする方法も検討しています。これには、単独では緊急性が低く見える弱点が組み合わさることで、より深刻な攻撃につながる可能性があるかどうかも含まれます。AIによって攻撃者が脆弱性を調査し、関連付ける方法が変化するなかで、より広いコンテキストの価値はますます高まるでしょう。
同じモデルでも検出結果は異なる
モデルを固定することで、ハーネスの効果が明確になります。Claude Sonnet 5.5を同じコンピューティング予算で実行した場合、Evo Code Scanning AgentはClaude Securityが発見した脆弱性の約4分の3に加え、14個のアプリケーション全体で約470件多く検出しました。GPT-6.1 Solでは、Codex Security deepが検出した脆弱性の約7分の6に加え、約420件多く見つけました。一方、それぞれのラボツールもEvo Code Scanning Agentが見逃した脆弱性を検出しており、Claude Securityは111件、Codex Security deepは84件でした。
同じコンピューティング予算でClaude Sonnet 5.5上の各ツールが検出した既知の脆弱性。実行ごとの平均を取り、14個のアプリケーション全体で合計しています。両方が検出した314件は各ツールの合計に含まれるため、2つのツールを合わせると1,426件中893件を検出しました。残る533件はどちらも検出しませんでした。
同じコンピューティング予算でGPT-6.1 Sol上の各ツールが検出した既知の脆弱性。実行ごとの平均を取り、14個のアプリケーション全体で合計しています。両方が検出した478件は各ツールの合計に含まれるため、2つのツールを合わせると1,426件中982件を検出しました。残る444件はどちらも検出しませんでした。
各組でモデルは同一であるため、違いを生むのはモデルを取り巻くすべての要素です。ハーネスがどのように作業を計画し、コードを分割し、候補を調査し、何を残すかを決定するかが影響します。
汎用コーディングエージェントだけでは不十分
ベースラインとして、広く使われているオープンソースのコーディングエージェントOpenHandsを、オープンウェイトモデルのGLM-5.3と組み合わせ、セキュリティ上の検出結果を一覧にするよう単一のプロンプトで指示しました。既知の脆弱性の13%を検出し、最初の試行で実用的な結果が得られたのは約5回に3回にとどまりました。この比較ではモデルとハーネスの両方が異なるため、どちらか一方の効果を切り分けることはできません。ただし、出発点は明らかです。適切なプロンプトを与えた高性能なコーディングエージェントでも、専用ツールが見つけた脆弱性の一部しか検出できませんでした。
結果の対象範囲と限界
これらは、Snykが社内で構築し実施したベンチマークの初期結果です。14個のアプリケーションはオープンソースプロジェクトとベンチマーク専用アプリを組み合わせたもので、結果は集計値のみを報告しています。Evo Code Scanning Agentは実験的プレビュー中で、現在も進化を続けています。また、このテストで評価したのは、その一部であるAIハーネス単独です。
テストで既知の脆弱性をすべて検出したツールはありませんでした。最も高い結果となったGPT-6.1 Solでの66%でも、約3分の1を見逃しています。そのため、AIセキュリティエージェントはAppSecプログラムの一層として捉えています。SAST、SCA、コードレビューと併用することで、それぞれがほかの手法では見逃す可能性のある問題を検出できます。
方法論
すべての結果は、オープンソースプロジェクトとベンチマーク専用アプリを組み合わせた14個のアプリケーションを対象に、既知の脆弱性1,426件を基準として評価したSnykの社内ベンチマークによるものです。各スキャナーは各アプリケーションの同じソースツリーを少なくとも3回スキャンし、途中までの実行も1回として数えています。
|
Evo Code Scanning Agent(プレビュービルド) | Claude Sonnet 5.5、GPT-6.1 Sol | |
Claude Code用Claude Securityプラグイン 0.12.0 | | |
Codex Security CLI 0.9.1(deepモード) | | 推論の強度:高、ウェブ検索とネットワークアクセスは無効 |
OpenHands CLI 1.16(ベースライン) | | セキュリティ上の検出結果を求める単一のプロンプト。セキュリティツールなし |
測定方法
再現率:各アプリケーションの既知の脆弱性のうち、結果が検出した割合を14個のアプリケーションで平均した値。同じ脆弱性に関する報告が複数あっても、1件として数えます。
同一のコンピューティング予算:Evo Code Scanning Agentの実行は、同じモデルを使うラボツールの1回のスキャンの平均コストに達するまで続け、超えないようにしました。ラボツールは平均スキャン結果で評価します。
適合率:検出した固有の脆弱性数 ÷(検出した固有の脆弱性数 + 固有の誤検知数)。同じコンピューティング予算で、再現率と同じ結果を使って測定しました。Claude Sonnet 5.5でのEvo Code Scanning Agentの値は下限値です。重複する誤検知の一部を統合できなかったためです。
検出結果の評価方法
ラベル付け:2人の独立したAIレビュアーが、既知の脆弱性と照合しながらすべての検出結果を評価し、意見が異なる場合は3人目が判定しました。人間による検証は行っていません。レビュアーが判定できなかった検出結果は、再現率にも適合率にも含めていません。
正解データ:既知の脆弱性1,426件には、いずれかのスキャナーの検出結果から確認されたすべての脆弱性が含まれています。また、各スキャン結果をすべての項目と照合して再確認しました。
ハーネスのその先へ
モデルを固定したことで、ハーネスだけでAIスキャナーの検出結果がどれほど変わるかが分かりました。ハーネスはEvo Code Scanning Agentを構成する要素の一つです。今後の記事では、実行ごとの検出結果の一貫性を高める方法、静的解析とAI解析の連携、セキュリティ向けモデルのトレーニング方法、そしてSnyk製品全体のコンテキストを活用してエージェントの検出結果を理解し、優先順位を付ける方法についてご紹介します。
ビジネスに不可欠なアプリケーションで何が検出されるか試してみませんか?実験的プレビューへの参加について、Snykのアカウントチームにお問い合わせください。
Evo Code Scanning Agentは、一部のお客様を対象に実験的プレビューを実施中です。ビジネスに不可欠なアプリケーションで何が検出されるか試してみたい方は、プレビューにご参加ください。Snykのアカウントチームにお問い合わせください。
EvoでAIの導入を大規模に安全に推進
エージェントネイティブなセキュリティソリューション群で、AI主導の開発を3つのループにわたって保護・防御・管理できます。3つのループとは、コード成果物、AIを活用するチーム、そしてチームが開発するAIアプリケーションです。