Snyk Agent Fix は、 Snyk Code に 搭載された AI活用機能です。 開発者向けの リアルタイムSASTツールで、 セキュリティチェック済みの 修正を ワンクリックで 提示します。 市場に 登場した 初期の 半自動IDE内セキュリティ修正機能の 一つであり、 パブリックベータは 202 3年4月の Snyk Launch で 発表されました。 Snyk Codeが 検出した セキュリティ 問題に 対し、 リアルタイムに、 コード内で、 IDE上で 修正を 提示します。 それ以来、 Snyk Codeユーザーに とって 強力で 画期的な この 機能の 改善に 取り組んできました。 パブリックベータで 約12か 月に わたって ユーザーの 皆様から フィードバックを いただき、 改善を 重ねた 現在、 実戦で 鍛えられた 自動修正機能の 新たな モデル改善を 発表できる ことを うれしく 思います。 Snyk Agent Fixの 主な 特長は 次の とおりです。
Snyk Agent Fixで実現する、シームレスな自動修正 Snyk Codeは、 IDE、 SCM、 CI/CDパイプラインに わたる ソフトウェア開発ライフサイクル (SDLC)の あらゆる 段階 で、 開発者が 作業中の ソースコードを 分析します。 SAST領域で 比類の ない 精度と スピード を 実現し、 セキュリティ 問題を 特定して プロアクティブに 修正します。
関連する セキュリティポリシーに 応じて、 新たな セキュリティ 問題が 特定されると、 開発者は その 修正に 取り組みます。 しかし、 セキュリティ 問題の 修正は 必ずしも 簡単ではありません。 コードベース全体の 中で コードが どのように 機能するか、 セキュリティ 問題の 内容、 そして 最適な 修正方法を 把握する 必要が あります。
Snyk Codeは、 検出した セキュリティ 問題に ついて 詳しく 説明し、 実際の 寛容な ライセンスの リポジトリから 得た 修正例を 提示します。 開発者は それらを 参考に、 問題への 対処方法を 検討できます。 Snyk Agent Fixが 登場する 前から、 Snyk Codeは 開発者の 認知負荷を 軽減する 大きな 一歩を 実現していました。 しかし、 セキュリティ 問題の 修正方法は、 依然と して 開発者自身が 見つける 必要が ありました。
そこで Snyk Agent Fixを 開発し、 開発者が 脆弱性を さらに 簡単に 修正できるようにしました。 この 機能は、 DeepCode AI エンジンの LLM部分 (LLMを 含む、 シンボリックAIと 機械学習を 組み合わせた もの)を 活用しています。 Snyk Agent Fixは、 JavaScriptおよびTypeScriptの プロジェクトから、 セキュリティ 問題を 自動修正して 安全な 開発を シームレスに 支援します。 Visual Studio Codeまたは Eclipseで Snyk Codeを 利用していれば、 新たな セキュリティ 問題が 発生した 際に ⚡Fix this issueを 実行できます。
先駆的なベータ版から得た学び Snykが Snyk Agent Fixを 早期アクセス版と して 初めて 公開すると、 さまざまな 規模や 業種の 企業で 採用されました。 脆弱性が 本番環境に 持ち込まれる 前に IDE内で 直接 問題に 対処し、 修正を 自動化できると いう、 チームに とって 画期的な 方法を 提供した ためです。
コード向けAI 自動修正機能を 他社に 先駆けて リリースした ものの、 ベータ版は 本質的に 改善を 重ねる 段階に あります。 その ため、 Snyk Agent Fixの さらなる 改良を 続けたいと 考えました。 修正の 正確性と 一貫性の 向上、 言語ルールの 改善、 対応言語の 拡大、 利用可能な 環境の 拡張 (当時は IDE内のみ)、 ユーザー体験の 向上などに 取り組みました。
取り組 むべき 点は 数多く ありましたが、 ユーザーからの フィードバックを 参考に しながら、 まずは 特に 大きな 効果が 見込める 次の 項目に 注力する ことにしました。
Snyk Agent Fixのような 機能に とって、 修正の 品質と セキュリティは 最重要です。 そこで、 提案する 修正の 深さと 幅の 向上に、 より 一層 注力する ことにしました。
AI時代に信頼できる自動修正機能を構築する スピードと精度を高める新しいLLMモデル Snyk Agent Fixの リリース時には、 Snykの トップクラスの セキュリティ専門家が 徹底的に ファインチューニングした、 Googleの T5 モデルの バージョンを 使用していました。 なぜ この モデルを 選んだのでしょうか。 背景を 説明すると、 LLMが まだ 黎明期に あった リリースの 2年も 前から、 Snyk Agent Fixの 開発に 取り組んで おり、 業界を 先取りしていました。 その ため、 当時利用可能な 選択肢の 中で、 T5が ニーズに 最も 適していると 判断しました。 セキュリティ 問題を 修正する 方法を モデルに 学習させる ため、 セキュリティ 問題が 修正された、 寛容な ライセンスの オープンソースプロジェクトを 使って ファインチューニングを 行いました。
Snyk Agent Fixが セキュリティ修正を 提案する 前に、 Snykの ハイブリッドAIエンジンである DeepCode AIは、 厳格な ルールと 知識ベースを 用いた シンボリックAIアルゴリズムに よって、 セキュリティ予測を 反映した コード修正を 再分 析 します。 これに より、 Snyk Agent Fixを 含む すべての LLMに 起こり 得る、 ハルシネーションや 不適切な 修正の 可能性を 低減します。 Snyk Agent Fixが 提案する コードの 検証は、 より 高度な 別の LLMモデルへの 移行後も 継続しています (詳細は 後述)。
Snyk Agent Fixの 初期段階で 得た 知見を もとに、 より 正確な セキュリティ 問題の 修正を 生成できる LLMモデルへ 移行する ことにしました。 ファインチューニング手法と 組み合わせた際に 最良の 結果を 生む モデルを 見つける ため、 利用可能な 候補と なる 興味深い LLMを すべて テストしました。 精度と 速度を 踏まえ、 ベースモデルに StarCoder を 選び、 トレーニングデータセットを 使って ファインチューニングしました。
結果は 驚く ほど 改善しました。
Snyk Agent Fixは、 さまざまな 種類の セキュリティ 問題や コーディング上の 問題を 自動修正できます。 上の 画像に ある 各行の とおり、 評価結果を 要約する ために、 問題を AST 、Interprocedural 、Local 、SecurityLocal, 、SecurityFlow* の 5つに 分類しました。 Snyk Agent Fixは、 検出した 問題ごとに 5つの 修正候補を 生成します。 上の 画像の 3つの 列、 pass@1 、pass@3 、pass@5 は、 それぞれ 1件、 3件、 5件の 修正候補の うち、 正確な 修正を 1件 含む 出力の 割合を 示します。
Snyk Agent Fixの 精度を 担保する ため、 すべての 予測を 人手で 作成した ルールと 知識ベース (シンボリックAIに 組み込まれています)に 照らして 検証します。 予測は、 次の 条件を 満たすと 検証を 通過 します。 構文的に 正しく 解析可能な コードを 生成し、 別の 問題を 持ち込む ことなく、 該当する セキュリティ 問題を 修正する ことです。 これは Snyk独自の 強みです。 シンボリックAIを 基盤と する 独自の コードアナライザーと 知識ベースを 使い (その 重要性に ついては こちら を お読みください)、 Snyk Agent Fixを 支える LLMが 生成した 誤った 修正や ハルシネーション を、 そうした 不適切な 修正が お客様に 届く 前に 取り除きます。
これに より、 LLMだけに 修正を 任せたり、 問題の 確認と 修正の 両方を 任せたりする 他の コードスキャン 自動修正ソリューションよりも、 Snyk Agent Fixの 堅牢性と 安全性が 高まります。 評価方法や 問題の 分類に 関する 詳しい 情報は、 Snykの CodeReduceテクノロジーに ついての 研究論文 を ご覧ください (詳細は 後述)。
GPT-4の精度も大幅に向上させる、画期的な特許出願中の技術 結果の 品質を 高める ため、 Snyk Agent Fixを 支える LLMの プロンプトに ユーザーデータ (関連する コード)を 渡す方法も 改善しました。 Snyk独自の この 技術は 「CodeReduce」と 呼ばれ、 現在、 特許出願中です。 CodeReduce は プログラム解析を 活用し、 LLMの 注意機構を 該当する 修正に 必要な コード部分だけに 集中させます。 報告された 不具合と 必要な コードコンテキストを 含む、 より 短い コードスニペットに LLMの 焦点を 絞ることができます。
つまり、 Snykは 再びノイズを 取り除き、 重要な 成果を 効率よく 得られるようにしています。 CodeReduceは、 Snyk Agent Fixが 処理する コード量を 大幅に 削減します。 その 結果、 テストした すべての モデル (GPT-3.5、 GPT-4、 Mixtralを 含む)で 修正生成の 品質と 基準が 向上し、 ハルシネーションの 可能性も 低減します。 実際に、 GPT-4の 精度を 最大20%向上 させました (下の 画像を ご覧ください)。 CodeReduceの 仕組みに ついては 近日中に 詳しく ご紹介しますので、 ぜひ ご期待ください。
ASTのpass@5とLocalのexact@5を除き、Snykはすべての指標で最大20%上回っています。
8つの言語に対応し、ルールとデータも全般的に改善 基盤モデルの 変更や、 より 高品質な 結果を 得る ための Snyk Agent Fixの 対象範囲の 改善に 加えて、 修正結果の 幅と 深さも 高めたいと 考えました。 その ため、 ラベリングチームと 連携して 修正データベースの 品質を 向上させ、 Snyk Agent Fixが 生成した 結果の 正確性を 検証し、 モデルを 継続的に 改善できるようにしました。
こうした 多角的な 取り組みの 結果、 Snyk Codeの 自動修正機能は、 すでに 数百に 及んでいた ルールを、 JavaScript/TypeScript (この 2つは 1言語と して 扱います)だけでなく、 さらに 7つの 言語でも サポートできるようになりました。 すべての ルールの 信頼性も 向上しています。 OWASP Top 10の 脅威に 対して、 現在は 次の 言語に 対応しています。
JavaScript/TypeScript
Java
Python
C/C++
C# (限定的な サポート)
Go (限定的な サポート)
APEX (限定的な サポート)
データの 収集方法と 処理方法にも 改善を 加えた 結果、 LLMの 精度の 信頼性は 平均80%へと 大きく 向上しました。 これに より、 前述の とおり、 シンボリックAIが LLMの 提案する 修正の 安全性を 検証しやすくなります。 ユーザーに とって どのような 意味が あるのでしょうか。 DeepCode AIの Fixの 提案に より、 従来より 短い 時間で、 該当する 脆弱性を 常に 解決できる ことが 期待できます。
今後の予定 信頼性の 高い 自動修正機能の 実現に 向けて 大きく 前進しましたが、 Snyk Agent Fixの LLMの 改善、 最適化、 反復的な 改良を 続けていく 予定です。 また、 IDE内外の ユーザー体験にも 取り組みます。 具体的には、 次のような 改善を 予定しています。
さらに迅速で高精度な修正を実現するモデルの改善 LLMは 今も 急速に 進化しており、 新しい モデルや 改良版が 次々と 登場しています。 StarCoderの 新しい バージョンである StarCoder 2 が 利用可能に なった ため、 テストを 行う 予定です。 テストで さらなる 改善が 見込める 場合は、 StarCoder 2への 切り替えを 検討します。 実際の LLMに 加え、 次の 取り組みも 進めています。
修正を簡単に行える、よりスムーズなIDE体験 Snyk Agent Fixを 使う 開発者は、 提案された 修正を より 簡単に 確認し、 さまざまな 候補から ニーズや 状況に 最適な ものを 選べるようになります。 また、 修正を 適用する 前に 、 同じ フロー内で コードへの 変更を プレビューできます。
これらの 機能は すべて、 開発者が より 速く、 より 簡単に、 より 安全に コーディングできるようにします。 しかし、 開発者を 本当に 支援するのは (Snyk Agent Fixの 精度に 加えて)、 LLMが コードの コンテキスト を 理解できる ことです。 コードを 単なる テキストと してしか 理解しない 他の セキュリティツールとは 異なり、 Snyk Agent Fixは 開発者の コードを 理解し、 開発者と 同じように コードを 修正します。 つまり、 コードが コンパイルされる 可能性が 最も 高い 編集を 行い、 セキュリティ上の 問題に 対処する うえで 最も 効果的かつ 効率的な 修正を 1つ 適用します。
VS Codeや Eclipseを 含む、 現在 サポートされている すべての IDEの ユーザーは、 効率化された 自動脆弱性修正を 利用できます。 JetBrains IDEの ユーザーにも、 今 後利用範囲を 拡大する 予定です。
画期的な精度、高いセキュリティ、幅広い適用性を備えた、すぐに使える自動修正機能 この 1年間、 Snyk Agent Fixに 関する ユーザーからの フィードバックに 対応する ために 尽力し、 DeepCode AIに よる 自動修正の 適用範囲と 深さ、そして 全体的な 品質の 向上を 大きく 進めてきました。 IDEから 直接、 より 幅広い コードに 対応した、 より 正確で 安全な 自動修正を 利用できるようになりました。
これほど 長期間 ベータ版で 実地検証を 重ねた 自動修正機能だからこそ、 理論だけでなく 実際の 使用に おいても 優れた ユーザー体験を 実現します。 これまでの 成果を 誇りに 思う 一方で、 現状に 満足する つもりは ありません。 Snyk Agent Fixの 修正結果と ユーザー体験の 改善に、 今後も 投資を 続けます。
既存の Snyk Codeを ご利用の お客様は、 Snyk Previewの 設定で 「Snyk Code Fix Suggestions」を 有効に すると、 IDEで Snyk Agent Fixを お試しいただけます (下の 画像を 参照)。 詳しくは、 ドキュメント を ご覧ください。
Snyk Codeを まだ お使いでなく、 AIの 速度で 確実に 自動修正を 始めたいとお考えですか? こちら から Snykアカウントに 登録して、 より プロアクティブで 簡単、 効率的な ワークフローを 今すぐ 体験しましょう。
Snykで AIセキュリティを 掌握 Snykが、 セキュリティチームに 包括的な 可視性と 制御を 提供しながら、 開発チームが 生成AIで 作成した コードを どのように 保護するかを ご紹介します。
* コード解析には、 Snyk Agent Fixが Snyk Codeを 使用しています。 202 3年9月時点の バージョンでは、 Snyk Codeは 156種類の チェックを 実装しています。 それぞれに 必要な 解析の 種類と、 セキュリティ 特性を 確認するかどうかに 基づき、 以下の 5つの カテゴリに 分類しました。
AST: ASTチェックの ほとんどは、 抽象構文木上でのみ 実行できます。 これらの ルールの 多くは、 言語の VueJSまたは React拡張機能に 関する 特性を 検証します。 タグの 欠落、 変数名の 重複など、 通常は プログラムの 制御フローや データフローの 解析を 必要と しない パターンを チェックします。
関 数間: 関数間チェックも 関数間解析に 依存しますが、 ローカルチェックとは 異なり、 検証対象の 特性は プログラム内の 別々の 関数または メソッドに またがります。 メソッドの シグネチャと 実装または 使用方法の 不一致を 検出する ルールなどが 含まれます。 (新しい CodeReduceテクノロジーに 関する 公開研究では、 関数間チェックを Filewideと 呼んでいます。 )
ローカル: ローカルチェックでは 関数間解析を 用いて、 不正な 値が 受け付けられない メソッドに 渡される こと、 リソースが 解放されない こと、 特定の 式が 効果を 持たない こと、または 予期しない セマンティクスの 結果を 常に 生成する ことを 検出します。
セキュリティローカル: ローカルチェックと 同様に、 セキュリティローカルチェックでは、 セキュリティの 観点から 不適切な APIの 使用や、 その 他の セキュリティ設定の 誤りを 検証します。 通常、 オブジェクトに 対する すべての メソッド呼び出しを 追跡するか、 メソッドまたは 関数の 呼び出しに 渡される パラメーター値を 追跡して 検証します。
セキュリティフロー: セキュリティフローチェックは 通常、 選択した 静的解析ツールが サポートする 中で 最も 複雑な チェックです。 この ルールカテゴリには、 データソースを 起点と する 関数間データフロー解析を 含む すべての 汚染解析ルールと、 さまざまな データサニタイズパターンの 検出が 含まれます。