リスト、テストスイート、ベンチマークだけではSASTツールを比較できない
Asaf Biton
Shani Gal
2021年6月16日
7 分で読めますチームに
誰もが
それぞれの
OWASP Top 10は、Webアプリケーションの
開発者が 認識しておくべき 上位10件のリスクを まとめた リストです。 OWASP® Foundationが 公開しており、 最終改訂は 201 7年です。 SANS-25は、
最も 危険な ソフトウェアエラーの 種類を 25件まとめた リストです。 SANS Instituteが 公開しており、 最終改訂は 201 1年です。 CWE Top 25は、
SANS-25に よく 似た 別の リストですが、 より 頻繁に 更新されています。 CWE Teamが 公開しており、 202 0年に 改訂されています。 ベンチマークは、
SASTツールの テストを 目的に 設計された オープンソースの テストスイートです。 Javaのみを 対象と しており、 現在も 積極的に メンテナンスされていますが、 メジャーバージョンの 最終リリースは 201 6年です。 意図的に
脆弱性を 含めた アプリは、 脆弱性に ついての 教育や 事例の 提供を 目的とした リポジトリや プロジェクトです。 さまざまな 標準に 準拠している 場合も あります。 これらの プロジェクトは、 SASTツールを 念頭に 置いて作成された ものではありません。 例と して、OWASP/NodeGoat、appsecco/dvna、WebGoat、juice-shopが あります。
それでは
SASTツールの測定に脆弱性リストを使う際の課題
さまざまな
対象範囲が
限定的:リストに よっては、 対象範囲が 特定の 領域に 限られています。 たとえば、 OWASP Top 10が 対象と するのは Webアプリケーションの セキュリティのみです。 汎用的すぎる
:一方、 SANS-25や CWE Top 25は 環境や 言語を 区別していないため、 すべての 言語に 関係するとは 限らない 多くの 脆弱性 (または CWE)が リストに 含まれる ことがあります。 たとえば、CWE-416:Use After Freeは、 C、 C++、 Rustなどの 低レベル言語にのみ 関係します。 古くなっている
可能性が あります:こうした リストは、 定期的に 更新されないことが よく あります。 OWASP Top 10の 最終更新は 201 7年、 SANS-25の 最終更新は 201 1年です。 その ため、 現在の アプリケーションセキュリティの 状況が 必ずしも 反映されているとは 限りません。 最近 増加しているサプライチェーン攻撃やタイポスクワッティング攻撃は、 その 顕著な 例です。 どちらの リストにも、 これらの 問題は 記載されていません。 SASTに
関係しない :問題に よっては、 SASTの 文脈では 重要でない ものも あります (一般的に 重要でないと いう 意味ではありません)。 たとえば、 OWASP Top 10には不十分な ログ記録と モニタリングが 含まれていますが、 それ自体は 脆弱性ではありません。
SASTツールの測定にテストスイートや意図的に脆弱性を含めたアプリを使う際の課題
OWASP Benchmarkのような
対応
言語が 限られる :複数の 言語を テストできる テストスイートや、 意図的に 脆弱性を 含めた アプリは ありません。 たとえば、 OWASP Benchmarkに 含まれるのは Javaの 問題のみです。 過剰
適合:「業界標準」と なる テストスイートや 意図的に 脆弱性を 含めた アプリの セットが あると、 企業は 特定の 問題に 合わせて SASTの 機能を 調整できてしまいます。 その 結果、 製品は ベンチマークで 非常に 優れた 結果を 出すようになります。 しかし、 それが 実環境での 精度や 分析の 深さに 結び 付くとは 限りません。 意味的に
包括的:ベンチマークや 脆弱性を 含む アプリの 例は、 データフローが より 複雑な 実際の アプリケーションを 反映していないことが よく あります。
では……SASTツールはどう比較すればよいのでしょうか?
さまざまな
ここまでの
Capture the Flagを 始めよう
オンデマンドの


