SASTツールのスキャン速度を比較：Snyk Code、SonarQube、LGTM

Snyk Codeと、代表的な2つのSASTツールであるLGTMおよびSonarQubeのスキャン時間を比較してほしいというご要望をいただきました。調査ではいくつかの前提を置きましたが、透明性を確保するため、その詳細も公開しています。

要約

静的アプリケーション・セキュリティ・テスト（SAST）が開発者にとって使いやすいものであるためには、ほぼリアルタイムのフィードバックを提供し、開発プロセスを遅らせないことが重要です。Snyk CodeはLGTMより最大106倍高速です。平均すると、Snyk CodeはSonarQubeより5倍、LGTMより14倍高速です。つまり、Snyk Codeは市場最速クラスのセマンティックスキャンエンジンの1つです。

テスト環境

JavaScriptのオープンソースリポジトリを48件選びました（以下に一覧を掲載）。現代の開発者が一般的に扱うコードセットを再現することを目的とし、共通の比較対象としてJavaScriptが適していると考えました。実際の課題を反映できるよう、GitHubで評価の高いリポジトリから無作為にサンプルを選んでいます。

スキャナーには、広く使われているオープンソースの静的解析ツール、SonarQube Community Editionを使用しました。ローカルで実行するため、十分な性能のPCが必要でした。無料のSonarCloudエディションを使った過去のテストでは、性能の良いPC上のSonarQubeのほうが高速でした。そのため、クラウド版ではなくローカルエンジンを使うのは不公平ではありません。既存の開発者用マシンを1台使う必要がありました（詳細は後述）。もう1つの比較対象はLGTMです。LGTMはSemmleという企業が開発し、同社はGitHubに買収されました。LGTMはCodeQLをベースにした深いセマンティックコード検索を使用します。LGTMのSaaSサービスを利用しました。

最後に、Snyk CodeはSnykのSASTソリューションです。旧DeepCodeスキャンエンジンをベースに、Snykで数か月にわたり追加開発を重ねています。開発者にとって使いやすく、高精度であることに加え、Snyk Codeの設計目標の1つは非常に高速であることです。独自の制約エンジンによってこれを実現しています。今回の比較対象を選んだ理由は、（1）ライセンス上、実行して比較できる、（2）リンター（ESlintなど）ではなくセマンティックエンジンである、（3）一般的に広く使われているエンジンである、（4）ローカル実行型とSaaSの両方が含まれている、という点です。

SASTソリューションが開発者にとって使いやすいものになるには、速度が不可欠です。開発者は、セキュリティ上の問題を開発プロセス中に特定し、コードをチェックインする前に修正できると、最も効率的に作業できます。コードを書いたときの記憶も新しいからです。Snyk Codeは、開発者のワークフローにシームレスに組み込めるIDEプラグインを提供します。さらに、理解しやすいデータフロー図や詳しい説明に加え、同じコンテキストのオープンソースライブラリで使われている修正例も提示します。ただし、今回のテストでは速度に焦点を当てました。

テストでは、各リポジトリをスキャンしました。SonarQubeはローカルで、LGTMとSnyk CodeはSaaSとして実行しました。前述のとおり、ネットワーク帯域幅によってスキャン時間が左右されないように、リポジトリを選定しています。

また、ベンチマークではなく実際のオープンソースリポジトリを選びました。実際の開発者の作業を再現することが目的だからです。ベンチマークを使ってSASTツールを比較することには固有の問題がありますが、今回の目的には適していません。

テスト結果

スキャン時間（秒）の基本統計量を以下に示します（n=48、整数に四捨五入）：

散布図にした結果は以下のとおりです（値が小さいほど良好、対数目盛、Rとggplot2で作成）。

対数軸では、値の小さい範囲のばらつきが強調されます。たとえば、Snyk Codeの標準偏差はSonarQubeより実際にはかなり小さい値です。

以下は値を箱ひげ図にしたものです（値が小さいほど良好。すべての値をグラフに収めるため対数目盛を使用。Rとggplot2で作成。中央値と平均値を表示）。

このグラフから、ほとんどの場合にSnykが他の2つのツールより圧倒的に高速であることが明確にわかります。Snykの中央値はSonarQubeより6.7倍、LGTMより最大16.4倍高速です。つまり、非常に良い外れ値だけに左右された結果ではなく、全般的な傾向を示しています。

上の図で注目すべきなのは、LGTM列の値のばらつきです。おおよそ2分（なんとか許容範囲）から17分超（許容できない範囲）に及びます。開発者が作業中に数分かかる結果を待つことはありません。幸い、LGTMの中央値は約3分です。

前回の速度テスト（当時はDeepCode、現在のSnyk Code）と比べると、ここ数か月でクラウドサービスへの読み込みを大幅に最適化したため、パフォーマンスが大きく向上していました。また今回は、前回より高性能で並列処理能力の高いPCを使ったためか、SonarQubeも高速になりました。

もう1つ興味深い点は、速度の観点では、SaaSエンジンとローカルにインストールしたエンジンにそれほど大きな違いがないことです。

前提と制限事項

• SonarQube（Community Edition 8.9.1）とLGTMは、ライセンス上この比較が可能で、広く使われているため選定しました。

• 一般的な開発者の作業を反映すると考え、中規模のJavaScriptリポジトリを48件選びました。GitHubでスター数上位約20万件のリポジトリから無作為にサンプルを抽出しました。コードサイズは選定基準にしていません。

• 差分スキャンは使わず、フルスキャンを実行しました。たとえばSnyk CodeのIDEプラグインでは、初回スキャンの後に差分スキャンを行い、帯域幅を節約します。

• Intel Xeon @ 2GHz、16コア、64GB RAMを使用

生データ

独自の統計分析に利用できるよう、生データも公開します（時間は秒）。