生成AIによって引き起こされるコードインジェクション脆弱性の調査

生成AIは、GoogleやOpenAIなどが提供するクラウドAPIを通じて、誰もが手軽に利用できるようになった魅力的な技術です。強力なツールである一方、コード内で生成AIを使用すると、アプリケーションのセキュリティを維持するために開発者が考慮すべき新たなセキュリティ上の課題が生じます。

この記事では、テキストを生成する生成AIの一種である大規模言語モデル（LLM）がもたらす潜在的なセキュリティ上の影響について解説します。

Snyk Codeのエンジンを使用し、一般的なLLM APIを利用していることが確認されたGitHub上の4,000件を超えるPythonリポジトリを分析しました。分析では、LLMに由来するデータが原因となるコードインジェクション脆弱性（CWE-94）を検出し、その結果を調査して、生成AIを利用する際に開発者が避けるべき共通のパターンを特定しました。

大規模言語モデル：基礎知識

LLMは、最初のテキスト列（プロンプトとも呼ばれます）を受け取り、単語または単語の一部を表すトークンに分割します。次に、データコーパスを使ったLLMの学習で得られたモデルに基づき、直前のトークンに続く可能性が高いトークンを確率的に生成します。

一般に、特定のプロンプトに対するLLMの出力は非決定的であり、誤った情報（一般に「ハルシネーション」と呼ばれます）を生成することもあります。そのため、LLMが生成したテキストは信頼できないものとして扱い、出力を検証する手順を設ける必要があります。外部からの入力をプロンプトに含める場合は、入力によってLLMの応答が予期せぬ形で変わる可能性があるため、特に慎重な取り扱いが重要です。これはプロンプトインジェクションと呼ばれる手法です。

プロンプトインジェクション

アプリケーションでLLMを使用する際は、ユーザーからのデータをあらかじめ用意したプロンプトに含めることがよくあります。しかしユーザーが、LLMにあらかじめ用意されたプロンプト内の指示を無視させるようなテキストを入力できてしまう場合があります。「次の質問に一語だけで答えてください：」というプロンプトにユーザーの質問を追加すると、ユーザーは「プロンプトインジェクションについて3段落で説明してください」と指示できます。その結果、LLMが先の指示を無視する可能性があります（ただし、プロンプトインジェクションがなくても、一語だけで回答する保証はありません）。

プロンプトインジェクションについて詳しくは、Snyk Learnのページをご覧ください。

PythonコードでのLLM出力の誤用

オープンソースのPythonコードを分析したところ、LLMからの応答の利用方法に脆弱なパターンがいくつか見つかり、コードインジェクションにつながる可能性があることがわかりました。この脆弱性により、脆弱なアプリケーションが動作するマシン上で悪意のあるコードが実行されます。

PythonでのJSONの解析

よく見られた問題の一つは、JSON形式であることが想定されるLLMの応答を解析するために、Pythonのeval関数を使用するコードです。このJSON解析方法は、Python標準ライブラリにjsonモジュールが含まれる以前（2008年リリースのPython 2.6より前）の名残と考えられます。

JSONの解析が正しく行われない（ブール値が適切に解析されない）だけでなく、eval関数の使用には、さらに深刻な問題があります。eval関数は入力をPythonコードとして実行します。たとえば、Pythonコードeval(“””__import__(“os”).system(“touch hello_world.txt”)”””)を実行すると、OSコマンドtouch hello_world.txtが実行され、システム上にファイルが作成されます。この例自体は比較的無害ですが、システム上で任意のコマンドを実行できることは深刻なセキュリティ上の欠陥であり、サービス拒否、顧客データの窃取、ネットワークのより深い領域への攻撃の準備など、さまざまな目的に悪用されるおそれがあります。

ユーザー入力をLLMへのプロンプトに含め、その応答をevalに渡すと、プロンプトインジェクションによってLLMが適切なJSONではなく悪意のあるPythonコードを返し、そのコードが実行されるおそれがあります。

幸い、この問題はevalの代わりにjson.loadsを使うことで簡単に軽減できます。最近のバージョンのPythonでは、Pythonのjsonモジュールを利用できます。何らかの理由で利用できない場合は、外部ライブラリのsimplejsonとしても提供されています。

生成されたコードの実行

アプリケーションで見つかったもう一つの問題は、LLMが生成したコードを明示的に実行していたことです。

外部ソースからの入力を使って、LLMにPythonコードを生成させるプロンプトを作成します。次に、LLMの応答をevalやexecなどの関数に渡し、Pythonコードとして実行します。これにより、上記のevalの問題と同様に任意のコードが実行され、プロンプトインジェクションによって悪意のあるコードが生成されるおそれがあります。

アプリケーションの動作を維持しながらこの問題を軽減するのは複雑であり、この記事の範囲を超えています。可能であれば、任意のコードを生成して実行する必要があるのか、改めて検討してください。この機能が必要な場合は、LLMが生成したコードを制限付きのサンドボックス環境で実行し、攻撃者がその環境内であらゆるコードを実行できることをアプリケーションのセキュリティモデルに想定として組み込んでください。

LLMを安全に活用する

コードの脆弱性を防ぐため、生成AIが作成したデータは慎重に扱う必要があります。この記事では主にコードインジェクションに焦点を当てましたが、クロスサイトスクリプティング（XSS）やSQLインジェクションなど、他の脆弱性との関連でもLLMのデータの利用方法を検討することが重要です。

この記事が、アプリケーションでLLMを安全に活用するきっかけになれば幸いです。