LLMjackingとは？AI攻撃が盗まれたクラウド認証情報を悪用する仕組み

組織がAIの可能性を活用し、ワークフローに取り入れる動きが広がるにつれて、新たなセキュリティ上の考慮事項が注目されています。その一つがLLMjackingです。これは、不正な人物が組織の大規模言語モデル（LLM）を操作し、悪用しようとする行為です。特に、クラウドサービスでホストされ、オンラインアカウントを通じてアクセスされるモデルが標的になります。

一見すると重大な問題には思えないかもしれませんが、LLMjackingはデータ侵害の拡大や脆弱性の悪用など、ビジネスや顧客に深刻な影響を及ぼす可能性があります。 

組織とデータを守るには、LLMjackingの仕組みや潜在的なリスク、LLMと企業を安全に保つための対策を理解することが重要です。 

LLMjacking攻撃の仕組み

LLMjacking攻撃の主な目的は、組織のLLMにアクセスして乗っ取ることです。多くの場合、盗まれたユーザー名とパスワードが侵入の糸口となります。認証情報は、直接盗まれたり、オンラインの犯罪者向けマーケットプレイスで購入されたりするなど、さまざまな方法で入手されます。残念ながら、LLMjacking攻撃の手口に関する情報交換もオンラインコミュニティで増えています。

有効なログイン情報を手に入れたサイバー犯罪者は、組織のLLMを事実上「乗っ取り」、正規ユーザーと同じように操作できるようになります。

LLMjacking攻撃が成功すると、何が起こる可能性がありますか？

LLMjacking攻撃によって生じる影響は多岐にわたりますが、特によくあるものは次のとおりです。

想定外の高額な利用料金

クラウドベースのLLMサービスでは、通常、利用量に応じて料金が発生します。LLMが乗っ取られると、攻撃者に大量に利用され、予想外の高額な請求につながる可能性があります。犯罪者があなたのコンピューターを秘密裏に暗号資産のマイニングに使い、電気代やリソースを消費させるのと似ています。LLMjackingによる組織の損失額は、利用するLLMによっては1日あたり46,000ドルから10万ドル超に上ることがわかっています。 

データ侵害と情報漏えい

従業員がLLMでさまざまな種類のデータを処理している場合、その中には機密情報が含まれている可能性があります。攻撃者がLLMを制御すると、こうした情報にアクセスされ、データセキュリティインシデントや機密データ・専有データの漏えいにつながるおそれがあります。評判を損ない、法的または規制上の問題を招く可能性もあります。

脆弱性の悪用

攻撃者は乗っ取ったLLMを使い、既知の脆弱性（ワンデイ脆弱性）だけでなく、新たに発見された脆弱性（ゼロデイ脆弱性）も含め、ソフトウェアシステムの弱点を探して悪用する可能性があります。ある調査では、OpenAIのGPT-4がCVEの説明だけを使って、ワンデイ脆弱性の87%を自律的に悪用できることがわかりました。つまり、悪意ある人物が組織のLLMを利用して悪意のあるコードを生成し、脆弱性を悪用することは十分にあり得ます。  

プロンプトインジェクションとデータポイズニング

攻撃者はプロンプトインジェクションという手法を使い、LLMを意図しない動作に誘導できます。特定の悪意のある入力を与えることで、機密情報を漏らしたり、有害なコードを生成したり、その他の損害をもたらす動作をさせたりすることが可能です。また、LLMが使用する学習データを汚染しようとする可能性もあります。これにより、モデルに誤りや偏り、弱点が持ち込まれ、信頼性が低下したり、将来的に悪用可能になったりするおそれがあります。 

LLMjackingがビジネスに及ぼす実際の影響

これまでに説明した影響が重なると、組織に大きな損害をもたらす可能性があります。

• 金銭的損失：利用量の増加による直接的な費用に加え、LLMjackingインシデントへの対応には、攻撃の調査、失われたデータの復旧、弁護士費用、企業の評判への損害の修復などのコストがかかる場合があります。 

• セキュリティリスクの増大：データ侵害の可能性、システムへの脆弱性の持ち込み、AIの操作によって、全体的なセキュリティが弱まり、将来の攻撃リスクが高まります。

• 業務の中断：攻撃者がLLMを過剰に利用すると、システムの動作が遅くなったり、過負荷になったりして、正常な稼働に支障をきたす可能性があります。さらに、LLMが侵害され、誤情報の拡散や有害なコンテンツの生成に使われると、業務が深刻に妨げられ、顧客体験にも悪影響を及ぼすおそれがあります。

自分を守る方法：LLMjackingの防止と検出の戦略

LLMjackingを防止し、リスクを軽減するには、適切な安全対策が必要です。盗まれた認証情報は攻撃者がアクセスする一般的な手段であるため、強固なID・アクセス管理（IAM）を実践することが重要です。これには、ユーザーに業務上必要な最低限のアクセス権のみを付与する（最小権限の原則）ことが含まれます。また、LLMサービスにアクセスできるすべてのアカウントで多要素認証（MFA）を必須にする必要があります。さらに、LLMを含むAIを責任を持って安全に利用する方法について、明確なガイドラインやドキュメントを整備し、従業員にトレーニングを提供することも重要です。

脆弱性や偏りが生じる可能性を減らすため、LLMは高品質で多様性があり、信頼できるデータを使って継続的に学習させる必要があります。モデルの耐性を高める敵対的学習などの手法を検討するとともに、LLMを定期的に監査・更新して、潜在的なセキュリティ上の弱点にパッチを適用しましょう。

プロンプトインジェクション攻撃を防ぐため、強固な入力検証とサニタイズのプロセスを導入することも有効です。これは、ユーザー入力が特定の基準を満たしているか確認し、LLMで処理する前に潜在的に有害なコンテンツを削除または変更することを意味します。

検出方法：LLMjacking攻撃の兆候を見つける

セキュリティチームは、LLMjackingインシデントの兆候を見逃さないようにする必要があります。次のような検出方法でリスクを軽減できます。

• LLMとユーザーアカウントを監視し、異常なリクエスト、アクティビティ、クエリパターンを検知する。

• LLMの入力と出力の両方にフィルタリングを導入し、悪意のある可能性がある活動や異常を特定する。

• セキュリティツールやシステムを活用してログを監視し、不審なネットワークトラフィックを特定して悪意のある接続をブロックするとともに、侵害された認証情報や悪意のあるコードまたは脆弱なコードをスキャンする。

• LLMの使用中に遭遇した不審な活動や異常な動きをユーザーが認識し、報告できるよう、教育とトレーニングを実施する。 

LLMjacking（その他のリソースジャッキング）攻撃を防ぐツール

一般的なセキュリティ対策に加え、LLMjackingや類似の攻撃を防ぐうえで特に役立つツールもあります。LLMjackingはクラウドベースのシステムを標的にすることが多いため、こうした環境を可視化し、セキュリティを確保できるツールが不可欠です。

静的アプリケーションセキュリティテスト（SAST）とソフトウェア構成分析（SCA）ツールは、ここで非常に有効です。理想的なのは、Snyk AppRiskのような包括的なプラットフォームを活用して、ソフトウェア開発プロセス全体とあらゆる環境にわたるセキュリティリスクを明確に把握することです。Snyk Open SourceのようなSCAツールは、ソフトウェアコードをスキャンして、オープンソースコンポーネントとその依存関係を特定できます。これにより、コンポーネントに関連する既知の脆弱性やその他のリスクを見つけ、優先順位を付けて修正し、LLM環境やシステム内のほかの場所で悪用されるのを防ぐことができます。

同様に、開発者がコード作成にLLMを利用する場合、そのコードのセキュリティを確保するためにSASTツールが欠かせません。AIが生成したコード自体が常に安全とは限らず、LLMjacking攻撃によって悪意のあるコードや脆弱なコードが持ち込まれる可能性はさらに高まります。Snyk Codeのように、コードをリアルタイムでIDE上から直接スキャンするSASTツールを使えば、重大な問題を引き起こす前に脆弱性を発見して修正できます。信頼できるセキュリティプロバイダーの無料コードチェッカーを利用することも、安全でないコードの拡散防止に役立ちます。 

その他のツールには、次のものがあります。

• セキュリティ情報イベント管理（SIEM）システム。さまざまなソースからログを分析し、不審なアクティビティのパターン検出を支援します。

• LLMの入出力をモデレートし、モデル固有のセキュリティ脅威から保護するために設計された新しいLLM専用セキュリティツール。

• LLMjacking攻撃で標的となる可能性があるAPIキーなどの機密情報を安全に保管・管理するためのシークレット管理ツール。

サイバーセキュリティを取り巻く状況は常に変化し、新たな脅威が次々と発見されています。LLMjackingやその他の攻撃から強固に保護するために、組織は自社のニーズを慎重に評価し、複数のツールや対策を組み合わせて導入することが重要です。

LLMjackingが今後もたらす影響

AIの普及が進み、より幅広い業界で利用されるにつれて、LLMjackingの脅威も拡大し続けると予想されます。AIの導入が進む一方で、LLMjackingも増加しています。たとえば、DeepSeekは一般公開からわずか数週間でLLMjackingの標的となりました。 

AI技術の進歩に伴って新たなLLMが開発され、新たな脆弱性が発見されるなか、攻撃者はこうした強力なツールへのアクセスや悪用を狙い、手口を確実に変化させていきます。AIが日常生活や重要インフラに欠かせない存在になるにつれて、その影響は重大なものとなる可能性があります。

LLMjackingや大規模な侵害を防ぐには、AIを取り巻くセキュリティ対策は選択肢ではなく必須です。その方法の一つが、アプリケーションセキュリティプラットフォームであるSnykの導入です。AI導入を含むAppSecプログラム全体を可視化し、組織のセキュリティを強化できます。チームがセキュリティを重視できる環境を整えることで、LLMjackingやその他のリソースを狙う脅威から組織を守ることができます。