シャドーAIが組織を脅かす5つの方法

リスク

シャドーAIによるリスクの深刻化

想定されるシナリオ

プロンプトインジェクション

入力の検証・サニタイズが不十分。未加工の外部モデルとユーザーが直接やり取りする。審査されていない外部コンテンツを処理する。

従業員が悪意のある指示を含む細工されたプロンプトを公開GenAIツールに貼り付け、過去の会話データが漏えいする。その中には機密性の高い社内情報が含まれている。

機密情報の漏えい

審査されていないツールに機密データを直接入力する。データのマスキングやフィルタリングがない。モデルが機密情報を学習または取り込む可能性がある。

マーケティング担当者が公開GenAIツールに「このデータに基づいて、第3四半期の顧客離反分析を要約してください：[機密性の高い顧客リストと指標を貼り付け]」と入力し、情報漏えいのリスクを招く。

サプライチェーンの脆弱性

セキュリティレビューやSBOMの追跡を行わず、審査されていないサードパーティ製ライブラリ、信頼できないソースの事前学習済みモデル、未評価のAPIを使用する。

独自のシャドーAIアプリケーションが、PyPIからダウンロードしたオープンソースライブラリに依存している。そのライブラリには、開示されていないバックドアや脆弱性が含まれている。

データとモデルのポイズニング

審査されていないオープンソースモデルを使用する。整合性を確認せず、侵害されたデータセットでファインチューニングする。検証されていない社内外のナレッジベースにRAGシステムを接続する。

あるチームが、シャドープロジェクト用に信頼できないソースから事前学習済みモデルをダウンロードする。そのモデルには巧妙なポイズニングが施されており、特定の金融取引を不正ではないと誤分類する。

不適切な出力処理

出力のフィルタリングや検証が行われない。出力が精査されず、そのままコピー＆ペーストされたり、他のシステムに入力されたりする。モデルの出力にゼロトラストの考え方が適用されていない。

開発者がシャドーAIコーディングアシスタントを使用し、脆弱性を含むコードが生成される。開発者はレビューせずにそのコードをアプリケーションに組み込み、セキュリティホールを作ってしまう。

過剰な自律性

監督なしでエージェント型AIツールを使用する。重要なアクションに人間の関与を必須とする制御がない。シャドーAIとの連携における権限の定義が不十分、または広すぎる。

あるチームが、承認されていない自律型AIエージェントを在庫管理に試験導入する。設定ミスやロジックの不備により、エージェントが誤った大量の注文を仕入先に自動で発注してしまう。

システムプロンプトの漏えい

プロンプトインジェクションによってプロンプトが抽出される可能性のあるモデルと直接やり取りする。システム指示とユーザーの入出力を分離する制御がない。機密情報がプロンプトに直接埋め込まれている。

攻撃者がシャドーAIツールにプロンプトインジェクションを仕掛け、システムプロンプトを明かすよう誘導する。そのプロンプトには、社内連携用の機密フィルタリング条件やAPIキーが含まれている。

ベクトルと埋め込みの脆弱性

社内データに接続する、審査されていないRAGシステムを使用する。シャドープロジェクトの埋め込みを安全でない方法で保存する。シャドーのベクトルデータベースにアクセス制御がない。取得データの検証を行わない。

シャドーRAGシステムが、公開LLMをセキュリティ対策のない社内ドキュメントリポジトリに接続する。攻撃者は埋め込みの脆弱性を悪用して、埋め込み反転によって機密情報を抽出したり、ポイズニングされたデータで検索結果を操作したりする。

誤情報

批判的な評価やファクトチェックを行わず、審査されていないシャドーAIツールに過度に依存する。AIの限界やハルシネーションのリスクに関する認識・トレーニングが不足している。人間による監督がない。

若手アナリストがシャドーAIツールで複雑な財務レポートを作成し、十分な検証をせずに提出する。AIが重要な数値を幻覚していたことに気づかず、戦略的な意思決定を誤らせてしまう。

無制限のリソース消費

シャドーAIツールやAPIの利用状況が監視されていない。シャドー環境や外部ツールの利用に、レート制限、入力検証、リソース制御がない。リソースを大量に消費するタスクに、個人用または管理されていないアカウントを使用する。

従業員がシャドーAIモデルを試しているうちに、意図せず（または悪意を持って）複雑な計算を引き起こす入力を与えてしまう。その結果、後に会社へ経費請求される個人アカウントでクラウドリソースが過剰に消費されたり、共有リソースが停止したりする。