見過ごせないAIセキュリティリスク12選

生成AIは、OpenAIがChatGPTを一般公開した2022～2023年に広く普及しました。それ以来、AIはさまざまな業界で導入され、親父ギャグの生成からプログラミング言語間のコード変換まで、幅広い用途に使われています。

AIは時間の節約、コスト削減、イノベーションに大きなメリットをもたらす一方、新たなセキュリティリスクも生み出します。企業が問うべきなのは、AIがITエコシステムに脆弱性をもたらすかどうかではなく、「いつ」「どこで」「どのような脆弱性を」もたらすかです。多くの場合、大規模言語モデル（LLM）の学習に使われるデータや、その実装に対する監視と管理が不十分です。

しかし、打つ手がないわけではありません。AIセキュリティリスクの種類、データセットに含まれる脆弱性やバイアス、問題を軽減するためのベストプラクティスを理解することで、ビジネスへの脅威を大幅に減らせます。

AIセキュリティリスク12選

AIを活用してビジネスのスピードと効率を高めているのは、私たちだけではありません。脅威アクターも同様です。AIを利用した脅威は多様化・高度化し、これまでにない規模で発生する可能性があります。ビジネスを守るには、まずAIセキュリティリスクの種類を知る必要があります。

#1 敵対的攻撃

敵対的攻撃とは、脅威アクターが入力を操作し、AIシステムに誤った解釈や分類をさせる攻撃です。こうした微妙な変更は、人間には気づかれないことも多く、AIモデルを欺いて誤った出力や有害な出力を生成させる可能性があります。たとえば、画像にノイズを加えることで、顔認識システムに人物を誤認させることができます。

#2 データポイズニング

データポイズニングとは、脅威アクターがユーザーデータ、オープンソースのデータセット、機械学習の研究などを通じて、AIモデルの構築に使われる学習データを汚染し、モデルの将来の出力を改変する攻撃です。

#3 推論攻撃

推論攻撃では、巧妙なプロンプトを使って、個人やデータセットに関する機密情報を推測します。個人の非公開属性を特定したり、学習データの統計的特徴をリバースエンジニアリングしたりすることが含まれます。

#4 モデル反転攻撃

モデル反転攻撃では、モデルの出力を分析して機密データを再構築します。十分な回数のクエリを送ることで、攻撃者は学習データに含まれる個人の特徴的なサンプルを抽出できる可能性があります。そこには、非公開の属性や個人を特定できる属性が含まれることもあります。

#5 モデルの窃取

AIモデルは、学習データと同じくらい、あるいはそれ以上に価値がある場合があります。モデル窃取攻撃では、悪意ある攻撃者が独自のコードリポジトリをハッキングしたり、体系的にクエリを送ってモデルをリバースエンジニアリングしたりして、知的財産（IP）を盗もうとします。

#6 説明可能性の欠如

AIモデルは、複雑な処理や意思決定の仕組みを持つことが多く、その内容を理解するのは困難です。説明可能性が欠如していると、モデルの出力に至った論理をたどり、その正確性を検証するのが難しくなります。

#7 シャドーAI

シャドーAIとは、IT部門の監督なしに従業員や部署が導入する、AIを活用したツールを指します。従業員は知見を得たり、単純作業を自動化したりしようとする一方で、気づかないうちにセキュリティ管理を回避し、機密データを漏えいさせるおそれがあります。

#8 サプライチェーンリスク

AIに関連するリスクは、サードパーティのサプライチェーン全体にも広がっています。利用しているベンダーのAIモデルに、ここで紹介するリスクが一つでもあれば、その悪影響が自社に及ぶ可能性があります。

#9 ディープフェイクとAIを利用したソーシャルエンジニアリング

脅威アクターは生成AIを使って、説得力のあるディープフェイクや音声クローン、架空の人物像を作り出し、被害者を操ることができます。AIを利用したフィッシング手法と組み合わせることで、ソーシャルエンジニアリング攻撃の規模と巧妙さは大幅に増しています。

#10 データ漏えい

データ漏えいは、モデルの出力、動作、API、ログを通じて機密データが意図せず公開されることでよく発生します。こうした漏えいは、学習、デプロイ、利用のいずれの段階でも起こり得るため、脅威アクターに狙われやすいリスクです。

#11 プライバシー侵害

AIモデルが適切なセキュリティ対策を講じずに機密データを収集、処理、保存、分析すると、プライバシー侵害につながる可能性があります。上記のリスクの多くは、業界標準や規制に定められたプライバシー侵害に該当するおそれがあります。

#12 コードの脆弱性

ソフトウェアやアプリケーションの開発において、AIは開発を加速し、脆弱性を特定して、セキュリティに関する提案を行えます。しかし、AIが生成したコードには、オープンソースコード由来の共通脆弱性タイプ（CWE）が含まれる可能性があります。また、AIモデルは文脈や相互依存関係を十分に考慮できず、エラーやセキュリティ上の脆弱性を招くことがあります。

AIシステムの課題

生成AIツールは高い能力を備えている一方、万能ではありません。開発に携わった人々やデータが持つ前提、欠落、バイアスが反映されます。

たとえば、AIのハルシネーションとは、モデルが学習データに明示的に含まれていない情報やデータを生成する現象で、よく知られた問題です。AIモデルは、学習データに答えがあるかどうかにかかわらず回答を出すように設計されているため、不正確または誤解を招く情報を生成することがあります。前述の「説明可能性の欠如」によって、この問題はさらに深刻になります。モデルが結論に至った過程をたどるのはほぼ不可能で、出力の検証も困難です。

AIを使って住宅ローンの承認を自動化している金融機関を考えてみましょう。審査に落ちた顧客から異議申し立ての電話があっても、スタッフには却下の理由を説明したり正当化したりする手段がほとんどありません。この判断によって顧客が新居を購入できなくなり、ほかの金融機関に融資を求める可能性もあります。

AIに関するプライバシー上の懸念

プライバシー上の懸念とAIセキュリティリスクは密接に関係しています。AIモデルは、個人の機密データ、独自データ、知的財産（IP）、管理されていないオープンソースデータなどを含む膨大なデータセットで学習します。データの収集方法、用途、保管方法は、いずれもプライバシーに影響します。

モデル反転やモデル窃取などの悪意ある攻撃に加え、シャドーAIも重大なプライバシー上の懸念を引き起こします。調査によると、従業員の15%が会社のデータをChatGPTに貼り付けており、その4分の1は機密情報に分類されています。

AIモデルが意図せず個人のユーザーデータを収集し、それがLLMに取り込まれたり、安全でない場所に保存されたりすることもあります。また、ある目的でのデータ共有に同意したユーザーのデータを、AIモデルの所有者が別の用途に転用した場合、ユーザーのプライバシーを侵害する可能性があります。

バイアスと倫理的な考慮事項

AIモデルの本質は、パターン認識と予測のツールです。そのため、学習データの品質が出力に大きな影響を与えます。たとえば、ニューイングランドの降雨パターンで学習したAIツールは、アリゾナ州の農家が作付け計画を最適化するのにはあまり役立たないでしょう。

しかし、学習データが及ぼす影響は、出力の実用性にとどまりません。データが誰を代表しているのか、どのように収集されたのか、いつ収集されたのか、そして各データポイントにどのような値が割り当てられたのかによって、LLMの予測に不公平な偏りが生じることがあります。残念ながら、私たちが生成するデータには、社会に存在するバイアスが反映されることがよくあります。たとえば、特定の疾患を診断するAIモデルが若い男性のデータだけで学習していた場合、女性や一定の年齢を超える患者の症状を認識できない可能性があります。

先ほどの住宅ローン審査ツールが、社会経済的な要因や法改正を考慮せず、過去の融資データで学習していたとしましょう。その場合、低所得地域と延滞率の高さを関連付ける可能性があります。その結果、信用スコアや負債資産比率にかかわらず、こうした地域の申込者を不当に却下するおそれがあります。

学習モデルを構築・利用する人々には、こうしたバイアスを認識し、可能な限り軽減する倫理的責任があります。

AIセキュリティ対策とベストプラクティス

AIがワークフローやインフラにさらに浸透するにつれ、企業は関連するリスクを積極的に軽減する必要があります。安全でレジリエント、かつ公平なAI導入を実現するには、次の取り組みが求められます。

1. データセキュリティとリスク管理：不正アクセス、改ざん、利用を防ぐセキュリティ制御を導入し、学習データと入力データの完全性および機密性を確保します。可能な限りデータの保持期間を制限し、露出リスクを最小限に抑えましょう。

2. 暗号化とアクセス制御：企業データにアクセスするほかのアプリやツールと同様に、AIの学習データ、LLM、出力にもID・アクセス制御と暗号化を適用します。

3. AIガバナンスとコンプライアンス：AI関連リスクを管理する規制や業界標準の進化に合わせて、企業はAIの利用を全社的なセキュリティフレームワーク、ポリシー、報告体制に組み込む必要があります。

4. AI倫理とガバナンス：企業はデータのバイアス、公平性、透明性、説明責任に関する方針を文書化し、組織全体でこれらの基準を徹底する仕組みも導入する必要があります。

5. コンプライアンスとセキュリティ監査：AIツールの利用状況やデータを体系的に評価し、社内セキュリティポリシー、関連規制、ベストプラクティスへの準拠を確認します。

6. インシデント対応戦略：データ侵害の影響を最小限に抑えるため、機密データを扱うプロセスとAI対応ツールの作成・利用に関するプロセスを、組織のインシデント対応戦略に組み込みます。迅速な対応を可能にする定期的な監視、侵害を封じ込める制御、復旧プロセス、インシデント後の分析も含まれます。

AIセキュリティリスクを特定、評価、管理する方法

AIの脅威検知とリスク管理は、潜在的な脅威の特定だけにとどまりません。AIの脅威データを状況に照らして分析し、影響範囲を明らかにして、修復の判断に役立てる必要があります。

前述の脆弱性やリスクがある一方で、AIを活用したツールは脅威検知やリスク評価において重要な役割を果たします。

• 脆弱性スキャンソリューションを導入し、よくある脆弱性を継続的に監視して、先手を打った修復につなげましょう。

• データ分類・ガバナンスシステムを構築し、特に各資産にアクセスできるユーザーやアプリケーションに注意を払いながら、最も機密性の高い資産を整理して把握できるようにします。

• リスクの発生可能性と潜在的な影響に基づいて、リスクをスコア化し優先順位を付けるフレームワークを整備し、より効果的な修復の優先順位付けを実現します。

• 企業が開発または利用するすべてのAIツールとデータセットを対象に、定期的なAIセキュリティ監査を実施し、それぞれのプラットフォーム特有の脆弱性を評価します。

• AIに関連するリスク、安全なAIの利用方法、新しいAI対応ソリューションを評価して社内ワークフローに導入するための適切な手順について、AIセキュリティの意識向上とトレーニングを組織に定着させます。

DevSecOpsでAIを活用する

現在、AIはソフトウェアおよびアプリケーション開発において重要な役割を果たしており、競争上の優位性をもたらす可能性がある一方で、セキュリティリスクも伴います。AIを活用したツールは、反復作業の自動化、コードスニペットの提案、脆弱性の継続的な監視、修正方法の推奨によって、ソフトウェア開発ライフサイクル（SDLC）を加速できます。

急速に変化するこの状況に対応するには、SDLCに新たに生じるリスクを管理できるよう、セキュリティも進化する必要があります。悪意ある改ざんや倫理面の懸念を避ける方法の一つは、独自のデータやコードを使用して、自社のLLMをプライベート環境でホストし、トレーニングすることです。ただし、これには多くのリソースと専門知識が必要になる場合があります。さらに、LLMが既存のコードベースにある脆弱性を増幅させるリスクもあります。

ソフトウェア開発者を支援するために設計されたAIセキュリティツールもあります。たとえば、静的アプリケーションセキュリティテスト（SAST）ツールは、開発者が脆弱なコードパターンをIDEにコピーした瞬間に検出します。

SnykでAIアプリケーションを保護 

テクノロジーと脅威の進化する速さに対応するため、AIを活用したセキュリティツールは、ITセキュリティチームや開発チームにとって不可欠になりつつあります。Snykは、開発者がAIによるコーディングおよびテストのソリューションを安全に導入できるよう支援します。

Snyk Codeは、コードをリアルタイムでスキャンして脆弱性を検出する、AIを活用したセキュリティツールです。2,500万件以上のデータフロー事例、19以上の対応プログラミング言語、複数のAIモデルを基盤とするセルフホスト型のDeepCode AIがSnyk Codeを支え、即座に修正方法を提案します。 

Snykが開発者をどのように支援するか、詳しくはこちら AI生成コードのセキュリティを確保しながら、生産性を高める方法をご紹介します。