AIにおけるデータ品質：課題、導入、監査、ベストプラクティス

組織が業務の強化に予測型AIや生成AI（GenAI）を導入するなか、データ品質の重要性はかつてないほど高まっています。高品質で信頼できるデータは効果的なAIの基盤であり、学習やテストから推論、意思決定に至るまで、あらゆる処理を支えます。

これに対応するため、多くの組織がデータインフラを刷新しています。拡張性の高いクラウドプラットフォーム、リアルタイム分析、使いやすい開発者向けツールへの移行が進んでいます。PwCの調査によると、業績上位企業の72%がクラウドデータのモダナイゼーションを優先しており、その割合は同業他社（33%）の2倍を超えています。

AIにおいてデータ品質が重要な理由

AIモデルの性能は、学習に使うデータの質に左右されます。不正確または不完全なデータセットは、バイアスを生み、モデルの精度を下げ、ビジネスに損害を与える誤った洞察につながる可能性があります。

Fivetranの調査によると、データ品質の低さは誤った意思決定につながることが多く、組織の年間世界売上高の最大6%に相当する損失を招いています。

AIのために改善すべきデータ品質の要素

データのクリーニングと品質確保に加え、データの準備では、AIの技術的な目標と関連するビジネス成果をデータが支えられるようにすることが重要です。データエンジニアはここで重要な役割を担い、データ属性がモデルの性能に与える影響を理解したうえで、学習データセットをより広い目標に沿ったものにします。

データ品質の主な要素として、通常、次の項目が重視されます。

• 正確性：データの値は正しいでしょうか？誤ったラベルや不正確なデータは、モデルの性能をすぐに低下させる可能性があります。

• 完全性：必要なフィールドはすべて入力されているでしょうか？欠損値はモデルを混乱させ、結果の信頼性を損なう可能性があります。

• 一貫性：すべてのデータソースで形式やレコードが統一されているでしょうか？日付形式の違いや顧客レコードの重複などの不整合は、学習データに偏りをもたらし、後々問題を引き起こす可能性があります。

• 整合性：データ要素同士に論理的なつながりがあるでしょうか？データの整合性を確保することで、モデルはより一貫性があり信頼できる結論を導き出せます。

AIのデータ品質に関するよくある課題を回避する

AIにとってデータ品質は戦略的に重要ですが、VentureBeatによると、品質と精度は2021年以降9%低下しています。その理由は、最新のAIモデルがより複雑になり、より多くのデータを必要としていることです。より精緻で注釈が付与され、頻繁に更新される入力データが求められます。よくある課題は次のとおりです。

• データの誤りや不整合：手作業によるミス、形式の不一致、矛盾するレコードは、モデルの推論や学習の精度を損なう可能性があります。

• ラベル付けの不一致：データセットごとに注釈の付け方が異なると、モデルが混乱し、精度が低下するとともに、パフォーマンスの追跡が難しくなります。

• データのバイアス：偏りのあるデータや代表性に欠けるデータは、多くの場合、意図せずに混入し、不公平または信頼性の低い結果につながる可能性があります。

指標を活用してAIのデータ品質を向上させる

適切な指標を追跡することで、問題を早期に発見し、時間の経過に伴う進捗を測定できます。基準値を設定して変化を監視すれば、AIのより信頼できる基盤を構築できます。AIの品質を追跡する代表的な指標は次のとおりです。

• エラー率：データセット内に誤ったデータポイントがどれほどの頻度で含まれるかを測定します。エラー率が高いと、モデルが誤った判断を下し、効果が低下する可能性があります。

• 完全性スコア：すべての値が入力済みのフィールドの割合を評価します。データが欠損していると、モデルの精度や汎化性能が低下する可能性があります。

• データの鮮度：データがどれほど新しいかを評価します。不正検知、予測、パーソナライズなど、最新情報を必要とするモデルでは特に重要です。

• 一意性：特定のパターンを過剰に重視させ、バイアスを生むおそれのある重複レコードを検出します。

• 妥当性：データが想定された形式やルールに従っているかを追跡します。無効な値や範囲外の値は、学習エラーやモデルのクラッシュを引き起こす可能性があります。

大規模言語モデル（LLM）のデータ品質を改善・維持するうえで重要なのが、「Evals」と呼ばれる堅牢な評価手法です。Evalsでは、事実の正確性、一貫性、有害性、関連性など、さまざまな側面を検証してモデルの品質と精度を評価し、継続的な改善に必要なフィードバックを得られます。

強固なデータ品質プログラムを構築する

優れたデータ品質は偶然に実現するものではありません。綿密に計画された戦略と継続的な管理の成果です。データチームは、明確な基準を設け、リスクを継続的に監視することで、AIのより強固な基盤を構築できます。ベストプラクティスの例を紹介します。

• ポリシーの策定：関連性が高く、説明可能で、解釈しやすい高い整合性を備えたデータを作成するための基準を定めます。Data Foundationは、責任あるAIを支えるガバナンス原則に沿うことを推奨しています。

• モデルの監視：セキュリティツールや監視ツールを使い、通常と異なるデータパターンや、モデルの学習を操作するおそれがある潜在的なポイズニング攻撃などの異常を検知します。

• 問題の修正：深刻度（緊急、高、中、低）に基づいて問題の優先順位を付け、モデルの性能への影響を抑えるために早期に対処します。

AIのデータ品質を改善・維持するための手法

強固な戦略を整えても、高いデータ品質を維持するには、問題が大きくなる前に発見して修正する日々の取り組みが必要です。データセットをクリーンで信頼性の高い、AIに適した状態に保つため、チームは複数の手法を組み合わせることがよくあります。

• プロファイリング：データを分析し、パターンや外れ値、品質上の潜在的な問題を特定します。

• クリーニング：不正確または誤解を招くデータポイントを修正または削除します。

• エンリッチメント：外部情報やサードパーティの情報を加え、データセットの充実度と完全性を高めます。

• 標準化：データセット全体で形式や構造を統一します。

• 検証：データがあらかじめ設定したルールを満たしているか確認します（例：問題を早期に発見するため、データセットを学習用とテスト用に分割します）。

• ガバナンスの適用：コンプライアンス要件に対応しながら、データの所有者を定め、ポリシーを設定し、説明責任を強化します。

長期的な成功に向けた監査とモニタリング

データ品質の維持は、24時間365日続く継続的なプロセスです。継続的な監視と定期的な監査により、新たな問題を早期に発見し、AIシステムの安定したパフォーマンスを長期にわたって維持できます。長期的な成功に向けたベストプラクティスは次のとおりです。

• データソースと形式の評価：データパイプラインの信頼性を定期的に確認し、CSV、JSON、SQLなどのシステム間で一貫した形式が保たれていることを確認します。

• 品質指標に照らしたデータの測定：確立された指標を使い、フィールドの欠損、範囲外の値、予期しない異常などの問題を検知します。

• ガバナンスとツールの不足箇所の特定：ワークフローを監査し、データリネージ、アクセス制御、セキュリティなどの弱点を見つけます。

• 異常に対する自動アラートの実装：モデルのパフォーマンスを損なう可能性のある通常と異なるパターンや変化、データの欠損を自動で検知するシステムを設定します。

AI主導のデータ品質を支えるツール

大規模にデータ品質を向上させるには、問題を発見し、防止する適切なツールが必要です。データ、分析、AIのリーダーは、データの検証と監視を体系化するプラットフォームへの投資を通じて、こうした取り組みを推進します。例として、次のようなツールがあります。

• Great Expectations：データ品質チェックの構築と検証に使えるオープンソースのフレームワークです。

• Soda：リアルタイム監視と自動テストにより、データの問題を早期に検知します。

• Monte Carlo：データのオブザーバビリティに重点を置き、下流システムに影響が及ぶ前に異常を検知します。

• Snyk：データ、コード、コンプライアンスに関わるセキュリティ上の問題を開発者が特定できるよう支援します。強固なデータガバナンス戦略に欠かせない要素です。

AIのデータ品質を改善するための実践的な計画

AIがソフトウェアシステムに深く組み込まれるにつれ、データ品質とアプリケーションセキュリティを別々の課題として扱うことはできません。一方のエラーが、もう一方に波及する可能性があります。そのため、リーダーは次の柱に基づく継続的な改善プログラムを優先しています。

• データの準備とクリーニング：学習を開始する前に、前処理パイプラインを使ってデータを標準化、拡充し、重複を排除します。

• データ品質の強化と変換：品質チェック機能を備えたETL/ELTツールを活用し、モデルのパフォーマンスに応じてチェック内容を継続的に見直します。

• ガバナンスと文化：従業員が品質に責任を持ち、明確な期待値を設定し、継続的なケアが必要なプロダクトとしてデータを扱う文化を育てます。

• 開発を支えるセキュリティツール：Snykのようなツールをチームに導入し、コード、オープンソースパッケージ、コンテナ、クラウドインフラに潜む脆弱性の検出と修正を支援します。これらはすべて、安全なAIシステムに欠かせない要素です。

データ品質を戦略的な優先事項にする

AIによって攻撃対象の範囲は広がりました。攻撃者が狙うのはアプリケーションだけではなく、その基盤となるデータやモデルそのものです。ソフトウェアのリリースが加速し、AI支援型コーディングツールの利用も拡大するなか、ミスが見逃される可能性も高まっています。

自動生成されたコードの40%が変更されずにコミットされ、その3分の1以上に既知の脆弱性が含まれています。攻撃者は、クロスサイトスクリプティングやSQLインジェクションなどの手口を使って、AI支援型の開発パイプラインをますます悪用しています。

こうした脅威に先手を打つには、セキュリティ、コンプライアンス、開発の各チームが連携する必要があります。Snykなどのツールを使ったプロアクティブなコードスキャンと修正といった、安全な開発プラクティスに投資することで、脆弱性がAIを活用したシステムに入り込むリスクを低減し、機密データを扱うアプリケーションの整合性を支えられます。Snykがスポンサーを務めるLinux FoundationのData & AIの取り組みなども、AIデータに関する課題への対応と、AIおよびデータ分野のオープンソースイノベーションを促進する、コミュニティ主導の環境づくりを推進しています。

SnykでAIのデータ品質を確保する

信頼できるAIは、優れたデータと、小さな問題が大きな問題になる前に検知するシステムから始まります。分析、自動化、顧客向けツールでAIへの依存が高まるなか、ライフサイクルのあらゆる段階でデータ品質を維持することは、極めて重要です。

Snykは、データを処理し、データとやり取りするコードを保護することで、開発者の取り組みを支援します。Snyk Codeを使えば、手書きのコードとAI生成コードの両方をスキャンし、脆弱性を検出できます。Snyk CodeはSnyk Agent Fixを搭載しており、IDE内で安全かつすぐに実行できる修正案を提示します。

AIデータセキュリティのベストプラクティスをさらに見る。