LLM / RAG の業務利用とセキュリティ
生成 AI（LLM / RAG / AI エージェント）を業務利用する際のセキュリティリスクと対策を、OWASP LLM Top 10・OWASP Agentic AI Top 10・NIST AI RMF などの一次情報に沿って整理します。
最終更新:
定義
LLM / RAG の業務利用とセキュリティとは、生成 AI（大規模言語モデル）と RAG（Retrieval-Augmented Generation）を組織内の業務プロセスや顧客向けサービスに組み込む際に発生するセキュリティ リスク（プロンプト インジェクション、機密データの漏えい、不適切な権限委譲、シャドー AI、AI エージェントを起点とする非人間 ID の悪用など）と、それに対するガバナンス・ゼロトラスト適用・データ保護・モデル運用上の統制を体系的に扱う領域です。OWASP は「OWASP Top 10 for Large Language Model Applications」と「OWASP Top 10 for Agentic Applications」の 2 系統で代表的脅威を整理しており、NIST は「AI Risk Management Framework（NIST AI 100-1）」と「Generative AI Profile（NIST AI 600-1）」で組織的リスク管理プロセスを規定しています。
要点
- OWASP は LLM アプリケーション向けに「OWASP Top 10 for LLM Applications」を公開しており、最新版（2025 年版）の代表項目はプロンプト インジェクション、機密情報の開示、サプライ チェーン、データ・モデル ポイズニング、不適切な出力処理、過剰な権限付与、システム プロンプト漏えい、ベクトル・埋め込みの弱点、誤情報、無制限消費。
- OWASP は AI エージェント向けに別途「OWASP Top 10 for Agentic Applications」を公開しており、ツール乱用、目標操作、過剰な権限、メモリ汚染、サプライ チェーン リスクなど、自律的に振る舞うエージェント固有のリスクを整理している。
- NIST は「AI Risk Management Framework（NIST AI 100-1）」を公式に公開しており、Govern / Map / Measure / Manage の 4 機能で AI システムのライフサイクル全体を統制することを推奨。生成 AI に固有のリスクは付属の「Generative AI Profile（NIST AI 600-1）」に整理されている。
- シャドー AI（個人アカウントの ChatGPT などを業務で使う実態）は、SaaS 経由でのデータ漏えい・著作権・コンプライアンス上の主要リスクの 1 つであり、検出・統制の手段として CASB / SSE 系プラットフォームと DLP の組み合わせが各社公式に説明されている用途である。
- AI ゲートウェイ／ガードレール製品は、LLM 呼び出しの前段で「プロンプト検査」「PII / 機密情報のマスキング」「出力の毒性チェック」「ポリシーに反する出力の遮断」などを行う層で、Netskope GenAI Security / Lakera Guard / Robust Intelligence など複数ベンダーが製品提供している（機能範囲はベンダーにより異なるため、自社要件と一次資料で都度確認する必要がある）。
- AI エージェントや RAG パイプラインが用いる API トークン・サービス アカウントは「Non-Human Identity（NHI）」として整理する考え方が広がっている。NIST SP 800-207（Zero Trust Architecture）はサービス ID や自動化されたタスクも動的ポリシー評価の対象とすることを述べており、組織側で具体的な統制レベル（権限・寿命・ローテーション）を設計する必要がある。
- ゼロトラスト アーキテクチャの適用観点では、AI エージェント・LLM アプリも「リソースへのアクセスを試みる主体」として扱い、ID / デバイス / アプリ / データ / セッションすべての層でポリシー判定を行うこと、特権操作には PIM / 承認ワークフローを介すこと、が NIST SP 800-207 の原則と整合する。
AI セキュリティ系製品カテゴリの概観（各社公式ポジショニングに基づく整理）
| カテゴリ | 代表的な製品（公式に提供） | 各社公式に説明されている主用途 |
|---|---|---|
| SaaS 経由のシャドー AI 可視化・統制 | Netskope GenAI Security | CASB / SWG を起点に、従業員の生成 AI SaaS 利用を可視化し、DLP ポリシー（投入データの種類別の許可・遮断・コーチング）を適用する。 |
| LLM プロンプト／出力のガードレール | Lakera Guard | API ベースのガードレールとして、プロンプト インジェクション・PII 漏えい・有害コンテンツ・ジェイルブレイク等を検出してブロックする。 |
| AI モデル／パイプラインのレッド チーミング・継続的テスト | Robust Intelligence（Cisco AI Defense ファミリー） | AI モデルと AI アプリケーションに対する継続的なテスティング、ランタイム保護、AI Security Posture Management（AI-SPM）を提供する。 |
| クラウド／SaaS 横断の AI 利用ポスチャ管理 | Wiz AI-SPM | クラウド環境上の AI モデル・データセット・サービスを資産として棚卸しし、誤設定・露出・データ リネージを可視化する。 |
| CSP ネイティブの DLP / コンテンツ フィルタ | Microsoft Purview / AWS Bedrock Guardrails / Google Cloud Sensitive Data Protection | 各クラウド プロバイダが LLM 入出力に対する PII / 機密情報の検出・マスキング・ポリシー適用を CSP ネイティブで提供。 |
よくある質問
- プロンプト インジェクションとは何ですか？対策はありますか？
- OWASP Top 10 for LLM Applications では、プロンプト インジェクションを「攻撃者が入力を通じて LLM の振る舞いを意図しない方向に変える攻撃」と定義しています。直接的なもの（ユーザー入力にシステム指示を上書きする命令を埋め込む）と間接的なもの（LLM が取り込む外部コンテンツに指示を埋め込む）があり、対策として OWASP は (1) システム プロンプトと信頼できない入力の分離、(2) 出力に対する後処理と検証、(3) 重要操作の人間承認、(4) 最小権限の徹底、を挙げています。完全に防ぐ汎用手法は確立されていないため、「多層防御」と「人間の承認を介する」設計が公式の推奨です。
- シャドー AI を放置するとどんなリスクがありますか？
- 個人アカウントの ChatGPT / Claude / Gemini などを業務で使う「シャドー AI」を放置すると、(1) 機密情報・顧客情報がベンダー側に学習・保存される（プラン設定次第）リスク、(2) 著作権・契約上の責任が組織で取れなくなるリスク、(3) 監査ログが組織側に残らずインシデント対応ができないリスク、が発生します。各ベンダー（OpenAI / Anthropic / Google）公式の利用規約・データ取り扱いポリシーで「個人プラン」と「Enterprise / Business プラン」の扱いは明確に異なっており、組織として使うなら Enterprise プラン＋ SSO ＋監査ログ＋ DLP の構成が一次情報レベルで推奨されています。
- AI エージェントの権限はどう設計すべきですか？
- OWASP Top 10 for Agentic Applications は「過剰な権限（Excessive Agency）」を主要リスクの 1 つに位置付けており、エージェントには (1) タスクに必要な最小限の権限のみを与える、(2) 高影響な操作（書き込み・削除・送金など）は必ず人間承認を介する、(3) エージェントが使う API トークン／サービス アカウントを NHI として棚卸しし定期的にローテーションする、(4) すべての行動を監査ログに残し再現できるようにする、を推奨しています。NIST AI RMF の Manage 機能でも同様にライフサイクル統制が要求されています。
- RAG（Retrieval-Augmented Generation）固有のセキュリティ上の論点は何ですか？
- OWASP Top 10 for LLM Applications では、RAG 固有の論点として「ベクトル・埋め込みの弱点（Vector and Embedding Weaknesses）」が独立した項目として整理されています。具体的には (1) 機密ドキュメントが意図せず検索対象に取り込まれる、(2) 攻撃者が埋め込みに細工をして検索結果を操作する、(3) 検索でヒットしたドキュメントに間接プロンプト インジェクションが仕込まれる、などです。対策として OWASP は、取り込み元データに対するアクセス制御の徹底、検索結果のサニタイズ、機密情報のマスキング、利用者の権限に応じたフィルタリング、を挙げています。
- NIST AI RMF と OWASP LLM Top 10 はどう使い分けますか？
- NIST AI Risk Management Framework（NIST AI 100-1）は「組織が AI システムをどう統制するか」をプロセス面（Govern / Map / Measure / Manage）から規定するフレームワークで、経営層・リスク管理部門が AI リスクをガバナンスする際の共通言語として使われます。一方 OWASP Top 10 for LLM Applications は「LLM アプリの開発者・運用者が技術的に何を防ぐべきか」を脅威カテゴリ別に列挙した実装寄りのチェックリストです。両者は競合せず、NIST AI RMF の Measure / Manage を OWASP LLM Top 10 で具体化する、という併用が現実的です。