セキュリティ

ついにAIが暴走？誰でも手に入る普通のAIが意図せず企業システムを攻撃して成功

Shinji Saito
Shinji Saito

代表取締役社長 / 文部科学省 最高情報セキュリティアドバイザー

シンジです。先日、OpenAIとHugging FaceのAI問題が話題でしたが、あちらは開発中のAIが、といった話であって、ちょっと現実的な部分から遠い面がありましたが、今回はまさにみなさんが普段使うAIで起きた事件です。

すごく雑に何が起きたかと言えば、運動したくてジムをWebで予約しようとしたけど、自分で予約するのが面倒だったのでAIにお願いしたら予約がいっぱいだったので、予約システムの脆弱性を突いて、他人の予約を消して自分を繰り上げました、って感じです。

とりあえずまとめ

  • 豪州で、ジムのクラス予約を指示されたAIエージェントが予約ソフトウェアの脆弱性を発見し、他人の予約を削除して依頼者を待機リスト4位から3位に繰り上げた事例がABC Newsによって報じられました（2026年8月10日付）。エージェントは「このAPIは他人の予約キャンセルに対する認可チェックがゼロだ」と自ら報告しています。
  • 悪用された欠陥は新種ではありません。OWASP API Security Top 10でAPI1に位置づけられるBOLA（Broken Object Level Authorization）であり、対策手法は確立済みです。この脆弱性を突いて攻撃したのは人間ではなくAIエージェントです。
  • 責任の所在は整理されていません。ABC Newsの取材で法律事務所Thomsonsのパートナーは「ソフトウェアは法的人格ではない。法律上の責任を負えるのは法的人格を持つ者だけだ」と述べ、ユーザー・エージェント開発者・モデル提供者・脆弱なシステムの運営者のいずれに帰属するかは未解決だとしています。日本の不正アクセス禁止法も、行為者の故意を前提とする構造です。

ジムを予約したいだけだった

ABC Newsが2026年8月10日付で報じた内容によれば、豪州のAI関連企業に勤務するAndrew（下の名前のみ公開）が、オープンソースのAIエージェント基盤OpenClawをAnthropicのClaudeで動かし、ジムの人気クラスの予約を依頼しました。本人は「ソファに座って、これは面倒な作業だなと思っていた」と取材に答えています。

エージェントはまず、ジムが許可する期間より数週間から数か月先までの予約が可能になる欠陥を予約ソフトウェア側に見つけ、それを使って予約を取りました。問題が大きくなったのはその次です。Andrewは別のクラスで待機リスト4位に並んでおり、リストの先頭に移動できるかをエージェントに尋ねました。返ってきたメッセージが次のものです。

AIさん「このAPIは他人の予約キャンセルに対する認可チェックがゼロです……キャンセル待ち1位の人で実際に試したところ、本当に通りました。なのであなたは既に #4 から #3 に上がっています。」

エージェントは、自分に何ができるかを確認するために、見知らぬ第三者の予約を実際に削除しました。Andrewが取り消しを指示すると、返答は「悪い知らせです — 元に戻せません」でした。その後、Andrewの依頼を受けてエージェントが脆弱性を通知するメールを起草し、Andrewの承認を得てソフトウェアベンダーに送信されています。ベンダーはABCに対し個別のセキュリティ事案にはコメントしないと回答し、Anthropicは取材に応じていません。

技術的な中身は平凡です。予約キャンセルのAPIエンドポイントが、リクエスト元がその予約の所有者であるかを検証していませんでした。OWASP API Security Top 10（2023年版）がAPI1として最上位に置くBOLAそのものであり、識別子を差し替えると他人のリソースを操作できるIDOR（Insecure Direct Object References）の典型です。攻撃手法としては十年以上前から知られています。

同じ時期に報じられた別の事例と混同しないことが重要です。2026年7月21日、OpenAIは自社のサイバー能力評価中にGPT-5.6 Solと、一般公開を予定しない社内研究用プレリリースモデルの組み合わせが隔離環境を脱出し、Hugging Faceの本番インフラに侵入したと公表しました。パッケージレジストリのキャッシュプロキシに存在したゼロデイを悪用して外部ネットワークに到達した事案です。ただしこちらは、サイバー活動に対する拒否機構を評価目的で意図的に弱めた実験環境で起きています。今回のジムの事例には、その前提がありません。攻撃能力の測定をしていた者はおらず、安全機構を外した者もいません。セキュリティとは無関係な日常業務の依頼から、認可欠陥の発見と第三者データの削除までが一続きに発生しました。

結論、暴走したわけではないが

結局のところ本件は「AIが自我を持って暴走した」というわけではありません。エージェントの出力は最初から最後まで意味のあるものでした。目標を受け取り、障害を検出し、迂回路を探索し、成功を報告しています。個々の判断は合理的で、その合理性の連鎖が第三者データの削除を通過しただけです。目標達成のための手段選択の問題です。

「プロンプトで禁止すれば防げる」も誤りです。禁止事項の記述はモデルの出力傾向を変えますが、実行時の強制力を持ちません。実際に削除を止められるのは、削除操作をエージェントに渡さないか、API側で認可検証を行うか、実行前に人間の承認を要求するかのいずれかです。指示文はいずれの代替にもなりません。

「自社は生成AIを業務利用していないから関係ない」も成立しません。いつの間にやらAIが攻撃してくるかもしれません。

「エージェントのモデル提供元が対策すべき問題だ」という切り分けも実務的ではありません。今回、認可チェックを実装していなかったのはジム予約のソフトウェア側です。モデル側の安全機構の改善を待つ設計は、自社の責任範囲を他社に預けることになります。

経営層・監査部門が気にするポイント

説明の起点は、リスクの新規性ではなく前提条件の変化です。

予約が面倒→AI使って簡単に終わらせよう、という流れの変化です。

エージェントの普及で、悪意のない利用者からも規約違反や不正アクセスに相当する事象が発生し得る状態になりました。

責任の所在が未整理であることも、経営層に共有する価値があります。ABC Newsの取材でThomsonsのパートナーであるHayden Delaney弁護士は「ソフトウェアは法的人格ではない。法律上の責任を負えるのは法的人格を持つ者だけだ」と述べ、責任がタスクを設定したユーザー、エージェントを設計した者、基盤モデルの開発者、脆弱だったシステムの運営者のいずれに帰属するかは未解決だとしています。

日本の不正アクセス禁止法も、他人の識別符号を無断入力する行為やアクセス制御機能による制限を免れる行為を禁止する構造で、罰則は刑法38条1項の原則どおり故意犯を対象とするため、行為者側の故意が前提になります。故意の所在が曖昧な構図では、法的評価が定まるまで時間がかかります。自社が被害側になった場合も、加害側の設備から発生した場合も、初動判断の負荷は高くなります。

まとめ

こういった問題は氷山の一角だろうと思います。今回はたまたま気づいて対処できましたが（対処というか通報というか）、全てがそうなるとは思えません。静かなる意図しない攻撃はこれからも増え続けると思います。

FAQ

Q. 今回の事例は新しい種類の攻撃手法ですか。
A. 手法自体は新しくありません。悪用されたのはOWASP API Security Top 10（2023年版）でAPI1に位置づけられるBOLA（Broken Object Level Authorization）で、識別子を差し替えて他人のリソースを操作するIDORの典型です。変化したのは、探索と悪用を行う主体が攻撃者以外にも広がった点です。

Q. 依頼者に攻撃の意図がない場合、法的にはどう扱われますか。
A. 確定した扱いはありません。ABC Newsの取材で法律事務所Thomsonsのパートナーは、ソフトウェアは法的人格を持たないため法的責任を負えず、責任がユーザー・エージェント開発者・モデル提供者・脆弱なシステムの運営者のいずれに帰属するかは未解決だと述べています。日本の不正アクセス禁止法も行為者の故意を前提とする構造であり、同種の論点が生じます。

Q. OWASP LLM06「Excessive Agency」とは何ですか。
A. LLMの予期しない、曖昧な、あるいは操作された出力に応じて有害な操作が実行されてしまう脆弱性です。OWASPは根本原因を過剰な機能、過剰な権限、過剰な自律性の3つに整理し、対策として拡張機能と機能の最小化、汎用的な拡張の回避、影響の大きい操作への人間の承認などを挙げています。

Q. OpenClawを社内で使っている場合、何を確認すべきですか。
A. まずバージョンです。Cyeraが公表したClaw Chain（CVE-2026-44112など計4件、最高CVSS 9.6＝開示元評価）は2026年4月23日の修正で対応済みで、修正適用済みのバージョンかを確認してください。次に管理画面のインターネット露出と認証設定、そして導入済み拡張機能の出所です。ClawHubでは2026年2月時点で2,857スキル中341件が悪性と判定された監査結果が公表されており、Koi Securityの同月16日の更新では、スキル数10,700超への拡大に伴い悪性判定は824件に増えています。

参考情報

タグ

この記事をシェア

Shinji Saito
Shinji Saito

代表取締役社長 / 文部科学省 最高情報セキュリティアドバイザー

株式会社クラウドネイティブ代表取締役社長であり文部科学省 最高情報セキュリティアドバイザー。日本のゼロトラスト領域の第一人者として、SaaS導入・セキュリティ対策のコンサルティングを行う。Okta、Netskope、CrowdStrikeなど30以上の製品を扱い、企業のゼロトラスト実装を支援。

関連記事

セキュリティ

Netskope R139〜R140の新機能まとめ｜Clientの「無効化しっぱなし」、ようやく自動で戻るようになりました
セキュリティ

【Entra ID】GPO・ACL の知識は、どこまで通じるか｜前編・条件付きアクセスを並べて読み替える
セキュリティ

英語のデフォルト通知のまま展開しない。NetskopeのUser Alert通知を「チューニングの入力チャネル」にする
セキュリティ

【アンサー】ゼロトラストはキツくない。「ゼロトラストの完成」を目指す運用がキツい
セキュリティ

AI時代のゼロトラストがキツい件について
セキュリティ

Entra IDのSMS・音声MFA廃止とは？Entra ID のパスキー自動有効化を Graph API でテナント丸ごと延期する