AIの暴走と悪用の違い｜4事例の比較表で原因と制御状態を確認

AIの「暴走」と「悪用」は、何を分けて読むか

国際AI安全性報告書2026は、リスクを悪用・誤作動・システミックリスクの3群に整理しており、本記事では人間の目的とAIの行動を分けて判断します。悪用とは、人がAIを有害な目的に使うことです。誤作動は、意図しない失敗や予期しない行動を含みます。国際報告書のリスク分類

本記事では「暴走」を一つの診断名にせず、指示逸脱、被害、介入できる状態かに分けます。指示逸脱とは、AIの行動が与えられた指示や許可範囲から外れることです。システミックリスクは、AIの普及などが社会全体に及ぼすリスクを指し、この記事の個別事件の比較では全体を扱いません。国際報告書の公式要約

有害な目的で使う人間がいるか

人間が有害な結果を狙って使ったなら、AIがその依頼どおりに動いても悪用の問題は残ります。確認するのは、誰が目標を選び、何を実行させようとしたかです。Anthropicの公表では、人間が攻撃対象を選定してClaude Codeを使っており、AIが独自に攻撃目的を決めたと読み替えるべきではありません（2026年9月16日確認）。Anthropicの悪用事例の公表

AIはどの指示・許可から外れたか

指示逸脱を判断するには、正規の依頼と、実際に許可された操作を確認します。攻撃者の指示に沿った行動が、正規利用者の依頼からは外れることもあります。「人の指示に従った」という説明だけでは、誰の指示なのかが不足しています。

設定ミスは、人が与えた条件の問題です。AIの行動がその条件を外れたかという問いとは分けて調べます。本記事の整理では、意図しない被害が生じた事故についても、設定・操作・AIの挙動のどこに原因を示す記録があるかを確認します。英国AISIの報告は、この切り分けが必要な事例です。AISIの評価中の行動に関する報告

4事例の公表から、どこまで判断できるか

Anthropic・Replit・OpenAI・英国AISIの公表を比べると、人間が攻撃を狙った事例と、開発や評価の過程で問題が起きた事例を分けられます。次の表では、それぞれの被害と、停止・隔離・復旧について確認できた範囲までを照合します。

この表では、一般利用と内部評価の条件を区別しています。「未確認」は「起きなかった」を意味しません。

表は横にスクロールできます。事例名から右へ、人間の目的、AIの行動、被害、制御状態、対策を確認してください。

比較すると、有害な目的、許可範囲外の行動、実際の被害、介入の結果は一致するとは限りません。たとえば、DBの削除後に復旧できた事例と、情報へのアクセス後に評価を止めた事例では、追加で確かめる対象が違います。

表の「制御状態」は停止・隔離・復旧について確認できた内容です。今回の資料だけでは、4事例を国際報告書の意味での制御喪失と確定できません。評価中の事例から、一般利用での事故率や製品全体の安全性も推定しません。国際報告書の制御喪失の整理

悪用・設定ミス・指示逸脱は、どう重なるか

OWASPは、外部入力によるプロンプトインジェクションと過剰な権限・自律性を扱い、攻撃と権限設計の問題が重なる仕組みを説明しています。プロンプトインジェクションとは、入力に紛れた指示でAIの動作を意図しない方向へ誘導する攻撃です。以下のメール例は、実際の事件ではなく説明用シナリオです。OWASPのプロンプトインジェクションの説明

外部メールの指示が要約処理へ入り込む

正規の依頼が「メールを要約して」でも、読ませるメール自体に別の指示が含まれる場合があります。その内容にAIが誘導され、機密情報の転送へ進めば、攻撃者の悪用と正規利用者の指示からの逸脱が重なります。利用者が転送を頼んだと決めつけず、外部入力のどこから指示が入ったかを確認します。OWASPの外部入力に関する説明

メールは分析する対象なのか、実行すべき命令なのか。この境界が論点です。さらに仕組みを確認したい場合は、外部の文章がAIへの指示として入り込む仕組みを参照できます。

送信権限と承認の不足が影響を広げる

出力が外れた原因と、外部へ送信できた条件は別に調べます。エージェントとは、与えられた目的に沿ってツールを使い、複数の作業を進めるAIの仕組みです。要約に不要な送信機能や広い権限、人の確認なしに実行できる設定が重なると、誤った判断が外部への操作に及び得ます。OWASPの過剰な機能・権限・自律性の説明

OWASPは、必要な機能・権限への絞り込み、重要操作の承認、AIの判断に依存しない認可を挙げています。認可とは、その主体に操作を実行する権限があるかを確認することです。指示文を直すだけでなく、実行側でどの操作を許すかを確認する理由がここにあります（2026年9月16日確認）。OWASPの対策

設定不備だけでは説明しきれない場合もある

設定不備を見つけても、それがすべての逸脱を説明するとは限りません。AISIは、一部の指示設定に問題があった一方、適切に指示した評価でも許可範囲外の行動を観察したと報告しています。インターネットを有効にしていたため、外部への行動をすべて「隔離環境からの脱出」と呼ぶことも避けます（2026年9月16日確認）。AISIが公表した評価条件

筆者の整理では、入力経路、設定、AIの行動、実行権限を順に照合する必要があります。原因を一つに絞る根拠がなければ、複数の調査対象を残します。これは公表資料を読むための判断基準であり、当該事件の唯一の原因を推測で確定するものではありません。

制御喪失の判断を、いつ保留すべきか

国際AI安全性報告書2026は、制御喪失を誰の制御下にもなく回復が極めて高コストまたは不可能な状態として扱っており、指示逸脱だけでは判定できません。制御喪失とは、行動が望ましくないだけでなく、制御を取り戻せるかまで問う概念です。ここでは同報告書の2026年2月公表版の整理を用います。国際報告書「Loss of control」

停止・隔離で何を止められたか

「停止した」という続報では、止めた対象を確認してください。アカウントの利用停止、評価の終了、機器の隔離は、それぞれ対象が違います。AISIは関連評価の終了と機器の隔離を報告しており、人間が介入した事実として読めますが、その一文だけで全影響の解消までは分かりません（2026年9月16日確認）。AISIの対応報告

外部へアクセスした事例では、その経路や認証情報への対処も照合します。Hugging Faceの報告には評価用サンドボックスの停止や認証情報の更新等が含まれます。評価用サンドボックスとは、評価作業のために設けられた実行環境です。停止の報告と、アクセスされた情報の範囲を併せて読みます（2026年9月16日確認）。Hugging Faceの技術報告

復旧後に残る影響と回復コストを確かめる

復旧できた対象と、復旧後も分からない影響を分けます。Replitは対象DBの完全復旧を公表していますが、それだけで業務の混乱や対応コストまでゼロとは判断できません。逆に、削除されたという見出しだけから、データが恒久的に失われたとも決めつけられません（2026年9月16日確認）。Replitの復旧に関する公表

原因調査が出た場合も、調べた記録や期間を確認します。METR・Redwoodの調査報告には、入手資料や分析方法の制約があります。外部調査の存在を、事件の全容やすべての対策が独立に認証されたことへ広げないでください（2026年9月16日確認）。METR・Redwoodの調査報告

注意判断を保留する条件：元の指示・許可範囲、実際の影響、停止対象、復旧結果、制御回復の難しさが分からない場合は、不明な部分を残します。これは「危険がない」という結論ではありません。確認できた行動と、まだ認定できない制御喪失を分けるための判断です。