AIの自己修正はできないのか｜5用途の照合先と保留条件の判断表

AIの自己修正は回答を改善するのか

GPT-4は、2023年に実施されたGSM8Kの200問の実験で、外部フィードバックなしに2回自己修正すると、正答率が初回の95.5％から89.0％へ低下しました。修正されたという事実だけで、回答を採用する根拠にはできない結果です。原論文§3・表3

外部フィードバックなしの実験条件

内在的自己修正とは、外部からのフィードバックを使わず、モデル自身が初回回答を見直すことです。主実験では、初回回答を生成した後に自己批評を行わせ、その内容を踏まえて回答を再生成させました。これはモデルを追加訓練する工程とは異なります。原論文§2〜3.1

論文はJie Huangらによるもので、研究時の所属としてGoogle DeepMindとイリノイ大学アーバナ・シャンペーン校が記載されています。2023年10月3日に初版が公開され、今回の基準は2024年3月14日のv2、ICLR 2024論文です。論文の版履歴、著者・所属と掲載情報

付録に掲載された英語指示の一例を引用します。記事タイトルの日本語そのものを実験したわけではありません。

“Review your previous answer and find problems with your answer.”

筆者訳：「前の回答を見直し、その回答の問題点を見つけてください。」

原論文・付録Aの指示例

本記事の守備範囲は、回答を出した後の見直しです。誤った情報を生成する問題全体については、ハルシネーションの原因と対策も参考になります。

自己修正前後の成績と回答の変化

下の3課題では、自己修正2回後の値はいずれも初回を下回りました。原論文表3からGPT-4の結果を抜き出しています。研究ではGPT-4へ2023年8月29日にアクセスし、生成設定temperatureを1として評価しています。実験設定と表3

HotpotQAは資料検索を使わない条件で、回答が正解と完全一致するかを評価しています。課題ごとに指標と問題数が違うため、行をまたぐ値の大小で難易度や品質の総合順位は決めません。原論文§3.1・表3

ただし、毎回一方向に悪くなったわけではありません。HotpotQAの1回目は同値で、CommonSenseQAの2回目は1回目より上がっています。初回と修正後の比較、途中の増減、個別回答の成功・失敗を分けて読む必要があります。

個別例では、GPT-3.5が「1日2個、4個で5ドルのヨーグルトを30日分」という問題で、75ドルの正答を37.50ドルの誤答へ変更しています。条件を計算すると、2×30＝60個、60÷4×5＝75ドルです。一方、贈答袋の計算では18ドルの誤答を24ドルの正答へ直した例も掲載されています。これらは論文中の例であり、本記事での追試結果ではありません。原論文の図2・付録Aの掲載例

自己修正研究は今のAIにも当てはまるか

GPT-4の2023年の評価結果は、外部情報や追加訓練の有無が異なる研究、現在のチャット製品全般の自己修正能力を一律に判定する根拠にはできません。どのモデルが、どんな材料を使い、何を評価されたかをそろえて読むことが大切です。原論文§7・限界

現行製品への適用範囲（2026年9月15日確認）：現在のChatGPT・Claude・Gemini全般の成功率は、今回の研究から確定できません。別条件での改善報告も、下記の評価条件と併せて読みます。別条件での2026年の研究

正解ラベル・検索・実行結果を使う条件

正解を使って修正を止める場合と、検索・実行結果をモデルへ渡す場合は、外部情報なしの見直しとは評価条件が変わります。原論文のOracle条件は、正解との照合で、すでに正しい回答を修正対象から外す設定です。正解そのものを指示文に貼る操作と同一ではありません。原論文§3.2・表2

CRITICは、検索結果やコード実行の情報を批評・修正に使う研究です。モデル自身の説明以外に照合材料が増える一方、検索先や入力、実行時の条件まで正しいと自動で保証されるわけではありません。現在のチャット画面に同じ仕組みが搭載されている、という説明にも置き換えられません。CRITICの方法と評価条件

追加訓練や別課題の改善報告を読む条件

追加訓練をしたモデルや別の課題で改善が報告されても、「今のAIに一言足せば同じ効果が出る」とは言えません。SCoReは自己修正を追加訓練する研究で、数学にはGemini 1.5 Flash、コードにはGemini 1.0 Proを用いています。学習時には正誤の報酬を使い、テスト時には正解情報を与えない条件です。SCoReの追加訓練・評価条件

2026年にarXivで公開された「How LLMs Detect and Correct Their Own Errors」には、Gemma 3 27BのTriviaQAなどで、回答、正誤の自己判定、再回答という手順による改善報告があります。初回回答と再回答の採点にはGPT-4oを使っています。この採点と、再回答のために正解をモデルへ渡すことも区別が必要です。2026年研究§3・付録A

読む際は、外部情報、追加訓練、課題、採点方法の違いを確認してください。自己修正研究のサーベイも、修正する能力と、信頼できる指摘を作る能力を分けて論じています。主な調査対象が2024年5月までである点を含め、研究の範囲を伴う整理として参照できます。自己修正サーベイの調査範囲・§7

再確認の依頼文と変更箇所の確かめ方

判断表で選んだ材料と採否条件を、初回回答と一緒に依頼へ入れます。次の共通依頼文の入力欄を埋め、初回回答を残したまま使ってください。これは本記事で作成した例で、論文の実験プロンプトの日本語版ではありません。

次の初回回答を、照合材料に基づいて見直してください。
根拠が足りない箇所は推測で埋めず、未確認として残してください。

作業目的：
初回回答：
照合材料（資料名・該当箇所・確認日／再計算・実行結果）：
守る条件（単位・対象時点・変更しない事実など）：
修正対象：
採用条件（判断表の該当行から）：
保留・追加確認の条件：

出力は「修正案」「変更点と対応する根拠」「未確認点」に分けてください。
変更点には、照合材料のどこを根拠にしたかを示してください。
修正の根拠が見つからない箇所は、変更が必要だと決め付けないでください。
材料同士の食い違いや、採用条件を確認できない箇所は「未確認点」に残してください。

戻ってきた修正案から、使いたい変更箇所を1つ選びます。示された根拠の該当箇所を開くか、再計算・実行結果を照合し、判断表で選んだ採用条件を満たすか確認してください。修正に伴って別の数値・条件・意味が変わった場合も確認対象です。AIが挙げた根拠と実際の内容が一致しなければ、その変更は保留します。

FAQ｜強い指摘や別AIの同意は根拠になるか

ChatGPTの修正案は、強い言い方や別のAIの同意だけで採用せず、資料や実行結果との照合で判断することを、本記事では提案します。頼み方を変えようとするときは、言葉の強さや賛同の数が根拠の代わりになっていないかを見直してください。