AIモデル崩壊とは｜Nature論文で分かる再入力と再学習の違い

AIモデル崩壊は、自分の使い方に当てはまる？

Shumailovらのモデル崩壊研究が扱うのは生成データを使う世代間の再学習であり、会話へAIの回答を貼り直す操作だけでは同じ条件に当たりません。Nature原論文／GPT-3論文の評価方法

会話への再入力とモデルの訓練を分ける

文章を入力に加えることと、モデルの内部パラメータを訓練で更新することは区別できます。パラメータとは、訓練で調整されるモデル内部の数値です。GPT-3論文では、文章で課題や例を与え、パラメータを更新せずに評価しています。NeurIPS掲載のGPT-3論文

たとえば、生成された下書きをチャットに貼り、「短くして」と頼むだけでは、次世代モデルを訓練した証拠にはなりません。これは研究条件を照合した判断で、回答の誤りや要約による情報の脱落まで否定するものではありません。用語をもう少し整理したい場合は、事前学習とファインチューニングの違いを整理する記事で補えます。

ChatGPTの学習利用は別の条件で確認する

ChatGPTでは、その場の回答生成とは別に、利用内容が後日のモデル改善へ使われる場合があります。OpenAIの公式ヘルプは、個人向けサービスについて学習利用を停止でき、停止後の新しい会話は訓練に使われないと説明しています（2026年9月26日確認）。OpenAIのデータ学習利用に関する説明

ただし、自発的に評価などのフィードバックを送った場合、学習利用を停止していても関連する会話全体が訓練に使われることがあります。ChatGPT Business・Enterprise・EduとAPIは、既定では入力・出力を訓練に使わないという別の扱いです（2026年9月26日確認）。これらの条件を他社サービスへ広げず、利用先の説明を確かめてください。OpenAIの個人向け・法人向け・APIの利用条件

学習利用をオフにすることと、履歴を削除することも別です。公式日本語ヘルプでは「データコントロール」や「すべての人のためにモデルを改善する」などの表記を確認できますが、本記事では実際の設定画面は確認していません（2026年9月26日確認）。特定の会話が、いつ、どのモデルの訓練に採用されたかも、閲覧した公式資料では確認できません。OpenAIのデータコントロールFAQ

モデル崩壊では、何がどの順に失われる？

ShumailovらのNature論文は、生成データを再学習へ回す過程で、元データの出現確率が低いパターンから失われ得るモデル崩壊を報告しています。問題は、単発の誤回答だけでなく、モデルが元のデータの多様な特徴を捉えにくくなることです。Nature原論文のモデル崩壊の定義

Nature公式の紹介投稿でも、研究の対象は「再帰的に生成されたデータでの訓練」と示されています。まず研究の対象を押さえ、次に何が失われるのかを見ていきます。

出現しにくいパターンが抜け落ちるとは

最初に失われ得るのは、元データでは少ない頻度で現れるパターンです。分布とは、どの特徴がどの程度の確率で現れるかという全体の傾向です。論文は、初期にはその低確率の領域が失われ、後期には元の分布から大きく離れ、出力のばらつきも小さくなる段階を区別しています。Nature原論文の初期・後期の区別

たとえば、生成された学習資料に、元の資料にあった少数のパターンが含まれない場合を考えると理解しやすくなります。以下はその関係だけを示す概念図で、毎回同じ量の情報が失われるという実測結果ではありません。

原因を「AIが間違った文章を書くから」だけに絞ると、研究の説明を取り落とします。論文では、有限のデータを取り出す際の偏り、モデルが表せる範囲の限界、学習手続きの近似による誤差を分けています。珍しい情報が正しいとは限らず、よく出る文章が残っていることだけでも元の分布を保てたとは言えません。Nature原論文の誤差の整理

OPT-125mの実験で「世代」が表すもの

この実験の「世代」は、生成したデータを次のモデルの訓練へ渡す段階を表します。Shumailovらは、Metaの言語モデルOPT-125mをWikiText-2でファインチューニングしました。ファインチューニングとは、学習済みモデルを追加のデータで調整する訓練です。Nature原論文の実験対象と方法

元データを後続の訓練に残さない条件は5エポック、毎世代ランダムに元データの10％を使う条件は10エポックで、両条件で劣化が報告されています。エポックとは、訓練データを一巡する単位です。学習回数も異なるため、結果の差を元データの有無だけの効果と読むことはできません。生成時の入力には元データのブロックも使われており、「原資料との接点をすべて断った実験」とする説明も不正確です。Nature原論文のデータと学習条件

原論文は2024年7月24日公開。掲載時の著者所属は英国のOxford・Cambridge・Imperial College London・Edinburgh、カナダのToronto・Vector Instituteです。2025年3月21日の訂正は理論節の条件記号に関するもので、結果の撤回を告げるものではありません。論文の書誌・著者所属／Natureの著者訂正

元データを残せば、モデル崩壊を防げる？

Gerstgrasserらの研究は、調べた設定でデータ蓄積による劣化回避を報告していますが、元データの保持だけを全モデル共通の安全条件にはできません。研究ごとにデータの残し方と評価するものが違うため、結論と条件を一緒に読む必要があります。Gerstgrasserらの蓄積研究（v2）／Barzilai・Shamirの理論研究（v3）（2026年9月26日確認）

データの残し方による違いは、蓄積研究の著者による次の投稿でも紹介されています。投稿の結論と、論文が調べた設定を合わせて読むことが大切です。

置換・全蓄積・固定量の抽出を比べる

データを置き換える、すべて蓄積する、蓄積した中から一定量だけ使う、という違いが判断の軸になります。置換は前のデータを新しい生成データへ入れ替えること、全蓄積は以前のデータも合わせて残し、訓練に使うことです。蓄積した保管庫があっても、訓練には固定量だけ取り出すなら、全蓄積とは条件が異なります。ICML 2025論文の3つのデータ利用条件（2026年9月26日確認）

表は横にスクロールできます。

表中のテスト損失とは評価用データに対する誤差の尺度、最尤推定とは観測データを説明しやすいモデルのパラメータを選ぶ方法です。

「保持すれば安全」とは言えない条件

誤差が増え続けないことは、少数のパターンがすべて保存されたことと同じではありません。関連研究の安定性は、それぞれの設定と評価指標についての結果です。これを全モデル共通の保証へ広げたり、合成データが少しでも含まれれば崩壊すると逆方向へ一般化したりする根拠はありません。蓄積研究の条件／安定性の仮定と反例（2026年9月26日確認）

Oxfordの発表は、元データへのアクセスと、データがどこから来たかを把握することの重要性を伝えています。人間が作ったデータならすべて高品質、という意味ではありません。Oxfordの研究発表

筆者の判断：生成文を訓練に使う場合は、元資料への参照と、置換・蓄積・抽出の記録を残すことが、後から条件を点検する助けになると考えられます。これは監査しやすくするための提案で、崩壊を防ぐ処方や安全な合成比率ではありません。