AIに丁寧に頼むと精度は上がるか｜3モデル研究と口調を変えない条件

AIへの口調を変える前に、何を確かめる？

3モデルの口調研究は何を比べた？

Caiらの研究は、GPT-4o mini・Gemini 2.0 Flash・Llama 4 ScoutをAPIで利用し、英語の選択式問題に対する3種類の口調と正答率の関係を比較しています。論文の実験設定

API経由で使われた3モデルと研究主体

研究を行ったのはHanyu Caiら5名で、論文の所属表記はNorthwestern、Duke、Carnegie Mellon、NYUの米国4大学です。モデル企業による公式の性能評価ではなく、査読・採択状況も今回確認した書誌と本文からは確認できません。著者・所属と論文本文 arXivの書誌情報

対象モデルの開発元は、GPT-4o miniがOpenAI、Gemini 2.0 FlashがGoogle DeepMind、Llama 4 ScoutがMetaです。OpenAIのモデル発表 Googleのモデル発表 Metaのモデル発表

APIとは、プログラムからサービスを呼び出すための接続口です。論文ではgpt-4o-mini、models/gemini-2.0-flash、meta-llama/Llama-4-Scout-17B-16E-Instructを用い、LlamaはTogether AI経由と記載されています。ChatGPTやGeminiの一般向けチャット画面で試した結果として読み替えることはできません。API識別子と接続経路 用語の補足は、APIとチャットアプリの違いで確認できます。

英語4択・3口調・正答率という実験条件

比較したのはVery Polite（非常に丁寧）、Neutral（中立）、Very Rude（非常に乱暴）の3条件です。同じ問題と選択肢に口調の前置きを付け、説明ではなくA〜Dの回答記号を求めています。乱暴条件には侮蔑的な表現が含まれ、日本語の常体や短い指示と同じものではありません。プロンプトの構成と口調条件

課題は解剖学・天文学・大学生物学・米国史・哲学・専門法学の6科目です。科目別の記載件数を合計すると1,446問で、著者は各条件10試行と説明しています。この合計は論文の件数を足したもので、実行ログから呼び出し回数を確かめた数ではありません。問題群と試行の設定

正答率とは、評価した問題のうち正解した割合です。この指標から、文章の読みやすさや相談への納得感、作業時間まで評価したとは言えません。なお、論文のデータ名はMMMLUですが、参照文献はMMLUの原論文であり、使用データの配布元・版を一意には確認できません。評価対象とデータの記載 MMLUの原論文

口調研究の結果をどこまで信頼できる？

Caiらの口調研究は、分野別集計でも一部の有意差を報告していますが、多重比較は未補正で、掲載数値にも不整合があるため、改善幅やモデルの優劣を断定できません。結果の方向だけでなく、集計の単位と掲載値の扱いを分けて読みます。結果表と統計の説明

課題別と分野別で異なる比較単位

分野別にまとめても、有意差の表示がすべて消えたわけではありません。掲載表の印を数えると、科目ごとのTable Iでは54比較中4比較、STEMと人文系にまとめたTable IIでは18比較中3比較に、SSという有意差の印があります。これは掲載印の数え直しで、元の回答データの再解析ではありません。Table I・Table II

2つの表は比較する単位も母数も違います。そのため「4件から3件に減ったので口調の効果が弱まった」とは読めず、ある科目の結果を全用途の結論にすることも避けます。

有意差の有無で決められないこと

有意差の印だけでは、口調を変える実用上の価値や、最もよいモデルは選べません。多重比較とは複数の差を同時に調べることで、比較を重ねる際の誤判定を考慮する補正がありますが、この論文では補正していないと記載されています。統計手法と未補正の記載

Gemini 2.0 Flashの掲載判定はすべてNSS（有意差なし）ですが、これは「どの口調も同じと証明した」「このモデルが最も安定している」という結論ではありません。米国統計学会の声明も、統計的な有意性だけで効果の大きさや重要性を判断しないよう求めています。Geminiの掲載判定 有意差と効果の大きさに関する声明

正答率の改善幅を断定しない理由

改善幅をそのまま推奨に使わない理由は、同じ平均の差として整合しない掲載値があるためです。GPT-4o miniの解剖学では、丁寧−乱暴が1.23ポイント、中立−乱暴が1.73ポイント、丁寧−中立が0.25ポイントと記載されています。これらは絶対正答率ではなく、口調間の差です。Table IのAnatomy行

同じ平均同士の差なら、（中立−乱暴）＋（丁寧−中立）は（丁寧−乱暴）になります。しかし、掲載値は1.73＋0.25＝1.98となり、1.23と一致しません。これは掲載表を算術的に照合した結果で、どの値が誤りか、原因が誤植か計算上の問題かまでは確定できません。HTML版の同じ結果表

また、正確な実行日・固定されたモデル版・生成設定の全条件は論文から確認できず、今回読んだ本文・書誌の範囲では、元応答や解析コードによる再解析にも進めませんでした。したがって、正しい値をこちらで補ったり、補正後の有意差やモデル順位を作ったりはしません。数値を保留することと、研究全体に価値がないと決めることは別です。実行条件と公開情報の範囲

「乱暴なほうが正確」という別研究と矛盾する？

Dobariya・KumarのGPT-4o研究とCaiらの3モデル研究は、対象モデルや問題群が異なるため、結果の違いだけで丁寧さの効果が逆転した原因を特定できません。結論の文言を比べる前に、何を測った研究かをそろえて読む必要があります。GPT-4oを対象にした別研究 Caiらの対象条件

GPT-4oとGPT-4o miniの研究条件

「乱暴なほうが正確だった」という報告の主な数値結果は、GPT-4oを対象にした小規模な選択式実験です。Dobariya・Kumarは50の基礎問題を5つの口調に変え、非常に丁寧な条件で80.8％、非常に乱暴な条件で84.8％の正答率を報告しています。差は84.8−80.8＝4.0ポイントですが、著者も一般化の限界を認めています。Mind Your Toneの条件・結果・制限

このGPT-4oと、中心論文に登場するGPT-4o miniは別のモデルです。問題群や口調の段階も違うため、両研究を合わせて「AI全般には乱暴に頼むべきだ」と結論づける根拠にはしません。

日本語の口調研究を使う条件

丁寧さの研究には、日本語を含むものもあります。Yinらの2024年の論文は英語・中国語・日本語を扱い、対象モデルや課題に応じて丁寧さの影響が異なること、丁寧さを増せば一律に良くなるわけではないことを報告しています。日本語を含む先行研究

ただし、GPT-3.5・GPT-4などを含む当時の対象モデルで、要約・選択式問題・バイアスなど複数の課題を扱った研究です。すべてを同じ「正答率」の結果としてまとめたり、現在の日本語チャットへ同じ効果を保証したりはできません。日本語研究の有無と、自分の用途への適用可否を分けて考えます。対象モデル・言語・課題の詳細

まとめ：次の依頼では何を見直す？