ChatGPTの役割指定の効果｜研究から考える残すか外すかの判断表

役割指定で正答率は上がったのか

Mingqian Zhengらの2024年掲載論文は、162役割を付ける条件と付けない条件を比較し、対象の事実問題で一貫した正答率向上を確認していません。個別の役割で差が出ることと、役割を付ける方法が広く有効であることは分けて読む必要があります。掲載論文・第3〜4節

論文はMingqian Zheng、Jiaxin Pei、Lajanugen Logeswaran、Moontae Lee、David Jurgensの共同研究です。2023年に初稿が公開され、2024年にFindings of EMNLPへ掲載されました。本記事で紹介するモデル構成は2024年掲載版のものです。arXivの書誌情報、ACLの掲載情報

162役割・2,410問・4系列の比較条件

研究で評価したのは、役割を付けたAIが選択式の事実問題へ正答できるかです。MMLUとは、幅広い科目の知識を問う選択式問題のデータセットです。この研究はその一部から、26科目・8分野にまたがる2,410問を抽出しています。掲載論文・第3.1節、表3

162役割の内訳は職業112、対人関係50で、すべてが専門家の肩書きではありません。AI自身の役割を指定する条件だけでなく、会話相手を指定する条件や言い換えも比較しています。掲載論文・第3.2〜3.3節

モデルはFLAN-T5-XXL、Llama-3-Instruct、Mistral-7B-Instruct-v0.2、Qwen2.5-Instructの4系列です。サイズ違いを含めて計9モデルを扱い、主な正答率分析の6モデルと、追加のサイズ比較を区別しています。4つの一般向けチャットサービスを比較した研究ではありません。掲載論文・第3.4〜4節

“no or small negative effects”

役割なしと比べ、効果がないか、小さな負の効果があるという総括です。すべての問題・役割で効果がゼロだと証明した、という意味ではありません。掲載論文・第1節

役割なしでも回答形式の指示は残る

役割なしの条件は、AIへの指示を全部消した条件ではありません。問題を示し、選択肢の番号を答えるよう求める指示は残っています。したがって、この結果から「作業内容や出力形式も書かない方がよい」とは言えません。掲載論文・表7〜8

システム指示とは、会話の利用者メッセージとは別にモデルの振る舞いを指定する入力です。掲載版では、FLAN-T5は文章を連ねる形式、他の3系列はシステムとユーザーのメッセージを分ける形式を使っています。掲載論文・表7〜8

狭い画面では表の中を横へスクロールできます。出典：掲載論文・表7〜8。

分野一致・最良役割の結果は比較相手まで読む

分野に合う役割の成績がよくても、それだけで役割なしより有効だとは判断できません。論文の分野一致の分析は、分野が合う役割と合わない役割の差を扱います。「どの役割がよいか」と「役割を付けるべきか」は比較相手が違います。掲載論文・第5節

また、各テスト問題で結果のよかった役割を事後に集めると、性能の上限を示せます。しかし、答えを出す前にその役割を選べるとは限りません。論文で試した自動選択の方法は、この上限から離れていました。掲載論文・第7節

“identifying the best role remains challenging”

最良の役割を見つけることは依然として難しい、という結論です。「AIに適任の専門家を選ばせれば解決する」とまでは言えません。掲載論文・第8節

この研究を今のChatGPTに当てはめてよいか

Mingqian Zhengらの研究は、4系列のモデルとMMLUの選択式問題を対象としており、現在のChatGPTや日本語の自由記述での効果を直接示すものではありません。研究から得られるのは、肩書きを正確さの保証にしないという判断材料です。掲載論文・第3節、第9節

対象モデル・言語・課題が違う場合の境界

論文はGPT-3.5・GPT-4を評価しておらず、自由記述課題も限界として挙げています。掲載論文・第9節

当てはめる前に、本記事ではモデル・指示の入力場所・言語・課題形式を確認することを提案します。説明をやさしくする依頼なら文体の評価も必要です。通常のチャット欄へ役割を書く比較は、論文のシステム側の設定と同じ条件にはなりません。

公式ガイドが役割指定を案内する目的

公式の役割指定の案内と、この論文の正答率の結果は、評価する目的を分けて読むと整理できます。Anthropicの公式ガイドは、振る舞いや口調を目的に合わせるための役割指定を案内しています。肩書きを加えると事実問題の正答率が上がるという保証には読み替えられません。（2026年9月15日確認）Anthropic公式・プロンプト設計

推測：役割が文体や確認する観点を短く伝える補助になる可能性はあります。ただし、具体的な依頼で役立つか、正確さにも差があるかは別に確認する必要があります。

役割指定の採否と効果判断を分ける基準

学べるブログの判断表は、役割指定を残す・外すという採否と、効果を判断できるかを分け、目的・比較条件・照合先から考える筆者の提案です。「残す」「外す」「保留」を、互いに排他的な3択にはしません。

文体を伝えるために役割を残し、正確さへの効果は保留することもできます。判断表では、まず依頼の目的と評価したい品質を選び、その次に比較条件と照合先を確認してください。

役割を残す理由は、目的を伝えるうえで必要かどうかです。回答に事実との不一致や出力条件への違反があれば、肩書きの有無とは別に見直します。根拠を確認できないまま「専門家らしいから採用」と判断しないことが、この表の使い方です。

役割指定は何をそろえて比べるか

OpenAIの公式ガイドは、指示を変更した際やモデルを切り替えた際に、評価を通じて振る舞いを確認することを案内しています（2026年9月15日確認）。以下では、その考え方を役割指定の比較へ落とし込む方法を提案します。OpenAI公式・指示設計ガイド

肩書きだけが変わる依頼文を用意する

役割の影響を考える比較では、同じ依頼文の役割の1行だけを加除します。肩書きと一緒に資料や手順を追加すると、どの変更が出力へ関係したのか分けられません。モデル、資料、問い、出力形式、指示を入れる場所、会話履歴をできる範囲でそろえます。

片方だけで追加のやり取りを重ねたり、別の資料を参照させたりした結果は、役割だけの比較として扱いません。設定や履歴の影響をそろえられない場合は、その制約を残して効果判断を保留します。指示や資料の管理先まで整理したい人は、メモリ・カスタム指示・Projectsの使い分けを確認できます。

あなたは資料を整理する編集者です。

目的：
次の資料から、読者が判断に使う事実を整理してください。

対象読者：
この資料の内容を初めて読む人です。

参照範囲：
この指示の後に貼り付ける資料だけを使ってください。

出力：
1. 資料から確認できる要点
2. 各要点の根拠となる見出しや該当箇所
3. 資料だけでは判断できないこと

条件：
資料にない数値や根拠を補わないでください。
推測と資料に書かれた事実を混ぜないでください。
事実を変えず、初心者にも分かる言葉で書いてください。

1. 採用条件を先に書く。資料・問い・モデル・履歴・入力位置をそろえ、比較前に今回の基準を決めます。例えば文体なら「専門語に説明がある」を両条件に同じ基準で使います。
2. 最初の1行だけを加除する。役割なしでは「あなたは資料を整理する編集者です。」だけを外します。「目的」以下の指示と、その後に貼る資料は両方へ同じ内容を渡します。
3. 3つの出力欄を照合する。「要点」「根拠の箇所」「判断できないこと」を人が原資料で確認し、役割の採否と、効果を判断できるかを別々に記録します。

正確さ・文体・形式を別々に確認する

出力は「どちらがよさそうか」でまとめて採点せず、品質ごとに照合します。Anthropicの評価ガイドは、用途に合う成功条件を先に定めることを案内しています。以下の確認は、その考え方を使った筆者の実用案です。（2026年9月15日確認）Anthropic公式・評価基準の設計

• 正確さ：数値、条件、因果関係が原資料と一致するか。根拠として示された箇所を実際に開きます。
• 文体：対象読者に合う言葉か。説明をやさしくするために、原文の条件を落としていないかも確認します。
• 形式：指定した項目がそろい、資料だけでは分からないことを区別できているかを見ます。

判定例（筆者の設計例・未実測）：事前に「専門語に説明がある」を文体の条件にした場合を考えます。役割ありの出力だけがその条件を満たしても、原資料との一致が未確認なら、記録は「文体のために残す候補／正確さへの効果は保留」です。事実確認を終えるまで、その出力を正確な資料として使う判断も保留します。役割なしでも同じ文体条件を満たすなら、省略候補にできます。

一度うまく答えたことや、少数の出力だけでは一般的な効果を確定しません。照合先がなければ根拠の用意を先にし、条件がそろわなければ比較を組み直します。AI自身の自信や詳しさを正答の代わりにしない、というのが筆者の判断基準です。