【あなたは専門家です】効果を調べた研究と残すか外すかの判断表

肩書きを外す場合も、目的や前提まで削る必要はありません。依頼文全体を整理したいときは、目的・前提・出力形式から依頼文を組み立てる方法を確認できます。

役割指定の研究は何を確かめたのか

Zhengらは、162種類の役割、4系列のモデル、2,410問の事実問題を使い、役割を加える条件と加えない条件の正答率を比較しました。対象と入力条件を押さえると、研究を普段の使い方へどこまで当てはめられるかが分かります。原論文§3

162の役割と4系列で比べた条件

162種類には、職業の役割112種類と、対人関係の役割50種類が含まれます。専門家の肩書きだけを162種類試した研究ではありません。AI自身の役割を指定する型と、対話相手の役割を指定する型を、言い換えも含めて比較しています。原論文§3.2・§3.3

この研究はMMLUの一部、26科目・8領域の2,410問を使用し、4択問題の正答率を測っています。全問を使った評価でも、文章の読みやすさを採点した評価でもありません。原論文§3.1

対象はFLAN-T5、Llama 3、Mistral、Qwen2.5の4系列です。主な比較は6モデルで、Qwen2.5の追加のサイズ比較を含めると計9モデルになります。これは論文の実験対象であり、現在のサービスで選べるモデル一覧ではありません。原論文§3.4・Figure 4・5

論文名は「When “A Helpful Assistant” Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models」。初稿の公開は2023年11月16日ですが、本記事は2024年10月9日のv3を読み、2024年11月の会議録掲載を確認しています。初稿の年と、紹介する版を区別しています。arXivの版履歴／ACLの掲載記録

「役割なし」にも質問と回答形式は残る

役割なしの条件にも、解くべき質問と回答形式の指示は残っています。したがって、役割の文章を外すことと、作業指示をすべて消すことは別です。付録ではFLAN-T5は文字列を連結し、ほかの3系列はsystemとuserに分けた入力を示しています。原論文付録Table 7・8

systemやuserは、入力メッセージの区分です。一方、「あなたは専門家です」は、その中に書く指示の内容です。OpenAI APIの現行ガイドもdeveloperとuserの指示の優先順位を区別していますが、その区分に肩書きを書けば知識が増えるという説明ではありません（2026年9月17日確認）。OpenAI APIの指示設計ガイド

研究の基本の評価は、条件ごとにモデルが選んだ回答を正解と照合するものです。下図はこの工程だけを表しており、一般向けチャット画面の内部処理を描いたものではありません。

改善が見られないことと無効の証明は違う

この研究が示すのは、対象条件で一貫した正答率の改善が確認されなかったことです。役割の効果があらゆる用途でゼロだと証明したわけではありません。著者は結論で次のように述べています。

“adding a persona does not necessarily improve an LLM’s performance on objective tasks.”

訳：役割を加えることが、客観的な課題でのLLMの成績向上につながるとは限らない。

LLMとは、大量の文章から学習し、文章などを生成する大規模言語モデルです。この研究にはGPT-3.5やGPT-4などの非公開モデルを含めておらず、現在のChatGPT、日本語の自由記述、創作への効果は、この結果からは決められません。原論文Limitations

質問ごとに結果を見て最も成績のよい役割を選ぶ分析は、達成できる上限の比較です。回答前にその役割を選べることを意味せず、論文の自動選択手法もその上限には届いていません。「質問に合う専門家を指定すればよい」という実用上の結論へ飛ばさないことが大切です。原論文§7・Figure 9

役割だけを変えて回答を比べるには

OpenAIの評価ガイドは、用途に合う目的・データ・評価基準を先に定め、結果を比較する進め方を案内しています。本記事では、その考え方を役割指定の見直しに応用します。以下は筆者の比較案であり、効果を実証したプロンプトではありません（2026年9月17日確認）。OpenAIの評価設計ガイド

目的・資料・出力条件をそろえる

同じ依頼文を二つ用意し、一方にだけ役割の一文を加えます。目的、参照資料、出力形式まで一緒に変えると、どの変更が結果に関係したのか分からなくなるためです。

1. 照合できる作業を選ぶ。たとえば、手元の案内資料から申込期限と対象者を整理する作業です。先に原資料の該当箇所を確認します。
2. 共通の依頼文を用意する。資料、対象読者、不明時の扱い、出力形式をそろえます。下の原文は、このための記入式テンプレートです。
3. 入力条件をそろえる。同じモデル・同じ資料・同じ利用機能で、比較用の会話を分けます。会話履歴や共通設定が異なる場合は、その差を記録します。
4. 片方にだけ役割を加える。たとえば「あなたは資料を整理する編集者です。」を依頼文の同じ位置へ加えます。役割なし側にも、残りの指示はすべて残します。

下の角括弧は、自分の作業と資料で置き換える記入欄です。資料に含まれる個人情報や非公開情報は、入力してよい範囲を確認してください。

依頼する作業：
[何を整理・確認したいかを書く]

参照する資料：
[入力してよい資料の本文を貼る]

守る条件：
・資料に書かれた事実と、解釈や推測を分ける。
・資料にない情報は補わず、「資料では確認できない」と示す。
・読み手は[対象読者と前提知識を書く]。

出力形式：
1. 結論
2. 根拠となる資料の該当箇所
3. 資料だけでは判断できない点

チャット画面でこの原文を入力する比較は、論文のシステム指示での実験を再現するものではありません。自分の依頼文を見直すための比較として使います。

「新しい会話にした」だけで、共通設定まで同じだとは決めつけないでください。ChatGPTで条件を整理する場合は、メモリ・カスタム指示・Projectsの置き場所を確認すると、比較前に記録すべき違いを整理できます。

正確さと文体を別々に評価する

比較前に確認項目を決め、「事実の一致」「出力条件への適合」「読みやすさ」を分けて評価します。たとえば「期限が資料と一致する」「指定した項目がそろう」「専門用語を初出で説明する」を、両方の回答に同じ基準で当てます。

以下は筆者の運用上の提案です。正確さだけが目的で両条件の正答が同じなら、肩書きは省略候補にします。文体が目的なら、事実と必須項目を満たした回答の中で、役割ありだけが文体条件を満たす場合に残す候補とし、両方が満たせば省略候補にします。

資料との不一致や必須項目の欠落は、読みやすさで相殺せず、回答を使う前に確認・修正します。この基準は依頼文の選び方であり、役割の効果を立証するものではありません。複数の作業例で得た結果も、その範囲の記録として扱います。

役割指定の効果を判断できない条件

学べるブログは、照合先がない回答や比較条件がそろわない結果について、役割による効果の判断を保留することを提案します。役割を使うかどうかの判断と、効果が確かめられたかどうかの判断を分けるためです。

比較ごとに結果が変わる場合

同じ条件で比べ直したときに優劣が入れ替わるなら、「役割ありの方がよい」という結論を保留します。OpenAIも生成AIの出力の変動を踏まえた評価を案内しています（2026年9月17日確認）。その場合は回答ごとの差と照合結果を残し、一度の好結果だけで依頼文を選ばないことを本記事では提案します。OpenAIの評価設計ガイド

照合できる資料がない場合

正解や原資料を用意できない場合は、精度への効果判断を保留します。必要な資料を集めるか、確認できる範囲まで問いを狭めます。文体のために役割を残すことはできますが、未確認の内容を裏付けのある事実として採用することは避けます。