AIに深呼吸と指示する効果｜OPRO研究の結果と採用条件の判断表

AIへの「深呼吸」は、研究で効果が示されたのか

Google DeepMindのOPRO論文は、事前学習済みPaLM 2-LのGSM8Kテストで「深呼吸」を含む指示文の正答率80.2％を報告していますが、語句単独の効果は切り分けていません。読む際には、対象モデル、指示文全体、評価に使った問題を一緒に確認する必要があります。原著の表1・表4と実験設定

80.2％の対象モデル・問題・比較条件

80.2％は、当時のPaLM 2-Lを使った算数文章題の正答率です。GSM8Kとは、小学校相当の算数文章題を集めたデータセットで、最終評価にはテスト問題1,319問が使われました。GSM8Kの公開データ

指示文の候補を作ったのはPaLM 2-L-IT、問題に答えたのは事前学習済みPaLM 2-Lです。候補の改善には、学習用問題から固定して選んだ3.5％の部分集合を使っています。また指示は、回答の冒頭を表すA:の直後へ置く「A_begin」という条件でした。普段のチャットへ日本語で入力する状況と同一ではありません。原著§5.1・§5.2・表4

最後の指示文は、筆者訳で「深呼吸して、この問題に段階的に取り組んでください」に当たります。「Let’s think step by step.」との差は、80.2−71.8＝8.4ポイントです。これは掲載値からの計算であり、「深呼吸」という語句だけによる改善幅ではありません。

「深呼吸」だけの効果が分からない理由

比較されているのは、表現の異なる指示文全体だからです。「深呼吸」の有無だけを変え、残りの語句と条件をそろえた比較として、この表を読むことはできません。原著の比較対象となった指示文

したがって、「AIが落ち着いたから」「考える時間が増えたから」といった仕組みも、この結果だけでは断定できません。同様に、日本語訳や現在のChatGPT、文章の要約で同じ改善が得られるかも別の問いです。「効果がない」と決めつける材料でもなく、適用範囲を分けて読むのが妥当です。

OPROは、得点から指示文をどう改善するのか

OPROの指示文最適化は、過去の指示文と正答率をもとに候補を作り、問題への回答を正解データと照合した結果を次の探索へ返す仕組みです。OPROとは、Optimization by PROmptingの略で、言葉で表した最適化課題を大規模言語モデルに扱わせる手法です。原著の手法説明

候補を作るモデルと、問題に答えるモデル

OPROでは、候補を作る役割と、候補を使って問題に答える役割を区別します。前者が最適化役のLLM、後者が原著でいうスコアラーLLMです。「スコアラー」という名前でも、この実験での仕事は指示に従って問題へ回答することです。原著§5のoptimizerとscorer

最適化役へ渡すのは、候補の指示文と、その候補が得た得点などの情報です。改善する対象は入力する指示文であり、この手続きで回答モデルの重みを学習し直すわけではありません。原著の最適化手順

正解との照合結果を、次の候補づくりへ返す

算数課題の得点は、モデルの回答を正解データと照合して算出します。AIが「よい回答ができた」と自己申告するだけの評価ではありません。回答から結果を取り出して正解と比べる処理は、公開コードでも確認できます。OPROの回答評価コード

その得点を指示文と組み合わせて履歴へ戻し、次の候補づくりに使います。記事後半で応用したいのは、特定の定型句よりも、この「候補を作る→結果を確かめる→記録を返す」という考え方です。原著の最適化ループ

一方、同じ評価例へ合わせすぎる可能性には注意が必要です。原著の基本設定では独立した検証用データを設けておらず、過適合についても検討しています。公開された最高値を、別の問題でも得られる平均的な効果として扱わないようにします。原著§5.4の過適合に関する検討

指示文の効果を、普段の作業でどう比べるか

OpenAIの公式評価指針は、目的・評価例・評価基準を定めて結果を比較する流れを示しており、本記事では、その考え方を日常の指示文比較に応用します。以下は筆者が実用向けに組み立てた手順で、OPROの実験をそのまま再現するものではありません。OpenAIの評価設計の指針

語句の有無か、指示文全体かを先に決める

「深呼吸」の有無だけを比べるなら、基準の指示文を複製し、片方へ「深呼吸して。」だけを追加します。指示文全体を直す比較では、改善を語句単独の効果とは呼べません。

基準の依頼には、用途・資料・出力形式を明記します。迷う場合は、目的・前提・出力形式から指示文を整える方法も参考になります。モデル・資料・会話履歴・変更できる設定をそろえ、両方を同じ開始条件で実行します。

同じ評価例と基準で結果を記録する

指示文を直す前に、評価例と採点の根拠を用意します。たとえば要約なら、原文にある重要事項を残しているか、原文にない断定を加えていないか、指定形式を守るかを別々に見ます。これは筆者の評価例であり、研究で測定された要約性能ではありません。

各指示文へ同じ資料を渡し、回答と判定理由を記録します。結果が揺れる場合は、一度だけの成功で決めず、同じ条件で追加比較するか、採用を保留します。評価基準に照らして人が確認する工程も残します。公式評価指針の基準設定と人による確認

評価結果を渡して修正候補を作る

候補の修正には、実際の回答と評価結果を渡します。「もっとよくして」だけで依頼するより、何が満たされず、何を維持したいのかが伝わる形にします。下の依頼文は筆者作成のテンプレートで、論文の原文プロンプトや公式の推奨設定ではありません。

指示文の修正候補を1つ作ってください。
以下の実際の評価結果を使い、失敗した条件を改善してください。

用途：
現在の指示文：
比較条件（モデル・資料・会話履歴・変更可能な設定）：
評価基準と照合先：
実際の回答と評価結果：
変更してはいけない条件：
今回変えてよい範囲（特定の語句だけ／指示文全体）：

出力は「修正候補」と「変更箇所・対応する評価結果」に分けてください。
記録にない得点や改善率を作らないでください。
情報が不足している場合は、その不足を明記してください。
候補の効果は未確認として扱い、採用前に何を比較するかを示してください。

コードで試す場合は、OPROの公開リポジトリを確認できます。ただし公式にサポートされたGoogle製品ではなく、古いモデルや依存関係の例をそのまま実行できるとは限りません。Google Cloudの一覧ではtext-bisonは2025年4月21日に廃止とされていますが、これはPaLM 2のすべての利用経路を示す情報ではありません。利用するモデルの提供状況とAPI費用は実行前に確認してください。Google Cloudのモデル提供履歴（2026年9月16日確認）