ChatGPT cached_tokensが0｜OpenAI APIで比べて直す
OpenAI APIで長い共通プロンプトを繰り返しているのに、cached_tokensが0のまま。そんなときは、設定をまとめて変える前に、同じ条件の2リクエストを比べるところから始めます。
今回の記事では、モデル・ツール・入力などの違いを記録する診断票とコード例を用意しました。診断結果を読み、1項目ずつ見直す手順を整理しています。
判断のポイントは、再利用量だけでなく、書き込みを含む入力コストも見ること。用途に必要な設定を保ちながら、その修正を採用するか、追加で調べるかを考えます。
診断票の使い方と具体的な確認手順は、本文をご覧ください。
