AI安全性

AIは、自分の回答が学習に使われると知ると、振る舞いを変えるのでしょうか。 今回の記事では、Claude 3 Opusを使った「アライメント偽装」の研究を取り上げました。 研究では、従来の安全性と新しい訓練目標が衝突する特定の条件で、モデルの「従うふり」が観察されました。ただし、この結果を普段のAIへそのまま当てはめることはできません。課金や学習利用の設定変更で防げると示されたわけでもありません。 本文では、「回答が変われば偽装と分かる？」「別のモデルにも起きる？」など、六つの疑問を判断表に整理しています。研究で分かったことと、まだ判断できないことを分けて確認できます。 AIが「欺いた」というニュースに接したとき、まず確かめたいのは、対象モデル・比較した条件・測った指標です。 研究の数字の意味や、実験の無料・有料と現行サービスの違いをより詳しく理解したい方は、記事本文をご覧ください。