推論モデルとは（推論時の計算と思考の連鎖）

結論

1. 推論モデルは、答える前に内部で長い思考の連鎖を作るモデル
2. 性能は、強化学習（訓練時の計算）と考える時間（推論時の計算）が増えるほど上がると報告されている
3. 思考の連鎖プロンプトは「書き方の技法」、推論モデルは「モデルの種類」で、別のもの
4. 設問では「例を添えて手順を書かせる」なら思考の連鎖プロンプト、「答える前に内部で考える」なら推論モデルで見分ける

推論モデルとは

OpenAIは2024年9月12日の発表「LLM で論理的思考を学ぶ」で、OpenAI o1を、複雑な推論を行うために強化学習で訓練された新しい大規模言語モデルと紹介しました。発表は「o1は答える前に考える」とし、ユーザーに答える前に、内部で長い思考の連鎖を生み出せると説明しています。以下は発表時点の説明で、同ページには、発表時のo1-previewとo1-miniがAPIで提供終了になったという注記も付いています。

発表は、競争型のプログラミング問題（Codeforces）で89パーセンタイルにランクしたことや、物理学・生物学・化学の問題のベンチマーク（GPQA）で人間の博士号レベルの精度を超えたことも示しています。試験で押さえるのは成績の数字ではなく、「答える前に考える」「強化学習で訓練される」という定義の部分です。

一次資料: OpenAI「LLM で論理的思考を学ぶ」（2024年9月12日）

推論時の計算

推論時の計算（テスト時計算）は、モデルが回答を作る段階で使う計算量です。事前学習や強化学習のように訓練の段階で使う計算量とは、使う場面が違います。OpenAIはo1について、強化学習（訓練時計算）と思考時間（テスト時計算）が長くなるほど性能が一貫して向上したと述べ、この方法を進める際の制約は、LLMの事前学習のそれとは大きく異なるとしています。

推論時の計算を研究した2024年8月の論文（Snellら）は、固定された計算量を使えるとき、モデルが難しい問いにどこまで性能を上げられるかを調べています。回答の探索と、回答の更新という2つの方法で、効果は問題の難しさによって大きく変わると報告しました。問題ごとに計算量を割り当てる「compute-optimal」な方法では、単純に複数回答から選ぶ方法（best-of-N）より4倍以上効率が上がり、小さなモデルがある程度の成功率を出せる問題では、計算量をそろえた評価で14倍大きなモデルを上回れたとしています。「推論時の計算を増やす」は、モデルを大きくする代わりに、答えるときに考える量を増やす方向だ、と整理できます。

一次資料: Snell et al.「Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters」（arXiv 2408.03314）

思考の連鎖プロンプトとの区別

思考の連鎖（Chain-of-Thought）は、2022年の論文（Weiら）が示した、途中の推論の手順の系列を作らせることで、大規模言語モデルの複雑な推論の力が大きく上がるという考え方です。論文は、手順を含む例を数個添えるだけのプロンプトで、算術・常識・記号の推論の課題の成績が上がると報告しています。540Bパラメータのモデルに8個の例を添えるだけで、数学の文章題GSM8Kで当時の最高精度を出したとしています。

どちらも「途中の推論の手順」を使う点は同じなので、設問では、手順を作るのが利用者の入力なのか、モデルの内部なのかで見分けます。プロンプトの技法側の整理はプロンプトエンジニアリングとはに書いています。

一次資料: Wei et al.「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」（arXiv 2201.11903）

シラバスのどこに出るか

2027年2月試験から適用される公式シラバスでは、次の3か所に推論モデルや思考の連鎖が載っています。

ChatGPTの項では「モデルの種類と推論時の計算」、プロンプトの項では「書き方の技法」と、同じ思考の連鎖でも読む角度が違います。AIエージェントの項では、推論モデルがAIエージェントの詳細キーワードに並ぶため、AIエージェントとはとつなげて読みます。章立ての変更は2027年2月試験の新シラバスに整理しています。試験での出題を予想するものではありません。

よくある質問

次に読むと効率的なページ