让大语言模型（LLM）获得更强推理表现的方法，主要可以归为两类：

• 并行扩展（parallel scaling）：对同一个提示多次采样，再从多个候选结果中进行选择。
• 顺序扩展（sequential scaling）：在给出最终答案前，延长单条推理轨迹，让模型执行更多推理步骤。

树搜索类方法同时结合了这两种方式，因此也会继承两者的局限。

这些方法都不会改变模型权重，所有额外计算都发生在推理调用阶段。这也是模型准确率不理想时，团队通常会优先尝试测试时计算（test-time compute）的原因：它不需要重新训练模型，但会持续增加每次请求的成本。

训练成本通常只需支付一次，随后可分摊到大量调用中；推理计算则按请求持续付费。不过，额外计算往往能够换来更好的结果。一些研究发现，在 FLOPs 相当的比较中，对于较小模型本就具有较高成功率的问题，增加测试时计算的效果可能优于直接使用参数规模大 14 倍的模型。

测试时计算不是越多越好。不同方法都有适用边界：简单问题可能被过度优化，困难问题也未必能靠增加搜索预算解决。

下面介绍 8 种常见的推理机制。

1. 思维链（Chain of Thought，CoT）

思维链引导模型逐步推理，在得出答案前生成中间步骤。推理模型通常已经具备这种能力，使用时主要增加的是推理 Token 消耗。

2. 多数投票（Majority Voting）

在温度不为 0 的条件下，多次运行同一个提示，然后把出现次数最多的答案作为最终答案。这种方法不需要奖励模型，因为多个样本之间的一致性本身就是一种信号。

多数投票能够修正随机错误，却无法解决系统性错误。如果模型每次都以相同方式误判，所有样本仍会得出一致结果，投票反而会以更高置信度返回错误答案。

此外，这种方法要求不同答案之间能够进行等价性判断，因此不太适合开放式文本生成。

3. Best-of-N

Best-of-N 会生成 N 个完整答案，再使用奖励模型逐一评分，最终保留得分最高的答案。

随着对代理奖励的优化压力不断增加，真实奖励可能先上升、达到峰值，再开始下降。当 N 超过某个阈值后，搜索可能更倾向于找到“奖励模型喜欢的答案”，而不是真正正确的答案。

另一个难点是：奖励模型必须具备比生成模型更可靠的判断能力，而这往往是整个方案中更困难的一部分。

4. 扩展思考（Extended Thinking）

模型在回答前先使用一定数量的 Token 进行内部推理。调用方通常可以通过 budget_tokens、thinkingBudget 或 reasoning_effort 等参数设置推理预算。

DeepSeek-R1-Zero 在 AIME 2024 上的准确率仅通过强化学习就从 15.6% 提升到 71.0%，推理阶段没有使用外部搜索框架。

但思考越多并不总是越好。Anthropic 的逆尺度分析构造了一些任务：随着推理轨迹变长，模型准确率反而下降。例如，预先注入无关数字的计数问题，以及模型反复重新审视已经解决的约束推理过程。

5. 自我改进（Self-Refinement）

模型先写出答案，再批判自己的答案并进行重写，如此循环迭代。

不过，自我改进的证据相对较弱。在 GSM8K 测试中，GPT-3.5 虽然纠正了 7.6% 的错误答案，却也改坏了 8.8% 的正确答案，导致整体净收益为负。

6. 思维树（Tree of Thoughts，ToT）

多数投票只在多个完整答案之间做选择，而思维树会改变每一步的推理过程，再从多条路径中选择整体最优方案。

在每个推理步骤中，模型都会探索多个可能方向。这些分支共同构成一棵树，另一个独立过程则评估在当前时间步，哪条路径最有希望。

可以把它理解为一种搜索算法：沿着多条推理路径寻找最合理、最连贯的解决方案。它需要更多计算，但在部分任务中会明显优于基础 CoT。

7. 使用过程奖励模型的束搜索

这种方法保留 K 个部分解，并在生成过程中对每一步进行评分，而不是等到完整答案生成后再统一评价。

在计算预算较小时，它可能优于 Best-of-N；但随着预算增加，其表现又可能落后于 Best-of-N。过度优化时，推理过程可能出现步骤重复，甚至退化为只剩一两个步骤。

它通常更适合中等难度问题：在简单问题上容易过度优化，而面对最困难的问题时，增加搜索本身也未必有效。

8. 蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）

MCTS 会选择一条有希望的部分路径，对其进行扩展，运行至完整答案，再把评分沿路径向上回传，并重复这一过程。

DeepSeek 在 R1 的研发过程中尝试过这种方法，但最终放弃了。语言模型下一 Token 的候选空间远大于棋盘游戏中的合法动作空间，因此，训练一个足够可靠的价值模型来指导搜索非常困难。

DeepSeek 也因类似原因放弃了过程奖励模型（Process Reward Model，PRM）：推理步骤的正确性难以定义，标注难以规模化，而且策略模型还可能利用评分器的漏洞。最终，DeepSeek 选择把搜索能力内化到模型权重中，并采用基于规则的奖励。

小结：先判断错误类型，再选择扩展方式

• 如果错误主要来自采样随机性，可以尝试多数投票或 Best-of-N。•如果任务需要探索多条中间路径，可以考虑思维树、束搜索或 MCTS。•如果模型本身已经具备较强推理能力，可以增加扩展思考预算。•如果模型存在稳定的系统性误判，单纯增加采样或推理长度通常无法从根本上解决问题。

💡 实践建议

推理预算应根据任务难度动态分配。先用低成本方案建立基线，再逐步增加采样数、推理长度或搜索宽度，并同时监控准确率与单位请求成本。