NeurIPS 2024 (Oral) | 如何量化与提升思维链的推理能力边界？

学习科技周边要努力，但是不要急！今天的这篇文章《NeurIPS 2024 (Oral) | 如何量化与提升思维链的推理能力边界？》将会介绍到等等知识点，如果你想深入学习科技周边，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

• 论文链接：https://arxiv.org/abs/2410.05695

• 代码地址：https://github.com/LightChen233/reasoning-boundary

具体而言，RB 被定义为模型 m 和任务 t 作为问题难度 d 的最大值，模型的准确性达到预定义阈值：

* 为了简洁起见，在后续文章中将 RB 表示为。

该定律估计模型 m 内 n 个任务的统一推理边界，即表述为：

其中表示任务的推理边界。和是缩放因子，仅受相关任务影响。如图 1 (b) 所示，该方程提供了一个数学公式来估计独立 RB 的组合，从而可以更深入地了解复杂任务的模型行为。

1. 完全可行的推理边界：研究者定义准确率大于 90% 的部分是完全可行的推理边界 (CFRB=)，这意味着 LLM 可以有效地掌握这部分的表现。

2. 完全不可行的推理边界：研究者认为准确率小于 10% 的部分是完全不可行的推理边界 (CIRB=)，这意味着模型永远无法有效掌握这部分的性能。

3. 部分可行推理边界：研究者将除 CFRB 和 CIRB 之外的其余部分中的 RB 定义为部分可行推理边界 (PFRB=)，这需要模型重复思考或者更清晰的信息来解决问题。

1. 模型设置：研究者们采用了 GPT-3.5-Turbo 作为主要模型，实验还涵盖了多任务场景，包括数学推理、多跳问答和多语言推理等领域，以确保推理边界的全面评估。

2. 基准设置：为了更好地评估 LLMs 的推理能力，作者引入了一个新的数据集 ——BigGSM。这个数据集不仅具有较高的计算复杂性，还包含更长的推理链，能够更好地挑战模型的推理上限。

• 复杂多项式计算的推理边界：可视为 ①计算步骤规划 与 ②数学运算 两个推理边界的结合。如图 3 (a) 所示，实验结果显示了三个具有明显边界的推理边界划分区域。
• 复杂小学数学推理的推理边界：可理解为 ①自然语言步骤规划 与 ②数学运算 的结合，图 3 (b) 中同样展示了三个清晰的推理边界划分区域。
• 多跳问答的推理边界：可被视作 ①多跳规划 与 ②实体推理 的结合。正如图 3 (c) 所示，三个推理边界划分的有效区域同样可见。

• 完全可行推理边界-->完全掌握：如图 4 (a, b) 所示，在这一边界下，模型即使在没有示例、无需 self-consistency 的情况下也能够高效完成任务。

• 部分可行推理边界-->不完全掌握：在这一推理边界下，如图 4 (b) 所示，模型对任务的掌握程度有限，需要通过多次 Self-consistency 来增强信心，从而提高准确率。

• 完全不可行推理边界-->完全不掌握：在这种边界下，如图 4 (b) 所示，模型的推理表现极其有限，即便采用 Self-consistency，模型的准确率仍难以得到提升。

• 大模型能够自己意识到自己的推理边界：研究还发现，如图 4 (c) 所示，当让模型自行生成 CoT 示例时，模型更倾向于生成符合其推理边界的样本，特别是在完全可行推理边界范围内，而很少生成其完全无法掌握的样本。这表明模型对推理边界具有一定的自我感知能力，能够根据自身能力选择合适的任务进行推理。

当模型使用工具时，可以简单地认为模型可以以无限精度执行计算，因此数学计算的推理边界趋向于无穷大，即。显然，模型的组合推理边界可以计算为：

其中，c 表示计算任务，p 表示规划任务。很容易得出，，这表明工具使用可以提高推理的边界。这解释了为什么工具使用比普通的推理链性能更好（见表 1）。此外，如图 5 所示，理论推理边界与实际推理边界的分布几乎完美重合，这也证明了该假设的可靠性和适用性。

由工具使用的组合推理边界计算公式可得，LLM 的推理边界完全取决于其规划能力。由于自然语言可能过于冗长，它会妨碍 LLM 的规划能力。因此，程序化思维（Program-of-Thought，PoT）通过代码提供了更清晰的逻辑表示，使得规划更为清晰（如图 2 (b, c) 所示）。所以，这导致更好的步骤规划推理边界，即。那么，PoT 的推理边界。

• Complex CoT 在推理步骤与性能之间的平衡

• 单次计算负荷缓解：研究表明，通过增加推理步骤，可以缓解单次计算的负荷，从而提升模型的计算边界，这有助于提高整体的推理能力。

• 规划难度增加：然而，推理步骤的过度增加可能带来负面影响：原问题在准确率较高的边界上，经过 Complex CoT，可能落到准确率较低的边界上，其中。这意味着过多的推理步骤可能导致组合推理准确度的下降。

• 在规划与计算负荷之间存在一个平衡：如图 6 所示，随着推理步骤的增加，模型性能在初期显著提高，但当步骤数超过模型的最优推理能力时，性能开始下降。这表明，Complex CoT 在推理步骤数量与计算负荷之间存在一个最佳平衡点。超出这一点，计算负荷的增加会对模型的整体表现产生负面影响。

• Least-to-Most 的分步优化策略

全局规划难度增加：虽然这种策略能够降低局部规划负担，它同时引入了全局分解规划中的额外推理边界。如图 15 所示，接近 70% 的全局规划数超过了 5 步，严重加大了模型规划难度，从而使实际的组合推理边界对应的准确率下降。

• 最短可接受推理路径提示（MARP）

• 最小化推理路径提示：为了减轻与规划相关的认知负担，通过该提示让模型尽可能简洁地回答问题，确保提供简短、清晰和直接的推理路径。

• 可接受推理路径提示：为了更有效地利用推理边界的上限，通过该提示要求模型每一个推理步骤的复杂性在可接受的范围内。

• 推理边界与模型准确率的正相关性：研究者通过对 25 个不同模型的推理边界表现进行分析，发现推理边界与数学任务中的准确率呈现出正相关关系。

• 数学模型与通用模型在推理边界 - 准确率分布上的差异：通过数学数据微调的模型，推理边界 - 准确率分布虽然呈现出正相关，但与通用 LLM 存在显著差异。这可以为未来区分模型是否进行了数学专项训练提供了一个潜在的指标。

• 开源模型在完全可行推理边界上的局限性：开源模型在完全可行推理边界（CFRB）上的表现与闭源模型存在显著差异。几乎所有开源模型的 CFRB 值均为 0，这表明开源模型在高级推理任务上的不足，表明其在未来优化中的潜力。

• 多语言推理：通过将多语言能力、数学计算与推理规划相结合，实验结果表明，这些能力的正交组合后，推理边界依然保持了三类不同的推理边界模式，进一步证实了此方法的普适性和稳定性。

• 医疗推理：类似地，在医疗领域，研究通过将医疗实体推理与多跳推理规划相结合，验证了推理边界在正交组合后仍然保持一致，说明该推理策略同样适用于医疗推理任务。

以上就是《NeurIPS 2024 (Oral) | 如何量化与提升思维链的推理能力边界？》的详细内容，更多关于工程的资料请关注golang学习网公众号！