文章主要内容总结
本文提出了一种名为“Thinking with Nothinking Calibration（JointThinking）”的新型上下文学习（ICL）范式，旨在提升推理大型语言模型（RLLMs）的推理准确性。该方法的核心思路是：让模型并行生成两种答案——一种基于“Thinking模式”（生成详细推理链后得出答案），另一种基于“Nothinking模式”（直接生成答案，无详细推理）。若两种答案一致，则采用Thinking模式的结果；若不一致，则触发第二轮Thinking，结合原问题和两种候选答案进行再推理以解决分歧。
实验表明，JointThinking在多个数学推理基准（如GSM8K、MATH500、AIME24等）上显著优于少样本思维链（few-shot CoT）、多数投票等现有方法，且答案鲁棒性更强。与训练基的最先进（SOTA）方法相比，其在分布内任务上性能相当，但在分布外任务上表现更优。此外，该方法仅在约6%的情况下需要第二轮推理（如GSM8K数据集），延迟开销极小，且随着模型规模增大，第二轮推理的性能提升明显，显示出良好的可扩展性。
文章创新点
- 提出新型ICL范式：首次利用Thinking模式（详细推理）与Nothinking模式（直接答案）的结构差异和互补性，设计了JointThinking方法，通过一致性校验和选择性第二轮推理提升准确性。
- 性能优势显著：在多个推理基准上超越少样本思维链、多数投票等方法，且在分布外任务上的泛化能力远超训练基方法。
- 低开销与高可扩展性
