本文的共同作者是徐豪里和Yan Yuchen。 Xu Hoolei是Zhijiang大学的第一年硕士学生，他的主要研究兴趣着重于研究模型和可解释性的大量推断。 Yan Yuchen是Z Jiang大学的第三年博士研究生，他们的主要研究兴趣专注于出色模型的推理和代理。本文的相应作者是Zhijiang大学的Lu Weiming教授和Shen Yongliang的研究员。随着大型语言模型（LLM）的快速发展，射击技术（COT）已成为提高复杂推理能力的重要范式，尤其是在数学和逻辑等结构化任务中。但是，您是否注意到即使是完善的CRIB数据也具有“跳跃”推断，并且可能会丢失Matterswhat中间步骤？这些程序可以由人类专家“坐着”，但就模型而言，它们可以是UNS距离差距。为了解决这个问题，Zhijiang大学与亚洲微软研究所和香港中国大学一起开发了一种修复左叶和发达婴儿床桥的方法。该实验表明，该方法显着提高了多个数学和逻辑任务的推断精度，并且可以将其纳入知识，增强学习和其他过程（例如“插入和游戏”模块）的蒸馏中。论文链接：https：//arxiv.org/abs/2505.14684项目主页：https：//zju-real.github.io/cot-bridge/code/code repository：https：//github.com/github.com/zju-real/zju-real/mind/mind-the-gapcot，为什么不考虑什么？尽管COT的最初意图是“拉直”大型模型，但研究人员逃脱了许多公共摇篮数据中存在严重低估的问题。思想的跳跃是指上一步和海报之间的中间推理内容的省略CRIB推断链的IOR步骤，这导致了逻辑上的跳跃，并破坏了理论的一致性。这种现象通常来自专家在写作过程中的“经验遗漏”。他们很容易忽略他们认为是显而易见的步骤，因为它们在相关问题上熟练。但是，该模型没有这种“谷物”的专家人类风格。建立完整的逻辑链需要更详细的推理过程，然后逐步进行。文档中提供了典型的示例。对于这个问题，“我是否需要至少发射两个八面骰子，并被抛出以重叠总数？”原始床省略了两个主要的推理链接。 15种类型的出生方式？为什么我们的鸽子巢原理？对于人类而言，这种“差距”很容易，但是模型了解失败是有风险的。通过实验，团队表明，这种结构性缺陷对模型培训产生了巨大的负面影响。降低训练效果：严重UGHT维度跳跃可能会导致低学习效率，而产量损失为27.83％。训练过程中模型收敛的模型显着减慢了婴儿床桥，该桥梁补充了“桥”以考虑模型的跳跃。为了解决数学推理任务中的融合链的问题，研究团队提出了一个思想弹跳的任务。目的是自动检测到推论链中的缺失结构，并完成相应的中间推理步骤以恢复逻辑完整性。此任务包括两个主要提交：1。Salto检测：确定推理链中相邻步骤之间是否存在逻辑飞跃，也就是说，如果丢失了所需的过渡推断。 2。完整的步骤：对于检测到的跳跃位置，生成一个满足推理连贯性的中间步骤。该团队使用ScaleQuestmath作为“理想” COT数据集，据他说，建造了ScaleQM+专用火车ING数据集。研究人员建立了一个“不完整的推理链”，其中包含思想跳跃，通过控制原始推理链中的几个中间步骤，将其与消除的步骤相结合作为训练样本。此设计使您可以创建一个模型。您可以识别不一致的结构，并学会生成适当的内容以完成推断。然后，团队根据QWEN2.5-MATH-7B和受过训练的模型师COT Bridge调整了模型。该模型可以自动发布接收可能具有差距的推理链输入所需的中间步骤，因此充当独立组件，以生成结构完成的推理过程。完成实验结果后的数据集显着改善。 SFT效应研究设备在完成之前和之后使用了两个数学推理数据集Metamasca和Nummanamas的数据，以监督良好调整（SFT）的比较实验。 ThE结果表明，在CRIB桥上完成思想飞跃后的数据导致了多个数学参考任务的绩效改善，最大增益为 +5.87％。这表明，思维链的一致性是限制模型进一步改进的瓶颈之一。重新补充这些“跳跃”将真正帮助该模型真正学会思考。改善插头和游戏，蒸馏和增强学习过程的训练效果。根据主要实验，这项研究进一步评估了在更广泛的训练过程中COT桥的适应性，包括两个典型的情况：知识蒸馏和增强学习。改进的蒸馏数据：使用大型模型为数学问题生成解决方案是当前的培训数据源之一。该团队将COT桥应用于使用蒸馏QWEN2.5-Instruct-72B获得的数据。实验结果表明完整的区域疾病数据可提高 +3.02％的准确性。结果表明，即使原始生成的内容是高质量的，推理过程的结构优化也可以提供额外的好处。加强学习动态的寒冷开始：在强化学习范式中，良好调整的早期监测模型对最终表现有重大影响。研究人员使用COT-Bridge生成的数据进行SFT，并继续基于此训练。比较实验表明该解决方案是优越的。可以用作“冷启动模型”的沼泽，并且在训练开始时具有更高的起点，最终是更好的收敛性能。在Numinamath数据集中，基于完成数据的训练模型的最终精度比RL阶段中原始解决方案的最终精度高3.1％。提高概括能力并改善OOD推论E性能。为了验证COT-Bridge是否具有通过任务迁移的能力，已经研究了逻辑推理任务作为OOD场景中模型的评估参考点，例如作品集，Logicqa，ReforkWriter，Recllor，Recllor和Rouletaker。实验结果表明，对于大多数逻辑任务，使用互补数据的训练模型的准确性改善了不同程度。 Metalama 3.1-8b的平均增加为 +2.99％，QWEN2.5-MATH-1.5B的平均增加约为0.99％。此外，模型产生的未付结果的百分比减少了，这表明结构控制和推断的一致性更强。这意味着，结束的结束链不仅可以提高数学能力，而且还通过“解释如何推断”并在广义逻辑任务中提高了模型。