7月6日，清华大学自动化系黄高团队牵头完成的论文《灵活性陷阱：反思扩散语言模型中任意顺序的价值》（“The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models”） 荣获第43届国际机器学习会议（International Conference on Machine Learning，ICML）杰出论文奖（Outstanding Paper Award，原最佳论文奖）。该论文是ICML自设立大会最佳/杰出论文奖二十余年以来，首篇完全由中国单位完成的获奖成果。

获奖证书

当前，以GPT为代表的大模型大多采用“下一词元预测”（Next-Token Prediction）的自回归建模范式。该范式按照从左到右的顺序逐词元生成文本，在通用语言理解和生成等任务中展现了前所未有的复杂推理能力。然而，其固定的生成顺序也限制了模型在解码过程中的灵活性和高效性。

近年来，扩散语言模型（Diffusion Language Model, DLM）作为一类新型生成模型逐渐兴起。不同于自回归语言模型，扩散语言模型不依赖从左到右的解码顺序，具有更加灵活的“任意顺序生成”特点。直观上，这种灵活性有助于模型在数学推理、代码生成等复杂任务中探索更丰富的解题路径。

然而，该论文提出了一个反直觉的发现：扩散语言模型“任意顺序解码”的灵活性并未真正带来预期中的推理能力边界扩展。论文分析表明，模型在高置信度优先的解码机制下，往往会绕开那些不确定但具有关键链接作用的词元，进而先生成更具确定性的内容，从而过早锁定推理路径，反而牺牲了生成内容的多样性。而这种多样性对于当前广泛采用的强化学习后训练（post-training）是至关重要的。

为此，论文进一步提出了极简的JustGRPO后训练算法：在强化学习后训练阶段，为鼓励模型直面推理中的关键不确定性，放弃了扩散语言模型看似更灵活的“任意顺序解码”方式，而采用最朴素的自回归顺序解码，同时使用简单成熟的GRPO（Group Relative Policy Optimization）强化学习算法进行优化。由于这一过程与标准语言模型后训练范式更加一致，JustGRPO方法无需引入复杂的采样策略或额外训练目标，极大简化了模型后训练流程。值得一提的是，该方法仅在后训练阶段采用顺序解码，而在推理阶段仍可使用任意顺序进行生成，因此保留了扩散语言模型在生成效率和灵活性等方面的优势。

图1. 本研究发现，扩散语言模型的任意顺序解码可能绕开高不确定性但关键的词元，反而导致探索空间坍缩。基于该发现，论文提出了极简的JustGRPO算法，即在后训练阶段采用自回归顺序解码，使模型直面关键不确定性，既简化了训练过程，又保留了扩散语言模型的高效性和灵活性，在数学推理和代码生成任务上达到了世界领先水平。

实验结果表明，JustGRPO在多个数学推理和代码生成国际评测榜单上的表现显著超越Meta、NVIDIA、MIT、UCLA等机构提出的现有扩散语言模型后训练方法，达到了世界领先水平。在训练效率方面，论文进一步提出JustGRPO-Fast方法，通过仅在具有最高熵的25%词元位置进行强化学习前向计算，可在不牺牲训练效果的前提下，将前向计算效率提升4倍。

该工作揭示了扩散语言模型任意顺序生成的灵活性并不必然带来更强的推理能力，并分析了产生该现象的原因。同时，该论文为未来扩散语言模型的强化学习训练提供了一个简洁、易实现且具有启发性的基线方法，也为如何结合自回归语言模型和扩散语言模型这两类生成式大模型各自优势提供了新的思路和方向。

论文的前三位作者分别为清华大学自动化系博士生倪赞林、王慎执和乐洋，通讯作者为清华大学自动化系黄高副教授。