人工智能研究院朱毅鑫及合作者在“物理推理中的学习机制”研究取得进展
2024/04/15
859近日，人工智能研究院朱毅鑫助理教授团队在NeruIPS发表论文“On the Learning Mechanisms in Physical Reasoning”，介绍了物理推理中两种学习机制的概念，即基于直觉的推理和基于动态轨迹的推理。
人类在解决生活中的物理难题时候有两种推理模式，第一种是基于直觉的推理，例如看到一摞堆叠的物体，能够直接通过直觉迅速判断出是否会倒，如图1，第二种是基于动态轨迹的推理，例如在多物体交互的游戏中通过想象各物体的运动轨迹来判断最终的游戏状态，如图2中的物理推理游戏[2]。
图1：判断堆叠的物体是否稳定[1]
图2：物理推理游戏，通过放置一个工具使得红球到达绿色区域
先前研究者普遍认为，解决这类复杂物理推理游戏需要基于动态轨迹预测，即首先训练一个动态轨迹预测模型去预测每一个时间节点各个物体的状态（位置，速度等），然后据此判断最终游戏的目标是否会被达到 [4, 5, 6]。
本文[8]质疑了原有的假设，并通过实验证明了智能体通过直觉也能解决复杂的物理难题，即只让智能体从初始场景中学习，然后直接给出最终任务成功或者失败的判断，而不需要从初始场景中预测未来物体可能的轨迹。本文在一个类似的物理推理数据集PHYRE[3]上做了实验，PHYRE提供了一系列在二维世界中的物理难题，每一个物理难题都有一个目标状态（如让绿色的球碰到紫色的物体）和一个初始状态，这些难题可以通过在环境中放置一个或多个新的物体被解决，模拟器会自动运行，来检验放置新物体的动作能否达到目标状态。除此之外，本文还通过实验论证了从动态轨迹中学习的潜在不足，并为未来物理推理的研究提供了具有前景的方向。本文共设计了如下四个实验逐步展开论证。
图3：物理推理游戏PHYRE（来自https://phyre.ai/）
实验一：对先前固有观念提出挑战
在第一个实验中，我们将从直觉中学习的模型和目前在PHYRE任务上表现最好的动态轨迹模型RPIN进行了比较，发现从直觉中学习的模型达到了和RPIN同样的表现，并且在从没见过的任务上表现超过了RPIN。这一现象有力的验证了从直觉中学习的巨大潜力，并对从轨迹中学习的固有观念提出了挑战。
实验二：理论上来讲，动态轨迹到底对物理难题的解决有没有帮助呢？
受到第一个实验的启发，本文设计了第二个实验来验证动态轨迹到底对于最终任务状态的判断是否有用。为了回答这个问题，本文从模拟器中直接抽取了各个物体的真实运动轨迹，据此让智能体判断能否达到最终的目标，实验结果发现，无论是在相似游戏场景测试（within）还是从未见过的游戏场景测试（cross）下，随着智能体输入轨迹帧数的增多（1，2，4，8），智能体解决物理游戏的表现都会变好（见图2），由此得出结论：如果提供准确的轨迹，动态预测会对物理难题的解决有帮助。
图4：智能体解决物理游戏的表现随输入轨迹帧数的变化
实验三：为什么实际应用中，动态轨迹对物理难题的解决没有帮助呢？
那么既然动态轨迹预测对于物理难题的解决确实有用，那为什么实际应用中，通过设计动态模型预测轨迹对于物理问题的解决没有积极作用呢？为了回答这个问题，本文设计了一种动态轨迹预测模型，通过严格的变量控制，来进行消融实验。具体地，对比了直觉模型（只有任务状态判断模块），串行动态预测模型（先训练动态预测模块，再训练任务状态判断模块）和并行动态预测模型（同时训练动态预测模块和任务状态判断模块）在相同训练设置下的表现，实验结果显示：
串行动态预测模型变现还不如直觉模型，因为动态预测模块很难获得像实验二中的精准轨迹，所以给后续的任务状态判断模块引入了噪声，反而对问题的解决带来了负面影响。
并行动态预测模型退化成了直觉模型，因为同时训练动态预测模块和任务状态判断模块可以让模型将更多注意力转移到最终任务状态的判断上，通过忽视动态预测模块预测出的轨迹来避免其引入的负面干扰。
通过这两点可以得出结论：实际设计的从轨迹中学习的模型因为不可避免地具有不准确性和噪声，所以反而干扰了最终任务状态的判断，表现近似或不如直觉模型。
图5：串行并行动态预测模型预测出的轨迹
实验四：更多的直觉模型
基于此，本文设计了第四个实验，尝试测试更多从直觉中学习的模型来进一步验证其有效性。实验结果发现，这些模型达到了或超过了从轨迹中学习的模型的表现（见表1），而且从直觉中学习的模型流程简单，也符合人类利用常识知识（AI中的暗物质[7]）对游戏解的直觉性判断（如放置的红色小球应该在距离绿球相对近的地方并且能够对其施加某种影响，见图3），可谓一种有用且高效的方法。
图6：直觉模型对PHYRE游戏的解决方案
表1：从直觉中学习和从轨迹中学习模型的表现对比
在本文中，我们介绍了物理推理中两种学习机制的概念，即基于直觉的推理和基于动态轨迹的推理。虽然人们普遍认为对动态轨迹的预测有助于下游推理，但在实验一挑战了这一基本假设：简单的直觉模型有效地学习执行物理推理，而无需任何来自基本事实的额外监督动态轨迹信号。这一违反直觉的发现促使我们质疑动态轨迹的预测是否在物理推理中发挥重要作用。通过实验二，我们发现动态轨迹的预测可以提高解决问题的能力。通过实验三，我们进一步探讨了为什么动态轨迹预测模型在物理推理中表现不佳。我们注意到，嘈杂的动态预测对推理的整体性能产生负面影响；在并行动态预测模型中，动态轨迹预测模型退化成直觉模型。我们推测，从长远来看，动态预测的不确定性不可避免地累积，导致最终表现不佳。通过实验四，我们深入研究更多的直觉模型并检查其 PHYRE 中的性能。
图7：论文研究思路
为什么动态轨迹预测模型难以做出准确的预测？我们总结了以下可能的原因：
?动态轨迹预测本身具有挑战性，尤其是在全新的场景中。一方面，预测长阶段轨迹本质上是困难的，因为一些物体之间的交互，例如碰撞，难以预测。另一方面，错误将从早期累积，导致噪声指数级上升。不幸的是，当前的动态预测模型无法稳健地预测物理场景中的准确轨迹。
?基于像素的表示比基于物体的表示具有更多的信息，而基于物体的表示更简洁。可以说，基于像素的表示可能包含所有必要的信息，例如对象的形状、潜在的碰撞和角速度。然而，这样的表示非常嘈杂，并且很难提取有用信息。相比之下，基于物体的表示在设计上是简洁的，并且遵循物理定律的一般原则。然而，以物体为中心的方法在场景中失去了重要的线索，尤其是对于碰撞预测来讲。还没有一种特征表示方法可以总结物理建模的所有必要信息，这一事实进一步使物理推理复杂化。
未来研究展望：
?在实验中，我们使用了比较通用的直觉模型，没有针对物理推理任务的更多设计。我们认为，设计更能捕捉到物理场景空间信息的感知模块，将增强直觉模型的感知能力和泛化能力。
?虽然物理轨迹预测非常困难，但是它表现的上限能力具有前景。我们非常好奇，物理预测对于其他推理任务的作用，例如反事实推理以及假设推理。我们认为物理轨迹预测仍然需要更进一步的改进，我们期待在这个领域里的突破。
本文共同一作为李世乾（北京大学）、武可雯（清华大学），通讯作者张驰（北京通用人工智能研究院）、朱毅鑫（北京大学）。
参考文献：
[1] Allen, Kelsey R., Kevin A. Smith, and Joshua B. Tenenbaum. "Rapid trial-and-error learning with simulation supports flexible tool use and physical reasoning." PNAS (2020)
[2] Battaglia, Peter W., Jessica B. Hamrick, and Joshua B. Tenenbaum. "Simulation as an engine of physical scene understanding." PNAS (2013)
[3] Bakhtin, Anton, et al. "Phyre: A new benchmark for physical reasoning." NeurIPS (2019)
[4] Qi, Haozhi et al. "Learning Long-term Visual Dynamics with Region Proposal Interaction Networks", ICLR (2021)
[5] Girdhar, Rohit, et al. "Forward prediction for physical reasoning." arXiv preprint arXiv:2006.10734 (2020)
[6] Harter A, Melnik A, Kumar G, Agarwal D, Garg A, Ritter H. Solving Physics Puzzles by Reasoning about Paths. arXiv:2011.07357 (2020)
[7] Yixin Zhu, Tao Gao, Lifeng Fan, Siyuan Huang, Mark Edmonds, Hangxin Liu, Feng Gao, Chi Zhang, Siyuan Qi, Ying Nian Wu, Joshua B. Tenenbaum, Song-Chun Zhu. "Dark, Beyond Deep: A Paradigm Shift to Cognitive AI with Humanlike Common Sense. " Engineering (2020)
[8] Shiqian Li, Kenwen Wu, Chi Zhang, Yixin Zhu. "On the Learning Mechanisms in Physical Reasoning." NeurIPS (2022)
鏂囩珷鏉ユ簮北京大学新闻网锛屽垎浜彧涓哄鏈氦娴侊紝濡傛秹鍙婁镜鏉冮棶棰樿鑱旂郴鎴戜滑锛屾垜浠皢鍙婃椂淇敼鎴栧垹闄ゃ
-
2026骞寸浜斿眾鏈哄櫒瀛︿範銆佷簯璁＄畻涓庢櫤 26
-
2026骞寸浜屽眾璁＄畻鏈鸿瑙変笌鏈哄櫒瀛︿範 627
-
2026骞6鏈堜紭璐ㄥ浗闄呭鏈細璁帹鑽 1157
-
2026骞存櫤鎱ф暀鑲蹭笌鏁版嵁鎸栨帢鍥介檯瀛︽湳 813
-
2026骞寸11灞婄敓鐗╁尰瀛︿俊鍙蜂笌鍥惧儚 697
-
2026璧勬簮銆佸寲瀛﹀寲宸ヤ笌搴旂敤鏉愭枡鍥介檯 2559
-
2026骞村浘鍍忓鐞嗕笌鏁板瓧鍒涙剰璁捐鍥介檯 2369
-
2026骞存満姊板伐绋嬶紝鏂拌兘婧愪笌鐢垫皵鎶鏈 6849
-
2026骞存潗鏂欑瀛︺佷綆纰虫妧鏈笌鍔ㄥ姏宸 2524
-
2026骞存捣娲嬬瀛︺佹按鍒╁伐绋嬩笌鐜绠 06-18
-
2026骞寸幆澧冨伐绋嬨佹潗鏂欑瀛︿笌寰幆缁 06-18
-
2026骞磋埅绌哄姩鍔涖佹祦浣撳姏瀛︿笌鐑墿鐞 06-18
-
2026骞村湴鐞冨寲瀛︺佹牳鐗╃悊涓庡湴璐ㄥ鍥 06-18
-
2026骞村井鏈虹數銆佺墿鐞嗗涓庡缓妯′豢鐪熷浗 06-18
-
2026骞存満姊板伐绋嬨佺數瀛愭妧鏈笌鑷姩鍖 06-18
2026骞寸數瀛, 閫氫俊涓庤绠楁満绉戝鍥介檯浼氳 .
绗簲灞婂厛杩涘埗閫犳妧鏈笌鍒堕犵郴缁熷浗闄呭鏈細璁紙I.
绗簩灞婅埅绌鸿埅澶┿佷俊鎭妧鏈笌鎺у埗宸ョ▼鍥介檯瀛︽湳浼.
绗竷灞婄粡娴庣鐞嗕笌澶ф暟鎹簲鐢ㄥ浗闄 瀛︽湳浼氳锛圛.
绗竷灞婂績鐞嗗仴搴蜂笌鏁欒偛銆佷汉鏂囧彂灞曞浗闄呭鏈細璁紙.
2026骞存櫤鑳藉尰瀛﹀拰鍥惧儚璁＄畻鍥介檯浼氳(IMI.
绗叚灞婂厜瀛︽垚鍍忎笌鍥惧儚澶勭悊鍥介檯瀛︽湳浼氳 (IC.
2026骞寸涓冨眾鎺у埗, 鏈哄櫒浜轰笌鏅鸿兘绯荤粺鍥介檯.
绗叚灞婄數瀛愪俊鎭伐绋嬩笌璁＄畻鏈烘妧鏈浗闄呭鏈細璁紙.
绗節灞婅绠楁満淇℃伅绉戝涓庝汉宸ユ櫤鑳藉浗闄呭鏈細璁(.
2026骞存櫤鑳芥満鍣ㄤ汉涓庢帶鍒舵妧鏈浗闄呬細璁(CI.
2026骞翠紶鎰熷櫒鎶鏈佽嚜鍔ㄥ寲涓庢櫤鑳藉埗閫犲浗闄呬細.
绗簩灞婂厛杩涚數瀛愩佹櫤鑳芥妧鏈笌璁＄畻鍥介檯瀛︽湳浼氳锛.
2026骞撮氫俊, 鏁版嵁绉戝涓庢櫤鑳借绠楀浗闄呬細璁.
2026骞寸浜斿眾绠楁硶銆佹暟鎹寲鎺樺拰淇℃伅鎶鏈浗闄.
2026骞翠汉宸ユ櫤鑳戒笌鏈哄櫒浜虹郴缁熷浗闄呬細璁(IC.
2026骞寸浜屽眾鐢靛姏涓庡彲鎸佺画鑳芥簮鎶鏈浗闄呬細璁.
2026IEEE绗笁灞婁簹娲插厛杩涚數姘斾笌鐢靛姏宸ョ▼.
-
2026 JCR褰卞搷鍥犲瓙姝ｅ紡鍙戝竷272
-
涓浗绉戝崗鍙戝竷2025骞淬婇噸瑕佸鏈858
-
2026骞存柊閿愬垎鍖猴紙鍘熶腑绉戦櫌鏈熷垔5648
-
2025骞翠袱闄㈤櫌澹閫夋湁鏁堝欓変汉5280
-
濂藉鏈:绉戠爺缃戝潃瀵艰埅|瀛︽湳澶存潯鍒6842
-
2025骞村浗闄呮湡鍒婇璀﹀悕鍗曞彂甯!7028
-
2025骞翠腑绉戦櫌鏈熷垔鍒嗗尯琛ㄩ噸纾呭彂24788
-
鍚夋灄澶у鏍￠暱寮犲笇锛氬鏈細璁腑鐨勬彁8093
-
鐮旂┒琛ㄦ槑澶槼鑰鏂戠粓绔縺娉㈠彲浣滀负鍦06-24
-
鐮旂┒鎻ず钘烩旇弻鍏辩敓浣撶郴寮哄寲鍏绘畺灏06-24
-
鍙屽姛鑳芥墜鎬у弻鏍搁晬鍌寲鐮旂┒鑾疯繘灞06-24
-
鐮旂┒鍙戠幇閾舵渤绯讳腑蹇冩瀬绔幆澧冧笅澶ц川06-24
-
搴熷鏂欏崌绾у埄鐢ㄧ爺绌跺彇寰楄繘灞06-24
-
纭掑お闃宠兘鐢垫睜鐮旂┒鍙栧緱杩涘睍06-24
-
鍗椾含澶у鐜嬫稕鍥㈤槦棣栨鍙戠幇110浜06-24
-
中国医药教育协会 21448
-
北京达华低碳院 2228
-
中国科技期刊编辑学会 18445
-
中国科学院研究生院工程教育学院 23520
-
清华大学研究院 18557
-
东方航空公司 18529
-
南京理工大学 8518
-
IAASE 8323
-
上海广润广告有限公司 18246
-
上海电子信息职业技术学院 23419
-
中国生物学会医学 21515
-
武汉会务公司 23398
-
复旦大学遗传学研究所 21479
-
2017第二届能源工程与环境保护 24490
-
百奥泰国际会议（大连）有限公司 21301
-
国际工学技术出版协会 2387
-
百奥泰 2549
-
中国科学院科学时报社 23545
-
WWX 23277
-
brachy+brachy 23286
