- 翻译英文论文能是否可以提高论文水 72
- 仪表与电路相关的中文学术期 57
- 分享投稿期刊知网检测问题解答 54
- 北京大学材料学院郭少军课题组在《 50
- JOURNAL OF ORAL 45
- 西安交通大学全球环境变化研究院程 53
- 电机类SCI、EI国际期刊都有哪 35
- 出国留学论文发表的期刊选择 54
- 如何选择一个适合出版独著的出版社 56
- 生命学院欧光朔课题组报道蛋白质与 43
- 定性研究和定量研究之间都有什么联 58
- 北京大学生命学院唐世明课题组发现 40
- 关于农业推广方向论文题目借鉴及期 50
- 副高职称评审论文的查重率多少合格 80
- 开展医疗学术会议的基本步骤 60
- 中国水利水电科学研究院 20412
- 北京中经蓝山文化交流有限公司 1400
- APISE 20371
- 上海宝瀚会展服务有限公司 17405
- 上海决策者经济顾问有限公司 17383
- Elsevier 20402
- APISE 22380
- 青岛新星大酒店 1383
- 北京小猬信息科技有限公司 20396
- 中华医学会行为医学分会 17391
- 泰安市迈迪医疗电子有限公司 17401
- 西北工业大学 22379
- 北京建筑工程学院 17389
- 北京市华夏中医药发展基金会 1439
- 云南水富云天化股份公司 17375
- 西北工业大学 17415
- 艾会网 1425
- 杭州爱丁堡酒店 17389
- VEAEW 7383
- 淄博友好美容整形医院 17394
人工智能研究院朱松纯、朱毅鑫团队利用代数理论赋予人工智能解决IQ测试的归纳推理能力取得重要进展
2024/04/22
近日,人工智能研究院朱松纯、朱毅鑫教授团队在ECCV 2022发表论文“Learning Algebraic Representation for Systematic Generalization in Abstract Reasoning”,提出了ALANS模型,利用代数理论大幅度提升了现有智能系统的归纳推理能力。
假设给出两个序列“a,b,c”和“d,e,f”并要求你依此填写“g,h,?”中问号所对应的字符,你基本上可以毫不费力地填上“i”,因为这样的序列构成了一种顺序结构,每个字符都是上一个字符在字母表中的后一项。这个问题看似简单,但其中所涉及的推理能力却不容忽视:你需要通过仅仅两个例子归纳出其中可能蕴含的隐藏关系,并应用这个关系,推断接下来的问题中所需要填写的内容。虽然推理过程看似复杂,但是这种能力其实在我们很小的时候就已经能够掌握。在心理学的研究中,已经有不少的假说尝试对这样的能力进行解释,包括“思想语言”(language of thought)、“物理符号系统”(physical symbol system)和“代数思维”(algebraic mind)。
尽管这样的能力在人类成长早期就已经出现,但我们在研究中发现,现有的人工智能系统在类似的问题中仍然无法取得人类水平的表现。具体表现为虽然我们给予了大量的参考数据用于学习,但是现有方法所训练出来的人工智能系统模型,还是停留在计算统计量中的相关性,没有能够真正掌握归纳推理的精要:从现有的观察中抽象隐藏规律,并依照这样的规律去解决或预测接下来可能发生的事件。
到底怎样的人工智能才能解决类似的归纳推理问题?在这项研究中,我们提出一种代数学习的方法来尝试解决这类问题。在代数理论中,一条重要的公理就是皮亚诺公理。这条公理形式化地定义了代数系统和数字系统的根基,即如何构建一种公理化的体系去扩展我们的抽象符号系统。基于此,我们设计了一套能够进行关系归纳的系统,来解决智能测试中的核心问题:瑞文测试(Raven's Progressive Matrices),也就是人们常说的IQ测试[1, 2, 3]。
图1 认知能力环,瑞文测试位于这个认知能力环的中心
图2 瑞文测试的一个例子
在心理测量中,瑞文测试一直被认为是认知能力测试中的核心。它囊括了各种认知推理的能力,包括数字推理[4]、几何类比,以及最重要的归纳推理。在这种测试中,被试需要从提供的8张图片中寻找隐藏的关系,并利用这种关系去填补最后一张图片中的空缺。人类在这个任务上的表现与他的“通用智能”(general intelligence)和“流体智能”(fluid intelligence)密切相关,因此被普遍认为能够反映一个人的智商(IQ)。
近几年来,有一些深度学习的方法尝试提升人工智能系统在这个任务上的表现,但是我们发现,这类方法仅仅局限于学习题目表面上的统计相关性,无法深入发现题目中的规律,亦不能对这些规律进行拓展。
为了解决这个问题,我们提出了一种基于代数理论的神经半符号方法ALANS。ALANS使用神经方法理解基本的图片,再使用符号方法去推断隐藏的关系。
具体地,ALANS使用神经网络的方案对每个题目中的图片先进行初步的解译:如理解每个物体所处的位置,他们的大小、形状、颜色是什么等。这些初步的解译结果并不是简单的堆叠;相反地,我们对每个物体保留一种概率的置信度。这样的概率置信度有助于我们对整个系统进行概率上的解读,也有助于我们保持系统的连续可倒特性。这些对物体的初步理解被后续的置信分析过程整理成对一张图片的整体理解。
图3 使用神经方法进行单个物体的理解
图4 对一张图片中的所有物体进行置信分析
随后的符号过程使用代数理论去解答隐藏的关系。首先,符号系统利用皮亚诺公理将对单张图片的理解转化为高阶矩阵空间中的点。这些高维空间的点有助于我们将原本离散的代数运算符转化为矩阵空间中的变换。我们利用表示理论和代数系统的封闭性,将解析代数运算的问题转变为代数系统上的优化问题。选取最简单的线性优化问题来建模代数关系,不仅有解析解,且具有良好的可解释性。我们用每个题目中的题干部分分析隐藏关系,然后将分析所得的隐藏关系作用到题干中的缺失部分以预测可能的结果,再将预测的结果与选项做比较,获得最终的答案。由于我们的代数推理系统并不依赖于每个具体的运算符,而是可以在推理的过程中归纳新的运算符,因此我们称我们的方法是半符号的。
图5 使用代数理论归纳题干图片中的隐藏关系
图6 根据归纳出的关系,预测最后一个序列中的剩余项
在实验中我们发现,ALANS模型在RAVEN [1] 和I-RAVEN [5] 两个最常用的IQ测试数据集合中超过了现有的模型。它不仅泛化性能优异,而且在训练的过程中还能自动学习出不同的视觉表征和规则表征[6]。
表7 ALANS在各项泛化指标上与现有模型进行对比
此外,ALANS不仅仅能作选择,还能做答案的生成,这点是与现有模型的一个巨大区别[7]。我们不仅能够给定选项找答案,在不给选项的情况下,我们也能生成一张答案的图片。下图就是这样的两个例子。我们利用ALANS方法,直接补全了题干中的缺失部分。这个补全方法除了在一些无关的随机变量上与选项中的正确答案不同,其他都与正确答案一模一样[8, 9]。
图8 在两个例子中,ALANS直接生成最后的答案
在这项工作中,我们提出了ALANS模型。ALANS模型利用代数理论大幅度提升了现有智能系统的归纳推理能力。它不仅有一个视觉感知模块用于理解图片中的部分以及各部分组成的整体的特性,还具有一个能够进行代数推理的归纳系统。这套归纳系统利用皮亚诺公理和表示理论将离散的代数操作转化为连续的优化问题。通过解决这些容易的优化问题,我们不仅能够从小数据中归纳隐藏的关系,还能使得这些关系的归纳过程具有泛化性和扩展性。
未来,我们希望能够继续拓展这套归纳推理系统,引入更多、更加全面的代数结构,以帮助我们解决人工智能领域面对的各种挑战性难题。
参考文献:
[1] Zhang, Chi, et al. "Raven: A dataset for relational and analogical visual reasoning." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019.
[2] Barrett, David, et al. "Measuring abstract reasoning in neural networks." International conference on machine learning. PMLR, 2018.
[3] Carpenter, Patricia A., Marcel A. Just, and Peter Shell. "What one intelligence test measures: a theoretical account of the processing in the Raven Progressive Matrices Test." Psychological review 97.3 (1990): 404.
[4] Zhang, Wenhe, et al. "Machine number sense: A dataset of visual arithmetic problems for abstract and relational reasoning." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 34. No. 02. 2020.
[5] Hu, Sheng, et al. "Stratified rule-aware network for abstract visual reasoning." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 35. No. 2. 2021.
[6] Zhang, Chi, et al. "Abstract spatial-temporal reasoning via probabilistic abduction and execution." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[7] Zhang, Chi, et al. "Learning perceptual inference by contrasting." Advances in neural information processing systems 32 (2019).
[8] Zhang, Chi, et al. "Acre: Abstract causal reasoning beyond covariation." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[9] Zhu, Yixin, et al. "Dark, beyond deep: A paradigm shift to cognitive ai with humanlike common sense." Engineering 6.3 (2020): 310-345.
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
北京大学地空学院岳汉、宋晓东团队揭示2023年土耳其大双震的超剪切触发和级联破裂过程
TESTING研究结果再次在JAMA发表并提出了IgA肾病治疗新方案
华中科技大学同济医学院附属同济医院在糖尿病心肌病发病机制研究方面取得进展
北京大学环境学院左魁昌课题组在Nature Reviews Materials发文阐述电化学水处理过程与材料
材料学院刘锴、航天航空学院李晓雁在MoS2薄膜类孤立波变形和传播研究上取得重要进展
北京大学生命科学学院伊成器和合作者报道m1A修饰酶在调控造血干细胞衰老过程中的新机制
中国科学技术大学在C家族GPCR成员钙敏感受体(CaSR)激活机制领域取得新进展
第四届计算机图形学、图像与虚拟化研究国际会议(ICCGIV 2024)(2024-05-17)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024环境、能源与材料科学国际会议(ICEEMS 2024)(2024-6-25)
2024年无线通信与信息安全国际会议(ICWCIS 2024)(2024-5-23)
2024云计算、性能计算与深度学习国际学术会议(CCPCDL 2024)(2024-6-21)
2024交通运输、机械工程与电子科学国际学术会议(ICTMEES 2024)(2024-5-26)
2024年大数据,供应链与物联网国际会议(BDSCIT 2024)(2024-6-30)
2024年交通运输工程与物流系统国际会议(ICTELS2024)(2024-6-28)
2024智能控制与信息工程国际学术会议(ICICIE 2024)(2024-5-25)
2024年工程材料与机械制造技术国际会议(EMMMT 2024)(2024-7-27)
2024年机械,测绘技术与航天航空国际会议(ICMSMTA 2024)(2024-6-25)
2024年第六届管理科学与工程全球会议(WCMSE 2024)(2024-8-23)