-
paperpass查重可信吗 51
-
专利公布和专利授权的重要性以及它 82
-
如何避开掠夺性期刊 18
-
浅析长江文艺出版社的出版方向 70
-
探讨服装与服饰设计论文摘要的写作 41
-
了解学术前沿动态的途径常见方法 55
-
具体的注释规范或标准有哪些? 37
-
关于《中华临床营养杂志》期刊内容 57
-
北京大学量子材料科学中心在二维高 96
-
论文格式不规范会有哪些影响 26
-
提交会议论文后,你可以利用等待期 88
-
中国知网查重数据库收录原则有哪些 74
-
清华长庚医院潘钰团队与电子工程系 154
-
被El检索到的会议是否意味着其含 76
-
浅析IEEE与EI 80
-
武汉金钥匙会务服务有限公司 20411
-
武汉工程大学 20429
-
材料工程与应用国际会议 23482
-
山东诚城园区运营管理有限公司 7431
-
宁夏大学旅游系 22415
-
2016年人类社会学国际会议 1404
-
武汉理工大学 23389
-
APISE 22432
-
工业和信息化部软件与集成电路促进 20403
-
EQ3 7394
-
安徽伟风汽车销售公司 20433
-
长春新吉粮大酒店 17443
-
中国科学院电子学研究所 22427
-
HKSME 22423
-
南京理工大学 7410
-
深圳市汉威展览策划有限公司 17398
-
北京泛玟商贸有限责任公司 20443
-
上海东华大学 20416
-
PCIM-Asia研讨会 23410
-
北京富邦投资顾问有限公司 22434
北京大学人工智能研究院杨耀东课题组TorchOpt开源项目被PyTorch纳入生态
2024/03/27
可微编程在高级语言中实现了自动计算导数,从神经网络的反向传播到贝叶斯推断和概率编程,可微编程的广泛应用极大地推动了ML及其应用的进步。它实现了高效且可组合的自动微分(AD)工具,为可微优化[1, 2]、模拟器[3, 4]、工程[5]和科学[6]的发展铺平了道路。不断涌现的可微优化算法凸显了可微编程的核心地位。
近日,北京大学人工智能研究院杨耀东课题组主导的开源项目TorchOpt,一款基于PyTorch的高效可微优化库,被PyTorch官宣纳入生态,并被机器学习期刊Journal of Machine Learning Research(JMLR)接收。
PyTorch官宣将TorchOpt纳入生态
TorchOpt是一个基于PyTorch的库,其统一的编程抽象、高性能的分布式执行运行时以及对多种微分模式的支持,为可微优化带来了革命性的变革。(TorchOpt项目在GitHub上的地址https://github.com/metaopt/torchopt)
TorchOpt具有以下三种特性:
●多样性:TorchOpt包含三种微分模式——显式微分、隐式微分和零阶微分,满足各种可微优化需求。
●灵活性:TorchOpt提供功能和面向对象的API,以满足不同用户的需求。您可以使用类似于JAX或PyTorch的风格实现可微优化。
●高效性:TorchOpt提供CPU/GPU加速的可微优化器、基于RPC的分布式训练框架以及快速树操作,极大地提高了双层优化问题的训练效率。
TorchOpt融合了两个关键方面——统一且富有表现力的可微优化编程抽象和高效分布式执行运行时。
统一且表达性强的可微分优化编程抽象
TorchOpt提供了一种统一的编程抽象,可以高效地定义和分析可微优化程序,适用于显式、隐式和零阶梯度。
TorchOpt的微分模式图。通过将问题构建为一个可微分问题,TorchOpt为反向传播提供了自动微分支持(虚线所示)
TorchOpt的微分范式通过将问题表述为可微问题,为反向传播(虚线)提供AutoGrad支持。
TorchOpt提供了一系列从低级到高级,以及函数式(Functional Programming)和面向对象(Object Oriented Programming)的程序接口,使用户能够将可微优化纳入PyTorch生成的计算图。具体来说,TorchOpt支持处理可微优化问题的三种微分模式:
(i)显式梯度用于展开优化;
(ii)隐式梯度用于基于方程求解的迭代优化;
(iii)零阶梯度估计用于非光滑/非可微函数的优化。
TorchOpt支持处理可微优化问题的三种微分模式
TorchOpt提供了高性能的运行时和分布式训练支持,包含了多种加速解决方案,支持GPU和CPU上的快速微分,并具有多节点多GPU的分布式训练功能。下图显示了TorchOpt与其他基线在CPU/GPU加速算子和分布式训练方面的比较。
TorchOpt与其他基线在CPU/GPU加速op和分布式训练方面的比较
上图中显示TorchOpt的性能,(a)和(b)是不同参数大小下TorchOpt和PyTorch的前向/后向时间(Adam 优化器)比较,(c)是使用 RPC 分布式框架的多 GPU 加速实现与顺序实现的训练加速比。
对于PyTorch研究人员和开发者,TorchOpt的特性使其能够高效地声明和分析各种可微优化过程。
TorchOpt是一个新颖且高效的基于PyTorch的可微优化库。本研究的实验结果突显了TorchOpt作为支持PyTorch中具有挑战性的梯度计算问题的用户友好、高性能且可扩展库的潜力,并计划未来支持更复杂的差分模式,涵盖更多非平凡的梯度计算问题。TorchOpt已经被证明对元梯度研究非常有用,在作为更广泛范围的可微优化问题的关键自动微分工具上具有发展前景。
本项目研究论文的四位一作作者,分别是来自爱丁堡大学的任杰、伦敦大学学院的冯熙栋、新加坡国立大学的刘博,以及北京大学的潘学海。该项目的通讯作者分别是爱丁堡大学的麦络助理教授和北京大学的杨耀东助理教授。
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
化学与分子工程学院张文彬课题组在单结构域蛋白质索烃的设计和合成方面取得重要进展
生命学院魏文胜课题组报道升级版RNA编辑技术“LEAPER 2.0”
清华大学 航院创办的国际学术期刊《航天动力学(英文)》获得首个期刊影响因子
国家天文台研究员与海外合作者在脉冲星双星系统演化研究方面获得进展
华南师范大学华南先进光电子研究院詹求强教授团队实现超高阶非线性光子雪崩荧光及超分辨成像
清华牵头国家重点研发计划项目“纳米前沿”专项“高强度碳纳米管纤维的可控制备与应用探索”项目启动
北京大学物理学院宋志达课题组在安德森临界金属研究中取得重要进展
清华大学 深圳国际研究生院张正华团队在膜法纳米限域催化水处理领域取得系列进展
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年第二届管理创新与经济发展国际学术会议(MIED 2024)(2024-06-28)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
第六届电子工程与信息学国际学术会议(EEI 2024)(2024-06-28)
第五届机械工程、智能制造与机电一体化学术会议暨 2024年汽车新材料新工艺技术论坛(MEIMM2024)(2024-07-05)
2024土木工程、城市规划与交通运输国际会议(ICCEUPT2024)(2024-07-08)
2024年城市建设、智慧交通与通信网络国际会议(UCSTCN 2024)(2024-07-15)
第十届催化国际研讨会 (ICC 2024)(2024-07-19)
2024年亚太计算技术、通信与网络国际会议(CTCNet 2024)(2024-07-26)
2024年新能源、储能与电力电气工程国际会议(NEESPEE 2024)(2024-07-27)
2024年城市规划与区域经济国际学术会议(UPRE 2024)(2024-7-21)
2024年航空航天、空气动力与遥感技术国际会议(AARS 2024)(2024-6-29)
第五届西京智媒体国际论坛(2024-6-22)
2024年应用数学与物理、化学国际会议(AMPC 2024)(2024-6-29)
2024年机器人前沿技术与创新国际会议(FTIR 2024)(2024-7-19)
第四届管理科学和软件工程国际学术会议(ICMSSE 2024)(2024-7-19)
2024经济管理、社会科学与教育国际会议(ICEMSSE 2024)(2024-7-29)
2024年经济、公共服务与商业文化国际会议(EPSBC 2024)(2024-7-20)
2024年互联网通信、建模与科技创新国际学术会议(ICICMTI 2024)(2024-6-31)
2024年人工智能与软件工程国际会议(ICAISE 2024)(2024-7-24)