- 关于SCI两个通讯作者排序的典型 59
- 投稿《Bioethics》的论文 35
- 中国科学院在灵长类脊髓衰老机制研 43
- 学术会议投稿投稿的目的和好处 48
- JMSE期刊是SCI几区呢? 47
- 北京大学工学院谢金翰课题组与合作 52
- 清华大学 生命学院欧光朔实验室报 68
- 关于社会心理学领域的优秀论文题目 33
- 如何改善英文论文语言水平和专业水 43
- 关于期刊邮箱投稿技巧与方法 67
- 探讨银河天文学优秀论文题目有哪些 43
- 清华大学 深圳国际研究生院付红岩 39
- 如何查找各种学术会议 242
- 从正规渠道的角度探讨专利转让的问 44
- 想成功发表职称论文,应该做好哪些 40
- 四川大学工商管理学院 20370
- 杨浦区四平路总工会 17384
- 北京永康中医药研究院 1384
- WWX 22369
- 上海生咨生物科技有限公司 22360
- WWX 22344
- 北京久久国际会展有限公司 22383
- 北京富来宫温泉山庄 1375
- 长春新吉粮大酒店 17408
- 上海安泰医院 17366
- 百奥泰国际会议(大连)有限公司 23407
- 东盟国际贸易投资商会 20369
- 首都经济贸易大学 7368
- MHT 7382
- 华体场馆运营公司 1361
- webcheck 22375
- 北京东方旅游公司 17393
- 文化发展有限公司 23372
- 福建志联会展有限公司 7400
- 武汉千学信息咨询有限公司 1394
北京大学人工智能研究院李萌及合作者在基于随机计算的神经网络模型-加速器电路协同设计研究方向取得进展
2024/04/01
北京大学人工智能研究院类脑智能芯片研究中心李萌助理教授和集成电路学院王润声教授团队在2023年国际电子设计与测试领域顶级会议Design, Automation and Test in Europe(DATE)上发表论文“Accurate yet Efficient Stochastic Computing Neural Acceleration with High Precision Residual Fusion”。该论文提出一种基于随机计算的神经网络加速器,通过协同设计、优化神经网络与加速器芯片,在低精度随机计算卷积运算中融合高精度残差连接,有效提升了推理准确率(9.43%),并且几乎不增加额外的硬件开销(仅1.3%)。
随着深度神经网络(DNN)研究的不断发展,神经网络模型推理智能物联网设备得到广泛应用,涵盖图像识别、视频处理、自然语言处理等多个任务。然而,随着DNN模型的发展,网络参数和计算量快速增加给计算和存储受限的边缘设备带来新的挑战。随机计算(SC)作为一种基于概率计算的计算方法被提出,其通过使用比特流代替传统二进制编码进行计算,有望实现高面积效率的算术电路和很好的容错性,非常适合用于边缘计算的神经网络加速。
随机计算(SC)用于网络加速的相关研究已经有许多,研究者们通过优化乘法器或整体电路使SC网络加速的性能显著提升。即便如此,之前的工作仍然面临着推理效率和准确率的本征矛盾:算术运算精度的提高虽然能够提升推理准确率,但会导致硬件计算代价指数级增长;相反,降低算术运算精度能提升计算效率,但会直接降低推理的准确率。
如图1所示,用短比特流(例如2比特)的低精度随机计算电路非常高效,但造成了10%准确率降低;而更长的比特流可以提高精度,却需要承担3到10倍的硬件开销代价。
图1. 随机计算(SC)推理准确率与电路效率随比特流长度的变化趋势
针对以上SC电路面临的无法兼顾神经网络推断准确率和电路效率的问题,本文所述工作对CIFAR10上ResNet18的权重和激活分别进行量化并深入探究。结果发现,对激活值的量化更显著地影响了网络准确率,因而低精度的激活值是准确率的主要瓶颈。因此,该工作从神经网络模型结构和电路方面进行协同优化,提出一种准确且高效的随机计算神经网络加速设计方案。
图2. 分别量化模型参数和激活值找出低精度网络准确率的瓶颈,即低精度的激活值
在神经网络模型结构方面,该工作提出将高精度残差与低精度数据通路相结合的新架构:通过将神经网络推断运算中占据最多运算量的卷积操作保持在较低的精度,保障整体电路的硬件效率;同时引入高精度的残差连接,大幅提升网络推断的准确性。该架构还将批归一化(BN)与激活函数融合,以进一步提高SC推理效率。
在电路方面,该工作分析了不同精度比特流的累加逻辑,并提出对残差比特流缩放因子做匹配处理的高精度残差模块,以及能够一次性实现BN、ReLU激活和输出重量化的融合激活函数模块。
图3. 所提出的SC友好的低精度量化神经网络及其所需电路支持
基于上述创新技术,课题组对提出的高精度残差设计与对照加速器进行了比较。比较结果表明,本研究的设计相比于侧重电路效率的原始设计,以1.3%的硬件代价,提高了9.4%推断准确率。而与侧重准确率的原始设计相比,所提出的高精度残差设计提高了3倍电路效率,同时保持准确率相当。
图4. 基于神经网络-SC电路协同优化,兼顾推理准确性和效率
总的来说,李萌与王润声研究团队提出了一种新的神经网络-SC电路协同优化设计,该设计在保持电路硬件效率的同时提高网络精度,这对于随机计算在边缘计算神经网络加速器中的应用具有重要意义。
北京大学集成电路学院博士研究生胡逸轩为第一作者,李萌与王润声为指导老师。
文章来源北京大学新闻网,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
北京大学材料科学与工程学院占肖卫课题组合作者在准同质结有机光伏研究中取得重要进展
南京大学徐强教授团队在炎症信号慢性化持续机制研究方面取得进展
江南大学匡华教授团队在干预脑-肠轴的手性纳米技术发展方面取得进展
北京大学王鹏飞教授合作论文在Journal of Economic Theory发表
清华大学生命学院吝易实验室合作揭示脂肪细胞内质网中错误折叠的蛋白处理新机制
第十一届先进制造技术与材料工程国际学术会议 (AMTME 2024)(2024-05-17)
第五届计算机通信与网络安全国际学术会议 (CCNS 2024)(2024-05-17)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024公共艺术、设计与人文发展国际会议(PADH 2024)(2024-5-22)
2024年第六届虚拟现实与图像处理国际会议(VRIP 2024)(2024-9-14)
第三届口腔科学国际研讨会(ICDS 2024)(2024-11-15)
2024年第八届通信与网络技术国际会议(ICCNT 2024)(2024-9-16)
2024矿产资源、地质与资源勘探国际会议(MRGRE 2024)(2024-5-18)
2024年第九届大数据与计算国际会议(ICBDC 2024)(2024-5-24)
2024年第九届机器人与自动化工程国际会议 (ICRAE 2024)(2024-11-15)
2024年第九届多媒体系统和信号处理国际会议(ICMSSP 2024)(2024-5-22)
2024人文教育、语言与知识管理国际会议(IHELKM 2024)(2024-5-21)
2024年新能源、智能控制与储能技术国际会议 (ICNEICE 2024)(2024-6-17)