清华大学计算机系存储实验室团队获得MLSys 2026大模型推理优化赛事冠军
2026/06/06
文章导读
还在为团队的大模型推理速度慢到用户流失而焦虑?90%的人都在死磕硬件升级,以为换H100就能解决问题。但清华存储实验室用一个被忽略的软件技巧,在AWS上把Qwen3-30B的端到端推理从14.9秒压到了3.5秒——直接击败斯坦福、MIT等顶级队伍。他们没换任何昂贵设备,只是在一个叫“专家分片”的环节做了件反直觉的事:把数据布局重构了。如果你也想不烧钱就让模型快4倍,这篇文章里藏着那个能让你们效率翻倍、但90%的团队都踩错方向的关键步骤。
— 内容由好学术AI分析文章内容生成,仅供参考。
近日,第九届机器学习与系统会议(MLSys 2026)在美国华盛顿州贝尔维尤举行。由清华大学计算机系存储实验室博士生高世伟、范如文、任庭旭、罗以彬等组成,计算机系教授舒继武、副教授陆游游担任指导教师,腾讯AI系统专家里德(Reed)提供技术支持的参赛团队,在会议举办的混合专家模型内核优化挑战赛中获得冠军。
本次比赛面向Qwen3-30B-A3B混合专家模型的真实解码推理场景,吸引了来自斯坦福大学、麻省理工学院、加州大学伯克利分校、卡内基梅隆大学、加州大学洛杉矶分校、康奈尔大学等高校组队参赛。比赛中,计算机系存储实验室团队成员基于亚马逊AWS提供的NKI编程框架,围绕专家分片、矩阵向量乘特化、片上数据布局重构、跨算子融合和自动化算子优化等关键技术,对推理解码阶段进行了系统优化,将端到端推理时间从14.91秒降至3.56秒,实现约4.1倍加速,最终获得冠军。
这是计算机系存储实验室团队继2025年获得ASPLOS/EuroSys大模型推理优化竞赛冠军后,再次在国际顶级学术会议举办的大模型推理优化赛事中夺冠。
MLSys是机器学习系统领域的国际顶级学术会议之一,聚焦机器学习与计算机系统的交叉研究,涵盖大模型训练与推理、AI编译器、计算机体系结构、分布式系统、专用AI硬件等前沿方向。
版权声明:
文章来源清华大学,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
文章来源清华大学,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
相关学术资讯
近期会议
小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。
-
2026年第五届机器学习、云计算与智 1064
-
2026年第九届可再生能源和电力工程 232
-
2026年第二届计算机视觉与机器学习 1629
-
2026年6月优质国际学术会议推荐 2046
-
2026年人工智能赋能信息与通信系统 328
-
2026资源、化学化工与应用材料国际 3410
-
2026年图像处理与数字创意设计国际 3221
-
2026年机械工程,新能源与电气技术 7709
-
2026年材料科学、低碳技术与动力工 3369
-
2026智能技术、信息工程与现代应用 07-23
-
2026电力工程、新能源技术与智能自 07-23
-
2026土木工程、环境工程与绿色建设 07-23
-
2026材料工程、智能制造与绿色工艺 07-23
-
2026系统工程、智能控制与自动化技 07-23
-
2026工程基建、环境优化与智慧建造 07-23
会议展示区
综合推荐区
-
2026 JCR影响因子正式发布712
-
中国科协发布2025年《重要学术1277
-
2026年新锐分区(原中科院期刊7061
-
2025年两院院士增选有效候选人5691
-
好学术:科研网址导航|学术头条分7364
-
2025年国际期刊预警名单发布!7578
-
2025年中科院期刊分区表重磅发26288
-
吉林大学校长张希:学术会议中的提8634
-
研究揭示黄河口近海微生物群落生态07-11
-
研究揭示黑土农田土壤有机碳积累的07-11
-
恒星反馈与多代恒星形成研究获进展07-11
-
近岸复杂水体中颗粒有机碳光学反演07-11
-
研究利用反向喷流揭示3C 84黑07-11
-
科研人员构建人类胚盘样原肠模型07-11
-
南京大学北半球多年冻土区苔原植被07-11
-
北京艾尚国际展览有限公司 8428

-
湖北省武汉大学 18440

-
湖北学而升文化传播有限公司 8473

-
WILL 24362

-
中国兵工学会 21746

-
东都国际展览(北京)有限公司 24455

-
北京华医百草医学研究院 24392

-
沈阳大学沈阳大学 21515

-
WILL 8622

-
全国高科技农业循环产业发展中心 2527

-
guizhou academy 2608

-
首都儿科研究所 2611

-
大连四叶草会展有限公司 8490

-
广州市锐博生物科技有限公司 23458

-
青岛蓝海大饭店(崂山) 21528

-
国际工学技术出版协会 2521

-
中国科学院武汉岩土力研究所 2366

-
丝绸之路国际和平智库 8604

-
云南欧亿骏机电设备有限公司 18566

-
第八届信息与通信技术国际会议 23689





















641










































