当前位置:首页 >> 学术资讯 >> 科研信息

我国学者在大语言模型安全领域取得进展

2025/06/03

我国学者在大语言模型安全领域取得进展

图 JBShied框架架构图

  在国家自然科学基金项目(批准号:62161160337,62132011,62441238)的资助下,武汉大学国家网络安全学院王骞教授团队在大语言模型安全领域取得进展,相关成果“JBShield: Defending Large Language Models from Jailbreak Attacks through Activated Concept Analysis and Manipulation”发表在第34届USENIX Security Symposium(USENIX Security 2025)。

  随着大语言模型(Large Language Models,LLMs)的广泛应用,其安全问题也逐渐引发关注。尽管现有安全对齐策略能够在一定程度上限制模型输出有害内容,但其仍然容易受到越狱攻击(Jailbreak Attacks)的威胁。这类攻击能够绕过模型的安全防护,诱导其生成不合规的有害内容,带来了显著的安全隐患。

  针对这一问题,研究团队深入分析了越狱攻击的机制,并基于线性表示假说(Linear Representation Hypothesis,LRH)提出了一个创新越狱防御框架——JBShield(图)。该框架通过定义并分析两类关键概念:有毒概念(Toxic Concepts)和越狱概念(Jailbreak Concepts),揭示了越狱提示的独特机理。研究发现,大语言模型能够识别提示中的有害语义并激活有毒概念,但越狱提示通过激活越狱概念,将模型的输出从拒绝变为服从。

  JBShield包括两个核心组件:越狱检测和越狱缓解。在检测阶段,该框架通过判断输入是否同时激活有毒概念和越狱概念来识别越狱提示;在缓解阶段,该框架通过增强有害概念并削弱越狱概念,调整模型的隐藏表示,从而确保输出内容的安全性。实验结果显示,JBShield在多个开源大语言模型上的平均越狱检测准确率达到95%,并将多种越狱攻击的平均成功率从61%降至2%。

  本研究成果系统性地解析了越狱攻击的作用机制,在技术上突破了传统方法的局限性,为大语言模型的安全性研究提供了可解释的理论框架。同时,该成果的高防御等特性也可以提升大语言模型在敏感场景中的可靠性。


版权声明:
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。

相关学术资讯
近期会议

2026年智慧交通与检测技术国际会议(ITDT 2026)(2026-03-25)

2026年第六届智能机器人系统国际会议(ISoIRS 2026)(2026-03-27)

2026年人工智能教育技术与数据科学国际学术会议(AIETDS 2026)(2026-03-27)

2026年IEEE第八届软件工程和计算机科学国际会议(CSECS 2026)(2026-04-17)

第十五届春季国际工程与技术大会 (SCET 2026)(2026-04-17)

2026年金融科技、创新与信息技术国际会议(2026-04-18)

2026年多尺度人工智能国际会议(MAI 2026)(2026-04-24)

第三届机器学习与智能计算国际学术会议(MLIC 2026)(2026-04-24)

2026 空天信息与产业创新国际学术研讨会暨第二届中国——塞尔维亚空天技术与产业应用研讨会(ISA3I 2026)(2026-04-24)

数字化教育系统与计算机科学国际学术会议(2026-04-24)

第二届能源系统与电气工程国际学术会议(ESEE 2026)(2026-3-27)

2026年第十届电力能源系统与应用国际会议 (ICoPESA 2026)(2026-7-27)

2026地理信息、遥感技术与环境国际会议(ICGIRSTE 2026)(2026-4-29)

第九届机械、电气与材料应用国际学术会议(MEMA 2026)(2026-3-27)

2026年旅游经济学与可持续发展国际会议(ITESD 2026)(2026-4-29)

2026年人文地理与城市可持续发展国际会议(HGUSD 2026)(2026-3-29)

2026年计算机系统与网络安全国际学术会议(CSNS 2026)(2026-3-28)

2026工业自动化、电力系统与经济学国际会议(ICICIAPSE 2026)(2026-4-29)

第十届炎症与疾病国际研讨会(CID 2026)(2026-11-27)

2026年云计算、智能计算与机械制造国际会议(CCICMM 2026)(2026-3-31)

小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。
综合推荐区

学术科研网址导航,430+站,定制学术书签

2026年第五届云计算、计算机视觉和图像处理.

2026年动力学与机械工程国际学术研讨会 (.

2026年IEEE第八届软件工程和计算机科学.

2026年第八届计算机图形学、图像与可视化国.

第八届信息科学、电气与自动化工程国际学术会议.

第三届机器学习与智能计算国际学术会议(MLI.

第六届自动化控制、算法与智能仿生国际学术会议.

2026 年第三届计算,机器学习与数据科学国.

第十三届先进制造技术与材料工程国际学术会议 .

第二届人工智能与产品设计国际学术会议 (AI.

2026年多尺度人工智能国际会议(MAI 2.

2026年量子计算与人工智能国际学术会议(I.

2026年第六届计算机视觉与模式分析国际学术.

第七届机械仪表与自动化国际学术会议(ICMI.

2026年第四届亚洲机器学习、算法与神经网络.

2026年第四届亚洲计算机视觉、图像处理与模.

2026年人工智能与数据挖掘国际学术会议(A.

2026年IEEE第七届计算,网络与物联网国.

2026年第五届网络、通信与信息技术国际会议.

2026年智能机器人与控制技术国际会议(CI.

2026年传感器技术、自动化与智能制造国际会.

2026年智能系统与计算国际会议 (ICIS.

2026年电子, 通信与计算机科学国际会议 .

2026年IEEE第三届先进机器人, 自动化.

2026年第七届控制, 机器人与智能系统国际.