我国学者在大语言模型安全领域取得进展
2025/06/03
图 JBShied框架架构图
在国家自然科学基金项目(批准号:62161160337,62132011,62441238)的资助下,武汉大学国家网络安全学院王骞教授团队在大语言模型安全领域取得进展,相关成果“JBShield: Defending Large Language Models from Jailbreak Attacks through Activated Concept Analysis and Manipulation”发表在第34届USENIX Security Symposium(USENIX Security 2025)。
随着大语言模型(Large Language Models,LLMs)的广泛应用,其安全问题也逐渐引发关注。尽管现有安全对齐策略能够在一定程度上限制模型输出有害内容,但其仍然容易受到越狱攻击(Jailbreak Attacks)的威胁。这类攻击能够绕过模型的安全防护,诱导其生成不合规的有害内容,带来了显著的安全隐患。
针对这一问题,研究团队深入分析了越狱攻击的机制,并基于线性表示假说(Linear Representation Hypothesis,LRH)提出了一个创新越狱防御框架——JBShield(图)。该框架通过定义并分析两类关键概念:有毒概念(Toxic Concepts)和越狱概念(Jailbreak Concepts),揭示了越狱提示的独特机理。研究发现,大语言模型能够识别提示中的有害语义并激活有毒概念,但越狱提示通过激活越狱概念,将模型的输出从拒绝变为服从。
JBShield包括两个核心组件:越狱检测和越狱缓解。在检测阶段,该框架通过判断输入是否同时激活有毒概念和越狱概念来识别越狱提示;在缓解阶段,该框架通过增强有害概念并削弱越狱概念,调整模型的隐藏表示,从而确保输出内容的安全性。实验结果显示,JBShield在多个开源大语言模型上的平均越狱检测准确率达到95%,并将多种越狱攻击的平均成功率从61%降至2%。
本研究成果系统性地解析了越狱攻击的作用机制,在技术上突破了传统方法的局限性,为大语言模型的安全性研究提供了可解释的理论框架。同时,该成果的高防御等特性也可以提升大语言模型在敏感场景中的可靠性。
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
-
2026年第十六届电力与能源系统国际 110
-
2026年10月优质国际学术会议推荐 448
-
2026年智能科学与信息物理技术国际 157
-
第五届传感、测量、通信与物联网技术国 548
-
2026年第三届计算机网络与云计算国 3097
-
2026资源、化学化工与应用材料国际 4170
-
2026年图像处理与数字创意设计国际 3855
-
2026年机械工程,新能源与电气技术 8936
-
2026年材料科学、低碳技术与动力工 4359
-
2026智能驾驶、智能传感与无人系统 09-28
-
2026生命健康、精准营养与食品安全 09-28
-
第二届信息学、生物医学与系统生物学国 09-28
-
2026环境资源、清洁能源与可持续发 09-28
-
第三届纺织科学、材料工程与智能制造国 09-28
-
第二届林业工程、环境科学与可持续发展 09-28
-
2026 JCR影响因子正式发布2049
-
中国科协发布2025年《重要学术2146
-
2026年新锐分区(原中科院期刊10945
-
2025年两院院士增选有效候选人6679
-
好学术:科研网址导航|学术头条分9207
-
2025年国际期刊预警名单发布!9157
-
2025年中科院期刊分区表重磅发30335
-
吉林大学校长张希:学术会议中的提10134
-
清华大学2026年CCF计算经济09-28
-
北京清华长庚医院黄天荫团队合作构09-28
-
中国农业大学资环学院刘学军教授团09-28
-
中国科大实现液晶向列比特的可重构09-28
-
研究提出丽江云杉复合体分类界定新09-28
-
新型多孔压电陶瓷研制取得进展09-28
-
研究揭示二倍半萜衍生物治疗溃疡性09-28
-
上海广尧商务咨询公司 8642

-
fdcv 24632

-
上海信世展览服务有限公司 10448

-
上海创蓝文化传播有限公司 8634

-
医药化工专业委员会 21639

-
中科博爱(北京)心理医学研究院 23913

-
中国环境科学学会 8541

-
WILL 8618

-
工业催化杂志社 18842

-
云南广大科技开发中心 2651

-
北京理工大学 24984

-
中国健康产业工作委员会 2881

-
河北省黄骅市绿园化工有限公司 18719

-
北京中味国际展览有限公司 9002

-
天津市塘沽区土地中心 18592

-
JC 24295

-
上海亚化商务咨询有限公司 21902

-
香港机械工程师协会 24671

-
上海英致商务咨询有限公司 2613

-
深圳市汉威展览策划有限公司 3120





















1039.jpg)








































