我国学者在大语言模型安全领域取得进展
2025/06/03
图 JBShied框架架构图
在国家自然科学基金项目(批准号:62161160337,62132011,62441238)的资助下,武汉大学国家网络安全学院王骞教授团队在大语言模型安全领域取得进展,相关成果“JBShield: Defending Large Language Models from Jailbreak Attacks through Activated Concept Analysis and Manipulation”发表在第34届USENIX Security Symposium(USENIX Security 2025)。
随着大语言模型(Large Language Models,LLMs)的广泛应用,其安全问题也逐渐引发关注。尽管现有安全对齐策略能够在一定程度上限制模型输出有害内容,但其仍然容易受到越狱攻击(Jailbreak Attacks)的威胁。这类攻击能够绕过模型的安全防护,诱导其生成不合规的有害内容,带来了显著的安全隐患。
针对这一问题,研究团队深入分析了越狱攻击的机制,并基于线性表示假说(Linear Representation Hypothesis,LRH)提出了一个创新越狱防御框架——JBShield(图)。该框架通过定义并分析两类关键概念:有毒概念(Toxic Concepts)和越狱概念(Jailbreak Concepts),揭示了越狱提示的独特机理。研究发现,大语言模型能够识别提示中的有害语义并激活有毒概念,但越狱提示通过激活越狱概念,将模型的输出从拒绝变为服从。
JBShield包括两个核心组件:越狱检测和越狱缓解。在检测阶段,该框架通过判断输入是否同时激活有毒概念和越狱概念来识别越狱提示;在缓解阶段,该框架通过增强有害概念并削弱越狱概念,调整模型的隐藏表示,从而确保输出内容的安全性。实验结果显示,JBShield在多个开源大语言模型上的平均越狱检测准确率达到95%,并将多种越狱攻击的平均成功率从61%降至2%。
本研究成果系统性地解析了越狱攻击的作用机制,在技术上突破了传统方法的局限性,为大语言模型的安全性研究提供了可解释的理论框架。同时,该成果的高防御等特性也可以提升大语言模型在敏感场景中的可靠性。
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
-
第五届传感、测量、通信与物联网技术国 42
-
2026年9月优质国际学术会议推荐 263
-
2026年第15届计算与模式识别国际 212
-
2026年第二届计算机视觉与机器学习 2124
-
2026年无人机遥感与人工智能国际会 472
-
2026资源、化学化工与应用材料国际 3740
-
2026年图像处理与数字创意设计国际 3525
-
2026年机械工程,新能源与电气技术 8084
-
2026年材料科学、低碳技术与动力工 3712
-
第三届国际会议语言学、心理学与创意教 08-07
-
2026年建筑科学、材料工程与可持续 08-07
-
2026年国际会议金融科技、市场营销 08-07
-
第三届国际社会科学与文化研究会议平行 08-07
-
ICSSCS 2026 - 子论坛: 08-07
-
第三届社会科学与文化研究国际会议平行 08-07
-
2026 JCR影响因子正式发布1135
-
中国科协发布2025年《重要学术1583
-
2026年新锐分区(原中科院期刊8243
-
2025年两院院士增选有效候选人6001
-
好学术:科研网址导航|学术头条分7917
-
2025年国际期刊预警名单发布!8062
-
2025年中科院期刊分区表重磅发28351
-
吉林大学校长张希:学术会议中的提9122
-
清华大学计算机系高性能所获得IE07-31
-
北京大学生命科学学院伊成器课题组07-31
-
北京大学罗欢、李阿明、方方课题组07-31
-
北京大学生命科学学院郭强团队与合07-31
-
清华大学集成电路学院任天令团队合07-31
-
清华大学5位清华人当选“202607-31
-
研究揭示热带雨林优势树种望天树幼07-31
-
西安工业大学 24510

-
International As 2574

-
百胜餐饮沈阳公司 18594

-
IETP-Association 24502

-
北京积水潭医院 21686

-
黑鹰cosmos 18574

-
哈尔滨工业大学 管理学院 23516

-
宁波索达电器有限公司 21413

-
武汉金钥匙会务服务有限公司 24387

-
百奥泰国际会议(大连)有限公司- 2619

-
cdv 24523

-
上海传感信息科技有限公司 2525

-
海南大学 18481

-
PPCE 23690

-
中国建设银行 18500

-
迈海材料基因组国际研究院 23827

-
中国企业国际投资促进会 23546

-
美国科研出版社 2647

-
哈尔滨医科大学 2851

-
安徽工程科技学院 23642





















967.jpg)








































