当前位置:首页 >> 学术资讯 >> 科研信息

我国学者在大语言模型安全领域取得进展

2025/06/03

我国学者在大语言模型安全领域取得进展

图 JBShied框架架构图

  在国家自然科学基金项目(批准号:62161160337,62132011,62441238)的资助下,武汉大学国家网络安全学院王骞教授团队在大语言模型安全领域取得进展,相关成果“JBShield: Defending Large Language Models from Jailbreak Attacks through Activated Concept Analysis and Manipulation”发表在第34届USENIX Security Symposium(USENIX Security 2025)。

  随着大语言模型(Large Language Models,LLMs)的广泛应用,其安全问题也逐渐引发关注。尽管现有安全对齐策略能够在一定程度上限制模型输出有害内容,但其仍然容易受到越狱攻击(Jailbreak Attacks)的威胁。这类攻击能够绕过模型的安全防护,诱导其生成不合规的有害内容,带来了显著的安全隐患。

  针对这一问题,研究团队深入分析了越狱攻击的机制,并基于线性表示假说(Linear Representation Hypothesis,LRH)提出了一个创新越狱防御框架——JBShield(图)。该框架通过定义并分析两类关键概念:有毒概念(Toxic Concepts)和越狱概念(Jailbreak Concepts),揭示了越狱提示的独特机理。研究发现,大语言模型能够识别提示中的有害语义并激活有毒概念,但越狱提示通过激活越狱概念,将模型的输出从拒绝变为服从。

  JBShield包括两个核心组件:越狱检测和越狱缓解。在检测阶段,该框架通过判断输入是否同时激活有毒概念和越狱概念来识别越狱提示;在缓解阶段,该框架通过增强有害概念并削弱越狱概念,调整模型的隐藏表示,从而确保输出内容的安全性。实验结果显示,JBShield在多个开源大语言模型上的平均越狱检测准确率达到95%,并将多种越狱攻击的平均成功率从61%降至2%。

  本研究成果系统性地解析了越狱攻击的作用机制,在技术上突破了传统方法的局限性,为大语言模型的安全性研究提供了可解释的理论框架。同时,该成果的高防御等特性也可以提升大语言模型在敏感场景中的可靠性。


版权声明:
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。

相关学术资讯
近期会议

第九届声学、振动、噪声控制国际研讨会(CAVNC 2026)(2026-08-07)

第六届能源演进与电力工程大会:转型·智能·自治(EEPE-TIA 2026)(2026-08-07)

2026年无人机遥感与人工智能国际学术会议(URSAI 2026)(2026-08-08)

2026年智能医学与图像计算国际会议 (IMIC 2026)(2026-08-21)

2026年机械动力学、振动控制与噪声工程国际会议(ICMDVCNE 2026)(2026-08-22)

第七届信号处理、模式识别与计算机科学国际学术会议(SPCS 2026)(2026-08-28)

第十二届能源材料与电力工程国际学术会议 (ICEMEE 2026)(2026-08-28)

第六届互联网金融与数字经济国际学术会议(ICIFDE 2026)(2026-08-28)

第五届IEEE电子信息技术国际学术会议(IEEE-EIT 2026)(2026-08-28)

第六届智能交通系统与智慧城市国际学术会议(ITSSC 2026)(2026-08-28)

2026年机电一体化、人工智能与先进控制国际会议(IMAAC 2026)(2026-9-19)

2026年计算机科学、机器视觉与物联网国际会议(ISMVIT 2026)(2026-9-25)

2026光学工程、精密仪器与光电信息国际会议(OEPIOI 2026)(2026-9-20)

2026应用力学、数学与物理学国际学术会议(ICAMMP 2026)(2026-9-5)

2026年现代化教育与应用心理学国际会议 (ICMEAP 2026)(2026-8-19)

2026年环境污染、生态管理与大众健康国际会议(EPEMPH 2026)(2026-9-14)

2026电力市场、能源政策与物联网国际会议(PMEPIT 2026)(2026-9-9)

2026年机械工程、智能制造与先进传感国际会议(IMEAS 2026)(2026-8-18)

2026年数字化政务与云计算国际会议(ICDGCC 2026)(2026-8-27)

2026年电子信息技术、半导体与集成电路国际会议(EITSIC 2026)(2026-8-20)

小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。