近日，信息与电气工程学院陈瑛副教授在人工智能领域权威期刊Pattern Recognition上围绕多模态讽刺检测发表论文 Sarcasm detection enhanced by multi-modal topics using denoising diffusion probabilistic models。

讽刺是人类交流中一种普遍存在的表达方式，其实际含义往往与字面意义形成鲜明反差。多模态讽刺检测旨在综合利用文本、图像和语音等多种信号，识别语义与语用之间的不一致，从而增强机器对讽刺表达机制的理解，避免情感分析误判。该研究不仅有助于推动跨模态学习、常识推理与融合等关键技术的发展，其成果还在舆情分析、内容审核、人机交互等多个下游任务中具有重要应用，兼具学术深度与社会价值。

尽管主题信息在纯文本讽刺检测中的有效性已获验证，但其在多模态场景下的应用尚属空白。为此，该文提出基于主题增强的多模态讽刺检测方法，旨在更高效地利用主题信息。该方法包含三个核心模块：原始特征提取、主题特征提取与增强型多模态讽刺检测模型构建。在多个数据集上的实验结果表明，该方法性能显著优于现有基准模型，验证了其优越性。

基于主题增强的多模态讽刺检测方法总体架构

上述论文的第一完成单位为中国农业大学，信电学院陈瑛副教授为论文的通讯作者，2022级博士研究生张晓强为第一作者，其他作者来自中国农业大学和清华大学。