2025年12月15日，北京大学心理与认知科学学院、IDG麦戈文脑科学研究所毕彦超团队与朱毅鑫团队联合山西医科大学第一医院王效春团队在《自然·人类行为》在线发表论文“Combined evidence from artificial neural networks and human brain-lesion models reveals that language modulates vision in human perception”。该研究提出人工神经网络与人脑损伤模型的“联合证据”策略，揭示语言系统可通过左侧角回（AG）-腹侧枕颞皮层（VOTC）白质通路，调制视觉皮层表征。

语言是否影响“看见”长期存在争议。以往研究提示语言标签会改变分类判断，但往往难以区分其影响发生在早期知觉表征还是后期决策阶段，同时也缺少通路层面的直接证据。为此，研究团队一方面在健康人群4套独立fMRI数据中检验“模型-大脑对齐”；另一方面在慢性脑卒中患者中将白质连接受损作为“自然操纵”，检验关键通路受损是否会改变视觉表征的取向。

图1 多数据集fMRI与实验一分析框架示意

研究选取了语言参与程度不同的3类视觉模型作为计算代理：视觉-语言对齐的CLIP、依赖人工标签监督的ResNet和纯视觉自监督的MoCo。团队采用表征相似性分析方法提取句子描述效应与语言分类效应，并在4套独立数据中交叉验证。结果显示，句子描述效应在VOTC内稳定出现显著簇，并在群体水平呈左偏分布。

图2 健康人群：VOTC中语言相关描述效应及左偏分布结果

在33名慢性脑卒中患者中，研究进一步量化VOTC与语言网络关键节点之间的白质束完整性。关键发现是：左侧VOTC-左侧AG通路越完整，VOTC表征越倾向与CLIP一致，而与MoCo的一致性相对减弱；当该通路受损时，CLIP对应减弱、MoCo对应增强，呈现“此消彼长”模式。

图3 脑卒中患者：白质束量化与分析流程示意

图4 左侧VOTC-AG通路完整性与模型-大脑对齐关系

该研究为“语言调节视觉”的长期争议提供了关键证据，并展示了将真实脑损伤作为“自然操纵”来检验计算模型解释力的研究路径，为构建更具生物约束的类脑模型提供新思路。

北京大学心理与认知科学学院博士生陈昊扬与山西医科大学第一医院刘擘博士为共同第一作者，毕彦超、朱毅鑫与王效春为通讯作者。实验室成员王晓莎与王抒悦对研究工作作出重要贡献。研究得到科技部、国家自然科学基金委及北大-并济联合实验室等的支持。