近日，中国农业大学土地科学与技术学院郭浩副教授团队在环境科学与可持续发展领域的国际顶尖期刊Resources, Conservation & Recycling 发表研究论文《基于 RGB-D 图像的食物垃圾语义分割与分类》（Semantic segmentation for food waste classification using RGB-D imaging）。

该研究创新性地将视觉大模型与多模态学习等技术相结合，构建了包含131类食物的专用数据集，提出高效语义分割框架，为食堂食物垃圾的自动化识别、分类与量化提供了全新解决方案，助力智慧环保与可持续餐饮体系建设。土地学院郭浩副教授为通讯作者，土地科学与技术学院博士研究生高梓成为第一作者。

在全球食物浪费问题加剧的驱动下，食物垃圾的精准识别、分类与量化已成为推进资源循环利用、构建可持续餐饮体系的核心技术之一。然而，当前基于人工的食物垃圾管理方法普遍面临效率与准确性的双重挑战，尤其是在处理大规模食堂三餐高峰期海量垃圾数据时——人工称重记录耗时费力，问卷统计容易因主观偏差导致数据失真，难以满足精细化管理需求。此外，由于缺乏专门针对食堂场景的食物垃圾图像数据集，现有基于计算机视觉的垃圾识别技术多适用于普通生活垃圾，无法有效应对食物形态多样、易混淆、光照变化及遮挡等复杂问题。因此，亟需开发一种高效、精准的自动化食物垃圾分割技术，为食堂中食物浪费的智能化监测与管控提供安全可靠的解决方案。

针对传统食物垃圾管理效率低、现有计算机视觉技术适配性不足的问题，研究团队探索了RGB与深度多模态数据融合结合智能优化模型的路径。团队先在高校食堂场景采集数据，通过背景减法提取关键帧并人工标注，构建含131类食物的“Food Waste 131”数据集；后创新多分支语义分割网络，设计“特征校正与融合模块（FRFM）”实现多模态信息高效融合，还引入HQ-SAM模型优化分割精度。实验数据显示，该技术在相关数据集上平均交并比71.55%、平均像素准确率83.44%，优于多种传统模型，对豆制品、主食等分割精度突出，也能识别复杂海鲜类垃圾；且能平衡精度与速度，无HQ-SAM模块时单图处理0.46秒可实时监测，有该模块时1.33秒但精度提高。此外，其还能借深度信息量化垃圾体积，为后续浪费原因分析、减废策略制定提供数据支持，具实用价值。

图像自动化采集装置

视觉大模型结合多模态学习的数据处理流程

这项研究首次构建了大规模食堂食物垃圾RGB-D数据集，提出的多模态融合与特征校正策略为食物垃圾语义分割提供了新范式。研究成果不仅突破了传统人工管理与单一模态识别技术的局限，推动食物垃圾自动化分类在食堂中的应用，还为多模态数据融合在资源回收领域的实践提供了新视角，在未来与校园食物浪费调查相关的实验中具有广泛的适用性，为自动化食物浪费监测方法提供实用和可靠的基准。研究团队深耕三维视觉领域10余年，率先提出了三维视觉解决动物非接触式感知的理论与技术体系，推动了三维视觉技术在农业领域的智能化应用。编写《点云配准从入门到精通》等三维视觉和人工智能领域相关教材3部，对于国内三维视觉技术的普及推广意义重大，在计算机与农林交叉学科领域国际权威期刊Computers and Electronics in Agriculture和Biosystems Engineering上发表多篇论文，他引次数1300+。