视觉目标跟踪旨在连续视频帧中持续定位特定目标，在自动驾驶等领域具有应用价值。但目标形变、遮挡及外观剧烈变化等因素常导致传统跟踪方法鲁棒性不足，通常需引入历史帧的时空信息以提升稳定性。

近日，中国科学院沈阳自动化研究所团队提出一种即插即用视觉跟踪框架PNPTrack。该框架在无需全参数重训练且无需额外引入时空处理模块的前提下，即可有效利用时空信息提升跟踪的稳定性与精度。

科研团队将骨干网络的编码器划分为浅层与深层：浅层编码器在训练中保持冻结、不参与时空交互，降低可训练参数和训练资源；深层编码器依靠正向、负向时空特征整合时空信息。其中，正向时空特征提取目标信息，用于增强目标响应，帮助模型在复杂场景下更准确地识别目标；负向时空特征提取背景信息，用于抑制背景干扰、细化目标边界。两类时空特征分别与搜索区域特征进行独立的交互计算，避免相互抑制。同时，研究将时空特征的“提取”与“利用”过程解耦，二者可在网络内部并行执行，减少对推理速度的影响。

该框架并非简单地将时空信息与原有匹配信息叠加在一起，而是让两者“各司其职”。时空特征主要用于对搜索区域特征做增强与抑制处理——增强目标相关响应、抑制背景干扰，尽量不改变原有的模板与搜索特征匹配过程，降低单一信息不准确带来的影响。基于该设计，模型在推理时可以自由开启或关闭时空特征：关闭后即可恢复为原始跟踪器，无需重新加载模型或调整参数，真正实现即插即用。

多组公开视觉跟踪数据集测试显示，PNPTrack具有优异性能。该框架仅需引入少量额外的投影参数，即可在保持较高推理速度的同时提升跟踪精度。

该研究为平衡跟踪精度与计算效率提供新思路。通过针对性挖掘目标与背景的历史信息，该框架以较低的模型改造成本改善复杂场景跟踪效果，为智能监控、移动机器人、自动驾驶等领域的视觉感知技术发展提供参考。

相关研究成果发表在Expert Systems with Applications上。

论文链接

PNPTrack 在复杂场景下跟踪目标