9月9日，西北农林科技大学信息工程学院宁纪锋教授课题组在计算机视觉领域的国际顶级期刊《IEEE Transactions on Image Processing》（CCF A类；中科院一区Top）发表题为“Modeling of Multiple Spatial-Temporal Relations for Robust Visual Object Tracking”的研究论文。我校信息工程学院2021级研究生王世磊、王振华副教授为共同第一作者，宁纪锋教授为通讯作者。

图1 提出跟踪模型的网络结构

在目标跟踪任务中，单流跟踪器通过利用Transformer架构同时实现特征提取和关系建模，这一设计极大地提升了跟踪器的性能。然而，单流跟踪器通常忽略了模板之外的关键跟踪线索，因此在复杂的场景中表现不佳。为了解决该问题，本研究提出了一种多线索单流跟踪器，称为MCTrack，它无缝集成了模板信息、历史轨迹、历史帧和搜索区域，以实现同步特征提取和关系建模。为了实现这一点，本研究采用两种类型的编码器将模板、历史帧、搜索区域和历史轨迹转换为Tokens，然后将这些Tokens输入到Transformer架构中。为了有效使用时间和空间线索，本研究引入了一种新颖的自适应更新机制，该机制结合阈值组件和局部多峰组件过滤不准确的跟踪线索。实验结果表明，MCTrack在多个主流基准数据集上优于当前代表性跟踪模型。

本研究得到了国家自然科学基金（61876153）、秦创原创新创业人才项目（ QCYRCXM-2022-359）和中央高校基本科研业务费（2452024410）的支持。

原文链接：https://ieeexplore.ieee.org/document/10670064