近日，华体会体育光电学院许廷发科研团队在语义深层特征的孪生网络目标跟踪方面取得新进展，相关研究成果以“SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning”为题发表在人工智能领域的国际顶级期刊《IEEE Transactions on Cybernetics（IEEE TCYB）》(IF=11.079)上。IEEE TCYB是人工智能领域具有高影响力的国际学术刊物之一，在2020年该领域120余种JCR期刊中排名前列，影响因子为11.079，中科院一区，主要发表和报道计算智能、人工智能、数据科学和神经网络等领域的最新研究进展和技术。该工作第一作者为华体会体育博士研究生黄博，通讯作者为华体会体育许廷发教授。 

　　随着人工智能的发展，具有语义深层特征的视觉目标跟踪在计算机视觉中引起了很多关注。尤其是旨在学习基于决策相似性评估的孪生网络，在跟踪领域中得到了广泛的应用。但是，孪生跟踪网络的在线更新存在局限性，即模型自适应和退化难以达到平衡。 

　　针对这一科学问题，华体会体育许廷发教授团队率先提出基于注意力迁移学习的孪生跟踪模型。

图1 注意力迁移学习的孪生跟踪模型 

　　为了充分利用先前的信息，该模型将特征表示知识、学习滤波器知识和时空注意力知识转移到当前的模板更新过程中。从历史跟踪任务中学习到的特征表示，以解决当前跟踪任务中缺少高质量训练数据的问题。引入了一个实例转移判别相关滤波器来增强孪生网络的决策能力。预定义基于时空关系的类高斯矩阵来控制不同空间位置的学习权重，并使用L2损失函数来计算更新的目标模板。 

图2 传统更新过程和注意力更新过程比较 

　　在Basketball序列中，传统方法的使用较低学习率，更新后的目标外观中仍然存在原始目标和背景的“鬼影”，严重影响当前帧的检测精度。在Lemming序列中，传统方法使用较高的学习率，目标的严重遮挡使传统模型逐渐退化，最终导致更新的模板完全失效。因此，模型自适应和退化与单一学习率之间难以取得平衡，注意力学习方法可以很好地解决这一难题。 

图3 空间权重G的可视化分析 

　　在G矩阵中，中心目标区域被赋予较高的权重，而边界背景区域被赋予较低的权重。这种注意力学习策略可以在更新的孪生模板分支中引入更多背景信息，而不会污染中心目标区域。 

图4 注意力迁移学习的孪生跟踪结果 

　　该项研究为孪生网络的更新设计提供了新的思路，提出的注意力迁移学习策略可以作为通用模块应用于大多数孪生跟踪器，并提高其性能。 

　　附第一作者简介： 

　　黄博，华体会体育光电学院2016级硕博连读博士生，师从许廷发教授，研究方向为计算机视觉和深度学习。现已发表学术论文17篇，其中SCI 10篇，累计总影响因子达57.221。 以第一作者发表论文9篇，其中6篇发表于IEEE TCYB、IEEE TMM、PR、Neurocomputing等高水平SCI期刊，累计影响因子达36.152。申请中国发明专利1项，软著3项。同时，还多次担任IEEE TCSVT、Neurocomputing等SCI期刊审稿人。曾获得光电设计竞赛二等奖、研究生数学建模三等奖、首都“挑战杯”一等奖、“世纪杯”特等奖、“百科融创杯”电子设计竞赛一等奖、电子设计竞赛北京市二等奖、优秀研究生、优秀团干部等荣誉。 

　　通讯作者简介： 

　　许廷发，教授，博导，国家一级重点学科“光学工程”责任教授，光电成像技术与系统教育部重点实验室副主任。近年来带领其科研团队围绕光电成像探测与识别、高光谱计算成像处理等方向不断深化研究。主持承担国家自然科学基金委重大科研仪器研制项目等30多项。在国际、国内等系列期刊发表学术论文120余篇，其中被SCI/EI收录80余篇。以第一发明人申请国家发明专利40项，已授权和公示15项。

　　论文详情：Bo Huang, Tingfa Xu, Ziyi Shen, Shenwang Jiang, Bingqing Zhao, and Ziyang Bian. SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning. IEEE Transactions on Cybernetics, 2020, DOI: 10.1109/TCYB.2020.3043520 论文链接：https://ieeexplore.ieee.org/document/9318529