拿下Oral！CVPR 2026 SEATrack：高效的多模态跟踪器

点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐当很多统一多模态跟踪方法还在靠“加模块、堆参数”换性能时SEATrack换了一个思路问题也许不只在“怎么融合”更在“融合之前两种模态的匹配响应到底有没有对齐”。SEATrack是一个简单高效的双流多模态跟踪器它用“对齐先于融合”的设计在RGB-T、RGB-D和RGB-E五个基准上取得了很强的综合表现同时把可学习参数控制在0.6M推理速度做到63.5 FPS。一句话概括SEATrack的核心不是把跨模态融合做得更重而是先解决一个长期被忽视的问题不同模态之间的目标匹配响应并不一致。围绕这一点它提出AMG-LoRA做跨模态注意力对齐再用HMoE做高效全局融合从而在性能和效率之间找到更优平衡。背景多模态跟踪到底难在哪仅依赖RGB的目标跟踪在多数场景下已经能够取得较好效果但在光照突变、快速运动、遮挡等复杂条件下单一模态的感知能力仍然容易受限。为此热红外、深度、事件等异构模态被引入以提供与RGB互补的目标信息。近年来基于参数高效微调PEFT的统一多模态跟踪方法逐渐成为研究热点因为它试图在继承预训练RGB跟踪器能力的同时以较低代价适配多模态场景。不过这条路线也暴露出两个越来越明显的问题。其一部分SOTA方法为了追求多任务性能提升不断增加可训练参数量和计算开销逐步偏离PEFT原本强调的资源友好与效率优势。其二现有研究大多将重点放在跨模态信息融合上希望通过更复杂的交互机制提升表征能力但在实际效果上这类思路仍然面临表达能力与计算效率之间的权衡基于注意力的全局交互虽然表达充分却往往代价较高而轻量级局部融合虽然更加高效却缺乏足够的全局建模能力。核心洞察问题不只在“怎么融合”更在“匹配是否一致”SEATrack的关键见解在于多模态跟踪首先是一个目标匹配问题然后才是一个跨模态融合问题。可以把目标跟踪理解为拿着一张目标照片在当前场景中持续搜索同一个对象。在这个过程中模板与搜索区域之间的正确匹配始终是跟踪的核心步骤。在现代多模态跟踪模型中这一匹配通常通过ViT的自注意力层实现。作者通过可视化结果指出现有多模态方法真正被低估的问题恰恰出现在这一步。对于单流方法异构模态在早期就被混合输入容易导致匹配过程中的注意力漂移对于双流方法虽然保留了模态独立性但由于模态域偏差以及不同场景下模态可靠性的动态变化两条分支往往会产生彼此不一致的注意力图。注意到多模态输入具有良好的时空一致性如果不同模态对“目标到底在哪”这件事本身就没有达成一致那么这种空间上的感知冲突会进一步干扰后续的跨模态融合。图1. SEATrack与现有单流/双流多模态跟踪框架对比。基于这一观察作者提出了AMG-LoRA。它一方面引入LoRA帮助注意力层中的预训练知识适应多模态域另一方面通过简单有效的自适应互引导机制让一种模态的匹配信息去动态引导另一种模态不是简单求平均也不是强行拉齐而是根据场景中不同模态的可靠性自适应地做双向修正。第二个亮点用MoE做全局融合但不再付出Attention那样的高代价在跨模态融合阶段SEATrack没有继续沿用计算代价较高的Attention式方案而是提出了HMoE作为高效的全局关系建模器。其通过层次化软路由的方式完成跨模态全局交互它先在sub-token层面完成细粒度混合再在token层面完成聚合输出。也正因如此HMoE更像是一种面向跨模态融合的高效token mixer而不是传统意义上的MoE替代品。图2. HMoE的层次化融合结构示意。HMoE的两阶段融合过程其计算复杂度主导项为。由于每个专家的头数量远小于序列长其计算效率优于复杂度为的Attention。实验表明HMoE相较于Attention式融合在性能非常接近的情况下FPS提升约35%。图3. SEATrack与现有全局/局部融合策略的性能-效率对比。更进一步作者还验证了层次化融合设计的必要性。可以看到当引入层次化融合后多任务性能都得到提升。图4. 不同专家头配置下的性能对比。实验结果不靠大参数也能把结果做上去从主表结果看SEATrack在五个基准上都拿出了很有说服力的综合表现LasHeR71.6 PR、67.5 NPR、57.3 SRRGBT23487.8 MPR 、63.9 SRDepthTrack62.9 PR、63.5 RE、63.2 F-scoreVOT-RGBD202273.6 EAO、82.1 Accuracy、88.4 RobustnessVisEvent77.1 PR、60.3 SR更重要的是这些结果建立在仅0.6M可学习参数和63.5 FPS的前提下。图5. SEATrack在多个多模态跟踪基准上的综合性能表现。更让人眼前一亮的是它揭示了“对齐”的价值消融实验非常说明问题。仅加入AMG-LoRA在只增加0.14M参数的情况下就能相对基线带来LasHeR 上18.3%的PR提升、DepthTrack上7.2%的PR提升以及 VisEvent 上6.1%的PR提升。值得注意的是在HMoE的基础上引入AMG-LoRA同样取得了显著的多任务性能提升这进一步验证了对齐之于融合的重要性。图6. AMG-LoRA与HMoE的消融实验结果。进一步看挑战属性下的性能对比AMG-LoRA在相似目标、背景干扰、快速运动等复杂场景下都有稳定增益甚至在帧缺失这类看似违背设计假设的场景中也依然优于普通LoRA。图7. AMG-LoRA与LoRA在不同挑战属性下的性能对比。可视化结果显示经过对齐后的注意力图更加干净、稳定预测也更不容易被相似外观目标带偏呈现出一种很强的“去噪”能力。图8. AGM-LoRA右与LoRA左在RGB分支帧丢失场景下的可视化对比。图9. AMG-LoRA呈现出的自适应对齐行为。研究价值多模态跟踪也许不该再只卷“融合”了SEATrack传递出的一个重要信号是在多模态跟踪中跨模态对齐可能是一个长期被低估的关键环节。过去许多方法将主要精力放在“如何设计更强的融合模块”上而SEATrack表明若不同模态在目标匹配阶段尚未形成一致响应后续融合的收益也会受到限制。相比继续堆叠更重的交互结构先提升跨模态空间感知的一致性再在此基础上进行高效融合或许才是打破性能-效率难题的更优路径。进一步看“先对齐感知、后信息融合”的思路也为其他视觉多模态感知任务提供了一个值得关注的视角。链接arXivhttps://arxiv.org/abs/2604.12502代码https://github.com/AutoLab-SAI-SJTU/SEATrack本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看