新视频算法:追踪一切

2023-06-22 22:46:30 | 来源:机器之心

机器之心报道

机器之心编辑部

Tracking Everything Everywhere All at Once.

前段时间,Meta 发布「分割一切(SAM)」AI 模型,可以为任何图像或视频中的任何物体生成 mask,让计算机视觉(CV)领域研究者惊呼:「CV 不存在了」。之后,CV 领域掀起了一阵「二创」狂潮,一些工作陆续在分割的基础上结合目标检测、图像生成等功能,但大部分研究是基于静态图像的。


【资料图】

现在,一项称为「追踪一切」的新研究为动态视频中的运动估计提出了新方法,能够准确、完整地追踪物体的运动轨迹。

该研究由来自康奈尔大学、谷歌研究院和 UC 伯克利的研究者共同完成。他们联合提出了一种完整且全局一致的运动表征 OmniMotion,并提出一种新的测试时(test-time)优化方法,对视频中每个像素进行准确、完整的运动估计。

论文地址:/abs/

项目主页:/

有网友在推特上转发了这项研究,仅一天时间就收获了 3500 + 的点赞量,研究内容大受好评。

从该研究发布的 demo 看,运动追踪的效果非常好,例如追踪跳跃袋鼠的运动轨迹:

荡秋千的运动曲线:

还能交互式查看运动追踪情况:

即使物体被遮挡也能追踪运动轨迹,如狗在跑动的过程中被树遮挡:

在计算机视觉领域,常用的运动估计方法有两种:稀疏特征追踪和密集光流。但这两种方法各有缺点,稀疏特征追踪不能建模所有像素的运动;密集光流无法长时间捕获运动轨迹。

该研究提出的 OmniMotion 使用 quasi-3D 规范体积来表征视频,并通过局部空间和规范空间之间的双射(bijection)对每个像素进行追踪。这种表征能够保证全局一致性,即使在物体被遮挡的情况下也能进行运动追踪,并对相机和物体运动的任何组合进行建模。该研究通过实验表明所提方法大大优于现有 SOTA 方法。

方法概述

该研究将帧的集合与成对的噪声运动估计(例如光流场)作为输入,以形成整个视频的完整、全局一致的运动表征。然后,该研究添加了一个优化过程,使其可以用任何帧中的任何像素查询表征,以在整个视频中产生平滑、准确的运动轨迹。值得注意的是,该方法可以识别画面中的点何时被遮挡,甚至可以穿过遮挡追踪点。

OmniMotion 表征

传统的运动估计方法(例如成对光流),当物体被遮挡时会失去对物体的追踪。为了在遮挡的情况下也能提供准确、一致的运动轨迹,该研究提出全局运动表征 OmniMotion。

该研究试图在没有显式动态 3D 重建的情况下准确追踪真实世界的运动。OmniMotion 表征将视频中的场景表示为规范的 3D 体积,通过局部规范双射(local-canonical bijection)映射成每个帧中的局部体积。局部规范双射被参数化为神经网络,并在不分离两者的情况下捕获相机和场景运动。基于此种方法,视频可以被视为来自固定静态相机局部体积的渲染结果。

由于 OmniMotion 没有明确区分相机和场景运动,所以形成的表征不是物理上准确的 3D 场景重建。因此,该研究称其为 quasi-3D 表征。

OmniMotion 保留了投影到每个像素的所有场景点的信息,以及它们的相对深度顺序,这让画面中的点即使暂时被遮挡,也能对其进行追踪。

实验及结果

定量比较

研究者将提出的方法与 TAP-Vid 基准进行比较,结果如表 1 所示。可以看出,在不同的数据集上,他们的方法始终能实现最佳的位置准确性、遮挡准确性和时序一致性。他们的方法可以很好地处理来自 RAFT 和 TAP-Net 的不同的成对对应输入,并且在这两种基准方法上提供了一致的改进。

定性比较

如图 3 所示,研究者对他们的方法和基线方法进行了定性比较。新方法在(长时间)遮挡事件中显示出了出色的识别和追踪的能力,同时在遮挡期间为点提供合理的位置,并处理很大的摄像机运动视差。

消融实验与分析

研究者利用消融实验来验证他们设计决策的有效性,结果如表 2 所示。

在图 4 中,他们展示了由他们的模型生成的伪深度图,以展示学习到的深度排序。

需要注意的是,这些图并不对应于物理深度,然而,它们展示了仅使用光度和光流信号时,新方法能够有效地确定不同表面之间的相对顺序,这对于在遮挡中进行追踪至关重要。更多的消融实验和分析结果可以在补充材料中找到。

©THE END

转载请联系本公众号获得授权

投稿或寻求报道:content@

上一篇 下一篇

相关新闻

新视频算法:追踪一切

【中篇】《于日落时分搁浅》(7/10)

端午游峨眉,愿所有美好与你不期而遇 当前速读

如何拍抖音短视频教程(如何拍抖音短视频教程完整版)-每日热文

热销40万杯,“土味爆款”又出现了!年轻人为什么总爱这一招?|环球最新

流产后能不能敷面膜?-天天新资讯

高燃!看龙舟竞渡迎端午佳节

全球热资讯!怀孕离婚男方要补偿吗

淘宝微淘是什么_微淘是什么_焦点快播

红肉白肉是指哪些肉类_白肉是指羊肉还是鸭肉 世界热议

剖腹产不能吃什么?_剖腹产不可以吃什么东西 焦点播报

速讯:铸铁平台是否可以实现一个很好的安全防护功能

“三夏”时节麦收忙 他们在田间地头守护“大国粮仓” 当前观点

又一“国字号”荣誉!西安高新区两家爱心驿站获评“全国最美”!|环球时讯

环球今日报丨哥哥叫金吒和木吒,为啥哪吒不叫水吒?都是百姓以讹传讹编的

最新新闻

新视频算法:追踪一切

【中篇】《于日落时分搁浅》(7/10)

端午游峨眉,愿所有美好与你不期而遇 当前速读

如何拍抖音短视频教程(如何拍抖音短视频教程完整版)-每日热文

热销40万杯,“土味爆款”又出现了!年轻人为什么总爱这一招?|环球最新

流产后能不能敷面膜?-天天新资讯

高燃!看龙舟竞渡迎端午佳节

全球热资讯!怀孕离婚男方要补偿吗

淘宝微淘是什么_微淘是什么_焦点快播

红肉白肉是指哪些肉类_白肉是指羊肉还是鸭肉 世界热议

剖腹产不能吃什么?_剖腹产不可以吃什么东西 焦点播报

速讯:铸铁平台是否可以实现一个很好的安全防护功能

“三夏”时节麦收忙 他们在田间地头守护“大国粮仓” 当前观点

又一“国字号”荣誉!西安高新区两家爱心驿站获评“全国最美”!|环球时讯

环球今日报丨哥哥叫金吒和木吒,为啥哪吒不叫水吒?都是百姓以讹传讹编的

全球即时看!养老金调整2023何时发放?2023养老金发放日期、增长比例与特定调整机制

雪松国际信托被罚220万:以现金管理类产品的名义误导投资者等

萧煌奇方发布律师声明 否认网传多年装盲人一事

建立高校毕业生毕业去向登记制度

全球观焦点:苦寻儿子22年,长沙“雷公”收到喜讯

hpv感染是什么意思(hp感染是什么意思) 天天视讯

猪肉身上哪一块蛋白质最高? 聚看点

炎亚纶丑闻发酵,7人被拉下水,鬼鬼曾找他借精子生小孩-热点在线

谷歌首席执行官皮查伊今天在美国国会山与参议员贝内特会面

世界快资讯丨实况足球2013技能卡(实况足球2013技能卡上限

微速讯:职业打假人名词解释(职业打假人名单查询)

环球热议:小班美术漂亮的帽子教案_小班美术漂亮的帽子教案及反思

著名考古学家孟凡人因病去世,享年83岁

北大光华与腾讯云共建AI通识课:加速大模型落地产业场景创新

全球观速讯丨qq等级达人图标为什么点不亮(qq等级达人)