最近，Google 在 AI 圈真的卷疯了，继连续推出两款引领行业的新模型后，又带来了视频 AI 领域的全新突破——Generative Omnimatte。它能像 Photoshop 处理图片一样，将视频智能分解成多个图层，让视频编辑更加精准、高效，并大大简化各种复杂的后期处理流程。Generative Omnimatte 可以将一个视频分解成多个层，每个物体、每片阴影、甚至连头发丝儿都可以单独拎出来，放在不同的图层里，就好像把视频变成了一张张透明纸叠在一起，你可以单独调整某个物体或背景而不会影响其他内容。下图示例中，Generative Omnimatte 不仅将跑动的儿童做了不同的分层处理，连影子也清楚识别了出来。
较多图层的分割同样完成的非常出色。
更令人惊讶的是，Generative Omnimatte 不仅能检测出视频中的手部和手部的阴影外，它还识别出这些手分别来自两个人。因为它创建了两个独立的图层，分别对应两个人。
另外，高速移动的重叠物体之间的阴影，Generative Omnimatte 都处理特别流畅。这里可看到穿黑T恤的人物被前景中的另一个人物部分遮挡，当它们重叠时，这个 AI 仍然能够在整个视频中平滑地生成黑T恤人物的独立图层。
那么，Generative Omnimatte 视频分图层的能力，究竟能为视频行业带来什么样的赋能呢？让我们继续通过一些实例来进行了解。首先，便是素材移除。当视频中的人物手臂及其影子被分出图层，我们可以将该图层进行隐藏，如此视频里呈现的便是爱心自动闭合的神奇场景。值得注意的是，在进行图层隐藏的操作时，AI 还会特别保证画面的合理性，如补足该隐藏图层所遮挡的物品，一并识别擦除区域产生的阴影并且重绘除掉！如下图示例中，人物被隐藏掉后，AI 自动补足了人物手臂遮挡住的纸箱部分，并且擦除了人物在经过窗户时所留下的倒影。
除了简单的隐藏图层，我们还可以玩出花来，譬如下图示例中，我们将手的图层转换为边缘效果。
我们还可以利用 Generative Omnimatte 进行画面补充。下图实例中，将花滑女演员女性作为一个独立的图层，进行了复制，从而呈现出多人效果。
我们还可以在不影响其他图层的情况下，单独编辑某个图层。下图示例中，除了背景被替换了，你还能发现哪些被调整了的内容吗？
没错。画面中，企鹅的大小被巧妙地调整了——左侧的企鹅被显著缩小，而右侧的则明显放大，连同它们的影子也进行了同步的处理，效果十分自然。这一强大功能同样适用于多人合影的场景。当我们试图拍摄一段众人齐跳的视频，却难以确保每位朋友都能在精准同一时刻起跳时，Generative Omnimatte 技术的出现便很好地解决了该问题。它能够将每个人物分离至独立的图层，使你能够轻松调整各自的时间线，确保所有人都能完美同步地跳起并优雅落地。Generative Omnimatte 于上周刚刚发布，目前它仍处于预印本阶段，尚未在 GitHub 或 Hugging Face 等平台上线。但这项新技术潜力巨大，有望彻底改变视频编辑方式。WebEyer 也会持续关注这项技术的最新动态，欢迎大家关注我们，从而在第一时间获取最新进展。
