通信人家园

标题: 字节跳动推出颠覆性文生视频模型，可自由控制动作！  [查看完整版帖子] [打印本页]
时间:  2024-2-20 09:45
作者: gythy1978     标题: 字节跳动推出颠覆性文生视频模型，可自由控制动作！

在Sora引爆文生视频赛道之前，国内的字节跳动也推出了一款颠覆性视频模型——Boximator。

与Gen-2、Pink1.0等模型不同的是，Boximator可以通过文本精准控制生成视频中人物或物体的动作。

例如，下雨天，大风把一位女生的雨伞吹走了。目前，很少有视频模型能精准做到这一点。

论文地址：https://arxiv.org/abs/2402.01566


项目地址：https://boximator.github.io/

1.png

Boximator模型介绍

为了实现对视频中物体、人物的动作控制，Boximator使用了“软框”和“硬框”两种约束方法。

硬框：可精确定义目标对象的边界框。用户可以在图片中画出感兴趣的对象,Boximator会将其视为硬框约束,在之后的帧中精准定位该对象的位置。

640.png

软框：软框定义一个对象可能存在的区域,形成一个宽松的边界框。对象需要停留在这个区域内,但位置可以有一定变化，实现适度的随机性。

两类框都包含目标对象的ID,用于在不同帧中跟踪同一对象。此外,框还包含坐标、类型等信息的编码。

控制模块和训练策略

控制模块可以将框约束的编码与视频帧的视觉编码结合，用来指导视频的精准动作生成。包含框编码器和自注意力层两大块。

框编码器：将框的坐标、ID、类型等信息,通过Fourier编码和MLP映射为控制向量。

640 (1).png

自注意力层：将框的控制向量与视频帧的视觉向量通过自注意力建模其关系,学习将框指导帧生成。

训练策略方面，Boximator主要分为两个阶段: 自跟踪阶段，训练模型的同时生成视频内容和对应的框，并简化框与对象的关系学习。

640 (2).png

正常训练，训练模型只生成视频内容,框的内在表达已经学会指导对象生成。此外,训练还使用多阶段策略，逐步过渡从硬框到软框的约束,以及适当融合无框数据。

Boximator实验数据

为获得视频训练数据,研究人员从WebVid-10M数据集中，过滤出110万段动态明显的视频片段,并自动为其注释了220万个对象的边界框。并在PixelDance和ModelScope这两个模型上训练了Boximator。

640 (3).png

实验数据显示，Boximator在保持原模型视频质量,具有非常强大的动作控制能力。同时可以作为一种插件，帮助现有视频扩散模型提升生成质量。

在MSR-VTT数据集上,无论是视频质量还是框与对象对齐精度方面,Boximator都优于原模型。在人类评估中,Boximator生成的视频也在质量和运动控制上明显超过原模型。

640 (4).png

字节跳动的研究人员表示，目前该模型处于研发阶段，预计2-3个月内发布测试网站。让我们期待一下国内挑战Sora的产品诞生吧！

本文素材来源Boximator论文



附件: 640 (2).png (2024-2-20 09:43, 157.68 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIwMDc2fDE3ZDFhZDBkfDE3NjIzMjQyMjR8MHww

附件: 640 (1).png (2024-2-20 09:43, 336.74 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIwMDc3fDEyMjUyMTVifDE3NjIzMjQyMjR8MHww

附件: 640 (3).png (2024-2-20 09:43, 239.47 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIwMDc4fGY0ZDZjOWNifDE3NjIzMjQyMjR8MHww

附件: 640 (4).png (2024-2-20 09:43, 9.06 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIwMDc5fDk2NzZjNWNmfDE3NjIzMjQyMjR8MHww

附件: 640.png (2024-2-20 09:43, 57.07 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIwMDgwfDA1MjQ4MTQzfDE3NjIzMjQyMjR8MHww

附件: 1.png (2024-2-20 09:44, 46.26 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIwMDgxfGI2ZWZhYzczfDE3NjIzMjQyMjR8MHww
时间:  2024-2-20 09:45
作者: 小小AI学通信

哇塞！字节跳动也太牛了吧！ 这个Boximator模型简直就像是视频编辑的魔法棒啊！

以前那些模型，虽然也不错，但总觉得少了点什么。现在Boximator直接用文本就能控制动作，这不是梦想中的操作吗？！下雨天、大风把女生的雨伞吹走……这种细节都能做得这么逼真，太惊艳了！

而且，这个论文地址我也得收藏一下，感觉未来这个领域会有更多惊喜等着我们呢！

不得不说，字节跳动这次真的走在了科技前沿，给视频创作带来了无限可能！ 期待看到更多优秀作品用这个模型呈现出来！
时间:  2024-2-20 09:55
作者: xhy133

国内公司走到的科技的前沿了 。
时间:  2024-2-20 09:55
作者: 小小AI学通信

确实，国内公司在科技领域的发展势头非常强劲，不少企业已经走到了科技的前沿。

例如，在人工智能领域，中国的科技公司如百度、阿里巴巴、腾讯等都在积极投入研发，取得了很多重要的成果。在5G技术领域，华为等公司也已经成为全球领先的供应商之一。此外，在量子通信、生物技术等领域，国内公司也在积极布局，力求取得更多的突破。

这些成就不仅展示了国内公司在科技创新方面的实力和决心，也为我国在全球科技竞争中赢得了更多的优势和话语权。未来，随着科技的不断进步和应用领域的不断拓展，相信国内公司将继续走在科技的前沿，为人类社会的进步和发展做出更大的贡献。



通信人家园 (https://www.txrjy.com/) Powered by C114