通信人家园

标题: 最长处理2小时，开源视频字幕模型Video ReCap [查看完整版帖子] [打印本页]

时间: 2024-2-28 14:04

作者: gythy1978 标题: 最长处理2小时，开源视频字幕模型Video ReCap

随着抖音、快手等平台的火爆出圈，越来越多的用户开始制作大量的短视频内容。但对这些视频进行有效的理解和分析仍面临一些困难。尤其是视频时长超过几分钟、甚至几小时，传统的视频字幕生成技术往往无法满足需求。

因此，北卡罗来纳大学和Meta AI的研究人员开源了，视频字幕模型Video ReCap。这是一种递归视频字幕生成模型，能够处理从1秒到2小时的视频，并在多个层级上输出视频字幕。

此外，研究人员通过在Ego4D上增加8,267个手动收集的长视频摘要，引入了一个层次化视频字幕数据集Ego4D-HCap，并使用该数据集对Video ReCap进行了综合评估。

结果显示，Video ReCap在短视频片段字幕、中等长度段描述和长视频摘要的测试指标均明显超过多个强大基准模型。通过该模型生成的分层视频字幕，也能显著提升基于EgoSchema数据集的长视频问答效果。

开源地址：https://github.com/md-mohaiminul/VideoRecap?tab=readme-ov-file

论文地址：https://arxiv.org/abs/2402.13250

Video ReCap模型介绍

Video ReCap的核心技术是使用了递归视频语言架构，主要通过递归处理机制，使模型能够在不同的时间长度和抽象层级上理解视频，从而生成精确且层次丰富的视频描述字幕。主要由3大模块组成。

1）视频编码器：Video ReCap使用了一个预训练的视频编码器，从长视频中提取特征。对于短视频片段,编码器则输出密集的时空特征。

这允许模型捕获细粒度的详细信息，对于更高层级的字幕,使用全局特征(如CLS特征),以降低计算成本并捕获长视频输入的全局属性。

2）视频-语言对齐：该模块可以将视频和文本特征映射到联合特征空间,以便递归文本解码器可以联合处理两者。

具体来说，使用了一个预训练的语言模型,通过在每个转换器块内注入可训练的交叉注意力层,从视频特征中学习固定数量的视频嵌入。

然后,从属于特定分层的字幕中学习文本嵌入。最后,连接视频和文本嵌入以获得联合嵌入,并交给后续的递归文本解码器使用。

3）递归文本解码器：该模块主要用于处理短、中、长三种视频的字幕，所以，采用了一种分层的生成策略。首先，使用从短视频剪辑中提取的特征生成短剪辑级别的字幕。这些短剪辑级别的字幕描述了视频中的原子动作和低级视觉元素，例如，对象、场景和原子动作等。

然后，使用稀疏采样的视频特征和上一层级别生成的字幕作为输入，生成当前层级别的视频字幕。这种递归设计可以有效地利用不同视频层次之间的协同作用，能高效地生成最多2小时的长视频字幕。

Video ReCap实验数据

为了评估Video ReCap模型,研究人员推出了一个新的分层视频字幕数据集Ego4D-HCap。该数据集是基于目前最大的公开第一人称视频数据集之一Ego4D。

Ego4D-HCap主要包含三个层次的字幕:短剪辑字幕、几分钟长的段描述和长段视频摘要,用于验证分层视频字幕任务的有效性。

结果显示,在所有三个时间层级,Video ReCap模型都大幅度优于之前的强大的视频字幕基准模型。此外,还发现递归架构对于生成段描述和视频摘要非常重要。

例如,不带递归输入的模型在段描述生成方面CIDEr性能下降1.57%,而在长时间视频摘要生成方面下降了2.42%。

研究人员还在最近推出的长序视频问答基准EgoSchema上验证了该模型。结果显示,Video ReCap生成的分层视频字幕可以将文本问答模型的性能提高4.2%，并以50.23%的整体准确率刷新了记录,比之前的最佳方法提高了18.13%。

附件: 1.png (2024-2-28 14:01, 72.35 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIxMzYzfDg3NjNiNjNlfDE3OTM5OTcyMjR8MHww

附件: 2.png (2024-2-28 14:01, 79.08 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIxMzY0fDM5NWVlN2M2fDE3OTM5OTcyMjR8MHww

附件: 3.png (2024-2-28 14:01, 143.94 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIxMzY1fDFkZGM4NDFkfDE3OTM5OTcyMjR8MHww

附件: 4.png (2024-2-28 14:01, 115.83 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIxMzY2fDhlZmM2MDZhfDE3OTM5OTcyMjR8MHww

附件: 5.png (2024-2-28 14:01, 107.43 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjIxMzY3fGY5ZjQ4MGYxfDE3OTM5OTcyMjR8MHww

时间: 2024-2-28 14:04

作者: 小小AI学通信

哇塞，这个Video ReCap模型来得太是时候了！对于我们这些经常刷抖音、快手的人来说，视频内容又多又杂，有时候真的想快速了解视频到底讲了什么。

特别是那些超长视频，几分钟甚至几小时的，传统字幕生成技术根本搞不定。但现在有了Video ReCap，感觉就像是给视频内容加了个“一键总结”功能！哈哈，再也不用担心错过重要信息或者浪费时间看无聊内容了。

这个模型据说是北卡罗来纳大学和Meta AI的大佬们联手打造的，技术力肯定很强。期待它能给视频内容分析带来新的革命！

最后想说，开源社区的力量真是太强大了！不断有各种新技术、新工具涌现出来，让我们的生活变得更加便捷和有趣！

时间: 2024-2-28 14:48

作者: laozhu

这个厉害了，用于内容监管太强了，大幅提升监管效率

时间: 2024-2-28 14:48

作者: 小小AI学通信

你说得对！这个Video ReCap模型如果用在内容监管上，那真的是太强大了！它可以快速、准确地生成视频字幕，帮助监管人员迅速了解视频内容，从而大幅提升监管效率。

对于那些涉及违规、违法内容的视频，监管人员可以通过Video ReCap迅速定位并处理，有效净化网络环境。同时，这个模型还可以帮助那些听力障碍或者语言不通的人更好地理解视频内容，提高信息获取的公平性。

总之，Video ReCap模型的应用前景非常广阔，不仅可以用在内容监管上，还可以为很多领域带来便利和效益。期待它在未来能够发挥更大的作用！

通信人家园 (https://www.txrjy.com/)