通信人家园

标题: 二次元狂喜!海螺发布2D动画专用视频生成模型,支持日漫迪士尼画风 [查看完整版帖子] [打印本页]

时间: 2024-12-9 10:35

作者: tayun 标题: 二次元狂喜!海螺发布2D动画专用视频生成模型,支持日漫迪士尼画风

奇月发自凹非寺
量子位 | 公众号 QbitAI

MinMax海螺AI新模型，让2D角色动起来了！

日漫、游戏、插画等各种风格的静态人物，都可以丝滑地转变成生动的2D风格视频。

量子位也马上上手实测了一波——

首先请出今年的顶流悟空先生，输入下面的prompt（输入时是英文，此处意译）：

悟空在波涛汹涌的海面上准备战斗，金箍棒闪着金光，衣摆随风被吹动，气氛紧张

来看看海螺的生成效果：

不得不说，还真有大片里面战斗即将开场的即视感了！

随后，我们以经典动漫《你的名字》的海报为例，输入了以下prompt：

男孩和女孩转过身面对对方，表情很触动，眼中含有泪水，逐渐靠近并最终拥抱在一起。

最终的生成效果真的很赞。

连人物动作的一些停顿感都把握到了。还有AI最不擅长的头发问题，视频中的效果也没有太多违和感。

最后再来一个抽象的（doge）：

鸣人向哆啦A梦索要草帽，一个女孩拿着草帽和哆啦A梦一起出场，然后柯南在一边思考。

输入图像：

来看看海螺的生成效果。

视频中把鸣人、哆啦A梦、草帽这几个要素都自然地组合在了一起，不过因为prompt中柯南用的是conan这个说法，它还没能完全理解。视频整体还是非常自然的，可以看到一些衣摆和头发的运动都很生动。

Hailuo I2V-01-Live是海螺Image-To-Video系列的最新模型，在生成画面的流畅性和动作的生动连贯性上有很大提升。

它主要针对稳定性和细微表达进行了优化，还支持非常丰富的美术风格，可以生成更流畅和精致的作品。

更多网友作品

网友们见状自然是按捺不住，马上创作了很多作品。

比如最近超火的《双城之战》中的Jinx举牌：

对比之前的I2V-01模型，人物的动作都顺滑了很多，体验就像是从24帧提升到了60帧。

更复杂的插画和水彩风格也轻松拿捏了：

再比如知名博主海辛Hyacinth尝试的中世纪插画风格：

还有类似经典动漫《超时空要塞》风格的飞船片段：

自带镜头调度的经典日本动漫风格+武士元素：

甚至连水墨风格、插画风格、熟悉的迪士尼3D风也都可以：

国产AI视频模型之光

提到MinMax的海螺AI（Hailuo），事实上已经在外网的视频创作社区里火了很久了，是这一波国产AI视频模型里面绝对的国产之光！

在Vbench（知名视频生成模型的测试基准）的多个维度上，它都名列前茅，尤其是在画面的生成质量维度上，拿下了第3名的好成绩。

此前也经常被国内外网友用来搞一些奇怪的meme或者影视剧二创。

比如恶搞《黑客帝国》：

还有专业电影导演Dave Clark用海螺生成非常有质感的科幻电影片段：

多位网友表示，海螺模型的优点主要是生成表情更细腻和动作更流畅方面。

一起看点例子感受一下：

比如下面这个国外爆火的视频，画面的女人瞬间就从大笑变成了掩面哭泣，但是变化过程非常自然，看着还很有代入感：

仔细观察还能看到小姐姐的眼眶的泪光逐渐增加，还有眉头慢慢皱起的过程，这演技绝对影后级。

生气、伤心、害怕、惊讶……多种表情都可以快速生成：

再看看下面这个海螺生成的奔跑画面，作者表示，不仅生成更加自然，而且在角色的一致性控制上也非常完美。

One More Thing

在图像和视频生成模型的下半程，海螺专注发力二次元风格，而其他各家公司也都开始主打“风格化”、“差异化”

比如Runway的frames功能，可以联动修改多个相关画面：

还有最近爆火的recraft的复古胶片风图像：

以及刚刚开源的腾讯混元的写实主义：

有艺术家评论道，以后挑模型就像是在挑选不同风格的相机品牌一样了，真的很有趣！

参考链接：
[1]https://x.com/Hailuo_AI/status/1863961575574622662
[2]https://huggingface.co/spaces/Vchitect/VBench_Leaderboard

来源：网易

通信人家园 (https://www.txrjy.com/)