七火山要做国产Sora，但成色走了样

摘要： 互联网巨头正致力于开发一款超大规模的人工智能系统旨在为其旗下的*推荐引擎注入新的活力从提升用户体验的负责人汤姆埃利森透露这款巨型人工智能以下文章来源于新智能作者举大名耳作者举大名耳...

互联网巨头Meta正致力于开发一款超大规模的人工智能系统，旨在为其旗下的*推荐引擎注入新的活力，从提升用户体验。Facebook的负责人汤姆·埃利森透露，这款巨型人工智能

作者 | 举大名耳

来源 | AI新智能

导

语：技术和商业上的双重限制，让中国版Sora走了样。

这个春天，Sora几乎成了统治整个AI圈的“刷屏王者”。

这个由OpenAI推出的AI*生成神器，凭借其惊人的创造力，让人们再次见识到了AI的无限可能。而这炸裂的能力背后，蕴含着的是指数级的财富增量。

Sora发布后，OpenAI的估值一夜之间涨到了800亿美元。

在内容消费升级的大背景下，AI*生成技术，正成为资本市场的新宠。

在此热潮下，一大批立志追赶或效仿Sora的国产AI企业也乘势而起。其中，七火山科技算是步伐较快的一个。

作为一家专注于AI多模态应用的企业，七火山旗下的产品包括了Lava AI*编辑平台，Bromo AI图像处理工具等，旨在为用户提供AI换脸、AI换背景和AI优化*等功能，可以说在AI*领域，七火山早有布局。

Sora公布后，七火山很快紧随其后，发布了自身号称国产版“Sora”的文生*大模型——Etna。并宣称其以“4K” 、“60帧”、“15秒”等硬性指标，打破了国内文生*AI的各种纪录。

那么，在多个耀眼的标签下，这个国产版“Sora”，成色究竟怎样？

导演VS剪辑师

如果用一句话来评价Sora和Etna之间的差距，那么Sora更像是一个全能的导演，而Etna则像是一个专业的*编辑师。

要理解这点，我们就得从技术上拿捏一下Etna的“看家本领”。

按照七火山目前披露的信息，Etna主要的特色和优势分别是：

1、高帧率（每秒60帧）；

2、高分辨率（可以达到4k）；

3、较长的*时长（8—15秒），讲真，这个时长在国内文生*AI里（大部分是3~4秒）算不错的了。

实事求是地说，在帧数和分辨率方面，Etna已经超越了目前Sora。因为现在Sora仅仅只能生成帧数为每秒30帧，分辨率为720p的*。

然而，以上几点仅仅是Etna的“皮相”，真正决定其与Sora差距的，还是Etna自身的底层架构。

不过话说回来，即使是在“皮相”的部分，Etna和Sora也存在着一些肉眼可见的差距。

例如从整体上看，Etna生成的*，大部分都是一些运动幅度较小的片段，看上去更像是一些加了动效的PPT。（关于这部分原因，后面会分析）

从底层架构上来说，虽然Etna和Sora采用的都是Diffusion+Transform架构，但Etna较为不同的地方，就是在此基础上插入了时空卷积和注意力层。

这样做的一个好处就在于，与Transformer相比，CNN在处理高分辨率*时更高效，并且有助于减少计算资源和内存的需求。

这正是主打4K分辨率的Etna所需要的。

然而，问题就在于，在处理长*（1分钟以上）时，卷积神经网络（CNN）可能会受到限制，因为传统的CNN在处理极长序列时可能不如Transformer有效。

这主要是因为，Transformer通过自注意力机制来处理序列数据，而CNN往往将*视为一系列独立的图像帧，然后分别逐帧处理。

其中的区别，就相当于Transformer是一本超级详细的日记，它可以让你随时查看任何一页，而且每一页都记录了这部电影的所有细节，包括画面与画面之间的所有联系和变化。不管你想回忆起电影的哪个部分，它都能帮你找到，并且告诉你前因后果。

而就CNN是好像相册一样的东西，它只能一次给你看几张照片，而且它看的照片是按照一定的顺序排列的。

但是当你想回忆起一个很早之前的画面和后面的画面之间的联系时，它可能就帮不上太大的忙了。

这等于是，Etna为追求更高的分辨率和帧数，舍去了生成更长*的可能。

从算力上来说，这其实也是一件情理之中的事，毕竟，在生成长*的同时，还要保持极高的分辨率和帧数，这消耗的计算资源，即使是OpenAI也顶不住。

这也是为什么Sora目前只能生成每秒30帧，分辨率为720p的*。

但问题是，Etna为什么要做这样的取舍？

这里有三种可能：

一是七火山本身的计算资源、底层技术不到家，所以只好用时空卷积+注意力层的办法，让*在较短的时间内，勉强让画面“动”起来；

二是七火山的商业模式，决定了它不会走长*的道路，也就不会去钻研这方面的技术；

第三种情况，就是两者兼而有之。

参天大树和盆景

AI生成*，尤其是长*，对计算资源的消耗是惊人的。

之前OpenAI的CTO在接受采访时，就明确表示，虽然Sora会在今年晚些时候推出，但由于高昂的计算资源，其价格“可能会很贵”。

就目前国内AI行业愈发谨慎的投资环境来说，能否说服VC或投资人，给这么一个比LLM（大语言模型）更烧钱的技术融资，要打一个大大的问号。

而商业路径最明确，“回血”也最快的短*赛道，就成了*生成类AI最有可能被资本认可的方向。

这种商业上的考量，或许正是Etna在架构层面没有往长*方向发展的原因。

再者，从技术方面来说，虽然Etna采用了与Sora类似的Diffusion+Transform架构，但这绝不意味着，任何一家公司，只要对着这个架构照抄，就能做出和Sora一样好的*。

换句话说，Sora在生成质量上的亮眼表现，其实更像是一种工艺上的精进，而非掌握了某种“秘术”。

如果说得稍微具体些，这种“工艺”上的精髓，很有可能就是Sora在多模态理解和长距离依赖方面的优势。

这样的区别，决定了模型能否理解用户给出的复杂指令，能否生成一些动作幅度较大、或者较为复杂的片段。

能做到这点的模型，就是“导演”，否则就只能当个“剪辑师”。

举例来说，Sora这个“全能导演”不仅仅是能根据文字来生成*，它还能理解文字里的复杂情节和细节，然后自己想象出一整套画面来。

例如前段时间，Sora公布的一段*中，就出现了“一个男人参拜巨型猫王”的片段。画面的提示词是：座巨大的大教堂里全是猫。一个男人走进大教堂，向坐在王座上的巨型猫王鞠躬。

在整个*中，画面所透出的“故事感”特别强烈，即使没有旁白，观众也能自行脑补一系列情节。

而到*的末尾，猫王甚至还凑到男人面前嗅了嗅，仿佛是在“打量”这个参拜者。

如此复杂的画面和动作，需要模型在多模态理解方面有很强的功力。

而Etna在对其进行效仿时，可能由于并未掌握其精髓，或是由于计算资源不足的原因，采用了时空卷积+注意力层的办法，作为一种“权宜之计”，让*勉强“动”起来。

这也是为什么，Etna生成的*，大部分都是一些运动幅度较小的片段。

因为这样的片段往往比较简单，不太涉及对复杂语义的理解，消耗的算力资源也比较小。

话说回来，Etna之所以在架构中采用时空卷积+注意力层，最有可能的原因，就是二者在计算效上率相较于单纯的Transformer架构更高效，对算力要求更小。

因为时空卷积和注意力层在处理数据时，通常只考虑局部信息，而不需要考虑整个序列。

这其实也挺符合七火山现在的短*战略的，毕竟短*追求的就是一个“短、平、快”，如果有可能的话，最好能把算力的要求，降低到大部分手机都能运行的地步。

如此一来，随拍随发，用户才能用得尽兴，应用的粘性才够强。

七火山和快手海外SnackVideo也有合作

不过，这种看似“高效”的策略，总不免透着些遗憾。

毕竟，Sora这类的“导演”级模型，虽然很难造就，但其前景和应用方向，无疑是更加广阔的。之后无论是电影、电视剧，甚至是机器人、自动驾驶训练所需的模拟*，都能让其大展拳脚。

而相较之下，专精于短*的Etna，虽然也可以成为一个很好的“剪辑师”，但*AI的想象力，难道就该仅仅止步于短*吗？

这就像是，虽然盆栽确实可以长得很精致，但只有参天大树，才能见到更广阔的天地。