到处都能刷到的AI视频 真没你想的那么简单

到处都能刷到的AI视频 真没你想的那么简单

facai369 2024-10-18 科技 871 次浏览 0个评论

“疑似使用了AI生成技术,请谨慎甄别”

大家有没有发现,这行小字有点像“广告仅供参考, 请以实物为准”,已经几乎在生活中越来越常见了。

特别是现在的短视频平台。

刷到个小猫视频,口型是 AI 合成的。

刷个西游记,也能看到 AI 妖精真身。

到处都能刷到的AI视频 真没你想的那么简单

甚至看一个动画片,画面还总是 AI 合成的。

AI视频越来越多了。

虽然掀起 AI 视频浪潮的 Sora 还在难产,但 AI 视频时代或许已经悄然而至。

东吴证券的一份研报里就预测,中国 AI 视频生成的潜在行业空间,可能拥有超过 5800亿元的市场。

但随着市场不断火热,行业的一些问题也逐渐暴露到公众视野:

视频化和AI确实都是未来,但像是成本问题、质量问题、协同问题和性能问题,都萦绕在所有初创企业,大厂们的心头。

到处都能刷到的AI视频 真没你想的那么简单

就拿成本问题和质量问题为例。

大家都知道,目前的生成式大模型特别是视频,就是一个力大飞砖的过程,需要用海量数据进行训练。

而超大规模视频训练数据,又会对计算和处理数据、以及数据本身有着天量需求,随之而来的成本增加是一个天文数字。

到处都能刷到的AI视频 真没你想的那么简单

GPT-4o作为一个老款AI,开发成本“仅”为1亿美元,训练成本大概在 7800万美元左右。

而视频模型的训练成本就更高了,以年初推出的视频模型Sora为例,其训练和推理所需的算力需求,分别就达到了GPT-4的4.5倍和近400倍。。。

除了天价训练成本外,大模型训练样本质量、处理链路复杂,涉及多个环节,需要多团队协作;自研/第三方, GPU 、 CPU 、 ARM 等多种异构算力资源,又需要灵活调度部署。。。

所以,对不少准备拥抱 AI 视频的公司们来说,当务之急就是想尽办法,解决这些问题,才能更快地进化。

要论玩视频的高手,抖音和火山引擎可就有话说了。

上个月底字节推出的爆火的 PixelDance ,效果那是杠杠的。

我们当时还写了篇文章专门给大家唠了遍,就看我们简单试用生成的视频效果,就知道还真有点东西喔。

到处都能刷到的AI视频 真没你想的那么简单

而在 15 号结束的火山引擎视频云技术大会上,开场用了定制数字人谭待来和大家沟通。

结果效果好到,现场参会者们,不少都以为这是视频抠图。

而这些高质量 AI 产出背后,其实离不开一个叫BMF的智能框架。

火山引擎通过和自家大模型团队在内部合作,一起把海量的视频数据进行预处理。

最后基于火山引擎音视频处理平台和 BMF 框架,在短时间内生产了足够多高质量的视频素材,用于模型的训练,才有了 PixelDance 。

功臣之一的 BMF ,为什么能够做到这些呢?

到处都能刷到的AI视频 真没你想的那么简单

我们用个生活中常见的例子来解释:

一个公司开发大模型就好比你家做年夜饭。

为了吃上一顿丰盛的年夜饭,你爸爸负责买菜、妈妈烧饭、奶奶包饺子、你搬桌椅板凳。。。

所有人都得有分工,从头忙到尾,可能还得时不时打个电话发个微信互帮互助,最后一算,好家伙,原来吃顿年夜饭还得花这么多钱。

而BMF就是火山引擎推出的一个“年夜饭一键全流程套餐”,它提供了一系列的工具和服务,帮你轻松、快捷地准备好年夜饭。

这个套餐重点针对性地解决了我们前面说到的 4 个行业痛点,进行了相应的调整。

到处都能刷到的AI视频 真没你想的那么简单

比如为了解决视频训练数据质量问题,他们掏出了多种算法对视频进行多维度的分析和筛选,做到了充分精细化的过滤;

应对性能难题,他们又利用BMF框架的灵活调度,提前调配好了性能。

这就相当于准备年夜饭一早就做好了攻略,买菜交给了多多买菜送货上门、烧饭找了五星级大厨专门掌勺、桌椅板凳安排了专门的小工打杂。。。

反正就是用了BMF这套框架,又便捷又省心又省钱。

到处都能刷到的AI视频 真没你想的那么简单

搞定了企业这边的需求,火山引擎也没忘了大家伙。

如今,大家设备的算力不断上涨,与之而来的就是对视频画质提升的强烈需求。

火山引擎通过得天独厚的优势,每天在抖音/西瓜等 app ,面对上亿用户,处理海量视频图片。

获得了这么丰富的经验之后,火山引擎在BMF基础上,沉淀出了一个更适合普通用户体质的“BMF lite”,实现了更轻量、更高效、更通用的进化。

到处都能刷到的AI视频 真没你想的那么简单

比如相较于云端,在用户端侧,对于功耗,内存非常敏感,而场景又涉及 Android 、 ios 、 PC 等多平台。

于是 BMF-Lite 就重点建设基于跨平台,资源复用的算法包的框架设计。

简单说就是统一了各个平台的接口形式,方便集成部署。

再用算法控制器来复用相同的算法实例,在抖音播放场景,点播跟直播播放大部分都是只会生效一个,可以最大程度地复用资源。

到处都能刷到的AI视频 真没你想的那么简单

而除了BMF为代表的智能框架,火山引擎还提出了智能算力和智能编解码。

火山引擎直接在去年掏出了一款自研视频转码芯片,将自研的视频编解码技术融入到了里面。

好处就是,针对视频点播、直播等特定场景,这款转码芯片有着更高的计算密度。

就这么说吧,一套视频编解码芯片服务器的转码能力,相当于上百台CPU服务器。

到处都能刷到的AI视频 真没你想的那么简单

今天视频转码芯片上线抖音后,通过实践数据表明,在同等视频压缩效率下,成本能节省 95% 以上。

而针对编解码层,火山引擎推出了基于自研视频转码芯片构建的“BVE1.2 编码器”。

这个编码器大胆融合了深度学习技术,推出了革命性的智能混合编解码解决方案,将传统压缩技术与深度学习压缩技术有机融合成为一个整体,极大地提升了编解码的效率,提升了编码性能。

到处都能刷到的AI视频 真没你想的那么简单

在前不久结束的的第六届深度学习图像压缩挑战赛( CLIC 大赛)中,“BVE1.2 编码器”拿到两个冠军足以说明实力。

这一套小组合拳下来,感觉有兴趣的厂商们,估计满脑子都是“付款码扫哪儿”?

你还别说,火山引擎也的确没打算藏着掖着。

像前面说的 BMF 框架,早在去年就已经开源了,更新完的 BMF lite ,也是直接开源。

到处都能刷到的AI视频 真没你想的那么简单

总的来说,目前,大模型的进化还在持续,视频 AI 公司之间的竞争也只会日益激烈。

但如果大家只是闭门造车,互相拿成果比拼,用产品说话,可能会显得竞争有余、合作不足。

而作为可能是全中国短视频玩得最熟练的字节跳动,他们旗下的火山引擎一次次地将内部技术、框架开源。

特别带来的 BMF 框架以及它和智能算力和智能编解码组成的一整套智能底座,的确能够帮助企业们节约了大量时间和成本,更好地帮助 AI 项目落地发展。

这种竞争和合作共存的态度,才是中国 AI 最乐意见到的场面。

一枝独秀难成林,万紫千红才是春。

转载请注明来自语言学习,本文标题:《到处都能刷到的AI视频 真没你想的那么简单》

百度分享代码,如果开启HTTPS请参考李洋个人博客
好好学习天天向上
Top