加入收藏 | 设为首页 | 会员中心 | 我要投稿 南京站长网 (https://www.025zz.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 传媒 > 正文

一个模型通杀八大视觉任务,一句话产生图像视频

发布时间:2021-11-30 22:31:13 所属栏目:传媒 来源:互联网
导读:有这样一个模型。 它可以做到一句话生成视频: 不仅零样本就能搞定,性能还直达SOTA。 它的名字,叫NWA(女娲)。 女娲女娲,神通广大,正如其名,一句话生成视频只是这个模型的技能之一。 除此之外,一句话生成图片,草图生成图像、视频,图像补全,视频预
有这样一个模型。
 
它可以做到一句话生成视频:
 
不仅零样本就能搞定,性能还直达SOTA。
 
它的名字,叫“NüWA”(女娲)。
 
“女娲女娲,神通广大”,正如其名,一句话生成视频只是这个模型的技能之一。
 
除此之外,一句话生成图片,草图生成图像、视频,图像补全,视频预测,图像编辑、视频编辑——
一共八种视觉任务,它其实全部都能搞定。
 
完全是一位不折不扣的“全能型选手”。
 
它,就是由微软亚研院和北大联合打造的一个多模态预训练模型,在首届微软峰会上亮相。
 
目前,在推特上已“小有热度”。
 
八项全能“女娲”,单拎出来也不差
所以这个全能型选手究竟表现如何?
 
直接与SOTA模型对比,来看看“她”在各项任务上的表现。
 
在文本生成图像中,不得不说,即使“女娲”的FID-0得分不及XMC-GAN,但在实际效果中,“女娲”生成的图肉眼可见的更好,清晰又逼真。
文本到视频中,“女娲”每一项指标都获得了第一名,从逐帧图片来看,差距很明显。
 
在视频预测中,所有模型使用64x64的分辨率,Cond.代表供预测的帧数。
 
尽管只有1帧,“女娲”也将FVD得分从94±2降到86.9。
 
草图转图像时,与SOTA模型相比,“女娲”生成的卡车都更逼真。
 
而在零样本的图像补全任务中,“女娲”拥有更丰富的“想象力”。
 
并且,它的另一个优势是推理速度,几乎50秒就可以生成一个图像;而Paint By Word在推理过程中需要额外的训练,大约需要300秒才能收敛。

(编辑:南京站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读