Runway成立于2018年,是一家AI视频编辑软件提供商,主要为设计师、艺术家和开发人员提供一系列的工具和平台,产品是帮助专业人士生成各种内容。客户包括CBS, Publicis 和 New Balance。据Forbes报道,年收入将近500万美元,员工40人左右。Runway融资5000万美元,估值5亿

Stable Diffusion的初始版本,就有Runway的贡献。只不过后来被Stability AI普及,并有了更进一步的发展。

其实在今年2月,Runway就提出了首个AI编辑模型Gen-1。Gen-1可以在原视频的基础上,编辑出咱们想要的视频。无论是粗糙的3D动画,还是用手机拍出来的摇摇晃晃的视频,Gen-1都可以升级出一个不可思议的效果。

相比Gen-1,Gen-2获得升级——可以从头开始生成视频。

 

Runway Gen-2 科幻级功能

 

模式01:文本生成视频

以任何风格合成视频,你可以想象只使用文本提示。能说出来就能看到它。

模式02:图像生成视频

使用驾驶图像和文本提示生成视频

模式03:图像到视频
仅使用驾驶图像生成视频(变体模式)

模式04:风格化
将任何图像或提示的样式传输到视频的每个帧

模式05:故事板
将模型转换为完全风格化和动画渲染。

模式06:面具
隔离视频中的主题,并使用简单的文本提示进行修改。

模式07:渲染
通过应用输入图像或提示,将无纹理渲染转换为逼真的输出。

模式08:个性化自定义
通过定制模型以获得更高的保真度结果,释放Gen-2的全部功能。

Runnway官网地址:https://research.runwayml.com/gen1

 

更多内容:

Runway发布GEN-1,其结果比Stable Diffusion 1.5提升73.83%,比Text2Live提升88.24%

图片

论文地址:https://arxiv.org/abs/2302.03011 

更多效果访问:https://mp.weixin.qq.com/s/up5n6ZUP6SmSfRNpRX37qQ