Runway成立于2018年,是一家AI视频编辑软件提供商,主要为设计师、艺术家和开发人员提供一系列的工具和平台,产品是帮助专业人士生成各种内容。客户包括CBS, Publicis 和 New Balance。据Forbes报道,年收入将近500万美元,员工40人左右。Runway融资5000万美元,估值5亿。

 

 

Runway在其官方推特发布GEN-1消息,GEN-1 可通过将图像或文本提示符的组成和样式应用到源视频的结构上,实际地并始终如一地合成新视频。

官网显示:根据用户研究,GEN-1的结果优于现有的图像到图像和视频到视频的翻译方法,比稳定扩散Stable Diffusion 1.5提升73.83%,比Text2Live提升88.24%,论文即将公布。

作者是Patrick Esser(Runway ML主任研究科学家) ,Johnathan Chiu、Parmida Atighehchian、Jonathan Granskog、Anastasis Germanidis

GEN-1 5个模式

模式01:风格化,可将任何图像或提示的样式传输到视频的每个帧。

模式02:故事板,可将模型转换为完全风格化和动画渲染。

模式03:面具,可隔离视频中的主题,并使用简单的文本提示对其进行修改。

模式 04:渲染,可通过应用输入图像或提示,将无纹理渲染转换为逼真的输出。

模式 05:自定,可通过定制模型以获得更高的保真度结果,释放Gen-1的全部功能。

 

Runnway官网地址:https://research.runwayml.com/gen1

GEN-1 早期注册网址:http://bit.ly/3RxvBZr

论文地址:https://arxiv.org/abs/2302.03011