大模型研究已经向更为精细、专业的领域迈进,对其理解和生成能力也有了更高的要求。

11月16日,智源研究院发布双语AltDiffusion模型,并在CLIP基础上提出AltCLIP,中英图文生成方面取得新突破。AltDiffusion方面,研究者进一步提升了模型能够理解的长Prompt,提升生成图像的清晰度、细节度等,并增加了中国风这一生成效果。

此外,团队支持包括Stable Diffusion WebUI、DreamBooth、Stable Prompts Book等开源生态。AltCLIP方面,研究者用其替换了Stable Diffusion中的CLIP模块,提升其多语言理解性能表现。目前AltDiffusion及其相关项目已开源,并加入了DiffusersLib@智源AI周刊

 

AIGC 如火如荼发展的当下,中文世界的创作者常有几大痛点:思考英文Prompts准确表达的绞尽脑汁,翻译软件词不达意的尴尬,精细构思的 Prompts 在画面生成中找不到一丝痕迹,亦或面对文化误解中的“中国风”哭笑不得。

智源研究院大模型研究团队开源最新双语 AltDiffusion 模型,为中文世界带来专业级 AI 文图创作的强劲动力:支持精细长中文 Prompts 高级创作;无需文化转译,从原汁原味中国话直达形神兼备中国画;且在绘画水平上达到低门槛中英对齐原版 Stable Diffusion 级震撼视效,可以说是讲中文的世界级 AI 绘画高手。 

创新模型 AltCLIP 为这一工作的基石,为原 CLIP 模型补齐更强的跨语言三大能力。AltDiffusion 和 AltCLIP 模型均为多语言模型,中英双语为第一阶段工作,代码与模型已开源。

 

  • AltDiffusion
https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion 
  • AltCLIP
https://github.com/FlagAI-Open/FlagAI/examples/AltCLIP 
  • HuggingFace space试玩地址:
https://huggingface.co/spaces/BAAI/bilingual_stable_diffusion

AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities

https://arxiv.org/abs/2211.06679  

 


详情内容请点击🔥

https://mp.weixin.qq.com/s/mQ0CcTlkrMalZhPSMg4K4Q