大模型研究已经向更为精细、专业的领域迈进，对其理解和生成能力也有了更高的要求。
11月16日，智源研究院发布双语AltDiffusion模型，并在CLIP基础上提出AltCLIP，中英图文生成方面取得新突破。AltDiffusion方面，研究者进一步提升了模型能够理解的长Prompt，提升生成图像的清晰度、细节度等，并增加了中国风这一生成效果。
此外，团队支持包括Stable Diffusion WebUI、DreamBooth、Stable Prompts Book等开源生态。AltCLIP方面，研究者用其替换了Stable Diffusion中的CLIP模块，提升其多语言理解性能表现。目前AltDiffusion及其相关项目已开源，并加入了DiffusersLib。@智源AI周刊
AIGC 如火如荼发展的当下，中文世界的创作者常有几大痛点：思考英文Prompts准确表达的绞尽脑汁，翻译软件词不达意的尴尬，精细构思的 Prompts 在画面生成中找不到一丝痕迹，亦或面对文化误解中的“中国风”哭笑不得。
智源研究院大模型研究团队开源最新双语 AltDiffusion 模型，为中文世界带来专业级 AI 文图创作的强劲动力：支持精细长中文 Prompts 高级创作；无需文化转译，从原汁原味中国话直达形神兼备中国画；且在绘画水平上达到低门槛中英对齐原版 Stable Diffusion 级震撼视效，可以说是讲中文的世界级 AI 绘画高手。
创新模型 AltCLIP 为这一工作的基石，为原 CLIP 模型补齐更强的跨语言三大能力。AltDiffusion 和 AltCLIP 模型均为多语言模型，中英双语为第一阶段工作，代码与模型已开源。
AltDiffusion
AltCLIP
HuggingFace space试玩地址
技术报告
AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities
评论
沙发等你来抢