跨任务、语言和模式的大规模自我监督预训练，收获8300 Star

微软开源的大规模自监督预训练模型，包括“人工智能基础知识”和“预训练模型”两部分。目前已经收获了 8,300 Star

访问地址：https://github.com/microsoft/unilm

包括人工智能基础知识

• TorchScale：DeepNet、Foundation Transformers (Magneto)、Length-Extrapolatable、X-MoE

预训练模型

• General-purpose Foundation Model：MetaLM
• Language & Multilingual：UniLM、InfoXLM/XLM-E、DeltaLM/mT6、MiniLM、AdaLM、EdgeLM、SimLM、E5
• Vision：BEiT/BEiT-2、DiT
• Speech：WavLM、VALL-E
• Multimodal (X + Language)：LayoutLM/LayoutLMv2/LayoutLMv3、LayoutXLM、MarkupLM、XDoc、UniSpeech、UniSpeech-SAT、SpeechT5、SpeechLM、VLMo、VL-BEiT、BEiT-3
• Toolkits：s2s-ft、Aggressive Decoding
• Applications：TrOCR、LayoutReader、XLM-T

内容中包含的图片若涉及版权问题，请及时与我们联系删除