此前，ChatGPT一经发布，便迅速成为全球热点话题。但其技术细节未被公开，这也引发了公众对中美在人工智能领域技术差异的关注和担忧。复旦大学邱锡鹏团队随后发布对话式大语言模型MOSS，并公开其技术路线，引起了学术界和工业界的广泛关注。MOSS的发布是一个重要的里程碑，展示了在资源受限的情况下构建高效大型语言模型的可能性，还为全球研究者和开发者提供了重要的技术参考和实践经验，也提升了国人研发大语言模型的信心。MOSS是一个160亿参数的开源语言模型，这使它在处理与人类的多轮交互时具备高度的灵活性和执行各种指令的能力。文章详细阐述了MOSS在研发过程中的各项技术挑战和解决方案，包括预训练、监督微调和模型对齐等关键步骤。此外，文章还深入探讨了MOSS团队在早期大语言模型研发过程中的思考和方法论，充分反映了该团队对于前沿科技的深刻洞察。
全文导读
全文下载：
MOSS: An Open Conversational Large Language Model
Tianxiang Sun, Xiaotian Zhang, Zhengfu He, Peng Li, Qinyuan Cheng, Xiangyang Liu, Hang Yan, Yunfan Shao, Qiong Tang, Shiduo Zhang, Xingjian Zhao, Ke Chen, Yining Zheng, Zhejian Zhou, Ruixiao Li, Jun Zhan, Yunhua Zhou, Linyang Li, Xiaogui Yang, Lingling Wu, Zhangyue Yin, Xuanjing Huang, Yu-Gang Jiang & Xipeng Qiu
https://link.springer.com/article/10.1007/s11633-024-1502-8
https://www.mi-research.net/en/article/doi/10.1007/s11633-024-1502-8
关于Machine Intelligence Research
Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等20余家国际数据库收录，入选图像图形领域期刊分级目录-T2级知名期刊。2022年首个CiteScore分值在计算机科学、工程、数学三大领域的八个子方向排名均跻身Q1区，最佳排名挺进Top 4%，2023年CiteScore分值继续跻身Q1区。2024年获得首个影响因子(IF) 6.4，位列人工智能及自动化&控制系统两个领域JCR Q1区。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢