UltraMedical: Building Specialized Generalists in Biomedicine

大型语言模型（LLMs）在各个领域展现出了惊人的能力，并正在向更专业的领域发展。最近的高级专有模型，如GPT-4和Gemini，在生物医学领域取得了重大进展，但也引发了隐私和安全方面的挑战。构建专业通用模型在很大程度上取决于高质量的数据集，通过监督微调、强化学习和直接偏好优化等技术，从人类或AI反馈中提高数据集质量。然而，这些领先的技术（例如偏好学习）由于专业数据的稀缺性，在开源社区中仍然受到极大的限制。在本文中，我们介绍了UltraMedical集合，它由生物医学领域的高质量手动和合成数据集组成，涵盖了多个先进的LLMs的偏好注释。通过利用这些数据集，我们微调了一套基于Llama-3系列的专业医学模型，在各种医学基准测试中展示了惊人的能力。此外，我们还开发了在生物医学和通用奖励基准测试中表现出色的强大奖励模型，进一步增强了生物医学LLM社区内的在线偏好学习。

本文旨在解决生物医学领域中数据稀缺的问题，提出了UltraMedical数据集，用于训练专门的生物医学模型，并且探讨了在线学习的方法。

本文的关键思路是通过构建高质量的手动和合成数据集，利用监督微调、增强学习和直接偏好优化等技术，提高生物医学领域中的语言模型的性能，并进一步探索在线学习的方法。

本文提出了UltraMedical数据集，用于训练生物医学领域中的语言模型，并且展示了在多个生物医学基准测试中的惊人表现。同时，本文还提出了在线学习的方法，用于进一步提高生物医学领域中的语言模型的性能。实验设计合理，使用了多个数据集，并且提供了开源代码。

近期相关研究包括《GPT-4和Gemini在生物医学领域的应用》等。