MedAdapter: Efficient Test-Time Adaptation of Large Language Models towards Medical Reasoning

尽管大型语言模型在生成和推理方面的能力得到了改善，但由于它们的巨大体量和企业隐私，将它们适应于生物医学领域仍然具有挑战性。在这项工作中，我们提出了MedAdapter，这是一个统一的事后适配器，用于将LLMs向生物医学应用的测试时间适应。MedAdapter并非对整个LLM进行微调，而是通过仅微调一个小的BERT大小的适配器来有效地适应原始模型，以对LLM生成的候选解进行排名。实验表明，MedAdapter在生物医学推理中有效地适应了白盒和黑盒LLM，平均性能分别提高了25.48％和11.31％，而无需使用大量计算资源或与第三方共享数据。当与训练时间适应相结合时，MedAdapter也能够产生更优异的性能，突显了对现有适应方法的灵活和互补解决方案。面对平衡模型性能、计算资源和数据隐私的挑战，MedAdapter为将LLMs适应于生物医学领域提供了一种高效、隐私保护、成本效益高和透明的解决方案。

本文旨在解决将大型语言模型（LLMs）应用于生物医学领域时面临的挑战，如模型大小和隐私问题。

MedAdapter是一种针对生物医学应用的统一后期适配器，通过仅微调小型适配器来对LLMs进行测试时间适应，从而实现有效的模型适应。

MedAdapter在生物医学推理中有效地适应了白盒和黑盒LLMs，平均性能提高了25.48%和11.31%，无需共享数据或大量计算资源。MedAdapter与训练时适应相结合可以获得更好的性能，是现有适应方法的一种灵活和补充解决方案。

近期的相关研究包括：BioBERT，SciBERT和BlueBERT等。