论文链接
代码链接

Abstract

预训练的语言模型不断进行微调，以更好地支持下游应用。然而，此操作可能会导致目标领域之外的通用任务的性能显著下降。为了克服这个问题，我们提出了LM Cocktail，它使微调后的模型在总体上保持弹性。我们的方法以模型合并（Model Merging）的形式进行，其中微调的语言模型通过加权平均与预训练的基础模型或其他领域的对等模型合并。尽管简单，LM Cocktail却出奇地有效：由此产生的模型在整个通用任务领域内拥有强大的性能，同时在其目标领域保持卓越的能力。我们在流行的基准测试（包括FLAN、MMLU、MTEB）上使用LLama和BGE模型进行了全面的实验，其结果验证了我们提出的方法的有效性。

1. Introduction

语言模型（LM）是人工智能和自然语言处理的基石。得益于训练规模和模型尺寸的大规模扩张，语言模型在各种NLP任务上取得了显著突破，包括表示（representation），