LLM微调是一个将预训练模型在较小、特定数据集上进一步训练的过程，目的是精炼模型的能力，提高其在特定任务或领域上的性能。微调的目的是将通用模型转变为专用模型，弥合通用预训练模型与特定应用需求之间的差距，确保语言模型更贴近人类的期望。
通过微调，模型可以在特定任务上表现出更好的性能。全量微调可以充分利用预训练模型的通用知识，并通过更新所有参数来优化模型，通常可以获得较好的性能。
参数高效微调方法如LoRA、Prefix-Tuning和Adapter等，只需要微调模型的一部分参数，从而大大减少了计算资源的需求和训练时间。这些方法在保持模型性能的同时，显著降低了资源消耗。
通过微调，模型可以快速适应新的任务和数据集。例如，指令微调方法通过有监督学习，使模型能够根据特定指令生成输出，适用于文本摘要、问答、翻译等任务。
通过精细调整模型的参数，可以在给定的计算预算内实现更高效的答案发现。例如，MRT方法通过分割模型输出和细致学习训练数据，提高了模型的推理能力和计算效率。
