2023 年过半，ChatGPT、GPT-4、LLaMA 等大型语言模型（LLM）一次次引起人们高度关注，它们具备令人惊艳的涌现能力，包括语言理解能力、生成能力、知识推理能力等等。

LLM 通常基于大规模语料训练知识表示与语言生成能力，随后在人工编写的指令数据上进行微调以实现与人类的意图对齐。因此，如何有效地进行指令微调使大型语言模型对齐人类偏好，对于模型的最终性能与用户体验至关重要。

现有