Meta 发了三篇文章详细介绍 LLM 的训练过程以及微调。

文章非常的干，都是 LLM 微调的关键要点，强烈推荐看看，下面是核心的笔记。

- LLM 训练方法
- 如何选择合适的训练方式
- 如何判断是否需要微调 LLM
- LLM 微调数据集准备
- 数据质量/数量
- 数据多样性
- LLM的数据管道如何构建

大语言模型训练方式：https://ai.meta.com/blog/adapting-large-language-models-llms/
你是否需要微调模型：https://ai.meta.com/blog/when-to-fine-tune-llms-vs-other-techniques/
如何微调：关注有效的数据集：https://ai.meta.com/blog/how-to-fine-tune-llms-peft-dataset-curation/