主题
面试速答（先看这里）
**一句话结论：**大模型是怎么来的？
60秒标准回答：
大模型是怎么来的？其实就是预训练来的，包括现在的GPT、Deepseek这些大模型。通过海量通用数据来训练模型，让模型具有掌握语法、常识和基础语义
预训练的成本是巨高的，首先需要有海量数据（TB 级），然后还需要极高的算力，进行长时间的模型训练，基本上只有大厂才能玩得起
而 微调，是在预训练模型的基础上，用特定领域或任务的数据调整模型参数，使其适应具体场景（如医疗问答、法律文本分析）
**答题顺序：**结论 → 原理/机制 → 关键流程 → 场景与取舍 → 易错点
回答主线：
- **要点1：**预训练的成本是巨高的，首先需要有海量数据（TB 级），然后还需要极高的算力，进行长时间的模型训练，基本上只有大厂才能玩得起。
- **要点2：**而 微调，是在预训练模型的基础上，用特定领域或任务的数据调整模型参数，使其适应具体场景（如医疗问答、法律文本分析）。
- **要点3：**相比于预训练，他只需要少量的数据 （MB~GB 级），相对的训练算力也会低很多。
- **要点4：**其实，我们常用的提示词，也可以算作是微调的一种，只不过他相对简单，并不需要调整模型参数来完成，目的是让模型能够更好的回答我们的问题，所以有一种微调叫做Prompt Tuning。
- **要点5：**随着模型规模变大， 完整微调（也叫全参）成本也变高 ，出现了很多轻量级微调方式：
**记忆锚点：**Tuning → 指令微调（Instruction Tuning） → AdapterPrefix Tuning → Parameter-Efficient → 完整微调（也叫全参）成本也变高 → RLHF（人类反馈强化学习）
关键取舍：
- 随着模型规模变大， 完整微调（也叫全参）成本也变高 ，出现了很多轻量级微调方式： LoRA（Low-Rank Adaptation） PEFT（Parameter-Efficient Fine-Tuning） Adapter、Prefix Tuning 指令微调（Instruction Tuning） RLHF（人类反馈强化学习） 这些方法通常只更新模型的一…
加分表达：
- 而 微调，是在预训练模型的基础上，用特定领域或任务的数据调整模型参数，使其适应具体场景（如医疗问答、法律文本分析）。
追问准备：
- 围绕「Tuning」：底层原理是什么？使用时有哪些边界和常见坑？
- 围绕「指令微调（Instruction Tuning）」：底层原理是什么？使用时有哪些边界和常见坑？
- 围绕「AdapterPrefix Tuning」：底层原理是什么？使用时有哪些边界和常见坑？
- 如果线上出现异常，你会如何定位、验证并规避？
典型回答
大模型是怎么来的？其实就是预训练来的，包括现在的GPT、Deepseek这些大模型。通过海量通用数据来训练模型，让模型具有掌握语法、常识和基础语义。
预训练的成本是巨高的，首先需要有海量数据（TB 级），然后还需要极高的算力，进行长时间的模型训练，基本上只有大厂才能玩得起。
而微调，是在预训练模型的基础上，用特定领域或任务的数据调整模型参数，使其适应具体场景（如医疗问答、法律文本分析）。
相比于预训练，他只需要少量的数据 （MB~GB 级），相对的训练算力也会低很多。可以说预训练的目的是获得一个通用模型，而微调的目的是获得一个专用模型。
其实，我们常用的提示词，也可以算作是微调的一种，只不过他相对简单，并不需要调整模型参数来完成，目的是让模型能够更好的回答我们的问题，所以有一种微调叫做Prompt Tuning。
随着模型规模变大，完整微调（也叫全参）成本也变高，出现了很多轻量级微调方式：
- LoRA（Low-Rank Adaptation）
- PEFT（Parameter-Efficient Fine-Tuning）
- Adapter、Prefix Tuning
- 指令微调（Instruction Tuning）
- RLHF（人类反馈强化学习）
这些方法通常只更新模型的一部分参数，大大减少资源消耗。