预训练模型是什么

“预训练“方法的诞生是出于这样的现实:

• 标注资源稀缺而无标注资源丰富: 某种特殊的任务只存在非常少量的相关训练数据，以至于模型不能从中学习总结到有用的规律。

如果用一句话来概括“预训练”的思想，那么这句话可以是

1. 模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练
2. 将训练任务拆解成共性学习和特性学习两个步骤

• “预训练“的做法一般是将大量低成本收集的训练数据放在一起，经过某种预训方法去学习其中的共性，然后将其中的共性“移植”到特定任务的模型中，再使用相关特定领域的少量标注数据进行“微调”，这样的话，模型只需要从”共性“出发，去“学习”该特定任务的“特殊”部分即可。