Pré-entraînement

Le pré-entraînement est l’entraînement initial massif d’un modèle : on l’expose à d’énormes quantités de texte pour qu’il apprenne les régularités du langage, avant toute spécialisation. C’est l’étape la plus longue et la plus coûteuse du cycle.

À l’issue de ce pré-entraînement, le modèle « sait » beaucoup de choses de façon générale, mais n’est pas encore adapté à une tâche précise. C’est ensuite le fine-tuning, puis l’alignement par RLHF, qui le spécialisent et le rendent utilisable au quotidien.