Transformer

Le transformer est l’architecture de réseau de neurones introduite par Google en 2017 dans l’article « Attention Is All You Need ». C’est elle qui a rendu possibles les LLM modernes, en remplaçant le traitement séquentiel du texte par un traitement parallèle plus efficace.

Son innovation centrale est le mécanisme d’attention, qui pèse l’importance de chaque mot par rapport aux autres. À l’écrit, je garde le mot en anglais, invariable : « le transformer », « les transformer ».