Mécanisme d'attention

Le mécanisme d’attention est le cœur du transformer : pour chaque mot, il pondère l’importance de tous les autres mots de la phrase. C’est ce qui permet au modèle de relier « elle » au bon nom plusieurs lignes plus haut, ou de saisir qu’un mot change de sens selon son voisinage.

C’est cette capacité à tenir compte du contexte global, plutôt que de lire mot à mot, qui a fait décoller la qualité des modèles de langage.