Token

Le token est l’unité de base avec laquelle un modèle découpe et traite le texte. Ce n’est pas tout à fait un mot : en anglais, un token vaut environ trois quarts d’un mot, et un mot long ou rare peut se découper en plusieurs tokens.

Pourquoi ça compte concrètement :

• La facturation des API se fait au token, en entrée comme en sortie.
• La fenêtre de contexte se mesure aussi en tokens, pas en mots.