robots.txt

Le robots.txt est un fichier texte placé à la racine d’un site qui dit aux robots ce qu’ils ont le droit d’explorer ou non. C’est la première porte d’entrée : les crawlers le consultent avant de parcourir tes pages.

Son rôle s’est élargi avec l’IA : on peut désormais y autoriser ou bloquer les crawlers génératifs comme GPTBot ou ClaudeBot, en plus des robots classiques type Googlebot. C’est devenu un vrai levier de décision : laisser l’IA s’entraîner ou citer ton contenu, ou le lui refuser, se joue en partie ici.