Crawl

Le crawl est le parcours automatisé de tes pages par les robots des moteurs de recherche, qui suivent les liens pour découvrir et relire ton contenu. En français, on parle d’exploration ; le robot qui s’en charge, lui, est un « crawler ».

C’est la première étape d’un contenu visible : sans crawl, pas d’indexation, donc aucune chance d’apparaître dans les résultats. Plusieurs leviers l’orientent : le maillage interne, le sitemap et le robots.txt, qui peut autoriser ou bloquer l’accès à certaines zones.