Surfaces
Crawler IA
AI crawler
Un crawler IA est le robot d’un service d’IA qui parcourt le web pour récupérer des pages. On le pilote depuis le fichier robots.txt, en l’autorisant ou en le bloquant nommément selon ses user-agents.
Les principaux à connaître :
- GPTBot (OpenAI, entraînement)
- ClaudeBot (Anthropic)
- PerplexityBot
- Google-Extended
- CCBot (Common Crawl)
Distinction clé : un crawl d’entraînement collecte de la donnée pour entraîner les modèles, tandis qu’un crawl de recherche récupère des pages pour répondre en temps réel. Bloquer l’un ne bloque pas forcément l’autre.