Robots.txt : paramètre Crawl-delay

Plusieurs robots d'exploration de moteurs de recherche majeurs (Yahoo!, Bing, Yandex, etc) supportent le paramètre Crawl-delay dans le fichier robots.txt.

Ce paramètre permet de spécifier et de régler le nombre de secondes que doit attendre le robot entre chaque requêtes successives ("limit rate" en anglais).

Exemple de robots.txt avec le paramètre Crawl-delay :

User-agent: *
Crawl-delay: 10

Ici, nous indiquons aux robots qui suivent et comprennent le Crawl-delay d'espacer leurs requêtes de 10 secondes.

Exemple de robots.txt avec le paramètre Crawl-delay spécifié seulement pour Yahoo! :

User-agent: Slurp
Crawl-delay: 5

Comment spécifier le Crawl-delay et ralentir les requêtes de Google ?

Google ne supporte pas le paramètre Crawl-delay dans le fichier robots.txt. Pour limiter la vitesse d'exploration maximale de Google, il suffit de se connecter aux Outils pour les webmasters de Google et d'aller dans la section Configuration du site / Paramètres :

Crawl-delay Google