Ressources

Ressources spécifiques à certains moteurs de recherche

Certains moteurs de recherche majeurs (Google, Bing, MSN, Yandex, etc) supportent des fonctionnalités et des paramètres supplémentaires comme les wildcards ou le Crawl-delay

Voici une liste de ressources pour des robots.txt spécifiques certains à moteurs de recherche majeurs :

Voici une liste de ressources pour des robots.txt spécifiques certains à moteurs liés, directement ou indirectement, à l'intelligence artificielle :

Ressources spécifiques à certains CMS

Certains CMS ont des répertoires par défaut qu'il est intéressant de bloquer aux moteurs de recherche, non seulement pour une question de référencement mais également pour une problématique de sécurité.

Voici une liste de ressources dédiées à certains CMS majeurs :

Toutes les ressources