Ressources

Ressources spécifiques à certains moteurs de recherche

Certains moteurs de recherche majeurs (Google, Bing, MSN, Yandex, etc) supportent des fonctionnalités et des paramètres supplémentaires comme les wildcards ou le Crawl-delay

Voici une liste de ressources pour des robots.txt spécifiques certains à moteurs de recherche majeurs : Google, Bing, Baidu, Yandex.

Des moteurs plus mineurs : Yahoo!, DuckDuckGo, Ask, Blekko, Qwant, Exalead, Voila, Volunia, Wikiwix, Alexa / Internet Archive, Twenga / TwengaBot

Des régies publicitaires : Google AdSense / Mediapartners,

Voici une liste de ressources pour des robots.txt spécifiques certains à moteurs liés, directement ou indirectement, à l'intelligence artificielle : Common Crawl / CCBot, OpenAI / ChatGPT, Apple

Ressources spécifiques à certains CMS

Certains CMS ont des répertoires par défaut qu'il est intéressant de bloquer aux moteurs de recherche, non seulement pour une question de référencement mais également pour une problématique de sécurité.

Voici une liste de ressources dédiées à certains CMS majeurs : Blogger / Blogspot, Drupal, Jimdo, Joomla, Magento, osCommerce, PrestaShop, SPIP, Wix, WordPress

Toutes les ressources