Robots.txt pour Bing / MSN / Bingbot / MSNbot

Bing

En théorie, le 1er octobre 2010, Microsoft a officielement abandonné le nom de MSNBot pour leur robots / crawlers pour mieux refleter leur nouvelle marque Search : Bing.

Le nouvel user agent que nous retrouvons dans les logs serveur est désormais :

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

En pratique :

Instructions pour Bingbot et MSNbot

Exemple de robots.txt pour Bing ciblant Bingbot et MSNbot :

User-agent: bingbot
Disallow: /repertoire1/

User-agent: msnbot
Disallow: /repertoire1/
Disallow: /repertoire2/

User-agent: *
Disallow: /

A noter également que Bing / MSN supporte la directive Allow dans le fichier robots.txt pour bloquer l'exploration d'un répertoire sauf certains fichiers ou sous-répertoires contenu dans celui-ci.

Plus d'informations sur la page officielle de Bingbot