En théorie, le 1er octobre 2010, Microsoft a officielement abandonné le nom de MSNBot pour leur robots / crawlers pour mieux refleter leur nouvelle marque Search : Bing.
Le nouvel user agent que nous retrouvons dans les logs serveur est désormais :
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
En pratique :
- Bingbot est le robot standart qui gère l'exploration quotidienne pour Bing.
- Adixbot est le robot d'exploration responsable du crawl des publicités et du controle qualité des sites derrière ces publicités.
- MSNbot était le robot d'exploration principal avant l'arrivée de Bingbot. MSNbot s'occupe actuellement du crawl de certains contenus multimédia. Il devrait bientôt etre totalement remplacé par Bingbot
Instructions pour Bingbot et MSNbot
Exemple de robots.txt pour Bing ciblant Bingbot et MSNbot :
User-agent: bingbot
Disallow: /repertoire1/
User-agent: msnbot
Disallow: /repertoire1/
Disallow: /repertoire2/
User-agent: *
Disallow: /A noter également que Bing / MSN supporte la directive Allow dans le fichier robots.txt pour bloquer l'exploration d'un répertoire sauf certains fichiers ou sous-répertoires contenu dans celui-ci.
Plus d'informations sur la page officielle de Bingbot