Robots.txt pour Blekko / Blekkobot / ScoutJet

Blekko

ScoutJet était le robot d'exploration de Blekko. Lors de l'exploration, le robot ScoutJet recherche des pages mises à jour ou nouvelles à ajouter dans l'index de Blekko. Il respecte les instructions données dans un fichier robots.txt et notamment le paramètre Crawl-delay.

En Mars 2015, la société Blekko a été rachetée puis intégrée au groupe IBM Watson.

Exemple de robots.txt ciblant ScoutJet pour bloquer l'exploration du dossier /personnel/ :

User-agent: ScoutJet
Disallow: /personnel/

ScoutJet parcourt et crawle les sites internet à partir des adresses IP suivantes :

64.13.159.*
199.87.248.*
199.87.249.*
199.87.250.*
199.87.251.*
199.87.252.*
199.87.253.*
199.87.254.*
199.87.255.*
38.99.96.*
38.99.97.*
38.99.98.*
38.99.99.*

Plus d'informations sur la page officielle de ScoutJet et sur la page pour les webmaster de Blekko