Robots.txt pour 80legs / 008

80legs

008 est le robot d'exploration de 80legs. 80legs est un service en ligne de crawl / exploration de sites web. Le robot de 80legs a régulièrement été critiqué par de nombreux administrateurs de sites pour son crawl "agressif" qui aurait conduit à des déni de service.

D'après la documentation du robot 008 de 80legs, celui-ci respecterait les instructions données dans un fichier robots.txt.

Exemple de robots.txt ciblant 80legs pour bloquer l'exploration du dossier /personnel/ :

User-agent: 008
Disallow: /personnel/

Plus d'informations sur la page officielle du robot de 80legs.