Exabot est le robot d'exploration de Exalead. Lors de l'exploration, le robot Exabot recherche des pages mises à jour ou nouvelles à ajouter dans l'index de Exalead.
Le robot d'Exalead respecte les instructions données dans un fichier robots.txt et notamment le paramètre Crawl-delay et les wildcards. Il suit également les instructions de la balise Meta robots.
Exemple de robots.txt ciblant Exabot pour bloquer l'exploration du dossier /personnel/ :
User-agent: Exabot
Disallow: /personnel/Par ailleurs, le User-Agent exact d'Exalead est :
Mozilla/5.0 (compatible; Exabot/3.0; '+http://www.exabot.com/go/robot')
Plus d'informations sur la page pour les webmaster de Exalead.