Ahrefs est, entre autres, un outil d’analyse de backlinks utilisé par les référenceurs. Pour explorer le web et analyser les liens entre les sites web, Ahrefs utilise un robot d'exploration comme n'importe quel moteur de recherche.
AhrefsBot est le nom du robot d'exploration d'Ahrefs. Il respecte les instructions données dans un fichier robots.txt et notamment le paramètre Crawl-delay.
Si vous souhaitez bloquer totalement l'exploration de votre site par AhrefsBot, le robot d'Ahrefs, il suffit de le spécifier dans le fichier robots.txt :
User-agent: AhrefsBot
Disallow: /Si vous souhaitez simplement ralentir l'exploration d'AhrefsBot, il suffit de compléter le fichier robots.txt par ces deux lignes :
User-agent: AhrefsBot
Crawl-delay: 5L'instruction Crawl-delay va permettre d'espacer de 5 secondes les requêtes du robot.
Plus d'informations sur la page officielle du robot de Ahrefs.