ia_archiver est un robot similaire à GoogleBot ou à tout autre robot d'indexation. Ce robot parcourt le web pour Alexa. A noter également que Alexa partage ses résultats d'exploration avec le site Internet Archive et sa Wayback Machine qui permet de voir les versions archivées de sites web à travers le temps.
Par conséquent, le robot d'exploration d'Alexa est également celui d'Internet Archive qui porte l'user-agent "ia_archiver".
ia_achiver supporte le protocole robots.txt. Bloquer ce robot permet de supprimer son site de la Wayback Machine d'Internet Archive et également de l'avertir qu'il ne doit plus parcourir le site.
Compléter le robots.txt pour donner des directives à Alexa / ia_archiver
Si vous souhaitez bloquer totalement l'accès à votre site à Alexa / Internet Archive / ia_archiver, il suffit de compléter le robots.txt de cette façon :
User-agent: ia_archiver
Disallow: /Plus d'informations sur la page du bot sur Alexa et sur Internet Archive.