Le robot d'exploration de Wikiwix à trois modes de fonctionnement :
- Il permet de maintenir à jour le moteur de recherche de Wikiwix en parcourant l'ensemble des projets Wikimédia
- Il explore également les pages web pour maintenir à jour le moteur de recherche basé sur Twitter
- Il peut également parcourir certains sites web à la demande pour personnaliser un moteur de recherche sur son site favori
Le robot de Wikiwix respecte les instructions données dans un fichier robots.txt . Il suit également les instructions de la balise Meta robots.
Exemple de robots.txt ciblant Wikiwix pour bloquer l'exploration du dossier /personnel/ :
User-agent: wikiwix
Disallow: /personnel/Plus d'informations sur la page du robot d'exploration de Wikiwix.