Nutch est une initiative visant à construire un moteur de recherche open source. Lors de l'exploration, le robot de Nutch recherche des pages mises à jour ou des documents à ajouter à son index.
Le robot de Nutch respecte les instructions données dans un fichier robots.txt et également les instructions de la balise meta robots.
Exemple de robots.txt ciblant Nutch pour bloquer l'exploration du dossier /personnel/ :
User-agent: Nutch
Disallow: /personnel/Plus d'informations sur la page officielle du robot de Nutch.