DuckDuckBot est le robot d'exploration de DuckDuckGo. Lors de l'exploration, le robot DuckDuckBot recherche des pages mises à jour ou nouvelles à ajouter dans l'index de DuckDuckGo. Il respecte les instructions données dans un fichier robots.txt
Exemple de robots.txt ciblant DuckDuckBot pour bloquer l'exploration du dossier /personnel/ :
User-agent: DuckDuckBot
Disallow: /personnel/DuckDuckBot parcourt et crawle les sites internet à partir des adresses IP suivantes :
72.94.249.34
72.94.249.35
72.94.249.36
72.94.249.37
72.94.249.38Plus d'informations sur la page officielle de DuckDuckBot
Changelog de DuckDuckGo
- DuckDuckBot/1.1 - Correctif : dans certains cas, DuckDuckGo ne respectait pas totalement le robots.txt.
- DuckDuckBot/1.0 - Version initiale.