A quoi sert le bot TwengaBot ?
TwengaBot est un robot similaire à GoogleBot ou à tout autre robot d'indexation. Ce robot parcourt le web et identifie les boutiques en ligne puis collecte toutes les informations produit pour les afficher sur Twenga.com.
TwengaBot crawle l'ensemble des sites de sa base au moins une fois par jour. Il est donc tout à fait normal de voir Twenga passer sur son site plusieurs fois dans une même journée.
TwengaBot supporte le protocole robots.txt et en particulier l'instruction Crawl-delay qui permet de définir un temps minimum entre deux requêtes sur le site.
Compléter le robots.txt pour donner des directives à Twenga
Si vous souhaitez ralentir Twenga Bot, il suffit de compléter le fichier robots.txt situé à la racine de votre domaine par ces deux lignes :
User-agent: TwengaBot-2.0
Crawl-delay: 5
L'instruction Crawl-delay va permettre d'espacer de 5 scondes les requêtes Twenga.
Si vous souhaitez bloquer totalement l'accès à votre site à TwengaBot :
User-agent: TwengaBot-2.0
Disallow: /
Plus d'informations sur la page du bot sur Twenga.