L'outil le plus efficace pour tester son fichier robots.txt est celui de Google. En effet, étant le premier moteur de recherche au monde, c'est généralement pour celui-ci que vous allez modifier le robots.txt de votre site.
L'outil de Google est accessible depuis la Google Search Console. Celui-ci va lire le robots.txt en ligne du site sélectionné.
Vous pouvez ensuite modifier à votre guise en direct ce fichier, tester différentes instructions et paramètres.
En bas de l'interface, vous pouvez tester des URL spécifiques pour vous assurer si celles-ci sont bien acceptées ou bloquées par Google. Lorsque votre fichier robots.txt a le comportement attendu, copiez les modifications dans le robots.txt de votre site.
En effet, sachez que les modifications apportées à la page ne sont pas sauvegardées sur votre site car cet outil ne modifie pas le fichier qui se trouve réellement sur votre site. Il vérifie uniquement la copie hébergée sur l'outil et vous permet de tester celui-ci.
