Lors de l'exploration de votre site par Googlebot, celui-ci a besoin d'accéder à de nombreuses ressources de votre page afin de l'afficher et de l'indexer de façon optimale. Par exemple, les fichiers JavaScript, CSS et image doivent être accessibles par Googlebot pour que ce dernier puisse voir les pages comme un internaute ordinaire.
Si le fichier robots.txt d'un site interdit l'exploration de ces ressources, cela peut affecter la façon dont Google affiche et indexe la page, et donc nuire au classement de la page dans la recherche Google.
Si votre robots.txt bloque effectivement ces ressources, vous recevrez ce message dans votre Search Console :
Nos systèmes ont récemment détecté un problème avec votre page d’accueil qui affecte l’affichage et l’indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt. Ces fichiers nous permettent de comprendre que votre site Web fonctionne correctement. En bloquant l’accès à ces éléments, il est donc possible que le classement du site ne soit pas optimal.
Pour voir les éléments de page qui ne peuvent pas être explorés par Googlebot et pour résoudre les problèmes relatifs aux instructions de votre fichier robots.txt, utilisez le rapport sur les ressources bloquées de la Search Console, ainsi que la fonctionnalité Explorer comme Google et l'outil de test du fichier robots.txt.
Plus d'informations :