Voici le fichier robots.txt généré par défaut par Blogger / Blogspot qui est accessible à l'adresse suivante : http://nom-du-blog.blogspot.com/robots.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://nom-du-blog.blogspot.com/feeds/posts/default?orderby=UPDATEDModifier le fichier robots.txt sur Blogger / Blogspot
Désormais, Blogger / Blogspot propose la possibilité de personnaliser le fichier robots.txt depuis l'administration du blog. Il suffit de se rendre dans la section "Préférence de recherche" dans "Paramètres" :
Si vous souhaitez spécifier des instructions et des paramètres supplémentaires dans le fichier robots.txt, vous pouvez consulter le manuel d'implémentation du fichier robots.txt
Modifier la balise meta robots sur Blogger / Blogspot
Blogger / Blogspot propose, en plus du fichier robots.txt, la possibilité de modifier les valeurs de la balise meta robots pour la page d'accueil du blog, les pages d'archives et de recherche et enfin les paramètres par défaut des messages et des pages.
Ces paramètres de balise meta robots se règlent aussi dans la section "Préférence de recherche" :
Vous trouverez sur la page meta robots toutes les informations sur cette balise et ses paramètres.