Robots.txt et sous-domaine

Les moteurs de recherche considère les sous-domaines comme étant des sites différents du domaine principal, il est donc nécessaire de mettre en place un fichier robots.txt sur les sous-domaines de votre site.

Imaginons que vous avez un site et sous-domaine associé pour votre blog, vous devez donc mettre en place deux fichiers robots.txt à ces emplacements :

http://www.mon-domaine.fr/robots.txt
http://blog.mon-domaine.fr/robots.txt

Chaque robots.txt condiendra les directives spécifiques au domaine ou sous-domaine qui lui est associé.

Mon domaine et mon sous-domaine pointent sur le même emplacement

Si votre domaine et votre sous-domaine pointent sur le même emplacement sur votre serveur, ils vont donc utiliser le même robots.txt

Pour contrer cet effet, il suffit de compléter le fichier .htaccess situé à la racine de votre serveur web :

RewriteEngine on
RewriteCond %{HTTP_HOST} ^blog.mon-domaine.fr$
RewriteRule ^robots\.txt$ robots-blog.txt

Cette condition permet de lorsqu'un moteur tente d'accéder au fichier robots.txt du sous-domaine, le contenu qui lui sera présenté sera celui du fichier robots-blog.txt avec des règles spécifiques pour ce sous-domaine.