Dans sa forme la plus simple, un fichier sitemap est un fichier XML qui liste les URL d'un site web de façon à favoriser l'exploration du site par les moteurs de recherche.
Lorsque vous avez mis en place un fichier sitemap.xml sur votre site, vous pouvez y faire référence et indiquer son emplacement dans le robots.txt. Il suffit d'ajouter la ligne suivante dans le fichier robots.txt :
Sitemap: http://www.mon-domaine.fr/sitemap.xml
Cette instruction étant indépendante du User-agent, vous pouvez l'insérer où vous le souhaitez dans le robots.txt : tout au début ou à la fin du fichier.
Voir aussi la ressource suivante: comment créer un fichier sitemap
Faire référence à plusieurs sitemaps dans le fichier robots.txt
Si vous avez plusieurs fichiers sitemap.xml, vous pouvez y faire référence en insérant simpement plusieurs fois la ligne Sitemap :
Sitemap: http://www.mon-domaine.fr/sitemap-pages.xml
Sitemap: http://www.mon-domaine.fr/sitemap-blog.xmlFaire référence à un fichier sitemap.xml.gz (compressé gzip)
Si vous avez un fichier sitemap.xml.gz, c'est à dire compressé par gzip pour gagner en espace disque, le principe reste le même, il suffit d'y faire référence :
Sitemap: http://www.mon-domaine.fr/sitemap.xml.gz
Si vous avez deux versions du même fichier sitemap.xml, une classique et une gzippée, vous pouvez faire référence au deux de manière à ce que les moteurs de recherche et outils qui supportent le format gzip puissent utiliser la version compressée.
Sitemap: http://www.mon-domaine.fr/sitemap.xml
Sitemap: http://www.mon-domaine.fr/sitemap.xml.gzFaire référence à un fichier sitemap index dans le fichier robots.txt
Si vous avez un fichier sitemap index qui fait référence à d'autres sous-sitemap.xml, il suffit de faire référence à celui-ci. Il n'est pas nécessaire de lister chaque sous-sitemap.xml dans le fichier robots.txt :
Sitemap: http://www.mon-domaine.fr/sitemap-index.xml
Plus d'informations sur le protocole sitemap sur le site sitemaps.org