Si vous avez un fichier robots.txt long et complexe avec beaucoup de règles différentes, il peut être très utile et pratique d'ajouter des commentaires dans celui-ci pour expliquer telle ou telle règle.
Dans le protocole robots.txt, toutes les lignes commençant par un signe dièse (#) sont considérées comme étant des commentaires. Les moteurs et outils utilisant le fichier robots.txt ne prendront donc pas en compte ces lignes.
Exemple de fichier robots.txt avec des commentaires
# Règle spécifique à Google
User-agent: Googlebot
Disallow: /repertoire-a/
# Règle pour tous les robots
User-agent: *
Disallow: /repertoire-b/