Robots.txt : taille maximale du fichier

Théoriquement, le fichier robots.txt n'a pas de limite de taille. En pratique, Googlebot, le robot de Google, suit les règles du robots.txt dans les 500 premiers Kb de texte, soit environ 62 Ko. Il est possible que le contenu se trouvant au-delà de la taille maximale du fichier soit ignoré.

Si tel est votre cas (fichier > 62 Ko), vous pouvez peut-être le réduire en utilisant différentes combinaisons de wildcards.

A maximum file size may be enforced per crawler. Content which is after the maximum file size may be ignored. Google currently enforces a size limit of 500kb.

Source : Robots.txt Specifications dans Google Developpers, partie "File format".