Théoriquement, le fichier robots.txt n'a pas de limite de taille. En pratique, Googlebot, le robot de Google, suit les règles du robots.txt dans les 500 premiers Kio de texte, soit environ 512Ko. Il est possible que le contenu se trouvant au-delà de la taille maximale du fichier soit ignoré.
Si tel est votre cas (fichier > 512 Ko), vous pouvez peut-être le réduire en utilisant différentes combinaisons de wildcards.
Chaque robot d'exploration peut avoir une taille maximale de fichier. Tout contenu qui dépasse cette taille est ignoré. Google applique actuellement une limite de taille de 500 kibioctets (Kio). Pour réduire la taille du fichier robots.txt, consolidez les instructions susceptibles d'entraîner la création d'un fichier robots.txt surdimensionné. Par exemple, placez le contenu exclu dans un répertoire distinct.
Source : Caractéristiques du fichier robots.txt dans Google Developpers, partie "Format de fichier".