Nativement, WordPress ne génère pas de fichier robots.txt mais il est néanmoins intéressant de bloquer certains répertoires aux moteurs de recherche :
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Allow: /wp-content/uploads/Ces 4 lignes auront pour effet d'interdire l'exploration des fichiers coeur de WordPress (admin et includes), des plugins et thèmes contenus dans le répertoire wp-content tout en autorisant l'exploration des contenus multimédias (répertoire /uploads/).
A noter que pour les robots d'exploration supportant les wildcards, le robots.txt peut être simplifié de cette manière :
User-agent: *
Disallow: /wp-*
Allow: /wp-content/uploads/Si vous souhaitez spécifier des instructions et des paramètres supplémentaires dans le fichier robots.txt, vous pouvez consulter le manuel d'implémentation du fichier robots.txt