Yahoo! Query Language / YQL utilise le robots.txt du site web pour détermine les pages qui lui sont accessibles sur le site. YQL utilise l'user agent "Yahoo Pipes 2.0" quand il tente d'accéder au fichier robots.txt pour y lire les instructions Allow / Disallow
Pour empêche YQL d'accéder au contenu, il suffit de le cibler dans le fichier robots.txt :
User-agent: Yahoo Pipes 2.0
Disallow: /Plus d'information sur les robots de Yahoo! Query Language sur la page d'aide de Yahoo! Pipes