Yandex (en russe : Я́ндекс) est un moteur de recherche et un portail russe, le plus utilisé par les russophones. Le moteur de recherche basé à Moscou fut créé en 1997 par Arkady Volozh.
Yandexbot est le robot d'exploration de Yandex. Lors de l'exploration, le robot Yandexbot recherche des pages mises à jour ou nouvelles à ajouter dans l'index de Yandex.
Yandex possède différents bots pour crawler le web :
- YandexBot : pour le robot d'indexation de base
- YandexMedia : pour le robot d'exploration des contenus multimédias
- YandexImages : pour le robot d'exploration des images
- YandexCatalog : pour le robot d'exploration pour le catalogue Yandex (http://yaca.yandex.ru/)
- YandexDirect : pour le robot pour les sites participant au réseau publicitaire Yandex
- YandexBlogs : pour le robot d'exploration des blogs
- YandexNews : pour le robot pour Yandex Actualités
- YandexPagechecker : pour le robot de validation des microformats
Exemple de robots.txt ciblant Yandex pour bloquer l'exploration du dossier /personnel/ :
User-agent: Yandex
Disallow: /personnel/A noter également que Yandex supporte la directive Allow dans le fichier robots.txt pour bloquer l'exploration d'un répertoire sauf certains fichiers ou sous-répertoires contenus dans celui-ci.
Par ailleurs, le User-Agent utilisé par Yandex commence toujours par :
User-Agent Mozilla/5.0 (compatible; Yandex...)
Si vous avez des questions ou des problèmes techniques avec les robots de Yandex, vous pouvez contacter le support à cette adresse email : support@search.yandex.com
Plus d'information sur les robots de Yandex sur la page d'aide de Yandex.Webmaster et sur l'User-agent Yandex.