Наверное вы уже читали Сказку для молодых оптимизаторов Упростим
понимание и просто расскажем о роботах пауках Яндекса задействованных в процессе индексации. Каждый поисковый бот имеет ограниченный круг задач и посещает сайт с определенной целью. Зачем заходил бот Яндекса
можно узнать по логам статистики сервера, посмотрев строку User-agent:

Yandex/1.01.001 (compatible; Win16; I) – основной индексирующий робот;

Yandex/1.01.001 (compatible; Win16; H) – робот-зеркальщик;

Yandex/1.01.001 (compatible; Win16; P) – индексатор картинок;

Yandex/1.02.000 (compatible; Win16; F) – индексация иконки сайта (favicon);

Yandex/1.03.000 (compatible; Win16; M) – робот, обращающийся при открытии страницы по ссылке “Найденные слова”;

Yandex/1.03.003 (compatible; Win16; D) – робот, обращающийся к странице при добавлении ее через форму “Добавить URL”;

YaDirectBot/1.0 (compatible; Win 16; I) – индексация страниц сайта, участвующего в рекламной сети Яндекса;

YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам;

YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.

В Яндексе имеются специальные “простукивалки” для проверки доступности страниц:

Yandex/2.01.000 (compatible; Win16; Dyatel; C) – Яндекс.Каталог.
Определяет, доступен ли сайт. При недоступности в течение нескольких дней, сайт снимается с публикации в каталоге до тех пор, пока снова не начинает отвечать на запросы;

Yandex/2.01.000 (compatible; Win16; Dyatel; D) – Яндекс.Директ. Проверяет корректность ссылок из объявлений перед модерацией;

Yandex/2.01.000 (compatible; Win16; Dyatel; Z) – Яндекс.Закладки.