Что такое Кэш поискового робота ?

Кэш поискового робота — это информация, которая остается в памяти робота после индексации страницы. Некоторые данные удаляются, а новые вовсе не попадают, но до того момента, пока не пройдет повторное индексирование страницы.

Та информация, которая сохранилась при индексации, выдается пользователям на их запрос. Эти данные говорят о том, какая информация важна, а какая неинтересна для пользователей, а значит и для вас тоже.