Robots.txt (Файл) — условно это инструкция для поисковиков. Файл помещают в корневую папку и с его помощью закрывают контент от индексации.

Как появился robots.txt? Интернет постоянно развивается и в середине 90-х наступил момент, когда работа поисковых систем затрудняла взаимодействие пользователей с сайтом. Появилась острая необходимость в создании сервиса или же инструмента, который бы решил  эту проблему. Владельцы поисковых систем придут к одной мысли и заключат соглашение о разработке программного обеспечения. В результате их работы миру станет доступен текстовый файл robots.txt.

Как работает robots.txt? Первым делом поисковые боты обращаются к файлу robots.txt. При желании можно заблокировать от индексации несколько папок или же всю страницу. Для этого используются слова user-agent: и disallow:/имя папки/. Особое значение в этом случае имеет слэш, так его наличие без последующего указания названия говорит о запрете индексации всего сайта. Если же его убрать, то роботы будут индексировать весь ресурс полностью.

Существуют также другие способы типа nofollow или noindex.