При помощи инструкций, размещенных в текстовом файле robots.txt, расположенном в корневой папке сайта, владелец сайта может сообщать поисковым роботам рекомендации о необходимости сканирования определенных страниц сайта или же файлов. Инструкции в файле robots.txt могут разрешать или запрещать полное или частичное сканирование сайта. Ниже приведено несколько примеров подобных инструкций.

Разрешение на просмотр инструкций для всех поисковых роботов:
User-agent:*

Разрешение на просмотр инструкций для поисковых роботов Google:
User-agent: Googlebot

Запрет на сканирование всего сайта:
Disallow: /

Запрет на сканирование папки c названием gallery:
Disallow: /gallery

Запрет на сканирование ссылки, имеющей URL адрес_сайта/gallery.php:
/gallery.php

Запрет на сканирование файла с названием gallery.jpg:
Disallow: /gallery.jpg

Разрешение на сканирование папки c названием gallery:
Allow: /gallery

Разрешение на сканирование ссылки, имеющей URL адрес_сайта/gallery.php:
/gallery.php

Разрешение на сканирование файла с названием gallery.jpg:
Disallow: /gallery.jpg

Существует еще множество других правил, позволяющих произвести гибкую настройку для определенных поисковых систем, с некоторыми из которых возможно ознакомится на следующей странице — https://support.google.com/webmasters/answer/6062596?hl=ru