Для чего нужен файл robots.txt

Файл robots.txt , так же называемый индексным файлом, является обычным текстовым документом в кодировке UTF-8. В данном файле располагаются инструкции для поисковых роботов, в которых указаны рекомендации о том, какие страницы или файлы требуется сканировать.

Во время обработки файла robots.txt поисковые роботы могут получить одну из трех инструкций:

• Полный запрет на сканирование.
• Полный доступ на сканирование.
• Частичный доступ на сканирование.

Файл требуется размещать в корневой директории сайта в виде обычного текстового файла. После размещения файла необходимо убедится что он доступен по адресу https://ваш_домен.com.ua/robots.txt

Ниже указаны несколько правил, для примера.

1. User-agent является правилом, сообщающим о том, каким роботам необходимо просмотреть инструкции, указанные в файле robots.txt

   Чтобы разрешить просмотр инструкций всем роботам, необходимо прописать следующее правило:

   User-agent:*

   Если же необходимо разрешить просмотр инструкции только для роботов google, требуется установить следующее правило:

   User-agent: Googlebot

2. Disallow является правилом сообщающим, какую именно информацию не стоит сканировать.

   Чтобы разрешить сканирование всей информации на сайте, необходимо прописать следующее правило:

   Disallow:

   Чтобы запретить сканирование всей информации на сайте, необходимо прописать следующее правило:

   Disallow: /

   Чтобы запретить сканирование только конкретной папки на сайте (в примере папка называется images), необходимо прописать следующее правило:

   Disallow: /images/

   Чтобы запретить сканирование только конкретного URL на сайте (в примере URL называется images.html), необходимо прописать следующее правило:

   Disallow: /images.html

   Чтобы запретить сканирование только конкретного файла на сайте (в примере файл называется images.jpg), необходимо прописать следующее правило:

   Disallow: /images.jpg

   Чтобы запретить сканирование всех файлов на сайте с определенным расширением (в примере указано расширение .jpg), необходимо прописать следующее правило:

   Disallow: /*.jpg$

3. Allow является правилом сообщающим, какую именно информацию не требуется сканировать.

   В случае, если необходимо запретить к сканирование всего сайта, кроме папки images необходимо прописать следующее правило:

   Allow: /images
   Disallow: /

4. Sitemap является правилом, сообщающим роботам расположение файла sitemap.xml, в котором находятся все URL адреса, обязательные для индексации:

   Sitemap: https://ваш_домен.com.ua/sitemap.xml

   Существуют и другие правила для файла robots.txt, более подробную информацию о которых возможно узнать на следующем ресурсе - https://support.google.com/webmasters/answer/6062608?hl=ru