Введите имя домена:
.ua .com.ua .in.ua .org.ua
.ru .com .net .org
Показать все домены

Для чего нужен файл robots.txt

Ответы на вопросы от компании «Украинский хостинг».

Для чего нужен файл robots.txt

Файл robots.txt , так же называемый индексным файлом, является обычным текстовым документом в кодировке UTF-8. В данном файле располагаются инструкции для поисковых роботов, в которых указаны рекомендации о том, какие страницы или файлы требуется сканировать.

Во время обработки файла robots.txt поисковые роботы могут получить одну из трех инструкций:

  • Полный запрет на сканирование.
  • Полный доступ на сканирование.
  • Частичный доступ на сканирование.

Файл требуется размещать в корневой директории сайта в виде обычного текстового файла. После размещения файла необходимо убедится что он доступен по адресу https://ваш_домен.com.ua/robots.txt

Ниже указаны несколько правил, для примера.

  1. User-agent является правилом, сообщающим о том, каким роботам необходимо просмотреть инструкции, указанные в файле robots.txt

    Чтобы разрешить просмотр инструкций всем роботам, необходимо прописать следующее правило:

    User-agent:*

    Если же необходимо разрешить просмотр инструкции только для роботов google, требуется установить следующее правило:

    User-agent: Googlebot
  2. Disallow является правилом сообщающим, какую именно информацию не стоит сканировать.

    Чтобы разрешить сканирование всей информации на сайте, необходимо прописать следующее правило:

    Disallow:

    Чтобы запретить сканирование всей информации на сайте, необходимо прописать следующее правило:

    Disallow: /

    Чтобы запретить сканирование только конкретной папки на сайте (в примере папка называется images), необходимо прописать следующее правило:

    Disallow: /images/

    Чтобы запретить сканирование только конкретного URL на сайте (в примере URL называется images.html), необходимо прописать следующее правило:

    Disallow: /images.html

    Чтобы запретить сканирование только конкретного файла на сайте (в примере файл называется images.jpg), необходимо прописать следующее правило:

    Disallow: /images.jpg

    Чтобы запретить сканирование всех файлов на сайте с определенным расширением (в примере указано расширение .jpg), необходимо прописать следующее правило:

    Disallow: /*.jpg$
  3. Allow является правилом сообщающим, какую именно информацию не требуется сканировать.

    В случае, если необходимо запретить к сканирование всего сайта, кроме папки images необходимо прописать следующее правило:

    Allow: /images
    Disallow: /
  4. Sitemap является правилом, сообщающим роботам расположение файла sitemap.xml, в котором находятся все URL адреса, обязательные для индексации:

    Sitemap: https://ваш_домен.com.ua/sitemap.xml

    Существуют и другие правила для файла robots.txt, более подробную информацию о которых возможно узнать на следующем ресурсе - https://support.google.com/webmasters/answer/6062608?hl=ru

См.также: