Главная / Блог / Web-Словарь / Robots.txt (файл)

Robots.txt (файл)

26 февраля 14
Reading Time: 1
1 комментарий
1 Star2 Stars3 Stars4 Stars5 Stars (3 votes)

С помощью файла Robots.txt можно управлять инструкциями как для одного «паука» так и для роботов нескольких поисковиков сразу. Например, можно указать адрес основного «зеркала» сайта, закрыть от индексации определенную страницу или целый раздел ресурса, и т.д.

Зачем нужен Robots.txt? Прежде всего, потому что с его помощью можно уберечь от попадания в индекс приватной информации, например, связанной с административной частью. Вторая причина – избежание дублей страниц, путем запрета их индексации в «роботсе «.

Тем не менее, наличие этого файла в корневой папке сайта не является обязательным. Необходимость в нем возникает в случае, если на сайте присутствует контент, попадание которого в индекс нежелательно.

Более подробно о применении и особенностях работы с Robots.txt, можно почитать на соответствующих страницах в справочных центрах поисковых систем.

Comments (1)
  • Chugunos:

    Не могу найти этот файл роботс. Где он находится? В админку не прописывается (

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Создайте свой личный демо-магазин ImageCMS
Подпишитесь, чтобы получать новости

Be the first to know about Premmerce development and project news

Вы успешно подписались на наши новости. Спасибо большое!