Логотип imagecms

Robots.txt (файл)

С помощью файла Robots.txt можно управлять инструкциями как для одного "паука" так и для роботов нескольких поисковиков сразу. Например, можно указать адрес основного "зеркала" сайта, закрыть от индексации определенную страницу или целый раздел ресурса, и т.д.

Зачем нужен Robots.txt? Прежде всего, потому что с его помощью можно уберечь от попадания в индекс приватной информации, например, связанной с административной частью. Вторая причина – избежание дублей страниц, путем запрета их индексации в "роботсе ".

Тем не менее, наличие этого файла в корневой папке сайта не является обязательным. Необходимость в нем возникает в случае, если на сайте присутствует контент, попадание которого в индекс нежелательно.

Более подробно о применении и особенностях работы с Robots.txt, можно почитать на соответствующих страницах в справочных центрах поисковых систем.

Читайте также:
26 Февраля 2014 3088 1
Подпишитесь на еженедельную рассылку и получайте скидки на популярные e-commerce продукты
И совсем скоро Вы станете гуру в e-commerce, веб-разработке, SEO и в интернет-маркетинге! Развивайте свой бизнес с актуальной информацией, успешными кейсами и вдохновляющими примерами.
Обсуждение этого поста (Комментарии: 1)
Вы должны , чтоб присоединиться к разговору
Давайте дружить!

Узнавайте все новости, получайте обзоры, кейсы
и другие полезные материалы по e-commerce через социальные сети!

  • Не могу найти этот файл роботс. Где он находится? В админку не прописывается (

    Сохранить
Консультация по ImageCMS Shop
 
Уже уходите? Еще секундочку!

Зарегистрируйтесь, и вам навсегда обеспечены скидки на популярные
e-commerce продукты! Также мы будем делиться с вами самой ценной
информацией для развития вашего бизнеса.

или