Главная / Блог / Поисковая оптимизация (SEO) / Рекомендации по robots.txt для интернет-магазина

Рекомендации по robots.txt для интернет-магазина

02 июля 14
Reading Time: 1
1 комментарий
1 Star2 Stars3 Stars4 Stars5 Stars (3 votes)

Настройка файла robots.txt является одной из базовых работ, которые необходимо провести перед запуском сайта. В том числе и онлайн-магазина. Этот текстовый файл находится в корневой папке сайта, и содержит в себе рекомендации относительно индексирования сайта поисковыми роботами, а именно – позволяет обозначить директории/страницы, которые открыты для индексации, и указать те, которые стоит закрыть от попадания в индекс.

Подробную информацию относительно использования файла robotx.txt можно найти на множестве сайтов, например, справке для вебмастеров от Яндекса. Мы рекомендуем вам использовать ее в случае, если вы составляете этот файл впервые. А в этой статье давайте рассмотрим вопрос, что именно нужно закрывать от индексации, по отношению к интернет-магазину.

Прежде всего, стоит понимать, что закрывать нужно так называемые «мусорные» и дублированные страницы. В индексе нужно оставлять только страницы с самими товарами, отзывы, страницы с важной информацией и т. п. Закрывать от индексации нужно следующие страницы:

  • страницы с результатами поиска;
  • страницы с тегами/метками;
  • страницы фильтров и сортировки;
  • страницы оформления заказа и корзины;
  • страницы регистрации и авторизации;
  • профиль/личный кабинет покупателя;
  • и т. п.

То есть, закрывать от регистрации необходимо те страницы, которые не имеют информационной ценности и содержат дублированный контент.

Тем не менее, проблему появления в индексе дублей можно решить и другими методами, на уровне движка и путем применения тега rel="canonical". На примере пагинации в категориях, при наличии ссылок вида:

http://yoursite.ru/tovar?page=1
http://yoursite.ru/tovar?page=4
http://yoursite/tovar?page=8

Можно прописать в коде шапки дублированных страниц: и, таким образом, указать поисковым роботам, что канонической страницей у нас является yoursite.ru/tovar?page=1

Например, в случае со стандартным файлом robots для интернет-магазина, работающего на ImageCMS Shop, количество записей будет минимально, так как проблема дублей решена большей частью на уровне самого движка.

Comments (1)
  • chab:

    Для закрытия дублей лучше использовать rel="canonical". Сам файл роботс.тхт имеет один большой минус, роботы каждый раз пробуют индексировать эти страницы. Пагинацию лучше не закрывать от индекса, нужно сделать уникальными.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Более 3000 запущенных проектов

Вместе с нами многие уже развивают свой бизнес! Смотреть все отзывы
Хочу выразить большую благодарность коллективу компании "ImageCMS" а именно Ивану и Марии! Во время выбора компании проводил переговоры с 7 различными организациями, Иван единственный кто смог адекватно объяснить и подсказать всю необходимую информацию для принятия решения. В итоге результат более чем на 100% соответствует ожиданиям, а во много их даже превосходит!
Перепробовав много CMS (opencart, Битрикс) и др. Мы увидим, как много в каждой из них недостатков. Где-то или очень сложно или очень дорого кастомизировать. Работая маркетологом, могу заверить, что в ImageCMS большинство нужны "фич" реализовано из коробки, без дополнительных надстроек. Посмотрев демо версию новой версии движка, был приятно удивлен скоростью работы (ооочень важно).
За время сотрудничества компания показала себя в качестве ответственного подрядчика, быстро воплотив в жизнь удобный интернет-магазин с учетом всех наших пожеланий.
Работой доволен. Отвечают всегда быстро и по сути, остаются только приятные впечатления от общения. Пара слов о новом движке: Быстро, красиво и интуитивно понятно. Полностью оправдывает вложенные средства. Рекомендую.
Доволен. Скрипт считаю перспективным. Считаю, что ваш коллектив работает на опережение: ваше предложение было оптимальным по цене/качеству.
Опертивная и четкая работа, своевременое предоставление дополнительных консультаций по работе с административной частью. Созданным магазином довольна. Рекомендую этот движок!
Заказать услугу
Персональная информация:

прикрепить файл

Создайте свой личный демо-магазин ImageCMS