Очень часто бывают такие случаи, когда от индексации необходимо скрыть целый сайт или зеркало, что является довольно проблематичным. Для этого существует несколько способов, о которых мы и поговорим в данной статье.
Запрет в robots.txt файле
Именно этот файл отвечает за индексацию сайта в поисковых системах роботами, найти его можно в корневой папке. Его можно создать в любом текстовом редакторе при отсутствии и перенести в нужную директорию, где должно быть только две строчки:
User-agent: *
Disallow: /Остальные нужно удалить. Данный способ является наиболее простым для того, чтобы скрыть сайт от индексации.
Когда нужно закрывать целиком?
Небольшие сайты обычно не нуждаются в сокрытии целых страниц, а при большом количестве служебной информации проще делать закрытый портал или закрывать страницы, а также разделы.
- Желательно запрещать индексацию мусорных страниц, сюда входят старые новости, мероприятия и события в календаре.
- Если сайт является интернет-магазинам, сюда можно включить устаревшие акции, скидки и карточки товаров, снятых с продаж, а также статьи с неактуальной информацией. В противном случае ресурс будет восприниматься как неактуальный. Нужно регулярно обновлять данные, чтобы не допускать подобной ситуации.
- Также, лучше скрыть всплывающие окна и баннеры, а также файлы, которые много весят. Это поможет уменьшить время индексации, что снизит нагрузку на сервер и будет положительно восприниматься поиском.
- Также, лучше скрыть всплывающие окна и баннеры, а также файлы, которые много весят. Это поможет уменьшить время индексации, что снизит нагрузку на сервер и будет положительно восприниматься поиском.
Как узнать, закрыт ли ресурс?
Чтобы знать точно, происходит ли индексация robot.txt, проверьте, возможно сайт или отдельные страницы уже закрыты. В этом помогут сервисы:
- Google Search Console.
- Яндекс. Вебмастер.
Они покажут, как индексируются ваши URL и какие. Если сайт не добавлен в список сервисов поисковиков, можно воспользоваться бесплатными модулями «Определение возраста документа в Яндексе» от Пиксел Тулс.
Пошаговая инструкция закрытия сайта
- Найдите в корневой папке файл robot.txt, используя поиск.
- Если не получилось найти, то создайте его в блокноте или другом редакторе, затем загрузите в директорию.
- Детально распишите в файле HTML-тегами, куда роботу заходить, а куда не стоит.
Как спрятать ссылки?
Иногда от индексирования необходимо скрыть ссылку на странице. Для этого есть пара вариантов:
- В HTML-коде странице укажите метатег robots с директивой nofollow, тогда роботы не будут переходить по ссылкам на страницы, но на них может вести другой материал сторонних или вашего сайта.
- В саму ссылку добавьте атрибут rel=”nofollow”, который рекомендует не принимать ссылку во внимание.
Запрет на индексирование – полезная вещь, путем которой можно повысить уникальность контента и экспертность сайта, удаляя ненужные и устаревшие блоки со страницы. Для проверки индексации удобно использовать службы поисковиков, но можно воспользоваться и сторонними сервисами. А разнообразие настроек позволяет точно закрыть или отобрать те части, которые будучи в поиске не ведут к конверсии, но при этом не могут быть удалены с сайта.
Компания «Darvin Digital» предоставляет услуги по внешней оптимизации сайта. Благодаря помощи специалистов долгий путь к высоким позициям в выдаче пройдет для вас максимально быстро и просто.