Главная » Поисковые системы » Как закрыть сайт от индексации Дата добавления: 11.10.2013 06:57 Как закрыть сайт от индексации Оцените эту статью: (0 проголосовало)

Всем привет, сегодня я решил написать о том, как закрыть сайт от индексации поисковыми системами. Сделать это очень просто и, наверное, большинство из вас знают как, но пожалуй найдутся и такие, которые не знают, для них то и будет полезен этот пост. Перед тем как начать излагать саму суть вопроса я бы хотел остановиться на причинах, которые могут заставить СЕОшника закрыть сайт от индексации.

Ещё давайте порассуждаем на тему того, чем обернется для сайта закрытие от индексации. Если закрыть сайт от индексации всеми поисковыми системами, то страницы данного сайта не будут участвовать в поиске и, следовательно, поискового трафика не будет. Поэтому нужно всегда это осознавать перед тем как закрывать сайт от индексации.

Зачем сайт или некоторые его страницы от индексации

1. На этапе разработки в том случае, если разработка ведется на рабочем домене, то целесообразно закрыть сайт от индексации до тех пор, пока он не будет окончательно готов. Связано это с тем, что на различных стадиях разработки сайт может выглядеть очень плохо в глазах поисковых систем по тем или иным причинам. Это может привести к наложению санкций или даже бану сайта в поисковой системе. Чтобы этого избежать я советую закрыт сайт от индексации до тех пор, пока работы по  разработке и наполнению не будут завершены.

2. В случае если у компании 2 сайта, находящихся под аффилиат фильтром, и в поиске появляется не тот сайт, который нужен. Такое часто бывает, когда компания запускает новый, второй сайт и он попадает под аффилиацию со старым, первым сайтом. И как правило, старый сайт в силу возрастного фактора выдается в результатах поиска Яндекса по большинству запросов, в то время как новый сайт почти никто не посещает. Конечно, представители компании хотели бы, чтобы именно новый сайт посещали потенциальные клиенты. В таком случае было бы целесообразно закрыть от индексации старый сайт, чтобы дать дорогу новому.

3. Чтобы исключить из поиска страницы-дубликаты. Зачастую случается такая ситуация, когда на сайте появляются страницы-дубликаты, содержащие частичную или полную копию контента основных страниц, а мы все знаем, что дублирование контента в рамках одного интернет ресурса - страшный грех. Очень часто дубли появляются в силу особенностей той cms, на которой работает сайт. И если нет возможности программно избавиться от них, то самое простое и разумное решение - это закрыть их от индексации, так чтобы поисковые системы на них не заходили и не индексировали их.

4. Закрытие от индексации контактных данных. Бывает такая ситуация, когда владелец не хочет "светить" свои контактные данные поисковым системам, чтобы по его почте или телефону не смогли найти через поисковые системы. В данном случае от индексации закрывается страница контактов.

Вот, пожалуй, самые основные причины, которые вынуждают оптимизаторов прибегать к запрету индексации.

Запрет индексации сайта в Robots.txt

Не сложно догадаться, что для того, чтобы закрыть сайт или некоторые его страницы от индексации нам понадобиться файл Robots.txt, который содержит указания для роботов поисковых систем. В том случае, если вы хотите закрыть от индексации всеми поисковыми системами весь сайт, то необходимо прописать в Robots.txt следующее:

User-agent: *
Disallow: /

Директива User-agent определяет поискового робота, к которому будут применены указания следующие ниже. В данном случае указано *, это означает что указания будут справедливы абсолютно для всех поисковых роботов. Если вашей целью является закрыть сайт от индексации только Яндексом, то в таком случае синтаксис будет следующим:

User-agent: Yandex
Disallow: /

В случае с поисковой системой Google синтаксис такой:

User-agent: Google
Disallow: /

Если же задачей является закрытие от индексации какой-то другой поисковой системой, то имя робота, которые необходимо указать в директиве User-agent должно быть написано в справочной информации данной поисковой системы.

Как уже упоминалось выше, закрыть от индексации можно не только сайт целиком, но ещё и некоторые отдельные его страницы. Для этого необходимо в списке указаний Disallow указывать адреса этих самых страниц. Например, я бы хотел закрыть от индексации всеми поисковыми системами страницу контактов и страницу "Об авторе". В этому случае содержимое Robots.txt будет следующим:

User-agent: *
Disallow: /ob-avtore
Disallow: /kontakti

А ещё можно закрыть от индексации целый раздел сайта, для этого нужно указать в disallow общую часть url всех страниц сайта, которые вы хотите запретить к индексации. К примеру, я хочу запретить индексироваться разделу "Поисковые системы" на своем блоге. В таком случае содержимое Robots.txt будет следующим:

User-agent: *
Disallow: /poiskovie-sistemi/

Вообще таким методом можно закрывать не только какие-то конкретные разделы сайта, а вообще определённые группы страниц, содержащие в своем адресе одинаковые сочетания символов.

На этом всё, что я бы хотел рассказать о запрете индексации для поисковых систем. Любые вопросы по традиции в комментарии :)

Прочитано 111 раз | Опубликовано в Поисковые системы Социальные кнопки Новые материалы: Еще в этой категории: « Аффилиат фильтр Яндекса Комментариев: 2
  • Валерий
    12.10.2013 10:23

    Интересно Ваше мнение,по поводу стоит ли закрывать сайт от индексации,когда он уже был проиндексирован с неуникальными статьями.Я просто закрыл и переписываю статьи а объем очень и очень большой((

    Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
  • Вячеслав
    12.10.2013 11:38

    На мой взгляд, закрывать сайт целиком не стоит, лучше закрыть от индексации страницы с не уникальным контентом, а те, на которых уже расположены уникальные тексты открывать, пусть попадают в индекс, глядишь и трафик на них пойдёт :)

    Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
Добавить комментарий

Обратно наверх

Автор блога

Я использую

sape.ru - биржа ссылок с автоматическим размещением
miralinks.ru - лучшая биржа статей
rookee.ru - система автоматического продвижения
gogetlinks.net - лучшая биржа ссылок "навсегда"
rotapost.ru - качественные ссылки с блогов

Популярное

Мой хостинг:

Подписка


Категории

СЕО словарь Web программирование ТИЦ Эксперименты Домены Поисковые системы Внутренняя оптимизация Внешняя оптимизация Монетизация Личное

СЕО Новости

Последние комментарии

Востребованные статьи

Карта сайта SEOParadise - Профессиональный ⌘⌘⌘ СЕО Блог Использование материалов сайта без ссылки на него запрещено.