«Единственный способ творить великие дела – это любить то, что ты делаешь»
SEO


В этой статье постараемся ответить на вопрос: что такое главное зеркало сайта? И как определить главное зеркало сайта для поисковых систем?

Зеркало сайта - это его полная или частичная копия, дубликат сайта.

Или другими словами: зеркала – это сайты, доступные по разным адресам, и имеющие одинаковый контент.

Как известно, одинакового контента не должно быть в сети Интернет. Поэтому для поисковых систем так важно определить главное зеркало сайта.

Следует понимать, что для поискового робота домены www.domain.ru и domain.ru - это два разных сайта.

И если поисковая система главным зеркалом считает домен domain.ru, а разработчик решил иначе и при продвижении сайта исходит из того, что  домен с www, то есть www.domain.ru является главным зеркалом, то возникает путаница.

Из-за подобной неразберихи показатели ТИЦ и PR могут распространяться на оба сайта или не распространяться на тот, который нужен разработчику. Более того, либо за дублирование контента, либо только из-за того, что нужный разработчику домен не является главным зеркалом, его страницы могут вообще выпасть из индекса поисковых систем.

Итак, как указать основной домен для индексирования для поисковых систем Yandex и Google?



Главное зеркало и директива Host

Поисковый робот Яндекса выбирает главное зеркало либо в соответствии со своим алгоритмом, либо с помощью директивы Host, указанной в файле robots.txt. Об алгоритме индексирования поисковой системы Яндекс будет рассказано далее. А сейчас рассмотрим, как происходит работа с директивой Host?

Стоит отметить: скоро редирект HTTP-301 заменит директиву Host при выборе главного зеркала. Об этом читайте здесь.

Но вернемся к директиве: что здесь следует учесть?

Директива Host в файле robots.txt может быть только одна. Если указать несколько директив, то будет учитываться первая из них.

Директиву Host добавляют после директив Disallow (Allow) в группе, начинающейся с записи User-Agent.

User-Agent: *

Disallow:

Host: www.webpupil.ru

Для своих сайтов я располагал директиву Host в самом начале файла robots.txt и у меня все работает.

# robots.txt for https://www.webpupil.ru

Host: www.webpupil.ru

User-agent: yandex
Disallow:

Мы рассмотрели, каким образом директива Host позволяет указать главное зеркало сайта. В скором времени придется отказаться от использования директивы, поэтому мы не будем ей уделять большего внимания.

Как указать главное зеркало сайта для Яндекса?

С одной стороны алгоритм работы поискового робота Яндекс прост и если быть внимательным, то с настройками сервиса Яндекс.Вебмастер разобраться не сложно, но с другой, можно и запутаться, особенно начинающему разработчику. Поэтому обо всем по порядку.

В начале статьи речь шла о том, что для поискового робота домены с www и без этого префикса – это два разных сайта.

И если сайт доступен по адресам www.domain.ru и domain.ru, то происходит объединение зеркал в группу. Это же правило относиться и к протоколам http и https.

Поэтому в разделе «Переезд сайта» сервиса Яндекс.Вебмастер есть возможность изменить правила работы с зеркалами. Здесь можно указать предпочитаемый домен для индексирования, выбрав его с префиксом www или без него, а также добавить протокол https.

Кроме этого, проверить какой сайт является главным зеркалом можно следующим образом. Зайти в сервис Яндекс.Вебмастер и если сайт признан не главным зеркалом, то он будет находиться рядом со своим главным зеркалом.

Вот так это выглядит в моем случае, после перехода сайта с протокола http на https.

Читайте внимательно раздел «Переезд сайта, зеркала» сервиса Яндекс.Помощь - Помощь вебмастеру, где есть все необходимые инструкции, согласно которым не сложно разобраться в том, что нужно сделать, чтобы указать поисковому роботу Яндекс главное зеркало сайта.

Основной домен для индексирования для Google – Файл htaccess и редирект 301

Рассмотрим, что нужно делать, чтобы указать основной домен для индексирования при работе с поисковой системой Google.

Для начала необходимо иметь Аккаунт Google, чтобы иметь возможность работать в Google Search Console.

Google Search Console – это сервис, с помощью которого есть возможность получать информацию о том, как Ваш сайт представлен в результатах поиска Google. Этот сервис имеет множество инструментов и возможностей для работы с сайтом.

В начале статьи уже говорилось о том, что для поисковой системы сайты с префиксом www и без него, а также сайты, работающие по протоколу http и https – это разные ресурсы. И поисковая система Google устроена так, что для того чтобы перейти с протокола http на https необходимо, находясь Google Search Console, добавить к уже существующему домену, работающему по протоколу http, тот же домен, но с указанием протокола https.

Это же правило относится к сайтам с префиксом www и без него, что продемонстрировано на иллюстрации ниже.

На иллюстрации выше продемонстрировано следующее: в сервисе Google Search Console для одного из сайтов указано два домена с префиксом www и без него, а для другого добавлен третий домен с протоколом https.

Раньше в сервисе «Инструменты для веб-мастеров» поисковой сиcтемы Google можно было непосредственно указать основной домен. Теперь все иначе.

Для указания основного домена для индексирования необходимо настроить редирект 301. Для этого нужно найти в корне сайта файл .htaccess, октрыть его с помощью программы «Блокнот» или «Notepad++» и в нем написать код перенаправления с сайта с префиксом www на сайт без него (или наоборот), а также код перенаправления с протокола http на https.

Вот пример содержимого моего файла .htaccess.

RewriteEngine On

# Перенаправление с www на без www

RewriteCond %{HTTP_HOST} ^www.komp36\.ru$ [NC]

RewriteRule ^(.*)$ http://komp36.ru/$1 [R=301,L]

# Перенаправление с index.php на корень

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ http://komp36.ru/ [R=301,L]

Здесь не указан код перенаправления с протокола http на https. Но в моем случае этого и не требуется, так как у хостинговой компании Yutex сервис работает следующим образом: при миграции сайта с протокола http на https автоматически происходит включение 301 редиректа на стороне nginx, что обеспечивает корректный переход сайта с протокола http на https.

Что касается других хостиг-провайдеров, то желательно уточнять в службе поддержки, какой код перенаправления нужен, так как существует несколько вариантов кода 301 редиректа для корректного перехода сайта с протокола http на https.

Читайте внимательно подраздел «Перенос сайта» раздела сканирование и индексирование справочного центра сервиса Search Console, где подробно изложено, как происходит выбор основного домена для индексирования при работе с поисковой системой Google.

Отзывы и комментарии:

Добавил(а): Егор
Дата: 2013-01-07

Спасибо. До этого я не знал ничего о главном зеркале

Добавил(а): Kiddy
Дата: 2013-01-27

А как подтвердить свои права на сайт с www,если у меня приоритетный-без них?Если я буду в Яндексвебмастере регистрировать это зеркало,то права потребуется подтверждать.

Добавил: Admin
Дата: 2013-01-29

Kiddy Вы писали 2013-01-27
А как подтвердить свои права на сайт с www,если у меня приоритетный-без них?Если я буду в Яндексвебмастере регистрировать это зеркало,то права потребуется подтверждать.

Также как подтверждали на домен без www

Оставить отзыв:

Ваше Имя:

Текст комментария:

Ответьте на вопрос:

Сколько дней в Високосном году?


Поисковые системы
Как определить главное зеркало сайта?
1740
Как правильно составить файл robots.txt?
5179
Как правильно составить файл sitemap.xml?
11150
Последние заметки
Популярные заметки