Как определить главное зеркало сайта?

В этой статье постараемся ответить на вопрос: что такое главное зеркало сайта? И как определить главное зеркало сайта для поисковых систем?

Зеркало сайта - это его полная или частичная копия, дубликат сайта.

Или другими словами: зеркала – это сайты, доступные по разным адресам, и имеющие одинаковый контент.

Как известно, одинакового контента не должно быть в сети Интернет. Поэтому для поисковых систем так важно определить главное зеркало сайта.

Следует понимать, что для поискового робота домены www.domain.ru и domain.ru - это два разных сайта.

И если поисковая система главным зеркалом считает домен domain.ru, а разработчик решил иначе и при продвижении сайта исходит из того, что  домен с www, то есть www.domain.ru является главным зеркалом, то возникает путаница.

Из-за подобной неразберихи показатели ТИЦ и PR могут распространяться на оба сайта или не распространяться на тот, который нужен разработчику. Более того, либо за дублирование контента, либо только из-за того, что нужный разработчику домен не является главным зеркалом, его страницы могут вообще выпасть из индекса поисковых систем.

Итак, как указать основной домен для индексирования для поисковых систем Yandex и Google?



Главное зеркало и директива Host

Поисковый робот Яндекса выбирает главное зеркало либо в соответствии со своим алгоритмом, либо с помощью директивы Host, указанной в файле robots.txt. Об алгоритме индексирования поисковой системы Яндекс будет рассказано далее. А сейчас рассмотрим, как происходит работа с директивой Host?

Но вернемся к директиве: что здесь следует учесть?

Директива Host в файле robots.txt может быть только одна. Если указать несколько директив, то будет учитываться первая из них.

Директиву Host добавляют после директив Disallow (Allow) в группе, начинающейся с записи User-Agent.

Для своих сайтов я располагал директиву Host в самом начале файла robots.txt и у меня все работает.

Мы рассмотрели, каким образом директива Host позволяет указать главное зеркало сайта. В скором времени придется отказаться от использования директивы, поэтому мы не будем ей уделять большего внимания.

Как указать главное зеркало сайта для Яндекса?

С одной стороны алгоритм работы поискового робота Яндекс прост и если быть внимательным, то с настройками сервиса Яндекс.Вебмастер разобраться не сложно, но с другой, можно и запутаться, особенно начинающему разработчику. Поэтому обо всем по порядку.

В начале статьи речь шла о том, что для поискового робота домены с www и без этого префикса – это два разных сайта.

И если сайт доступен по адресам www.domain.ru и domain.ru, то происходит объединение зеркал в группу. Это же правило относиться и к протоколам http и https.

Поэтому в разделе «Переезд сайта» сервиса Яндекс.Вебмастер есть возможность изменить правила работы с зеркалами. Здесь можно указать предпочитаемый домен для индексирования, выбрав его с префиксом www или без него, а также добавить протокол https.

Кроме этого, проверить какой сайт является главным зеркалом можно следующим образом. Зайти в сервис Яндекс.Вебмастер и если сайт признан не главным зеркалом, то он будет находиться рядом со своим главным зеркалом.

Вот так это выглядит в моем случае, после перехода сайта с протокола http на https.

Основной домен для индексирования для Google – Файл htaccess и редирект 301

Рассмотрим, что нужно делать, чтобы указать основной домен для индексирования при работе с поисковой системой Google.

Для начала необходимо иметь Аккаунт Google, чтобы иметь возможность работать в Google Search Console.

Google Search Console – это сервис, с помощью которого есть возможность получать информацию о том, как Ваш сайт представлен в результатах поиска Google. Этот сервис имеет множество инструментов и возможностей для работы с сайтом.

В начале статьи уже говорилось о том, что для поисковой системы сайты с префиксом www и без него, а также сайты, работающие по протоколу http и https – это разные ресурсы. И поисковая система Google устроена так, что для того чтобы перейти с протокола http на https необходимо, находясь Google Search Console, добавить к уже существующему домену, работающему по протоколу http, тот же домен, но с указанием протокола https.

Это же правило относится к сайтам с префиксом www и без него, что продемонстрировано на иллюстрации ниже.

На иллюстрации выше продемонстрировано следующее: в сервисе Google Search Console для одного из сайтов указано два домена с префиксом www и без него, а для другого добавлен третий домен с протоколом https.

Для указания основного домена для индексирования необходимо настроить редирект 301. Для этого нужно найти в корне сайта файл .htaccess, октрыть его с помощью программы «Блокнот» или «Notepad++» и в нем написать код перенаправления с сайта с префиксом www на сайт без него (или наоборот), а также код перенаправления с протокола http на https.

Вот пример содержимого моего файла .htaccess.

Здесь не указан код перенаправления с протокола http на https. Но в моем случае этого и не требуется, так как у хостинговой компании Yutex сервис работает следующим образом: при миграции сайта с протокола http на https автоматически происходит включение 301 редиректа на стороне nginx, что обеспечивает корректный переход сайта с протокола http на https.

Что касается других хостиг-провайдеров, то желательно уточнять в службе поддержки, какой код перенаправления нужен, так как существует несколько вариантов кода 301 редиректа для корректного перехода сайта с протокола http на https.

site.komp36.ruТвой сайт фотографа. Создание сайтов Что есть на сайте? Несколько фото галерей: свадебная, постановочная съемка, love story, детские фото. Договор на фотосъемку, прайс-лист.

Узнать больше

site.komp36.ru Акция Как начать свое дело? Свой сайт «Укладка плитки» 9 000 руб. Лендинг адаптируется под любой вид отделочных работ, продажу товаров или услуг. Сайт поможет найти новых клиентов

Узнать больше

site.komp36.ru Акция Продающий лендинг «Установка и продажа окон» 9 000 руб. Одностраничный продающий сайт. Установка и продажа окон, установка дверей, перегородок. Заявки прямо с сайта

Узнать больше