Настройка зеркал сайта

Неправильная настройка (или отсутствие настройки) приоритетного зеркала сайта может привести к появлению в индексе поисковых систем дублирующихся страниц и затруднить продвижение проекта: ухудшить индексацию страниц сайта и понизить рейтинг сайта в выдаче поисковых систем.

Итак, что такое зеркало сайта. Согласно информации из помощи Яндекса: «Зеркалами считаются сайты, являющиеся полными или частичными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (site1.ru/page.html и site2.ru/page.html). Например, в большинстве случаев хосты site.ru и www.site.ru являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается. Также сайты считаются зеркалами, если со страниц одного сайта настроен серверный редирект на соответствующие им страницы другого сайта (site1.ru перенаправляет на site2.ru, site1.ru/page.html перенаправляет на site2.ru/page.html и т.д.).

В переводе на понятный язык: если ваш сайт доступен по адресам https://www.site.ru, https://site.ru и, к примеру, тестовый сайт разработчиков https://development.site.ru — эти сайты будут зеркалами. Со стороны пользователя данные сайты будут идентичными (в особенности сайты с www и без). Для поискового робота же – нет: по умолчанию он воспринимает, что сайты https://www.site.ru и https://site.ru различны. Из-за этого в ряде случаев могут возникать сложности. Небольшой экскурс в историю WWW — это сокращение от World Wide Web (всемирная паутина) — во многом анахронизм, который уже отмирает и был актуален, когда различные сервисы располагались на разных серверах. Назывались они в зависимости от предоставляемого сервиса: например, были отдельные домены для ftp доступа (ftp.site.ru), почты (mail.site.ru) и, соответственно, для доступа в сеть — www.site.ru. Давайте разберем 2 приоритетные для нас поисковые системы — Google и Яндекс, а также их отношение к зеркалам сайта.

Яндекс

Поисковая система Яндекс зачастую самостоятельно выбирает одно зеркало сайта и показывает в выдаче только его. Чтобы проверить, какое из зеркал выбрано как приоритетное, введите в поисковой строке Яндекса запрос host:www.site.ru и посмотрите результат и запрос host:site.ru.

Google

Поисковая система Google, в отличие от Яндекса, не определяет автоматически приоритетное зеркало и индексирует сайт по своему усмотрению. Это приводит к тому, что в выдаче Google могут одновременно присутствовать страницы сайта с www и без. Чтобы узнать сколько примерно страниц вашего сайта проиндексировано с www, введите в адресной строке Google site:www.site.ru, сколько страниц без www — site:site.ru -site:www.site.ru. Так выглядит выдача, когда часть страниц сайта проиндексирована с www, а часть — без. Когда зеркала выбраны верно, мы увидим следующую картину: В данном случае мы видим, что по одному из запросов сайт не находит ни одной страницы.

Что делать?

Какое зеркало выбрать? Для поисковой системы нет разницы, какое из зеркал вы выберете как приоритетное. Это будет www.site.ru или просто site.ru — никакого значения не имеет. Так как же его выбрать правильно? Могу посоветовать отталкиваться от индексации сайта по одному и другому адресу. Если у вас большая часть страниц проиндексирована поисковыми системами по адресу с www, то лучше выбрать именно такой адрес, и наоборот. Как это сделать? Наиболее верный и простой способ — это настройка 301 редиректа. Для этого вам следует в файле .htaccess прописать следующие строки кода: для перенаправления с сайта с www на сайт без www: RewriteCond %{HTTP_HOST} ^site\.ru RewriteRule ^(.*)$ https://www.site.ru/$1 [R=301,L] для перенаправления с сайта без www на сайт c www: RewriteCond %{HTTP_HOST} ^www.site\.ru RewriteRule ^(.*)$ https://site.ru/$1 [R=301,L] В поисковой системе Яндекс рекомендуется также прописывать в файле robots.txt приоритетное зеркало сайта при помощи строки «Host» (роботами других поисковых систем данная строка не учитывается). User-agent: * Disallow: Host: www.site.ru Правильно настраивайте зеркала для своих сайтов!