Новый Google Search Console, как проверить сайт на дубли страниц


Старая версия Гугл Консоля уже почти ушла к праотцом. Честно говоря она мне нравилась больше, нежели новая, хотя быть может я еще не привык. В общем вся соль в том, что в новой версии изменился практически весь интерфейс. Разделы и подразделы имеют новые названия и соединены по новому, что собственно и затрудняет процесс знакомства. Я не стану здесь описывать новые разделы, поскольку данная статья относилась исключительно к дублям страниц так что эту же тему мы и продолжим изучать вот только уже в новом консоле.

Чтобы проверить сайт на дубли откройте новый Google Search Console и перейдите в раздел Покрытие и в таблице кликните на кнопку  Исключено.
Google Search console покрытие

Дальше скролим страницу вниз, в списке ищем ссылки с подобными названиями:

  • Страница является копией. Отправленный URL не выбран в качестве канонического.
  • Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают.


Google search console страница копия
Как видите новая система может создать сразу два раздела с копиями страниц. И в обоих случаях присутствует слово канонический. Вкратце о том, что такое канонический адрес. Google придумал атрибут canonical, который помогает поисковому боту определить какой адрес индексировать, если одна и та же страница открывается по двум или более ссылкам. Например моя главная страница https://www.shablonu-dlya-blogger.ru/ так же может быть доступна под следующим адресом https://www.shablonu-dlya-blogger.ru/?m=0 такая ссылка задается для мобильных устройств. При этом может возникнуть дубль страницы, но атрибут canonical указывает боту, что исходной страницей является именно https://www.shablonu-dlya-blogger.ru/ и страницу с адресом для мобильных не нужно индексировать и считать дублем.

Все это немного сложно, ведь в старой версии, нам указывали дубли по заголовкам, мета описаниям и т.д. А тут этого нет, из-за чего будет сложновато понять почему страница относится к дублям. Нет, ну если у двух страниц одинаковый заголовок, тогда да это понять не сложно, но если у двух страниц одинаковое описание (мета тег Description), что делать в данном случае пока что не ясно.
копии страниц с одинаковыми заголовками
На данном скриншоте видно, что есть дубли ссылки которых имеют окончание m=0 это говорит о том, что мета атрибут canonical либо отсутствует, либо не срабатывает. Такое бывает в некоторых шаблонах (темах сайта) этот баг нужно исправлять в HTML редакторе. Еще на картинке выше вы можете заметить одну нормальную ссылку без каких либо окончаний. Это обозначает, что у двух страниц идентичный заголовок или мета описание. Исправить ситуацию можно, если одной из этих страниц задать другой заголовок или описание.

В общем хотел написать новый материал, а получилось, что тупо продублировал старый. 😁
Надеюсь, что принесет вам пользу.

Материал по старой версии консоля. Хоть устаревший но все еще полезный

Google webmasters дублирующиеся заголовки (теги title) и метаописания. Как устранить проблему.

Не так давно я решил в очередной раз пройтись по сервису для вебмастеров Google Webmster Tools, чтобы посмотреть не возникло ли там каких либо неполадок. В общем все было отлично за исключением нескольких пунктов.  При просмотре раздела: Вид в Поиске - Оптимизация HTML я обнаружил не совсем приятное известие. Система оповестила меня, что заголовки некоторых постов повторяются (дублируются). То же самое происходило с несколькими метаописаниями. Какие последствия могут быть в связи с этим? Точно ничего хорошего, гугл никогда не воспринимал сайты и блоги, которые дублируют  контент. Лично у меня посещаемость сайта упала более чем на половину и восстановилась она после того, как я устранил сею проблему.

Причины дублирования заголовков и метаописаний. 


Есть две причины из-за которых это случается. Первая, вы действительно создали два поста с одними и теми же заголовками и метаописаниями. Вторая, возникает даже, если вы этого не делали. С первой причиной все понятно и устранить ее не проблема просто убрав посты с дублированными тегами title и метаописаниями. Но вторая не очень приятная, сейчас объясню почему. Типы ссылок на сайте могут быть разными к примеру обычная ссылка к посту имеет окончание html. Но кроме них есть и другие типы, ссылки для мобильных устройств с окончанием m=0, m=1, так же ссылки категорий (ярлыков), постраничной навигации с окончанием max-results и другие. В реальности робот индексирующий ваш сайт или блог сканирует все то, что ему позволено, в том числе и эти самые ссылки. И в идеале он не должен отмечать пост с ссылками, которые имеют окончанием html, m=1, m=0 т.д., как те в которых повторяется заголовок и метаописание. Но для этого на вашем сайте или блоге должен функционировать атрибут canonical, который помогает понять индексирующему роботу, что пост не дублируется.

Запретить роботу сканировать определенный тип страниц в Google webmaster tools


Есть еще один метод, который может устранить проблему. Он заключается в том, чтобы запретить роботу индексировать эти самые ссылки. Для этого вам нужно зайти в Google Webmaster Tools, здесь, с левой стороны ищем раздел Сканирование - в нем выбираем - Параметры URL, в открывшемся окне видим все типы ссылок, выбираем тот тип из-за которого возникла проблема путем нажатия на ссылку Изменить. В следующем окошке нужно указать: Изменяет ли этот параметр содержание страницы, которое видит пользователь? выбираем ответ: Да, параметр изменяет, реорганизует или ограничивает содержание страницы. Появится новое меню в котором вам нужно перетащить ползунок на отметку: Никакие URL. затем жмем по кнопке Сохранить. После этого нужно подождать некоторое время пока робот вновь проиндексирует ваш сайт.



Запретить роботу сканировать определенный тип страниц через пользовательский файл robots.txt


Тег canonical и запрет на сканирование страниц в google webmaster tools срабатывает не всегда. Так что, если спустя неделю картина все та же нужно осуществит данный запрет через пользовательский файл robots.txt. Это самый верный способ. После его применения уже со следующим сканированием робот должен выбросить страницы с повторяющимися заголовками и метаописаниями. Для его применения вам нужно проделать следующие шаги:

  1. Настроить под себя пользовательский файл robots.txt 
  2. Добавить файл в настройках поиска

Сделать это очень просто, сейчас вы сами в этом убедитесь.

Настраиваем пользовательский файл robots.txt

Вот, как выглядит стандартный файл robots.txt:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://mojsajt.blogspot.com/sitemap.xml

К примеру нам нужно запретить сканировать страницы с параметром для мобильных устройств m=0 и m=1 для этого добавляем в наш файл две строчки и теперь он будет выглядеть следующим образом:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /
Disallow: /*?m=0
Disallow: /*?m=1

Sitemap: http://mojsajt.blogspot.com/sitemap.xml

Если на ваши дубли влияет другой параметр вместо m=0 и m=1 пишите в этих строчках название этого параметра. И не забудьте после Sitemap указать адрес своего сайта.

Добавляем пользовательский файл robots.txt в настройки поиска

Файл мы подготовили осталось только добавить его в настройки поиска. Для этого переходим в раздел:

  • Настройки
  • Настройки поиска
  • Пользовательский файл robots.txt

Напротив последнего кликаем по ссылке Изменить, в появившемся окошке вставляем наш файл и Сохраняем изменения. Пример на картинке ниже.
 



Поделиться в социальных сетях:
Facebook Twitter Vkontakte

Рекомендуем