Google webmaster tools повторяющиеся заголовки (теги title) и метаописания.

Google webmasters дублирующиеся заголовки (теги title) и метаописания. Как устранить проблему.

Не так давно я решил в очередной раз пройтись по сервису для вебмастеров Google Webmster Tools, чтобы посмотреть не возникло ли там каких либо неполадок. В общем все было отлично за исключением нескольких пунктов.  При просмотре раздела: Вид в Поиске - Оптимизация HTML я обнаружил не совсем приятное известие. Система оповестила меня, что заголовки некоторых постов повторяются (дублируются). То же самое происходило с несколькими метаописаниями. Какие последствия могут быть в связи с этим? Точно ничего хорошего, гугл никогда не воспринимал сайты и блоги, которые дублируют  контент. Лично у меня посещаемость сайта упала более чем на половину и восстановилась она после того, как я устранил сею проблему.

Причины дублирования заголовков и метаописаний. 


Есть две причины из-за которых это случается. Первая, вы действительно создали два поста с одними и теми же заголовками и метаописаниями. Вторая, возникает даже, если вы этого не делали. С первой причиной все понятно и устранить ее не проблема просто убрав посты с дублированными тегами title и метаописаниями. Но вторая не очень приятная, сейчас объясню почему. Типы ссылок на сайте могут быть разными к примеру обычная ссылка к посту имеет окончание html. Но кроме них есть и другие типы, ссылки для мобильных устройств с окончанием m=0, m=1, так же ссылки категорий (ярлыков), постраничной навигации с окончанием max-results и другие. В реальности робот индексирующий ваш сайт или блог сканирует все то, что ему позволено, в том числе и эти самые ссылки. И в идеале он не должен отмечать пост с ссылками, которые имеют окончанием html, m=1, m=0 т.д., как те в которых повторяется заголовок и метаописание. Но для этого на вашем сайте или блоге должен функционировать тег canonical, который помогает понять индексирующему роботу, что пост не дублируется.

Запретить роботу сканировать определенный тип страниц в Google webmaster tools


Есть еще один метод, который может устранить проблему. Он заключается в том, чтобы запретить роботу индексировать эти самые ссылки. Для этого вам нужно зайти в Google Webmaster Tools, здесь, с левой стороны ищем раздел Сканирование - в нем выбираем - Параметры URL, в открывшемся окне видим все типы ссылок, выбираем тот тип из-за которого возникла проблема путем нажатия на ссылку Изменить. В следующем окошке нужно указать: Изменяет ли этот параметр содержание страницы, которое видит пользователь? выбираем ответ: Да, параметр изменяет, реорганизует или ограничивает содержание страницы. Появится новое меню в котором вам нужно перетащить ползунок на отметку: Никакие URL. затем жмем по кнопке Сохранить. После этого нужно подождать некоторое время пока робот вновь проиндексирует ваш сайт.



Запретить роботу сканировать определенный тип страниц через пользовательский файл robots.txt


Тег canonical и запрет на сканирование страниц в google webmaster tools срабатывает не всегда. Так что, если спустя неделю картина все та же нужно осуществит данный запрет через пользовательский файл robots.txt. Это самый верный способ. После его применения уже со следующим сканированием робот должен выбросить страницы с повторяющимися заголовками и метаописаниями. Для его применения вам нужно проделать следующие шаги:

  1. Настроить под себя пользовательский файл robots.txt 
  2. Добавить файл в настройках поиска

Сделать это очень просто, сейчас вы сами в этом убедитесь.

Настраиваем пользовательский файл robots.txt

Вот, как выглядит стандартный файл robots.txt:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://mojsajt.blogspot.com/sitemap.xml

К примеру нам нужно запретить сканировать страницы с параметром для мобильных устройств m=0 и m=1 для этого добавляем в наш файл две строчки и теперь он будет выглядеть следующим образом:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /
Disallow: /*?m=0
Disallow: /*?m=1

Sitemap: http://mojsajt.blogspot.com/sitemap.xml

Если на ваши дубли влияет другой параметр вместо m=0 и m=1 пишите в этих строчках название этого параметра. И не забудьте после Sitemap указать адрес своего сайта.

Добавляем пользовательский файл robots.txt в настройки поиска

Файл мы подготовили осталось только добавить его в настройки поиска. Для этого переходим в раздел:

  • Настройки
  • Настройки поиска
  • Пользовательский файл robots.txt

Напротив последнего кликаем по ссылке Изменить, в появившемся окошке вставляем наш файл и Сохраняем изменения. Пример на картинке ниже.
 


Поделиться

Facebook TwitterGoogle+ Vkontakte

Рекомендуем

Google webmaster tools повторяющиеся заголовки (теги title) и метаописания.
4/ 5
Oleh