УрокОшибка сеошников в Drupal 7, которая может привести к бану сайта

Эту информацию я бы порекомендовал прочитать всем, кто использует Drupal 7.

От релиза седьмого Друпала, казалось бы, прошло уже много времени и им уже давно можно пользоваться с абсолютным спокойствием. Ведь на 7ку уже портированы все основные модули, используемые большинством сайтов. Однако до сих пор там висит неисправленный robots.txt, который легко может привести к бану сайта.

Ещё в апреле сего года, Андрей Подлубный нашёл действительно критическую ошибку седьмого Друпала, которая никак не влияет на работу сайта, однако очень сильно влияет на отношение к сайту поисковиков. Эта ошибка была описана сначала на drupal.ru, а потом в качестве бага отправлена на drupal.org. Однако до сих пор этот фикс, по непонятным мне причинам, не был внесён в последние обновления ядра.

Смысл ошибки заключается в следующем. В седьмом Друпале каждый комментарий доступен по собственному урлу, который строится по принципу example.com/comment/ID, где ID - уникальный идентификатор комментария. По этому урлу доступен материал, к которому оставлен комментарий + сам комментарий.

Предположим, что к ноде с ID 10 оставлено 100 комментариев. Получается, что один и тот же материал доступен по адресу example.com/node/10, example.com/comment/1, example.com/comment/2, и так далее до последнего сотого комментария. Выходит, что материал доступен аж по 101 адресу на сайте!

А теперь представьте себе ваш сайт глазами поисковиков - на одном сайте происходит просто невероятное дублирование контента. Естественно, сайт сразу попадает в бан и, как следствие, вылетает из поискового индекса.

А решается эта проблема простейшим образом. В файле robots.txt, который лежит в корне Друпала, делаем следующие изменения: находим строку Disallow: /comment/reply/ и меняем её на Disallow: /comment/. Так же ищем строку Disallow: /?q=comment/reply и меняем её на Disallow: /?q=comment/. Теперь контент, располагающийся по урлам example.com/comment/* (вместо * любой текст) не индексируются, а следовательно, не воспринимается поисковиками как дублирование контента.

Ниже приведён исправленный вариант robots.txt:

#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used:    http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html
 
User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/

Обновление (08.02.2012)

А теперь для тех, кто верил в метатэг canonical:

У меня для эксперимента стоял дефолтный robots.txt. Из-за этого у меня полезли дубли, что легко может привести к АГС 17. Несмотря на canonical, страницы всё равно были успешно проиндексированы.

Сейчас я уже, естественно, поправил роботсы, чтобы убрать лишние дубли. Однако это ещё раз доказывает, что canonical - не самая надёжная вещь, на которую следует полагаться.

Обновление 2 (08.02.2012, но вечером)

Ввиду того, что в коментах начали появляться скептики, я немного поясню свои слова.
Есть такой замечательный фильтр у Яндекса - АГС 17. Когда вы в него попадаете, в поисковой выдаче остаётся незначительное количество страниц сайта (обычно не более 10-20). Одна из причин попадания под этот фильтр - наличие дублированного контента на сайте. А ещё есть некая критическая масса, набрав которую, сайт попадает под этот фильтр. Я не утверждаю, что если вы не закроете комментарии от индексации через robots.txt, то ваш сайт попадёт под фильтр. Однако наличие дублей может стать причиной перехода через эту критическую массу.

Далее. Писалось, что раз на страницах с комментариями есть мета тэг canonical (который должен говорить поисковому роботу что эту страницу индексировать не надо), то и закрывать в роботсах ничего не имеет смысла. Скриншот выше показал, что этот мета тэг может дать сбой, и страницы с дублированным контентом, которые не должны были попасть в выдачу, попадут в неё. И если в этот момент сайт наберёт достаточное количество недочётов для попадания под фильтр - он попадёт под него незамедлительно. Особенно это касается молодых сайтов; сайтов, продающих ссылки; любителей насовать побольше тэгов и т.д. То есть сайтов в группе риска.

Пару дублей в выдаче никакой погоды не сделают. Но например, за год более-менее хороший сайт легко собирёт несколько тысяч комментариев. И если сайт вырастет на несколько тысяч дублированных страниц, то хорошего ждать вряд ли придётся.

Опять же - в комментах писали, что дублирование может дать некий прирост трафика. Да, это вполне имеет место быть. Однако в практике уже был случай, когда за приростом трафика последовал АГС.

Итак, подытожу: я не заставляю никого менять роботсы или же доверять моим словам в качестве истины в последней инстанции. Из практики (не только мной) доказано, что canonical может дать сбой. А подстраховывать себя или нет - выбор исключительно ваш.