Поисковое продвижение сайтов
Шрифт:
Остается добавить, что получить представление о краулинговом бюджете для продвигаемого сайта можно с помощью статистики, которую предоставляют поисковые системы в панелях для веб-мастеров, или анализа логов сервера.
В-третьих, из-за ошибок в алгоритмах поисковых систем после очередного обновления поискового индекса дубль может заменить в выдаче целевую страницу. Как правило, после этого позиции сайта в выдаче существенно ухудшаются.
Но даже если этого не произойдет, может возникнуть ряд негативных эффектов: например, падение конверсии [26] и накопление поведенческой статистики на неправильной странице. Целевая страница при этом может вообще пропасть из индекса (в самом деле, зачем держать в базе несколько копий одной и той же страницы?).
В-четвертых, может возникнуть ситуация, когда поисковая система не сможет разобраться, какой из дублей следует считать основным. В этом случае алгоритм понизит обе страницы (и сайт в целом) в результатах выдачи.
26
https://ru.wikipedia.org/wiki/KoHBepcHa_(B_HHTepHeT-MapKeTHHre)
Причины возникновения дублей и методы их обнаружения
Причины возникновения дублей могут быть разными:
1. Дубли штатно или по ошибке может генерировать движок сайта. Например, дублями могут быть страница и ее версия для печати, встречаются дубли главной страницы (site.ru и site.ru/index.php) или одинаковые страницы с разными расширениями (.php и. html).
2. Дубли могут возникнуть из-за невнимательности вебмастера (после изменения адреса страницы она становится доступна и по старому, и по новому URL).
3. Дубли могут генерироваться из-за дизайнерских или контентных особенностей проекта (в интернет-магазинах часто похожие товары отличаются лишь очень кратким описанием или несколькими техническими параметрами).
Для обнаружения дубликатов есть множество эффективных инструментов:
1. Панели для веб-мастеров поисковых систем [27] . С помощью этих веб-сервисов также можно следить за скачиваемыми страницами и находить дубли.
2. Расширенный поиск в поисковых системах. Для Гугла можно использовать site: имя_хоста [28] . В Яндексе можно смотреть индекс по отдельным разделам с помощью url: имя_хоста/категория/* [29] (для этого же можно использовать оператор inurl).
27
https://webmaster.yandex.ru/ и https://search.google.com/search-console
28
https://support.google.com/websearch/answer/24664337hHru
29
https://yandex.ru/support/search/query-language/search-operators.xml
3. Специальные сервисы и программы. Например, можно воспользоваться программой XENU [30] , а также некоторыми распространенными веб-сервисами, информацию о которых легко найти в Сети (см. рис. 2 на с. 54).
Устранение дублей может быть сложным и зачастую требует творческого подхода. Однако есть направления, которые однозначно стоит проверить.
Ошибки движка сайта
Разберем типичные ошибки работы движка сайта, которые приводят к появлению дублей:
30
http://home.snafu.de/tilman/xenulink.html
1. Движок сайта не генерирует 301 редирект при смене адреса страницы (этот редирект либо нельзя поставить вообще, либо нужно ставить в ручном режиме, о чем легко забыть). Данный недостаток легко устранить на программном уровне.
Рис. 2. Результаты сканирования сайта программой XENU: интерфейс безнадежно устарел, но функционал остается полезным при выполнении практических задач
2. Движок отображает один и тот же контент по разным адресам:
a. Разные страницы могут возникать при перестановке частей URL-адреса. Например, одинаковый контент выводится на страницах site.ru/cars/volvo и site.ru/volvo/cars.
b. Отображение страницы происходит при частичном вводе адреса, например по URL site.ru/sumki/cristina-agilera и site.ru/sumki/cristina.
c. Одна и та же страница может отображаться в разных категориях. Особенно это актуально для карточек товаров в интернет-магазине: site.ru/moto/sc-234 и site. ru/moto-s-pricepom/sc-234. Проще всего решить эту проблему, присвоив каждой карточке раз и навсегда свой уникальный адрес.
3. Движок сайта может генерировать сессионные переменные в адресе страниц. Ниже мы разберемся с этим вопросом подробнее.
Сессия – промежуток времени, в течение которого пользователь находился на сайте [31] . Когда пользователь заходит на сайт, последний с помощью cookies [32] браузера его идентифицирует. Это необходимо, чтобы понять, кто этот посетитель, и помочь ему пользоваться сайтом. Например, если при авторизации пользователь поставил галочку «Запомнить меня», то при следующем заходе на сайт он сразу будет залогинен.
31
https://seopult.ru/library/CeccHGHHbie_nepeMeHHbie
32
https://ru.wikipedia.org/wiki/Cookie
Но бывает, что cookies у пользователя отключены. В таком случае возможны три варианта:
– сайт будет работать, как обычно;
– сайт не сможет работать полноценно и выдаст сообщение, что для нормальной работы нужно включить cookies;
– движок сайта постарается компенсировать отсутствие cookies с помощью так называемых сессионных переменных (уникальных идентификаторов, которые будут добавляться к URL тех страниц, на которых побывал пользователь).
Последний подход создает дополнительные проблемы для поисковых систем. Их роботы приходят на сайт, видят новые URL с сессионными переменными и индексируют их. В результате в поисковую базу попадают полные дубликаты уже существующих страниц.
Конечно, поисковые системы отфильтровывают большинство таких страниц, но эта ситуация негативно влияет на индексацию и ранжирование сайта. Если движок сайта генерирует сессионные переменные, необходимо этот механизм отключить.
301 редирект
В основном 301 переадресацию [33] (жарг. «301 редирект») используют при смене URL-страницы, но эта технология пригодится и для борьбы с дублями.
Дело в том, что код статуса 301 означает, что запрашиваемая страница окончательно перемещена в новое местоположение. А поэтому, если настроить 301 редирект с дубля на основной документ, дубль пропадет из поисковой базы.
33
https://support.google.com/webmasters/answer/936337hUru