SEO пагинация: как выявить ошибки и настроить правильно

Алексей Андрусенко
Алексей Андрусенко 
Октябрь 28, 2015 | 6 мин. чтения

Чем больше становится сайт, тем актуальнее вопрос борьбы с внутренними дубликатами, наличием низкокачественных страниц для поисковых систем.

Пагинация, при неправильной настройке, является теми страницами сайта, которые могут вызывать сомнение у поисковиков о их ценности, это полные или частичные внутренние дубликаты.

В статье разберемся, как вычислить проблемы с пагинацией для SEO, как сделать правильную настройку и какие стратегии пагинации используют для продвижения интернет-магазина, крупных порталов или для раскрутки доски объявлений.

Как узнать, что на сайте неправильно настроена пагинация для SEO

Основным показателем наличия дублирующих страниц из-за пагинации являются дубликаты по Title и дублирование текста в рамках одного сайта.

Дубликаты Title по сайту

Ниже указаны инструменты, которые помогут найти дубликаты Title по сайту.

1. Google Search Console

Откройте вкладку Вид в поиске > Оптимизация HTML

Google Search Console

Переходим в «Повторяющиеся заголовки» и изучаем результаты на предмет URL присущих для страниц пагинации (/page/2/, /?page=2 и т. д.)

2. Netpeak Spider или Comparser

Запустите анализ требуемого сайта в одной из программ и по завершении сканирования отсортируйте результаты по дубликатам Title.

Изучите результаты, которые дублируются по тегу Title на предмет URL, присущих для страниц пагинации (/page/2/, /?page=2 и т. д.)

Кстати, правильное составление Title — залог роста трафика. Читайте статью о правильном составлении Title, а также узнайте как изменения Title помогли проекту вырасти на 515%.

Внутренние дубликаты по тексту

Внутренние дубликаты по тексту, в основном, образуются, когда текст отображается на всех страницах пагинации, что является ошибкой.

Для поиска внутренних дубликатов текста можно использовать:

  • Advego (берем кусок текста и сканируем его на уникальность);
  • ручной поиск (открываем первую страницу и затем последующие страницы пагинации с целью найти повторяющийся текст).

Выявив проблемы на сайте, необходимо переходить к их решению. Главное — не повторить нижеприведенных ошибок.

Неправильные стратегии для SEO пагинации

  • закрыть все страницы пагинации в robots.txt;
  • установить rel=»canonical» на первую страницу со всех страниц пагинации.

Используя вышеприведенные стратегии, вы, скорее всего, избавитесь от проблемы дубликатов пагинации, но можете получить новую проблему — плохую индексацию товаров или статей.

Индексация товаров и статей ухудшается потому что:

  • робот не посещает страницы далее первой из-за закрытия пагинации в robots.txt;
  • пагинация игнорируется, так как с помощью rel=»canonical» установили, что страницы 2, 3, 4 являются копиями основной страницы.

Особенно актуальна будет проблема для интернет-магазинов с большим количеством товаров.

Работающие стратегии SEO пагинации

1. Meta robots

На все страницы пагинации помещаем тег <meta name=»robots» content=»noindex, follow» />

2. Уникализация страниц пагинации

На всех страницах пагинации уникализируем Title, Description, не отображаем SEO текст с первой страницы категории.

3. Страница «View all» + rel=»canonical»

Помимо страниц пагинации создается страница «View All», на которой располагаются абсолютно все товары из данной категории.

А со всех страниц пагинации устанавливаетcя rel=»canonical» на данную «View All» страницу:
<link rel=»canonical» href=»http://site.ru/category-1/view-all.html» />

Данные стратегии я заведомо не расписывал, так как статей, которые раскрывают их полностью, много. Вот ссылки на них: один (на английском), два (справка Google), три (вебинар Деваки).

Какие стратегии SEO пагинации используют крупные сайты

Я собрал список стратегий SEO пагинации, которые используют интернет-магазины, доски объявлений и агрегаторы для того, чтобы разобраться, что работает.

Сайт Стратегия  next / prev meta robots Canonical
avito.ru n/a Нет Нет На первую страницу
wildberries.ru 2 Нет Нет Нет
olx.ua 2 Да Нет Сам на себя
kidstaff.com.ua 1 Нет Да Нет
ria.com 2 Да Нет Сам на себя
hotline.ua n/a Нет Нет На первую страницу
klubok.com 1 Да Да Нет
rozetka.com.ua 2 Нет Нет Нет
allo.ua 1 Нет Да Сам на себя
depositphotos.com 1 Да Да На первую страницу
aliexpress.com  n/a Нет Нет На первую страницу

Выводы по SEO пагинации на крупных сайтах:

  • Никто не использует стратегию с отображением всех товаров на странице View All.
  • Примерно половина крупных сайтов оставляет страницы пагинации доступными для поисковиков, предварительно уникализировав метаданные для этих страниц.
  • Вторая половина сайтов использует стратегию закрытия страниц пагинации от индексирования, оставляя возможность поисковым роботам ходить по ним. Также указывают теги prev/next для улучшения индексирования товаров на глубоких страницах.
  • Некоторые не заморачиваются и полностью закрывают индексацию пагинации (скорее всего, может страдать индексация товаров).

Идеальная стратегия для SEO пагинации

1. Robots.txt

Страницы пагинации не должны быть закрыты в robots.txt

В противном случае товары или статьи на страницах пагинации будут плохо индексироваться.

URL страниц пагинации должны отличаться от основной страницы каталога.

Пример:

http://site.ru/categotia URL категории
http://site.ru/categotia?page=2 URL 2й страницы
http://site.ru/categotia?page=3 URL 3й страницы
http://site.ru/categotia?page=4 URL 4й страницы

2. Атрибуты rel=»next» и rel=»prev»

Обязательно внедрить для корректного краулинга поисковыми ботами.

На всех страницах пагинации должны быть внедрены HTML-атрибуты rel=»next» и rel=»prev», чтобы указать связь между отдельными URL. Благодаря этой разметке поисковые системы могут определить, что содержание данных страниц связано в логической последовательности.

Добавьте в раздел <head> первой страницы (http://site.ru/categotia) тег, который указывает на следующую страницу, как показано ниже:

...

...

Поскольку это начальная страница, указывать атрибут rel=»prev» не требуется.

На второй странице добавьте ссылки, указывающие на предыдущий и следующий URL. Например, на второй странице можно добавить следующие строки:

...

...

Добавьте на последнюю страницу (http://site.ru/categotia?page=4) ссылку, которая указывает на предыдущий URL, как показано ниже:

...

...

Поскольку это последний URL, добавлять атрибут rel=»next» не требуется.

3. Индексация страниц пагинации

На 2-й и последующих страницах пагинации в исходном коде страниц, должна быть строка кода в теле тега <head>, запрещающая роботам добавлять страницу в индекс поисковых систем, но разрешающая переходить по ним роботу.

...
...

4. Страницы сортировки и количества товаров

В идеале страницы сортировки и разбивки по количеству товаров на странице не должны генерировать новые URL. Однако, если они все-таки существуют, их необходимо закрыть от индексации.

На страницах сортировки в исходном коде страниц, должна быть строка кода в теле тега <head>, запрещающая роботам добавлять страницу в индекс поисковых систем.

...
...

5. Заголовки страниц пагинации

Можно не уникализировать.

6. Дубликат 1й страницы пагинации

Первой страницы пагинации не должно существовать!

Обычно это дубликат категории.

Необходимо настроить 301 редирект с 1-й страницы пагинации на страницу категории.

Пример:

http://site.ru/categotia URL категории
http://site.ru/categotia?page=1 URL 1-й страницы на ней настраиваем 301 редирект на http://site.ru/categotia

Мини кейс по внедрению пагинации

  • Интернет-магазин рыбаловных товаров в России.
  • Все страницы пагинации открыты к индексации.
  • Пагинация товаров есть, как на общих категориях (рыбалка). В пагинации — все товары раздела от спиннингов до ключков.
  • Пагинация товаров на мелких категориях (например, крючки) и категориях+бренд (воблеры Рапала).

Решение

Внедрить вышеуказанную стратегию по пагинации для интернет-магазина + убрать пагинацию полностью с корневых категорий типа рыбалка (оставить только лого внутренних категорий).

Результат по трафику

Поисковый трафик после внедрения корректной пагинации
Поисковый трафик после внедрения корректной пагинации

Если у вас остались вопросы по правильной настройке пагинации на сайте, задавайте их в комментариях.

Смотрите также:

Кейс Yod.ua: увеличение трафика аптечного агрегатора от 1500 до 146000 посетителей в месяц

  1. Хорошая статья.
    У меня маленький вопрос:
    Пункт 4 — Страницы сортировки и количества товаров
    Почему не сделать ?
    Зачем тратить время робота на такие страницы если он сам пройдет по товарам быстрее, чем по повторениям товара в сортировке?

    1. Дмитрий, я за то чтобы по сортировке роботы не ходили. Для этого к ссылкам на сортировку еще можно добавить rel=»nofollow»

  2. Добрый день.
    По стратегии 6 пунктов понятно, если ставить на 2,3… meta name=»robots» content=»noindex, follow», то каноникал ставить только на 1-ю? Или все же лучше сделать «View All» и на него каноникал и seo текст, но что тогда с первой делать, чтобы не дублировать, делать как и 2,3…?

    1. Тогда каноникал можно не ставить и View all не создавать. Так как это уже была бы другая стратегия

  3. хочу внедрить пагинацию комментариев на блоге. Мне не понятно, если на страницах пагинации будет стоять noindex,follow, rel=next/prev, каноникал на «первую» страницу, то поисковики будут учитывать комментарии в пагинации для ранжирования «первой» страницы?

    1. Добрый день, не будет. Так как «noindex» запретит сканировать страницу.
      Если убрать noindex и оставить canonical — тоже не будет учитывать так как для страниц пагинации кеш версии не будет, а будет отображаться 1 страница.

      1. а как можно разбить комментарии, но чтобы все они учитывались при ранжировании первой страницы обоими поисковиками? ведь яндекс не понимает next/prev

        1. К сожалению, такого способа не знаю, только открыть к индексации.

          1. ну открыть ладно, а как бы указать что это продолжение первой страницы для яндекса?

  4. Спасибо за статью, очень полезная. Подскажите, какая должна быть стратегия, если я хочу оставить открытыми для индексации страницы пагинации? (В моем случае view all — не очень подходит из-за того, что большое количество товаров… И будет увеличиваться в 2 раза минимум)
    Заранее спасибо за ответ.

  5. Спасибо за отличную статью.
    В пункте 4. Страницы сортировки и количества товаров — там точно стоит NOfollow указывать?
    Зачем со страниц сортировки запрещать переход по ссылкам?

    1. Сергей, спасибо за вопрос.

      Стоит ставить nofollow для экономии краулингового бюджета. Робот уже прошел по всем товарам со старниц без смены сортировки, зачем ему ходить опять по тем страницам, но со страниц с другой сортировкой.

  6. Доброй ночи,
    подскажите, пожалуйста, как быть. Перерыл весь интернет, не нашел. На нашем сайте есть отзывы, пагинация отзывов, у каждого отдельного отзыва есть своя страница. У каждого отзыва есть комментарии и своя пагинация. При этом отдельные страницы комментариев мы не создаем. Благодаря вашей статье, с отзывами разобрались. Спасибо) Не понятно дальше. Как правильно сделать пагинацию комментариев в отзывах? Технически можем реализовать любое решение.

    Для наглядности:
    /rating/company – страница отзывов о компании
    /rating/company/2 – вторая страница отзывов о компании
    /rating/company/review1 – страница отзыва о компании
    /rating/company/review1/2 – вторая страница комментариев отзыва review1

    Большое спасибо за вашу помощь:)
    Хорошего дня!

    1. Добрый день, все зависит от того несут ли комментарии к отзыву полезность с точки зрения поисковиков. По моему мнению, нет. Поэтому все комментарии к отзывам могут быть закрыты meta name=»robots» content=»noindex, nofollow»

      1. Большое спасибо за разъяснение. Мы не делали отдельных страничек для комментариев. Вы имели в виду страницы пагинации комментариев?
        Мы пока решили убрать страницы пагинацию комментариев. Будем отображать все комментарии на странице отзыва. Или порциями, по 30 штук. А остальное подгружать по кнопке «показать еще».

        1. Да, имел ввиду пагинацию комментариев. Правильное решение у вас.

  7. Статья хорошая, по ней будем делать. Не совсем очевидно что делать при наличии ajax-только догадываюсь и непонятно что сильнее — закрытие сортировок в роботс или строка noindex nofollow. И можно ли их оба сразу применять.

    1. Если ajax фильтры формируют отдельные URL после их срабатывания, то действия такие же как и с обычной реализацией. Сортировки правильнее закрывать noindex nofollow. В роботс можно не вносить.

        1. С этими страницами можно ничего не делать так как их действительно никак не проинексирует робот. Как максимум, на саму ссылку ведущую на этот юрл повесить rel=»nofollow» чтобы отвадить робота переходить по ссылке и тратить на нее краулинговый бюджет вашего сайта.

  8. >>>Неправильные стратегии для SEO пагинации:
    >>>установить rel=»canonical» на первую страницу со всех страниц пагинации.

    Бггг. Из рекомендаций Яндекса:
    >>>2. Что делать со страницами пагинации и сортировки товаров?
    >>>Если на такие страницы нет трафика из поисковых систем и их контент во многом идентичен, то советую настраивать атрибут rel=»canonical» тега на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.

    Далее из вашей статьи:
    >>>Используя вышеприведенные стратегии, вы, скорее всего, избавитесь от проблемы дубликатов пагинации, но можете получить новую проблему — плохую индексацию товаров или статей.

    Откуда такой вывод?

    >>>Индексация товаров и статей ухудшается потому что:
    >>>пагинация игнорируется, так как с помощью rel=»canonical» установили, что страницы 2, 3, 4 являются копиями основной страницы

    Вы знаете как работает canonical и для чего он используется?

    Для справки (из рекомендаций Google):
    >>>На сегодняшний день многие веб-мастера используют системы управления контентом, а также различные методики его распространения. В результате одни и те же материалы могут размещаться на страницах с разными URL (например, это относится к интернет-магазинам).

    >>>Чтобы решить эти проблемы, предоставьте Google канонический URL для идентичного контента, доступного по разным адресам.

    По кейсу — вообще непонятно, что делалось параллельно (помимо внедрения этих изменений), откуда смотреть отсчет внедрения ваших «правок», да и скриншот увеличения посещаемости какого-то проекта без привязки к каким-либо данным — ни о чем.

    Другим посетителям — прежде чем доверяться таким статьям, почитайте официальная рекомендации поисковых систем. Все давно уже разжевано.

    1. Дмитрий.

      Статья описывает как это делают сайты и приводит примеры. Освещаются различные стратегии которые работают для них (на момент написания статьи год назад).

      >>>установить rel=»canonical» на первую страницу со всех страниц пагинации.

      Читайте внимательно — это в случае если есть 1 страница которая собрала в себя все товары и называется View All. Но это редкость и сами так не делаем, а рассказываем как это может быть.

      Альтернатива каконикалу — Не видим ничего критичного в том чтобы просто закрыть от индексации не нужные страницы.

      1. >>>Читайте внимательно — это в случае если есть 1 страница которая собрала в себя все товары и называется View All.

        Я вам процитировал пункт из вашего текста — ставьте canonical, ссылающийся на первую страницу, на все страницы пагинации. Причем тут View All, если его упоминания в тексте нет? Такая страница уже больше к карте сайта относится.

        >>>Не видим ничего критичного в том чтобы просто закрыть от индексации не нужные страницы.

        В этом и проблема. Canonical не закрывает от индексации страницы. Т.е. если поисковик посчитает, что эта страница нужна при введенном поисковом запросе — он её покажет. Отсюда можно сделать вывод, что индексация таких страниц не пострадает. Я поэтому и спросил — откуда вы взяли информацию, что пострадает индексация при использовании canonical.

  9. Здравствуйте! Статья, хоть и написана год назад, не слишком устарела) Много из описанного — полностью поддерживаю. Но есть вопрос по п. 3. Пагинация вроде бы и существует, чтобы робот рассматривал содержание страниц пагинации как единое целое. Мета-теги и текст при этом не будут рассмотрены как дубли и в индекс попадет вся выборка. Но если поставим noindex… Объясните, пожалуйста, почему вы считаете, что проиндексируются товары page 2…n?
    / По п.4 — я за то, чтобы урлы не генерировать. noindex — хуже.
    / последний вопрос: как вы поступаете с «количеством отображаемых товаров»?
    спасибо)

    1. Передайте статью своему программисту и он попробует. Так как такое не реализовано плагинами, плюс каждая тема сделана по-разному и внедрять тоже по-разному.

  10. Спасибо за статью, познавательно.
    Только я бы указал, что теги next/prev работают только для гугла, а яндексу они «по барабану».
    И еще во 2-й стратегии не совсем понял фразу: «…не отображаем SEO текст с первой страницы категории…»

  11. Сделал пару месяцев назад по Вашей статье

    но теперь в панели вебмастера Яндекс ругается на noindex на страницах пагинации
    + теги next|prev он игнорирует

    точно стоит noindex включать в пагинации?

  12. Еще непонятка…
    «…На всех страницах пагинации уникализируем Title, Description»
    Т.е. достаточно ли добавит к текстам «Страница: N»?

    И по поводу предыдущего вопроса…
    2. «…не отображаем SEO текст с первой страницы категории…»
    Какой именно текст имеется в виду?
    Описание раздела/категории в контенте или теги META?

    1. Прошу прощения за долгий ответ.

      1. Да, достаточно.
      2. Описание раздела/категории

Оставить комментарий

Ваша эл. почта не будет опубликована. Обязательные поля помечены *

Ваш комментарий*
Представьтесь*
Эл. почта*
Адрес сайта

Получайте больше пользы!
Анонсы лучших статей об интернет-маркетинге и продвижению сайтов, новости области, скидки на мероприятия и другие бонусы — только для подписчиков!