NeovaПродвинутая SEO-платформа

Проверка дублей контента: как найти и исправить дубли страниц

Большая часть дублированного контента не копируется намеренно. Она возникает из того, как сайт строит URL: одна и та же страница с www и без, с параметром отслеживания, с другой сортировкой или в двух категориях. Поисковым системам приходится угадывать, какую версию вы имели в виду. Инструмент проверки дублей находит каждую копию, группирует их и показывает, какая должна остаться.

Контент на страницепроверка дублей контентаОбновлено 21 ноября 2026 г.Команда Neova

Что делает инструмент проверки дублей контента

Инструмент проверки дублей сравнивает страницы сайта между собой и сообщает о тех, что совпадают полностью или почти полностью. Хороший инструмент смотрит на четыре вещи:

  • URL, которые отличаются только протоколом, хостом, регистром букв, слешем в конце или параметрами, но отдают одну и ту же страницу.
  • Основной текст, идентичный на двух и более страницах.
  • Основной текст, очень похожий, где заменены несколько слов, название товара или город.
  • Title, meta description и заголовки, повторяющиеся на разных страницах; часто они указывают на ту же проблему с другой стороны.

Он также должен показывать, какие страницы уже обработаны. Страница, которая указывает другой URL как canonical или перенаправляет, является дублем, с которым вы уже разобрались, и его не стоит считать вместе с теми, с которыми не разобрались.

Вредят ли дубли контента SEO?

Не так, как часто боятся. Документация Google о канонизации объясняет: найдя несколько страниц с одинаковым контентом, Google группирует их, выбирает одну как каноническую, а остальные сканирует реже. Никакого штрафа за версии страницы с www и без www нет. Копирование чужого контента ради манипуляции ранжированием относится к другой теме, его правила Google в отношении спама относят к скопированному контенту.

Реальные потери менее заметны:

  • Google может выбрать не ту версию. URL в результатах поиска может оказаться версией с параметром, HTTP-версией или версией для печати.
  • Сигналы распыляются. Ссылки и внутренние ссылки распределяются по нескольким URL, вместо того чтобы складываться на одном.
  • Сканирование тратится впустую. На крупном сайте тысячи вариантов с параметрами могут съесть время, которое поисковая система потратила бы на новые страницы. Эту сторону разбирает руководство по краулинговому бюджету.
  • Отчёты зашумлены. Клики и показы распределены по разным URL, и труднее понять, как на самом деле работает страница.

SEO ProCheck отделяет мифы от реальных решений в статье о дублях контента: причины, мифы и исправления.

Виды дублированного контента

ВидПримерОбычное решение
Варианты URLhttp, www, регистр, слешРедирект на одну форму
Варианты с параметрами?utm_source=, ?sort=priceCanonical на чистый URL
Точные дублиДве категории, версия для печатиРедирект или canonical
Почти дублиЗаменён только городОбъединить, переписать или canonical
Дубли метаданныхОдин title, много страницСвой title на каждой странице
Копии на других сайтахСиндикация, скрапингИх noindex или canonical

Первые два вида технические, и обычно их исправляют один раз, на сервере или в шаблоне. Два средних требуют решений по контенту. Последний зависит от чужого сайта.

Откуда берутся дубли страниц

Когда инструмент находит сотни дублей, они редко возникают из сотен решений. Ищите закономерность:

  • Хост и протокол. Сайт отвечает и по http, и по https, или и с www, и без него, и ничего не перенаправляет.
  • Слеш в конце и регистр. Сервер отдаёт 200 для /page и /page/ или для /Page и /page.
  • Параметры отслеживания во внутренних ссылках. Метка utm_ в ссылке на баннере создаёт новый URL для той же страницы.
  • Сортировка и фильтры. Фасетная навигация может порождать больше URL, чем есть товаров. Руководство Google по фасетной навигации просит сайты сохранять одинаковый порядок параметров фильтров во всех URL.
  • Один объект, несколько путей. Товар доступен и в /sale/, и в /shoes/, или запись есть под каждым из её тегов.
  • Шаблоны с малым количеством текста. Архивы тегов, пустые категории и страницы городов, где шаблона больше, чем контента.
  • Остатки. Staging-хост, открытый для краулеров, старый домен, который всё ещё отвечает, версия для печати или AMP.

Два таких случая мы нашли на собственных сайтах. На neova.app 20 ноября 2026 года http:// отвечал 200 вместо 301 на https, и у каждой страницы был двойник, пока мы это не исправили. А полное сканирование seoprocheck.com в Neova 17 октября 2026 года нашло:

seoprocheck.com, 17 октября 2026 годаКоличество
HTML-страниц с ответом 2004 561
Дубли title56
Title длиннее 60 символов557
Meta description длиннее 155 символов582
Canonical на другой внутренний URL5

Neova группирует страницы по шаблонам, поэтому, когда дубли собираются в одной группе страниц, вы знаете, что исправлять их нужно в шаблоне.

Как работает поиск точных и почти дублей

Точные дубли найти легко. Инструмент извлекает основной текст каждой страницы без навигации, шапки и подвала, нормализует его и сравнивает. Две страницы с одинаковым основным текстом считаются дублями, даже если меню у них разные.

Для почти дублей нужна мера сходства. Распространённый метод разбивает текст на перекрывающиеся последовательности слов, шинглы, и считает, сколько последовательностей у двух страниц общие:

страница A: "красные кроссовки для бега по тропам и шоссе"
последовательности из 5 слов: "красные кроссовки для бега по", "кроссовки для бега по тропам", ...
сходство = общие последовательности обеих страниц / последовательности на странице
Настройка в NeovaЗначение
Что сравниваетсяТолько основной текст
Длина последовательности (шингл)5 слов
Общих последовательностей для отметки90% и больше
Минимум основного текста50 слов
Страницы с canonical на другой URLНе участвуют в проверке точных дублей

Neova отмечает две страницы, когда одна из них делит с другой 90% и больше своих последовательностей из 5 слов, на страницах, где основного текста 50 слов и больше. Ни одна поисковая система не публикует порог, поэтому воспринимайте отметку о почти дубле как повод посмотреть на две страницы рядом, а не как приговор.

Две детали сильно меняют результат. Сравнивайте основной текст, а не весь HTML, иначе все страницы сайта с большим меню будут выглядеть похожими. А если контент строит JavaScript, сравнивайте отрисованную страницу, иначе все страницы будут выглядеть пустыми и одинаковыми.

Как проверить сайт на дубли контента: пошагово

  1. Просканируйте весь сайт и включите отрисовку JavaScript, если контент строится в браузере.
  2. Начните с вариантов URL. Их дешевле всего исправить, и часто они объясняют большую часть остального.
  3. Разберите точные дубли группа за группой. Для каждой группы выберите URL, который должен остаться.
  4. Разберите почти дубли, сравнивая их рядом. Решите, отвечают ли они разным потребностям. Вариант размера, скорее всего, нет; два города с разными услугами, возможно, да.
  5. Просмотрите повторяющиеся title и description. Где контент разный, напишите новые. Где одинаковый, они подтверждают группу дублей.
  6. Проверьте canonical на каждом оставленном дубле и убедитесь, что они указывают на выбранный URL. Что здесь может пойти не так, разбирает руководство по проверке тега canonical.
  7. Просканируйте сайт снова после исправления и сравните два сканирования, чтобы увидеть, какие отметки ушли.

Как исправить дубли контента

Страница Google о консолидации дублирующихся URL перечисляет основные способы сообщить, какой URL вы предпочитаете. Редиректы и rel=canonical дают сильные сигналы; указание URL в карте сайта даёт более слабый. Подберите решение под случай:

СитуацияИсправлениеСила сигнала
Дублирующий URL не нужен301 на предпочтительный URLСильный
Вариант должен оставаться доступнымrel=canonical на предпочтительный URLСильный
Две страницы, одна темаОбъединить, со второй редиректСильный
Похожие страницы, разные читателиПереписать каждуюn/a
Один title на многих страницахСвой title на каждой страницеn/a
Указан только в карте сайтаДобавьте редирект или canonicalСлабый
Закрыт в robots.txtОткройте, затем canonicalНет, страница не прочитана

Что бы вы ни выбрали, посылайте один и тот же сигнал везде. Внутренние ссылки, XML Sitemap, hreflang и canonical должны указывать на один и тот же URL. Google не советует использовать robots.txt для канонизации, поскольку закрытую страницу невозможно прочитать. После редиректа обновите ссылки, которые вели на старый URL, чтобы они не шли через лишний переход; это разбирает руководство по цепочкам редиректов.

Для подробного изучения canonical у SEO ProCheck есть полный справочник по тегам canonical.

Проверка дублей контента в Neova

Neova ищет дубли в категориях «Контент» и «Индексируемость» при каждом сканировании. Страницы, которые уже указывают другой URL как canonical, исключаются из проверки точных дублей, поэтому в списке остаётся только то, что ещё не решено. Проверки, которые за этим стоят:

«Все отметки»: каждая проверка с отмеченными URL из проверенных, здесь среди проверок «Нужно исправить» есть «Дублированный контент на HTML-страницах» и «Дублированный title на HTML-страницах».
«Все отметки»: каждая проверка с отмеченными URL из проверенных, здесь среди проверок «Нужно исправить» есть «Дублированный контент на HTML-страницах» и «Дублированный title на HTML-страницах».

«Группы страниц» показывают, из какого шаблона берутся дубли, а «Сравнение сканирований» показывает, какие отметки ушли после исправления. Любая таблица экспортируется в CSV. См. Возможности или скачайте Neova; тариф Free выполняет все проверки.

Вопросы

Что такое инструмент проверки дублей контента?

Инструмент, который сравнивает страницы сайта и сообщает о тех, что отдают одинаковый или очень похожий контент, включая варианты URL одной страницы и title или description, повторяющиеся на разных страницах.

Наказывает ли Google за дубли контента?

Нет, если речь о дублях внутри вашего сайта. Google группирует их, выбирает один URL как канонический и показывает его. Риск в том, что он выберет не ту версию, которую вы хотели, и что сигналы распылятся. Контент, скопированный с других сайтов ради манипуляции ранжированием, подпадает под правила Google в отношении спама.

Насколько похожими должны быть страницы, чтобы считаться дублями?

Ни одна поисковая система не публикует процент. Neova отмечает почти дубли, когда одна страница делит с другой 90% и больше своих последовательностей из 5 слов, как повод сравнить их, а не как вердикт.

Что использовать для дублей страниц: canonical или редирект?

Редирект, когда дублирующий URL не обязан существовать. Canonical, когда он должен оставаться доступным для посетителей, например отсортированный список или URL с параметром отслеживания.

Можно ли закрыть дубли страниц в robots.txt?

Google этого не советует. Закрытый URL невозможно прочитать, поэтому Google не увидит его canonical или то, что он дубль, и всё равно может проиндексировать URL по ссылкам.

Сохраните и поделитесь

Ссылки на ассистентов открываются с уже написанным вопросом об этой странице.

Просканируйте свой сайт с NeovaТариф Free выполняет все проверки на Mac, Windows и Linux. Банковская карта не нужна.

Читайте также