Проверка дублей контента: как найти и исправить дубли страниц
Большая часть дублированного контента не копируется намеренно. Она возникает из того, как сайт строит URL: одна и та же страница с www и без, с параметром отслеживания, с другой сортировкой или в двух категориях. Поисковым системам приходится угадывать, какую версию вы имели в виду. Инструмент проверки дублей находит каждую копию, группирует их и показывает, какая должна остаться.
Что делает инструмент проверки дублей контента
Инструмент проверки дублей сравнивает страницы сайта между собой и сообщает о тех, что совпадают полностью или почти полностью. Хороший инструмент смотрит на четыре вещи:
- URL, которые отличаются только протоколом, хостом, регистром букв, слешем в конце или параметрами, но отдают одну и ту же страницу.
- Основной текст, идентичный на двух и более страницах.
- Основной текст, очень похожий, где заменены несколько слов, название товара или город.
- Title, meta description и заголовки, повторяющиеся на разных страницах; часто они указывают на ту же проблему с другой стороны.
Он также должен показывать, какие страницы уже обработаны. Страница, которая указывает другой URL как canonical или перенаправляет, является дублем, с которым вы уже разобрались, и его не стоит считать вместе с теми, с которыми не разобрались.
Вредят ли дубли контента SEO?
Не так, как часто боятся. Документация Google о канонизации объясняет: найдя несколько страниц с одинаковым контентом, Google группирует их, выбирает одну как каноническую, а остальные сканирует реже. Никакого штрафа за версии страницы с www и без www нет. Копирование чужого контента ради манипуляции ранжированием относится к другой теме, его правила Google в отношении спама относят к скопированному контенту.
Реальные потери менее заметны:
- Google может выбрать не ту версию. URL в результатах поиска может оказаться версией с параметром, HTTP-версией или версией для печати.
- Сигналы распыляются. Ссылки и внутренние ссылки распределяются по нескольким URL, вместо того чтобы складываться на одном.
- Сканирование тратится впустую. На крупном сайте тысячи вариантов с параметрами могут съесть время, которое поисковая система потратила бы на новые страницы. Эту сторону разбирает руководство по краулинговому бюджету.
- Отчёты зашумлены. Клики и показы распределены по разным URL, и труднее понять, как на самом деле работает страница.
SEO ProCheck отделяет мифы от реальных решений в статье о дублях контента: причины, мифы и исправления.
Виды дублированного контента
| Вид | Пример | Обычное решение |
|---|---|---|
| Варианты URL | http, www, регистр, слеш | Редирект на одну форму |
| Варианты с параметрами | ?utm_source=, ?sort=price | Canonical на чистый URL |
| Точные дубли | Две категории, версия для печати | Редирект или canonical |
| Почти дубли | Заменён только город | Объединить, переписать или canonical |
| Дубли метаданных | Один title, много страниц | Свой title на каждой странице |
| Копии на других сайтах | Синдикация, скрапинг | Их noindex или canonical |
Первые два вида технические, и обычно их исправляют один раз, на сервере или в шаблоне. Два средних требуют решений по контенту. Последний зависит от чужого сайта.
Откуда берутся дубли страниц
Когда инструмент находит сотни дублей, они редко возникают из сотен решений. Ищите закономерность:
- Хост и протокол. Сайт отвечает и по http, и по https, или и с www, и без него, и ничего не перенаправляет.
- Слеш в конце и регистр. Сервер отдаёт 200 для /page и /page/ или для /Page и /page.
- Параметры отслеживания во внутренних ссылках. Метка utm_ в ссылке на баннере создаёт новый URL для той же страницы.
- Сортировка и фильтры. Фасетная навигация может порождать больше URL, чем есть товаров. Руководство Google по фасетной навигации просит сайты сохранять одинаковый порядок параметров фильтров во всех URL.
- Один объект, несколько путей. Товар доступен и в /sale/, и в /shoes/, или запись есть под каждым из её тегов.
- Шаблоны с малым количеством текста. Архивы тегов, пустые категории и страницы городов, где шаблона больше, чем контента.
- Остатки. Staging-хост, открытый для краулеров, старый домен, который всё ещё отвечает, версия для печати или AMP.
Два таких случая мы нашли на собственных сайтах. На neova.app 20 ноября 2026 года http:// отвечал 200 вместо 301 на https, и у каждой страницы был двойник, пока мы это не исправили. А полное сканирование seoprocheck.com в Neova 17 октября 2026 года нашло:
| seoprocheck.com, 17 октября 2026 года | Количество |
|---|---|
| HTML-страниц с ответом 200 | 4 561 |
| Дубли title | 56 |
| Title длиннее 60 символов | 557 |
| Meta description длиннее 155 символов | 582 |
| Canonical на другой внутренний URL | 5 |
Neova группирует страницы по шаблонам, поэтому, когда дубли собираются в одной группе страниц, вы знаете, что исправлять их нужно в шаблоне.
Как работает поиск точных и почти дублей
Точные дубли найти легко. Инструмент извлекает основной текст каждой страницы без навигации, шапки и подвала, нормализует его и сравнивает. Две страницы с одинаковым основным текстом считаются дублями, даже если меню у них разные.
Для почти дублей нужна мера сходства. Распространённый метод разбивает текст на перекрывающиеся последовательности слов, шинглы, и считает, сколько последовательностей у двух страниц общие:
страница A: "красные кроссовки для бега по тропам и шоссе"
последовательности из 5 слов: "красные кроссовки для бега по", "кроссовки для бега по тропам", ...
сходство = общие последовательности обеих страниц / последовательности на странице
| Настройка в Neova | Значение |
|---|---|
| Что сравнивается | Только основной текст |
| Длина последовательности (шингл) | 5 слов |
| Общих последовательностей для отметки | 90% и больше |
| Минимум основного текста | 50 слов |
| Страницы с canonical на другой URL | Не участвуют в проверке точных дублей |
Neova отмечает две страницы, когда одна из них делит с другой 90% и больше своих последовательностей из 5 слов, на страницах, где основного текста 50 слов и больше. Ни одна поисковая система не публикует порог, поэтому воспринимайте отметку о почти дубле как повод посмотреть на две страницы рядом, а не как приговор.
Две детали сильно меняют результат. Сравнивайте основной текст, а не весь HTML, иначе все страницы сайта с большим меню будут выглядеть похожими. А если контент строит JavaScript, сравнивайте отрисованную страницу, иначе все страницы будут выглядеть пустыми и одинаковыми.
Как проверить сайт на дубли контента: пошагово
- Просканируйте весь сайт и включите отрисовку JavaScript, если контент строится в браузере.
- Начните с вариантов URL. Их дешевле всего исправить, и часто они объясняют большую часть остального.
- Разберите точные дубли группа за группой. Для каждой группы выберите URL, который должен остаться.
- Разберите почти дубли, сравнивая их рядом. Решите, отвечают ли они разным потребностям. Вариант размера, скорее всего, нет; два города с разными услугами, возможно, да.
- Просмотрите повторяющиеся title и description. Где контент разный, напишите новые. Где одинаковый, они подтверждают группу дублей.
- Проверьте canonical на каждом оставленном дубле и убедитесь, что они указывают на выбранный URL. Что здесь может пойти не так, разбирает руководство по проверке тега canonical.
- Просканируйте сайт снова после исправления и сравните два сканирования, чтобы увидеть, какие отметки ушли.
Как исправить дубли контента
Страница Google о консолидации дублирующихся URL перечисляет основные способы сообщить, какой URL вы предпочитаете. Редиректы и rel=canonical дают сильные сигналы; указание URL в карте сайта даёт более слабый. Подберите решение под случай:
| Ситуация | Исправление | Сила сигнала |
|---|---|---|
| Дублирующий URL не нужен | 301 на предпочтительный URL | Сильный |
| Вариант должен оставаться доступным | rel=canonical на предпочтительный URL | Сильный |
| Две страницы, одна тема | Объединить, со второй редирект | Сильный |
| Похожие страницы, разные читатели | Переписать каждую | n/a |
| Один title на многих страницах | Свой title на каждой странице | n/a |
| Указан только в карте сайта | Добавьте редирект или canonical | Слабый |
| Закрыт в robots.txt | Откройте, затем canonical | Нет, страница не прочитана |
Что бы вы ни выбрали, посылайте один и тот же сигнал везде. Внутренние ссылки, XML Sitemap, hreflang и canonical должны указывать на один и тот же URL. Google не советует использовать robots.txt для канонизации, поскольку закрытую страницу невозможно прочитать. После редиректа обновите ссылки, которые вели на старый URL, чтобы они не шли через лишний переход; это разбирает руководство по цепочкам редиректов.
Для подробного изучения canonical у SEO ProCheck есть полный справочник по тегам canonical.
Проверка дублей контента в Neova
Neova ищет дубли в категориях «Контент» и «Индексируемость» при каждом сканировании. Страницы, которые уже указывают другой URL как canonical, исключаются из проверки точных дублей, поэтому в списке остаётся только то, что ещё не решено. Проверки, которые за этим стоят:
- Варианты URL отдают один и тот же HTML, для протокола, www, регистра, слеша в конце, порядка параметров и параметров отслеживания
- Вариант со слешем в конце перенаправляет или дублирует URL и Вариант с другим регистром перенаправляет или дублирует URL
- Те же параметры запроса в другом порядке
- Дублированный контент на HTML-страницах, после отрисовки JavaScript, если сканирование отрисовывало страницы
- Почти дублированный контент на HTML-страницах
- Дублированный title на HTML-страницах, Дублированный meta description на HTML-страницах и Дублированный H1 на HTML-страницах
- У синдицированной копии нет noindex или canonical на оригинал
- Индексируемый URL с параметрами поиска или фильтров и Индексируемый URL с параметрами сортировки

«Группы страниц» показывают, из какого шаблона берутся дубли, а «Сравнение сканирований» показывает, какие отметки ушли после исправления. Любая таблица экспортируется в CSV. См. Возможности или скачайте Neova; тариф Free выполняет все проверки.
Вопросы
Что такое инструмент проверки дублей контента?
Инструмент, который сравнивает страницы сайта и сообщает о тех, что отдают одинаковый или очень похожий контент, включая варианты URL одной страницы и title или description, повторяющиеся на разных страницах.
Наказывает ли Google за дубли контента?
Нет, если речь о дублях внутри вашего сайта. Google группирует их, выбирает один URL как канонический и показывает его. Риск в том, что он выберет не ту версию, которую вы хотели, и что сигналы распылятся. Контент, скопированный с других сайтов ради манипуляции ранжированием, подпадает под правила Google в отношении спама.
Насколько похожими должны быть страницы, чтобы считаться дублями?
Ни одна поисковая система не публикует процент. Neova отмечает почти дубли, когда одна страница делит с другой 90% и больше своих последовательностей из 5 слов, как повод сравнить их, а не как вердикт.
Что использовать для дублей страниц: canonical или редирект?
Редирект, когда дублирующий URL не обязан существовать. Canonical, когда он должен оставаться доступным для посетителей, например отсортированный список или URL с параметром отслеживания.
Можно ли закрыть дубли страниц в robots.txt?
Google этого не советует. Закрытый URL невозможно прочитать, поэтому Google не увидит его canonical или то, что он дубль, и всё равно может проиндексировать URL по ссылкам.