Краулинговый бюджет: что это, как его проверить и как перестать его тратить впустую
Краулинговый бюджет означает количество URL, которые Googlebot может и хочет загрузить на вашем сайте. Большинству сайтов никогда не нужно о нём думать. Крупным или быстро меняющимся сайтам нужно, и решение обычно одно и то же: не давать Googlebot тратить время на URL, которые не имеют значения.
Что такое краулинговый бюджет?
Google определяет краулинговый бюджет как набор URL, которые Googlebot может и хочет просканировать на сайте. В своём руководстве по управлению краулинговым бюджетом Google делит его на две части:
- Лимит пропускной способности. Сколько Googlebot может загрузить, не перегружая ваш сервер. Если сайт отвечает быстро, лимит растёт. Если он замедляется или отдаёт ошибки сервера, Googlebot снижает нагрузку.
- Потребность в сканировании. Сколько Google хочет сканировать. Популярные и меняющиеся URL сканируются чаще. Устаревшие или малоценные URL сканируются реже.
В сумме краулинговый бюджет в SEO находится в точке, где сходятся возможности вашего сервера и то, что Google считает достойным загрузки. Купить его больше нельзя. Можно лучше использовать то, что вы получаете.
Важен ли краулинговый бюджет для вашего сайта?
Google пишет, что краулинговый бюджет в основном важен для трёх типов сайтов. Из его руководства по краулинговому бюджету:
| Сайт | Уникальных страниц | Контент меняется | Важно |
|---|---|---|---|
| Крупный | 1 000 000+ | Раз в неделю | ✓ |
| Средний или крупнее | 10 000+ | Каждый день | ✓ |
| Много страниц «Обнаружена, не проиндексирована» | Сколько угодно | Сколько угодно | ✓ |
| Большинство остальных сайтов | Несколько тысяч | Сколько угодно | – |
Если новые страницы сканируются в течение дня-двух, проблема не в краулинговом бюджете. Смотрите на качество контента, внутренние ссылки и индексируемость. Руководство по статусу «Обнаружена, не проиндексирована» на SEO ProCheck разбирает этот статус и его причины.
Привычки, которые экономят краулинговый бюджет (чистые URL, мало редиректов, никаких ловушек для краулера), всё равно помогают любому сайту. А ещё они ускоряют ваши собственные сканирования и упрощают чтение аудитов.
Как проверить краулинговый бюджет
Единой цифры краулингового бюджета нет. Её складывают из трёх источников.
1. Отчёт «Статистика сканирования» в Search Console
Откройте «Настройки», затем «Статистика сканирования». Вы увидите общее число запросов на сканирование, общий объём загрузки и среднее время ответа за последние 90 дней с разбивкой по коду ответа, типу файла, цели (обнаружение или обновление) и типу Googlebot. «Статус хоста» показывает, были ли проблемы с загрузкой robots.txt, DNS или подключением к серверу.
На что смотреть: растущая доля ответов 3xx и 4xx, растущее время ответа или большинство запросов на обновление, пока новые страницы ждут.
2. Логи вашего сервера
«Статистика сканирования» даёт только сводку. Логи показывают каждый запрос, поэтому видно, какие именно URL загружает Googlebot, как часто и к каким он никогда не обращается. На странице Импорт вместо подключения перечислены форматы логов, которые читает Neova, и где каждый хостинг их хранит.
3. Ваше собственное сканирование
Краулер показывает URL, которые открывают ваши ссылки и карты сайта. Сравните их число с количеством страниц, которые вы действительно хотите видеть в индексе. Мы сделали это на собственном сайте:
| seoprocheck.com, 17 октября 2026 года | URL |
|---|---|
| Загружено полным сканированием | 10 222 |
| HTML-страниц с ответом 200 | 4 561 |
| Указано в XML Sitemap | 1 835 |
| Найдено по ссылкам, нет ни в одной карте сайта | 2 727 |
То есть меньше половины загруженных URL оказались HTML-страницами с ответом 200; остальное составили файлы, редиректы и другие ответы, на которые бот тоже тратит запросы. А 2727 URL со ссылками на них нет ни в одной карте сайта, и на это стоит посмотреть, прежде чем винить Google. Если сайт с 20 000 товаров порождает 400 000 доступных для сканирования URL, вы нашли, куда уходит краулинговый бюджет.
Откуда берутся потери краулингового бюджета
| Источник | Как выглядит | Обычное решение |
|---|---|---|
| Фасетная навигация | URL на каждую комбинацию фильтров | Закройте малоценные комбинации |
| Параметры | Отслеживание, сессия, сортировка | Уберите из внутренних ссылок |
| Краулинговые ловушки | Календари, повторяющиеся папки | Ограничьте, закройте или исправьте ссылки |
| Цепочки редиректов | 2 перехода и больше | Ссылайтесь на конечный URL |
| Soft 404 | Не найдено, но отвечает 200 | Отдавайте 404 или 410 |
| Дубли URL | Регистр, слеш, порядок параметров | Редирект на одну версию |
| Грязные карты сайта | Редиректы, noindex, ошибки | Только индексируемые URL с ответом 200 |
| Медленные ответы | Время ответа растёт | Ускорьте сервер |
В большинстве интернет-магазинов главный источник потерь даёт фасетная навигация; статья о краулинговом бюджете на SEO ProCheck разбирает, когда важен каждый источник.
Оптимизация краулингового бюджета по шагам
- Посчитайте, что должно быть в индексе. Запишите, сколько страниц вы хотите видеть в Google. Всё, что сверх этого, кандидат в потери.
- Просканируйте сайт и рассортируйте URL. Отделите чистые URL страниц от вариантов с параметрами, некорректных URL, ловушек для краулера и ресурсов.
- Найдите закономерности. Потери редко бывают случайными. Это один фильтр, один календарь, одна битая относительная ссылка, повторённые тысячи раз.
- Закройте то, что никогда не нужно сканировать. Используйте robots.txt для шаблонов URL без поисковой ценности, например внутреннего поиска или вариантов сортировки. Проверьте правило на просканированных URL до того, как выкатить его.
- Исправьте ссылки, которые создают потери. Блокировка прячет URL; исправление ссылок перестаёт их порождать.
- Почистите XML Sitemap. Только индексируемые URL с ответом 200 и датами lastmod, которые меняются вместе со страницей.
- Отдавайте правильные коды ответа. 404 или 410 для удалённых страниц, а не 200 с сообщением «не найдено».
- Сократите цепочки редиректов и обновите внутренние ссылки, чтобы они вели на конечные URL.
- Следите за логами и «Статистикой сканирования» несколько недель и убедитесь, что Googlebot переключился на важные страницы.
Чего не делать
Некоторые популярные советы по краулинговому бюджету работают не так, как ожидают. По руководству Google по краулинговому бюджету и его странице о снижении частоты сканирования:
| Совет | Экономит бюджет | Почему |
|---|---|---|
| Добавить noindex | – | Страница всё равно загружается |
| Временно закрыть страницы | – | Google не советует |
| Crawl-delay в robots.txt | – | Googlebot его игнорирует |
| Отдавать 503 или 429 | ◐ | В экстренных случаях, на 1-2 дня |
| Указать URL в карте сайта | ◐ | Подсказка, а не приказ |
| Закрыть в robots.txt навсегда | ✓ | URL никогда не загружается |
Noindex помогает с индексацией, а не со сканированием. Закрывайте в robots.txt только те URL, которые никогда не должны сканироваться, и исправляйте ссылки, которые их создают.
Как Neova помогает с краулинговым бюджетом
Neova сам является краулером, а не Googlebot, поэтому собственный бюджет Google он показать не может. Он показывает, где ваш сайт даёт Googlebot лишнюю работу:
- Обнаружение работает во время сканирования. Каждую минуту оно показывает, по каким шаблонам появляются новые URL, и отмечает признаки ловушек для краулера: календари, повторяющиеся папки, идентификаторы сессий, множество параметров и очень глубокие URL, с кнопками «Продолжить сканирование», «Пропустить» или «Исключить» прямо на месте.
- Разбивка URL относит каждый URL к одной группе: чистые URL страниц, варианты с параметрами, некорректные URL, ловушки для краулера и ресурсы. Итоговое число всегда объяснено.
- Тестер robots.txt объясняет каждую строку, а тест черновика перечисляет URL, которые изменение заново закроет или откроет, ещё до того, как вы его выкатите.
- Лог сервера в десктопном приложении перечисляет HTML-страницы, которые Googlebot не посещал за период лога, и URL, которые запрашивают боты, но которых не знает сканирование.
- Проверки, например индексируемые URL с параметрами поиска или фильтров, те же параметры в другом порядке, фразы soft 404, URL с редиректом в XML Sitemap и интервал повторного сканирования Googlebot, выросший на 50% и больше.

Neova и сам сканирует аккуратно: по умолчанию 3 URL в секунду, а когда сервер замедляется или отвечает 429 или 503, скорость падает вдвое. См. Возможности или скачайте Neova, чтобы попробовать.
Чек-лист по краулинговому бюджету
| Сигнал | Норма | Расположение |
|---|---|---|
| Время ответа | Стабильное или падает | Статистика сканирования |
| Доля 3xx и 4xx | Не растёт | Статистика сканирования, логи |
| Доступные для сканирования URL к нужным страницам | Близко к 1 к 1 | Ваше сканирование |
| Краулинговые ловушки | 0 | Ваше сканирование |
| Переходы в редиректах | Не больше 1 | Ваше сканирование |
| Удалённые страницы | 404 или 410 | Ваше сканирование |
| Записи в карте сайта | Только индексируемые с ответом 200 | Ваше сканирование |
| URL в одном файле карты сайта | Не больше 50 000 | Ваше сканирование |
| Дней логов проанализировано | 30 и больше | Логи сервера |
| Новые ключевые страницы | Посещены Googlebot | Логи сервера |
Вопросы
Что такое краулинговый бюджет в SEO?
Это количество URL, которые поисковая система может и хочет просканировать на вашем сайте за определённое время. Google описывает его как сочетание лимита пропускной способности и потребности в сканировании.
Важен ли краулинговый бюджет для небольших сайтов?
Обычно нет. Google пишет, что он важен в основном для очень крупных сайтов, сайтов, которые меняются ежедневно, и сайтов, где много страниц обнаружено, но не проиндексировано. Небольшим сайтам больше дают хороший контент и внутренние ссылки.
Как увеличить краулинговый бюджет?
Сделайте сервер быстрым и стабильным и дайте Google причины сканировать: страницы, на которые ссылаются и которые посещают, и контент, который меняется. Затем перестаньте тратить имеющееся на параметры, редиректы и дубли.
Экономит ли noindex краулинговый бюджет?
Нет. Чтобы прочитать noindex, Google должен просканировать страницу. Чтобы навсегда не пускать Googlebot к шаблону URL, закройте его в robots.txt и исправьте ссылки, которые его порождают.
Учитывает ли Googlebot crawl-delay?
Нет. Google не поддерживает crawl-delay в robots.txt. Поддержка в Bing задокументирована. Neova отмечает crawl-delay, заданный для всех user agent, чтобы вы решили, нужен ли он ещё.