Crawl budget

Crawl budget — це поняття в технічному SEO, яке описує, скільки сторінок і як часто пошуковий робот може або хоче сканувати на сайті. Воно особливо важливе для великих сайтів із тисячами або мільйонами URL, де погана структура, дублікати й параметри можуть витрачати ресурс сканування на неважливі сторінки.

Суть поняття

Для малого сайту crawl budget рідко є головною проблемою. Але для e-commerce, маркетплейсів, медіа й каталогів він може впливати на швидкість відкриття, оновлення та переіндексації важливих сторінок.

Проблема не в тому, щоб змусити Google сканувати все. Завдання — зробити так, щоб робот частіше бачив важливі й якісні сторінки.

Науковий і теоретичний контекст

Crawl budget варто розглядати не як ізольований термін, а як частину технічного SEO, індексації та роботи пошукових роботів із великими сайтами. Науково коректний підхід вимагає дивитися на передумови, обмеження, сегменти аудиторії та зв’язок із поведінкою споживача або організаційного покупця.

Поняття пов’язане з crawl demand, crawl capacity, site architecture, internal linking і index quality.

З погляду CMO важливо, чи допомагає це поняття ухвалювати кращі рішення: де сфокусувати бюджет, як змінити пропозицію, які дані перевірити, яку дію очікувати від команди та як зрозуміти, що зміна справді спрацювала.

Практичне застосування

• Закривати або канонікалізувати неважливі дублікати.
• Оптимізувати sitemap і internal linking.
• Зменшувати кількість параметричних URL.
• Покращувати швидкість і стабільність сервера.
• Аналізувати лог-файли та crawl stats.

Приклади

E-commerce. Фільтри кольору, розміру й сортування можуть створити тисячі URL, які відволікають робота від важливих категорій і товарів.

Медіа. Старі tag-сторінки й пагінації можуть скануватися частіше, ніж нові важливі матеріали.

Маркетплейс. Мільйони слабких сторінок продавців можуть погіршити ефективність сканування якісних посадкових.

Типові помилки

1. Перебільшувати crawl budget для малого сайту.
2. Закривати все в robots.txt без розуміння індексації.
3. Не контролювати параметри URL.
4. Ігнорувати серверні помилки.
5. Давати пошуковику багато тонких сторінок низької якості.

Коли це особливо важливо

Crawl budget важливий для великих e-commerce, маркетплейсів, агрегаторів, медіа, сайтів із фільтрами, великих блогів і проєктів із частими оновленнями.

Метрики та оцінка

Дивляться crawl stats, log files, indexed/not indexed pages, duplicate URLs, server errors, response time, sitemap coverage і частку важливих сторінок у скануванні.

Пов’язані поняття

Indexability · Canonical tag · Internal linking · Robots.txt · XML sitemap

Висновок

Crawl budget — це питання пріоритетів для пошукового робота. Великий сайт має не просто мати багато сторінок, а допомагати пошуковій системі знаходити й оновлювати найважливіші з них.