Що таке Meta robots — визначення, приклади, застосування ⋆ Блог Digital агенції UAMASTER

Meta robots — це HTML-тег, який передає пошуковим роботам page-level інструкції щодо індексації та представлення сторінки в пошуку. Його зазвичай розміщують у <head>.

<meta name="robots" content="noindex, follow">

Meta robots не керує доступом користувачів і не захищає конфіденційні дані. Це інструкція для compliant crawlers, а не механізм авторизації.

Основні директиви

index — індексацію дозволено; це поведінка за замовчуванням;
noindex — не показувати сторінку в результатах;
follow — посилання можна використовувати для discovery; також default;
nofollow — не слідувати посиланнями на сторінці;
nosnippet — не показувати текстовий snippet або video preview;
max-snippet — обмежити довжину snippet;
max-image-preview — керувати розміром image preview;
noarchive — не показувати cached link, якщо crawler підтримує правило.

Robots і Googlebot

name="robots" адресує інструкції всім відповідним crawler. Для Google можна використовувати name="googlebot", а для Google News — googlebot-news. Якщо правила конфліктують, Google зазвичай застосовує сукупність більш обмежувальних директив.

Meta robots і robots.txt

robots.txt керує crawling шляхів, а meta robots — індексацією конкретного HTML-документа та його поданням. Якщо URL закритий через disallow, Googlebot може не завантажити HTML і не побачити noindex. Тому закривати crawling сторінки, яку потрібно деіндексувати через tag, є типовою помилкою.

Digital Marketing

Будь першим серед трендів

Дізнавайся про новини та цікаві поради digital маркетингу першим — підпишись на наш Telegram-канал зараз.

Підписатися на Telegram

Практичний приклад

Інтернет-магазин має сторінки внутрішнього пошуку з безліччю комбінацій. Для некорисних landing pages установлюють noindex, follow, залишаючи crawler доступ до HTML. Але рішення не повинно бути масовою латкою: корисні категорії з попитом можуть потребувати окремої індексованої сторінки.

X-Robots-Tag

Для PDF, зображень та інших non-HTML ресурсів використовують HTTP header X-Robots-Tag. Його також можна застосовувати до HTML і налаштовувати на сервері для груп файлів. Потрібно перевіряти фактичну HTTP-відповідь, а не лише CMS.

Noindex і canonical

Canonical указує бажану версію серед схожих URL, а noindex просить не показувати сторінку. Одночасне використання noindex і canonical на інший URL створює суперечливу логіку: одна директива прибирає сторінку, інша просить консолідувати сигнали. Краще визначити мету й застосувати відповідний механізм.

Коли використовувати noindex

службові сторінки без пошукової цінності;
особисті кабінети, якщо вони не містять конфіденційних даних без захисту;
внутрішній search та нескінченні фільтри;
тонкі технічні сторінки, які мають існувати для користувача;
тимчасові дублікати під час контрольованої міграції.

Коли meta robots недостатньо

Конфіденційний документ потрібно видалити або захистити автентифікацією. Для видаленої сторінки доречний 404 або 410. Для постійно перенесеної — redirect. Meta robots не заважає людям із прямим URL відкрити сторінку й не гарантує виконання всіма ботами.

Як перевіряти

Перегляньте rendered HTML, HTTP headers, URL Inspection у Search Console і доступність для crawler. CMS-перемикач може не спрацювати через кеш, шаблон або CDN. Також перевіряють кілька meta tags і правила, задані конкретному user agent.

Типові помилки

залишити noindex після staging або редизайну;
закрити URL у robots.txt і чекати прочитання noindex;
вважати meta robots захистом даних;
додавати index, follow як обов’язкову SEO-оптимізацію;
конфліктувати з X-Robots-Tag;
масово noindexувати сторінки без перевірки трафіку й ролі;
плутати nofollow сторінки з rel=nofollow окремого посилання.

Професорська та директорська перевірка

Meta robots є протокольною інструкцією для crawling ecosystem, а не абсолютною командою всьому інтернету. Для SEO-директора це інструмент керування індексом, який потребує inventory URL, перевірки наслідків і моніторингу, бо одна помилкова директива може прибрати важливий шаблон із пошуку.

Пов’язані поняття

Robots.txt · Noindex · Nofollow · X-Robots-Tag · Canonical · Crawling · Indexing · URL Inspection

Висновок

Meta robots дає точковий контроль над індексацією та preview сторінки. Його потрібно застосовувати відповідно до мети, залишати URL доступним для crawler і перевіряти реальну відповідь сайту після кожної зміни.

Джерело

Google Search Central: Robots meta tag specifications

Автор

Редакція UAMASTER

Редакція UAMASTER готує матеріали про digital-маркетинг, рекламу, аналітику, SEO, штучний інтелект і маркетингові технології. У фокусі редакції — практичні зміни в інструментах, ринкові тренди та їхній вплив на бізнес, маркетинг-команди й управлінські рішення. Матеріали створюються на основі досвіду агенції UAMASTER, відкритих даних, галузевих джерел і редакційної перевірки фактів.

Усі статті

Хочеш знати більше про digital?

Також цікаво