Google індексував чати Claude через помилки в налаштуванні індексації
Оновлення платформи ChatGPT Ads
Налаштування вебаналітики: як побудувати систему даних, яким можна довіряти
Noindex — це директива для пошукових роботів, яка вказує не додавати сторінку або ресурс до пошукового індексу чи вилучити його з результатів після повторного сканування. Для HTML-сторінки правило зазвичай задають у meta robots, а для PDF, зображення чи іншого файлу — через HTTP-заголовок X-Robots-Tag.
Noindex керує індексацією, а не доступом до контенту. Сторінка залишається публічною для людини з прямим посиланням. Тому директива не підходить для захисту персональних даних, фінансових документів або закритого кабінету.
Як додати noindex
Для HTML-сторінки в секції <head> використовують:
<meta name="robots" content="noindex">Щоб правило стосувалося лише Google, можна вказати googlebot, але для більшості завдань застосовують загальну директиву robots.
Digital Marketing
Будь першим серед трендів
Дізнавайся про новини та цікаві поради digital маркетингу першим — підпишись на наш Telegram-канал зараз.
Підписатися на TelegramДля не-HTML ресурсу або серверного керування відповіддю використовують заголовок:
X-Robots-Tag: noindexОбидва способи мають однакову базову мету. Важливо перевіряти фінальну HTTP-відповідь і HTML, який реально отримує пошуковий робот, а не лише налаштування CMS.
Коли noindex доречний
- службові сторінки входу, підтвердження або завершення операції;
- внутрішні результати пошуку, якщо вони не створені як повноцінні посадкові сторінки;
- тимчасові тестові сторінки, які вже доступні у відкритому середовищі;
- фільтри й технічні комбінації, що не мають самостійної пошукової цінності;
- PDF або інші файли, які мають бути доступні за посиланням, але не потрібні в пошуку;
- архіви низької цінності, якщо їх не можна об’єднати або прибрати кращим способом.
Рішення має спиратися на роль сторінки, а не на сам факт низького трафіку. Сторінка без кліків може бути потрібною для навігації, майбутнього попиту або повноти тематичного кластера.
Noindex і robots.txt
Ці механізми виконують різні функції. robots.txt регулює сканування, а noindex — можливість показу в результатах пошуку. Якщо URL одночасно закритий через Disallow, Googlebot може не завантажити сторінку й не побачити noindex. У такому разі адреса іноді залишається в індексі без опису, якщо про неї відомо з посилань.
Практична послідовність для вилучення сторінки: дозволити сканування, віддати noindex, дочекатися повторного обходу й перевірити результат. Запис noindex безпосередньо в robots.txt Google не підтримує.
Noindex, nofollow і none
Noindex забороняє показ ресурсу в результатах. Nofollow просить робота не переходити за посиланнями на сторінці. Значення none еквівалентне комбінації noindex, nofollow.
Автоматично додавати nofollow до кожної noindex-сторінки не завжди доцільно. Наприклад, сторінка внутрішнього пошуку може бути виключена з індексу, але її посилання все ще допомагають користувачам і роботам знаходити товари. Рішення залежить від структури сайту.
Noindex і canonical
Canonical просить згрупувати дубльовані або дуже схожі URL навколо основної версії. Noindex просить повністю виключити поточний URL із пошуку. Використовувати noindex як спосіб «підсилити» canonical не рекомендується: сигнали суперечать один одному за метою.
Якщо дві сторінки дублюються, зазвичай обирають редирект або canonical. Якщо сторінка не повинна бути в пошуку незалежно від інших версій, застосовують noindex.
Практичний приклад
Медична лабораторія після запису показує сторінку «Дякуємо, заявку прийнято». Вона потрібна для підтвердження й аналітики, але не відповідає на самостійний пошуковий запит. Для неї доречний noindex. Натомість сторінку «Як підготуватися до аналізу крові» не слід закривати лише через невеликий поточний трафік: вона має змістову й сервісну цінність.
Як noindex впливає на роботу сайту
Після вилучення сторінка перестає отримувати органічні покази. Згодом пошукова система може рідше її сканувати. Внутрішні посилання з великої кількості noindex-сторінок не варто вважати надійною основою архітектури: важливі URL мають бути доступні з індексованих розділів.
Noindex не звільняє від керування технічними дублями. На великому сайті мільйони доступних для сканування noindex-URL усе одно можуть споживати ресурси роботів і сервера.
Типові помилки
- випадково залишити noindex після перенесення staging-сайту в production;
- одночасно закрити URL у robots.txt і чекати швидкого зчитування noindex;
- використовувати noindex для конфіденційних даних замість авторизації;
- закрити цінні сторінки через тимчасово низький трафік;
- додати правило лише через JavaScript і не перевірити відрендерений HTML;
- плутати noindex із видаленням сторінки або редиректом;
- масово закрити URL без перевірки органічних входів і внутрішніх посилань.
Як перевірити noindex
- Переглянути вихідний і відрендерений HTML сторінки.
- Перевірити HTTP-заголовки, особливо для PDF та інших файлів.
- Переконатися, що robots.txt не заважає роботу побачити директиву.
- Скористатися перевіркою URL у Google Search Console.
- Після зміни відстежити статус у звіті про індексацію сторінок.
Пов’язані поняття
Robots.txt · Meta robots · X-Robots-Tag · Nofollow · Canonical URL · Індексація · Краулінг
Висновок
Noindex — точний інструмент контролю індексації, але не засіб безпеки й не заміна продуманій архітектурі. Він працює лише тоді, коли робот може отримати сторінку та прочитати правило. Перед масовим застосуванням потрібно оцінити пошукову, навігаційну й бізнесову роль кожного типу URL.
Джерело
Хочеш знати більше про digital?
Також цікаво