Какие URL лучше закрыть от индексации вместо удаления: Руководство по SEO-гигиене сайта

По мере развития любого веб-ресурса на нем неизбежно скапливаются тысячи страниц. И далеко не все из них приносят пользу для SEO. Когда приходит время наводить порядок, перед владельцем сайта или оптимизатором встает вопрос: что делать с «мусорными» URL?

Многие предпочитают радикальный метод — удаление (ответ сервера 404). Однако это не всегда правильный путь. Существует целая категория страниц, которые критически важны для пользователей или работоспособности ресурса, но абсолютно бесполезны (или даже вредны) для поисковых роботов. В таких случаях страницу нужно оставить, но скрыть от глаз поисковиков.

О том, как грамотно подходить к аудиту контента, что удалять, а что склеивать, подробно рассказывает этот источник, а в данной статье мы разберем конкретные типы URL, которые лучше закрыть от индексации, а не удалять.

Зачем закрывать страницы от индексации?

Поисковые системы выделяют на каждый сайт определенный «краулинговый бюджет» — лимит страниц, которые робот может обойти за один визит. Если бот тратит этот лимит на сканирование корзины покупок или результатов сортировки, до важных коммерческих страниц или новых статей он может просто не добраться. Кроме того, попадание в индекс дублей или малоценных страниц снижает общее качество сайта в глазах Яндекса и Google.

Ниже представлен список URL, к которым стоит применить мета-тег noindex или закрыть их через robots.txt.

1. Страницы фильтрации и сортировки (Фасетная навигация)

Это самая частая проблема интернет-магазинов. Пользователь хочет отсортировать кроссовки «по цене от дешевых к дорогим» или выбрать «красные, 42 размер». Каждое такое действие генерирует новый URL (например, ?sort=price_asc или ?color=red&size=42).

• Почему нельзя удалить: Без фильтров и сортировок интернет-магазином невозможно пользоваться.
• Решение: Эти страницы создают миллионы дублей. Закрывайте от индексации все комбинации фильтров (кроме тех, под которые собрана семантика и оптимизированы ЧПУ-страницы) и все виды сортировки.

2. Результаты внутреннего поиска по сайту

Посетители часто пользуются строкой поиска на сайте, чтобы найти нужный товар или статью. URL таких страниц обычно содержит параметр ?q=запрос.

• Почему нельзя удалить: Внутренний поиск — важнейший элемент юзабилити, особенно для крупных порталов и e-commerce.
• Решение: Поисковики строго не рекомендуют индексировать страницы результатов поиска. Иначе в индексе могут оказаться бесконечные пустые страницы или спам (хакеры часто генерируют ссылки на поиск по сайту с запрещенными ключами). Закрывайте их через robots.txt или <meta name="robots" content="noindex">.

3. Служебные и технические страницы

К этой категории относятся страницы, не несущие никакой информационной ценности для тех, кто ищет контент в интернете:

• Корзина и процесс оформления заказа (Checkout).
• Страницы авторизации, регистрации и восстановления пароля.
• Личный кабинет пользователя (Profile).
• Страницы сравнения товаров и «Избранное».

Решение: Удалить их невозможно технически, но в индексе поисковика им делать нечего. Смело закрывайте их от индексации.

4. Посадочные страницы для платной рекламы (PPC)

Часто маркетологи создают отдельные лендинги под контекстную или таргетированную рекламу. Такие страницы могут содержать агрессивные призывы к действию, специфические акции, а их контент часто дублирует основную версию сайта или сильно урезан.

• Почему нельзя удалить: Они нужны для конверсии рекламного трафика.
• Решение: Чтобы такие лендинги не конкурировали в органической выдаче с вашими основными SEO-страницами и не признавались дублями, их снабжают тегом noindex.

5. Версии для печати и PDF-копии

Если на вашем сайте есть функция «Версия для печати» (генерирующая отдельный URL) или к каждой статье прикреплен ее PDF-вариант для скачивания, поисковик увидит два абсолютно одинаковых текста по разным адресам.

• Решение: Оставьте функцию для удобства пользователей, но закройте печатные версии от индексации. Для PDF-файлов можно использовать HTTP-заголовок X-Robots-Tag: noindex.

6. Страницы с UTM-метками и идентификаторами сессий

Ссылки вида ?utm_source=vk... или ?session_id=12345 создают полные дубли страниц.

• Решение: Удалять их нельзя — сломается аналитика. В идеале здесь должен работать атрибут rel="canonical", указывающий на основную страницу, но для экономии краулингового бюджета часто применяют директиву Clean-param в Яндекс Вебмастере или закрывают параметры в robots.txt.

Как правильно закрывать страницы?

• Meta Robots noindex: Лучший способ навсегда убрать страницу из результатов поиска. Код <meta name="robots" content="noindex, follow"> в </head> говорит боту: «Не добавляй страницу в индекс, но можешь переходить по ссылкам на ней».
• Robots.txt (Disallow): Запрещает боту сканировать страницу, экономя бюджет. Однако, если на страницу ведет много внешних ссылок, она все равно может попасть в Гугл без сниппета.
• Атрибут rel="canonical": Используется, если страница является «неприоритетным дублем» (например, 2, 3 и последующие страницы пагинации).

Итог

Удаление (статус 404) подходит только для того контента, который потерял актуальность, не имеет трафика, обратных ссылок и больше не нужен ни роботу, ни человеку. Во всех остальных случаях, когда страница выполняет функциональную роль для живого пользователя, но является техническим мусором для SEO, ваш лучший друг — запрет на индексацию.