wplessons.ru wordpress WPLessons

Как закрыть от индексации служебные страницы WordPress: поиск, корзина, архивы вложений и пагинация

Если в поиске появляются страницы внутреннего поиска, архивы вложений, служебные URL корзины или бесконечные страницы пагинации, это почти всегда лишний шум. Такие адреса редко нужны пользователю из поиска, а поисковым системам они только размывают структуру сайта и тратят краулинговый бюджет. В WordPress это решается не одним способом, а набором мер: где-то достаточно мета-тега, где-то лучше убрать URL из генерации, а где-то закрыть раздел на уровне robots.txt или логики шаблона.

Ниже разберём, что именно стоит закрывать, чем отличаются способы и как сделать это без лишнего риска для нормальных страниц сайта.

Какие служебные страницы WordPress обычно не должны индексироваться

Под служебными страницами здесь я имею в виду не весь «технический мусор», а конкретные типы URL, которые WordPress или тема создают автоматически:

  • страницы внутреннего поиска, например с параметром ?s=;
  • архивы вложений, если у медиафайлов есть отдельные страницы-обёртки;
  • страницы пагинации архивов и рубрик, если они не несут самостоятельной ценности;
  • корзина, оформление заказа и личный кабинет — если на сайте есть интернет-магазин или похожая логика;
  • служебные фильтры и параметры, которые плодят дубли одного и того же контента.

Не все из этих URL нужно закрывать одинаково. Например, архивы вложений часто лучше вообще отключить как отдельные страницы, а пагинацию — не закрывать грубо через robots.txt, если вы хотите, чтобы поисковик видел структуру разделов. Для каждого типа URL подход разный.

Сначала определите, что именно попало в индекс

Перед правками полезно понять, какой именно тип страниц индексируется. Это важно, потому что решение для поиска не всегда подходит для пагинации, а для архивов вложений — не то же самое, что для корзины.

Проверьте несколько вещей:

  • поиск по сайту в Google или Яндексе по оператору site:ваш-домен;
  • наличие страниц с параметром ?s=;
  • страницы вида /attachment/... или отдельные URL медиафайлов;
  • страницы /page/2/, /page/3/ и дальше;
  • служебные страницы магазина, если они есть.

Если URL уже в индексе, одного закрытия в robots.txt часто недостаточно: поисковик может продолжать хранить адрес в базе, пока не увидит запрет на индексацию или пока страница не выпадет естественным образом. Поэтому лучше сочетать несколько методов.

Поиск по сайту: что делать с URL вида ?s=

Страницы внутреннего поиска почти всегда не должны ранжироваться. У них нет уникального полезного контента, а выдача по запросу пользователя меняется динамически. Самый надёжный вариант — отдавать таким страницам мета-тег noindex, follow, а не просто закрывать их в robots.txt.

Почему так: если вы запретите обход в robots.txt, поисковик может не увидеть директиву noindex на самой странице. В результате URL может дольше оставаться в индексе. Для уже проиндексированных страниц поиска это неудобно.

Если тема или SEO-плагин умеет ставить noindex для страниц поиска, используйте именно этот механизм. В WordPress это часто делается через SEO-плагин или через код в теме. Если плагина нет, можно добавить условие в functions.php дочерней темы:

add_action('wp_head', function () {
    if (is_search()) {
        echo '<meta name="robots" content="noindex, follow" />' . "\n";
    }
});

Этот вариант рабочий, но у него есть важная оговорка: если у вас уже стоит SEO-плагин, не добавляйте второй источник мета-тегов без проверки. Два разных тега robots могут конфликтовать или дублироваться. Сначала посмотрите исходный код страницы поиска и убедитесь, что там нет уже готового noindex.

Архивы вложений: лучше отключить, чем просто закрыть

Архивы вложений — одна из самых частых причин мусора в индексе WordPress. Когда у каждого изображения или файла появляется собственная страница-обёртка, поисковик может индексировать эти страницы вместо полезного контента. Обычно они не нужны ни пользователю, ни поиску.

Если сайт не использует архивы вложений как отдельный контентный слой, их лучше отключить. В WordPress это можно сделать двумя путями:

  • через SEO-плагин, если он умеет перенаправлять страницы вложений на сам файл или родительскую запись;
  • через код, который делает редирект с attachment-страницы на родительский пост или на сам файл.

Для большинства сайтов удобнее именно редирект, а не просто noindex. Тогда пользователь и поисковик сразу попадают туда, где лежит полезный контент.

Пример логики для дочерней темы: если у вложения есть родительская запись, отправляем на неё; если нет — на сам файл или на главную. Код зависит от того, как у вас устроены медиафайлы и нужен ли вообще отдельный просмотр вложения, поэтому перед внедрением проверьте шаблон и сделайте резервную копию.

Если архивы вложений уже в индексе, после настройки редиректа они постепенно выпадут. Для ускорения можно отправить на переобход через панели вебмастеров, но это не обязательный шаг.

Пагинация: закрывать или оставлять — зависит от типа раздела

Со страницами пагинации нельзя обращаться так же грубо, как с поиском. Страницы /page/2/, /page/3/ и дальше часто нужны для обхода каталога, архива записей или рубрик. Если закрыть их бездумно, можно ухудшить обход сайта и усложнить доступ к старым материалам.

Что обычно делают на практике:

  • для обычных архивов и рубрик оставляют пагинацию доступной для обхода, но не делают её самостоятельной точкой входа из поиска;
  • для страниц, которые не несут ценности сами по себе, ставят noindex, follow;
  • если пагинация создаёт дубли из-за фильтров или сортировок, сначала убирают причину дубля, а не только закрывают URL.

Здесь важен баланс. Если вы закроете пагинацию в robots.txt, поисковик может хуже понимать структуру раздела. Если просто поставите noindex, страницы останутся доступны для обхода, но не будут ранжироваться. Для большинства обычных сайтов это более безопасный вариант.

В WordPress и SEO-плагинах часто можно настроить noindex для архивов, страниц автора, тегов и пагинации отдельно. Если такой настройки нет, можно использовать логику в шаблоне, но делать это стоит аккуратно: не все страницы пагинации одинаковы, и универсальный запрет может задеть полезные разделы.

Корзина и другие служебные страницы магазина

Если на сайте есть корзина, оформление заказа, личный кабинет или похожие служебные страницы, они тоже не должны индексироваться. У них нет поисковой ценности, а в выдаче они выглядят как мусорные URL.

Здесь обычно применяют сразу два уровня защиты:

  • мета-тег noindex, nofollow или noindex, follow для самих страниц;
  • исключение этих URL из sitemap, если карта сайта генерируется автоматически.

Если корзина и оформление заказа уже открываются по отдельным URL, проверьте, не попали ли они в индекс через внешние ссылки, карту сайта или внутренние переходы. Иногда проблема не в robots, а в том, что шаблон выводит эти страницы в меню, футере или хлебных крошках без ограничений.

Для таких URL лучше не полагаться только на robots.txt. Поисковик должен увидеть явный сигнал, что индексировать страницу не нужно.

robots.txt, meta robots и редирект: что выбрать в каждом случае

У этих способов разная задача, и путать их не стоит.

СпособКогда использоватьЧто важно помнить
robots.txtЧтобы ограничить обход служебных разделовНе всегда убирает уже проиндексированный URL из выдачи
meta robots noindexЧтобы запретить индексацию конкретной страницыСтраница должна быть доступна для обхода, иначе поисковик может не увидеть директиву
Редирект 301Когда страница не нужна как отдельный URLПодходит для архивов вложений и похожих дублей, но не для всех служебных страниц

На практике чаще всего работает комбинация: noindex для поиска и корзины, редирект для архивов вложений, аккуратная настройка пагинации без грубого запрета в robots.txt.

Как проверить, что всё сработало

После настройки не ограничивайтесь визуальной проверкой. Откройте исходный код нужной страницы и убедитесь, что там действительно есть нужная директива. Для поиска и корзины ищите строку вида <meta name="robots" content="noindex, follow" /> или аналогичную, которую выводит ваш SEO-плагин.

Дальше проверьте:

  • открывается ли URL в браузере;
  • не блокирует ли его robots.txt, если вы рассчитываете на noindex;
  • нет ли лишних ссылок на этот URL в меню, футере, хлебных крошках и карте сайта;
  • не создаёт ли тема отдельные архивы вложений или пагинацию нестандартным способом.

Если страница уже была в индексе, удаление может занять время. Это нормально. Главное — чтобы поисковик видел правильные сигналы при следующем обходе.

Что чаще всего ломают при закрытии служебных страниц

Самая типичная ошибка — закрыть всё через robots.txt и считать задачу решённой. Для новых URL этого иногда хватает, но для уже проиндексированных страниц — нет. Вторая ошибка — поставить noindex на страницу, которую одновременно запретили в robots.txt. В таком случае поисковик может не увидеть саму директиву.

Ещё одна частая проблема — закрыть пагинацию там, где она нужна для нормального обхода архива. В результате поисковик хуже видит глубину раздела, а старые материалы выпадают из обхода быстрее, чем нужно. Поэтому с пагинацией лучше действовать точечно, а не по принципу «запретить всё служебное».

Если нужен более удобный способ управлять дублями, мета-тегами и технической чисткой сайта без ручного кода, можно посмотреть в сторону Clearfy Pro: https://wpshop.ru/plugins/clearfy?utm_source=wplessons.ru&utm_medium=article&utm_campaign=zakryt-ot-indeksacii-sluzhebnye-stranicy-wordpress. Но даже с плагином полезно понимать логику: что закрывать, чем закрывать и почему именно так.

Для большинства сайтов рабочая схема выглядит просто: страницы поиска и корзины — через noindex, архивы вложений — через редирект или отключение, пагинация — по ситуации, без грубого запрета в robots.txt. Если придерживаться этой логики, служебные URL перестают засорять индекс и не мешают нормальным страницам сайта.

×

AI-плагин

WPGPT
Сам создает статьи для вашего сайта WordPress

SEO и мета-теги

Парсинг конкурентов

Изображения

Комментарии

Подробнее