Если в поиске появляются страницы внутреннего поиска, архивы вложений, служебные URL корзины или бесконечные страницы пагинации, это почти всегда лишний шум. Такие адреса редко нужны пользователю из поиска, а поисковым системам они только размывают структуру сайта и тратят краулинговый бюджет. В WordPress это решается не одним способом, а набором мер: где-то достаточно мета-тега, где-то лучше убрать URL из генерации, а где-то закрыть раздел на уровне robots.txt или логики шаблона.
Ниже разберём, что именно стоит закрывать, чем отличаются способы и как сделать это без лишнего риска для нормальных страниц сайта.
Какие служебные страницы WordPress обычно не должны индексироваться
Под служебными страницами здесь я имею в виду не весь «технический мусор», а конкретные типы URL, которые WordPress или тема создают автоматически:
- страницы внутреннего поиска, например с параметром
?s=; - архивы вложений, если у медиафайлов есть отдельные страницы-обёртки;
- страницы пагинации архивов и рубрик, если они не несут самостоятельной ценности;
- корзина, оформление заказа и личный кабинет — если на сайте есть интернет-магазин или похожая логика;
- служебные фильтры и параметры, которые плодят дубли одного и того же контента.
Не все из этих URL нужно закрывать одинаково. Например, архивы вложений часто лучше вообще отключить как отдельные страницы, а пагинацию — не закрывать грубо через robots.txt, если вы хотите, чтобы поисковик видел структуру разделов. Для каждого типа URL подход разный.
Сначала определите, что именно попало в индекс
Перед правками полезно понять, какой именно тип страниц индексируется. Это важно, потому что решение для поиска не всегда подходит для пагинации, а для архивов вложений — не то же самое, что для корзины.
Проверьте несколько вещей:
- поиск по сайту в Google или Яндексе по оператору
site:ваш-домен; - наличие страниц с параметром
?s=; - страницы вида
/attachment/...или отдельные URL медиафайлов; - страницы
/page/2/,/page/3/и дальше; - служебные страницы магазина, если они есть.
Если URL уже в индексе, одного закрытия в robots.txt часто недостаточно: поисковик может продолжать хранить адрес в базе, пока не увидит запрет на индексацию или пока страница не выпадет естественным образом. Поэтому лучше сочетать несколько методов.
Поиск по сайту: что делать с URL вида ?s=
Страницы внутреннего поиска почти всегда не должны ранжироваться. У них нет уникального полезного контента, а выдача по запросу пользователя меняется динамически. Самый надёжный вариант — отдавать таким страницам мета-тег noindex, follow, а не просто закрывать их в robots.txt.
Почему так: если вы запретите обход в robots.txt, поисковик может не увидеть директиву noindex на самой странице. В результате URL может дольше оставаться в индексе. Для уже проиндексированных страниц поиска это неудобно.
Если тема или SEO-плагин умеет ставить noindex для страниц поиска, используйте именно этот механизм. В WordPress это часто делается через SEO-плагин или через код в теме. Если плагина нет, можно добавить условие в functions.php дочерней темы:
add_action('wp_head', function () {
if (is_search()) {
echo '<meta name="robots" content="noindex, follow" />' . "\n";
}
});Этот вариант рабочий, но у него есть важная оговорка: если у вас уже стоит SEO-плагин, не добавляйте второй источник мета-тегов без проверки. Два разных тега robots могут конфликтовать или дублироваться. Сначала посмотрите исходный код страницы поиска и убедитесь, что там нет уже готового noindex.
Архивы вложений: лучше отключить, чем просто закрыть
Архивы вложений — одна из самых частых причин мусора в индексе WordPress. Когда у каждого изображения или файла появляется собственная страница-обёртка, поисковик может индексировать эти страницы вместо полезного контента. Обычно они не нужны ни пользователю, ни поиску.
Если сайт не использует архивы вложений как отдельный контентный слой, их лучше отключить. В WordPress это можно сделать двумя путями:
- через SEO-плагин, если он умеет перенаправлять страницы вложений на сам файл или родительскую запись;
- через код, который делает редирект с attachment-страницы на родительский пост или на сам файл.
Для большинства сайтов удобнее именно редирект, а не просто noindex. Тогда пользователь и поисковик сразу попадают туда, где лежит полезный контент.
Пример логики для дочерней темы: если у вложения есть родительская запись, отправляем на неё; если нет — на сам файл или на главную. Код зависит от того, как у вас устроены медиафайлы и нужен ли вообще отдельный просмотр вложения, поэтому перед внедрением проверьте шаблон и сделайте резервную копию.
Если архивы вложений уже в индексе, после настройки редиректа они постепенно выпадут. Для ускорения можно отправить на переобход через панели вебмастеров, но это не обязательный шаг.
Пагинация: закрывать или оставлять — зависит от типа раздела
Со страницами пагинации нельзя обращаться так же грубо, как с поиском. Страницы /page/2/, /page/3/ и дальше часто нужны для обхода каталога, архива записей или рубрик. Если закрыть их бездумно, можно ухудшить обход сайта и усложнить доступ к старым материалам.
Что обычно делают на практике:
- для обычных архивов и рубрик оставляют пагинацию доступной для обхода, но не делают её самостоятельной точкой входа из поиска;
- для страниц, которые не несут ценности сами по себе, ставят
noindex, follow; - если пагинация создаёт дубли из-за фильтров или сортировок, сначала убирают причину дубля, а не только закрывают URL.
Здесь важен баланс. Если вы закроете пагинацию в robots.txt, поисковик может хуже понимать структуру раздела. Если просто поставите noindex, страницы останутся доступны для обхода, но не будут ранжироваться. Для большинства обычных сайтов это более безопасный вариант.
В WordPress и SEO-плагинах часто можно настроить noindex для архивов, страниц автора, тегов и пагинации отдельно. Если такой настройки нет, можно использовать логику в шаблоне, но делать это стоит аккуратно: не все страницы пагинации одинаковы, и универсальный запрет может задеть полезные разделы.
Корзина и другие служебные страницы магазина
Если на сайте есть корзина, оформление заказа, личный кабинет или похожие служебные страницы, они тоже не должны индексироваться. У них нет поисковой ценности, а в выдаче они выглядят как мусорные URL.
Здесь обычно применяют сразу два уровня защиты:
- мета-тег
noindex, nofollowилиnoindex, followдля самих страниц; - исключение этих URL из sitemap, если карта сайта генерируется автоматически.
Если корзина и оформление заказа уже открываются по отдельным URL, проверьте, не попали ли они в индекс через внешние ссылки, карту сайта или внутренние переходы. Иногда проблема не в robots, а в том, что шаблон выводит эти страницы в меню, футере или хлебных крошках без ограничений.
Для таких URL лучше не полагаться только на robots.txt. Поисковик должен увидеть явный сигнал, что индексировать страницу не нужно.
robots.txt, meta robots и редирект: что выбрать в каждом случае
У этих способов разная задача, и путать их не стоит.
| Способ | Когда использовать | Что важно помнить |
|---|---|---|
| robots.txt | Чтобы ограничить обход служебных разделов | Не всегда убирает уже проиндексированный URL из выдачи |
| meta robots noindex | Чтобы запретить индексацию конкретной страницы | Страница должна быть доступна для обхода, иначе поисковик может не увидеть директиву |
| Редирект 301 | Когда страница не нужна как отдельный URL | Подходит для архивов вложений и похожих дублей, но не для всех служебных страниц |
На практике чаще всего работает комбинация: noindex для поиска и корзины, редирект для архивов вложений, аккуратная настройка пагинации без грубого запрета в robots.txt.
Как проверить, что всё сработало
После настройки не ограничивайтесь визуальной проверкой. Откройте исходный код нужной страницы и убедитесь, что там действительно есть нужная директива. Для поиска и корзины ищите строку вида <meta name="robots" content="noindex, follow" /> или аналогичную, которую выводит ваш SEO-плагин.
Дальше проверьте:
- открывается ли URL в браузере;
- не блокирует ли его robots.txt, если вы рассчитываете на
noindex; - нет ли лишних ссылок на этот URL в меню, футере, хлебных крошках и карте сайта;
- не создаёт ли тема отдельные архивы вложений или пагинацию нестандартным способом.
Если страница уже была в индексе, удаление может занять время. Это нормально. Главное — чтобы поисковик видел правильные сигналы при следующем обходе.
Что чаще всего ломают при закрытии служебных страниц
Самая типичная ошибка — закрыть всё через robots.txt и считать задачу решённой. Для новых URL этого иногда хватает, но для уже проиндексированных страниц — нет. Вторая ошибка — поставить noindex на страницу, которую одновременно запретили в robots.txt. В таком случае поисковик может не увидеть саму директиву.
Ещё одна частая проблема — закрыть пагинацию там, где она нужна для нормального обхода архива. В результате поисковик хуже видит глубину раздела, а старые материалы выпадают из обхода быстрее, чем нужно. Поэтому с пагинацией лучше действовать точечно, а не по принципу «запретить всё служебное».
Если нужен более удобный способ управлять дублями, мета-тегами и технической чисткой сайта без ручного кода, можно посмотреть в сторону Clearfy Pro: https://wpshop.ru/plugins/clearfy?utm_source=wplessons.ru&utm_medium=article&utm_campaign=zakryt-ot-indeksacii-sluzhebnye-stranicy-wordpress. Но даже с плагином полезно понимать логику: что закрывать, чем закрывать и почему именно так.
Для большинства сайтов рабочая схема выглядит просто: страницы поиска и корзины — через noindex, архивы вложений — через редирект или отключение, пагинация — по ситуации, без грубого запрета в robots.txt. Если придерживаться этой логики, служебные URL перестают засорять индекс и не мешают нормальным страницам сайта.