Если в WordPress нужно ограничить обход сайта поисковыми роботами, robots.txt — это первый файл, с которого обычно начинают. Но он не управляет индексацией напрямую: он подсказывает роботам, куда не ходить, а не гарантирует исчезновение страниц из поиска. Поэтому здесь легко ошибиться: закрыть не то, оставить мусорные разделы открытыми или написать правила так, что они просто не сработают.
Ниже — рабочий подход: где в WordPress находится robots.txt, какие правила обычно нужны, как их безопасно проверить и какие ошибки встречаются чаще всего.
Что делает robots.txt в WordPress и чего от него не стоит ждать
Файл robots.txt лежит в корне сайта и читается роботами до обхода страниц. Его задача — ограничить сканирование отдельных путей: служебных разделов, технических файлов, дублей и всего, что не нужно отдавать в обход. Для WordPress это особенно полезно, потому что у сайта часто есть системные URL, которые не должны тратить краулинговый бюджет.
При этом robots.txt не является инструментом «удаления из поиска». Если страница уже известна поисковику и на неё ведут ссылки, одно только правило Disallow не гарантирует, что она исчезнет из выдачи. Для этого нужны другие механизмы: мета-тег noindex, заголовки ответа или корректная настройка самого контента. Поэтому robots.txt используют именно для ограничения обхода, а не как универсальную кнопку «скрыть всё».
Где редактировать robots.txt в WordPress
В WordPress есть два сценария. Первый — на сервере уже существует физический файл robots.txt в корне сайта. Тогда поисковики читают именно его, и редактировать нужно этот файл через FTP, файловый менеджер хостинга или панель управления.
Второй — физического файла нет. Тогда WordPress может отдавать виртуальный robots.txt по адресу /robots.txt. Это удобно для небольших правок, но на практике лучше контролировать файл явно, особенно если сайт уже работает и вы хотите исключить путаницу между настройками темы, плагинов и сервера.
Если у вас есть доступ к корню сайта, безопаснее всего создать или отредактировать именно физический файл robots.txt. После этого проверьте, что по адресу https://ваш-домен/robots.txt открывается именно ваш текст, а не старый шаблон или пустая страница.
Базовый набор правил для WordPress
Для большинства сайтов WordPress достаточно короткого и понятного файла. Он не должен быть перегружен десятками строк без необходимости. Ниже — базовый вариант, который обычно подходит для обычного сайта, блога или корпоративного проекта.
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-json/ Sitemap: https://example.com/sitemap.xml
Что здесь важно:
User-agent: *— правило для всех роботов./wp-admin/обычно закрывают, потому что это служебная часть сайта.admin-ajax.phpчасто оставляют доступным, иначе могут сломаться фронтенд-скрипты, формы и отдельные функции темы или плагинов./wp-includes/и служебные каталоги плагинов обычно не нужны в обходе./wp-content/cache/имеет смысл закрывать, если кэш создаёт технические копии страниц.Sitemapпомогает роботам быстрее найти карту сайта, если она у вас есть.
Обратите внимание: не все сайты используют одинаковую структуру кэша и плагинов. Если у вас нет каталога /wp-content/cache/, строка не навредит, но и пользы от неё не будет. Если карта сайта лежит по другому адресу, укажите именно его.
Какие правила добавлять осторожно
Самая частая ошибка — закрывать слишком много. В WordPress это особенно опасно, потому что некоторые пути выглядят «техническими», но реально участвуют в работе сайта.
С осторожностью относитесь к таким правилам:
Disallow: /wp-content/— слишком грубо. Внутри этого каталога лежат изображения, загруженные файлы и другие ресурсы, которые могут быть нужны поисковикам для корректного понимания страницы.Disallow: /— полностью закрывает сайт от обхода. Это почти всегда ошибка, если вы не работаете на тестовой копии.- Закрытие конкретных файлов CSS и JS без понимания последствий — поисковики могут хуже рендерить страницу и оценивать её содержимое.
- Слепое копирование чужого robots.txt с чужого сайта — структура WordPress, плагины и адреса у всех разные.
Если цель — убрать из обхода только технические разделы, не трогайте публичные страницы, изображения и ресурсы, которые нужны для отображения сайта. Robots.txt должен быть точечным, а не «на всякий случай всё запретить».
Как закрыть от обхода только лишнее, а не весь сайт
На практике обычно нужно не «закрыть WordPress», а убрать из обхода отдельные служебные URL. Например, если на сайте есть внутренние страницы поиска, параметры сортировки, тестовые каталоги или служебные разделы плагинов, их можно ограничить точечно.
Пример более узкого правила:
User-agent: * Disallow: /search/ Disallow: /?s= Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap.xml
Но здесь важно понимать логику. Robots.txt работает по путям, а не по содержимому страницы. Если у вас поиск реализован через параметры URL, одно правило может не покрыть все варианты. Тогда нужно смотреть, какие именно адреса генерирует сайт, и уже под них писать ограничения.
Если сомневаетесь, лучше закрыть только очевидно лишнее и оставить публичные разделы доступными для обхода. Это безопаснее, чем потом искать причину падения видимости в поиске.
Как проверить, что robots.txt работает правильно
После изменения файла не ограничивайтесь открытием его в браузере. Проверьте три вещи: файл доступен по адресу /robots.txt, в нём нет синтаксических ошибок и он не закрывает важные разделы.
Минимальная проверка выглядит так:
- Откройте
https://ваш-домен/robots.txtи убедитесь, что видите актуальный текст. - Проверьте, что в файле нет лишних пробелов в начале строк и опечаток в директивах.
- Убедитесь, что карта сайта указана правильным URL.
- Откройте несколько важных страниц сайта и проверьте, что они не попали под случайное правило
Disallow.
Если у вас есть доступ к инструментам для вебмастеров поисковой системы, там обычно можно проверить, как робот видит файл и не блокируется ли нужный URL. Это особенно полезно после правок на живом сайте.
Типичные ошибки, которые ломают обход сайта
У robots.txt ошибки часто не выглядят критичными на первый взгляд, но последствия потом приходится разбирать вручную. Вот что встречается чаще всего.
- Файл лежит не в корне сайта, а в папке темы или плагина. Роботы его не используют.
- Есть два robots.txt: физический файл на сервере и виртуальный вывод WordPress. В итоге администратор редактирует один, а поисковики читают другой.
- Закрыт каталог
/wp-content/, и поисковики хуже видят изображения и ресурсы страницы. - Закрыт
/wp-admin/admin-ajax.php, из-за чего ломаются отдельные функции на фронтенде. - В файл добавили правила для удаления страниц из индекса, хотя robots.txt для этого не предназначен.
- В
Sitemapуказан неверный адрес, и робот не находит карту сайта.
Если после правок сайт начал вести себя странно в поиске, сначала проверьте именно robots.txt. Часто проблема не в «санкциях» поисковика, а в слишком агрессивном правиле, которое случайно перекрыло нужный раздел.
Когда лучше не усложнять файл
Если сайт небольшой и у вас нет технических дублей, robots.txt может быть очень коротким. Это нормальная ситуация. Не нужно добавлять туда десятки строк только потому, что так сделал кто-то в шаблоне из интернета.
Хороший robots.txt — это не длинный, а понятный файл. В нём должны быть только те ограничения, которые реально нужны вашему сайту. Чем меньше лишних правил, тем проще потом искать ошибку, если что-то пойдёт не так.
Если вы ведёте WordPress-сайт и хотите убрать из индекса служебные дубли, а не просто закрыть обход, иногда удобнее дополнительно почистить технические настройки сайта. В таких задачах помогает, например, Clearfy Pro от WPShop: https://wpshop.ru/plugins/clearfy. Но сам robots.txt он не заменяет — файл всё равно нужно настраивать отдельно.
Если коротко: в WordPress robots.txt нужен для точечного ограничения обхода, а не для грубого запрета всего подряд. Начните с базовых правил, проверьте, что не закрыли важные разделы, и только потом добавляйте точечные исключения под свой сайт.