wplessons.ru wordpress WPLessons

Как настроить robots.txt в WordPress: готовые правила и типичные ошибки

Если в WordPress нужно ограничить обход сайта поисковыми роботами, robots.txt — это первый файл, с которого обычно начинают. Но он не управляет индексацией напрямую: он подсказывает роботам, куда не ходить, а не гарантирует исчезновение страниц из поиска. Поэтому здесь легко ошибиться: закрыть не то, оставить мусорные разделы открытыми или написать правила так, что они просто не сработают.

Ниже — рабочий подход: где в WordPress находится robots.txt, какие правила обычно нужны, как их безопасно проверить и какие ошибки встречаются чаще всего.

Что делает robots.txt в WordPress и чего от него не стоит ждать

Файл robots.txt лежит в корне сайта и читается роботами до обхода страниц. Его задача — ограничить сканирование отдельных путей: служебных разделов, технических файлов, дублей и всего, что не нужно отдавать в обход. Для WordPress это особенно полезно, потому что у сайта часто есть системные URL, которые не должны тратить краулинговый бюджет.

При этом robots.txt не является инструментом «удаления из поиска». Если страница уже известна поисковику и на неё ведут ссылки, одно только правило Disallow не гарантирует, что она исчезнет из выдачи. Для этого нужны другие механизмы: мета-тег noindex, заголовки ответа или корректная настройка самого контента. Поэтому robots.txt используют именно для ограничения обхода, а не как универсальную кнопку «скрыть всё».

Где редактировать robots.txt в WordPress

В WordPress есть два сценария. Первый — на сервере уже существует физический файл robots.txt в корне сайта. Тогда поисковики читают именно его, и редактировать нужно этот файл через FTP, файловый менеджер хостинга или панель управления.

Второй — физического файла нет. Тогда WordPress может отдавать виртуальный robots.txt по адресу /robots.txt. Это удобно для небольших правок, но на практике лучше контролировать файл явно, особенно если сайт уже работает и вы хотите исключить путаницу между настройками темы, плагинов и сервера.

Если у вас есть доступ к корню сайта, безопаснее всего создать или отредактировать именно физический файл robots.txt. После этого проверьте, что по адресу https://ваш-домен/robots.txt открывается именно ваш текст, а не старый шаблон или пустая страница.

Базовый набор правил для WordPress

Для большинства сайтов WordPress достаточно короткого и понятного файла. Он не должен быть перегружен десятками строк без необходимости. Ниже — базовый вариант, который обычно подходит для обычного сайта, блога или корпоративного проекта.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-json/
Sitemap: https://example.com/sitemap.xml

Что здесь важно:

  • User-agent: * — правило для всех роботов.
  • /wp-admin/ обычно закрывают, потому что это служебная часть сайта.
  • admin-ajax.php часто оставляют доступным, иначе могут сломаться фронтенд-скрипты, формы и отдельные функции темы или плагинов.
  • /wp-includes/ и служебные каталоги плагинов обычно не нужны в обходе.
  • /wp-content/cache/ имеет смысл закрывать, если кэш создаёт технические копии страниц.
  • Sitemap помогает роботам быстрее найти карту сайта, если она у вас есть.

Обратите внимание: не все сайты используют одинаковую структуру кэша и плагинов. Если у вас нет каталога /wp-content/cache/, строка не навредит, но и пользы от неё не будет. Если карта сайта лежит по другому адресу, укажите именно его.

Какие правила добавлять осторожно

Самая частая ошибка — закрывать слишком много. В WordPress это особенно опасно, потому что некоторые пути выглядят «техническими», но реально участвуют в работе сайта.

С осторожностью относитесь к таким правилам:

  • Disallow: /wp-content/ — слишком грубо. Внутри этого каталога лежат изображения, загруженные файлы и другие ресурсы, которые могут быть нужны поисковикам для корректного понимания страницы.
  • Disallow: / — полностью закрывает сайт от обхода. Это почти всегда ошибка, если вы не работаете на тестовой копии.
  • Закрытие конкретных файлов CSS и JS без понимания последствий — поисковики могут хуже рендерить страницу и оценивать её содержимое.
  • Слепое копирование чужого robots.txt с чужого сайта — структура WordPress, плагины и адреса у всех разные.

Если цель — убрать из обхода только технические разделы, не трогайте публичные страницы, изображения и ресурсы, которые нужны для отображения сайта. Robots.txt должен быть точечным, а не «на всякий случай всё запретить».

Как закрыть от обхода только лишнее, а не весь сайт

На практике обычно нужно не «закрыть WordPress», а убрать из обхода отдельные служебные URL. Например, если на сайте есть внутренние страницы поиска, параметры сортировки, тестовые каталоги или служебные разделы плагинов, их можно ограничить точечно.

Пример более узкого правила:

User-agent: *
Disallow: /search/
Disallow: /?s=
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

Но здесь важно понимать логику. Robots.txt работает по путям, а не по содержимому страницы. Если у вас поиск реализован через параметры URL, одно правило может не покрыть все варианты. Тогда нужно смотреть, какие именно адреса генерирует сайт, и уже под них писать ограничения.

Если сомневаетесь, лучше закрыть только очевидно лишнее и оставить публичные разделы доступными для обхода. Это безопаснее, чем потом искать причину падения видимости в поиске.

Как проверить, что robots.txt работает правильно

После изменения файла не ограничивайтесь открытием его в браузере. Проверьте три вещи: файл доступен по адресу /robots.txt, в нём нет синтаксических ошибок и он не закрывает важные разделы.

Минимальная проверка выглядит так:

  1. Откройте https://ваш-домен/robots.txt и убедитесь, что видите актуальный текст.
  2. Проверьте, что в файле нет лишних пробелов в начале строк и опечаток в директивах.
  3. Убедитесь, что карта сайта указана правильным URL.
  4. Откройте несколько важных страниц сайта и проверьте, что они не попали под случайное правило Disallow.

Если у вас есть доступ к инструментам для вебмастеров поисковой системы, там обычно можно проверить, как робот видит файл и не блокируется ли нужный URL. Это особенно полезно после правок на живом сайте.

Типичные ошибки, которые ломают обход сайта

У robots.txt ошибки часто не выглядят критичными на первый взгляд, но последствия потом приходится разбирать вручную. Вот что встречается чаще всего.

  • Файл лежит не в корне сайта, а в папке темы или плагина. Роботы его не используют.
  • Есть два robots.txt: физический файл на сервере и виртуальный вывод WordPress. В итоге администратор редактирует один, а поисковики читают другой.
  • Закрыт каталог /wp-content/, и поисковики хуже видят изображения и ресурсы страницы.
  • Закрыт /wp-admin/admin-ajax.php, из-за чего ломаются отдельные функции на фронтенде.
  • В файл добавили правила для удаления страниц из индекса, хотя robots.txt для этого не предназначен.
  • В Sitemap указан неверный адрес, и робот не находит карту сайта.

Если после правок сайт начал вести себя странно в поиске, сначала проверьте именно robots.txt. Часто проблема не в «санкциях» поисковика, а в слишком агрессивном правиле, которое случайно перекрыло нужный раздел.

Когда лучше не усложнять файл

Если сайт небольшой и у вас нет технических дублей, robots.txt может быть очень коротким. Это нормальная ситуация. Не нужно добавлять туда десятки строк только потому, что так сделал кто-то в шаблоне из интернета.

Хороший robots.txt — это не длинный, а понятный файл. В нём должны быть только те ограничения, которые реально нужны вашему сайту. Чем меньше лишних правил, тем проще потом искать ошибку, если что-то пойдёт не так.

Если вы ведёте WordPress-сайт и хотите убрать из индекса служебные дубли, а не просто закрыть обход, иногда удобнее дополнительно почистить технические настройки сайта. В таких задачах помогает, например, Clearfy Pro от WPShop: https://wpshop.ru/plugins/clearfy. Но сам robots.txt он не заменяет — файл всё равно нужно настраивать отдельно.

Если коротко: в WordPress robots.txt нужен для точечного ограничения обхода, а не для грубого запрета всего подряд. Начните с базовых правил, проверьте, что не закрыли важные разделы, и только потом добавляйте точечные исключения под свой сайт.

×

AI-плагин

WPGPT
Сам создает статьи для вашего сайта WordPress

SEO и мета-теги

Парсинг конкурентов

Изображения

Комментарии

Подробнее