Правильный robots.txt для WordPress

Зачем нужен robots.txt на сайте WordPress? robots.txt — это текстовый файл в корне сайта, который говорит поисковым роботам (Googlebot, YandexBot и др.), какие страницы можно сканировать, а какие — нет. Для WordPress это особенно важно: CMS по умолчанию создаёт много служебных страниц и дублей, которые лучше не индексировать.

Что реально даёт грамотный robots.txt:

• Контроль дублей. Страницы поиска, фильтры, трекинг-параметры и архивы авторов часто создают одинаковый контент в разных URL — их лучше закрыть.
• Экономия краулингового бюджета. Робот тратит ограниченное число запросов на сайт. Если он сканирует мусор (админку, кэш, формы), на полезные страницы остаётся меньше.
• Ускорение индексации важного. Указание Sitemap помогает быстрее находить и индексировать статьи, товары и категории.
• Защита от лишней нагрузки. Блокировка технических страниц снижает количество запросов к серверу.

Важно: robots.txt не защищает приватные данные и не скрывает страницы от поиска. Это не инструмент безопасности. Если страница не должна быть в выдаче — используйте noindex или авторизацию.

Базовый robots.txt для WordPress

Этот вариант подойдёт большинству сайтов на WordPress. Замените https://example.com/sitemap.xml на реальный адрес вашей карты сайта.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /search/
Disallow: /*?*
Disallow: /*?s=*
Allow: /wp-content/uploads/
Allow: /*.js$
Allow: /*.css$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.png$
Allow: /*.webp$
Allow: /*.svg$
Sitemap: https://example.com/sitemap.xml

Что делает каждая часть:

• User-agent: * — правило для всех роботов.
• Закрываем админку и системные папки (/wp-admin/, /wp-includes/), чтобы не было дублей и лишнего сканирования.
• Блокируем страницы входа и регистрации — они не нужны в поиске.
• Disallow: /trackback/ — убираем трекинг-страницы, которые часто дублируют контент.
• Disallow: /search/ — страница результатов поиска внутри сайта почти всегда создаёт дубли.
• Disallow: /*?* и Disallow: /*?s=* — запрещаем все URL с параметрами и поиск по сайту, чтобы избежать дублей.
• Разрешаем медиа, JS и CSS — поисковики должны видеть ресурсы для корректного рендеринга.
• Sitemap — указываем путь к карте сайта, чтобы робот быстрее находил важные страницы.

Продвинутый вариант: если у вас блог или интернет‑магазин

Для проектов с большим количеством фильтров, тегов и архивов можно дополнительно закрыть лишние разделы.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /search/
Disallow: /author/
Disallow: /tag/
Disallow: /category/
Disallow: /*?*
Disallow: /*?s=*
Disallow: /*?filter=*
Disallow: /*?sort=*
Allow: /wp-content/uploads/
Allow: /*.js$
Allow: /*.css$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.png$
Allow: /*.webp$
Allow: /*.svg$
Sitemap: https://example.com/sitemap.xml

Когда это уместно:

• Блог: закрываем /author/ и /tag/ — архивы авторов и теги часто дублируют статьи.
• Магазин: закрываем фильтры и сортировки (/*?filter=*, /*?sort=*), чтобы робот не сканировал сотни почти одинаковых страниц товаров.

Как создать и разместить robots.txt в WordPress

Есть три рабочих способа:

1. Вручную через FTP/файловый менеджер. Создайте файл robots.txt в корне сайта (public_html или www) и вставьте туда код. Сохраняйте в UTF‑8 без BOM.
2. Через плагин. Популярные варианты: Yoast SEO, All in One SEO, Rank Math. В них есть встроенный редактор robots.txt.
3. Виртуальный robots.txt через плагин. Некоторые плагины генерируют файл «на лету». Если у вас уже есть физический robots.txt, он имеет приоритет.

Где проверить результат: откройте в браузере https://ваш-сайт.ru/robots.txt. Вы должны увидеть содержимое файла.

Частые ошибки и нюансы

• Дублирование правил. Не добавляйте одни и те же Disallow несколько раз — это не усилит запрет, но усложнит чтение файла.
• Слишком жёсткие запреты. Не блокируйте весь сайт (Disallow: /) случайно — тогда ничего не будет индексироваться.
• Конфликт физического и виртуального файла. Если у вас есть файл на сервере и плагин тоже генерирует robots.txt, используйте только один источник правил.
• Неправильный путь к Sitemap. Убедитесь, что ссылка ведёт на существующий файл карты сайта.
• Отсутствие Allow для медиа и скриптов. Если закрыть /wp-content/ целиком, поисковики могут хуже рендерить страницы.

Как проверить, что robots.txt настроен правильно

1. Яндекс.Вебмастер — раздел «Анализ robots.txt» помогает проверить правила для Яндекса.
2. Google Search Console — инструмент «Проверка robots.txt». Показывает, какие URL разрешены/запрещены для Googlebot.
3. Онлайн‑валидаторы. Можно использовать сторонние сервисы для быстрой проверки синтаксиса.

Важные нюансы для WordPress

• Плагины кэширования и CDN. Иногда они создают свои папки (например, /cache/ или /cdn/). Если такие директории есть на вашем сайте, добавьте их в Disallow.
• Мультисайт. На WordPress Multisite структура отличается: у каждого сайта может быть свой robots.txt или общие правила.
• Тематические исключения. Если вы специально хотите индексировать архивы тегов или авторов (например, для тематического трафика), не добавляйте соответствующие Disallow.

Если не разобрались — напишите через форму на сайте, поможем.

источники: 1,2,3