Правильный robots.txt для WordPress
Зачем нужен robots.txt на сайте WordPress? robots.txt — это текстовый файл в корне сайта, который говорит поисковым роботам (Googlebot, YandexBot и др.), какие страницы можно сканировать, а какие — нет. Для WordPress это особенно важно: CMS по умолчанию создаёт много…