В папке WordPress можно создать текстовый файл robots.txt , который предоставляет поисковым системам, таким как инструкции Google, какие заказы или файлы должны быть найдены роботом Googlebot и включены в индекс. Все основные поисковые системы придерживаются его. Однако robots.txt, в отличие от .htaccess, не может запретить доступ.
Эксперты не согласны с тем, насколько важен или полезен файл robots.txt. Так как при правильной настройке он не причиняет вреда, всегда можно рекомендовать создание этого файла. Кодекс WordPress показывает пример оптимизированный WordPress robots.txt которая является хорошей отправной точкой.
Карта сайта: http://www.example.com/sitemap.xml
Пользователь-агент: изображение Googlebot
Disallow: Разрешить: / *
Пользователь-агент: Mediapartners-Google
Disallow: Разрешить: / *
Пользователь-агент: duggmirror
Disallow: /
Пользователь-агент: *
Disallow: / cgi-bin / Disallow: / wp-admin / Disallow: / wp-includes / Disallow: / wp-content / plugins / Disallow: / wp-content / cache / Disallow: / wp-content / themes / Disallow: / trackback / Disallow: / feed / Disallow: / комментарии / Disallow: / category / Disallow: / tag / Disallow: * / trackback / Disallow: * / feed /
Disallow: * / comments / Disallow: / *? Разрешить: / wp-content / uploads /
Первая строка указывает на карту сайта. Это не является абсолютно необходимым, но считается хорошей практикой. Пользовательский агент разрешает или запрещает доступ к определенным ботам. В этом случае поиск картинок Google и Adwords разрешены, duggmirror будет заблокировано. Глобальные определения применяются ко всем поисковым системам. Это исключает ядро WordPress, плагины и темы, комментарии, архивы и каналы. Это позволяет избежать дублирования контента. Конечно, эти правила должны быть скорректированы в соответствии с вашими собственными таксономиями.
С помощью плагина, такого как WordPress SEO от Yoast, правила также можно создавать в бэкэнде. Затем они включены как Metainfos на соответствующих страницах. Это выглядит так:
<meta name = "robots" content = "noindex, follow" />
Это позволит скрыть ненужные архивные страницы и предоставить дублированный контент. Если вы единственный автор, ведущий блог, вам не нужен архив авторов. Этот архив даст тот же результат, что и страница блога. Это относится аналогично к архивам Дата, Категория и Ключевое слово.
