На небольших и средних сайтах WordPress страницы автора и архивы часто превращаются в источник дублей: один и тот же материал доступен через запись, рубрику, метки, архив автора и архив даты. Если сайт не строится вокруг нескольких авторов или новостной ленты, такие страницы обычно не несут самостоятельной ценности для поиска. Проблема не в самом наличии архивов, а в том, что поисковик тратит краулинговый бюджет и может выбирать не ту страницу как каноническую.
Ниже разберём, как понять, что именно мешает индексации, какие варианты закрытия работают в WordPress, и как проверить результат без гадания по логам.
Когда страницы автора и архивы действительно мешают
Сначала стоит отделить нормальный сценарий от проблемного. Если у вас блог с несколькими авторами, у каждого есть уникальная биография, подборки материалов и трафик на архивы — закрывать всё подряд не нужно. Но если архивы автора показывают только список записей без дополнительной ценности, а архивы дат пустуют или дублируют ленту, их лучше убрать из индексации.
Признаки, что проблема уже есть
- в Google Search Console появляются страницы вида
/author/username/,/2024/05/,/tag/...с показами, но без кликов; - в выдаче видны дубли заголовков и сниппетов из архивов;
- в отчёте по страницам растёт число URL со статусом «Просканировано — сейчас не индексируется» или «Дубликат, выбранная пользователем каноническая страница не была выбрана»;
- на сайте много тонких архивов, где на странице 1–2 записи и больше ничего полезного.
Что проверить до изменений
- использует ли тема отдельные шаблоны для архивов автора и даты;
- не завязаны ли на них внутренние ссылки из хлебных крошек, виджетов и блоков «Автор»;
- не закрыты ли уже эти страницы через SEO-плагин или
robots.txt; - есть ли у архивов уникальный контент: описание рубрики, блоки FAQ, подборки, фильтры.
Как закрыть архивы от индексации: рабочие варианты
В WordPress есть три практических подхода: через SEO-плагин, через код темы или плагина, и через шаблонную доработку с noindex. У каждого свой компромисс. Если нужен быстрый и безопасный путь, лучше использовать SEO-плагин. Если нужен точечный контроль без лишних настроек, можно сделать это кодом.
| Подход | Когда подходит | Плюсы | Минусы |
|---|---|---|---|
| SEO-плагин | Нужно быстро закрыть архивы без разработки | Меньше риска, удобно поддерживать | Зависимость от интерфейса плагина |
| Код в теме/плагине | Нужна точечная логика для конкретных архивов | Полный контроль, нет лишних настроек | Нужно тестировать после обновлений |
| robots.txt | Нужно ограничить обход, но не индексацию как таковую | Просто реализовать | Не решает задачу noindex для уже известных URL |
Вариант 1. Закрыть архивы через SEO-плагин
Если у вас уже стоит плагин для SEO, проверьте настройки архивов автора, даты и меток. В большинстве случаев там можно отключить индексацию архивов или поставить noindex для конкретных типов страниц. Это самый предсказуемый вариант, потому что плагин обычно сам добавляет корректный meta robots и canonical.
Если вы используете Clearfy Pro, у него есть инструменты для удаления дублей и чистки сайта. Это полезно, когда нужно быстро убрать лишние архивы, служебные страницы и другие элементы, которые не должны попадать в поиск. Подход особенно удобен, если вы не хотите вручную править шаблоны. Ссылка на продукт: Clearfy Pro.
Вариант 2. Добавить noindex через код
Если нужен контроль без плагина, можно добавить noindex, follow для архивов автора и дат. Делать это лучше через дочернюю тему или небольшой mu-plugin, а не в файле основной темы, чтобы не потерять изменения при обновлении.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот вариант не запрещает обход, но говорит поисковику не индексировать страницу. Для большинства архивов это как раз то, что нужно: ссылки внутри страницы остаются доступными для перехода, а сам URL не должен попадать в выдачу.
Вариант 3. Закрыть только часть архивов
Иногда закрывать всё подряд — ошибка. Например, архивы рубрик могут быть полезны, а архивы дат — нет. Тогда логика должна быть точечной. Можно оставить рубрики открытыми, а автора и даты закрыть. Если на сайте есть отдельные страницы авторов с биографиями и подборками, их тоже можно оставить открытыми, но это уже зависит от структуры темы и контента.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_date() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Что делать с canonical и sitemap
Одна из типичных ошибок — закрыть страницу от индексации, но оставить её в sitemap или повесить на неё каноникал, который указывает сам на себя. Это не всегда ломает сайт, но создаёт лишний шум для поисковых систем.
Проверьте sitemap
Если архивы автора и даты попадают в XML-карту сайта, а вы не хотите их индексировать, лучше исключить их из sitemap на уровне SEO-плагина или генератора карты. Иначе поисковик продолжит регулярно их обходить, даже если там стоит noindex.
Проверьте canonical
Для архивов canonical обычно должен указывать на саму страницу, если она остаётся доступной для обхода. Но если архив пустой или дублирует другую страницу, иногда логичнее вообще убрать его из индексации и не пытаться «лечить» canonical-ом. Canonical не заменяет noindex и не решает проблему тонкого контента.
Пошаговая схема внедрения
- Определите, какие архивы реально не нужны в поиске: автор, дата, метки, служебные таксономии.
- Проверьте, не используются ли они как посадочные страницы внутри сайта.
- Выберите способ: SEO-плагин или код.
- Добавьте
noindex, followдля нужных архивов. - Исключите эти URL из sitemap, если ваш SEO-инструмент это поддерживает.
- Сохраните изменения и очистите кеш сайта и CDN.
- Переобойдите несколько URL через Search Console и проверьте HTML-ответ.
Как проверить, что решение сработало
Проверка нужна не только в браузере. Важно убедиться, что поисковик видит именно ту разметку, которую вы ожидаете.
- Откройте архив автора в браузере и посмотрите исходный код: должен быть meta robots или заголовок, который содержит
noindex. - Проверьте HTTP-ответ через
curl -I https://example.com/author/username/— если вы добавляли заголовокX-Robots-Tag, он должен быть виден в ответе. - В Search Console используйте проверку URL и убедитесь, что страница доступна для обхода, но не предназначена для индексации.
- Проверьте sitemap: закрытые архивы не должны там оставаться, если вы приняли решение их исключить.
- Посмотрите внутренние ссылки: если архивы больше не нужны, уберите на них лишние ссылки из виджетов и блоков автора.
curl -I https://example.com/author/username/Если вы используете заголовок X-Robots-Tag, его удобно проверять именно так. Если же настройка сделана через HTML meta robots, смотрите исходный код страницы.
Частые ошибки и как их исправить
Закрыли архив в robots.txt вместо noindex
Это частая путаница. Disallow в robots.txt ограничивает обход, но не гарантирует удаление URL из индекса, если он уже известен поисковику. Для удаления дублей нужен noindex или корректная каноникализация, а не только запрет сканирования.
Оставили архив в sitemap
Поисковик получает противоречивые сигналы: в карте сайта URL есть, но на странице стоит noindex. Это не критично, но лишает настройку чистоты. Лучше привести sitemap в соответствие с вашей политикой индексации.
Сломали архивы в теме
Иногда разработчики правят шаблон архива и случайно убирают пагинацию, заголовки или хлебные крошки. После этого страница становится ещё менее полезной, а проблема дублей не исчезает. Если меняете шаблон, проверьте, что архив по-прежнему отдаёт корректный HTML и не теряет навигацию.
Поставили noindex на всё подряд
Если закрыть рубрики, метки, автора и дату без анализа, можно потерять полезные посадочные страницы и внутреннюю перелинковку. Сначала смотрите на фактический трафик и роль страницы в структуре сайта, потом принимайте решение.
Практические советы по безопасности и производительности
Если вы вносите изменения кодом, не редактируйте основной файл темы на живом сайте. Используйте дочернюю тему или маленький mu-plugin: так настройка переживёт обновление и не исчезнет после деплоя. После изменений очистите кеш страницы, объектный кеш и CDN, если он есть.
Если у вас много архивов и служебных страниц, имеет смысл не только закрыть их от индексации, но и убрать лишние блоки из шаблонов: виджеты «Последние записи», дублирующиеся блоки автора, бесполезные ссылки в футере. Это уменьшает шум в структуре сайта и делает обход поисковиком более осмысленным.
Для сайтов, где проблема дублей сочетается с мусорной разметкой, иногда удобнее использовать готовый набор инструментов, чем собирать всё вручную. Но в любом случае проверяйте результат на реальном HTML, а не по галочкам в админке.
