Почему Google индексирует закрытые веб-страницы

Джон Мюллер из Google объяснил, почему Google индексирует блокированные страницы, и почему отчеты Search Console, связанные с этим, можно безопасно пропускать.

Джон Мюллер из Google разъяснил на вопрос о том, почему Google индексирует страницы, которые запрещены для выполнения обхода с помощью файла robots.txt, и почему можно игнорировать соответствующие отчеты Search Console об этих обходах.

Трафик ботов к URL-адресам с параметрами запроса

Человек, задающий вопрос, записал, что боты создают ссылки на несуществующие URL-адреса с параметрами запросов (?q=xyz) на страницы с мета-тегами noindex, которые также ограничены в robots.txt. Вопрос был вызван тем, что Google обходит эти ссылки на страницы, блокируется в robots.txt (не видя мета-тег noindex), а затем указывает об этом в Google Search Console как "Индексируется, хотя заблокировано robots.txt."

Человек спросил следующий вопрос:

"Но вот главный вопрос: почему Google индексирует страницы, когда он не может ознакомиться с содержимое? В чем тут выгода?"

Джон Мюллер из Google подтвердил, что если они не могут просканировать страницу, они не могут увидеть мета-тег noindex. Он также упомянул оператор site:search, посоветовав не учитывать результаты, потому что "средние" пользователи не наблюдают их.

Он написал:

"Да, вы правы: если мы не можем проникнуть на страницу, мы не можем наблюдать noindex. Тем не менее, если мы не можем рикжаться страницы, для нас там мало что можно индексировать. Так что, хотя вы можете увидеть некоторые из этих страниц с помощью целевого запроса site:, средний пользователь их не наблюдает, поэтому я бы не беспокоился. Noindex также действует (без запрета в robots.txt), это просто означает, что URL-адреса будут просматриваться (и попадут в отчет Search Console как 'обойдены/не индексируются' — ни один из этих статусов не вызывает проблем для остальной части сайта). Важно, чтобы вы не делали их доступными для обхода и индексации."

Связанный: Google напоминает сайтам использовать файл robots.txt для блокировки URL-адресов действий.

Выводы:

1. Ответ Мюллера подтверждает пределы использования оператора Site:search для диагностических целей. Одной из причин является то, что он не ассоциирован с обычным поисковым индексом, это совсем отдельная особенность.

Джон Мюллер из Google заметил оператор site search в 2021 году:

"Короткий ответ заключается в том, что запрос site: не предназначен для полноты, а также для диагностических целей.

Запрос site: — это определенный вид поиска, который ограничивает результаты конкретным веб-сайтом. Это, по сути, просто слово "site", двоеточие и затем домен веб-сайта.

Этот запрос уменьшает результаты заданным веб-сайтом. Он не предназначен для того, чтобы быть исчерпывающей сборником всех страниц этого сайта."

Оператор site не отражает индекс поиска Google, что делает его ненадежным для выяснения того, какие страницы Google уже включил в индекс или нет. Как и другие операторы расширенного поиска Google, они ненадежны как инструменты для выяснения любых вопросов, связанных с тем, как Google ранжирует или индексирует контент.

2. Мета-тег noindex без применения robots.txt подходит для таких ситуаций, когда бот создает ссылки на виртуальные страницы, которые выявляются Googlebot.

Мета-тег noindex на страницах, которые не блокируются в robots.txt, разрешает Google просканировать страницу и распознать директиву noindex, гарантируя, что страница не появится в поисковом индексе, что желательно, если цель состоит в том, чтобы не допустить страницу в поисковый индекс Google.

3. URL-адреса с мета-тегом noindex породят в Search Console запись "обойдены/не индексируются", что не окажет негативного эффекта на остальную часть веб-сайта.

Эти записи в Search Console, в контексте страниц, которые намеренно заблокированы, лишь указывают на то, что Google просмотрел страницу, но не учел ее. По сути говоря, что это произошло, а не то, что (в этом данном контексте) есть что-то, что нужно скорректировать. Эта запись полезна для оповещения издателей о страницах, которые случайно заблокированы мета-тегом noindex или по какой-либо другой причине, не допускающей индексации страницы. Тогда это стоит расследовать.