Google добавил в список краулеров новый user-agent

0 31

Западные специалисты обратили внимание, что Google обновил документацию по поисковым роботам. В список краулеров был добавлен новый агент пользователя – Google Site Verifier User Agent. Он игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов и сервисов Google.


            Google добавил в список краулеров новый user-agent

Представитель Google Джон Мюллер уточнил в Twitter, что этот user-agent не является чем-то новым и уже используется Google некоторое время, однако, информация о нем была добавлена в официальный список краулеров только сейчас.

Подробней о процессе верификации можно прочесть в справке Search Console.

Последний раз справочная документация по роботам Google обновлялась в марте текущего года, тогда изменения коснулись краулера Google Favicon.

Источник

Оставьте ответ

Ваш электронный адрес не будет опубликован.