Google добавил в список краулеров новый user-agent
Западные специалисты обратили внимание, что Google обновил документацию по поисковым роботам. В список краулеров был добавлен новый агент пользователя – Google Site Verifier User Agent. Он игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов и сервисов Google.
Представитель Google Джон Мюллер уточнил в Twitter, что этот user-agent не является чем-то новым и уже используется Google некоторое время, однако, информация о нем была добавлена в официальный список краулеров только сейчас.
Подробней о процессе верификации можно прочесть в справке Search Console.
Последний раз справочная документация по роботам Google обновлялась в марте текущего года, тогда изменения коснулись краулера Google Favicon.