Блогер посчитал ИИ-ботов на сайте: почти все оказались сканерами
Блогер 10 ноября переделал разметку автора, переписал страницу «об авторе» и выложил файл llms.txt, а через два дня проверил по журналу nginx, кто из ИИ-ботов прочитал изменения. Почти все запросы с подписями ИИ-краулеров пришли с одного сканера, который ищет файлы.env.
До правок главная страница и блог описывали автора разными наборами ссылок: в разметке ProfessionalService на главной в sameAs была одна ссылка на личку в Telegram, а аккаунты на Хабре, TenChat и видеоплощадке в разметку не попали. В name стояло просто «Эмиль», хотя автора ищут как «Эмиль Изи».
Теперь у founder на главной и у author в каждой статье блога общий идентификатор, а в alternateName записаны оба написания имени. Список площадок ведётся в TypeScript и продублирован в Python с комментарием о второй копии; в него намеренно не включён чужой аккаунт, ник которого отличается только подчёркиванием.
Страница автора теперь отвечает на вопрос «кто это»: заголовок «Эмиль Изи (Emil Easy): кто это и чем занимается», подзаголовок «Кто такой Эмиль Изи», в первом абзаце сказано, что это бренд, где сайт и где канал. Все данные из JSON-LD продублированы видимым текстом на странице.
Файл llms.txt меньше двух килобайт и на сборку не влияет. После выкладки блогер отправил главную, страницу автора и llms.txt в IndexNow: через минуту страницу автора забрал YandexBot, через 47 минут за llms.txt пришёл AhrefsBot, а за двое суток ни один ИИ-бот файл не запросил.
При подсчёте по User-Agent выходило, что ИИ-краулеров впятеро больше, чем Яндекса, но у разных компаний цифры оказались почти одинаковыми — от 1290 до 1400. С одного адреса в Google Cloud за 1 и 2 ноября пришло 36 066 запросов под 34 разными User-Agent; после сверки адресов с опубликованными сетями OpenAI у GPTBot из 1640 запросов настоящими оказались 333, у OAI-SearchBot — 90 из 1489.
Настоящий ClaudeBot по подсетевому критерию дал 484 запроса из 1825, остальные 1340 пришли из облака. Из ИИ-поисковиков на страницу автора дошёл только Exa и то 6 ноября, до правок; GPTBot и ClaudeBot её пока не запрашивали, и прочитали ли они новую разметку, по двум дням журнала не понять.