Живой реестр ИИ-краулеров: кто реально заходит
Это не очередная статичная таблица ботов, а живой реестр: сайт сам фиксирует визит, когда узнаёт ИИ-краулера по его User-Agent. Ниже — кто из ботов обучает модели, кто приходит за живым ответом с цитатой, кого стоит пускать, а кого можно закрыть, и когда каждый из них последний раз заходил сюда. Как настраивать доступ — в гайде AI-краулеры и robots.txt.
Главное
- Реестр строится по первичным данным этого сайта: визит фиксируется, когда сайт узнаёт ИИ-бота по User-Agent.
- Боты-сборщики (тип «обучение») качают контент для моделей и не приводят трафик — их можно закрывать.
- Боты живого поиска приходят по запросу пользователя и дают ссылку — закрыв их, сайт выпадет из ИИ-ответов.
- Google-Extended и Applebot-Extended — не краулеры, а токены в robots.txt, поэтому их визитов в таблице нет.
Оглавление
Зафиксировано 15 из 22 ботов реестра, новых за 30 дней: 1. Данные начинают накапливаться с момента установки счётчика и тем точнее, чем дольше живёт страница.
Кто заходил на сайт
| Бот | Вендор | Тип | Последний визит | Визитов | Рекомендация |
|---|---|---|---|---|---|
ClaudeBotNEWСбор данных для обучения Claude |
Anthropic | обучение | сегодня 2026-10-16 |
2 | Оценивать по нагрузке |
BytespiderАгрессивный сбор данных для моделей ByteDance |
ByteDance | обучение | сегодня 2026-10-16 |
214 | Часто блокируют по нагрузке |
BingbotКраулер Bing, питает Copilot |
Microsoft | живой поиск | сегодня 2026-10-15 |
451 | Не блокировать |
PerplexityBotИндексация для ответов Perplexity с цитированием |
Perplexity | живой поиск | сегодня 2026-10-15 |
144 | Разрешить |
OAI-SearchBotИндексация для поиска ChatGPT, даёт цитаты и ссылки |
OpenAI | живой поиск | сегодня 2026-10-15 |
29 | Разрешить |
ChatGPT-UserПодгрузка страницы, когда пользователь прислал ссылку в ChatGPT |
OpenAI | живой поиск | сегодня 2026-10-15 |
100 | Разрешить |
GooglebotОсновной краулер Google, питает в т.ч. AI Overviews |
живой поиск | сегодня 2026-10-15 |
271 | Не блокировать | |
Claude-UserПодгрузка страницы по запросу пользователя в Claude |
Anthropic | живой поиск | 3 дн. назад 2026-10-12 |
16 | Разрешить |
YandexBotОсновной краулер Яндекса, питает поиск и Алису AI |
Yandex | живой поиск | 5 дн. назад 2026-10-11 |
584 | Не блокировать |
GPTBotСбор данных для обучения моделей ChatGPT |
OpenAI | обучение | 9 дн. назад 2026-10-06 |
41 | Можно блокировать |
ApplebotSiri, Spotlight и Apple Intelligence |
Apple | живой поиск | 29 дн. назад 2026-09-16 |
57 | Не блокировать |
AmazonbotИндексация для Alexa и обучающих наборов |
Amazon | смешанный | 63 дн. назад 2026-08-14 |
2 | Оценивать индивидуально |
CCBotОткрытый датасет, на котором обучаются многие LLM |
Common Crawl | обучение | 72 дн. назад 2026-08-04 |
2 | Можно блокировать |
Perplexity-UserПодгрузка страницы по запросу пользователя |
Perplexity | живой поиск | 72 дн. назад 2026-08-04 |
1 | Разрешить |
Google-CloudVertexBotПодгрузка сайтов по заданию клиента Vertex AI |
агент | 98 дн. назад 2026-07-09 |
1 | Оценивать индивидуально | |
Claude-SearchBotПоисковая индексация Claude |
Anthropic | живой поиск | ещё не замечен | — | Разрешить |
Google-NotebookLMПодгрузка источников в NotebookLM по запросу пользователя |
агент | ещё не замечен | — | Разрешить | |
meta-externalagentСбор данных для обучения моделей Meta (Llama) |
Meta | обучение | ещё не замечен | — | Можно блокировать |
FacebookBotИндексация для продуктов Meta |
Meta | смешанный | ещё не замечен | — | Оценивать индивидуально |
DuckAssistBotОтветы DuckDuckGo AI Assist |
DuckDuckGo | живой поиск | ещё не замечен | — | Разрешить |
MistralAI-UserПодгрузка страницы по запросу пользователя Le Chat |
Mistral | живой поиск | ещё не замечен | — | Разрешить |
YandexAdditionalДополнительный сбор Яндекса для ответов и сервисов |
Yandex | агент | ещё не замечен | — | Разрешить |
Как это работает
На каждом заходе сайт сверяет User-Agent посетителя с реестром известных ИИ-ботов. Если это бот — фиксируется его имя, время и страница визита. Получается срез первичных данных именно этого сайта: не сторонняя оценка «кто обычно ходит», а кто реально ходит сюда. Для обычных посетителей проверка стоит один шаг и ничего не пишет.
Два важных нюанса. Боты-сборщики (тип «обучение») качают контент для тренировки моделей и не приводят трафик — их можно закрывать. Боты живого поиска приходят по запросу пользователя, цитируют и дают ссылку — закрыть их значит выпасть из ИИ-ответов. Поэтому таблица делит ботов по типу, а не просто перечисляет.
Что с этим делать
Сопоставьте тип бота с тем, пускаете ли вы его. Если ценный поисковый агент (OAI-SearchBot, PerplexityBot, YandexBot) давно не заходил — проверьте, не закрыт ли он в robots.txt и доступны ли страницы. Готовые правила доступа — в гайде AI-краулеры и robots.txt, собрать свой файл можно генератором robots.txt для ИИ, а про спорный стандарт llms.txt — в отдельном разборе. А что меняется в самих поисковиках и ИИ-ответах — в ленте изменений поиска.
