AI-краулеры и robots.txt: инженерия доступа в 2026 году
Слепой запрет «всех ИИ-ботов» в 2026 году равносилен удалению сайта из поиска. Маршрутизаторы в агентных сетях не могут процитировать ваш бренд, если вы заблокировали им доступ. Задача инженера — отрезать сборщиков бесплатных датасетов, но дать зелёный свет поисковым агентам, которые приносят цитируемость и трафик.
Главное
- ИИ-боты делятся на сборщиков датасетов и агентов живого поиска: первых можно закрыть, вторых закрывать нельзя.
- GPTBot блокируют, OAI-SearchBot и ChatGPT-User оставляют открытыми.
- Запрет Google-Extended не влияет на AI Overviews: их сканирует обычный Googlebot.
- У ИИ-ответов Яндекса нет отдельного робота: закрыв YandexBot, сайт пропадёт отовсюду.
Оглавление
Хотите видеть, кто из этих ботов реально заходит на ваш сайт и когда — смотрите живой реестр ИИ-краулеров с данными по логам.
Эта статья — прямое техническое руководство к тому, как не выпасть из ИИ-ответов на самом первом этапе. Если в вашей кокон-архитектуре есть экспертный контент, который вы хотите видеть в ответах ChatGPT, Perplexity или Яндекса, управление доступом через robots.txt становится базовым гигиеническим минимумом.
Главное правило: отличайте парсеров от поисковиков
Ключевая ошибка 2024–2025 годов — массовое добавление всех известных нейро-ботов в Disallow. Вебмастера пытались защитить контент от бесплатного обучения LLM, но в итоге отрезали себя от Generative Engine Optimization (GEO).
Сегодня боты строго делятся на две категории:
- Сборщики датасетов (Training Crawlers). Качают весь сайт, чтобы обучить новую версию модели. Не дают вам ссылок, не приводят трафик. Их можно и нужно блокировать.
- Агенты реального времени (Search/RAG Crawlers). Приходят только тогда, когда пользователь задал вопрос. Извлекают ответ, цитируют вас, дают прямую кликабельную ссылку (роль Извлечения в агентном RAG). Если закрыть их — вы не попадёте в ответ.
Основные User-Agent и их роли (май 2026)
Основные User-Agent ИИ-краулеров: у OpenAI — GPTBot для обучения и OAI-SearchBot с ChatGPT-User для поиска, у Anthropic — ClaudeBot, Claude-User и Claude-SearchBot, у Perplexity — PerplexityBot и Perplexity-User, у Google — токен Google-Extended для обучения Gemini; у Яндекса отдельного ИИ-робота нет, а показ в ответах Алисы ограничивает токен YandexAdditional.
| Платформа | Бот-сборщик (обучение) | Бот-агент (живой поиск) | Рекомендация |
|---|---|---|---|
| OpenAI (ChatGPT) | GPTBot |
OAI-SearchBot, ChatGPT-User |
Блокировать GPTBot. Разрешить OAI-SearchBot. |
Google-Extended |
Googlebot (для AI Overviews) |
Запрет Extended не влияет на AIO. | |
| Perplexity | (Совмещён) | PerplexityBot |
Разрешить на редакционный контент. |
| Anthropic (Claude) | ClaudeBot |
ClaudeBot (Совмещён) |
Оценивать индивидуально по нагрузке. |
Готовые сниппеты для robots.txt
Закрыть сайт от ИИ-краулеров, которые собирают данные для обучения моделей, можно правилами Disallow для их User-Agent в robots.txt, оставив открытыми поисковых ботов ИИ-сервисов. Готовая конфигурация — ниже.
# 1. Запрещаем сбор данных для обучения (без отдачи трафика)
User-agent: GPTBot
User-agent: CCBot
User-agent: anthropic-ai
User-agent: Omgilibot
User-agent: FacebookBot
Disallow: /
# 2. Разрешаем агентам ChatGPT читать страницы для ответов с цитатами
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
# 3. Разрешаем Perplexity цитировать экспертные статьи
User-agent: PerplexityBot
Allow: /engineering/
Allow: /blog/
Disallow: /private/
# 4. Отключаем контент от обучения Gemini (не влияет на выдачу Google)
User-agent: Google-Extended
Disallow: /Чтобы не собирать правила вручную, я сделал генератор robots.txt для ИИ-роботов: отмечаете, кого пускать, кого закрыть, и копируете готовый файл.
А как же файл llms.txt? (Список наблюдения)
Осенью 2024 года сообщество предложило стандарт /llms.txt — текстовый файл в корне сайта, который отдаёт LLM чистый Markdown с описанием структуры и контента. Идея состояла в том, чтобы сделать сайт «citation-worthy».
К маю 2026 года мы имеем данные масштабных исследований. Анализ 300 000 доменов (SE Ranking, ноябрь 2025) показал: измеримого роста цитирований от наличия llms.txt нет. Крупные маршрутизаторы (OpenAI, Google) предпочитают сами парсить HTML, находить сущности-мосты и опираться на стандартную микроразметку.
Поэтому llms.txt остаётся в моём списке наблюдения (watchlist). Я не трачу бюджет клиентов на его генерацию, пока он не станет доказанным фактором ранжирования. Управление доступом в robots.txt и пассаж-инженерия работают прямо сейчас.
