Генератор robots.txt для ИИ-роботов
Соберите правила доступа для роботов нейросетей. Ответные боты лучше разрешить, чтобы попадать в ИИ-ответы, а обучающие можно закрыть, если не хотите, чтобы на вашем контенте учили модели. Теорию я разбираю в статье про управление ИИ-роботами.
ИИ-поиск и ответы
Обучение моделей
Готовый robots.txt
Что важно знать перед вставкой
Главная развилка такая. Если ваша цель попадать в ответы ChatGPT, Perplexity и подобных, ответные боты надо именно разрешить. Блокировать имеет смысл только обучающие краулеры, и то это вопрос принципа, а не видимости. Закрытие обучающего бота не убирает вас из ответов.
Отдельно про Google. Директива Google-Extended управляет использованием контента для обучения Gemini, но не влияет на AI Overviews. AI Overviews собираются из обычного индекса Googlebot, поэтому убрать их через robots.txt без потери обычного поиска нельзя.
Про Яндекс. Управление использованием страниц в Нейро и быстрых ответах настраивается отдельно, и механизм периодически меняется. Перед внедрением сверьтесь с актуальной справкой Яндекс Вебмастера. В сгенерированный файл я добавляю поясняющий комментарий с местом под эту директиву.
Частые вопросы
Какие роботы нейросетей блокировать, чтобы попадать в ИИ-ответы
Блокирует ли Google-Extended показ в AI Overviews
robots.txt гарантирует, что робот не зайдёт
Как закрыть сайт от ИИ и запретить обучение нейросетей
