Руководство / Кого пускать на сайт: боты, агенты и сборщики данных
Кого пускать на сайт: боты, агенты и сборщики данных
Редакция от 7 октября 2026 г.
Закрыть сайт от всех ботов и открыть его всем одинаково плохо. Решение зависит от того, зачем бот пришёл и что вам это даёт.
Кто приходит на сайт
Под словом «бот» скрываются разные визиты. Названия ботов взяты из документации их операторов и со временем меняются: сверяйтесь с актуальной документацией.
| Кто приходит | Зачем | Что получает сайт | Что обычно делают | Как выразить в robots.txt |
|---|---|---|---|---|
| Сборщики для обучения моделей: GPTBot, ClaudeBot, CCBot; токены Google-Extended и Applebot-Extended | Берут тексты, чтобы обучать модели | Прямого трафика обычно нет | Часто закрывают | Disallow для названных ботов и Content-Signal с ai-train=no |
| Поисковые боты ассистентов: OAI-SearchBot, Claude-SearchBot, PerplexityBot; у Яндекса YandexBot и YandexAdditional | Индексируют сайт, чтобы потом процитировать его со ссылкой | Попадание в ответы и ссылки на ваш сайт | Пускают те, кому нужна видимость | Не закрывать; Content-Signal с search=yes и ai-input=yes |
| Агенты по поручению пользователя: ChatGPT-User, Claude-User, Perplexity-User | Читают страницу, потому что человек об этом попросил | Прямой интерес покупателя или клиента | Пускают | Не закрывать; для действий нужен API с авторизацией |
| Парсеры и злоумышленники | Выкачивают цены и каталог, спамят, перегружают сервер | Нагрузка и утечка данных | Закрывают техническими мерами | robots.txt не поможет: нужны ограничение частоты, защита от ботов и проверка подлинности |
Три слоя данных
Вместо «открыть всё» или «закрыть всё» разделите данные на три слоя.
| Слой | Примеры | Кому доступно | Как защищать |
|---|---|---|---|
| Публичный | Витрина, цены на сайте, характеристики, контакты, реквизиты | Всем, включая ботов поиска и ассистентов | Не защищать: это ваша реклама. Следить, чтобы цены и наличие совпадали везде |
| По условиям | Оптовые цены, остатки по клиентам, выгрузка всего каталога, личные предложения | Авторизованным клиентам и партнёрам | API или кабинет с авторизацией, лимиты, договор |
| Закрытый | Данные клиентов, персональные данные, внутренние документы | Только владельцу | Авторизация и права на сервере. Не перечислять секретные адреса в robots.txt |
Как решить для своего бизнеса
Три типичных случая.
- Продаёте товары или услуги. Сайт для вас реклама: невидимость в ответах ассистента обычно дороже риска копирования. Пускайте поисковых ботов и агентов по поручению пользователей. Обучение можно закрыть, если не хотите отдавать тексты бесплатно.
- Контент — ваш продукт (издание, платная база). Открытость бьёт по бизнесу: закрывайте обучение и ответы, рассмотрите лицензирование (например, стандарт RSL) или платный доступ.
- B2B с закрытыми ценами. Витрину и характеристики откройте, цены и остатки отдавайте через авторизацию или API.
Чего не стоит делать
- Закрывать всё общим правилом: вместе с лишними вы перекрываете ассистентов и агентов, а сканер увидит сайт как закрытый для робота.
- Открывать всё без правил: любой желающий забирает каталог и цены.
- Полагаться на robots.txt как на защиту: он работает только с честными ботами.
- Обещать клиентам попадание в ответы ИИ за деньги: такого гарантировать никто не может.
Что дальше
- Сформируйте robots.txt и сигналы Content-Signal за пять вопросов.
- Проверьте сайт сканером: он покажет, какие ИИ-боты закрыты и пускает ли защита сайта ассистентов.
- Для магазинов в России: как подключиться к Yandex Commerce Protocol.