Главная / Кого пускать на сайт: боты, агенты и сборщики данных

Кого пускать на сайт: боты, агенты и сборщики данных

Закрыть сайт от всех ботов и открыть его всем одинаково плохо. Решение зависит от того, зачем бот пришёл и что вам это даёт.

Редакция от 7 октября 2026 г.

Кто приходит на сайт

Под словом «бот» скрываются разные визиты. Названия ботов взяты из документации их операторов и со временем меняются: сверяйтесь с актуальной документацией.

Типы визитов и что с ними делать

Кто приходит Зачем Что получает сайт Что обычно делают Как выразить в robots.txt
Сборщики для обучения моделей: GPTBot, ClaudeBot, CCBot; токены Google-Extended и Applebot-Extended Берут тексты, чтобы обучать модели Прямого трафика обычно нет Часто закрывают Disallow для названных ботов и Content-Signal с ai-train=no
Поисковые боты ассистентов: OAI-SearchBot, Claude-SearchBot, PerplexityBot; у Яндекса YandexBot и YandexAdditional Индексируют сайт, чтобы потом процитировать его со ссылкой Попадание в ответы и ссылки на ваш сайт Пускают те, кому нужна видимость Не закрывать; Content-Signal с search=yes и ai-input=yes
Агенты по поручению пользователя: ChatGPT-User, Claude-User, Perplexity-User Читают страницу, потому что человек об этом попросил Прямой интерес покупателя или клиента Пускают Не закрывать; для действий нужен API с авторизацией
Парсеры и злоумышленники Выкачивают цены и каталог, спамят, перегружают сервер Нагрузка и утечка данных Закрывают техническими мерами robots.txt не поможет: нужны ограничение частоты, защита от ботов и проверка подлинности

Про токены Google-Extended и Applebot-Extended не краулеры, а токены в robots.txt: они сообщают, можно ли использовать материалы для ИИ этих компаний. По документации Google, Google-Extended не влияет на включение сайта в поиск Google. Проверьте актуальную документацию.

Три слоя данных

Вместо «открыть всё» или «закрыть всё» разделите данные на три слоя.

Слои данных

Слой Примеры Кому доступно Как защищать
Публичный Витрина, цены на сайте, характеристики, контакты, реквизиты Всем, включая ботов поиска и ассистентов Не защищать: это ваша реклама. Следить, чтобы цены и наличие совпадали везде
По условиям Оптовые цены, остатки по клиентам, выгрузка всего каталога, личные предложения Авторизованным клиентам и партнёрам API или кабинет с авторизацией, лимиты, договор
Закрытый Данные клиентов, персональные данные, внутренние документы Только владельцу Авторизация и права на сервере. Не перечислять секретные адреса в robots.txt

Как решить для своего бизнеса

Три типичных случая.

  • Продаёте товары или услуги. Сайт для вас реклама: невидимость в ответах ассистента обычно дороже риска копирования. Пускайте поисковых ботов и агентов по поручению пользователей. Обучение можно закрыть, если не хотите отдавать тексты бесплатно.
  • Контент — ваш продукт (издание, платная база). Открытость бьёт по бизнесу: закрывайте обучение и ответы, рассмотрите лицензирование (например, стандарт RSL) или платный доступ.
  • B2B с закрытыми ценами. Витрину и характеристики откройте, цены и остатки отдавайте через авторизацию или API.

Чего не стоит делать

  • Закрывать всё общим правилом: вместе с лишними вы перекрываете ассистентов и агентов, а сканер увидит сайт как закрытый для робота.
  • Открывать всё без правил: любой желающий забирает каталог и цены.
  • Полагаться на robots.txt как на защиту: он работает только с честными ботами.
  • Обещать клиентам попадание в ответы ИИ за деньги: такого гарантировать никто не может.

Что дальше

Проверьте свой сайт бесплатно: уровень L0–L4 и что мешает нейросетям и агентам — за минуту.

Проверить сайт Цены