30 октября четыре крупных западных разработчика ИИ — OpenAI, Google, Microsoft и Anthropic — пообещали читать один общий сигнал в robots.txt, которым сайт может запретить обучение моделей на своих материалах. Раньше ботов каждой компании приходилось перечислять отдельно. Разбираем, как устроен новый сигнал, когда он заработает и почему это не замок, а табличка на двери.
Коротко
- Новый «токен политики» __usage_ai-training пишется в robots.txt как обычная группа правил и означает «не использовать для обучения ИИ».
- Основа — индивидуальный черновик IETF от 30 октября, его автор — Кевин Келли из Anthropic. Формального статуса стандарта у документа нет.
- Сроки разные: Microsoft — с 1 февраля 2027 года, Google — в 2027 году, OpenAI — «в ближайшие месяцы».
- Сигнал добровольный. Он не запрещает обход сайта ботами и не касается данных, собранных раньше.
Что произошло
Сначала о самом файле. Robots.txt — это текстовый файл в корне сайта, где владелец пишет, каким ботам и в какие разделы можно заходить. Формат описан в стандарте RFC 9309, но соблюдать его боты не обязаны.
До сих пор у каждой ИИ-компании были свои имена ботов: GPTBot у OpenAI, Google-Extended у Google, ClaudeBot у Anthropic. Чтобы отказаться от обучения у всех, владельцу сайта приходилось следить за списком и дописывать новые строки.
30 октября Google объявила в блоге Search Central, что поддержит общий сигнал в robots.txt, и сослалась на работу группы AIPREF в IETF. В тот же день OpenAI сообщила, что будет учитывать этот сигнал, а её прежние правила для собственных ботов продолжат работать.
Microsoft пошла дальше. По данным Search Engine Land, Bing вводит отдельные настройки для обучения и для grounding. Grounding — это подстановка свежих страниц в ответ ИИ-ассистента, без изменения самой модели. Сайт при этом остаётся в обычной выдаче Bing.
Сводную картину первой дала The Verge. По её данным, Anthropic уже начала внедрять поддержку. Отдельного объявления в блоге Anthropic мы на момент публикации не нашли.
Как работает сигнал
Механика описана в черновике «Machine-Readable Training Preference Signal». Internet-Draft — это рабочий документ, который в IETF может подать любой желающий. Такой черновик не одобрен организацией и действует до 3 мая 2027 года, если его не обновят.
Черновик не придумывает новых команд. Вместо имени бота в строке User-Agent пишется условное имя — токен политики, а обычные Allow и Disallow меняют смысл: они говорят не о доступе, а о том, как можно использовать контент.
Пример из черновика выглядит так:
| Строка в robots.txt / Что она означает | |
| User-Agent: __usage_ai-training | Группа правил про обучение ИИ, а не про конкретного бота |
| Disallow: / | Сайт против обучения на любых страницах |
| Allow: /press-kit/ | Кроме раздела /press-kit/ — там обучение разрешено |
Важные правила, которые легко пропустить:
- Звёздочка не считается. Группа «User-Agent: *» по черновику не должна читаться как предпочтение по обучению. Общий запрет для всех ботов — не отказ от обучения, зато он выкинет сайт и из поиска.
- Нет группы — нет мнения. Если токена в файле нет, сайт никакого предпочтения не выразил.
- Это не про обход. Черновик прямо говорит, что токен не управляет поведением краулеров. Ограничивать доступ нужно по-прежнему через группы для конкретных ботов.
- Частное правило сильнее общего. Google пишет, что если сайт запретил обучение токеном и не упомянул Google-Extended, это будет считаться запретом Google-Extended. Если же Google-Extended прописан явно, действует он.
Смысл слов «обучение ИИ» черновик берёт из словаря, который готовит рабочая группа AIPREF, — draft-ietf-aipref-vocab-08. Если группа изменит определения, черновик предлагает обновить и их.
Как настроить сайт: по шагам
Пройдём весь путь на условном примере: новостной сайт хочет оставаться в поиске и в ответах ИИ-ассистентов, но не попадать в обучающие данные. Пример наш, правила — из черновика и документации Google и Microsoft.
Шаг 1. Решить, что именно запрещать
Обучение, ответы ИИ и обычный поиск — три разных вопроса. Новый токен закрывает только первый. Нашему сайту нужно: поиск — да, ответы ИИ — да, обучение — нет.
Шаг 2. Проверить текущий robots.txt
Найти существующие правила для GPTBot, Google-Extended, ClaudeBot и общую группу со звёздочкой. Убедиться, что Googlebot и Bingbot случайно не заблокированы.
Шаг 3. Добавить группу с токеном
Две строки: «User-Agent: __usage_ai-training» и «Disallow: /». Парсеры, которые токен не знают, просто проигнорируют группу, поэтому добавить её можно уже сейчас.
Шаг 4. Сверить с правилами отдельных компаний
Здесь у нашего сайта возникает развилка. Общий запрет Google прочитает как запрет Google-Extended, а по словам компании, именно сайты с разрешённым Google-Extended могут появляться в ответах Gemini и получать оттуда клики.
Значит, если сайту важны ссылки из Gemini, придётся явно разрешить Google-Extended — и тогда частное правило перекроет общий токен для Google. Это компромисс, и решать его нужно осознанно, а не по умолчанию.
Шаг 5. Учесть отдельную схему Microsoft
Для grounding Microsoft вводит свои настройки на уровне страницы — метатег или HTTP-заголовок. Старые NoArchive и NoCache, по данным Search Engine Land, перестанут читаться как предпочтения после 1 марта 2027 года.
Шаг 6. Проверять, что происходит на деле
Раз в месяц смотреть логи сервера: какие боты приходят и не попадают ли они в запрещённые разделы. Сигнал можно выставить за минуту, а вот соблюдают ли его, видно только по логам.
Весь цикл одной строкой: решить → проверить файл → добавить токен → сверить исключения → настроить grounding → следить за логами.
Ограничения и критика
Это просьба, а не запрет
Robots.txt никогда не был механизмом защиты. Компания TollBit, которая продаёт издателям инструменты для лицензирования контента, по своим данным за первое полугодие 2026 года насчитала более 1,9 млрд обращений ИИ-ботов, обошедших или проигнорировавших правила robots.txt, из 22 млрд с лишним.
TollBit заинтересована в том, чтобы издатели защищались, но порядок цифр показывает: честный бот прочитает токен, нечестный — нет.
Только будущее, и только для подписавшихся
Черновик привязывает предпочтение к robots.txt, который действовал в момент загрузки страницы. О данных, собранных раньше, в документе нет ни слова. Модели, уже обученные на сайте, никто «разучивать» не обещал.
Кроме того, сигнал читают только те, кто согласился. Китайские лаборатории, небольшие стартапы и сборщики датасетов в списке не значатся. Meta, по данным The Verge, поддержала идею общего сигнала, но соблюдать его не пообещала.
Стандарт ещё не стандарт
Рабочая группа AIPREF по плану должна была к августу 2026 года отправить на утверждение словарь и способ его привязки к robots.txt. Оба документа до сих пор в статусе черновиков. По нашей оценке, общий токен — способ обойти эту задержку: компании договорились о минимуме, не дожидаясь консенсуса по всему словарю.
Конкурирующие форматы
У Cloudflare есть свой Content Signals Policy с отдельными значениями для поиска, ответов ИИ и обучения. По умолчанию его включили для 3,8 млн доменов с управляемым robots.txt.
Есть RSL — стандарт, в котором издатель может назначить цену за обход или за использование в ответах. Теперь добавился и общий токен. Владельцу сайта, на наш взгляд, разумнее не выбирать один, а сочетать их.
Открытый вопрос. Будет ли кто-то проверять соблюдение сигнала, кроме самих издателей с их логами? Ни в одном из объявлений 30 октября механизма внешнего аудита нет.
Почему сейчас
Главная причина — Европа. В Кодексе практики для моделей общего назначения, который ЕС опубликовал в июле 2025 года, подписавшиеся компании обязуются использовать краулеры, соблюдающие robots.txt, и учитывать другие машиночитаемые способы запретить анализ текстов и данных. Google в комментарии Search Engine Roundtable прямо упомянула запросы издателей, общественных организаций и регуляторов.
Вторая причина — давление самих площадок. Reddit тестирует обязательный логин, Cloudflare блокирует ИИ-ботов по умолчанию для новых доменов, а издатели подают иски. Общий токен — способ для ИИ-компаний показать, что добровольные правила работают, и снизить спрос на жёсткие.
Что это значит для разработчиков и бизнеса
- Владельцам сайтов стоит добавить группу с токеном уже сейчас: это дёшево и ничего не ломает. Но полагаться только на неё не стоит — нужен ещё мониторинг логов, а для ценного контента и технические меры.
- Разработчикам CMS и хостингов — повод добавить в админку переключатель «запретить обучение ИИ», который пишет правильную группу, а не «User-Agent: *».
- Тем, кто собирает данные для своих моделей, — сигнал, что «мы не знали» скоро перестанет быть оправданием. Особенно в ЕС, где машиночитаемый отказ имеет юридический вес.
- Издателям общий токен даёт простой способ сказать «нет», но не даёт способа сказать «да, за деньги». Для этого по-прежнему нужны RSL или прямые договоры.
Вывод
Одна строка вместо десятка имён ботов — реальное упрощение, и редкий случай, когда конкуренты договорились о едином формате. Но новый сигнал решает узкую задачу: он позволяет вежливо попросить не использовать сайт для обучения тех, кто и так готов слушать.
Он не закрывает доступ, не возвращает уже собранные данные и не касается компаний, которые ничего не обещали. По нашей оценке, это хороший первый слой, но защиту контента он не заменяет.