Google, Microsoft и OpenAI одновременно объявили о намерении поддержать общий сигнал в robots.txt, позволяющий владельцам сайтов одной записью отказаться от использования контента для обучения генеративных ИИ-моделей сразу у всех участвующих провайдеров. До этого каждой компании требовалось прописывать отдельное правило для каждого краулера.
Основой инициативы стал интернет-драфт, который сотрудник Anthropic Кевин Келли подал в рабочую группу AI Preferences при IETF. Документ зарегистрирован как индивидуальный черновик и не является официальным стандартом IETF. Anthropic, по словам Келли, уже приступила к разработке поддержки этого механизма.
Как работает новый токен в robots.txt
Драфт не вводит новых директив robots.txt. Вместо этого предлагается использовать специальный токен политики __usage_ai-training как значение User-Agent, после которого следуют стандартные правила Allow и Disallow. Например, чтобы запретить обучение ИИ на всём сайте, кроме раздела /press-kit/, достаточно одной группы правил с этим токеном.
Токен распространяется только на генеративные модели — те, что модифицируют обученные параметры. Модели для классификации или ранжирования под это определение не подпадают. Существующие записи в robots.txt автоматически не становятся частью нового механизма: wildcard-группа (User-Agent: *) не совпадает с токеном, а файл без группы __usage_ai-training считается отсутствием какого-либо предпочтения. Управлять краулингом токен тоже не позволяет.
Различия в реализации у Google и Microsoft
Google планирует поддержать новый сигнал в начале 2027 года. Если сайт выставит общий запрет на обучение, но не укажет Google-Extended явно, Google будет трактовать это как блокировку Google-Extended. Директива Google-Extended управляет и обучением будущих моделей Gemini, и грандингом — подачей контента из поискового индекса модели при генерации ответов в Gemini Apps и Vertex AI. При этом на попадание сайта в обычный поиск Google-Extended не влияет.
Microsoft подошла к вопросу иначе: компания разделила управление обучением и грандингом на два независимых механизма. Общий токен управляет обучением, тогда как отдельная настройка AI Grounding задаётся на уровне страницы через мета-тег или HTTP-заголовок. Новый параметр DisallowExtended разрешает грандинг в собственных инструментах Microsoft — Copilot и Bing AI Mode — но блокирует его для сторонних сервисов, использующих Web IQ. Microsoft прекратит поддержку старых тегов NoArchive и NoCache в качестве настроек обучения и грандинга после 1 марта 2027 года. Новые опции начнут учитываться с 1 февраля 2027-го. Сайтам, использующим старые теги, необходимо до 15 декабря зафиксировать временные предпочтения в Bing Webmaster Tools.
Позиции OpenAI и Anthropic
OpenAI намерена начать поддержку нового сигнала в течение нескольких ближайших месяцев, однако текущая политика robots.txt компании продолжит действовать. Что произойдёт в случае конфликта между общим токеном и правилом для GPTBot — в документации OpenAI не уточнено.
Anthropic на момент публикации не разместила официального сообщения об этой инициативе. По словам Келли, внедрение поддержки нового механизма во все сервисы компании потребует времени. Сейчас Anthropic предоставляет только три опции управления краулерами: ClaudeBot, Claude-User и Claude-SearchBot.
Практические выводы для владельцев сайтов и SEO-специалистов
Единый токен упростит управление правами на контент: вместо набора отдельных правил для каждого краулера достаточно будет одной записи. Однако полного паритета между провайдерами нет: у Microsoft обучение и грандинг разделены, тогда как у Google оба параметра объединены под Google-Extended. Сайты, уже использующие NoArchive или NoCache для ограничений Copilot, должны перейти на новые настройки до установленных Microsoft дроков. Черновик Келли действует до 3 мая 2027 года, если не будет заменён новой версией.
Источник:
Search Engine Journal — https://www.searchenginejournal.com/google-microsoft-openai-shared-ai-training-opt-out/