Гэри Ийеш из Google разъяснил в видео Search Central принципиальное ограничение стандарта robots.txt: этот протокол управляет только доступом к страницам сайта, но никак не регулирует, что происходит с контентом после его сканирования. Пояснения прозвучали в рамках серии The Non-Canonical Cabinet, где сотрудники Google отвечают на нестандартные технические вопросы.
Для SEO-специалистов и владельцев сайтов это означает, что запретить конкретному ИИ-боту индексировать страницы можно через указание его User-Agent в robots.txt — но ограничить дальнейшее использование уже собранных данных для обучения моделей этот инструмент не позволяет.
Что реально контролирует robots.txt
По определению стандарта RFC 9309, robots.txt — это протокол управления доступом. Он определяет, какие URL-адреса сканер вправе запрашивать. Всё, что происходит с данными после сканирования, выходит за рамки этого стандарта.
Чтобы закрыть доступ определённому ИИ-боту, необходимо явно указать его токен User-Agent в правилах файла. При этом блокировка одного робота не затрагивает других — каждый должен быть прописан отдельно. Любые нестандартные директивы, например попытки запретить использование контента для обучения через произвольные строки, будут проигнорированы парсером.
Токен Google-Extended и его реальные функции
Google предоставляет отдельный инструмент — токен Google-Extended, который не является самостоятельным User-Agent. Его назначение — управление тем, может ли контент сайта использоваться для обучения будущих версий модели Gemini, а также для получения данных в приложениях Gemini и через Grounding with Google Search на платформе Vertex AI.
Важно понимать: Google-Extended не влияет на видимость сайта в поисковой выдаче и не является сигналом ранжирования. Это исключительно инструмент управления использованием контента в продуктах на базе Gemini.
Проект расширения стандарта: директива Content-Usage
Универсального механизма, который позволял бы разрешить сканирование, но запретить обучение ИИ на собранном контенте, пока не существует. В рабочей группе IETF рассматривается черновик, соавтором которого выступает сам Ийеш. Документ предлагает добавить в robots.txt директиву Content-Usage с параметром вроде train-ai=n.
Однако на данный момент черновик не утверждён и не передан на рассмотрение руководящего комитета IETF. Отдельный словарный документ, описывающий терминологию, прямо указывает, что не отражает консенсус рабочей группы. Срок действия текущей версии черновика истекает в феврале 2027 года.
Кодирование путей с не-ASCII символами
Черри Проммавин из Google рекомендовала использовать процентное кодирование для путей в robots.txt, содержащих символы не из латинского алфавита и эмодзи. Google корректно обрабатывает и сырые символы, и закодированные варианты — но другие или устаревшие боты могут интерпретировать нестандартные символы непредсказуемо.
Для сайтов на русском и других нелатинских языках это означает, что безопаснее прописывать пути в формате percent-encoding: это гарантирует корректную интерпретацию правил robots.txt всеми сканерами, а не только Googlebot.
Источник:
Search Engine Journal — https://www.searchenginejournal.com/google-illyes-robots-txt-crawling-ai-training/593957/
