Переписки пользователей Claude неожиданно появились в результатах поиска Google. Причиной стало противоречие между двумя директивами управления индексированием: страницы с общими чатами были заблокированы для сканирования через robots.txt, но одновременно содержали заголовок X-Robots-Tag: none — аналог noindex. Поскольку Googlebot не мог прочитать этот заголовок из-за запрета на обход, URL всё равно попадали в индекс при обнаружении ссылок на них с других ресурсов.
Проблему зафиксировали независимые исследователи и журналисты. В проиндексированных страницах обнаруживались медицинские материалы, внутренние корпоративные документы и личные данные. Anthropic заявила, что ссылки на чаты индексируются только если пользователи сами публикуют их в общедоступных местах.
Как возник конфликт директив
Путь /share/* на claude.ai закрыт директивой Disallow в robots.txt для всех пользовательских агентов, включая Googlebot. При этом живые страницы чатов отдают заголовок x-robots-tag: none, что Google интерпретирует как одновременный запрет на индексирование и обход ссылок.
Проблема в том, что Google может получить URL страницы не только через прямое сканирование, но и через внешние ссылки. Если Googlebot видит ссылку на заблокированный URL с другого сайта, он фиксирует этот адрес и может показать его в выдаче без содержимого — просто как существующий URL. Директиву noindex при этом он прочитать не может, поскольку сканирование заблокировано.
Принципиальное различие между Disallow и noindex
Disallow в robots.txt регулирует только сканирование: он не позволяет поисковому роботу заходить на страницу. Однако это не мешает URL оказаться в индексе, если Google узнаёт о нём через внешние источники.
Директива noindex, напротив, напрямую запрещает добавлять страницу в поисковый индекс. Но она работает только при одном условии: поисковый робот должен иметь возможность зайти на страницу и прочитать соответствующий тег или HTTP-заголовок. Если доступ заблокирован через robots.txt, noindex остаётся невидимым для Google.
Представители Google неоднократно объясняли это разграничение в официальной документации. Джон Мюллер указывал, что страницы, закрытые через robots.txt, могут появляться в результатах поиска, если на них ведут внешние ссылки. Мартин Сплитт рекомендовал не использовать обе директивы одновременно на одной странице.
Не первый случай в индустрии
Ситуация с Claude не уникальна. В августе 2025 года OpenAI удалял из поиска Google проиндексированные переписки ChatGPT. В 2023 году аналогичная проблема возникала с транскриптами Bard — Google тогда также работал над их удалением из индекса.
Три крупные AI-компании столкнулись с одной и той же ситуацией: публичная ссылка на чат распространялась дальше, чем предполагал её владелец. Anthropic пояснила, что пользователи могут управлять своими общими чатами через раздел Settings → Privacy → Shared Chats, однако отозвать URL из индекса Google могут только сами компании, а не конечные пользователи.
Практический вывод для SEO-специалистов
Этот инцидент служит наглядной иллюстрацией давно известного, но часто игнорируемого правила технической SEO-оптимизации: для исключения страницы из индекса необходимо использовать noindex в сочетании с открытым доступом для сканирования, а не блокировать страницу через robots.txt. Использование только Disallow создаёт иллюзию защиты, не обеспечивая реального контроля над индексированием. Если страница должна быть полностью скрыта от поиска, она должна быть доступна для сканирования, но содержать корректный noindex-сигнал.
Источник:
Search Engine Journal — https://www.searchenginejournal.com/indexed-claude-chats-show-why-disallow-is-not-noindex/583852/
