Джон Мюллер из Google подтвердил, что владельцы сайтов вправе блокировать загрузку отдельных JavaScript-ресурсов для Googlebot через robots.txt. Это официальное разъяснение меняет привычное представление о том, что краулеру необходимо открывать доступ ко всем ресурсам страницы без исключения.
Поводом для комментария стал вопрос SEO-специалиста на Reddit: можно ли скрыть от Google обязательное окно проверки возраста, которое подгружается через API с внешнего домена. Мюллер ответил утвердительно — блокировка стороннего домена через его собственный robots.txt предотвратит получение этого содержимого Googlebot.
Как технически реализовать блокировку
Существует два рабочих подхода. Первый — закрыть внешний домен, с которого загружается нежелательный скрипт, через robots.txt этого домена. Второй — использовать директиву Disallow для конкретного JavaScript-файла непосредственно на сайте. Например, если всплывающее окно запускается скриптом load-verification-popup.js, именно его путь можно добавить в список запрещённых для обхода.
Мюллер особо предупредил: блокировать следует только изолированные скрипты с узкой функциональностью. Закрывать от краулера общий JavaScript-файл, от которого зависит работа множества элементов страницы, — нежелательно и рискованно для индексации.
Контекст и ограничения подхода
Исторически Google рекомендовал открывать Googlebot доступ ко всем ресурсам, которые видит обычный пользователь. Новое разъяснение уточняет эту позицию: правило актуально для ресурсов, формирующих основное содержимое страницы. Вспомогательные элементы — рекламные скрипты, поп-апы верификации возраста, счётчики — к этой категории не относятся.
Ключевое условие — страница должна корректно загружаться и функционировать даже без заблокированных ресурсов. Если отсутствие скрипта нарушает отображение контента, блокировка может навредить сканированию и рендерингу.
Практический вывод для SEO-специалистов
Разъяснение Мюллера открывает легитимный способ управлять тем, что именно видит Googlebot при рендеринге страниц. Это особенно актуально для сайтов с обязательными пользовательскими интерфейсами — возрастными заглушками, cookie-баннерами или региональными редиректами, которые технически мешают корректному сканированию. Перед применением блокировки стоит проверить поведение страницы в Google Search Console, убедившись, что рендер остаётся полноценным.
Источник:
Topvisor — https://topvisor.com/ru/news/