Компания Decodo, ранее известная как Smartproxy, представила Web Data API — инструмент, объединяющий скрейпинг, поиск, картирование сайтов и краулинг под одним ключом доступа. Продукт ориентирован на команды, разрабатывающие ИИ-агентов и системы с retrieval-augmented generation (RAG), которым требуются актуальные структурированные данные из открытого веба.
По словам CEO компании Вайдотаса Юкниса, большинство ИИ-стартапов не располагают ресурсами для самостоятельного построения скрейпинговой инфраструктуры. Web Data API закрывает этот пробел, предоставляя все необходимые инструменты через единую точку интеграции.
Почему ИИ-агентам нужны свежие данные из веба
Языковые модели обучаются на фиксированном срезе информации и не имеют доступа к актуальным данным по умолчанию. Агенты, отслеживающие новостные ленты, цены или корпоративные события, вынуждены получать информацию в реальном времени. RAG-системы также напрямую зависят от свежести извлекаемых документов.
Самостоятельная реализация такого доступа требует развёртывания скрейперов с ротацией IP-адресов, обхода антибот-защиты и CAPTCHA, а также последующей очистки контента от навигации, рекламы и шаблонных блоков. Всё это отвлекает инженерные ресурсы от разработки самого продукта.
Четыре эндпоинта в одном аккаунте
Web Data API предоставляет доступ к четырём функциональным блокам через один ключ:
- Scrape — извлекает очищенный контент отдельной страницы, включая страницы с антибот-защитой.
- Search — возвращает живые результаты поиска по вебу, заменяя прежний Fast Search API.
- Map — раскрывает структуру сайта; один запрос возвращает до 147 000 URL.
- Crawl — автоматически обходит ссылки сайта и собирает до 10 000 страниц в рамках одного задания.
Все четыре эндпоинта работают через прокси-сеть Decodo, насчитывающую более 125 миллионов IP-адресов в 195+ локациях.
Практические сценарии применения
Продукт уже используется в нескольких типовых рабочих процессах. RAG-команды применяют краулинг для конвертации документации в чистый Markdown, пригодный для эмбеддингов. Разработчики coding-инструментов подключают поиск для получения актуальных результатов прямо в IDE или агенте. Юридические и исследовательские команды сначала картируют сайты регуляторов, затем извлекают нужные документы. Команды конкурентной разведки регулярно запускают map и crawl для мониторинга каталогов конкурентов.
Условия доступа и бесплатный уровень
Decodo предоставляет до 10 000 бесплатных запросов в месяц, распределённых между всеми четырьмя эндпоинтами. Квота обновляется ежемесячно, регистрация не требует привязки карты. Это позволяет командам провести полноценный пилот перед переходом на платный тариф.
Для команд, строящих продукты на основе ИИ-агентов или RAG, подобный инструмент снижает порог входа в работу с веб-данными: вместо сборки инфраструктуры из нескольких сервисов достаточно одной интеграции с единым биллингом и дашбордом.
Источник:
Search Engine Journal — https://www.searchenginejournal.com/decodo-launches-web-data-api-to-give-ai-agents-web-access/
