Масштабируйте парсинг веб-страниц и сбор данных без блокировки

Сбор общедоступных данных, как правило, законен в большинстве юрисдикций, особенно после того, как постановление hiQ против LinkedIn подтвердило доступ к общедоступной информации. Однако законность зависит от того, какие данные собираются, как они используются, а также от условий целевого сайта. Мы рекомендуем ознакомиться с действующим законодательством и проконсультироваться с юристом для вашего конкретного случая использования. IP-адреса ROLA IP можно использовать только для доступа к данным, которые вы имеете право собирать.

Это зависит от вашей цели. Прокси-серверы интернет-провайдеров (статические резидентные) являются лучшими универсальными решениями: они выглядят как настоящие домашние соединения, но обеспечивают стабильность и скорость на уровне центра обработки данных. Они идеально подходят для электронной коммерции, мониторинга результатов поиска и конвейеров данных, требующих постоянных сеансов. Для больших объемов и целей с низкой чувствительностью прокси-серверы центров обработки данных обеспечивают максимальную скорость. Мобильные прокси-серверы обеспечивают самое глубокое прикрытие для целей с ограниченным доступом или контента, предназначенного для мобильных устройств.

Да. Таргетинг на уровне страны доступен для всех 190+ поддерживаемых местоположений. Таргетинг на уровне города доступен в 210+ агломерациях. Вы устанавливаете цель в своих учетных данных прокси — отдельный файл конфигурации не требуется. Таргетинг на уровне ASN также доступен для сценариев, когда вам необходимо появиться в определенной сети.

Да. Подойдет любой инструмент, поддерживающий стандартную конфигурацию прокси-сервера HTTP/HTTPS, включая Scrapy, Puppeteer, Playwright, Selenium, Cheerio и Octoparse. Просто укажите настройки прокси-сервера инструмента на URL-адрес шлюза ROLA IP с вашими учетными данными. В нашей документации есть фрагменты копирования и вставки для каждой платформы.

Сначала переключитесь в режим ротации, чтобы каждый запрос использовал новый IP-адрес. Во-вторых, добавьте реалистичные заголовки запросов (User-Agent, Accept-Language, Referer), чтобы уменьшить количество сигналов отпечатков пальцев. В-третьих, снизьте частоту запросов и добавьте рандомизированные задержки. Если на определенной цели блокировки сохраняются, обратитесь в нашу службу поддержки — мы можем помочь настроить вашу стратегию сеанса или порекомендовать другой тип прокси-сервера для этого сайта.

ROLA IP предоставляет инфраструктуру прокси — для рендеринга JS вы подключите его к безголовому браузеру, такому как Puppeteer или Playwright. Направьте трафик браузера через шлюз ROLA IP, и вы получите как выполнение JS, так и покрытие резидентного IP-адреса. В нашей документации показано, как именно это настроить.

Да. Вы можете протестировать сеть в течение 7-дневного бесплатного периода — без банковской карты. Пробные аккаунты включают 5 ISP IP и полный доступ к панели управления, чтобы вы могли проверить процент успеха и геотаргетинг до выбора тарифа.

Тарификация зависит от продукта. Ротационные резидентные, ротационные серверные и мобильные планы тарифицируются за трафик (ГБ). Статические резидентные, выделенные серверные и выделенные IPv6 планы тарифицируются за IP — фиксированная ежемесячная плата за каждый IP-адрес в плане. Для крупного парсинга планы с оплатой за IP делают затраты предсказуемыми независимо от числа запросов, а планы с оплатой за ГБ позволяют наращивать объём, не фиксируя количество IP.