Открываем Octoparse нажмите кнопку New и выбираем Advanced Mode.
Для задач парсинга через прокси подойдут пакетные прокси - стабильные адреса без общего пула.
В списке сайтов указываем тот из которого хотим извлечь данные.
Далее открываем настройки задач (Task Settings).
В разделе Anti-blocking Settings ставим галочку Use IP Proxies
Для парсинга больших объёмов используйте пакетные прокси с распределением нагрузки.
Далее в окне Proxy Settings устанавливаем таймер смены, указываем адреса, порт, логин и пароль от используемых прокси и нажимаем Confirm.
Если все настроено правильно возле Settings появится значек Check и можно сохранять настройки.
Дальше нужно выбрать информацию на сайте которую будем извлекать и нажать Extract the text from the element или другую функцию в зависимости от того что мы хотим извлечь.
Далее нажимаем Run для запуска задачи.
Далее Octoparse предложит выполнить задачу на нашем устройстве или же использовать их облачный сервис.
Посколькупрокси приватные (имеют авторизацию), то необходимо будет ввести логин и пароль для подключения к ним.
Далее запустится выполнение задачи и будет получен результат, который можно будет загрузить сразу Export Data или загрузить позже Export Later.
После чего выбираем формат в котором будем выгружать данные HTML, CSV, XLSX или JSON.
Обзор технологий сбора данных с сайтов - статья Web scraping: развёрнутый обзор технологий.
 — копия.webp)
.webp)
