Используем Proxy в Selenium

Привет. Вряд ли эта статья откроет Америку для прожженных разработчиков «парсеров» или тестировщиков, но должна помочь тем, кто работает с Selenium время от времени. Если вы иногда занимаетесь автоматизированным сбором информации с веб-ресурсов (т.н. веб-скрапинг или парсинг), то однозначно сталкивались с проблемой, что некоторые ресурсы недоступны из некоторых регионов, по разным причинам. Сейчас этой проблемы … Читать далее

Модуль Selenium

Selenium — модуль управляющий браузером под пилотированием кода Python путем программной имитации действий кожаного пользователя на сайтах. Модуль предоставляет более гибкий функционал, нежели requests и bs4, а так же снижает вероятность того, что скрипт будет распознан и заблокирован при работе на сайтах с серьезной защитой, так как строка user-agent в HTTP запросе не будет содержать … Читать далее

Загрузка всех комиксов с сайта XKCD (веб-скрейпинг)

Скрипт является разработкой автора книги «Автоматизация рутинных задач с помощью Python» Эла Свейгарта, на примере которого он объясняет, что такое веб-скрейпинг (парсинг). Однако российские локализаторы, как это часто бывает, при переводе книги запороли код, а ссылка на файл, указанная автором книги, уже нерабочая. Поэтому выкладываю рабочую версию скрипта сюда. Суть этого небольшого проекта состоит в … Читать далее