Веб-парсинг в Python. Создайте собственное промежуточное ПО в Scrapy
- Суть
- Разработка собственного промежуточного ПО (middleware) для Scrapy на Python для обхода блокировок и веб-парсинга
- На выходе
- Проектировать архитектуру парсеров на базе Scrapy; Создавать собственное промежуточное ПО для Scrapy; Управлять потоками данных и запросов в Scrapy; Настраивать ротацию прокси-серверов; Автоматизировать обход блокировок при сборе данных
- Навыки
- Python · Scrapy · Разработка промежуточного ПО · Настройка ротации прокси · Обход блокировок · Веб-парсинг