- Суть
- Автоматизация сбора данных и веб-скрапинг с помощью Scrapy на Python с обходом защиты
- На выходе
- Создавать автоматизированных веб-пауков для сбора данных; Сохранять спаршенные данные в SQL и NoSQL базы данных; Настраивать обход защиты от скрапинга и блокировок; Подготавливать массивы данных для задач машинного обучения; Автоматизировать сбор контента с интернет-магазинов
- Навыки
- Scrapy · Python · Создание пауков (spiders) · Экспорт в JSON, CSV, XML · Работа с SQLite3, MySQL, MongoDB · Использование User-Agents · Использование прокси-серверов · Парсинг Amazon
- Кому подойдёт
- Python-разработчики; Фрилансеры
