SQL и Python для проверки данных: автотесты и Great Expectations

Школа Stepik

Вы соберёте систему контроля качества данных для аналитического e-commerce пайплайна. Она будет проверять данные на каждом этапе и останавливать пайплайн при обнаружении проблем. По словам автора, итоговый шаблон можно использовать в рабочем проекте. ## Что вы изучите Вы научитесь писать SQL-проверки на пропуски, дубликаты, допустимые диапазоны и связи между таблицами. На данных интернет-магазина вы найдёте ошибки и проверите изменения схемы. Для валидации данных в Python вы используете Pydantic и Pandera. С Great Expectations вы настроите автоматические проверки, соберёте набор правил и познакомитесь с отчётами Data Docs. ## Сквозной проект и формат В течение курса вы будете строить аналитический пайплайн для e-commerce. Каждый модуль добавляет слой контроля: от SQL-проверок и Python-валидации до мониторинга и запуска проверок в Airflow. Вы настроите мониторинг свежести, объёма и схемы данных, затем встроите проверки в Airflow DAG и остановку пайплайна при ошибках. Результат финального проекта можно сравнить с эталоном. Курс включает 38 уроков, 25 минут видео и 23 теста. ## Кому подойдёт Курс рассчитан на аналитиков данных, а также дата-инженеров уровня junior и middle, которые уже работают с SQL и Python. Для занятий нужны базовые знания SQL, включая SELECT, JOIN и GROUP BY, и Python: функции, циклы и работа с pandas. Остальные темы разбирают с нуля.

Предзаказ без оплаты

Как работает предзаказ

Запись бесплатная: сейчас ничего оплачивать не нужно.

  1. 1
    Запишитесь бесплатно

    Оставьте почту — банковская карта и оплата не нужны.

  2. 2
    Дождитесь старта

    Мы отправим письмо, когда складчина начнётся.

  3. 3
    Решите после старта

    Только тогда можно внести взнос и присоединиться к складчине.