Вы соберёте систему контроля качества данных для аналитического e-commerce пайплайна. Она будет проверять данные на каждом этапе и останавливать пайплайн при обнаружении проблем. По словам автора, итоговый шаблон можно использовать в рабочем проекте. ## Что вы изучите Вы научитесь писать SQL-проверки на пропуски, дубликаты, допустимые диапазоны и связи между таблицами. На данных интернет-магазина вы найдёте ошибки и проверите изменения схемы. Для валидации данных в Python вы используете Pydantic и Pandera. С Great Expectations вы настроите автоматические проверки, соберёте набор правил и познакомитесь с отчётами Data Docs. ## Сквозной проект и формат В течение курса вы будете строить аналитический пайплайн для e-commerce. Каждый модуль добавляет слой контроля: от SQL-проверок и Python-валидации до мониторинга и запуска проверок в Airflow. Вы настроите мониторинг свежести, объёма и схемы данных, затем встроите проверки в Airflow DAG и остановку пайплайна при ошибках. Результат финального проекта можно сравнить с эталоном. Курс включает 38 уроков, 25 минут видео и 23 теста. ## Кому подойдёт Курс рассчитан на аналитиков данных, а также дата-инженеров уровня junior и middle, которые уже работают с SQL и Python. Для занятий нужны базовые знания SQL, включая SELECT, JOIN и GROUP BY, и Python: функции, циклы и работа с pandas. Остальные темы разбирают с нуля.