Data Engineer. 20-й поток — курс о задачах дата-инженера: от обработки данных до проектирования хранилища и создания BI-дашборда с ответами на вопросы бизнес-аналитиков. ## Как устроен курс Курс длится 10 недель и включает 30 занятий, 10 лабораторных работ и видеозаписи занятий с тайм-метками. Указанная нагрузка — 10–15 часов в неделю; в зависимости от начального уровня участие может занимать около 20 часов в неделю. Лабораторные работы приближены к задачам дата-инженеров и выполняются в рабочей инфраструктуре. За два месяца вы выполните 10 практических заданий с разными инструментами. На второй неделе научитесь разворачивать Apache Kafka, отправлять и обрабатывать сообщения, а также познакомитесь с написанием пайплайнов на Apache Airflow. На занятиях преподаватели-практики показывают инструменты и фреймворки, которые используются в лабах. Kafka, Airflow, ClickHouse, Spark, Redis и Docker изучают на подробных занятиях и применяют в лабораторных работах. Также в курс входят Apache Flink, Grafana, dbt, Kubernetes и другие инструменты; по некоторым предусмотрены дополнительные задания. В ходе курса участники анализируют полученные знания и заполняют карту компетенций, знакомятся с альтернативами популярным инструментам и собирают дополнительные ресурсы. Полученные знания можно применять в работе и собственных проектах. Презентации, Jupyter-ноутбуки, лабы и мануалы размещают в закрытом репозитории GitHub. Обучение проходит на русском языке с упором на международные технологии, включая Spark, Scala, SQL и архитектуру дата-платформ. ## Кому адресован курс - Аналитикам данных, которые хотят лучше понимать цикл работы с данными и инфраструктуру обработки, находить общий язык с дата-инженерами или познакомиться с инженерной ролью. - Бэкенд-разработчикам с инженерным опытом, в том числе в нагруженных проектах, которые хотят узнать о задачах дата-инженеров и разработке высоконагруженных дата-приложений или сменить область работы. - Техлидам и менеджерам команд дата-аналитиков, которым нужно ориентироваться в инструментах и технологиях, определять направление развития команды, оценивать сроки и понимать требования бизнеса. Курс также позволяет освежить знания о современных инструментах и практиках DE. - Практикующим дата-инженерам, которые хотят структурировать знания и познакомиться с инструментами и подходами. Авторы курса рассчитывают, что после обучения вы сможете работать дата-инженером и развиваться в профессии. Обучение рассчитано также на тех, кто переехал или планирует карьеру в другой стране; в исходном описании упомянуты рынки СНГ, Европы и Израиля и глобальные IT-компании. ## Рекомендуемые знания - Python: базовый синтаксис, циклы, условные операторы, функции, чтение и запись файлов. Это основной язык курса; он понадобится для Spark и Airflow. - Основы Linux: вход на удалённый сервер по SSH, настройка авторизации по SSH-ключу, команды для перемещения по директориям, создания и редактирования файлов и выход из vim. Командная строка понадобится для работы с кластером. - SQL: язык пригодится для скриптов SparkSQL при работе с Apache Spark и небольших запросов к ClickHouse в нескольких лабах. ## Что учесть перед обучением Курс включает инженерные практики и не рассчитан на обучение ML-моделей. Занятия можно смотреть без выполнения лаб, но авторы считают, что такой формат существенно уменьшает ценность участия. Почти во всех лабораторных работах нужно писать код и редактировать конфигурации на машинах. При высокой нагрузке в даты курса авторы советуют учитывать время, необходимое для занятий. <div class="desc-figure"><a href="/gallery/529901/original/1.webp" target="_blank"><img src="/gallery/529901/original/1.webp" alt="Сертификат об окончании курса Data Engineer с отличием" loading="lazy"></a></div> ## Авторы Игорь Мосягин — ментор программы, Data Consultant в shrimpsizemoose AB. ## Другие авторы - Дмитрий Андреев — координатор, ведущий инженер по работе с инфраструктурой данных, Райффайзенбанк. - Максим Тарасов — координатор, Lead R&D Engineer, White Wave Media. - Николай Марков — Data Platform Lead, Altenar. - Сергей Гришаев — Senior Data Engineer, Wildberries. - Егор Матешук — технический директор, ГПМ Дата. - Александр Зайцев — CTO, Altinity. - Валерия Дымбицкая — разработчик, Upgini. - Екатерина Островская — руководитель направления развития бизнес хранилища данных, Райффайзенбанк. - Андрей Кучеров — TechLead DE, Beeline. - Андрей Серебрянский — Lead Developer, Яндекс. Старт — весной 2027 года.