Data-инженер
- Суть
- Создание дата-архитектуры и проектирование пайплайнов для обработки данных
- На выходе
- Проектировать и внедрять эффективную дата-архитектуру; Разрабатывать и автоматизировать дата-пайплайны; Управлять потоками данных с использованием Apache Kafka и NiFi; Оптимизировать обработку данных с помощью Spark и Hadoop; Настраивать оркестрацию задач через Apache AirFlow
- Навыки
- Python · Apache AirFlow · Apache Kafka · Spark · ClickHouse · NiFi · Hadoop · Data Governance