- Суть
- Потоковая обработка Big Data, NoSQL-хранилища, Spark, Cassandra, Kafka и форматы хранения данных
- На выходе
- Настраивать потоковую обработку данных с использованием Kafka и Spark Structured Streaming; Проектировать архитектуры "Лямбда" и "Каппа"; Интегрировать Spark с Cassandra для обработки больших данных; Оптимизировать производительность приложений при работе с Big Data; Выбирать и применять форматы данных Parquet, ORC и Avro в зависимости от задач
- Навыки
- Настройка Kafka · Spark Structured Streaming · Проектирование архитектуры Lambda · Проектирование архитектуры Kappa · Интеграция Spark с Cassandra · Работа с форматами Parquet, ORC, Avro · Настройка Key-Value хранилищ
