Big Data. Часть 2. Spark: from zero to hero
- Суть
- Обработка терабайтов данных и профессиональная эксплуатация Spark в кластерах с YARN
- Уровень
- для практикующих
- На выходе
- Проектировать архитектуру вычислений на Spark; Оптимизировать Spark-задания для минимизации shuffle; Настраивать работу Spark в кластерах YARN; Проводить тюнинг Garbage Collection и потребления памяти; Интегрировать Spark с Hive и эффективно использовать SQL API
- Навыки
- Spark · Hadoop · HDFS · YARN · Garbage Collection · DataFrames · Hive
- Кому подойдёт
- Инженеры данных, которые уже работают с Hadoop/HDFS
- Знать заранее
- Опыт работы с Hadoop/HDFS