- Суть
- Настройка среды, управление таблицами, транзакциями и версиями данных в Apache Iceberg на примерах в Spark
- На выходе
- Настраивать окружение Iceberg; Выполнять запросы к историческим данным через Time Travel; Восстанавливать таблицу после ошибки с помощью Rollback; Применять Schema Evolution и Partition Evolution без полной перезаписи; Использовать паттерн WAP (Write-Audit-Publish) для проверки изменений
- Навыки
- работа с Apache Iceberg · запросы Time Travel · Rollback таблицы · Schema Evolution · Partition Evolution · применение паттерна WAP · управление Deletion Vectors · Spark SQL
- Кому подойдёт
- инженеры данных; аналитики данных
- Знать заранее
- SQL на базовом или среднем уровне (SELECT, JOIN, GROUP BY, DDL-операции); Основы Spark или Python; Понимание различия между файлами в S3 или HDFS и таблицей базы данных; Умение запускать контейнер через docker-compose