Apache Iceberg для Data Engineer

Суть
Настройка среды, управление таблицами, транзакциями и версиями данных в Apache Iceberg на примерах в Spark
На выходе
Настраивать окружение Iceberg; Выполнять запросы к историческим данным через Time Travel; Восстанавливать таблицу после ошибки с помощью Rollback; Применять Schema Evolution и Partition Evolution без полной перезаписи; Использовать паттерн WAP (Write-Audit-Publish) для проверки изменений
Навыки
работа с Apache Iceberg · запросы Time Travel · Rollback таблицы · Schema Evolution · Partition Evolution · применение паттерна WAP · управление Deletion Vectors · Spark SQL
Кому подойдёт
инженеры данных; аналитики данных
Знать заранее
SQL на базовом или среднем уровне (SELECT, JOIN, GROUP BY, DDL-операции); Основы Spark или Python; Понимание различия между файлами в S3 или HDFS и таблицей базы данных; Умение запускать контейнер через docker-compose
Предзаказ без оплаты

Как работает предзаказ

Запись бесплатная: сейчас ничего оплачивать не нужно.

  1. 1
    Запишитесь бесплатно

    Оставьте почту — банковская карта и оплата не нужны.

  2. 2
    Дождитесь старта

    Мы отправим письмо, когда складчина начнётся.

  3. 3
    Решите после старта

    Только тогда можно внести взнос и присоединиться к складчине.