В этом докладе разберём, как движок Catalyst оптимизирует SQL-запросы и использует статистику Apache Iceberg. Узнаете об основных типах оптимизаций, особенностях работы с данными и новой реализации расширенной статистики Iceberg.

Второй доклад посвящён практическому опыту перехода с Parquet на Iceberg в качестве бронзового слоя данных. Расскажем, как избавились от дублирования данных и сложностей с компакцией, а также как используем Iceberg для инкрементального чтения данных в Spark Structured Streaming.

В докладе расскажу о том, как мы интегрировали Spark в YTsaurus. Расскажу про основные этапы интеграции, такие как поддержка формата хранения данных YTsaurus, оптимизации для работы с сортированными таблицами, интеграция с планировщиком YTsaurus. Также расскажу про то, для чего нам изначально потребовалось сделать форк Spark и как мы в итоге от форка отказались. В заключении расскажу про состоянии интеграции Spark с YTsaurus на сегодняшний день и про перспективы развития этого проекта.