Data Engineer

🔹Что нужно делать - Обеспечивать стабильную, производительную и безопасную работу Data Platform на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте - Настраивать, обновлять, мониторить и тюнить кластера Trino - Настраивать коннекторы (Iceberg, S3) - Оптимизировать производительность запросов (resource groups, query analysis) - Оптимизировать производительность Iceberg (partitioning, clustering, metadata management) - Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы 🔹Какой опыт и знания нужны - Обладаете пониманием взаимодействия Spark с Iceberg и S3 - Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore) - Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution - Имеете навыки Linux, Bash, Python для автоматизации - Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg - Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы - Иметь опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg).