DA/DE

Требования: • Опыт работы от 2-х лет на позициях DA/DE в области DWH/BI. ➡️Обязательные hard skills: - Практический опыт работы с Apache Spark — ключевое требование - Продвинутое знание SQL: сложные joins, оконные функции, CTE, агрегации, подзапросы и оптимизация запросов. - Опыт оптимизации Spark-задач и SQL-запросов на больших объемах данных. - Опыт работы с S3 - Опыт работы с Apache Iceberg или понимание его ключевых возможностей - Понимание принципов построения хранилищ данных (DWH), ETL/ELT-процессов, нормализации данных и организации потоков обработки. - Опыт работы с технической документацией (BRD, FSD), умение писать ее четко и структурированно. - Опыт тестирования данных - Опыт работы с системами контроля версий, включая Git. ➡️Ключевые soft skills: - Системное аналитическое мышление - Коммуникабельность - Самостоятельность и ответственность - Внимание к деталям и аккуратность ➡️ Будет плюсом: - Понимание принципов работы с Oracle и Greenplum. - Опыт работы в финансовой сфере (банк, страхование, финтех). - Базовые знания Python для скриптинга и анализа данных. - Понимание методологий управления проектами (Agile, Scrum, Kanban). - Опыт работы с ClickHouse, Airflow, SuperSet, FineBI. - Понимание принципов организации data lake и lakehouse-архитектуры. ☑️Обязанности: • Анализ требований: - Прием и анализ входящей документации от заказчиков - Детальный разбор требований, их формализация, проработка неясных моментов. - Оценка возможности реализации с учетом используемого стека - Анализ влияния изменений на текущие процессы, модели данных, таблицы и связанные компоненты. • Проектирование и прототипирование: - Разработка и согласование концептуального и логического решения. - Проектирование потоков обработки и трансформации данных с использованием Apache Spark. - Работа с данными, размещенными в S3 и организованными с использованием Apache Iceberg. - Написание SQL-кода в среде Apache Spark для создания прототипов, проверки гипотез и подтверждения корректности предлагаемой логики расчетов или моделей данных. • Тестирование и выпуск изменений: - Приемка и тестирование патчей от разработчиков на тестовых/предпродуктивных/продуктивных стендах. - Проверка корректности Spark-задач, SQL-логики, загрузок в S3 и работы таблиц Iceberg. - Подготовка и контроль выгрузки доработок в продуктивный контур.