Data Engineer

Опыт работы: глубокий экспертный опыт с Apache Spark от 4-5 лет Формат работы: офис/гибрид (Москва, Нижний Новгород, Санкт-Петербург) CINIMEX — IT-компания с 29‑летней историей, разработчик ПО и системный интегратор. Работает с российскими банками ТОП‑20, ритейлерами, производственными и добывающими компаниями. ☑️ Чем предстоит заниматься - Разработка ETL‑пайплайнов (Apache Spark on Java, HDFS (parquets), ClickHouse, Hive, Greenplum) - Разработка витрин данных в Greenplum и ClickHouse - Оркестрация ETL‑процессов - Оптимизация ETL‑процессов (батчинг, ретраи, SLA‑контроль) - Взаимодействие с BI‑разработчиками и DevOps для своевременной доставки данных в Superset ☑️ Наши пожелания к кандидатам - Глубокий экспертный опыт работы с Apache Spark от 4‑5 лет (оптимизация джобов, работа с широкими и узкими зависимостями, настройка памяти и shuffle‑операций) - Опыт работы с ClickHouse и Hadoop (HDFS, Hive) - Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных - Продвинутые знания SQL - Готовность осваивать Java для использования Spark