Data Engineer

ETL-миграция ☑️ Чем предстоит заниматься -Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum) -Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код -Написание и оптимизация SQL для витрин данных и ETL-процессов -Разработка DAG-ов в Airflow -Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы) -Разработка Spark-джобов (PySpark) для больших объемов -Интеграция с Kafka для потоковой передачи -Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик -Разбор инцидентов по качеству данных и ошибкам загрузки -Code review ☑️ Наши пожелания к кандидатам -Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек) -Глубокий SQL: оконные функции, сложные джойны, иерархические запросы -Оптимизация SQL для highload (партиционирование, индексы, explain plans) -Oracle (PL/SQL) и PostgreSQL -Greenplum и/или Clickhouse -Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow -Hadoop (HDFS) и Hive -Мониторинг ETL: Grafana/Prometheus или Victoria Metrics -Опыт работы с биллинговыми системами (желательно телеком-домен) -Будет плюсом: -Потоковая обработка: Kafka Streams / Spark Streaming -Informatica PowerCenter (понимание мигрируемой системы) -Бинарные форматы хранения в Hadoop -Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL -Patroni для кластеризации PostgreSQL/Greenplum -S3-хранилища -КриптоПро или защищенные каналы передачи данных