Data Engineer (ETL-миграция)

Описание проекта: Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum); Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код; Написание и оптимизация SQL для витрин данных и ETL-процессов; Разработка DAG-ов в Airflow; Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы); Разработка Spark-джобов (PySpark) для больших объемов; Интеграция с Kafka для потоковой передачи; Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик; Разбор инцидентов по качеству данных и ошибкам загрузки; Code review. Требования: Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек); Глубокий SQL: оконные функции, сложные джойны, иерархические запросы; Оптимизация SQL для highload (партиционирование, индексы, explain plans); Oracle (PL/SQL) и PostgreSQL; Greenplum и/или Clickhouse; Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow; Hadoop (HDFS) и Hive; Мониторинг ETL: Grafana/Prometheus или Victoria Metrics; Опыт работы с биллинговыми системами (желательно телеком-домен). Будет плюсом: Потоковая обработка: Kafka Streams / Spark Streaming; Informatica PowerCenter (понимание мигрируемой системы); Бинарные форматы хранения в Hadoop; Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL; Patroni для кластеризации PostgreSQL/Greenplum; S3-хранилища; КриптоПро или защищенные каналы передачи данных.