Senior Data инженер

Компания: RedLab Локация: РФ, РБ Гражданство: РФ, РБ Опыт: больше 5-ти лет Требования: • Опыт работы Data Engineer от 5 лет. • Знание методологии Data Vault 2.0 • Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных. • Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных. • Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений. • Практический опыт работы с Apache Spark. • Опыт работы с Apache Airflow, Apache Kafka • Опыт работы с системами потоковой обработки данных • Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro; • Опыт работы с экосистемой Hadoop/Apache Iceberg или современными платформами хранения и обработки данных. • Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum). • Уверенное владение Git и понимание процессов CI/CD. • Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги). • Понимание принципов построения отказоустойчивых и масштабируемых решений. • Опыт использования dbt для построения трансформационных слоев данных. • Практика внедрения Data Quality решений (Great Expectations, Soda и др.). • Опыт работы с Data Catalog и Data Governance инструментами. Задачи на проекте: • Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных. • Разработка и оптимизация batch- и streaming-пайплайнов для загрузки, трансформации и публикации данных. • Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных. • Проектирование моделей данных для аналитических и операционных сценариев. • Оптимизация производительности процессов обработки данных и SQL-запросов. • Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных. • Участие в проектировании архитектуры платформы данных и выборе технологических решений. • Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных. • Подготовка технической документации и архитектурных артефактов. • Проведение код-ревью, техническое менторство и участие в развитии команды.