Инженер данных мастер-систем / Data Engineer

#middle #удаленка #гибрид #офис Melon Fashion Group. IT Инженер данных мастер-систем / Data Engineer Опыт работы: 3–6 лет Полная занятость График: 5/2 Формат работы: удалённо или гибрид или офис ☑️ Чем предстоит заниматься -Проектировать структуры операционных хранилищ и модели мастер-данных -Разрабатывать процессы загрузки, обработки, хранения и передачи данных -Создавать пакетные и потоковые интеграции между информационными системами -Настраивать получение изменений из систем-источников, включая CDC-механизмы -Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных -Обеспечивать хранение истории изменений мастер-данных -Готовить данные для передачи в DWH и другие системы-потребители -Разрабатывать проверки качества данных, технические и бизнес-сверки -Настраивать мониторинг, логирование и обработку ошибок -Анализировать причины расхождений, задержек и сбоев в интеграционных процессах -Участвовать в выборе архитектурных и технологических решений -Сопровождать и развивать разработанные решения в промышленной эксплуатации ☑️ Наши пожелания к кандидатам -Уверенное владение SQL -Опыт разработки на Python -Опыт проектирования структур и моделей хранения данных -Опыт создания ETL- или ELT-процессов -Понимание принципов пакетной и потоковой обработки данных -Понимание интеграционных паттернов и способов передачи данных между системами -Навыки работы с реляционными СУБД -Понимание механизмов обеспечения целостности и консистентности данных -Опыт настройки логирования, мониторинга и обработки ошибок -Умение самостоятельно прорабатывать техническое решение и доводить его до промышленной эксплуатации -Будет плюсом: -Опыт работы с Kafka, Flink или Debezium -Практический опыт реализации CDC-процессов -Опыт разработки процессов в Apache Airflow -Опыт работы с ClickHouse -Участие в создании MDM-решений, мастер-систем или операционных хранилищ -Опыт реализации правил сопоставления, дедупликации и консолидации данных -Опыт построения систем контроля качества данных и автоматизированных сверок -Понимание событийно-ориентированной архитектуры -Опыт интеграции с API, брокерами сообщений и внешними информационными системами -Опыт работы с Git, CI/CD и контейнеризацией