Data Engineer (Python + Spark)

В команде разрабатывается ML‑система, детектирующая Out‑of‑stock ситуации и аномалии в продажах, которая в near‑real‑time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов. Чем предстоит заниматься: - Разрабатывать и оптимизировать Spark‑пайплайны для обработки данных в масштабе (200+ млн строк ежедневно) - Настраивать хранение и доступность данных в DWH - Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари - Работать в связке с Data Science‑командой, обеспечивая стабильный и качественный поток данных для моделей - Участвовать в развитии платформы прогнозирования спроса Наши пожелания к кандидатам: - Стек: PySpark 2/3, Spark SQL - Hadoop / Hive / Trino / S3 / ClickHouse / Postgres / Greenplum - Airflow, Python3, Docker, YARN/k8s, pytest