Data Engineer (Python + Spark)

В команде разрабатывается ML-система, детектирующая Out-of-stock ситуации и аномалии в продажах, которая в near-real-time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов. ☑️ Чем предстоит заниматься -Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно) -Настраивать хранение и доступность данных в DWH -Интегрировать источники данных, обеспечивать качество и мониторинг пайплайнов