Data Engineer

Aston Data Engineer / Дата инженер Опыт работы: 3–6 лет Полная занятость График: 5/2 Формат работы: удалённо ☑️ Чем предстоит заниматься -реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем -реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения -разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу -своевременно отражать статусы выполнения задач в Jira -проверять качество кода, написанного инженерами данных ☑️ Наши пожелания к кандидатам -опыт работы в роли Data Engineer от 4-х лет -отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование -опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas -опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников -способность разобраться с API поставщиков данных, используя доступную документацию -отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности -опыт работы с БД Oracle, Postgres, Greenplum -опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow -опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark -опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups -опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink -опыт работы с Flink