Data инженер

☑️ Чем предстоит заниматься -На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих. Дальше планируем развивать и масштабировать инфраструктуру, запускать потоковое получение данных, увеличивать количество подключенных источников, развивать ETL и Reverse ETL, работать с качеством данных и развивать Data Catalog и Data Lineage -Разрабатывать и дорабатывать ETL-процессы в Airflow -Подключать новые источники данных -Создавать и дорабатывать витрины -Оптимизировать SQL-запросы в GreenPlum и PostgreSQL -Работать с большими объемами данных -Развивать процессы контроля качества данных ☑️ Наши пожелания к кандидатам -Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных -От 1 года опыта работы с данными -Отличное знание SQL: JOIN, оконные функции, процедуры -Умение профилировать и оптимизировать запросы, понимать план выполнения -Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM -Практический опыт работы с Airflow и ETL-процессами -Python на базовом уровне -Знание Linux и умение работать с командной строкой -Опыт работы с Git -Понимание принципов работы Docker -Опыт работы с большими данными (>100 GB) -Опыт работы с DataHub