Data engineer

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Мы занимаемся разработкой витрин данных для клиентов с Пакетами Услуг - расчет доступных клиентам уровней пакетов на основе данных о балансах и расходах Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным! Место работы: г Москва Требуемый опыт: От 3 до 6 лет Обязанности: Чем предстоит заниматься: * разрабатывать и поддерживать витрины данных в экосистеме Hadoop * проектировать и улучшать архитектуру системы * проводить анализ данных для построения прототипов (Python/Saprk) * разрабатывать и оптимизировать пайплайны обработки данных/ETL на собственном фреймворке на базе Spark, а также помогать другим командам * внедрять контроль качества данных (собственный DQ-фреймворк) Требования: Мы ждем от кандидата: * высшее образование * опыт работы data engineer от 3 лет * глубокое понимание принципов модели распределённых вычислений, а также уверенные навыки поиска, обработки данных и построения витрин с помощью Spark и SQL * опыт промышленной разработки на стеке Scala/Java/Python, знание инструментов по обработке больших данных (Spark, Trino, Polars) продвинутые знания SQL и практический опыт работы с Hadoop/Greenplum а также работа с объектными хранилищами S3 и файловой системой HDFS * знание любого оркестратора рабочих процессов (AirFlow, Oozie, Dagster, Argo Workflows) и понимание подходов к организации разработки (CI/CD, DevOps). Будет плюсом: * навыки работы с генеративными AI-моделями * опыт создания AI-агентов и использования их в работе. Условия: Что мы предалагем: * офис рядом с метро Кутузовская * гибридный формат работы * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * подписка Прайм с возможностью совместного использования на трёх близких * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * вознаграждение за рекомендацию друзей в команду Сбера