Data engineer

Мы — команда ПКАП AEF, развивающая платформу данных внутри AEF (Agent Execution Framework — среды исполнения и управления AI-агентами в контуре банка), которая получает и обрабатывает трейсы работы агентов, формирует витрины для мониторинга, оценки качества и развития AI-агентов, а также для команд разработки, аналитики и внутренних потребителей Банка. Ищем инженера данных, умеющего доводить решения до промышленной эксплуатации и готового отвечать за их работу после запуска. Место работы: г Москва Требуемый опыт: От 3 до 6 лет Обязанности: * разрабатывать и выводить в ПРОМ витрины на SQL, Spark, Scala. * разрабатывать сервисы для обработки и поставки данных. * готовить данные для исследований в лабораторном контуре: работать с трейсами, техническими показателями и метриками AI-агентов. * сопровождать витрины: анализировать логи и метрики, находить причины сбоев, устранять их и предотвращать повторение. * разрабатывать проверки качества данных и тестировать расчёты * поддерживать техническую документацию и базу знаний, консультировать внутренние команды по составу и использованию данных. Требования: * опыт в data engineering от 3х лет * практический опыт разработки на PySpark или Spark * опыт разработки на Python или Scala * уверенное знание SQL (сложные запросы, оптимизация) * практический опыт работы с Hadoop, включая HDFS, YARN и Hive. * понимание устройства хранилищ данных, принципов построения витрин и организации потоков данных от источника до потребителя. * опыт вывода расчётов или сервисов в промышленную среду: Git, CI/CD, тестирование, диагностика сбоев по логам и метрикам. * знание и регулярное использование LLM-инструментов для инженерных задач. Важно уметь оценивать их ответы и самостоятельно отвечать за качество итогового решения. Условия: * комфортный, современный офис м. Кутузовская * возможность выбрать удобный график – офис/гибрид * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь руководителя на старте (для Junior позиций) * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * льготная ипотека для каждого сотрудника * бесплатная подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера. * корпоративная пенсионная программа * отсутствие строгого дресс-кода.