Middle AI Infrastructure Engineer

Мы ищем опытного Middle AI Infrastructure Engineer, который возьмёт на себя масштабирование и поддержку высокопроизводительной LLM-инфраструктуры. Фундамент инфраструктуры уже положен. Вашей задачей будет его развитие и улучшение под растущие нагрузки Место работы: г Москва Требуемый опыт: От 3 до 6 лет Обязанности: · Обеспечить надёжность LLM-сервинга в проде: стабильная работа инференса (vLLM/SGLang) под highload нагрузками, обновления без даунтайма, планирование мощностей под растущую нагрузку · Развитие шлюзового слоя: роутинг запросов между моделями на разных серверах, rate limits, балансировка, наблюдаемость. · Оптимизация производительности: Настройка работы инференс-сервисов (vLLM, SGLang), оптимизация распределения ресурсов между GPU нодами. Оптимизация параметров инференса моделей в зависимости от типа ожидаемых нагрузок. · Мониторинг и стабильность: Внедрение глубокого мониторинга метрик GPU (память, ядра, температура) и производительности моделей. · Сопровождение: Оперативное решение инцидентов и обеспечение высокой доступности сервисов. Требования: ·      Опыт работы в DevOps/SRE или системной инженерии от 3 лет. ·      Практический опыт с LLM-сервингом: (любым из: vLLM, SGLang, TGI, Triton). Понимание конфигурирования движков под разные типы нагрузок и плюсы и минусы различных конфигураций) (high throughput, low latency). ·      Глубокие знания Linux, контейнеризации (Docker) и оркестрации (Kubernetes). ·      Опыт работы с GPU-инфраструктурой (NVIDIA drivers, Docker с доступом до GPU, CUDA). ·      Навыки программирования на Python или Go (для автоматизации задач). ·      Опыт работы с инструментами мониторинга (Prometheus, Grafana). ·      Понимание того, как работают нейросети на системном уровне. Будет преимуществом: ·      Практический опыт запуска модели на нескольких GPU в рамках одного/нескольких серверов (Data/Tensor параллелизм) ·      Опыт работы с шлюзами LLM сервинга вроде LiteLLM ·      Английский язык для чтения документации Стек: vLLM и SGLang на GPU, LiteLLM + Shepherd Model Gateway, OpenWebUI, Kubernetes. Условия: * комфортный современный офис - м. Кутузовская * ежегодный пересмотр зарплаты, годовой бонус * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.