Старший разработчик

Авито

ЛокацияРоссия, Москва
ОтрасльИТ, интернет, телеком
СпециализацияРазработка ПО
Формат работыОфис
Опубликовано 14 ноября 2026 г.

Наша команда развивает направление оптимизации инференса LLM на GPU Авито. Мы повышаем эффективность использования оборудования и помогаем продуктовым командам запускать модели с учётом профиля нагрузки, качества и метрик производительности. Что предстоит делать: — проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования; — развивать методику оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг; — регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов; — тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса; — масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс, переход на новые инференс-бэкенды; — доводить изменения до продакшена по циклу - профилировать, оптимизировать, тестировать, внедрять при подтверждённых метриках; — запускать LLM-модели с использованием платформы инференса. Кого мы ищем: — оптимизировали LLM-модели с учётом профиля нагрузки; — работали с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими, запускали и настраивали их, подбирали параметры; — знаете, как устроен LLM-инференс, и понимаете методы оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация; — знаете принципы работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU; — профилировали GPU и работали с инструментами для мониторинга; — проводили нагрузочное тестирование и бенчмаркинг LLM-моделей: latency, TTFT, TPOT, и тд, умеете корректно сравнивать результаты и делать выводы; — работали с Docker, Kubernetes, метриками и дашбордами Prometheus, Grafana; — готовы внедрять изменения в продакшен, поддерживать их и объяснять результат продуктовым командам. Будет плюсом — писали или оптимизировали CUDA-кернелы, понимаете SIMT и архитектуру GPU NVIDIA; — внедряли спекулятивное декодирование, мульти-LoRA-сервинг или распределённый инференс; — работали с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналогами; — знаете C++ или Go; — следите за статьями и проектами с открытым исходным кодом по ускорению инференса и быстро проверяете идеи на практике. Условия сотрудничества: — расширенная забота о здоровье: ДМС, страхование жизни, онкострахование; — сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких; — корпоративный спорт: групповые тренировки, велбиинг-приложение; — спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование; — компенсация питания; — инженерная свобода для реализации масштабных задач; — продуктовый подход к инфраструктуре, который базируется на метриках; — сильное инженерное комьюнити, готовое поддержать и поделиться опытом; — эффективные инструменты для роста и развития: матрица компетенций, внутреннее обучение, менторство и обмен опытом.

⚠️ Уважаемые соискатели, будьте внимательны при откликах на вакансии.

Зарплата

Не указано