Авито
Наша команда развивает направление оптимизации инференса LLM на GPU Авито. Мы повышаем эффективность использования оборудования и помогаем продуктовым командам запускать модели с учётом профиля нагрузки, качества и метрик производительности. Что предстоит делать: — проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования; — развивать методику оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг; — регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов; — тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса; — масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс, переход на новые инференс-бэкенды; — доводить изменения до продакшена по циклу - профилировать, оптимизировать, тестировать, внедрять при подтверждённых метриках; — запускать LLM-модели с использованием платформы инференса. Кого мы ищем: — оптимизировали LLM-модели с учётом профиля нагрузки; — работали с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими, запускали и настраивали их, подбирали параметры; — знаете, как устроен LLM-инференс, и понимаете методы оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация; — знаете принципы работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU; — профилировали GPU и работали с инструментами для мониторинга; — проводили нагрузочное тестирование и бенчмаркинг LLM-моделей: latency, TTFT, TPOT, и тд, умеете корректно сравнивать результаты и делать выводы; — работали с Docker, Kubernetes, метриками и дашбордами Prometheus, Grafana; — готовы внедрять изменения в продакшен, поддерживать их и объяснять результат продуктовым командам. Будет плюсом — писали или оптимизировали CUDA-кернелы, понимаете SIMT и архитектуру GPU NVIDIA; — внедряли спекулятивное декодирование, мульти-LoRA-сервинг или распределённый инференс; — работали с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналогами; — знаете C++ или Go; — следите за статьями и проектами с открытым исходным кодом по ускорению инференса и быстро проверяете идеи на практике. Условия сотрудничества: — расширенная забота о здоровье: ДМС, страхование жизни, онкострахование; — сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких; — корпоративный спорт: групповые тренировки, велбиинг-приложение; — спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование; — компенсация питания; — инженерная свобода для реализации масштабных задач; — продуктовый подход к инфраструктуре, который базируется на метриках; — сильное инженерное комьюнити, готовое поддержать и поделиться опытом; — эффективные инструменты для роста и развития: матрица компетенций, внутреннее обучение, менторство и обмен опытом.
⚠️ Уважаемые соискатели, будьте внимательны при откликах на вакансии.
Зарплата
Не указано



