Контур
Удалённо
Гибрид
Контур — экосистема для бизнеса. Наши сервисы помогают каждой третьей компании России делать рабочие процессы проще и эффективнее: вести бухгалтерию, сдавать отчетность в госорганы, обмениваться документами без бумаги, общаться друг с другом на удаленке и многое другое. С нами жизнь 3,1 миллионов предпринимателей и их сотрудников становится легче. О направлении В команде центра ИИ работает более 100 человек: ML-разработчики, разработчики и аналитики данных, DevOps-инженеры, QA, системные аналитики, product- и project-менеджеры. Свое железо (A100/H100/B300) и асессорская служба позволяют нам не ограничивать себя при работе с чувствительными данными. А крутая инфраструктурная команда создает, улучшает и развивает инструменты MLOps на любой вкус от ресерча до прода. О команде Мы развиваем Контур.LLM — собственную платформу, которая предоставляет доступ к большим языковым моделям через API. Наша цель — развивать ИИ-инфраструктуру на собственных серверах, чтобы продукты Контура могли использовать современные модели без зависимости от внешних провайдеров. Для этого мы работаем над производительностью моделей, увеличиваем пропускную способность и оптимизируем затраты на вычисления. Технологии Языки программирования и ML: Python, PyTorch. LLM-инференс: vLLM, LMCache. Контейнеризация и оркестрация: Docker, Kubernetes, Helm. Инфраструктура: Linux, NVIDIA GPU. Мониторинг: Prometheus, Grafana, Kibana. Задачи Развивать инфраструктуру LLM-инференса, обеспечивать стабильную и быструю работу моделей в production. Оптимизировать производительность вывода, работать с пакетной обработкой запросов, KV-cache, prefill и decode, а также с механизмами ускорения генерации. Исследовать и внедрять способы эффективного использования GPU, снижения задержек и увеличения пропускной способности сервисов. Профилировать и тестировать производительность моделей, находить узкие места и оценивать эффективность технических решений. Развивать мониторинг и инструменты наблюдаемости, обеспечивать надежную работу LLM-сервисов под нагрузкой. Взаимодействовать с продуктовыми и инфраструктурными командами, помогать находить решения для производительности и стабильности LLM API. Мы ожидаем Практический опыт развертывания и эксплуатации LLM-сервисов в production. Глубокое понимание архитектуры LLM-инференса и принципов работы современных систем вывода. Опыт работы с vLLM и понимание механизмов PagedAttention, continuous batching, prefix caching и KV-cache. Знание подходов к оптимизации инференса, включая квантизацию, speculative decoding, управление prefill и decode, а также вычислительными ресурсами. Понимание особенностей работы LLM на GPU, умение анализировать производительность, задержки и использование памяти. Уверенные навыки работы с Python, PyTorch, Linux, Docker и Kubernetes. Опыт профилирования и бенчмаркинга LLM-инференса, понимание метрик TTFT, TPOT и пропускной способности. Умение самостоятельно разбираться в сложных технических проблемах, находить причины снижения производительности и предлагать решения. Готовность участвовать в поддержке production-сервисов и работать с требованиями к их надежности. Будут плюсами Опыт работы с SGLang, TensorRT-LLM или Triton Inference Server. Опыт разработки CUDA- и Triton-ядер, а также использования NVIDIA Nsight. Опыт распределенного инференса, включая tensor, pipeline и expert parallelism. Опыт работы с MoE, а также с моделями с длинным контекстом. Участие в open source проектах vLLM, LMCache, SGLang или аналогичных. Мы предлагаем Уровень дохода, который зависит от ваших технических знаний и навыков. Регулярно пересматриваем зарплаты с учетом профессионального роста. Финансовые бонусы тоже есть. Заботу о вашем комфорте. Можете работать удаленно, гибридно или в офисе, в любом случае предоставим технику и все необходимое. Если вам по душе работать из офиса — обеспечим удобным местом, зонами отдыха, кухней с полезными перекусами. Сильное инженерное комьюнити. Регулярно проводим внутренние технические конференции, обмениваемся опытом между командами. Вы всегда найдете, с кем посоветоваться. Возможность сменить продукт, команду или предметную область внутри компании. Поддерживаем развитие в любом направлении. Общение на «ты» и максимум горизонтальных связей в коллективе, чтобы быстрее договариваться и решать рабочие задачи. Возможность делиться экспертизой. Помогаем выступать на конференциях, участвовать в подкастах или видео, писать статьи. Поддержку профессионального развития. Организуем внутреннее и внешнее обучение. Опыт от 3 лет
Зарплата
Не указано



