Middle LLM Researcher (диффузионные текстовые модели)

Команда текстовых диффузионных моделей занимается прикладными исследованиями в области языковых моделей с альтернативными архитектурами и подходами к генерации текста: диффузионные текстовые модели, креативный генеративный ИИ. Место работы: г Москва Требуемый опыт: От 3 до 6 лет Обязанности: * Организация SFT и RL дообучения моделей для агентного креативного ИИ * Улучшение моделей спекулятивного декодирования для ускорения инференса LLM, доработка архитектур, пайплайна обучения и протокола оценки. * Подготовка датасет для агентного сценария генерации русскоязычной поэзии. Требования: * Владение инструментами и экосистемой: Linux, Python, torch, transformers, vllm. * Практический опыт проведения экспериментов в ML: планирование, сбор обучающих данных, оценка моделей, включая человеческую разметку, статобработка результатов, масштабирование. * Опыт работы с языковыми моделями: архитектурные модификации трансформера, распределенная тренировка, бенчмаркинг, оптимизация инференса. * Опыт работы с данными для обучения LLM: генерация синтетики, очистка данных, подготовка датасетов для обучения. Будет плюсом * Практический опыт запуска распределенных задач в вычислительном кластере. * Опыт научных публикаций по темам CS и ML. * Опыт доведения ML решений до прода. Условия: * комфортный современный офис рядом с м. Кутузовская * гибридный формат работы * ежегодный пересмотр зарплаты, годовая премия от 3х окладов * большой спортзал и зоны отдыха * система обучения для профессионального и карьерного развития * расширенный полис ДМС с первого дня работы и страхование для семьи * программа ипотеки для сотрудников со скидкой -1/3 от текущей ставки * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера.