Руководитель ML-команды системных промптов Alice AI

Чем предстоит заниматься: - Техническое развитие направления: формировать технический курс вместе с командой, руководителем и продуктовыми партнёрами, выбирать ключевые гипотезы и принимать решения по результатам экспериментов. - Обучение и управляемость модели: развивать методы обучения, данные и reward-модели, которые помогают Alice AI следовать системным инструкциям. Работа включает постановку воспроизводимых экспериментов, анализ поведения модели и развитие следующей итерации решения. - Оценка качества: оценку качества системных промптов разрабатывает команда аналитики. Вы будете активно взаимодействовать с ней: помогать формулировать требования к оценке, следить за её качеством и проверять, насколько надёжно она отражает изменения в поведении модели. - Интеграция результатов: доводить подтверждённые экспериментами решения до релизной модели, согласовывать технические изменения с командами RL, интеграции и оценки качества и участвовать в разборе сложных проблем на стыке направлений. - Техническая работа с командой: вместе с командой исследовать актуальные подходы к управляемости языковых моделей, определять, какие из них подходят для наших задач, и проектировать решения для проверки на Alice AI. Наши пожелания к кандидатам: - Хорошо понимаете устройство современных LLM, instruction tuning и методы алайнмента. - Руководили техническим развитием ML-направления или сложного исследовательского проекта. - Умеете связывать продуктовые цели, исследовательские гипотезы и метрики качества. - Строили воспроизводимый цикл ML-экспериментов и принимали технические решения по их результатам. - Умеете проектировать ML-системы и оценивать применимость новых подходов к задачам продукта. - Умеете объяснять сложные решения, делиться экспертностью и договариваться со смежными командами. Будет плюсом: - Работали с instruction following или controllability языковых моделей. - Работали с оценкой поведения LLM или reward-моделями.