GigaChat Audio Evaluation Lead

ПАО «Сбербанк»

ЛокацияРоссия, Москва
ОтрасльИТ, интернет, телеком
СпециализацияМашинное обучение и ИИ
ЗанятостьПолный день
Формат работыОфис
Опубликовано 19 ноября 2026 г.

GigaChat нативно поддерживает аудиозаписи в контексте, что позволяет понимать речь на десятках языков, говорящего и его эмоции, звуки и сцену вокруг, поддерживать живой диалог и вызывать инструменты по голосовой команде. Чтобы развивать эти способности, их нужно честно измерять: без надежной оценки нельзя понять, какие данные и решения в обучении двигают качество. Мы ищем эксперта, который возьмет на себя оценку понимания аудио модели. Он будет разрабатывать собственные бенчмарки, разбираться в открытых, сравнивать нас с лидерами индустрии и open-source и находить точки роста. Ему предстоит выстроить систему оценки и команду вокруг нее Место работы: г Москва Требуемый опыт: От 3 до 6 лет Обязанности: * отвечать за систему оценки понимания аудио LLM: состав бенчмарков, метрики, протоколы замеров и их воспроизводимость * покрывать оценкой широкий набор доменов: понимание говорящего и эмоций, звуков и акустической сцены, прикладные задачи (распознавание и перевод речи, суммаризация), общий диалог, вызов инструментов * строить оценку на трех уровнях (автоматические метрики, LLM-as-a-Judge, Side-by-Side) и калибровать их друг относительно друга, в первую очередь согласие судьи с людьми * разрабатывать собственные бенчмарки: сбор и разметка данных, дизайн заданий, контроль утечек в обучающие данные * исследовать открытые бенчмарки и добавлять их в контур оценки: проверять разметку и метрики, разбираться с расхождениями с опубликованными результатами * выстраивать эффективный бенчмаркинг больших LLM: быстрые замеры чекпоинтов по ходу обучения и полные прогоны к релизам (ускорение инференса, кэширование, репрезентативные подвыборки) * регулярно замерять лидеров индустрии и open-source модели, вести лидерборд и дашборды * анализировать ошибки модели, находить точки роста и превращать их в задачи для data и training команд * нанимать и вести инженеров и исследователей Требования: * уверенное знание Python и PyTorch * опыт построения систем оценки ML-моделей: бенчмарки, метрики, протоколы замеров * опыт оценки LLM автоматическими метриками, через LLM-as-a-Judge и Side-by-Side, понимание ограничений и смещений каждого подхода * понимание задач обработки аудио и речи (ASR, перевод, эмоции, классификация звуков) и метрик их качества * опыт инференса больших моделей (vLLM, SGLang) и распределенных прогонов * знание прикладной статистики: доверительные интервалы, значимость различий, согласованность разметчиков

Зарплата

Не указано