ПАО «Сбербанк»
Мы развиваем GigaChat и формируем направление безопасности ответов AI-ассистента. Ищем человека, который будет определять, как ассистент должен вести себя в сложных и чувствительных ситуациях, измерять качество этого поведения и вместе с командами моделей и продукта системно его улучшать. В этой роли вы будете формировать видение домена Safety, строить процесс работы с небезопасными ответами и необоснованными отказами, переводить пользовательские проблемы в требования к модели и принимать результат на основе данных. Ваша работа будет влиять на безопасность, полезность и предсказуемость ассистента. Место работы: г Москва Требуемый опыт: От 3 до 6 лет Обязанности: · Формировать видение и стратегию Safety. Определять целевое поведение ассистента, приоритетные риски и направления развития; формировать и защищать roadmap перед руководством, согласовывать его с продуктовой и модельной командами. · Развивать методологию оценки. Совместно с профильными экспертами описывать категории рисков, уровни критичности и допустимые варианты ответа; создавать правила разметки, примеры и процесс разбора спорных случаев. · Управлять метриками. Оценивать небезопасные ответы, необоснованные отказы и качество безопасных альтернатив; анализировать различия по темам, сценариям, версиям моделей и компонентам системы. · Развивать бенчмарки и регулярные проверки. Формировать требования к тестовым наборам, человеческой и автоматической оценке; обеспечивать проверку сложных, пограничных и многошаговых диалогов, а также регрессий после обновлений. · Выстраивать процесс улучшений. Превращать сигналы из пользовательских диалогов, обращений, исследований и red teaming в приоритизированные задачи с понятной причиной, владельцем и ожидаемым эффектом. · Ставить задачи модельной команде. Описывать проблемное и целевое поведение, требования к данным для дообучения и оценке результата; вместе с техническими лидерами выбирать подход к исправлению. · Принимать результаты изменений. Заранее согласовывать критерии успеха и допустимые регрессии, проверять результат на независимых данных и в продукте, формировать заключение о готовности изменений к выпуску. · Улучшать пользовательский опыт. Сокращать лишние ограничения и отказы на допустимых запросах, повышать качество объяснений и безопасных альтернатив при соблюдении согласованных требований безопасности. · Координировать работу с инцидентами. Организовывать оценку масштаба и критичности, временные меры, поиск причины и проверку устойчивого исправления вместе с ответственными командами. · Обеспечивать реализацию приоритетов. Вместе с техническими лидерами декомпозировать инициативы, договариваться о ресурсах модельной команды и платформы, фиксировать зависимости, сроки и владельцев результата. Требования: · Опыт работы с ML/AI-продуктами и подтверждённые кейсы самостоятельного ведения задач от постановки проблемы до измеримого результата после запуска. · Техническая и аналитическая база: опыт в Data Science, ML Engineering, продуктовой или data-аналитике либо сопоставимая практическая глубина. · Понимание устройства LLM-продукта: модель, инструкции, контекст, RAG, защитные механизмы, внешние инструменты. Умение обсуждать с инженерами причины ошибок и способы их устранения. · Понимание цикла улучшения моделей: данные и разметка, дообучение, оценка на отложенных данных, проверка регрессий, выпуск и мониторинг. · Уверенная работа с метриками качества, выборками, ошибками классификации и статистической неопределённостью. Умение самостоятельно проверить выводы по данным с помощью SQL/Python или сопоставимых инструментов. · Умение формировать видение направления, определять приоритеты, выстраивать процессы и принимать решения при неполной информации. · Опыт постановки задач техническим командам и приёмки результатов по измеримым критериям. · Опыт защиты приоритетов и согласования ресурсов в межкомандной работе. · Умение договариваться с несколькими командами, аргументировать решения и объяснять технические вопросы понятным языком. Будет преимуществом: · Опыт в AI Safety, Trust & Safety, оценке LLM, модерации генерируемого контента или качестве диалоговых систем. · Работа с бенчмарками, red teaming, LLM-as-a-judge, разметкой и контролем качества данных. · Практический опыт взаимодействия с командами post-training, guard-моделей или alignment. · Опыт работы с чувствительными пользовательскими сценариями, безопасностью длительных диалогов или мультимодальных ассистентов. · Опыт построения нового направления или межкомандного процесса с нуля. Условия: * Крупнейшее DS&AI community — более 600 DS-специалистов банка. * Дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира. * Возможность быть соавтором НИРов и статей для международных конференций. * Возможность выбрать удобный формат работы: гибрид или офис. * Ежегодный пересмотр зарплаты, годовая премия. * Корпоративный спортзал и зоны отдыха. * Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития. * Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа. * Ипотека выгоднее до 7% для каждого сотрудника. * Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров. * Вознаграждение за рекомендацию друзей в команду Сбера.
Зарплата
Не указано