Senior аналитик эффективности ML

Т-Банк ищет сильного аналитика, который отвечает за пользу ML в продукте. Аналитик здесь главный заказчик ML-команды: ставит, какую задачу модель решает для трафика и CJM, и отвечает за то, что раскатанная модель улучшает путь клиента и экономику продукта. Задачи: - Формулировать заказ для ML на языке продукта: какой показ, экран или шаг CJM модель должна улучшить и какая метрика это докажет; - Развивать систему A/B-тестирования доработок моделей в разных модулях СуперАппа; - Развивать мониторинг моделей на проде: качество выдачи, доля трафика под моделью, сдвиг микса показов, деградация по сегментам и расхождение офлайна с продом; - Разбирать просадку до причины: данные, фичи, смена трафика, конфликт двух моделей на одном экране, сезонность; - Вести очередь задач в ML: что даёт деньги и путь клиента, что остаётся исследованием, что пора выключать; - Фиксировать эффект каждой раскатки в общей картине распределения показов, чтобы модель не улучшала один плейсмент за счёт соседнего сценария без явного решения. Требования: - Опыт продуктовой аналитики от 4 лет, опыт с аналитикой ML от 2 лет: ранжирование, рекомендации, таргетинг или распределение трафика; - Умение быть заказчиком: понятная постановка, метрика успеха и решение «катим / не катим» без передачи этой ответственности в команду модели; - Практика A/B-тестов на проде: дизайн, мощность, пересечения, новизна, долговременный эффект; - SQL и Python, достаточные чтобы самому проверить витрину модели и дашборд мониторинга; - Понимание, где офлайн-метрика модели заканчивается и начинается продуктовая: CTR, конверсия шага CJM, доходность показа. Будет плюсом: - Опыт в суперапе или маркетплейсе, где несколько моделей делят одни и те же показы; - Построение контура мониторинга: алерты на деградацию, срезы по экранам и сегментам, регулярный разбор с ML; - Умение сравнивать модель с простым правилом и оставлять правило, если оно даёт тот же эффект на CJM. Как выглядит сильный результат через полгода: - У ML есть короткий список задач от продукта, и каждая раскатка проходит через один и тот же контур теста. По боевым моделям видно, живы ли они и какой эффект держат на пути клиента и на деньгах показов.