QA Engineer (AI-продукты)

Компания активно развивает продукты на базе AI-моделей. Ищем внимательного QA-инженера, который поможет сделать взаимодействие пользователей с нейросетями безупречным. Обязанности: 🔹 1. Тестирование AI-продуктов и UX-сценариев: • Ежедневное тестирование пользовательских сценариев в наших AI-сервисах. • Оценка качества генераций: проверка логики ответов модели, соблюдения контекста, этики и отсутствия «галлюцинаций». • Проверка локализации (EN/ES/RU) не только интерфейса, но и качества ответов AI-ассистентов. • Тестирование сложных путей пользователя: от онбординга и взаимодействия с AI-персонажами до оплаты подписки. 🔹 2. Документирование и контроль качества: • Создание и поддержка базы тест-кейсов в Google Sheets (включая edge-cases для AI-моделей). • Ежедневное ведение логов тестирования и фиксацию багов. • Систематизация «промптов», вызывающих ошибки, для передачи команде ML-инженеров. 🔹 3. Работа с новыми релизами: • Участие в запуске новых AI-функций и моделей. • Проектирование user flow совместно с продакт-менеджером до выхода на продакшн. • Проверка функциональной полноты и стабильности модели перед запуском трафика. 🔹 4. A/B-тестирование: • Верификация корректности работы A/B-тестов (изменения в промптах, UI-элементах, воронках подписки). • Контроль отображения различных вариантов для сегментов пользователей. 🔹 5. Коммуникация: • Оперативное информирование разработчиков и ML-инженеров о багах. • Четкая постановка задач по исправлению некорректного поведения AI. Требования: • Опыт работы тестировщиком в продуктовых компаниях (желательно с мобильными приложениями или веб-сервисами). • Опыт работы с продуктами, имеющими: - Большой объем трафика и высокие требования к стабильности. - Сложные платежные механики и системы подписок (Subscription model). - Частые релизы и обновления функционала. • Понимание специфики AI: опыт тестирования чат-ботов, генеративных моделей или LLM-продуктов будет огромным плюсом. Обязательные навыки: • Опыт работы с A/B-тестированием. • Опыт с AI-продуктом. • Свободное владение английским языком (на уровне проверки корректности лингвистических моделей). • Умение видеть «картину целиком»: понимание того, как технический баг влияет на удержание (retention) и конверсию. • Продвинутое владение Google Sheets/Excel. • Критическое мышление: умение отличить «фичу» модели от ошибки (бага). Желательно: • Опыт работы со стриминговыми сервисами, онлайн-кинотеатрами или любыми SaaS-продуктами. • Понимание того, как работают промпты (prompt engineering) и как их тестировать. • Опыт работы в Jira/ClickUp/Notion.