QA Engineer (AI Platform)

Мы создаем корпоративную платформу GenAI для разработки и эксплуатации AI-ассистентов и AI-агентов, интегрированных с CRM и внутренними ИТ-системами страхового брокера. Платформа позволяет создавать AI-решения, работающие с корпоративными базами знаний, документами, LLM-моделями и внешними сервисами. Команда разрабатывает как саму AI-платформу, так и прикладные AI-сервисы для автоматизации бизнес-процессов. Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным! Место работы: г Москва Требуемый опыт: От 3 до 6 лет Обязанности: * Функциональное тестирование frontend, backend и AI-платформы; * Подготовка тест-планов, тест-кейсов и чек-листов; * Тестирование REST API и интеграций с внутренними ИТ-системами; * Тестирование AI-ассистентов, агентских сценариев и работы с документами; * Проверка качества ответов LLM, RAG и MCP, Tool Calling; * Ручная и автоматизированная оценка качества AI с использованием LLM-as-a-Judge; * Регрессионное, интеграционное и приемо-сдаточное тестирование; * Анализ логов, метрик и трассировок (LangFuse, Grafana, Prometheus); * Воспроизведение и локализация дефектов, взаимодействие с разработчиками при их устранении; * Участие в развитии процессов тестирования AI-платформы и повышении качества релизов. Требования: * Опыт работы QA Engineer от 3 лет, ручное тестирование, аналитика в проектах связанных с GenAI и LLM; * Опыт тестирования backend и frontend приложений; * Опыт тестирования REST API и интеграций; * Опыт написания тест-кейсов, чек-листов и тест-планов; * Опыт работы с SQL, аналитика данных Python базовый уровень; * Опыт работы с LLM приложениями, агентами, платформами конструкторами на базе LLM +RAG; * Понимание процессов CI/CD и опыт участия в приемке релизов; * Опыт работы с Grafana, Prometheus или LangFuse. Условия: * Гибридный формат работы (современный офис в Москве, м. Кутузовская); * Льготные ипотечные условия кредитования; * Подписка Прайм с возможностью совместного использования на трёх близких; * ДМС с первого дня и скидки на страхование для близких; * Корпоративная пенсионная программа; * Детский отдых и подарки за счет Компании; * Обучение за счет Компании: онлайн курсы, неограниченный доступ к библиотеке и обучение на базе Корпоративного университета, тренинги, митапы и возможность получить новую квалификацию.