Промпт-инженер (AI)

Компания SimbirSoft — IT-компания, разрабатывающая решения для разных отраслей и реализующая сотни проектов. Что делать: Проектировать архитектуру LLM-фичей: single-prompt решения, цепочки промптов и сложные пайплайны. Управлять поведением моделей с помощью CoT, few-shot, structured outputs, tool calling, подбора параметров и работы с контекстом без fine-tuning. Совместно с продактами продумывать логику диалогов и пользовательские сценарии. Выстраивать оценку качества с использованием golden-сетов, валидационных выборок, метрик, бенчмарков и LLM-as-a-judge. Анализировать продакшн-логи и пользовательский фидбек, находить системные проблемы и улучшать решения. Организовывать разметку данных: писать гайды, проверять результаты и при необходимости размечать данные самостоятельно. Требования: Практический опыт работы с LLM от 1 года на реальных бизнес-кейсах. Уверенное знание Python и опыт работы с данными в Jupyter, pandas и инструментах визуализации. Знание SQL и понимание принципов подготовки датасетов и проверки гипотез. Опыт работы с OpenAI API или аналогичными API. Понимание регрессионного тестирования LLM-решений, offline-метрик, human evaluation и A/B-тестов. Опыт работы от 2 лет. Хорошо, если есть: Опыт автоматической оптимизации промптов, включая GEPA. Опыт построения процессов разметки и автоматизации evaluation. Знакомство с LangFuse, MLflow, LangSmith, DeepEval или аналогичными observability- и eval-инструментами. Опыт построения агентных систем и RAG-архитектур. Знание LangChain, LangGraph или аналогичных фреймворков оркестрации.