Лидер внедрения eval-driven разработки (Дивизион «Исследования и аналитика»)

Ищем лидера, который выстроит культуру eval-driven разработки AI/LLM-продуктов в Блоке «Люди и Культура» и возглавит команду построения инструментов оценки качества, контроля метрик и observability. Ваша задача — сделать измерение качества AI-агентов обязательным инженерным стандартом для всех команд дивизиона.

• руководить командой разработки инструментов оценки качества, контроля метрик и observability
• внедрять методологию eval-driven разработки как единый стандарт: golden datasets, offline evals, LLM-as-judge, human-in-the-loop, regression testing, guardrails
• развивать инструмент оценки качества и дашборд мониторинга eval-метрик для агентных команд
• выстраивать автомониторинг в продакшене: drift, degradation, latency, cost, task success rate​
• переводить бизнес-задачи в метрики качества: целевая метрика, baseline, критерии приёмки, ожидаемый эффект
• обучать и консультировать агентные команды, развивать компетенции, менторинг

Наш стек

• Python (основной) + SQL
• LLM: GigaChat и аналоги, RAG / AgenticRAG, function calling, AI-агенты
• Eval / observability: Langfuse, LLM-as-judge, golden datasets, regression suites

• опыт управления ML/AI-командами от 3 лет: постановка задач, менторинг, развитие компетенций
• опыт управления LLM-продуктом с доказанным бизнес-эффектом, подтверждённым в A/B-тестах
• опыт вывода в продакшн LLM/AI-решений полного цикла
• опыт построения систем оценки качества AI-продуктов: тестовые датасеты, рубрики, human review, regression, hallucination/safety checks
• понимание принципов RAG, LLM-пайплайнов и ограничений LLM-систем, skill-based архитектуры AI-агентов
• владение Python и SQL на уровне прототипов, аналитики и оптимизации запросов
• умение переводить технические концепции на язык бизнес-ценности и защищать эффект перед заказчиком
• будет плюсом: выступления на профильных площадках, публикации, опыт формализации внутренних методологий

• гибкий формат работы: гибрид или офис
• ежегодный пересмотр зарплаты, годовая премия
• расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа
• ипотека выгоднее до 7% для каждого сотрудника
• более 400 образовательных программ СберУниверситета, обучение и сертификация за счёт компании
• корпоративный спортзал и зоны отдыха
• бесплатная подписка СберПрайм+, скидки от компаний-партнёров
• вознаграждение за рекомендацию друзей в команду Сбера