Senior ML Engineer (GenAI Data Governanace)

Наша NLP команда занимается задачами, связанными с извлечением информации из документов, диалогов, текстов различной природы.

Главной задачей для нас является создание готовых продуктов с LLM под капотом, а также создание self-service для бизнеса, где каждый может создать нужный ему сценарий (скилл) в режиме No-code.

• проектировать и калибровать judge-пайплайны: рубрики, эталонная разметка, согласованность с людьми, борьба с позиционным bias и bias по длине
• строить RAG-поиск для дублей и противоречий: чанкинг, гибридный поиск, реранкинг, проверка противоречий на уровне утверждений
• делать регресс-тесты знаний: golden set, пороги, прогон на каждое изменение промпта или модели
• ловить галлюцинации: извлечение утверждений, привязка к источнику, верификация
• дообучать и дистиллировать judge-модели, чтобы снизить цену и задержку без потери качества
• собирать мультиагентные пайплайны с guardrails и контролем стоимости прогона.

• высшее образование: математика, физика, информатика или профильный data science
• 5+ лет в ML, из них не меньше полутора лет с LLM в проде
• RAG в продакшене, а не демо: с метриками качества, нагрузкой и историей улучшений
• Fine-tuning: SFT, LoRA/QLoRA, желательно DPO. И понимание, когда дообучение не нужно
• опыт построения и калибровки LLM-as-judge. Знаете, как judge врёт и как это ловить
• Guardrails и детекция галлюцинаций
• мультиагентные пайплайны: оркестрация, обработка отказов, ограничение стоимости
• Python: пишете код, который уходит в прод. Тесты, ревью, код-стайл
• английский для чтения статей и документации
• специфика банка: много контрагетов, с ними нужно иногда коммуницировать.

Будет плюсом

• опыт python-бэкендера: FastAPI, асинхронность, очереди, PostgreSQL, векторные хранилища
• графы знаний и онтологии
• NLI, извлечение фактов, работа с разметчиками
• публикации, доклады, open source.

• гибридный формат работы
• годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• регулярные митапы и развитое DS-community
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбер.