Senior ML-инженер по инфраструктуре данных (GigaChat Data)

GigaChat — мультимодальная модель, которая работает с текстом, аудио, изображениями и видео. Команда ML-инженеров делает всё, что лежит под капотом её разработки: пайплайны обработки и синтеза данных по всем модальностям, фреймворки для экспериментов с post-training (SFT, DPO, GRPO, online RL), хранение и версионирование терабайт датасетов, инструменты оценки и валидации. На этом фундаменте стоит вся работа с данными при разработке GigaChat.

Мы ищем сильного Individual contributor (IC) в команду ML-инженеров, который умеет в одиночку доводить сложные технические задачи до промышленного качества и готов выступать техническим наставником для одного-трёх стажёров или джуниоров: декомпозировать задачи, проводить код-ревью, помогать ребятам расти.

Чем предстоит заниматься

• автоматизировать проведение экспериментов с post-training.

Строить фреймворк для запуска экспериментов SFT, DPO, GRPO и online RL. Превращать разовые скрипты исследователей в воспроизводимые пайплайны. Сокращать время от идеи до первого результата

• строить пайплайны предразметки и расширения данных.

Разрабатывать пайплайны псевдоразметки и дистилляции. Строить системы аугментации данных под нужды post-training. Автоматизировать оценку моделью-судьёй (LLM-as-judge). Закладывать в пайплайны измеримые метрики качества данных

• работать с большими данными на YTsaurus и MapReduce.

Проектировать и поддерживать таблицы и операции на YTsaurus. Писать эффективные MapReduce-операции на Python. Выстраивать версионирование датасетов. Делать офлайн-инференс на YT

• добывать трудные негативные примеры и улучшать качество выборок.

Строить пайплайны майнинга трудных негативных примеров для retrieval-, ranker- и reward-моделей с итеративным отбором между этапами обучения.  

Поднимать качество тренировочных выборок. Передавать в команды post-training готовые выборки

• собирать и обрабатывать продуктовые логи.

Строить пайплайны сбора и обработки логов GigaChat: диалоги пользователей, явная и неявная обратная связь. Делать очистку и анонимизацию. Превращать сырые логи в готовые источники данных для post-training: кандидаты для SFT, пары DPO из правок, негативные примеры из отрицательной обратной связи, данные траекторий для online RL

• делать инструменты валидации и оценки моделей.

Разрабатывать инструменты для валидации качества моделей и автоматического контроля качества данных. Собирать наборы бенчмарков и метрики, которые действительно предсказывают поведение модели на проде, а не просто коррелируют с академическими рейтингами

• поддерживать инфраструктуру экспериментов и хостинга моделей.

Помогать команде поддерживать хостинг открытых моделей (Llama, Qwen, Mistral, vLLM/TGI) для использования внутри пайплайнов генерации и оценки данных. Участвовать в развитии инструментов учёта экспериментов (MLflow / W&B / DVC и внутренние аналоги)

• наставничество.

Брать в работу одного-трёх стажёров или джуниоров команды: декомпозировать сложные задачи на куски, делать код-ревью, проводить парные сессии, объяснять инженерный контекст.

Для нас важно

• сильный Python — промышленный код, тесты, профилирование, асинхронные пайплайны
• опыт построения пайплайнов обработки данных на YTsaurus / YT (или близких системах: Spark, Hadoop) с MapReduce-операциями на масштабе десятков и сотен миллионов записей
• понимание полного цикла работы с данными для обучения LLM: сбор, очистка, фильтрация, дедупликация, аугментация, версионирование
• практический опыт хотя бы с одним из методов post-training (SFT, DPO, RLHF/GRPO, online RL): понимание формата данных, типичных проблем, метрик качества
• опыт с открытыми LLM (Llama, Qwen, Mistral) и/или проприетарными моделями (GPT, Claude, Gemini) — хотя бы как пользователь в собственных пайплайнах
• умение довести задачу до промышленного качества в одиночку: от прототипа до сервиса, который не падает, не теряет данные и предсказуемо себя ведёт под нагрузкой
• умение работать в условиях исследовательской неопределённости: требования меняются, эксперименты опровергаются, нужно держать гибкий пайплайн
• готовность к наставничеству внутри команды.

Будет плюсом

• опыт построения пайплайнов GRPO / online RL: данные роллаутов, инференс наград, хранение траекторий
• опыт майнинга трудных негативных примеров для retrieval-, ranker- и reward-моделей
• опыт построения систем оценки моделью-судьёй (LLM-as-judge) и автоматической оценки по рубрикам
• опыт работы с verl, llm-foundry, TRL или другими фреймворками для post-training
• опыт построения сервисов для хостинга моделей (vLLM, TGI, SGLang) с требованиями к задержкам
• уверенное использование Claude Code и Cursor в ежедневной работе — и для собственной продуктивности, и как встроенного инструмента внутри своих пайплайнов (агентная обработка данных, инструменты для исследователей)
• вклад в открытый код (датасеты, ML-инфраструктура, фреймворки для оценки) либо выступления на HighLoad++ / Data Fest / AI Journey
• опыт работы с системами версионирования данных и экспериментов (DVC, MLflow, W&B)
• опыт работы с фреймворками для агентов и RAG (LangChain, LangGraph и аналоги) — как поставщик данных и инструментов.

Мы предлагаем

• IC-трек с фокусом на технической экспертизе: рост по линии Senior → Staff → Principal
• cвободу в выборе инструментов и подходов под задачу — мы поощряем эксперименты с Claude Code, Cursor, агентными пайплайнами для собственной продуктивности
• крупнейшее AI community — более 600 DS-специалистов банка
• дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
• возможность выбрать удобный формат работы: гибрид или офис
• комфортный современный офис: ст. м. Кутузовская, пр. Кутузовский, 32
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• ипотека выгоднее до 7% для каждого сотрудника
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.