Аналитик-разработчик (GigaChat)

02 февраля 2024 • г Москва • ПАО "Сбербанк" • IT: Разработка

Цифровые поверхности Салют (SberDevices) — уникальное IT-пространство внутри Сбера. Мы занимаемся разработкой голосовых продуктов, умных устройств и виртуальных ассистентов и сервисов для них.


Наша команда готовит данные для базовых моделей LLM (GigaChat) и Speech (ASR, Spotter, виртуальные ассистенты). Кроме того, мы помогаем смежным командам эффективно использовать данные технологии для оптимизации бизнес-процессов, улучшения сервисов.


Наши задачи на проекте с LLM (GigaChat):

  • готовим данные для всех этапов обучения GigaChat: претрейн, файнтюнинг (SFT), RLHF, доменное обучение (финансы, медицина, образование и тп.), продуктовые кейсы и др.
  • придумываем и внедряем метрики оценки качества работы GigaChat;
  • организуем всю разметку для GigaChat: пишем DE пайплайны, делаем аналитику, пишем методологи
  • инициируем различные эксперименты для обучения базовой модели
  • обучаем модели для обработки данных. Например, классификаторы типов, сегментация документов и пр.
Обязанности
  • написание пайплайнов анализа моделей перед выкаткой в продакшн, анализ моделей
  • пайплайн сбора тренировочных данных
  • пайплайн сбора разметки
  • скрипты расчета различных метрик
  • доработка функционала для работы со смежниками.
Требования
  • знаешь Python на высоком уровне (алгоритмы, структуры данных, GIL, async - Pandas в разработке не используем)
  • умеешь работать в базами данных
  • разбираешься в метриках: как ML, так и продуктовых
  • знаешь математическую статистику, теорию вероятностей и умеешь применять их на практике.

Если среди опыта есть подготовка данных для больших моделей - существенных плюс.

Условия
  • очень сильная молодая команда, с которой можно расти вместе, в команде происходит ооооочень много интересного - будет на что посмотреть и у кого поучиться
  • масштабные, сложные и разнообразные задачи, есть возможность влиять на развитие проекта и результат
  • знаменитый офис на Кутузовском проспекте с парковкой и спортзалом, возможность выбора формата работы
  • расширенная программа ДМС (возможность подключения родственников), страхование жизни, специальные условия по кредитам/ипотеке, скидки от компаний-партнёров
  • атмосфера стартапа и надёжность гиганта.