Team Lead MLOps/Product Owner (Feature Store)

24 октября 2023 • г Москва • ПАО Сбербанк • IT: Разработка

Мы создаем новый продукт – «Feature Store».

Продукт позволит DE/DS собирать через конструктор в WEB UI новые фичи для моделей. В качестве источника конструктор будет использовать мета-данные базового слоя витрин Риски.

На выходе будет генериться код(SQL/SparkSQL). Далее полученный код будет включаться в релизный процесс витрин, либо в релизы разработчиков моделей. Либо автоматически устанавливаться в Пром на ежедневный расчет.

Это позволит централизованно генерить новые фичи только на данных Hadoop Риски, только на целевых источниках, без участия DE/DS в написании кода.

Обязанности
  • создание MLOps инструмента «Feature Store» для Data Scientist – инструмент позволяет находить нужные данные в множестве витрин блока Риски и генерить входные dataset’ы для создания и обучения мат моделей.
Требования

Хард скилы:

  • опыт в проектах по разработке MLOps инструментов
  • понимание архитектуры хранилищ данных: модель данных, типы историчности, нормализация, связи, типы • таблиц(key-value/плоская/партиции), ключи
  • понимание тех стека Hadoop: Hive, HDFS, Spark, Pyspark, Spark-shell
  • опыт работы с реляционными СУБД
  • хорошее знание SQL
  • минимальный опыт разработки фронта(WEB UI), либо стойкое желание его получить; готовность быстро • обучаться и прокачивать свои навыки в этом направлении
  • понимание принципов микроархитектуры: restApi
  • опыт работы с форматами: JSON, YML, XML
  • понимание релизного процесса ПО, DevOps, Jira, Confluence.


Софт скилы:

  • играющий тренер
  • хорошие коммуникативные навыки
  • умение организовывать работу в команде: постановка, контроль, сроки
  • четко и ясно излагать мысли, умение аргументированно отстаивать свою позицию
  • умение общаться с заказчиком, слушать, фиксировать требования
  • системное мышление
  • умение «вылезти из коробки»/искать альтернативное решение.
Условия
  • у нас реально дружный коллектив, постоянный «движ»
  • ты будешь работать в передовом секторе IT крупнейшей компании, решать масштабные задачи
  • работа в современном комфортном офисе
  • достойное вознаграждение, премирование по итогам года
  • социальный пакет + ДМС (с возможностью расширения пакета для близких)
  • льготная ипотечная программа (после 6 месяцев работы в Сбере)
  • отличная программа софинансирования пенсионных накоплений
  • широкий спектр дисконт-программ, скидок и привилегий от компаний-партнеров.
  • в твое профессиональное развитие вкладывает Сбер
  • безбумажный офис.