Дата разработчик

25 марта 2024 • г Санкт-Петербург • ПАО "Сбербанк" • IT: Data Science и Data Engineering

Команда данных по инвестиционным продуктам. Мы развиваем DWH по инвестиционным продуктам для аналитических сервисов мобильного приложения Сбербанк Онлайн секции "Всего средств" и участвуем в развитии единого DWH банка. Моделируем и развиваем базовые витрины по инвест продуктам и спец. витрины расчета доходности портфеля клиента.


Мы ищем разработчика хранилищ данных/ETL инженера, способного принять активное участие в развитии базового аналитического слоя хранилища данных, а также в построении витрин и контролей качества данных по портфелю клиента в инвестиционных продуктах (Доверительное управление, Брокеридж, ПИФ, ивест. Страхование). Данная роль предусматривает: создание витрин и вывод их в пром в соответствии с банковским релизным процессом, развитие модели хранения данных, реализация реконсиляции с эталонными данными, работу с качеством данных – как методология (что такое «качество»), так и техническая реализация процессов проверки качества данных.

Обязанности
  • участие в разработке витрин данных с использованием инструментов Hadoop
  • разработка интеграционных решений между хранилищем данных и мобильными сервисами
  • разработка решений потоковой обработки данных в режиме near real time
  • оптимизация существующих разработок
  • подготовка и сборка дистрибутивов, сопровождение по стендам разработки и тестирования
  • quality assurance решений промышленного контура: разрабатываемых и уже внедренных.
Требования
  • опыт работы с инструментами Hadoop (Hive, Spark, Oozie, HDFS, YARN), понимание внутренней архитектуры
  • опыт работы с ведущими СУБД (Teradata, Oracle, MS SQL)
  • знание SQL на уровне оптимизации сложных запросов
  • опыт разработки и оптимизации расчетов на больших объемах данных в Hadoop, знание Scala
  • знания принципов построения распределенных систем хранения и обработки данных
  • знание классических алгоритмов и структур данных
  • понимание архитектуры хранилищ данных
  • уверенная работа с git, bitbucket, jenkins
  • умение тестировать и документировать собственный код, а также работать с существующим кодом


Будет плюсом, если ты имеешь:


  • уверенное знание и опыт программирования на Scala/Java
  • опыт работы с NoSQL базами данных (HBase, Cassandra)
  • опыт работы с Kafka и разработки NRT решений
  • опыт работы со Spark Streaming, Kafka, будет плюсом Flink
  • опыт создания высоконагруженных распределенных систем, знакомство с существующими практиками в области
  • участие в проектах с открытым исходным кодом.
Условия
  • конкурентная заработная плата (оклад + годовой бонус)
  • режим работы гибрид/офис
  • команда Agile, готовая поддержать ваши инициативы
  • прозрачная система бонусов и премий
  • мощное железо
  • доступ к базе знаний Корпоративного университета, виртуальная школа, конференции
  • масштабные и высоконагруженные проекты с использованием новых технологий
  • трудоустройство согласно трудовому кодексу
  • отсутствие строгого дресс-кода
  • ДМС (медицинское страхование) с первого дня работы, бесплатная подписка СберПрайм, льготные ставки по ипотеке ДомКлик, Льготные ставки по потребительским кредитам, бесплатный тренажерный зал
  • возможность профессионального или карьерного роста.