DB / DWH developer

21 марта 2024 • г Москва • ПАО "Сбербанк" • IT: Разработка

Мы строим новую low-code платформу для аналитических сервисов Блока финансов Сбербанка класса Enterprise Performance Management (EPM) для перевода функционала систем с платформы SAP BI/BW/BPC для более чем 5000 пользователей Сбербанка и дочерних компаний. В единой платформе будут интегрированы данные 7 существующих систем общим объемом от 15 Тб с более чем 500 внешними потоками интеграций.

При построении платформы будут использованы как Opensource решения (c значительными доработками), так и готовые технологические сервисы собственной платформы Сбербанка Platform V, а также значительный объем сервисов собственной разработки (для которых не найдено подходящих готовых решений) – для OLAP, планирования, прогнозирования, отчетности, dashbording, инструментов для аналитиков и продвинутых пользователей, ETL/DWH и другой смежной функциональности. В целевом состоянии предполагается расширение функционала прогнозирования/ планирования с помощью ML моделей.

Для работы платформы предполагается использовать пул различных СУБД и решений для хранения и обеспечения оперативного отклика как по операциям чтения, так и по операциям сложных расчетов и массовой записи данных.

Анализ рынка отечественных платформ не выявил подходящих решений, удовлетворяющих требованиям и обладающих необходимым функционалом. Новая EPM-платформа не только закроет внутренние потребности Сбербанка и дочерних компаний, но также может быть востребована на российском рынке аналитических и EPM-решений.

Планируемый технологический стек всей платформы: Greenplum, PostgreSQL, Clickhouse, Hadoop, Spark, другие продукты Apache, openshift/k8s, Java, Spring, Python, React.

У вас будет возможность влиять на используемый стек технологий.

Обязанности
  • проектирование многослойного DWH, как в части классических функций, так и в части вспомогательных функций для сервисов ядра платформы
  • разработка DWH и ETL/ELT процессов
  • оптимизация сложных кейсов
  • постановки для подрядчиков и младших коллег, организация работ и приемка результатов у подрядчиков.
Требования
  • опыт построения DWH на базе MPP от 5 лет (от 3 проектов в роли не ниже разработчика, от 1 в роли архитектора)
  • опыт разработки и оптимизации сложной обработки значительных объемов данных в СУБД
  • опыт работы с большими объемами данных в PosgreSQL|Greenplum в параллельном режиме
  • опыт построения консистентной конкурентной производительной обработки данных
  • понимание особенностей и возможностей PosgreSQL|Greenplum Hadoop|Clickhouse
  • опыт разработки ETL/ELT потоков внутри DWH.


Будет плюсом:



  • опыт DBA GP/Hadoop, понимание настроек, организации кластеров.
  • опыт использования PXF и Greenplum Parallel file distribution program
  • опыт проектирования и разработки надежных управляемых ETL/ELT потоков со сложными преобразованиями
  • опыт проектирования и разработки решений с OLAP задачами
  • опыт использования Spark
  • опыт организация ABAC security на уровне СУБД
  • опыт организации работы команды разработчиков, формирования подходов к разработке больших решений, code-review.
Условия
  • конкурентная заработная плата: оклад + бонусы
  • масштабные и интересные задачи в agile команде
  • социальный пакет: ДМС, страхование от несчастных случаев, льготное кредитование
  • бесплатный тренажерный зал и спортивные групповые занятия
  • дисконт-программы от компаний партнеров: фитнес, страхование, туризм
  • обучение и тренинги
  • профессиональный и позитивный коллектив.