Data инженер

О проекте:

Мы - команда разработки Аналитической Платформы (АПЛ) розничного взыскания и урегулирования.

Создаем, внедряем, сопровождаем и развиваем дата-продукты для наших внутренних клиентов:

• готовые BI решения, на которых конструируем BI дашборды
• свои уникальные аналитические веб-приложения, ценность и полезность которых находит отражение в стабильном росте активных пользователей: 100 человек в 2020 г. и > 3000 сейчас и в оценках удовлетворенности CSI - на уровне выше ожиданий.

Под капотом у этих продуктов в качестве СУБД была и пока остается СУБД Oracle, но в рамках импортозамещения - принято решение по миграции с Oracle на Hadoop и Greenplum, с последующим развитием нового аналитического слоя хранилища данных, построения новых интеграционных процессов/взаимодействия между источниками данных в корпоративно аналитической платформе банка (КАП), построение витрин данных на Greenplum в ПКАП платформы дивизиона.

Цель: пользователь не замечает разницы и продолжает пользоваться продуктами, получать привычную ценность и пользу и при последующем развитии - находит новые точки роста, улучшает свою эффективность и результат.

Вам предстоит:

• проектирование, разработка и поддержка инфраструктуры для хранения и обработки больших данных
• проектирование и разработка ETL-процессов, используя внутренние и внешние источники данных для NRT и Batch поставок данных
• проектирование и настройка систем отчетности для разовых и периодических выгрузок данных для внутренних и внешних заказчиков.

Мы ожидаем:

• опыт разработки на Java / Python / C++ / Scala не менее года
• опыт в создании алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
• опыт в написании функций для первичной обработки, преобразования и агрегации данных на одном из вышеуказанных языков
• опыт разработки в экосистеме Hadoop (HDFS, YARN, Оркестраторы)
• хорошие знания фреймворка Spark
• опыт разработки в SQL (Oracle, PostgreSQL, Greenplum) и NoSQL (Hive), умение разбираться в сложных аналитических запросах
• базовый опыт оптимизации запросов
• уверенные знания теории DWH.

Будет плюсом:

• понимание работы CI/CD решений на базе Jenkins и Bitbucket/Git.

Мы предлагаем:

• годовой бонус, который выплачивается в декабре
• полный рабочий день, но гибкий график, можно выбрать время начала работы.

Мы заботимся о вашем здоровье:

• добровольное медицинское страхование, страхование жизни и здоровья с первого дня
• возможность подключить своих родственников к программе ДМС
• получение дополнительной скидки от партнёрских программ с фитнес-центрами
• полис выезжающих за рубеж
• телемедицина.

Обучаем:

• доступ к виртуальной школе Сбербанка 24/7
• бесплатная электронная библиотека более 1000 книг
• участие в конференциях.

А ещё у нас:

• пятница - сокращённый рабочий день
• бесплатная подписка СберПрайм+
• льготные программы кредитования в ПАО Сбербанк
• скидки от компаний-партнеров Группы Сбербанка (санаторно-курортные программы, страхование, рестораны, магазины и многое другое)
• возможность получить бонус, рекомендовав друга на вакансию компании
• новогодние подарки для детей
• материальная помощь при рождении детей и др. семейным обстоятельствам
• активная спортивная жизнь (тренировки и участие в турнирах по футболу, хоккею, волейболу, баскетболу)
• своя команда КВН
• скидки на мобильную связь.