Data Engineer

05 июня 2024 • г Москва • ПАО "Сбербанк" • Банковские продукты

Наша команда занимается разработкой витрин данных и созданием внутренних инструментов для автоматизации процесса разработки и вывода, исследованием новых источников данных, помогает командам соседних подразделений построить интеграцию с нашими процессами. Мы ищем специалиста, желающего развиваться в DE и готового делиться своими знаниями с коллегами.

Обязанности
  • исследование источников данных (внешних данных, реплик АС Банка, других витрин)
  • разработка и изменение витрин данных на Hadoop/GreenPlum исходя из требований аналитиков данных
  • создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
  • написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python).
Требования
  • понимание работы Hive, Spark на Hadoop
  • знания языков программирования Python
  • знание SQL на уровне аналитических запросов
  • понимание объектно-ориентированного подхода к разработке
  • умение обращаться с git, bash.

Будет плюсом:

  • опыт разработки на Spark/PySpark
  • оптимизация выполнения сценариев на Spark
  • понимание процессов ETL, ELT.
Условия
  • интересные, сложные, амбициозные задачи
  • создание продуктов для многомиллионной аудитории пользователей
  • возможность профильного обучения (обучение и сертификация за счет компании)
  • работа с передовыми технологиями (DevOps, microservices, Artificial Intelligence, ML, BigData)
  • профессиональный рост в молодой и сильной команде
  • стабильная, конкурентная «белая» заработная плата (оклад + премии)
  • льготные условия по кредитам Сбербанка
  • ДМС, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия.