Data Engineer

01 марта 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

Мы - команда разработки Аналитической Платформы (АПЛ) розничного взыскания, занимаемся Change-развитием сервисов по работе с большим объемом данных и ищем высоквалифицированного разработчика / дата инженера хранилища данных, способного принять активное участие в проекте по миграции хранилища данных с Oracle на Hadoop / Greenplum, развитии аналитического слоя хранилища данных, построении интеграционных процессов между аналитическими и продуктовыми системами Банка, а также в построении витрин данных. Плюсом будет аналогичный опыт миграции.

Обязанности
  • проектирование, разработка и поддержка инфраструктуры для хранения и обработки больших данных
  • проектирование и разработка ETL-процессов, используя внутренние и внешние источники данных для NRT и Batch поставок данных
  • проектирование и настройка систем отчетности для разовых и периодических выгрузок данных для внутренних и внешних заказчиков.
Требования
  • опыт разработки на Java / Python / C++ / Scala не менее 2 лет
  • опыт разработки в экосистеме Hadoop (HDFS, YARN, Оркестраторы)
  • знания фреймворка Spark, базовый опыт оптимизации запросов
  • опыт разработки в SQL (Oracle, PostgreSQL, Greenplum) и NoSQL (Hive, Impala)
  • знание SQL( понимание от чего зависит оптимальность запроса, умение разбираться в сложных аналитических запросах)
  • уверенные знания теории DWH.
Условия
  • передовой технологически оснащенный IT-офис вблизи Москва-Сити в пяти минутах от метро "Кутузовская", с фитнес залом, кофе-поинтами и зонами отдыха