Data engineer (Гео и Графы)

04 июля 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

Команда «Гео и графы» кластера «AI360» корпоративного блока Сбербанка занимается полным циклом создания витрин данных различных направлений: витрины данных графов связанности ЮЛ, клиентские данные ЮЛ, транзакционные витрины данных, геовитрины по данным ЮЛ. Команда молодая и энергичная, работаем с применением методологии agile/scrum. У нас вы получите глубокие знания по работе с BigData, созданию и сопровождению витрин данных. Все витрины используются для построения моделей в различных бизнес-блоках Банка.

Обязанности
  • разработка и проектирование витрин данных на scala, алгоритмов загрузки и обработки данных в Hadoop
  • участие в сложных интеграционных проектах по развитию гибридного DWH Сбербанка (Hadoop, PostgreSQL, Greeplum) в роли разработчика
  • участие в автоматизации моделей на основе алгоритмов machine learning
  • оптимизация и настройка производительности ETL-процессов
  • анализ и тестирование существующих решений в технологическом стеке Hadoop.
Требования
  • высшее техническое образование
  • наличие практического опыта работы с Hadoop (Hive, Impala, sqoop, oozie, HDFS, YARN), понимание парадигмы MapReduce и алгоритмов работы Spark
  • опыт работы с реляционными СУБД (Oracle, MS/SQL, PostgreSQL, Greenplum), навыки оптимизации запросов
  • навыки программирования на Scala/Java/Python
  • фундаментальные знания принципов построения распределенных систем хранения и обработки данных.


Будет плюсом

  • опыт работы с ETL-инструментами
  • опыт работы с NoSQL базами данных (HBase, Cassandra)
  • опыт работы с Unix shell
  • знания предметной области «Банки и финансы».
Условия
  • современный офис в пяти минутах (пешком) от метро Кутузовская
  • формат работы - офисный
  • стабильную заработную плату и годовую премию
  • бесплатное обучение в лучшем корпоративном университете
  • льготные условия по ипотеке
  • скидки и бонусы от партнеров Сбера
  • ДМС с первого рабочего дня с возможностью подключения родственников к программе.