Data Engineer

12 марта 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

SberData – департамент по управлению данными Сбербанка. SberData строит централизованное хранилище данных, Корпоративная аналитическая платформа (КАП), объем которого уже превышает 160 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Проект: Разработка и развитие Сервиса пакетной загрузки данных продуктовых систем Банка в Корпоративную аналитическую платформу на базе экосистемы Hadoop.

Обязанности

Функциональные обязанности:

·      Участие в Agile команде работающей со сложными интеграционных продуктами по развитию Корпоративной аналитической платформы Сбербанка на базе экосистемы Hadoop

·      Выполнение задач по внедрению и сопровождению(3лс) решения

·      Оптимизация и настройка производительности ETL-процессов, в т.ч. запросов к РСУБД Источников

·      Анализ и тестирование существующих решений в технологическом стеке Hadoop

Требования

Требования:

·      Приветствуется опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, Impala, HBase, YARN)

·      Навыки программирования на Python, PySpark и SQL

·      Навыки работы с реляционными СУБД (PostgreSQL, Oracle, MS SQL)

·      Навыки работы с Unix shell

·      Фундаментальные знания принципов Реляционных баз данных, построения распределенных систем хранения и обработки данных

·      Приветствуется опыт работы с промышленными ETL-инструментами (Informatica, ODI, SAP DataService)

·      Понимание и опыт методологии Agile (SCRUM, KANBAN) является плюсом

·      Хорошая коммуникабельность, умение работать в команде

Опыт работы

·      От 2-х лет опыта работы

Условия

Условия:

·      Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека

·      ДМС, страхование жизни

·      Самые инновационные, амбициозные проекты и задачи

·      Свободный дресс-код

·      Гибкий график для оптимального баланса работы и личной жизни

·      Льготные кредиты и корпоративные скидки

·      Конкурентная компенсация (оклад и премии по результатам деятельности)