Data Engineer (Hadoop)

SberData – департамент по управлению данными Сбербанка. SberData строит централизованное хранилище данных, Корпоративная аналитическая платформа (КАП), объем которого уже превышает 250 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Проект: Создание реплик систем Банка в КАП, используя собственную сборку Hadoop и собственные инструменты загрузки данных (как в пакетном, так и в потоковом режиме).

• Участие в Agile команде работающей со сложными интеграционными продуктами по развитию Корпоративной аналитической платформы Сбербанка на базе экосистемы Hadoop
• Разработка, внедрение трактов репликации данных и решение задач в рамках 3-й линии сопровождения.
• Оптимизация и настройка производительности ETL-процессов, в т.ч. запросов к РСУБД Источников
• Анализ и тестирование существующих решений в технологическом стеке Hadoop

• Навыки работы с реляционными СУБД (PostgreSQL, Oracle, MS SQL)
• Навыки работы с Unix shell
• Свободное владение SQL
• Приветствуется опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, YARN)
• Опыт работы с DevOps-инструментами (Jenkins, Ansible, Nexus, Git и пр.)
• Фундаментальные знания принципов Реляционных баз данных, построения распределенных систем хранения и обработки данных
• Приветствуется опыт программирования на Python, PySpark
• Хорошая коммуникабельность, умение работать в команде

• Современный Agile-офис с системой умный дом и зонами отдыха
• Официальное оформление с первого дня
• Режим работы: 5/2, возможен гибридный режим работы
• БЦ "Даниловский Форт" - м.Нагатинская/Тульская/Верхние котлы/Коломенская
• Уровень заработной платы, который зависит от ваших технических знаний и навыков, состоит из оклада и годового премирования
• Премирование: годовое, с учетом результатов работы команды
• Социальный пакет: ДМС, спортзал, страхование жизни, возможность обучаться за счет компании, посещение корпоративного санатория в Крыму одному или с семьей
• Отсутствие строгого дресс-кода
• Корпоративное обучение за счет компании
• Расширенный ДМС с первого дня для сотрудников и льготное страхование для близких
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров: Okko, Сбер Маркет, Delivery Club, Самокат, Сбер Еаптека и других