Data Engineer (Hadoop)

21 мая 2024 • г Москва • ПАО "Сбербанк" • IT: Разработка

Данные сегодня стали полноценным активом и используются компаниями для создания дополнительной прибыли, а государство запустило национальный проект «Экономика данных». Данные Сбера лежат в основе его AI-решений, финансовый эффект от внедрения которых за три года составил свыше 800 млрд рублей дополнительного дохода.


Сбер сегодня обладает одним из крупнейших в стране хранилищ данных - объем данных банка превысил 250 ПБ. За секунду с нашими данными совершается около 500 тысяч транзакций. Управляет данными Сбера департамент SberData: нашими решениями пользуются свыше 22 тысяч сотрудников банка и экосистемы.


Ключевые функции SberData - управление данными, создание и развитие технологического стека SberDataPlatform, а также предоставление сервисов по работе с данными: Супермаркет данных, Лаборатория данных, SberDataExchange и еще около сотни решений.

Мы обеспечиваем рабочее место D-People "под ключ", чтобы дата-инженер или дата-сайентист могли за считанные часы получить необходимую инфраструктуру, инструменты и данные для проведения экспериментов и запуска промышленных решений.

Проект: Создание реплик систем Банка в КАП, используя собственную сборку Hadoop и собственные инструменты загрузки данных (как в пакетном, так и в потоковом режиме).

Обязанности
  • Участие в Agile команде работающей со сложными интеграционными продуктами по развитию Корпоративной аналитической платформы Сбербанка на базе экосистемы Hadoop
  • Разработка, внедрение трактов репликации данных и решение задач в рамках 3-й линии сопровождения.
  • Оптимизация и настройка производительности ETL-процессов, в т.ч. запросов к РСУБД Источников
  • Анализ и тестирование существующих решений в технологическом стеке Hadoop
Требования
  • Приветствуется опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, YARN)
  • Опыт работы с DevOps-инструментами (Jenkins, Ansible, Nexus, Git и пр.)
  • Навыки работы с Unix shell
  • Свободное владение SQL
Условия
  • Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека
  • ДМС, страхование жизни
  • Самые инновационные, амбициозные проекты и задачи
  • Свободный дресс-код
  •  Гибкий график для оптимального баланса работы и личной жизни
  • Льготные кредиты и корпоративные скидки
  • Конкурентная компенсация (оклад и премии по результатам деятельности)