Data engineer

08 июля 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

Наша команда решаем крупные задачи продаж розничного бизнеса на базе платформы Hadoop, такие как построение единого хранилища фичей для моделей прогнозирования и оптимизация скорингов продуктовых предложений. Мы работаем над проектом по созданию инструментов, позволяющих унифицировать процесс сбора и опромышлевания данных, а так же обеспечить масштабируемость и надежность решения. Проект предполагает создание витрин как в Batch, так и в NRT (near real time) режиме.

Обязанности
  • Проводить анализ источников данных в Hadoop, GreenPlum для реализации задач
  • Разрабатывать алгоритмы, создавать инструментарий и пайплайны сбора и обработки больших данных
  • Проектирование и разработка аналитических витрин
  • Проводить системное, функциональное и интеграционное тестирование
  • Мониторинг и контроль качества загружаемых данных
  • Развитие и опромышлевание инструментов юнита
Требования
  • Отличное знание SQL (вложенные запросы, оконные функции, оптимизация запросов)
  • Уверенное владение и опыт разработки на Python и/или Java/Scala
  • Опыт работы с большими объемами данных с использованием стека технологий Big Data (Hadoop, Spark, Hive) и/или MPP систем (GreenPlum/Teradata/Vertica)
  • Желание развиваться в этой профессиональной области, работать в команде, проявлять инициативу и предлагать решения

Технический стек:

  • Hadoop (Hive, Spark, Kafka, Hbase, Oozie)
  • языки программирования (Scala, Pyton)
  • инструменты DevOps (Git, Nexus, Jenkins)
Условия
  • удобное расположение офиса и гибкий график удаленной работы
  • стабильный оклад и социальная поддержка сотрудников
  • расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
  • корпоративная пенсионная программа
  • корпоративное обучение за счет компании
  • реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей
  • официальное оформление с первого дня
  • корпоративный спортзал и скидки в спортзалы-партнеры
  • мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы