Data Engineer / Дата Инженер

01 марта 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

Мы ищем Middle Data Engineer для реализации амбициозного проекта перехода на новую платформу кампейнига Сбера.

Наша задача – обеспечить перевод legacy процессов на современный стек технологий, разработать решения по обработке и доставке данных, создать с 0 процессы загрузки потоков данных для задач аналитики и развить MLOps практику в команде для вывода DS моделей в пром.

Обязанности
  • Разрабатывать процессы сборки, обработки и поставки данных в Hadoop на Spark
  • Развивать архитектуру проекта и адаптировать ее под новые требования
  • Собирать и анализировать требования бизнеса по получению новых данных, оценивать наличие и качество данных
  • Проводить системное, функциональное и интеграционное тестирование
  • Разрабатывать и внедрять эффективные методики контроля качества данных
  • Участвовать в code review и создавать инструменты для упрощения своей работы
Требования
  • Имеешь опыт разработки на Spark (желательно Spark/Scala)
  • Знаком с инструментами экосистемы Hadoop: Hive, Spark
  • Хорошие знания SQL, опыт оптимизации запросов
  • Общий стаж работы не менее 2 лет
  • Высшее техническое образование
  • Будешь проактивен в работе с внешними и внутренними контрагентами.


Будет плюсом: Будет плюсом:

  • Опыт работы с Kafka
  • Работал с GreenPlum
  • Изучал или внедрял DevOps практики
Условия
  • Deep diving в предметную область, много разработки по задачам имеющим прямой эффект на бизнес
  • Возможность привносить новые идеи и нестандартные решения
  • Сообщество D-people– поддержка, развитие и возможность учиться у профессионалов
  • Достойную оплату труда
  • ДМС, сниженные ставки по кредитованию, программы лояльности для сотрудников
  • Современный офис рядом с метро Кутузовская, бесплатный фитнес в офисе.