Data Engineer

12 марта 2024 • г Санкт-Петербург • ПАО "Сбербанк" • IT: Разработка

Команда «Гео и графы» кластера «AI360» корпоративного блока Сбербанка развивает несколько направлений: витрины данных о связанности Юридических лиц, клиентские данные, транзакционные витрины данных, графы связей, геовитрины по данным. Все витрины используются для построения моделей в различных бизнес-блоках Банка.

Обязанности
  • участие в сложных интеграционных проектах по развитию гибридного DWH Сбербанка (Hadoop, Oracle, PostgreSQL) в роли разработчика
  • разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop
  • участие во внедрении моделей на основе алгоритмов machine learning
  • оптимизация и настройка производительности ETL-процессов
  • миграция существующих приложений на Hadoop инфраструктуру
  • анализ и тестирование существующих решений в технологическом стеке Hadoop.
Требования
  • высшее техническое образование
  • наличие практического опыта работы с Hadoop (Hive, Impala, sqoop, oozie, HDFS, YARN), понимание парадигмы map-reduce и алгоритмов работы Spark
  • опыт работы с реляционными СУБД (Oracle, MS/SQL), навыки оптимизации запросов
  • навыки программирования на Scala/Java/Python
  • фундаментальные знания принципов построения распределенных систем хранения и обработки данных.
Условия

-