DE инженер scala\python, ETL

02 апреля 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

Наша команда поддерживает и развивает набор инструментов специализированной Лаборатории данных Службы внутреннего Аудита Банка:

· система управления Лабораторией

· система управления ролевой моделью Лаборатории

· платформа для создания Low-code/No-code приложений для аналитики данных

· и другие инструменты для аналитики данных

Обязанности

Мы ищем Data-инженера широкого профиля, способного самостоятельно проектировать, разрабатывать и внедрять сервисы и ETL решения, работающие с BigData


  • Разработка прототипов и промышленных витрин на платформах Hadoop \ GreenPlum по задачам Управления внутреннего аудита;
  • Участие в процессе производства ПО от участия в анализе задачи и подготовке требований до внедрения на промышленном стенде;
  • Поддержка (3-я линия) разработанных продуктов;
  • Реализация детальной архитектуры внедряемых сервисов
Требования

Основные:


  • Опыт разработки на Scala, знания Java
  • Опыт работы со Spark SQL;
  • Опыт работы со стеком Hadoop: HDFS, Yarn, Hive, Oozie;
  • Опыт работы с MPP СУБД (GreenPlum\Vertica);
  • Опыт оптимизации производительности SQL запросов (планы запросов, индексы, дистрибуция, партиционирование);
  • Опыт в оптимизации процессов сбора, первичной обработки и хранения большого объема данных из различных типов источников;
  • Опыт оптимизации моделей хранения данных;


Будут преимуществом:


  •  Базовые знания DevOps на Jenkins;
  • Опыт работы с ETL инструментами (Informatica/Datastage/NiFi);
  • Опыт разработки с применением платформы OpenShift /K8s;
  • Опыт работы с Apache Kafka
Условия

Офис: Большая Андроньевская д.6, м. Таганская\Римская.

 ·        Постоянное обучение. В нашей базе большое количество бесплатных он-лайн лекций, вебинаров и обучающих материалов любой специализации;

·        Обучение в корпоративном университете Сбербанка (Истринский р-н);

·        Работа в крупнейшем банке России;

·        Уровень заработной платы обсуждается индивидуально;

·        Трудоустройство согласно ТК РФ;

·        ДМС, страхование от несчастных случаев и тяжелых заболеваний Вас и Ваших близких;

·        Материальная помощь и социальная поддержка, корпоративная пенсионная программа;

·        Льготные условия кредитования.