Разработчик Data Linage (Java, Scala)

Наша команда создает и развивает продукт для построения Data Lineage на различных технологических стеках хранения и преобразовании информации ( от традиционных РСУБД : PostgreSQL, GreenPlum, … до Hadoop: Hive, Spark, … ). Перед командой стоит задача по созданию продукта не только в рамках платформы Фабрики, но и выхода в экосистему Сбербанка, а далее и на внешний рынок.

Data lineage – информация, которая описывает движение данных от источника их происхождения по точкам обработки и применения.

В мире Big Data, когда информации становится все больше, Data lineage позволяет управлять данными, реализуя следующие задачи:

·      Обеспечение качества данных за счет однозначной идентификации их источников;

·      Повышение доверия к данным через прозрачность всех процессов работы с ними;

·      Предоставление метаданных и сведений об их изменении в точках трансформации данных.

·      Активное участие в развитие направления Data Lineage

·      Разработка агентов сбора Data Lineage

·      Разработка на Java, Scala, Spark

Требуемые навыки:

• Уверенные знания Java Core(от 3 лет)/Spring Boot
• Знание Hadoop (Spark, Hive)
• Знание CI/CDP инструментов

Плюсом будет:

• Знание Scala, Python, Groovy, Spark
• Опыт разработки ETL
• Знание Hadoop (Spark, Hive)
• Опыт работы в High Load
• Опыт работы с графовыми БД (у нас JanusGraph, Gremlin)
• Опыт работы с ElasticSearch, HBase, Kafka, Apache Atlas, Nginx

·      Интересные задачи (современный стек технологий, нет легаси кода и нет задач "в стол")

·      Гибкий график работы

·      Возможность работать из дома

·      Дружный и отзывчивый коллектив, организованный по принципам Agile

·      Оплату профессиональных конференций и обучений

·      Широкие возможности карьерного и профессионального роста

·      Оформление по ТК РФ

·      Удобный офис

·      Соц. Пакет (ДМС, мобильная связь и многое другое)

·      Скидки от партнеров Экосистемы Сбера