Team Lead/Senior java developer под Big Data NRT решения

01 марта 2024 • г Москва • ПАО "Сбербанк" • IT: Разработка

Блок Риски ищет играющего тренера, будущего лидера NRT-инструментов платформы «Риск-Данные».

Совместно с командой одного из продуктовых трайбов провести пилот, разработать архитектуру решения, выработать типовые подходы, создать паттерны разработки NRT-витрины, включая DevOps.

А далее тиражировать решение на всю платформу.

Обязанности
  • создание NRT витрин на платформе Риск-Данные(Hadoop/HBase)
  • разработка Java application, которое читает Kafka-потоки изменений, приходящих с источников
  • мёрдж kafka инкремента с данными, загруженными в batch режиме(HBase, HDFS)
  • загрузка данных HDFS <-> Hbase, Bulk Load
  • проработка архитектуры хранения данных в HBase: regions, column family и т.д.
  • разработка механизма распространения NRT-витрин через Kafka для потребителей.
Требования

• не менее 2-х лет разработки NRT решений

• опыт потоковой обработки данных (Kafka, Spark Stream, Flink или аналог)

• SQL - продвинутый уровень

• Java - продвинутый уровень

• опыт разработки в HBase и оптимизации производительности

• желателен ci/cd опыт с любой системой

• Python желательно

• будет плюсом опыт разработки API

• так же будет плюсом опыт в построении классических хранилищ и ETL/ELT батч процессов.