Middle Data Engineer (Сбер надежность)

Наша команда развивает масштабируемую платформу данных. Мы считаем метрики по процессам сопровождения всего банка, предоставляем аналитику и управленческую отчётность, а также готовим дата-продукты, которые потребляет множество подразделений банка.

Сейчас фокус на поставке NRT данных для AI агентов и ускорении работы с витринами данных путём внедрения Greenplum и Airflow.

• участие в проектировании и развитии архитектуры аналитического хранилища (30+ Тб)
• разработка и поддержка автоматизированных ETL/ELT процессов (создание интеграционного взаимодействия с источниками данных, настройка регулярных загрузок данных, NRT потоков)
• улучшение отказоустойчивости, мониторинга, алертинга и качества данных
• миграция DWH на целевую архитектуру
• сбор, обработка и парсинг "сырых" данных
• поддержка и развитие хранилища данных, оптимизация работы БД.

наш текущий стек:

PostgreSQL, Greenplum, Apache, NiFi, Airflow, Kafka, Python

требования:

• уверенные знания SQL (оконные функции, CTE, процедурный язык PostgreSQL/Greenplum)
• опыт работы с Airflow
• опыт работы с PostgreSQL/ Greenplum в качестве DE
• знание основных понятий и концепций из области Data Warehousing
• опыт разработки витрин данных.

будет плюсом:

• опыт работы с Apache NiFi, Kafka
• опыт реализации и практического применения Data Vault
• навыки работы с генеративными AI-моделями.

• комфортный современный офис по адресу проезд 2-й Южнопортовый 12
• формат работы: офис на время адаптации и далее гибрид (2–3 дня в неделю в офисе)
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендации друзей в команду Сбера.