Data Engineer (ClickHouse)

18 сентября 2024 • г Москва • ПАО Сбербанк • IT: Data Science и Data Engineering

Команда занимается развитием Лаборатории данных, внедряет новые инструменты для работы с данными и разработки прототипов витрин/моделей/отчетов.


Стек технологий:

  • БД: Greenplum, ClickHouse, Postgres
  • инструменты: Airflow(в разработке) и корпоративные оркестраторы, Hadoop, Spark, Kafka, Flink, Trino
  •  ЯП: Python, Go, Java
  •  BI: Superset

Задачи:

  • загрузка больших (терабайты) объемов данных
  • интеграция инструментов/БД между собой (например:Greenplum+ClickHouse)
  • оптимизация производительности
  • коммуникация с пользователями
  • разработка ETL-процессов
  • проработка модели данных DWH
  • мониторинг нагрузки на кластер, утилизации, обеспечение стабильности сервиса.

Мы ожидаем, что у тебя есть:

  • опыт работы с большими DWH (более 1 Pb)
  • опыт работы с ClickHouse, Greenplum
  • опыт работы с Kafka, Hadoop
  • SQL - опыт написания запросов разной сложности
  • опыт построения ETL/ELT-процессов
  • опыт работы с Python.

Мы предлагаем:

  • офис рядом со станцией метро Кутузовская
  • возможность работы в гибридном графике по итогам испытательного срока
  • бесплатный спортзал
  • места для отдыха - настольный теннис, кикер, бильярд и многое другое
  • возможность работать с современным стеком технологий
  • социальный̆ пакет (ДМС)
  • огромный каталог образовательных программ, возможность обучения и сертификации за счет компании
  • программа льготного кредитования в Сбербанке
  • дисконт-программы от множества компаний партнеров
  • возможность принять участие в других крупных и уникальных проектах Банка.