Data Engineer (ClickHouse)
18 сентября 2024 • г Москва • ПАО Сбербанк • IT: Data Science и Data Engineering
Команда занимается развитием Лаборатории данных, внедряет новые инструменты для работы с данными и разработки прототипов витрин/моделей/отчетов.
Стек технологий:
- БД: Greenplum, ClickHouse, Postgres
- инструменты: Airflow(в разработке) и корпоративные оркестраторы, Hadoop, Spark, Kafka, Flink, Trino
- ЯП: Python, Go, Java
- BI: Superset
Задачи:
- загрузка больших (терабайты) объемов данных
- интеграция инструментов/БД между собой (например:Greenplum+ClickHouse)
- оптимизация производительности
- коммуникация с пользователями
- разработка ETL-процессов
- проработка модели данных DWH
- мониторинг нагрузки на кластер, утилизации, обеспечение стабильности сервиса.
Мы ожидаем, что у тебя есть:
- опыт работы с большими DWH (более 1 Pb)
- опыт работы с ClickHouse, Greenplum
- опыт работы с Kafka, Hadoop
- SQL - опыт написания запросов разной сложности
- опыт построения ETL/ELT-процессов
- опыт работы с Python.
Мы предлагаем:
- офис рядом со станцией метро Кутузовская
- возможность работы в гибридном графике по итогам испытательного срока
- бесплатный спортзал
- места для отдыха - настольный теннис, кикер, бильярд и многое другое
- возможность работать с современным стеком технологий
- социальный̆ пакет (ДМС)
- огромный каталог образовательных программ, возможность обучения и сертификации за счет компании
- программа льготного кредитования в Сбербанке
- дисконт-программы от множества компаний партнеров
- возможность принять участие в других крупных и уникальных проектах Банка.