Data Engineer

Команда «Гео и графы» развивает несколько направлений: витрины данных о связанности ЮЛ, клиентские данные ЮЛ, транзакционные витрины данных, графы связей ЮЛ, геовитрины по данным ЮЛ. Все витрины используются для построения моделей в различных бизнес-блоках Банка.

• разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных
• подготовка датасетов из больших массивов сырых данных, первичный анализ данных
• выявление артефактов в данных
• инженерная часть разработки наукоемких технологий в части инжиниринга данных
• взаимодействие с прикладными командами банка по внедрению технологий, разработанных лабораторией, а также мультимодальных моделей в процессы банка
• организация инфраструктуры хранения данных для исследований
• участие в сложных интеграционных проектах по развитию гибридного DWH Сбербанка (Hadoop, GreenPlum)
• участие во внедрении моделей на основе алгоритмов ML

• высшее техническое образование
• наличие практического опыта работы с Apache Spark обязательно
• хорошее знание Python (в том числе опыт работы с фреймворками Python по подготовке данных (Pandas, NumPy, SciPy, PySpark)
• опыт разработки от 1 года
• знание SQL
• умение анализировать научную литературу, разбираться в незнакомой теме
• желание заниматься инженерной и инфраструктурной стороной проблемы
• scripting (bash/powershell) обязателен, поднимать и настраивать сервера в облачных средах часто приходится самостоятельно
• опыт разработки под Linux среды (Ubuntu, RedHat)
• знание систем контроля версий, опыт коллективной разработки. У нас Git (BitBucket внутри сети банка и GitHub/GitLab в остальных случаях)
• фундаментальные знания принципов построения распределенных систем хранения и обработки данных

Будет плюсом:

• навыки программирования на Scala/Java или C++
• опыт работы с реляционными СУБД (Oracle, MS/SQL), навыки оптимизации запросов
• опыт работы с МРР GreenPlum
• опыт работы с системами версионирования данных типа DVC
• опыт работы с ETL-инструментами
• знания предметной области «Банки и финансы»

• высококвалифицированный коллектив
• конкурентный уровень заработной платы, а также годовые премии по результатам работы
• ДМС, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия
• сниженные ставки по кредитованию, программы лояльности для сотрудников
• возможность профильного обучения (обучение, сертификация, конференции)
• интересные, сложные, амбициозные задачи
• адрес офиса: пр-кт Старо-Петергофский, 30 к1 литерА