Senior Data Engineer (команды "Данные DWH" и "Развитие DWH")

Мы - новая быстрорастущая команда, создающая сервис, который будет управлять цифровыми рекламными поверхностями и платформой по размещению рекламы на поверхностях Банка и Экосистемы. Используя данные СБЕРа и технологические решения его экосистемы, мы сможем реализовать уникальный сервис на рынке digital marketing. Он позволит нам показывать пользователям рекламу, которая будет нравиться и которая будет делать рекламные продукты эффективными и измеримыми для рекламодателей. Если вы талантливый и амбициозный специалист в сфере ИТ, если вы хотите быть причастными к созданию лучших продуктов для лучших клиентов и уверенно отвечать за результаты, то мы рады принять вас в команду.

• разрабатывать и поддерживать проектный DWH в облачной экосистеме
• разрабатывать и оптимизировать объекты данных и пайплайны обработки данных/ETL на Python / Scala в своей зоне ответственности, а также помогать другим командам развивать объекты и пайплайны в их зоне ответственности
• развивать и поддерживать библиотеку (framework) DWH
• быть одним из драйверов развития архитектуры и инфраструктуры проекта

• понимание принципов модели распределенных вычислений
• знание принципов построения DWH и Data Lake, знание основных методик построения DWH (Data Vault etc.)
• опыт в поиске, обработке и построение витрин данных при помощи Spark и SQL
• опыт промышленной разработки на стеке Scala/Java/Python
• понимание принципов работы протоколов безопасности (SSO, Kerberos) и основных методов и протоколов обмена данными в сети (REST, SOAP, gRPC и др.)
• опыт разработки приложений с использованием инструментов Spark Streaming, Hbase, Spark, Kafka, Hive, Impala, Hue и т.д.
• хорошие знания SQL, опыт работы с одной из реляционной БД - Oracle/PostgreSQL/mySQL/MS SQL Server
• понимание подходов к организации разработки (CI/CD, DevOps), практический опыт работы с инструментами Jenkins, SonarQube, TeamCity, Anisble, Git (BitBucket/GitLab)

Будет плюсом:

• Практический опыт с облачными инструментами работы с данными, такими как Snowflake; Delta Lake; AWS EMR/Serverless EMR, Athena; Huawei Cloud MRS, DLI и аналоги
• Практический опыт построения корпоративного или проектного DWH

• работа в команде профессионалов, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны
• можно работать в офисе или в смешанном графике, гибкое начало рабочего дня
• конференции и обучение на корпоративных или вендорских курсах за наш счёт
• отличная ДМС, которая распространяется на ваших членов семьи
• льготные условия по ипотеке и кредитам
• материальная помощь и социальная поддержка
• корпоративная пенсионная программа
• офис в бизнес-центре м. Маяковская