Data Engineer (Data Integration)

10 июня 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

В настоящее время мы ведем проект по миграции хранилища данных c Oracle + SAS DIS на СУБД GreenPlum. Стрим текущего года направлен на максимальную автоматизацию всех процессов: для реализации плавного перехода с минимальными простоями и рисками для бизнеса.

Обязанности
  • обеспечение сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников
  • оптимизация процессов обработки
  • написание и оптимизация SQL запросов
  • написание функций на PL/pgSQL
  • написание и поддержка скриптов парсинга Confluence на Python
  • работа на тестовых средах, прохождение ПСИ, вывод релизов
  • настройка сценария запуска расчетов
  • работа в качестве 3ЛС: поиск причин падений потоков н устранение причин падений.
Требования
  • промышленный опыт работы с СУБД (GreenPlum, PostgreSQL и т.д.)
  • понимание принципов ETL/ELT
  • опыт проектирования интеграций источников данных
  • хорошее знание SQL (структура хранения, написание продвинутых запросов, оптимизация)
  • умение аргументированно обосновывать свое мнение и решения.

Будет плюсом


  • умение работать с Confluence/Jira
  • промышленный опыт работы с GreenPlum
  • знания Python
  • опыт проведения Code Review
  • опыт работы в методологии Data Vault/Data Lake
  • опыт работы с BitBucket/Jenkins.
Условия
  • офис «Sbergile Home» рядом с м. Кутузовская
  • бесплатный фитнес-зал с душевыми кабинами и сауной, настольные игры на этажах
  • ДМС, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия
  • сниженные ставки по кредитованию, программы лояльности для сотрудников
  • возможность профильного обучения (обучение, сертификация, конференции)
  • интересные, сложные, амбициозные задачи
  • возможность расширить свою экспертизу, используя современный стек технологий
  • создание продуктов для многомиллионной аудитории пользователей
  • профессиональный рост в молодой и сильной команде.