Главный инженер по разработке

26 октября 2023 • г Москва • ПАО Сбербанк • IT: Data Science и Data Engineering

Команда платформы данных SberDevices находится в поиске инженера-исследователя Data R&D. Вам предстоит заниматься исследованием новых технологий, фреймворков, библиотек и решений в области обработки и хранения данных, разрабатывать прототипы их использования, а также содействовать их внедрению и распространению.

Обязанности
  • Разработка и пилотирование платформы активных метаданных
  • Разработка решения по анализу сети (графа) устройств
  • Анализ векторных баз данных и их применения для решения задач компании
  • Анализ и выбор решений для построения рабочего пространства дата-инженера и аналитика


и многое другое

Требования
  • Быть открытым к новом технологиям и возможностям
  • Интересоваться своей профессиональной отраслью
  • Понимать пакетную и потоковую обработку данных и соответствующие технологии
  • Не бояться работать с незнакомыми языками программирования
  • Уметь работать с командной строкой Linux
  • Знать один из языков программирования: Python, Java, Scala


Технологии

Важно: совсем не обязательно знать все, что указано ниже, нужно не бояться работать с этим, в случае необходимости

Языки программирование:


  • Python
  • Java

Пакетная обработка данных:


  • AirFlow
  • Spark
  • DBT

Потоковая обработка данных:


  • Kafka
  • Spark Streaming

Хранение данных:


  • ClickHouse
  • PostgreSQL
  • GreenPlum
  • Redis
  • SQL

Визуализация данных:


  • Metabase
  • Superset

Контейнеризация:


  • Docker
  • Docker Compose
  • Kubernetes

Операционные системы:


  • Linux (RHEL-based, Debian-based)
Условия
  • Работа в сильной команде
  • Пробовать то, что не пробовали (наращивать кругозор и компетенции)
  • ДМС и страхование жизни
  • Корпоративное обучение и участие в конференциях
  • Комфортный офис
  • Гибкий график работы с возможностью работать удаленно в пределах РФ
  • Атмосфера стартапа, надежность гиганта