Senior Data Engineer (SberDevices)

11 марта 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

SberDevices - новое направление компании, которое занимается созданием девайсов для массового пользователя и продуктов на основе речевых и голосовых технологий и многими другими интересными проектами.

Наша команда занимается развитием Data Platform (платформы данных).


Сейчас у нас есть три основных направления:


1. Управление данными Умных устройств (телеметрия, пользовательские действия, системные логи и тп), собираем >1 млрд событий в сутки и обеспечиваем аналитику в реальном времени:

- Один из лидеров рынка по размеру собственной сети Умных устройств.

2. Управление данными по взаимодействию пользователей с Виртуальным Ассистентом:

- Один из лидеров рынка по аудитории Виртуального Ассистента.

3. Управление данными для обучения LLM (Больших языковых моделей), собираем и обрабатываем >5ПБ в месяц различных типов данных (текст, изображения, видео, звук):

- Один из лидеров LLM в стране.

Обязанности
  • Развивать платформу как self-service для аналитиков – разрабатывать новые сервисы и фичи для удобства пользователей.
  • Участвовать в проектировании и модернизации инфраструктуры.
  • Поддерживать существующий функционал.
  • Внедрять процедуры контроля качества данных.
  • Оптимизировать и автоматизировать существующие процессы – никакого массового ручного клепания витрин и написания одинаковых ETL.
  • Генерировать идеи, как сделать еще круче, чем уже есть :)
Требования
  • Практический опыт работы с Python 3, базовый опыт с GoLang приветствуется.
  • Опыт оптимизации SQL запросов, понимание внутреннего устройства БД (у нас ClickHouse и GaussDB - аналог GreenPlum).
  • Базовый опыт администрирования БД.
  • Навыки работы с unix-подобными системами, знание базовых команд.
  • Базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform)


Будет плюсом:


  • Практический опыт работы с облачными платформами управления данными (у нас SberCloud / Huawei Cloud).
  • Практический опыт работы со стеком технологий Big Data (особо интересует Kafka и Spark).
  • Практический опыт участия в проектах по созданию DWH, Data lake, Data management platforms, опыт построения и развития высоконагруженных систем приветствуется.
Условия
  • Гибкий стек инструментов и технологий – можно пробовать новое, если точно знаете, зачем.
  • Адекватный подход к управлению – мы не ставим нереальных сроков и не предлагаем поработать в выходной ради высшего блага.
  • Работа с крупнейшими массивами данных на рынке России.
  • Гибкий график для оптимального баланса работы и личной жизни, возможна удалёнка.
  • Дружный коллектив и здоровая атмосфера взаимопомощи.
  • Амбициозные задачи.
  • Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека.
  • ДМС, страхование жизни.
  • Свободный дресс-код.
  • Льготные кредиты и корпоративные скидки