Data Engineer

13 июня 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

Мы R&D подразделение B2C Сбера.

Наша задача == поиск и развитие решений на базе ML, DL, LLM, CV, которые затем будут масштабироваться на всех клиентов компании. В своих продуктах мы используем как существующие технологические продукты Сбера: GigaChat, Kandinskiy, Salute, так и собственные модели и разработки.

Обязанности
  • Реализация ETL-пайплайнов для задач ML по продуктовым требованиям
  • Автоматизация сбора метрик, покрывающих процесс ML-экспериментов
  • Сбор, агрегация и подготовка данных из различных источников
  • Участие в разработке ML-моделей, а также связанных с ними сервисов
  • Участие в проведении R&D
  • Участие в кросс-командном проектировании архитектуры сервисов.
Требования
  • Middle Python
  • Middle SQL (оконные функции, DDL, DML, DCL и TCL)
  • Опыт работы с распределенными файловыми хранилищами (Hadoop, S3, Google BigQuery, CEPH)
  • Опыт работы с Airflow или любым другим оркестратором для ETL
  • Понимание разницы между batch и streaming ETL, плюсы и минусы подходов, сценарии использования
  • Опыт работы с Git
  • Понимание принципов контроля качества данных.
Условия
  • Конкурентная заработная плата (оклад + годовые премии);
  • Социальный пакет (ДМС, страхование от несчастных случаев, льготное кредитование);
  • Возможность обучения и сертификации за счет компании (Coursera и своя виртуальная школа);
  • Материальная помощь при наступлении значимых событий в жизни;
  • Дисконт-программы от компаний партнеров (фитнес, страхование, туризм);
  • Комфортный офис на м. Кутузовская, Сбербанк Agile Home (от метро 3-5 минут пешком);
  • Бесплатный тренажерный зал и спортивные групповые занятия, кухни на каждом этаже, комнаты отдыха, множество ресторанов и столовая, бесплатная парковка;
  • Подарки и мероприятия для детей сотрудников. Оздоровительные программы для детей сотрудников;
  • Возможность принять участие в других крупных и уникальных проектах банка.