Data Engineering Team Lead (Руководитель направления потоковой и пакетной загрузки данных )

13 ноября 2026 • г Санкт-Петербург • ПАО Сбербанк • Информационные технологии:Руководитель проектов

ИТ B2C - самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Мы, команда офиса CDO B2C, строим платформу данных, которая обеспечивает быстрый, надежный и качественный обмен информацией между Сбером и компаниями-партнерами. Это основа для персонализированных предложений умных продуктов и эффективных бизнес-решений.

Наша команда - Команда развития Платформы в офисе CDO B2C ищет DE-инженера для реализации задач по загрузке, аналитике и трансформации данных.

Обязанности

Контроль задач загрузки данных данных и координация работ

Курирование вопросов загрузки данных: анализ потребностей подразделений в загрузке данных, приоритизация и согласование состава источников и периметра загрузки;

Координация работ по загрузке данных между командой Data Engineer, заказчиками и смежными подразделениями: постановка и распределение задач, оценка трудозатрат, контроль сроков, снятие блокеров, разбор спорных технических решений;

Техническое ревью кода (Python/PySpark, Scala) и архитектурных решений команды, контроль соблюдения стандартов разработки;

Наставничество и развитие инженеров: онбординг, индивидуальные планы развития, участие в оценке сотрудников;

Участие в найме: формирование профиля кандидата, проведение технических интервью, оценка hard skills;

Взаимодействие с заказчиками, аналитиками, архитекторами и смежными командами: сбор требований к загрузке данных, согласование сроков и объёма работ;

Организация процесса разработки и поставки: code review, релизный цикл, контроль качества (тесты, CI/CD), разбор инцидентов и постмортем.

Контроль качества данных;

Технические задачи (hands-on)

Проектирование и реализация ETL/ELT-пайплайнов обработки больших данных (PySpark, Apache Flink);

Разработка и развитие архитектуры хранения и обработки данных в Hadoop-экосистеме (HDFS, YARN, Hive);

Проверка и оптимизация производительности Spark- и Flink-приложений, тюнинг параметров выполнения;

Настройка и сопровождение оркестрации workflows, интеграция источников данных в единую pipeline-архитектуру;

Документирование решений, стандартов и архитектуры, формирование базы знаний группы.

Требования

Опыт руководства командой разработки (10+ человек) или курирования направления загрузки данных: постановка и контроль задач, code/design review, наставничество, участие в найме;

Опыт в области корпоративных данных, DWH, ETL или «больших» данных;

Опыт реализации масштабных проектов по построению хранилищ и аналитических платформ;

Профильное владение Python (включая библиотеки для работы с данными);

Практический опыт разработки на Apache Spark (PySpark), опыт с Apache Flink;

Опыт работы в Hadoop-экосистеме: HDFS, YARN, Hive;

Глубокое понимание SQL, опыт работы с РСУБД и колоночными хранилищами (PostgreSQL, Greenplum и др.);

Практический опыт с Apache Airflow (создание DAG, настройка сенсоров и операторов);

Навыки администрирования Linux (развертывание, мониторинг, troubleshooting);

Опыт разработки архитектуры и внедрения решений в области работы с данными;

Понимание процессов разработки и поставки: code review, тестовые окружения, CI/CD, релизный цикл.

Плюсом будет:

Базовые знания Scala (или готовность к изучению);

Опыт работы со стриминговыми данными (Kafka, Debezium);

Опыт с облачными платформами и сервисами (AWS S3/Glue, GCP BigQuery, Azure Data Factory);

Навыки автоматизации инфраструктуры (Ansible, Terraform, Docker/Kubernetes);

Практический опыт с NiFi, BI-инструментами;

Участие в приемке продуктов и приемо-сдаточных испытаниях, работа с пилотными внедрениями;

Опыт управления распределённой или кросс-функциональной командой.

Условия

гибридный формат

ежегодный пересмотр зарплаты и годовая премия

расширенный ДМС и льготное страхование для семьи

уникальная система обучения Сбера для профессионального и карьерного развития

выгодная ипотека для сотрудников

подписка Прайм с возможностью совместного использования на трёх близких

вознаграждение за рекомендацию друзей в команду Сбера

корпоративная пенсионная программа.