Data Engineer (Разработчик SQL)

В кластере генеративных рекомендаций мы строим индивидуальные клиентские сценарии на стыке больших данных, истории общения и генеративного ИИ.

Конкретно наша команда «Центр коммуникаций» извлекает знания из эпизодов общения с клиентами (транскрибированные записи переговоров, чаты переписок, общение с AI‑помощником и т.д.). Вызовом для нас стал проект реализации для кластера единого, надежного и содержательного хранилища всех коммуникаций банка с клиентом. Это «источник правды», от которого зависит точность управленческих решений и персонализация сервиса.

Поэтому к нашим отлаженным процессам на LLM-инструментах добавляем надежные промышленные ETL-процессы. Для нас это узкое место – приходится привлекать Дата-Инженеров из других команд. Мы ищем того, кто возьмет SQL-разработку в свои руки и снимет это ограничение. Новому члену команды предстоит на основе ТЗ аналитиков создавать быстрый и надежный код для расчетов, грамотно организовывать хранение и обработку данных, обеспечивая бесперебойную поставку информации внутренним заказчикам как в промышленном, так и в лабораторном контуре.

• разработка витрин данных по техническим заданиям
• организация сбора и загрузки структурированных и неструктурированных данных из различных источников. Подготовка, очистка и предобработка данных
• оптимизация процессов обработки и хранения больших объемов информации
• написание и оптимизация сложных SQL-запросов
• разработка функций и хранимых процедур на PL/pgSQL
• разработка и поддержка DAG'ов (Directed Acyclic Graphs) в Apache Airflow для оркестрации и автоматизации регулярных ETL-процессов обновления данных
• работа на тестовых средах, участие в приемо-сдаточных испытаниях (ПСИ) и сопровождение вывода релизов в промышленную эксплуатацию
• обеспечение качества данных: настройка автоматических проверок целостности, консистентности и полноты загружаемой информации (Data Quality)
• работа в качестве третьей линии поддержки (3ЛС): поиск и устранение причин инцидентов и падений потоков обработки данных
• управление бэклогом задач: приоритизация доработок, коммуникация с аналитиками и разработчиками смежных команд.

• знание одного или нескольких диалектов SQL (структура хранения, написание продвинутых запросов, оптимизация), опыт создания/изменения объектов БД
• промышленный опыт работы с СУБД и хранилищами данных (GreenPlum, PostgreSQL, Elasticsearch и т.д.)
• опыт работы с системами контроля версий Git/Bitbucket
• знание Python на базовом уровне
• внимательность к деталям, дотошность, настойчивость, умение раскапывать истинные причины, а не просто «чинить» последствия падений.

Будет плюсом:

• опыт работы с Jira, Confluence
• опыт работы с оркестраторами (Apache Airflow, Dagster, Prefect) будет значительным преимуществом. Готовность освоить Airflow в короткий срок — обязательно
• опыт проведения Code Review
• знание банковских продуктов корпоративного бизнеса
• умение находить баланс между «правильно» и «быстро».

Что мы предлагаем:

• удобный офис в СПб на ул. Уральской, дом 1 (с бесплатной развозкой от метро)

• офисный формат работы

• регулярный пересмотр заработной платы и возможность получения годовой премии

• доступ к более чем 400 образовательным программам СберУниверситета

• программу адаптации и поддержку наставника на первых этапах работы

• расширенную медицинскую страховку (ДМС) и выгодные условия страхования для членов семьи

• ипотечные программы для сотрудников

• бесплатные подписки СберПрайм+ и бонусы партнёров

• вознаграждения за рекомендации кандидатов.