Senior Data Analyst (Scala API)

О проекте:

Мы разрабатываем и внедряем DS-модели и AI-агентов в Департаменте по работе с проблемными активами (NPL). Мы понимаем, что их эффективность напрямую зависит от фундамента — качественно проанализированных, подготовленных и высокопроизводительных данных.

• разработка высоконагруженных пайплайнов обработки больших данных исключительно на Scala API DataFrame Apache Spark (без SQL), включая оптимизацию производительности (Performance Tuning) и устранение data skew
• проектирование архитектуры хранения: моделирование данных с применением подходов Data Vault или Dimensional Modeling, участие в проектировании DWH
• подготовка и предоставление чистых, структурированных фичей (feature engineering) для команд DS/ML, понимание жизненного цикла внедрения ML-моделей
• обработка больших объемов неструктурированных данных и интеграция результатов работы генеративного ИИ в аналитические процессы
• работа с ядром Spark: анализ планов выполнения запросов через Catalyst Optimizer, выявление и решение проблем производительности на уровне кода
• участие в код-ревью, ведение разработки в Git, написание модульных тестов и поддержание высокого качества кодовой базы команды
• трансляция бизнес-задач от стейкхолдеров в технические требования к данным и архитектуре потоков.

• релевантный опыт работы от 3 лет на позиции Data-аналитика или Аналитика DWH
• технический стек: экспертное владение Scala API для работы с DataFrame Apache Spark. Оптимизация производительности (Performance Tuning), глубокое понимание этапов оптимизации Catalyst, выявление и устранение data skew.
• опыт реализации проектов исключительно на Scala API DataFrame Apache Spark без использования SQL.
• разработка с применением инструментов генеративного ИИ.
• навыки анализа: опыт обработки больших объёмов неструктурированных данных
• проектирование: навыки моделирования данных (знакомство с подходами Data Vault, Dimensional Modeling) и проектирования высоконагруженных систем
• ML-компетенции: практический опыт участия в проектах внедрнения ML-моделей и понимание жизненного цикла их разработки
• инструменты командной работы: владение системами контроля версий (Git), участие в код-ревью
• бизнес-контекст: умение понимать бизнес-задачи и транслировать их в технические требования к данным.

Будет плюсом:

• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов.

• офисный формат работы: г. Москва, Кутузовский проспект, д. 32, к.1
• ежегодный пересмотр зарплаты и годовая премия
• более 400 образовательных программ в СберУниверситете для твоего развития
• спортзал и зоны отдыха
• расширенный ДМС, льготное страхование для семьи
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• срочный трудовой договор.