Data Engineer (GenAI)

Мы разрабатываем инновационную платформу на основе генеративного искусственного интеллекта (GenAI), предназначенную для автоматизации создания и управления маркетинговыми кампаний. Основной целью нашего продукта является генерация персонализированных коммуникаций в автономном режиме, где мультиагентные системы самостоятельно анализируют данные аудитории, разрабатывают стратегии, создают контент и оптимизируют результаты в реальном времени.

• Проектирование и построение batch- и streaming-витрин

• Проработка архитектуры хранилища данных, а также его интеграцию с внешними системами

• Загрузка, очистка и трансформация больших объемов данных из различных источников в рабочую область (платформы GreenPlum и Hadoop)

• Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин

• Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных

• Участие в анализе требований, оценке трудоёмкости задач и планировании релиза совместно с командой

• Опыт работы scala-разработчиком/дата-инженером от 2 лет

• Знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов)

• Опыт с Apache Spark (обязательно). Опыт с Flink, Kafka, Iceberg или аналогичными

• Понимание DWH/Data Lake, ETL/ELT-процессов, SCD, Data Quality

• Опыт работы с большими объемами данных, построения хранилищ и витрин данных 

• Понимание принципов DevOps и опыт участия в процессах автоматизации сборки, тестирования и развёртывания

• Ответственное отношение к выполнению задач, желание профессионально расти и развиваться

Будет плюсом:

• Знание Python

• Опыт с ClickHouse, Kubernetes, S3

• Современный IT-офис вблизи Москва-Сити с фитнес залом

• После погружения в процессы возможен гибридный формат

• Позитивная и заряженная команда профессионалов

• Интересные, сложные, амбициозные задачи

• Создание нового уникального продукта

• Возможность профильного обучения за счет компании

• Стабильная, конкурентная «белая» заработная плата (оклад + достойные премии)

• Льготные условия по ипотеке и кредитам Сбербанка

• ДМС, социальные гарантии, корпоративные мероприятия