В SberData мы создаем корпоративную аналитическую платформу для данных всего Сбера. Это более 700 источников информации и 150+ Пб информации; заказ и получение данных за 15 минут и современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum.
Предметная область: разрабатываем собственную высоконагруженную систему оркестрации потоков корпоративно-аналитической платформы. Это ключевое звено по управлению всеми ETL потоками (более 34х тысяч потоков).
Продукт имеет трехзвенную архитектуру, написан на стеке Scala, PosgreSQL, Kafka, Angular, мы в числе первых применяем внедряемые в Банке новые технологии.
Перед нами стоят задачи вывода в Cloud Native архитектуру, а также проектирование и реализация повышения масштабирования и отказоустойчивости.