Мы создаем новый продукт – «Feature Store».
Продукт позволит DE/DS собирать через конструктор в WEB UI новые фичи для моделей. В качестве источника конструктор будет использовать мета-данные базового слоя витрин Риски.
На выходе будет генериться код(SQL/SparkSQL). Далее полученный код будет включаться в релизный процесс витрин, либо в релизы разработчиков моделей. Либо автоматически устанавливаться в Пром на ежедневный расчет.
Это позволит централизованно генерить новые фичи только на данных Hadoop Риски, только на целевых источниках, без участия DE/DS в написании кода.
Хард скилы:
Софт скилы: