Middle / Senior Data Engineer

31 марта 2024 • г Москва • ПАО "Сбербанк" • IT: Data Science и Data Engineering

Мы команда робототехники Центра Робототехники Сбера. Прямо сейчас мы стоим на пороге нового и увлекательного проекта, который объединяет в себе мобильную и манипуляционную робототехнику. Наша цель достаточно амбициозна - создать универсальный мозг для робота, программный стек, который сможет работать с различными подвижными платформами и манипуляторами. При этом робот будет воспринимать команды от человека, сформулированные на естественном языке.

Наша миссия заключается в том, чтобы сделать робототехнику более доступной для людей, устранить препятствия, которые могут возникнуть при внедрении робототехнических комплексов в промышленности, сельском хозяйстве и повседневной жизни.

Обязанности
  • создавать структуру хранилища данных
  • настраивать и использовать инструменты Airflow, Spark, Hive Metastore и пр.
  • разрабатывать ETL-пайплайны для сохранения датасетов с различными типами данных (видеоданные, изображения, лидарные данные, геоданные и пр.), пред- и пост-обработки данных, переноса данных, агрегации и т.п.
  • разрабатывать библиотеку для работы с датасетами (например, для фрагментарного доступа к данным и данным целиком)
  • разрабатывать процедуры для администрирования, мониторинга и для прочих обвязок БД
  • поддерживать инфраструктуру (администрирование ETL, поддержка БД, поддержка разработанных фреймворков)
Требования

Мы ищем единомышленников, которые разделяют нашу страсть к робототехнике и обладают навыками разработки северного программного обеспечения для различных задач.

  • опыт работы с технологиями: S3, PostgreSQ, Hive Metastore, Airflow, Kubernetes, Spark, Python (PySpark, PyArrow и др.)

  • опыт работы с мультимодальными данными (видеоданные, изображения, лидарные данные, геоданные и пр.)

  • опыт построения ETL-пайплайнов

  • опыт написания SQL-запросов

  • Хотя мы ожидаем, что потенциальные кандидаты будут обладать некоторыми из перечисленных качеств, мы также открыты для тех, кто может дополнить нашу команду другими ценными навыками и качествами.

  • Также плюсом будет:

  • опыт развертывания и внедрения Open-source инструментов

  • опыт разработки высоконагруженных ETL, понимание принципов масштабирования и обеспечения отказоустойчивой инфраструктуры

  • понимание модели MapReduce, алгоритмов и структур данных

  • опыт работы с технологиями: MQTT, Apache Kafka, RabbitMQ, ZeroMQ, Cyclone DDS, ROS1, ROS2, RVIZ, написание CI для DAG-ов Airflow, визуализации данных в Python

  • опыт в робототехнике или IoT

Условия
  • профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека
  • ДМС, страхование жизни
  • свободный дресс-код
  • льготные кредиты и корпоративные скидки
  • работаем из офиса г. Москва, башня Сбера на Кутузовском к32
  • корпоративный спорт-зал, печеньки, роботы :)