Инженер по сопровождению SDP Hadoop

27 мая 2024 • г Хабаровск, Хабаровский край • ПАО "Сбербанк" • IT: Поддержка, DevOps и администрирование

SberData - департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 100 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

УСКАП – это управление занимающаяся сопровождением и развитием инфраструктуры Hadoop. С помощью нашей команды осуществляется надежность выполнения критичных бизнес-процессов, своевременное устранение и анализ проблем на Hadoop кластерах и принятом на сопровождение ППО разработанном в Сбербанке для Корпоративной Аналитической Платформы.

SDP Hadoop - это полноценный дистрибутив на базе Apache Hadoop, адаптированный для внутреннего использования, предназначенный для хранения и обработки слабоструктурированных и неструктурированных данных.

Наша команда в поисках инженера по сопровождению SDP Hadoop в Департаменте управления данными (SberData).

Стек используемых технологий:

* Linux (RHEL),

* RH IDM IPA (LDAP, IDM, CA, DNS, HBAC, SUDO)

* PostgreSQL + Patroni

* Hadoop (Hive, YARN, Oozie, Zookeper, Hue, Ambari, HBASE, Spark, HDFS, Druid, Flume, Solr, Ranger)

* Apache Ozone

* Kafka

* HAProxy, NGinx

* Grafana + Prometheus

* Elasticsearch, FileBeat, Logstash, Kibana.

* Kubernetes

* Ansible, Jenkins, Vault (hashicorp), Git

* Bash, Python

* S3.

Обязанности
  • обеспечение бесперебойной работы платформы Hadoop
  • установка, настройка, обновление кластеров SDP Hadoop и связанной инфраструктуры
  • участие в проектировании продукта SDP Hadoop со стороны сопровождения: написание ТЗ, описание и воспроизведение дефектов
  • проактивное администрирование и мониторинг, обеспечивающее непрерывную работу платформы, развитие мониторинга системы
  • решение инцидентов ИТ систем
  • автоматизация рутинных операций для повышения производительности и надежности систем
  • участие в тестировании программного обеспечения
  • поддержка и совершенствование процессов CI/CD, релизного процесса, обеспечивая эффективную разработку и доставку.
Требования
  • знания в troubleshooting'е и администрировании linux-систем, уверенное владение командами ОС семейства Linux
  • знание различных SQL запросов, понимание что такое DML, DDL, DCL, TCL
  • понимание работы стека TCP/IP
  • опыт работы с системами мониторинга (Prometheus, Zabbix)
  • опыт автоматизации на скриптовых языках (shell/perl/python/etc)
  • опыт работы с централизованными системами по управлению идентификацией пользователей (RH IDM IPA, Active Directory), понимание принципов работы Kerberos, LDAP
  • знание ITSM, ITIL.

  Дополнительным плюсом будет:

  • высшее техническое образование (области ИТ)
  • навыки в администрировании и troubleshooting'e Hadoop, а именно Hive, YARN, Oozie, Zookeper, Hue, Ambari, HBASE, Spark, HDFS, Druid, Flume, Solr, Ranger
  • понимание технологий интеграции между системами (форматы сообщений xml, json, менеджеры очередей Kafka, RabbitMQ, IBM MQ, ActiveMQ)
  • знания в области распределения нагрузки и масштабирования
  • способность быстро и точно выявлять и устранять причины возникших сбоев
  • понимание и следование принципам построения отказоустойчивых систем
  • английский язык на уровне чтения технической документации
  • опыт написания технической документации и технических заданий
  • знание принципов работы реляционных БД.
Условия
  • работа в офисе по адресу г. Хабаровск ул. Краснореченская, 111В.
  • официальное оформление с первого дня
  • стабильный оклад и социальная поддержка сотрудников
  • расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
  • корпоративная пенсионная программа
  • корпоративное обучение за счет компании
  • реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение
  • корпоративный спортзал
  • мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы.