AQA Engineer (Python)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Наша команда занимается развитием дистанционных каналов продаж с использованием AI. Основные каналы — чат клиентов с Банком и телефония: исходящие и входящие звонки. Сейчас мы в поиске опытного QA инженера, который поможет нам воплотить в жизнь подход к тестированию недетерминированных LLM-сущностей.

• разработка и поддержка автотестов на Python для проверки функционала голосового агента и смежных систем
• написание и поддержка тестовых сценариев в Zephyr
• оценка качества ответов LLM с помощью метрик (LLM-as-a-Judge, ROUGE, BLEU, Semantic Similarity)
• анализ результатов тестирования, заведение и отслеживание дефектов в Jira
• участие в развитии подходов к тестированию недетерминированных систем.

• уверенное знание Python и опыт применения его для автоматизации тестирования
• практический опыт автоматизации тестирования Web UI (Selenium / Playwright или аналоги)
• понимание специфики тестирования LLM: недетерминированность, семантическое сравнение, метрики качества
• опыт прикладного использования LLM-as-a-Judge
• кмение писать чёткие тест-кейсы и анализировать результаты прогонов
• опыт работы с Jira, Confluence (или аналогами)

Будет плюсом:

• опыт работы с фреймворками оценки LLM: Langchain Eval, DeepEval, Trulens, Ragas
• знание метрик ROUGE, BLEU, BERTScore
• опыт тестирования голосовых ассистентов или чат-ботов
• опыт работы с SIP, телефонией
• опыт работы с CI/CD (GitLab CI, Jenkins)
• желание разбираться в новой предметной области, исследовать уже имеющиеся в открытом доступе подходы и предлагать свои решения.

• комфортный современный офис - м. Кутузовская
• ежегодный пересмотр зарплаты, годовой бонус
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.