Robot Tester / Benchmark Engineer

Центр робототехники Сбера развивает робототехнические системы и прикладной ИИ для реальных физических задач. В Data Conveyor Team мы отвечаем за данные для обучения и улучшения моделей манипуляции: в том числе проверяем, как модели ведут себя на реальном роботе, и превращаем результаты тестов в понятные задачи на новые данные. Сейчас нам нужен Robot Tester / Benchmark Engineer: аккуратный оператор тестов, который сможет проводить проверки по протоколу, фиксировать результаты и понятно описывать ошибки.

Первый этап отбора на эту вакансию — общение с AI-рекрутером. После отклика ждите сообщение от него, диалог зайдёт примерно 10 минут. Задача AI-рекрутера — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. AI-рекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным для всех!

• планировать и проводить повторяемые тестовые сессии моделей на реальном роботе и в продуктовых сценариях
• следить, чтобы тесты проходили по единому протоколу: одинаковые стартовые условия, объекты, окружение, критерии успеха и формат отчета
• фиксировать результат каждого запуска: версия модели, сценарий, условия, видео/логи, успех или тип ошибки
• собирать данные из успешных и неуспешных запусков, чтобы их можно было использовать для анализа и дообучения
• координировать сбор корректирующих демонстраций, когда тест показывает, что модели не хватает примеров
• размечать типы ошибок: perception, wrong object, bad grasp, trajectory instability, task misunderstanding, collision, data gap, deployment issue
• превращать результаты тестов в понятные рекомендации: какие задачи, объекты, условия или ошибки нужно покрыть в следующих данных
• проверять покрытие тестовых сценариев: насколько хорошо они отражают реальные задачи, варианты окружения и набор объектов для манипуляции.

• высокая операционная надежность: умение монотонно и аккуратно выполнять тестовый протокол без потери деталей
• вверенная работа с Ubuntu command line, git, Docker, логами и сервисами
• базовое понимание k8s / virtualization concepts: достаточно, чтобы следовать runbooks, перезапускать компоненты и описывать проблемы
• опыт работы с техническими стендами, роботами, ML evaluation, QA, field testing или сложными hardware/software systems
• базовое программирование и data handling: Python scripts, tables, logs, simple plots или отчеты
• способность ясно документировать наблюдаемое поведение робота, шаги воспроизведения ошибки, сбои, скриншоты, ссылки на видео и итоговые выводы
• внимание к safety, деталям, чистоте эксперимента и воспроизводимости.

Будет плюсом:

• опыт с robot testing, teleoperation, manipulation benchmarks или тестированием ML policies на роботах
• понимание метрик успешности, классификации ошибок, устойчивости поведения модели, регрессионного тестирования и аудита тестовых сценариев
• умение на базовом web/backend уровне помогать развивать инструменты для описания тестовых сценариев, действий робота и набора объектов
• опыт с hardware diagnostics: камеры, wiring, actuators, communication, calibration, basic lab equipment
• навыки работы с генеративными AI-моделями
• опыт создания AI-агентов и использования их в работе будет преимуществом
• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
• инструментальное владение AI для анализа, генерации и автоматизации.

• офисный формат работы, адрес офиса Автозаводская 23а к2
• ежегодный пересмотр зарплаты, квартальная и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.