Стажер-исследователь: online RL для распознавания речи

Модели распознавания речи чаще всего обучают на максимизацию правдоподобия идеальной транскрипции, а оценивают по количеству ошибок в распознанном тексте. Вы будете учить модель напрямую на недифференцируемую награду — сначала на Word Error Rate (WER), потом на точность редких слов из пользовательского словаря. Имена, термины и англицизмы — главный сорт ошибок в диктовке и голосовом ассистенте, а общий WER на них почти не реагирует. Пользовательский словарь — третий по частоте запрос пользователей наших открытых моделей

• Реализовывать on-policy обучение ASR-моделей с WER-подобной наградой
• Добавлять контекстный биасинг: список слов в условие модели и награду
• Сводить рецепт и переносить на продовый чекпоинт: сколько шагов, какая смесь, с какого момента деградирует общий WER

Уверенное владение python и pytorch

Знакомство с распределенным обучением

Знакомство с policy-gradient методами по статьям

Будет плюсом

• Опыт с verl, trl или любым другим RLHF-фреймворком
• Опыт с vLLM или sglang
• Любая практика с распознаванием речи, даже учебная