Как в России появился стандарт оценки ИИ — и кто его создал
Образ женщины, которую обязательно нужно спасать, — удивительно живучий. Во многом он вырос из интерпретаций сказок и массовой культуры, но также
и закрепился в деловой среде: женщине дают советы, её направляют, за неё принимают решения.
Но если читать те же сказки повнимательнее, заметишь, что героини не сидят
в башне в ожидании чуда: они бесстрашно идут через лес, разгадывают загадки, принимают решения, берут ответственность за себя и других.
Этот культурный код лег в основу спецпроекта «Сказки о женской карьере» от makelove agency и Гжельского фарфорового завода. В нём реальные истории современных женщин превращаются в новые сказки — про инициативу, смелость и внутреннюю опору.
Мы присоединились к проекту и рассказали историю нашей героини — о том, как её инициатива переросла в инструмент, ставший стандартом для оценки ИИ-моделей.
Ни в сказке сказать, ни пером описать
От Сбера в проекте участвует Алёна Феногенова — исполнительный директор, руководитель команды AGI NLP и куратор MERA, первого независимого бенчмарка для оценки больших языковых моделей в России.
Когда на рынке появились мощные LLM вроде ChatGPT, стало ясно: технологии развиваются быстрее, чем инструменты их оценки. Все говорили о возможностях искусственного интеллекта, но почти никто не отвечал на базовый вопрос — как объективно измерить его качество? Где она рассуждает, а где угадывает? В чём сильна, а где системно ошибается?
Русскоязычного стандарта оценки не существовало.
Алёна инициировала создание нового инструмента. Так родилась MERA — независимый бенчмарк, который сегодня используют команды Сбера, университеты, исследовательские центры и компании Альянса в сфере ИИ.
А дело было так
Техническая часть была непростой, но не самой сложной. Гораздо труднее оказалось ответить на фундаментальный вопрос: как измерить интеллект? Как сформировать тесты, которые будут релевантны и для исследователей, и для бизнеса, который выбирает модель под продукт? Нужно было донести ценность оценки до реальных пользователей — разработчиков, продакт-менеджеров, компаний-партнёров.
Забавно, что первые идеи MERA рождались буквально на коленке — у маркерных досок, в бесконечных спорах о том, что вообще можно считать интеллектом. Мы долго искали баланс: что важнее — эрудиция, способность рассуждать или этика.
В итоге MERA стала гибридным решением, которое проверяет разные грани возможностей моделей. Проект быстро вышел за рамки одного набора тестов. Появились отраслевые направления: MERA Industrial для прикладных бизнес-задач, MERA Code для оценки кодовых способностей, MERA Multi для мультимодальных сценариев. Параллельно развивались и другие исследовательские инициативы.
Мы поняли, что оценка не должна быть статичной: модели усложняются, и нам нужно успевать за ними, предлагая сообществу релевантные инструменты. Это уже не просто отдельные исследовательские работы, а попытка влиять на то, как ИИ развивается в стране.
MERA используют команды внутри Сбера, в том числе для тестирования GigaChat. По ней проводят исследования в университетах, студенты пишут дипломные и научные работы, компании проверяют собственные модели, а коллеги по рынку цитируют методологию проекта. К инструменту обращаются исследовательские центры и участники Альянса в сфере ИИ.
Сегодня MERA — это стандарт для оценки LLM в России. Создать такой инструмент — значит не просто работать с ИИ, а формировать правила игры для всей отрасли.
Для того чтобы появлялись проекты национального масштаба, важны не гендер и формальный статус, а инициатива, профессионализм и готовность брать ответственность.
Про мастерицу дела сложного
Затейница — та, кто придумывает и внедряет что-то новое;
Умелица — та, кто разруливает сложности;
Кудесница — та, кто умеет волшебно совмещать сферы
(карьеру и семью, свой бизнес и хобби).
Алёна — наша Затейница.
За этим архетипом долгий профессиональный путь.
Интерес к языкам и программированию появился у Алёны ещё в школе и привёл её в Высшую школу экономики на направление «Компьютерная лингвистика». Так определилось профессиональное поле — NLP. Ещё во время учёбы и после выпуска она работала над проектами в этой сфере — в госучреждениях и консалтинге, а затем присоединилась к Сберу.
Внутри банка Алёна постепенно выросла в роли и ответственности. В 2020 году участвовала в создании Russian SuperGLUE, позже — в разработке бенчмарка TAPE для ruGPT. Этот опыт стал фундаментом для следующего шага. В 2023 году она возглавила команду AGI NLP и стала куратором MERA.
История Алёны — не исключение, а отражение среды. В Сбере женщины создают стандарты, запускают инициативы и влияют на рынок. Здесь можно вырасти от специалиста до руководителя и инициировать проект национального масштаба.
И, пожалуй, именно такие истории лучше всего объясняют, как меняется образ современной героини.
Дорогие наши Затейницы, Кудесницы, Умелицы, поздравляем вас
с наступающим 8 марта!
Тех, кто запускает крупные проекты, и тех, кто тихо и надёжно делает свою работу каждый день. Пусть рядом будут люди, которые ценят не только результат, но и вас самих. И пусть в любой роли — руководителя, исследователя, мамы, коллеги — будет ощущение, что вы на своём месте.
А если вам близка среда, где инициативу ценят, экспертизу развивают, а идеи могут вырасти в проекты национального масштаба — загляните на карьерный портал Сбера.
Возможно, следующая сказка
будет про вас!
