NLP/PLP Reseacher (проект GigaCode)

В команду разработки GigaCode (AI ассистент разработчика) ищем талантливых исследователей.

Мы решаем задачи по различным подходам в NLP и PLP (Programming Language Processing), постоянно проводим ресёрч-эксперименты и обучаем новые SOTA LLM. Из направлений сейчас: претрейн моделей с нуля и дообучение, инструктивное обучение SFT/DPO/PPO для CodeChat, поиск и RAG, ускорение инференса, генерация тестов, мультиагентность, прототипирование плагинов для сред разработки (VSCode, PyCharm, IDEA). Целимся конкурировать с Copilot и TabNine. Уже сегодня наши модели помогают писать 80к строк кода ежедневно. Подробнее о нашем продукте на сайте: https://gigacode.ru.

Также мы являемся авторами многих моделей для русского языка (ruBERT, ruRoBERTa, ruT5, RuGPT3, FRED-T5). Обучаем на кластере Кристофари, у нас много свободы в использовании GPU. Канал нашей команды в телеграм https://t.me/nlpcoreteam.

Если у вас есть крутые идеи и большие амбиции в PLP и/или NLP направлениях, то присоединяйтесь к нам, будем делать важнейшие исследования вместе!

• дизайн экспериментов, формулировка гипотез для улучшения NLP/PLP моделей и алгоритмов, планирование исследовательских экспериментов с выводами
• проведение экспериментов, написание кода, подготовка датасетов и бенчмарков, проведение замеров и анализ результатов
• обучение моделей на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей
• взаимодействие с прод-командой для интеграции моделей и алгоритмов в продакшн. Взаимодействуем с командой инженеров SberWorks
• ориентированность на SOTA, читать пейперы, быть в курсе последних исследований, предлагать новые смелые подходы и направления.

• хорошие теоретические знания в DL, с упором в современный NLP и трансформеры
• умение формулировать эксперименты с научной строгостью, обосновывать их, проводить самостоятельно и делать выводы
• опыт обучения трансформеров
• опыт распределенного обучения моделей (deepspeed, fsdp, torch.distributed, accelerate)
• знание стандартных библиотек для DL и NLP (PyTorch и библиотеки Huggingface)
• увлеченность NLP/PLP и DL.

Будет плюсом:

• опыт работы на похожей позиции
• участие в соревнованиях по ML
• сабмиты на лидербордах по NLP/PLP
• публикации
• обучение моделей на кластере.

• задачи, находящиеся на острие инноваций
• команда отзывчивых профи и гуру, которые всегда помогут и словом, и делом
• фидбек и возможность увидеть результаты своей работы , внедренным в продукт
• своя digital-платформа для развития ключевых IT-компетенций, внутренние и внешние конференции и профессиональные сообщества Сбера
• много корпоративных плюшек: расширенная программа ДМС (возможность подключения родственников), страхование жизни, специальные условия по кредитам/ипотеке, скидки от компаний-партнёров
• знаменитый офис на Кутузовском проспекте с парковкой, спортзалом, массажными креслами и возможностью выбора формата работы (офис, гибрид)
• атмосфера стартапа и надёжность гиганта.