Новый метод позволяет усиливать рассуждения без переписывания параметров модели.
Исследователи из России разработали подход, который упрощает обучение больших языковых моделей логическим рассуждениям без необходимости изменять миллионы параметров. Об этом сообщили в ТАСС.
Вместо традиционного обучения с подкреплением, требующего значительных вычислительных ресурсов, ученые предложили использовать векторы-настройки — компактные элементы, усиливающие правильные логические шаги уже предобученной модели. По словам Вячеслава Синего из лаборатории T-Bank AI Research, это решение открывает путь к более доступному искусственному интеллекту для бизнеса.
Новый метод был протестирован на языковых моделях семейств Qwen2.5 и LLaMa3. Проверки с использованием шести популярных тестов на математические рассуждения показали, что качество работы моделей сохраняется, а затраты на обучение снижаются: количество изменяемых параметров сократилось в десятки раз, а объем используемой памяти — с гигабайтов до сотен килобайт.
