Новый фреймворк MRAgent сокращает токены ИИ до 118K

Исследователи представили MRAgent — фреймворк, который значительно сокращает потребление токенов ИИ до 118 тысяч за запрос, решая проблему «окна контекста».

Схематическое изображение работы нейронной сети, показывающее процесс обработки токенов и контекстного окна в ИИ.

Ученые из Национального университета Сингапура разработали MRAgent, новый фреймворк для агентов искусственного интеллекта. Он существенно оптимизирует работу с памятью, сокращая количество токенов на запрос до 118 тысяч.

Это прорыв в решении главной проблемы ИИ-агентов: быстрого заполнения окна контекста и получения шума вместо полезного сигнала. Прежние подходы, вроде LangMem, могли сжигать до 3.26 миллиона токенов, тогда как MRAgent предлагает гораздо более эффективное решение. Фреймворк отходит от статического метода «сначала извлечь, потом рассуждать», который часто приводил к неоптимальным результатам, предлагая вместо этого более динамичную систему работы с информацией.