LLM-модели: автоматизация снизила потребление токенов на 69,5%
Исследователи автоматизировали разработку стратегий для больших языковых моделей. Это привело к значительному сокращению использования токенов почти на 70%.
Исследователи представили новую методику оптимизации больших языковых моделей (LLM). Она позволяет автоматизировать создание стратегий рассуждений, значительно снижая затраты на их работу.
Эта технология, известная как Test-Time Scaling (TTS), доказала свою эффективность в улучшении производительности LLM. Раньше разработка таких стратегий требовала ручного подхода и зависела от интуиции специалистов.
Автоматизация процесса TTS позволила сократить расход токенов LLM на впечатляющие 69,5%. Это делает мощные ИИ-системы намного экономичнее и доступнее для широкого внедрения в различные приложения.