Журналист Антонио Ди Бенедетто решил проверить, насколько локальный ИИ готов к реальным повседневным задачам и стоит ли тратить деньги на компьютеры с огромным объемом оперативной памяти ради большей приватности. Для тестов он использовал настольный Mac Studio на базе M5 Ultra с 256 ГБ объединенной памяти, где развернул приложение с открытым исходным кодом Hermes Agent (оно бесплатно при использовании локальных языковых моделей) и массивную языковую модель Qwen 3.8 Flash Next на 125 миллиардов параметров (вес около 105 ГБ).
Впечатлениями от работы автор поделился в своей колонке. Главным плюсом такого подхода он считает безопасность личной информации: локальным системам можно поручать разбор финансовых документов или данных под эмбарго, не отправляя ничего на серверы OpenAI, Google или Anthropic. Hermes Agent также поддерживает управление через мобильный бот в Telegram, что упрощает запуск рутинных задач.
На практике автор протестировал несколько сценариев:
- Утренний брифинг — агент через cron-задачу проверяет календарь и почту, присылая краткую сводку и прогноз погоды. Потребовалось решить проблему со спящим режимом macOS, после чего функция заработала стабильно.
- Сортировка библиотеки Steam — агент получил доступ через API-ключ к каталогу из более чем 400 игр и за пару минут распределил их по жанрам, сохранив пользовательские категории. После этого ключ сразу отозвали.
- Анализ данных и написание скриптов — модель обработала финансовые данные и подготовила таблицу сравнения характеристик ноутбуков, а составление скриптов на Python для автоматизации бенчмарков пока остается в работе.
По мнению обозревателя, мощные локальные LLM — это удобный инструмент, а не всесильный помощник. «Я смотрю на Hermes и локальный ИИ просто как на инструмент, компьютерную программу. Мне не нужен цифровой друг. Я не говорю „спасибо“ или „пожалуйста“ и остаюсь совершенно хладнокровным, раздавая команды», — подытожил журналист.
Ди Бенедетто планирует продолжить тестирование Hermes Agent и моделей линейки Qwen меньшего размера на других устройствах, включая M6 Mac Mini, M5 MacBook Air, ноутбук Asus TUF Gaming A14 на процессоре AMD Strix Halo и ПК линейки RTX Spark со 128 ГБ RAM.
