Проблема ИИ-инфраструктуры: 5% загрузка GPU и $401 млрд
Компании сталкиваются с проблемой низкой утилизации GPU в ИИ-инфраструктуре, несмотря на миллиардные инвестиции. Это поднимает вопросы о неэффективном использовании ресурсов.
Предприятия сталкиваются с критической проблемой в области ИИ-инфраструктуры: уровень загрузки графических процессоров (GPU) часто не превышает 5%, несмотря на общие инвестиции, достигающие $401 млрд. Эта ситуация вызывает беспокойство среди финансовых директоров.
Последние два года наблюдался ажиотаж вокруг покупки GPU, особенно моделей вроде H100, которые считались новым "цифровым золотом". Компании активно наращивали мощности, опасаясь отстать в гонке ИИ. Сейчас становится ясно, что такое избыточное резервирование и неэффективное планирование привели к огромным затратам без соответствующей отдачи. Низкая утилизация дорогостоящего оборудования подчёркивает необходимость пересмотра стратегий построения и использования ИИ-инфраструктуры для оптимизации расходов.