Графическое изображение множества нейронных сетей ИИ с ошибками, символизирующее сбои в мультимодальных системах.

Предприятия недооценивают сбои ИИ-моделей в 2,25 раза

Исследование показало: компании, использующие несколько ИИ-моделей, недооценивают частоту сбоев в 2,25 раза. Это связано с эффектом «потолка совместных отказов».

Компании, которые используют несколько ИИ-моделей одновременно, недооценивают частоту сбоев. Новое исследование показало, что расхождения с реальностью составляют 2,25 раза. Это особенно опасно для критически важных систем.

Исследователи называют этот феномен «потолком совместных отказов» (co-failure ceiling). Команды часто думают, что разные модели — специалист по коду, специалист по логике и универсальная модель — покроют «слепые зоны» друг друга. Однако это предположение математически ошибочно.

Исследование проанализировало 67 передовых моделей ИИ от 21 поставщика. Результаты выявили, что при комбинации моделей, вероятность одновременного сбоя выше, чем ожидается. Это означает, что полагаться на разнообразие моделей без учёта этого эффекта опасно.

Бизнесу необходимо пересмотреть подходы к оценке рисков. Нужно учитывать, что совместное использование моделей не гарантирует их стабильность. Проблема особенно актуальна, когда несколько моделей работают над одной задачей, например, в автоматизированных системах принятия решений.

Реакции: