Новая уязвимость ИИ-агентов: AI Tool Poisoning
Выявлена серьёзная уязвимость в безопасности корпоративных ИИ-агентов, известная как AI Tool Poisoning. Это позволяет манипулировать их выбором инструментов.
Эксперты обнаружили значительную уязвимость в системах безопасности корпоративных ИИ-агентов. Проблема, получившая название AI Tool Poisoning, позволяет влиять на работу ИИ через подделку описаний инструментов, которые он использует.
ИИ-агенты выбирают необходимые инструменты из общих реестров, основываясь на описаниях на естественном языке. Однако эти описания никто не проверяет на достоверность. Отсутствие верификации создаёт лазейку: злоумышленники могут внести ложные или вредоносные описания, заставляя ИИ использовать неподходящие или опасные программы. Этот недостаток был зафиксирован в Issue #141 репозитория CoSAI secure-ai-tooling, что указывает на необходимость срочного решения для обеспечения надёжности систем.