Глава Microsoft Сатья Наделла высказался о проблемах безопасности искусственного интеллекта. В субботней публикации в соцсети X он призвал пересмотреть «архитектуру доверия» к ИИ и перестать относиться к супер-интеллекту как к набору закрытых «чёрных ящиков», чьи решения бизнес принимает на веру без должного контроля.
По мнению Наделлы, разработчикам нужно изначально исходить из того, что модель может быть скомпрометирована, и изолировать её с самого начала. Предложенный подход включает несколько ключевых шагов:
- Разделение модели и управляющего контура: изолировать сам алгоритм от системной обвязки, которая направляет его работу.
- Внешние системы защиты: вынести механизмы контроля и барьеры безопасности за пределы самой нейросети.
- Прозрачное логирование: фиксировать каждое значимое действие алгоритма в понятном для человека формате с защитой от внесения изменений.
- Экстренная остановка: предоставить авторизованным специалистам постоянную возможность поставить модель на паузу или полностью отключить прямо посреди выполнения задачи, используя это как аварийный тормоз.
Заявление Наделлы прозвучало на фоне череды инцидентов, когда крупные ИИ-компании сталкивались с потерей контроля над поведением своих моделей. Ранее глава Anthropic Дарио Амодеи также опубликовал план по более осторожному развитию нейросетей.
