ИИ: кто определит границу опасности технологий?
В подкасте Decoder обсудили, кто должен принимать решение о том, когда ИИ становится слишком опасным, на фоне недавних инцидентов.
Американское правительство ввело экспортные ограничения на новые модели ИИ Anthropic — Mythos и Fable 5. Это произошло после того, как исследователи Amazon обнаружили потенциальную уязвимость. В результате Anthropic была вынуждена временно отключить обе модели.
Модель Mythos является основой для Fable 5. Fable 5 — это публичная версия Mythos 5 с усиленными мерами безопасности. Anthropic ранее позиционировала Mythos как потенциальное кибероружие, которое нельзя выпускать в публичный доступ без надлежащих защитных механизмов. Компания выпустила Fable 5 с многочисленными ограничениями, чтобы предотвратить нежелательное использование.
Ситуация обострилась в середине прошлой недели, когда Anthropic узнала об исследовании Amazon, выявившем возможный «джейлбрейк» в Fable 5. В пятницу генеральный директор Amazon Энди Джасси связался с представителями администрации Трампа, выразив свои опасения. Администрация предъявила Anthropic 90-минутный ультиматум с требованием отключить модели.
После истечения ультиматума правительство ввело экспортные ограничения. Они запретили иностранным гражданам, включая сотрудников Anthropic и пользователей за пределами США, доступ к моделям Mythos и Fable 5. Anthropic заявила, что не может обеспечить соблюдение этих условий за столь короткий срок, поэтому отключила модели.
Этот инцидент вызвал широкие дискуссии о регулировании ИИ и его последствиях для технологической индустрии. Ирония заключается в том, что Anthropic долгое время выступала за ужесточение контроля над ИИ, предупреждая о его потенциальной опасности. Теперь компания столкнулась с последствиями такого регулирования.
По данным источников, аналогичные возможности, которые были обнаружены в Fable 5, могут присутствовать и в других моделях, например, в GPT-5.5 от OpenAI. Это вызывает вопросы о том, почему именно Anthropic оказалась под таким давлением. Многие в индустрии считают, что действия правительства были непропорциональными.
Отношения между Anthropic и администрацией Трампа уже были напряжёнными. Ранее Anthropic была признана Министерством обороны США «риском для цепочки поставок» из-за её отказа использовать свои инструменты в военных целях без определённых ограничений. Это привело к судебным разбирательствам.
Эксперты отмечают, что подход администрации Трампа к регулированию ИИ выглядит неорганизованным и непредсказуемым. Это заставляет компании пересматривать свои бизнес-планы, учитывая политические риски, и искать альтернативные решения, например, заключать контракты с неамериканскими поставщиками или развёртывать модели с открытым исходным кодом.