Якуб Пахоцкий в центре иллюстрации, логотип OpenAI и нисходящая кривая perplexity на тёмном фоне

Учёный OpenAI предложил метрику для ограничения развития ИИ

Редакция Press F News, выпускающий редактор Виктор Шмыгов
Якуб Пахоцкий предлагает измерять прогресс ИИ через perplexity и согласовать порог, который компании не будут пересекать.

Главный учёный OpenAI Якуб Пахоцкий опубликовал в блоге предложение использовать метрику perplexity как основу для общих ограничений на развитие ИИ. По его замыслу, компании могли бы договориться о пороге, который нельзя пересекать, пока методы понимания и контроля поведения моделей не достигнут конкретного уровня.

Perplexity оценивает точность предсказаний модели. Как объясняет Пахоцкий, она «измеряет, насколько хорошо модель в среднем предсказывает следующий токен; чем ниже perplexity, тем лучше предсказания». Речь о метрике, а не об одноимённой компании.

Сейчас бесплатно: Mark of the Deep в Epic Games Store, до 26 ноября — раздачи игр первыми в нашем TelegramПодписаться

По мнению учёного, тесты, которые проверяют прикладные способности ИИ, быстро устаревают по мере развития технологии. Perplexity, напротив, сохраняет информативность и могла бы стать общей мерой интеллекта, на которую разработчики опирались бы при согласовании ограничений.

Пахоцкий приложил график снижения perplexity моделей OpenAI начиная с GPT-3.5. Для GPT-4 он также приводит значение функции потерь около 0,91: на этом уровне модель уже продуктивно использовала рассуждения по цепочке. По его словам, это подтолкнуло компанию целенаправленно развивать такую способность и создавать современные рассуждающие модели.

«Теперь, когда значения функции потерь опустились ниже 0,8, наблюдается появление возможностей, способных преобразить такие области, как кибербезопасность и математика», — написал Пахоцкий.

Предложение появилось на фоне обсуждения темпов развития ИИ. Бывший исследователь OpenAI и Anthropic обвинил компании в риске для человеческих жизней, а Anthropic в документах для IPO допустила катастрофические или экзистенциальные риски технологии для общества.

Глава Anthropic Дарио Амодеи затем предложил план сдерживания темпов развития передовых моделей. Он призвал компании согласовать общие стандарты безопасности и ограничения скорости неконтролируемого прогресса ИИ. Судя по исходной публикации, идею поддержали глава OpenAI Сэм Альтман и глава SpaceX Илон Маск.

Предложение Пахоцкого касается следующего вопроса: чем измерять этот прогресс, чтобы ограничения были общими для разных разработчиков. Пока речь идёт об идее такой системы, а не о принятом компаниями соглашении.

Подписки на ИИ-сервисы

На маркетплейсе GGSEL

Партнёрская ссылка

Реакции: