ИИ пока не готов к офисной работе: показало исследование
Новое исследование Mercor выявило, что топовые ИИ-модели имеют низкую точность в офисных задачах.
Новое исследование, проведенное компанией Mercor, ставит под сомнение готовность искусственного интеллекта к полноценной работе в офисной среде. Согласно бенчмарку APEX-Agents, ведущие ИИ-модели продемонстрировали точность менее 25% при выполнении реальных задач из сферы консалтинга, юриспруденции и финансов.
Результаты исследования указывают на существенные пробелы в возможностях текущих ИИ-систем, когда речь заходит о сложных, многогранных и контекстно-зависимых задачах, типичных для офисной работы. Хотя ИИ продолжает развиваться, данные Mercor свидетельствуют о том, что еще предстоит долгий путь, прежде чем машины смогут эффективно заменить человека в этих областях. Это любопытное напоминание о границах современных технологий.