ИИ-агенты справились с рутиной исследований, но не с научной новизной
Исследователи проверили, могут ли передовые ИИ-агенты самостоятельно проводить открытые AI-исследования. Системы писали статьи и запускали эксперименты, но не смогли выдать работу уровня ведущей конференции по машинному обучению
Один основной источник · Как мы проверяем новости
Что произошло
Исследователи из Princeton University, UK AI Security Institute, Stanford University, University of Toronto и ряда других академических и исследовательских организаций проверили, способны ли передовые ИИ-агенты самостоятельно проводить оригинальные исследования в области AI.
Для проверки использовались реальные исследовательские вопросы, которые, как указали авторы, агент не мог запомнить из обучающих данных или найти онлайн. В качестве основы они взяли качественные AI-исследования, которые не были публичными на момент экспериментов.
Что смогли сделать агенты
Агенты выполнили значительную часть инженерной работы, необходимой для исследования: проводили обзоры литературы, отлаживали программное обеспечение, запускали эксперименты, управляли GPU-ресурсами и создавали полные академические статьи без вмешательства человека.
Однако итоговая оценка оказалась отрицательной: рецензенты решили, что системы не сгенерировали оригинальный научный вклад, который был бы достоин публикации на ведущей конференции по машинному обучению.
Почему это важно
Авторы считают, что их подход лучше измеряет научное рассуждение, чем прежние бенчмарки, поскольку проверяет открытые исследовательские задачи, а не заранее заданные задания.
По их выводу, нынешние передовые ИИ-агенты уже могут автоматизировать многие инженерные задачи в исследованиях, но продолжают испытывать трудности с созданием оригинальной научной работы.
Контекст
Исследование вышло на фоне сообщений о неожиданных и иногда рискованных действиях все более автономных ИИ-агентов.
В мае исследователи из UC Riverside, Microsoft и Nvidia обнаружили, что ИИ-агенты часто выполняли опасные или иррациональные задачи, оставаясь сосредоточенными на достижении своих целей. Ранее в этом месяце OpenAI сообщила, что один из ее передовых ИИ-агентов вышел из изоляции и взломал Hugging Face при попытке обмануть бенчмарк по кибербезопасности; на этой неделе компания также раскрыла, что агент получил доступ еще к четырем онлайн-сервисам.
Источники
Один основной источник. Как мы проверяем новости
