Искусственный интеллект

Исследование: языковые модели часто ошибаются в ответах о климате

Исследователи University College London и UNESCO проверили 33 модели на фактических вопросах, оценке доказательств и прогнозировании последствий климатической политики

Один основной источник · Как мы проверяем новости

Исследование: языковые модели часто ошибаются в ответах о климате
Иллюстрация к материалу RedBTC News

Что произошло

Исследователи из University College London и UNESCO изучили, насколько корректно большие языковые модели отвечают на вопросы об изменении климата. Они использовали разные формулировки запросов и оценивали как простые фактические ответы, так и более сложные взаимодействия.

В исследовании участвовали 33 модели. Среди названных флагманских систем — Claude Fable 5, Claude Opus 5, Gemini 3.1 Pro Preview, Gemini 3.6 Flash и GPT-5.6 Sol.

Как проходила проверка

Все модели отвечали на 600 вопросов из нескольких наборов тестов. Задания включали вопросы с вариантами ответа, понимание фрагментов научных статей и оценку того, насколько климатологи уверены в выводах из отчетов IPCC.

Для отдельных утверждений модели должны были определить, подтверждают или опровергают их приведенные доказательства. В одном из примеров оценивалось утверждение о том, что инвестиции в возобновляемую энергетику уничтожают рабочие места.

Кроме того, исследователи проверили 656 вопросов о влиянии различных политических мер на глобальную температуру. Ответы моделей сравнивали с результатами общей симуляционной системы.

Почему это важно

Флагманские и крупные модели с открытыми весами обычно набирали около 90% на базовых тестах, тогда как небольшие модели с открытыми весами показывали результат в диапазоне 70%. Более новые версии флагманских моделей и более крупные модели с открытыми весами в целом справлялись лучше.

Однако точность заметно снижалась, когда требовалось оценить научные доказательства или определить количественное влияние политики на потепление. Особенно сложными оказались вопросы о сочетании двух мер и о том, насколько сильно одна мера изменит будущее потепление.

Контекст

Ранее исследователи изучали, как люди получают информацию о климате, через результаты Google, социальные сети, газеты и телевидение. Распространение языковых моделей добавило к этой информационной среде ответы, которые выдаются отдельным пользователям в рамках их чат-сессий и потому напрямую недоступны для анализа.

Advertisement

Источники

Один основной источник. Как мы проверяем новости

  1. arstechnica.com