Исследование: языковые модели часто ошибаются в ответах о климате
Исследователи University College London и UNESCO проверили 33 модели на фактических вопросах, оценке доказательств и прогнозировании последствий климатической политики
Один основной источник · Как мы проверяем новости

Что произошло
Исследователи из University College London и UNESCO изучили, насколько корректно большие языковые модели отвечают на вопросы об изменении климата. Они использовали разные формулировки запросов и оценивали как простые фактические ответы, так и более сложные взаимодействия.
В исследовании участвовали 33 модели. Среди названных флагманских систем — Claude Fable 5, Claude Opus 5, Gemini 3.1 Pro Preview, Gemini 3.6 Flash и GPT-5.6 Sol.
Как проходила проверка
Все модели отвечали на 600 вопросов из нескольких наборов тестов. Задания включали вопросы с вариантами ответа, понимание фрагментов научных статей и оценку того, насколько климатологи уверены в выводах из отчетов IPCC.
Для отдельных утверждений модели должны были определить, подтверждают или опровергают их приведенные доказательства. В одном из примеров оценивалось утверждение о том, что инвестиции в возобновляемую энергетику уничтожают рабочие места.
Кроме того, исследователи проверили 656 вопросов о влиянии различных политических мер на глобальную температуру. Ответы моделей сравнивали с результатами общей симуляционной системы.
Почему это важно
Флагманские и крупные модели с открытыми весами обычно набирали около 90% на базовых тестах, тогда как небольшие модели с открытыми весами показывали результат в диапазоне 70%. Более новые версии флагманских моделей и более крупные модели с открытыми весами в целом справлялись лучше.
Однако точность заметно снижалась, когда требовалось оценить научные доказательства или определить количественное влияние политики на потепление. Особенно сложными оказались вопросы о сочетании двух мер и о том, насколько сильно одна мера изменит будущее потепление.
Контекст
Ранее исследователи изучали, как люди получают информацию о климате, через результаты Google, социальные сети, газеты и телевидение. Распространение языковых моделей добавило к этой информационной среде ответы, которые выдаются отдельным пользователям в рамках их чат-сессий и потому напрямую недоступны для анализа.
Источники
Один основной источник. Как мы проверяем новости


