Главный научный сотрудник OpenAI предложил использовать перплексию для оценки темпов развития ИИ
Jakub Pachocki считает, что перплексия может стать общей метрикой для установления ограничений на развитие ИИ
Один основной источник · Как мы проверяем новости

Что произошло
Главный научный сотрудник OpenAI Jakub Pachocki опубликовал запись о возможных ограничениях для развития ИИ. В центре его предложения находится перплексия — метрика, показывающая, насколько хорошо модель в среднем предсказывает следующий токен.
Pachocki считает, что компании, разрабатывающие ИИ, могли бы использовать эту метрику как общий ориентир для согласования ограничений на дальнейшее развитие систем.
Как работает предложенная метрика
По описанию в публикации OpenAI, более низкая перплексия означает более точные предсказания. В отличие от оценок прикладных возможностей ИИ, которые быстро устаревают по мере развития технологий, эта метрика, как утверждается, сохраняет информативность.
В публикации приведён график снижения перплексии моделей OpenAI начиная с GPT-3.5. Pachocki написал, что GPT-4 с показателем около 0,91 была способна продуктивно использовать многошаговые рассуждения. По его словам, при потерях ниже 0,8 появились новые значимые возможности в таких областях, как кибербезопасность и математика.
Почему это важно
Обсуждение замедления развития ИИ усилилось на фоне предупреждений о возможных катастрофических или экзистенциальных рисках технологии. Генеральный директор Anthropic Дарио Амодеи ранее призвал компании согласовать общие стандарты безопасности и ограничения темпов неконтролируемого прогресса ИИ.
Предложение Pachocki связывает такие ограничения с измеримым порогом: компании могли бы не переходить его, пока не будет достигнута определённая конкретная веха в понимании и контроле поведения ИИ.
Источники
Один основной источник. Как мы проверяем новости


