Исследователи AI предупредили о рисках неконтролируемого сверхинтеллекта

Что произошло

Palisade Research собрала и разместила на frominside.ai серию интервью с людьми, работающими над AI. В проект вошли около дюжины бесед с нынешними и бывшими сотрудниками OpenAI, Google и Anthropic.

Участники интервью повторили предупреждения о потенциально катастрофических последствиях развития AI. Несколько исследователей заявили, что сверхинтеллект может привести к вымиранию человечества.

Что говорят исследователи

Geoffrey Irving, ранее работавший в OpenAI и Google DeepMind, сказал, что вероятность вымирания человечества, по его оценке, примерно равна вероятности того, что этого не произойдёт.

Neel Nanda из Google DeepMind заявил, что вероятность такого исхода составляет как минимум 10 процентов, назвав её чрезвычайно высокой.

Daniel Kokotajlo сравнил сверхинтеллект по мощности с богоподобной сущностью и заявил, что люди пока не знают, как его контролировать. По его мнению, появление такой системы нельзя допускать.

Контекст

На сайте доступны полные версии интервью и подборки фрагментов, посвящённых возможному преувеличению угрозы, маркетингу и причинам, по которым исследователи продолжают работать над технологиями, которые считают опасными.

Mary Phuong из Google призвала с осторожностью относиться к её словам, поскольку ей платит лаборатория. Neel Nanda объяснил, что продолжает работу, поскольку считает её способом снизить экзистенциальные риски, а уход отдельных сотрудников не остановит компании от создания таких систем.

В опубликованных интервью нет единого решения проблемы контроля над сверхинтеллектом.