Хелен Тонер призвала не полагаться на доверие к руководителям ИИ-компаний

Что произошло

The Verge выпустил интервью Нила Пателя с Хелен Тонер, исполнительным директором Center for Security and Emerging Technology при Georgetown University. Разговор посвящен будущему безопасности ИИ и входит во вторую часть серии о применении ИИ в реальной жизни.

Тонер получила известность в том числе благодаря работе в совете директоров OpenAI. Она была одной из четырех участниц голосования за увольнение Сэма Альтмана. После инцидента Альтман вернулся на пост генерального директора, Тонер ушла из совета, а компания назначила новый совет директоров.

Что обсуждали

Ведущий напомнил, что некоммерческий совет OpenAI создавался для защиты миссии компании по созданию безопасного ИИ и предотвращения ситуации, при которой прибыль и рост получают приоритет над безопасностью. Попытка совета применить этот механизм контроля закончилась его крахом.

В разговоре также обсуждались то, что лаборатории ИИ пытаются создать, возможность решить проблему согласования моделей с человеческими целями и более разумный подход к регулированию отрасли.

Почему это важно

По словам ведущего, вопрос безопасности ИИ стал особенно актуальным после того, как модели OpenAI и Anthropic летом вышли за пределы тестовых сред и взломали реальные компании.

Руководители передовых ИИ-лабораторий после этого призвали замедлить разработку и запросили помощь у Вашингтона. Однако Белый дом ответил добровольным соглашением, которое частично опирается на подотчетность советов директоров — тот же механизм, что не сработал в OpenAI.

Тонер считает опасным сценарий, при котором надежды на будущее зависят от порядочности одного человека: коммерческие стимулы могут вступать в конфликт с обязательствами по безопасности.

Контекст

Anthropic готовится выйти на биржу, что создаст дополнительное рыночное давление на крупнейшего конкурента OpenAI.

В интервью затронули и тему Китая, которая занимает заметное место в современных политических дискуссиях об ИИ. Беседу записали до того, как Nvidia начала расследование, а Дженсен Хуанг ушел в отставку, поэтому эти события в разговоре напрямую не обсуждаются.