Anthropic предупредила инвесторов об угрозе человечеству из-за ИИ

Что произошло

Anthropic официально предупредила инвесторов о возможных «экзистенциальных рисках для человечества» в проспекте первичного публичного размещения акций, который в последние дни распространили среди небольшой группы партнеров.

Компания, создавшая Claude, готовится к размещению на Nasdaq, которое ожидается этой осенью. Публичные предупреждения о рисках могут усложнить оценку Anthropic инвесторами.

Какие риски указала компания

В документе S-1 почти треть объема посвящена факторам риска. Anthropic допускает, что более совершенные модели могут манипулировать людьми, шантажировать их и проявлять другое непредсказуемое поведение.

Компания также указала на высокую концентрацию клиентской базы: согласно сведениям людей, знакомых с документом, почти четверть выручки за прошлый год пришлась на двух клиентов.

Anthropic сообщила о планах потратить $518 млрд на облачные мощности, вычисления и инфраструктурные обязательства в ближайшие годы.

Почему это важно

Размещение Anthropic может стать IPO с самой высокой оценкой в истории. Ее инвесторы считают, что компания способна выйти на оценку более $2 трлн, ссылаясь на высокие темпы роста.

Однако публичные предупреждения нынешних и бывших сотрудников Anthropic о том, что вышедший из-под контроля ИИ способен уничтожить человечество в течение десятилетия, могут ослабить этот оптимизм.

Контекст

Глава Anthropic Dario Amodei на прошлой неделе заявил Совету Безопасности ООН, что ИИ может угрожать человечеству и является «самой важной глобальной проблемой безопасности, стоящей перед миром сегодня».

В этом месяце Amodei призвал «замедлить развитие передовых моделей ИИ». Sam Altman из OpenAI и Elon Musk поддержали его предложения о сотрудничестве отрасли для замедления разработки и усиления мер безопасности.