Amazon упростила перенос AI-приложений на чипы Trainium

Что произошло

Amazon Web Services выпустила TorchNeuron — инструмент для AI-стартапов, который упрощает перенос приложений на собственный чип Trainium.

Инструмент работает с PyTorch — бесплатным открытым набором инструментов для создания, обучения и запуска AI-моделей. По заявлению Amazon, для запуска приложения на Trainium достаточно изменить одну строку конфигурации.

Как работает TorchNeuron

TorchNeuron адаптирован из PyTorch, поэтому разработчикам, знакомым с PyTorch, не потребуется осваивать отдельный подход к работе с инструментом.

PyTorch изначально разработала Facebook. С 2022 года проект входит в Linux Foundation, которая поддерживает проекты с открытым исходным кодом.

Пользователи PyTorch также могут переносить приложения на графические процессоры AMD или чипы Apple с помощью простой смены конфигурации.

Почему это важно

Amazon пытается бросить вызов преимуществу Nvidia в программном обеспечении. Компания Nvidia годами развивала CUDA — программную инфраструктуру для запуска приложений на ее графических процессорах и другом оборудовании.

Благодаря поддержке приложений на PyTorch оборудование Nvidia оказалось глубоко интегрировано в этот инструментарий и фактически стало вариантом по умолчанию для многих AI-приложений.

AWS продвигает Trainium как часть полноценной облачной платформы, а не только как вычислительный ресурс. По мнению компании, это может быть выгоднее для стартапов, даже если AWS не предлагает минимальную цену за токен.

Позиция AWS

AWS считает, что перенос на Trainium дает стартапам доступ ко всей инфраструктуре Amazon и избавляет их от необходимости полагаться на узкопрофильного поставщика вычислительных ресурсов.

В AWS также заявляют, что облачная платформа подходит для перехода от прототипа к промышленной эксплуатации и позволяет масштабировать проекты по мере необходимости.

В качестве примера AWS приводит Deepgram — поставщика AI-приложений для работы с голосом и конкурента ElevenLabs. По словам компании, Deepgram перешла на Trainium с использованием нативной поддержки PyTorch.