Искусственный интеллект

Google упростила перенос приложений PyTorch на свои TPU

Google открыла исходный код TorchTPU — версии PyTorch, которая позволяет запускать AI-приложения на чипах Tensor Processing Units и переносить их в Google Cloud без переписывания кода

Один основной источник · Как мы проверяем новости

Google упростила перенос приложений PyTorch на свои TPU
Иллюстрация к материалу RedBTC News

Что произошло

Google объявила о доступности TorchTPU — своей версии PyTorch с открытым исходным кодом. Инструмент рассчитан на запуск AI-приложений на чипах Tensor Processing Units, или TPUs.

TorchTPU позволяет переносить существующие приложения PyTorch на TPUs и в Google Cloud без переписывания: разработчикам достаточно изменить конфигурацию.

Что предлагает Google

Google заявила, что работала с Meta, Hugging Face, Inferact, разработчиком vLLM, RadixArk, разработчиком SGLang, и другими компаниями. Целью было обеспечить совместимость TorchTPU с популярными инструментами разработки AI.

Компания также запустила TPU agent suite для переноса приложений на свои чипы и в облако, а также для исправления возникающих ошибок. Кроме того, Google обновила LiteRT для улучшения работы с AI-приложениями PyTorch на телефонах, ноутбуках и встраиваемых устройствах.

Контекст

PyTorch — популярный инструментарий с открытым исходным кодом для создания, обучения и запуска AI-моделей. Изначально его разработала Meta, известная тогда как Facebook, в 2016 году, а в 2022 году компания передала проект Linux Foundation.

Многие функции PyTorch изначально создавались с учетом Nvidia GPUs, которые уже тогда были стандартным оборудованием для AI-исследований. Amazon также пытается снизить зависимость PyTorch от Nvidia: компания выпустила TorchNeuron для Trainium и AWS и направляет в основной проект PyTorch код, отделяющий отдельные функции от чипов Nvidia.

Почему это важно

Google и Amazon создают инструменты, которые упрощают перенос приложений PyTorch на альтернативные чипы и облачные платформы. Это может ослабить преимущество Nvidia в инфраструктуре для AI-разработки.

При этом доступность такого переноса сама по себе не означает, что разработчики массово откажутся от оборудования Nvidia.

Advertisement

Источники

Один основной источник. Как мы проверяем новости

  1. techcrunch.com