Google представила TPU 8tx и TPU 8i Max для защищённых и ресурсоёмких ИИ-задач

Что произошло

Google представила TPU 8tx и TPU 8i Max, расширив линейку Tensor Processing Unit восьмого поколения. Компания позиционирует системы как решения для обучения и запуска ИИ-моделей.

TPU 8tx предназначен для защиты чувствительной информации во время обработки, а TPU 8i Max — для задач, которым требуется быстрый доступ к большим объёмам данных.

Особенности новых систем

В TPU 8tx Google использует аппаратные конфиденциальные вычисления, которые должны изолировать данные клиентов и параметры моделей даже во время работы системы. Конфигурация объединяет кремний TPU 8t, процессоры пятого поколения AMD EPYC и сеть Boardfly с низкой задержкой.

По заявлению Google, задержка TPU 8tx может быть до двух раз ниже, чем у TPU 8t, при почти полном отсутствии снижения производительности из-за защиты. Компании могли бы дообучать и запускать модели в одной системе, не передавая чувствительную информацию между кластерами.

TPU 8i Max объединяет два TPU 8i в одном корпусе. Это вдвое увеличивает вычислительную мощность, объём встроенной SRAM и пропускную способность высокоскоростной памяти по сравнению с TPU 8i. При этом конструкция размещает вдвое больше кремния в том же пространстве стойки.

Почему это важно

TPU отличаются от широко используемых графических процессоров Nvidia тем, что специально созданы для ускорения ИИ. Google изначально разрабатывала их для собственных сервисов, но всё чаще предоставляет доступ к ним внешним компаниям, включая клиентов, размещающих оборудование у себя.

TPU 8i Max ориентирован на автономных ИИ-агентов, которые анализируют данные, кодовые базы, документы или многочасовое видео и потому нуждаются в быстром доступе к значительно большему объёму информации, чем традиционные ИИ-задачи.

Конфиденциальные вычисления не защищают от ошибок плохо спроектированного ИИ-агента, который неправильно использует доступные ему данные.