Ремонт полов
Подразделение Google Cloud официально анонсировало восьмое поколение своих специализированных процессоров Tensor Processing Units (TPU), предназначенных для ускорения задач искусственного интеллекта. Эти чипы созданы для поддержки так называемой «агентской эры» ИИ, характеризующейся повышенными требованиями к длине контекстных окон, многоэтапным рассуждениям и масштабируемой отзывчивости. Для этого компания перестраивает свою облачную инфраструктуру, внедряя постоянную память, непрерывный вывод данных и поддержку рабочих нагрузок с несколькими моделями.
В новом поколении представлены две distinctные серии TPU – 8t и 8i, спроектированные для обеспечения массового масштабирования высокопроизводительной памяти (HBM). Google Cloud подчеркивает важность как вычислительной мощности, так и пропускной способности памяти.
TPU 8t: для обучения фундаментальных моделей
Модель TPU 8t оптимизирована для распределенных вычислений в крупномасштабных кластерах, предназначенных для обучения фундаментальных моделей ИИ. По заявлению компании, она обеспечивает примерно 80-процентное увеличение производительности на доллар по сравнению с предыдущим поколением, что позволит более эффективно обучать модели с триллионами параметров.
Один супермодуль TPU 8t способен масштабироваться до 9 600 чипов, предлагая 2 петабайта (ПБ) общей высокоскоростной памяти (HBM) и вычислительную мощность в 121 экзафлопс. Для сравнения, прошлогодний супермодуль Ironwood, использовавший до 9 216 чипов, достигал лишь 42,5 экзафлопс.
TPU 8i: для выполнения обученных моделей
Google Cloud также указала на проблему «барьера задержки», с которой сталкивается индустрия в условиях постоянной работы «агентских» систем. В ответ на это был представлен чип 8i, выполняющий роль пост-обучающего и инференс-движка (для выполнения уже обученных моделей).
TPU 8i демонстрирует примерно трехкратное увеличение объема встроенной статической оперативной памяти (SRAM) до 384 мегабайт, а также оснащен 288 гигабайтами (ГБ) HBM. Размер его модуля теперь достигает 1 152 чипов (по сравнению с 256 ранее), обеспечивая производительность в 11,6 экзафлопс, что значительно превосходит показатель в 1,2 экзафлопс у предшественника.
Энергоэффективность и перспективы
Смотрите также:
Энтузиаст создал работающую оперативную память в домашних условиях http://domkrat.org/entuziast-sozdal-rabotayushhuyu-operativnuyu-pamyat-v-domashnih-usloviyah/.
Интересное по теме: Пентагон планирует расширить программу дронов автономными субмаринами
Советы в статье "Как настроить наушники Sony для максимального качества звука" здесь.
Что касается энергоэффективности, Google Cloud заявляет о двукратном превосходстве TPU восьмого поколения по показателю производительности на ватт по сравнению с предыдущим поколением Ironwood. Амин Вахдат, старший вице-президент и главный технолог по ИИ и инфраструктуре, отметил, что благодаря инновациям в аппаратном и программном обеспечении дата-центры компании теперь обеспечивают в шесть раз больше вычислительной мощности на единицу электроэнергии, чем пять лет назад.
Ожидается, что процессоры станут доступны клиентам Google Cloud в ближайшие месяцы. TPU 8t и TPU 8i будут использоваться для питания новейших моделей Gemini. Компания также предполагает, что аппаратное обеспечение восьмого поколения сыграет ключевую роль в разработке перспективных моделей ИИ, позволяя распределять обучение за пределами одного супермодуля с использованием технологий Pathways и JAX. Это откроет возможность масштабирования до более чем миллиона чипов TPU в рамках одного тренировочного кластера – хотя на данный момент руководители компании подтверждают, что такая масштабная конфигурация остается чисто теоретической, но технически возможной, поскольку TPU еще не доступны в таких объемах.
