Компания Tenstorrent, возглавляемая Джимом Келлером, выпустила процессор Wormhole следующего поколения для рабочих нагрузок искусственного интеллекта, который, как ожидается, обеспечит хорошую производительность по доступной цене.В настоящее время компания предлагает две дополнительные карты PCIe, на которых можно разместить один или два процессора Wormhole, а также рабочие станции TT-LoudBox и TT-QuietBox для разработчиков программного обеспечения. Все сегодняшние анонсы ориентированы на разработчиков, а не на тех, кто использует платы Wormhole для коммерческих задач.
«Всегда приятно получать больше наших продуктов в руки разработчиков. Выпуск систем разработки с использованием наших карт Wormhole™ может помочь разработчикам масштабировать и разрабатывать многочиповое программное обеспечение для искусственного интеллекта», — сказал Джим Келлер, генеральный директор Tenstorrent.В дополнение к этому запуску мы рады видеть прогресс, которого мы достигаем в извлечении ленты и включении нашего продукта второго поколения, Blackhole».
Каждый процессор Wormhole содержит 72 ядра Tensix (пять из которых поддерживают ядра RISC-V в различных форматах данных) и 108 МБ SRAM, обеспечивая производительность 262 FP8 TFLOPS на частоте 1 ГГц и расчетную тепловую мощность 160 Вт. Однокристальная карта Wormhole n150 оснащена 12 ГБ видеопамяти GDDR6 и имеет пропускную способность 288 ГБ/с.
Процессоры Wormhole обеспечивают гибкую масштабируемость для удовлетворения разнообразных потребностей рабочих нагрузок. В стандартной конфигурации рабочей станции с четырьмя картами Wormhole n300 процессоры можно объединить в один блок, который отображается в программном обеспечении как единая обширная базовая сеть Tensix. Такая конфигурация позволяет акселератору обрабатывать одну и ту же рабочую нагрузку, распределяя ее между четырьмя разработчиками или одновременно запуская до восьми различных моделей ИИ. Ключевой особенностью этой масштабируемости является то, что она может работать локально без необходимости виртуализации. В среде центра обработки данных процессоры Wormhole будут использовать PCIe для расширения внутри машины или Ethernet для внешнего расширения.
Что касается производительности, одночиповая карта Wormhole n150 от Tenstorrent (72 ядра Tensix, частота 1 ГГц, 108 МБ SRAM, 12 ГБ GDDR6, пропускная способность 288 ГБ/с) достигла 262 FP8 TFLOPS при 160 Вт, в то время как двухчиповая плата Wormhole n300 (128 ядер Tensix, частота 1 ГГц, 192 МБ SRAM, совокупная память GDDR6 24 ГБ, пропускная способность 576 ГБ/с) обеспечивает производительность до 466 FP8 TFLOPS при 300 Вт.
Чтобы представить 300 Вт и 466 FP8 терафлопс в контексте, мы сравним их с тем, что предлагает лидер рынка искусственного интеллекта Nvidia при такой расчетной тепловой мощности. Nvidia A100 не поддерживает FP8, но поддерживает INT8 с пиковой производительностью 624 TOPS (1248 TOPS при редкости). Для сравнения, H100 от Nvidia поддерживает FP8 и достигает пиковой производительности 1670 терафлопс при 300 Вт (3341 терафлопс при низкой мощности), что значительно отличается от Wormhole n300 от Tenstorrent.
Однако есть одна серьезная проблема. Wormhole n150 от Tenstorrent продается по цене 999 долларов, а n300 — за 1399 долларов. Для сравнения, одна видеокарта Nvidia H100 продается за 30 000 долларов, в зависимости от количества. Конечно, мы не знаем, смогут ли четыре или восемь процессоров Wormhole обеспечить производительность одного H300, но их TDP составляет 600 Вт и 1200 Вт соответственно.
В дополнение к картам Tenstorrent предлагает готовые рабочие станции для разработчиков, в том числе 4 карты n300 в более доступном TT-LoudBox на базе Xeon с активным охлаждением и усовершенствованный TT-QuietBox с функцией жидкостного охлаждения Xiaolong на базе EPYC).
Время публикации: 29 июля 2024 г.