Чип-компания, возглавляемая Джимом Келлером Tenstorrent, выпустила свой процессор червоточины следующего поколения для рабочих нагрузок искусственного интеллекта, который, как ожидается, будет предложить хорошую производительность по доступной цене.В настоящее время компания предлагает две дополнительные карты PCIe, которые могут разместить один или два процессора червоточины, а также рабочие станции TT-Loudbox и TT-Quietbox для разработчиков программного обеспечения. Все сегодняшние объявления предназначены для разработчиков, а не для тех, кто использует червоточелю для коммерческих рабочих нагрузок.
«Всегда приятно привлекать больше наших продуктов в руки разработчиков. Выпустить системы разработки с использованием наших карт Wormhole ™ может помочь разработчикам масштабировать и разработать многочисленное программное обеспечение AI»,-сказал Джим Келлер, генеральный директор Tenstorrrent.В дополнение к этому запуску, мы рады увидеть прогресс, который мы достигаем с помощью ленты и включения нашего продукта второго поколения, Blackhole ».
Каждый процессор червоточины содержит 72 ядра Tensix (пять из которых поддерживают ядра RISC-V в различных форматах данных) и 108 МБ SRAM, обеспечивая 262 FP8 TFLOP при 1 ГГц с мощностью тепловой конструкции 160 Вт. Карта с одной чип-червоточиной N150 оснащена видео памятью 12 ГБ GDDR6 и имеет полосу пропускания 288 ГБ/с.
Процессоры червоточины обеспечивают гибкую масштабируемость для удовлетворения разнообразных потребностей рабочих нагрузок. В стандартной настройке рабочей станции с четырьмя картами N300 червоточины процессоры могут быть объединены в единый блок, который появляется в программном обеспечении как унифицированная, широкая сеть основной Tensix. Эта конфигурация позволяет акселератору обрабатывать одну и ту же рабочую нагрузку, разделить между четырьмя разработчиками или одновременно запускать до восьми различных моделей искусственного интеллекта. Ключевой особенностью этой масштабируемости является то, что он может работать локально без необходимости виртуализации. В среде центра обработки данных процессоры червоточины будут использовать PCIE для расширения внутри машины или Ethernet для внешнего расширения.
С точки зрения производительности, карта Tenstorrent с одной чипной чертажей N150 (72 ядра Tensix, частота 1 ГГц, 108 МБ SRAM, 12 ГБ GDDR6, 288 ГБ/с полосы пропускания). GB GDDR6, 576 ГБ/с полосы пропускания) доставляет до 466 FP8 TFLOPS при 300 Вт.
Чтобы поместить 300 Вт из 466 FP8 TFLOPS в контекст, мы сравним его с тем, что лидер рынка ИИ NVIDIA предлагает при этой мощности теплового дизайна. NVIDIA A100 не поддерживает FP8, но он поддерживает Int8, с пиковыми характеристиками 624 вершин (1248 топов, когда они были разрежены). Для сравнения, NVIDIA H100 поддерживает FP8 и достигает пиковой характеристики 1670 TFLOP при 300 Вт (3341 TFLOPS в SPARSE), что значительно отличается от червоточины TenStorrent N300.
Однако есть одна серьезная проблема. Tenstorrent's Wordhole N150 продается за 999 долларов, в то время как N300 продается за 1399 долларов. Для сравнения, одна видеокарта NVIDIA H100 продается по цене 30 000 долларов, в зависимости от количества. Конечно, мы не знаем, могут ли четыре или восемь процессоров червоточины фактически обеспечить производительность одного H300, но их TDP составляют 600 Вт и 1200 Вт соответственно.
В дополнение к картам, Tenstorrent предлагает предварительно построенные рабочие станции для разработчиков, в том числе 4 карты N300 в более доступном TT-Loudbox на основе Xeon с активным охлаждением, а также расширенного TT-Quietbox с функцией жидкого охлаждения на основе EPYC).
Время поста: 29-2024 июля