La compañía de chips dirigida por Jim Keller, Tenstorrent, ha lanzado su procesador de agujeros de gusano de próxima generación para cargas de trabajo de IA, que espera ofrecer un buen rendimiento a un precio asequible.Actualmente, la compañía ofrece dos tarjetas PCIe adicionales que pueden acomodar uno o dos procesadores de agujeros de gusano, así como las estaciones de trabajo TT-Loudbox y TT-Quitbox para desarrolladores de software. Todos los anuncios de hoy están dirigidos a los desarrolladores, no a aquellos que usan tableros de agujeros de gusano para cargas de trabajo comerciales.
"Siempre es gratificante poner más de nuestros productos en manos de los desarrolladores. Liberar los sistemas de desarrollo utilizando nuestras tarjetas Wormhole ™ puede ayudar a los desarrolladores a escalar y desarrollar software AI de múltiples chips", dijo Jim Keller, CEO de Tenstorrent.Además de este lanzamiento, estamos entusiasmados de ver el progreso que estamos haciendo con la cinta y encendido de nuestro producto de segunda generación, Blackhole ”.
Cada procesador de agujero de gusano contiene 72 núcleos de tensez (cinco de los cuales admiten núcleos RISC-V en varios formatos de datos) y 108 MB de SRAM, entregando 262 Tflops FP8 a 1 GHz con una potencia de diseño térmico de 160W. La tarjeta Wormhole N150 de un solo chip está equipada con memoria de video GDDR6 de 12 GB y tiene un ancho de banda de 288 GB/s.
Los procesadores Wormhole proporcionan escalabilidad flexible para satisfacer las diversas necesidades de las cargas de trabajo. En una configuración de estación de trabajo estándar con cuatro tarjetas Wormhole N300, los procesadores se pueden combinar en una sola unidad que aparece en el software como una red de núcleo de Tensix unificada y unificada. Esta configuración permite al acelerador manejar la misma carga de trabajo, dividir entre cuatro desarrolladores o ejecutar hasta ocho modelos de IA diferentes simultáneamente. Una característica clave de esta escalabilidad es que puede ejecutarse localmente sin la necesidad de virtualización. En un entorno de centro de datos, los procesadores de agujeros de gusano utilizarán PCIe para la expansión dentro de la máquina o Ethernet para expansión externa.
En términos de rendimiento, la tarjeta Worm N150 de un solo chip de Tenstorrent (72 núcleos tensix, frecuencia de 1 GHz, 108 MB SRAM, 12 GB GDDR6, 288 GB/S Bandwidth) alcanzó 262 FP8 Tflops a 160W, mientras que el agujero de doble chip N300 Board (128 Tensix CORES, 1 FRECUENCIÓN DE GHZ, 192 MBAT. GB GDDR6, 576 GB/S Width) ofrece hasta 466 fp8 tflops a 300W.
Para poner 300W de 466 fp8 tflops en contexto, lo compararemos con lo que el líder del mercado de IA está ofreciendo en este poder de diseño térmico. El A100 de NVIDIA no es compatible con FP8, pero sí admite INT8, con un rendimiento máximo de 624 tops (1,248 tops cuando es escaso). En comparación, el H100 de NVIDIA admite FP8 y alcanza el rendimiento máximo de 1,670 Tflops a 300W (3,341 TFLOPS en escasos), que es significativamente diferente de Wormstorrent's Wormhole N300.
Sin embargo, hay un problema importante. Worm N150 de Tenstorrent se vende por $ 999, mientras que el N300 se vende por $ 1,399. En comparación, una sola tarjeta gráfica NVIDIA H100 se vende por $ 30,000, dependiendo de la cantidad. Por supuesto, no sabemos si cuatro u ocho procesadores de agujero de gusano pueden ofrecer el rendimiento de un solo H300, pero sus TDP son 600W y 1200W respectivamente.
Además de las tarjetas, Tenstorrent ofrece estaciones de trabajo previas a la construcción para desarrolladores, incluidas 4 tarjetas N300 en la TT-LouBbox basada en Xeon más asequible con enfriamiento activo y la Función Advanced TT-Qeetbox con XIAOLONG basada en EPYC)).
Tiempo de publicación: julio-29-2024