Tenstorrent, la empresa de chips dirigida por Jim Keller, ha lanzado su procesador Wormhole de próxima generación para cargas de trabajo de IA, que espera ofrecer un buen rendimiento a un precio asequible.Actualmente, la empresa ofrece dos tarjetas PCIe adicionales que pueden alojar uno o dos procesadores Wormhole, así como estaciones de trabajo TT-LoudBox y TT-QuietBox para desarrolladores de software. Todos los anuncios de hoy están dirigidos a desarrolladores, no a aquellos que utilizan placas Wormhole para cargas de trabajo comerciales.
“Siempre es gratificante poner más productos nuestros en manos de los desarrolladores. Los sistemas de desarrollo de lanzamiento que utilizan nuestras tarjetas Wormhole™ pueden ayudar a los desarrolladores a escalar y desarrollar software de inteligencia artificial de múltiples chips”, dijo Jim Keller, director ejecutivo de Tenstorrent.Además de este lanzamiento, estamos entusiasmados de ver el progreso que estamos logrando con la salida de cinta y el encendido de nuestro producto de segunda generación, Blackhole”.
Cada procesador Wormhole contiene 72 núcleos Tensix (cinco de los cuales admiten núcleos RISC-V en varios formatos de datos) y 108 MB de SRAM, lo que ofrece 262 TFLOPS FP8 a 1 GHz con una potencia de diseño térmico de 160 W. La tarjeta Wormhole n150 de un solo chip está equipada con una memoria de vídeo GDDR6 de 12 GB y tiene un ancho de banda de 288 GB/s.
Los procesadores Wormhole brindan escalabilidad flexible para satisfacer las diversas necesidades de las cargas de trabajo. En una configuración de estación de trabajo estándar con cuatro tarjetas Wormhole n300, los procesadores se pueden combinar en una sola unidad que aparece en el software como una red central Tensix amplia y unificada. Esta configuración permite que el acelerador maneje la misma carga de trabajo, dividirla entre cuatro desarrolladores o ejecutar hasta ocho modelos de IA diferentes simultáneamente. Una característica clave de esta escalabilidad es que puede ejecutarse localmente sin necesidad de virtualización. En un entorno de centro de datos, los procesadores Wormhole utilizarán PCIe para la expansión dentro de la máquina o Ethernet para la expansión externa.
En términos de rendimiento, la tarjeta Wormhole n150 de un solo chip de Tenstorrent (72 núcleos Tensix, frecuencia de 1 GHz, 108 MB de SRAM, 12 GB GDDR6, ancho de banda de 288 GB/s) logró 262 FP8 TFLOPS a 160 W, mientras que la placa Wormhole n300 de doble chip (128 núcleos Tensix, frecuencia de 1 GHz, 192 MB de SRAM, 24 GB GDDR6 agregados, ancho de banda de 576 GB/s) ofrece hasta 466 TFLOPS FP8 a 300 W.
Para poner en contexto 300 W de 466 FP8 TFLOPS, lo compararemos con lo que ofrece Nvidia, líder del mercado de IA, con esta potencia de diseño térmico. La A100 de Nvidia no es compatible con FP8, pero sí con INT8, con un rendimiento máximo de 624 TOPS (1248 TOPS cuando es escaso). En comparación, el H100 de Nvidia es compatible con FP8 y alcanza un rendimiento máximo de 1.670 TFLOPS a 300W (3.341 TFLOPS en condiciones dispersas), lo que es significativamente diferente del Wormhole n300 de Tenstorrent.
Sin embargo, hay un problema importante. El Wormhole n150 de Tenstorrent se vende por 999 dólares, mientras que el n300 se vende por 1.399 dólares. En comparación, una sola tarjeta gráfica Nvidia H100 se vende por 30.000 dólares, dependiendo de la cantidad. Por supuesto, no sabemos si cuatro u ocho procesadores Wormhole realmente pueden ofrecer el rendimiento de un solo H300, pero sus TDP son 600W y 1200W respectivamente.
Además de las tarjetas, Tenstorrent ofrece estaciones de trabajo prediseñadas para desarrolladores, incluidas 4 tarjetas n300 en el TT-LoudBox más asequible basado en Xeon con refrigeración activa y el avanzado TT-QuietBox con función de refrigeración líquida Xiaolong (basada en EPYC).
Hora de publicación: 29-jul-2024