La empresa de chips Tenstorrent dirigida por Jim Keller ha lanzado su procesador Wormhole de próxima generación para cargas de trabajo de IA, que espera que ofrezca un buen rendimiento a un precio asequible.La compañía ofrece actualmente dos tarjetas PCIe adicionales que admiten uno o dos procesadores Wormhole, así como estaciones de trabajo TT-LoudBox y TT-QuietBox para desarrolladores de software. Todos los anuncios de hoy están dirigidos a desarrolladores, no a quienes utilizan placas Wormhole para cargas de trabajo comerciales.
“Siempre es gratificante poner más productos nuestros a disposición de los desarrolladores. Los sistemas de desarrollo de versiones que utilizan nuestras tarjetas Wormhole™ pueden ayudar a los desarrolladores a escalar y desarrollar software de IA multichip”, afirmó Jim Keller, director ejecutivo de Tenstorrent.Además de este lanzamiento, estamos entusiasmados de ver el progreso que estamos logrando con el lanzamiento y la puesta en marcha de nuestro producto de segunda generación, Blackhole”.
Cada procesador Wormhole contiene 72 núcleos Tensix (cinco de los cuales admiten núcleos RISC-V en diversos formatos de datos) y 108 MB de SRAM, que ofrecen 262 FP8 TFLOPS a 1 GHz con una potencia de diseño térmico de 160 W. La tarjeta Wormhole n150 de un solo chip está equipada con 12 GB de memoria de vídeo GDDR6 y tiene un ancho de banda de 288 GB/s.
Los procesadores Wormhole ofrecen una escalabilidad flexible para satisfacer las diversas necesidades de las cargas de trabajo. En una configuración estándar de estación de trabajo con cuatro tarjetas Wormhole n300, los procesadores pueden combinarse en una sola unidad que aparece en el software como una red de núcleo Tensix unificada y amplia. Esta configuración permite al acelerador gestionar la misma carga de trabajo, dividirla entre cuatro desarrolladores o ejecutar hasta ocho modelos de IA diferentes simultáneamente. Una característica clave de esta escalabilidad es su capacidad de ejecución local sin necesidad de virtualización. En un entorno de centro de datos, los procesadores Wormhole utilizan PCIe para la expansión interna de la máquina o Ethernet para la expansión externa.
En términos de rendimiento, la tarjeta Wormhole n150 de un solo chip de Tenstorrent (72 núcleos Tensix, frecuencia de 1 GHz, 108 MB de SRAM, 12 GB de GDDR6, ancho de banda de 288 GB/s) alcanzó 262 FP8 TFLOPS a 160 W, mientras que la placa Wormhole n300 de doble chip (128 núcleos Tensix, frecuencia de 1 GHz, 192 MB de SRAM, 24 GB de GDDR6 agregados, ancho de banda de 576 GB/s) ofrece hasta 466 FP8 TFLOPS a 300 W.
Para contextualizar 300 W y 466 TFLOPS FP8, lo compararemos con lo que ofrece Nvidia, líder del mercado de IA, con esta potencia de diseño térmico. El procesador A100 de Nvidia no es compatible con FP8, pero sí con INT8, con un rendimiento máximo de 624 TOPS (1248 TOPS con dispersión). En comparación, el procesador H100 de Nvidia es compatible con FP8 y alcanza un rendimiento máximo de 1670 TFLOPS a 300 W (3341 TFLOPS con dispersión), lo cual es significativamente diferente del Wormhole n300 de Tenstorrent.
Sin embargo, existe un problema importante. El Wormhole n150 de Tenstorrent se vende por $999, mientras que el n300 se vende por $1,399. En comparación, una sola tarjeta gráfica Nvidia H100 cuesta $30,000, dependiendo de la cantidad. Por supuesto, no sabemos si cuatro u ocho procesadores Wormhole pueden realmente ofrecer el rendimiento de un solo H300, pero sus TDP son de 600W y 1200W respectivamente.
Además de las tarjetas, Tenstorrent ofrece estaciones de trabajo preconstruidas para desarrolladores, incluidas 4 tarjetas n300 en la TT-LoudBox basada en Xeon más asequible con enfriamiento activo y la TT-QuietBox avanzada con función de enfriamiento líquido Xiaolong basada en EPYC).
Hora de publicación: 29 de julio de 2024