La empresa de chips Tensorrent, dirigida por Jim Keller, ha lanzado su procesador Wormhole de próxima generación para cargas de trabajo de IA, con el que espera ofrecer un buen rendimiento a un precio asequible.Actualmente, la compañía ofrece dos tarjetas PCIe adicionales que admiten uno o dos procesadores Wormhole, así como las estaciones de trabajo TT-LoudBox y TT-QuietBox para desarrolladores de software. Todos los anuncios de hoy están dirigidos a desarrolladores, no a quienes utilizan las placas Wormhole para cargas de trabajo comerciales.
“Siempre es gratificante que más desarrolladores tengan acceso a nuestros productos. Los sistemas de desarrollo de versiones que utilizan nuestras tarjetas Wormhole™ pueden ayudar a los desarrolladores a escalar y desarrollar software de IA multichip”, dijo Jim Keller, director ejecutivo de Tensorrent.Además de este lanzamiento, nos entusiasma ver el progreso que estamos logrando con la fabricación y puesta en marcha de nuestro producto de segunda generación, Blackhole.”
Cada procesador Wormhole contiene 72 núcleos Tensix (cinco de los cuales admiten núcleos RISC-V en varios formatos de datos) y 108 MB de SRAM, lo que proporciona 262 TFLOPS FP8 a 1 GHz con una potencia de diseño térmico de 160 W. La tarjeta Wormhole n150 de un solo chip está equipada con 12 GB de memoria de vídeo GDDR6 y tiene un ancho de banda de 288 GB/s.
Los procesadores Wormhole ofrecen una escalabilidad flexible para satisfacer las diversas necesidades de las cargas de trabajo. En una configuración estándar de estación de trabajo con cuatro tarjetas Wormhole n300, los procesadores se pueden combinar en una sola unidad que aparece en el software como una red central Tensix unificada y amplia. Esta configuración permite que el acelerador gestione la misma carga de trabajo, dividida entre cuatro desarrolladores, o ejecute hasta ocho modelos de IA diferentes simultáneamente. Una característica clave de esta escalabilidad es que puede ejecutarse localmente sin necesidad de virtualización. En un entorno de centro de datos, los procesadores Wormhole utilizarán PCIe para la expansión interna de la máquina o Ethernet para la expansión externa.
En términos de rendimiento, la tarjeta Wormhole n150 de un solo chip de Tenstorrent (72 núcleos Tensix, frecuencia de 1 GHz, 108 MB de SRAM, 12 GB de GDDR6, ancho de banda de 288 GB/s) alcanzó 262 TFLOPS FP8 a 160 W, mientras que la placa Wormhole n300 de doble chip (128 núcleos Tensix, frecuencia de 1 GHz, 192 MB de SRAM, 24 GB de GDDR6 agregados, ancho de banda de 576 GB/s) ofrece hasta 466 TFLOPS FP8 a 300 W.
Para poner en contexto los 300 W de 466 TFLOPS FP8, lo compararemos con lo que ofrece Nvidia, líder del mercado de IA, con esta potencia de diseño térmico. El Nvidia A100 no admite FP8, pero sí INT8, con un rendimiento máximo de 624 TOPS (1248 TOPS en modo disperso). En comparación, el Nvidia H100 admite FP8 y alcanza un rendimiento máximo de 1670 TFLOPS a 300 W (3341 TFLOPS en modo disperso), lo que es significativamente diferente del Wormhole n300 de Tenstorrent.
Sin embargo, existe un problema importante. El procesador Wormhole n150 de Tenstorrent se vende por 999 dólares, mientras que el n300 cuesta 1399 dólares. En comparación, una sola tarjeta gráfica Nvidia H100 tiene un precio de 30 000 dólares, dependiendo de la cantidad. Por supuesto, desconocemos si cuatro u ocho procesadores Wormhole pueden ofrecer el rendimiento de una sola H300, pero sus TDP son de 600 W y 1200 W respectivamente.
Además de las tarjetas, Tenstorrent ofrece estaciones de trabajo preconfiguradas para desarrolladores, incluyendo 4 tarjetas n300 en la TT-LoudBox basada en Xeon, más asequible y con refrigeración activa, y la avanzada TT-QuietBox con función de refrigeración líquida Xiaolong basada en EPYC.
Fecha de publicación: 29 de julio de 2024