AMD aggiorna la propria linea di soluzioni specifiche per l’IA con gli acceleratore Instinct MI300X e MI300A, ed il nuovo software ROCm 6

Le tecnologie legate allo sviluppo di sistemi di intelligenza artificiale stanno diventando sempre più importanti, con molti produttori hardware che investono risorse sempre più ingenti in questo particolare settore; AMD e Nvidia offrono attualmente un ampio portafoglio di prodotti HPC che sono in grado di garantire grandi prestazioni anche con i calcoli necessari per l’intelligenza artificiale, e oggi AMD amplia la propria offerta con la Instinct MI300X, basata su nuova architettura CDNA3.

Le Instinct rappresentano da diversi anni i prodotti di AMD per l’High Performance Computing (HPC), ed a partire dalla prima iterazione dell’architettura CDNA nel 2019, questi acceleratori sono in grado di gestire istruzioni particolarmente avanzate, come i calcoli matriciali e le bfloat16, molto utili in ambito IA; la rivoluzionaria architettura CDNA3 propone un design a chiplet, già utilizzato con molto successo sulle CPU Ryzen e sulle schede video Radeon RX7000.

AMD Instinct MI300X rappresenta la nuova proposta al vertice, sostituendo la precedente MI250X basata su CDNA2; si tratta di un grande passo avanti, con un layout che prevede 8 chiplet con altrettanti stack di memoria HBM3, e l’innovativa tecnologia di packaging 3.5D. La potenza è incredibilmente elevata, con ben 304 Compute Units e 192 GB di memoria, che grazie ai 256 MB di Infinity Cache riesce a garantire un’ampiezza di banda pari a 5,3 TB/s. La MI300X arriva a generare una potenza bfloat16 pari a 1,3 PFLOPs, mentre con i calcoli INT8 si arriva a 2,6 POPs.

Le prestazioni sono attualmente le più elevate del settore, con valori che nei principali applicativi superano anche del 20% quelle della principale concorrente, la Nvidia H100, un grande risultato considerando le elevatissime prestazioni degli acceleratori Nvidia in ambito prettamente IA.

Le novità non finiscono qui, dato che AMD ha presentato anche la Instinct MI300A, la prima APU ad altissime prestazioni in ambito HPC e IA; in questo caso troviamo l’utilizzo combinato di core CPU e GPU al suo interno, nello specifico Zen 4 e CDNA3.

Le specifiche sono molto simili alla MI300X, ma per far spazio ai 24 core CPU Zen 4 i core CDNA3 sono inferiori di numero, arrivando a 228 CU contro le 304 della MI300X; anche la memoria HBM3 subisce un taglio, passando da 192 a 128 GB. Le prestazioni bfloat16 sono pari a 980,6 TF, mentre in INT8 abbiamo 1,96 POPs, con un incremento pari a 2X in termini di performance per watt rispetto al superchip Nvidia GH200.

La potenza hardware è senza dubbio importante, ma anche il software deve essere ottimizzato per rendere al meglio; ROCm 6.0 rappresenta un grosso passo avanti rispetto al precedente ROCm 5.0, espandendo l’ecosistema e garantendo maggiore flessibilità per tutto ciò che riguarda l’IA di tipo generativo, con un incremento prestazionale che arriva anche a 2,6X la versione 5.0.