NVIDIA ha mostrato risultati straordinari con le sue GPU GeForce RTX 40, tra cui l’ammiraglia RTX 4090, in benchmark AI come Llama e Mistral.
Le schede grafiche GeForce RTX 40 di NVIDIA hanno surclassato CPU e NPU per laptop nei nuovi test AI con Llama e Mistral, grazie all’accelerazione offerta da TensorRT-LLM. Questo strumento di accelerazione per Windows ha introdotto notevoli miglioramenti di performance su piattaforme PC Windows. Con l’aggiornamento della suite di funzionalità AI “PC” di NVIDIA, la GPU GeForce RTX 4090 ha dimostrato prestazioni eccezionali.
In un recente blog post intitolato “AI-Decoded”, NVIDIA ha evidenziato come la sua attuale gamma di GPU superi nettamente le NPU (Neural Processing Units) del 2024, che hanno raggiunto solo 50 TOPS (Tera Operations Per Second). Al contrario, le GPU AI RTX di NVIDIA spaziano da diverse centinaia di TOPS fino a 1321 TOPS con la GeForce RTX 4090, facendola emergere come la soluzione desktop AI più potente per l’esecuzione di LLM (Large Language Models) e altro ancora. Inoltre, è anche la scheda grafica da gioco più veloce al mondo.
Le GPU GeForce RTX di NVIDIA vantano fino a 24 GB di VRAM, mentre le GPU NVIDIA RTX possono arrivare fino a 48 GB di VRAM, rendendole estremamente potenti nella gestione dei carichi di lavoro LLM, che richiedono grandi quantità di memoria video. Le GPU RTX sono equipaggiate non solo con memoria video dedicata, ma anche con accelerazione specifica per l’intelligenza artificiale grazie ai Tensor Core e al software TensorRT-LLM.
Prestazioni e Benchmark delle GeForce RTX 4090
NVIDIA ha dimostrato che l’abilitazione di TensorRT-LLM sulle GPU GeForce RTX 4090 accelera significativamente il numero di token generati per batch di qualsiasi dimensione, migliorando le prestazioni di oltre quattro volte. Recentemente, l’azienda ha condiviso nuovi benchmark utilizzando la piattaforma open source Jan.ai, che ha integrato TensorRT-LLM nella sua applicazione chatbot locale. Questo chatbot sfrutta modelli AI come Llama o Mistral in modo semplice ed efficace. I benchmark mostrano come le GPU GeForce RTX 40 di NVIDIA superino le CPU dei laptop con NPU AI dedicate.
Senza l’accelerazione TensorRT-LLM, la GPU NVIDIA GeForce RTX 4090 offre un miglioramento di 8,7 volte rispetto alla CPU AMD Ryzen 9 8945HS. Con TensorRT-LLM attivato, il vantaggio si estende a 15 volte, rappresentando un aumento del 70%. La GPU RTX 4090 può elaborare fino a 170,63 token al secondo, in netto contrasto con i 11,57 token/sec della CPU AMD. Anche la GPU per laptop NVIDIA GeForce RTX 4070 offre un’accelerazione di 4,45 volte.
Inoltre, NVIDIA ha mostrato come le prestazioni dei laptop possano essere ulteriormente potenziate utilizzando una eGPU RTX 4090 per carichi di lavoro AI. Questa configurazione eGPU ha dimostrato un miglioramento delle prestazioni di 9,07 volte rispetto alla stessa CPU per laptop AMD.
Scala di Prestazioni delle GPU RTX 40
NVIDIA ha recentemente descritto lo scenario attuale delle capacità computazionali per l’intelligenza artificiale, mostrando come le sue GPU desktop GeForce RTX 40 varino da 242 TOPS nel modello base a 1321 TOPS nel modello di fascia alta. Questo rappresenta un aumento di 4,84 volte nelle GPU entry-level e di 26,42 volte nelle GPU di fascia alta, rispetto alle NPU AI che offrono solo 45-50 TOPS sui SoC di quest’anno.
0 commenti