Ecco TensorRT, la libreria che potenza l’IA generativa su Windows

Author: Tom’s Hardware

L’Intelligenza Artificiale Generativa sta ridefinendo il panorama dell’informatica di consumo, portando miglioramenti significativi in campi come il gaming, la creatività, la produzione video, la produttività e lo sviluppo.

Questa rivoluzione è resa possibile grazie alle unità di elaborazione dedicate all’IA, denominate Tensor Cores, presenti nelle schede GeForce RTX e NVIDIA RTX, che stanno portando il potenziale dell’Intelligenza Artificiale Generativa a oltre 100 milioni di PC, e postazioni di lavoro, con sistema operativo Windows.

Oggi, il computing con IA generativa su PC ha fatto un balzo in avanti, diventando fino a 4 volte più veloce grazie a TensorRT-LLM for Windows, una libreria open-source che incrementa le prestazioni dell’inferenza per i più recenti modelli di grandi dimensioni basati sul linguaggio naturale, come Llama 2 e Code Llama. 

NVIDIA ha anche reso disponibili strumenti per gli sviluppatori che desiderano accelerare i loro modelli di Linguaggio Naturale di Grandi Dimensioni (LLM), compresi script per ottimizzare modelli personalizzati con TensorRT-LLM, modelli open-source ottimizzati con TensorRT e un progetto di riferimento che dimostra sia la velocità che la qualità delle risposte dei LLM.

L’accelerazione di TensorRT è ora applicabile anche a Stable Diffusion, una tecnologia impiegata nella creazione di opere d’arte sorprendenti. Grazie all’integrazione con la popolare interfaccia Web UI di Automatic1111, Stable Diffusion con accelerazione TensorRT può far funzionare il modello di IA generativa fino a 2 volte più velocemente rispetto alle implementazioni precedenti.

Inoltre, la versione 1.5 di RTX Video Super Resolution (VSR) è stata rilasciata come parte dell’ultimo driver Game Ready, e sarà presto disponibile anche nel prossimo driver NVIDIA Studio, in arrivo all’inizio del mese prossimo.

L’IA generativa, basata su grandi reti neurali addestrate nel linguaggio naturale, sta rivoluzionando la produttività, con applicazioni che vanno dalla chat alla sintesi di documenti, dalla scrittura di email e blog, fino all’analisi automatica dei dati e alla generazione di contenuti.

TensorRT-LLM, una libreria dedicata all’accelerazione dell’inferenza per questi modelli, offre una significativa accelerazione, permettendo ai LLM di operare fino a 4 volte più velocemente su PC con GPU RTX.

Questa accelerazione è particolarmente utile quando si combinano le capacità dei LLM con altre tecnologie, come nel caso della generazione con recupero aumentato (RAG).

In questo scenario, un LLM viene accoppiato a una libreria di vettori, o a un database di vettori, per fornire risposte mirate basate su insiemi specifici di dati, come email degli utenti o articoli su siti web.

Un esempio concreto di questi miglioramenti è il tempo di risposta a domande complesse. In un caso, senza l’uso del RAG, la risposta fornita da un modello base LLaMa 2 è stata poco utile. Ma utilizzando il RAG con articoli recenti sulle schede GeForce caricati in una libreria di vettori collegata allo stesso modello Llama 2, la risposta corretta è stata fornita in modo molto più rapido grazie all’accelerazione di TensorRT-LLM, dimostrando come questa combinazione aumenti l’efficienza e fornisca soluzioni più intelligenti agli utenti.

TensorRT-LLM sarà presto disponibile per il download dal sito dedicato agli sviluppatori di NVIDIA, insieme a modelli open source ottimizzati con TensorRT e una demo del RAG con articoli recenti sulle schede GeForce come progetto di esempio, accessibile su ngc.nvidia.com e GitHub.com/NVIDIA.

L’IA sta rivoluzionando anche il mondo dello streaming video. RTX VSR è un passo avanti nell’elaborazione dei pixel basata sull’IA, che migliora la qualità dei contenuti video in streaming, riducendo o eliminando gli artefatti causati dalla compressione video e affinando i dettagli.

La versione 1.5 di RTX VSR è ora disponibile, offrendo una qualità visiva ancora migliore grazie a modelli aggiornati e la capacità di eliminare gli artefatti nei video riprodotti alla risoluzione nativa del display.

Questa versione supporta inoltre le GPU RTX basate sull’architettura NVIDIA Turing, comprese le RTX professionali e le GeForce RTX della serie 20.

Il ritraining del modello AI di VSR ha permesso di distinguere con precisione tra dettagli sottili e artefatti di compressione, preservando meglio i dettagli durante il processo di upscaling. Questo si traduce in immagini più nitide e definite, con dettagli più visibili.

RTX VSR 1.5 è già disponibile per gli utenti RTX tramite l’ultimo driver Game Ready e lo sarà anche nel prossimo driver NVIDIA Studio, previsto per il mese prossimo.