La nuova VMware Private AI Foundation with NVIDIA permette alle imprese di essere pronte all'era dell'AI generativa.
La piattaforma supporta ulteriormente la privacy, la sicurezza e il controllo dei dati
LAS VEGAS/VMware Explore 2023, 22 agosto 2023 — VMware Inc. (NYSE: VMW) e NVIDIA (NASDAQ: NVDA) hanno annunciato oggi l'ampliamento della loro partnership strategica, con l’obiettivo di preparare le centinaia di migliaia di aziende che utilizzano l'infrastruttura cloud di VMware all'era dell'AI generativa.
VMware Private AI Foundation with NVIDIA consentirà alle aziende di personalizzare i modelli ed eseguire applicazioni di AI generativa, tra cui chatbot intelligenti, assistenti, ricerca e sintesi. La piattaforma è una soluzione completamente integrata con software di AI generativa e computing accelerato di NVIDIA, costruita su VMware Cloud Foundation e ottimizzata per l'AI.
"L'AI generativa e il multi-cloud rappresentano un binomio perfetto", ha dichiarato Raghu Raghuram, CEO di VMware. "I dati dei clienti sono ovunque, nei data center, all'edge e nei loro cloud. Insieme a NVIDIA, daremo alle aziende la possibilità di eseguire i propri carichi di lavoro di intelligenza artificiale generativa vicino ai loro dati con fiducia, risolvendo al contempo i problemi di data privacy, sicurezza e controllo."
"Le aziende di tutto il mondo si stanno affrettando ad integrare l'IA generativa nei loro business", ha dichiarato Jensen Huang, fondatore e CEO di NVIDIA. "La nostra collaborazione ampliata con VMware metterà a disposizione di centinaia di migliaia di clienti – operanti nei settori dei servizi finanziari, della sanità, dell'industria manifatturiera e altri ancora - il software e il computing full-stack di cui hanno bisogno per sfruttare appieno il potenziale dell'AI generativa mediante applicazioni personalizzate costruite con i propri dati."
Full-stack computing per potenziare l'AI generativa
Per acquisire vantaggi aziendali in tempi più rapidi, le aziende stanno cercando di semplificare il processo di sviluppo, testing e implementazione delle applicazioni di AI generativa. Secondo McKinsey, si stima che l'AI generativa potrebbe contribuire con fino a 4,4 trilioni di dollari all'economia globale ogni anno[1].
VMware Private AI Foundation with NVIDIA consentirà alle aziende di sfruttare questa capacità, personalizzando modelli di linguaggio di grandi dimensioni (LLM) e generando modelli più sicuri e riservati per uso interno; offrendo inoltre l'AI generativa come servizio ai propri utenti ed eseguendo in modo più sicuro i carichi di lavoro di inferenza su scala.
La piattaforma includerà strumenti di intelligenza artificiale integrati per consentire alle aziende di eseguire in modo efficiente dal punto di vista dei costi modelli addestrati sui propri dati privati. Basata su VMware Cloud Foundation e sul software NVIDIA AI Enterprise, la piattaforma offrirà i seguenti vantaggi in termini di:
- Privacy: consentirà ai clienti di eseguire facilmente servizi di intelligenza artificiale vicino a qualsiasi luogo in cui dispongano di dati con un'architettura che preserva la data privacy e consente un accesso sicuro.
- Scelta: le aziende potranno scegliere dove costruire ed eseguire i propri modelli - da NVIDIA NeMo™ a Llama 2 e oltre - comprese le principali configurazioni hardware OEM e, in futuro, le offerte di cloud pubblico e di service provider.
- Prestazioni: l'esecuzione su infrastrutture accelerate da NVIDIA offre, in alcuni casi d’uso, prestazioni pari e persino superiori al bare metal, come dimostrato da recenti benchmark di settore.
- Scala Data-Center: le ottimizzazioni della scalabilità delle GPU negli ambienti virtualizzati consentiranno ai carichi di lavoro AI di scalare fino a 16 vGPU/GPU in una singola macchina virtuale e su più nodi per accelerare la messa a punto e l'implementazione dei modelli AI generativi.
- Riduzione dei costi: massimizzazione dell’utilizzo delle risorse di calcolo tra GPU, DPU e CPU per ridurre i costi complessivi e creare un ambiente di risorse in pool che può essere condiviso in modo efficiente tra i vari team.
- Storage accelerato: VMware vSAN Express Storage Architecture offrirà un'archiviazione NVMe ottimizzata per le prestazioni e supporterà l'archiviazione GPUDirect® tramite RDMA, consentendo il transfer I/O diretto dallo storage alle GPU senza coinvolgere la CPU.
- Networking accelerato: la profonda integrazione fra vSphere e la tecnologia NVIDIA NVSwitch™ consentirà di eseguire modelli multi-GPU senza colli di bottiglia inter-GPU.
- Rapido deployment e time to value: le immagini VM di vSphere Deep Learning e il relativo repository consentiranno funzionalità di prototipazione rapida offrendo un'immagine di soluzione completa stabile, che include framework e librerie ottimizzate per le prestazioni, già pre-installate.
La piattaforma includerà NVIDIA NeMo, un framework cloud-nativo end-to-end incluso in NVIDIA AI Enterprise - il sistema operativo della piattaforma NVIDIA AI - che consente alle aziende di costruire, personalizzare e distribuire modelli generativi di AI praticamente ovunque. NeMo combina framework di personalizzazione, guardrail toolkit, strumenti per la data curation e modelli preaddestrati per offrire alle aziende una modalità semplice, economica e veloce di adozione dell'AI generativa.
Per l'implementazione dell'AI generativa in produzione, NeMo utilizza TensorRT for Large Language Models (TRT-LLM), che accelera e ottimizza le prestazioni di inferenza sui più recenti LLM su GPU NVIDIA. Grazie a NeMo, VMware Private AI Foundation with NVIDIA consentirà alle aziende di utilizzare i propri dati per costruire ed eseguire modelli generativi di intelligenza artificiale personalizzati sull'infrastruttura cloud ibrida di VMware.
In occasione di VMware Explore 2023, NVIDIA e VMware metteranno in evidenza come gli sviluppatori all’interno delle aziende possono utilizzare il nuovo NVIDIA AI Workbench per estrarre i modelli della comunità, come Llama 2, disponibile su Hugging Face, personalizzarli in remoto e implementare l'AI generativa a livello di produzione negli ambienti VMware.
Ampio supporto dell'ecosistema per VMware Private AI Foundation with NVIDIA
VMware Private AI Foundation with NVIDIA sarà supportata da Dell Technologies, Hewlett Packard Enterprise e Lenovo - che saranno fra i primi a offrire sistemi che potenziano la personalizzazione dell'LLM aziendale e i carichi di lavoro di inferenza con le GPU NVIDIA L40S, le DPU NVIDIA BlueField®-3 e le SmartNIC NVIDIA ConnectX®-7.
La GPU NVIDIA L40S consente prestazioni di inferenza AI generativa fino a 1,2 volte superiori e prestazioni di training fino a 1,7 volte superiori rispetto alla GPU NVIDIA A100 Tensor Core.
Le DPU NVIDIA BlueField-3 accelerano, scaricano e isolano dalla GPU o dalla CPU l'enorme carico di calcolo di virtualizzazione, networking, storage, sicurezza e altri servizi di AI cloud-native.
Le SmartNIC NVIDIA ConnectX-7 offrono networking intelligente e accelerato per l'infrastruttura del data center per potenziare alcuni dei carichi di lavoro AI più impegnativi al mondo.
VMware Private AI Foundation with NVIDIA si basa sulla decennale collaborazione tra le due aziende. Il lavoro di co-ingegnerizzazione ha ottimizzato l'infrastruttura cloud di VMware per eseguire NVIDIA AI Enterprise con prestazioni paragonabili a quelle del bare metal. I clienti comuni traggono ulteriore vantaggio dalla gestione delle risorse e dell'infrastruttura e dalla flessibilità abilitate da VMware Cloud Foundation.
Disponibilità
VMware intende rilasciare VMware Private AI Foundation with NVIDIA all'inizio del 2024.
[1] The economic potential of generative AI: The next productivity frontier, McKinsey, 2023
NVIDIA
Sin dalla sua fondazione nel 1993, NVIDIA (NASDAQ: NVDA) è stata un pioniere nell'ambito dell'elaborazione accelerata. L'invenzione della GPU da parte dell'azienda nel 1999 ha dato il via alla crescita del mercato del gaming su PC, ha ridefinito la grafica computerizzata, ha dato il via all'era dell'AI moderna e sta alimentando la digitalizzazione industriale in diversi settori. Oggi, NVIDIA è un'azienda di full-stack computing, con offerte su scala data-center che stanno ridisegnando il settore. Maggiori informazioni su https://nvidianews.nvidia.com/.
VMware
VMware è un provider leader di servizi multi-cloud per tutte le app, che abilita l’innovazione digitale con un controllo di classe enterprise. Come base affidabile per accelerare l'innovazione, il software VMware offre alle aziende la flessibilità e la scelta di cui hanno bisogno per costruire il futuro. Con sede a Palo Alto, California, VMware è impegnata a costruire un futuro migliore attraverso la sua Agenda 2030. Per ulteriori informazioni, visita il sito www.vmware.com/company