새로운 VMware 프라이빗 AI 파운데이션 위드 엔비디아, 기업이 생성형 AI를 비즈니스에 활용할 수 있도록 대비시키고 데이터 개인 정보 보호, 보안 및 제어를 더욱 지원하는 플랫폼 마련
라스베이거스—VMware 익스플로어—2023년 8월 22일—VMware와 엔비디아(NVIDIA)는 오늘 VMware의 클라우드 인프라에서 실행되는 수십만 개의 기업들이 생성형 AI 시대에 대비할 수 있도록 전략적 파트너십을 확대한다고 발표했다.
VMware 프라이빗 AI 파운데이션 위드 엔비디아(Private AI Foundation with NVIDIA)를 통해 기업은 모델을 사용자 지정하고 지능형 챗봇, 어시스턴트, 검색, 요약을 비롯한 생성형 AI 애플리케이션을 실행할 수 있다. 이 플랫폼은 생성형 AI 소프트웨어와 엔비디아의 가속 컴퓨팅을 완벽하게 통합한 솔루션으로, VMware 클라우드 파운데이션(Cloud Foundation)을 기반으로 구축됐으며 AI를 위해 최적화됐다.
VMware의 CEO인 라구 라구람(Raghu Raghuram)은 "생성형 AI와 멀티 클라우드는 완벽한 조합”이라며, “고객의 데이터는 데이터 센터, 엣지, 클라우드 등 어디에나 있다. VMware는 엔비디아와 함께 기업 데이터 개인 정보 보호, 보안, 제어 문제를 해결하면서도 데이터에 인접한 생성형 AI 워크로드를 안전하게 실행할 수 있도록 지원한다."라고 말했다.
엔비디아의 설립자이자 CEO인 젠슨 황(Jensen Huang)은 "모든 기업이 자사의 비즈니스에 생성형 AI를 통합하기 위해 경쟁하고 있다.”며, “VMware와의 확장된 협업은 금융 서비스, 의료, 제조 등에 걸쳐 수십만 명의 고객에게 자체 데이터로 구축된 맞춤형 애플리케이션을 활용해 생성형 AI의 잠재력을 실현하는 데 필요한 풀 스택 소프트웨어와 컴퓨팅을 제공할 것이다."라고 말했다.
생성형 AI의 이점을 극대화하는 풀 스택 컴퓨팅
비즈니스 이점을 보다 빠르게 달성하기 위해 기업들은 생성형 AI 애플리케이션의 개발, 테스트 및 배포를 간소화하기 위해 노력하고 있다. 맥킨지(McKinsey)는 생성형 AI가 세계 경제에 연간 최대 4조 4천억 달러를 더할 수 있다고 추정한다.(1)
VMware 프라이빗 AI 파운데이션 위드 엔비디아를 통해 기업은 대규모 언어 모델을 사용자 정의하고, 내부 사용을 위한 보다 안전한 프라이빗 모델을 제작하며, 그들의 고객에게 생성형 AI를 서비스형 제품으로 제공하고, 대규모 추론 워크로드를 보다 안전하게 실행할 수 있는 기능들을 활용할 수 있다.
이 플랫폼에는 기업이 비용 효율적인 방식으로 그들의 자체 데이터에 대해 검증된 훈련 모델을 실행할 수 있도록 지원하는 통합 AI 도구들이 포함될 예정이다. VMware 클라우드 파운데이션과 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어를 기반으로 구축된 이 플랫폼의 예상 이점은 다음과 같다.
- 개인 정보 보호 – 데이터 개인 정보를 보호하고 안전한 접근을 보장하는 아키텍처를 통해 고객이 데이터에 인접한 모든 곳에서 AI 서비스를 쉽게 실행할 수 있다.
- 선택권 – 기업은 엔비디아 니모(NeMo)에서 라마(Llama) 2에 이르기까지 다양한 모델을 구축하고 실행할 수 있는 선택권을 가진다. 여기에는 선도적인 OEM 하드웨어 구성과 향후 퍼블릭 클라우드 및 서비스 공급업체 제품들이 포함될 예정이다.
- 성능 – 최근 업계 벤치마크에서 입증된 바와 같이, 엔비디아 가속 인프라에서 실행하면 일부 사용 사례에서 베어메탈과 동등하거나 그 이상의 성능을 제공한다.
- 데이터 센터 확장 – 가상화된 환경에서 GPU 확장 최적화를 통해 AI 워크로드를 단일 가상 머신과 여러 노드에서 최대 16개의 vGPU/GPU로 확장함으로써 생성형 AI 모델의 미세 조정과 구축 시간을 단축할 수 있다.
- 비용 절감 – GPU, DPU, CPU에 걸친 모든 컴퓨팅 리소스 사용을 극대화해 전체 비용을 절감하고 팀 간에 효율적으로 공유할 수 있는 풀링된 리소스 환경을 구축한다.
- 스토리지 가속화 – VMware vSAN 익스프레스 스토리지 아키텍처(ESA)는 성능 최적화된 NVMe 스토리지를 제공하고 RDMA를 통한 GPU다이렉트 스토리지를 지원함으로써, CPU 개입 없이 스토리지에서 GPU로 직접 I/O를 전송할 수 있다.
- 네트워킹 가속화 – vSphere와 엔비디아 NV스위치 기술 간의 긴밀한 통합을 통해 GPU 간 병목 현상 없이 다중 GPU 모델을 실행할 수 있다.
- 신속한 구현과 가치 창출 – vSphere 딥 러닝 VM 이미지 및 이미지 저장소는 프레임워크와 성능 최적화 라이브러리가 사전 설치된 안정적인 턴키 솔루션 이미지를 제공해 빠른 프로토타이핑 기능을 지원한다.
이 플랫폼에는 엔비디아 AI 엔터프라이즈(엔비디아 AI 플랫폼의 운영 체제)에 포함된 엔드 투 엔드 클라우드 네이티브 프레임워크인 엔비디아 니모가 포함되어 있어 기업이 생성형 AI 모델을 거의 모든 곳에서 구축, 사용자 지정 및 배포할 수 있다. 니모는 사용자 지정 프레임워크, 가드레일 툴킷, 데이터 큐레이션 도구, 그리고 사전 훈련된 모델을 결합해 기업이 생성형 AI를 쉽고 비용 효율적으로 빠르게 채택할 수 있는 방법을 제공한다.
니모는 프로덕션에 생성형 AI를 배포하기 위해 엔비디아 GPU의 최신 LLM에 대한 추론 성능을 가속화하고 최적화하는 텐서RT 포 라지 랭귀지 모델(TensorRT for Large Language Models, TRT-LLM)를 사용한다. 니모가 적용된 VMware 프라이빗 AI 파운데이션 위드 엔비디아는 기업이 자체 데이터를 끌어와 VMware의 하이브리드 클라우드 인프라에서 생성형 AI 모델을 맞춤형으로 구축하고 실행할 수 있도록 한다.
VMware 익스플로어(Explore) 2023에서 엔비디아와 VMware는 기업 내 개발자들이 어떻게 새로운 엔비디아 AI 워크벤치(NVIDIA AI Workbench)를 사용해 허깅 페이스(Hugging Face)에서 사용 가능한 라마 2와 같은 커뮤니티 모델을 끌어내어, VMware 환경에서 원격으로 사용자 지정하고 프로덕션급 생성형 AI를 구축하는지에 대해 설명할 예정이다.
VMware 프라이빗 AI 파운데이션 위드 엔비디아에 대한 광범위한 생태계 지원
VMware 프라이빗 AI 파운데이션 위드 엔비디아는 델 테크놀로지스(Dell Technologies), 휴렛패커드엔터프라이즈(Hewlett Packard Enterprise), 그리고 레노버(Lenovo)가 지원하며, 이들은 엔비디아 L40S GPU, 엔비디아 블루필드(BlueField)-3 DPU, 그리고 엔비디아 커넥트X(ConnectX)-7 스마트NIC를 통해 엔터프라이즈 LLM 커스터마이징과 추론 워크로드를 최대로 지원하는 최초의 시스템 중 하나가 될 것이다.
엔비디아 L40S GPU는 엔비디아 A100 텐서 코어 GPU 대비 최대 1.2배 더 많은 생성형 AI 추론 성능과 최대 1.7배 더 많은 훈련 성능을 제공한다.
엔비디아 블루필드-3 DPU는 가상화, 네트워킹, 스토리지, 보안 및 기타 클라우드 네이티브 AI 서비스의 엄청난 컴퓨팅 로드를 가속화, 오프로드 및 격리한다.
엔비디아 커넥트X-7 스마트NIC는 데이터 센터 인프라를 위한 스마트하고 가속화된 네트워킹을 제공해 세계에서 가장 까다로운 AI 워크로드를 가속한다.
VMware 프라이빗 AI 파운데이션 위드 엔비디아는 10년간 지속된 파트너십을 기반으로 만들어졌다. 이들의 공동 엔지니어링 작업은 엔비디아 AI 엔터프라이즈를 실행하기 위해 VMware의 클라우드 인프라를 최적화함으로써 베어메탈에 필적하는 성능을 제공한다. 양사의 공동 고객은 VMware 클라우드 파운데이션을 통해 리소스 및 인프라 관리와 유연성의 이점을 누릴 수 있다.
가용성
VMware는 2024년 초에 VMware 프라이빗 AI 파운데이션 위드 엔비디아를 출시할 계획이다.