VMware與NVIDIA 為企業開啟生成式AI時代
VMware和NVIDIA宣布擴展雙方的戰略合作夥伴關係，幫助成千上萬家使用VMware雲端基礎架構的企業做好準備，迎接AI時代。VMware Private AI Foundation with NVIDIA使企業能夠自定義模型並採用各種生成式AI應用，如智能聊天機器人、助手、搜索和摘要等。
VMware Cloud構建生成式AI軟件
VMware Private AI Foundation with NVIDIA作為全集成式解決方案，採用了NVIDIA提供的生成式AI軟件和加速計算，基於VMware Cloud Foundation構建，並針對AI進行優化。VMware首席執行官Raghu Raghuram表示：「生成式AI與多雲端架構可謂珠聯璧合。客戶的數據無處不在，遍佈其數據中心、邊緣、雲端等各處。我們將與NVIDIA一同助力企業安心地在數據附近運行生成式AI工作負載，並解決其在企業數據私隱、安全和控制方面的問題。」
NVIDIA創始人兼首席執行官黃仁勳表示：「世界各地的企業都在競賽將生成式AI整合到自身業務中。通過擴展與VMware的合作，我們將能夠為金融服務、醫療、製造等領域的成千上萬家客戶提供其所需的全棧式軟件和計算，使其能夠使用基於自身數據定制的應用，充分釋放生成式AI的潛力。」
全棧式計算大幅提升生成式AI的性能
為更快實現業務效益，企業希望簡化並提高生成式AI應用的開發、測試和部署效率。根據麥肯錫的預測，生成式AI每年可為全球經濟帶來多達4.4萬億美元的增長。
VMware Private AI Foundation with NVIDIA將助力企業充分利用這一優勢，以定制大語言模型，創建供內部使用，且更安全的私有模型，將生成式AI作為一項服務提供給用戶，並更安全地大規模運行推理工作負載。
該平台計劃提供的各種集成式AI工具，將幫助企業經濟高效地運行其私有數據訓練而成的成熟模型。這一建立在VMware Cloud Foundation和NVIDIA AI Enterprise軟件上的平台預計能夠提供以下方面的優勢：
- 私隱：將通過能夠保護數據私隱並確保訪問安全的架構，使客戶能夠在任何數據所在地輕鬆運行AI服務。
- 選擇：企業在構建和運行其模型 (NVIDIA NeMo、Llama 2等) 時將擁有廣泛的選擇，包括領先的OEM硬件配置以及未來的公有雲和服務供應商解決方案。
- 性能：近期的行業基準測試表明，某些用例在NVIDIA加速的基礎設施上運行的性能與裸機性能相當，甚至超過了裸機性能。
- 數據中心規模：虛擬化環境中的GPU擴展優化使AI工作負載能夠在單個虛擬機和多個節點上擴展到最多16顆vGPU/GPU，從而加快生成式AI模型的微調和部署速度。
- 更低的成本：將最大程度地利用GPU、DPU和CPU的所有計算資源以降低總體成本，並創建可在各個團隊間高效共享的集中資源環境。
- 加速存儲：VMware vSAN Express Storage Architecture提供性能經過優化的NVMe存儲，並支持通過RDMA實現GPUDirect存儲，從而無需CPU即可實現從存儲到GPU的直接I/O傳輸。
- 加速網絡：vSphere 與 NVIDIA NVSwitch技術之間的深度集成將進一步確保多GPU模型的執行不會出現GPU間瓶頸問題。
- 快速部署和價值實現時間：vSphere Deep Learning VM鏡像和鏡像庫將提供穩定的交鑰匙解決方案鏡像，該鏡像預先安裝了各種框架和性能經過優化的鏡像庫，可實現快速原型開發。
NVIDIA NeMo雲端原生框架
該平台將採用NVIDIA NeMo。NVIDIA NeMo是NVIDIA AI Enterprise (NVIDIA AI平台的操作系統) 中包含的雲端到雲端原生框架，可助力企業在幾乎任何地點構建、自定義和部署生成式 AI 模型。NeMo集自定義框架、護欄工具包、數據整理工具和預訓練模型於一身，使企業能夠以一種簡單、經濟且快速的方式來採用生成式AI。
為將生成式 AI 部署到生產中，NeMo使用TensorRT for Large Language Models (TRT-LLM)，以加速並優化NVIDIA GPU上最新LLM的推理性能。通過NeMo，VMware Private AI Foundation with NVIDIA將使企業能夠導入自己的數據，並在VMware混合雲基礎架構上構建和運行自定義生成式AI模型。
在VMware Explore 2023上，NVIDIA與VMware將重點介紹企業內部的開發人員如何使用全新NVIDIA AI Workbench提取社區模型 (例如Hugging Face上提供的 Llama 2)，對這些模型進行遠程自定義並在VMware環境中部署生產級生成式AI。
