Red Hat收購Neural Magic 帶來更好的生成式AI效能
開源解決方案供應商Red Hat宣佈已簽署收購Neural Magic的最終協議，Neural Magic為提供能加速生成式AI推論工作負載的軟件與演算法供應商，其在推論效能工程的專業技術及對開源的理念與Red Hat的願景一致，致力於在混合雲環境中皆能實現高效能AI工作負載，並滿足客戶特殊的應用情境和數據。
具成本效益且可靠的LLM服務
生成式AI的前景在當今科技領域中佔據主導地位，而支撐其系統的大型語言模型 (LLM) 規模亦持續擴大。因此，為建置具成本效益且可靠的LLM服務，企業需要大量的運算資源、能源，以及專業的營運技能。大部分企業因上述挑戰而難以享受到客製化、隨時部署且更具安全性的AI所帶來的優勢。
Red Hat總裁及行政總裁Matt Hicks表示：「無論企業的數據位於混合雲中的任何位置，AI工作負載皆必須能正常運行。因此，靈活、標準化且開放的平台和工具成為必然所需，企業得以選擇最符合其營運和數據需求的環境、資源和架構。」
Red Hat期望能藉由vLLM的開源創新讓更多企業更容易使用生成式AI，從而應對其面臨的挑戰。vLLM是由加州大學柏克萊分校開發、由社群驅動的開源專案，專注於開放模型服務 (即生成式AI模型如何推論和解決問題)，支援所有主要模型系列、先進的推論加速研究及多種硬件後端，包括AMD GPU、AWS Neuron、Google TPU、Intel Gaudi、NVIDIA GPU和x86 CPU。結合Neural Magic在vLLM專案中的領導地位與Red Hat強大的混合雲AI技術產品組合，將為企業提供一條開放的途徑，無論數據位於何處皆可實現打造能滿足獨特需求的AI策略。
攜手驅動混合雲就緒生成式AI的未來
Neural Magic於2018年自麻省理工學院 (MIT) 獨立，旨在開發高效能的深度學習 (deep learning) 推論軟件。Neural Magic的技術和效能工程專業加上Red Hat AI技術產品組合，將驅動Red Hat加速實現其對AI未來的願景。Red Hat為突破大規模企業級AI的挑戰，透過以下方式運用開源創新進一步推動AI變革的力量：
- 開源授權模型，涵蓋從1B到405B參數規模，無論是位於企業數據中心、多雲架構或是邊緣，都可在混合雲環境中靈活部署。
- 微調能力使企業得以更安全、更輕鬆地依據其私有數據和應用情境自訂LLM。
- 推論效能工程專業，可提高營運及基礎架構效率。
- 合作夥伴與開源生態支援架構，為客戶提供更多選擇，涵蓋LLM、工具到認證伺服器硬體和基層晶片架構。
vLLM領導地位強化Red Hat AI
Neural Magic憑藉在vLLM領域的專業知識，致力於建置企業級推論堆疊，以協助客戶於混合雲環境中優化、部署並擴展LLM工作負載，並能充分掌握基礎架構選擇、安全政策和模型生命周期。Neural Magic亦進行模型優化研究，建置LLM Compressor — 以先進的稀疏性 (sparsity) 和量化 (quantization) 演算法優化LLM的整合涵式庫 — 並且維護經預先優化、可運用vLLM即時部署的儲存庫。
Red Hat AI目標透過強大的技術協助客戶降低AI成本及技術門檻，當中包括：
- Red Hat Enterprise Linux AI (RHEL AI)：此基礎模型平台可讓IBM Granite開源LLM系列於Linux伺服器部署上更無縫地開發、測試及運行企業應用程式。
- Red Hat OpenShift AI：此AI平台可在橫跨在地、公有雲或邊緣的分散式Kubernetes環境中，提供快速開發、訓練、服務並監控機器學習模型的工具。
- InstructLab：由Red Hat和IBM共同建立的開源AI社群專案，任何人都可藉由InstructLab的微調技術協作改善開源授權的Granite LLM，共同塑造生成式AI的未來發展。
憑藉Neural Magic在vLLM技術的領導地位，Red Hat將強化其AI能力，並透過現成、高度優化並開放的推論技術堆疊，支援在混合雲環境中隨時隨地的LLM部署。
此交易需經監管機構審查和其他慣例成交條件而定。
