港企AI潛力在專用LLM 混合雲架構管理更佳

2025-02-15 benny

近年來，全球企業逐漸意識到人工智能 (AI) 的潛力，著力在數碼轉型時引入AI，提升營運效率和決策質量。在香港，各行各業亦積極運用AI創新減少日常營運中的繁瑣工作。例如，金融服務業和零售業採用AI聊天機械人，協助員工應對客戶簡單的查詢，或提出初步可行的處理建議。管理層和員工得以騰出更多時間、資源，投入更具價值的工作。

應用AI 革新行業的機遇處處，但依據AI錯誤見解行事也是危機四伏。坊間的 AI模型一般建基於通用的大型語言模型 (LLM)，依靠公眾領域內良莠不齊數據，得出質量成疑的結論。通用LLM大多無法依據企業的特性提供準確、可靠和合符企業特性的見解，難以直接作為管理層及員工可靠的決策依歸。企業需要採用經驗證的數據訓練AI模型，改善AI決策質量，方能實現改善營運的願景。

專用LLM是港企AI模型之選

優質的AI訓練數據踏破鐵鞋無覓處，得來全不費功夫。不論是高端製造業還是服務業，企業多年來的積累的營運數據，是管理層和員工面對營運難題智慧的結晶，是最佳的AI模型訓練素材。這些數據是企業獨特的經營優勢，不應免費供應予通用LLM的供應商，平白無故地強化其模型，為他人作嫁衣裳。相反，企業更應建立專用的LLM，充份發揮內部數據的價值，為管理層和員工提供值得參考的決策見解

出於安全和數據主權的考慮，全球不少企業不能部署通用LLM，也不能將專用LLM部署於公有雲。在香港，企業更為重視監管機構對數據管治的要求，以避免法律風險以至維繫客戶信心。因此，部署AI模型於私有雲甚至企業本地 (on-prem) 的方案，成為熱門的選擇。

然而，部署專用LLM涉及與現有系統的整合，涉及複雜的安排。企業或需進行重大的變更，重新規劃系統的設計，確保LLM與新系統內各企業應用程式能無縫對接，減少對日常營運的干擾並提高效率。運用AI取得決策見解，以及反饋營運數據強化AI訓練，均會大幅增加數據傳輸、儲存及運算的需求，或需要動用超級電腦支撐龐大的工作負載。

超級電腦的靈魂，就是日漸為大眾認識的晶片或半導體。大部份香港企業的AI模型，未必需要使用最新的高端晶片支撐運算。中端晶片已能滿足絕大部份的企業需求，能夠帶來相當顯著的效能提升。HPE著力協助香港企業運用中端晶片在本地部署專屬的LLM，以及使用企業獨有數據微調第三方的 LLM，讓企業受惠於量身定製的AI 模型。

混合雲端架構規劃妥當助力更大

在推動AI訓練與應用的同時，企業亦須兼顧散落四處的工作負載，以及管理數百個數據源，當中很可能同時涉及本地、私有雲和公有雲部署。各類工作負載的分佈很可能是缺乏深思熟慮的結果，而非妥善規劃的安排。

HPE委託的調查顯示，部分企業仍然僅在私有雲 (43%) 或公有雲 (12%) 運營，而其他企業則僅使用本地數據中心^[1]，沒有仔細考慮合適的運算平台。AI的應用、專用LLM的引入，若欠缺周詳的計劃，將令數據管理架構更為複雜。漫無章法地分散多地的數據，既為AI實時決策帶來挑戰，也可能阻礙專用LLM的訓練，更會拖累企業整體的AI發展。

制定混合雲端策略，是妥善規劃並管理分散數據的重要一步。企業IT管理人員應按照數據的性質、安全及成本等考慮，將各類工作負載放置在最合適的運算平台上，達致「Hybrid by Design」的理想狀態。仔細規劃企業的數據系統不但能簡化日常管理，提高企業管理數據效率以至AI的效能，同時亦可顧及網絡安全需要、企業管治和監管要求。

企業應統一管理從邊緣至雲端的數據，透過獨有的HPE GreenLake雲端平台，建立混合雲端架構並為用戶提供一致的體驗。