嶄新Red Hat Enterprise LINUX AI 生成式人工智能創新
企業開源解決方案供應商Red Hat宣佈推出基礎模型平台Red Hat Enterprise Linux AI (RHEL AI) 的最新版本，可讓企業應用程式開發、測試和運行生成式人工智能 (gen AI) 模型時更順暢。RHEL AI 1.3支援Granite大語言模型 (LLM) 系列的最新發展，並融入了資料準備 (data preparation) 方面的開源發展，同時仍保留了包括底層加速運算架構的混合雲部署選擇。
根據IDC的《市場分析視角：開放生成式人工智能、LLMs和不斷發展的開源生態系統》(Market Analysis Perspective: Open GenAI, LLMs, and the Evolving Open Source Ecosystem)，61%的受訪者計劃將開源的基礎模型 (foundation model) 用於生成式人工智能用例，而超過56%的已部署開源的基礎模型。Red Hat認為這一趨勢驗證了公司對企業級人工智慧的願景，該願景要求：
- 更小的開源模型，可以在混合雲中隨處運行。
- 使組織能更輕鬆地根據私有資料和特定用例微調及自訂LLMs。
- 由推理性能工程 (inference performance engineering) 專家驅動的更優化和更高效的人工智能模型。
- 強大的合作夥伴和開源生態系統的支持，以便為客戶提供更廣泛的選擇。
RHEL AI是Red Hat人工智能願景的關鍵支柱，基於Large-scale Alignment for chatBots (LAB) 方法，將開源許可的Granite模型和InstructLab模型工具結合在一起。這些組件被打包及經過優化，可啟動的Red Hat Enterprise Linux映像 (deployment image)，以便於混合雲中的各個伺服器部署。
支援Granite 3.0 LLMs
RHEL AI 1.3擴展了Red Hat對Granite LLMs的投入，支援Granite 3.0 8b英文使用個案。Granite 3.0 8b是一個匯流模型，不僅支援英文，還有其他語言、代碼生成及函式呼叫。非英語語言的用例，以及程式碼和函式，皆在RHEL AI 1.3中以開發者預覽版的形式提供，預計這些功能將在未來的RHEL AI版本中支援。
使用Docling簡化數據準備
最近由IBM Research開放源碼的Docling是一個上游社群專案，可協助解析常見的文件格式，並將其轉換為Markdown和JSON等格式，為生成式人工智能應用程式和訓練準備內容。RHEL AI 1.3現已將這項創新功能納入支援，讓使用者能夠將PDF轉換為Markdown，以簡化數據擷取，並使用InstructLab進行模型調整。
透過Docling，RHEL AI 1.3現在包含了用於生成式人工智能訓練的文件分塊技術，能效慮情境，結構和語義元素具感知的。這有助於產生的生成式人工智能應用程式維持更好的連貫性，以及對問題和任務做出符合情境的回應。
未來的RHEL AI版本將繼續支援和完善Docling組件，除了InstructLab知識調整外，還包括其他文件格式以及檢索增強生成 (RAG) 途徑的整合。
拓寬生成式人工智能生態系統
自由選擇是混合雲的基本要素，而生成式人工智能是混合雲 的標誌性使用場景，因此自由選擇性必須從底層晶片架構開始。RHEL AI已支援NVIDIA和AMD的領先加速器，而1.3版現在更將Intel Gaudi 3列為技術預覽。
除了晶片架構之外，RHEL AI也支援各主要雲端供應商，包括AWS、Google Cloud和Microsoft Azure，作為「自備訂購」(BYOS) 產品。該平台也即將在Azure Marketplace 和 AWS Marketplace 上以最優化和經驗證的解決方案 方式提供。
RHEL AI是Red Hat硬體加速產品合作夥伴的基礎模型平台的優先選擇，包括Dell PowerEdge R760xa伺服器和Lenovo ThinkSystem SR675 V3伺服器。
使用Red Hat OpenShift AI改進模型服務
隨著使用者希望擴展LLM的服務，Red Hat OpenShift AI現在支援使用vLLM運行時跨多個節點進行並行服務，從而提供即時處理多個要求的能力。Red Hat OpenShift AI還允許使用者在服務時動態更改LLM的參數，例如跨多個GPU分片模型或將模型量化為更小的佔用空間。這些改進旨在加快用戶回應時間、提高客戶滿意度並降低客戶流失率。
支援Red Hat人工智能
RHEL AI與Red Hat OpenShift AI是Red Hat AI的基礎，Red Hat AI是Red Hat的解決方案組合，可加速產品上市時間，並降低在混合雲端提供人工智能解決方案的營運成本。RHEL AI支援個別Linux伺服器環境，而Red Hat OpenShift AI則支援分散式Kubernetes平台環境，並提供整合式機器學習作業 (MLOps) 功能。兩種解決方案彼此相容，Red Hat OpenShift AI將結合RHEL AI的所有功能，進行規模化交付。
