IBM全新Telum處理器 加速IBM Z大型主機AI應用
近日，IBM在Hot Chips 2024大會上公佈了即將推出的IBM Telum II處理器和IBM Spyre加速器的架構細節。這些新技術旨在大幅擴展下一代IBM Z大型主機系統的處理能力，通過新的AI集成方法，加速企業對傳統AI模型和大語言AI模型的協同使用。
生成式AI電力需求將以每年75%速度激增
隨著基於大語言模型的AI項目從概念驗證階段進入生產階段，企業對高能效、高安全性和高度可擴展解決方案的需求日益迫切。摩根士丹利最近發佈的一份研究報告預測，在未來幾年，生成式AI的電力需求將以每年75%的速度激增，其2026年的能耗或將與西班牙2022年的全年能耗相當。許多IBM客戶表示，支持適當規模的基礎模型和針對AI工作負載的混合架構越來越重要。
此次IBM發佈的主要創新技術包括：
- IBM Telum II處理器：這一全新芯片將搭載於下一代 IBM Z系列主機，與第一代 Telum芯片相比，其頻率和內存容量均有提升，高速緩存提升40%；集成 AI 加速器內核和數據處理單元 (DPU) 的性能也得到改善。IBM Telum II處理器將支持大語言模型驅動的企業計算解決方案，滿足金融等行業的複雜交易需求。
- IO加速單元：Telum II處理器芯片上的全新數據處理單元 (DPU) 旨在加速大型主機上用於聯網和數據存儲的複雜 IO協議，可簡化系統操作，提高關鍵組件性能。
- IBM Spyre加速器：可提供額外的AI計算能力，與Telum II處理器相得益彰。Telum II 和Spyre 芯片共同構成了一個可擴展的架構，可支持AI集成建模方法，即將多個機器學習或深度學習的AI模型與基於編碼器的大語言模型相結合。通過利用每個模型架構的優勢，AI集成的方法可以生成比單個模型更準確、更穩健的結果。Spyre 加速器芯片在Hot Chips 2024大會期間進行了預覽，並將作為Telum II 處理器的附加選件提供。每個加速器芯片均與IBM 研究院合作開發，通過一個75瓦 PCIe適配器連接。與其他 PCIe卡一樣，Spyre加速器可根據客戶需求進行擴展。
IBM主機和 LinuxONE產品管理副總裁 Tina Tarquinio表示：「得益於IBM強大的多代並行的開發路線圖，我們得以在保持技術領先的同時，滿足企業不斷升級的 AI需求。Telum II 處理器和 Spyre加速器旨在提供安全、節能、高性能的企業計算解決方案。這些多年研發的創新成果將被引入下一代 IBM Z平台，幫助客戶大規模利用大語言模型和生成式 AI技術。」
AI助反洗錢高級監測
Telum II處理器和IBM Spyre 加速器將由IBM的長期合作夥伴三星晶圓代工（Samsung Foundry）生產，採用其高性能、高能效的 5 納米工藝節點。二者將共同支持企業的先進AI 用例，釋放業務價值，從而創造新的競爭優勢。利用AI集成的方法，客戶可以更快、更準確地獲得預測結果。適用的生成式 AI用例包括：
- 保險理賠欺詐檢測：通過AI集成方法將大語言模型與傳統神經網絡相結合，以提高性能和準確性，增強對保險理賠欺詐的檢測。
- 反洗錢高級監測：對可疑金融活動進行高級檢測，支持遵守監管要求並降低金融犯罪風險。
- AI 助理：加速應用生命週期、知識和專業技能的傳授、代碼解釋和轉換等。
規格和性能指標：
- Telum II 處理器：配備八個運行頻率達 5.5GHz的高性能內核，每個內核配備36MB二級高速緩存，片上高速緩存容量增加40%（總容量達 360MB）。每個處理器抽屜的虛擬L4 高速緩存為2.88GB，相比上一代增加40%。集成的AI加速器可實現低延遲、高吞吐量的交易中AI推理，例如增強金融交易期間的欺詐檢測，並且每塊芯片的計算能力是上一代的四倍。
Telum II芯片中集成了最新的IO加速單元DPU。在設計上，其IO密度提高 50%，可大幅提高數據處理能力，進一步提高IBM Z的整體效率和可擴展性，使其成為處理大規模AI工作負載和數據密集型應用的不二之選。 - Spyre 加速器：這是一款專為複雜 AI 模型和生成式 AI用例提供可擴展功能的企業級加速器。它有高達1TB的內存，可在普通IO抽屜的八塊卡上串聯工作，以支持大型主機的整體AI 工作負載，同時每塊卡的功耗不超過75W。每塊芯片由32個計算內核組成，支持int4、int8、fp8 和 fp16數據類型，適用於低延遲和高吞吐量的AI應用。
產品時間表
作為IBM 下一代 IBM Z 和 IBM LinuxONE 平台的中央處理器，Telum II 處理器預計在 2025 年向IBM Z 和 LinuxONE 客戶提供。IBM Spyre 加速器仍在技術預覽階段，預計也將於2025年推出。