AWS新一代最強晶片Graviton4與低成本高運算Trainium2
AWS在2023 re:Invent全球大會上宣布兩個自研晶片家族系列新成員，包括Amazon Graviton4和Amazon Trainium2，提供AMD、Intel以及NVIDIA等最新晶片和instance組合之外更多的選擇。為需要機器學習 (ML) 訓練和生成式 AI (Generative AI) 應用等多樣化工作負載的客戶提供更高效和更具能源效益的選擇。
Graviton4和Trainium2是AWS在自研晶片上的最新突破，AWS持續提升每一代自研晶片的性價比和能源效益，使Amazon Elastic Compute Cloud（Amazon EC2）可以為客戶虛擬運行幾乎所有應用程式和工作負載。
- Graviton4 與當前一代 Graviton3 處理器相比，性能提升高達30%，獨立核心數量增加50%以上，記憶體寬頻提升75%以上，為在Amazon EC2上運行的工作負載提供最佳性能和能源效益。
- Trainium2 的訓練速度與第一代Trainium晶片相比提升多達4倍，並能在EC2 UltraClusters中部署多達100,000個晶片，可以在極短的時間訓練基礎模型（FMs）和大語言模型（LLMs），同時提升多達2倍的能源效益。
AWS運算和網絡副總裁David Brown表示：「晶片是所有客戶工作負載的基礎，所以 AWS一直將晶片視為其至關重要的創新領域。通過將晶片設計聚焦於客戶真正關心的實際工作負載，我們能夠為客戶提供最先進的雲端基礎架構。Graviton4 是我們同系列在五年內推出的第四代晶片，是我們至今功能最強大和最具能源效益的晶片，為客戶大範圍的工作負載提供進一步的支援。隨著生成式 AI 引起的廣泛關注，Trainium2 可以讓客戶以更低成本和更高的能源效益，更快地訓練機器學習模型。」
Graviton4：大範圍工作負載提供更高性價比和能源效益
AWS在全球提供多達150多個以Graviton驅動的Amazon EC2 instances種類，已經構建超過200萬個Graviton處理器，並擁有超過50,000名客戶，包括EC2前100大客戶，正在使用以Graviton驅動的instance為其應用提供最高的成本效益。Datadog、DirecTV、Discovery、Formula 1 （F1）、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe以及Zendesk等客戶正使用基於Graviton的instance運行大範圍的工作負載，包括資料庫、資料分析、網絡服務器、批次處理、廣告服務、應用伺服器以及微服務等。
Graviton4處理器比Graviton3處理器的性能高30%，獨立核心數量增加50%以上，記憶體頻寬提升75%以上。Graviton4還進一步通過高速物理硬體介面的完全加密提升了安全性。Amazon EC2 R8g記憶體最佳化instances將採用最新的Graviton4，提升客戶運行高性能資料庫、記憶體緩存、大資料分析等工作負載的效率。R8g instance 相比當前一代的R7g instance提供更大的instance 大小，而虛擬處理器（vCPU）以及記憶體更提升了3倍。升級令使用者可以處理更大量的資料、更大規模的工作負載、更快地獲得運行結果，並降低總體擁有成本。
以Graviton4驅動的R8g instance現已提供預覽版，並將在未來數月推出正式可用版。
Trainium2的EC2 UltraClusters：雲端上性能最高、最具能源效益的AI模型訓練基礎架構
生成式AI應用日益普及，而其背後的基礎模型和大語言模型則需要海量的資料集進行訓練。這些模型通過創造文字、音訊、圖片、影片、甚至軟件代碼等大量新的內容，協助客戶重構使用者體驗。現時最先進的基礎模型和大語言模型通常包含數千億甚至數萬億個參數或變數，需要能夠支援可擴展到上萬塊機器學習晶片以及可靠的高性能運算能力。AWS現已提供由機器學習晶片支援的Amazon EC2 instances選項，以確保廣泛且深入的覆蓋範圍，包括最新的 NVIDIA GPUs、Trainium以及Inferentia2。Databricks、Helixon、Money Forward以及Amazon Search團隊等眾多客戶都在使用 Trainium 訓練大規模深度學習模型，並受惠於Trainium 的高性能、可擴展、可靠以及低成本等多方面優勢。即使已經有當今最快的accelerated instance，客戶仍然希望獲得更高的性能和更大的規模來訓練這些日益複雜的模型，從而提高訓練速度、降低成本，以及減少能源消耗。
Trainium2晶片專為擁有數萬億個參數或變數，且需要高性能訓練的基礎模型和大語言模型而構建。Trainium2與第一代Trainium晶片相比，性能提升高達4倍，記憶體容量則提升3倍，而能源效率（每瓦性能）提升亦多達2倍。Amazon EC2 Trn2 instances採用最新的Trainium2，一個單獨instance包含16個Trainium加速晶片。Trainium2 instances 致力為客戶在新一代EC2 UltraClusters中擴展多達100,000個Trainium2加速晶片，並與Amazon Elastic Fabric Adapter（EFA）PB級網絡互聯，提供的運算能力高達65 exaflops，客戶可按需要選擇超級運算級別的性能。該級別的規模，可讓客戶在數周內完成訓練一個具有3千億參數的大語言模型。通過顯著地降低成本和擴展幅度最大的模型訓練，Trainium2 instance可以協助客戶解鎖並加速生成式 AI 的新一輪創新。
Anthropic是一家 AI 安全和研究公司，倡導負責任地部署生成式AI，致力於創建可靠、可解釋和可控的AI系統。Anthropic自2021年開始使用AWS。近期，Anthropic推出了Claude — 一款專注於提供幫助、無害且誠實的 AI 助手。Anthropic聯合創始人Tom Brown表示：「自選用Amazon Bedrock以來，Claude已獲得AWS客戶的廣泛採用。Trainium2將協助我們大規模構建和訓練模型，於我們數個主要的工作負載而言，Trainium2相比第一代Trainium晶片的速度提升至少4倍。我們與AWS的合作，將令不同規模的組織有機會同時受惠於 Anthropic安全並先進的AI系統，以及AWS可靠的雲端技術，從而釋放新的可能性。」
Databricks為全球超過10,000家組織及機構提供服務，包括Comcast、Condé Nast及50%以上的《財富》世界500強企業，助客戶統一其資料、分析和應用 AI。Databricks生成式AI副總裁Naveen Rao表示：「 數千家客戶在 AWS 上運行Databricks，利用MosaicML對各種用例的基礎模型進行預訓練、微調及其他操作。Amazon Trainium為我們提供了訓練Mosaic MPT模型所需要的規模、高性能以及低成本。Trainium2令快速構建下一代Mosaic MPT模型變得可能，讓我們有機會為客戶提供前所未有的規模和性能，協助他們在更短時間內推出自己的生成式AI應用。」
