IBM在watsonx上提供開源Mistral AI大模型
大型語言模型 (LLM) 成為人工智能市場的競爭賽場，由Mistral AI公司開發、廣受歡迎的開源Mixtral-8x7B大型語言模型已經可在IBM watsonx人工智能與數據平台上使用。IBM提供了Mixtral-8x7B的優化版本，在內部測試中，與常規模型相比，該版本能夠將吞吐量 (即在給定時間段內可處理的數據量) 提高50%[i]。
提升數據吞吐量 時間延遲降35-75%
這可能可以將時間延遲減少35-75%，從而加快獲得洞察的時間，具體取決於批處理量的大小。這是通過一個稱為量化的過程來實現的，該過程減少了LLM的模型大小和內存需求，進而可以加快處理速度，有助於降低成本和能耗。
Mixtral-8x7B的加入擴展了IBM的開放、多模型戰略，隨時隨地滿足客戶的需求，並為他們提供選擇和靈活性，使其可以跨業務來擴展其企業級人工智能解決方案。通過數十年的人工智能研發、與Meta和Hugging Face開放式協作，以及與模型領導者的合作夥伴關係，IBM正在擴展其watsonx.ai模型目錄，並引入新的功能、語言和模式。
利用生成式AI獲得新的洞察力和效率
IBM的企業就緒基礎模型選擇及其watsonx人工智能和數據平台可幫助客戶利用生成式人工智能獲得新的洞察力和效率，並基於信任原則創建新的業務模式。IBM可幫助客戶根據所針對的業務領域 (如金融) 的合適用例及性價比目標來選擇合適的模型。
Mixtral-8x7B結合了稀疏建模與專家混合技術來構建，「稀疏建模」是只查找和使用數據中最重要部分以創建更高效的模型的創新技術；而「專家混合技術」是把擅長並解決不同部分問題的不同模型 (「專家」) 結合在一起的技術。Mixtral-8x7B模型因其能夠快速處理和分析海量數據以提供與上下文相關的見解而廣為人知
IBM軟件公司產品管理與增長高級副總裁Kareem Yusuf博士表示：「客戶要求在部署最適合其獨特用例和業務要求的模型時擁有選擇權和靈活性。通過在watsonx上提供Mixtral-8x7B和其它模型，我們不僅為客戶提供了部署人工智能的可選性，還為人工智能構建者和業務領導者提供了一個強大的生態系統，使他們能夠利用工具和技術推動不同行業和領域的創新。」
IBM還宣佈在watsonx上提供由ELYZA公司開源的日本LLM模型ELYZA-japanese-Llama-2-7b。IBM還在watsonx上提供Meta的開源模型Llama-2-13B-chat和Llama-2-70B-chat以及其它第三方模型，未來幾個月還將推出更多模型。
i基於IBM在供IBM使用的watsonx實例上使用內部工作負載進行的為期兩天的測試。
