AWS推OpenSearch Severless向量引擎預覽版 加強機器學習開發
Amazon Web Services (AWS) 宣布推出Amazon OpenSearch Serverless向量引擎預覽版。該向量引擎在Amazon OpenSearch Serverless中提供了一種簡單、可拓展、高效能的相似性搜尋功能，讓用戶能夠輕鬆開發由現代化機器學習 (ML) 的增強搜尋體驗和生成式AI應用程式，毋須管理底層向量數據庫基礎設施。
向量嵌入助搜尋及AI機器學習
各行各業的企業都在迅速採用生成式AI，因為它能夠處理龐大的數據集、生成自動化內容，並提供媲美人類的互動式回應。透過整合聊天機器人、問答系統和個人化推薦等先進的對話生成式AI應用程式，客戶正在致力徹底改革終端用戶體驗以及與數碼平台的交流。這些對話應用程式讓用戶能以自然語言進行搜尋和查詢，並透過理解語義、用戶意圖和查詢上下文，生成仿似人類的回應。
機器學習的增強搜尋應用和生成式AI的應用程式都需要使用向量嵌入 (Vector embeddings)，即以數碼方式表示文本、圖像、音訊和影片的數據，可以用來生成動態的相關內容。向量嵌入基於用戶私有數據進行訓練，代表資訊的語義和內容屬性。理想情況下，這些嵌入可以就近儲存和管理，如接近現有的搜尋引擎或數據庫等特定領域數據集。由此，企業能夠透過處理用戶查詢找到最近的向量，並將它們與其他詮釋數據結合，進而整合搜尋結果。這一過程完全毋須依賴外部數據來源或其它應用程式。客戶希望向量數據庫是易於打造的，且便於從原型設計快速進入到生產環境，這樣他們就可以將精力集中在創建差異化應用程式上。Amazon OpenSearch Serverless向量引擎擴展了Amazon OpenSearch的搜尋能力，讓用戶能即時儲存、搜尋和追溯數十億向量嵌入，並精確進行相似性匹配和語義搜尋，毋須考慮底層基礎設施。
探索向量引擎功能
打造於Amazon OpenSearch Serverless的向量引擎得益於其穩健的架構。向量引擎的用戶不必擔心後端基礎設施的大小選擇、調整和縮放問題。向量引擎可自動調整資源，來適應不斷變化的工作負載模式和需求，進而提供始終如一的快速效能和適當規模。即便向量數量從原型設計期間的數千個激增至生產環境中的數億個，向量引擎也可以無縫擴展，毋須重新索引或重新載入數據來擴大基礎設施。此外，向量引擎為索引和工作負載搜尋提供了單獨的運算資源，讓用戶可以即時無縫地獲得、更新和刪除向量，同時確保用戶查詢效能絲毫不受影響。所有數據都長久地儲存在Amazon Simple Storage Service (Amazon S3) 中，因此用戶可以獲得與Amazon S3相同的數據持久性保證 (11 個 9，即99.999999999%)。儘管目前還處於預覽階段，但向量引擎是為生產環境工作負載設計的，具有因應可用區域 (Availability Zone) 服務中斷和基礎設施故障的冗餘系統。
可容納16,000個維度 支援各種AI/ML模型
Amazon OpenSearch Serverless向量引擎由開源OpenSearch專案中的k近鄰 (kNN) 搜尋功能提供支援，該功能能夠提供可靠而精確的結果。如今，許多客戶在託管集群中使用OpenSearch kNN搜尋，以便在應用程式中提供語義搜尋和個人化推薦。向量引擎的用戶體驗與Serverless環境一樣簡單易用，不但支援歐幾里得距離、餘弦相似度和內積等常用的距離指標，而且可容納16,000個維度，因此非常適合支援各種基礎模型及其他AI/ML模型。用戶還可以儲存各種數據的不同欄位，例如詮釋數據中的數碼、布林值、日期、關鍵字和地理位置，以及包含描述性資訊的文本等，來為儲存的向量添加更多上下文資訊。多種類型數據的合併能降低複雜性，提升可維護性，並且避免數據重複、版本相容性挑戰和授權問題，有效地簡化應用程式堆疊。
向量引擎支援相同的OpenSearch開源套件API，讓用戶可以充分利用其豐富的查詢功能，例如全文檢索搜尋、進階篩選、聚合、地理空間查詢、巢狀查詢，以加快數據檢索和增強搜尋結果。以要求尋找距離用戶15英里以內的結果的應用為例，向量引擎可以在單個查詢中完成這項任務，而毋須維護兩個不同系統，並利用應用邏輯將結果合併。透過整合LangChain、Amazon Bedrock和Amazon SageMaker，用戶可以輕鬆地將偏好的機器學習和 AI 系統與向量引擎整合。
向量引擎支援不同領域的廣泛應用，包括圖像搜尋、文件搜尋、音樂檢索、產品推薦、影片搜尋、基於位置的搜尋、詐騙偵測以及異常偵測。AWS預測，將詞彙搜尋方法與先進的機器學習和生成式AI功能結合的混合搜尋將會日益流行。例如，當用戶在電子商務網站上搜尋「紅色襯衫」時，語義搜尋透過檢索所有紅色來擴大搜尋範圍，同時在詞法 (BM25 演算法) 搜尋上調整和強化邏輯。利用Amazon OpenSearch篩選功能，企業可以為用戶提供基於尺寸、品牌、價格範圍和附近商店存貨狀況等資訊來優化搜尋選項，進一步強化搜尋結果的關聯性，以便打造更個人化、更精準的體驗。向量引擎支援的混合搜尋使得用戶能夠在單個查詢調用中查詢向量嵌入、詮釋數據和描述性資訊，進而在不建立複雜應用程式碼的情況下，輕鬆地提供更準確的、與上下文相關的搜尋結果。
預覽提供1400 OCU小時／每月
AWS近日宣布推出向量引擎的預覽版，用戶可以立即開始試用。
在向量引擎正式可用之前，AWS計畫推出兩項功能來降低客戶首個集合的成本。第一項功能是新的開發-測試 (ev-test) 選項，它能讓用戶在沒有備份或副本的情況下開始集成，進而將入門成本降低50%。向量引擎仍然提供持久性保證，因為它將所有數據保存在Amazon S3中。第二項功能是在初始階段配置0.5 OCU (OpenSearch 計算單位) 資源，資源將根據用戶的實際工作負載來擴展；如果初始工作負載的規模是數萬到數十萬個向量 (取決於維度數量)，用戶則可以進一步降低成本。除了這兩項功能外，AWS將把支援用戶首個集合所需的最低OCU從每小時4個降至每小時 1 個。
AWS正在開發一些新功能，並在未來幾個月，將會實現工作負載暫停與恢復能力，這項新功能對向量引擎十分有用，因為許多應用不需要持續索引數據。
最後，AWS持續致力於優化向量圖的效能和記憶體使用，包括改進快取和合併等功能。
在AWS致力於降低用戶成本的同時，AWS將提供1400 OCU小時／每月的免費向量集合，直到開發-測試選項宣布可用為止。
Amazon OpenSearch Serverless向量引擎預覽版現已在全球八個地理區域可用：美國東部 (俄亥俄州)、美國東部 (弗吉尼亞州北部)、美國西部 (俄勒岡州)、亞太地區 (新加坡)、亞太地區 (悉尼)、亞太地區 (東京)、歐洲 (法蘭克福) 和歐洲 (愛爾蘭)。