亞馬遜全新Nova Sonic語音模型　深入理解對話，捕捉語氣同節奏

亞馬遜宣布推出一款全新語音基礎模型Amazon Nova Sonic，將語音理解與語音生成統一於單一的模型中，使AI應用程式中的語音對話更貼近真人交流。該模型透過Amazon Bedrock上的新API提供，可簡化語音應用開發流程，例如客戶服務通話自動化，並涵蓋旅遊、教育、醫療、娛樂等領域的AI 代理。

在過去十餘年間，亞馬遜一直引領著語音技術的發展，打造全球領先的個人AI助手Alexa。然而，若要讓語音AI為客戶創造更多實際價值，它必須能夠理解人類對話的微妙與複雜性。在對話中，文字本身承載意義，但若沒有聲音語境賦予其深度，僅憑文字往往難以傳達完整資訊。如何表達與表達甚麼同樣重要，甚至更為關鍵。從過去直到現在，透過AI實現這一點仍是巨大挑戰。

一套捕捉語氣、風格與節奏的語音系統

傳統語音應用開發需複雜協調多個模型，例如將語音轉為文字的語音識別模型、理解並生成回覆的大語言模型 (LLM)、將文字再轉為音頻的文本轉語音模型。這種分散的方法不僅增加了開發的複雜性，同時也難以保留自然對話中至關重要的聲學情境和細微差別，如語氣、語調韻律和說話風格等。

Nova Sonic採用全新方法應對這些挑戰。它摒棄了使用多個不同模型的方式，而是將理解與生成功能統一於單一模型中。這種整合使模型能根據語氣、風格等聲學情境以及口語輸入調整所生成的語音響應，從而實現更自然的對話。Nova Sonic甚至能理解人類對話的細微之處，包括說話者的自然停頓與猶豫、能在恰當時機做出回應，並能從容應對對話中的插話情況。

這段對話展示了客戶與虛擬旅遊助手討論夏威夷行程的場景。當客戶的語氣從興奮轉為擔憂費用時，AI的語調隨之變得更具安撫性，並即時調取相關價格資訊。

該模型還會為用戶語音生成文字謄寫，讓開發者能夠利用這些文本來調用特定工具與API，從而構建語音AI代理。比如在這個示例中，AI旅遊代理可以透過獲取最新的航班資訊來協助機票預訂。這些功能，加上其超快的推理能力，使Nova Sonic支援的語音應用不僅更加自然，而且實用性更強。

企業客戶可從Nova Sonic基於公司數據生成響應的能力中受益。該助手能夠提取報告並以自然對話的方式傳遞準確資訊，同時主動提出相關的後續問題。這種流暢的對話模式支援多輪互動，無需說話者額外設定對話背景。