北京靈奧科技基于亞馬遜云科技打造大模型中間件 助力企業加速應用生成式AI

北京靈奧科技基于亞馬遜云科技打造大模型中間件助力企業加速應用生成式AI

供稿 / 2024-06-28 09:472339

北京——2024年6月27日北京靈奧科技基于亞馬遜云科技的生成式AI、數據庫和容器等云服務，打造大模型中間件，將基礎模型優勢和企業業務數據無縫結合，打通企業AI應用落地的最后一公里。靈奧科技現已服務全球超過30,000家用戶，廣泛覆蓋電商、金融、法律、房地產、教育和能源等行業。

大模型中間件是基于基礎模型與AI應用之間的中間層基礎軟件，主要解決基礎模型應用過程中數據集成、應用集成、知識庫（向量數據庫）與基礎模型融合等問題。作為一家快速成長的初創企業，靈奧科技自成立之初就加入了亞馬遜云科技合作伙伴網絡，推出了大模型中間件平臺Vanus，提供語料的實時采集、數據清洗、過濾和嵌入。同時，作為上層應用訪問基礎模型與知識庫的入口，提供基礎模型與知識庫的融合、應用部署和執行。

Vanus大模型中間件平臺基于亞馬遜云科技而構建，應用亞馬遜云科技在計算、網絡、存儲、數據庫和生成式AI等方面服務，實現了多個方面的好處。利用托管容器服務Amazon Elastic Kubernetes Service（Amazon EKS）的彈性擴展能力，Vanus可根據業務流量平滑伸縮，助力企業輕松應對流量洪峰，平均成本降低30%，性價比提高20%；在提高可用性和可靠性方面，利用亞馬遜云科技全托管文檔數據庫服務Amazon DocumentDB多可用區、多副本的特性，Vanus可輕松實現數據跨區存儲，實現無感災難恢復，可用性達到99.99%；在降低延時方面，Vanus借助對象存儲服務Amazon Simple Storage Service（Amazon S3）及數據庫的高并發數據查詢能力，結合亞馬遜云科技全球網絡節點加速能力，縮短基礎模型上下文加載時間，將AI Agent回復系統延時降低40%；此外，Vanus借助全托管的生成式AI服務Amazon Bedrock提供的Claude系列模型，提升AI Agent的語言理解和邏輯推理能力，打造更加智能的服務體驗。

目前，Vanus大模型中間件已在電商、金融、法律、房地產、教育等多個行業的業務場景中得到廣泛應用。

某軟件服務企業各部門沉淀了大量內部數據，但面臨跨部門知識共享效率低和客服培訓非常耗時的挑戰。同時，客服人員基于傳統搜索方式獲取信息，導致響應時間較長，用戶投訴率上升。Vanus基于亞馬遜云科技的存儲和數據庫等云服務，幫助企業從文檔、數據庫、SaaS軟件等多個數據源中實時抽取數據，構建統一的企業知識庫；同時，借助Amazon Bedrock等服務，為企業客服人員構建AI 機器人，基于全域業務數據實時推理，快速提供回復建議，極大地降低了客服響應時間。現在，問題回復時間已從分鐘級降至秒級，客服團隊的人效提高70%，大幅降低了客服投入的成本。

南美洲某服飾類電商網站的產品高達7,000多種，每天面臨大量關于產品、退換貨和物流的客戶咨詢，不僅需要很多客服人員，也帶來了較高的管理成本。尤其在客服團隊非工作時間，客戶問詢未能得到及時回應，不僅導致客戶滿意度下降，更錯失了許多商機。Vanus基于Amazon Bedrock等云服務為該企業構建了適合電商應用場景的客服機器人VanChat，能夠提供7*24小時的即時問題回復服務，幫助該企業節省大量人力資源，提高客戶滿意度。此外，VanChat還提供用戶意圖識別和產品推薦等功能，加快用戶的購買決策，推動網站銷售業績的增長。VanChat為該企業帶來顯著的經濟效益，僅上線首月投資回報率就高達611%，同時還提供客戶洞察，幫助企業更好地理解用戶需求并優化營銷策略。

北京靈奧科技CEO厲啟鵬表示：“在生成式AI賦能方面，亞馬遜云科技不僅為我們構建了底層基礎設施，還提供了眾多簡單易用且功能強大的云服務和專家資源，加速了靈奧科技生成式AI產品的快速落地。展望未來，我們將繼續深化與亞馬遜云科技在數據庫和基礎模型領域的合作，進一步增強處理數據的能力，幫助客戶充分釋放生成式AI的商業潛力。”

點個贊379