高通與智譜基于驍龍8至尊版移動平臺合作適配優化GLM-4V端側視覺大模型

供稿 / 2024-10-22 09:115294

2024年10月21日，夏威夷——驍龍峰會首日，智譜與高通技術公司宣布合作將GLM-4V端側視覺大模型，面向驍龍8至尊版進行深度適配和推理優化，支持豐富的多模態交互方式，進一步推動多模態生成式AI在終端側的部署和推廣，賦能更加情境化、個性化的終端側智能體驗。

驍龍8至尊版移動平臺搭載全新第二代高通?Oryon CPU和高通?Hexagon? NPU，終端側AI能力再次實現突破，能夠賦能規模更大且更加復雜的多模態生成式AI用例在終端側高效運行。充分利用驍龍8至尊版的強大終端側AI性能和高通AI軟件棧為模型帶來的性能優化，GLM-4V端側視覺大模型能夠實現令人驚嘆的處理能力，以超過70 tokens/秒的速度在終端側高速運行。

改善情境化和定制化一直是用戶體驗的長期需求。多模態生成式AI模型能夠利用終端側豐富的傳感器數據，例如文本、圖像、音頻、視頻等，打造更加直觀、無縫的智能交互體驗。通過與驍龍8至尊版進行深度適配和推理優化，終端側多模態應用ChatGLM能夠支持三種終端側交互方式：使用相機進行實時語音對話、上傳照片進行對話、上傳視頻進行對話。豐富的多模態輸入輸出方式賦能智能助手ChatGLM實現了跨家庭、出行、工作和教育等多個場景的應用，例如通過手機攝像頭獲取穿搭建議，利用視覺信息實現智能導航，通過車內攝像頭識別遺留物品，拍攝畫作進行風格解析等。

高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉表示：“高通與智譜共同致力于推動生成式AI在邊緣終端上的應用和普及，并已經在手機、PC、汽車等領域展開了緊密合作。結合高通在終端側AI領域的長期領導力，跨不同邊緣終端的廣泛市場布局，以及驍龍8至尊版的AI創新，我們在推動終端側生成式AI發展方面獨具優勢。多模態是發揮終端生成式AI潛力的重要技術發展方向，我們期待攜手智譜，探索多模態在終端側AI應用上的更多可能。”

智譜COO張帆表示：“驍龍8至尊版移動平臺提供了卓越的AI算力，結合高通AI軟件棧推理框架的性能優化，使得智譜的終端側大模型可以在設備端實現高速推理。我們相信，終端側算力平臺的性能躍遷結合大模型能力的進步，會將生成式AI帶入新的時代。終端側運行的生成式AI，在為用戶提供變革性體驗的同時，能更好地保護用戶隱私安全，真正讓AI變革用戶的日常生活。”

GLM-4V-Mini、GLM-4V-Nano端側視覺大模型和GLM-4-9B模型即將在高通AI Hub上線，搭載驍龍8至尊版的商用手機均可支持。

驍龍峰會將展示基于GLM-4V端側視覺大模型的用例，敬請期待。欲觀看峰會主題演講直播回放，請訪問驍龍峰會專題頁。

點個贊688