借助GeForce RTX AI PC,NVIDIA使AI助手栩栩如生
供稿 / 2024-06-03 10:032178COMPUTEX—2024年6月2日—NVIDIA宣布推出全新NVIDIA RTX?技術,用于支持在全新GeForce RTX?AI筆記本電腦上運行的AI助手及數字人。
NVIDIA推出G-Assist項目, 一款由RTX支持的AI助手技術演示Demo,可為PC游戲和應用提供上下文感知幫助。G-Assist項目的技術Demo將首度亮相于Studio Wildcard推出的《方舟:生存飛升》(ARK:Survival Ascended)中。NVIDIA還發布專為NVIDIA ACE數字人平臺打造的首個基于PC的NVIDIA NIM?推理微服務。
這些技術由NVIDIA RTX AI Toolkit支持——這是一套全新工具和SDK,可幫助開發者在Windows PC上優化及部署大型生成式AI模型。它們加入了NVIDIA的全棧RTX AI創新,加速了超過500款應用和游戲,以及200款OEM合作伙伴的筆記本電腦設計。
NVIDIA消費級AI業務副總裁Jason Paul表示:“NVIDIA在2018年發布搭載Tensor Core的RTX GPU和DLSS技術,開啟AI PC時代。如今,借助G-Assist項目和NVIDIA ACE,NVIDIA將賦能超過1億RTX AI PC用戶開啟新一代AI體驗。”
GeForce AI助手G-Assist項目
AI助手將改變游戲和應用內的體驗 — 從提供游戲策略到分析多人游戲回放,再到助力復雜的創意工作流。G-Assist項目讓用戶洞見未來的景象。
PC游戲提供龐大的游戲世界可供探索,還提供復雜的機制供玩家掌控,即便對于最資深的玩家來說,這也是極具挑戰性又非常耗時的。G-Assist項目旨在利用生成式AI,將游戲知識觸手可及地提供給玩家。
G-Assist項目可接收玩家的語音或文字輸入內容,游戲窗口的上下文信息,并通過AI視覺模型處理數據。這些模型增強了與游戲知識數據庫相連的大語言模型(LLM)的上下文感知和對特定游戲及應用的理解,然后生成定制的回復,以文本或語音形式的傳遞給用戶。
NVIDIA和Studio Wildcard合作,在《方舟:生存飛升》(ARK:Survival Ascended)的演示Demo中展示該技術。G-Assist項目可幫助回答有關生物、物品、背景知識、任務、關卡BOSS等方面的問題。由于G-Assist項目具有游戲環境感知和上下文理解功能,能根據玩家的游戲進程提供個性化回復。
G-Assist項目還能配置玩家的游戲系統,以獲得最佳游戲性能和能效。它可以提供性能指標的深入理解,根據玩家的硬件優化圖形設置,進行安全超頻,甚至在保持性能目標的同時智能降低功耗。
首款ACE PC NIM亮相
用于為數字人提供助力的NVIDIA ACE技術現在將通過NVIDIA NIM應用于RTX AI PC和工作站,NVIDIA NIM推理微服務使開發者將部署時間從數周縮短到數分鐘。ACE NIMs可在設備上本地運行高質量推理,用于自然語言理解、語音合成、面部動畫等。
COMPUTEX期間,NVIDIA ACE NIM在PC上的游戲首秀將在和Inworld AI合作開發的Covert Protocol技術Demo中亮相,演示在PC本地運行的NVIDIA Audio2Face?和NVIDIA Riva自動語音識別技術。
為本地PC SLM增加GPU加速功能
微軟(Microsoft)和NVIDIA合作幫助開發者將全新生成式AI功能應用到Windows原生和網絡應用中。雙方的合作將為應用開發者提供便捷的API以訪問GPU加速的小語言模型(SLM),并支持在設備上運行的基于Windows Copilot Runtime驅動的檢索增強生成(RAG)功能。
小語言模型為Windows開發者提供巨大的可能性,包括內容摘要、內容生成和任務自動化。RAG功能使AI模型訪問基礎模型中未能充分表示的特定領域信息,來增強小語言模型。開發者可以通過檢索增強生成(RAG)API利用應用特有的數據源,并根據應用需求調整小語言模型的行為和功能。
NVIDIA RTX GPU及其他硬件廠商的AI加速器將加速這些AI功能,從而在整個Windows生態系統中為終端用戶提供快速、響應迅速的AI體驗。
該API將于今年晚些時候發布開發者預覽版。
借助 RTX AI Toolkit,模型速度提升4倍,體積縮小3倍
AI生態系統已構建數十萬個開源模型供應用開發者使用,但大多數模型都是為通用目的而預訓練,并且構建在數據中心運行。
為幫助開發者構建在PC上運行的特定應用的AI模型,NVIDIA推出RTX AI Toolkit,一套用于在RTX AI PC上自定義、優化及部署模型的工具和SDK。 RTX AI Toolkit將于6月發布,供更多開發者使用。
開發者可使用開源的QLoRa工具自定義預訓練模型,并使用NVIDIA TensorRT? Model Optimizer 來量化模型,以減少多達3倍的RAM消耗。NVIDIA TensorRT Cloud將會對模型進行優化,以實現在RTX GPU產品中的峰值性能。與預訓練模型相比,性能提升至高可達4倍。
NVIDIA AI Inference Manager (AIM)應用開發工具包(SDK)現已推出搶先體驗版,在PC和云端之間完美調度AI推理,為PC應用開發者簡化AI集成的復雜度。它還以統一的NIM格式為PC預配置必要的AI模型、引擎和依賴包,并支持所有主流的推理后端,包括跨不同處理器(GPU、NPU和CPU)的TensorRT、DirectML、Llama.cpp和PyTorch-CUDA。
Adobe、Blackmagic Design和Topaz等軟件合作伙伴將 RTX AI Toolkit的組件集成到其熱門創意應用中,以提升RTX PC上的AI性能。
Adobe創意云端產品市場部副總裁Deepa Subramaniam表示:“Adobe和NVIDIA將持續合作,為視頻、圖像、設計、3D等所有創意工作流提供突破性的客戶體驗。RTX PC上的 TensorRT 10.0為創作者、設計師和開發者提供前所未有的性能表現及由AI驅動的功能,為Photoshop等行業領先的創意工具中的內容創作開啟全新創意可能性。”
TensorRT-LLM等 RTX AI Toolkit組件,已集成到生成式AI的熱門開發者框架和應用中,包括Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga和Sanctum.AI。
用于內容創作的AI
NVIDIA還將RTX AI加速功能集成到面向創作者、Modder和視頻愛好者的應用中。
去年,NVIDIA為最熱門的Stable Diffusion用戶界面之一的Automatic1111引入使用TensorRT的RTX加速。從本周開始,RTX還將加速廣受歡迎的ComfyUI,與目前已推出的版本相比,性能最高可提升60%,與MacBook Pro M3 Max相比,性能提升至原來的7倍。
NVIDIA RTX Remix是一個Mod平臺,可利用全景光線追蹤技術、NVIDIA DLSS 3.5和物理精確材質,重制經典的DirectX 8和DirectX 9游戲。RTX Remix包括一個Runtime渲染器和RTX Remix工具包應用,可簡化游戲資產和材質的修改過程。
去年,NVIDIA將 RTX Remix Runtime開源,允許Modder擴展游戲兼容性和提升渲染能力。
自今年早些時候推出以來,已有2萬名Modder使用該工具包重制經典游戲,在RTX Remix Showcase Discord上開發了超過130款RTX重制版游戲。
本月,NVIDIA將開放RTX Remix工具包的源代碼,讓Modder能夠簡化資產替換和場景重新布光的方式,增加RTX Remix資產攝取器支持的文件格式,并使用全新模型增強RTX Remix的AI紋理工具。
此外,NVIDIA還通過REST API使RTX Remix工具包的功能可訪問,讓Modder實時鏈接RTX Remix和Blender等數字內容創作工具、Hammer等Mod制作工具,以及ComfyUI等生成式AI應用。NVIDIA還為RTX Remix Runtime提供SDK,允許Modder將RTX Remix的渲染器部署到DirectX 8和DirectX 9經典版之外的其他應用和游戲中。
隨著更多RTX Remix平臺的開源,全球的Modder可創造更多令人驚嘆的RTX重制版游戲。
NVIDIA RTX Video這項熱門AI超分辨率功能,現在已作為 SDK 對所有開發者開放,可在Google Chrome、Microsoft Edge和Mozilla Firefox瀏覽器中使用。它幫助開發者原生集成AI,進行采樣、銳化、降低壓縮失真和高動態范圍(HDR)轉換。
視頻編輯軟件Blackmagic Design的DaVinci Resolve和Wondershare Filmora即將支持RTX Video,它將使視頻編輯用戶能夠將低質量視頻文件升級至4K分辨率,并將SDR源文件轉換為HDR視頻。此外,免費媒體播放器VLC media即將在其現有的超分辨率功能基礎之上添加 RTX Video HDR 的支持。
借助GeForce RTX AI PC,NVIDIA使AI助手栩栩如生












![華為[七夕節禮物] WATCH FIT 3 智能手表 幻夜黑 輕薄大屏運動減脂 男女情侶手表](https://img14.360buyimg.com/pop/jfs/t1/172410/31/44649/35663/667d9cfdF919d3e16/dedce7bc75fcd035.png)

滬公網安備 31010702005758號
發表評論注冊|登錄