NVIDIA推出生成式AI微服務，供開發者在已安裝CUDA GPU的系統中創建和部署AI

供稿 / 2024-03-19 09:511666

美國加利福尼亞州圣何塞 —— GTC —— 太平洋時間 2024 年 3 月 18 日 —— NVIDIA 于今日推出數十項企業級生成式 AI 微服務，企業可以利用這些微服務在自己的平臺上創建和部署定制應用，同時保留對知識產權的完整所有權和控制權。

這些云原生微服務目錄在 NVIDIA CUDA? 平臺上開發，其中包括 NVIDIA NIM? 微服務，可適用于 NVIDIA 及合作伙伴生態系統中 20 多個熱門的 AI 模型進行推理優化。此外，用戶現能夠以 NVIDIA CUDA-X 微服務的形式使用 NVIDIA 加速軟件開發套件、庫和工具，用于檢索增強生成（RAG）、護欄、數據處理、HPC 等。NVIDIA 還發布了 20 多項醫療 NIM 和 CUDA-X 微服務。

這些精心挑選的微服務為 NVIDIA 全棧計算平臺增添了新的一層，連接起了由模型開發人員、平臺提供商和企業組成的 AI 生態系統，使其能夠通過標準化的路徑來運行針對 NVIDIA CUDA 安裝基礎（在云、數據中心、工作站和 PC 中的數以億計的 GPU）優化的定制 AI 模型。

包括 Adobe、Cadence、CrowdStrike、Getty Images、SAP、ServiceNow 和 Shutterstock 在內的諸多領先應用、數據和網絡安全平臺提供商已經率先使用了 NVIDIA AI Enterprise 5.0 中提供的這些全新 NVIDIA 生成式 AI 微服務。

NVIDIA 創始人兼首席執行官黃仁勛表示：“成熟的企業平臺坐擁數據金礦，這些數據可以轉化為生成式 AI 助手。我們與合作伙伴生態系統一起創建的這些容器化 AI 微服務，是各行業企業成為 AI 公司的基石。”

NIM 推理微服務將部署時間從幾周縮短至幾分鐘

NIM 微服務提供基于 NVIDIA 推理軟件的預構建容器，包括 Triton 推理服務器? 和 TensorRT?-LLM，使開發者能夠將部署時間從幾周縮短至幾分鐘。

它們為語言、語音和藥物發現等領域提供行業標準 API，使開發者能夠使用安全托管在自己的基礎設施中的專有數據，來快速構建 AI 應用。這些應用可按需擴展，從而為在 NVIDIA 加速計算平臺上運行生產級生成式 AI 提供靈活性和性能。

NIM 微服務為部署 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及谷歌、Hugging Face、Meta、微軟、Mistral AI 和 Stability AI 的開放模型提供了快速且性能出色的生產級 AI 容器。

ServiceNow 于今日宣布，其正在使用 NIM 來更快、更經濟地開發和部署針對特定領域的全新助手和其它生成式 AI 應用。

用戶將能夠從亞馬遜 SageMaker、谷歌 Kubernetes Engine 和微軟 Azure AI 中訪問 NIM 微服務，并與 Deepset、LangChain 和 LlamaIndex 等流行的 AI 框架集成。

面向 RAG、數據處理、護欄、HPC 的 CUDA-X 微服務

CUDA-X 微服務為數據準備、定制和訓練提供端到端的構建模塊，助力各行各業加快開發生產級 AI。

為了加快 AI 采用，企業可以使用 CUDA-X 微服務，包括用于定制語音和翻譯 AI 的 NVIDIA Riva、用于路由優化的 NVIDIA cuOpt?，以及用于高分辨率氣候和天氣模擬的 NVIDIA Earth-2。

NeMo Retriever?微服務可讓開發者將其 AI 應用鏈接到業務數據，包括文本、圖像以及條形圖、折線圖和餅圖等可視化內容，以生成高度準確、與上下文相關的結果。借助這些 RAG 功能，企業可以向助手、聊天機器人和生成式 AI 生產力工具提供更多數據，從而提高準確性和洞察力。

更多用于定制模型開發的 NVIDIA NeMo? 微服務即將陸續發布，其中包括構建用于訓練和檢索的簡潔數據集的 NVIDIA NeMo Curator、用于利用特定領域數據微調 LLM 的 NVIDIA NeMo Customizer、用于分析 AI 模型性能的 NVIDIA NeMo Evaluator 以及用于 LLM 的 NVIDIA NeMo Guardrails。

生態系統通過生成式 AI 微服務賦能企業平臺

除了領先的應用提供商外，NVIDIA 生態系統中的數據、基礎設施和計算平臺提供商也在使用 NVIDIA 微服務，為企業帶來生成式 AI。

包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 在內的頂級數據平臺提供商正在使用 NVIDIA 微服務，幫助客戶優化 RAG 管道，并將專有數據集成到生成式 AI 應用中。Snowflake 正在使用 NeMo Retriever，充分利用企業數據來構建 AI 應用。

企業可以在自己選擇的基礎設施上部署 NVIDIA AI Enterprise 5.0 中的 NVIDIA 微服務，例如領先的亞馬遜云科技（AWS）、谷歌云、Azure 和 Oracle Cloud Infrastructure 等云平臺。

超過 400 個 NVIDIA 認證系統也支持 NVIDIA 微服務，包括思科、戴爾科技、慧與（HPE）、惠普、聯想和超微的服務器和工作站。此外，慧與于今日宣布推出面向生成式 AI 的企業計算解決方案，計劃將 NIM 和 NVIDIA AI Foundation 模型集成到其 AI 軟件中。

NVIDIA AI Enterprise 微服務即將入駐基礎設施軟件平臺，包括與 NVIDIA 合作的 VMware Private AI Foundation。紅帽 OpenShift 支持 NVIDIA NIM 微服務，幫助企業更輕松地將生成式 AI 功能集成到自己的應用中，同時優化了安全性、合規性和控制功能。Canonical 也正在通過 NVIDIA AI Enterprise 為 NVIDIA 微服務添加 Charmed Kubernetes 支持。

NVIDIA 生態系統由數百家 AI 和 MLOps 合作伙伴組成，包括 Abridge、Anyscale、Dataiku、DataRobot、Glean、H2O.ai、Securiti AI、Scale.ai、OctoAI 和 Weights & Biases，它們將通過 NVIDIA AI Enterprise 來支持 NVIDIA 微服務。

Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis 和 Weaviate 等向量搜索提供商也在使用 NVIDIA NeMo Retriever 微服務，為企業提供快速響應的 RAG 功能。

可用性

開發者可以在 ai.nvidia.com 免費試用 NVIDIA 微服務。企業則可以在 NVIDIA 認證系統和領先的云平臺上使用 NVIDIA AI Enterprise 5.0 部署生產級 NIM 微服務。

點個贊305