NVIDIA新一代A100 GPU解析：AI訓(xùn)練速度提升20倍的秘密是什么？

宋華飛 / 2020-05-27 18:1873134

在前段時間的GPU技術(shù)大會（GTC 2020）上，NVIDIA正式發(fā)布了基于Ampere架構(gòu)的新一代GPU——NVIDIA A100。這款產(chǎn)品作為通用型工作負載加速器，瞄準(zhǔn)了如今最為熱門的AI領(lǐng)域。根據(jù)NVIDIA給出的數(shù)據(jù)，其性能相比于前代產(chǎn)品提升了高達20倍，可用于AI訓(xùn)練和推理以及科學(xué)模擬、對話式AI、推薦系統(tǒng)、基因組學(xué)、高性能數(shù)據(jù)分析、地震建模和金融預(yù)測等場景。

技術(shù)創(chuàng)新，NVIDIA A100 GPU性能突破的關(guān)鍵

NVIDIA A100擁有如此大幅度的提升，離不開Ampere架構(gòu)的加持，該GPU基于7nm制造工藝，包含了超過540億個晶體管，擁有6912個CUDA核心，成為了目前全球最大的7納米處理器。不止如此，新品還搭載了40GB HBM2內(nèi)存，具備1.6TB/s的內(nèi)存帶寬，F(xiàn)P32性能達到19.5萬億次/秒，并引入了具有TF32的第三代Tensor Core核心、結(jié)構(gòu)化稀疏、多實例GPU（ MIG）、第三代NVIDIA NVLink等眾多特性。

NVIDIA在此前的Volta架構(gòu)中首次引入了Tensor Core（張量單元）這一計算單元，使得當(dāng)時V100 GPU的浮點運算性能得到了大幅提升，能夠更好地用于AI及深度學(xué)習(xí)應(yīng)用。在最新的Ampere架構(gòu)中，NVIDIA對Tensor Core進行了再次升級，使其變得更加靈活、快速且易于使用，甚至稱得上是性能上的一次飛躍。

新架構(gòu)引入了為AI開發(fā)的TF32，這是一種用于處理矩陣數(shù)學(xué)的新數(shù)值格式，而矩陣數(shù)學(xué)也被稱為張量運算，是AI和部分HPC應(yīng)用主要使用的運算。簡單來說，TF32能加速AI訓(xùn)練計算，結(jié)合結(jié)構(gòu)稀疏性，就能使FP32精度下的AI性能顯著提高，可達到上代Volta架構(gòu)的20倍左右。NVIDIA表示，甚至無需修改現(xiàn)有程序的代碼就能獲得性能提升。此外，目前的Tensor Core核心同時支持了FP64精度的浮點運算能力，相比于前代產(chǎn)品，可為HPC（高性能計算）應(yīng)用提供更多的算力，相比之前提高了多達2.5倍。

至于上文提到的結(jié)構(gòu)化稀疏，其實也是這次新架構(gòu)的亮點所在，目前A100中的Tensor Core可為稀疏模型應(yīng)用提供高達2倍的性能提升。該功能的加入讓GPU能夠更加高效地處理高維數(shù)據(jù)，相當(dāng)于提高了AI學(xué)習(xí)性能。結(jié)構(gòu)化稀疏是一種高維數(shù)據(jù)的有效分析方法，具備特征簡約、可解釋性強、計算方便等優(yōu)勢，獲得了很多研發(fā)人員的關(guān)注，并在多個實際場景中得到了應(yīng)用。

Ampere架構(gòu)除了細節(jié)和算力方面的改進，新品還充分考慮到了應(yīng)用場景，提供了多實例GPU（MIG），通俗來講每個A100可以劃分成七個獨立的GPU，擁有了更高的靈活性。眾所周知，在數(shù)據(jù)中心等領(lǐng)域，CPU虛擬化是非常多見的技術(shù)，可將內(nèi)核同時分配給不同用戶獨立使用，而MIG也有異曲同工之妙，如此一來不僅為不同規(guī)模的工作提供不同的計算力，以此實現(xiàn)最佳利用率和投資回報率的最大化，而且能在硬件級別上實現(xiàn)隔離，實現(xiàn)更高的安全性。

至于Ampere架構(gòu)的第三代NVIDIA NVLink，可使GPU之間的連接速率增加至原來的兩倍，雙向帶寬提升至50GB/s，傳輸速率達到了600GB/s，是PCIe 4.0帶寬的10倍，并且每顆GPU可以實現(xiàn)對外12路連接。

A100助力，NVIDIA打造新一代AI系統(tǒng)

目前，基于Ampere GPU的NVIDIA DGX A100系統(tǒng)已經(jīng)發(fā)布，它是全球首款算力達到5 petaFLOPS AI系統(tǒng)，內(nèi)置8個由NVIDIA NVLink互聯(lián)的A100 GPU、兩塊64核AMD CPU和1TB系統(tǒng)內(nèi)存，六個第二代NVSWITCH則提供了高達 4.8 TB/s雙向帶寬。網(wǎng)絡(luò)方面，系統(tǒng)內(nèi)置Mellanox ConnectX-6 VPI HDR InfiniBand和以太網(wǎng)適配器，其雙向帶寬峰值為 450Gb/s。

利用Mellanox HDR 200Gbps InfiniBand互連技術(shù)，NVIDIA將140臺DGX A100系統(tǒng)結(jié)合在一起，成功構(gòu)建了DGX SuperPOD AI超級計算機， AI計算能力高達700 Petaflops，用于公司內(nèi)部對話式AI、基因組學(xué)和自動駕駛等領(lǐng)域的研究。值得一提的是，不只是AI、科研領(lǐng)域的用途，如今DGX A100組成的超級計算機還被用來對抗COVID-19，對抗疫做出了貢獻。

不光是大規(guī)模的AI計算系統(tǒng)，NVIDIA甚至將Ampere架構(gòu)帶到了如今熱點之一的邊緣計算，NVIDIA EGX A100 AI 處理引擎搭載全新GPU的同時，集成有Mellanox ConnectX-6 Dx SmartNIC，不僅帶來優(yōu)秀的拓展性，而且更有出色的安全性。Mellanox SmartNIC具有安全分流功能，能以高達 200 Gb/s 的線速進行解密，配合GPUDirect技術(shù)可將視頻幀直接傳輸?shù)紾PU顯存以進行AI處理。

相輔相成，大量軟件為A100 GPU優(yōu)化

當(dāng)然，除了硬件層面的優(yōu)勢，實際應(yīng)用時也離不開軟件的支持。目前，NVIDIA對GPU加速應(yīng)用領(lǐng)域的軟件開發(fā)平臺CUDA進行了更新，推出了CUDA 11，為Ampere架構(gòu)進行了優(yōu)化，并更新了包括了50多個新版本CUDA-X庫。新版本可以完整支持基于Ampere架構(gòu)的GPU硬件以及第三代Tensor Core的眾多特性，并加入了多實例GPU虛擬化和GPU分區(qū)等功能。

與此同時，NVIDIA還發(fā)布了HPC SDK、多模態(tài)對話式AI服務(wù)框架NVIDIA Jarvis、深度推薦應(yīng)用框架 NVIDIA Merlin等軟件。其中，HPC SDK包含編譯器和庫的全套綜合套件，是目前唯一可用于編程加速計算系統(tǒng)的全套集成SDK，開發(fā)者可通過它來編程整個HPC平臺，從GPU基礎(chǔ)到CPU以及整體互聯(lián)，同樣該套件也對Ampere架構(gòu)進行了相應(yīng)優(yōu)化。

寫在最后：正如NVIDIA所說的那樣，如今由于云計算、AI等技術(shù)的出現(xiàn)，正在推動數(shù)據(jù)中心設(shè)計的結(jié)構(gòu)性轉(zhuǎn)變，純CPU服務(wù)器被搭載GPU加速計算的平臺所取代，未來隨著這些新技術(shù)的不斷普及，越來越多的行業(yè)、企業(yè)將會產(chǎn)生類似需求。NVIDIA早在3年之前就已經(jīng)意識到了這一趨勢，推出了Volta架構(gòu)，并將專為深度學(xué)習(xí)的Tensor Core帶入到了GPU之中，大幅提升了AI訓(xùn)練和推理性能，而到了目前Ampere架構(gòu)的第三代Tensor Core，更是帶來了巨大的性能飛躍，可將AI訓(xùn)練時間從數(shù)周縮短到幾小時，顯著加快了推理速度，無疑助力推動了整個AI行業(yè)的發(fā)展。

另一方面，此次推出的Ampere架構(gòu)、A100 GPU不只是提供了大幅度的性能增長，而且NVIDIA更是考慮到了各個方面，甚至兼顧了數(shù)據(jù)中心的成本問題。根據(jù)NVIDIA給出的數(shù)據(jù)，一個由5臺DGX A100系統(tǒng)組成的機架，可代替一個包括了AI訓(xùn)練和推理基礎(chǔ)設(shè)施的數(shù)據(jù)中心，而且功耗僅是1/20，所占用的空間是1/25，成本只有1/10。因此，我們完全有理由相信，未來NVIDIA GPU以及AI技術(shù)一定會進入到各行各業(yè)，滲透到大家日常生活的方方面面。

點個贊1787