英特爾至強和AI PC等產(chǎn)品為Meta Llama 3生成式AI工作負載提供加速
供稿 / 2024-04-19 18:451551英特爾豐富的AI產(chǎn)品——面向數(shù)據(jù)中心的至強處理器,邊緣處理器及AI PC等產(chǎn)品為開發(fā)者提供最新的優(yōu)化,助力其運行Meta新一代大語言模型Meta Llama 3。
Meta今日推出其下一代大語言模型(LLM)——Meta Llama 3。在發(fā)布的第一時間,英特爾即優(yōu)化并驗證了80億和700億參數(shù)的Llama 3模型能夠在英特爾? 至強? 處理器、英特爾? Gaudi加速器、英特爾? 酷睿? Ultra處理器和英特爾銳炫? 顯卡的AI產(chǎn)品組合上運行。
英特爾副總裁兼人工智能軟件工程總經(jīng)理李煒表示:“英特爾一直積極與AI軟件生態(tài)系統(tǒng)的領(lǐng)先企業(yè)展開合作,致力于提供兼具性能與易用性的解決方案。Meta Llama 3是AI大語言模型重要迭代的新一浪潮。作為AI軟硬件產(chǎn)品技術(shù)創(chuàng)新的引領(lǐng)者,英特爾很開心能夠與Meta合作,充分挖掘諸如Llama 3等模型的潛力,助力生態(tài)伙伴開發(fā)領(lǐng)先的AI應(yīng)用。”
重要意義:秉承推動AI無處不在的愿景,英特爾持續(xù)深耕軟件和AI生態(tài),以確保其產(chǎn)品能夠滿足AI領(lǐng)域持續(xù)變化的創(chuàng)新需求。在數(shù)據(jù)中心,集成英特爾?高級矩陣擴展加速引擎(Intel? AMX)的英特爾至強處理器和英特爾Gaudi能夠為滿足客戶不斷變化、多元化的需求提供更多選擇。
英特爾酷睿Ultra處理器和英特爾銳炫顯卡不僅為開發(fā)者提供了本地開發(fā)工具,也為在數(shù)百萬臺設(shè)備上進行部署提供全面的軟件框架和工具支持。其中,包括PyTorch和用于本地研發(fā)的英特爾? PyTorch擴展包,以及用于模型開發(fā)和推理的OpenVINO?工具包等。
在英特爾產(chǎn)品上運行Llama 3:英特爾初步測試和評估80億和700億參數(shù)的Llama 3模型在自身產(chǎn)品上的性能時,使用了包括PyTorch、DeepSpeed、英特爾Optimum Habana庫和英特爾PyTorch擴展包在內(nèi)的開源軟件,并提供最新的軟件優(yōu)化。有關(guān)更多性能細節(jié),請訪問英特爾開發(fā)者博客。
· 英特爾至強處理器能夠運行嚴苛的端到端AI工作負載,同時為了降低延遲,英特爾也通過技術(shù)創(chuàng)新來優(yōu)化大語言模型的推理性能。配備性能核的英特爾? 至強? 6處理器(代號Granite Rapids)在運行80億參數(shù)的Llama 3模型推理時,延遲比第四代英特爾? 至強? 處理器表現(xiàn)出兩倍的提升,并且能夠以低于100毫秒的token延遲運行700億參數(shù)的Llama 3模型推理。
· 英特爾? Gaudi 2加速器在70億、130億和700億參數(shù)的Llama 2模型上具備優(yōu)化的性能,現(xiàn)在其基于全新的Llama 3模型也有了初步性能測試。隨著英特爾Gaudi軟件的更新,英特爾能夠輕松運行新的Llama 3模型,并為推理和微調(diào)生成結(jié)果。近期發(fā)布的英特爾? Gaudi 3加速器也支持運行Llama 3。
· 英特爾酷睿Ultra和英特爾銳炫顯卡在運行Llama 3時亦展現(xiàn)出卓越的性能。在初步測試中,英特爾酷睿Ultra處理器已經(jīng)展現(xiàn)出遠高于人類通常閱讀速度的輸出生成性能。此外,英特爾銳炫? A770 顯卡具備Xe內(nèi)核中的全新矩陣引擎(Xe Matrix eXtensions,XMX)AI加速和16GB顯存,進一步為大語言模型工作負載提供卓越性能。
未來,Meta將增加新的能力、更多模型尺寸以及增強的性能。英特爾也將持續(xù)提升自身AI產(chǎn)品性能,以支持這一全新的大語言模型。
注釋:
完整的性能聲明和配置可在網(wǎng)址查看:https://www.intel.com/content/www/us/en/developer/articles/technical/accelerate-meta-llama3-with-intel-ai-solutions.html
僅在特定的H系列英特爾? 酷睿? Ultra處理器驅(qū)動的系統(tǒng)上提供集成的英特爾銳炫? 顯卡。
+++
關(guān)于英特爾
英特爾(NASDAQ: INTC)作為行業(yè)引領(lǐng)者,創(chuàng)造改變世界的技術(shù),推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下,我們不斷致力于推進半導體設(shè)計與制造,幫助我們的客戶應(yīng)對最重大的挑戰(zhàn)。通過將智能融入云、網(wǎng)絡(luò)、邊緣和各種計算設(shè)備,我們釋放數(shù)據(jù)潛能,助力商業(yè)和社會變得更美好。如需了解英特爾創(chuàng)新的更多信息,請訪問英特爾中國新聞中心intel.cn/content/www/cn/zh/newsroom以及官方網(wǎng)站intel.cn。
?英特爾公司,英特爾、英特爾logo及其它英特爾標識,是英特爾公司或其分支機構(gòu)的商標。文中涉及的其它名稱及品牌屬于各自所有者資產(chǎn)。
英特爾至強和AI PC等產(chǎn)品為Meta Llama 3生成式AI工作負載提供加速














滬公網(wǎng)安備 31010702005758號
發(fā)表評論注冊|登錄