通過AMD Ryzen AI和Radeon 7000系列顯卡體驗Meta Llama 3
供稿 / 2024-04-29 17:321872AMD的AI戰(zhàn)略側重于通過廣泛的訓練和推理計算引擎組合、開放和成熟的軟件功能來實現(xiàn)生態(tài)系統(tǒng),并通過共同創(chuàng)新來培育AI生態(tài)系統(tǒng)。我們將繼續(xù)專注于使每個人都能使用下一代AI模型,并使各行各業(yè)從AI中獲益。
我們對Meta最近發(fā)布的Llama 3模型非常振奮。Llama 3是Meta迄今為止功能最強的開源模型,在HumanEval、GPQA、GSM-8K、MATH和MMLU基準測試中取得了強悍的成績。Llama 3有80億和700億參數(shù)模型,前者適用于客戶端用例,后者適用于更多的數(shù)據(jù)中心和云用例。
好消息是,擁有基于Ryzen AI的AI PC或AMD Radeon 7000系列顯卡的AMD客戶,無需任何編碼技能,即可完全在本地體驗Llama 3。
AMD 銳龍7040系列移動處理器(除銳龍5 7540U和銳龍3 7440U之外)和AMD 銳龍 8040系列移動處理器(除銳龍5 8540U和銳龍3 8440U之外)內(nèi)置了專為處理新興的AI工作負載而設計的神經(jīng)處理單元(NPU)。NPU算力最高達16 TOPs,允許用戶以卓越的電源效率執(zhí)行AI工作負載。AMD Ryzen AI APU還包括CPU和iGPU,用于處理按需任務。
在本文中,我們將演示如何在AMD硬件上快速輕松地運行Meta的Llama 3 Instruction 80億參數(shù)模型。
下載LM Studio的正確版本:
AMD 銳龍?zhí)幚砥靼?/p> | AMD Radeon RX 7000 系列顯卡版 |
LM Studio - Windows? | LM Studio – ROCm(TM) technical preview? |
2. 運行該文件。
3.點擊Llama 3 - 8B指示卡上的“Download(下載)”按鈕。
4. 下載后,單擊屏幕左側的聊天圖標。
5. 從頂部中間的下拉列表中選擇Llama 3。
6. 當出現(xiàn)提示時,選擇“Accept New System Prompt(接受新系統(tǒng)提示)”。
如果您使用的是基于AMD Ryzen AI的AI PC,請開始聊天!
對于使用AMD Radeon 7000系列顯卡的用戶,只有幾個額外的步驟:
點擊右側的“高級配置(Advanced Configuration)”。
9. 向下滾動,直到看到“Hardware Settings(硬件設置)”。確保選擇“GPU Offload(卸載)”,并且滑塊一直向右(最大值)。如果出現(xiàn)提示,點擊“Reload model to apply configuration(重新加載模型以應用配置)”。
10. 開始與Meta的新Llama 3聊天機器人聊天。
就是這么簡單。
AMD致力于推進AI,讓各行各業(yè)從AI中獲益。AMD的AI PC使每個人都能從AI消費應用的增長中受益。
通過AMD Ryzen AI和Radeon 7000系列顯卡體驗Meta Llama 3














滬公網(wǎng)安備 31010702005758號
發(fā)表評論注冊|登錄