Meta Llama 3.1模型現已在亞馬遜云科技正式可用 生成式AI應用構建提供選擇

Meta Llama 3.1模型現已在亞馬遜云科技正式可用生成式AI應用構建提供選擇

供稿 / 2024-07-25 09:455118

北京——2024年7月24日亞馬遜云科技宣布，Meta剛剛發(fā)布的新一代Llama模型現已在Amazon Bedrock和Amazon SageMaker中提供?？蛻粢部梢栽诨贏mazon Trainium和Amazon Inferentia自研芯片的Amazon Elastic Cloud Compute（Amazon EC2）實例中部署這些模型。Llama 3.1模型是一系列預訓練和指令微調的大語言模型（LLMs），支持8B、70B和405B三種尺寸，適用于廣泛的使用場景。開發(fā)人員、研究人員和企業(yè)可以用此模型進行文本摘要和分類、情感分析、語言翻譯和代碼生成。

Meta表示，Llama 3.1 405B是目前最優(yōu)秀和最大的開源基礎模型（foundation models, FMs）之一，為生成式AI能力設立了新標準。它特別適用于合成數據生成和模型蒸餾，這能在后續(xù)訓練中提升較小尺寸Llama模型的性能。Llama 3.1 405B還在通用知識、數學、工具使用和多語言翻譯方面有出色的表現。

得益于大幅增加的訓練數據和規(guī)模，所有新的Llama 3.1模型相比之前的版本都有明顯改進。這些模型支持128K的上下文長度，相較于Llama 3增加了12萬個標記（Token），模型容量是上一版本的16倍，并提升了在以下八種語言對話場景中的推理能力，即英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語。

Llama 3.1模型還增強對語言細微差別的理解能力，即能更好地理解上下文，并能更有效地處理復雜問題。該模型還可以從長篇文本中獲取更多信息，以做出更明智的決策，并利用更豐富的上下文數據生成更加細致和凝練的回應。

亞馬遜云科技首席執(zhí)行官Matt Garman表示：“我們與Meta保持著長期合作關系，今天很高興能將他們最先進的模型提供給我們的客戶?？蛻羝毡橄Ｍ鶕麄兊木唧w用例自定義和優(yōu)化Llama模型，通過在亞馬遜云科技上訪問Llama 3.1，客戶可以利用最新的領先模型來負責任地構建AI應用?！?/p>

過去十年間，Meta一直致力于為開發(fā)人員提供工具，并促進開發(fā)人員、研究人員和企業(yè)之間的合作共贏。Llama模型提供各種參數尺寸，允許開發(fā)人員選擇最適合其需求和推理預算的模型。亞馬遜云科技上的Llama模型打開了充滿無限可能的新世界，開發(fā)人員無需再擔心擴展性或基礎設施管理等問題。亞馬遜云科技提供了一種簡單的開箱即用的方式來使用Llama。

Meta創(chuàng)始人兼首席執(zhí)行官馬克·扎克伯格表示：“開源是讓AI造福所有人的關鍵。我們一直在與亞馬遜云科技合作，將整個Llama 3.1模型集成到Amazon SageMaker JumpStart和Amazon Bedrock中，這樣開發(fā)人員就可以全面使用亞馬遜云科技的各種能力來構建出色的應用，例如用于處理復雜任務的高級智能體。”

Llama 3.1模型的優(yōu)勢

Llama 3.1 405B

· 適用于構建企業(yè)應用程序和研發(fā)

· 用例包括：長篇文本生成、多語言和機器翻譯、編碼工具使用、增強的上下文理解，以及高級推理和決策

Llama 3.1 70B

· 適用于內容創(chuàng)建、對話AI、語言理解和研發(fā)

· 用例包括：文本摘要、文本分類、情感分析和細微推理、語言建模、代碼生成和遵循指令

Llama 3.1 8B

· 適用于計算能力和資源有限的情況以及移動設備

· 更快的訓練時間

· 用例包括：文本摘要和分類、情感分析和語言翻譯

亞馬遜云科技提供對多種大語言模型的輕松訪問

Amazon Bedrock為數萬名客戶提供安全、便捷的模型訪問，提供性能卓越、完全托管的大型語言模型和其他基礎模型選擇，并具有領先的易用性，是客戶開始使用Llama 3.1的便捷途徑，其中8B和70B參數模型已經正式可用，405B版本現提供預覽。

客戶希望訪問Llama 3.1模型并利用亞馬遜云科技的所有安全性和功能，這些通過Amazon Bedrock提供的一個簡單的API即可輕松實現，同時無需管理任何底層基礎設施。客戶還可以使用Llama 3.1提供的負責任AI能力，該功能能夠與Amazon Bedrock的數據治理和評估功能配合使用，例如Guardrails和模型評估?？蛻暨€可以使用Amazon Bedrock即將推出的微調功能來自定義模型。

Amazon SageMaker是數據科學家和機器學習工程師預訓練、評估和微調基礎模型的絕佳平臺，能夠提供先進的技術和精細的控制能力來部署基礎模型，以滿足生成式AI用例在準確性、延遲和成本方面的嚴格要求。今天，通過Amazon SageMaker JumpStart，客戶僅需幾次點擊即可發(fā)現和部署所有Llama 3.1模型。隨著即將推出的微調功能，數據科學家和機器學習工程師將能夠更進一步使用Llama 3.1，例如在短短幾小時內將Llama 3.1適配于他們的特定數據集。

亞馬遜云科技首席執(zhí)行官Matt Garman表示：“Amazon Bedrock是使用Llama 3.1進行快速構建的簡單途徑，提供行業(yè)領先的隱私和數據治理評估功能和內置保護措施。Amazon SageMaker提供的工具選擇和精細控制，則使各行各業(yè)的客戶能夠輕松訓練和調整Llama模型，以推動亞馬遜云科技上的生成式AI創(chuàng)新。”

對于希望通過自管理機器學習工作流的方式在亞馬遜云科技上部署Llama 3.1模型的客戶，Amazon EC2提供廣泛的加速計算選項，以為其提供更大的靈活性和對底層資源的控制。Amazon Trainium 和Amazon Inferentia2能夠為微調和部署Llama 3.1模型提供高性能和成本效益?？蛻艨梢酝ㄟ^使用Amazon EC2 Trn1和Inf2實例在亞馬遜云科技自研AI芯片上開啟使用Llama 3.1的旅程。

客戶已經在亞馬遜云科技上使用Llama模型

全球金融服務集團野村控股（Nomura）的業(yè)務覆蓋30個國家和地區(qū)。該集團正在使用Amazon Bedrock中的Llama模型簡化海量行業(yè)文檔的分析，以提取相關的商業(yè)信息，使員工可以將更多時間專注于從日志文件、市場評論或原始文檔等數據源中提取洞見和獲取關鍵信息。

領先的外包數字服務和客戶體驗提供商TaskUs使用Amazon Bedrock中的Llama模型來支持其專屬生成式AI平臺——TaskGPT。TaskUs在該平臺上構建智能工具，自動化部分客戶服務流程，釋放團隊成員處理更復雜的問題，并提供更好的客戶體驗。

點個贊726