一年多來，我們一直期待Amazon Web Services在今年的re:Invent大會上為其本土服務(wù)器推出 Graviton4 處理器。正如預(yù)期，AWS首席執(zhí)行官Adam Selipsky推出了第四代 Graviton CPU系列，包括去年針對HPC工作負(fù)載的超頻Graviton3E處理器。

Selipsky在主題演講期間沒有強(qiáng)制舉起Graviton4 芯片，這很奇怪。

Graviton4 提高了各種工作負(fù)載的性價(jià)比和能效標(biāo)準(zhǔn)

正如我們所預(yù)料的那樣，Graviton4 也基于 Arm Ltd 的“Demeter”Neoverse V2 內(nèi)核，該內(nèi)核與 Nvidia 的“Grace”CG100 CPU 一樣基于 Armv9 架構(gòu)。（Nvidia 官方并沒有給 Grace 一個(gè)與其 GPU 命名方案一致的產(chǎn)品名稱，所以我們就暫且這樣命名。C代表CPU，G代表Grace。）我們在2017年對Demeter V2核心進(jìn)行了深入研究。9月份，Arm發(fā)布了“Genesis”計(jì)算子系統(tǒng)，與之前由AWS部署在Graviton3和Graviton3E處理器中使用的“Zeus”V1 內(nèi)核相比，V2 內(nèi)核的每時(shí)鐘指令數(shù)提高了13%。

顯然，這在 IPC中并不是一個(gè)大的跳躍，因?yàn)楹诵臄?shù)量也在跳躍，這就是為什么我們還假設(shè) AWS已經(jīng)放棄了代工合作伙伴臺積電用于蝕刻 Graviton3 和 Graviton3E 芯片的5納米工藝，而是更密集且有些成熟的4納米工藝。同樣的4N工藝還用于制造 Nvidia 的 Grace CPU 及其“Hopper”GH100 GPU——這兩款產(chǎn)品都席卷了生成式 AI 世界。

Graviton4 封裝上有 96 個(gè) V2 核心，比 Graviton3 和 Graviton3E 提升了 50%，而且與 8 個(gè) DDR5 內(nèi)存控制器相比，Graviton4 上有 12 個(gè) DDR5 控制器，并且Graviton4使用的 DDR5內(nèi)存速度頻率提升了16.7%，達(dá)到5.6 GHz。通過數(shù)學(xué)計(jì)算，Graviton4 每個(gè)插槽的內(nèi)存帶寬為536.7 GB/秒，比之前的Graviton3和Graviton3E處理器提供的307.2 GB/秒高出 75%。

在 Selipsky 的演示以及 AWS 發(fā)布的有關(guān) Graviton4 的有限規(guī)格中，該公司表示通用 Web 應(yīng)用程序在 Graviton4 上的運(yùn)行速度比在 Graviton3 上快 30%（不是 Graviton3E，它超頻且很熱），但數(shù)據(jù)庫的運(yùn)行速度將提高 40%，大型 Java 應(yīng)用程序的運(yùn)行速度將提高 45%。現(xiàn)在，這可能意味著AWS已經(jīng)在V2核心中實(shí)現(xiàn)了同步多線程 (SMT)，為每個(gè)核心提供兩個(gè)線程，就像英特爾和 AMD 的 X86 處理器以及一些 Arm 芯片過去所做的那樣。

我們不這么認(rèn)為，下面的比較顯著特征表顯示每個(gè)套接字有 96 個(gè)線程，而不是 192 個(gè)線程。我們認(rèn)為每個(gè)套接字有 96 個(gè)線程，并且每個(gè)核心的二級緩存加倍至2MB對Java和數(shù)據(jù)庫應(yīng)用程序的性能產(chǎn)生了巨大的影響。您可以通過添加雙向SMT獲得3倍的vCPU，但這不會為您提供3倍的內(nèi)存。與 Graviton3 芯片相比，它的內(nèi)存仍然只有 1.5 倍。

AWS 在其博客中提到的有關(guān)使用 Graviton4 芯片的新 R8g 實(shí)例的其他內(nèi)容也讓我們猶豫不決：“R8g 實(shí)例提供了更大的實(shí)例大小，比當(dāng)前一代 R7g 實(shí)例多出 3 倍的 vCPU 和 3 倍的內(nèi)存。”

R8g 擁有 96 個(gè)核心和十幾個(gè)內(nèi)存控制器（均比 Graviton3 提升了 1.5 倍），您只會期望 R8g 的 vCPU 數(shù)量是使用 Graviton3 芯片的 R7g 實(shí)例的 1.5 倍，而內(nèi)存容量僅是使用 Graviton3 芯片的 R7g 實(shí)例的 1.5 倍。因此，我們認(rèn)為這是 Graviton 系列的第一個(gè)雙插槽實(shí)現(xiàn)。這也是我們認(rèn)為 Graviton4 芯片擁有大約 9500 萬到 1 億個(gè)晶體管的原因之一，而不是您預(yù)期的 8250 萬個(gè)晶體管（如果 AWS 只是在 Graviton3 設(shè)計(jì)中添加 50% 的核心并保持不變）。我們認(rèn)為，L2 緩存加倍、增加四個(gè) DDR5 內(nèi)存控制器以及一對現(xiàn)在也進(jìn)行線速加密的 I/O 控制器也增加了晶體管預(yù)算。

Graviton4在另一個(gè)方面也值得注意。過去，Neoverse模塊以32核或64核模塊完成，Arm建議使用具有UCI-Express或CCIX互連的小芯片來構(gòu)建更大的處理器復(fù)合體。制作自己的 Arm CPU設(shè)計(jì)的公司總是可以實(shí)現(xiàn)單片芯片，出于延遲和功耗的原因，您會這樣做。這些互連不是免費(fèi)的，尤其是具有 96 個(gè)內(nèi)核的芯片，其產(chǎn)量會比 32 個(gè)內(nèi)核或 64 核心低得多。這也是有代價(jià)的。

因此，從上面的芯片照片來看，我們認(rèn)為 Graviton4 是一個(gè)雙小芯片封裝，其中一個(gè)小芯片與另一個(gè)小芯片旋轉(zhuǎn)了 180 度。這可能就是為什么封裝上中央核心復(fù)合體左側(cè)和右側(cè)的存儲控制器小芯片彼此偏移的原因。

我們認(rèn)為 Graviton4 與前幾代芯片的比較如下：

誠然猜測，我們認(rèn)為 Graviton4 的性能比 Graviton3E 稍差，但達(dá)到該目標(biāo)所需的功耗卻低了近一半，并且內(nèi)存容量高出 50%，帶寬高出 75%，功耗大約為 130 瓦。功率包絡(luò)具有更低且更理想的 2.7 GHz 時(shí)鐘速度。

根據(jù)我們估計(jì)的這些數(shù)字（粗體紅色斜體顯示），Graviton4 芯片的每瓦性能（按 ECU 性能單位測量）與 Graviton3 大致相同，這幾乎是您在工藝適度縮減的情況下所希望的一切。

隨著更多細(xì)節(jié)的出現(xiàn)，我們將更新這個(gè)故事。

還有一件事：AWS 在其公告中表示（但 Selipsky 并沒有在他的主題演講中吹噓），迄今為止，它已在其機(jī)群中部署了超過 200 萬個(gè) Graviton 處理器，并擁有超過 50,000 個(gè)客戶使用過它們。

這是一個(gè)非常可觀的 CPU 數(shù)量，如果 AWS 沒有開始內(nèi)部生產(chǎn) Graviton，這些芯片將全部來自 Intel、AMD，甚至可能來自 Ampere Computing。但他們沒有。這就是為什么將您的業(yè)務(wù)計(jì)劃固定給超大規(guī)模提供商和云構(gòu)建商是一個(gè)冒險(xiǎn)的提議。

Trainum2旨在云中提供最高性能、最節(jié)能的AI模型訓(xùn)練基礎(chǔ)設(shè)施

此外，AWS還在大會上推出了由 AWS 設(shè)計(jì)的AWS Trainium2 芯片系列。

Graviton4 和 Trainium2 標(biāo)志著 AWS 芯片設(shè)計(jì)的最新創(chuàng)新。隨著每一代芯片的推出，AWS 都提供了更好的性價(jià)比和能效，除了采用 AMD、Intel 和 NVIDIA 等第三方最新芯片的芯片/實(shí)例組合之外，還為客戶提供了更多選擇，以運(yùn)行幾乎任何應(yīng)用程序或Amazon Elastic Compute Cloud (Amazon EC2) 上的工作負(fù)載。

據(jù)了解，Trainium2 的設(shè)計(jì)速度比第一代 Trainium 芯片快 4 倍，并且能夠部署在多達(dá) 100,000 個(gè)芯片的 EC2 UltraCluster 中，從而可以在一個(gè)簡單的環(huán)境中訓(xùn)練基礎(chǔ)模型 (FM) 和大型語言模型 (LLM)。時(shí)間的一小部分，同時(shí)將能源效率提高了 2 倍。

AWS 計(jì)算和網(wǎng)絡(luò)副總裁 David Brown 表示：“硅支撐著每個(gè)客戶工作負(fù)載，使其成為 AWS 創(chuàng)新的關(guān)鍵領(lǐng)域。”“通過將我們的芯片設(shè)計(jì)重點(diǎn)放在對客戶重要的實(shí)際工作負(fù)載上，我們能夠?yàn)樗麄兲峁┳钕冗M(jìn)的云基礎(chǔ)設(shè)施。Graviton4 標(biāo)志著我們在短短五年內(nèi)推出的第四代芯片，是我們?yōu)楦鞣N工作負(fù)載打造的最強(qiáng)大、最節(jié)能的芯片。隨著人們對生成式 AI 興趣的高漲，Tranium2 將幫助客戶以更低的成本和更高的能源效率更快地訓(xùn)練他們的 ML 模型。”

當(dāng)今新興的生成式人工智能應(yīng)用背后的 FM 和 LLM 接受過海量數(shù)據(jù)集的培訓(xùn)。這些模型使客戶能夠通過創(chuàng)建各種新內(nèi)容（包括文本、音頻、圖像、視頻甚至軟件代碼）來完全重新想象用戶體驗(yàn)。當(dāng)今最先進(jìn)的 FM 和 LLM 的參數(shù)范圍從數(shù)千億到數(shù)萬億不等，需要可靠的高性能計(jì)算能力，能夠擴(kuò)展到數(shù)萬個(gè)機(jī)器學(xué)習(xí)芯片。AWS 已經(jīng)提供了最廣泛、最深入的采用 ML 芯片的 Amazon EC2 實(shí)例選擇，包括最新的 NVIDIA GPU、Trainium 和 Inferentia2。如今，包括 Databricks、Helixon、Money Forward 和 Amazon Search 團(tuán)隊(duì)在內(nèi)的客戶使用 Trainium 來訓(xùn)練大規(guī)模深度學(xué)習(xí)模型，充分利用 Trainium 的高性能、規(guī)模、可靠性和低成本。但即使擁有當(dāng)今最快的加速實(shí)例，客戶也希望獲得更高的性能和規(guī)模，以便以更低的成本更快地訓(xùn)練這些日益復(fù)雜的模型，同時(shí)減少他們使用的能源量。

Trainium2 芯片專為 FM 和 LLM 的高性能訓(xùn)練而設(shè)計(jì)，參數(shù)高達(dá)數(shù)萬億個(gè)。與第一代 Trainium 芯片相比，Trainium2 的訓(xùn)練性能提高了 4 倍，內(nèi)存容量提高了 3 倍，同時(shí)能效（性能/瓦特）提高了 2 倍。Trainium2 將在 Amazon EC2 Trn2 實(shí)例中提供，單個(gè)實(shí)例中包含 16 個(gè) Trainium 芯片。Trn2 實(shí)例旨在使客戶能夠在下一代 EC2 UltraCluster 中擴(kuò)展多達(dá) 100,000 個(gè) Trainium2 芯片，與 AWS Elastic Fabric Adapter (EFA) 拍級網(wǎng)絡(luò)互連，提供高達(dá) 65 exaflops 的計(jì)算能力，并為客戶提供對超級計(jì)算機(jī)的按需訪問一流的性能。憑借這種規(guī)模，客戶可以在數(shù)周而不是數(shù)月內(nèi)培訓(xùn) 3000 億個(gè)參數(shù)的 LLM。通過以顯著降低的成本提供最高的橫向擴(kuò)展 ML 訓(xùn)練性能，Trn2 實(shí)例可以幫助客戶解鎖并加速生成 AI 的下一波進(jìn)步。

一家人工智能安全和研究公司Anthropic表示，“我們正在與 AWS 密切合作，使用 Trainium 芯片開發(fā)未來的基礎(chǔ)模型。Trainium2 將幫助我們大規(guī)模構(gòu)建和訓(xùn)練模型，對于我們的一些關(guān)鍵工作負(fù)載，我們預(yù)計(jì)它的速度至少比第一代 Trainium 芯片快 4 倍。我們與 AWS 的合作將幫助各種規(guī)模的組織釋放新的可能性，因?yàn)樗麄儗?Anthropic 最先進(jìn)的人工智能系統(tǒng)與 AWS 安全、可靠的云技術(shù)結(jié)合使用。”

來源：EETOP

審核編輯：劉清