7月11日，英特爾AI產品戰略暨Gaudi2新品發布會在京舉行。會上，英特爾正式于中國市場推出第二代Gaudi深度學習加速器——HabanaGaudi2。作為英特爾從云到端產品組合的重要組成，Gaudi2致力于以領先的性價比優勢，加速AI訓練及推理，為中國用戶提供更高的深度學習性能和效率，從而成為大規模部署AI的更優解。

英特爾于中國市場推出Gaudi2深度學習加速器

“

英特爾致力于通過為客戶提供廣泛的硬件選擇，并支持開放的軟件環境，加速人工智能技術的發展。憑借包括至強可擴展處理器和Gaudi2深度學習加速器在內的產品組合，英特爾正在降低人工智能的準入門檻，并強化客戶在云端通過網絡和智能邊緣部署這一關鍵業務技術的能力，從而幫助構建中國人工智能的未來。

-- Sandra Rivera

英特爾執行副總裁

兼數據中心與人工智能事業部總經理

”

為深度學習而生的

全新Gaudi2訓練加速器

該Gaudi2深度學習加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構為基礎，以多方位性能與能效比提升，加速高性能大語言模型運行。該加速器具備：

●24個可編程Tensor處理器核心（TPCs）

● 21個100Gbps（RoCEv2）以太網接口

●96GB HBM2E內存容量

●2.4TB/秒的總內存帶寬

●48MB片上SRAM

●集成多媒體處理引擎

Habana Gaudi2深度學習加速器

Gaudi2加速器的出色性能在6月公布的MLCommonsMLPerf基準測試¹中得到了充分認證，其在GPT-3模型、計算機視覺模型ResNet-50（使用8個加速器）、Unet3D（使用8個加速器），以及自然語言處理模型BERT（使用8個和64個加速器）上均取得了優異的訓練結果。與市場上其他面向大規模生成式AI和大語言模型的產品相比，Gaudi2擁有卓越的性能與領先的性價比優勢，能夠幫助用戶提升運營效率的同時，降低運營成本。

此外，Gaudi2可為大規模的多模態和語言模型提供出色的推理性能。在最近的Hugging Face評估中，其在大規模推理方面的表現，包括在運行Stable Diffusion²（另一個用于從文本生成圖像的最先進生成式AI模型之一）、70億以及1760億參數BLOOMz³模型時，在行業內保持領先。

滿足大語言和多模態模型的需求

Gaudi2深度學習加速器的架構旨在高效擴展，以滿足大規模語言模型及生成式AI模型的需求。其每張芯片集成了21個專用于內部互聯的100Gbps（RoCEv2 RDMA）以太網接口，從而實現低延遲服務器內擴展。

在Stable Diffusion訓練上，Gaudi2展示了從1張卡至64張卡近線性99%的擴展性。此外，MLCommons剛剛公布的MLPerf訓練3.0結果⁴，亦驗證了Gaudi2處理器在1750億參數的GPT-3模型上，從256個加速器到384個加速器可實現令人印象深刻的接近線性的95%擴展效果。

具備成熟的軟件支持，

Gaudi2產品在中國市場正式上市

伴隨日益增長的生成式AI及大語言模型需求，英特爾亦致力于打造領先、成熟的軟件支持，充分釋放Gaudi2深度學習加速器性能。

為支持客戶輕松構建模型，或將當前基于GPU的模型業務和系統遷移到基于全新Gaudi2服務器，并幫助保護軟件開發投入，SynapseAI軟件套件針對Gaudi平臺深度學習業務進行了優化，旨在與廣泛的軟件生態系統一起，幫助簡化模型的開發和遷移。SynapseAI集成了對TensorFlow和PyTorch框架的支持，并提供眾多流行的計算機視覺和自然語言參考模型，能夠滿足深度學習開發者的多樣化需求。

目前，英特爾正與浪潮信息合作，打造并發售基于Gaudi2深度學習加速器的浪潮信息AI服務器NF5698G7。該服務器集成了8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強可擴展處理器。

基于Gaudi2加速器的浪潮NF5698G7服務器

攜手中國產業生態

共啟人工智能新篇

多年來，借助強大的AI軟硬件基礎，英特爾一直致力于為AI領域的各類工作負載提供業界領先的卓越性能，并通過開放的生態、豐富多樣的產品選擇不斷降低AI部署的門檻，并為中國的AI發展提供堅定支持。

本次發布會上，美團、百度與浪潮信息等生態伙伴分別分享了其基于英特爾軟硬件產品組合的多樣化智能業務進展。百度智能云服務器高級經理何永占表示，集成英特爾AMX加速引擎的第四代英特爾至強可擴展處理器為ERNIE-Tiny模型帶來了多倍的性能優化，百度將持續構建領先的AI全棧能力和全面的開放生態，并期待與英特爾在未來的AI領域展開更為廣泛、深入的合作。

浪潮信息高級產品經理王磊強調，NF5698G7是專為面向生成式AI市場創新開發的新一代AI服務器，支持8顆OAM高速互聯的Gaudi2加速器，具備高性能、高擴展、高能效和開放生態等優點，將為AI客戶提供強大的大模型訓練和推理能力。未來，浪潮信息將繼續攜手英特爾，為行業打造創新、領先的產品方案。

此外，多家本土生態伙伴亦表明了與英特爾在當下及未來產品合作上的堅定立場與長遠展望。新華三集團計算存儲產品線副總裁劉宏程指出，新華三智慧計算秉持內生智能的技術理念，基于硬件使能、前瞻技術、綠色低碳等全方位能力，助力AI產業的高速發展。基于英特爾Gaudi2 AI加速器，新華三正與英特爾緊密合作，開發適合大模型訓練和推理的高性能AI服務器，推動智能算力的普惠創新。

與此同時，超聚變數字技術有限公司算力基礎設施領域總裁唐啟明表示，非常榮幸見證英特爾Gaudi2的發布。作為英特爾的長期戰略合作伙伴，超聚變將一如既往地攜手英特爾，共同推出基于Gaudi2的全新產品與解決方案，助力企業的AI場景成熟商用和規模落地。

未來，英特爾將持續引領產品技術發展，進一步加速大規模深度學習部署，助力中國本地AI市場發展。

注釋：

1. https://mlcommons.org/en/training-normal-30/

2. https://huggingface.co/blog/habana-gaudi-2-benchmark

3.https://huggingface.co/blog/habana-gaudi-2-bloom

4. https://mlcommons.org/en/training-normal-30/