無(wú)論是市場(chǎng)動(dòng)力、技術(shù)創(chuàng)新還是熱點(diǎn)趨勢(shì)，2024年的半導(dǎo)體產(chǎn)業(yè)都繞不開(kāi)“AI”這個(gè)關(guān)鍵詞。從算力芯片，到芯片互聯(lián)、異構(gòu)聚合等AI基礎(chǔ)設(shè)施，再到軟件平臺(tái)、開(kāi)發(fā)者社區(qū)與生態(tài)合作組織等平臺(tái)生態(tài)建設(shè)，以及算力集群等大規(guī)模應(yīng)用——半導(dǎo)體產(chǎn)業(yè)鏈的每一個(gè)節(jié)點(diǎn)，都在跟隨AI的腳步創(chuàng)新發(fā)展。

1月22日，“中國(guó)電子報(bào)編輯選擇——2024年AI芯片創(chuàng)新產(chǎn)品及生態(tài)應(yīng)用”正式出爐。本次編輯選擇結(jié)合行業(yè)關(guān)注、市場(chǎng)熱點(diǎn)和企業(yè)動(dòng)態(tài)，通過(guò)考察技術(shù)領(lǐng)先性、市場(chǎng)競(jìng)爭(zhēng)力、產(chǎn)品應(yīng)用性、生態(tài)構(gòu)建能力等指標(biāo)，推選出10個(gè)創(chuàng)新產(chǎn)品及生態(tài)應(yīng)用，涵蓋優(yōu)秀產(chǎn)品、創(chuàng)新技術(shù)、生態(tài)貢獻(xiàn)和卓越應(yīng)用等，以期為行業(yè)發(fā)展樹(shù)立典范，為業(yè)界人士提供參考，為產(chǎn)業(yè)合作提供契機(jī)。

第6代TPU Trillium

谷歌公司

優(yōu)秀產(chǎn)品

Trillium（TPU v6e）是谷歌第 6 代 TPU。相比上一代產(chǎn)品TPU v5e，Trillium訓(xùn)練性能提升超 4 倍，推理吞吐量提升3 倍；單顆芯片峰值計(jì)算能力(Int8)提升4.7倍，達(dá)到1836TOPs；HBM容量及帶寬各提升1倍，分別達(dá)到32GB和1640GBps；芯片間互聯(lián)帶寬提高一倍，達(dá)到3584Gbps；能源效率提升67%。Trillium支持最多256個(gè)v6e芯片訓(xùn)練，以及最多8個(gè)芯片的單主機(jī)推理。在擴(kuò)展能力方面，使用由3072個(gè)v6e芯片組成的12個(gè)計(jì)算模塊進(jìn)行部署時(shí)，Trillium實(shí)現(xiàn)了99%的擴(kuò)展效率。即便在跨數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境下，使用由6144個(gè)芯片組成的24個(gè)計(jì)算模塊對(duì)gpt3-175b進(jìn)行預(yù)訓(xùn)練，Trillium也展現(xiàn)出94%的擴(kuò)展效率。

擁有45TOPS NPU的PC平臺(tái)驍龍X Elite

高通公司

優(yōu)秀產(chǎn)品

驍龍X Elite是高通專為Windows 11 AI+ PC打造的PC平臺(tái)，擁有45TOPS NPU算力。該平臺(tái)采用定制的集成高通Oryon CPU，擁有12個(gè)高性能內(nèi)核，主頻達(dá)3.8GHz，雙核增強(qiáng)技術(shù)可將兩個(gè)高性能內(nèi)核提升到4.3GHz，是首個(gè)主頻達(dá)到4GHz以上的ARM架構(gòu)CPU核心；集成Adreno GPU能夠?qū)崿F(xiàn)每秒4.6萬(wàn)億次浮點(diǎn)運(yùn)算的圖形性能。驍龍X Elite采用了全新異構(gòu)高通AI引擎，擁有45TOPS算力NPU。此外，該平臺(tái)支持10Gbps 5G下載速度，以及高通FastConnect7800支持的Wi-Fi 7等通信技術(shù)。除驍龍X Elite外，驍龍X系列還包括驍龍X Plus、驍龍X Plus（8核）以及驍龍X平臺(tái)。目前，來(lái)自眾多領(lǐng)先OEM廠商的超過(guò)60款PC設(shè)計(jì)已經(jīng)量產(chǎn)或正在開(kāi)發(fā)中，包括華碩、宏基、戴爾、HP和聯(lián)想等。

多模態(tài)智慧感知決策AI芯片PIMCHIP-S300

北京蘋(píng)芯科技有限公司

優(yōu)秀產(chǎn)品

PIMCHIP-S300是一款基于存算一體技術(shù)的多模態(tài)智慧感知決策AI芯片。該芯片搭載的SRAM存算一體技術(shù)能夠使計(jì)算直接在存儲(chǔ)器內(nèi)部發(fā)生，有效減少了傳統(tǒng)架構(gòu)中數(shù)據(jù)搬運(yùn)帶來(lái)的能耗和延遲問(wèn)題，核心能效比達(dá)27TOPS/W，同時(shí)能夠?qū)崿F(xiàn)低功耗運(yùn)行。該芯片支持音頻、視頻多模態(tài)融合感知，具備超低功耗喚醒、VAD（聲音活動(dòng)檢測(cè)）、語(yǔ)音識(shí)別、運(yùn)動(dòng)監(jiān)測(cè)和視覺(jué)識(shí)別功能，可適用于智能穿戴、智慧家居、無(wú)人機(jī)等多個(gè)新興行業(yè)，為合作伙伴帶來(lái)高能效、低成本的解決方案，推動(dòng)其產(chǎn)品的智能化轉(zhuǎn)型。

異構(gòu)GPU協(xié)同訓(xùn)練方案HGCT

上海壁仞科技股份有限公司

創(chuàng)新技術(shù)

壁仞科技自主原創(chuàng)的異構(gòu)GPU協(xié)同訓(xùn)練方案HGCT，是業(yè)界首次實(shí)現(xiàn)統(tǒng)一異構(gòu)通信庫(kù)支持多種不同廠商、不同型號(hào)的GPU進(jìn)行GDR高速通信，也是業(yè)界首次實(shí)現(xiàn)四種異構(gòu)GPU混合訓(xùn)練同一個(gè)大模型，將異構(gòu)算力有效聚合，端到端混訓(xùn)效率達(dá)到95-98%，突破了大模型異構(gòu)算力孤島難題，有望實(shí)現(xiàn)萬(wàn)卡、十萬(wàn)卡異構(gòu)集群混訓(xùn)。該方案具備普適性、易用性、兼容性，使多種國(guó)產(chǎn)GPU和英偉達(dá)GPU算力的異構(gòu)聚合成為可能，從而有助于加快國(guó)產(chǎn)GPU的落地遷移，有助于應(yīng)用方最大化異構(gòu)GPU集群利用效率，助力國(guó)產(chǎn)大模型落地。壁仞科技已聯(lián)合中國(guó)移動(dòng)發(fā)布“芯合”異構(gòu)混合并行訓(xùn)練系統(tǒng)，聯(lián)合中國(guó)電信、中興通訊等發(fā)布“智算異構(gòu)四芯混訓(xùn)解決方案”。

實(shí)現(xiàn)光學(xué)I/O芯粒的完全集成

英特爾公司

創(chuàng)新技術(shù)

面向大模型和生成式AI的部署需求，數(shù)據(jù)中心需要指數(shù)級(jí)提升的I/O帶寬和更長(zhǎng)的傳輸距離，以支持更大規(guī)模的處理器集群和更加高效的架構(gòu)。在2024年光纖通信大會(huì)上，英特爾展示了完全集成的OCI（光學(xué)計(jì)算互連）芯粒。基于已實(shí)際驗(yàn)證的硅光子技術(shù)，英特爾在OCI芯粒中集成了包含片上激光器的硅光子集成電路（PIC）、光放大器和電子集成電路。英特爾現(xiàn)場(chǎng)展示的OCI芯粒與自家CPU封裝在一起，但它也能與下一代CPU、GPU、IPU等SOC集成。該OCI芯粒可在最長(zhǎng)100米的光纖上，單向支持64個(gè)32Gbps通道，以滿足AI基礎(chǔ)設(shè)施日益增長(zhǎng)的對(duì)更高帶寬、更低功耗和更長(zhǎng)傳輸距離的需求。同時(shí)有助于實(shí)現(xiàn)可擴(kuò)展的CPU和GPU集群連接，和包括一致性內(nèi)存擴(kuò)展及資源解聚的新型計(jì)算架構(gòu)。

用于AI XPU的3.5D面對(duì)面（F2F）封裝技術(shù)

博通公司

創(chuàng)新技術(shù)

2024年12月，博通公司推出3.5D系統(tǒng)級(jí)封裝平臺(tái)技術(shù)XDSiP，助力消費(fèi)級(jí)人工智能領(lǐng)域企業(yè)開(kāi)發(fā)下一代定制加速器（XPU）。該3.5D技術(shù)結(jié)合了3D硅片堆疊與2.5D封裝，能在單個(gè)封裝器件中集成超6000平方毫米的硅片以及多達(dá)12個(gè)HBM堆棧。基于創(chuàng)新的面對(duì)面（F2F）堆疊方式，3.5D XDSiP直接連接上下層芯片的頂部金屬層，從而提供了密集且可靠的連接，同時(shí)將電氣干擾降至最低，并具備出色的機(jī)械強(qiáng)度。相比傳統(tǒng)的面對(duì)背（F2B）封裝，3.5D XDSiP技術(shù)將堆疊芯片之間的信號(hào)密度提升7倍，芯片間接口的功耗降低10倍，降低了3D堆疊內(nèi)計(jì)算、內(nèi)存和輸入/輸出組件之間的延遲，且能夠?qū)崿F(xiàn)更小的中介層和封裝尺寸。

開(kāi)源軟件平臺(tái)ROCm

超威半導(dǎo)體產(chǎn)品（中國(guó)）有限公司

生態(tài)貢獻(xiàn)

ROCm（Radeon Open Compute Platform）是一個(gè)開(kāi)源的軟件平臺(tái)，通過(guò)支持異構(gòu)硬件、優(yōu)化平臺(tái)工具、提升開(kāi)發(fā)者友好程度以及拓展合作伙伴等方式，助力AI產(chǎn)業(yè)生態(tài)建設(shè)。ROCm既支持AMD的多種GPU架構(gòu)，還推出了適用于中國(guó)本土需求的定制化解決方案；提供了諸多優(yōu)化的庫(kù)和工具鏈，如MIOpen（深度學(xué)習(xí)庫(kù)）、rocBLAS（線性代數(shù)庫(kù)）和rocFFT（快速傅里葉變換庫(kù)）等，為開(kāi)發(fā)者提供了強(qiáng)大的開(kāi)發(fā)基礎(chǔ)，加速了算法的實(shí)現(xiàn)和優(yōu)化。該平臺(tái)同時(shí)提供了編譯器工具鏈、性能分析工具、調(diào)試工具等多種類型的平臺(tái)工具，通過(guò)提供詳盡文檔和教程等方式給予開(kāi)發(fā)者支持。

海光產(chǎn)業(yè)生態(tài)合作組織

海光信息技術(shù)股份有限公司

生態(tài)貢獻(xiàn)

海光產(chǎn)業(yè)生態(tài)合作組織（簡(jiǎn)稱：光合組織）是海光信息打造的貫通“芯片設(shè)計(jì)與制造—整機(jī)系統(tǒng)—軟件生態(tài)—應(yīng)用服務(wù)”各個(gè)環(huán)節(jié)的開(kāi)放創(chuàng)新鏈和產(chǎn)業(yè)鏈，凝聚了超過(guò)4000家上下游合作伙伴。該組織通過(guò)共同開(kāi)展技術(shù)攻關(guān)、方案優(yōu)化、應(yīng)用創(chuàng)新及市場(chǎng)開(kāi)拓，為千行百業(yè)提供了高質(zhì)量的產(chǎn)品及解決方案。海光信息C86-3G、C86-4G等CPU系列產(chǎn)品，深算一號(hào)、深算二號(hào)等DCU系列產(chǎn)品，完全兼容x86指令集以及國(guó)際主流操作系統(tǒng)和應(yīng)用軟件,為該組織的應(yīng)用拓展提供了產(chǎn)品基礎(chǔ)。

慶陽(yáng)“東數(shù)西算”智能算力樞紐示范工程

上海燧原科技股份有限公司

卓越應(yīng)用

2024年6月19日，由燧原科技支持建設(shè)的全國(guó)算力樞紐（甘肅·慶陽(yáng)）首批萬(wàn)P算力上線，首個(gè)國(guó)產(chǎn)萬(wàn)卡算力集群?jiǎn)?dòng)。該算力集群搭建燧原科技新一代人工智能推理加速卡“燧原S60”。在項(xiàng)目建設(shè)過(guò)程中，燧原科技致力于打造智算中心的新范式，解決誰(shuí)來(lái)建設(shè)、如何運(yùn)營(yíng)、用戶在哪三大核心問(wèn)題，整合貫通智算產(chǎn)業(yè)生態(tài)鏈條，實(shí)現(xiàn)了智算中心“建”、“運(yùn)”、“用”的商業(yè)閉環(huán)與可持續(xù)發(fā)展，助力慶陽(yáng)充分發(fā)揮大模型算力資源優(yōu)勢(shì)，發(fā)展人工智能技術(shù)應(yīng)用，實(shí)現(xiàn)當(dāng)?shù)禺a(chǎn)業(yè)集聚和人才匯聚。

NVIDIA以太網(wǎng)加速xAI構(gòu)建全球最大AI超級(jí)計(jì)算機(jī)

英偉達(dá)公司

卓越應(yīng)用

2024年10月，英偉達(dá)宣布人工智能初創(chuàng)企業(yè)xAI的 Colossus 超級(jí)計(jì)算機(jī)集群達(dá)到了10萬(wàn)顆 NVIDIA Hopper GPU規(guī)模。該集群使用了英偉達(dá)第一款專為 AI打造的以太網(wǎng)網(wǎng)絡(luò)平臺(tái) NVIDIA Spectrum-X，是專為多租戶、超大規(guī)模的 AI 工廠設(shè)計(jì)的 RDMA（遠(yuǎn)程直接內(nèi)存訪問(wèn)）網(wǎng)絡(luò)。Colossus 是世界上最大的 AI 超級(jí)計(jì)算機(jī)之一，被用于訓(xùn)練 xAI 的Grok系列大語(yǔ)言模型，以及為訂閱用戶提供的聊天機(jī)器人功能。xAI和英偉達(dá)用了122天就建成了所有配套設(shè)施和Colossus超級(jí)計(jì)算機(jī)，從第一個(gè)機(jī)架落地到開(kāi)始訓(xùn)練任務(wù)，只用了19天。而建造這種規(guī)模的系統(tǒng)通常需要數(shù)月乃至數(shù)年的時(shí)間。