L40S基于Ada Lovelace架構(gòu)，配備有48GB的GDDR6顯存和 846GB/s 的帶寬。在第四代 Tensor 核心和 FP8 Transformer 引擎的加持下，可以提供超過(guò) 1.45 PFLOPS 的張量處理能力。根據(jù)英偉達(dá)給出的數(shù)據(jù)，在微調(diào)（Fine-tune）和推理場(chǎng)景的測(cè)試用例下，L40S 的計(jì)算效率較 A100 均有所提高。

相比于 A100 GPU，L40S 在顯存、算力等多方面有所差異：

（1）L40S采用較為成熟的GDDR6顯存，相比A100與H100使用的 HBM 顯存，在顯存帶寬上有所降低，但技術(shù)更成熟，市場(chǎng)供應(yīng)較為充足。

（2）L40S 在 FP16 算力（智能算力）上較 A100 有所提高，在 FP32 算力（通用算力）上較 A100 提高明顯，更適應(yīng)科學(xué)計(jì)算等場(chǎng)景。

（3）L40S 在功率上較 A100 有所降低，有利于降低數(shù)據(jù)中心相關(guān)能耗。

（4）根據(jù) Super Micro 的數(shù)據(jù)，L40S 在性價(jià)比上較 A100 更有優(yōu)勢(shì)。

與A100 類似，L40S 通過(guò) 16 通道的 PCIe Gen 4 接口與 CPU進(jìn)行通信，最大雙向傳輸速率為 64 GB/s。相比之下，NVIDIAGrace Hopper 通過(guò) NVLink-C2C 技術(shù)將 Hopper 架構(gòu)的 GPU 與Grace 架構(gòu)的 CPU 相連，在 CPU 到 GPU、GPU 到 GPU 間實(shí)現(xiàn)900 GB/s 的總帶寬，較 PCIe Gen 5 快 7 倍。

基于Ada Lovelace架構(gòu)的L40S，配備有48GB的GDDR6顯存和846GB/s的帶寬。在第四代Tensor核心和FP8 Transformer引擎的加持下，可以提供超過(guò)1.45 PetaFLOPS的張量處理能力。

對(duì)于算力要求較高的任務(wù)，L40S的18,176個(gè)CUDA核心可以提供近5倍于A100的單精度浮點(diǎn)（FP32）性能，從而加速?gòu)?fù)雜計(jì)算和數(shù)據(jù)密集型分析。

此外，為了支持如實(shí)時(shí)渲染、產(chǎn)品設(shè)計(jì)和3D內(nèi)容創(chuàng)建等專業(yè)視覺處理工作，英偉達(dá)還為L(zhǎng)40S 還配備了142個(gè)第三代RT核心，可以提供212TFLOP的光線追蹤性能。功耗同時(shí)也達(dá)到了350瓦。

對(duì)于具有數(shù)十億參數(shù)和多種模態(tài)的生成式AI工作負(fù)載，L40S相較于A100可實(shí)現(xiàn)高達(dá)1.2倍的推理性能提升，以及高達(dá)1.7倍的訓(xùn)練性能提升。

在L40S GPU的加持下，英偉達(dá)還針對(duì)數(shù)據(jù)中心市場(chǎng)，推出了最多可搭載8張L40S的OVX服務(wù)器。英偉達(dá)方面宣布，對(duì)于擁有8.6億token的GPT3-40B模型，OVX服務(wù)器只需7個(gè)小時(shí)就能完成微調(diào)；對(duì)于Stable Diffusion XL模型，則可實(shí)現(xiàn)每分鐘80張的圖像生成。

L40S = 兩個(gè)L40 用準(zhǔn)先進(jìn)封裝（非CoWoS），利好國(guó)內(nèi)先進(jìn)封裝，畢竟高端2.5D~3D不行，給國(guó)內(nèi)2.2D封裝指了一條明路，面對(duì)日益高漲的AI需求，分析與判斷如下： （1）由于PCIe Gen4接口的限制，L40S在GPU網(wǎng)絡(luò)計(jì)算上的應(yīng)用有所限制，因此對(duì)目前800G光模塊的需求量影響有限。 （2）相較于A100，L40S在部分面向生成式人工智能模型的應(yīng)用場(chǎng)景下有計(jì)算效率上的優(yōu)勢(shì)，且更具性價(jià)比。 （3）相較于A100，L40S使用GDDR6等相對(duì)成熟技術(shù)，有助于確保上游供應(yīng)的穩(wěn)定。 （4）L40S的前述優(yōu)勢(shì)可能促使下游云廠商加大采購(gòu)，或?qū)橐?00G和400G光模塊為代表的中高速光模塊帶來(lái)新的增長(zhǎng)空間。

編輯：黃飛

?