衡阳派盒市场营销有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

芯科技,解密ChatGPT暢聊之算力芯片

是德科技KEYSIGHT ? 來源:未知 ? 2023-12-27 07:45 ? 次閱讀

在今日飛速發展的科技浪潮中,OpenAI的ChatGPT如一顆璀璨明星,引領著智能對話的新潮流。ChatGPT不僅是一款聊天機器人程序,它背后的驅動力是一個龐大而復雜的算力網絡。這個網絡依賴于先進的GPU服務器,尤其是英偉達的A100 GPU,提供了強大而精確的計算能力。ChatGPT的功能遠超日常對話,它能夠學習、理解并生成人類般的文本,是人工智能領域的一個重要突破。但其真正力量的源泉,是背后那些不斷工作的算力芯片,它們讓ChatGPT能夠實時響應和進化,成為我們生活和工作中的得力助手。

本期是“芯科技”欄目第一期,文末有驚喜,千萬別錯過!

作為OpenAI研發的聊天機器人程序,支撐ChatGPT運轉的可不是簡單的一臺機器,而是一個龐大的算力網絡。這個算力網絡可以抽象為三層:傳輸網絡、計算網絡和存儲網絡。如下圖:

wKgZomWLZrKAA38rAAHaga7MSPs531.png

圖:算力網絡示意圖

當前,大部分算力網絡所采用的是GPU服務器,并廣泛使用英偉達A100 GPU。A100 GPU屬于算力芯片的一種,類型是GPGPU,此外還有專用的ASIC,比如NPU、VPU和TPU等,以及傳統的CPUFPGA等。我們通過下面這張圖能夠比較直觀地看到GPGPU在性能、算法精度、通用性等方面的優勢。

算力芯片對比

指標

GPGPU

CPU

FPGA

ASIC

算力性能

極低

較高

芯片成本

較高

系統成本

功耗

能效比

極低

通用性

算力精度

豐富

單一

單一

單一

算法適配

豐富

單一

單一

單一

數據并行能力

適用場景

云端訓練和推理

任務調度類

云邊端推理

云邊端訓練和推理

圖:算力芯片分類

綜合而言,GPGPU是一款算力性能高,算力類型豐富,算法框架適配完全,數據并行能力強的算力芯片,更加適合當前多模態AI模型的發展。

在算力網絡中,GPGPU芯片要發揮性能光靠自己可不行,需要系統的配合。在這個系統內:CPU負責任務調度;GPU負責主要的算力輸出,也就是計算任務;內存負責數據暫存,配合GPU進行計算。

wKgZomWLZrKAMmUUAAXO92vc_Ko414.png

圖:算力網絡芯片分工示意圖

為了提升計算效率,減少數據傳輸的延時,英偉達A100在芯片封裝內搭載了HBM內存,其具有傳輸距離近,速度帶寬高,堆疊容量大的優勢。

wKgZomWLZrOAWncQAAPS3eFl3OM467.png

圖:HBM內存,示意圖

HBM這種芯片封裝內搭載內存的方式,成本是比較高的,因此大部分AI服務器選擇將計算芯片和內存分開,為了提升這種方式下內存的傳輸速度,內存標準也在不斷演進,已經迭代到DDR5。

wKgZomWLZrOAB72rAAK802-g8kw934.png

圖:內存技術發展

內存的發展趨勢是速度更快、尺寸更小、功耗更低。為了保障內存的高性能和穩定性,在測試環節,需要進行各種功能、性能和可靠性等方面測試,其中需要用到高速誤碼儀,示波器,協議分析儀,一致性分析軟件等軟硬件組合,如下圖:

wKgZomWLZrOATm9oAARdZyO2bdI224.png

圖:是德科技DDR5測試拓撲圖

是德科技,對算力芯片,總線技術PCIe/CXL,存儲技術DDR/LPDDR等都有完整的解決方案,更多有關算力芯片測試,請參考文章下載鏈接:

點擊注冊

作為是德科技 “芯科技” 系列第一期,我們特意為大家準備了精美的禮品抽獎,也歡迎大家留言,把你想學習的知識,你和是德科技的故事,一起告訴小編!


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 是德科技
    +關注

    關注

    20

    文章

    894

    瀏覽量

    82026

原文標題:芯科技,解密ChatGPT暢聊之算力芯片

文章出處:【微信號:是德科技KEYSIGHT,微信公眾號:是德科技KEYSIGHT】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    為企業量身定制解決方案

    面對智產業發展趨勢,寧在2024年世界互聯網大會上,正式提出“精裝”概念,希望為智基礎設施的建設與運維、乃至智算算
    的頭像 發表于 01-23 16:21 ?382次閱讀

    中心的如何衡量?

    作為當下科技發展的重要基礎設施,其的衡量關乎其能否高效支撐人工智能、大數據分析等智能應用的運行。以下是對智中心算衡量的詳細闡述:一、
    的頭像 發表于 01-16 14:03 ?468次閱讀
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    科技云報到:要更要“利”,“精裝”觸發大模型產業新變局?

    科技云報到:要更要“利”,“精裝”觸發大模型產業新變局?
    的頭像 發表于 01-16 10:24 ?113次閱讀

    澎峰科技助力中國移動 重磅發布智合”原生基礎軟件棧2.0

    原生基礎軟件棧2.0。 芯片是智生態的基石,基礎軟件棧是智生態的核心。澎峰科技憑借在高性能計算庫和跨架構領域的深厚積累,自
    的頭像 發表于 12-03 15:08 ?354次閱讀
    澎峰科技助力中國移動 重磅發布智<b class='flag-5'>算</b>“<b class='flag-5'>芯</b>合”<b class='flag-5'>算</b><b class='flag-5'>力</b>原生基礎軟件棧2.0

    一體架構創新助力國產大AI芯片騰飛

    在灣展SEMiBAY2024《AI芯片與高性能計算(HPC)應用論壇》上,億鑄科技高級副總裁徐芳發表了題為《存一體架構創新助力國產大
    的頭像 發表于 10-23 14:48 ?418次閱讀

    【「芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--全書概覽

    本帖最后由 1653149838.791300 于 2024-10-16 22:19 編輯 感謝平臺提供的書籍,厚厚的一本,很有分量,感謝作者的傾力付出成書。 本書主要講芯片CPU
    發表于 10-15 22:08

    名單公布!【書籍評測活動NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構分析

    試用評測資格! 前言 不知不覺中,我們來到一個計算機科學飛速發展的時代,手機和計算機中各類便捷的軟件已經融入日常生活,在此背景下,硬件特別是強勁的芯片,對于軟件服務起到不可替代的支撐作用。
    發表于 09-02 10:09

    淺析三大異同

    隨著一年多前ChatGPT的出現引爆人工智能(AI)浪潮,支撐大模型背后的“”概念突然闖進我們的視野,成為科技圈炙手可熱的新詞,引領著最新潮流。作為數字經濟時代新生產,也許不少人
    的頭像 發表于 08-30 12:56 ?1181次閱讀
    淺析三大<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>之</b>異同

    安謀科技異構賦能AI計算,此科技首款AI PC芯片發布

    7月30日,此科技集團有限公司(以下簡稱“此科技”)AI PC戰略暨首款芯片發布會在上海舉行,正式推出了其首款專為AI PC打造的異構高能效芯片產品——“此
    發表于 07-31 14:36 ?1104次閱讀
    安謀科技異構<b class='flag-5'>算</b><b class='flag-5'>力</b>賦能AI計算,此<b class='flag-5'>芯</b>科技首款AI PC<b class='flag-5'>芯片</b>發布

    耀輝科技解讀高速互連對于AI和大芯片而言意味著什么?

    近年來,隨著人工智能技術的迅猛發展,大芯片已成為推動AI技術創新的關鍵力量。然而,隨著芯片內部計算單元數量的增加和任務復雜度的提升,互連已成為一個嚴重的瓶頸,制約著
    的頭像 發表于 07-08 11:39 ?1032次閱讀

    商湯科技采購40000顆英偉達芯片,縮小中美差距

    徐冰認為,國產芯片崛起以及商品化帶來的投資價值,使中美差距有望逐步縮小。只要中國持續在
    的頭像 發表于 05-28 11:25 ?1408次閱讀

    揭秘芯片:為何它如此關鍵?

    在數字化時代,芯片作為電子設備的核心組件,其性能直接關系到設備的運行速度和處理能力。而芯片,即其計算能力,更是衡量芯片性能的重要指標。
    的頭像 發表于 05-09 08:27 ?1284次閱讀
    揭秘<b class='flag-5'>芯片</b><b class='flag-5'>算</b><b class='flag-5'>力</b>:為何它如此關鍵?

    時代, 如何打破內存墻

    設計的不斷革新,進入了大時代。 目前,主流AI芯片的架構仍然沿用了傳統的馮·諾依曼模型,這一設計將計算單元與數據存儲分離。在這種架構下,處理器需要從內存中讀取數據,執行計算任務,然后將結果寫回內存。盡管AI
    的頭像 發表于 03-06 19:51 ?352次閱讀
    大<b class='flag-5'>算</b><b class='flag-5'>力</b>時代, 如何打破內存墻

    芯片:未來科技的加速器?

    在數字化時代,芯片作為電子設備的核心組件,其性能直接關系到設備的運行速度和處理能力。而芯片,即其計算能力,更是衡量芯片性能的重要指標。
    的頭像 發表于 02-27 09:42 ?999次閱讀
    高<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>芯片</b>:未來科技的加速器?
    优博百家乐官网yobo88| 澳门百家乐| 大发888真钱游戏下载365| 塑料百家乐官网筹码| 九州百家乐的玩法技巧和规则| 金沙百家乐官网娱乐城场| 网上百家乐大赢家筹码| 破解百家乐官网打路单| 玩百家乐的玩法技巧和规则| 太阳城百家乐官网祖玛| 澳门百家乐论坛及玩法| 百家乐官网出千的高科技| 威尼斯人娱乐城代理佣金| 百家乐官网全部规| 大发888现金存款| 路冲铺面能做生意吗| 陇南市| 新2百家乐现金网百家乐现金网| 百家乐官网园游戏庄闲| 加州百家乐的玩法技巧和规则| 宝博百家乐官网娱乐城| 二八杠的玩法| 百家乐官网和怎么算输赢| 新澳博| 百家乐讲坛汉献| 迪威百家乐官网娱乐网| 盈禾| 高科技百家乐牌具| 香港六合彩现场直播| 网上百家乐的赌博网站| 破解百家乐官网公式| 博狗备用| 百家乐怎赌才赢钱| 百家乐官网的看路技巧| 香港六合彩开码| 太阳城百家乐公司| 百家乐官网的路图片| 娱乐城送体验金38元| 赌博百家乐赢钱方法| 希尔顿百家乐官网试玩| 真人娱乐城排行榜|