電子發燒友網報道(文/李彎彎)如今隨著技術發展,計算任務越來越復雜,而在馮諾依曼架構中,數據需要在存儲、內存、緩存、計算單元中不斷搬運,造成大部分時間、帶寬、緩存、功耗都消耗在數據搬運上,而不是計算上,因此存儲墻成了一個越來越嚴重的問題。
存內計算,故名思義就是把計算單元嵌入到內存當中,理想中是可以完美解決存儲墻的問題,近幾年,三星、SK海力士、臺積電、英特爾、美光、阿里等半導體領域巨頭都在積極研發,許多新興企業也陸續加入進來,并取得了不錯進展。
面對打得火熱的存內計算,也有人認為,存內計算可能行不通,有幾個方面的原因:一是AI算法模型的容量比較大,而這個在存儲器里面做計算,成本會非常高;二是受限于存儲芯片的工藝,比如說密度要做到很高,良品率要比較高,工藝就比較難以做到。
那么存內計算到底可不可行?存內計算未來的市場機會點在哪里?蘋芯科技CEO楊越在接受電子發燒友采訪時,針對在存儲器內做計算成本不會太高,存儲芯片工藝能不能行,存內計算的主要的應用場景方向,做了詳細的分享和解答。
存內計算到底可不可行
針對“AI算法模型的容量比較大,而這個在存儲器里面做計算,成本會非常高”的疑問,楊越解釋道,有人認為在存儲器里面做計算,成本會高,是因為他們認為要容下非常多網絡參數,就需要把存儲器做得非常大,存儲器做大就意味著成本高。
針對這個問題,楊越表示目前已經有很多方法可以解決。
第一,在算法模型上進行解決,即將網絡模型輕量化,比如知識蒸餾,簡單來說就是減少算法模型中的參數的存儲需求,目前已經有很多非常成熟的方法,比如CNN壓縮,就是屬于這一類。
蘋芯科技以S200為基礎搭建的功能演示平臺,在這個演示系統里,就采用了其中一種基于神經網絡架構搜索NAS的方法來得到輕量化的模型,而且能完成非常高的識別率,可以達到99%的關鍵字識別功能。S200是蘋芯首款可商用的存內計算芯片,以S200為基礎搭建功能演示平臺,目的是演示在28nm工藝節點上的存內計算可以跑通端對端的神經網絡。
第二,從可擴展的架構設計上著手。楊越表示我們可以試圖打破將整個算法模型必須同時全部加載到內存中之后,才可以開始計算的固化假設。相應地,一個好的存算架構是可以支持以計算負載為主或以存儲負載為主的不同任務,從而形成一個基于存內計算的向上適配能力強的算力平臺。
第三,可以通過使用新型存儲器解決這個問題,包括磁性存儲器MRAM和憶阻器RRAM,相比于SRAM來說,MRAM和RRAM都有更高的存儲密度,所以從存儲單元介質本身就可以做到更大,這樣可以達到存儲更多計算參數的目的。
可以看到,從這三個方面著手,都可以達到解決AI算法模型太大,存儲器要放下這么多數據,需要把存儲器做得很大,從而帶來成本高的問題。
針對存儲芯片的工藝可能帶來限制的問題,楊越談到,蘋芯科技主要是基于SRAM的存內計算,目前SRAM的工藝已經非常成熟,就存儲器器件本身來說,市面上已經有7nm、5nm的產品,成熟工藝的良率很有保證。
“另外,對于新型存儲器MRAM和RRAM,頭部代工廠也已經有22nm甚至更高制程的量產線。”楊越說,所以在他看來,存內計算技術可以跟隨新型存儲器器件本身的技術逐步共同走向成熟。
另外需要提到的一點是,新型存儲器MRAM和RRAM雖然可以解決容量不大這個問題,但是作為一個新的產品類型,還存在一些挑戰,比如在可靠性,耐用性上存在一些挑戰。不過楊越預計在近期未來新型存儲就會達到商業成熟化的程度。
蘋芯科技雖然成立時間不長,但是團隊在創業前期就已經有很長時間的積累,存內計算是一項技術壁壘非常高的工程,而蘋芯科技在包括從底層內存器件的物理特性的理解,到上層芯片架構的設計,再到最后產品落地成本的控制上都有足夠的積累,在各個技術棧都有自己的IP,蘋芯科技也是第一個擁有工業級28nm SRAM存內計算加速單元DEMO的團隊,并首次利用RRAM存內計算完成基于LeNet的CIFAR10的識別任務。
蘋芯科技下一代芯片S300已從代工廠回片,據楊越介紹,目前工程團隊,正在進行相應的測試和展示工作,相較于S200,S300具有更強大的計算能力,可以兼容更多網絡模型,從而支持更豐富的邊緣端應用場景。
存內計算的機會點在哪里
我們知道,存內計算有多種不同的技術路線,每個技術路線各有特點,比如Flash的優點是密度比較高,DRAM成本會比較低,磁性存儲器MRAM、憶阻器RRAM除了存儲密度比較高之外,功耗也比較低,楊越說:“這兩類新型存儲器MRAM和RRAM代表著存內計算的未來。”不過因為是新技術,就如上文所言,在工藝成熟度和商業化上還需要一些耐心。
蘋芯科技采用的是SRAM+MRAM和RRAM混合技術路線。楊越解釋說:“之所以選擇這樣的技術路線,背后的原因是,SRAM作為讀寫速度最快的內存介質,具備很多優勢,比如,它可以向更先進的制程節點兼容,具備高能效比的計算優勢,同時它又不存在其他非易失性存儲所具備的耐久性問題,更重要的是,基于SRAM的設計方案,可以支持純數字化設計,從而能夠解決很多應用場景所關心的精度問題。”
蘋芯選擇新型存儲器,一是因為它具有高性能天花板,二是這也有利于團隊核心成員更好地發揮過往的技術積累和工程經驗。
存內計算未來的應用個機會點在哪里呢?現在很多具有AI計算功能的芯片,包括GPU、FPGA以及NPU、SOC等,都是基于傳統的馮諾伊曼架構設計的,會受到存儲墻、功耗墻的約束,這就導致他們在絕對計算上很強,但在整個計算效率上存在天花板。
而存內計算就可以彌補這些問題,短期來看,存內計算的主要市場機會主要會出現在端側的產品上,因為存內計算的技術優勢,能夠提供比較高的計算效率和比較低的功耗,比如可穿戴設備、智能家居等是非常適合存內計算的應用方向。
長期來看,隨著新型存儲器工藝的成熟,它不但會給低功耗的市場帶來機會,同時會把計算能力提升2-3個量級,讓存內計算的應用擴展到更多場景中,比如在一些用電量受限,但對絕對算力仍然有要求的場景層面,存內計算就可以給客戶帶來差異化的選擇機會。
小結
如Gardner曲線的解讀,任何新興技術在發展初期都會經歷一些起伏,尤其像存內計算這種在底層上有巨大突破的技術,從最初的熱捧,到發展期的理性,到成長期的企穩上升,再到最后產品商業化。扎實的技術背景和可靠的工程化能力,是存內計算企業立足市場并獲得客戶認可的重要基礎。我們期待著更多更好的技術與產品,為智能化場景描繪出更美好的未來。
-
數據
+關注
關注
8文章
7145瀏覽量
89591 -
計算
+關注
關注
2文章
451瀏覽量
38866 -
AI算法
+關注
關注
0文章
252瀏覽量
12344
發布評論請先 登錄
相關推薦
知存科技啟動首屆存內計算創新大賽
知存科技推動新一代存內計算芯片產品產業化進程
論基于電壓域的SRAM存內計算技術的嶄新前景
![論基于電壓域的SRAM<b class='flag-5'>存</b><b class='flag-5'>內</b><b class='flag-5'>計算</b>技術的嶄新前景](https://file1.elecfans.com//web2/M00/E6/01/wKgZomZFyeWAQx4GAACHmdSr7KI528.png)
存內計算WTM2101編譯工具鏈 資料
探索存內計算—基于 SRAM 的存內計算與基于 MRAM 的存算一體的探究
![探索<b class='flag-5'>存</b><b class='flag-5'>內</b><b class='flag-5'>計算</b>—基于 SRAM 的<b class='flag-5'>存</b><b class='flag-5'>內</b><b class='flag-5'>計算</b>與基于 MRAM 的<b class='flag-5'>存</b>算一體的探究](https://file1.elecfans.com/web2/M00/E6/E2/wKgaomZFvUmAdDhcAAOm7CA4uuk723.png)
存內計算芯片研究進展及應用
![<b class='flag-5'>存</b><b class='flag-5'>內</b><b class='flag-5'>計算</b>芯片研究進展及應用](https://file1.elecfans.com/web2/M00/E6/DF/wKgaomZFtOWAUuK5AA-8Vgn6BQ0843.png)
評論