多倫多—有時問題可以變成它自己的解決方案。

對于CEA-Leti科學家而言，這意味著先前被視為“非理想”的電阻性RAM（ReRAM）器件的特性可能是克服開發(fā)基于ReRAM的邊緣學習系統(tǒng)的障礙的答案，自然電子公司最近的出版物題為“通過馬爾可夫鏈蒙特卡洛采樣利用內(nèi)在憶阻器可變性進行原位學習”。它描述了如何使用RRAM或憶阻器技術(shù)來創(chuàng)建智能系統(tǒng)，該系統(tǒng)在邊緣獨立于云進行本地學習。

托馬斯·達爾加蒂

法國格勒諾布爾大學（CEA-Leti）的CEA-Leti科學家Thomas Dalgaty解釋說，該團隊如何能夠解決ReRAM技術(shù)固有的非理想性-當前基于ReRAM的邊緣方法中使用的學習算法無法與設備編程的隨機性相協(xié)調(diào)，或者可變性等。在EE Times的電話采訪中，他說解決方案是在制造好的芯片中實施馬爾可夫鏈蒙特卡洛（MCMC）采樣學習算法，該芯片充當貝葉斯機器學習模型，該模型積極利用憶阻器隨機性。

出于研究目的，Dalgaty說，清楚定義邊緣系統(tǒng)的含義很重要。它不僅不可能連接到具有大內(nèi)存和標記數(shù)據(jù)的基本云計算資源，而且它的系統(tǒng)并未真正連接到大能源。他說，這很重要，因為在邊緣使用ReRAM的吸引力之一是存儲器的低功耗。“在邊緣，您必須擁有許多未標記的數(shù)據(jù)，以便在本地了解自己的情況。”

Dalgaty說，機器學習模型通常使用基于von Neumann架構(gòu)的通用硬件進行訓練，該架構(gòu)不太適合邊緣學習，因為邊緣學習系統(tǒng)是分布式，受能量限制和受內(nèi)存限制的系統(tǒng)。“ ReRAM對這類系統(tǒng)很有趣的原因是，一旦您開始使用設備的模擬屬性進行計算，就不必關(guān)心所謂的馮·諾依曼存儲區(qū)中的自存儲信息并將其傳輸?shù)教幚磉^程中了。中心。”

他說，盡管有很大的潛力可以減少這些邊緣系統(tǒng)中使用的能源，但ReRAM器件對于實現(xiàn)標準的機器學習算法而言過于隨機。憶阻器可變性意味著您不能對學習模型的參數(shù)進行特定更改，而這種可變性是需要克服的。

CEA-Leti研究人員在制造的芯片中實施了馬爾可夫鏈蒙特卡洛（MCMC）算法，以積極利用憶阻器隨機性ReRAM進行邊緣學習系統(tǒng)的使用。（由CEA-Leti提供）

Dalgaty說，研究人員一直在撞墻，試圖減輕憶阻器的可變性以利用ReRAM器件的效率，然后意識到答案是使用憶阻器可變性而不是試圖與之對抗。隨機變異性。在制造的芯片中實施MCMC采樣學習算法可減輕隨機性，而無需任何能源密集型技術(shù)。

他說，通過利用隨機性而不是防止隨機性，可以通過將納秒級的電壓脈沖應用于納米級ReRAM存儲設備來實現(xiàn)高效的原位機器學習。實際上，與該算法的標準CMOS實施相比，該方法所需的能源要少五個數(shù)量級（研究團隊采用了與CMOS兼容的二氧化ha技術(shù)）。Dalgaty說，這類邊緣計算系統(tǒng)的真實例子可以是植入式醫(yī)療系統(tǒng)，該系統(tǒng)可以根據(jù)患者的發(fā)展狀況在本地更新其操作。該研究小組已經(jīng)通過實驗將其基于ReRAM的MCMC應用于訓練多層貝葉斯神經(jīng)網(wǎng)絡，以從心電圖記錄中檢測出心律不齊，

他說，這是一個正在研究的應用程序的例子，但是與所有這種性質(zhì)的研究一樣，在此方法要在現(xiàn)實世界中找到商業(yè)應用程序之前，還有許多工作要做，并且尚不清楚所有這些內(nèi)容是什么。他們可能是。最終，希望是它可以使機器學習處于盡頭，而無需當前所需的大量能量和內(nèi)存。

ReRAM被認為是人工智能（AI）和機器學習應用的良好候選者，并且具有模仿人腦如何在神經(jīng)元和突觸級學習和處理信息的潛力。擴展神經(jīng)形態(tài)架構(gòu)被認為將從ReRAM設備中受益，因為它們比使用DRAM，閃存甚至是高帶寬內(nèi)存（HBM）的當前AI數(shù)據(jù)中心要小得多，并且能效更高。

ReRAM的制造商，例如Weebit Nano，已經(jīng)通過最近的研究合作關(guān)系投入了時間和資源，其中包括與德里印度理工學院（IITD）的非易失性存儲器小組合作進行的一項合作研究項目，該項目將采用Weebit的氧化硅（SiOx）ReRAM技術(shù)用于AI的計算機芯片。最近，米蘭理工大學（米蘭理工大學）的研究人員在與該公司的論文中進行了聯(lián)合研究，該研究詳細介紹了基于Weebit的SiOx ReRAM的新型AI自學演示，概述了靈感來自大腦的AI系統(tǒng)如何在不受監(jiān)督的情況下執(zhí)行以高精度結(jié)果學習任務。

Weebit的ReRAM單元由兩層金屬層和一層氧化硅（SiOx）層組成，這兩層之間的材料可用于現(xiàn)有生產(chǎn)線中，從而使其成為AI和機器學習架構(gòu)的潛在成本效益，低功耗選擇（Courtesy Weebit Nano ）。

Weebit Nano已經(jīng)與CEA-Leti建立了長期合作伙伴關(guān)系，以開發(fā)其ReRAM技術(shù)，但是與嵌入式ReRAM計劃相比，其對神經(jīng)形態(tài)應用的研究工作的優(yōu)先級較低，這對推動公司收入至關(guān)重要，并且其重點是響應客戶對分立的ReRAM存儲器組件的需求。但是，它并不是唯一一家對AI機會感興趣的ReRAM制造商-在2019年，一個由SCAiLE（邊緣學習的可管理AI）組成的財團成立了，其中包括ReRAM制造商Crossbar來創(chuàng)建使用ReRAM的AI平臺。

無論內(nèi)存類型如何，內(nèi)存都將駐留在AI和機器學習架構(gòu)中成為重點關(guān)注的領域。大數(shù)據(jù)應用程序已經(jīng)推動了對使內(nèi)存更接近計算資源的體系結(jié)構(gòu)的需求。人工智能和機器學習已經(jīng)放大了這種需求，因為它們通過神經(jīng)網(wǎng)絡對龐大的數(shù)據(jù)矩陣進行多次累積操作。由于機器學習是通過處理數(shù)據(jù)來學習的，因此有很大的動力來尋找將計算和內(nèi)存更緊密地結(jié)合在一起的方法，這最終將節(jié)省功耗并提高性能。

編輯：hfy