移動端


微電子所等在憶阻器實現(xiàn)連續(xù)學習方面取得進展

2022-06-13 10:45:11來源：中科院微電子研究所 閱讀量：100 評論

分享：

導讀：近年來，以深度學習和神經(jīng)網(wǎng)絡為代表的人工智能技術(shù)，在人臉識別、自動駕駛、智慧城市和健康監(jiān)測等領(lǐng)域迅速發(fā)展。

　　憶阻器，全稱記憶電阻器，是表示磁通與電荷關(guān)系的電路器件，是除電阻器、電容器和電感器以外的第四大電路元件。它實際上就是一個有記憶功能的非線性電阻器。憶阻具有電阻的量綱，但和電阻不同的是，憶阻的阻值是由流經(jīng)它的電荷確定。因此，通過測定憶阻的阻值，便可知道流經(jīng)它的電荷量，從而有記憶電荷的作用。
 
　　近年來，以深度學習和神經(jīng)網(wǎng)絡為代表的人工智能技術(shù)，在人臉識別、自動駕駛、智慧城市和健康監(jiān)測等領(lǐng)域迅速發(fā)展。然而，傳統(tǒng)神經(jīng)網(wǎng)絡模型在處理多任務連續(xù)學習時面臨災難性遺忘問題，即神經(jīng)網(wǎng)絡在學習新任務時會遺忘已學到的知識，導致在執(zhí)行先前任務時性能大幅下降。
 
　　中國科學院院士、中科院微電子研究所微電子器件與集成技術(shù)重點實驗室研究員劉明團隊研究員尚大山、香港大學博士王中銳與清華大學教授劉勇攀等，基于憶阻器存算一體芯片，開發(fā)了一款軟-硬件協(xié)同設計的連續(xù)學習原型系統(tǒng)。
 
　　在軟件方面，受人類大腦啟發(fā)，科研團隊提出了一種基于突觸元可塑性的混合精度連續(xù)學習模型(MPCL)。該模型采用前饋全連接神經(jīng)網(wǎng)絡架構(gòu)，其中隱藏層權(quán)重分別由二值權(quán)重和浮點型權(quán)重兩部分組成(圖a)。模型進行多任務連續(xù)學習時采用非對稱權(quán)重更新策略，通過限制與新任務相關(guān)性弱的權(quán)重更新，平衡權(quán)重的可塑性與穩(wěn)定性，從而有效緩解災難性遺忘(圖b)。
 
　　在硬件方面，科研人員將MPCL模型部署在一個由憶阻器(RRAM)存算一體(IMC)芯片和通用數(shù)字處理器組成的混合模擬數(shù)字硬件系統(tǒng)上(圖c)。通過將二進制權(quán)重映射到憶阻器陣列，該系統(tǒng)采用IMC計算范式，利用基爾霍夫定律和歐姆定律加速向量矩陣乘法操作，減少了處理器和存儲器之間數(shù)據(jù)傳輸?shù)哪芰亢蜁r間開銷。
 
　　同時，為減輕憶阻器非理想因素對系統(tǒng)性能的影響，研究團隊在軟件模擬中重構(gòu)了與硬件完全相同的計算流程，利用原位精調(diào)的方法優(yōu)化了權(quán)重的映射過程，并使硬件系統(tǒng)在保持推理準確率的同時最大限度地提高計算并行度(圖d)。
 
　　據(jù)了解，該原型系統(tǒng)在MNIST和Fashion MNIST數(shù)據(jù)集上分別實現(xiàn)五個任務連續(xù)學習94.9%和95.3%的平均準確率(圖e)，同時，相較于傳統(tǒng)數(shù)字系統(tǒng)，核心運算能耗得到大幅降低(圖f)。這種基于憶阻器存算一體能力的連續(xù)學習實現(xiàn)方案，為未來構(gòu)建具有自適應能力的低能耗人工智能體提供了參考。
 
　　近日，相關(guān)研究成果發(fā)表在《先進智能系統(tǒng)》(Advanced Intelligent Systems)上。Wiley學術(shù)出版集團科技新聞網(wǎng)站Advanced Science News以Continual learning, just like humans為題，對該成果進行了專題報道。研究工作得到科技部、國家自然科學基金委員會、中科院與香港大學的支持。
 

 

　　a、混合精度連續(xù)學習模型程序框圖；b、非對稱更新策略限制權(quán)重更新；c、基于憶阻器芯片的數(shù)?；旌嫌布到y(tǒng)；d、并行度優(yōu)化前后準確率對比；e、多任務連續(xù)學習的硬件準確率與軟件基準對比；f、與數(shù)字系統(tǒng)MAC功耗對比。.html
版權(quán)與免責聲明：1.凡本網(wǎng)注明“來源：興旺寶裝備總站”的所有作品，均為浙江興旺寶明通網(wǎng)絡有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應在授權(quán)范圍內(nèi)使用，并注明“來源：興旺寶裝備總站”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來源（非興旺寶裝備總站）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點或和對其真實性負責，不承擔此類作品侵權(quán)行為的直接責任及連帶責任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時，必須保留本網(wǎng)注明的作品第一來源，并自負版權(quán)等法律責任。 3.如涉及作品內(nèi)容、版權(quán)等問題，請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。
我來評論

昵稱 驗證碼

文明上網(wǎng)，理性發(fā)言。（您還可以輸入200個字符)

所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)

    相關(guān)新聞