近日,南方科技大學深港微電子學院周菲遲副教授團隊聯合香港理工大學蔡嵩驊教授團隊、北京犀靈視覺科技有限公司,在超自適應神經形態視覺器件及通用智能視覺系統研究中取得重要進展。相關研究成果以“High-Order Dynamics in An Ultra-Adaptive Neuromorphic Vision Device”為題發表于 Nature Nanotechnology。
該研究通過精準調控電子、氧離子與空位的界面/體相動力學,首次提出一種超自適應類腦視覺器件(UANV, Ultra-Adaptive Neuromorphic Vision Device),在單一器件內集成類視網膜與類視皮層的四種高階動態特性,并構建首個超高靈活度的全同質人工通用視覺智能(Artificial General Vision Intelligence, AGVI)系統原型,為構建高效、自適應的 AGVI 系統提供了全新解決方案。
自然界中視覺事件具有多動態性和不可預測性,這對傳統機器視覺系統提出了巨大挑戰。人工通用視覺智能 AGVI 作為一種新興范式,致力于在統一硬件系統中復現生物視覺系統的全頻譜動態特性以實現卓越的能效和適應性,強調同時仿生視網膜與皮層神經元的多模態信號——既包含“全或無”的脈沖動作電位,也包含與刺激成比例的漸變電位,且應能在光學與電學兩個維度下工作。而當前最先進的 AGVI 實現方案依賴于 CMOS 電路或多個新興神經形態元件的異質集成,但這導致系統體積龐大且適應性和能效受限。尤其關鍵的是,尚無單一電子器件可在同體內同時整合“類視網膜+類視皮層”的脈沖與漸變動態,并跨光/電雙域可控,仍需依賴多器件集成,這成為邁向高效 AGVI 的核心瓶頸。
針對上述挑戰,研究團隊在單一 UANV 器件中同時實現了類視網膜光脈沖神經元(Retinal Spiking Neuron, RSN)、類視網膜光分級神經元(Retinal Graded Neuron, RGN)、類皮層突觸(Cortical Synapse, CS)和類皮層神經元(Cortical Neuron, CN)等四種高階動力學行為(圖1),并展現超低功耗。這種豐富且可調控的高階動力學特性源于獨特的能帶結構,以及在光/電刺激下體相或界面處電荷載流子(電子、氧離子和空位)的協同調控。該 UANV 單器件高度集成了傳統 CMOS 實現方案中需60余個分立器件才能完成的全部功能,尤其在圖像尺寸增大時顯著減少所需器件數量,將傳統的異質系統轉變為完全同質化的緊湊系統,顯著降低功耗及提升面積效率。同時,團隊通過采用先進的原位掃描透射
電子顯微鏡(STEM)表征技術與計算機輔助設計(TCAD)仿真方法,首次深入揭示了 UANV 器件的高階動力學特性及其工作機制,為感存算一體化神經形態視覺器件設計提供了理論指導。
圖1 超自適應神經形態視覺器件(UANV)與全同質通用智能視覺系統(AGVI)系統
在 0 V 偏置下,器件展現無偏置、無外部電容、紫外-紅外寬譜的 LIF(泄漏積分發放)光脈沖神經元行為,可將連續光直接編碼為電流尖峰,展現出基于光強和照射時間的閾值脈沖發放特性(圖2)。相比傳統方案或當前多新興器件集成方案,這一模式展現出了優異的集成度、寬光譜響應及低至0 J的電學功耗。機理上,由于IxTyO1-x-y/CuO? 界面獨特的“倒三角勢阱+界面陷阱”設計,光生電子一部分形成基線電流,另一部分注入陷阱并經 Fowler–Nordheim 隧穿觸發尖峰。此外,團隊采用 Sentaurus 技術計算機輔助設計(TCAD)仿真平臺,基于器件工作機制,對光致LIF行為過程進行了完整建模,仿真結果與實驗結果高度吻合。
圖2 類視網膜光脈沖神經元(RSN)動力學行為
在?0.04–?0.1 V 偏置下,器件切換至類視網膜光分級神經元特性,對光脈沖個數/強度/波長呈非線性短期時間動力學(圖3)。機理源于CuOx層中電子的俘獲/去俘獲過程。團隊通過光電原位掃描透射電子顯微鏡(light-incorporated in situ STEM)技術進一步證明了這一機制,時間分辨電子能量損失譜(EELS-STEM) 顯示光照后氧元素空間分布幾乎不變,而 Cu-L? 邊發生約 0.22 eV 左移,光關斷后緩慢回移,證明了器件內部的光致電子俘獲/去俘獲過程。
圖3 類視網膜非脈沖神經元(RGN)動力學行為
在 0.1–0.5 V 小電壓下,器件切換至類皮層突觸模式,呈現出模擬型、非易失性的電阻開關特性,以及長期增強/抑制行為(圖4)。該動力學行為下的響應速度快至60 ns,阻態保持可長達10年。原位 EELS–STEM 表明小正脈沖(如 0.1 V)主要誘發靠近 IxTyO1-x-y一側的 O2?遷移,頂層區域 O K-edge 預峰減弱、Cu-L? 輕微左移,表現為氧化態降低;施加負脈沖后上述譜學特征可逆恢復。機理上,小電壓僅在CuOx層中靠近IxTyO1-x-y/CuOx界面處觸發 O2?外遷并在 CuO? 中形成 VO??,產生“凈摻雜效應”降低界面勢壘,從而在 LRS/HRS 間可逆調制。
圖4 類皮層突觸(CS)動力學行為
在 1.3–2 V 偏置下,器件切換至類皮層神經元動力學模式,展現出連續電脈沖驅動的泄漏積分發放(LIF)行為(圖5)。CN動力學特性源于雙重機制協同作用,包括可移動O2?離子在CuOx層遷移導致的勢壘高度調制,以及電子俘獲動力學過程。團隊進一步通過EELS-STEM實驗,直接證明了大電壓下CuOx層電子捕獲/去捕獲與氧離子遷移協同調控機制。
圖5 類皮層神經元(CN)動力學行為
基于該器件各工作模式下的高度集成動力學特性和超低功耗特性,團隊進一步構建了基于全同質UANV器件陣列的“超自適應性”的硬件系統與原型平臺(圖6)。該系統可根據不同場景需求,靈活動態分配UANV陣列中動力學模式,在統一硬件平臺上實現多場景自適應處理,同時支持異步事件驅動和同步幀驅動等多種工作范式,能夠自適應滿足動態場景與靜態圖像處理等多樣化認知成像需求。在實現多功能處理的同時,能效比高達67.89 TOPS/W,面積效率達到3.96 MOPS/F。研究人員通過將這種具備多模態高階動態特性的器件集成到高度緊湊高效的AGVI系統中,為機器視覺開辟了媲美生物視覺的無限可能。
圖6 全同質AGVI系統原型
南方科技大學為論文第一單位,深港微電子學院碩士研究生徐嘉逸、博士研究生江碧怡,香港理工大學博士后王威振為論文共同第一作者,周菲遲、蔡嵩驊為論文通訊作者。該研究得到了國家重點研發計劃、國家自然科學基金、合肥睿科微電子有限公司及香港研資局的支持。