神經形態電路的製作方法

2023-05-31 12:57:01 1

專利名稱：神經形態電路的製作方法
技術領域：
本發明涉及電子裝置和計算機硬體，並且特別地涉及用於通過神經形態電路中的 突觸樣結點(junctions)的物理性質變化進行機器學習的方法、以及執行該機器學習的系統。
背景技術：
在計算歷史的早期，計算機科學家變得對包括人腦在內的生物計算結構感興趣。 雖然連續指令處理引擎在過去的50年中已在技術上以極快的速度演進，在處理器速度和 組件密度方面有巨大的增加，雖然這些進步已伴隨著大容量存儲設備和隨機存取存儲器的 容量和訪問速度的甚至更大的增加，並且雖然基於連續指令處理引擎的現代計算機系統提 供巨大的實用性，並已產生在數字計算機的開發之前未想像到的整個新行業，但即使是最 大且速度最高的分布式計算機系統和網絡也仍不能有效地解決許多看起來簡單的問題。一 個普通的示例是照片和視頻圖像的解釋。人類能夠常常在幾分之一秒內看一眼照片並準確 地解釋對象、對象之間的相互關係、以及二維照片所表示的對象的空間組織，而攝影圖像的 等效解釋超出了運行最聰明地設計的算法的最大計算機系統的能力。另外，表徵計算機演 進的被稱為「摩爾定律」的處理能力和部件密度方面每兩年的急劇的兩倍的增加已開始變 平，部件尺寸的進一步減小現在遭遇物理限制和實踐約束，包括隨著信號線在尺寸方面的 減小而增大的電阻率、在從由於部件的電容隨著部件尺寸的減小而增大從而產生增加的熱 量的處理器散熱方面的增加的困難、由於在製造越來越小的部件過程中遇到的困難而引起 的處理器和存儲器組件中的較高缺陷和故障率、以及在設計製造設施和方法以進一步減小 部件尺寸方面的困難。由於集成電路內的部件尺寸的進一步減小經證明越來越困難，所以已開始採用多 種替換方法來增加基於集成電路的電子設備的計算能力。作為一個示例，處理器供應商正 在製造多核處理器，其通過在並行地執行各種任務的多個核上分布計算來增加計算能力。 其它努力包括在納米尺度級製造電路，使用各種分子電子學技術，並通過以與使用糾錯碼 類似的方式基於信息科學來應用理論方法從而解決缺陷和可靠性問題，以改善通過電子通 信介質進行的有缺陷的數據信號傳輸。除通過改善並增強傳統的計算方法來提高性能的努力之外，正在研究各種非傳統 方法，包括生物計算。在研究人腦的結構和功能方面已耗費了大量的研究努力。已經以微 尺度尺寸以及以分子級識別並在生理學方面表徵此類生物系統中的許多基礎計算實體。例 如，雖然仍有許多東西有待學習，但是已相對透徹地理解並很好地表徵了神經元，該神經元 是負責人腦內的信號處理和信號傳輸的一種細胞。對神經元功能的此理解已啟示了計算機 科學中的許多領域，包括人工智慧的神經網絡和感知網絡子領域。已開發了神經網絡的許多成功的軟體實現以解決多種不同的應用，包括模式識別、複雜現象的原因的診斷、各種類 型的信號處理和信號去噪聲、及其它應用。然而，從結構的觀點出發，人腦是大規模地並行 的，並且雖然可以通過軟體實現和神經網絡來模擬這樣的並行性，但模擬通常束縛於處理 器周期，因為模擬必須在一個或相對小數目的連續指令處理引擎上運行，更確切地說是利 用計算系統內的物理並行性。因此，神經網絡可以提供對噪聲的容忍、學習能力及其它期望 特性，但目前未提供大規模並行生物計算結構的極快且高帶寬的計算能力。為了實現在物理、製造的設備中的生物計算結構的極快且高帶寬的計算能力，需 要在計算節點的大規模並行且互連的網絡上執行計算任務。已經提出了用於實現物理神經 網絡的許多不同方法，但到目前為止實現還沒有達到甚至相對簡單的生物結構的速度、並 行性和計算能力。另外，大規模並行硬體的設計和製造充滿許多不同的實際問題，包括大量 動態連接的可靠製造、尺寸和功率約束、散熱、可靠性、靈活性，包括可編程性、及許多其它 此類考慮因素。然而，不同於不清楚是否能夠為其找到解決方案的許多理論問題，包括人腦 在內的計算生物結構存在並定期地執行計算的驚人本領這一事實將使人想到設計並構造 具有類似計算能力和效率的計算設備的目標是相當可能的。
當前的努力意在開發稱為「神經形態電路」的納米尺度電路，其用異常高效的低 功率並行計算機器來模擬提供生物有機體的生物神經電路。然而，許多目前的方法採用 以互補型金屬氧化物半導體(「CMOS」)技術實現的傳統邏輯來實現等效於突觸的神經形 態電路，嚴重地限制可以製造等效於神經元的神經形態電路的密度，通常局限於半導體芯 片表面面積的每平方釐米幾千神經元。已經提出用於使用憶阻突觸樣結點(memristive， synapse-like junction)來實現神經形態電路的各種方法，所述憶阻突觸樣結點將在基於 平版印刷的邏輯電路中實現的神經元計算單元互連。在許多此類提出的實施方式中，總體 電路受到憶阻結點的物理性質的約束而告終，並且不期望的功率消耗水平是常常遇到且難 以改善的問題。因此，神經形態電路的研究人員和開發者、包括神經形態電路的設備的製造 商和供應商、以及最終的包括神經形態電路的設備的用戶繼續開發神經形態電路實施方式 和相關方法，該實施方式和相關方法通過神經形態電路內的突觸樣結點的物理性質的受控 和確定性變化來提供靈活、實用且低功率的突觸樣學習。

發明內容
本發明的實施例意在包含兩個或更多內部神經元計算單元的神經形態電路。每個 內部神經元計算單元包括用於接收同步信號的同步信號輸入端、用於接收輸入信號的至少 一個輸入端和用於發送輸出信號的至少一個輸出端。憶阻突觸將從第一組的一個或多個內 部神經元載送輸出信號的輸出信號線連接到向第二組的一個或多個內部神經元載送信號 的輸入信號線。


圖1示出神經元的一般化的和風格化的圖示。圖2示出神經元的更抽象表示。圖3是神經元細胞的抽象表示，其示出控制並響應用來觸發神經元輸出信號激發 的電化學梯度和信號的神經元的外部膜中的不同類型的電化學梯度和通道。
圖4 5舉例說明神經元激發。圖6舉例說明動態突觸強度現象的模型。
圖7示出典型的神經網絡節點。圖8 9舉例說明激活函數的兩個不同示例。圖10示出簡單的三級神經網絡。圖IlA B舉例說明可以用目前能得到的技術製造的納米線結點的憶阻特性。圖12A E舉例說明關於施加於由憶阻納米線結點連接的兩個信號線的電壓信號 的、隨時間推移的憶阻納米線結點電導。圖13示出混合微尺度_納米尺度神經形態集成電路的基本計算單元。圖14舉例說明對突觸行為進行建模的兩個納米線之間的憶阻結點。圖15A B舉例說明用來對突觸建模的憶阻結點的本質電子性質。圖16示出充當混合微尺度_納米尺度神經形態集成電路的各種實施例中的基本 計算單元的神經細胞。圖17A B舉例說明混合微尺度_納米尺度神經形態集成電路內的計算單元的互 連。圖18舉例說明混合微尺度_納米尺度神經形態集成電路內的計算單元的分級互 連。圖19A C舉例說明在隨後的圖中使用的多個圖示慣例。圖20舉例說明示例性神經形態電路的一小部分。圖21A 22B舉例說明指數式衰減函數的基於脈寬調製的表示。圖23示出表示本發明實施例的神經形態電路內神經元的符號表示，該神經元可 以與其它神經元的信號傳輸同步地通過憶阻突觸發送信號。圖24舉例說明根據本發明的實施例的基本信號同步模型。圖25A B舉例說明兩個不同指數式衰減函數的脈寬調製表示。圖26示出根據本發明的實施例的神經形態電路內的兩個神經元和其輸出端和輸 入端的字母數字標記。圖27A F舉例說明根據本發明的實施例的由神經形態電路中的神經元生成並發 送的恆定電壓脈衝信號。圖28A 29E舉例說明根據本發明的實施例的生成圖27A F中所示同步信號的 神經形態電路神經元信號處理邏輯的一種實施方式。圖30示出根據本發明的實施例的、可以用來將輸入信號連接到神經元的虛擬接 地電路的一種可能的實施方式。
具體實施例方式本發明意在由神經形態電路執行或在神經形態電路中實現以通過突觸樣結點的 物理狀態的受控且確定性變化來提供機器學習的神經形態電路和方法，神經形態電路的神 經元通過所述突觸樣結點被互連。下面，在第一小節中，提供神經形態電路和突觸樣結點的 概述。在第二小節中，討論本發明的方法和系統實施例。神經形態電路和神經形態電路內的突觸樣結點
牛物神經元神經元是在動物的腦中找到的一種細胞。神經元被視為基本生物計算實體(如果 不是的話)之一。據估計，人腦包含約1000億(1011)個神經元和約100萬億(1014)個神經 元之間的互連。人腦中的神經元之間的巨大數目的互連被認為與生物計算的大規模並行性 質直接相關。每個神經元是單個細胞。圖1示出神經元的廣義的和風格化的圖示。神經元102 包括包含細胞核106和各種細胞器的細胞體104，所述各種細胞器包括線粒體、多個分叉的 樹突(諸如源自細胞體104的樹突108)、以及在許多分叉的延伸部分112中終止的一般的 一個非常長的軸突110。通常，樹突提供用於從其它神經元接收信號的擴大的神經元表面面 積，而軸突用於從該神經元向其它神經元發送信號。軸突112的終末分支與其它神經元的 樹突對接，並且不經常地與細胞體對接。單個神經元可以接收多達100，000個不同的信號 輸入。同樣地，神經元可以向幾十個、幾百個、或者乃至幾千個下遊神經元發送信號。在給 定的單獨樹突和終末軸突延伸部分內，就其數目和支化度而言以及就體積和長度而言，神 經元變化極大。例如，軸突的長度在顯著小於一毫米到超過一米的範圍內。軸突長度和連 接性的此靈活性允許信號通道的分級級聯和大腦內的信號通道和級聯的基於極複雜連接 的組織。圖2示出神經元的更抽象的表示。通常可以將神經元視為節點202，其從諸如輸 入端204之類的多個輸入端接收輸入信號，並根據輸入的時間和空間特性通過激發輸出信 號206來對大於閾值強度的輸入刺激進行響應。換言之，可以將神經元視為與閾值及信號 生成和信號輸出機制組合的非常複雜的輸入信號整合器。當信號整合器在有限的時間段內 並且在節點表面的足夠小的區域內累積了足夠數目的輸入信號時，神經元通過激發輸出信 號來進行響應。如上所述，給定神經元接收到的輸入信號是由通過其它神經元的終末軸突分支與 給定神經元的樹突之間的突觸結點連接到給定神經元的其它神經元的輸出信號生成。多個 神經元之間的這些突觸或連接具有被動態調整的連接強度或權值。對連接強度或權值的調 整被認為明顯有助於學習和記憶兩者，並且表示大腦內的相當一部分的並行計算。神經元功能源自於並取決於複雜的電化學梯度和離子通道。圖3是神經元單元的 抽象表示，示出控制並響應用來觸發神經元輸出信號激發的電化學梯度和信號的神經元的 外部膜中的不同類型的電化學梯度和通道。在圖3中，將神經元表示為球狀、膜封閉細胞 302，其內容304通過包括諸如通道310之類的各種類型的通道的雙壁疏水性膜308與外界 環境306分離。所述各種類型的通道提供神經元的內部與外界環境之間的受控化學溝通。主要負責神經元特性的通道是高度選擇性的離子通道，其允許特定無機離子從外 界環境傳送到神經元中和/或從神經元內部傳送到外界環境。特別重要的無機離子包括 鈉、Na+、鉀、K+、鈣、Ca2+、和氯Cl—離子。離子通道通常不是連續打開的，而是響應於各種類 型的刺激被選擇性地打開和關閉的。電壓門控通道根據跨越神經元膜的電壓或電場打開和 關閉。其它通道通過機械應力被選擇性地打開和關閉，並且仍有其它類型的通道響應於配 位體的結合和釋放來打開和關閉，所述配位體一般為小分子有機化合物，包括神經遞質。可 以另外通過向離子通道蛋白質添加和從離子通道蛋白質刪除某些官能團來控制並修改離 子通道行為和響應，所述添加和刪除由各種酶來執行，包括激酶和磷酸酶，其隨後又被各種
8類型的化學信號級聯控制。通常，在靜止或非激發狀態下，神經元內部具有相對低濃度的鈉離子312、相應地 低濃度的氯離子314、以及相對於外界環境318中的這些離子的濃度而言相對高濃度的鉀 離子316。在靜止狀態下，在神經元膜兩端存在顯著的40 50mV電化學梯度，其中膜的內 部相對於外界環境而言帶負電。該電化學梯度主要由有源Na+-K+抽吸通道320生成，所述 Na+-K+抽吸通道320使用化學能，採取腺苷三磷酸的形式，以連續地針對從外界環境進入神 經元內部的每兩個鉀離子交換從神經元的內部排出到外界環境的三個鈉離子。神經元還包 含無源K+洩漏通道310，其允許鉀離子從神經元的內部漏回到外界環境。這允許鉀離子在 離子濃度梯度和電位梯度(electrical gradient)方面達到平衡。 由神經元膜的局部去極化來觸發神經元激發或發放(spiking)。換言之，跨越膜 的通常為負的電化學梯度的崩潰導致觸發輸出信號。由電壓門控鈉通道324來促進表示神 經元激發的神經元膜的波狀全局去極化，所述電壓門控鈉通道324允許鈉離子沿著先前由 Na+-K+抽吸通道320建立的電化學梯度進入神經元的內部。神經元激發表示活動的短脈衝， 在此之後，神經元返回到類似於激發前的狀態，在該狀態下，重建跨越神經元膜的正常的負 電化學梯度。電壓門控鉀通道326響應於膜去極化而打開，以允許鉀離子沿著化學鉀離子 梯度流出，以便促進在激發之後的跨越神經元膜的電化學梯度的重建。通過神經元膜的局 部去極化打開的電壓門控鉀通道324在打開狀態下是不穩定的，並且相對快速地移動到失 活狀態，以允許通過電壓門控鉀通道326和Na+-K+通道/抽吸320的操作來重建負膜電位。神經元膜去極化在神經元細胞膜的小的局部區域處開始，並以波狀形式掃過神經 元細胞，包括沿著軸突至軸突終末分支。軸突終末分支處的去極化觸發由胞外分泌328進 行的電壓門控神經遞質釋放。由軸突終末分支進行的神經遞質到稱為「突觸前神經元」的 激發神經元的軸突終末分支與每個稱為「突觸後神經元」的信號接收神經元的樹突之間的 突觸區中的釋放導致釋放的神經遞質通過突觸後細胞的樹突上的受體進行結合，這導致信 號從突觸前神經元到突觸後神經元的傳輸。在突觸後神經元中，遞質到神經遞質門控離子 通道330和332的結合分別導致興奮性輸入信號和抑制性輸入信號。將鈉離子導入神經元 330中的神經遞質門控離子通道有助於鄰近於突觸區的神經元膜的局部去極化，並因此提 供興奮性信號。相反，神經遞質激活的氯離子通道332導致帶負電的氯離子到神經元細胞 中的導入，引起對跨越膜的正常、靜止負電壓梯度進行恢復或加強，並由此抑制局部化膜去 極化且提供抑制性信號。還通過允許鈣流入神經元的電壓門控鈣離子通道329來促進神經 遞質釋放。Ca2+激活鉀通道334用於在高頻的膜去極化和導致在神經元內構建鈣離子的信號 激發之後降低膜的可去極化性。因此，已被連續刺激達到很長時間段的神經元對該刺激的 響應變得較少。最初，鉀離子通道用於降低接近於神經元激發所需的閾值刺激的刺激水平 下的神經元激發水平。這防止關於閾值刺激區的全或無類型的神經元響應，反而提供對應 於一定範圍的神經元刺激的一定頻率範圍的神經元激發。神經元激發的振幅通常是恆定 的，其中輸出信號強度反映在神經元激發的頻率上。神經元的另一有趣特徵是長期增強。當突觸前細胞在突觸後膜被強有力地去極化 時的時刻激發時，突觸後細胞會變得更易對來自突觸前神經元的後續信號進行響應。換言 之，當在很近的時間發生突觸前和突觸後神經元激發時，互連的強度或加權可以增加。
圖4 5舉例說明了神經元激發。在圖4中，靜止狀態神經元402在膜404兩端表 現出負電壓梯度。當靜止神經元接收到神經遞質介導信號輸入406時，神經元膜的小區域 408可以通過抑制性信號輸入接收刺激信號輸入的充分進入(access)，以對神經元膜的小 區域408進行去極化。此局部去極化激活電壓門控鈉通道，以產生跨越神經元膜散布並沿 著軸突的波狀全局去極化，隨著鈉離子沿著鈉離子濃度梯度進入神經元而暫時使神經元膜 兩端的電壓梯度反轉。電壓梯度的反轉將神經元置於激發或發放狀態，如上文所討論的，在 該狀態下，軸突的終末分支將釋放神經遞質信號到突觸中以用信號通知突觸後神經元。電 壓門控鈉通道快速地變得去激活，電壓門控鉀通道打開，並且快速地恢復412靜止狀態負 電壓梯度。圖5示出發放或激發期間的神經元膜上的點處的電壓梯度反轉。通常，電壓梯 度是負的520，但在表示神經元激發或發放的波狀膜去極化和輸出信號沿著軸突到軸突的 終末分支的傳播期間暫時反轉522。 圖6舉例說明動態突觸強度現象的模型。圖6是相對於縱軸602繪製的突觸強化 F對比沿著橫軸604繪製為At的突觸前與突觸後發放之間的時間差的圖。當突觸前神經 元在距離突觸後神經元的激發很近但在其之前的時間激發時，突觸強化的量是相對高的， 其由到縱軸左側的繪製曲線606的急劇增加部分來表示。F的圖的此部分對應於赫比學習， 其中，突觸後和突觸前神經元的激發中的相關性導致突觸強化。相反，當突觸前神經元剛好 在突觸後神經元的激發之後激發時，則突觸強度被弱化，如在縱軸右側的所繪製曲線的急 劇向上曲線部分608所表示的那樣。當突觸前和突觸後神經元的激發在時間上不相關時， 或者換言之，At的幅值很大時，突觸的強度未受到很大影響，如以從原點起增加的距離接 近橫軸的那部分所繪製曲線所表示的那樣。由曲線610的右側部分之上的區域所表示的對 突觸前和突觸後神經元激發相關性的突觸弱化響應可以由於由所繪製曲線612的左側部 分下面的區域所表示的突觸前與突觸後神經元激發之間的相關性而不等於突觸強化。總而言之，神經元充當與閾值功能和輸出信號生成功能組合的微漏輸入信號整合 器。神經元以隨著神經元的興奮性刺激的增加而增加的頻率激發，雖然隨著時間的推移，神 經元對恆定高的刺激的響應減少。多個神經元之間的突觸或結點可以被突觸前與突觸後神 經元激發中的相關性強化或弱化。另外，在沒有增強刺激的情況下，突觸強度和神經元刺激 兩者隨著時間的推移而衰減。神經元由於由高度枝化的樹突和軸突終末分支以及由軸突的 長度支持的神經元之間的極高的連接密度而提供用於生物有機體內的大規模並行神經網 絡的基本計算單元。神經網絡和感知網絡最初由模擬並利用生物信號處理和計算的嘗試促成的被視為人工智慧領域的神 經網絡已經證明足夠有效且有用，研究人員和開發者目前正在試圖直接用硬體構建神經網 絡以及開發用於促進神經網絡的軟體實現的專用硬體平臺。神經網絡本質上是計算互連節 點的網絡。圖7示出典型的神經網絡節點。不令人驚訝的是神經網絡節點使人想起圖2中 所示的神經元的模型。神經網絡節點702從η個有向鏈路705 708以及特殊鏈路jQ接 收輸入，並在輸出鏈路710上產生輸出信號，所述輸出鏈路710可以進行分枝(正如軸突分 支一樣)以向多個不同的下遊節點發送信號。有向輸入鏈路705 708是神經網絡中的上 遊節點的輸出信號，或來自輸出信號的分支，或者在第一級節點的情況下，是從到神經網絡 的某種類型的輸入導出的。上遊節點中的每個與在某些實施方式中在0 1範圍內的激活相關。每個輸入鏈路與權值相關。因此，圖7中所示的神經網絡節點i從具有激活ajl， aJ2，. . .，aJn的η個上遊神經網絡節點接收η個輸入丄，j2，. . . jn，其中每個輸入丄，j2，. . . jn 與相應的當前權值、.,_，wL ι，· ，相關聯。換言之，激活是節點的性質，並且權值是節 點之間的鏈路的性質。神經網絡節點i計算來自接收到的加權輸入信號的活動(activity) ai 並在輸出信號線710上輸出對應於所計算的活動％的信號。如圖7中所示，可以將神經 元的非常簡單的模型表示為其中，g是非線性激活函數。圖8 9舉例說明了激活函數的兩個不同示例。特 殊輸入信號線jo表示具有 …=-1固定激活的內偏移。使用與此內偏移相關的權值^0。，/ 來設置用於節點的閾值當來自實際輸入信號線丄，j2，· · · jn的加權激活輸入的和超過wA1，》· 的偏置權值時，則神經元是活動的，並且輸出信號 。圖8中所示的第一激活函數g表示 硬閾值，而圖9中所示的第二激活函數g提供軟閾值。在神經元的更一般模式中，神經元 輸出激發是到神經元的加權輸入的過去歷史的函數，神經元輸出激發常常是隨機的，並因 此並不必需採用閾值。輸出信號％可以具有各種不同形式中的任何一種，並且可以通過各 種手段中的任何一種來反映神經元活動的程度，所述通過各種手段中的任何一種包括通過 改變尖峰輸出的持續時間、尖峰輸出的頻率、電壓或電流中的每個尖峰的幅值，通過改變線 性信號的電壓或電流，或通過對信號中的信息進行編碼的任何其它手段。圖10示出了簡單的三級神經網絡。神經網絡包括四個輸入節點1002 1005、兩 個中間節點1008 1009、以及最高級別的輸出節點1012。輸入節點1002 1005中的每 個接收到神經網絡的一個或多個輸入，且每個均產生通過內部連接或邊指向中間節點1008 和1009中的一個或多個的輸出信號。隨後，中間節點產生到將中間節點連接到輸出節點 1012的邊的輸出信號。其中信號在沿邊的僅一個方向上從輸入節點指向輸出節點的神經 網絡被稱為「前饋網絡」，而包括允許信號從較高級節點返回向較低級節點傳播的諸如圖10 中的邊1014 1015的反饋邊的神經網絡被稱為「回歸網絡」。可以使用多層神經網絡來表 示任意維數和複雜性的一般非線性函數，假定在神經網絡中包括相應的任意數目的節點的 能力。一經訓練，神經網絡通過生成輸出信號(通常實現複雜的非線性函數)來對輸入 信號進行響應。還可以間歇性地或連續地對神經網絡進行重新訓練，以便隨著時間的推移， 由神經網絡所表示的複雜的非線性函數反映先前的信號處理經驗。神經網絡、感知網絡、及表示本發明的各種實施例的其它並行分布式動態網絡節 點的物理節點實現迄今為止，大多數基於神經網絡的系統本質上是神經網絡行為的軟體模擬。節點 被實現為數據結構和隨附例程，並且以傳統的連續指令執行方式反覆地更新節點和邊權 值。結果，雖然可以利用神經網絡的許多有用特性，但是神經網絡不提供在包括人腦在內的 真實並行計算系統中獲得的計算速度。此外，包括邊加權動態和洩漏積分的類似神經元的 功能的模擬在計算上可能是耗費相當大的，特別是當以連續方式反覆地執行時更是如此。由於這個原因，已存在使用多種不同實現策略和材料來構建物理神經網絡的許多 Qi =g WjiXlj
ι
11嘗試。然而，迄今為止，尚未有物理實現甚至接近於即使簡單的生物信號處理結構的密度和 計算效率。問題包括提供大量的動態連接、多種製造和組件約束、散熱方面的問題、可靠性 方面的問題、以及許多其它問題。經證明，納米線結點和包括各種納米尺度金屬氧化物特徵在內的許多其它憶阻材 料的憶阻特性(其代表著製造類似於傳統邏輯電路的納米尺度電路的煩惱)是神經網絡和 包括互連計算節點的其它並行分布式動態處理網絡中的動態邊所需的特性。因此，相對簡 單地製造的納米尺度納米線結點以納米尺度尺寸提供動態邊的功能，而不需要編程或算法 計算。由於多個節點之間的連接的數目大大地超過了包括人腦在內的大部分自然發生的信 號處理和計算結構中的節點的數目，所以期望的是用來實現計算節點的硬體網絡的連接較 小、容易製造並具有接近於邊或突觸所需的那些固有物理特性的固有物理特性，以便不必 將連接的動態性質編程到硬體中或由基於硬體的邏輯電路來模擬。憶阻材料 圖IlA B舉例說明了可以用目前可得到的技術製造的納米線結點的憶阻特性。 圖IlA舉例說明了單個納米線結點。納米線結點在第一輸入納米線1104與第二輸出納米 線1106之間的結點處包括一層或多層憶阻材料1102。電流遵循以下電流模型，在某些電流 範圍和電壓範圍內
[
權利要求
一種神經形態電路，包括兩個或更多內部神經元計算單元，每個內部神經元計算單元包括用於接收同步信號的同步信號輸入端、用於接收輸入信號的至少一個輸入端和用於發送輸出信號的至少一個輸出端；以及憶阻突觸，每個憶阻突觸將載送來自於第一組的一個或多個內部神經元的輸出信號的輸出信號線互連到向第二組的一個或多個內部神經元載送信號的輸入信號線。
1.一種神經形態電路，包括兩個或更多內部神經元計算單元，每個內部神經元計算單元包括用於接收同步信號的 同步信號輸入端、用於接收輸入信號的至少一個輸入端和用於發送輸出信號的至少一個輸 出端；以及憶阻突觸，每個憶阻突觸將載送來自於第一組的一個或多個內部神經元的輸出信號的 輸出信號線互連到向第二組的一個或多個內部神經元載送信號的輸入信號線。
2.權利要求1的神經形態電路，其中，每個內部神經元採用同步信號將時間劃分成多 個幀，每個幀包括兩個或更多時隙。
3.權利要求2的神經形態電路，其中，在每個幀的每個時隙期間，每個內部神經元可以 發送和/或接收與該時隙相關的特定類型信號的信號。
4.權利要求3的神經形態電路，其中，由內部神經元在每個幀的每個時隙期間發送的 信號是次閾值信號，其在沒有與附加信號組合的情況下、相對於信號通過的任何憶阻突觸 而言低於閾值信號強度幅值。
5.權利要求4的神經形態電路，其中，每個幀包括 COMM時隙；LTP+時隙； LTP_時隙； LTD+時隙；以及 LTD—時隙。
6.權利要求5的神經形態電路，其中在COMM時隙期間，內部神經元可以向一個或多個下遊神經元發送輸出信號； 在LTP+時隙期間，內部神經元可以發送LTP+/LTP_信號對的正LTP+信號； 在LTP_時隙期間，內部神經元發送LTP+/LTP_信號對的負LTP_信號； 在LTD+時隙期間，內部神經元可以發送LTD+/LTD_信號對的正LTD+信號；以及 在LTD_時隙期間，內部神經元發送LTD+/LTD_信號對的負LTD_信號。
7.權利要求6的神經形態電路，其中，發放內部神經元在與發放一致的第一幀期間發送在COMM時隙期間到一個或多個輸出端的尖峰信號； 在LTP+時隙期間到一個或多個輸出端的最大LTP+信號； 在LTP-時隙期間到一個或多個輸出端的最大LTP-信號； 在LTD+時隙期間到一個或多個輸出端的最大LTD—信號； 在LTP+時隙期間到一個或多個輸入端的最大LTP-信號； 在LTD+時隙期間到一個或多個輸入端的最大LTD+信號； 在LTD—時隙期間到一個或多個輸入端的最大LTD—信號。
8.權利要求6的神經形態電路，其中，非發放內部神經元在發放之後的每個幀期間發送在具有表示LTP函數的當前值的幅值的LTP+時隙期間到一個或多個輸出端的LTP+信 號，其中所述LTP函數在發放時從最大值呈指數式衰減；在具有表示LTP函數的當前值的幅值的LTP—時隙期間到一個或多個輸出端的LTP—信號，其中所述LTP函數在發放時從最大值呈指數式衰減；在具有表示LTP函數的當前值的幅值的LTD+時隙期間到一個或多個輸入端的LTD+信 號，其中所述LTP函數在發放時從最大值呈指數式衰減；以及在具有表示LTP函數的當前值的幅值的LTD—時隙期間到一個或多個輸入端的LTD—信 號，其中所述LTP函數在發放時從最大值呈指數式衰減。
9.權利要求6的神經形態電路，其中，當具有通過憶阻突觸連接到第二內部神經元輸 入端的輸出端的第一內部神經元在第一幀中發放，而第二內部神經元在第一幀之後的第二 幀中發放時，以及當第一內部神經元的LTP函數尚未衰減到0值時，由第一內部神經元在 LTP+時隙期間發送的LTP+信號與由第二內部神經元在LTP+時隙期間發送到第二內部神經 元的一個或多個輸入端的最大LTP_信號組合，以產生相對於突觸而言在閾值信號強度以上 的正超閾值信號。
10.權利要求6的神經形態電路，其中，當具有通過憶阻突觸連接到第二內部神經元輸 入端的輸出端的第一內部神經元在第二幀中發放，而第二內部神經元在第一幀之前的第一 幀中發放時，以及當第二內部神經元的LDP函數尚未衰減到0值時，由第一內部神經元在 LTD+時隙期間發送到一個或多個輸出端的LTD-信號與由第二內部神經元在LTP+時隙期間 發送到第二內部神經元的一個或多個輸入端的LTD+信號組合，以產生在閾值信號強度以 下的負超閾值信號，其負向地加強憶阻突觸。
11.權利要求1的神經形態電路，其中，所述憶阻突觸表現出由於所施加的超閾值正電 壓而引起的非線性的正電導變化、由於所施加的超閾值負電壓而引起的非線性的負電導變 化、以及由於具有低於閾值電壓幅值的幅值的所施加電壓而引起的非常小的電導變化。
12.權利要求1的神經形態電路，其中，內部神經元在輸入端和輸出端處發射電壓信 號，並在輸入端處接收電流信號，通過虛擬接地電路將接收到的電流信號變換成內部電壓 信號。
13.一種用於實現神經形態電路中的學習的方法，該方法包括提供具有兩個或更多內部神經元計算單元和憶阻突觸的神經形態電路，每個內部神經 元計算單元包括用於接收同步信號的同步信號輸入端、用於接收輸入信號的至少一個輸入 端；以及用於發送輸出信號的至少一個輸出端，每個憶阻突觸將載送來自於第一組的一個 或多個內部神經元的輸出信號的輸出信號線互連到向第二組的一個或多個內部神經元載 送信號的輸入信號線；以及由神經形態內的內部神經元發送信號，其相對於信號通過的任何憶阻突觸而言低於閾 值信號強度幅值，但是在通過憶阻突觸耦合的內部神經元均在指數式衰減函數的衰減時間 內激發的情況下，其組合以產生信號，該信號的一部分在幅值方面相對於憶阻突觸而言大 於閾值信號強度幅值，根據學習模型改變憶阻突觸的電導。
14.權利要求13的方法，其中，每個內部神經元採用同步信號將時間劃分成多個幀，每個幀包括兩個或更多時 隙；以及其中，在每個幀的每個時隙期間，每個內部神經元可以發送和/或接收與該時隙相關 的特定類型信號的信號。
15.權利要求14的方法其中，每個幀包括COMM時隙、LTP+時隙、LTP_時隙、LTD+時隙和LTD_時隙； 其中，在COMM時隙期間，內部神經元可以向一個或多個下遊神經元發送輸出信號，在 LTP+時隙期間，內部神經元可以發送LTP+/LTP_信號對的正LTP+信號，在LTP_時隙期間， 內部神經元發送LTP+/LTP_信號對的負LTP—信號，在LTD+時隙期間，內部神經元可以發送 LTDVLTD-信號對的正LTD+信號，並且在LTD_時隙期間，內部神經元發送LTD+/LTD_信號對 的負LTD_信號；其中，在與發放一致的第一幀期間，內部神經元發送 在COMM時隙期間到一個或多個輸出端的尖峰信號， 在LTP+時隙期間到一個或多個輸出端的最大LTP+信號， 在LTP-時隙期間到一個或多個輸出端的最大LTP-信號； 在LTD+時隙期間到一個或多個輸出端的最大LTD—信號， 在LTP+時隙期間到一個或多個輸入端的最大LTP-信號， 在LTD+時隙期間到一個或多個輸入端的最大LTD+信號，以及 在LTD—時隙期間到一個或多個輸入端的最大LTD—信號，並且 其中，非發放神經元在發放之後的每個幀期間發送在具有表示LTP函數的當前值的幅值的LTP+時隙期間到一個或多個輸出端的LTP+信 號，其中所述LTP函數在發放時從最大值呈指數式衰減；在具有表示LTP函數的當前值的幅值的LTP—時隙期間到一個或多個輸出端的LTP—信 號，其中所述LTP函數在發放時從最大值呈指數式衰減；在具有表示LTP函數的當前值的幅值的LTD+時隙期間到一個或多個輸入端的LTD+信 號，其中所述LTP函數在發放時從最大值呈指數式衰減；以及在具有表示LTP函數的當前值的幅值的LTD—時隙期間到一個或多個輸入端的LTD—信 號，其中所述LTP函數在發放時從最大值呈指數式衰減。
全文摘要
本發明的實施例意在包含兩個或更多內部神經元計算單元的神經形態電路。每個內部神經元計算單元包括用於接收同步信號的同步信號輸入端、用於接收輸入信號的至少一個輸入端和用於發送輸出信號的至少一個輸出端。憶阻突觸將載送來自於第一組的一個或多個內部神經元的輸出信號的輸出信號線連接到向第二組的一個或多個內部神經元載送信號的輸入信號線。
文檔編號G06F15/18GK101971166SQ200880128042
公開日2011年2月9日 申請日期2008年9月29日 優先權日2008年3月14日
發明者G·S·斯奈德 申請人:惠普開發有限公司