具有學習和表達能力的神經網絡的製作方法

2023-06-21 06:51:16 3

專利名稱：具有學習和表達能力的神經網絡的製作方法
技術領域：
本發明涉及神經網絡，具體且不排他地說，本發明涉及基於一個或多個下述特性的神經網絡，所述特性包括時間、空間、強度、數量，以及相對位置；並且可用於學習、知識獲取、發現、數據挖掘和表達中的一種或多種。
背景技術：
現有的神經網絡通常基於海布學習法(Hebbian learning)的單個解釋。海布概念這一基礎常常被表述為「連在一起的神經元一起觸發(fire)」。實際的解釋是「連在一起」是由將兩神經元連接在一起的突觸實現的。起連接作用的突觸的強度被修改或加權，以反映突觸前神經元與突觸後神經元(或反之亦然)同時觸發的重要性/概率。
使用該概念，已發展出了將若干輸入神經元通過突觸關聯到若干輸出神經元的神經網絡。輸入神經元限定輸入狀態；而輸出神經元限定期望輸出。
因此幾乎全部現有的神經網絡都基於三層的概念輸入神經元層、隱藏神經元層，以及輸出神經元層。圖1和圖2是現有神經網絡的圖示。
對這類神經網絡的訓練在其最基本形式中是通過施加特定輸入狀態到所有輸入神經元、選擇特定輸出神經元來表示特定輸入狀態，並調整隱藏層中突觸強度或權重。就是說，訓練是在假定已知期望輸出的知識下進行的。在訓練完成之後，施加不同輸入狀態將引起不同的輸出神經元以不同水平的置信度被激活。因此輸入事件的識別取決於原始訓練狀態與當前輸入狀態的匹配有多接近。
取決於期望輸出神經元的數目和期望結果的準確度，這類神經網絡通常需要數以百千計的不同輸入狀態來進行廣泛、重複的訓練。這產生僅有10,000個輸入和輸出神經元數量級的實用網絡，該網絡具有多達一千萬個互聯的突觸或表示突觸的權重(當前存在的神經網絡較之具有1012個神經元和1016個突觸連接的人腦在大小上還是很小的)。
此外，現有網絡是基於生成預定義輸出神經元來訓練的，並且以後可以識別與用於輸入的訓練集非常類似的輸入。現有的神經網絡不能夠獨立學習，因為訓練它們使用了在先假定一期望目標是由輸出神經元表示的。現有神經網絡不能夠根據輸出層中的任何輸出神經元的激勵來表達和回憶輸入狀態。
現有的神經網絡是基於施加獨立輸入狀態到網絡來訓練的，其中訓練的順序通常不重要。當廣泛、深入的訓練完成後，輸出神經元不再顯著依賴輸入狀態被施加到網絡的順序。現有的神經網絡提供的是完全基於當前輸入狀態的輸出。輸入狀態施加的順序與網絡識別它們的能力無關。
現有神經網絡可能具有下列缺點的一些或全部1.它們需要基於預定或期望的輸出目標先訓練，一它們不學習；2.它們僅能識別與所受訓練的輸入狀態相似的輸入狀態(對象)；3.它們計算量非常大，因此很慢；4.它們在計算上受限於表示僅僅相當小數目的神經元；5.如果要它們識別不同的對象，則它們需要重新訓練；6.它們不能通過施加激勵到輸出神經元來表達或回憶輸入對象；7.它們基於全部輸入神經元的並發激勵；8.它們不具創造性，並且不能表達或回憶事件；9.它們僅能標識/識別它們所針對訓練的事件；10.它們假定並發或快速連續觸發的神經元被突觸連結，但是不區分彼此或神經元觸發的順序；以及11.每個隱藏層神經元可並發接收來自多個輸入神經元的輸入。

發明內容
根據一個方面，提供了包括多個神經元的神經網絡，其中，所述多個神經元中的任何一個神經元都能夠通過到所述多個神經元中的又一個神經元的活動連接來關聯、或者與自身關聯、或者與所述多個神經元中的任何其他神經元關聯。這個過程被稱作學習。
根據第二方面，提供了包括多個基本神經元(elemental neuron)和多個結構神經元的神經網絡，所述多個結構神經元表示任意神經元對之間的關聯，所述神經元對是從下述組中選擇的，所述組包括兩個基本神經元、兩個結構神經元、一個結構神經元和一個基本神經元、以及一個基本神經元和一個結構神經元。
每個結構神經元可表示由一對神經元表示的組合信息或記憶。使被組合來形成結構神經元的那對神經元回憶的過程被稱作表達。每個結構神經元僅可從兩個神經元接收輸入。
多個基本神經元可在神經網絡結構的根層中表示；並且每個基本神經元可表示下述至少一個基本激勵、定義的基本模式、和定義的基本數據元素。每個基本神經元可表示下述一個或兩個基本輸入激勵和正被處理的信息的輸出激勵。每個基本神經元可以是大腦中神經元的等同物，大腦中的神經元是從由下述神經元組成的組中選擇出的感應神經元、運動神經元、皮質內神經元以及皮質間神經元。由神經元表示的信息可能是記憶，而處理可能是學習或表達。
所述多個神經元關聯可在多個更深的神經元層中表示。所述多個更深的層中的層的數目可由待處理或表達的記憶或模式的範圍決定，其中記憶表示多個基本神經元。表示所述記憶所需的基本神經元和結構神經元的數目可由待處理記憶的性質決定。
根據第三方面，提供了包括由關聯連結的多個神經元的神經網絡，相同或更深神經網絡層中的神經元的所有關聯都能夠被表達。
第四方面提供了包括多個神經元的神經網絡，每個神經元由陣列中的唯一可尋址的節點表示。
第五方面提供了包括多個神經元的神經網絡，每個神經元整體上由陣列中的單個節點表示。
第六方面是包括陣列中的多個節點的神經網絡，所述陣列中的每個節點包括指針。每個指針是節點的這樣的數據元素，該數據元素表示陣列中的特定節點的唯一的地址，每個地址表示多個神經元中的神經元。每個指針表示突觸連接。
第七方面提供了包括陣列中的多個神經元的神經網絡，所述陣列的每個節點中存在用於提供表達和用於記憶的學習的指針倒數第二個方面提供了包括多個神經元的神經網絡，每個神經元由陣列中的節點表示，每個節點具有多個指針，每個節點中的每個指針具有特定和唯一的功能。除了指針可表示基本或根層神經元中的基本激勵的值情形之外，每個指針包含另一個神經元的地址。所需指針的數目可取決於所述神經網絡所執行的功能。對於執行學習和表達功能的神經網絡，所需指針的數目至少是四個。
這樣，所述多個神經元中的每個神經元可由表示所述多個神經元的所述陣列中的相同大小的節點表示，每個節點包含固定數目的指針。
除了和每個神經元的特性有關的指針之外，用於表示神經元的陣列中的節點還可維護的額外的數據元素。數據元素可被定義為表示每個神經元激活的頻率，它的關聯的強度等。
本發明還擴展為包括電腦程式代碼的計算機可用介質，電腦程式代碼被配置為使一個或多個處理器執行一個或多個函數，以執行上述方法。
最後一個方面提供了神經網絡，其中該神經網絡是雙向的，從而使得能夠正向工作和反向工作，正向時從輸入得到節點或創建節點，而反向時從節點得到輸入。正向是學習，反向是表達。
所述神經網絡可被用於下述一個或多個方面監控和預測股票價格運動、網際網路監測、網際網路安全、計算機病毒和蠕蟲檢測、數據壓縮、語音和文本中的短語識別、語音和文本中的從句、剽竊檢測、生物信息學、視覺識別、語義分析和本體表示，以及機器人學。


為了容易理解本發明並將其投入實用，現在參考說明性附圖對僅本發明優選實施方式的非限定性示例進行描述，在附圖中
圖1圖示了現有的神經網絡結構；圖2進一步圖示了現有的神經網絡結構；圖3圖示了兩個神經元和一個突觸之間的現有關係；圖4圖示了根據本發明的三個神經元之間的關係；圖5是本發明的處理流程的流程圖；圖6圖示了神經元和指針/連結之間的關係；圖7(a)到圖7(n)圖示了說明關聯的事件序列；圖8是學習過程的流程圖；圖9是匹配過程的流程圖；圖10是在學習過程期間創建神經元的流程圖；以及圖11是神經元的表達的過程的流程圖。
具體實施例方式
根據本發明的優選方面本質上提供了神經網絡和用於利用神經元關聯構造這種神經網絡的方法，神經元關聯是基於包括時間、空間、強度、大小和相對位置中的至少一個特性的，並且用於形成記憶，記憶包括輸入激勵(由基本神經元表示)或輸出動作(由基本神經元表示)中的一個或兩者。
還提供了由表示多個基本激勵的結構神經元表示的一個或多個記憶的記憶回憶和記憶表達的任意一個或兩者。除了其已經學習的事物之外，神經網絡還允許新的行為或思想的可能表達，從而可表現出創造性。輸入激勵可包括聽覺、視覺、觸覺等中的一個或多個。
輸出激勵可包括運動、動作、講話等中的一個或多個，每個都由適當的基本神經元定義。
現有的神經網絡是基於這樣的假定並發激活兩個神經元(神經元B和C)在它們之間創建了活動的突觸連接，或增強已有的突觸連接。這在有兩個神經元和一個突觸的圖3中作出了圖示。
根據本發明的一個方面，激勵或激活兩個神經元創建了經由另外的第三神經元(關聯神經元)的在這兩個神經元之間的關聯。這在有三個神經元41、42和43與兩個突觸44和45的圖4中作出了圖示。為方便起見，這個基本的神經結構在整個說明書中將被稱作「神經元組件」。神經元41、42和43可基於鄰近特性而關聯在一起，所述特性包括時間、空間、強度、大小和相對位置中的至少一個。神經元43處於神經結構中比神經元41、42兩者更深的層中。神經元41、42可處於神經結構的相同或不同的層中。神經元在神經網絡結構中的深度或層是基於要表達其表示的基本神經元所需的步驟數。
神經結構包括神經元，其中每個神經元表示數據、事件、對象、概念或行為的記憶。每個神經元所表示的信息的類型可變化，並取決於構成神經網絡的基本神經元(表示感覺和/或運動神經元激勵)。基本激勵僅在每個神經網絡結構的根層處所維護的基本神經元中表示。更深層或後續層的神經元(結構神經元)僅表示其他神經元的關聯，並不在它們本身之中存儲感覺、運動或基本激勵值。
神經結構中的每個神經元可表示僅兩個神經元的關聯，這兩個神經元一個是起始神經元(initiating neuron)，另一個是被關聯神經元(associated neuron)，雖然通過關聯關聯神經元(associating neuron)每個神經元可作為起始神經元和/或作為被關聯神經元參與無限數目的關聯。起始神經元41可具有任何數目的後繼神經元，例如神經元43，其中神經元41的後繼神經元是將神經元41作為其起始神經元的關聯神經元(43)。另一個神經元42可具有任何數目的前驅神經元(precessorneuron)，其中神經元42的前驅神經元是將神經元42作為其被關聯神經元的關聯神經元(43)。因此，神經元43可被稱作關聯神經元、神經元41的後繼神經元，或神經元42的前驅神經元。
關聯是基本神經元41、42中的一個作為起始神經元，而一個是被關聯神經元。假定神經元41是起始神經元，那麼神經元42是被關聯神經元，當神經元41觸發或被激活時，關聯神經元43被加強。在神經元41觸發的同時或隨後，神經元42觸發或被激活，從而也加強了關聯神經元43。神經元43然後被認為已激活。如果關聯神經元43原先不存在(即不存在關聯起始神經元41和被關聯神經元42的神經元)，那麼其被創建並可隨後被激活，否則其僅被激活。神經元41和42的鄰近激活或觸發引起關聯神經元43的激活，以及神經元41與43之間和神經元42與43之間的活動連接的創建，或現有突觸連接的增強。關聯神經元43表示從另外兩個神經元41、42所學習的事物總和。該總和可包括下列一個或多個記憶痕跡(memory trace)、兩個神經元的經歷的組合、事件序列、事件的鄰近度等。一旦關聯神經元被激活或創建以表示期望的記憶或事件，期望的記憶或事件就不需要在另一個神經元中重新創建。
鄰近度或鄰近激活或觸發的定義將由每個神經網絡的操作規則來定義。鄰近度(″ΔP″)可在一個層中變化，可在多個多個層間變化，並可根據正表示的基本神經元的類型而變化。處於神經網絡中更深層的神經元很少可能會緊密鄰近，因此可能ΔP將增加。如果ΔP表示時間或時間的事件，ΔP可能短至零、毫秒或秒，或長達分鐘、小時、天或周。真實世界中同時發生的事件仍可基於突觸激活或觸發的次數或樹狀觸發路徑的長度的差異來在時間上表示。ΔP還可根據正由神經結構所表示的記憶或事件的處理需求而變化。ΔP還可表示對象或事件之間的空間關係，並還可表示大腦中神經元的空間拓撲關係。
根據本發明的神經網絡包括兩個基本要素1.基本神經元，其可表示基本激勵、感覺或運動神經元、或者所要求或期望的這類基本數據。這些是構成神經網絡的基本神經元或根神經元。不同類型的基本神經元可取決於其所表示的經歷或事件或信息的類型而被定義。例如，如果表示聽覺皮層，基本神經元將是表示明晰的聲音的。基本神經元可結合許多不同類型的基本神經元，例如一組是表示聲能或聲音的強度(音量)的，而另一組是表示聲音的頻率的。
如果表示嗅覺和味覺，可能有一組味覺的神經元和另一組嗅覺感覺的神經元。
在視覺上，可能有表示彩色的圓錐、棒、邊緣、對比度、運動等的多組基本神經元，如神經節細胞所表示的，或專門表示感光神經元。
對皮膚感受器，可能有基本神經元對應於觸覺-機械性激勵感受器神經元；溫度-熱感受器神經元；疼痛-傷害感受器神經元等。運動可由導致運動的各種類型的運動神經元來表示。
當感覺神經元觸發或被激活時，其將已從特定位置處的特定細胞或感覺器官接收到的某形式的能量經突觸或神經細胞傳輸到大腦的不同區域。所有感覺神經元具有類似的中央處理機制。當在大腦中運動神經元觸發或被激活時，其引起身體中特定位置處的肌肉收縮，從而產生運動。當感覺神經元檢測到事件時，其將數據傳遞到大腦中，在大腦中，該數據在大腦的神經結構中被處理。
還可定義人工基本神經元。例如，如果使用神經網絡來處理英文文本，可定義一組基本神經元來表示字母字符和標點字符。對於中文，可為每個中文字符或其子集定義基本神經元。如果使用神經結構來處理蛋白質序列，可定義基本神經元來表示二十個胺基酸或其子集。對於語音，可定義不同的運動神經元來產生不同的肌肉收縮，從而產生對應於音素聲音，等等。
基本神經元可以是起始神經元和被關聯神經元，但不可以是關聯神經元。
2.結構神經元表示神經結構。如圖4所示的神經結構包括表示其他神經元的關聯的神經元，不管它們是感覺神經元、運動神經元，還是其他結構神經元。這樣，神經結構可以增長，表示越來越多的信息。結構神經元還可被用於形成表示多組不同的基本神經元的結構神經元之間的關聯。例如，可在由字母基本神經元的關聯所表示的英文單詞「ball」和由視覺基本神經元的關聯所表示的形狀「ball」之間形成關聯。這樣可以建立神經網絡，其允許跨越不同皮層或跨越不同神經網絡的信息的關聯。在形狀「ball」和由運動神經元的關聯所表示的口語單詞「ball」之間可存在關聯，以使音素神經元能夠產生聲音「ball」。
結構神經元是基於包括時間、空間、強度、大小和相對位置的特性而彼此關聯的。如果用神經結構來表示語音，關聯將是時間性質，表示在表達語音中使用的音素、詞、短語、從句等的順序。同樣，如果處理文本或讀書，單獨字符的處理將是時間性質的，逐步形成詞、短語、從句等。大腦中的許多神經元也是空間或地形組織的，例如用於視覺、聽力、觸覺、疼痛等的那些。象這樣可以構造表示空間特性的神經結構。例如，在表示視覺場景的神經結構的形成中，表示邊緣或直線或曲線或物體或圖案的神經元可被關聯到神經結構中，該神經結構基於鄰近關係(近的物體和遠的物體，或高的物體與低的物體)將表示點的基本神經元關聯為線或曲線，從而建立環境的三維地圖。可以使用相同的神經結構來表示由空間和時間定義的四維中任意維裡的信息。
如上所述，由空間神經結構表示的形狀「ball」可與由時間神經結構表示的口語單詞「ball」相關聯。
結構神經元是關聯神經元。結構神經元還可以是起始神經元和被關聯神經元中的一種或兩種。
神經結構中的關聯的根層處基本神經元的組合允許創建表示皮層(神經集合)中特定基本特性或特徵的結構神經元。神經結構允許用神經結構中的動態關聯來表示特性組合。新皮層中由感覺神經元引起的神經活動總是被分布到大腦中不同區域。在感覺系統中，大腦的不同區域可以處理同一輸入激勵的不同方面(空間/時間/強度/大小/相對位置)。為了表示一致的概念/認知和行為，所提議的神經結構允許同一區域內的神經關聯。神經結構中更深層的關聯(皮層內關聯)允許表示愈加複雜的信息或行為。
神經元可根據其功能、特性、層級、性質等來組織、分類或命名。也可為針對特定緯度來定義神經元。該緯度可以是時間、距離、空間、長度、高度、斜度、廣度，或任何其他可定義的特性。
在其特定緯度中，任何兩個神經元可根據它們相對的或相關的發生、位置、比例或大小而被區分。該相對定位由ΔP表示。
構造神經網絡的基本參數是對於任何兩個通過相對位置相聯繫的活動神經元A和B，存在第三神經元C，其具有經由突觸到神經元A和B兩者的連接。如果這樣的神經元不存在，那麼可以創建這樣的神經元和其連接。因此神經元C將神經元A和B關聯在一起，從而維持A和B的相對位置。A和B可能但不一定在它們的相對位置中是連續或連貫的。因此神經元C可以關聯表示事件的任何兩個神經元A和B，無論該事件是並發的、連續的、連貫的、非連續的、非連貫的或重疊的。
關聯的邏輯是對於任何兩個觸發或被激活的活動神經元A和B，其中的一個將是起始神經元。第三神經元C將關聯起始神經元與第二神經元，並保留它們激活或觸發的順序。這樣，神經元C表示由第二神經事件跟隨的起始神經事件的組合事件。這個新神經元C可以隨後參與與其他神經元的結合(從而創建新的關聯)，等等。
創建新的神經元的基本規則是如果神經元A觸發或被激活，神經元B與之並發或隨後觸發或被激活，那麼新的神經元C可被構造並可能觸發或被激活，從而表示神經元A和B的關聯(即事件AB在時間或空間上的關聯)。如果神經元C因為在前的事件或關聯而已經存在，那麼神經元C也可以類似地被重新激活或觸發，並允許其參與隨後現有的或新的激活，從而允許其形成新的關聯。這允許構造具有無限數目的關聯和/或關係的神經網絡。
圖5中示出了表示創建新的神經網絡的基本流程的流程圖。這個優選實施示例示出了用於處理基本事件的簡單順序的處理步驟和模型應用。
圖5中，在50中神經網絡或表示神經網絡的陣列被初始化。在51中每個基本神經元的類型或種類被定義，並可被相關到例如文本、視覺斜度、顏色、邊緣、聲音、音量、味覺、嗅覺感受、色錐、色棒、疼痛、對比度、運動、肌肉運動、神經節細胞、受光體、觸覺、機械性激勵感受器、溫度、熱感受器、傷害感受器、運動、語言、符號、字母、詞等等。
在52中基本神經元然後被定義/編程/輸入。然後考慮的問題是基本神經元已經存在？(53)。對於要由已定義類型的已定義基本神經元所表示的每個唯一值，全部基本神經元必須被創建，並作為一列後繼神經元被附接到根神經元，從而由表示該神經元網絡的陣列中的節點零表示的根神經元。如果詢問的答案是「否」，新的基本神經元被創建(54)，然後處理回到(52)。如果詢問的答案是「是」，處理繼續前進到55。這裡，關聯神經元的規則被定義。可替換地，當新的基本神經元在學習過程中出現時，其可被定義。
第一神經元或下一個起始神經元被找到(56)。這個是指定的神經元A。隨後的神經元(神經元B)然後被找到(57)。如果神經元A和神經元B的關聯已經存在(58)，處理回到56。如果不存在，神經元C被創建，以表示神經元A和神經元B的關聯或組合(59)，然後處理回到56。在這個過程中神經元C可被稱為關聯神經元。
圖8的流程圖提供了圖5的步驟56到59的更多細節。這裡，神經處理或學習屬於由基本神經元事件的模式或序列表示的經歷。
在步驟81中，事件指針被指向事件模式或序列中的第一個基本事件。在步驟82中，匹配的神經元被找到。匹配神經元是神經網絡中與事件指針所指向的事件的模式或序列中的主要事件或多個主要事件相匹配的神經元(記憶)。這個匹配神經元被定義為起始神經元(神經元A)。然後根據神經網絡的已定義規則，事件指針被更新以指向下一個事件。
然後在步驟83中，另一個匹配神經元被找到。再一次，這個神經元(記憶)是針對由事件指針指向的事件的模式或順序中的事件或多個事件。這另一個匹配神經元被定義為被關聯神經元(神經元B)。然後，根據神經網絡的已定義規則，事件指針被更新以指向下一個事件。如此，新的關聯神經元或關聯總是被創建，儘管要符合一定規則。通常神經元C先前並不存在，否則在步驟82處其已被匹配。
已完成單遍的處理後，相同的數據或事件序列可被重新處理(如果期望這樣的話)，從而相應擴充神經網絡結構。
在步驟84中，另一個未被使用過的神經元被找到。在步驟85中，創建關聯神經元(神經元C)。在86中，步驟82到85的過程被重複，直到事件模式或序列中不再有事件被處理為止。
圖9提供了圖8的處理步驟82和83(尋找匹配神經元)的更多細節。
在步驟91中，匹配神經元指針通過指向根神經元而被置零。對於匹配神經元的每個後繼神經元(步驟91)，檢查被執行以確定後繼神經元的完整表達是否與正被處理的事件模式或序列中的隨後的事件或多個事件或序列相匹配。如果的確匹配，處理前進到步驟93，其中匹配神經元的指針被設為指向匹配事件模式或順序的後繼神經元。另外，事件指針可被調節指向事件模式或序列的剩餘事件，即到那時為止還未被匹配的事件。處理然後回到步驟92並繼續。如果步驟92的結果是不匹配，在步驟94中，匹配神經元指針被返回指向最後匹配神經元，然後處理在步驟95中結束。
圖10更詳細地圖示了圖8中步驟85的過程一關聯神經元的創建。在步驟101中，關聯神經元的起始指針被設為指向起始神經元，在步驟102中，關聯神經元的被關聯神經元指針被設為指向被關聯神經元。因為關聯神經元沒有後繼神經元(剛被激活或創建)，其後繼神經元指針被置零(步驟103)。關聯神經元的下一個神經元指針然後被設為等於起始神經元的後繼神經元指針。最後，在步驟105中，起始神經元的後繼指針被設為指向關聯神經元，從而關聯神經元成為起始神經元的後繼神經元列表中的第一個條目。
表示一個共同特性的一組基本神經元可被組織成一個皮層。因此，可以具有視皮層，其包含涉及第一視覺特性(例如用於顏色的一組神經元)的多組神經元；用於第二視覺特性(例如形狀)的第二組；用於第三視覺特性(例如大小)的第三組，等等。來自一個神經網絡的表示獨特模式或事件的結構神經元可以是另一個神經網絡中的基本神經元。可能由多個神經網絡(以及其中的神經元)表示的多個皮層可被互鏈或相關，以形成不但可以提供完整的學習環境而且可以提供智能行為潛能的完整的「大腦」。
傳統的神經網絡通常是單向的。這意味著給出一定輸入可得到輸出。然而，它們不能反向工作。就是說，給出輸出不可以得到輸入。
本發明提供了「表達」的能力，由此可以表達導致任意神經元的構造的事件序列。表達的重要性在於其允許事件的完整序列由單個神經元來表示，並且可通過激活那個單個神經元、然後按照與創建它們時相同的相對位置或順序激活表示起始神經元和被關聯神經元的關聯的多個神經元，從而再現該序列。如此，可以表達表示完整的經歷或記憶(事件序列)的單個神經元，從而回憶該經歷。
表達能力是經由神經結構中每個神經元的起始指針和被關聯指針實現的。
在圖11中圖示了表達。當需要表達時，在步驟111中第一檢查確定要被表達的神經元的起始指針是否等於零。如果「是」，其一定是基本神經元且處理過程回到步驟114，其中，表達是存儲在被關聯神經元之中的基本事件或值的激活，以表示該基本神經元。如果該值不是零，開始步驟112。步驟112中是要表達由神經元的起始神經元指針所指向的神經元的表達。步驟113中是要表達由神經元的被關聯神經元指針所指向的神經元的表達。這繼續到所有表示記憶的基本神經元都已經被表達為止。
網絡中的每個神經元都具有地址來標識其在可尋址節點陣列中的位置，其中每個節點表示單個神經元。所有的神經元指針指向表示神經元陣列中單個神經元的節點的地址。地址或指針的位大小(bit size)將影響表示神經網絡的陣列中可以表示的神經元的最大數目。例如使用32位的指針地址大小將允許建立包括232或者說4,294,967,296個神經元的神經網絡。
每個神經元是由傳統陣列或結構中的單個的固定長度的節點表示的。可在陣列中存儲的神經元的數目將依賴於總的可用記憶存儲(內部的和/或外部的)，並依賴於指針地址結構(a)16位指針地址結構將允許多達216個神經元。
即6.4×103個神經元；(b)32位指針地址結構將允許多達232個神經元。
即4.1×109個神經元；(c)48位指針地址結構將允許多達248個神經元。
即2.7×1014個神經元；(d)64位指針地址結構將允許多達264個神經元。
即1.8×1019個神經元；因為人腦具有大約1012個神經元，使用48位指針地址結構可以匹配一百個人腦的容量。根據最新的支持64位尋址的計算機，可以具有能力表示包括1019個神經元的神經結構，大小等同於一千萬個人腦連在一起。
要表示神經網絡，節點要包括最少4個指針。每個指針包括到另一個神經元的地址。如以上說明的，使用32位的地址大小將允許構造包括高達232或40億個神經元的神經網絡。
如圖6所示，在最基本的實現中，每個神經元可由四個指針/連結(P1、P2、P3、P4)表示。每個指針是到另一個神經元的地址或位置的連結。神經元通常要具有四個指針，這是要創建帶表達能力的智能神經網絡所需的最小值。然而，神經元可具有多於四個指針，以提供額外的功能。例如在創建表示起始神經元A和被關聯神經元B的關聯的神經元C的過程中，神經元C需要下列指針P1-到起始神經元(即神經元A)的指針；P2-到參與形成關聯的另一個神經元(即神經元B)的指針；P3-到以神經元C作為起始神經元的一列(LsC)更深層的神經元的指針(神經元C的後繼指針)；以及P4-到將神經元A作為其起始神經元的下一個神經元的指針(LA)(神經元A的「下個後繼者」指針)。
還可以為神經元C定義額外的指針，如果有必要向被關聯神經元提供關於前驅者的信息的話。例如P5-到將神經元C作為被關聯神經元的一列(LpC)更深層的神經元的指針(前驅者指針)；以及P6-到將神經元B作為其被關聯神經元的一列中的下一個神經元的指針(「下個前驅者」指針)。
更深層的神經元可表示複雜的事件序列。因為每個結構神經元具有至少一個起始神經元和一個被關聯神經元，處於第十層的單個神經元可表示多達210或1,024個基本事件的序列。神經元僅可以與相同層的神經元關聯不是必要條件。
因此，在存儲新的事件序列的過程中，僅僅需要識別表示事件流中的現有事件序列的那些現有神經元，然後通過構造新的神經元來將這些關聯在一起，例如，如果有分別為1,024個事件和512個事件的兩個事件序列，則可以構造單個新的神經元來表示1,536個事件的事件序列。從而可以在神經網絡中節省地表示新的序列/事件信息。
這在圖7(a)到圖7(n)中得到圖示。圖7(a)到圖7(n)圖示了從對句子「The cat sat on the mat」的處理文本和學習得到的可能神經網絡。標有箭頭的直線指示出起始神經元和關聯神經元之間的連接，而標有圓圈的直線指示出被關聯神經元和關聯神經元之間的連接。
在圖7(a)中，零層中的第一基本神經元701和第二基本神經元702識別或表示字母「T」和「H」，並關聯以形成由第一層中的關聯神經元711表示的字母組合「TH」。
圖7(b)示出了識別字母「E」的第三基本神經元703和識別空格「＾」的第四基本神經元704。這兩個關聯在一起而形成由第一層中的關聯神經元712表示的組合「E＾」。第一層中的結構神經元711和712關聯以形成由關聯神經元721表示的單字(distinct word)「THE＾」。
在圖7(c)、(d)和(e)中，零層中的接下去的兩個基本神經元705和706分別識別字母「C」和「A」，並關聯以形成由第一層中的關聯神經元713表示的字母組合「CA」。
對字母「T」和「＾」，神經元701與神經元704相關聯以創建第一層中的表示組合「T＾」的關聯神經元714。神經元714和713然後關聯以創建第二層中的關聯神經元722，從而形成單字「CAT＾」(圖7(e))。神經元721和722然後可以關聯，以在第三層中的關聯神經元731處給出形成短語「THE＾CAT＾」的結果(圖7(f)和7(g))。
對於對圖7(h)所示的單字「SAT＾」，神經元707識別字母「S」，並與神經元706相關聯以在第一層中的關聯神經元715處給出結果，即字母組合「SA」。第一層中的神經元715與神經元714(″T＾″)相關聯，以在第二層中的關聯神經元723處給出結果，即單字「SAT＾」。
在圖7(i)和7(j)中，神經元708和709分別識別字母「O」和「N」，然後關聯以形成由第一層中的關聯神經元716表示的字母組合(和單詞)「ON」。神經元716與神經元704相關聯，以在第二層中的關聯神經元724處給出結果，即單字「ON＾」。第二層中的神經元723與神經元724相關聯，以在第三層中的關聯神經元732處給出結果，即從句「SAT＾ON」。第三層中的神經元731和神經元732可關聯以在第四層中的神經元741處給出結果，即從句「THE＾CAT＾SAT＾ON＾」。
圖7(k)和(1)圖示了神經元7010識別字母「M」並與神經元706相關聯以在第一層中的神經元717處給出結果，即字母組合「MA」。神經元717與神經元712(「T＾」)相關聯，以在神經元725處給出結果，即單字「MAT＾」。神經元721與神經元725(「THE＾」)相關聯，以在神經元733處給出結果，即短語「THE＾MAT」。
神經元741和733可以相關聯，以在第五層中的神經元751處給出結果，即句子「THE＾CAT＾SAT＾ON＾THE＾MAT」。很明顯每個關聯神經元具有至多一個起始神經元和一個被關聯神經元。然而，神經元可以具有多個後繼和前驅神經元。例如基本神經元701(「T」)具有表示「TH」(711)和表示「T＾」(714)的後繼神經元。基本神經元706(「A」)具有表示「CA」(713)、「SA」(715)和「MA」(717)的三個前驅神經元。
要擴展其中零層中的神經元7011識別字母「D」的圖7(m)中圖示句子。神經元7011與神經元704相關聯，以在神經元719處給出結果(組合「D＾」)。神經元706與神經元709組合以在神經元720處給出結果(組合「AN」)。神經元720與神經元719相關聯，以在神經元726處給出結果(組合「AND＾」)。神經元733與神經元726相關聯，以在神經元742處給出結果(組合「THE＾MAT＾AND＾」)。神經元741與742可以相關聯，以在神經元752處給出結果(表示短語「THE＾CAT＾SAT＾ON＾THE＾MAT＾AND＾的組合」)。
圖7(n)中示出了零層中每個基本神經元僅表示一個字母/字符。第一層中的每個神經元表示兩個字母/字符的關聯；第二層中的每個神經元可表示多達4個字母/字符的關聯；第三層中多達8個字母/字符；第四層中多達16個字母/字符；第五層中多達32個字母/字符；以2的倍數繼續，第十層中每個神經元可表示多達1,024個字母/字符的關聯；而第二十層中的每個神經元可表示多達1,048,576個基本事件的關聯。
可見，對於文本識別，所需的基本神經元的數目是相當有限的。下列每個都需要一個基本神經元1.大寫字母表的26個字母；2.小寫字母表的26個字母；3.10個數字；4.標準字母數字鍵盤上的32個標點符號和類似的字符；5.可能需要的任何其他特殊字符(例如來自希臘字母表)。
在學習過程期間，所需的結構神經元的數目和所需的結構化神經元的層數可能由於使用神經網絡的緣故而增長。使用文本識別的示例，有關檔案的數目，有關(一個或多個)學習事件的大小，檔案中使用的語言，以及單詞、短語、從句、句子、段落、章節、書等等的最大可能數目將影響結果神經網絡結構的大小。作為示例，如果威廉莎士比亞的全部劇本使用本發明以文本識別來記錄，在第一劇本被記錄之後，將會有某一數目的結構神經元「N1」。當第二劇本被記錄時，在相同的神經網絡中，總計所需的神經元將不會是每個劇本獨立處理過程所需的那些(神經元)的簡單的算術總和。只有超出為第一劇本創建的那些(神經元)的處理第二劇本所需的額外的神經元將被加到N1，以給出增大後的總的N2。用於任何先前存在的字母、單詞、短語、從句、句子(等等)的神經元將不會被增加，但它們新的關聯將被增加。當第三劇本被記錄時，所需的額外的神經元將被同樣地增加以給出N3。
在最後的劇本被輸入之前，所需神經元的數目上的增長將不會很大。主要的增長將在於神經結構中的更深的層，其中新的關聯將被增加。最深的層可以是單個神經元，其具有要表示全部劇本所需的所有的關聯。
因為每層中的每個神經元可以與任意層中的任何其他神經元相關聯以在第三神經元處給出結果，可得到的可能的排列組合的數目是很大的。
考慮圖7(a)到圖7(n)，存在可能被用於在神經元751處提供結果(「THE＾CAT＾SAT＾ON＾THE＾MAT」)的不同的組合。例如，在圖示出的第一層中下列組合被記錄「TH」、「E＾」、「CA」、「T＾」、「SA」、「ON」，以及「MA」。
其他組合是可能的。例如「TH」、「HE」、「E＾」、「CA」、「AT」、「T＾」、「ON」、「N＾」、以及「MA」。
在第二層中可能跟隨更大範圍的可能的組合。通過採用適於使用神經網絡的期望目標的規則，從而減少或消除組合，效率也可得到提高。
如果考慮十層的神經元，其能夠表示多達1,024個基本事件的序列。可通過沿著指針一直到基本或根層來表達第一元素。這樣允許相對迅速的表達。
對於學習和在表達期間兩者而言，基本神經元可被頻繁地激活。在純粹二進位實現中，可以通過單個第一層神經元來表達或關聯兩個基本神經元或根層神經元。可通過一個第二層神經元來表達或關聯兩個第一層神經元，依次類推。如果1,024個基本事件的序列被激活且通過網絡被學習/表達，那麼在每層中可以處理下列數目的神經元1,024 第零層512第一層256第二層128第三層64 第四層32 第五層16 第六層8 第七層4 第八層2 第九層1 第十層從而表示基本事件的整個序列。
如果在根層處的神經元觸發之間的基本時間是1毫秒，那麼第十層神經元將是每1024毫秒或每秒才觸發或被激活一次。因此如果表示神經結構的陣列是作為不同的存儲塊/區域的組合而被表示的，那麼更深層的神經元可以被存儲在較慢的存儲/記憶區域中不影響學習和表達的性能。
在優選的神經網絡結構中，基本神經元將神經網絡結構的根神經元作為其起始神經元。這樣就允許不限數目的基本神經元被即時創建，而不是必須預定義基本神經元。可替換地，可以將結構中的預定神經存儲/記憶區域分配給基本神經元，然後每個基本神經元就可被直接地定址(例如對ASCII文本字符是8位)，256個神經元的地址可以預先分配(0到255)而第一結構神經元的地址將處於地址256。
在優選的模式中，新的基本神經元可以在任何時候、任何位置被添加到神經元結構，從而提供了完全的靈活性。當使用用於基本神經元的預定義區域時，因為無需搜索附於根神經元的後繼者的列表，處理過程可能會更快。
基本神經元可能這樣表示它們的起始神經元指針被設置為零-指向根神經元(無論其是否存在)，而它們的被關聯神經元指針被設為要由那個基本神經元表示的基本事件的值。基本神經元總是可以容易地確定或識別，因為其起始神經元值總是零。因此，當表達神經元時，要判定我們什麼時候已達到基本神經元是容易的，因為起始神經元值為零，指向根神經元。替換方法可被用來定義基本神經元，不影響所表示的神經網絡的實質。
在優選的模式中，起始神經元的新的後繼神經元被簡單地添加到列表的開頭。因此，它們被直接地附接到起始神經元。這樣最近的記憶痕跡被容易地表達。
然而，許多的選擇可以用於維持後繼神經元的列表。神經結構允許以用戶選擇的任何方式使用這項特性，來向神經網絡結構提供額外的功能。例如，新的關聯神經元可以被添加到列表的結尾，或者列表可以用數字順序、字母順序等等來維護。同樣地，可以將頻繁訪問的神經元向列表的開頭移動，或移動到列表的開頭，使得越是最近激活的記憶總是更容易訪問。這還意味著越久的記憶處於列表的結尾，並更少可能會經歷表達。
這樣，列表的順序可以被用來表示起始神經元的後繼神經元的相對突觸強度或激活層級，而非必須使用權重來表示突觸連接的強度，如果期望這樣的話。
可以通過簡單表達由起始神經元指針表示的神經元，然後表達由被關聯神經元指針表示的神經元，來表達由任意神經元表示的記憶。如果起始指針是零，可以表達基本神經元的基本值。否則，可以針對起始指針重複處理-表達其起始神經元指針和其被關聯神經元指針，依次類推。因此，任意神經元可以通過按順序表達其多個部分來完全表達。
可以創建表示學到的知識的神經網絡結構。例如，如果下列文本的句子是輸入LUCY＾IS＾CRYING＾UNDER＾THE＾TABLE＾.
JOHN＾IS＾PLAYING＾IN＾THE＾PARK＾.
PETER＾IS＾READING＾IN＾THE＾CHAIR＾.
MARY＾IS＾SLEEPING＾UNDER＾THE＾TREE＾.
JOHN＾IS＾RUNNING＾IN＾THE＾RACE＾.
PETER＾IS＾PLAYING＾ON＾THE＾SWING＾.
MARY＾IS＾TALKING＾ON＾THE＾PHONE＾，可以創建表示下列短語或記憶的神經元IS CRYINGIS RUNNINGIS READINGIS SLEEPINGIS PLAYINGIS TALKING在這個例子中「IS＾」具有六個後繼神經元。
同樣地可以創建下列短語或記憶UNDER THE TABLEUNDER THE TREEIN THE PARKIN THE CHAIRIN THE RACEON THE SWING
ON THE PHONE因此LUCY與IS CRYING相關聯，而IS與六個不同的動作相關聯。通過改變IS的替換後繼神經元的表達，可以表達多達六個不同的短語/從句LUCY IS CRYINGLUCY IS RUNNINGLUCY IS READINGLUCY IS SLEEPINGLUCY IS PLAYINGLUCY IS TALKING雖然只是第一短語曾經被學習，或被輸入到神經網絡，但是可以對JOHN、PETER和MARY作同樣的事情。
可以根據結構**IS和IS**來有效地生成新的表達。即LUCY IS IS CRYINGJOHN IS IS RUNNINGMARY IS IS READINGLUCY IS IS SLEEPINGPETER IS IS PLAYINGIS TALKING因此，可以創建或表達30(5×6)個短語/從句，它們在句法和語義上都是正確的。同樣地ON THE THE TABLEIN THE THE PARKUNDER THETHE CHAIRTHE TREETHE RACETHE SWINGTHE PHONE提供了生成21(3×7)個這樣性質的短語/從句的可能性，所述短語/從句都是句法上正確的，但不都是語義上正確的。
將這兩組組合在一起給出結構{*}IS{*}(*)THE{*}這樣提供了{5}IS{6}*{3}THE{7}個表達，或5×6×3×7＝630個可能的表達，雖然只學習了七個輸入的句子。因此神經模型允許學習和建立記憶的神經結構，並還允許根據用戶定義的過程將這些神經元或記憶組合成新的表達或行為。用先前已學習到的，大腦可以探索句法上行得通的概念或建議。用數百萬的神經元，可以表達數十億的句法上正確的句子。就是說，神經網絡結構為創造性表達提供了理想的方法。
通過使用上述的神經網絡，可以具有這樣的系統·能夠學習；·具有表達能力；·存儲關聯而不是數據；·能夠有效使用計算機的內存和存儲空間；·計算上有效率。
因此網絡能夠識別關聯模式中的模式。這樣其可用於各種工業，例如監控和預測股票價格運動、網際網路監測、安全、計算機病毒檢測、言語和文本中的短語、言語和文本中的從句、剽竊檢測、數據壓縮，等等。
上述神經網絡的結構和處理過程可以實現在軟體或硬體中。如果在硬體中，它們可能是晶片的一部分、專用晶片的全部，或者晶片陣列，都可作為基本或結構神經元。基本和結構神經可在晶片的一部分中，或在專用神經元的存儲陣列中。當所有的神經元都存在時，在第一遍數據後，第一基本神經元將學習到數據的第一元素。例如，圖7(a)到圖7(n)中使用的示例中的大寫字母「T」。下個基本神經元將學習數據的下個元素。還是使用圖7(a)到圖7(n)的示例，即小寫字母「h」。依次類推。因為基本神經元和神經網絡的更低層中的那些神經元將被更頻繁地激活以創建更深層中的關聯，為了最佳性能它們需要更快的處理器速度。更深層的神經元將被更不頻繁的激活，因此可被存儲在具有更慢的處理器速度的存儲器中。
因此，提供了這樣的神經網絡，其基於包括感覺神經元、運動神經元的神經元以及突觸連接的概念。大腦中的每個神經元可以以簡單的方式由陣列或存儲器中的單個節點來表示。神經元是陣列或存儲器中的固定長度的節點。每個突觸連接可以由每個節點中的指向其他神經元的指針來表示。陣列中的神經節點可單獨排他地包括指向數據陣列中其他神經元的指針。然而，運動或感覺神經元包括用於與外部環境相互作用的感覺值或運動值。每個神經元包含到其他神經元的連接。如果期望的話，神經元還可維持其他信息，例如學習期間激活的頻率、後繼神經元的數目、前驅神經元的數目等等，以協助處理和用作用於創建關聯和用於表達的規則中。
為了用接口連接到並與外部輸入設備或外部輸出設備裝置交互，可定義相應於感覺神經元或運動神經元的基本神經元。
使用用於創建神經結構和經過神經連接的合適的規則，可以根據神經元和突觸關聯來表示和建立/構造神經網絡。該網絡通過在神經元之間創建關聯來學習。對於任意神經元，其表示可以被回憶或表達，並且多個關聯的探查以及它的到其他神經元的關聯的排列可以被回憶或表達。神經元可以表示記憶，其中記憶被定義為神經元的表達。
用接口連接或學習或處理外部感覺神經元事件的經歷和創建輸入經歷的記憶是由神經元和神經元之間新的連接來表示的。
用接口連接或學習或表示外部運動神經元事件的活動和創建輸出動作的記憶是由新的神經元和神經元之間新的連接來表示的。
神經網絡可以學習，它可以表達或回憶或記起記憶，它可以與外部環境相互作用或表達自己，並有能力思考(被定義為探索如上所述的可替換的神經元關聯的過程)和創造性地表達自己。
本發明還擴展到包括電腦程式代碼的計算機可用介質或專門製造的數字處理器晶片，它們被定製以使一個或多個處理器執行一個或多個功能以執行上述的方法。
雖然已經在前面的描述中描述了本發明的優選實施例，但是本領域的技術人員將明白，可在設計、構造或操作的細節中作出許多變化或修改而不脫離本發明。
權利要求
1.一種包括多個神經元的神經網絡，其中，所述多個神經元中的任何一個能夠通過到所述多個神經元中的又一個神經元的活動連接來與自身或與所述多個神經元中的另一個神經元關聯或連結。
2.如權利要求1所述的神經網絡，其中，所述又一個神經元在比所述神經元和所述另一個神經元都深的層級中。
3.如權利要求1或2所述的神經網絡，其中，所述神經元和所述另一個神經元在從包括相同和不同層級的組中選出的層級中。
4.如權利要求1所述的神經網絡，其中，所述多個神經元包括多個基本神經元和多個結構神經元；所有基本神經元和結構神經元都能夠被關聯；所有基本神經元都能夠表達它們的基本值，並且所有結構神經元都能夠表達它們關聯到的一對神經元。
5.如權利要求4所述的神經網絡，其中，每個結構神經元表示由一對神經元表示的組合信息或記憶，所述結構神經元自所述神經元對接收輸入；並且每個基本神經元表示從下述組中選出的至少一個，所述組包括正被處理的信息的輸出激勵、基本激勵、定義的基本模式、定義的基本數據元素、以及基本輸入激勵。
6.如權利要求4或5所述的神經網絡，其中，關聯是從下述組中選出的至少一個，所述組包括基本神經元與基本神經元、基本神經元與結構神經元、結構神經元與基本神經元、結構神經元與結構神經元。
7.如權利要求1到6中的任何一個所述的神經網絡，其中，所述多個神經元中的每個是從下述組中選出的一個或多個，所述組包括起始神經元、被關聯神經元、以及關聯神經元。
8.如權利要求7所述的神經網絡，其中，起始神經元經由到所述關聯神經元的活動連接與被關聯神經元關聯。
9.如權利要求8所述的神經網絡，其中，所述起始神經元、所述被關聯神經元和所述關聯神經元是基於鄰近特性連接的，所述鄰近特性是下述至少一個時間、空間、強度、大小和相對位置。
10.如權利要求1到9中的任何一個所述的神經網絡，其中，由神經元表示的信息是記憶，並且處理是學習和表達中的至少一種學習和表達。
11.如權利要求4到10中的任何一個所述的神經網絡，其中，如果在表達期間需要更多步驟來表達其表示的基本神經元，則所述神經網絡的層級是所述神經網絡結構中更深的層級。
12.如權利要求1到6中的任何一個所述的神經網絡，其中，所述多個神經元中的一個是起始神經元、所述多個神經元中的另一個是被關聯神經元，並且所述又一個神經元是關聯神經元；所述結構使得當所述起始神經元觸發或被激活時，所述關聯神經元被加強；並且當被關聯神經元觸發或被激活時，所述關聯神經元進一步被加強，從而被激活並且能夠觸發。
13.如權利要求12所述的神經網絡，其中，所述被關聯神經元與所述起始神經元同時觸發或被激活。
14.如權利要求12所述的神經網絡，其中，相對於所述關聯神經元，所述被關聯神經元在所述起始神經元之後觸發或被激活。
15.如權利要求12到14中的任何一個所述的神經網絡，其中，所述起始神經元和所述被關聯神經元的激活或觸發基於鄰近特性。
16.如權利要求15所述的神經網絡，其中，所述起始神經元和所述被關聯神經元的所述鄰近激活或觸發引起所述起始神經元與所述關聯神經元之間、以及所述被關聯神經元與所述關聯神經元之間新突觸連接的創建或現有突觸連接的增強。
17.如權利要求12到16中的任何一個所述的神經網絡，其中，所述關聯神經元表示從所述起始神經元和所述被關聯神經元學到的總和；所述總和包括從下述組中選出的一個或多個，所述組包括記憶痕跡、所述起始神經元和所述被關聯神經元的經歷的組合、記憶、以及事件序列。
18.如權利要求4到17中的任何一個所述的神經網絡，其中，所有基本神經元表示在所述神經網絡的根層中。
19.如權利要求12到18中的任何一個所述的神經網絡，其中，一旦所述關聯神經元被激活以表示期望的結果，就不需要在另一個神經元中重新創建所述期望的結果。
20.一種包括多個基本神經元和多個結構神經元的神經網絡，所述多個結構神經元表示任意神經元對之間的關聯，所述神經元對是從下述組中選出的，所述組包括兩個基本神經元、兩個結構神經元、一個結構神經元和一個基本神經元、以及一個基本神經元和一個結構神經元。
21.如權利要求20所述的神經網絡，其中，所述多個基本神經元表示在所述神經網絡的根層中，並且每個基本神經元表示下述至少一個基本激勵、定義的模式和定義的數據元素；每個基本激勵用於表示正被處理的信息的輸出激勵和基本輸入激勵中的至少一個。
22.如權利要求20或21所述的神經網絡，其中，每個基本神經元是從包括感覺神經元和運動神經元的組中選出的。
23.如權利要求21所述的神經網絡，其中，所述信息是記憶。
24.如權利要求20到23中的任何一個所述的神經網絡，其中，所述處理是學習和表達中的至少一個。
25.如權利要求20到24中的任何一個所述的神經網絡，其中，所述多個神經關聯表示在多個更深的神經層級中。
26.如權利要求25所述的神經網絡，其中，所述多個更深層級中的層數由待處理或表達的記憶或模式的範圍確定，其中記憶表示多個基本神經元。
27.如權利要求26所述的神經網絡，其中，表示所述記憶所需的基本神經元和結構神經元的數目由所述待處理的記憶的性質確定。
28.如權利要求20到27中的任何一個所述的神經網絡，其中，所述多個結構神經元中的任何一個都能夠通過到所述多個結構神經元中的又一個結構神經元的活動連接來與所述多個神經元中的另一個結構神經元關聯。
29.如權利要求28所述的神經網絡，其中，所述又一個結構神經元在比所述結構神經元和所述另一個結構神經元都深的層級中。
30.一種包括由關聯連結的多個神經元的神經網絡，所有神經元都能夠被表達。
31.如權利要求30所述的神經網絡，其中，所述多個神經元包括多個基本神經元和多個結構神經元；所有基本神經元都能夠表達它們的基本值，並且所有結構神經元都能夠表達它們關聯到的一對神經元。
32.一種包括多個神經元的神經網絡，每個神經元都由陣列中唯一可尋址的節點表示。
33.如權利要求32所述的神經網絡，其中，所述多個神經元的每個都由關聯連接，所有的神經元都能夠被表達。
34.如權利要求33所述的神經網絡，其中，所述多個神經元包括多個基本神經元和多個結構神經元；所有基本神經元都能夠表達它們的基本值，並且所有結構神經元都能夠表達它們關聯到的一對神經元。
35.如權利要求32到34中的任何一個所述的神經網絡，其中，每個神經元由所述陣列中的單個節點整體表示。
36.一種包括陣列中的多個節點的神經網絡，每個節點包括至少一個指針，每個指針是所述節點的數據元素；每個數據元素表示所述陣列中特定節點的唯一地址，每個地址表示多個神經元中的神經元。
37.如權利要求36所述的神經網絡，其中，所述多個神經元中的每個都由關聯連結，所有的神經元都能夠被表達。
38.如權利要求36或37所述的神經網絡，其中，所述多個神經元包括多個基本神經元和多個結構神經元；所有基本神經元都能夠表達它們的基本值，並且所有結構神經元都能夠表達它們關聯到的一對神經元。
39.如權利要求36到38中的任何一個所述的神經網絡，其中，所述多個神經元中的每個都由陣列中的可尋址節點表示。
40.一種包括陣列中的多個神經元的神經網絡，所述陣列具有用於提供表達的指針。
41.如權利要求40所述的神經網絡，其中，每個神經元由陣列中的節點表示，每個節點具有多個指針。
42.如權利要求41所述的神經網絡，其中，每個節點中的每個指針包含下述至少一個另一個神經元的獨有地址，以及基本神經元的基本值。
43.如權利要求41或42所述的神經網絡，其中，每個指針具有特定並唯一的功能，並且表示突觸連接。
44.如權利要求42或當附加於權利要求42時43所述的神經網絡，其中，所述多個神經元包括多個基本神經元和多個結構神經元；所有基本神經元都能夠表達它們的基本值，並且所有結構神經元都能夠表達它們關聯到的一對神經元。
45.如權利要求44所述的神經網絡，其中，所述指針除了表示所述基本神經元中的基本激勵的值之外，每個指針還包含另一個神經元的地址。
46.如權利要求41到45中的任何一個所述的神經網絡，其中，指針的數目取決於所述神經網絡所執行的功能。
47.如權利要求41到46中的任何一個所述的神經網絡，其中，每個神經元的指針的數目至少為二。
48.如權利要求41到47中的任何一個所述的神經網絡，其中，指向神經元的每個指針的功能是從下述組中選出的，所述組包括起始、關聯、後繼、所述起始神經元的下個後繼、前驅、以及所述關聯神經元的下個前驅。
49.如權利要求1到48中的任何一個所述的神經網絡，其中，所有的神經元都是固定長度的。
50.一種在神經網絡中使用的神經組件，所述神經組件包括起始神經元、被關聯神經元、以及操作連接到所述起始神經元和所述被關聯神經元的關聯神經元。
51.如權利要求50所述的神經組件，其中，當所述起始神經元觸發或被激活時，所述關聯神經元被加強；且當所述被關聯神經元觸發或被激活時，所述關聯神經元被加強和激活，並且能夠觸發。
52.如權利要求51所述的神經組件，其中，所述被關聯神經元與所述起始神經元同時觸發。
53.如權利要求51所述的神經組件，其中，所述被關聯神經元在所述起始神經元之後觸發。
54.如權利要求50到53中的任何一個所述的神經組件，其中，所述起始神經元和所述被關聯神經元的所述激活或觸發基於鄰近特性。
55.如權利要求54所述的神經組件，其中，所述起始神經元和所述被關聯神經元的鄰近激活或觸發引起所述起始神經元與所述關聯神經元之間、以及所述被關聯神經元與所述關聯神經元之間新突觸連接的創建或現有突觸連接的增強。
56.如權利要求50到55中的任何一個所述的神經組件，其中，所述關聯神經元表示從起始神經元和被關聯神經元學到的總和。
57.如權利要求56所述的神經組件，其中，所述總和包括從下述組中選出的一個或多個，所述組包括記憶痕跡、所述起始神經元和所述被關聯神經元的經歷的組合、記憶、以及事件序列。
58.如權利要求50到57中的任何一個所述的神經組件，其中，一旦所述關聯神經元被激活以表示期望的結果，就不需要在另一個神經元中重新創建所述期望的結果。
59.一種用於創建神經網絡中的神經元的關聯的方法，所述神經網絡具有多個神經元，所述多個神經元中的一個是起始神經元，所述多個神經元中的另一個是被關聯神經元，並且所述多個神經元中的又一個是關聯神經元；所述方法包括(a)激活或觸發所述起始神經元以加強所述關聯神經元；以及(b)激活或觸發所述被關聯神經元以加強和激活所述關聯神經元，所述關聯神經元被激活，並且能夠觸發。
60.如權利要求59所述的方法，其中，所述被關聯神經元與所述起始神經元同時觸發或被激活。
61.如權利要求59所述的方法，其中，所述被關聯神經元在所述起始神經元之後觸發或被激活。
62.如權利要求59到61中的任何一個所述的方法，其中，所述起始神經元的激活或觸發和所述被關聯神經元的激活或觸發基於鄰近特性。
63.如權利要求62所述的方法，其中，所述起始神經元和所述被關聯神經元的鄰近激活或觸發引起所述起始神經元與所述關聯神經元之間、以及所述被關聯神經元與所述關聯神經元之間新突觸連接的創建或現有突觸連接的增強。
64.如權利要求59到63中的任何一個所述的方法，其中，所述關聯神經元表示從起始神經元和被關聯神經元學到的總和。
65.如權利要求64所述的方法，其中，所述總和包括從下述組中選出的一個或多個，所述組包括記憶痕跡、所述起始神經元和所述被關聯神經元的經歷的組合、記憶、以及事件序列。
66.如權利要求59到65中的任何一個所述的方法，其中，一旦所述關聯神經元被激活以表示期望的結果，就不需要在另一個神經元中重新創建所述期望的結果。
67.一種操作神經網絡的方法，所述神經網絡具有包括多個基本神經元和多個結構神經元的多個神經元，所述方法包括(a)定義所述基本神經元和結構神經元將表示的事件；(b)針對所有已定義事件的待表示唯一值的總數創建所需數目的基本神經元；以及(c)為所述多個神經元的關聯創建一組規則。
68.如權利要求67所述的方法，其中，所述多個神經元的任何一個都能夠經由到所述多個神經元中的又一個神經元的活躍連接來與所述多個神經元中的另一個神經元關聯。
69.如權利要求68所述的方法，其中，所述又一個神經元在比所述神經元和所述另一個神經元都深的層級。
70.如權利要求68或69所述的方法，其中，所述神經元和所述另一個神經元在相同的層級中。
71.如權利要求68或69所述的方法，其中，所述神經元和所述另一個神經元在不同的層級上。
72.如權利要求67到71中的任何一個所述的方法，其中，所有基本神經元都能夠表達它們的基本值，並且所有結構神經元都能夠表達它們關聯到的一對神經元。
73.如權利要求72所述的方法，其中，關聯是從下述組中選出的一個或多個，所述組包括基本神經元與基本神經元、基本神經元與結構神經元、結構神經元與基本神經元、結構神經元與結構神經元。
74.如權利要求67到73中的任何一個所述的方法，其中，所述多個神經元的每個是從下述組中選出的一個或多個，所述組包括起始神經元、被關聯神經元、以及關聯神經元。
75.如權利要求74所述的方法，其中，起始神經元通過到所述關聯神經元的活躍連接來與被關聯神經元關聯。
76.如權利要求75所述的方法，其中，所述起始神經元、所述被關聯神經元和所述關聯神經元基於鄰近特性被連接。
77.如權利要求76所述的方法，其中，所述鄰近特性是下述至少一個時間、空間、強度、大小和相對位置。
78.如權利要求69到77中的任何一個所述的方法，其中，如果在回憶期間需要更多的步驟來表達所述基本神經元，則所述神經網絡的層級是所述神經網絡結構中更深的層級。
79.如權利要求74到77中的任何一個所述的方法，還包括(a)激活或觸發所述起始神經元加強所述關聯神經元；以及(b)激活或觸發所述被關聯神經元加強並激活所述關聯神經元，所述關聯神經元然後被激活，並且能夠觸發。
80.如權利要求79所述的方法，其中，所述被關聯神經元與所述起始神經元同時觸發或被激活。
81.如權利要求79所述的方法，其中，所述被關聯神經元在所述起始神經元之後觸發或被激活。
82.如權利要求79到81中的任何一個所述的方法，所述起始神經元的激活或觸發和所述被關聯神經元的激活或觸發基於鄰近特性。
83.如權利要求82所述的方法，其中，所述起始神經元和所述被關聯神經元的鄰近激活或觸發引起所述起始神經元與所述關聯神經元之間、以及所述被關聯神經元與所述關聯神經元之間新突觸連接的創建或現有突觸連接的增強。
84.如權利要求79到83中的任何一個所述的方法，其中，所述關聯神經元表示從所述起始神經元和被關聯神經元學到的總和。
85.如權利要求84所述的方法，其中，所述總和包括從下述組中選出的一個或多個，所述組包括記憶痕跡、所述起始神經元和所述被關聯神經元的經歷的組合、記憶、以及事件序列。
86.如權利要求69到85中的任何一個所述的方法，其中，所述多個基本神經元表示在所述神經網絡的根層級中，並且每個基本神經元對應於基本激勵或模式，每個基本激勵是用於表示正被處理的信息的輸出激勵和基本輸入激勵中的一個。
87.如權利要求86所述的方法，其中，所述信息是記憶。
88.如權利要求86或87所述的方法，其中，所述處理是表達。
89.如權利要求86到88中的任何一個所述的方法，其中，所述多個結構神經元表示在多個更深的神經元層級中。
90.如權利要求89所述的方法，其中，所述多個更深層級中的層數由待處理或表達的所述記憶或模式的範圍確定，其中記憶表示多個基本激勵，並且每個基本激勵由基本神經元直接表示。
91.如權利要求90所述的方法，其中，表示所述記憶所需的基本神經元的數目由待處理的所述記憶的性質確定。
92.如權利要求67到91中的任何一個所述的方法，其中，每個神經元由陣列中的單個固定長度的節點整體表示。
93.如權利要求67到91中的任何一個所述的方法，其中，所述多個神經元的每個都在陣列中，所述陣列具有用於提供表達的指針。
94.如權利要求93所述的方法，其中每個神經元由所述陣列中的節點表示，每個節點具有多個指針，每個節點中的每個指針包含另一個神經元獨有的地址。
95.如權利要求67到94中的任何一個所述的方法，其中，所有的神經元都是固定長度的。
96.一種包括電腦程式代碼的計算機可用介質，所述電腦程式代碼配置為使一個或多個處理器執行一個或多個功能以執行如權利要求67到95中任何一個所述的方法。
97.如權利要求1到49中的任何一個所述的神經網絡，其中，所述神經網絡是雙向的。
98.一種神經網絡，其中，所述神經網絡是雙向的，並被使得能夠正向工作和反向工作，在正向中從事件得到輸出，而在反向中從輸出得到事件。
99.如權利要求98所述的神經網絡，其中，所述正向是學習，所述反向是表達。
100.如權利要求1到49、97到99中的任何一個所述的神經網絡，其中，所述神經網絡存儲關聯而不是數據。
101.如權利要求100所述的神經網絡，其中，所述神經網絡識別關聯的模式中的模式。
102.如權利要求100或101中所述的神經網絡，其中，所述神經網絡被用於下述一個或多個監控和預測股票價格運動、網際網路監測、網際網路安全、計算機病毒檢測、計算機蠕蟲檢測、語音和文本中的短語、語音和文本中的從句、剽竊檢測、生物信息學、視覺識別、語義分析、數據本體的表示、機器人學、以及數據壓縮。
全文摘要
一種包括多個神經元的神經網絡，其中所述多個神經元中的任何一個都能夠通過到所述多個神經元中的又一個神經元的活動連接來與自身或所述多個神經元中的另一個神經元關聯。
文檔編號G06F15/18GK1826594SQ200480017847
公開日2006年8月30日 申請日期2004年6月21日 優先權日2003年6月26日
發明者羅伯特·喬治·赫克斯 申請人:紐諾麥蒂克斯私人有限公司