神經網絡結構及其方法與流程
2023-05-06 23:46:52
本發明一般涉及神經網絡的技術領域。特別地，本發明涉及一種改進網絡訓練的神經網絡結構。
背景技術：
機器學習方法廣泛用於現代技術，例如，機器視覺，模式識別，機器人技術，控制系統和自動化。在這樣的應用中，機器學習被用在用於處理輸入數據的系統或設備的由計算機實現的部分中。
機器學習方法的一個分類是分為「監督式」學習和「非監督式」學習。監督式學習旨在找到或「學習」一種根據給定輸入產生給定輸出的方式，例如，將輸入圖像集合正確分類為圖像已經被標記為屬於的類別。非監督式學習旨在通常通過特徵來表示輸入數據中的結構。所得的特徵可以用作分類任務的輸入，或用作進一步的監督式學習的初始化。
在機器學習領域中存在廣泛的現有技術公開了解決方案。例如，vincent等人在2008年的第25屆國際機器學習會議(icml'2008)的論文集中的「extractingandcomposingrobustfeatureswithdenoisingautoencoders」引入了一種其中去噪自動編碼器被布置成以通過噪聲破壞整個系統的輸入的機器學習解決方案。學習將乾淨版本的輸入與破壞後的自上向下激活相匹配。自下向上在最高層處被複製為自上向下。
反過來，bengio於2014年的「howauto-encoderscouldprovidecreditassignmentindeepnetworksviatargetpropagation」公開了在網絡的許多層次的多個成本函數，但不具有一致的成本函數，並且不會轉播反向傳播誤差。自下向上僅在最高層處被複製為自上向下。
此外，在專利文獻ep2126801中描述的機器學習系統表現出類似浮現注意力(emergentattention-like)過程，其選擇信息並且指導學習。那裡所描述的方法的一個關鍵方面是利用二次輸入信息或「上下文」來指導自動學習過程。
然而，現有技術的解決方案仍然存在一些缺陷。也就是說，特別是鑑於在ep2126801中引入的解決方案的主要問題是上下文驅動相鄰處理單元以表示相同信息。去相關在單一處理單元內部工作，並且阻止該問題在一個單元內部發生，但是因為去相關在計算上要求非常高，所以在大型網絡中的所有單元之間進行是不切實際的。這個問題可以通過要求不同的處理單元接收不同的輸入集合來減輕，但是在許多情況下這是個苛刻限制。
此外，用於深度神經網絡中的非監督式學習的現有技術的解決方案是緩慢的，尤其在學習抽象特徵方面具有挑戰。而且，這種解決方案與監督式學習不能較好地兼容。
理想情況下，上下文連接應當攜帶來自其他來源的相關信息(除了自下向上信息之外)。研究這個問題的一個方式是它源於無法識別哪些信息來自其他來源以及哪些只是採用了網絡中的不同路由的自下向上信息的副本。
因此，還需要開發機器學習解決方案，特別是引入神經網絡結構，其減輕所提及的現有系統的缺點，並且改進神經網絡的訓練。
技術實現要素：
本發明的目的是提出一種改進的可訓練神經網絡結構及其方法，其改進了神經網絡的訓練。
本發明的目的通過如由相應的獨立權利要求限定的神經網絡結構和方法來實現。
根據第一方面，提供了一種包括基本層和第二層的可訓練神經網絡結構，其中該基本層包括破壞函數，其用於破壞神經網絡結構的輸入數據；解碼函數；以及成本函數；並且第二層包括編碼函數和解碼函數，其中破壞後的輸入數據被配置成作為對第二層的編碼函數的輸入被饋送，並且經編碼的破壞後的輸入數據被配置成作為對第二層的解碼函數的輸入被饋送，並且其中神經網絡結構的破壞後的輸入數據和第二層的解碼函數的輸出被配置成作為對基本層的解碼函數的輸入被饋送，並且其中基本層的解碼函數的輸出和神經網絡的輸入數據被配置成作為對基本層的成本函數的輸入被饋送。
神經網絡結構的第二層還可以包括成本函數，其中第二層的解碼函數的輸出和用第二層的編碼函數編碼的神經網絡結構的輸入數據被配置成作為對成本函數的輸入被饋送。
神經網絡結構還可以包括至少一個另外第二層，其中該至少一個另外第二層中的每一層被布置成連接至先前第二層，並且其中先前第二層的編碼函數的輸出被配置成作為對至少一個另外第二層的編碼函數的輸入被饋送，並且該至少一個另外第二層的編碼函數的輸出和上層的解碼函數的輸出被配置成作為對至少一個另外第二層中的解碼函數的輸入被饋送。
該至少一個另外第二層還可以包括成本函數，其中同一至少一個另外第二層的解碼函數的輸出和用討論中的至少一個另外第二層前的每一層的編碼函數編碼的神經網絡結構的輸入數據被配置成作為對至少一個另外第二層的至少一個成本函數的輸入被饋送。
根據第二方面，提供了一種用於訓練如上文所描述的神經網絡結構的方法，該方法包括：調整這些層中的至少一個層中的至少一個函數的至少一個參數，使得當通過向結構輸入輸入數據訓練神經網絡時，針對神經網絡結構定義的成本函數被最小化。
可以比較特定層(layer-specific)成本函數的輸入數據。
針對結構定義的成本函數可以是針對神經網絡結構中的至少一個層定義的特定層成本函數的總和。
在本專利申請中提出的本發明的示例性實施例不應被解釋為對所附權利要求的適用性構成限制。在本專利申請中使用動詞「包括」作為不排除沒有被敘述的特徵的存在的開放限定。除非另外明確地聲明，否則在從屬權利要求中敘述的特徵是相互可自由組合的。
被認為是本發明的特性的新穎特徵在所附權利要求中進行具體闡述。然而，關於其構造及其操作方法，本發明本身以及其附加目的和優點將從當結合隨附附圖閱讀時的具體實施例的以下描述中得到最好的理解。
附圖說明
圖1示意性地圖示了根據本發明的神經網絡結構的第一示例。
圖2示意性地圖示了根據本發明的神經網絡結構的另一示例。
圖3示意性地圖示了根據本發明的神經網絡結構的又一示例。
圖4示意性地圖示了根據本發明的神經網絡結構的基本結構。
圖5示意性地圖示了根據本發明的計算單元的示例。
具體實施方式
本發明公開了使得能夠有效訓練神經網絡的神經網絡結構。圖1示意性地圖示了根據本發明的實施例的神經網絡結構。如圖1所示，神經網絡結構包括基本層10和第二層20。該基本層10依次包括破壞函數110、解碼函數210和成本函數310。如圖1所描繪的，第二層20包括編碼函數120和解碼函數220。輸入數據被帶到神經網絡。輸入數據被送到破壞函數110。第二層20的編碼函數120接收作為輸入的破壞後的輸入數據。進一步地，第二層20的解碼函數220接收作為輸入的用第二層20的編碼函數120編碼的破壞後的輸入數據。第二層20的解碼函數220的輸出作為輸入與神經網絡結構的破壞後的輸入數據一起被帶到基本層10的解碼函數210，該破壞後的輸入數據被視為解碼函數210的橫向輸入。基本層10的成本函數310接收基本層10的解碼函數210的輸出和神經網絡的輸入數據作為輸入。為了清楚起見，可以說，如圖1所描繪的結構包括成本函數，其僅包括來自基本層的一個成本函數項。
如圖1所示的神經網絡結構可以在本發明的精神內通過向該結構添加一個或多個第二層來進行修改。圖2圖示了本發明的實施例，其中根據本發明的實施例的神經網絡結構除了第一第二層20之外還包括一個另一第二層30。另一第二層30包括另一第二層的編碼函數130和另一第二層的解碼函數230。另一第二層30的編碼函數130從第一第二層20的編碼函數120的輸出接收其輸入。此外，另一第二層30的編碼函數130的輸出被送到另一第二層30的解碼函數230的輸入。在圖2的本發明的實現方式中，第一第二層20的解碼函數220接收作為輸入的另一第二層30的解碼函數230的輸出以及第一第二層20的編碼函數120的輸出，其被視為解碼函數220的橫向輸入。
在圖3中示意性地圖示了本發明的另一實施例。在該實現方式中，其針對每個第二層(即，對於第一第二層20和另一第二層30)布置另外的成本函數320，330。第一第二層20的成本函數320從第一第二層20的解碼函數220的輸出以及從用第一第二層20的編碼函數120編碼的神經網絡結構的輸入接收其輸入。類似地，另一第二層30的成本函數330從另一第二層30的解碼函數230的輸出以及另一第二層30的編碼函數130的輸出接收其輸入，該另一第二層30的編碼函數130被布置成對第一第二層20的編碼函數120的輸出進行編碼。如圖3所描繪的結構的總成本可以通過對來自在結構中實現的這些層中的成本函數項(即特定層成本函數)進行求和來導出。
圖4示意性地圖示了根據本發明的神經網絡的基本結構。原則上，該結構包括四個塊。第一塊410是編碼路徑，其被布置成對破壞後的輸入執行預先確定的編碼函數。圖4中的符號是指編碼函數的輸出。第二塊420是解碼路徑或去噪路徑，其被布置成對來自第一塊410以及來自先前解碼函數的輸入(即，橫向輸入)執行預先確定的解碼函數。圖4中的符號是指解碼函數的輸出。第四塊440是另一編碼路徑，其被布置成對神經網絡的輸入(即，乾淨輸入)x(t)執行預先確定的編碼函數。圖4中的符號h1(t)-hl(t)是指第四塊440的編碼路徑中的編碼函數的輸出。第三塊430是指成本函數路徑，其被布置成對從第二塊420和第四塊440接收的輸入執行諸如比較之類的預先確定的函數。圖4中的符號c1-cl是指神經網絡結構內的成本函數項。在圖4的示意圖中，描繪了成本函數被布置到神經網絡結構的每個層。如所提及的，在根據本發明的所有實現方式中並不一定是這種情況，其也對第四塊440中的必要編碼函數產生影響。在任何情況下，根據本發明的結構的(總)成本函數可以通過對來自在結構中實現的這些層的成本函數項進行求和來定義。總結與圖4有關的討論，本發明公開了一種梯形神經網絡結構。
如上文所討論的，編碼函數和解碼函數被布置成對對輸入數據執行預先確定的操作。更具體地，編碼函數f採用輸入x，並且產生作為輸出的編碼後的輸入數據。這也可以被稱為輸入x到「表示」y的「映射」：
y＝f(x)
這種映射可以例如是：
y＝s(wx+b)
其中w和b是編碼函數的參數，而s是非線性函數，諸如s形或雙曲正切函數。當訓練神經網絡時，尋求w和b，以使成本函數被最小化。w和b是存儲在計算機存儲器或存儲裝置中的數值的矩陣或向量，並且在計算機上對y的表達式進行評價。
相反，解碼函數g是相似映射，其採用輸入y，並且產生作為輸出的經編碼的輸入數據的「重建」。這種映射可以例如是：
其中w'和b'是解碼函數的參數，s是非線性函數，諸如s形或雙曲正切函數，並且在神經網絡的訓練中尋求參數。一個選項是使用某個規則將w'的值與w值相結合，例如，使w'始終是w的矩陣轉置。因為y可以是x的「有損」表示，所以也可能不是原始數據的精確重建。
成本函數c是用於評價解碼函數能夠多麼理想地重建編碼函數的輸入數據的函數。成本函數可以例如是：
當訓練網絡時，對編碼函數和解碼函數的參數進行調整，直到成本函數被最小化為止。在文獻中容易找到關於參數來最小化成本函數的方式，並且基本上可以使用任何優化方法，例如，非線性共軛梯度或準牛頓法。根據本發明的結構的總成本函數可以被定義為來自確定成本函數的一個或多個層中的成本函數項的總和。
從上述描述可以清楚地看出，並不需要實現神經網絡結構中的每個層的成本函數。可能的是，只有一個成本函數被布置到結構，或者可以存在針對結構中的每個層布置的成本函數，即，成本函數項，或者這兩中情況之間的任何情況。在神經網絡被訓練時，多個層上的成本函數加快學習，但可能需要更多的計算資源。根據本發明，有利的是對來自每一層中的成本函數項進行求和，並且最小化總成本函數，以便確定神經網絡結構(即，其中的函數)的參數。
還有，標準監督式成本函數可以簡單地添加到最上層，測量最上層與目標輸出之間的距離。由於梯度沿著編碼路徑向後傳播，因此該結構與監督式學習完全兼容。具有這種結構的神經網絡可以以非監督式和監督式方式兩者進行訓練。
在實踐中，上文在神經網絡結構的描述中所討論的函數和操作的實現方式可以在被布置成訓練神經網絡的計算單元中執行。這種計算單元510在圖5中圖示。計算單元510可以包括一個或多個處理單元520(諸如處理器)和一個或多個存儲器單元530。所提及的函數和操作被定義為電腦程式代碼的部分，其被存儲在存儲器單元530中。當電腦程式代碼的部分由處理單元520執行時，所提及的函數和操作被布置成以預先確定的次序(諸如分層次地)執行。函數和操作可以根據實施例由一個或多個處理器來執行。函數或操作的結果可以當做處理器內部的下一函數或操作的輸入，或者在多個處理器的情況下，中間結果(即，來自函數或操作的結果)可以直接或間接通過例如存儲器在處理器之間進行傳送。存儲器單元530可以被配置成至少暫時地存儲函數和操作的至少一些輸出，而且至少還存儲了通過其可以實現總成本函數的最優解的函數的參數。如已經說明的，一個或多個存儲器單元530有利地被布置成存儲電腦程式代碼的至少一些部分，其使得當電腦程式代碼的至少一些部分在處理器中被執行時，處理器執行如所描述的函數和操作。本文中的最優解是指以預先確定的方式最小化針對結構定義的總成本函數，例如，使得解碼塊的輸出之間的差異與輸入信號的差異低於預先確定的極限。因此，本發明的結果是，當神經網絡被投入用於應用中時，可以產生用於神經網絡結構的參數並且因此使用這些參數。計算單元510被配置成向外部實體提供(諸如傳送)所定義的參數，該外部實體被配置成執行對其執行訓練的預先確定的任務。
接下來，本發明在圖像分類和搜索應用的上下文中以例示方式進行描述。
在該示例中，本發明用於數字圖像要被自動分類的任務，例如，用於從圖像資料庫中搜索類似圖像。
對具有圖3所描繪的結構的神經網絡進行訓練，以對數字圖像進行分類，該數字圖像由三個色彩通道r，g和b的像素數據組成。圖像首先以這種任務的典型方式進行預處理：每個圖像被分割成大小為10×10像素的較小圖像或「補丁」。每個這樣的補丁然後構成300個數值(3個顏色值×10×10像素)的輸入數據向量。然後通過從這些值中減去平均值來進行歸一化，並且使用白化變換進行白化。
要被訓練的神經網絡在根據圖3的結構中建立。在該示例中，通過將方差1的高斯噪聲添加到輸入數據向量來進行破壞步驟110。
在該示例中，編碼函數f1120和f2130被選擇為：
fi＝r(aixi-bi)
其中r是矯正函數，ai和bi是參數矩陣，xi是編碼函數的輸入，並且i表示層數，
在該示例中，基本層的解碼函數g0被選擇為：
g0＝b』x』+b0h0+b0
其中x'是破壞後的輸入，h0是g1的輸出，b'，b0和b0是參數矩陣，以及
在該示例中，另外層的解碼函數gi被選擇為：
gi＝hi*s(bixi+bi)
其中*表示逐個元素相乘，bi和bi是參數矩陣，以及
成本函數c被選擇為：
通過最小化成本函數的總和(圖3中未公開如此)來對網絡進行訓練。在訓練之前，參數矩陣和向量ai，b'，bi，bi被初始化為隨機值。一般而言，參數矩陣的大小取決於應用；在該示例中，a1是大小為300×400的矩陣，a2是大小400×15的矩陣，其確定其他矩陣的尺寸。因此，神經網絡的輸出是長度為15的向量。
在該示例中，然後使用公知的梯度下降法來訓練網絡，該公知的梯度下降法被設置成最小化網絡中的成本函數的總和，其中參數矩陣和向量作為要優化的參數，並且經預處理的圖像補丁作為訓練數據。
在訓練完成後，參數的優化值構成訓練後的神經網絡的參數，其已經學會了用高級特徵來表示圖像補丁。在為了清楚地說明本發明而保持簡單的該示例中，由編碼函數f1產生的特徵大致與發現圖像中的邊緣和其他這樣的尖銳轉變相對應，並且由編碼函數產生的較高級特徵f2與在圖像中存在這樣的特徵的指示相對應，但是對於它們出現在圖像中的具體位置不發生變化。這例示了本發明的重要方面，在於結構中的橫向連接已經允許它學習這些更多位置不變的較高級特徵。
然後，訓練後的神經網絡可以用於通過以相同的方式預處理新圖像並且用這些參數和新預處理的數據作為輸入來評價編碼函數對其他新圖像進行分類。然後，相似圖像將產生類似輸出向量。因為結構中的橫向連接已經允許神經網絡學習更多的位置不變的較高級特徵，同一對象在稍微不同的位置中的圖像可能產生類似的輸出向量，被分類為相似的，因此例如在搜索應用中被找到。
該示例目前只涉及非監督式學習，但也可以納入監督式學習。例如，一些圖像補丁可能被標記。可以通過在最上層上添加與成本函數並列的成本函數項cs來考慮該信息，使得它接收最頂層的編碼函數的經編碼的輸出數據以及當前輸入數據的標記作為輸入。如果輸入數據未被標記，則cs的輸出可以設置為0。現在，當神經網絡被訓練時，如果輸入圖像補丁被標記，則網絡將以非監督式方式從數據中學習表示，而監督式學習成本函數項cs將指導學習朝向產生更接近於所標記的正確分類的分類結果的表示。在該示例中，標記可能是長度為15的向量，例如，15位，其中如果圖像已經被標記為屬於15個類別中的一個類別，則位為1，如果不是，則位為0。然後神經網絡的輸出向量可以在例如用柔性最大值(softmax)函數歸一化之後被解釋為輸入圖像屬於該類的概率，並且cs可以被計算為例如輸出和標記的交叉熵。
在該示例中，使用簡單的mlp式神經網絡，但是本發明同樣適用於其他類型的神經網絡。例如，卷積網絡廣泛地用於類似於該示例的圖像處理和模式識別應用中的機器學習應用中。本發明可以簡單地通過將編碼函數選擇為卷積來應用於卷積網絡，其中參數是卷積內核，並且訓練網絡以類似方式工作。
訓練後的神經網絡在先前示例中的最終應用僅使用編碼函數f的經學習的參數，但是解碼函數g的經學習的參數也可以用於應用中。作為本發明的應用的另一示例，考慮其中本發明可以用於使用訓練後的神經網絡通過「採樣」來創建用於填充輸入數據中的缺失數據的系統的應用。在該示例中，輸入數據由照片組成，然後訓練後的網絡用於填充其他破壞後的照片中的漏洞。神經網絡的預處理和訓練可以如先前示例那樣進行，但是破壞步驟110被修改，使得破壞類似於損壞後的照片中的損壞。例如，如果照片其中具有小漏洞而非添加高斯噪聲，則輸入數據的隨機選擇的範圍被設置為零，即，「漏洞」被插入在輸入數據中。可替代地，可以通過將數據設置為例如「漏洞」的「邊緣」處的像素值的平均值來提供初始猜測，其將稍後使應用加快。當被訓練時，神經網絡現在可以有效地學習用新生成的數據來填充破壞後的輸入數據中的漏洞。在已經訓練了神經網絡之後，可以將其納入用戶提供照片並且在該示例中標記要用所生成的數據填充的照片中的像素的區域的軟體程序中。當使用所提供的照片作為輸入數據對訓練後的網絡(即，編碼函數和解碼函數)進行評價時，解碼函數210的輸出產生其中所標記的區域已經被填充有「採樣」的生成數據的數據的版本。然後再次迭代該過程，現在通過將原始的用戶提供的照片和解碼函數210的輸出組合來替換破壞步驟110，使得從解碼函數210的輸出中選擇標記區域的像素值，並且從原始的用戶提供的照片中選擇其他區域的像素值。
根據本發明的神經網絡結構至少在改進了神經網絡的訓練的意義上提供了優於現有技術的解決方案的優點。這通過解碼函數的橫向輸入來實現，其使得能夠學習較高層上的抽象特徵(諸如上文的圖像示例中的不變特徵)，以及解決方案與監督式學習解決方案的成本函數一起的有效協作。而且，布置在較高層上的成本函數項增強並且加速了神經網絡的學習。因此，本發明的優點比現有技術更清楚。
前述描述中描述的特徵可以用於與明確描述的組合不同的組合中。儘管已經參照某些特徵描述了功能，但是這些功能可以由其他特徵(無論是否被描述)來執行。儘管已經參考某些實施例對特徵進行了描述，但是在其他實施例中也可以存在那些特徵(無論是否被描述)。