基於bp神經網絡的色盲及色弱矯正方法
2023-05-10 04:00:01
專利名稱：基於bp神經網絡的色盲及色弱矯正方法
技術領域：
本發明屬於神經網絡和視覺恢復技術領域，具體涉及一種基於BP神經網絡的色盲與色弱矯正方法。受國家重點基礎研究規劃基金(2005CB724303)資助。
背景技術：
色盲與色弱是危害人類健康的視覺疾病，它對患者的日常生活帶來了不利影響。據統計，患有色盲或色弱的男性約有8％，女性約有0.5％。絕大部分色盲與色弱的原因在於視網膜上傳遞顏色信息的感光錐體細胞異常或不全，以致缺乏辨別某種或某幾種顏色的能力。其主要表現是不能很好地區分一些顏色。很多正常視覺中區別明顯的顏色在色盲與色弱患者看來非常類似，甚至完全不能區分開來。色盲按臨床表現又可分為全色盲和部分色盲(二色覺者)，由於全色盲的比例非常小，後面文中所提到的色盲都是指部分色盲(即二色覺者)。部分色盲按照視錐細胞異常的不同又分為紅色盲、綠色盲和藍色盲。根據視覺的三通道模型，色盲與色弱的生物學特性已經得到廣泛的研究，也建立了很多對色盲與色弱患者視覺進行研究的模型[1]-[4]。根據這些模型，可以分析或模擬色盲與色弱患者的神經系統對顏色、亮度等視覺信息的處理機制，不過這些模型都沒有對色盲與色弱的治療或矯正提出有效的建議。
從原理角度來說，色盲與色弱患者缺少感光錐體細胞，但對缺少的那種錐體細胞響應信號的「接收器」並不一定失效，只是該「接收器」缺少了輸入信號。因此，對於進入眼睛的圖像，如果能夠根據已有的視覺感光細胞的響應信號恢復出正常視覺中所應當產生的響應信號，並設法調節後面「接收器」上接收到的信號，就有可能使得神經系統在處理信息時得到與正常視覺者處理同樣圖像時所產生的類似的信號，從而產生正常的顏色感覺。考慮到色盲與色弱的種類和程度有多種，同種色盲或色弱患者具有的各種感光錐體細胞的數量與比例也各不相同，因此針對不同患者進行矯正時採用相同的變換參數是不可行的，需要有一種適應性強的方法。
根據上述要求，並考慮到視覺處理信息量非常大的特點，本發明中試圖採用BP神經網絡模型的方法將色盲或色弱患者錐體細胞的異常響應信號轉變為正常視覺者所應具有的響應信號，為色盲與色弱治療和矯正的研究提供一個可以參考的有效模型。
發明內容
本發明的目的是提出一種適應性強的對色盲與色弱進行矯正的方法。
本發明提出的對色盲和色弱進行矯正的方法，是一種基於BP神經網絡的訓練方法，其步驟是首先對視網膜視覺感受細胞響應信號進行仿真，然後採用BP神經網絡矯正模型，經過一定的訓練後，將色盲或色弱患者視網膜上視覺感受細胞的異常響應信號轉變成正常視覺者視覺感受細胞所應有的響應信號，從而實現對色盲或色弱的矯正。下面對本發明內容進一步介紹相關概念BP(Back-Propagation)神經網絡(一種採用誤差反向傳播算法的前饋神經網絡)。
人工神經網絡的設計是由對人腦的類比引發的。根據神經生物學研究出的神經系統間信號的傳遞原理所設計的各種類型的神經網絡，被廣泛地應用於各種領域，特別是在解決有生物學特性的非線性映射和自適應學習等問題方面，有很好的效果。由於人工神經網絡能夠較好地模擬生物神經系統的性質，對於視覺模型的研究有著非常重要的意義。其中，BP神經網絡採用有監督學習的反向傳播機制，非線性映射和泛化能力較強，而且局部計算簡單，利於大規模集成電路的硬體實現，適合用於具有大量信息的視覺系統的信息處理。BP神經網絡由輸入層、隱層、輸出層組成，結構如圖1所示。它採用誤差反向傳播訓練算法，主要思想是將學習過程分為信息的正向傳遞與誤差的反向傳播兩個階段。在正向傳遞的過程中，輸入信息經隱層逐層計算，每一層神經元的輸出作用於下一層神經元的輸入。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然後反向傳播，通過網絡將誤差信號沿原來的連接通路反傳回來修改各層神經元的連接權值，直至達到期望目標。利用訓練樣本經過反覆的迭代直至訓練結束後，網絡對非訓練樣本也能夠完成所需要的從輸入到輸出的變換。關於BP神經網絡的詳細介紹及算法的優化等細節，可參見參考文獻[5]中156-198頁的內容。
1、對視網膜視覺感受細胞響應信號進行仿真為了仿真人眼視覺系統模型，對於一幅圖像來說，將它的每一個像素的顏色紅(Red)、綠(Green)、藍(Blue)三種分量的值(簡稱為RGB值)轉變成三種錐體細胞的吸收信號，這個過程可以通過一個從RGB空間到錐體細胞吸收特性空間(LMS空間)的變換來實現LMS=URGB=LRLGLBMRMGMBSRSGSBRGB---(1)]]>在不同的定義方式下，矩陣U的係數不完全相同。Faugeras模型[6][7]給出了對視覺系統的一種仿真，該模型(如圖2所示)中定義的U使得三種錐體細胞吸收信號的最大值相等。此處採用該模型所使用的U來進行仿真，具體的矩陣U如下
U=LRLGLBMRMGMBSRSGSB=0.36340.61020.02640.12460.81380.06160.00090.06020.9389---(2)]]>然後根據錐體細胞響應的非線性特性，採用如Faugeras模型中所述的對數函數的方法來得到錐體細胞的響應信號。即Lr＝log(L)Mr＝log(M) (3)Sr＝log(S)對色盲與色弱患者來說，三種錐體細胞的吸收特性與正常視覺者有差別，其中一種的吸收偏弱(對於色弱患者)甚至幾乎不存在(對於色盲患者)，仿真中採用一個變換矩陣T來簡單地描述這種現象L_aM_aS_a=TLMS=T_L000T_M000T_SLMS---(4)]]>從色盲或色弱患者的三種錐體細胞的吸收特性到正常視覺者的三種錐體細胞的吸收特性的變換用變換矩陣T來描述L_aM_aS_a=TLMS=T_L000T_M000T_SLMS---(4)]]>再採用Faugeras模型中的對數函數方法得到色盲或色弱患者錐體細胞的響應信號Lr_a＝log(L_a)Mr_a＝log(M_a) (5)Sr_a＝log(S_a)以上公式中，R、G、B為圖像各像素點的顏色的紅、綠、藍分量值；L、M、S為正常視覺者視網膜上三種錐體細胞的吸收值；Lr、Mr、Sr為正常視覺者三種錐體細胞的響應值；L_a、M_a、S_a為色盲或色弱患者視網膜上三種錐體細胞的吸收值；Lr_a、Mr_a、Sr_a為色盲或色弱患者三種錐體細胞的響應值。T_L、T_M、T_S為從正常視覺者錐體細胞吸收特性L、M、S到異常視覺者錐體細胞吸收特性L_a、M_a、S_a的變換係數，這些係數對於不同類型的色盲或色弱患者來說並不一樣；而對於同種類型的色盲或色弱，不同患者之間也會有所不同。對於色弱患者，其中一個係數(對紅色弱患者是T_L、對綠色弱患者是T_M、對藍色弱患者是T_S)設為一個小於1且不為0的正數(仿真中設為0.01)，對於色盲患者這個係數(對紅色盲患者是T_L、對綠色盲患者是T_M、對藍色盲患者是T_S)設為0。考慮到不同患者的不同情況，其它兩個參數在仿真中被設為1到2之間的一個隨機數。根據矩陣U、T和對數變換，就可以從每個像素點的顏色值仿真出它在三種錐體細胞上的響應信號了。
2、採用BP神經網絡矯正模型進行矯正在完成了對異常錐體細胞響應信號的仿真之後，採用BP神經網絡矯正模型來進行轉換，目的是將這些異常的信號轉變為正常的信號。神經網絡輸入層和輸出層均為3個神經元，輸入層和輸出層之間的一個隱層包含10個隱層神經元。輸入層的三個神經元對應色盲或色弱患者異常的三種錐體細胞響應，所應得到的輸出(即訓練時的目標函數)是正常的響應信號，而從輸入層到隱層的權值調節和從隱層到輸出層的權值調節採用BP學習算法。該神經網絡模型的結構如圖3所示。
然後是神經網絡的訓練及測試過程。採用很多幅包含豐富顏色信息的自然圖像對網絡進行訓練，訓練結束後使用另外一些自然圖像對該模型進行測試。具體而言，針對不同特徵的色盲與色弱患者，只需採用一些圖像中各個像素點的顏色在其視覺細胞上的響應信號和這些顏色在正常視覺者視覺細胞上的響應信號對該BP神經網絡進行訓練，就可以得到一個固定的神經網絡權值；然後使用該網絡即可將其他圖像在色盲或色弱患者視覺細胞上的異常響應信號轉變為正常的響應信號。為了更加直觀地分析結果，根據恢復後的錐體細胞響應再逆變換得到「恢復後的圖像」，並與原圖像以及對色盲或色弱患者視覺的仿真圖像(仿真方法可參照[3][4])進行比較。
3、針對色盲患者所作的改進由於色盲患者LMS三路信號中有一路為0，經過神經網絡的訓練後，雖然一些原本不能辨別的信號可以被分辨出來，但仍有部分信息無法恢復，也就是還有一定程度的混淆。為解決這一問題，本方法中對模型進行了一些改進。在人類視覺系統中，杆體細胞主要傳遞亮度信息，研究表明杆體細胞的響應信號在一定程度上也與顏色信息有關[8][9]。因此本發明用部分杆體細胞的響應信號來代替色盲患者所缺少的那一種錐體細胞的響應信號，作為神經網絡的輸入，而其他均保持不變。具體仿真中，採用相對亮度信息作為杆體細胞的響應信號，而亮度信息可以由像素的RGB值得到，此處採用R、G、B值之和的對數值即log(R+G+B)來模擬。使用該改進後的模型可以為色盲患者提供更多的信息，從而更好地矯正其顏色視覺。
4、實際應用方法在具體應用時，對於色盲或色弱患者，可以直接將獲得的錐體細胞上的響應信號輸入到神經網絡進行訓練，得到從異常信號轉變到正常信號之間的變換關係，然後根據這個關係，人為地調節視網膜內視覺細胞的響應信號(比如將模型得到的響應信號轉變為脈衝刺激，人為地施加在視覺系統中接受這種響應信號的區域)，以使之獲得正常的顏色視覺。更為合理一些的方法是在圖像進入眼睛之前就進行一些處理，調節其對三種錐體細胞的刺激值以使得錐體細胞的響應接近正常的響應，然後對於錐體細胞響應無法調節的部分，再考慮在視覺系統中接受這種響應信號的區域人為地施加刺激，這樣需要人為調節的部分就減少了。通過以上所述的這些信號變換過程和在視覺系統內外的調節，來實現對錐體細胞響應信號異常所引起的色盲或色弱的矯正。
圖1、BP神經網絡結構圖示。
圖2、人類彩色視覺系統的Faugeras模型的一部分[6]。
圖3、基於BP神經網絡的色盲及色弱矯正模型。
圖4、對三種色盲患者顏色感知的仿真。其中(a)、(b)、(c)、(d)分別是原始圖像、紅色盲感知圖像、綠色盲感知圖像和藍色盲感知圖像。
圖5、BP神經網絡矯正模型的效果。其中(a)、(d)、(g)為原始圖像，(b)、(e)、(h)分別是對嚴重的紅色弱、綠色弱和藍色弱所感知到的圖像的仿真，(c)、(f)、(i)分別為根據神經網絡矯正模型的輸出進行變換後恢復出來的圖像。
圖6、改進的BP神經網絡矯正模型的效果。(a)、(d)、(g)為原始圖像，(b)、(e)、(h)分別是對紅色盲、綠色盲和藍色盲所感知到的圖像的仿真，(c)、(f)、(i)分別為根據神經網絡矯正模型的輸出進行變換後恢復出來的圖像。
具體實施例方式
以下以紅色弱為例，介紹整個仿真及信號變換過程，並在最後用圖像的形式表示出幾種不同情況下錐體細胞響應信號恢復的結果。
1、對色盲患者顏色感知的模擬根據各種對色盲患者顏色感知的研究，繪製出三種色盲患者觀察到的圖案，用來觀察它們的顏色混淆情況，以便與後面恢復後的圖像進行比較。圖4為分別對三種色盲患者(紅色盲、綠色盲和藍色盲)顏色感知進行模擬的結果。
2、對視網膜視覺感受細胞響應信號進行仿真此處以紅色弱為例，說明仿真的具體過程從圖像中任取一個像素點，得到它的顏色RGB分量分別為R＝63、G＝204、B＝37，根據公式(2)中的矩陣U以及公式(1)，計算出正常視覺者錐體細胞的吸收值L＝148.35、M＝176.14、S＝47.077；再根據公式(3)計算出正常視覺者錐體細胞的響應值Lr＝4.9996、Mr＝5.1713、Sr＝3.8518。對紅色弱患者，取T_L＝0.01，T_M與T_S在1到2之間隨機產生，得到T_M＝1.3，T_S＝1.2；由公式(4)得到患者異常的三種錐體細胞的吸收值L_a＝1.4835、M_a＝228.99、S_a＝56.492；再由公式(5)得到這三種錐體細胞的響應值Lr_a＝0.39442、Mr_a＝5.4337、Sr_a＝4.0341。這樣，就獲得了對應於該像素點顏色的正常響應信號Lr、Mr、Sr和異常響應信號Lr_a、Mr_a、Sr_a。對一副圖像中所有像素點進行類似的操作，就能得到作為樣本的很多組正常與異常響應信號。
3、BP神經網絡矯正模型訓練階段對於用作訓練的自然圖像，將其每一個像素在異常錐體細胞上的響應信號作為神經網絡的輸入，以它們在正常錐體細胞上的響應信號作為目標函數，對網絡進行訓練。神經網絡中輸入層到隱層之間採用tansig傳遞函數(雙曲正切S型傳遞函數)，而隱層到輸出層之間採用線性傳遞函數。對於上述的紅色弱，採用一定數量的自然圖像進行訓練後，整個網絡得到一系列固定的權值，此處輸入層到隱層的權值矩陣w1和偏置b1，以及隱層到輸出層的權值矩陣w2和偏置b2分別為w1=-0.0173-1.8848-1.62400.5542-0.8046-0.5415-0.99051.6863-1.0790-1.50630.29411.53870.13220.10550.0314-1.05520.61510.84540.3649-0.45870.1699-0.20451.34231.59040.3162-0.2286-0.12570.5999-0.08920.0905,b1=2.7455-2.95310.95272.0800-0.59320.15761.5053-1.45931.50042.7925]]>w2=-0.7568-1.8776-0.7943-0.32843.86730.89010.2426-0.86301.32981.2858-0.6544-1.51950.97391.67943.9449-0.9841-1.0930-0.6917-0.47821.4567-0.2277-1.0886-1.05731.98982.3936-1.46602.55810.0081-4.08491.6713,b2=1.7745-0.27340.9175]]>上面提到的神經網絡內部的傳遞函數以及權值等的定義說明起來較為複雜，此處就不詳細介紹了，具體可參考神經網絡相關文獻，如[5]。
4、BP神經網絡矯正模型測試階段此處仍以前述的紅色弱為例，說明測試的具體過程。訓練完畢後，該神經網絡矯正模型得到一系列固定的權值。此時用一些其他圖像，根據上面所述方法得到神經網絡的輸入和期望的輸出，不同的是此時不需要進行訓練，直接將異常響應信號輸入神經網絡，由神經網絡變換得到輸出。可以將此輸出與期望的輸出進行比較，來評價信號變換的效果。此處依舊從圖像中任取一個像素點作為代表，它的顏色RGB分量分別為R＝78、G＝96、B＝22，根據公式(2)中的矩陣U以及公式(1)，計算出正常視覺者錐體細胞的吸收值L＝87.505、M＝89.199、S＝26.505；再根據公式(3)計算出正常視覺者錐體細胞的響應值Lr＝4.4717、Mr＝4.4909、Sr＝3.2773；由公式(4)得到患者異常的三種錐體細胞的吸收值L_a＝0.87505、M_a＝115.96、S_a＝31.806；再由公式(5)得到這三種錐體細胞的響應值Lr_a＝-0.13347、Mr_a＝4.7532、Sr_a＝3.4597。將異常響應信號Lr_a、Mr_a、Sr_a作為神經網絡的輸入，得到輸出分別為4.4653、4.4936、3.2719，與之前計算得到的正常響應信號Lr(4.4717)、Mr(4.4909)、Sr(3.2773)非常接近。對多幅測試圖像進行統計，矯正後的信號與正常信號的平均相對誤差不超過5％。
對一副圖像中所有像素點進行類似的操作，可以將每個像素點對應的異常響應信號轉變為正常的。為了直觀地表現該模型的效果，這裡還將網絡的輸出經過一系列逆變換恢復出圖像，並與原始圖像及色盲或色弱圖像進行比較，來觀察該模型的性能。
5、實驗結果分析前面所舉的例子是針對紅色弱患者的。對於色盲患者，只需將缺少的那一路信號按照前面所述的方法用部分杆體細胞的響應來代替即可，實驗結果表明採用這種方法可以達到與色弱矯正相類似的效果。
該BP神經網絡矯正模型的直觀效果如圖5、圖6中所示。其中，圖5為使用BP神經網絡矯正模型對嚴重色弱的情況進行矯正的結果，圖6為使用改進的BP神經網絡矯正模型對色盲的情況進行矯正的結果。從圖中可知，針對不同類型的色盲或色弱患者，該模型都能較好地將異常的錐體細胞響應信號轉變成正常的響應信號，具有很好的性能，特別是通用性與自適應性。無論是哪一種色盲或色弱患者的視覺細胞上的異常響應信號，經過該模型神經網絡的訓練後，都能夠轉變為正常的響應信號。
參考文獻[1]S Nakauchi，S Usui.Multilayered neural network models for color blindness.NeuralNetworks 1991，IEEE International Joint Conference，1991，1473-478. Y H Kuo，J P Hsu.MCFC-RA fuzzy connectionist model for color-blindness platerecognition.Neural Networks 1996，IEEE International Conference，1996，2718-723. W Thomas，D Ulrike，H Rainer.Modeling color percepts of dichromats.Vision Research，2004，442843-2855. H Brettel，F Vienot，J Mollon.Computerized simulation of color appearance for dichromats.Journal Optical Society of America，1997，142647-2655. H Simon.Neural Networks-A Comprehensive Foundation.2nd edn.Prentice Hall，1999. O D Faugeras.Digital color image processing and psychophysics within the framework of ahuman visual model.Ph.D.dissertation，Univ.Utah，Salt Lake City，1976[7]C E Martin，J G.Keller，S K.Rogers，M Kabrisky.Color blindness and a color human visualsystem model.IEEE Transactions on Systems，Man，and Cybernetics-Part ASystems andHumans，2000，30494-500. D Cao，J Pokorny，V C Smith.Matching rod percepts with cone stimuli.Vision Research，2005，452119-2128. S L Buck.Rod-cone interactions in human vision.The visual neurosciences，2004，1863-878.
權利要求
1.一種基於BP神經網絡的色盲與色弱矯正方法，其特徵在於具體步驟為首先對視網膜視覺感受細胞響應信號進行仿真，然後採用BP神經網絡矯正模型，通過一定的訓練之後，將色盲與色弱患者視網膜上視覺感受細胞的異常響應信號轉變為正常視覺者視覺感受細胞所應有的響應信號。
2.根據權利要求1所述的方法，其特徵在於所述的對視網膜視覺感受細胞的響應信號進行仿真的步驟如下對於一幅圖像，人眼視覺系統將每一個像素的顏色的RGB值轉變成三種錐體細胞的吸收信號，這個過程通過一個從RGB空間到錐體細胞吸收特性空間LMS的變換矩陣來實現LMS=URGB=LRLGLBMRMGMBSRSGSBRGB---(1)]]>這裡，變換矩陣U採用Faugeras模型所使用的矩陣U=LRLGLBMRMGMBSRSGSB=0.36340.61020.02640.12460.81380.06160.00090.06020.9389---(2)]]>再採用Faugeras模型中的對數函數方法得到錐體細胞的響應信號Lr＝log(L)Mr＝log(M) (3)Sr＝log(S)從色盲或色弱患者的三種錐體細胞的吸收特性到正常視覺者的三種錐體細胞的吸收特性的變換用變換矩陣T來描述L_aM_aS_a=TLMS=T_L000T_M000T_SLMS---(4)]]>再採用Faugeras模型中的對數函數方法得到色盲或色弱患者錐體細胞的響應信號Lr_a＝log(L_a)Mr_a＝log(M_a)(5)Sr_a＝log(S_a)其中，R、G、B為圖像各像素點的顏色的紅、綠、藍分量值；L、M、S為正常視覺者視網膜上三種錐體細胞的吸收值；Lr、Mr、Sr為正常視覺者三種錐體細胞的響應值；L_a、M_a、S_a為色盲或色弱患者視網膜上三種錐體細胞的吸收值；Lr_a、Mr_a、Sr_a為色盲或色弱患者三種錐體細胞的響應值；T_L、T_M、T_S為從正常視覺者錐體細胞吸收特性L、M、S到異常視覺者錐體細胞吸收特性L_a、M_a、S_a的變換係數，對於色弱患者，其中一個係數設為一個小於1的正數，其餘兩個參數取為1到2之間的一個隨機數；對於色盲患者其中一個係數設為0，其餘兩個參數取為1到2之間的一個隨機數。
3.根據權利要求1中所述的方法，其特徵在於針對不同特徵的色盲與色弱患者，採用一些圖像中各個像素點的顏色在其視覺細胞上的響應信號和這些顏色在正常視覺者視覺細胞上的響應信號對該BP神經網絡進行訓練，得到一個固定的神經網絡權值；然後使用該網絡即可將其他圖像在色盲或色弱患者視覺細胞上的異常響應信號轉變為正常的響應信號。
4.根據權利要求3所述的方法，其特徵在於對於色弱患者，利用其三種錐體細胞上的異常響應信號，通過神經網絡的訓練，可以恢復出正常的響應信號；對於色盲患者，採用部分杆體細胞的響應信號來代替缺少的那一路信號來進行訓練，從而恢復正常的響應信號。
5.根據權利要求3中的方法，其特徵在於對於色盲或色弱患者，可以直接將獲得的錐體細胞上的響應信號輸入到神經網絡進行訓練，得到從異常信號轉變到正常信號之間的變換關係，然後根據這個關係，人為地調節視網膜內視覺細胞的響應信號，以使之獲得正常的顏色視覺；或者在圖像進入眼睛之前就進行一些處理，調節其對三種錐體細胞的刺激值以使得錐體細胞的響應接近正常的響應，然後對於錐體細胞響應無法調節的部分，再考慮在視覺系統中接受這種響應信號的區域人為地施加刺激，來實現對錐體細胞響應信號異常所引起的色盲或色弱的矯正。
全文摘要
本發明屬於神經網絡和視覺恢復技術領域，具體是一種基於BP神經網絡的色盲與色弱矯正方法。該方法使用色盲和色弱患者視網膜上視覺感受細胞對具體視覺圖像的響應信號，通過BP神經網絡訓練，獲取與正常人視覺感受細胞對相同圖像的響應相類似的信號，將色盲與色弱患者視覺感受細胞的異常響應信號轉變為正常響應信號。本發明中不但提出了針對色盲與色弱矯正的BP神經網絡訓練的方法和相應的模型，還提出了該方法的具體實現步驟，從而為色盲與色弱的矯正提供了有力支持。
文檔編號A61H5/00GK1895191SQ20061002646
公開日2007年1月17日 申請日期2006年5月11日 優先權日2006年5月11日
發明者汪源源, 馬煜, 顧曉東, 王威琪 申請人:復旦大學