基於自組織映射神經網絡的舌象自動聚類、可視化和檢索系統的製作方法

2023-09-19 01:06:55

專利名稱：基於自組織映射神經網絡的舌象自動聚類、可視化和檢索系統的製作方法
技術領域：
本發明涉及一種舌象自動聚類、可視化和檢索方法，具體地說是一種基於自組織映 射神經網絡實現對舌象進行聚類、可視化和基於圖像內容的快速檢索方法。
背景技術：
在中醫診斷學中，舌診是獲取病人身體狀態信息的重要途徑之一。傳統中醫舌診在 很大程度上依賴於醫師的主觀判斷和個人經驗，具有比較大的隨意性和不確定性。通過 對舌象數據進行聚類，並對聚類結果實現可視化，可以幫助中醫專家了解舌象數據的內 在結構，最大程度地消除隨意性和不確定性。而採用基於內容的圖像檢索技術，根據當 前病人的舌圖像，從典型樣本資料庫中檢索具有相似舌象特徵的典型樣本舌圖像，可以 為醫師診斷提供樣例支持，提高診斷的準確性。建立中醫舌象自動聚類、可視化和快速 檢索系統，對中醫舌診現代化，規範化和國際化有著重大的現實意義。
中醫舌象特徵量很多，變化非常豐富，且變化具有漸進性，這些變化均同時呈現在 一幅舌象圖片上，將它們準確區分判讀出來是非常困難的，有些情況下，即使是專業的 醫師也很難達成一致的意見。針對舌象的這種複雜性，本發明提出採用一種無監督的機 器學習方法，自組織映射神經網絡(S0M)，實現舌象的自動聚類和可視化，並在此基 礎上實現對舌象的快速檢索。
由T. Kohonen提出的自組織映射(S0M， Self-Organizing Map)神經網絡算法通過 競爭學習的方法實現對高維樣本集的降維、聚類和可視化。SOM是一種聚類算法，可以 將相似的樣本聚為一類。同時，SOM具有保序映射的特點，可以保證相似的聚類在輸出 神經元網格上所對應的神經元也靠得很近，而不相似聚類所對應的祌經元則相距較遠。 利用這一特性，S0M可以揭示高維樣本集的內在結構，將舌象圖像經特徵提取後獲得的 高維特徵向量投射到低維空間後，可以清楚地觀察到不同舌象的空間分布及變化情況。 根據中醫理論，舌象的不同表徵對應著病人不同的症。通過本發明所設計之系統檢索最 相似的典型舌象樣本，並通過輸出二維網格觀察舌象的分布位置及變化情況，能夠為中 醫診斷提供科學依據。
經對現有技術文獻的檢索發現，中國發明專利申請號02103795. 7在分級聚類分析生 成聚類樹並調整的基礎上，採用基於聚類樹的支持向量機(CTSVM)方法進行舌體分類； 200610150871. 7利用KNN算法將舌苔和舌質顏色分為14種;200610150874. 0在子圖像進行預處理後進行特徵提取，將提取的特徵送入分類器進行分類。但是這些方法都是事 先準備好類別和分類器，引入了人眼主觀觀察的因素，比如人為地將舌色分為紅，淡紅， 淡白等類別，這些人為因素影響了分類結果的客觀性；同時簡單的分類結果不足以完全 顯示各舌象樣本之間的區別與聯繫。

發明內容
本發明的目的在於針對國內外研究的缺乏和現有技術的不足，提供一種新的、針 對大規模舌象樣本集的舌象聚類、可視化和快速檢索方法，通過此方法實現基於內容的 舌象可視化和快速檢索。
本發聽的主要實現步驟如下
(1) 分割舌體通過採集設備得到舌象樣本圖片，對樣本圖片進行舌體分割，得到 完整的舌象；
(2) 特徵提取在HSV顏色空間提取舌象的各分量的直方圖，得到描述舌象樣本的 特徵向量，並根據統計結果精簡特徵向量的維數；
(3) 訓練自組織映射神經網絡用大量典型舌象樣本的特徵向量訓練自組織映射祌 經網絡，得到對應於典型舌象樣本集的自組織映射網格，其中包括各個聚類中心的參考 特徵向量及可視化表示各聚類之間關係的二維映射網格；
(4) 基於最小距離準則的相似性檢索對輸入的舌象樣本圖片，根據步驟(2)提 取其特徵向量，在由步驟(3)得到的自組織映射網絡中，按照最小距離準則，檢索與 其最相似的聚類中心，然後在所有屬於該聚類的舌象樣本中檢索與其最相似的樣本；
(5) 顯示最相似舌象樣本圖像；
(6) 在自組織映射網絡二維輸出網格上高亮顯示匹配聚類對應的神經元節點，並顯 示此聚類的全部樣本。
本發明與現有技術相比的優點在於
(1) 本發明採用了自組織映射的方法來聚類舌象數據，利用自組織映射特有的保序 性及聚類效果，完全由舌象自身的參數決定聚類和映射結果，同時，生成的二維網格式 結構，能夠反映出舌象數據之間的內在關係，可以實現高維舌象特徵數據的有效聚類和 可視化，具有很好的聚類客觀性和良好的可視化效果。
(2) 本發明通過對舌象數據進行聚類，並對聚類結果實現可視化，可以幫助中醫專
家了解舌象數據的內在結構，最大程度地消除隨意性和不確定性，通過輸出顯示與査詢 舌象樣本最相似的舌象樣本及其同類樣本群，可以為中醫診斷提供樣例支持，因此具有 重要的應用前景和實用價值。(3) 此外，本發明採用了符合人類視覺特性的HSV色彩空間來進行顏色分析，通過 將實驗結果送中醫專家比較判讀表明，HSV顏色空間最接近於中醫根據臨床經驗觀察舌 象的習慣。
(4) 本發明基於統計分析，對原始特徵向量進行了維數約減，這大大降低了自組織 映射神經網絡訓練過程和檢索過程的時間複雜度；而SOM網絡特有的分層檢索模式，也
在很大程度上提高了海量資料庫檢索地效率。


圖l本發明方法的流程圖2為具有代表性的舌象HSV空間直方圖分布，其中，(a)為H分量直方圖分布，(b) 為S分量直方圖分布，(c)為V分量直方圖分布；
圖3為一幅典型的經過分割處理過程之後的舌象樣本圖片；
圖4為本發明實施例程序的主界面，圖片中顯示了對一新輸入的査詢樣本進行處理 的部分結果。左邊舌象為查詢樣本，右邊舌象為檢索出的最相似樣本。最右邊的網格圖 為SOM網絡二維輸出節點陣列，其中高亮顯示(+號)節點代表與查詢舌體樣本最相似 的聚類；
圖5為本發明實施例程序的檢索結果，其中(a)為用3500幅樣本圖片訓練得到的S0M 神經網絡，每個節點代表一個聚類，圓圈所示為最佳匹配聚類；(b)為最佳匹配聚類的 全部樣本，以及最佳匹配樣本(加邊框標題標題標註的樣本)。
具體實施例方式
如圖1所示，本發明主要由聚類、索引結構建立過程，和檢索及可視化過程兩個部 分組成。在索引結構生成的過程中，用大量的典型舌象樣本訓練自組織映射神經網絡， 生成聚類並以索引結構的形式保存；在檢索過程中，對新輸入的舌象用同樣的方法提取 特徵向量，跟索引結構中的參考特徵向量匹配，得到最佳匹配所對應的聚類，再根據聚 類中所有典型舌象樣本特徵向量匹配，最佳匹配即為檢索結果。最後可視化顯示檢索結 果。
本發明的具體實施過程如下
第一步，分割舌體通過採集設備得到舌象樣本圖片，對樣本圖片進行舌體分割， 得到完整的舌象。舌體分割可以採用已發表的、有效的舌體自動分割方法來實現。例如， 先採用極坐標邊緣檢測方法得到舌體的初始輪廓，然後採用動態輪廓模型(snake)算 法實現舌體的精細分割。
第二步，特徵提取在HSV顏色空間提取舌象的各分量的直方圖，得到描述舌象樣本的特徵向量，並根據統計結果精簡特徵向量的維數。 '
由於只需要關心舌象的顏色信息，因此直接對整幅圖像的直方圖特徵進行分析。以 直方圖的每一個分量作為圖片直接關聯的維度變量。這樣可以最大限度的保留原始樣本 的信息。本發明採用了符合人類視覺特性的HSV色彩特徵來描述舌象樣本。
通過對大量樣本的統計觀察，舌質部分的HSV直方圖各個分量在0到255各個級數 上並不是均勻分布的，而是只集中在某一子空間上，如圖2所示，圖2為具有代表性的 舌象HSV (Hue-Saturation-Value, H代表色度(Hue) ， S代表飽和度(Saturation) ， V代 表光照強度或稱為亮度(Value))空間直方圖分布，其中，(a)為H分量直方圖分布，(b) 為S分量直方圖分布，(c)為V分量直方圖分布。為了減少特徵向量的維度，以提高步 驟(3)中自組織映射網絡訓練的效率，對每個分量的直方圖只取其中的有效部分。通 過對多幅圖的分析計算，本發明確定HSV三個分量各維度的範圍為h—hist (2:41,201:255), s—hist (1:200)， v—hist (51:255)，統計過程如下首先對舌象樣 本資料庫中的3500幅圖片做三個分量各個維度的統計平均，然後，為保證完備性，對 範圍做適當的調整，以確保所有樣本的大多數分量均處於所挑選的維度中。本實例中所 使用的維度範圍包含了 3500個樣本的92%以上的像素。
第三步，訓練自組織映射神經網絡用大量典型舌象樣本的特徵向量訓練自組織映 射神經網絡，得到對應於典型舌象樣本集的自組織映射網格，其中包括各個聚類中心的 參考特徵向量及可視化表示各聚類之間關係的二維映射網格。
在自組織映射神經網絡中，每一個參考向量的有序序列『;=(『1,,『2,.,...，『 ,.)都可以
看作是神經網絡的一種內部表示，它是有序的輸入樣本序列1 = (;^，％2，...,％ )的相應映像。
具體到本實例中，對自組織映射神經網絡進行學習，其步驟如下
(1) 對輸出層各個神經元所代表的參考向量賦予小的隨機數，並做歸一化處理，神 經元參考向量的維數與輸入樣本特徵向量的維數相同。
(2) 從訓練集中取出舌象樣本特徵向量，將特徵向量歸一化後作為自組織映射網絡 的輸入。
(3) 計算輸入樣本特徵向量與各神經元參考向量的相似度，相似度最大的神經元將獲勝。
(4) 獲勝神經元極其鄰域內的神經元調整權值。
通過調整權值，獲勝者及其鄰域內的神經元和輸入樣本更加接近，因此使這些神經元以後對相似輸入樣本的響應得以增強。通過大量訓練樣本訓練網絡，繁後使輸出'層各 節點成為對特定樣本類敏感的神經元，對應的向量成為各個輸入樣本類的參考特徵向 量。
第四步，基於最小距離準則的相似性檢索對輸入的舌象樣本圖片，根據第二步驟 提取其特徵向量，在由第三步驟得到的自組織映射網絡中，按照最小距離準則，檢索與 其最相似的聚類中心，然後在所有屬於該聚類的舌象樣本中檢索與其最相似的樣本。
對於兩個特徵向量《,A， Z2,，...，X ,}， ^"^，義2,."XJ， i、 j、 n
為自然數。
採用二者之間的歐式距離來度量這兩個特徵向量之間的相似度
對於新輸入的要求檢索的新舌象樣本(查詢樣本)，在所有輸出神經元所對應的參 考特徵向量中檢索距離D最小的一個參考特徵向量，其所對應的神經元即代表新輸入樣
本所歸屬的聚類；在屬於該聚類的所有樣本中檢索使距離D最小的一個樣本，即得到舌 象樣本資料庫中與査詢樣本最相似的舌象樣本。由於相比於整個資料庫中樣本的數量， 聚類(輸出網格神經元)的數量以及每個聚類中樣本的數量是很小的，因此這種由粗到 精的檢索策略可以顯著降低檢索的計算代價，實現對大規模舌象樣本資料庫的快速檢 索。
第五步，顯示最相似舌象樣本圖像；
顯示檢索得到的最相似樣本舌象的圖片及其相關的信息，如圖4所示，圖4中顯示 了對一新輸入的查詢樣本進行處理的部分結果。左邊舌象為查詢樣本，右邊舌象為檢索 出的最相似樣本。最右邊的網格圖為SOM網絡二維輸出節點陣列，其中高亮(+號)顯 示節點代表與查詢舌體樣本最相似的聚類；
第六步，在自組織映射二維輸出網格上高亮顯示匹配聚類對應的神經元節點，並顯 示此聚類的全部樣本，如圖5所示。
在Windows環境下實現了利用本發明進行舌象檢索的原型具體程序。程序界面見圖 4。圖4中顯示了對一新輸入的查詢樣本進行處理的部分結果。左邊舌象為査詢樣本， 右邊舌象為系統檢索出的最相似樣本。最右邊的網格.圖為SOM網絡二維輸出節點陣列， 其中高亮顯示(+號)節點代表與査詢舌體樣本最相似的聚類。輸入的查詢樣本圖片統 一為640*480像素的JPEG或者BMP格式。圖3即為一幅典型的經過分割處理後的舌象 査詢樣本圖片。在本實例中，輸入訓練樣本為3500幅舌體圖片，選取SOM網絡的網格尺寸21*14; 網格類型為正六邊形；鄰域方式為高斯鄰域。
對於檢索過程，本實施例中，使用了經典的歐式距離，即
對於兩個特徵向量x,^，《={;^，;r2,，...，％ ,}， ^ ={義17，％2,計算二者之 間的距離
由於經過維數精簡，這種方法可以大大加快檢索過程。
圖5顯示了本實施例對某一給定査詢樣本的檢索結果，(a)為由3500幅典型樣本 訓練得到的SOM神經網絡輸出網格，每個節點代表一個聚類；(b)為(a)中圓圈所示聚 類的全部樣本，及檢索結果(加邊框標題為最佳匹配樣本)。
從具體實施例中可以看到，在CPU主頻1. 86GHz，內存512MB的電腦中，對存儲3500 幅樣本圖片的資料庫進行檢索，所需時間在0.8S以內，完全滿足了實際使用的要求。
權利要求
1、基於自組織映射神經網絡的舌象自動聚類、可視化和檢索系統，其特徵在於步驟如下(1)分割舌體通過採集設備得到舌象樣本圖片，對樣本圖片進行舌體分割，得到完整的舌象；(2)特徵提取在HSV顏色空間提取舌象的各分量的直方圖，得到描述舌象樣本的特徵向量，並根據統計結果精簡特徵向量的維數；(3)訓練自組織映射神經網絡用大量典型舌象樣本的特徵向量訓練自組織映射神經網絡，得到對應於典型舌象樣本集的自組織映射網格，其中包括各個聚類中心的參考特徵向量及可視化表示各聚類之間關係的二維映射網格；(4)基於最小距離準則的相似性檢索對輸入的舌象樣本圖片，根據步驟(1)分割舌體，根據步驟(2)提取其特徵向量，在由步驟(3)得到的自組織映射網絡中，按照最小距離準則，檢索與其最相似的聚類中心，然後在所有屬於該聚類的舌象樣本中檢索與其最相似的樣本；(5)顯示最相似舌象樣本圖像；(6)在自組織映射網絡二維輸出網格上高亮顯示匹配聚類對應的神經元節點，並顯示此聚類的全部樣本。
2、 根據權利要求l所述的基於自組織映射神經網絡的舌象自動聚類、可視化和檢索 系統，其特徵在於所述的步驟(2)的實現過程如下在HSV顏色空間直接提取舌象 各個分量的直方圖，並將各分量的維度限制為H: (2: 41， 201: 255) ， S: (1: 200)， V (51: 255)。
3、 根據權利要求l所述的基於自組織映射神經網絡的舌象自動聚類、可視化和檢索 系統，其特徵在於所述的步驟(3)的實現過程如下-(1) 對輸出層各個神經元所代表的參考向量賦予小的隨機數，並做歸一化處理，神經元參考向量的維數與輸入樣本特徵向量的維數相同；(2) 從訓練集中取出舌象樣本特徵向量，將特徵向量歸一化後作為自組織映射網絡 的輸入；(3) 計算輸入樣本特徵向量與各神經元參考向量的相似度，相似度最大的神經元獲勝；(4) 獲勝神經元及其鄰域內的神經元調整權值。
全文摘要
基於自組織映射神經網絡的舌象自動聚類、可視化和檢索系統(1)通過採集設備得到舌象樣本圖片，對樣本圖片進行舌體分割，得到完整的舌象；(2)在HSV顏色空間提取舌象各分量的直方圖，得到描述舌象樣本的特徵向量，並精簡特徵向量的維數；(3)用典型舌象樣本的特徵向量訓練自組織映射神經網絡，得到對應於典型舌象樣本集的自組織映射網格；(4)對輸入的舌象樣本圖片，按照最小距離準則，檢索與其最相似的聚類中心，然後在所有屬於該聚類的舌象樣本中檢索與其最相似的樣本並顯示；(5)在自組織映射神經網絡二維輸出網格上高亮顯示匹配聚類對應的神經元節點，並顯示此聚類的全部樣本。本發明可以實現大規模舌象樣本集的舌象聚類、可視化和快速檢索方法。
文檔編號G06F17/30GK101576913SQ20091008660
公開日2009年11月11日 申請日期2009年6月12日 優先權日2009年6月12日
發明者嶽小強, 朱中的, 斌 李 申請人:中國科學技術大學;中國人民解放軍第二軍醫大學