用於將數字圖像對應到分類系統的類別中的方法
2023-09-17 06:15:35 2
專利名稱：用於將數字圖像對應到分類系統的類別中的方法
技術領域：
本發明涉及一種用於將數字圖像對應到分類系統的一個類別中的方法。
背景技術：
隨著工業過程的自動化逐步增加，基於光學分析方法的自動缺陷識別也越來越重要。光學缺陷識別方法在過去由質量保障人員執行。他們觀察待檢查對象或待檢查對象的圖像顯示並識別可能的缺陷。例如，藉助X射線圖像檢查焊縫的缺陷類型，如裂紋、未足夠焊透、未熔合、焊渣、夾渣線、氣孔、條蟲狀氣孔、根部缺口(Wurzelkerben)、根部缺陷、重金屬雜質和邊緣錯位。此外，還已知，觀察鑄件的放射線圖像以便識別鑄件中的缺陷，例如外來雜質、氣體雜質、縮孔，如線狀縮孔或海綿狀縮孔、裂紋或芯撐。由於這樣的缺陷可能根據其類型是類似的，但根據其構成(Auspraegung)和形狀相互不同，因此在工業缺陷檢查中轉而將缺陷分為不同的類別，其中各個類別包含相同種類的缺陷。例如，工業標準EN 1435介紹了針對焊縫缺陷的分類系統。根據這一標準，在焊縫中出現的、藉助於X射線圖像識別的缺陷被分為30個不同的類別，例如針對缺陷裂紋，如縱向裂紋或橫向裂紋；未足夠焊透；未熔合；外來雜質，如焊渣、夾渣線；氣體雜質，如氣孔或條蟲狀氣孔；或重金屬雜質、咬邊、根部缺口、根部缺陷、和邊緣錯位。通過過程自動化，現在人們追求通過對採用數字圖像記錄技術記錄和存儲的圖像進行圖像分析來光學地識別缺陷並將這些缺陷分配到預定的類別中。傳統的基於數字圖像的自動缺陷識別方法採用所謂的「啟發式規則」。其中，在圖像處理單元中存儲基準圖像，並通過圖像比較試圖將數字圖像的內容與基準模板之一對應。
在其它技術領域，例如在字母識別中也採用將圖像內容對應到分類系統的類別中。在此，例如每個字母構成一類，從而對於大寫的阿拉伯字母例如存在26個類別，即符號(A、B、C、D、E、F、G、H、I、J、K、L、M、N、O、P、Q、R、S、T、U、V、W、X、Y、Z)。OCR技術(光學字符識別)對由掃描儀所產生的有字頁的數字映像進行分析，並將單個的(singularisiert)字母符號對應到預定的類別中。因此，OCR技術「識別」文本，並能將分類後的符號作為可編輯的字符串傳送給文本處理程序。歐洲專利文獻0854435B1和0649113B1例如致力於符號識別的技術領域(光學字符識別)。
圖像處理技術可以被進一步分為不同的子過程領域，它們的技術彼此獨立地發展。這些領域通常分為圖像預處理、圖像分析、圖像序列分析、圖像存檔和所謂的成像。
圖像預處理是指由計算機支持的各個數字圖像質量的改善(預加工去掉噪聲、平滑)，以有助於觀察者對該圖像的信息內容的視覺感知。
圖像分析是指由計算機支持的通過對各數字圖像自動和可再現的結構化、識別和理解而分析該圖像的信息內容。
圖像序列分析是指由計算機支持的通過對各數字圖像序列的所有單張圖像自動和可再現的結構化、識別和理解以及通過對該圖像序列的單張圖像的順序上下文自動和可再現的理解而分析數字圖像序列的信息內容。
圖像存檔是指由計算機支持的壓縮和存儲數字圖像和來自被檢查詞彙中的指示性查找描述符。
成像是指由計算機支持的產生組合圖形和數字圖像，以便為觀察者在圖像和符號層上顯示和解釋複雜過程的信息內容。
將數字圖像的內容分配到分類系統的一個類別中的技術是一種圖像分析方法。其可以被分為三個子領域分割、對象識別和圖像理解。
分割是指通過將與圖像分析有關的對象相互分離並與圖像背景分離而對各個數字圖像進行自動和可再現的結構化。對象識別是指對分離後的對象進行自動和可再現的分類。圖像理解是指通過對經過分類的分離對象進行上下文分析來自動和可再現地解釋各數字圖像。將數字圖像分配到分類系統的一個類別中的技術是一種對象識別方法。
對象識別可以被理解為模式識別的子領域，而且是只將圖像中的平面對象識別為模板的模式識別子領域。
圖像的顯示通常通過由像點所組成的圖像來實現，其中為了顯示圖像，必須已知各個像點的內容及其在圖像中的位置。根據內容屬性，可以將圖像顯示為彩色圖像、灰度值圖像和二值圖像，其中二值圖像例如只取用於黑色和白色的值0和1作為內容屬性。
一種在該技術中經常採用的用於將數字圖像對應到分類系統的一個類別中的方法-該方法幾十年來成功用於區分軍用飛機(敵友識別)-由M.K.Hu「Visual Pattern Recognition by MomentInvariants」，IRE Trans.info.Theory，vol.IT-8，1962，pp.179-187和R.C.Gonzalez，R.E.Woods「Digital Image Processing」，Addison-Wesley Publishing Company，1992，pp.514-518公開。基於通過圖像分析技術從圖像再現中所獲得的所謂標準化、中心化的軸向矩，可以通過縮放二值圖像中每個任意的、分離的、受限的平面對象產生7個無量綱形狀特徵(Formmerkmalen)的有限序列{φl}。如果將這7個序列元素φl(0≤l≤l0＝7)作為特徵向量Φ＝(φ1，φ2，φ3，φ4，φ5，φ6，φ7)的坐標-其中該特徵向量是7維的歐幾裡得特徵空間M7的元素，則該方法引發在該7維特徵空間M7中的對象識別。以藉助啟發式特徵的對象識別來說，其具有這樣的優點，即只用特徵向量Φ＝(φ1，φ2，φ3，φ4，φ5，φ6，φ7)—其坐標是無量綱的形狀特徵—來進行分類，從而尤其是待識別對象和用於產生比較表的對象之間的尺寸差異不重要。此外，在無量綱形狀特徵φl集合內，通過特徵向量Φ的坐標絕對值來為數字圖像處理中的對象識別預先給定唯一的涉及特徵重要性的順序，從而很清楚第一特徵φ1是最重要的。
但是該方法是有缺陷的，因為可提供的無量綱形狀特徵的數量被限制到7個，並且因此對於複雜的對象，如果對兩個不同類別得到這7個無量綱形狀特徵的相同值，則可能發生錯誤分類。
發明內容
鑑於該背景，本發明要解決的技術問題是提出一種用於將數字圖像內容對應到分類系統的類別中的方法，利用該方法可以可靠地識別複雜形狀的符號。
該技術問題是通過按照權利要求1的方法解決的。優選實施方式在從屬權利要求中給出。
本發明的基本思想是，為待分析的圖像確定預定數量的數值形狀特徵Ψm，其中m是從1到F的數字下標，Ψm是無量綱的、經過縮放的、標準化的、中心化的極性矩 的經過變換的表達。為了對應數字圖像的內容，可以將相互獨立的形狀特徵Ψm與存儲在表格中的這些形狀特徵的值進行比較。當所確定的所有F個形狀特徵Ψm的值與表格中為一個類別所存儲的F個形狀特徵Ψm的值一致時，被分析圖像的圖像內容屬於該類別。這裡，由於數位化而優選利用近似值來處理，從而在所計算的F個形狀特徵Ψm與一個類別的所存儲的F個形狀特徵Ψm近似一致時也得出類別對應。
與現有技術中所公知的限於7個形狀特徵的方法不同，本發明所提出的用於圖像分析的數值形狀特徵Ψm相互獨立，使得可以列舉大量形狀特徵，而不產生形狀特徵的相互依賴。由此，可以將待識別的圖像內容唯一地對應到一個預定的類別。
本發明的方法尤其與待識別內容與記錄設備之間的相對位置無關。即使旋轉了例如60°或180°的對象也能被唯一的對應。
該方法基於對各現有圖像中分離的、有限內容的F個功能獨立的無量綱特徵序列的計算。
圖像以傳統的方式通過N個像點來顯示，其中像點在預定坐標系中位於位置(xi，yj)處，並且圖像在坐標(0，0)到(ximax，yimax)上延伸，imax是x坐標方向上的最大像點個數，ymax是y坐標方向上的最大像點個數，並且為每個像點分配內容屬性數據[j，i]。
對於其中各像點內容例如不是表示黑色的1就是表示白色的0的二值顯示圖像，內容屬性例如是存儲在表格中的單個值、以及在對應於像點的位置上代表該表格中的值的數據[j，i]。在其中每個像點的內容屬性例如由用於3顏色顯示「紅、綠、藍」(RGB顯示)的三個值組成的彩色圖像中，內容屬性是例如代表包含用於相應像點的這3個值的向量的的數據[j，i]。如果採用其它顏色顯示或灰度顯示，則數據[j，i]也可以代表其它向量。如果多色顯示在採用本發明的分類方法之前從例如RGB顯示的多色顯示轉換為灰度顯示或甚至二值顯示，則數據[j，i]也可以代表這種向量的數值。
此外，在諸如RGB顯示的彩色顯示中，數據[j，i]還可以代表像點中的紅色顯示或綠色顯示或藍色顯示的單個值。於是，分類方法例如只藉助於一種顯示、例如紅色顯示來執行，其中該方法於是與用於二值顯示的已知方法相同地執行。從而，也可以採用用於像點上數據[j，i]的二進值1和0，其中1例如表示紅色，0表示空。同樣，該分類方法可以並行地為不同的彩色顯示，即並行地用於二值紅色顯示、二值綠色顯示和二值藍色顯示執行。由此提高分類的精度。
變換為數值形狀特徵Ψm的矩 如下計算m=kmRm]]>其中km=(m+2)2(|A|)m2]]>A=m0.0=a*b*j=1jmaxi=1imaxdata[j,i]]]>
Rm=m0=mm0.0]]>m=a*b*j=1jmaxi=1imax(R(j,i))mdata[j,i]]]>R(j,i)=((i-0,5)*a-x)2+((j-0,5)*b-y)2]]>x=m1.0m0.0]]>y=m0.1m0.0]]>m1.0=(a)2*b*j=1jmaxi=1imax(i-0,5)*data[j,i]]]>m0.1=(b)2*a*j=1jmaxi=1imax(j-0,5)*data[j,i]]]>Δa＝x坐標方向上的像點寬度Δb＝y坐標方向上的像點寬度數據[j，i]＝位置(yj，xi)上的像點的內容屬性m＝從1變化到F的數字特別有利地，預定坐標系是笛卡兒坐標系，因為大多數數字圖像在笛卡兒坐標系上定義像點。但是，也可以採用其它坐標系，例如極坐標系。
目前一般可以用1至3百萬個像點(像素)表示數字圖像，同時還期待，數字N隨著圖像記錄和處理技術的發展而逐漸提高，使得上述和函數近似地轉換為積分函數。
特別地，通過設置像點相同內容屬性來定義圖像內容。
圖像內容的所計算的F個形狀特徵在F維特徵空間的有限F維子區間(單位超立方體)中給出特徵向量。最後，通過特定於問題地集聚該n維單位超立方體而實現內容分類。
分類系統例如可以是預給定的工業標準，如EN 1435。在人員識別中，例如每個人可以形成自己的類別。從而，在比較表格中存儲表徵待識別人員的指紋或虹膜圖像的F個形狀特徵Ψm。為了人員識別，按照本發明的方法分析由記錄單元、例如照相機所記錄的虹膜圖像，其中計算所記錄的虹膜的F個形狀特徵Ψm，並將其與表格中所存儲的形狀特徵值比較。如果與某個類別的形狀特徵Ψm的所有值(近似)一致，則系統識別通過該類別表徵的人。為了確定近似的一致，優選可以使用例如根據高斯的最小平方方法。
如果數字圖像被識別為不是以二值顯示表示的，則可以為具有F個數值形狀特徵Ψm的多個組執行上述方法步驟，例如在紅色顯示值的組中，在綠色顯示值的組中以及在藍色顯示值的組中。可替換地，還可以對包含各個顏色顯示的單個值作為向量的內容屬性數據[j，i]執行上述方法步驟。然後，優選對向量的數值執行除法運算。
在一個優選實施方式中，形狀特徵Ψm通過下面的變換確定m=1mm]]>但是，作為從Ψm到 的變換，也可以採用其它變換，甚至可以是等價變換m=m.]]>要與存儲在表格中的值比較的形狀特徵優選是藉助於上述變換所獲得的形狀特徵Ψm。在與表格值比較之前或在從 變換中，可以對F個形狀特徵的序列進行正交化過程，如按照E.Schmidt執行的那樣。在此，尤其可以這樣換算待比較的形狀特徵，使得對於圓得到值為1，0，0，0，0...0的F個形狀特徵ψ1，ψ2，ψ3，ψ4，ψ5...ψF的序列。
為了確定數值形狀特徵ψm的個數F，可以從分類系統每一類別的多個、尤其是超過29個樣本中從F＝1開始提高個數F，使得各形狀特徵ψm的為一個類別的樣本所確定的值至少在至少一個形狀特徵ψm的一個數值上與其它類別的該形狀特徵ψm的數值不同。特別優選地，將形狀特徵的個數F提高，直到具有最大序數m的形狀特徵的值在所有類別中隨著序數的增加而減小。可以對各形狀特徵ψm的為每個類別至少29個樣本所確定的值求算術平均值，以確定用於該形狀特徵的該類別的值。
下面給出的只是用於顯示自由選擇的數值的表格表明，為了將焊縫缺陷確定為屬於缺陷類別「裂紋」、「氣孔」、「條蟲狀氣孔」，數值形狀特徵ψm的個數F＝1是不夠準確的，因為ψ1對於裂紋類別和條蟲狀氣孔類別都取幾乎相同的值。只有通過增加第二數值形狀特徵ψ2，對應才是唯一的。這表明，儘管ψ2在類別「氣孔」和「條蟲狀氣孔」中具有類似的數值，但是該系統適於僅由兩個形狀特徵ψ1、ψ2來準確地分類三種缺陷。
但是，個數F也可以通過旋轉橢圓確定方法來確定。這種「集聚方法」例如描述在H.Niemann，Klassifikation von Mustern，SpringVerlag，Berlin，1983，200ff頁中。
本發明的用於將數字圖像的內容對應到分類系統的類別中的方法優選地被用於光學地檢查零件、尤其是光學的表面檢查中。此外，該方法可以用於質量保障；紋理、形狀和輪廓分析；攝影測繪；符號和文字識別；人員識別；機器人視覺；或放射線或X射線透視圖像、超聲圖像和核自旋斷層造影圖像的分析。
其中，相對於其執行對象識別的圖像是來自可見光頻譜範圍的「光學」圖像還是放射線或X射線透視圖像還是甚至是來自成像區域的合成圖像並不重要。因此，該方法同樣可用於光學表面檢查的領域，就像在質量保障；紋理、形狀和輪廓分析；攝影測繪；符號和文字識別；人員識別；機器人視覺；或放射線或X射線透視圖像、超聲圖像和核自旋斷層造影圖像的分析中一樣。
如果在可能應用的該寬頻譜的範圍內談論具體的對象識別問題，則從一開始就確定該問題的複雜程度已知應當將待識別對象分類到多少個不同的對象類別K中。與基於啟發式特徵的分類不同，在新的算術方法中，對於每個對象類別，藉助於測試對象的代表性抽樣來實驗性地確定形狀的自由度個數。只用特徵向量Ψ＝(ψ1，ψ2，ψ3，ψ4，ψ5，...，ψF)來實現分類。圖像中每個任意、分離、有限的平面對象的特徵向量位於F維特徵空間的有限、標準化的F維子區間(單位超立方體)內。通過特定於問題地集聚該F維單位超立方體的內部來實現模式識別。
下面藉助於只顯示一個實施例的附圖來詳細解釋本發明。其中圖1示出第一待識別符號的不同再現；圖2示出第二待識別符號的顯示；圖3示出第三待識別符號的顯示；具體實施方式
在圖1、圖2、圖3中，字母A、B、C分別被顯示為三種顯示形式i)正常；ii)正常，但旋轉90°；iii)與正常相同的定向，但更小。此外，除了圖中所示的位於中心的定向之外，還檢查左邊的定位和右邊的定位。
下表示出ψ1的值，其中ψ1根據下面的關係式計算1=111]]>其中， 由以下關係式給出1=k1R1]]>其中
k1=32(|A|)12]]>A=m0.0=a*b*j=1jmaxi=1imaxdata[j,i]]]>R1=10=1m0.0]]>1=a*b*j=1jmaxi=1imax(R(j,i))1data[j,i]]]>R(j,i)=((i-0,5)*a-x)2+((j-0,5)*b-y)2]]>x=m1.0m0.0]]>y=m0.1m0.0]]>m1.0=(a)2*b*j=1jmaxi=1imax(i-0,5)*data[j,i]]]>m0.1=(b)2*a*j=1jmaxi=1imax(j-0,5)*data[j,i]]]>Δa＝x坐標方向上的像點寬度＝Δa＝0.3175mmΔb＝y坐標方向上的像點寬度＝Δb＝0.3175mm數據[j，i]＝位置(yj，xi)上的像點的內容屬性利用上述關係式和用於其中存儲位置(yj，xi)處內容屬性的各顯示的相應數據段，得到在下表中給出的值
形狀特徵ψ1的數值表格可以看出，字母A的值ψ1取0.57附近的值，對於字母B，取0.6附近的值，對於字母C，取0.44附近的值。因此，利用本發明的方法可以與字母的實際位置和大小無關地唯一識別預先定義的符號。
權利要求
1.一種用於將數字圖像的內容對應到分類系統的一個類別的方法，其中所述圖像通過N個像點表示，其中像點在預定坐標系中位於位置(xi，yj)，並且所述圖像在坐標(0，0)到(ximax，yimax)上延伸，imax是x坐標方向上的最大像點個數，jmax是y坐標方向上的最大像點個數，並且為每個像點分配至少一個數值內容屬性數據[j，i]，所述方法具有以下步驟-確定至少一組預定數量的F個數值形狀特徵ψm，其中m是數字下標，ψm是矩 的變換的表達，而且 由下式計算m=kmRm]]>其中km=(m+2)2(|A|)m2]]>A=m0,0=a*b*j=1jmaxi=1imaxdata[j,i]]]>Rm=m0=mm0,0]]>m=a*b*j=1jmaxi=1imax(R(j,i))mdata[j,i]]]>R(j,i)=((i-0,5)*a-x)2+((j-0,5)*b-y)2]]>x=m1,0m0,0]]>y=m0,1m0,0]]>m1,0=(a)2*b*j=1jmaxi=1imax(i-0,5)*data[j,i]]]>m0,1=(b)2*a*j=1jmaxi=1imax(j-0,5)*data[j,i]]]>Δa＝x坐標方向上的像點寬度Δb＝y坐標方向上的像點寬度數據[j，i]＝位置(yj，xi)上的像點的內容屬性m＝隨著形狀特徵的計數從1變化到F的數字，-將所述至少一組中為所述圖像所確定的F個數值形狀特徵的每個形狀特徵的值與在表格中為所述組的相應形狀特徵所存儲的值相比較，其中在所述表格中，為每個類別分配所述組的各個數值形狀特徵的值，-將其中為所述圖像所確定的F個數值形狀特徵最大程度地對應於在用於所述類別的表格中所給出的數值形狀特徵的值的類別輸出作為待識別圖像將被分類到其中的對應類別。
2.根據權利要求1所述的方法，其特徵在於，所述形狀特徵ψm通過以下變換來確定m=1mm.]]>
3.根據權利要求1或2所述的方法，其特徵在於，通過以下方法根據所述分類系統的每一類別的至少29個樣本來確定數值形狀特徵ψm的個數F，即提高數字F，直到為一個類別的樣本所確定的形狀特徵ψm的值至少在其至少一個形狀特徵ψm的數值上與其它類別的該形狀特徵ψm的數值不同。
4.根據權利要求1至3中任一項所述的方法在將鑄件的缺陷對應到工業標準中所定義的缺陷類別中的應用，其中藉助於放射鏡產生所述數字圖像。
5.根據權利要求1至3中任一項所述的方法在將焊縫的缺陷對應到工業標準中所定義的缺陷類別中的應用，其中藉助於放射鏡產生所述數字圖像。
6.根據權利要求1至3中任一項所述的方法在識別由紙張再現的對象、如記錄顯示中的字母或色調中的應用，其中藉助於掃描儀產生所述數字圖像。
全文摘要
一種用於將數字圖像的內容對應於分類系統的一個類別的方法，具有以下步驟確定至少一組預定數量的F個數值形狀特徵ψ
文檔編號G06K9/52GK101048784SQ200580033492
公開日2007年10月3日 申請日期2005年9月1日 優先權日2004年9月3日
發明者岡瑟·柯恩 申請人:Bfi Vdeh-應用研究院有限公司