圖象處理的改進的製作方法
2023-04-26 09:40:36
專利名稱：圖象處理的改進的製作方法
技術領域：
本發明涉及到計算機化的郵件分揀，且更具體地涉及到用於將包裹的數位化圖象上的標記加以識別和定位的圖象處理方法和裝置。
隨著包裹郵件量的不斷增長，對於全世界的郵局和一般的運輸行業講，自動包裹分揀變得十分重要。
一般說來，為了進行自動包裹分揀，必需獲取包裹的數字圖象，並從該圖象提取路徑信息，例如目的地址。該路徑信息可由合適的裝置用來將包裹恰當地加以分揀，或產生例如一條條碼，印在包裹上，以備分揀過程下一步使用。
然而，標記可能位於包裹的任何地方，也即包裹的數字圖象中任何地方。一般說來，光學字符識別(OCR)技術將用來從標記的足夠高解析度圖象中提取路徑信息。為有效利用該技術和避免處理全部包裹圖象，必須將包裹圖象上的標記加以定位。一旦做到這點，就只須將對應於標記的圖象的那部分加以處理即可。
本發明的目的是提供一種圖象處理裝置，用於將包裹圖象中的地址標記加以定位。
為完成這類標記檢測，必須解決兩個問題。首先，很難達到所需速度。必須利用目前可利用的技術以實時方式完成圖象處理。其次，圖象數據並不理想標記可能被幹擾所汙染，標記可能有些透明，因而被包裹背景所損壞，以及正文可能同時出現在標記上和包裹本身上。此外，標記可能出現在包裹的任何地方。
為解決上述問題，本發明能使將要提供的圖象處理裝置包括以下裝置用數字形式產生和存儲包裹圖象的裝置，該包裹圖象包括按行和列排列的象素；分類邏輯，用於按照象素顏色將每個象素分類，分為或是標記象素、或是背景象素或兩者都不是；分段邏輯，用於按照象素的初始分類和它的相鄰象素的分類將每個象素重新分類，分為或是標記或是背景；以及標識邏輯，用於標識標記域的邊界，在該標記域內所有象素都劃分為標記象素。
本發明以本發明者的觀察為依據差不多所有包裹都有帶有黑色正文的白色標記，同時沒有一個包裹像標記這樣白。因此可利用顏色信息將標記從背景中區分出來。
最初將象素分類為或在標記內，或是背景，或兩者都不是。一般情況下，被劃分為兩者都不是的象素對應於標記上的正文或包裹本體或由幹擾引起。因此接著使用分段技術，按照象素的鄰接信息來將象素再分類為標記或背景象素。例如，分段技術可以利用正文的已知特性，例如以下事實對應於正文的象素不會在圖象的水平或垂直方向有長劃線。此外分段邏輯可利用以下事實標記象素會在出現時具有較長劃線，以及背景象素幾乎不可能在標記中出現。
在一個實施例中，分類邏輯如此安排，將白色象素劃分為標記象素，將黑色象素劃分為既非標記象素叉非背景象素，而將其他所有象素劃分為背景象素。然而也有其他可能性。例如可以設計成採用預定特殊顏色的標記。這種情況下，該裝置應能適用於從包裹圖象中識別和定位這種特定顏色的標記。此外，並不排除這種可能性，即不只一種顏色的象素全部都劃分標記象素。
本發明還提供裝置，用於從包裹提取路徑信息，以備下一步包裹分揀使用，該裝置包括以下裝置用於獲取包裹圖象的攝象機；將包裹運送過攝象機的裝置；上面描述過的圖象處理裝置；使用在其中所有象素都劃分為標記象素的區域的地址，以產生包裹標記圖象的裝置；以及從標記圖象提取路徑信息的裝置。
從另一方面看，本發明所提供的用於定位包裹圖象上標記的圖象處理方法包括以下步驟(a)用數字形式產生和儲存包裹圖象，後者包括按行和列排列的象素；(b)按照象素顏色將每個象素劃分為或是標記象素、或是背景象素、或兩者都不是；(c)按照初始分類和鄰近象素的分類，將每個象素再分類，劃分為或是標記或是背景象素；以及
(d)標識在其中全部象素都劃分為標記象素的區域的邊界。
還提供了一種包括以上步驟的包裹分揀的方法。
現將參照附圖描述本發明的實施例，附圖中
圖1是一個船運標記翻譯系統的總圖；圖2是用於顯示圖象處理裝置的原理圖；圖3A、3B和3C用於解釋低解析度包裹圖象。
本發明在一個船運標記翻譯系統中得到實施，該系統利用圖象獲取技術、圖象處理技術和光學字符識別(OCR)，從包裹標記提取船運信息。
圖1解釋的該系統包括下列主要部件(a)傳送系統100，分別帶有低和高解析度圖象獲取站160和170。(b)由適當的程序控制其運行的計算機110，該程序提供用戶接口、總的系統控制和圖象處理功能；(c)OCR子系統120；(d)幫助計算機110實現傳送帶和圖象獲取攝象機的功能的可編程邏輯控制機180。
為了發揮傳送帶的機械性能和圖象獲取功能，使用了常用部件。基本的OCR構成塊，不管是硬體或軟體，也都是常用的，當然為了處理標記需要作些修改。計算機110可以是例如IBM RISCSYSTEM/6000計算機系列中的一臺(IBM和RISC SYSTEM/6000是國際商用機器公司的註冊商標)。
在下面的段落中將結合包裹的處理來解釋圖1所示數據流和主要部件。
船運標記翻譯系統所用傳送系統100包括兩個單獨的傳送帶模塊感應傳送帶130和過程傳送帶14。
感應傳送帶130將包裹裝入系統。當包裹沿著皮帶向前移動時，它們「偏斜」到傳送帶的一側，靠上一條對準邊150。這可以保證當包裹通過系統時總是處於相同的位置。要將包裹「偏斜」到傳送帶一側，可以在水平面內使用成角度的皮帶傳送機，或者使用傾斜的皮帶傳送機，使包裹可依靠重力移動到傳送帶的一側，成角度的水平傳送帶在圖1中加以解釋。
過程傳送帶140是一個連續的在運轉的皮帶傳送機，它將包裹傳送過兩個圖象獲取站160和170。
可編程邏輯控制器(PLC)180用於控制傳送帶速度。PLC180接至計算機110並在它的控制下運行。控制系統這樣設計以提供手段通過在計算機110上運行的控制程序所提供的選擇方案來挑選傳送帶速度。
將會看到，系統運行的不同模式，例如維護、測試、等等，需要可調整的傳送帶速度。控制器180還提供一系列的光眼，用於跟蹤通過系統的包裹，並對包裹「阻塞」進行檢測，圖1所示空隙光眼190提供關於包裹間空隙的反饋信息，並用作傳送帶模塊間的交界。
操作者將包裹逐一放在傳送帶上，並使標記向上，操作者不必去轉動包裹將標記放在固定方向。
對包裹間空隙進行控制，可以保證有時間針對不同包裹高度調整高解析度攝象機的焦距，同時包裹傳送速度應和系統的圖象處理能力相匹配。
為保證有空隙，在包裹裝載點使用了停止/起動傳送帶部分130。在計算機110的有關軟體的控制下，包裹從傳送帶裝到常速傳送帶140上，計算機110通過可編程邏輯控制器180操縱包裹傳感器。
如果需要延遲，空隙機構可用來暫時停止裝載包裹，例如用於處理退回的包裹。這個機構也可節省不用，但其代價是減少吞吐量，因操作者要將包裹放得更遠些。
包裹經過一個區域，在那裡一臺裝在傳送帶上方固定高度處的標準電視攝象機200用於獲取包裹頂部的彩色圖象。
頻閃燈光210用於提供照明，以消除由於包裹移動而造成的模糊，攝象機鏡頭有足夠的景深去處理包裹大小、的所需範圍，因而不需焦距控制。
電視攝象機接至計算機110中已知類型的視頻獲取板，而圖象則以數字形式存儲在計算機中的存儲裝置中。計算機110中有關軟體對低解析度圖象的數字形式加以分析，並完成以下功能(a)確定傳送帶上包裹的尺寸和方位。(b)檢測標號。(c)在包裹上確定一塊空白區，以備以後使用標記。
有可能使用眾多技術來從電視攝象機本身確定包裹高度，例如，可以將單一光眼所測量的沿著傳送帶路徑方向的包裹長度和電視圖象中以象素計數的包裹長度相比較如包裹頂平面更接近攝象機，包裹在電視攝象機中就顯得長些，另一方案是，可通過離散型傳感器來確定包裹高度，例如，用光源橫跨傳送帶照向一個光電池陣列，或將聲測傳感器架空安裝在裝有電視攝象機的梁架上，或其他類似方案。
將電視圖象內從包裹到傳送帶的顏色變化檢測出來，即可容易地確定包裹邊界。頂平面尺寸和方位即可以確定。包裹的高度信息和頂平面尺寸一起用來計算出包裹四周的最小邊界區。
包裹路徑所需信息包含在包裹標記內，為便於容易地得到該信息，對計算機110進行編程，以便從包裹的低解析度圖象中提取標記的位置。
將標記的顏色差別和包裹背景加以比較，即可將包裹的低解析度圖象中的標記加以定位。本實施例中，位置和方位信息用於確定傳送帶下方高解析度圖象的獲取區域。
本實施例中，系統處理包裹的速度是每秒一個，或每小時3600個。該處理操作包括圖象獲取、標記檢測、轉動檢測、消除偏斜、以及使用OCR技術或手動地從標記圖象中提取路徑信息。為保證這些操作能及時完成，圖象獲取和標記檢測所用時間不應超過200ms。
已經利用現有可用技術付出適當代價解決了兩個問題，以完成這樣的實時標記檢測。首先，由於將圖象數據從圖象獲取板傳送至主機以供處理的過程需時超過200ms，要達到所需速度非常困難。其次，圖象數據並不理想標記的白色可能被幹擾所汙染，標記可能有些透明以致包裹背景將白色破壞，標記上正文的黑色並不專用於標記。此外，標記可能在包裹任何地方出現。
對低解析度包裹圖象的處理如下進行。
電視攝象機200產生一個640×480象素的圖象。圖象的每第10根線從視頻獲取卡傳送到計算機存儲器，這共需大約50ms。這就產生了足夠的二次採樣圖象，但所費時間卻是合理的。
為解決檢測問題，找到了一種函數，可用於估計標記中圖象內每個象素的似然值。接著採用一維分段算法，分別在圖象兩個主要軸的每一個軸上獲得標記和包裹其餘部分的明確分界。
下面對該技術更詳細地加以描述。
對二次採樣的包裹圖象進行處理的原理圖示於圖2。首先進行分類400，圖象中象素劃分為三類標記，背景和兩者皆非，每個象素首先劃分為這三類中的一類，而不管其相鄰象素是哪一類。(a)標記類象素這些是白色象素。有如下假定雖然白色可能在包裹任何地方出現，但它們在標記區內集中在長條內(在水平和垂直兩個方向)。(b)兩者皆非類象素這些是黑象素。有如下假定雖然這類象素能在標記域和背景域兩個區域內部出現，但在標記內它們不可能在水平方向、或垂直方向、或兩個方向以長條形式出現。(c)背景類象素所有其他象素。假定這類象素極少在標記中出現。分類400包括兩個階段(a)顏色空間變換初始RGB圖象變換成YUV圖象，其中Y是亮度分量而U、V是色度分量。變換方程如下Y＝0.299*R＋0.587*G＋0.114*BU＝B－YV＝R－Y(b)顏色分類在YUV空間內灰色值由色度分量(U，V)的低值所標誌。在這些顏色中，白色由亮度分量Y的高值所決定，而黑色由低值所決定。
首先檢查每個象素的色度分量。如果它們中至少有一個是高值，則象素顏色不是灰色，即被劃分為背景。如兩個分量都是低值，則進一步檢查亮度值。如它是高值，則象素顏色是白色，因此劃分為標記。如它是低值，則象素顏色是黑色，因此劃分為兩者皆非類象素。具有亮度中間值的象素也劃分為背景。
接著，先對每一行，接著對每一列應用分段操作過程410。該過程服從於區域量度的約束，將行/列分段為標記、背景或兩者皆非區域。作為分段的結果，象素按照上述類別進行再分類，但這次要考慮鄰近象素情況。在圖3A、3B和3C中，0標誌標記(白色象素)、1標誌背景象素，以及2標誌兩者皆非象素。
圖3A所示是分段前的象素分類。
圖3B顯示行分段後的分類，圖3C顯示列分段後的分類。本實施例中，假定有如下分段約束任何類型的象素條應至少有三個象素那麼長。2. 分段。本發明最佳實施例中所用分段邏輯描述於下。
該算法將符號A的陣列加以處理。三種符號用於代表兩種有意義的性質(『1』和『0』符號)-這種情況下分別是背景象素和白色象素-以及兩者都沒有(『*』符號)-這種情況下是黑色象素。
分類過程產生A，但該過程並非100％正確。分段過程根據以下假定在100％正確的象素分類中符號不會孤立地出現，而且成條出現。
分段邏輯將A掃描，並按A所反映的成條類型提出三種假設。這些假設中每一種都有一個分數，當一個假設的分數高於一個由實驗確定的閾值時，該假設即被接受並形成輸出。具體講，每個假設有下列變量type(類型)-0，1，或*；score—代表分段結果和A中數據的符合程度；run—Score—代表上一個所分段的成條和A中相應元件的符合程度；increment—如A中下一個元件和假設類型符合，則該分數即增量；start—當假設類型的成條假定已經起始時A中的索引值；prev—len—該類型中上一個成條的長度。設A為a(0)、a(1)、……a(n－1)。處理過程進行如下1. 初始化score(0)＝run_score(0)＝increment(0)＝start(0)＝prev_len(0)＝0；score(1)＝run_score(1)＝increment(1)＝start(1)＝prev_len(1)＝0；score(*)＝run_score(*)＝increment(*)＝start(*)＝prev_len(*)＝0；current_state＝2；2. 對所有A的元件重複3至7步驟對i在(0..n—1)中的情況都如此做。3. 建立分數和維持前次長度對(0 1*)中每一項假設x
4. 起始點的更新對(0 1*)中每一項假設xif(a(i)matches x and start(x)＜0)start(x)＝i； 5. 接受假設6. 歸一化<![CDATA[ if(current_state！＝*a(i)！＝*) increment(*)＝increment(1-current_state)； if(run_score(current_state)＞threshold(current_state)) run_score(0)＝run_score(1)＝run_score(*)＝0；]]>
7. 跟蹤分數<![CDATA[for x in(0 1*)if(increment(x)＝＝0 score(x)＜score(current_state))(score(x)＝score(current_state)；run_score(x)＝0；start(x)＝-1；}]]>8. 循環結束。
上面算法中的詞語『a(i)matches x′包括a(i)＝*的情形，也包括a(i)！＝current－state，和increment(a(i))＜prev－len(x)forx！＝a(i)的情形。
將能了解到，有可能在本實施例中不是每十條線進行一次二次採樣而用很多其他方法。也可能按照觀察到的標記類象素來改變採樣密度在這類象素附近採用高採樣密度，而在其他處則用低密度。
標記檢測分析的副產品是在包裹頂平面上標識出一些無特點區域，其中的一塊可用作附加標記的空白區域。
包裹接著經過一個區域，其中將標記面積的高解析度(200DPI灰度)圖象加以獲取，使用的是標準2048單線掃描器220。由於單描器的視野約為10英寸(2048/200DPI)，可以有兩個不同方案用於復蓋全部包裹寬度。(a)用三個線掃描攝象機，其中每個復蓋1/3傳送帶寬度，其視野相互間稍有重疊，每個都有自己的鏡頭。使用這種安排，「候選」標記的數目不受掃描器配置的限制。然而這種配置要求軟體能對跨越兩臺掃描器而被分割的標記圖象完成「縫補」操作。(b)用多個線掃描攝象機，它們可繞支點轉動，俯視包含候選標記的10英寸面積。兩臺攝象機保證不管標記位置如何，都可獲取到任意兩個候選標記的圖象。位於同一10英寸帶內的更多的候選標記也能復蓋住。繞支點轉動的攝象機引入一些可預料到的圖象失真，後者應由軟體加以補償。
在任何一種方案內，都有馬達驅動的鏡頭焦距調整，以補償不同包裹高度。
用於線攝象機的照明提供橫跨傳送帶的連續光帶230。
每個標記的200DPI4位灰度圖象從有關的掃描器傳送到OCR子系統120，這是根據從低解析度圖象獲取的位置信息來進行的。
OCR子系統120以已知的方法將高解析度標記圖象加以處理，以便從標記上所印正文中提取路徑信息。
最後，路徑信息傳送給一個應用程式，後者將在傳送系統的下方使用一個機構加貼一個標記。
本發明可以用於計算機化包裹分揀裝置的領域，該分揀裝置包括用於將包裹的數位化圖象上的標記加以標識和定位的圖象處理裝置。
權利要求
1. 用於將包裹圖象上標記加以定位的圖象處理裝置，其特徵在於包括以下組合用數字形式產生和存儲包裹圖象的裝置，該包裹圖象包括按行和列排列的象素；將每個象素分類的分類邏輯，該分類邏輯按照象素顏色將象素劃分為標記象素、背景象素或兩者都不是；將每個象素再分類的分段邏輯，該分段邏輯按照象素的初始分類和其鄰近象素的分類而將象素劃分為標記或是背景；以及用於將其中所有象素都劃分為標記象素的區域的邊界加以標識的標識邏輯。
2. 根據權利要求1的圖象處理裝置，其特徵在於分段邏輯用於在象素的線性陣列中標識象素條，該象素條中所有象素都應有相同分類；用於按照條中象素的分類來確定條中所有象素劃分為標記象素還是背景象素；以及用於將條中既不劃分為標記象素又不劃分為背景象素的象素重新相應地加以分類。
3. 根據權利要求2的圖象處理裝置，其特徵在於分段邏輯用於先是逐行然後逐列將圖象進行處理，或者按相反順序處理。
4. 根據權利要求1的圖象處理裝置，其特徵在於分類邏輯用於將白象素劃分為標記象素，黑象素劃分為既非標記象素又非背景象素，以及將所有其他象素劃分為背景象素。
5. 根據權利要求1的圖象處理裝置，其特徵在於包括一個用於獲取圖象的攝象機。
6. 根據權利要求5的圖象處理裝置，其特徵在於包括用於將攝象機產生的圖象進行二次採樣的裝置。
7. 供下一步包裹分揀使用的從包裹提取路徑信息的裝置，其特徵在於包括以下組合用於獲取包裹圖象的攝象機；用於將包裹傳送過攝象機的裝置；以及圖象處理裝置；該圖象處理裝置包括以下裝置用於從攝象機接收信號並用數字形式產生和存儲包裹圖象的裝置，該包裹圖象包括成行和成列排列的象素；按照象素顏色將每個象素劃分為標記象素、背景象素或兩者都不是的分類邏輯；按照象素的初始分類和其鄰近象素的分類將每個象素重新劃分為標記或背景的分段邏輯，用於標識在其中所有象素都劃分為標記象素的區域的邊界的標識邏輯；利用在其中所有象素都劃分為標記象素的區域位置來產生包裹標記圖象的裝置；以及從標記圖象提取絡徑信息的裝置。
8. 用於在包裹圖象上將標記定位的圖象處理方法，其特徵在於包括(a)用數字形式產生和存儲包裹圖象，包裹圖象包括按行和列排列的象素；(b)按照象素顏色將每個象素劃分為或是標記象素、或是背景象素或兩者都不是；(c)按照象素的初始分類和其鄰近象素的分類，將每個象素重新分類為或是標記、或是背景；以及(d)將在其中所有象素都劃分為標記象素的區域的邊界加以標識。
9. 分揀包裹的方法，其徵在於包括將包裹傳送過攝象機；用數字形式產生和存儲包裹圖象，該包裹圖象包括按行和列排列的象素；按照象素顏色將每個象素劃分為或是標記象素、或是背景顏色或兩者都不是；將在其中所有象素劃分為標記象素的區域的邊界加以標識；利用在其中所有象素都劃分為標記象素的區域的位置產生包裹標記的圖象；從標記圖象提取路徑信息；以及利用路徑信息將包裹分揀。
全文摘要
這裡公開的用於將包裹圖象上的標記加以定位的圖象處理裝置包括用數字形式產生和存儲包裹圖象的裝置，該包裹圖象包括按行和列排列的象素；按照象素顏色將每個象素或分為或是標記象素、或是背景象素或兩者都不是的分類邏輯；按照象素的初始分類和其鄰近象素的分類將每個象素再分類，將它劃分為標記或背景的分段邏輯；以及用於將在其中所有象素都劃分為標記象素的區域的邊界加以標識的標識邏輯。
文檔編號B07C3/14GK1115064SQ9510142
公開日1996年1月17日 申請日期1995年1月20日 優先權日1994年3月7日
發明者阿維亞德·茲羅尼克, 茲瓦·索莫爾 申請人:國際商業機器公司