自動確定數字圖像的可接受性的製作方法

2023-10-27 22:52:22

專利名稱：自動確定數字圖像的可接受性的製作方法
技術領域：
本發明涉及數字圖像處理領域，更具體地，涉及自動確定數字輸出圖像的可接受性。
背景技術：
在使用傳統的照相機或數位照相機以及諸如醫療成像設備那樣的其它常規的成像設備而獲取的圖像中間，有些圖像屬於低於客戶可接受的質量水平的要求。例如，已經發現，在提交給照片列印處理者(photofinisher)的所有的彩色負片中間，有某些負片在列印時產生質量非常差的照片。
根據本地適銷性政策和有關標準技術規範與顧客的協定，這樣的圖像通常不能賣給顧客。通常有幾類這樣的照片。例如，一類被稱為「不合格品」類別，包括主要是空白的圖像、嚴重欠曝光或過曝光圖像、和聚焦極差的圖像。其它類別可包括其中主要對象的位置不合適的圖像，諸如當人的頭被切掉和/或眼睛是看不見時，或其中圖像僅僅中度模糊或嘈雜但仍然是不可接受的。另外，用數位照相機獲取的某些圖像可能具有非常差的鮮明度，這在把圖像交付列印之前可能不容易由觀看圖像的用戶例如在照相機的預覽的屏幕上檢測到的。另外，某些醫學圖像受到低鮮明度和諸如噪聲那樣的其它問題影響，不能由放射師用於檢查。在這種情形下，及時地識別問題，使得能以對病人方便的方式重新拍攝圖像是有利的。
在所有的所描述的例子中，檢測具有不可接受的鮮明度水平的圖像是有用的操作，可以導致節省費用和時間的好處。
用於檢測不可接受的圖像的當前的方法主要依賴於對於每個照片的視覺檢查。自動識別這些圖像，將為照片列印處理者以及那些在家中或經由在線服務列印他們的圖像的用戶提供節省費用上的好處。
在題目為「Output Method and Apparatus for Estimate ImageQuality Prior to Output(在輸出以前估計圖像質量的輸出方法和設備)」和在2000年2月22日以Nakao名義頒發的美國專利號No.6,028,676中，所公開的方法處理從主計算機到印表機的數據轉移的問題，其中圖像數據的數量是很大的，印表機可能沒有足夠的存儲器來存儲所有的數據。所以，該方法提出在把列印數據傳送到印表機之前估計最終對圖像質量的影響。在這種情形下，文件大小可以是潛在問題的指示符，例如，初始的高解析度圖像如果列印，是否會具有劣質的質量。根據這樣的估計，輸出設備和方法事先確定是否要傳送列印用的數據、列印數據、或向操作員提供顯示以表示輸出圖像將具有劣質質量。因此該方法打算考慮到列印設備的存儲器限制，這種限制對於輸出圖像質量會有有害的影響。因此，雖然假設對列印過程的限制可能預防輸入圖像在沒有足夠的質量的情況下被輸出，但所公開的方法不適用於根據它們的原先的質量區分圖像。因此，它不能用來防止列印可能是浪費的圖像，因為如果印表機存儲器是足夠的話，原先低質量的可能是浪費的圖像仍舊會被列印。
題目為「Digital Image Processing with Indication to User ofHardcopy Output Image Quality(帶有用戶對硬拷貝輸出圖像質量的指示的數字圖像處理)」和在2000年1月25日以Cloutier和Wheeler名義頒發的美國專利號No.6,018,397公開了用於確定可接受的硬拷貝列印質量水平的極限水平的方法。這個方法牽涉到根據選擇的列印尺寸確定質量並列印放大，以及當所確定的列印圖像質量將是不滿意時，在生成硬體拷貝列印之前向用戶提供警告以提醒用戶。與上述的美國專利No.6028676在以上描述的相似，這個方法不打算根據輸入圖像的可變的質量來預測輸出列印可接受性，而是假設輸入質量是高水平的，並考慮用戶選擇的放大水平和想要的圖像尺寸作為可能導致不滿意的列印質量的因素。
在題目為「System and Method for Automatically Processing ImageData to Provide Images of Optimal Perceptual Quality(用於自動處理圖像數據以提供最佳感知質量的圖像的系統和方法)」和在1997年12月2日以Cottrell等名義發布的美國專利號No.5,694,484中，圖像處理系統進行一系列選擇的圖像處理操作而自動優化圖像的感知質量。系統考慮到由其生成圖像來源的模式(profile)，預期的用途模式，和圖像處理操作(單獨地或一致地)對感知的圖像質量的影響。所描述的系統使用連結圖像質量的人的感知與目標度量值(諸如鮮明度、粒度、色調和彩色)的關係來改變在所請求的圖像處理操作中的一系列參數，以便自動優化最終得到的圖像的圖像質量。通過控制在請求的圖像處理操作中的一系列參數，它自動工作以使最終得到的圖像的主觀質量最優。然而，雖然輸入圖像在處理階段對它們的質量作了最佳化，但所公開的系統沒有根據可接受性標準評估原先的輸入質量，來確定原先的圖像是否應當在輸出階段不同地對待，即，原先的圖像是否值得處理和首先作為列印被輸出。
在題目為「A Method for Automatically Detecting Digital Imagethat are Undesirable for Placing in Albums(用於自動檢測不希望放置在照相本中的數字圖像的方法)」和在2003年3月18日以Savakis和Loui名義頒發的、共同轉讓的美國專利號No.6,535,636中，該專利在此引用以供參考，其中公開了對數字圖像自動分類為不合格品(或浪費的圖像)的方法。這個方法是基於幾個圖像特性的計算的單獨的或者組合的評估，包括鮮明度、對比度、噪聲以及數字圖像的曝光。對於與對比度有關的評估，使用從邊緣輪廓提取的強度直方圖的標準偏差的測量值，而對於與噪聲有關的評估，使用來自一部分圖像的像素的標準偏差。關於鮮明度有關的評估，該方法包括得到圖像的邊緣輪廓，計算來自邊緣輪廓的直方圖，定位邊緣直方圖的預定的邊緣，和計算預定的邊緣的梯度的重心以確定邊緣梯度的中值。因此由於不可接受的鮮明度而造成的不合格品圖像通過使用邊緣密度的度量值而被識別。然而，人們可以預期，具有稍微模糊(weak)邊緣的圖像仍是可接受的，諸如具有水和天空的情景，或不太模糊的圖像。相反，在一個局部區域具有明顯(strong)邊緣的圖像如果圖像的其餘部分總的不鮮明，特別是其中主要對象是不鮮明的，則仍舊只有非常低的質量。在這些情形下，所建議的措施不能很好地實施。所公開的方法的另一個缺點是當因為嚴重的欠曝光和過曝光發生邊緣惡化作為一個二次問題時，必須採取不同的措施，諸如對比度或欠曝光估計。在這些情形下，觀察者可以感覺到邊緣模糊並按這樣地報告它們；然而，根據邊緣梯度估計的鮮明度測量值不足以確定圖像的可接受性。
因此，需要開發一種自動確定數字圖像的可接受性的更可靠的方法，特別是為了列印而提交的那些圖像，和特別是因為鮮明度方面的問題。
發明概要本發明的目的是開發一種用於自動確定數字圖像的可接受性的更可靠的方法。本發明的另一個目的是開發一種用於自動確定為列印而提交的數字圖像的可接受性的更可靠的方法，特別是因為鮮明度方面的問題。
本發明的目的是克服上述的一個或多個問題。概括而言，按照本發明的一個方面，本發明歸結為一種為預定的輸出操作自動確定輸入圖像的可接受性的方法。該方法包括以下步驟(a)識別輸入圖像中的一個或多個重要區域；(b)計算對於每個重要區域的突出的可接受性特徵；(c)從重要區域的突出的可接受性特徵確定輸入圖像的可接受性；(d)根據在步驟(c)中確定的輸入圖像的可接受性實施預定的輸出操作。
另一方面，本發明歸結為一個為預定的輸出操作自動確定輸入圖像的可接受性的系統，該系統包括輸入級，用於識別輸入圖像中的一個或多個重要區域；處理級，用於(a)計算對於每個重要區域的突出的可接受性特徵和(b)從重要區域的突出的可接受性特徵確定輸入圖像的可接受性；以及輸出級，用於根據在處理級中確定的輸入圖像的可接受性實施預定的輸出操作。
本發明的技術優點在於，它提供用於檢測由於在拍攝時發生的聚焦不良以及嚴重的過曝光和欠曝光造成的不可接受的圖像的裝置，它們的每一種都影響邊緣特性，以及與現有的算法相比較，允許改進的和更精確地識別這些列印。該方法同時提供了高精度地檢測不可接受的圖像和低的虛假報警水平，這大大地消除視覺檢查的必要性，並為照片列印處理者以及那些在家中或經由在線服務列印他們的圖像的客戶提供節省費用的好處。
附圖簡述

圖1是用於實施本發明的計算機系統的透視圖。
圖2顯示用於邊緣檢測的閾值的選擇。
圖3是顯示本發明的優選實施例流程圖。
圖4A是顯示如圖3所示的、用於識別和提取圖像上的重要區域的方法的進一步細節的流程圖。
圖4B是顯示如圖3所示的、用於識別和提取圖像上的重要區域的方法的另一個實施例的細節的流程圖。
圖4C是顯示如圖3所示的、用於識別和提取圖像上的重要區域的方法的另一個實施例的細節的流程圖。
圖4D是顯示如圖3所示的、用於識別和提取圖像上重要區域的方法的另一個實施例的細節的流程圖。
圖5是顯示如圖3所示的、用於計算突出的可接受性特徵的方法的進一步的細節的流程圖。
圖6顯示對於圖像的重要區域得到的邊緣圖。
發明詳細說明在以下的說明中，本發明在優選實施例中以軟體程序被描述。本領域技術人員將容易看到，這樣的軟體的等價物也可以用硬體構建。因為圖像處理算法和系統是熟知的，本說明具體地針對的是算法和系統，它們形成按照本發明的系統和方法的一部分或更直接地與系統和方法合作的算法和系統。用於產生和處理這裡牽涉到的、但這裡沒有具體地示出或描述的圖像信號的這樣的算法和系統以及硬體和/或軟體的其它方面，可以從在技術上已知的這樣的系統、算法、部件和單元中選擇。在以下的材料中已知按照本發明所描述的系統後，對於實施本發明是有用的、但這裡未具體顯示、提出或描述的軟體是常規的並在這樣的技術的一般水平的範圍內。
另外，正如這裡使用的，電腦程式可以存儲在計算機可讀的存儲媒體，它例如可包括磁存儲媒體，諸如磁碟(諸如硬碟或軟盤)或磁帶；光存儲媒體，諸如光碟、光帶、或機器可讀的條形碼；固態電子貯藏器件，諸如隨機存取存儲器(RAM)或只讀存儲器(ROM)；或用來存儲電腦程式的其它物理器件或媒體。
在描述本發明之前，應當指出，本發明優選地在任何熟知的計算機系統，諸如個人計算機上被利用。還有益地指出，圖像或者直接輸入到計算機系統(例如，通過數位照相機)或者在輸入到計算機系統之前被數位化(例如，通過掃描原先的諸如滷化銀膠片上的圖像)。
參照圖1，圖上顯示用於實施本發明的計算機系統110。雖然該計算機系統110是為了說明優選實施例而被顯示，但本發明並不限於所顯示的計算機系統，而是可以在諸如在家庭計算機、售貨亭、零散或整批照相列印，或用於處理數字圖像的任何其它類型的系統中發現的任何電子處理系統上使用。計算機系統110包括基於微處理器的單元112，用於接收和處理軟體程序和用於執行其它處理功能。顯示器114被電連接到基於微處理器的單元112，用於例如通過圖形用戶接口顯示與軟體有關的涉及用戶的信息。鍵盤116也連接到基於微處理器的單元112，以允許用戶向軟體輸入信息。作為為輸入而使用鍵盤116的替換例，可以使用滑鼠118以便在顯示器116上移動選擇器120和用於選擇與選擇器120重疊的項目，正如技術上熟知的。
典型地含有軟體程序的光碟-只讀存儲器(CD-ROM)124被插入到基於微處理器的單元112，用於向基於微處理器的單元112的裝置提供輸入軟體程序和其它信息。另外，軟盤126還可含有軟體程序，該軟盤被插入到基於微處理器的單元112以輸入軟體程序。光碟-只讀存儲器(CD-ROM)124或軟盤126可以替換地插入到位於外部的盤驅動單元122，它被連接到基於微處理器的單元112。再者，基於微處理器的單元112可以被編程，正如技術上熟知的，用於在內部存儲軟體程序。基於微處理器的單元112還可以具有如電話線那樣的網絡連接127以便連接到外部網絡，諸如區域網或網際網路。印表機128被連接到基於微處理器的單元112，用於列印計算機系統110輸出的硬拷貝，應當指出，印表機128可以是臺式印表機，諸如噴墨印表機或雷射印表機，或可以是精巧的照片列印設備，它適用於在零售商店、售貨亭、在線或整批照相工業中產生列印的照片。
圖像也可以經由個人計算機卡(PC卡)130(諸如，正如以前已知的，包含在卡130中以電子方式體現的數位化圖像的PCMCIA卡(根據個人計算機存儲器卡國際協會的技術規範))在顯示器114上被顯示。PC卡130被插入到基於微處理器的單元112以允許在顯示器114上可視地顯示圖像。替換地，PC卡130可被插入到位於外部但連接到基於微處理器的單元112的PC卡讀卡器132。圖像也可以經由光碟124、軟盤126或網絡連接127輸入。存儲在PC卡130、軟盤126、或光碟124，或通過網絡連接127輸入的任何圖像可以從各種各樣的源，諸如數位照相機134或掃描儀(未示出)得到的。
圖像也可以經由被連接到基於微處理器的單元112的照相機對接埠136直接從數位照相機134輸入或經由與基於微處理器的單元112的電纜連接138或經由與基於微處理器的單元112的無線連接140直接從數位照相機134輸入。
按照本發明，算法可被存儲在以前描述的任何存儲裝置，然後被應用於圖像，以便自動對預定的輸出操作的圖像確定可接受性，例如根據自動計算圖像上邊緣密度的測量值確定鮮明度方面的圖像可接受性。
在本發明的優選實施例中公開的具體的算法，諸如用於自動確定數字圖像的可接受性的方法，可以在各種各樣的用戶上下文和環境中被利用。示例性上下文和環境包括但不限於整批數字照相列印(這涉及到示例性處理步驟或階段，諸如膠片輸入，數字處理，列印照片輸出)、零售數字照相列印(膠片輸入，數字處理，列印照片輸出)、家庭列印(家庭掃描膠片或數字圖像，數字處理，列印照片輸出)、臺式軟體(軟體把算法施加到數字列印，使得它們更好，或甚至只是改變它們)、數字實現(數字圖像輸入——從媒體或通過網絡，數字處理，圖像輸出——以媒體上的數字形式，通過網絡的數字形式，或列印在硬體拷貝列印紙上)、售貨亭(數字或掃描輸入，數字處理，數字或掃描輸出)、醫學成像系統、行動裝置(例如，PDA或蜂窩電話，它可用作為處理單元，顯示單元，或給出處理命令的單元)、以及作為經由全球資訊網提供的服務。
在每種情形下，自動確定數字圖像的可接受性的算法可以是單獨的，或可以是較大的系統解決方案的一個部件。另外，與算法的接口，例如掃描或輸入，數字處理，顯示給用戶(如果需要的話)，用戶請求或處理指令的輸入(如果需要的話)，輸出，它們每個可以是處在同一個或不同的設備中和物理位置，以及在設備與位置之間的通信可以經由公共或專用網絡連接，或基於媒體的通信。在與本發明的以上的公開內容一致的場合下，算法本身可以完全自動化，可以有用戶輸入(不論是全部或部分地人工的)，可以由用戶或操作員來檢查以接收/拒絕該結果，或可以由元數據協助(元數據可以是用戶提供的，由測量設備(例如在照相機中)提供的，或由算法確定)。而且，算法可以與各種各樣工作流用戶接口方案接口。
按照本發明的用於自動確定數字圖像的可接受性的方法的這裡公開的算法可以具有利用各種數據檢測和縮減技術的內部部件，諸如面孔檢測、皮膚檢測、人物檢測、其它對象檢測，它們在解釋圖像中描繪的情景是主要的，例如，用於生日聚會圖像的生日蛋糕、或表徵性的圖像，諸如在醫學圖像的情形下攝取特定的身體部分。
本發明主要被設計成在列印圖像輸出之前檢測從彩色負片產生的、具有差的鮮明度的圖像的方法，以便消除來自列印過程的不想要的列印照片，從而為照相列印者提供成本效益。然而，正如已說明的，這個方法可以在各種各樣的用戶上下文和環境下使用。在一些附加的上下文中，這個方法可用於評估源由來自彩色翻轉片，所有種類的數位照相機、X射線照相圖像源和其它數字成像設備的圖像，諸如原始的數字圖形。
在本發明的範圍內的鮮明度被定義為攜帶足夠數目的鮮明邊緣的圖像的特性。充分性準則可以通過考慮各種各樣的圖像以實驗方式確定，包括可接受的以及不可接受的質量的圖像。這樣的定義允許解釋和隨後識別幾組低質量圖像因為鮮明度而作為不可接受的典型地，這些組包括具有聚焦很差的圖像、完全或多半是空白的圖像，以及嚴重欠曝光和過曝光圖像。所有這些圖像組缺乏鮮明的邊緣。
為了定位圖像的邊緣，可以利用幾個標準邊緣檢測算法。這些技術通過計算偏導數(local derivative)算子而識別在具有不同的灰度特性的區域(被解釋為邊緣)之間的過渡點。取決於實施方案，偏導數算子近似於在圖像的給定的像素或位置處的梯度(諸如Sobel算子)或拉普拉斯(諸如Marr和Hildreth算法，在以下文章中描述「Theoryof Edge Detection(邊緣檢測的理論)」，Proceedings of the Royal Societyof London，vol.B207，pp.187-217，1980，該文章在此引用以供參考)。
提供魯棒的檢測性能的另一個邊緣算法是Canny邊緣檢測算法。這個算法在以下文章中描述J.F.Canny，「A Computation Approach toEdge Detection(邊緣檢測的計算方法)」，IEEE Transactions on PatternAnalysis and Machine Intelligence，8，pp.769-798，1986，該文章在此引用以供參考。Canny在幾個不同的取向上使用一階差分算子，而不是單個二階差分算子，來確定梯度的局部最大值。另外，Canny算法選擇明顯的邊緣和僅僅和該明顯的邊緣相連的那些模糊的邊緣。Canny方法的有利的特性在於，與上述的邊緣檢測技術相比較，允許更好地區分真正的模糊邊緣與噪聲。
為了提供成功的邊緣檢測，幾個參數必須被最佳化，即，梯度閾值。這些閾值確定圖像上的哪些像素代表真正的邊緣，包括明顯的和模糊的，以及哪些像素被認為上噪聲。梯度的較高的閾值僅用來考慮邊緣具有相對較高的梯度，例如，高於92％。為了包括與明顯的邊緣相連接的某些較模糊的邊緣，使用較低的閾值，諸如，例如較高的閾值的0.75倍。這些考慮顯示於圖2。
Canny邊緣檢測方法的一個實施方案可以在熟知的軟體包「Matlab」中找到。在這個實施方案中，在「強度」圖像上執行Canny邊緣檢測，其中像素值的範圍是從0到1。得到這樣的強度圖像的一個方法是使圖像像素值按初始的圖像中找到的最大像素值歸一化。另一個方法是以某種與感知相關的形式表示圖像，它實際上反映像素的感知的「強度」。這例如可以通過把數字圖像轉換成L*值而完成，其中L*表示法在文獻中被稱為感知上均勻的亮度尺度的近似。L*值按照CIE1976公式進行計算L*＝116(Y/Yw)1/3-16，其中Y和Yw是給定的像素和所使用的參考白色的Y三色值。對於小於0.008856的Y/Yw的數值，L*值通過下式L*＝903.3(Y/Yw)進行計算。關於所使用的公式的更多的信息可以在以下書中找到R.W.G.HuntThe Reproduction of Colour(彩色重現)，5thedition，Fountain Press，England，1995.L*表示法的使用允許檢測與感知有關的或按照感知情形表示的、諸如邊緣的特性。
還應當指出，其它表示法可以容易地使用於邊緣檢測算法，包括但不限於諸如歸一化的r，g，和b圖像、圖像的綠色信道、亮度圖像、以相對列印密度表示的圖像、或以列印代碼值表示的圖像等等表示法。在每種情形下，選擇適用於圖像表示法空間的閾值和參數。
現在參照圖3，這裡顯示的流程圖顯示按照本發明的、用於根據從圖像的重要區域提取的突出的可接受性特徵，例如邊緣出現度量值，確定一個或多個圖像的可接受性的方法的操作。
如圖所示，在步驟210，方法從接收數字形式的圖像開始，該圖像在本說明中此後被稱為輸入圖像。接著，輸入圖像被轉換成優選的格式，用於進一步處理(步驟212)。在優選實施例中，優選的格式是亮度的估值L*，它是通過使用以上討論的方法和關於輸出顯示器特性的信息按照CIE 1976公式被計算的(步驟214)，其中顯示器可以是監視器屏幕、列印紙系統、或具有已知的特性的某些其它顯示系統。在替換實施例中，步驟212和214的圖像到亮度尺度的轉換可以省略，或用轉換到不同的格式代替，諸如歸一化的r，g，和b，相對列印密度，或以前提到的其它公式。在每種情形下，在隨後的步驟中描述的分析在所選的格式內執行。
在步驟216，圖像中的重要區域被識別和被提取，用於進一步分析。應當指出，在步驟216中出現的處理過程，優選實施例被更詳細地顯示於圖4A，而替換實施例被更詳細地顯示於圖4B-4D。
現在參照圖4A，圖上顯示在步驟216中出現的關於輸入圖像中重要區域的識別的詳細的處理過程。這裡顯示的方法是基於這樣的假設即包含用於確定輸出可接受性的重要的信息的區域擁有最大的數目的最鮮明的邊緣。在步驟310，對輸入圖像進行欠採樣，以得到供分析用的低解析度圖像。欠採樣可以使用任何可得到的內插方法來執行。優選實施例使用4×4塊平均技術。欠採樣有利地減小處理時間和去除噪聲，這常常是妨礙邊緣檢測的因素。
接著，對低解析度分析圖像實施邊緣檢測算法(步驟312)，諸如Canny方法。如前所述，Canny邊緣檢測算法利用一個或多個優化的閾值。這樣的閾值是對於該具體情形定做的，因此可以沒有限制地取各種各樣的值，以便覆蓋本發明。在優選實施例中，設置了較高的梯度閾值，以便只考慮具有較高梯度(例如，92％以上)的那些邊緣。另外，較低的閾值用來把與明顯的邊緣連接的某些較模糊的邊緣包括在內(例如，在較低的閾值是較高的閾值的75％的數值的場合下)。
在替換實施例中，這些閾值可以取決於圖像噪聲。在這種情形下，當圖像具有較高的噪聲電平時，閾值將被調節為獲取邊緣的較少部分，設想這將可以阻止許多嘈雜的邊緣像素的錯誤的檢測。在再一個替換實施例中，在邊緣檢測之前可以把平滑濾波器用到低解析度分析圖像(或輸入圖像)，以便減小噪聲。在這種情形下，可以根據噪聲電平調節這種濾波器的參數。通常使用的濾波器的一個例子是高斯模糊濾波器，其中標準偏差的數值可以根據噪聲來調節。
根據來自以前的步驟的與像素有關的邊緣數據，在步驟314構建邊緣圖。這個邊緣圖然後被再劃分成預定數目的塊(在步驟316)，例如8×8塊的數組，然後對每個塊中的邊緣像素的數目計數。接著，識別邊緣像素數為最多的塊。在優選實施例中，識別頂部三個塊的位置(步驟318)。應當指出，雖然塊的最佳數目(三個)是通過檢查圖像的大的資料庫而被確定的，但也可以使用不同數目的塊，例如兩個塊或三個以上的塊。也可以附加上其它的塊來作進一步分析。例如，在邊緣圖中表示的所有的邊緣像素中間可以另外選擇包含具有最大梯度值的邊緣像素的塊。替換地(或另外)，通過構建圍繞中心點的塊，也可以包括圖像的中心部分，假設圖像的中心區域典型地包含照片的主要的對象。
在步驟320，在低解析度圖像中識別的塊的位置然後被用來選擇在完全解析度輸入圖像中類似的位置的塊，以便提取重要區域作進一步處理。在優選實施例中，在輸入圖像上選擇總共三個樣本區域，每個具有輸入圖像的1/8×1/8的相同的尺寸。這些樣本區域相應於在步驟318中識別的三個塊。這些區域在輸入圖像上的位置是通過把在低解析度圖像中的適當的塊的坐標轉換成在輸入圖像中相應的坐標而被確定的。如前所述，可以提取另外的圖像區域，諸如包含最大梯度像素的塊或中心塊。
雖然要實現的實施例使用用鮮明的邊緣來標識重要圖像區域的這種假設，但可以使用替換的方法來識別包含照片中的重要的信息的某些分段或所有的分段。例如，可以使用檢測圖像中主要對象的算法(如圖4B所示)，因為主要對象的呈現常常是最影響列印圖像的可接受性的那個部分。一個這樣的算法在題目為「Method for AutomaticallyDetermination of Main Subjects in Photographic Image(用於自動確定照相圖像中的主要對象的方法)」和在2001年8月28日以Luo等的名義頒布的、共同轉讓的美國專利號No.6,282,317中被公開，該專利的公開內容在此引用以供參考。這個算法通過識別膚色、面孔、天空、草地等等作為語義的突出特徵以及與彩色、紋理結構、亮度等等有關的「結構的」突出特徵和然後組合這些特徵生成置信圖而自動檢測照相圖像中的主要的對象。
用於選擇另外的可接受性決定的區域的另一個有用的圖像處理技術在題目為「Image Processing Method for Detecting Human Figures ina Digital Image(用於檢測數字圖像中人的圖形的圖像處理方法)」和在2004年2月24日以Luo的名義頒發的、共同轉讓的美國專利號No.6,697,502中被公開，該專利的公開內容在此引用以供參考。這個算法提供在數字彩色圖像中對人的圖形的檢測。該算法首先執行把圖像分段成均勻彩色或紋理的非重疊區域，隨後檢測人的皮膚顏色的候選區域和人的面孔的候選區域；然後對於每個候選的面孔區域，通過按照預定的圖形模型把面孔區域附近的區域分組，並對人的皮膚顏色區域作為重點而構建人的圖形。
關於主要對象檢測，圖4B顯示替換實施例，其中輸入圖像的重要區域通過使用上述的主要對象檢測算法而被識別。如圖所示，在步驟410，輸入圖像由在以上引述的美國專利No.6,282,317中描述的主要對象檢測算法進行處理。替換地，主要對象可以使用低解析度圖像來識別以減小處理時間。在這種情形下，輸入圖像被欠採樣，得到供分析用的低解析度圖像，類似於圖4A的步驟310。因此，創建映射圖，並識別在映射圖上相應於照相的主要對象的位置的區域(步驟412)。(應當指出，不像在優選實施例中那樣，不必把映射圖劃分成塊。)在步驟414，輸入圖像通過提取相應於主要對象的識別的位置的主要的區域而被進一步分析。替換地，當整個處理是在低解析度圖像上進行時，包含主要對象的重要區域是從低解析度圖像中提取的。
在步驟216中所採用的方法的這個部分的另一個替換實施例中，重要區域可以通過其它方法來識別，例如通過提供有關這些區域的位置的信息(如圖4C所示)。這個信息可以通過推導出一個或多個重要區域的坐標(步驟510)來提供，例如通過人工點擊所顯示的圖像的區域或畫出這些區域的輪廓等，或通過預規定的區域的坐標而自動提供。這些重要區域然後在步驟512從輸入圖像被提取。這個方法在醫學成像中特別有用。
在圖4D所示的另一個替換實施例中，當重要區域可以通過利用監視用戶當他或她觀看圖像時眼睛的注視程度而被識別。在圖像的不同的區域中的注視頻度和持續時間與它們的對象重要性之間的關係在一些研究中被論證。因此，G.T.Buswell在題目為「How People Look atPicture(人們如何注視照片)」，The University of Chicago Press，Chicago，1935中，和A.L.Yarbus，「Eye Movements and Vision(眼睛運動和視覺)」(B.Haigh，Trans.)，Plenum Press，New York，1967揭示，人們把他們的眼睛主要固定在他們認為是照相或圖畫中的重要的單元。這個研究表示，情景單元對於用戶的重要性可以通過獲取他們的眼睛注視和使用在情景內特定的目標上固定的出現頻率和/或持續時間而確定。用於獲取眼睛注視而同時用數位照相機拍攝照片的方法和系統在題目為「Method and Computer Program Product for Determining an Area ofImportance in an Image Using Eye Monitoring Information(通過使用眼睛監視信息確定重要性區域的方法和電腦程式產品)」和在2004年5月27日公開的、共同指定的美國專利申請公布號No.US 2004/0103111A1，和題目為「Camera System with Eye Monitoring(帶有眼睛監視的照相機系統)」和在2004年5月27日公開的美國專利申請公布號No.US2004/0100567 A1中描述，這兩個專利申請的公開內容在此引用以供參考。同樣，提出了在監視消費者對於在顯示器屏幕上呈現的情景的反應時使用眼睛凝視跟蹤；這方面的一個例子是使用由IBM公司，Armonk，New York，USA銷售的藍眼照相機。
現在參照圖4D，根據眼睛凝視跟蹤得到眼睛注視映射圖(步驟610)。接著，識別具有最高數目的眼睛注視的區域。識別這樣的區域的一個方法可以是基於首先把輸入圖像再劃分成多個矩形塊，隨後識別具有最高數目的眼睛注視的塊的位置。替換地，圖像可以一開始通過使用由Luo，Gray和Lee在「Towards Physics-based Segmentation ofPhotographic Color Images(照相的彩色圖像的基於物理的分段)」，Proc.IEEE Int.Conf.Image Process.，1997中建議的未監管集群技術來分段，該文章在此引用以供參考。隨後，對於每個所得分段的眼睛注視數進行計數，然後識別和提取最高分段作為圖像的重要區域(步驟612)。類似地，重要區域可以根據注視持續時間來識別，而不是根據它們的出現頻率或根據兩個信號的組合。
接著，回到圖3，在步驟218計算一個或多個突出的可接受性特徵。應當指出，對於本發明的優選實施例，在步驟218中出現的處理更詳細地示於圖5，其中邊緣出現度量值被用作為突出的可接受性特徵。因此，在邊緣出現度量值被用作為突出的可接受性特徵的場合下，在步驟710，通過實施諸如上述的Canny邊緣檢測方法那樣的邊緣檢測算法得到輸入圖像經識別的重要區域的邊緣映射圖。在替換實施例中，在步驟710可以使用不同的邊緣檢測方法(諸如，Sobel或拉普拉斯算子，或其它可利用的技術)。在步驟710中應用的Canny邊緣檢測方法可以另外利用被設計來減小圖像噪聲的平滑濾波器，因為在經識別的重要區域中存在的噪聲會因生成多個「虛假」邊緣而妨礙「真正的」邊緣的檢測。在優選實施例中使用具有5×5的核心尺寸的簡單的平均濾波器來對付這種噪聲。然而，本領域技術人員將會看到，其它濾波操作也可以容易地實施。在優選實施例中，設置了用於構建邊緣映射圖的較高的和較低的閾值以識別對較高閾值具有高於85％的梯度的明顯的邊緣和具有大於40％的梯度的較模糊的邊緣。在示例性圖像中對於一個重要區域構建的這樣的邊緣映射圖的例子顯示於圖6。邊緣像素由白色表示，而非邊緣像素被畫成黑色。
使用在步驟710中得到的邊緣映射圖，在步驟712，對於每個區域計算邊緣出現的度量值。在優選實施例中使用的這樣一個度量值表示邊緣像素的密度。這個度量值是作為每個區域在邊緣映射圖上的邊緣像素數與該區域在邊緣映射圖上像素的總數之間的比值而計算的。邊緣密度計算有助於把這樣的因素作為輸入數字圖像的不同的尺寸和解析度來考慮。具有這樣不同解析度的輸入圖像的一個例子是掃描後的APS與35mm膠捲幀的對比。在替換實施例中，邊緣像素的數目可用作為步驟712的邊緣出現的度量值，特別是當輸入圖像在它們的解析度或尺寸方面具有類似特性時。
在步驟714，計算在所有的選擇的區域邊緣映射圖上邊緣出現的統計度量值。在本發明的優選實施例中，使用在步驟712計算的邊緣出現的平均值，尤其是，邊緣密度的平均值。也可以應用對於邊緣出現值的不同的統計度量值(諸如中值或最大值)。在再一個替換實施例中，可以構建統計度量值以利用邊緣出現的不同的度量值，諸如在每個區域中的邊緣像素的數目，而不是邊緣密度參數。
邊緣出現度量值表示在圖像中的典型的突出特性的一個例子，它對確定由於鮮明度問題造成的總的圖像可接受性是重要的。在替換實施例中，也可以對於重要區域或者單獨地或者組合地計算其它特性，諸如對於梯度值、拉普拉斯值、邊緣高度、或邊緣寬度值的分布的統計度量值。
更加適合於因其它因素，(例如噪聲、對比度、彩色呈現、過曝光、欠曝光)而作出可接受性決定的其它突出的特性，以及相對於圖像的重要區域的目標質量度量值，也可以使用各種現有的技術來識別。用於識別對於噪聲、對比度、鮮明度、曝光和目標質量的突出的特徵的方法在以前提到的共同轉讓的美國專利No.6,535,636中公開，該專利在此引用以供參考。當通過使用上述的主要對象檢測算法識別圖像的重要區域時，可以容易地計算表示彩色呈現的突出的特徵。在這種情形下，這些特徵分開地或組合地表示對色調、色度(或飽和)或亮度分布的統計度量值。
回到圖3，在步驟218得到的計算出的突出的可接受性特徵，在步驟220與預定的閾值進行比較。例如，但不意味著對本發明的範圍的任何種類的限制，在優選實施例中，在步驟218得到的突出的可接受性特徵是出現的邊緣度量值，以及對出現邊緣度量值的有用的閾值，如由平均邊緣密度值表示，是0.00072的數值。這個閾值是在步驟222通過分析包含各種各樣可接受的和不可接受的圖像的圖像資料庫而確定的。當對於選擇的突出的可接受性特徵的數值大於或等於閾值時，則輸入圖像被認為對於打算像列印那樣的用途是不可接受的。如果選擇的突出的可接受性特性小於閾值，則圖像被認為是合適的。顯然，可以根據具體的情形下使用許多其它閾值，不打算通過對這樣一個數值的說明來加以限制。
在對重要區域計算不同的突出的可接受性特徵(諸如，單獨地或組合地對梯度值、拉普拉斯值、邊緣高度或邊緣寬度值的統計度量值，或反映噪聲、鮮明度、對比度、彩色呈現或目標質量的特徵)的替換實施例中，對所使用的具體的突出的特徵在步驟222確定適當的閾值。
最後，根據在步驟220執行的分類，在步驟224，對於圖像使用作出決定，例如允許進行在步驟226概述的幾個預定的輸出操作之一。例如，不可接受的圖像可以從列印級被去除，不進行列印(步驟226a)。在數位照相機內使用按照本發明的方法的情形下，這種決定可以是刪除圖像，優選地響應於用戶刪除圖像的建議(226c)，和/或得到用戶的同意，或建議用戶重新攝取情景(226b)。
在其它實施例中，代替單個分類閾值，可以使用邊緣出現的度量值把具有低的邊緣出現度量值的可列印圖像進一步分開而確定幾個分類閾值，這將從應用算法(步驟226e)來增加圖像鮮明度中獲益。例如，可以使用標準的模糊掩蔽技術。這個技術在像Adobe Photoshop軟體那樣的許多在市面上可買到的照片編輯和圖像增強軟體包中得到實施。在這種情形下，在步驟220分類圖像後，在步驟226e，自動應用特定的處理算法以提高輸出圖像質量，或向用戶建議特定的處理算法作為數位照相機的任選項。如果在步驟226e執行圖像處理，則可以任選地對於遵循步驟210-226的處理的圖像重新完成可接受性檢驗。
權利要求
1.一種為預定的輸出操作自動確定輸入圖像的可接受性的方法，所述方法包括以下步驟(a)識別輸入圖像中的一個或多個重要的區域；(b)計算對於每個重要區域的突出的可接受性特徵；(c)從重要區域的突出的可接受性特徵確定輸入圖像的可接受性；(d)根據在步驟(c)中確定的輸入圖像的可接受性實施預定的輸出操作。
2.如在權利要求1中要求的方法，其中在步驟(a)中通過使用邊緣出現的度量值來識別圖像中的邊緣像素而識別該一個或多個重要區域。
3.如在權利要求2中要求的方法，其中在步驟(a)中通過識別具有最大邊緣像素數的區域而識別該一個或多個重要區域。
4.如在權利要求2中要求的方法，其中在步驟(a)中識別的一個或多個重要區域包括至少一個具有最大邊緣梯度的邊緣像素的區域。
5.如在權利要求2中要求的方法，其中在步驟(a)中識別的一個或多個重要區域包括至少一個輸入圖像的中心區域。
6.如在權利要求1中要求的方法，其中該一個或多個重要區域在步驟(a)中通過檢測在輸入圖像中主要對象所處在的一個或多個區域而被識別。
7.如在權利要求1中要求的方法，其中該一個或多個重要區域在步驟(a)中通過根據由操作人員提供的坐標來選擇輸入圖像中的一個或多個區域而被識別。
8.如在權利要求1中要求的方法，其中該一個或多個重要區域在步驟(a)中通過檢測在輸入圖像中注視數為最大的一個或多個區域而被識別。
9.如在權利要求1中要求的方法，其中該一個或多個重要區域在步驟(a)中通過檢測在輸入圖像中具有人的圖像的一個或多個區域而被識別。
10.如在權利要求1中要求的方法，其中在步驟(a)中識別的一個或多個重要區域包括輸入圖像的至少兩個區域。
11.如在權利要求1中要求的方法，其中突出的可接受性特徵是邊緣出現的度量值。
12.如在權利要求11中所要求的方法，其中邊緣出現的度量值是邊緣密度。
13.如在權利要求1中要求的方法，其中突出的可接受性的量度值是從包括從輸入圖像導出的以下項目的組中選擇的邊緣的出現、梯度值、拉普拉斯值、邊緣高度值、邊緣寬度值、噪聲值、對比度值、彩色呈現值、過曝光值、和欠曝光值。
14.如在權利要求1中要求的方法，其中從重要區域的突出的可接受性特徵確定輸入圖像的可接受性的步驟(c)包括使用在所有的重要區域上突出的可接受性特徵的統計度量值的步驟。
15.如在權利要求14中要求的方法，其中突出的可接受性特徵是每個重要區域的邊緣密度，以及突出的可接受性特徵的統計度量值是在所有重要區域中邊緣密度的平均值。
16.如在權利要求1中要求的方法，其中在步驟(d)中實施的輸出操作是列印操作，由此，被發現為不可接受的輸入圖像不被列印。
17.如在權利要求1中要求的方法，其中輸入圖像是從數位照相機得到的，步驟(a)-(d)在數位照相機中執行，以及在步驟(d)中實施的輸出操作是刪除操作，由此，刪除一個被發現為不可接受的輸入圖像。
18.如在權利要求17中要求的方法，另外還包括建議照相機用戶刪除圖像和在刪除圖像之前得到用戶對於刪除操作的批准的步驟。
19.如在權利要求1中要求的方法，其中輸入圖像是從數位照相機得到的，以及在步驟(d)中實施的輸出操作是指令照相機操作員重新攝取圖像。
20.如在權利要求1中要求的方法，其中在步驟(d)中實施的輸出操作是圖像處理操作，由此，被發現為不可接受的輸入圖像被提交去進行圖像處理操作。
21.如在權利要求1中要求的方法，其中步驟(a)包括以下步驟檢測表示在輸入圖像上觀察到的邊緣的邊緣像素；得出邊緣像素的邊緣映射圖；把邊緣映射圖劃分成多個塊，其中每個塊可包含來自邊緣映射圖的邊緣像素；識別具有最大邊緣像素數的兩個或多個塊；以及選擇輸入圖像上相應於兩個或多個塊的兩個或多個重要的區域。
22.如在權利要求21中要求的方法，其中步驟(b)包括根據在每個重要區域中的邊緣出現來計算突出的可接受性特徵的步驟。
23.如在權利要求22中要求的方法，其中步驟(c)包括由突出的可接受性特徵計算邊緣出現的統計度量值以及使用邊緣出現的統計度量值來確定數字輸入圖像用於列印的可接受性的步驟。
24.一種為列印操作自動確定輸入數字圖像的可接受性的方法，所述方法包括以下步驟(a)根據輸入數字圖像形成低解析度分析圖像；(b)檢測在低解析度分析圖像中表示邊緣的邊緣像素；(c)得出在低解析度分析圖像中邊緣像素的邊緣映射圖；(d)把邊緣映射圖劃分成多個塊，其中每個塊可包括來自邊緣映射圖的邊緣像素；(e)識別具有最大邊緣像素數的兩個或多個塊；(f)從輸入圖像得出在輸入圖像上的兩個或多個重要區域，它們相應於在步驟(e)識別的兩個或多個塊；(g)根據在每個重要區域中邊緣的出現，計算突出的可接受性特徵；(h)根據在步驟(g)計算的突出的可接受性特徵計算邊緣出現的統計度量值；以及(i)使用邊緣出現的統計度量值來確定數字輸入圖像供列印時的可接受性。
25.如在權利要求24中要求的方法，其中檢測在低解析度分析圖像中表示邊緣的邊緣像素的步驟(b)包括採用邊緣檢測算法通過使用一個或多個邊緣檢測閾值來識別邊緣像素而檢測在低解析度圖像中的邊緣的步驟。
26.如在權利要求25中要求的方法，其中邊緣檢測算法是Canny邊緣檢測算法，以及它利用兩個邊緣檢測閾值以用於明顯的邊緣和與該明顯的邊緣相關的較模糊的邊緣。
27.如在權利要求24中要求的方法，其中根據在每個重要區域中的邊緣的出現，計算突出的可接受性特徵的步驟(g)包括確定在每個重要區域中邊緣密度的步驟。
28.如在權利要求24中要求的方法，其中從在步驟(g)計算的突出的可接受性特徵計算邊緣出現的統計度量值的步驟(h)包括確定對重要區域的邊緣密度的平均值的步驟。
29.一種為預定的輸出操作自動確定輸入圖像的可接受性的系統，所述系統包括輸入級，用於識別輸入圖像中的一個或多個重要區域；處理級，用於(a)計算對於每個重要區域的突出的可接受性特徵和(b)根據重要區域的突出的可接受性特徵確定輸入圖像的可接受性；以及輸出級，用於根據在處理級中確定的輸入圖像的可接受性實施預定的輸出操作。
30.如在權利要求29中要求的系統，其中輸入級包括算法，該算法用於(a)刪除表示在輸入圖像上觀察到的邊緣的邊緣像素；(b)得出邊緣像素的邊緣映射圖；(c)把邊緣映射圖劃分成多個塊；(d)識別具有最大邊緣像素數的兩個或多個塊；以及(e)選擇輸入圖像上相應於兩個或多個塊的兩個或多個重要區域。
31.如在權利要求29中要求的系統，其中處理級包括算法，該算法用於(a)根據在每個重要的區域中的邊緣出現計算突出的可接受性特徵；以及(b)根據突出的可接受性特徵計算邊緣出現的統計度量值和使用邊緣出現的統計度量值來確定數字輸入圖像用於列印的可接受性。
全文摘要
一種用於自動確定輸入圖像對像列印這樣的預定輸出操作的可接受性的方法，包括以下步驟(a)識別輸入圖像中的一個或多個重要的區域；(b)對每個重要區域計算突出的可接受性特徵；(c)從重要區域的突出的可接受性特徵確定輸入圖像的可接受性；以及(d)根據在步驟(c)中確定的輸入圖像的可接受性實施預定的輸出操作。
文檔編號G06K9/00GK101076811SQ200580042507
公開日2007年11月21日 申請日期2005年12月2日 優先權日2004年12月9日
發明者J·R·尼德鮑默, E·A·費多洛夫斯卡亞 申請人:伊斯曼柯達公司