對圖像中模糊的檢測的響應的製作方法
2023-05-25 09:23:21
專利名稱：對圖像中模糊的檢測的響應的製作方法
技術領域：
本發明大體上涉及圖像中的模糊檢測。
背景技術：
相機或其它圖像俘獲裝置(例如，拍照電話)可提供自動聚焦能力及手抖動減少特徵，以輔助用戶拍攝良好照片。然而，照片有時可能為模糊的，或照片中用戶希望焦點對準的區域可能並未實現焦點對準。在一些常規相機中，相機上的作用中顯示器展示由相機 「所觀察到」的圖像，以使所述用戶清楚地了解所述用戶將拍攝的照片的質量。然而，有時在查看待俘獲的整個場景的顯示時，可能難以告知相對於作用中顯示器的大小來說較小的所關注區域何時焦點未對準。因此，在已將照片傳送到具有較大顯示器的桌上型計算機或膝上型計算機之後，拍攝照片的用戶常常僅在稍後便發現，所述照片質量太差以致不能與朋友共享或列印。
發明內容
本文中的實施例提供用於進行以下動作的方法及裝置檢測圖像的模糊區域(例如，模糊臉部)，及在顯示器上顯示所述模糊區域的特寫，使得所述用戶可更清楚地查看所述模糊區域。在一些實施例中，可顯示若干檢測到的模糊區域的特寫，以及緊靠模糊區域顯示經確定為清晰的區域以用於比較。顯示模糊區域的特寫使所述裝置的用戶能夠更清楚地觀察到模糊區域處於場景中，且選擇重拍攝照片。本文中所描述的實施例克服以下問題用戶拍攝在所述照片俘獲裝置的作用中顯示器上呈現良好的照片，但僅在稍後便發現所述照片中存在模糊區域。如果在用於定位所關注區域及分析所述區域以確定所述區域是否模糊的算法完成後檢測到模糊區域，則可將通知提供到所述用戶。在一特定實施例中，揭示一種用於檢測一圖像的模糊區域及顯示所述模糊區域的特寫的設備。所述設備包括區域定位器，其用以在由數字圖像俘獲裝置所俘獲的圖像中定位一個或一個以上所關注區域。所述設備還包括模糊檢測器，其用以檢測一個或一個以上經定位的區域何時模糊。舉例來說，所述模糊檢測器可確定一經定位的區域「過於模糊」，所述確定是基於在所述經定位的區域中檢測到的軟邊緣對硬邊緣的比率。所述設備進一步包括響應所述模糊檢測器的指示器，其用以響應於檢測到模糊區域而產生信號。所述設備還包括顯示接口，其用以將所述模糊區域的放大圖像提供到顯示裝置。在另一特定實施例中，揭示一種方法，其包括在經俘獲的圖像中定位一個或一個以上所關注區域。所述方法還包括檢測所述經定位的所關注區域當中的一個或一個以上模糊區域。所述方法進一步包括響應於檢測到第一模糊區域而產生用戶通知信號，及產生所述第一模糊區域的待由顯示裝置顯示的放大圖像。在另一特定實施例中，一種計算機可讀有形媒體包括使計算機檢測一圖像的模糊區域的計算機代碼。所述計算機代碼進一步使所述計算機提供所述檢測到的模糊區域的通知，且使所述計算機起始所述檢測到的模糊區域的放大圖像的顯示。
在另一特定實施例中，一種設備包括用於檢測數位化圖像的模糊區域的裝置。所述設備進一步包括響應所述檢測裝置的用於產生所述檢測到的模糊區域的通知的裝置。所述設備還包括用於起始所述檢測到的模糊區域的放大圖像的顯示的裝置。因此，由所揭示的實施例提供的一個特定優勢為呈現檢測到的模糊區域的用戶可更清楚地查看的放大視圖。在審閱整個申請案之後，本發明的其它方面、優點及特徵將變得顯而易見，整個申請案包括以下章節
具體實施方式
及權利要求書。
圖1為圖像俘獲及處理系統的實施例的框圖；圖2為檢測模糊區域的相機的實施例的框圖；圖3為硬邊緣及軟邊緣的實施例及線段斜率的說明，線段斜率用以將邊緣特徵化為硬邊緣或軟邊緣；圖4為俘獲圖像及確定所述圖像是否含有模糊區域的方法的實施例的流程圖；圖5為一圖形用戶接口的實施例的圖，所述圖形用戶接口用以顯示模糊臉部及清晰臉部以用於比較；圖6為用以顯示圖像的模糊區域的圖形用戶接口的實施例的圖；圖7為用以顯示圖像的模糊區域的圖形用戶接口的實施例的圖；圖8為用於評估圖像中的模糊區域的實施例的流程圖；圖9為一圖形用戶接口的實施例的圖，所述圖形用戶接口允許用戶通過指定閾值來調節相機；及圖10為一無線通信裝置的實施例的框圖，所述無線通信裝置具有模糊檢測器及用以顯示經檢測的模糊區域的放大圖像的顯示器。
具體實施例方式圖1為圖像俘獲及處理系統的實施例的框圖，所述圖像俘獲及處理系統包括圖像處理系統130，其具有所關注區域定位器118及模糊檢測器122。系統100包括耦合到圖像處理系統130的圖像俘獲裝置101。圖像處理系統130耦合到圖像存儲裝置140。圖像處理系統130經配置以接收來自圖像俘獲裝置101的圖像數據109，且通過對所述圖像數據109 執行操作來處理所接收的圖像數據109，所述操作包括檢測圖像的一區域及確定所述區域是否模糊。大體來說，系統100可實施於電子裝置中，所述電子裝置經配置以使用相對有限的處理資源來執行實時圖像處理。在特定實施例中，圖像俘獲裝置101為相機(例如，視頻相機或靜態相機)。在其它實施例中，圖像俘獲裝置101可為體現於蜂窩式電話、個人數字助理(PDA)或其它可攜式電子裝置中的相機。圖像俘獲裝置101包括透鏡102，其響應於聚焦模塊104及曝光模塊 106。傳感器108經由透鏡102接收光，且響應於經由透鏡102所接收的圖像而產生圖像數據109。聚焦模塊104可響應於傳感器108，且可適於自動地控制透鏡102的聚焦。曝光模塊106還可響應於傳感器108，且可適於自動地控制所述圖像的曝光。在特定實施例中，傳感器108包括多個檢測器或像素阱(pixel well)，其經布置以使得鄰近檢測器檢測不同顏色的光。舉例來說，可過濾所接收的光，使得每一檢測器接收紅色、綠色或藍色的傳入光。圖像俘獲裝置101將圖像數據109提供到圖像處理系統130。圖像處理系統130 包括解馬賽克模塊110，其用以對從圖像俘獲裝置101所接收的圖像數據109執行解馬賽克操作。色彩校正模塊112經配置以對經解馬賽克的圖像數據執行色彩校正。伽瑪(gamma) 模塊114經配置以從接收自色彩校正模塊112的數據產生經伽瑪校正的圖像數據。色彩轉換模塊116經耦合以對經伽瑪校正的圖像數據執行色彩空間轉換，且將所得圖像數據提供到所關注區域定位器118。壓縮及存儲模塊120經耦合以接收模糊檢測器122的輸出，且將經壓縮的輸出數據存儲於圖像存儲裝置140處。圖像存儲裝置140可包括任何類型的存儲媒體，例如，一個或一個以上顯示緩衝器、寄存器、高速緩衝存儲器、快閃記憶體元件、硬碟、 任何其它存儲裝置或其任何組合。所關注區域定位器118經配置以執行用於檢測照片中的所關注區域的算法。更特定來說，在特定實施例中，所關注區域定位器118定位的區域可為由臉部檢測器119檢測的臉部。在特定實施例中，所關注區域定位器118還包括子區域隔離器121。子區域隔離器121可在由所關注區域定位器118發現的所關注區域內提供一個或一個以上子區域的隔離。舉例來說，所關注區域定位器118可首先定位一臉部。接著，子區域隔離器121可隔離關於臉部的眼睛的區域作為所關注子區域。因此，在一些實施例中，所關注區域定位器118 定位臉部，且在一些實施例中，所關注區域定位器118定位臉部的一特定部分(例如，眼睛或嘴巴)。模糊檢測器122操作以檢測圖像數據中的模糊區域。模糊檢測器122檢測由所關注區域定位器118所定位的區域中的任一者是否模糊。模糊檢測器122可將所述經定位的區域分成多個子區域且確定每一子區域是否模糊。在另一實施例中，模糊檢測器122不將區域分成多個子區域。實情為，可整體地分析所述區域。如果檢測到圖像的模糊區域，則模糊區域裁剪器1 裁剪所述模糊區域，使得所述模糊區域可由顯示器及用戶通知器126以 「特寫」顯示。也就是說，可用顯示區域的實質上較大的區域可由經裁剪的模糊區域佔據。 顯示模糊區域的特寫使用戶能夠比在整個場景佔據顯示器的視景的情況下更清楚地觀察到所述模糊區域。因此，可顯示模糊區域的放大圖像。在一些實施例中，模糊檢測器122包括用以停用對模糊區域的檢測的停用機構123。停用模糊檢測器122可節省由圖像處理系統130所消耗的電力。顯示器及用戶通知器1 可經配置以通知相機的用戶檢測到模糊區域。通知可包括(例如)聲音、光、振動，或已檢測到模糊區域的陳述。將圖像傳遞到響應於用戶選擇器 128的壓縮及存儲單元120。用戶選擇器1 經配置以從用戶接收輸入，所述輸入指示用戶希望保留還是捨棄所述圖像。在一些實施例中，用戶選擇器1 還可允許用戶調整用於模糊區域檢測的閾值。如果用戶選擇保留圖像，則將一信號發送到壓縮及存儲單元120，以使所述壓縮及存儲單元120壓縮所述圖像且將所述圖像存儲於圖像存儲裝置140處。因此，在特定實施例中，圖像處理系統130執行用以檢測所關注區域(例如，臉部) 的算法。圖像處理系統130進一步執行用以檢測在經檢測的所關注區域當中的模糊區域的算法。舉例來說，圖像的觀察者可能尤其不滿意焦點未對準的臉部。更特定來說，眼睛是否焦點對準可影響查看體驗的質量。分析經定位的區域以確定其是否模糊。如果所述經定位的區域為模糊的，則通過圖像處理系統130裁剪所述區域且將其呈現到顯示器。顯示模糊區域，以佔據顯示器的比其原本在顯示整個場景的情況下佔據的區域大得多的區域。圖2為檢測模糊區域的相機200的實施例的框圖。相機200包括光圈201、透鏡 202、圖像俘獲組件204，及存儲裝置206。圖像俘獲組件204可包括電荷耦合裝置。相機 200進一步包括模糊檢測器208、模糊區域指示器220及模糊區域顯示器222。光圈201調整進入相機200的光的量。圖像俘獲組件204響應於傳遞穿過透鏡202的圖像，以將所述圖像轉換成待存儲於存儲裝置206處的電子信號。在特定實施例中，所關注區域定位器210為模糊檢測器208的組件。所關注區域定位器210經配置以在由相機200所俘獲的圖像中定位一個或一個以上所關注區域。所關注區域定位器210可實施此項技術中已知或待開發的多個檢測算法中的一者，以便定位所關注區域。在一些實施例中，所關注區域可為臉部。因此，在一些實施例中，給予用戶檢測圖像中的臉部的選擇。在一些實施例中，用戶可停用模糊檢測器208。如果用戶選擇檢測臉部，則圖2中未展示的子區域隔離器可用以定位(例如)眼睛、嘴巴或鼻子。在一些圖像俘獲裝置中，在圖像預覽模式下通過一算法來執行臉部檢測，所述算法以低解析度快速地操作以便不會延遲照片的拍攝。在一些實施例中，通過使用花費略微較長時間完成但得到較精確結果的算法來增強此預覽模式臉部檢測。因此，預覽模式臉部檢測器可操作以定位照片中的臉部。接著，後預覽模式臉部檢測器對圖像進行操作，所述圖像中臉部通過預覽模式臉部檢測器以較低解析度定位。另外，當人的頭部傾斜時，預覽模式可能不能夠檢測其臉部。預覽模式臉部檢測器可操作持續約33毫秒的持續時間，而較長時間、較精確算法可花費約2秒來完成。因此，預覽模式臉部檢測器可能未強健到足以檢測圖像中的所有臉部。在一些實施例中，緊接在拍攝高解析度照片之後且在編碼所述照片之前， 較精確的臉部檢測器在具有改善能力的情況下運行，以檢測圖像中的所有臉部而不管姿勢如何，且評估臉部的清晰度。舉例來說，即使處於預覽模式下的臉部檢測器在給定嚴格實時約束的情況下能夠檢測所有臉部，但歸因於在俘獲照片時對象或攝影師的手運動，預覽模式下的臉部檢測仍未必意味著快照中所俘獲的臉部將實際上為焦點對準的。因此，在攝影師離開場景之前分析最終快照可為有利的。因此，模糊檢測器208包括邊緣檢測器及分類器212。在一個實施例中，邊緣檢測器計算區域中的每一像素的四個一階導數，以實現對經檢測的區域中的邊緣的檢測。邊緣檢測器及分類器212能夠確定應將給定像素分類為軟邊緣、硬邊緣的部分，還是不將其分類為邊緣的部分。大體來說，硬邊緣指示焦點對準的特徵，且軟邊緣指示焦點未對準或歸因於(例如)以下各項而以其它方式為模糊的特徵相機用戶的手在拍攝照片時的運動、相機聚焦於背景元素而非所關注的主要對象，或對象在圖像俘獲期間移動。注意，雖然一些實施例可尤其適於檢測模糊臉部，但一些實施例可尤其適於檢測其它所關注對象(例如，樹木或水下應用中的魚)的模糊。另外，除臉部特徵外，一些實施例還可適於評估子區域，例如，植物上的葉子或魚身上的鱗片。模糊區域檢測器208進一步包括邊緣計數器213。邊緣計數器213中的一個計數器對經檢測的臉部區域中由邊緣檢測器及分類器212所檢測到的軟邊緣的數目進行計數， 且邊緣計數器213中的另一計數器對所述區域中由邊緣檢測器及分類器212所檢測到的硬邊緣的數目進行計數。模糊檢測器208的比率計算器214經配置以計算在由所關注區域定位器210檢測到的臉部區域中檢測到的軟邊緣的數目對硬邊緣的數目的比率。閾值比較器216經配置以將比率計算器214計算得到的比率與一閾值進行比較。在一些實施例中，所述閾值為13。在一些實施例中，用戶設定所述閾值。如果所述比率大於所述閾值，則認為所述區域為模糊的；否則，認為所述區域為清晰的。在一些實施例中，不將一區域分成多個子區域。實情為，對區域中的硬邊緣及軟邊緣的數目進行計數，且將軟邊緣的數目對硬邊緣的數目的比率與閾值進行比較以確定所述區域是否模糊。在其它實施例中，將所關注區域(例如，臉部)分成眼睛子區域及嘴巴子區域。將眼睛子區域的所有軟邊緣與嘴巴子區域的所有軟邊緣相加，且將眼睛子區域的所有硬邊緣與嘴巴子區域的所有硬邊緣相加。可能不評估臉部的剩餘子區域。如果軟邊緣的總數超過硬邊緣的總數達一閾值，則將臉部視為模糊的且以放大大小來顯示。模糊區域指示器220經配置以通知相機200的用戶是否檢測到模糊區域。此通知可為在檢測到模糊區域後從相機200發出的光或聲音。除了通知用戶所述檢測到的模糊區域外，模糊區域顯示器222可顯示檢測到的模糊區域的放大視圖(例如，特寫視圖)。也就是說，可裁剪模糊區域並將其放大以佔據顯示器的較大區域，使得以較大解析度顯示所述模糊區域。因此，在特定實施例中，一設備檢測並指示圖像中的模糊區域。所述設備包括用以檢測圖像的模糊區域的模糊檢測器。在一些實施例中，模糊區域為正被拍攝照片的人的臉部。模糊檢測器進一步包括用以檢測所述區域中的邊緣的邊緣檢測器。在一些實施例中， 邊緣檢測器可計算信號在各種點處的一階導數以檢測邊緣。將檢測到的邊緣分類為軟邊緣或硬邊緣。模糊檢測器包括用以識別所述區域中的軟邊緣的第一數目及硬邊緣的第二數目的邏輯。模糊檢測器可進一步包括比較器，其用以將軟邊緣的第一數目對硬邊緣的第二數目的比率與閾值進行比較，以確定所述比率是否高於所述閾值。在一些實施例中，由所述設備的用戶指定所述閾值。又，模糊檢測器可對區域中的模糊子區域及非模糊子區域的數目進行計數，且在模糊子區域的數目超過非模糊子區域的數目的情況下將所述區域分類為模糊的。在一些實施例中，不將一區域分解為多個子區域，而實情為，針對所述區域整體地確定軟邊緣及硬邊緣的數目，且將軟邊緣對硬邊緣的比率與閾值進行比較。在一些實施例中，評估一區域的少於所有的子區域是否存在模糊，且在一子區域或僅一些子區域模糊的情況下認為一區域為模糊的。響應檢測模糊區域的模糊檢測器的指示器響應於檢測到的模糊區域而在所述設備處產生用戶通知。在一些實施例中，用戶可能能夠停用模糊檢測器，藉此在不需要模糊檢測器時節省電力。圖3為硬邊緣及軟邊緣的實施例及線段斜率的說明，線段斜率用以將邊緣特徵化為硬邊緣或軟邊緣。圖3展示軟邊緣302及硬邊緣308的特定實施例。圖像處理系統 130 (例如，圖1的圖像處理系統130)檢測軟邊緣302的點A、B及C。在一些實施例中，可通過使用五個點邊緣檢測器來進行此檢測。用於邊緣檢測的核矩陣的一個特定實例為
權利要求
1.一種設備，其包含區域定位器，用以在由數字圖像俘獲裝置所俘獲的圖像中定位一個或一個以上所關注區域；模糊檢測器，用以檢測一個或一個以上經定位的區域何時模糊；響應所述模糊檢測器的指示器，用以產生指示檢測到的模糊區域的信號；及顯示接口，用以將所述一個或一個以上檢測到的模糊區域的放大圖像提供到顯示裝置。
2.根據權利要求1所述的設備，其中所述模糊檢測器進一步包含邊緣檢測器，用以檢測所關注區域中的邊緣。
3.根據權利要求2所述的設備，其中所述檢測到的邊緣被分類為軟邊緣及硬邊緣中的「"者 ο
4.根據權利要求3所述的設備，其中所述模糊檢測器包含比較器，用以將檢測到的軟邊緣的第一數目對檢測到的硬邊緣的第二數目的比率與閾值進行比較。
5.根據權利要求4所述的設備，其中所述閾值可由所述設備的用戶調整。
6.根據權利要求2所述的設備，其中所述邊緣檢測器包括用以計算所述所關注區域中的每一像素的四個一階導數的邏輯。
7.根據權利要求2所述的設備，其中所述模糊檢測器包括用以識別所述區域的子區域中的軟邊緣的第一數目及硬邊緣的第二數目的邏輯。
8.根據權利要求1所述的設備，其中多個模糊區域中的至少一者是在非模糊區域旁邊顯示以用於比較。
9.根據權利要求1所述的設備，其中所述模糊檢測器經配置以 確定所有經定位的區域何時模糊；響應於確定所有經定位的區域是模糊的，確定所述經定位的區域外部的區域是否模糊；且響應於確定所述經定位的區域外部的區域是模糊的，提供使用手抖動減少算法來拍攝另一照片以減少歸因於手抖動的模糊的選項。
10.根據權利要求1所述的設備，其中所述圖像是由所述設備的組件俘獲。
11.根據權利要求1所述的設備，進一步包含停用機構，用以停用對模糊區域的檢測。
12.根據權利要求1所述的設備，進一步包含用以俘獲所述圖像的相機。
13.一種方法，其包含在經俘獲的圖像中定位一個或一個以上所關注區域； 檢測所述經定位的所關注區域當中的一個或一個以上模糊區域； 響應於檢測到第一模糊區域而產生用戶通知信號；及產生所述第一模糊區域的待由顯示裝置顯示的放大圖像。
14.根據權利要求13所述的方法，其中檢測所述一個或一個以上模糊區域進一步包含確定第一值及確定第二值，所述第一值對應於所述經俘獲的圖像的一區域中的軟邊緣的數目，所述第二值對應於所述區域中的硬邊緣的數目；及將所述第一值對所述第二值的比率與閾值進行比較。
15.根據權利要求13所述的方法，進一步包含計算所述所關注區域中的每一像素的四個一階導數，及使用所述四個一階導數確定所述第一值及所述第二值。
16.根據權利要求13所述的方法，進一步包含 將經定位的區域分成多個子區域；確定所述多個子區域當中的特定子區域中的軟邊緣的數目；及確定所述特定子區域中的硬邊緣的數目。
17.根據權利要求13所述的方法，進一步包含同時顯示至少一個模糊區域的放大視圖及至少一個非模糊區域的放大視圖。
18.根據權利要求13所述的方法，進一步包含同時顯示所述圖像的多個模糊區域的放大視圖。
19.根據權利要求13所述的方法，進一步包含響應於檢測到所有所關注區域為模糊的，對所述經俘獲的圖像的不處於所述經定位的所關注區域內的至少一部分執行邊緣檢測。
20.根據權利要求19所述的方法，進一步包含響應於確定所述經俘獲的圖像的不處於所述經定位的所關注區域內的所述部分是模糊的，向用戶提供使用手抖動減少算法的選項。
21.根據權利要求19所述的方法，進一步包含響應於確定所述經俘獲的圖像的不處於所述經定位的所關注區域內的所述部分是不模糊的，產生提議用戶更好地對準的接口。
22.—種計算機可讀有形媒體，其存儲包含以下各者的計算機可執行代碼 用於使計算機檢測圖像的模糊區域的代碼；用於使所述計算機提供所述檢測到的模糊區域的通知的代碼；及用於使所述計算機起始所述檢測到的模糊區域的放大圖像的顯示的代碼。
23.根據權利要求22所述的計算機可讀媒體，其中所述用於使所述計算機檢測所述圖像的所述模糊區域的代碼包含用於使所述計算機確定第一值及確定第二值的代碼，所述第一值對應於所述圖像的一區域中的軟邊緣的數目，所述第二值對應於所述區域中的硬邊緣的數目；及用於使所述計算機確定所述第一值對所述第二值的比率何時超過閾值的代碼。
24.一種設備，其包含用於檢測數位化圖像的模糊區域的裝置；響應所述檢測裝置的用於產生所述檢測到的模糊區域的通知的裝置；及用於起始所述檢測到的模糊區域的放大圖像的顯示的裝置。
25.根據權利要求M所述的設備，進一步包含用於存儲所述數位化圖像的裝置。
26.根據權利要求M所述的設備，其中所述用於檢測所述數位化圖像的所述模糊區域的裝置包含用於檢測所述數位化圖像的臉部區域的裝置。
27.一種設備，其包含用以在由數字圖像俘獲裝置所俘獲的圖像中定位一個或一個以上所關注區域的裝置；用以檢測一個或一個以上經定位的區域何時模糊的裝置； 用以產生指示檢測到的模糊區域的信號的裝置；及用以將所述一個或一個以上檢測到的模糊區域的放大圖像提供到顯示裝置的裝置。
全文摘要
本發明揭示一種用以響應對圖像中模糊的所關注區域的檢測的系統及方法。一個實施例包括區域定位器，用以在由數字圖像俘獲裝置所俘獲的圖像中定位一個或一個以上所關注區域。所述實施例還包括模糊區域檢測器，用於檢測所關注區域是否模糊。模糊區域指示器向用戶指示何時已檢測到模糊區域。當檢測到模糊區域時，顯示接口提供所述檢測到的模糊區域的放大圖像。一些實施例提供關於如何在具有改善結果的情況下再次俘獲場景的建議。
文檔編號H04N5/232GK102349292SQ201080011856
公開日2012年2月8日 申請日期2010年3月12日 優先權日2009年3月12日
發明者巴巴克·福魯坦保爾 申請人:高通股份有限公司