圖像處理設備、攝像設備和圖像處理方法
2023-07-15 09:09:01 2
專利名稱：圖像處理設備、攝像設備和圖像處理方法
技術領域：
本發明涉及圖像處理設備和圖像處理方法，尤其涉及用於獲取來自多個視點的所拍攝圖像的技術。
背景技術：
已經提出了用於獲取來自多個視點的所拍攝圖像的攝像設備(例如，AaronIsaksen et al. 「Dynamically Reparameterized Light Fields，，，Proc. ACM. SIGGRAPH,pp. 297-306, 2000) 0該攝像設備包括多個攝像單元。各攝像單元拍攝圖像，從而獲取來自多個視點的所拍攝圖像。在攝像之後，合成所拍攝圖像以生成包含與離被攝體上的基準視點的距離相對應的模糊的圖像(以下稱為模糊圖像)、具有高空間頻率的圖像或具有寬動態範圍的圖像等。特別地，模糊圖像生成具有通過模糊背景而使主被攝體突出的效果並用於拍攝人的照片。以下將這種拍攝來自多個視點的圖像的攝像設備稱為多眼照相機。 多眼照相機包括與攝像單元的數量一樣多的鏡頭。為此，用戶很可能利用被他/她的手指覆蓋的鏡頭進行拍攝。以下將利用用戶的手指覆蓋鏡頭稱為「手指覆蓋」。如果通過多眼照相機所獲得的所拍攝圖像組包括具有手指覆蓋等的缺陷的圖像，則圖像合成可能失敗，或者精度可能降低。為了防止這個問題，提出了用於通過突出顯示來向用戶通知檢測到多眼照相機上的手指覆蓋的技術(例如，日本特開2010-114760)。然而，用戶可能忽略通知並在不移除手指的情況下進行拍攝。
發明內容
做出本發明以解決上述問題，本發明提供以下技術在用於獲取來自多個視點的所拍攝圖像的攝像設備中，即使所拍攝圖像組包括具有缺陷的圖像，也生成維持模糊的對稱性的模糊圖像。根據本發明的一個方面，一種圖像處理設備，包括獲取單元，用於獲取通過用於從不同視點拍攝被攝體的多個攝像單元所拍攝的多個所拍攝圖像；指定單元，用於從所述多個所拍攝圖像中指定缺陷圖像；確定單元，用於基於拍攝到所述指定單元所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權重；以及合成單元，用於通過基於所述確定單元所確定的權重對所述多個所拍攝圖像進行加權和合成來生成合成圖像。根據本發明的另一方面，一種攝像設備，包括上述的圖像處理設備；以及多個攝像單元，用於從不同視點拍攝被攝體。根據本發明的又一方面，一種圖像處理方法，包括以下步驟獲取通過用於從不同視點拍攝被攝體的多個攝像單元所拍攝的多個所拍攝圖像；指定步驟，用於從所述多個所拍攝圖像中指定缺陷圖像；確定步驟，用於基於拍攝到所述指定步驟中所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權重；以及通過基於所述確定步驟中所確定的權重對所述多個所拍攝圖像進行加權和合成來生成合成圖像。
根據本發明，提供以下技術在用於獲取來自多個視點的所拍攝圖像的攝像設備中，即使所拍攝圖像組包括具有缺陷的圖像，也生成維持模糊的對稱性的模糊圖像。通過以下(參考附圖)對典型實施例的說明，本發明的其它特徵將變得明顯。
圖I是示出根據本發明實施例的攝像設備(多眼照相機)的外觀的圖；圖2是示出多眼照相機的配置的框圖；圖3是示出多眼照相機的各攝像單元的配置的框圖；圖4是示出數位訊號處理單元的處理的框
圖5是示出圖像合成單元的配置的框圖；圖6是示意性示出手指覆蓋的例子的圖；圖7是示出模糊圖像生成單元的配置的框圖；圖8是示出圖像合成處理的流程圖；圖9是不意性不出基準視點和所拍攝圖像的視點之間的距尚關係的圖；圖10是示出權重設置處理的流程圖；圖11是示意性示出穿過基準視點的對稱軸和攝像單元的圖；圖12是示意性示出被攝體和各攝像單元的傳感器之間的位置關係的圖；圖13是示出所拍攝圖像重疊處理的流程圖；圖14是示出根據第二實施例的圖像合成單元的配置的框圖；圖15是示出根據第二實施例的圖像合成處理的流程圖；圖16A和16B是示意性示出根據第二實施例的重要攝像單元組的例子的圖；圖17A和17B是示意性示出根據第二實施例的重要攝像單元組和基準視點的圖；圖18是示出根據第三實施例的權重調整資料庫的例子的圖；圖19是示意性示出根據第三實施例的權重調整攝像單元的圖；以及圖20是示意性示出根據第四實施例的攝像單元和對稱軸的圖。
具體實施例方式現在將參考附圖詳細說明本發明的實施例。注意，以下實施例不對權利要求的範圍所確定的本發明造成限定，並且實施例中說明的特徵的所有組合對於本發明的解決方式來說不是必須的。第一實施例根據本實施例，當通過合成來自不同視點的多個所拍攝圖像來生成從預定基準視點所拍攝的模糊圖像時，針對多個所拍攝圖像中的缺陷圖像和位於與缺陷圖像對稱的位置處的所拍攝圖像設置較小的權重，然後合成圖像。這使得可以生成維持模糊的對稱性的模糊圖像。設備配置圖I示出根據本實施例的攝像設備的外觀。本實施例的攝像設備是所謂的多眼照相機，其包括在單個平面上以正方形矩陣配置的25個攝像單元(照相機)以從不同視點拍攝圖像。附圖標記101 125表示攝像單元；附圖標記126表示拍攝按鈕；附圖標記127表示電子閃光燈；以及附圖標記128表示照相機主體。注意，多眼照相機中包括的照相機的數量不限於該示例(25個)，並且本發明可以應用至包括3個以上的任意數量的攝像單元的多眼照相機。圖2是示出根據本實施例的多眼照相機的內部配置的框圖。圖I所示的各攝像單元101 125利用傳感器接收被攝體的光學信息，對信號進行A/D轉換以獲取所拍攝圖像的數字數據(所拍攝圖像數據)，並將數字數據輸出至用作數據傳送路徑的總線215。圖3示出將要說明的各攝像單元101 125的詳細配置。各攝像單元101 125包括用於檢測被攝體的光量的攝像系統和用於將檢測結果轉換成信號值的轉換系統。攝像系統包括變焦透鏡301、調焦透鏡302、模糊校正透鏡303、光圈304、快門305、光學低通濾波器306、紅外截止濾波器307、顏色濾波器308和諸如CMO S或C⑶等的傳感器309。轉換系統包括用於將攝像系統所檢測到的被攝體光量轉換成數字數據並將數字數據輸出至總線215的A/D轉換單元310。
再參考圖2，數位訊號處理單元209接收經由總線215輸入的所拍攝圖像的數字數據，並進行各種圖像處理。圖4示出數位訊號處理單元209的詳細配置。如圖4所示，數位訊號處理單元209包括噪聲降低處理單元401、白平衡控制單元402、顏色轉換單元403和伽瑪處理單元404。針對所輸入的數字數據，噪聲降低處理單元401進行噪聲降低處理，白平衡控制單元402進行白平衡處理，顏色轉換單元403進行顏色校正處理，並且伽瑪處理單元404進行伽瑪處理，從而生成數字圖像信號。壓縮/解壓縮單元210將數字圖像信號轉換成諸如jpeg或mpeg等的壓縮文件格式。外部存儲器控制單元211是將多眼照相機連接至PC或其它介質212 (例如，硬碟、存儲卡、CF卡、SD卡或USB存儲器)的接口。CPU203通過順次進行讀出R0M201或RAM202中存儲的指示、解釋它們並根據結果執行處理來進行多眼照相機的攝像控制和組件的所有處理。R0M201和RAM202將處理所需的程序、數據和工作區域等提供至CPU203。攝像系統控制單元204基於CPU203的指示來控制攝像系統以例如進行調焦、打開快門並調節光圈。電子閃光燈214利用光照射被攝體。操作單元205對應於輸入用戶指示所利用的按鈕和模式撥盤等。CG生成單元206生成文字和圖形等。液晶顯示器被廣泛地用作顯示單元208，顯示單元208用於顯示從CG生成單元206、數位訊號處理單元209或後述的圖像合成單元213接收到的文字和所拍攝圖像。顯示單元208可以具有觸控螢幕功能。在該情況下，可以作為操作單元205的輸入來處理從顯示單元208輸入的用戶指示。圖像合成單元213使用從攝像單元101 125獲得的數字圖像或從數位訊號處理單元209輸出的數字圖像組來生成新的圖像(模糊圖像)，並將結果(合成圖像數據)輸出至總線215。圖像合成單元213是本實施例的特徵組件，並將在後面詳細說明其處理。注意，根據本實施例的多眼照相機還包括除上述以外的構成元件。然而，這些構成元件不是本發明的主旨，並且將省略其說明。圖像合成處理以下將參考圖5說明圖像合成單元213的詳細配置。圖像合成單元213根據從攝像單元101 125輸入的具有針對被攝體的不同視點的所拍攝圖像組生成模糊圖像，並輸出模糊圖像。首先，缺陷指定單元501從攝像單元101 125獲取的所拍攝圖像組中指定由於手指覆蓋等而導致被攝體圖像的本應該拍攝的至少一部分丟失的圖像，作為要從要合成的圖像中排除的缺陷圖像(缺陷圖像數據)。圖6是手指覆蓋的示意圖。可以使用例如將多個攝像單元所獲得的所拍攝圖像進行比較的已知的方法來進行缺陷指定單元501中缺陷圖像的指定。例如，當所拍攝圖像包括相對於其它所拍攝圖像的極暗部分時，將所拍攝圖像指定為發生手指覆蓋的圖像。當所拍攝圖像相對於其它所拍攝圖像在極端靠近攝像單元的距離處具有高的AF(自動調焦)評價值時，將所拍攝圖像指定為發生手指覆蓋的圖像。注意，缺陷像素不需要總是具有手指覆蓋的圖像，並且可以將在存在鏡頭汙染或裂紋等的異常攝像條件下所拍攝的任意圖像指定為缺陷圖像。另外，可以在實際拍攝之前進行預拍攝，以從預拍攝圖像組指定缺陷圖像。基於缺陷指定單元501所指定的缺陷圖像的視點，權重設置單元502針對攝像單元101 125所獲取的所拍攝圖像中的各所拍攝圖像設置權重。後面將詳細說明權重設置 處理。模糊圖像生成單元503在預定基準視點處合成攝像單元101 125所獲取的所拍攝圖像組，從而生成從基準視點所拍攝的模糊圖像。基準視點是拍攝模糊圖像的虛擬視點。在本實施例中，將所拍攝圖像的視點的重心定義為基準視點。例如，在圖I所示的多眼照相機的例子中，與位於所有攝像單元101 125的中心的攝像單元113的視點相同的位置是基準視點。這裡將參考圖8的流程圖說明圖像合成單元213的圖像合成處理。在步驟S801中，缺陷指定單元501從攝像單元101 125所獲取的所拍攝圖像組中指定缺陷圖像。在步驟S802中，權重設置單元502設置各所拍攝圖像的權重。在步驟S803中，模糊圖像生成單元503計算從各所拍攝圖像的視點至基準視點的偏移量。在步驟S804中，對所拍攝圖像進行加權和重疊。由此生成模糊圖像。權重設置處理(S802)以下將詳細說明權重設置單元502的權重設置處理。該處理與圖8的步驟S802中的權重設置處理相對應。權重設置單元502設置要用於後述的所拍攝圖像重疊處理中所拍攝圖像的加權和重疊的權重。例如，當計算與基準視點和各所拍攝圖像的視點之間的距離相對應的權重wi，並在所拍攝圖像重疊處理時使用權重Wi時，所生成的模糊圖像中的模糊變成關於基準視點點對稱。權重Wi由以下給出wi = k w』 i…(I)w，i = exp(-(A/(lx2 +Iy2) )/C)...(2)其中，i是識別各所拍攝圖像的識別符，k是後述的標準化係數，W，i是標準化之前的權重，以及C是任意常數。另外，如圖9所示，Ix和Iy是基準視點和各所拍攝圖像的視點之間的、水平方向(圖I中配置攝像單元101 105的方向)和與水平方向垂直的垂直方向上的距離。從等式(I)中顯然可知，基準視點和所拍攝圖像的視點之間的距離越長，權重越小。如果所拍攝圖像包括缺陷，並且缺陷圖像用於生成模糊圖像，則模糊圖像將具有差的質量或失敗。在本實施例中，將由缺陷指定單元501判斷為缺陷圖像的所拍攝圖像的權重wi設置為0，以不在模糊圖像生成上反映該所拍攝圖像，即不針對模糊圖像生成使用該所拍攝圖像。然而，當缺陷圖像的權重wi是0時，權重wi關於基準視點的對稱性破壞，並且模糊的對稱性也破壞。在本實施例中,調節除缺陷圖像的權重以外的權重wi以維持所拍攝圖像的權重wi關於基準視點的對稱性。圖10是示出權重設置單元502的權重設置處理的流程圖。在步驟S1001中，將通過位於關於基準視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所獲取的所拍攝圖像選擇為作為權重調整的對象的權重調整圖像。這裡將參考圖11說明權重調整圖像選擇方法。圖11示意性示出攝像單元101 125和穿過攝像單元113的基準視點的4個對稱軸1101 1104。例如，假定將攝像單元120所獲取的所拍攝圖像指定為缺陷圖像。在該情況下，針對缺陷圖像，將以下總共7個攝像單 元所獲取的所拍攝圖像選擇為權重調整圖像。首先，選擇在關於對稱軸1101、1102、1103和1104與攝像單元120線對稱的位置處的攝像單元110、116、124和102。另外，選擇在關於對稱軸1104與攝像單元110線對稱的位置處的攝像單元104、在關於對稱軸1104與攝像單元116線對稱的位置處的攝像單元122、和在關於對稱軸1103與攝像單元102線對稱的位置處的攝像單元106。通過7個由此選擇的攝像單元102、110、116、124、104、106和122所獲取的所拍攝圖像是權重調整圖像。如上所述，在本實施例中，首先指定在關於穿過基準視點的多個線1101、1102、1103和1104與第一攝像單元120對稱的位置處的第二攝像單元110、116、124和102。另夕卜，指定在關於線1101、1102、1103和1104與第二攝像單元110、116、124和102對稱的位置處的第三攝像單元104、122和106。將通過第二攝像單元102、110、116、124和第三攝像單元104、106、122所拍攝的圖像選擇為權重調整圖像。以這種方式，在基準視點周圍配置缺陷圖像和權重調整圖像的攝像單兀以關於基準視點相互點對稱。注意，實際上，需要將穿過基準視點的所有線考慮作為對稱軸。即，需要將在關於穿過基準視點的任意線與攝像單元120對稱的位置處的所有攝像單元選擇為權重調整圖像的攝像單元。然而，在圖11所示的多眼照相機的例子中，由於僅在關於4個對稱軸1101 1104線對稱的位置處存在攝像單元，因而僅示出4個對稱軸1101 1104。注意，為了維持根據本實施例的合成之後的模糊的對稱性，將在關於基準視點與拍攝到缺陷圖像的攝像單元點對稱的位置處的攝像單元所拍攝的圖像選擇為權重調整圖像。當然，如圖11所示，通過在基準視點周圍的對稱位置處散布多個攝像單元來更精確地維持模糊的對稱性。當以上述方式選擇權重調整圖像時，在步驟S1002中對標誌i設置I以識別所拍攝圖像。在步驟S1003中，將第i個所拍攝圖像設置為關注圖像。在步驟S1004中，利用等式(2)針對關注圖像計算標準化之前的權重w』 i。在步驟S1005中，判斷關注圖像是否是權重調整圖像或缺陷圖像。如果關注圖像是權重調整圖像或缺陷圖像，則在步驟S1006中進行調整以將標準化之前的權重w』i設置為O。如果在步驟S1005中關注圖像既不是權重調整圖像也不是缺陷圖像，則不調整標準化之前的權重w』 i。由於針對缺陷圖像和權重調整圖像將w』 i設置為0，因而所拍攝圖像的權重wi的分布幾乎關於基準視點點對稱。在步驟S1007中，判斷i是否達到所拍攝圖像的數量。如果i未達到所拍攝圖像的數量，則在步驟S1008中將i增加I。重複步驟S1003 S1007的處理直到i達到所拍攝圖像的數量為止。當i達到所拍攝圖像的數量時，在步驟S1009中標準化所拍攝圖像的權重w』 i。通過設置等式(I)的標準化係數k以使得所拍攝圖像的權重w』 i的總和變成I. O來標準化權重w 』 i。如上所述，將在關於基準視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所拍攝的圖像選擇為權重調整圖像，並且將圖像的權重調整為0，從而維持關於基準視點的模糊的對稱性。在上述例子中，針對缺陷圖像和權重調整圖像兩者將標準化之前的權重w』 i調整為O。然而，權重調整方法不限於該例子。進行調整以使得權重w』 i比步驟S1004中利用等式(2)計算得到的值小。為了強調對稱性，缺陷圖像和權重調整圖像的權重可以相等。權重公式不限於等式(I)和(2)，並且計算與各攝像單元的位置相對應的權重就可以了。
當權重調整圖像的數量超過預定數量時，可以在顯示單元208上顯示警告以通知給用戶。警告允許用戶知道權重調整圖像的數量超過上限，即缺陷圖像的數量落在允許範圍以外。樽糊圖像牛成處理(S803、S804)以下將詳細說明模糊圖像生成單元503的模糊圖像生成處理。該處理與圖8的步驟S803中的偏移量計算處理和步驟S804中的所拍攝圖像重疊處理相對應。圖7示出模糊圖像生成單元503的詳細配置。偏移量計算單元701計算從各所拍攝圖像的視點至基準視點的偏移量。拍攝圖像重疊單元702將各所拍攝圖像偏移由偏移量計算單元701所計算得到的偏移量，以使得各所拍攝圖像的視點與基準視點一致，並基於權重設置單元502所設置的權重來重疊圖像，由此生成從基準視點所拍攝的模糊圖像。首先將參考圖12說明偏移量計算單元701的偏移量計算處理。圖12是示意性示出被攝體和各攝像單元的傳感器之間的位置關係的圖。參考圖12，傳感器平面1201是攝像單元101 125的傳感器309所位於的平面，被攝體焦平面1202是攝像單元101 125聚焦的距離處的平面，以及視點平面1203是包括攝像單元101 125的所有視點的平面。另外，f是攝像單元101 125的焦距，以及sx是水平方向(圖I中配置攝像單元101 105的方向)上傳感器309的長度。注意，傳感器309的水平像素的數量由nx表示。另外，rx是被攝體焦平面1202上的傳感器309的所有像素的攝像範圍的水平長度，ox是被攝體焦平面1202上的傳感器309的一個像素的攝像範圍的水平長度，Ix是從基準視點至所拍攝圖像的視點的水平距離，以及d是從被攝體焦平面1202至視點平面1203的距離。在本實施例的偏移量計算處理中，計算為了使得所拍攝圖像與從基準視點拍攝的圖像一致、各所拍攝圖像需要被偏移的像素數。由於從基準視點至各所拍攝圖像的視點的距離是lx，因而計算與Ix相對應的像素數作為偏移量。通過以下給出與在距離被攝體焦平面1202距離d的視點平面1203上的Ix相對應的像素數px px = lx/ox…(3)ox = rx/nx (4)rx = sx (d/f)…(5)在本實施例中，將由此計算得到的針對距離d與Ix相對應的像素數px定義為從各所拍攝圖像的視點至基準視點的偏移量。在該情況下，在距離視點平面1203距離d的被攝體焦平面1202上的被攝體實際上在所拍攝圖像中重疊。因此，當重疊所拍攝圖像時，不發生模糊。另一方面，針對距離視點平面1203除d以外的距離、即從被攝體焦平面1202偏移的位置處的被攝體，與Ix相對應的像素數改變。為此，被攝體在所拍攝圖像中不重疊，並且在重疊之後發生模糊。以上說明了水平偏移量px。通過以下類似地給出垂直偏移量py:py = ly/oy…(6)oy = ry/ny (7)ry = sy (d/f)…(8)其中，Iy是從基準視點至各所拍攝圖像的視點的垂直距離，ny是傳感器309的垂直像素數，ry是被攝體焦平面1202上傳感器309的所有像素的攝像範圍的垂直長度，oy是 被攝體焦平面1202上傳感器309的一個像素的攝像範圍的垂直長度，以及sy是傳感器309的垂直長度。接著將參考圖13的流程圖說明拍攝圖像重疊單元702的所拍攝圖像重疊處理。在步驟S1301中，將模糊圖像的所有像素的像素值初始化為O。在步驟S1302中，將標誌j設置為I以識別所拍攝圖像。在步驟S1303中，將第j個所拍攝圖像設置為關注圖像。在步驟S1304中，使用權重設置單元502所設置的權重來對關注圖像的所有像素的像素值進行加權。通過以下進行加權V，jk = wj vjk ... (9)其中，vjk是加權之前的像素值，wj是所拍攝圖像的權重，v』 jk是加權之後的像素值，以及k是表示所拍攝圖像的各像素的識別符。在步驟S1305中，在基準視點的方向上將關注圖像偏移由偏移量計算單元701所計算得到的偏移量，由此使得關注圖像的視點與基準視點一致。在步驟S1306中，在模糊圖像的像素值上重疊關注圖像的像素值。在步驟S1307中，判斷j是否達到所拍攝圖像的數量。如果j未達到所拍攝圖像的數量，則在步驟S1308中j增加I。重複步驟S1303 S1307的處理直到j達到所拍攝圖像的數量。當j達到所拍攝圖像的數量時，完成模糊圖像生成。如上所述，根據本實施例，選擇位於關於基準視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所獲取的所拍攝圖像。通過針對所拍攝圖像設置較小的權重(例如，0)來生成模糊圖像。這允許維持模糊圖像中的模糊的對稱性。在本實施例中，舉例說明了包括以正方形矩陣配置的25個攝像單元的多眼照相機。然而，本發明的多眼照相機中攝像單元的配置不限於正方形矩陣，並且可以應用任意其它矩陣配置。第二實施例以下將說明本發明的第二實施例。在上述第一實施例中，將攝像單元101 125的視點的重心定義為基準視點。針對位於關於基準視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所獲取的所拍攝圖像來設置較小的權重。在第二實施例中，將說明以下例子根據缺陷圖像的視點來確定基準視點，並且改變權重以使得所拍攝圖像的權重維持關於基準視點的對稱性。注意，根據第二實施例的攝像設備的配置與上述第一實施例的圖I和2所示的配置相同，並且將省略其說明。在第二實施例中，圖像合成單元213的處理與第一實施例不同。因此，以下將詳細說明根據第二實施例的圖像合成處理。圖像合成處理將參考圖14說明根據第二實施例的圖像合成單元213的詳細配置。根據第二實施例的圖像合成單元213包括缺陷指定單元501、重要攝像單元組設置單元1401、基準視點設置單元1402、權重設置單元1403和模糊圖像生成單元503。注意，缺陷指定單元501和模糊圖像生成單元503的處理與第一實施例中相同，並且將省略其說明。重要攝像單元組設置單元1401確定在生成模糊圖像時要參考的重要攝像單元。基準視點設置單元1402根據生成模糊圖像時要參考的重要攝像單元的位置來確定基準視點。將參考圖15的流程圖來說明根據第二實施例的圖像合成處理。在步驟S1501中，缺陷指定單元501從攝像單元101 125所獲取的所拍攝圖像組中指定缺陷圖像。在步驟S1502中，重要攝像單元組設置單元1401設置重要攝像單元組。在步驟S1503中，基準視點 設置單元1402設置基準視點。在步驟S1504中，權重設置單元1403設置各所拍攝圖像的權重。在步驟S1505中，模糊圖像生成單元503計算從各所拍攝圖像的視點至基準視點的偏移量。在步驟S1506中，對所拍攝圖像進行加權和重疊。由此生成模糊圖像。以下將參考圖16A和16B說明重要攝像單元組設置單元1401的重要攝像單元組設置處理。圖16A和16B是示意性示出攝像單元101 125的陣列的圖。重要攝像單元組設置單元1401在除了獲取到缺陷圖像的攝像單元以外的攝像單元中選擇用於以nXn正方形矩陣形成攝像單元組的多個攝像單元，其中，n是儘可能大的數字。將在此選擇出的攝像單元組確定為重要攝像單元組。例如，圖16A示出在缺陷圖像是攝像單元125所拍攝的圖像的情況下重要攝像單元組的候選1601 1603。將候選1601 1603之一確定為重要攝像單元組。圖16B示出在攝像單元119和125所拍攝的圖像是缺陷圖像的情況下重要攝像單元組的候選1604 1608。將候選之一確定為重要攝像單元組。注意，圖16A和16B分別示出n = 4和n = 3的例子。以下將參考圖17A和17B說明基準視點設置單元1402的基準視點設置處理。基準視點設置單元1402將重要攝像單元組設置單元1401所設置的重要攝像單元組的重心設置為基準視點。圖17A和17B分別與圖16A和16B相對應，並示出針對重要攝像單元組的各候選所確定的基準視點的例子。圖17A示出分別在將候選1601 1603中相對應的一個確定為重要攝像單元組時所設置的基準視點1701 1703。圖17B示出分別在將候選1604 1608中相對應的一個確定為重要攝像單元組時所設置的基準視點1704 1708。以下將詳細說明權重設置單元1403的權重設置處理。如第一實施例的權重設置單元502 —樣，權重設置單元1403根據圖10的流程圖設置所拍攝圖像的權重。然而，在第二實施例中，步驟S1001中的權重調整圖像選擇方法與第一實施例不同。在第二實施例中，將重要攝像單元組中不包括的攝像單元所獲取的所拍攝圖像中、除了缺陷圖像以外的所拍攝圖像選擇為權重調整圖像。當針對由此選擇的權重調整圖像和缺陷圖像將權重設置為0時，有效拍攝圖像的權重的分布關於基準視點設置單元1402所設置的基準視點點對稱。注意，如第一實施例中那樣，可以不將權重調整圖像和缺陷圖像的權重調整為0，而是將其調整為比步驟S1004中計算得到的值小。如上所述，根據第二實施例，根據缺陷圖像的視點位置來確定基準視點。通過改變權重以使得所拍攝圖像的權重關於基準視點維持對稱性來生成模糊圖像。這允許維持模糊圖像中模糊的對稱性。第三實施例以下將說明本發明的第三實施例。在上述第一實施例中，當合成圖像時，將較小的權重給予獲取到缺陷圖像的攝像單元所獲取的所拍攝圖像以及位於關於基準視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所獲取的所拍攝圖像。在第三實施例中，與假定獲取到缺陷圖像的各攝像單元相對應地預先將用於確定攝像單元所獲取的所拍攝圖像的權重的方法保持在資料庫中。使用資料庫來確定攝像單元所獲取的所拍攝圖像的權重。注意，根據第三實施例的攝像設備的配置與上述第一實施例的圖I和2中所示的配置相同，並且將省略其說明。根據第三實施例的處理除了由權重設置單元502執行的處理以外與第一實施例相同。以下將詳細說明根據第三實施例的權重設置處理(S802)。 權重設置處理(S802)以下將說明根據第三實施例的權重設置單元502所執行的處理。在第三實施例中，如第一實施例中那樣，計算並調整由等式(I)和(2)表示的權重wi。在第一實施例中，針對獲取到缺陷圖像的攝像單元設置較小的權重。針對關於基準視點與獲取到缺陷圖像的攝像單元對稱的位置處的攝像單元所拍攝的圖像設置較小的權重。然而，在第三實施例中，基於後述的權重調整資料庫來調整所拍攝圖像的權重。以下將參考圖18說明權重調整資料庫的例子。參考圖18，各行與要調整權重的攝像單元相對應，以及各列與獲取到缺陷圖像的攝像單元相對應。各要素與在攝像單元a獲取到缺陷圖像時要用於調整攝像單元i的權重的係數Gai相對應。當攝像單元a獲取到缺陷圖像時，權重設置單元502針對具有權重wi的攝像單元i通過以下計算調整後的權重wi 」 wi」 = Gai wi…(10)權重調整資料庫的要素Gai具有任意值。從攝像單元i至基準視點的距離和從攝像單元a至基準視點的距離之間的差越小，要素Gai的值可以越小。例如，通過以下確定權重調整資料庫的要素Gai的值
Gai = exp(-abs(^/(lxa2+Iya2) --D))...(11)其中，Ixa和Iya是基準視點和攝像單元a之間的在水平方向和與水平方向垂直的垂直方向上的距離，以及Ixi和Iyi是基準視點和攝像單元i之間的在水平方向和與水平方向垂直的垂直方向上的距離。另外，abs(b)是b的絕對值。注意，D是任意常數。除了從攝像單元i至基準視點的距離和從攝像單元a至基準視點的距離充分接近時，D可以接近於I。根據等式(11)創建權重調整資料庫，這使得可以針對以基準視點為中心的同心圓上的包括攝像單元a的攝像單元所拍攝的圖像設置較小的權重。注意，不需要基於權重調整資料庫來調整所有所拍攝圖像的權重。以下將說明使用權重調整資料庫選擇性地調整所拍攝圖像的權重的處理。圖19示意性示出攝像單元。參考圖19，攝像單元125是獲取到缺陷圖像的攝像單元。攝像單元103和111是權重調整對象的攝像單元。如圖19所示，可以通過選擇權重調整對象的攝像單元以使得重心與基準視點位置更接近來保持模糊的形式對稱。例如，可以通過利用下式選擇權重調整對象的攝像單元來保持模糊的形式對稱
權利要求
1.一種圖像處理設備，包括 獲取單元，用於獲取通過用於從不同視點拍攝被攝體的多個攝像單元所拍攝的多個所拍攝圖像； 指定單元，用於從所述多個所拍攝圖像中指定缺陷圖像； 確定單元，用於基於拍攝到所述指定單元所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權重；以及 合成單元，用於通過基於所述確定單元所確定的權重對所述多個所拍攝圖像進行加權和合成來生成合成圖像。
2.根據權利要求I所述的圖像處理設備，其特徵在於，所述指定單元通過比較所述多個所拍攝圖像來指定所述缺陷圖像。
3.根據權利要求I所述的圖像處理設備，其特徵在於，所述確定單元將針對所述缺陷圖像的權重設置為O。
4.根據權利要求I所述的圖像處理設備，其特徵在於，所述確定單元 從所述多個所拍攝圖像中選擇與所述缺陷圖像不同的至少一個所拍攝圖像作為選擇圖像，以及 將針對所述缺陷圖像和所述選擇圖像的權重確定為小於在所拍攝圖像既未被選擇為所述缺陷圖像也未被選擇為所述選擇圖像的情況下的權重。
5.根據權利要求4所述的圖像處理設備，其特徵在於，所述確定單元 將權重分配給所述多個所拍攝圖像中的各所拍攝圖像，以及 針對所述缺陷圖像和所述選擇圖像將所分配的權重調整為更小。
6.根據權利要求5所述的圖像處理設備，其特徵在於，所述確定單元將權重分配給所述多個所拍攝圖像中的各所拍攝圖像，以使得權重隨著從拍攝到所拍攝圖像的攝像單元至用作所述合成圖像的視點的基準視點的距離的增大而變小。
7.根據權利要求4所述的圖像處理設備，其特徵在於，所述選擇圖像是由位於關於用作所述合成圖像的視點的基準視點、與拍攝到所述缺陷圖像的攝像單元的位置對稱的位置處的攝像單元拍攝的圖像。
8.根據權利要求7所述的圖像處理設備，其特徵在於，所述選擇圖像是由位於關於穿過所述基準視點的對稱軸、與拍攝到所述缺陷圖像的攝像單元的位置線對稱的位置處的攝像單元拍攝的圖像。
9.根據權利要求4所述的圖像處理設備，其特徵在於，所述確定單元通過參考資料庫來確定所述選擇圖像的權重。
10.根據權利要求4所述的圖像處理設備，其特徵在於，選擇所述選擇圖像，以使得從拍攝到所述缺陷圖像或所述選擇圖像的攝像單元的重心至用作所述合成圖像的視點的基準視點的距離小於預定閾值。
11.根據權利要求4所述的圖像處理設備，其特徵在於，所述確定單元將既未拍攝到所述缺陷圖像也未拍攝到所述選擇圖像的攝像單元的重心位置設置為用作所述合成圖像的視點的基準視點。
12.根據權利要求I所述的圖像處理設備，其特徵在於，在格子點上配置所述多個攝像單元。
13.根據權利要求I所述的圖像處理設備，其特徵在於，在同心圓上配置所述多個攝像單元。
14.根據權利要求I所述的圖像處理設備，其特徵在於，還包括計算單元，所述計算單元用於計算所述多個所拍攝圖像中的各所拍攝圖像為了與通過從基準視點攝像所獲得的圖像對準所需的偏移量， 其中，所述合成單元基於所述計算單元所計算得到的偏移量來偏移所述多個所拍攝圖像中的各所拍攝圖像，並且合成偏移後的圖像。
15.一種攝像設備，包括 根據權利要求I所述的圖像處理設備；以及 多個攝像單元，用於從不同視點拍攝被攝體。
16.一種圖像處理方法，包括以下步驟 獲取通過用於從不同視點拍攝被攝體的多個攝像單元所拍攝的多個所拍攝圖像； 指定步驟，用於從所述多個所拍攝圖像中指定缺陷圖像； 確定步驟，用於基於拍攝到所述指定步驟中所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權重；以及 通過基於所述確定步驟中所確定的權重對所述多個所拍攝圖像進行加權和合成來生成合成圖像。
全文摘要
本發明涉及圖像處理設備、攝像設備和圖像處理方法。圖像處理設備包括獲取單元，用於獲取通過用於從不同視點拍攝被攝體的多個攝像單元所拍攝的所拍攝圖像；指定單元，用於從多個所拍攝圖像中指定缺陷圖像；確定單元，用於基於拍攝到指定單元所指定的缺陷圖像的攝像單元的位置來確定針對各所拍攝圖像的權重；以及合成單元，用於通過基於確定單元所確定的權重對多個所拍攝圖像進行加權和合成來生成合成圖像。
文檔編號H04N5/225GK102682440SQ20121003979
公開日2012年9月19日 申請日期2012年2月20日 優先權日2011年2月18日
發明者澤田圭一 申請人:佳能株式會社