超解析度圖像的獲取方法和獲取裝置製造方法

2023-09-19 16:51:45

超解析度圖像的獲取方法和獲取裝置製造方法
【專利摘要】本申請實施例公開了一種超解析度圖像的獲取方法和獲取裝置，其中一種超解析度圖像的獲取方法包括：確定相機陣列的任兩個相鄰相機的圖像傳感器各自的待調節區內，相應邏輯像素點的子像素級目標偏移距離，各所述待調節區為各圖像傳感器分別對應第一區的成像區域，所述第一區為所述待攝場景的至少局部；根據所述子像素級目標偏移距離調節所述相機陣列中各相機的圖像傳感器的像素點分布；基於調節後的所述各相機分別獲取待攝場景的圖像；根據獲取的各圖像獲取所述待攝場景的一超解析度圖像。本申請實施例提高了超解析度圖像中與所述第一區對應的子圖像的成像質量。
【專利說明】超解析度圖像的獲取方法和獲取裝置

【技術領域】
[0001] 本申請涉及圖像處理【技術領域】，特別是涉及一種超解析度圖像的獲取方法和獲取 裝直。

【背景技術】
[0002] 圖像解析度是評價圖像質量的重要指標之一。為了提高圖像解析度，可由多 張對同一場景拍攝得到的內容相似但空間（Spatio)和/或時間（Temporal)等信息 不完全相同的多張低解析度（Low-Resolution)圖像進行軟體處理，生成一超解析度 (Super-Resolution)圖像。超解析度圖像的應用廣泛，例如可應用但不限於：恢復不同採 集場景中損失的高頻信息，如失焦、運動模糊、非理想採樣等等，甚至可用於恢復超過光學 系統散射極限（^Diffraction Limit)的高頻空間信息。
[0003] 隨著成像技術的不斷發展，基於相機陣列獲取超解析度圖像的技術引起研究人員 的高度關注。所述相機陣列也可稱為陣列式相機或陣列相機，相對於傳統的單個相機而言， 視野更寬，通常包括多個陣列分布的相機，其中，每個相機具有獨立的光學鏡頭和圖像傳感 器。採用相機陣列對待攝場景進行圖像採集時，相機陣列中的每個相機都可以分別拍攝該 場景的一副圖像，不同相機所拍攝得到的圖像之間存在一定的視野偏移，這樣，就得到了內 容相似但具有景象視野的多幅圖像，根據這些多幅圖像可獲取一超解析度圖像，該超分辨 率的圖像的解析度均大於各相機獲取的單幅圖像的解析度，例如：對於一個NXN個相機構 成的相機陣列而言，假設每個相機的圖像傳感器的像素點為DXD個，則在理想情況下，根 據所述相機陣列各相機獲取的圖像可生成解析度為NDXND。


【發明內容】

[0004] 在下文中給出了關於本申請的簡要概述，以便提供關於本申請的某些方面的基本 理解。應當理解，這個概述並不是關於本申請的窮舉性概述。它並不是意圖確定本申請的 關鍵或重要部分，也不是意圖限定本申請的範圍。其目的僅僅是以簡化的形式給出某些概 念，以此作為稍後論述的更詳細描述的前序。
[0005] 本申請提供一種超解析度圖像的獲取方法和獲取裝置。
[0006] -方面，本申請實施例提供了一種超解析度圖像的獲取方法，包括：
[0007] 確定相機陣列的任兩個相鄰相機的圖像傳感器各自的待調節區內，相應邏輯像素 點的子像素級目標偏移距離，各所述待調節區為各圖像傳感器分別對應第一區的成像區 域，所述第一區為所述待攝場景的至少局部；
[0008] 根據所述子像素級目標偏移距離調節所述相機陣列中各相機的圖像傳感器的像 素點分布；
[0009] 基於調節後的所述各相機分別獲取待攝場景的圖像；
[0010] 根據獲取的各圖像獲取所述待攝場景的一超解析度圖像。
[0011] 另一方面，本申請實施例還提供了一種超解析度圖像的獲取裝置，包括：
[0012] 一目標偏移距離確定模塊，用於確定相機陣列的任兩個相鄰相機的圖像傳感器各 自的待調節區內，相應邏輯像素點的子像素級目標偏移距離，各所述待調節區為各圖像傳 感器分別對應第一區的成像區域，所述第一區為所述待攝場景的至少局部；
[0013] 一像素點分布調節模塊，用於根據所述子像素級目標偏移距離調節所述相機陣列 中各相機的圖像傳感器的像素點分布；
[0014] 一圖像獲取模塊，用於基於調節後的所述各相機分別獲取待攝場景的圖像；
[0015] 一超解析度圖像獲取模塊，用於根據獲取的各圖像獲取所述待攝場景的一超分辨 率圖像。
[0016] 本申請實施例提供的技術方案，可充分利用相機陣列的各圖像傳感器的整體像素 來差異化採集待攝場景稍有視野偏差的多幅圖像，具體而言，可根據任兩個相鄰相機的圖 像傳感器分別對應待攝場景的第一區的待調節區相應邏輯像素點的子像素級目標偏移距 離，對所述相機陣列中各相機的圖像傳感器的像素點分布進行調整，使得在滿足所述子像 素級目標偏移距離的條件下各圖像傳感器對應所述第一區的成像區域的像素點數量更多， 也就是說，將各圖像傳感器的像素點在滿足所述子像素級目標偏移距離的情形下將像素點 儘可能多的集中在所述第一區內，以使各圖像傳感器在滿足超解析度圖像所需的子像素級 偏移的基礎上，增加待調節區的像素點來提高圖像採集效率，從而增加各圖像傳感器獲取 的各圖像中對應所述第一區的子圖像的解析度、且相鄰相機獲取的各圖像之間存在與子像 素級目標偏移距離對應的視野偏差，進而提高了獲取的超解析度圖像中對應所述第一區的 子圖像的成像質量。
[0017] 通過以下結合附圖對本申請的可選實施例的詳細說明，本申請的這些以及其它的 優點將更加明顯。

【專利附圖】

【附圖說明】
[0018] 本申請可以通過參考下文中結合附圖所給出的描述而得到更好的理解，其中在所 有附圖中使用了相同或相似的附圖標記來表示相同或者相似的部件。所述附圖連同下面的 詳細說明一起包含在本說明書中並且形成本說明書的一部分，而且用來進一步舉例說明本 申請的可選實施例和解釋本申請的原理和優點。在附圖中：
[0019] 圖la為本申請實施例提供的一種超解析度圖像的獲取方法流程圖；
[0020] 圖lb為本申請實施例提供第一種像素密度可調的圖像傳感器的結構示意圖；
[0021] 圖1C為本申請實施例提供第二種像素密度可調的圖像傳感器的結構示意圖；
[0022] 圖Id為本申請實施例提供第三種像素密度可調的圖像傳感器的結構示意圖；
[0023] 圖le為本申請實施例提供第四種像素密度可調的圖像傳感器的結構示意圖；
[0024] 圖If為本申請實施例提供圖像傳感器在不均勻光場激勵情形時進行像素密度調 整的場景不例；
[0025] 圖lg為本申請實施例提供第五種像素密度可調的圖像傳感器的結構示意圖；
[0026] 圖lh為本申請實施例提供第六種像素密度可調的圖像傳感器的結構示意圖；
[0027] 圖li為本申請實施例提供第七種像素密度可調的圖像傳感器的結構示意圖；
[0028] 圖lj為本申請實施例提供第八種像素密度可調的圖像傳感器的結構示意圖；
[0029] 圖2a為本發明實施例提供的一種相機陣列各相機的圖像傳感器像素分布示例；
[0030] 圖2b為本發明實施例提供的一種相鄰相機的圖像傳感器相應邏輯像素點的偏移 示例；
[0031] 圖2c為本發明實施例提供的另一種相鄰相機的圖像傳感器相應邏輯像素點的偏 移示例；
[0032] 圖2d為本發明實施例提供的又一種相鄰相機的圖像傳感器相應邏輯像素點的偏 移示例；
[0033] 圖3為本發明實施例提供的一種調節後圖像傳感器的像素點分布示例；
[0034] 圖4為本發明實施例提供的一種超解析度圖像的生成示例；
[0035] 圖5為本申請實施例提供的一種超解析度圖像的獲取裝置的邏輯框圖；
[0036] 圖6為本申請實施例提供的另一種超解析度圖像的獲取裝置的邏輯框圖；
[0037] 圖7為本申請實施例提供的一種第一區確定模塊的邏輯框圖；
[0038] 圖8為本申請實施例提供的一種像素點分布調節模塊的邏輯框圖；
[0039] 圖9為本申請實施例提供的又一種超解析度圖像的獲取裝置的邏輯框圖。
[0040] 本領域技術人員應當理解，附圖中的元件僅僅是為了簡單和清楚起見而示出的， 而且不一定是按比例繪製的。例如，附圖中某些元件的尺寸可能相對於其他元件放大了，以 便有助於提高對本申請實施例的理解。

【具體實施方式】
[0041] 在下文中將結合附圖對本申請的示範性實施例進行詳細描述。為了清楚和簡明起 見，在說明書中並未描述實際實施方式的所有特徵。然而，應該了解，在開發任何這種實際 實施例的過程中必須做出很多特定於實施方式的決定，以便實現開發人員的具體目標，例 如，符合與系統及業務相關的那些限制條件，並且這些限制條件可能會隨著實施方式的不 同而有所改變。此外，還應該了解，雖然開發工作有可能是非常複雜和費時的，但對得益於 本公開內容的本領域技術人員來說，這種開發工作僅僅是例行的任務。
[0042] 在此，還需要說明的一點是，為了避免因不必要的細節而模糊了本申請，在附圖和 說明中僅僅描述了與根據本申請的方案密切相關的裝置結構和/或處理步驟，而省略了對 與本申請關係不大的、本領域普通技術人員已知的部件和處理的表示和描述。
[0043] 下面結合附圖（若干附圖中相同的標號表示相同的元素）和實施例，對本申請的

【具體實施方式】作進一步詳細說明。以下實施例用於說明本申請，但不用來限制本申請的範 圍。
[0044] 本領域技術人員可以理解，本申請中的"第一"、"第二"等術語僅用於區別不同步 驟、設備或模塊等，既不代表任何特定技術含義，也不表示它們之間的必然邏輯順序。
[0045] 本申請發明人在實踐本申請實施例的過程中發現，通常基於相機陣列進行待攝場 景的圖像採集時，所述相機陣列的各相機的圖像傳感器的像素均勻分布，基於各圖像傳感 器採集可得到該場景稍有視野偏差的多幅圖像，基於這些圖像可獲取一超解析度圖像。然 而在某些場景下，該場景的不同區域通常對用戶而言具有不同的意義和/或重要性，即用 戶對待攝場景不同區域的成像質量要求不盡相同。例如：在人物拍攝場景下，用戶對場景中 人臉的感興趣程度要高於場景中的景物，故對獲取的超解析度圖像中關於人臉部分成像的 圖像空間解析度、信噪比等要求較高；等等。為此，本申請實施例提供了一種超解析度圖像 的獲取方法，可充分利用相機陣列的各圖像傳感器的整體像素來差異化採集待攝場景稍有 視野偏差的多幅圖像，由此更好滿足用戶多樣化的應用需求。下面結合附圖進一步說明技 術方案。
[0046] 圖la為本申請實施例提供的一種超解析度圖像的獲取方法流程圖。本申請實施 例提供的超解析度圖像的獲取方法的執行主體可為某一超解析度圖像的獲取裝置，所述超 解析度圖像的獲取裝置可在但不限於拍照、攝像、攝影、視頻監控等應用過程中通過執行該 超解析度圖像的獲取方法進行靜態或動態的圖像處理控制。所述超解析度圖像的獲取裝置 的設備表現形式不受限制，例如所述超解析度圖像的獲取裝置可為某一獨立的部件，該部 件與相機陣列配合通信；或者，所述超解析度圖像的獲取裝置可作為某一功能模塊集成在 一相機陣列中，本申請實施例對此並不限制。
[0047] 具體如圖la所示，本申請實施例提供的一種超解析度圖像的獲取方法包括：
[0048] S101 :確定相機陣列的任兩個相鄰相機的圖像傳感器各自的待調節區內，相應邏 輯像素點的子像素級目標偏移距離，各所述待調節區為各圖像傳感器分別對應第一區的成 像區域，所述第一區為所述待攝場景的至少局部。
[0049] 所述相機陣列可包括陣列分布的NXM個相機，其中，N為大於或等於1的整數、且 M為大於1的整數，或者，N為大於1的整數、且M為大於或等於1的整數。
[0050] 所述相機陣列中每個相機具有獨立的光學鏡頭和圖像傳感器，所述相機陣列的各 相機同構或者至少部分相機異構，各相機的光學鏡頭可根據實際需要設置不同濾光元件， 例如：藍色濾光元件、紅色濾光元件或者綠色濾光元件等等。本申請實施例不妨以多個同構 相機陣列分布形成的相機陣列為例進行說明，對於異構相機陣列也存在相似的技術方案， 本申請實施例在此不再贅述。
[0051] 每個相機的圖像傳感器的每個像素點均有一個邏輯信息，所述邏輯信息也可稱為 像素的索引信息，用來表示該像素點是圖像傳感器中的哪個像素點，如是第n行的第m個像 素點。相機陣列中相鄰兩個相機的圖像傳感器之間的參考線（也可稱為基線，Baseline)會 引入視差偏移，這樣，相鄰圖像傳感器對應待攝場景的第一區的成像區域，在兩個相鄰相機 的圖像傳感器各自的成像區域的位置並非完全對應。考慮所述基線偏移後，相鄰圖像傳感 器對應的邏輯像素點即為本申請實施例所述的相應邏輯像素點，待攝場景的同一部分信息 在相鄰圖像傳感器的相應邏輯像素點分別予以記錄。根據相鄰圖像傳感器基線的偏移關係 可得到相鄰圖像傳感器各像素點的邏輯信息的對應關係，而根據所述各像素點的邏輯信息 的對應關係，可確定兩個相鄰圖像傳感器中，一圖像傳感器與另一圖像傳感器的某邏輯像 素點相應的邏輯像素點是哪個。例如，請參考圖2a，假設兩個相鄰相機A、B的圖像傳感器的 基線在X向上存在2個像素的偏移，則圖像傳感器A某行邏輯信息為0、1、2、3、4......的 像素點，與圖像傳感器B相同行邏輯信息為2'、3'、4'、5'、6'......的像素點（在圖2a的 括號中標出了像素點邏輯或序號信息的對應關係），分別為相應邏輯像素點；如圖2a所示， 相機A和B各自的圖像傳感器分別對應待攝場景相同部分的成像區域a、b也存在一定的偏 移。
[0052] 為了獲取高於所述相機陣列中某單個相機採集到的圖像的解析度的圖像，也即超 解析度圖像，所述相機陣列中任兩個相鄰相機的圖像傳感器的相應邏輯像素點之間需要按 照某一子像素級距離偏移的方式分布。
[0053] 圖像傳感器調節前的任兩個相鄰像素點中心之間的距離稱為一個像素距離 (pixel pitch) d，所述"子像素級距離"就是小於像素距離d的某一距離，如

【權利要求】
1. 一種超解析度圖像的獲取方法，其特徵在於，包括： 確定相機陣列的任兩個相鄰相機的圖像傳感器各自的待調節區內，相應邏輯像素點的 子像素級目標偏移距離，各所述待調節區為各圖像傳感器分別對應第一區的成像區域，所 述第一區為所述待攝場景的至少局部； 根據所述子像素級目標偏移距離調節所述相機陣列中各相機的圖像傳感器的像素點 分布； 基於調節後的所述各相機分別獲取待攝場景的圖像； 根據獲取的各圖像獲取所述待攝場景的一超解析度圖像。
2. 根據權利要求1所述的獲取方法，其特徵在於， 所述獲取方法還包括：獲取所述任兩個相鄰相機的圖像傳感器中相應邏輯像素點的缺 省子像素級偏移距離； 確定所述子像素級目標偏移距離，包括：至少根據所述預設子像素級偏移距離確定所 述子像素級目標偏移距離，以使所述子像素級目標偏移距離小於所述預設子像素級偏移距 離。
3. 根據權利要求2所述的獲取方法，其特徵在於，確定所述子像素級目標偏移距離，包 括：至少根據一個或多個相機的圖像傳感器任兩個相鄰像素點中心之間的距離，確定所述 子像素級目標偏移距離。
4. 根據權利要求1或2所述的獲取方法，其特徵在於，所述獲取方法還包括：確定所述 第一區。
5. 根據權利要求4所述的獲取方法，其特徵在於，確定所述第一區，包括： 基於所述相機陣列關於所述待攝場景的預覽圖像獲取感興趣區確定信息； 確定所述待攝場景中與所述感興趣區確定信息對應的區域為所述第一區。
6. 根據權利要求4所述的獲取方法，其特徵在於，確定所述第一區，包括： 對所述相機陣列關於所述待攝場景的預覽圖像進行圖像分析； 根據所述圖像分析結果確定所述第一區。
7. 根據權利要求1-6任一所述的獲取方法，其特徵在於，各所述待調節區內調節後相 應邏輯像素點的實際像素偏移距離等於所述子像素級目標偏移距離。
8. 根據權利要求1-6任一所述的獲取方法，其特徵在於，各所述待調節區內調節後相 應邏輯像素點的實際像素偏移距離與所述子像素級目標偏移距離的差值，落入預定容許誤 差範圍。
9. 根據權利要求1-6任一所述的獲取方法，其特徵在於，根據所述子像素級目標偏移 距離調節所述各相機的圖像傳感器的像素點分布，包括： 根據所述子像素級目標偏移距離確定所述各相機的圖像傳感器的可控變形材料部的 形變控制信息； 根據所述形變控制信息控制各所述可控變形材料部發生形變，以通過各所述可控變形 材料部的形變相應調整所述各相機的圖像傳感器的像素點分布。
10. 根據權利要求7所述的獲取方法，其特徵在於，所述可控變形材料部至少由以下一 種或多種可控變形材料製備而成：壓電材料、電活性聚合物、光致形變材料、磁致伸縮材料。
11. 一種超解析度圖像的獲取裝置，其特徵在於，包括： 一目標偏移距離確定模塊，用於確定相機陣列的任兩個相鄰相機的圖像傳感器各自的 待調節區內，相應邏輯像素點的子像素級目標偏移距離，各所述待調節區為各圖像傳感器 分別對應第一區的成像區域，所述第一區為所述待攝場景的至少局部； 一像素點分布調節模塊，用於根據所述子像素級目標偏移距離調節所述相機陣列中各 相機的圖像傳感器的像素點分布； 一圖像獲取模塊，用於基於調節後的所述各相機分別獲取待攝場景的圖像； 一超解析度圖像獲取模塊，用於根據獲取的各圖像獲取所述待攝場景的一超解析度圖 像。
12. 根據權利要求11所述的獲取裝置，其特徵在於， 所述獲取裝置還包括：一預設偏移距離獲取模塊，用於獲取所述任兩個相鄰相機的圖 像傳感器中相應邏輯像素點的預設子像素級偏移距離； 所述目標偏移距離確定模塊包括：第一目標偏移距離確定子模塊，用於至少根據所述 預設子像素級偏移距離確定所述子像素級目標偏移距離，以使所述子像素級目標偏移距離 小於所述預設子像素級偏移距離。
13. 根據權利要求11所述的獲取裝置，其特徵在於， 所述目標偏移距離確定模塊包括：一第二目標偏移距離確定子模塊，用於至少根據一 個或多個相機的圖像傳感器任兩個相鄰像素點中心之間的距離，確定所述子像素級目標偏 移距離。
14. 根據權利要求11-13任一所述的獲取裝置，其特徵在於，所述獲取裝置還包括： 一第一區確定模塊，用於確定所述第一區。
15. 根據權利要求14所述的獲取裝置，其特徵在於，所述第一區確定模塊包括： 一感興趣區確定信息獲取子模塊，用於基於所述相機陣列關於所述待攝場景的預覽圖 像獲取感興趣區確定信息； 一感興趣區確定子模塊，用於確定所述待攝場景中與所述感興趣區確定信息對應的區 域為所述第一區。
16. 根據權利要求14所述的獲取裝置，其特徵在於，所述第一區確定模塊包括： 一圖像分析子模塊，用於對所述相機陣列關於所述待攝場景的預覽圖像進行圖像分 析； 一第一區確定子模塊，用於根據所述圖像分析結果確定所述第一區。
17. 根據權利要求11-16任一所述的獲取裝置，其特徵在於，各所述待調節區內調節後 相應邏輯像素點的實際像素偏移距離等於所述子像素級目標偏移距離。
18. 根據權利要求11-16任一所述的獲取裝置，其特徵在於，各所述待調節區內調節後 相應邏輯像素點的實際像素偏移距離與所述子像素級目標偏移距離的差值，落入預定容許 誤差範圍。
19. 根據權利要求11-18任一所述的獲取裝置，其特徵在於，所述像素點分布調節模塊 包括： 一形變控制信息確定子模塊，用於根據所述子像素級目標偏移距離確定所述各相機的 圖像傳感器的可控變形材料部的形變控制信息； 一形變控制子模塊，用於根據所述形變控制信息控制各所述可控變形材料部發生形 變，以通過各所述可控變形材料部的形變相應調整所述各相機的圖像傳感器的像素點分 布。
20.根據權利要求19所述的獲取裝置，其特徵在於，所述可控變形材料部至少由以下 一種或多種可控變形材料製備而成：壓電材料、電活性聚合物、光致形變材料、磁致伸縮材 料。
【文檔編號】H04N5/349GK104320596SQ201410522902
【公開日】2015年1月28日 申請日期:2014年9月30日 優先權日:2014年9月30日
【發明者】周梁, 杜琳 申請人:北京智谷技術服務有限公司