利用透鏡移動的增強圖像處理的製作方法

2023-05-28 11:06:21 3

利用透鏡移動的增強圖像處理的製作方法
【專利摘要】本發明涉及利用透鏡移動的增強圖像處理。一種示範性成像系統，通過在圖像曝光期間，在透鏡在所定義的焦距範圍內移動時，採集圖像信息進行操作，其中，在處理圖像時，通過使用透鏡移動的曲線，可生成具有擴展景深的聚焦圖像。
【專利說明】利用透鏡移動的增強圖像處理
【技術領域】
[0001]本發明涉及圖像處理，具體地，涉及利用透鏡移動的增強圖像處理。
【背景技術】
[0002]拍攝照片時，攝影師通過使用各種透鏡或通過調節與記錄圖片的照相機內的點相距的快門尺寸和/或透鏡距離，控制焦點距離。該焦點距離為與照相機相距的距離，其中，相對於圖片的剩餘部分，最大化聚焦物體。焦點距離周圍為實質上至少在某個閾值電平之上聚焦的區域。圖片可被調節為具有某些聚焦區域和某些模糊區域。例如，可使得特定距離處的物體聚焦，而使得在其他距離處的物體模糊。或者，圖片可從特定的距離、直到特定的距離、或者在兩個距離之間被聚焦。通常，適當清晰度的聚焦區域被稱為景深。

【發明內容】

[0003]本發明提供了如下成像系統、成像方法和計算機可讀介質:
[0004]( I) 一種成像系統，包括:
[0005]成像透鏡，可調節至不同的焦距；
[0006]圖像傳感器，被配置為從所述成像透鏡接收圖像信息；
[0007]在所述圖像傳感器的單個圖像幀曝光的持續時間期間改變透鏡焦點位置的機構；以及
[0008]處理電路，被配置為:
[0009]增強所述圖像傳感器採集的圖像中的清晰圖像內容；以及
[0010]在所述圖像傳感器所採集的一個或多個圖像曝光期間，改變所述透鏡焦點位置的同時，由所述一個或多個圖像獲得距離圖。
[0011](2)根據(I)所述的成像系統，其中，採集包括第一幀和第二幀的兩個圖像幀之後，所述處理電路生成場景的所述距離圖，其中，對於所述第一幀，所述透鏡焦點位置以第一速度曲線改變，並且在所述第二幀內，所述透鏡焦點位置以不同的速度曲線改變。
[0012](3)根據(I)所述的成像系統，其中，在所述單個圖像幀的曝光整合期間，所述透鏡在與到對準焦點的物體的距離的子範圍對應的焦點位置的預定義子範圍內移動。
[0013](4)根據(I)所述的成像系統，其中，採集包括第一幀和第二幀的兩個圖像幀之後，所述處理電路生成場景的所述距離圖，其中，對於所述第一幀，在所述第一幀曝光期間，所述透鏡焦點位置以第一變化速率連續改變，其中對於所述第二幀，在所述第二幀曝光期間，所述透鏡焦點位置在相反方向上以不同的變化速率連續改變，其中，所述處理電路被進一步配置為通過結合距離圖信息和增強的圖像生成立體圖像。
[0014](5)根據(I)所述的成像系統，進一步包括用於所述圖像傳感器每個像素的單獨的區分的快門，其中，每個像素快門與所述透鏡的變化的透鏡焦點位置同步，並且在特定像素的設定透鏡焦點位置被激活以產生對準焦點的像素數據的採集。
[0015](6)根據(I)所述的成像系統，其中，所述處理電路被進一步配置為確定自動對焦設置，以用於通過採集包括第一幀和第二幀的兩個圖像幀，以從所述成像裝置到物體的特定距離，採集後續圖像場景，其中，對於所述第一幀，在所述第一幀曝光期間，所述透鏡焦點位置以第一變化速率連續改變，並且對於第二幀，在所述第二幀曝光期間，所述透鏡焦點位置以不同的變化速率連續改變，其中，在所述第一幀和所述第二幀期間採集的所述圖像信息的比較，將要使用的透鏡焦點位置識別為自動對焦設置，用於改變從所述成像裝置到所述場景中的物體的距離。
[0016](7)根據(I)所述的成像系統，其中，在所述單個圖像幀曝光期間，所述透鏡焦點位置改變的範圍是用戶可配置的。
[0017](8) 一種成像方法，包括:
[0018]在透鏡在定義的焦掃描內移動時，在第一圖像幀曝光期間採集圖像數據；以及
[0019]利用在所述曝光期間使用的焦掃描上整合的點擴散函數(PSF)，對所述圖像數據去卷積，以生成具有擴展景深的校正圖像，而無需散焦像素數據。
[0020](9)根據(8)所述的成像方法，其中，在所述第一圖像幀曝光期間，以不均勻的速率改變所述焦掃描的速度。
[0021](10)根據(8)所述的成像方法，進一步包括:
[0022]在定義的第二焦掃描內，在相鄰的第二圖像幀曝光期間，採集同一圖像場景的圖像數據，其中，所述第二焦掃描包括與所述第一焦掃描相同的透鏡焦點位置範圍；以及
[0023]比較所述第二圖像幀的圖像數據和所述第一圖像幀的圖像數據，以在所述同一圖像場景的所述透鏡焦點位置範圍內，識別像素的最清晰焦深位置。
[0024](11)根據(10)所述的成像方法，其中，在所述第一焦掃描中使用的透鏡移動的速度曲線與在所述第二焦掃描中使用的透鏡移動的速度曲線不同。
[0025](12)根據(10)所述的成像方法，其中，在所述第一焦掃描中使用的透鏡移動的曲線與在所述第二焦掃描中使用的透鏡移動的曲線相同。
[0026]( 13)根據(10)所述的成像方法，進一步包括在識別所述像素的所述最清晰焦深位置之後，生成所述同一圖像場景的距離圖。
[0027](14)根據(13)所述的成像方法，進一步包括通過結合距離圖信息和所述校正圖像生成立體圖像。
[0028](15)根據(10)所述的成像方法，進一步包括:
[0029]存儲與從所述透鏡到所述圖像場景中與所識別的最清晰焦深位置對應的物體的距離相關聯的透鏡焦點位置，作為自動對焦設置；以及
[0030]在後續圖像採集中，使用存儲的所述自動對焦設置以從所述透鏡到所述圖像場景內物體的同一距離採集物體的場景，其中，所述自動對焦設置包括存儲的所述透鏡焦點位置。
[0031](16)根據(8)所述的成像方法，進一步包括在特定像素的設定透鏡焦點位置，同步激活用於圖像傳感器的每個像素的單獨快門，這將產生對準焦點的像素數據的採集。
[0032](17) 一種永久性計算機可讀介質，存儲處理器可執行的成像程序，所述程序包括:
[0033]在透鏡在定義的焦掃描內移動時，在第一圖像幀曝光期間採集圖像數據的代碼；
[0034]在定義的第二焦掃描內，在相鄰的第二圖像幀曝光期間，採集同一圖像場景的圖像數據，其中，所述第二焦掃描包括與所述第一焦掃描相同的透鏡焦點位置範圍的代碼；以及
[0035]比較所述第二圖像幀的圖像數據和所述第一圖像幀的圖像數據，以在所述同一圖像場景的所述透鏡焦點位置範圍內，識別像素的最清晰的焦深位置的代碼。
[0036](18)根據(17)所述的計算機可讀介質，所述程序進一步包括:
[0037]存儲與從所述透鏡到所述圖像場景中與所識別的最清晰焦深位置對應的物體的距離相關聯的透鏡焦點位置，作為自動對焦設置的代碼；以及
[0038]在後續圖像採集中，使用所存儲的自動對焦設置以從所述透鏡到所述同一圖像場景內物體的相同距離採集物體的場景，其中，所述自動對焦設置包括存儲的所述透鏡焦點位置的代碼。
[0039]( 19)根據(17)所述的計算機可讀介質，所述程序進一步包括在識別在其各自最清晰的透鏡焦點位置像素的深度位置之後，生成所述同一圖像場景的距離圖的代碼。
[0040](20)根據(17)所述的計算機可讀介質，所述程序進一步包括在特定像素的設定透鏡焦點位置，同步激活用於圖像傳感器的每個像素的單獨快門，這將產生對準焦點的像素數據的採集的代碼。
【專利附圖】

【附圖說明】
[0041]參看下圖，可更好地理解本公開的多個方面。圖中的元件不必按比例繪出，而是重點清晰地示出本公開的各原理。而且，在圖中，在這幾幅示圖中，相似的參考數字表示相應的部件。
[0042]圖1為根據本發明的成像裝置的圖像處理電路的示例性實施方式的方框圖。
[0043]圖2為示出根據本發明的成像裝置的透鏡焦距(focal length)、焦點距離(focaldistance)、以及透鏡到對準焦點的物體的距離之間的關係的示圖。
[0044]圖3至圖4為示出根據本發明實施方式的在圖像幀的一系列曝光期間成像透鏡隨著時間的移動速率的圖表的示圖。
[0045]圖5A至圖5E為示出根據本發明實施方式的用於處理圖像數據的示例性電子裝置的方框圖。
[0046]圖6至圖9為描述根據本發明的圖像處理方法的各種實施方式的流程圖。
【具體實施方式】
[0047]本發明涉及各種裝置、方法、計算機可用介質、以及處理器，其被設計為在進行幀曝光的過程中，利用照相機鏡頭移動進行圖像處理和/或確定最佳的圖像聚焦設置。作為一個可能的實例，在定義的範圍內移動透鏡的過程中所採集的圖像信息可用於抽取景深擴展的聚焦圖像，作為數字攝像機、數碼攝像機或其他成像裝置內的圖像處理管線的一部分。此外，圖像處理管線可從所採集的圖像信息中抽取自動對焦信息和/或生成距離圖(或深度圖)，其中，在曝光單個幀或相鄰幀的過程中，可使用透鏡移動的不同曲線。本領域的技術人員會認識到，所公開的技術也可用於其他背景以及應用中。對於嵌入式裝置內的攝像機而言，例如，數字攝像機、數碼攝像機、行動電話、個人數字助理(PDA)、平板電腦、可攜式音樂播放器、以及桌上型電腦或膝上型電腦，諸如本文中所公開的那些的技術可提高圖像質量。[0048]為了獲取圖像數據，數字成像裝置可包括圖像傳感器，該圖像傳感器提供多個光檢測元件(例如，光探測器)，其被配置為將圖像傳感器所檢測的光轉換成電信號。圖像傳感器還可包括濾色器陣列，該濾色器陣列過濾圖像傳感器所採集的光，以便採集顏色信息。圖像傳感器所採集的圖像數據然後可由圖像處理管線電路處理，圖像處理管線電路可將多個不同的圖像處理操作用於圖像數據以生成全色圖像或一系列視頻幀，可顯示該全色圖像或視頻幀序列用於在顯示裝置或屏幕上查看。
[0049]參看圖1，示出了用於圖像採集或成像裝置150的圖像處理電路100的一個實施方式的方框圖。示出的成像裝置150可裝配有數字攝像機，其被配置為獲取靜止圖像和活動圖像(例如，視頻)。裝置150可包括透鏡110和一個或多個圖像傳感器101，該圖像傳感器被配置為採集光並且將光轉換成電信號。僅僅通過實例，圖像傳感器可包括CMOS(complementary metal-oxi de-semi conductor,互補金屬氧化物半導體)圖像傳感器(例如，CMOS有源像素傳感器(APS))或CXD (電荷耦合器件)傳感器。
[0050]在某些實施方式中，閃光光源(例如，發光二極體)109也可被設置在透鏡110附近，以有助於在黑暗的環境中提供光。如果成像裝置150檢測到環境光不夠亮，從而不能恰當地將圖像曝光，那麼成像裝置150啟用閃光109並且拍攝照片。
[0051]在某些實施方式中，圖像處理電路100可包括各種子元件和/或邏輯或電路的離散元件，其共同形成圖像處理「管線」，用於執行各種圖像處理步驟中的每個步驟。這些子元件可通過使用硬體(例如，數位訊號處理器或ASICs (application-specific integratedcircuits,專用集成電路))或軟體,或者通過組合硬體和軟體元件實施。圖像處理電路100可提供各種圖像處理操作。
[0052]此外，圖像處理電路100可包括前端處理邏輯或電路103、管線處理邏輯或電路104、以及控制邏輯或電路105。圖像傳感器101可包括濾色器陣列(例如，Bayer濾波器)並且因此可提供圖像傳感器101的每個成像像素所採集的光強度以及波長信息，以提供可由前端處理邏輯103處理的一組原始圖像數據。
[0053]在某些實施方式中，圖像處理電路內可採用單個透鏡110和單個圖像傳感器101。然而在其他實施方式中，可採用多個透鏡Iio和多個圖像傳感器101。在一個實施方式中，圖像傳感器101操作每個像素單元的電子快門102。因此，像素單元的電子快門102可允許每個單元在單獨的起點和終點時間接收和整合輸入光。
[0054]而且，成像裝置150的實施方式可具有多個操作模式，使得一個模式可允許成像裝置150生成景深擴展的圖像；第二模式可允許成像裝置150生成距離圖，第三模式可允許成像裝置150確定自動對焦設置，等等。成像裝置150的實施方式可採用從裝置的接口元件可選擇的操作模式。接口元件可包括從顯示器106可選擇的圖形接口元件、或從成像裝置150的外殼可選擇的或可切換的機械按鈕或開關、或用於通過其他程序和/或應用程式進行控制的應用程式接口。
[0055]前端處理邏輯103也可從存儲器108接收像素數據。例如，原始像素數據可從圖像傳感器101被發送到存儲器108中。然後，位於存儲器108內的原始像素數據可被提供給前端處理邏輯103進行處理。
[0056](從圖像傳感器101或從存儲器108)接收到原始圖像數據時，前端處理邏輯103可執行一個或多個圖像處理操作。然後，處理過的圖像數據可被提供給管線處理邏輯104，用於在(例如，在顯示裝置106上)顯示之前進行額外處理，或者可被發送到存儲器108。管線處理邏輯104直接從前端處理邏輯103或從存儲器108接收「前端」處理數據，並且根據具體情況，在原始域內以及在RGB和YCbCr顏色空間內，可提供對圖像數據的額外處理。然後，由管線處理邏輯104處理的圖像數據可被輸出到用於用戶查看的顯示器106(或取景器)，和/或進一步由圖形引擎處理。此外，管線處理邏輯104的輸出可被發送到存儲器108，並且顯示器106可從存儲器108讀取圖像數據。而且，在某些實施方式中，管線處理邏輯104也可包括編碼器107，例如，壓縮引擎，編碼器107用於在顯示器106讀取之前、在存儲器108內存儲之前、或者通過網絡進行傳輸之前，對圖像數據編碼。
[0057]編碼器107可以是用於編碼靜止圖像的JPEG (聯合圖像專家組)壓縮引擎、用於編碼視頻圖像的H.264壓縮引擎、或者用於靜止圖像或視頻的另一種編碼器。而且，應注意的是，管線處理邏輯104也可從存儲器108接收原始圖像數據。
[0058]控制邏輯105可包括處理器和/或微型控制器，被配置為執行一個或多個程序(例如，固件)，這些程序可被配置為確定成像裝置150的控制參數以及管線處理邏輯104的控制參數。僅僅通過實例，控制參數可包括傳感器控制參數、照相機閃光燈控制參數、透鏡控制參數(例如，用於進行聚焦或變焦的透鏡組的位置、曝光長度或持續時間、焦掃描範圍等等)、快門控制參數、或圖像傳感器101的這種參數的組合。控制參數也可包括圖像處理命令，例如，對管線處理邏輯104的顏色調節、自動白平衡、自動對焦、自動曝光、景深擴展、距離圖、透鏡位置、快門控制以及立體圖。控制參數可進一步包括管線處理邏輯104的多路復用信號或命令。基於某些操作模式的激活，可激活控制參數和邏輯的實施。
[0059]控制邏輯105可進一步包括透鏡移動邏輯或電路113。透鏡移動邏輯113的實施方式根據用戶命令和/或處理器命令控制透鏡110的移動。處理器可使用各種技術實施透鏡移動。一種技術包括在單個幀曝光期間，將透鏡110從最小的焦點位置移動到最大的焦點位置。在另一個實施方式中，移動範圍可以是最小的焦點位置和最大的焦點位置之間的焦掃描範圍內的子範圍。因此，在各種實施方式中，在單個圖像幀曝光整合期間，透鏡Iio在與到對準焦點的物體的距離的子範圍對應的焦點位置的某個子範圍內移動，以便提高圖像質量、距離圖解析度或者所產生的其他優點。
[0060]圖2為示出透鏡焦距(focal length)f、透鏡到圖像傳感器的距離(後文中稱為焦點距離)D、以及透鏡到焦點對準的物體(object infocus)的
[0061]距離L之間的關係的示圖。薄透鏡等式將這些距離聯繫為:
【權利要求】
1.一種成像系統，包括: 成像透鏡，可調節至不同的焦距； 圖像傳感器，被配置為從所述成像透鏡接收圖像信息； 在所述圖像傳感器的單個圖像幀曝光的持續時間期間改變透鏡焦點位置的機構；以及 處理電路，被配置為: 增強所述圖像傳感器採集的圖像中的清晰圖像內容；以及 在所述圖像傳感器所採集的一個或多個圖像曝光期間，改變所述透鏡焦點位置的同時，由所述一個或多個圖像獲得距離圖。
2.根據權利要求1所述的成像系統，其中，採集包括第一幀和第二幀的兩個圖像幀之後，所述處理電路生成場景的所述距離圖，其中，對於所述第一幀，所述透鏡焦點位置以第一速度曲線改變，並且在所述第二幀內，所述透鏡焦點位置以不同的速度曲線改變。
3.根據權利要求1所述的成像系統，其中，在所述單個圖像幀的曝光整合期間，所述透鏡在與到對準焦點的物體的距離的子範圍對應的焦點位置的預定義子範圍內移動。
4.根據權利要求1所述的成像系統，其中，採集包括第一幀和第二幀的兩個圖像幀之後，所述處理電路生成場景的所述距離圖，其中，對於所述第一幀，在所述第一幀曝光期間，所述透鏡焦點位置以第一變化速率連續改變，其中對於所述第二幀，在所述第二幀曝光期間，所述透鏡焦點位置在相反方向上以不同的變化速率連續改變，其中，所述處理電路被進一步配置為通過結合距離圖信息和增強的圖像生成立體圖像。
5.根據權利要求1所述的成像系統，進一步包括用於所述圖像傳感器每個像素的單獨的區分的快門，其中，每`個像素快門與所述透鏡的變化的透鏡焦點位置同步，並且在特定像素的設定透鏡焦點位置被激活以產生對準焦點的像素數據的採集。
6.根據權利要求1所述的成像系統，其中，所述處理電路被進一步配置為確定自動對焦設置，以用於通過採集包括第一幀和第二幀的兩個圖像幀，以從所述成像裝置到物體的特定距離，採集後續圖像場景，其中，對於所述第一幀，在所述第一幀曝光期間，所述透鏡焦點位置以第一變化速率連續改變，並且對於第二幀，在所述第二幀曝光期間，所述透鏡焦點位置以不同的變化速率連續改變，其中，在所述第一幀和所述第二幀期間採集的所述圖像信息的比較，將要使用的透鏡焦點位置識別為自動對焦設置，用於改變從所述成像裝置到所述場景中的物體的距離。
7.一種成像方法，包括: 在透鏡在定義的焦掃描內移動時，在第一圖像幀曝光期間採集圖像數據；以及 利用在所述曝光期間使用的焦掃描上整合的點擴散函數(PSF)，對所述圖像數據去卷積，以生成具有擴展景深的校正圖像，而無需散焦像素數據。
8.根據權利要求7所述的成像方法，進一步包括: 在定義的第二焦掃描內，在相鄰的第二圖像幀曝光期間，採集同一圖像場景的圖像數據，其中，所述第二焦掃描包括與所述第一焦掃描相同的透鏡焦點位置範圍；以及 比較所述第二圖像幀的圖像數據和所述第一圖像幀的圖像數據，以在所述同一圖像場景的所述透鏡焦點位置範圍內，識別像素的最清晰焦深位置。
9.根據權利要求8所述的成像方法，進一步包括: 存儲與從所述透鏡到所述圖像場景中與所識別的最清晰焦深位置對應的物體的距離相關聯的透鏡焦點位置，作為自動對焦設置；以及 在後續圖像採集中，使用存儲的所述自動對焦設置以從所述透鏡到所述圖像場景內物體的同一距離採集物體的場景，其中，所述自動對焦設置包括存儲的所述透鏡焦點位置。
10.根據權利要求7所述的成像方法，進一步包括在特定像素的設定透鏡焦點位置，同步激活用於圖像傳感器的每個像 素的單獨快門，這將產生對準焦點的像素數據的採集。
【文檔編號】H04N5/235GK103516988SQ201210593508
【公開日】2014年1月15日 申請日期:2012年12月31日 優先權日:2012年6月29日
【發明者】伊利亞·布萊瓦斯, 諾姆·索裡克, 伊利亞·維特斯努德爾 申請人:美國博通公司