電子裝置及增強圖像解析度的方法
2023-05-08 13:36:01
電子裝置及增強圖像解析度的方法
【專利摘要】一種增強圖像解析度的裝置及方法，其中一代表電子裝置包括：一圖像擷取感測器，其具有多個像素，用以通過於一曝光時間中入射於像素上的光線轉換為電子信號來取得一圖像幀；以及一圖像擷取系統，選擇性地操作於第一以及第二圖像擷取模式；於第一圖像擷取模式時，圖像擷取系統輸出相應於單一曝光時間中所取得的單一圖像幀的圖像；以及於第二圖像擷取模式時，圖像擷取系統輸出相應於一多重曝光時間中取得的多個圖像幀的增強圖像，使增強圖像可呈現的解析度高於在第一圖像擷取模式所取得的圖像可呈現的解析度。
【專利說明】電子裝置及增強圖像解析度的方法
【技術領域】
[0001 ] 本發明是關於一種圖像擷取及處理技術。
【背景技術】
[0002]圖像擷取裝置(例如:數字相機)使用圖像感測器來取得圖像數據。舉例來說，此類的圖像感測器可為電荷稱合元件(charged coupled device, CCD)感測器以及互補式金屬氧化物半導體(complementary metal oxide semiconductor, CMOS)感測器，每一感測器使用可將入射光線轉換為電子信號的感測器像素。一般而言，圖像感測器的像素密度與其價格高度相關，具有較高像素密度的感測器的價格比具有較低像素密度的感測器的價格更為昂貴。
【發明內容】
[0003]有鑑於此，本發明提供一種電子裝置及增強圖像解析度的方法。
[0004]本發明實施例提供一種電子裝置，包括:一圖像擷取感測器，其具有多個像素，用以通過於一曝光時間中入射於像素上的光線轉換為電子信號來取得一圖像幀；以及一圖像擷取系統，選擇性地操作於第一圖像擷取模式以及第二圖像擷取模式；於第一圖像擷取模式時，圖像擷取系統輸出相應於單一曝光時間中所取得的單一圖像幀的一圖像；以及於第二圖像擷取模式時，圖像擷取系統輸出相應於一多重曝光時間中所取得的多個圖像幀的增強圖像，使增強圖像所呈現的解析度高於第一圖像擷取模式取得的圖像所呈現的解析度。
[0005]本發明實施例還提供一種增強圖像解析度的方法，包括下列步驟:利用圖像擷取感測器的像素，取得相應於一場景的多個圖像幀；指定圖像信息的多個圖像幀其中一者作為參考幀；以及處理參考幀以提供一增強圖像，使增強圖像所呈現的解析度高於參考幀所呈現的解析度。
[0006]本發明上述方法可以通過程序碼方式存在。當程序碼被機器加載且執行時，機器變成用以實行本發明的裝置。
【專利附圖】
【附圖說明】
[0007]圖1A顯示本發明一實施例用以取得圖像信息的電子裝置的示意圖。
[0008]圖1B顯示依據圖1A的實施例所取得的代表圖像信息的示意圖。
[0009]圖2顯示本發明一實施例用以增強圖像解析度的方法的流程圖。
[0010]圖3顯示本發明一實施例可用以實作一圖像擷取系統的電子裝置示意圖。
[0011]圖4A顯示本發明一實施例的真實圖像的部分示意圖。
[0012]圖4B顯示相應圖4A的真實圖像的已知低解析度像素輸出的示意圖。
[0013]圖4C顯示本發明一實施例的真實圖像的增強圖像的圖像像素的示意圖。
[0014]圖5顯示本發明另一實施例的用以增強圖像解析度的方法的流程圖。
[0015]圖6A顯示本發明另一實施例用以取得圖像信息的電子裝置示意圖。[0016]圖6B顯示本發明一實施例中利用圖6A的實施例所取得的圖像幀的示意圖。
[0017][主要元件標號說明]
[0018]100~電子裝置；102~場景；
[0019]104~人物；A、B、C、D~視點；
[0020]112、114、116、118 ~幀；120 ~參考幀；
[0021]130、132、134~執行步驟；140~電子裝置；
[0022]150~處理裝置；152~輸入/輸出接口單元；
[0023]154~顯示裝置；156~觸控屏幕接口單元；
[0024]158~網絡/通訊接口單元；160~存儲器；
[0025]162~作業系統；164~大量儲存裝置；
[0026]166~數據總線；168~數據總 線；
[0027]170~加速度感測器；172~圖像擷取系統；
[0028]180 ~圖像;182、184、186、188 ~區域；
[0029]190~低解析度像素輸出；192、194、196、198~圖像像素；
[0030]210,212,…、228~執行步驟；250~裝置；
[0031]252~光圈；254~場景；
[0032]256 ~光圈；258、260 ~幀。
【具體實施方式】
[0033]為使本發明的上述和其它目的、特徵、和優點能更明顯易懂，下文特舉出較佳實施例，並配合所附圖式，作詳細說明如下。
[0034]本發明實施例提供用以增強解析度圖像擷取的裝置與方法，於一些實施例中，其涉及包含內建相機的智能型手機的使用。舉例來說，智能型手機可包含圖像擷取系統，此圖像擷取系統選擇性地操作於一標準解析度模式以及一增強解析度模式。於增強解析度模式，圖像擷取系統輸出相應於多重曝光時間中所取得的多個圖像幀(frame)的一增強圖像。於一些實施例中，圖像信息幀是於裝置移動時取得，使得因為視點變化產生的細微變化可顯現於所取得的圖像中。尤其，增強圖像可經處理來呈現比標準解析度模式有關的圖像所呈現的解析度更高的較高解析度(特別是在圖像中確認具有顯著對比的邊緣位置上)。
[0035]就此而言，圖1A顯示本發明一實施例的電子裝置的示意圖，此電子裝置用以取得圖像信息。如圖1A所示，電子裝置100(例如:一移動裝置)取得有關一場景102的圖像信息，其中場景102包括人物104。於取得圖像信息時，電子裝置100操作於一增強解析度模式，於此模式中可利用多個圖像幀來提供一輸出圖像，此輸出圖像具有比圖像擷取感測器(未繪示)可取得的圖像信息更高的像素解析度(例如:在圖像中可檢測到的具有顯著對比的部分)。標準解析度模式的操作則相異於此，標準解析度模式利用單一圖像幀來提供輸出圖像。
[0036]於圖1A中，電子裝置100於圖像擷取時被使用者移動以及/或相機自動移動(例如虛線所示的經由點A、B、C、D),因此幀是從不同視點(point of view)所取得。
[0037]圖1B顯示依據本發明圖1A的實施例所取得的代表圖像信息的示意圖。於圖1B中，分別顯示了與視點A、B、C、D相關的圖像幀(分別為幀112、114、116與118)，以及與電子裝置的原始位置相關的圖像幀(參考幀120)。請注意，本發明的實施例可取得任意數量的圖像幀以提供電子裝置的不同視點，本發明並不限於圖1A所顯示的數量或特定移動方式。
[0038]於參考幀120中，人物104相對位於幀的中央，而於幀112中，人物稍微地由下往左偏移。相反地，人物於巾貞114中由上往右偏移、於巾貞116中由下往右偏移、以及於巾貞118中由上往左偏移。如將描述於下，多個圖像信息幀之間的偏移是用以調整參考幀來產生增強圖像。請注意，圖中所顯示的偏移量為真實偏移量的放大以利說明之便。
[0039]圖2顯示本發明一實施例的用以增強圖像解析度的方法的流程圖。如圖2所示，此方法首先於步驟130中利用圖像擷取感測器來取得相應一場景(scene)的多個圖像幀。於步驟132，指定多個圖像幀的其中一者作為參考幀。接著，如步驟134所示，處理參考幀以產生增強圖像。請注意，增強圖像呈現的解析度比參考圖像所呈現的解析度較高(例如:在圖像中具有可檢測的邊緣對比的部分)。
[0040]圖3顯示本發明一實施例的電子裝置示意圖，其中電子裝置可用以實作一個圖像擷取系統。如前所述，電子裝置140可為一智能型手機，但也可為任何廣泛使用的各種裝置的其中一者。如圖3所示，電子裝置140包括處理裝置(處理器)150、輸入/輸出接口單元152、顯示裝置154、觸控屏幕接口單元156、網絡/通訊接口單元158、存儲器160、作業系統162以及大量儲存裝置164，其中各單元可通過區域數據總線166來進行通訊。另外，電子裝置140包含圖像擷取感測器168、一或多個加速度感測器170以及圖像擷取系統172。
[0041]處理裝置150可以是客制化或市售處理器、中央處理單元(CPU)、或與電子裝置140相關的數個處理器的輔助處理器、半導體為基礎的微處理器(以微晶片形式)、一或多個應用特殊集成電路(ASIC)、多個適當設定的數字邏輯門、以及其它電子設定包括分散的元件同時個別的且以各種組合方式來完成系統的整體操作。
[0042]存儲器160可包括易失性存儲器元件的組合的任何一者(例如:隨機存取存儲器(RAM,例如DRAM以及SRAM等等))以及非易失性存儲器元件。存儲器通常包括原始作業系統162、一或多個原始應用程式、仿真系統、或各種作業系統的任意一者的仿真應用程式以及/或仿真硬體平臺、仿真作業系統等等。舉例來說，應用程式可包括應用程式特定軟體，其可包括電子裝置140的部分或全部元件。於一些實施例中，這些元件是儲存於存儲器160中且由處理裝置150所執行。
[0043]觸控屏幕接口單元156用以檢測顯示裝置154的顯示區域裡的觸碰，並提供可允許使用者通過觸碰方式來導覽使用者接口的功能，例如屏幕上按鈕、選單、鍵盤、軟體按鍵等等的功能。加速度感測器170用以檢測電子裝置140的移動。
[0044]本領域技術人員可知存儲器160可以且通常包括其它的必要元件，其細節不在此贅述。注意的是，於本發明揭露書內容中，一個非瞬時性計算機可讀取媒體可儲存一或多個程序，其可被使用於或相連接於指令執行系統、設備或裝置。請再參見圖3，網絡/通訊接口單元158包括用以在一網絡的環境中傳送及/或接收數據的各種元件。當這類元件被實施為一應用程式時，前述一或多個元件可儲存於非瞬時性計算機可讀取媒體中且由處理裝置150所執行。
[0045]圖4A顯示依據本發明一實施例的真實圖像的部分示意圖。特別來說，圖像180表示一場景中大小可於像擷取感測器的低解析度像素相比的一部分。具體來說，當低解析度像素具有極大的解析度時，圖像180可通過像素來擷取得到。注意的是，圖像180中分別包括位於右上角及左下角的較暗區域182與184，以及位於左上角及右下角的較亮區域186與188。
[0046]雖然圖像180可呈現高對比，低解析度像素所提供的輸出僅對應於射入在像素上的光線的平均值。因此，在標準(低解析度)模式下的低解析度像素輸出190 (圖4B)其像素呈現的是均勻灰階色彩。
[0047]相反地，圖4C顯示本發明一實施例相應於圖4A的圖像180的增強圖像的圖像像素的示意圖。如圖4C所示，於此實施例中，圖像像素192、194、196以及198可提供改良解析度，其為低解析度像素輸出所提供的四倍。注意的是，於其它實施例中，可提供4:1之外的圖像像素比例。
[0048]為了提供圖像像素，圖像像素的值是利用於圖像擷取感測器於多重曝光時間(multiple exposure)所取得的圖像信息來計算。其中,虛線部分表示於多重曝光時間所取得的其它圖像幀(例如:部分202與204)。特別地，這些其它圖像幀的相對方向是用以顯示圖像信息的內文的偏移，為圖像擷取時視點變化的屬性。
[0049]圖像像素所算出的值的特性加入至增強圖像。於此實施例中，圖像信息的值可結合併且映像至對應的圖像像素。
[0050]於產生前述增強圖像時，於多重曝光時間所取得的多個圖像幀其中之一被指定為參考幀。於某些實施例中，於多重曝光時間取得的第一圖像幀可作為參考幀。於多重曝光時間時取得的其它圖像幀接著用以修改參考幀的圖像信息。舉例來說，圖像信息可為實際上地與參考幀的圖像對齊，且前述圖像幀的累積像素值可用以計算圖像像素的值。
[0051]如圖4C所示，此可通過設定一邊緣檢測門坎值(在對應的圖形中由散列標示所表示)來實現，使得當合併的輸入對應於前述門坎值時，可識別出一邊緣。因此，增強圖像的產生是用來呈現對應於所計算的圖像像素數量的像素解析度。
[0052]假設邊緣檢測可由連續圖像幀中等效的感測器像素來分析而得，也就是說，在幾乎與參考幀相同的圖像位置所檢測到的像素，顯然地相機或感測器移動的量只需要足夠將圖像的對比邊緣平移一低解析度像素部分的量。前述移動可由相機攝影師及/或自動化移動所提供，且不同於相機自動對焦移動的動作。
[0053]圖5顯示依據本發明另一實施例的用以增強圖像解析度的方法的流程圖，其可由電子裝置所執行(例如:圖1的裝置100)。如圖5所示，此方法首先於步驟210中致能電子裝置的增強解析度圖像擷取模式。於一些實施例中，此步驟可包含與電子裝置的使用者互動，例如:通過制動(actuate) —按鈕或從選單中選擇操作模式等等。於步驟212,於使用者制動電子裝置的快門時取得圖像信息。於某些實施例中，可同時發出一快門聲(shuttersound)。之後，如步驟214，通過電子裝置的顯示裝置顯示使用者可移動裝置的建議移動路徑。
[0054]於步驟216，判斷是否檢測到一第一滑動(swipe)(亦即:裝置的移動)。若檢測到第一滑動時，於步驟218在檢測到移動時取得額外圖像幀。於某些實施例中，可同時發出多個快門聲(mult1-shutter sound)。接著於步驟220,判斷是否檢測到一第二滑動。若檢測到第二滑動時，於步驟222在檢測到移動時取得更多圖像幀，亦可伴隨多個快門聲。
[0055]於步驟224，於圖像擷取時判斷檢測到的移動是否足夠提供想要的各種視點。若檢測到的移動足夠時，執行步驟226來處理圖像信息以產生一增強圖像。然而，若檢測到的移動不足夠時，於步驟228，可能無法產生增強圖像，且取得的一或多個圖像幀可儲存為標準解析度圖像。若步驟216中判定未檢測到第一滑動與步驟220中判定未檢測到第二滑動時也會提供這樣的結果。在相機自動地執行移動路徑的例子中，可以不需要使用者回饋。
[0056]圖6A顯示依據本發明另一實施例的用以取得圖像信息的電子裝置示意圖。如圖6A所示，裝置250設有多個光圈(aperture)(於此例中有兩個這類光圈)，其中每一光圈是用於從稍微不同的視點來取得圖像信息。特別來說，相較於通過光圈256所取得的圖像信息，光圈252是從稍微偏上且朝左的場景254取得圖像信息。
[0057]圖6B顯示依據本發明一實施例中利用圖6A的實施例所取得的圖像幀的示意圖。特別來說，幀258對應於光圈252且幀260對應於光圈256。由於圖像信息間的偏差，增強圖像可利用相較於只使用一光圈的裝置所需較少的裝置移動來產生。
[0058]當本發明的方法，或特定型態或其部分以軟體實施時，流程圖中所表示的每個步驟表示一模塊、程序段落或部分的程序碼，包括儲存在非瞬時性計算機可讀取媒體中的程序指令以實現特定邏輯功能。因此，程序指令可被實作於原始碼形式，其包括以程序語言撰寫的語句，或包括可由一適當執行系統例如圖3的裝置140所識別的機器碼，機器碼可由原始碼轉換而得等等。當以硬體實施時，每一區塊可表示一電路或一些互連的電路以實現特定邏輯功能。另外，雖然前述流程圖顯示特定的執行順序，然可理解的是，其可具有不同的執行順序。
[0059]雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何本領域技術人員，在不脫離本發明的精神和範圍內，當可做些許更動與潤飾，因此本發明的保護範圍當視所附的權利要求範圍所界定者為準。
【權利要求】
1.一種電子裝置，包括: 一圖像擷取感測器，具有多個像素，用以通過將一曝光時間中入射於上述像素上的光線轉換為電子信號來取得一圖像幀；以及 一圖像擷取系統，選擇性地操作於一第一圖像擷取模式和一第二圖像擷取模式；於上述第一圖像擷取模式時，上述圖像擷取系統輸出對應於一單一曝光時間中所取得的一單一圖像幀的一圖像；以及 於上述第二圖像擷取模式時，上述圖像擷取系統輸出對應於一多重曝光時間中所取得的多個圖像幀的一增強圖像，使上述增強圖像所呈現的一第二解析度較高於上述第一圖像擷取模式的上述圖像所呈現的一第一解析度。
2.根據權利要求1所述的電子裝置，其中上述增強圖像的上述第二解析度高於上述圖像擷取感測器的一像素解析度。
3.根據權利要求1所述的電子裝置，其中上述電子裝置還包括一移動感測器，用以檢測上述電子裝置的移動； 上述圖像擷取系統用以接收對應於上述移動感測器檢測到的移動信息；以及於上述第二圖像擷取模式時，上述圖像擷取系統於檢測到上述電子裝置的移動時取得上述圖像幀的至少一者。
4.根據權利要求3所述的電子裝置，其中上述圖像擷取系統用以於上述多重曝光時間中檢測到的上述移動不符合一既定門坎值時，禁能上述增強圖像的上述輸出。
5.根據權利要求1所述的電子裝置，其中，於上述第二圖像擷取模式時，上述圖像擷取系統用以: 將多個圖像像素與上述圖像`擷取感測器的每一上述像素結合； 利用於上述多重曝光時間中所取得的上述圖像幀，計算上述圖像像素的像素值；以及將所計算出的上述圖像像素的上述像素值的特性加入至上述增強圖像，使上述增強圖像的上述第二解析度呈現對應於上述圖像像素的數量的一像素解析度。
6.根據權利要求1所述的電子裝置，其中於上述第二圖像擷取模式時，上述圖像擷取系統用以: 使用於上述多重曝光時間中所取得的上述圖像幀中的一第一圖像幀作為一參考幀；使用於上述多重曝光時間中所取得的上述圖像幀中剩餘圖像幀於上述參考幀的增強處理操作，用以產生上述增強圖像。
7.根據權利要求1所述的電子裝置，其中上述圖像擷取系統於進行增強處理操作時執行有關上述圖像幀的邊緣檢測。
8.根據權利要求1所述的電子裝置，還包括沿著一第一光學路徑設置的一第一光圈，用以選擇性地準許光線被入射在上述圖像擷取感測器上。
9.根據權利要求8所述的電子裝置，其中上述電子裝置還包括沿著一第二光學路徑設置的一第二光圈，用以選擇性地準許光線被入射在上述圖像擷取感測器上； 於上述第二圖像擷取模式時，上述圖像擷取系統用以選擇性地制動上述第一光圈以及上述第二光圈，使上述圖像信息可沿著上述第一光學路徑以及上述第二光學路徑傳播的光線來取得。
10.根據權利要求1所述的電子裝置，其中上述電子裝置為一智能型手機。
11.一種增強圖像解析度的方法，包括下列步驟: 利用一圖像擷取感測器的像素，取得相應於一場景的多個圖像幀； 指定上述圖像幀其中一者作為一參考幀；以及 處理上述參考幀以提供一增強圖像，使上述增強圖像所呈現的一第二解析度較高於上述參考幀所表不的一第一解析度。
12.根據權利要求11所述的方法，其中上述增強圖像所表示的上述第二解析度高於上述圖像擷取感測器的一像素解析度。
13.根據權利要求11所述的方法，其中上述處理上述參考幀的步驟包括: 將多個圖像像素與上述圖像擷取感測器的每一上述像素結合； 利用於一多重曝光時間中所取得的上述圖像幀，計算上述圖像像素的像素值；以及將所計算出的上述圖像像素的上述像素值的特性加入上述增強圖像，使上述增強圖像的上述第二解析度呈現對應於上述圖像像素的數量的一像素解析度。
14.根據權利要求11所述的方法，其中上述取得上述圖像幀的步驟包括從與上述參考幀的一視點不同的其它視點取得上述圖像幀至少一者。
15.根據權利要求14所述的方法，其中: 上述方法還包括於取得上述圖像幀時檢測與上述圖像擷取感測器有關的移動；以及從上述其它視點取得上述圖像幀的上述至少一者的步驟包括於檢測到有關上述圖像擷取感測器的移動時取得上述圖像信息的上述圖像幀的上述至少一者。
16.根據權利要求11所述的 方法，其中上述處理上述參考幀的步驟包括執行邊緣檢測。
17.根據權利要求11所述的方法，其中上述取得上述圖像信息的上述圖像幀的步驟包括: 選擇性地準許沿著一第一光學路徑傳播的光線被入射在上述圖像擷取感測器上；以及 選擇性地準許沿著一第二光學路徑光線被入射在上述圖像擷取感測器上。
【文檔編號】H04N5/235GK103516989SQ201310020128
【公開日】2014年1月15日 申請日期:2013年1月18日 優先權日:2012年6月26日
【發明者】羅德尼.O.威廉斯 申請人:宏達國際電子股份有限公司