用於圖像幀的處理的方法、設備和電腦程式產品的製作方法

2023-08-10 05:53:06 2

用於圖像幀的處理的方法、設備和電腦程式產品的製作方法
【專利摘要】根據示例實施例，提供了一種方法、設備和電腦程式產品。該方法包括接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀。所述多個彩色圖像幀對應於所述多個全色圖像幀。該方法還包括基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息。基於註冊信息修改與所述全色圖像幀對應的彩色圖像幀。
【專利說明】用於圖像幀的處理的方法、設備和電腦程式產品
【技術領域】
[0001]各個實現方式總體涉及用於處理圖像傳感器所捕獲的圖像幀的方法、設備和電腦程式產品。
【背景技術】
[0002]與捕獲圖像相關的技術上的快速發展已經導致圖像內容創建的指數式增長。像行動電話和個人數字助理(PDA)這樣的設備現在正越來越多地被配置有諸如相機之類的圖像捕獲工具而由此有助於輕鬆地捕獲圖像內容。用戶可以捕獲與各種環境(ambient)條件下的場景相對應的圖像。所捕獲的圖像的質量可能基於當時的環境條件而被影響。例如，在低光照環境條件下，圖像質量可能會大幅劣化，這是因為所捕獲的圖像可能看上去很暗並且缺少與場景相對應的細節。

【發明內容】

[0003]示例實施例的各個方面在權利要求中有所陳述。
[0004]在第一方面，提供了一種方法，該方法包括:接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應於所述多個全色圖像幀；基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息；以及基於所述註冊信息修改對應於所述全色圖像幀對應的彩色圖像幀。
[0005]在第二方面，提供了一種設備，該設備包括至少一個處理器；和包括電腦程式代碼的至少一個存儲器，所述至少一個存儲器和所述電腦程式代碼被配置為利用所述至少一個處理器使得該設備至少執行如下操作:接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應於所述多個全色圖像幀；基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息；以及基於所述註冊信息修改對應於所述全色圖像幀的彩色圖像幀。
[0006]在第三方面，提供了一種包括至少一個計算機可讀存儲介質的電腦程式產品，所述計算機可讀存儲介質包括一組指令，該組指令在由一個或多個處理器執行時使得設備至少執行如下操作:接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應於所述多個全色圖像幀；基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息；以及基於所述註冊信息修改對應於所述全色圖像幀的彩色圖像幀。
[0007]在第四方面，提供了一種設備，該設備包括:用於接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀的裝置，其中所述多個彩色圖像幀對應於所述多個全色圖像幀；用於基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息的裝置；以及基於所述註冊信息修改對應於所述全色圖像幀的彩色圖像幀的裝置。
[0008]在第五方面，提供了一種包括程序指令的電腦程式，所述電腦程式在由設備執行時使得所述設備:接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應於所述多個全色圖像幀；基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息；以及基於所述註冊信息修改對應於所述全色圖像幀的彩色圖像幀。
【專利附圖】

【附圖說明】
[0009]各個實施例通過示例的方式而非限制的方式被示出，在附圖中:
[0010]圖1圖示根據示例實施例的設備；
[0011]圖2圖示根據示例實施例的用於圖像幀的處理的設備；
[0012]圖3是圖示根據示例實施例的用於圖像幀的處理的邏輯過程總覽的示意圖；
[0013]圖4A、圖4B和圖4C圖示根據示例實施例的用於計算本地註冊信息的差別圖像幀的計算。
[0014]圖5是描繪根據示例實施例的用於圖像幀的處理的示例方法的流程圖；
[0015]圖6A和6B圖示描繪根據另一示例實施例的用於圖像幀的處理的示例方法的流程圖。
【具體實施方式】
[0016]示例實施例和它們潛在的效果可通過參考附圖的圖1到圖6B來理解。
[0017]圖1圖示根據示例實施例的設備100。然而，應當理解如圖所示的下文中所描述的設備100隻是圖示可能得益於各個實施例的一種類型的設備，因此不應當被用來限制實施例的範圍。因此，應當理解下面結合設備100所描述的組件中的至少一些組件可以是可選的，因而在示例實施例中可以包括比結合圖1的示例實施例所描述的那些組件更多、更少或者不同的組件。設備100可以是多種移動電子設備中的任意一種，例如可攜式數字助理(PDA)、尋呼機、移動電視、遊戲設備、蜂窩電話、各種類型的計算機(例如，膝上型計算機、移動計算機或臺式計算機)、相機、音頻/視頻播放器、無線電、全球定位系統(GPS)設備、媒體播放器、移動數字助理或者上述設備的任意組合以及其它類型的通信設備。
[0018]設備100可以包括與發射器104和接收器106進行可操作通信的天線102(或者多個天線)。設備100還可以包括諸如控制器108或者其它處理設備之類的設備，該處理設備分別向發射器104提供信號和從接收器106接收信號。所述信號可以包括根據適用的蜂窩系統的空中接口標準的信令信息，並且/或者還可以包括與用戶語音相對應的數據，接收到的數據和/或用戶生成的數據。就此而言，設備100能夠以一個或多個空中接口標準、通信協議、調製類型和接入類型進行操作。作為例示，設備100能夠根據多個第一代、第二代、第三代和/或第四代通信協議等中的任一個協議進行操作。例如，設備100能夠根據第二代(2G)無線通信協議IS-136 (時分多路接入(TDMA))、GSM (全球移動通信系統)和IS-95 (碼分多路接入(CDMA))或者根據諸如通用移動通信系統(UMTS)、CDMA1000、寬帶CDMA (WCDMA)和時分同步CDMA (TD-SCDMA)之類的第三代(3G)無線通信協議、根據諸如演進通用地面無線電接入網絡(E-UTRAN)之類的3.9G無線通信協議、根據第四代(4G)無線通信協議等進行操作。作為替代(或者附加地)，設備100能夠根據非蜂窩通信機制進行操作。例如，諸如網際網路、區域網、廣域網之類的計算機網絡；諸如BI uetooth $網絡、Z i gbee?網絡、電氣電子工程協會(IEEE) 802.1lx網絡之類的短距離無線通信網絡；諸如公共交換電話網絡(PSTN)之類的有線電信網絡。
[0019]控制器108除其他之外可以包括實現設備100的音頻和邏輯功能的電路裝置。例如，控制器108可以包括但不限於一個或多個數位訊號處理器設備、一個或多個微處理器設備、具有隨附的數位訊號處理器的一個或多個處理器、不具有隨附的數位訊號處理器的一個或多個處理器、一個或多個專用計算機晶片、一個或多個現場可編程門陣列(FPGA)、一個或多個控制器、一個或多個專用集成電路(ASIC)、一個或多個計算機、各種模擬數字轉換器、數字模擬轉換器和/或其它支持電路。設備100的控制和信號處理功能根據這些設備各自的能力被分配在這些設備之間。因而，控制器108因此還可以包括在調製和傳輸之前對消息和數據進行卷積編碼和交織的功能。控制器108還可以包括內部語音編碼器，並且可以包括內部數據數據機。此外，控制器108可以包括操作一個或多個軟體程序的功能，所述軟體程序可以被存儲在存儲器中。例如，控制器108能夠操作連接程序，比如傳統的Web瀏覽器。然後，該連接程序可以允許設備100根據無線應用協議(WAP)、超文本傳輸協議(HTTP)等發送和接收Web內容，比如基於位置的內容和/或其它web頁面內容。在示例實施例中，控制器108可以被體現為諸如雙核或四核處理器之類的多核處理器。然而，在控制器108中可以包括任意數目的處理器。
[0020]設備100還可以包括可以被耦合到控制器108的用戶接口，包括諸如振鈴器110、耳機或揚聲器112、麥克風114、顯示器116之類的輸出設備和用戶輸入接口。允許設備100接收數據的用戶輸入接口可以包括允許設備100接收數據的多個設備中的任意設備，例如小鍵盤118、觸摸顯示器、麥克風或者其它輸入設備。在包括小鍵盤118的實施例中，小鍵盤118可以包括數字(0-9)和相關的鍵(#、*)，以及被用於操縱設備100的其它硬按鍵和軟按鍵。替代地或附加地，小鍵盤118可以包括傳統的QWERTY小鍵盤布置。小鍵盤118還可以包括具有相關聯的功能的各種軟按鍵。附加地或者替代地，設備100可以包括諸如遊戲杆或者其它用戶輸入接口之類的接口設備。設備100還包括諸如振動電池組之類的電池120以用於為被用於操縱設備100的各種電路供電以及可選地提供機械振動作為可檢測的輸出。
[0021]在示例實施例中，設備100包括與控制器108進行通信的諸如相機、視頻和/或音頻模塊之類的媒體捕獲元件。該媒體捕獲元件可以是用於捕獲圖像幀、視頻和/或音頻用以存儲、顯示或傳輸的任意裝置。在示例實施例中，媒體捕獲元件是相機模塊122，該模塊可以包括能夠由所捕獲的圖像形成數字圖像文件的數字相機。因此，相機模塊122包括諸如透鏡或其它光學組件之類的所有硬體和用於由所捕獲的圖像幀創建數字圖像文件的軟體。替代地或者附加地，相機模塊122可以包括查看圖像幀所需要的硬體，同時設備100的存儲器設備以軟體的形式存儲由供控制器108執行的指令以由所捕獲的圖像幀創建數字圖像文件。在示例實施例中，相機模塊122還可以包括輔助控制器108處理圖像數據的諸如協同處理器之類的處理元件以及用於壓縮和/或解壓縮圖像數據的編碼器和/或解碼器。該編碼器和/或解碼器可以根據JPEG標準格式或者另一種類似的格式進行編碼和/或解碼。對於視頻，編碼器和/或解碼器可以利用諸如與H.261、H.262/MPEG-2、H.263、H.264/MPEG-4、MPEG-4等相關聯的標準之類的多個標準格式中的任一種標準格式。在一些情況下，相機模塊122可以向顯示器116提供實時圖像數據。在示例實施例中，顯示器116可以位於設備100的一側並且相機模塊122可以包括被置於設備100相對於顯不器116的相對側的透鏡，以使得相機模塊122能夠捕獲設備100的一側的圖像幀並且向位於設備100的另一側的用戶呈現這樣的圖像幀的視圖。
[0022]設備100還可以包括用戶識別模塊(UM) 124。ΠΜ124可以是內置有處理器的存儲器設備。ΠΜ124可以包括例如訂戶識別模塊(S頂)、通用集成電路卡(UICC)、通用訂戶識別模塊(USM)、可去除訂戶識別模塊(R-UM)或者任何其它智慧卡。ΠΜ124通常存儲與移動訂戶相關的信息元素。除了 UMI124之外，設備100可以配備有存儲器。例如，設備100可以包括易失性存儲器126，例如包括用於暫時存儲數據的高速緩存區域的易失性隨機訪問存儲器(RAM)。設備100還可以包括可以是嵌入式的和/或可以是可移除的其它非易失性存儲器128。附加地或替代地，非易失性存儲器128可以包括電可擦除可編程只讀存儲器(EEPR0M)、快閃記憶體、硬碟驅動器等。存儲器可以存儲被設備100用來實現設備100的功能的任意條信息和數據。
[0023]圖2圖示根據示例實施例的用於圖像幀的處理的設備200。用於圖像幀的處理的設備200可以在例如圖1的設備100中被採用。但是，應當注意設備200還可以被用在各種其它移動的和固定的設備上，因此，實施例應當不限於在諸如圖1的設備100之類的設備上的應用。可替換地，實施例可以在包括例如以上所列出的那些設備的組合上被採用。因此，各個實施例可以作為整體在單個設備上(例如在設備100上或者在設備的組合中)被體現。還應當注意以下所描述的設備或元件可以不是強制性的，因而在特定實施例中一些設備或元件可以被省略。
[0024]在實施例中，圖像幀可以包括利用設備100的相機模塊122捕獲並且存儲在設備100的存儲器中的彩色圖像幀和全色圖像幀。圖像幀可以被存儲在諸如設備200的硬碟驅動器、隨機訪問存儲器(RAM)之類的內部存儲器中，或者被存儲在諸如數字通用盤、緻密盤、快閃記憶體驅動器、存儲卡之類的外部存儲介質中，或者通過網際網路、Bluetooth?等來自外部存儲位置。
[0025]設備200包括至少一個處理器202和至少一個存儲器204或者另外與其進行通信。所述至少一個存儲器204的示例包括但不限於易失性和/或非易失性存儲器。易失性存儲器的一些示例包括但不限於隨機訪問存儲器、動態隨機訪問存儲器、靜態隨機訪問存儲器等。非易失性存儲器的一些示例包括但不限於硬碟、磁帶、光碟、可編程只讀存儲器、可擦除的可編程只讀存儲器、電可擦除的可編程只讀存儲器、快閃記憶體等。存儲器204可以被配置為存儲信息、數據、應用、指令等，以用於使設備200能夠執行根據各個示例實施例的各個功能。例如，存儲器204可以被配置為對包括供處理器202處理的圖像幀的輸入數據進行緩衝。附加地或者替代地，存儲器204可以被配置為存儲供處理器202執行的指令。
[0026]處理器202的示例可以包括控制器108。處理器202可以以多種不同的方式來體現。處理器202可以被體現為多核處理器、單核處理器或者多核處理器和單核處理器的組合。例如，處理器202可以被體現為各種處理裝置中的一個或多中，例如協同處理器、微處理器、控制器、數位訊號處理器(DSP)、有或沒有隨附的DSP的處理電路裝置，或者包括諸如專用集成電路(ASIC)、現場可編程門陣列(FPGA)、微控制器單元(MCU)、硬體加速器、專用計算機晶片之類的集成電路的各種其它處理設備。在示例實施例中，多核處理器可以被配置為執行存儲在存儲器204中或者處理器202可以其它方式存取的指令。替代地或附加地，處理器202可以被配置為執行硬編碼功能。因此，不管是通過硬體、軟體方法還是硬體和軟體方法的組合來配置，處理器202都可以代表例如以物理上在電路裝置中體現的實體，該實體在被相應地配置時能夠執行根據各個實施例的操作。例如，如果處理器202被體現為ASIC、FPGA等中的兩種或多種，則處理器202可以是用於執行這裡所描述的操作的專門配置的硬體。可替換地，作為另一示例，如果處理器202被體現為軟體指令的執行器，則這些指令可以專門配置處理器202以在這些指令被執行時執行這裡所描述的算法和/或操作。然而，在一些情況下，處理器202可以是特定設備的處理器，例如適於通過利用用於執行這裡所描述的算法和/或操作的指令進一步配置處理器202來採用實施例的移動終端或網絡設備。處理器202除其他之外可以包括被配置為支持處理器202的操作的時鐘、算術邏輯單元(ALU)和邏輯門等。
[0027]用戶接口 206可以與處理器202進行通信。用戶接口 206的示例包括但不限於輸入接口和/或輸出用戶接口。輸入接口被配置為接收用戶輸入的指示。輸出用戶接口向用戶提供可聽的、可視的、機械的或者其它輸出和/或反饋。輸入接口的示例可以包括但不限於鍵盤、滑鼠、遊戲杆、小鍵盤、觸控螢幕、軟按鍵等。輸出接口的示例可以包括但不限於諸如發光二極體顯示器、薄膜電晶體(TFT)顯示器、液晶顯示器、有源矩陣有機發光二極體(AMOLED)顯示器之類的顯示器、麥克風、揚聲器、振鈴器、振動器等。在示例實施例中，用戶接口 206除其他設備或元件之外可以包括揚聲器、麥克風、顯示器和鍵盤、觸控螢幕等中的任一個或所有。就此而言，例如，處理器202可以包括被配置為控制諸如揚聲器、振鈴器、麥克風、顯示器之類的用戶接口 206的一個或多個元件的至少一些功能的用戶接口電路裝置。處理器202和/或包括處理器202的用戶接口電路裝置可以被配置為通過電腦程式指令控制用戶接口 206的一個或多個元件的一個或多個功能，所述電腦程式指令例如是在處理器202可訪問的存儲器(例如至少一個存儲器204等)上存儲的軟體和/或固件。
[0028]在示例實施例中，設備200可以包括電子設備。該電子設備的一些示例包括通信設備、具有通信能力的媒體捕獲設備、計算設備等。通信設備的一些示例可以包括行動電話、個人數字助理(PDA)等。計算設備的一些示例可以包括膝上型計算機、個人計算機等。在示例實施例中，該電子設備可以包括具有用戶接口電路裝置和用戶接口軟體的用戶接口，例如Π206，所述用戶接口電路裝置和用戶接口軟體被配置為有助於用戶通過使用顯示器控制該電子設備的至少一個功能並且還被配置為對用戶輸入做出響應。在示例實施例中，該電子設備可以包括被配置為顯示該電子設備的用戶接口的至少一部分的顯示器電路裝置。顯示器和顯示器電路裝置可以被配置為有助於用戶控制該電子設備的至少一個功能。
[0029]在示例實施例中，所述電子設備可以被體現為包括收發器。該收發器可以是根據軟體操作或者另外以硬體或者硬體和軟體的組合的形式體現的任意設備或電路裝置。例如，在軟體控制下操作的處理器202或者被體現為專門被配置為執行這裡所描述的操作的ASIC或FPGA的處理器202或者這兩種處理器的組合而由此配置所述設備或電路裝置執行收發器的功能。收發器可以被配置為接收圖像幀。在實施例中，圖像幀對應於場景。
[0030]在示例實施例中，所述電子設備可以被體現為包括諸如彩色圖像傳感器208之類的彩色圖像傳感器和諸如全色圖像傳感器210之類的全色圖像傳感器。彩色圖像傳感器208和全色圖像傳感器210可以與處理器202和/或設備200的其它組件進行通信。彩色圖像傳感器208和全色圖像傳感器210可以與其它成像電路裝置和/或軟體進行通信，並且被配置為捕獲數字圖像幀或者製作視頻或其它圖形媒體文件。彩色圖像傳感器208、全色圖像傳感器210和其它電路裝置的組合例如可以是設備100的相機模塊122的示例。在特定示例實施例中，彩色圖像傳感器208和全色圖像傳感器210可以是在設備200外部的，但是可由設備200訪問和/或控制。
[0031]這些組件(202-210)可以通過集中式電路系統212與彼此通信以用於圖像幀的處理。集中式電路系統212可以是被配置為除其他之外提供或允許設備200的組件(202-210)之間的通信等的 各種設備。在特定實施例中，集中式電路系統212可以是中央印刷電路板(PCB),比如母板、主板、系統板或邏輯板。集中式電路系統212還可以包括或者可替換地包括其它印刷電路組件(printed circuit assembly, PCA)或通信信道介質。
[0032]在示例實施例中，處理器202被配置為利用存儲器204的內容以及可選地利用這裡所描述的其它組件來使得設備200接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀。在實施例中，可以從諸如彩色圖像傳感器208之類的彩色圖像傳感器接收所述多個彩色圖像幀，並且可以從全色圖像傳感器210接收所述多個全色圖像幀。在實施例中，對對應於場景的所述多個彩色圖像幀和所述多個全色圖像幀的捕獲可以由設備100的相機模塊122協助進行。該場景可以包括在設備200的周圍環境中的一個或多個物體，例如人、或個人的集會、鳥、書、操場、諸如山之類的自然風景等。在實施例中，可以從諸如設備200的硬碟驅動器、隨機訪問存儲器(RAM)之類的內部存儲器，或者從諸如數字通用盤、緻密盤、快閃記憶體驅動器、存儲卡之類的外部存儲介質，或者通過網際網路、Bluetooth?.等從外部存儲位置處被接收所述多個彩色圖像幀和所述多個全色圖像幀。還可以從存儲器204被接收所述多個彩色圖像幀和所述多個全色圖像幀。在實施例中，可以經由網絡接收所述多個彩色圖像幀和所述多個全色圖像幀。網絡的示例可以包括有線網絡、無線網絡和/或其組合。有線網絡的示例包括但不限於區域網、廣域網、乙太網等。無線網絡的示例包括但不限於蜂窩網絡、W1-Fi網絡、無線區域網、Zigbee網絡等。有線網絡和無線網絡的組合的示例可以包括但不限於網際網路。在示例實施例中，處理裝置可以被配置為接收對應於場景的所述多個彩色圖像幀和所述多個全色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以是控制器108的示例。
[0033]在實施例中，彩色圖像幀對應於全色圖像幀。例如,如果彩色圖像傳感器208和全色圖像傳感器210同時捕獲場景，則所述多個彩色圖像幀和所述多個全色圖像幀可以考慮到在捕獲的場景和時間方面的共性而彼此相關。在實施例中，每個彩色圖像幀可以對應於全色圖像幀。例如，如果C1, C2, (^…(^和P1, P2, Pn分別為彩色圖像傳感器208和全色圖像傳感器210所捕獲的所述多個彩色圖像幀和所述多個全色圖像幀，則彩色圖像幀C1可以對應於全色圖像幀P1，彩色圖像幀C2可以對應於全色圖像幀P2,依此類推。
[0034]在實施例中，與所述多個彩色圖像幀的捕獲相關聯的幀速率可以被配置為等於與全色圖像幀的捕獲相關聯的幀速率。在實施例中，由於全色圖像傳感器210的敏感度幾乎是彩色圖像傳感器208的敏感度的三倍，所以全色圖像傳感器210的自動曝光可以被配置為彩色圖像傳感器208的自動曝光的1/3，以在給定的持續時間中捕獲等同數目的幀。在實施例中，彩色圖像傳感器208用於捕獲圖像幀的自動曝光可以使用標準的自動曝光算法被確定，並且與全色圖像傳感器210相關聯的自動曝光可以被配置為為彩色圖像傳感器208確定的自動曝光的1/3。
[0035]在示例實施例中，處理器202被配置為利用存儲器204的內容並且可選地利用這裡所描述的其它組件來使得設備200基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息。在實施例中，所述一個或多個全色圖像幀在捕獲順序上可以在所述全色圖像幀之前。在一些實施例中，可以在對應於場景的物體在運動時、或者當在捕獲物體的圖像幀時圖像捕獲設備不穩時或者在這兩種情況下捕獲所述多個彩色圖像幀和所述多個全色圖像幀。與場景對應的物體的運動可以被稱為本地運動，而由於(例如由於被手持而)不穩的圖像捕獲設備而在所捕獲的圖像幀中引入的運動可以被稱為全局運動。由於全局運動和/或本地運動，所捕獲的圖像幀可能包括內容的模糊，這可能在圖像幀中所包括的細節上產生扭曲效果。註冊可以指當考慮全局運動和/或本地運動時跨所捕獲的圖像幀將類似的內容對齊的過程。在實施例中，與註冊過程相關聯的信息可以被稱為註冊信息並且可以包括運動對應信息，例如運動矢量信息，該運動對應信息捕獲由於全局運動和本地運動而導致的圖像幀之間的過渡。在實施例中，計算註冊信息可以包括計算全局註冊信息(例如單應變換，homography transformation)和本地註冊信息(例如本地運動矢量信息)。
[0036]在實施例中，計算基於全色圖像幀和一個或多個全色圖像幀的註冊信息。更具體而言，計算全色圖像幀與一個或多個全色圖像幀之間的全局註冊信息和本地註冊信息。在實施例中，計算全局註冊信息包括從所述全色圖像幀和所述一個或多個全色圖像幀中提取特徵。這些特徵的示例可以包括但不限於圖像幀的角點、邊緣或者諸如場景的背景之類的其它感興趣的區域。在示例實施例中，可以使得設備200使用諸如尺度不變特徵變換(SIFT)、Harris角點檢測器、最小吸收同值核區(SUSAN)角點檢測器、加速分割測試特徵(FAST)之類的算法來提取與所述全色圖像幀和所述一個或多個全色圖像幀相關聯的特徵。可替換地，提取特徵可以通過在與所述全色圖像幀和所述一個或多個全色圖像幀對應的宏塊上應用DCT、DST、KLT變換和Hadamard變換中的一個來執行。在示例實施例中，在與所述全色圖像幀和所述一個或多個全色圖像幀對應的宏塊上應用DCT並且因此而得到的直流分量可以被視為特徵。在實施例中，該直流分量可以通過對所述全色圖像幀和所述一個或多個全色圖像幀進行部分解碼而得到。
[0037]在實施例中，計算全局註冊信息還包括將從所述全色圖像幀和所述一個或多個全色圖像幀中所提取的特徵進行匹配。在實施例中，計算全局註冊信息還包括基於所提取的特徵的匹配確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應變換。在實施例中，可以使用諸如隨機抽樣一致性(RANSAC)之類的算法來確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應變換。在實施例中，對於涉及相機平移運動的圖像捕獲實例而言，可以通過估計三維旋轉角度來獲得全局註冊信息。在實施例中，所述全色圖像幀與另一全色圖像幀之間的單應變換可以用註冊矩陣的形式來表示。例如，可以對來自全色圖像幀P1和全色圖像幀P2的特徵進行提取和匹配。可以在P1與P2之間確定單應變換並且所確定的單應變換可以用註冊矩陣H12的形式來表示。
[0038]在實施例中，計算本地註冊信息包括基於與所述一個或多個全色圖像幀中的至少一個全色圖像幀相關聯的單應變換生成對應於所述至少一個全色圖像幀的經補償的全色圖像幀。例如，如果所述全色圖像幀用P1表示並且所述一個或多個全色圖像幀用p2、P3和P4表示，則針對全色圖像幀P2 — P4中的至少一個全色圖像幀，基於與全色圖像幀P2 — P4相關聯的單應變換生成經補償的全色圖像幀。如果針對全色圖像幀P2 - P4的單應變換分別用單應變換矩陣H12、H13和H14表示，則與全色圖像幀P2 - P4對應的經補償的全色圖像幀可以分別被獲得為h12*p2、h13*p3和h14*p4。
[0039]在實施例中，計算本地註冊信息還包括基於所述經補償的全色圖像幀和所述全色圖像幀計算差別圖像幀。在實施例中，可以通過從所述全色圖像幀中減去所述經補償的全色圖像幀來計算差別圖像幀。例如，如果針對全色圖像幀P2生成經補償的全色圖像幀(被計算為H12*p2)，則被表示為D12的差別圖像幀可以按等式(I)所表達的方式被計算為:
[0040]D12=P1 - H12*P2....................................等式(I)
[0041]在實施例中，計算本地註冊信息還包括將與配置所述差別圖像幀的多個像素塊中的每個像素塊相關聯的像素值屬性(attribute)與預定義的閾值進行比較。在實施例中，像素值屬性是與配置所述差別圖像幀的多個像素塊中的每個像素塊相關聯的平均像素值、最大像素值、像素值之和中的一個。在實施例中，差別圖像幀D12中的每個像素的像素值通過將全色圖像幀與經補償的全色圖像幀的像素值相減來計算。例如，在差別圖像幀D12(x，y)中的坐標(x，y)處的每個像素的像素值可以基於等式(I)按等式(2)中所表達的方式來計算:
[0042]D12(x，y)=P1(x，y) _H12*P2(x，y).................................等式(2)
[0043]其中，P1(x，y)和H12*P2(x，y)分別對應於在全色圖像幀P1和經補償的全色圖像幀P2中的坐標(x，y)處的像素的像素值。基於按等式(2)所表達的方式計算出的像素值，平均像素值、最大像素值、像素值之和中的一個可以針對配置差別圖像幀的多個像素塊中的每個像素塊而被計算，並且可以作為像素值屬性與相應的像素塊相關聯。
[0044]在實施例中，可以計算與配置差別圖像幀的多個像素塊中的每個像素塊(例如32X32的不重疊的像素塊)相關聯的諸如平均像素值之類的像素值屬性並且將其與預定義的閾值進行比較。在示例實施例中，預定義的閾值可以被試探性地確定並且可以對應於接近零的非常小的值。在示例實施例中，計算本地註冊信息還包括對來自針對配置差別圖像幀的所述多個像素塊當中的一個或多個像素塊進行運動補償，其中與所述一個或多個像素塊中的每個像素塊相關聯的像素值屬性被確定為超過預定義的閾值。例如，如果針對所述多個像素塊中的像素塊的平均像素值(用D(x，y)表示)與為I的預定義的閾值進行比較並且如果如等式(3)中所表達的D(x，y)大於1，
[0045]D(x，y)>l................................................等式(3)
[0046]則可以對對應的像素塊進行運動補償。在實施例中，對每個像素塊進行運動補償可以生成本地運動矢量信息。在實施例中，所計算出的本地註冊信息可以包括對應於差別圖像幀的一個或多個塊的本地運動矢量信息。在示例實施例中，處理裝置可以被配置為計算全色圖像幀與多個全色圖像幀中的一個或多個全色圖像幀之間的註冊信息。處理裝置的示例可以包括處理器202，該處理器202可以是控制器108的示例。
[0047]在示例實施例中，處理器202被配置為利用存儲器204的內容並且可選地利用這裡所描述的其它組件來使得設備200基於註冊信息修改對應於所述全色圖像幀的彩色圖像幀。例如，如果針對全色圖像幀？1計算註冊信息，則可以基於所計算出的註冊信息來修改來自彩色圖像幀當中、對應於全色圖像幀P1的彩色圖像幀(例如彩色圖像幀C1X在實施例中，針對對應於一個或多個彩色圖像幀的所述彩色圖像幀確定註冊信息。在實施例中，所述一個或多個彩色圖像幀對應於計算註冊信息所基於的所述一個或多個全色圖像幀。例如，如果針對對應於所述一個或多個全色圖像幀匕己…Pn的全色圖像幀P1計算註冊信息，則針對對應於一個或多個彩色圖像幀C2，C^Cn的彩色圖像幀C1確定註冊信息，其中彩色圖像幀C1對應於全色圖像幀P1並且其中彩色圖像幀C2，C^Cn對應於全色圖像幀P2，Pf PN。在實施例中，來自所述一個或多個彩色圖像幀和所述彩色圖像幀的註冊信息等於基於所述全色圖像幀所計算出的註冊信息。如所解釋的，所述多個彩色圖像幀和所述多個全色圖像幀可以按相同的幀速率同時被對應於場景的彩色圖像傳感器208和全色圖像傳感器210捕獲。因此，每個彩色圖像幀對應於來自所述多個全色圖像幀中的全色圖像幀。由於該對應，所以針對所述彩色圖像幀和所述一個或多個彩色圖像幀的註冊信息(例如全局註冊信息和本地註冊信息)可以等同於根據所述多個全色圖像幀所計算出的註冊信息。在實施例中，彩色圖像傳感器208和全色圖像傳感器210可以被附接於剛體(例如設備200或設備100的主體)上。由於剛體的運動，在連續幀之間的兩種圖像傳感器的全局運動和場景的本地運動在彩色圖像傳感器208和全色圖像傳感器210中產生相同的效果。所述彩色圖像幀(例如彩色圖像幀C1)可以基於針對所述全色圖像幀(例如全色圖像幀P1)所計算出的註冊信息而被修改。在示例實施例中，處理裝置可以被配置為基於註冊信息修改對應於所述全色圖像幀相對應的彩色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以作為控制器108的示例。
[0048]在示例實施例中，處理器202被配置為利用存儲器204的內容以及可選地利用這裡所描述的其 它組件來使得設備200基於註冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的對應像素的像素值相加以用於修改所述彩色圖像幀。如所解釋的，針對全色圖像幀所計算出的註冊信息可以被用作所述彩色圖像幀與所述一個或多個彩色圖像幀之間的註冊信息。基於該註冊信息，可以對齊所述彩色圖像幀和所述一個或多個彩色圖像幀上的類似像素並且所述一個或多個彩色圖像幀中的像素值(例如對應於亮度/色度和對應於所產生的像素的強度的值)可以與所述彩色圖像幀中的對應像素的像素值相加以提高與所述彩色圖像幀相關聯的強度。例如，基於所述彩色圖像幀C1與所述一個或多個彩色圖像幀C2, (V..Cn之間所確定的註冊信息,與所述一個或多個彩色圖像幀C2, CfCn中像素相關聯的像素值可以與所述彩色圖像幀C1的對應像素的像素值相加以由此修改所述彩色圖像幀Q。由於像素值與對應於所述彩色圖像幀的像素的相加，所述經修改的彩色圖像幀的強度比與未經修改的彩色圖像幀C1相關聯的強度大。可以類似地修改一個或多個彩色圖像幀以由此提高在低光照狀況下所捕獲的彩色圖像幀的亮度。在示例實施例中，處理裝置可以被配置為基於註冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的相應像素的像素值相加以用於修改所述彩色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以作為控制器108的示例。
[0049]在示例實施例中，處理器202被配置為利用存儲器204的內容以及可選地利用這裡所描述的其它組件使得設備200可以基於註冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值以用於修改所述彩色圖像幀。例如，基於所述彩色圖像幀C1和所述一個或多個彩色圖像幀C2，C^Cn之間所確定的註冊信息，可以通過對與所述一個或多個彩色圖像幀C2，C^Cn中的像素相關聯的像素值和所述彩色圖像幀C1的相應像素的像素值求平均來得到平均像素值。與所述彩色圖像幀C1相關聯的像素的像素值可以利用所述平均像素值來更新以由此修改所述彩色圖像幀Ci。由於對像素的像素值的平均，經修改的彩色圖像幀的強度比與未經修改的彩色圖像幀C1相關聯的強度大。在實施例中，可以將所述一個或多個彩色圖像幀的像素值相加並且可以對其之和的值和所述彩色圖像幀的像素值求平均。可以利用所述平均像素值來更新所述彩色圖像幀的像素值以用於修改彩色圖像幀。可以類似地修改一個或多個彩色圖像幀以由此提高在低光照狀況下所捕獲的所述多個彩色圖像幀的亮度。在示例實施例中，處理裝置可以被配置為可以基於註冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值以用於修改所述彩色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以作為控制器108的示例。
[0050]在示例實施例中，處理器202被配置為利用存儲器204的內容以及可選地利用這裡所描述的其它組件來使得設備200確定所述一個或多個彩色圖像幀中彩色圖像幀的數目以用於修改彩色圖像幀。在實施例中，所述一個或多個彩色圖像幀中用於修改所述彩色圖像幀的彩色圖像幀的數目基於色調映射而被確定。例如，基於色調映射可以確定所述彩色圖像幀中所希望的光強度可能需要將來自所述一個或多個彩色圖像幀當中的『X』個彩色圖像幀的像素值相加和/或對其求平均。因此，基於全局註冊信息和本地註冊信息，只有來自那『X』個彩色圖像幀的像素值可以被用於修改所述彩色圖像幀。在實施例中，針對被修改的彩色圖像幀中的每個位置，選自相鄰彩色圖像幀的像素的數目可能是變化的並且可以不包括所有的彩色圖像幀C2, (V..CN。在實施例中，可以通過將與被修改的彩色圖像幀相關聯的光強度和目標彩色圖像幀C/的光強度不斷進行比較來確定要被相加/求平均的像素的數目。在實施例中，彩色圖像巾貞C1可以經受色調映射(例如具有gamma值2.2的gamma曲線)以生成目標彩色圖像幀C/。可以通過檢查在被修改的彩色圖像幀中的像素位置處的像素的累加之和的值/平均值來計算要被相加和/或求平均的像素的數目(例如K個像素，其中K〈=N)，使得該像素值與在目標彩色圖像幀C/中的對應像素位置處的像素的值相同或更接近。例如，如果在像素位置(X1, Y1)處，在對來自彩色圖像幀(:2、(:3和C4的像素值相加和/或求平均之後，如果像素值與目標彩色圖像幀C/在位置(Xl，yi)處的像素值匹配，則可以只通過僅將來自C2、C3和C4的像素值相加來修改位置(X1, Y1)處的彩色圖像幀。在示例實施例中，處理裝置可以被配置為確定所述一個或多個彩色圖像幀中彩色圖像幀的數目以用於修改彩色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以作為控制器108的示例。參考圖3解釋圖示用於諸如彩色圖像幀之類的圖像幀的處理的總覽的示意圖。
[0051]圖3是圖示根據示例實施例的以用於諸如彩色圖像幀之類的圖像幀的處理邏輯過程總覽300的示意圖。如參考圖2所解釋的，可以例如分別從彩色圖像傳感器208和全色圖像傳感器210處接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀，在圖3中，所接收的所述多個全色圖像幀和所述多個彩色圖像幀分別用302和304表示。所述多個全色圖像幀包括多個全色圖像幀，例如圖像幀306a、306b、306c、306d、306e、306f、306g到306η(下文中被稱為圖像所述多個彩色圖像幀包括多個彩色圖像幀，例如圖像幀308a、308b、308c、308d、308e、308f、308g 到 308η (下文中被稱為圖像幀 C1-CnX
[0052]此外，如參考圖2所解釋的，與所述多個全色圖像幀和所述多個彩色圖像幀相關聯的幀速率可以被配置為相同的。由於彩色圖像傳感器208和全色圖像傳感器210按照相同的幀速率同時捕獲對應於場景的圖像幀，所以所述多個彩色圖像幀C1-Cn可以對應於所述多個全色圖像幀P1-Pntj在示例實施例中，每個彩色圖像幀可以對應於全色圖像幀，如圖3中的條狀箭頭所示。例如，彩色圖像幀C1對應於全色圖像幀P1,彩色圖像幀C2對應於全色圖像幀P2，依此類推。
[0053]可以基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息。例如，可以基於全色圖像幀匕和全色圖像幀P1-P3來計算註冊信息。計算註冊信息可以包括計算全局註冊信息和本地註冊信息。對於計算全局註冊信息，可以對來自所述多個全色圖像幀的特徵進行提取和匹配，如參考圖2所解釋的。可以根據所匹配的全色圖像幀的特徵對確定單應變換(例如按單應變換矩陣的形式)。例如，可以確定全色圖像幀P4與全色圖像幀P3之間的單應變換。以曲線箭頭310、312和314的形式示例性地描繪了全色圖像幀之間的單應變換的確定，曲線箭頭310、312和314對應於全色圖像幀對
P4-P1之間的單應變換的確定。此外，每個曲線箭頭與描述所確定的全色圖像幀對之間的單應變換的單應變換矩陣表示相關聯。例如，曲線箭頭310與捕獲全色圖像幀P4和全色圖像幀P3之間的單應變換的H43相關聯。類似地，曲線箭頭312和314與分別對應於全色圖像幀P4和P2以及P4和P1之間的單應變換相對應的H42和H41相關聯。
[0054]可以利用單應變換形式的全局註冊信息以用於計算本地註冊信息。在下面參考全色圖像幀P3解釋針對全色圖像幀P4的本地註冊信息的計算。要注意的是可以類似地對應於全色圖像幀P2和P1來針對全色圖像幀P4計算本地註冊信息。
[0055]對於計算針對全色圖像幀P4的本地註冊信息，可以生成基於單應變換(例如H43)的對應於全色圖像幀P3的經補償的全色圖像幀。經補償的全色圖像幀可以被表示為H43*P3。可以基於經補償的全色圖像幀h43*p3根據全色圖像幀P4來計算差別圖像幀。例如，被表示為D43的差別圖像幀可以按等式(4)所表達的方式被計算為:
[0056]D43=P4 — H43*P3..........................................等式(4)
[0057]可以計算與配置差別圖像幀D43的多個像素塊中的每個像素塊(例如32X32的像素塊)相關聯的諸如平均像素值或最大像素值之類的像素值屬性並且將其與預定義的閾值進行比較。針對像素值屬性超過預定義閾值的每個像素塊，可以執行運動補償並且可以生成本地運動矢量信息。與全色圖像幀P3相對應的本地運動矢量信息可以包括針對像素值屬性超過預定義閾值的全部像素塊的運動矢量信息。可以類似地計算針對全色圖像幀P4的、對應於全色圖像幀P2和P1的本地註冊信息。
[0058]可以利用對應於全色圖像幀P4的所計算出的全局註冊信息和本地註冊信息以用於修改對應於全色圖像幀P4的彩色圖像幀c4。由於所述多個彩色圖像幀和所述多個全色圖像幀之間的對應關係，針對彩色圖像幀C4的、對應於彩色圖像幀C1-C3的全局註冊信息和本地註冊信息可以被認為是等同於全色圖像幀P4和全色圖像幀P1-P3之間的註冊信息。基於該註冊信息，可以將來自彩色圖像幀C1-C3的像素的像素值與彩色圖像幀C4的對應像素的像素值相加以用於修改彩色圖像幀c4。可替換地，基於註冊信息，可以利用通過對彩色圖像幀C1-C3的像素的像素值和彩色圖像幀C4的對應像素的像素值的平均所獲得的平均像素值來更新針對彩色圖像幀C4的像素的像素值以用於修改彩色圖像幀c4。基於與彩色圖像幀C1-C3中的對應像素相關聯的像素值對對應於彩色圖像幀C4的像素的像素值的相加/更新按圖3中的曲線箭頭316、318和320的形式被示出。由於對應於彩色圖像幀C4的像素的像素值的相加/更新，經修改的彩色圖像幀的強度比與未經修改的彩色圖像幀C4相關聯的強度大。可以類似地修改諸如彩色圖像幀c2，C5, C6之類的一個或多個彩色圖像幀以由此提高在低光照狀況下所捕獲的彩色圖像幀的亮度。為了實現彩色圖像幀中所希望的光強度，可以如參考圖2所解釋的那樣基於色調映射確定其中的像素值可以被相加/求平均的彩色圖像幀的數目。
[0059]圖4A、4B和4C圖示根據示例實施例的用於計算本地註冊信息的差別圖像幀的計算。圖4A和4B分別圖示全色圖像幀402和404。可以從設備200的全色圖像傳感器210接收全色圖像幀402和404。此外，如參考圖2所解釋的，諸如全色圖像傳感器210之類的圖像傳感器所捕獲的圖像幀可能包括由於圖像捕獲介質的移動而造成的扭曲。此外，被捕獲的圖像也可能對應於其中物體在運動的場景。例如，在全色圖像幀402之後被捕獲的全色圖像幀404顯示了兒童的腿部相對於其在全色圖像幀402中的初始位置的移動(用圖4B中的圓形區域406表示)。作為這種本地運動的結果，除了執行全局註冊的計算以考慮圖像傳感器的移動之外，可以執行本地註冊可以以考慮所捕獲的圖像幀中的本地運動。
[0060]對於計算本地註冊信息，可以計算當前全色圖像幀404與前一全色圖像幀402之間的單應變換。可以基於所計算出的單應變換來補償前一全色圖像幀402。此外，可以從當前全色圖像幀404中減去經補償的全色圖像幀402以生成差別圖像幀。按這種方式計算出的差別圖像幀在圖4C中被顯示為差別圖像幀408。差別圖像幀408捕獲被描繪為被包括在圓形區域410中的本地運動信息。差別圖像幀408可以被分成像素塊(例如32X32的像素塊)並且可以計算每個像素塊的像素值屬性(例如平均像素值、最大像素值和/或像素值總和)。可以將每個像素塊的像素值屬性與諸如參考圖2所解釋的預定義的閾值之類的預定義的閾值進行比較。如果對應於像素塊的像素值屬性超過預定義的閾值，則可以對這樣的塊執行運動補償，並且生成對應的本地運動矢量信息。可以將本地運動矢量信息與單應變換一起用於修改對應於全色圖像幀404的彩色圖像幀，如參考圖2和圖3所解釋的。在圖5中解釋了用於圖像幀的處理的方法。
[0061]圖5是描繪根據示例實施例的用於圖像幀的處理的示例方法500的流程圖。流程圖中所描述的方法500可以例如由圖2的設備200執行。流程圖的操作和流程圖中的操作的組合可以用各種裝置來實現，例如硬體、固件、處理器、電路裝置和/或與包括一個或多個電腦程式指令的軟體的執行相關聯的其它設備。例如，各個實施例中所描述的過程中的一個或多個過程可以用電腦程式指令來體現。在示例實施例中，在各個實施例中所描述的體現這些過程的電腦程式指令可以被設備的至少一個存儲器設備存儲並且由設備中的至少一個處理器執行。任何這樣的電腦程式指令可以被加載到計算機或其它可編程設備(例如硬體)上以產生一種機器，使得所得到的計算機或其它可編程設備體現用於執行流程圖中所指定的操作的裝置。可以引導計算機或其它可編程設備按特定方式工作的這些電腦程式指令也可以被存儲在計算機可讀存儲器(與諸如載波或電磁信號之類的傳輸介質相對)中，使得存儲在計算機可讀存儲器中的指令產生一種製品，對該製品的執行實現流程圖中所指定的操作。電腦程式指令也可以被加載到計算機或其它可編程設備上以使得一系列操作在計算機或其它可編程設備上被執行以產生一種計算機實現的過程，使得在計算機或其它可編程設備上執行的指令提供用於實現流程圖中的操作的操作。藉助於圖2的設備200描述方法500的操作。然而，可以利用任何其它設備來描述和/或實踐該方法的操作。
[0062]在方法500的框502處，接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀。在實施例中，可以從諸如彩色圖像傳感器208之類的彩色圖像傳感器接收所述多個彩色圖像幀。在實施例中，可以從諸如全色圖像傳感器210之類的全色圖像傳感器接收所述多個全色圖像幀。所述場景可以包括在周圍環境中的一個或多個物體，例如人、或個人的集會、鳥、書、操場、諸如山之類的自然風景等。在實施例中，可以從諸如設備200的硬碟驅動器、隨機訪問存儲器(RAM)之類的內部存儲器，或者從諸如數字通用盤、緻密盤、快閃記憶體驅動器、存儲卡之類的外部存儲介質，或者通過網際網路、Bluetooth?等從外部存儲位置接收所述多個彩色圖像幀和所述多個全色圖像幀。還可以從存儲器204接收所述多個彩色圖像幀和所述多個全色圖像幀。在實施例中，可以經由網絡接收所述多個彩色圖像幀和所述多個全色圖像幀。網絡的示例可以包括有線網絡、無線網絡和/或其組合。有線網絡的示例包括但不限於區域網、廣域網、乙太網等。無線網絡的示例包括但不限於蜂窩網絡、W1-Fi網絡、無線區域網、Zigbee網絡等。有線網絡和無線網絡的組合的示例可以包括但不限於網際網路。[0063]在實施例中，與所述多個彩色圖像幀的捕獲相關聯的幀速率可以被配置為等於與所述多個全色圖像幀的捕獲相關聯的幀速率。在實施例中，由於全色圖像傳感器的敏感度大約是彩色圖像傳感器的敏感度的三倍，所以全色圖像傳感器的自動曝光可以被配置為彩色圖像傳感器的自動曝光的1/3，以在給定的時間段中捕獲相等數目的幀。在實施例中，彩色圖像傳感器用於捕獲圖像幀的自動曝光可以利用標準的自動曝光算法被確定，並且與全色圖像傳感器相關聯的自動曝光可以被配置為所確定的用於彩色圖像傳感器的自動曝光的1/3。由於幀速率被配置為相同的，所以所述多個彩色圖像幀對應於所述多個全色圖像幀。在實施例中，每個彩色圖像幀可以對應於全色圖像幀。例如，如果C1, C2, CfCN和P1, P2, Ρ^..ΡΝ分別為彩色圖像傳感器和全色圖像傳感器所捕獲的所述多個彩色圖像幀和所述多個全色圖像幀，則彩色圖像幀C1可以對應於全色圖像幀P1,彩色圖像幀C2可以對應於全色圖像幀P2，依此類推。
[0064]在框504處，基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息。在實施例中，計算註冊信息可以包括計算全局註冊信息(例如單應變換)和本地註冊信息(例如本地運動矢量信息)。可以如參考圖2 —圖4Β所解釋的那樣執行全局註冊信息和本地註冊信息的計算。
[0065]在框506處，基於註冊信息修改對應於所述全色圖像幀的彩色圖像幀。例如，如果針對全色圖像幀P1計算註冊信息，則可以基於所計算出的註冊信息來修改來自所述多個彩色圖像幀當中、對應於全色圖像幀P1的彩色圖像幀，例如彩色圖像幀Cp
[0066]在實施例中，可以基於註冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的對應像素的像素值相加以用於修改所述彩色圖像幀。如所解釋的，針對全色圖像幀所計算出的註冊信息可以被用作針對所述彩色圖像幀和所述一個或多個彩色圖像幀的註冊信息。基於該註冊信息，可以對齊所述彩色圖像幀和所述一個或多個彩色圖像幀上的類似像素並且所述一個或多個彩色圖像幀中的像素值(例如對應於亮度/色度和所產生的像素的強度的值)可以與所述彩色圖像幀中的對應像素的像素值相加以提高與所述彩色圖像幀相關聯的強度。在實施例中，可以基於註冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值。在實施例中，可以將所述一個或多個彩色圖像幀的像素值相加並且可以對其之和的值和所述彩色圖像幀的像素值求平均。可以利用所述平均像素值來更新所述彩色圖像幀的像素值以用於修改彩色圖像幀。
[0067]在實施例中，所述經修改的彩色圖像幀的強度大於與所述未經修改的彩色圖像幀相關聯的強度。可以類似地修改一個或多個彩色圖像幀以由此提高在低光照條件下所捕獲的所述彩色圖像幀的亮度。參考圖6A和6B詳細解釋用於圖像幀的處理的另一種方法。
[0068]圖6A和6B圖不描繪根據另一不例實施例的用於圖像巾貞的處理的不例方法600的流程圖。圖2的設備200可以採用用於圖像幀的處理的方法600。在方法600的框602處，接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應於所述多個全色圖像幀。可以如參考圖5的框502所解釋的那樣執行所述多個彩色圖像幀和所述多個全色圖像幀的接收。
[0069]在框604處，從所述全色圖像幀和所述一個或多個全色圖像幀中提取特徵。這些特徵的示例可以包括但不限於圖像幀的角點、邊緣或者諸如場景的背景之類的其它感興趣的區域。在示例實施例中，可以使用諸如尺度不變特徵變換(SIFT)、HarriS角點檢測器、最小吸收同值核區(SUSAN)角點檢測器、加速分割測試特徵(FAST)之類的算法來提取與所述全色圖像幀和所述一個或多個全色圖像幀相關聯的特徵。可替換地，提取特徵可以通過在與所述全色圖像幀和所述一個或多個全色圖像幀對應的宏塊上應用DCT、DST、KLT變換和Hadamard變換中的一個來執行。在示例實施例中，在與所述全色圖像幀和所述一個或多個全色圖像幀相對應的宏塊上應用DCT並且因此而得到的直流分量可以被視為特徵。在實施例中，直流分量可以通過對所述全色圖像幀和所述一個或多個全色圖像幀進行部分解碼而得到。
[0070]在框606處，將從所述全色圖像幀和所述一個或多個全色圖像幀中所提取的特徵進行匹配。在框608處，基於所提取的特徵的匹配確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應變換。在實施例中，可以使用諸如隨機抽樣一致性(RANSAC)之類的算法來確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應變換。在實施例中，所述全色圖像幀與另一全色圖像幀之間的單應變換可以用註冊矩陣的形式來表示。例如，可以對來自全色圖像幀P1和全色圖像幀P2的特徵可以被提取和匹配。可以在P1與P2之間確定單應變換並且所確定的單應變換可以用註冊矩陣H12的形式來表示。
[0071]在框610處，基於與所述一個或多個全色圖像幀中的至少一個全色圖像幀相關聯的單應變換來生成對應於所述至少一個全色圖像幀的經補償的全色圖像幀。在框612處，基於所述經補償的全色圖像幀和所述全色圖像幀計算差別圖像幀。可以如參考圖2 - 4B所解釋的那樣執行經補償的全色圖像幀的生成和差別圖像幀的計算。
[0072]在框614處，計算與配置差別圖像幀的多個像素塊中的每個像素塊(例如32X32的像素塊)相關聯的像素值屬性(例如平均像素值、最大像素值、像素值之和等)並且將其與預定義的閾值進行比較以用於計算本地註冊信息。在示例實施例中，預定義的閾值可以被試探性地確定並且可以對應於接近零的非常小的值。在框616處，對來自配置差別圖像幀的所述多個像素塊當中的一個或多個不重疊的像素塊執行運動補償，其中與所述一個或多個像素塊中的每個像素塊相關聯的像素值屬性被確定為超過預定義的閾值。在實施例中，對每個像素塊執行運動補償而生成本地運動矢量信息。在實施例中，本地註冊信息可以包括對應於差別圖像幀的一個或多個塊的本地運動矢量信息。在框618處，基於單應變換和運動補償(例如，本地註冊信息)修改對應於所述全色圖像幀的彩色圖像幀。可以如圖5的框506所解釋的那樣執行彩色圖像幀的修改。
[0073]在實施例中，確定所述一個或多個彩色圖像幀中彩色圖像幀的數目以用於修改彩色圖像幀。在實施例中，所述一個或多個彩色圖像幀中用於修改所述彩色圖像幀的彩色圖像幀的數目基於色調映射而被確定。例如，基於色調映射可以確定所述彩色圖像幀中所希望的光強度可能需要將來自所述一個或多個彩色圖像幀當中的『X』個彩色圖像幀的像素值相加和/或對其求平均。因此，基於單應變換和本地註冊信息，只有來自那『X』個彩色圖像幀的像素值可以被用於修改所述彩色圖像幀。在實施例中，可以如參考圖2所解釋的那樣確定所述一個或多個彩色圖像幀中的多個彩色圖像幀。
[0074]為了有助於討論圖5、6A和6B的方法500和/或600，特定操作在這裡被描述為構成按特定順序執行的不同步驟。這樣的實現方式是示例性的而非限制性的。特定操作可以被組合在一起並且在單個操作中被執行，並且特定操作可以按不同於這裡所提供的示例中所採用的順序的順序被執行。此外，方法500和/或600的特定操作按自動方式被執行。這些操作基本不涉及與用戶的交互。方法500和/或600的其它操作可以按人工方式或半自動方式被執行。這些操作涉及經由一個或多個用戶接口呈現與用戶的交互。
[0075]在不以任何方式限制下面的權利要求的範圍、解釋或應用的情況下，這裡所公開的示例實施例的一個或多個實施例的技術效果在於執行圖像幀的處理。如圖2-6B中所解釋的，圖像幀的處理涉及利用全色圖像幀準確地計算註冊信息。由於全色圖像傳感器與彩色圖像傳感器(例如是Bayer傳感器)相比為大約3倍的敏感度，所以全色圖像幀具有更高的光強度，因而註冊信息是準確的。此外，針對全色圖像幀的運動估計/補償的可靠性與彩色圖像幀相比更穩健，從而實現了準確的本地運動矢量計算。由於全色圖像幀與彩色圖像幀與彼此對應，所以可以利用針對全色圖像傳感器計算的註冊信息以用於彩色圖像幀以修改彩色圖像幀。對彩色圖像幀的修改涉及對來自相鄰彩色幀的像素值求和/求平均，這在降低彩色圖像幀中的噪聲的同時提高了信號強度，從而增強低光照視頻。還可以利用根據全色圖像幀計算出的註冊信息以用於修改和憑藉彩色圖像幀以增強低光照全景圖像幀。
[0076]上述各個實施例可以用軟體、硬體、應用邏輯或軟體、硬體和應用邏輯的組合來實現。軟體、應用邏輯和/或硬體可以駐留於至少一個存儲器、至少一個處理器、設備或電腦程式產品上。在示例實施例中，應用邏輯、軟體或指令集被保存在各種傳統計算機可讀介質中的任意一種介質上。在本文檔的上下文中，「計算機可讀介質」可以是可以包含、存儲、與其進行通信、傳播或傳送指令的任何介質或設備，所述指令供指令執行系統、設備或裝置(例如計算機)使用或者與其結合使用，該設備的一個示例如圖1和/或圖2中所描述和示出的。計算機可讀介質可以包括計算機可讀存儲介質，該計算機可讀存儲介質可以是可以包含或存儲供指令執行系統、設備或裝置(例如計算機)使用或者與其結合使用的指令。
[0077]如果需要，這裡所討論的不同功能可以彼此按不同的順序和/或同時地被執行。此外，如果需要，上述功能中的一個或多個功能可以是可選的或者可以被組合。
[0078]雖然實施例的各個方面在獨立權利要求中有所陳述，但是其它方面包括來自所描述的實施例和/或具有獨立權利要求的特徵的從屬權利要求的特徵的其它組合，而不只是在權利要求中被明確陳述的組合。[0079]這裡還要注意的是雖然以上描述了本發明的示例實施例，但是這些描述不應當被視為限制性的。相反，可以在不脫離如所附權利要求所限定的本公開的範圍的情況下做出若干改變和修改。
【權利要求】
1.一種用於圖像幀的處理的方法，包括: 接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應於所述多個全色圖像幀； 基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息；以及 基於所述註冊信息修改對應於所述全色圖像幀的彩色圖像幀。
2.根據權利要求1所述的方法，還包括: 根據來自所述多個彩色圖像幀當中的一個或多個彩色圖像幀和所述彩色圖像幀確定註冊信息，其中所述一個或多個彩色圖像幀對應於所述一個或多個全色圖像幀。
3.根據權利要求2所述的方法，其中根據所述彩色圖像幀和所述一個或多個彩色圖像幀的所述註冊信息等同於基於所述多個全色圖像幀的所計算出的註冊信息。
4.根據權利要求2或3所述的方法，其中修改所述彩色圖像幀包括基於所述註冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的對應像素的像素值相加。
5.根據權利要求2或3所述的方法，其中修改所述彩色圖像幀包括基於所述註冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值。
6.根據權利要求4所述的方法，其中計算所述註冊信息包括計算全局註冊信息和本地註冊信息中的至少一個。
7.根據權利要求6所述的方法，其中計算所述全局註冊信息包括: 從所述全色圖像幀和所述一個或多個全色圖像幀中提取特徵； 將從所述全色圖像幀和所述一個或多個全色圖像幀中所提取的所述特徵進行匹配；以及 基於所提取的特徵的所述匹配確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應變換。
8.根據權利要求7所述的方法，其中計算所述本地註冊信息包括: 基於與所述一個或多個全色圖像幀中的至少一個全色圖像幀相關聯的所述單應變換來生成對應於所述至少一個全色圖像幀的經補償的全色圖像幀； 基於所述經補償的全色圖像幀和所述全色圖像幀計算差別圖像幀；以及將與配置所述差別圖像幀的多個像素塊中的每個像素塊相關聯的像素值屬性與預定義的閾值進行比較。
9.根據權利要求8所述的方法，其中計算所述差別圖像幀包括從所述全色圖像幀中減去所述經補償的全色圖像幀。
10.根據權利要求8所述的方法，其中所述像素值屬性是平均像素值、最大像素值、與配置所述差別圖像幀的所述多個像素塊中的每個像素塊相關聯的像素值之和中的一個。
11.根據權利要求8至10中的任一項所述的方法，其中計算所述本地註冊信息包括: 對來自配置所述差別圖像幀的所述多個像素塊當中的一個或多個像素塊執行運動補償，其中與所述一個或多個像素塊中的每個像素塊相關聯的所述像素值屬性被確定為超過所述預定義的閾值。
12.根據權利要求11所述的方法，還包括: 確定所述一個或多個彩色圖像幀中用於修改所述彩色圖像幀的彩色圖像幀的數目。
13.根據權利要求12所述的方法，其中所述一個或多個彩色圖像幀中用於修改所述彩色圖像幀的彩色圖像幀的數目基於色調映射而被確定。
14.根據權利要求1至3中的任一項所述的方法，其中與所述多個全色圖像幀相關聯的幀速率被配置為等於與所述多個彩色圖像幀相關聯的幀速率。
15.根據權利要求1至3中的任一項所述的方法，其中所述經修改的彩色圖像幀的光強度高於所述彩色圖像幀的光強度。
16.一種用於圖像幀的處理的設備，包括: 用於接收與場景相關聯的多個彩色圖像幀和多個全色圖像幀的裝置，其中所述多個彩色圖像幀對應於所述多個全色圖像幀； 用於基於來自所述多個全色圖像幀當中的一個或多個全色圖像幀和某全色圖像幀來計算註冊信息的裝置；以及 用於基於所述註冊信息修改對應於所述全色圖像幀的彩色圖像幀的裝置。
17.根據權利要求16所述的設備，其中所述設備還包括: 用於根據來自所述多個彩色圖像幀當中的一個或多個彩色圖像幀和所述彩色圖像幀確定註冊信息的裝置，其中所述一個或多個彩色圖像幀對應於所述一個或多個全色圖像幀。
18.根據權利要求17所述的設備，其中根據所述彩色圖像幀和所述一個或多個彩色圖像幀的所述註冊信息等同於基於所述多個全色圖像幀的所計算出的註冊信息。
19.根據權利要求17或18所述的設備，其中所述設備還包括: 用於基於所述註冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的對應像素的像素值相加以用於修改所述彩色圖像幀的裝置。
20.根據權利要求17或18所述的設備，其中所述設備還包括: 用於基於所述註冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值的裝置。
21.根據權利要求19所述的設備，其中計算所述註冊信息包括計算全局註冊信息和本地註冊信息中的至少一個。
22.根據權利要求21所述的設備，其中計算所述全局註冊信息包括: 從所述全色圖像幀和所述一個或多個全色圖像幀中提取特徵； 將從所述全色圖像幀和所述一個或多個全色圖像幀中所提取的所述特徵進行匹配；以及 基於所提取的特徵的所述匹配確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應變換。
23.根據權利要求22所述的設備，其中計算所述本地註冊信息包括: 基於與所述一個或多個全色圖像幀中的至少一個全色圖像幀相關聯的所述單應變換來生成對應於所述至少一個全色圖像幀的經補償的全色圖像幀； 基於所述經補償的全色圖像幀和所述全色圖像幀計算差別圖像幀；以及將與配置所述差別圖像幀的多個像素塊中的每個像素塊相關聯的像素值屬性與預定義的閾值進行比較。
24.根據權利要求23所述的設備，其中計算所述差別圖像幀包括從所述全色圖像幀中減去所述經補償的全色圖像幀。
25.根據權利要求23所述的設備，其中所述像素值屬性是平均像素值、最大像素值、與配置所述差別圖像幀的所述多個像素塊中的每個像素塊相關聯的像素值之和中的一個。
26.根據權利要求23至25中的任一項所述的設備，其中計算所述本地註冊信息還包括: 對來自配置所述差別圖像幀的所述多個像素塊當中的一個或多個像素塊執行運動補償，其中與所述一個或多個像素塊中的每個像素塊相關聯的所述像素值屬性被確定為超過所述預定義的閾值。
27.根據權利要求26所述的設備，其中所述設備還包括: 用於確定所述一個或多個彩色圖像幀中用於修改所述彩色圖像幀的彩色圖像幀的數目的裝置。
28.根據權利要求27所述的設備，其中所述一個或多個彩色圖像幀中用於修改所述彩色圖像幀的彩色圖像幀的數目基於色調映射而被確定。
29.根據權利要求16至18中的任一項所述的設備，其中與所述多個全色圖像幀相關聯的幀速率被配置為等於與所述多個彩色圖像幀相關聯的幀速率。
30.根據權利要求16至18中的任一項所述的設備，其中所述經修改的彩色圖像幀的光強度高於所述彩色圖像幀的光強度。
31.根據權利要求16所述的設備，其中所述設備包括電子設備，所述電子設備包括: 用戶接口電路裝置和用戶接口軟體，所述用戶接口電路裝置和所述用戶接口軟體被配置為有助於用戶通過使用顯示器來控制所述電子設備的至少一個功能並且進一步被配置為對用戶輸入做出響應；以及 顯示器電路裝置，所述顯示器電路裝置被配置為顯示所述電子設備的用戶接口的至少一部分，所述顯示和所述顯示電路裝置被配置為有助於所述用戶控制所述電子設備的至少一個功能。
32.根據權利要求31所述的設備，其中所述電子設備包括用於捕獲所述多個彩色圖像幀的彩色圖像傳感器和用於捕獲所述多個全色圖像幀的全色圖像傳感器。
33.根據權利要求31或32所述的設備，其中所述電子設備包括行動電話。
34.一種被配置為執行根據權利要求1至15中的任一項所述的方法的設備。
【文檔編號】H04N5/243GK103841386SQ201310601160
【公開日】2014年6月4日 申請日期:2013年11月25日 優先權日:2012年11月26日
【發明者】V·慕尼恩德 申請人:諾基亞公司