用於流幀的時間穩定的方法和設備的製作方法
2023-12-03 14:46:51 1
用於流幀的時間穩定的方法和設備的製作方法
【專利摘要】一種方法、設備和電腦程式產品被公開以提供與流幀的處理相關聯的控制算法的改進的時間穩定。在方法的上下文中，確定其間經濾波的值已經大於當前幀的當前值的緊接著在前的連續幀的數目或者確定其間經濾波的值已經小於當前幀的當前值的緊接著在前的連續幀的數目。該方法還包括基於緊接著在前的連續幀的數目確定權重。該權重被配置為按照與緊接著在前的連續幀的數目的直接關係變化。該方法還基於該權重和先前經濾波的值與當前幀的值之間的差值的組合確定當前幀的經濾波的值。
【專利說明】用於流幀的時間穩定的方法和設備
【技術領域】
[0001]根據示例實施例提供了用於處理流巾貞(streaming frame)並且更具體地用於提供流中貞的時間穩定(temporal stabilization)方法和設備。
【背景技術】
[0002]為了例如通過捕獲流視頻幀來適當地記錄或者另外處理流幀，實現了多個控制算法。例如，針對流幀的控制算法包括自動曝光控制(AEC)算法、自動白平衡(AWB)算法、如美國專利N0.7，835，588所描述的對比優化算法等等。作為示例，AEC算法接收關於曝光的信息以及與當前幀相關的其它圖像統計數據，確定當前幀所表示的圖像是曝光不足、曝光過度還是適度曝光，並且在其中當前幀所表示的圖像被確定為曝光不足或者曝光過度的情況下，針對下一幀建議不同的曝光。就此而言，圖1描繪了多個幀的照度級(illuminationlevel)以及進而針對下一個幀由AEC算法建議的曝光。因為AEC算法所執行的分析在已經被曝光的幀上被執行，所以針對下一個幀，光照度可能有所改變。由於常常希望幀流體驗沒有延遲，所以可能存在如圖1中的「u」表示的偶爾的曝光不足或者如圖1中的「ο」表示的偶爾的曝光過度。此外，例如可能是由對當前幀的照度級的分析造成的曝光水平的頻繁變化可能響應於圖像亮度的至少一些相對微小的變化產生隨時間推移的曝光水平的重複變化，使得所得到的視覺效果對於觀看者而言可能有些不安。
[0003]已經開發了一種技術，該技術保存已針對多個先前的幀確定的未經濾波的控制值(即一個或多個控制算法的產物)，然後確定並利用控制值的加權平均值。然而，這種技術的收斂速度不能簡單且準確地調諧。此外，這種技術所提供的濾波的強度可能只在其中所保存的樣本的數目相對較高的情況下被提高，這也可能是不利的。
【發明內容】
[0004]提供了根據本發明的示例實施例的方法、設備和電腦程式產品以提供對與流幀的處理相關聯的一個或多個控制算法的改進的時間穩定。就此而言，示例實施例的方法、設備和電腦程式產品以一種平滑而較好快速的方式對曝光的變化做出響應，並且在一個實施例中可以允許收斂速度是可調諧的。此外，示例實施例的方法、設備和電腦程式產品可以被配置以使得不對輸入數據偶爾的短暫異常(例如閃光燈)做出響應。因此，示例實施例的方法、設備和電腦程式產品可以在流幀只有微小變化的情況下提供對流視頻的相對穩定的控制。在一個實施例中，所述方法、設備和電腦程式產品還可以順暢地對流幀的是遞減的或是遞增的趨勢進行跟隨。通過提供針對流幀的時間穩定，用戶體驗可以通過提供所希望的控制但又以一種令人滿意且在一些情況下可由用戶調諧的方式而得以改善。
[0005]在一個實施例中，提供了一種方法，該方法包括利用處理器確定其間經濾波的值已經大於當前幀的當前值的緊接著在前的連續幀的數目或者其間經濾波的值已經小於當前幀的當前值的緊接著在前的連續幀的數目。該實施例的方法還可以包括基於緊接著在前的連續幀的數目確定權重。該權重被配置為按照與緊接著在前的連續幀的數目的直接關係而變化。該實施例的方法還基於該權重和先前經濾波的值和當前幀的當前值之間的差別的組合確定當前幀的經濾波的值。
[0006]在一個實施例中，該方法通過如下方式確定緊接著在前的連續幀的數目:維持其間經濾波的值已經大於當前幀的當前值的緊接著在前的連續幀的數目的第一計數器或者維持其間經濾波的值已經小於當前幀的當前值的緊接著在前的連續幀的數目的第二計數器。該實施例的方法還可以包括在其中經濾波的值至少超過當前幀的當前值的情況下重置第一計數器和第二計數器中的至少一個。另一實施例的方法還可以包括在其中經濾波的值至少超過當前幀的當前值的情況下減小第一計數器和第二計數器中的至少一個。在該實施例中，該方法還可以包括確定緊接著在前的連續幀是遞增的或者確定緊接著在前的連續幀是遞減的。在該實施例中，該方法可以通過在其中緊接著在前的連續幀被確定是遞增的或是遞減的的情況下減小但是不重置第一計數器和第二計數器中的至少一個來減小第一計數器和第二計數器中的至少一個。
[0007]在另一實施例中，提供了一種設備，該設備包括至少一個處理器和包括電腦程式代碼的至少一個存儲器，該至少一個存儲器和該電腦程式代碼被配置為利用該處理器使得該設備至少確定其間經濾波的值已經大於當前幀的當前值的緊接著在前的連續幀的數目或者其間經濾波的值已經小於當前幀的當前值的緊接著在前的連續幀的數目。該至少一個存儲器和該電腦程式代碼還被配置為利用該處理器使得一個實施例的設備基於緊接著在前的連續幀的數目確定權重。該權重被配置為按照與緊接著在前的連續幀的數目的直接關係變化。該至少一個存儲器和該電腦程式代碼還被配置為利用該處理器使得一個實施例的該設備基於該權重和先前經濾波的值與當前幀的當前值之間的差別的組合確定當前幀的經濾波的值。
[0008]在一個實施例中，該至少一個存儲器和該電腦程式代碼被配置為利用該處理器使得該設備通過如下方式確定緊接著在前的連續幀的數目:維持其間經濾波的值已經大於當前幀的當前值的緊接著在前的連續幀的數目的第一計數器或者維持其間經濾波的值已經小於當前幀的當前值的緊接著在前的連續幀的數目的第二計數器。該至少一個存儲器和該電腦程式代碼還可以被配置為利用該處理器使得一個實施例的該設備在其中所述經濾波的值至少超過當前幀的當前值的情況下重置第一計數器和第二計數器中的至少一個。該至少一個存儲器和該電腦程式代碼還可以被配置為利用該處理器使得可替代實施例的該設備在其中經濾波的值至少超過當前幀的當前值的情況下減小第一計數器和第二計數器中的至少一個。在該實施例中，該至少一個存儲器和該電腦程式代碼還可以被配置為利用該處理器使得該設備確定緊接著在前的連續幀是遞增的或者確定緊接著在前的連續幀是遞減的。在該實施例中，該至少一個存儲器和該電腦程式代碼可以被配置為通過在其中所述緊接著在前的連續幀被確定是遞增的或是遞減的的情況下減小但是不重置第一計數器和第二計數器中的至少一個來減小所述第一計數器和第二計數器中的至少一個。
[0009]在另一實施例中，提供了一種電腦程式產品，該電腦程式產品包括其中存儲有計算機可執行程序代碼部分的至少一個非瞬態計算機可讀存儲介質，該計算機可執行程序代碼部分包括用於確定其間經濾波的值已經大於當前幀的當前值的緊接著在前的連續幀的數目或者其間經濾波的值已經小於當前幀的當前值的緊接著在前的連續幀的數目的程序代碼指令。該實施例的計算機可執行程序代碼部分還包括用於基於緊接著在前的連續幀的數目確定權重的程序代碼指令。該權重被配置為按照與緊接著在前的連續幀的數目的直接關係變化。該實施例的計算機可執行程序代碼部分還包括用於基於權重和先前經濾波的值與當前幀的當前值之間的差別的組合確定當前幀的經濾波的值的程序代碼指令。
[0010]在一個實施例中，用於確定緊接著在前的連續幀的數目的程序代碼指令包括用於維持其間經濾波的值已經大於當前幀的當前值的緊接著在前的連續幀的數目的第一計數器或者維持其間經濾波的值已經小於當前幀的當前值的緊接著在前的連續幀的數目的第二計數器的程序代碼指令。另一實施例的計算機可執行程序代碼部分還可以包括用於在其中經濾波的值至少超過當前幀的當前值的情況下重置第一計數器和第二計數器中的至少一個的程序代碼指令。另一實施例的計算機可執行程序代碼部分還可以包括用於在其中經濾波的值至少超過當前幀的當前值的情況下減小第一計數器和第二計數器中的至少一個的程序代碼指令。在該實施例中，該計算機可執行程序代碼部分還可以包括用於確定緊接著在前的連續幀是遞增的或者確定緊接著在前的連續幀是遞減的的程序代碼指令。在該實施例中，該計算機可執行程序代碼部分還可以包括通過在其中緊接著在前的連續幀被確定是遞增的或是遞減的的情況下減小但是不重置第一計數器和第二計數器中的至少一個來減小第一計數器和第二計數器中的至少一個的程序代碼指令。
[0011]在另一實施例中，提供了一種設備，該設備包括用於確定其間經濾波的值已經大於當前幀的當前值的緊接著在前的連續幀的數目或者其間經濾波的值已經小於當前幀的當前值的緊接著在前的連續幀的數目的裝置。該實施例的設備還可以包括用於基於緊接著在前的連續幀的數目確定權重的裝置。該權重按照與緊接著在前的連續幀的數目的直接關係變化。該實施例的設備還包括用於基於該權重和先前經濾波的值與當前幀的當前值之間的差別的組合確定當前幀的經濾波的值的裝置。
【專利附圖】
【附圖說明】
[0012]已經概括描述了本公開的特定示例實施例，現在將參考附圖，附圖不必要時按比例繪製的，其中:
[0013]圖1是多個幀的照度級和AEC算法針對幀所建議的曝光水平的圖形表示；
[0014]圖2是可以根據本發明的示例實施例被專門配置的設備的框圖；
[0015]圖3是圖示了根據本發明的示例實施例的、例如由圖2的設備執行的操作的流程圖；
[0016]圖4是根據本發明的示例實施例的、被分配給經濾波的值與控制算法的當前值之間的差別的權重以及對應的計數器值的圖形表示，以及響應於多個流幀的控制算法的未經濾波的值和經濾波的值的表示；
[0017]圖5是根據本發明的示例實施例的基於計數器的權重生成函數的圖形表示；
[0018]圖6是根據本發明的示例實施例的控制算法的未經濾波的值和經濾波的值的圖形表示；以及
[0019]圖7是根據本發明的示例實施例確定的更平滑地收斂的經濾波的控制值的圖形表不。
【具體實施方式】[0020]下文中將參考附圖更全面地描述本發明的一些實施例，在附圖中示出了本發明的一些實施例(而非全部實施例)。實際上，本發明的各個實施例可以按很多不同的形式被實現並且不應當被解釋為局限於這裡所提供的實施例；相反，這些實施例被提供以使得本公開將滿足所適用的法律要求。相同的標號通篇指代相同的元素。如這裡所使用的，術語「數據」、「內容」、「信息」和類似的術語可以被互換地使用以指代能夠根據本發明的實施例被發送、接收和/或存儲的數據。因而，對任何這樣的術語的使用不應當被用來限制本發明的實施例的精神和範圍。
[0021 ] 此外，如這裡所使用的，術語「電路裝置「指代(a)只有硬體的電路實現方式(例如採用模擬電路和/或數字電路的實現方式)；(b)電路和電腦程式產品的組合，所述電腦程式產品包括被存儲在一個或多個計算機可讀存儲器上的軟體和/或固件指令，所述電路和電腦程式產品一起工作以使得設備執行這裡所描述的一個或多個功能；以及(C)需要軟體或固件以進行操作(即使該軟體或固件並非物理上存在的)的電路，例如微處理器或微處理器的一部分。這個關於「電路裝置」的定義適用於這裡對該術語的全部使用，包括在任意權利要求中的使用。又例如，如這裡所使用的，術語『電路』還包括包括一個或多個處理器和/或這些處理器的部分以及伴隨的軟體和/或固件的實現。又例如，這裡所使用的術語「電路裝置」還包括例如用於行動電話的基帶集成電路或應用處理器集成電路或者伺服器中類似的集成電路、蜂窩網絡設備、其它網絡設備和/或其它計算設備中的類似的集成電路。
[0022]如這裡所定義，指代非瞬態物理存儲介質(例如易失性或非易失性存儲器設備)的「計算機可讀存儲介質」可以與指代電磁信號的「計算機可讀傳輸介質」區分開。
[0023]提供根據本發明的示例實施例的方法、設備和電腦程式產品以提供針對流幀(例如流視頻幀)的改進的時間穩定。因此，該方法、設備和電腦程式產品可以用被配置為接收和呈現流幀(例如流視頻)的各種計算設備中的任意計算設備來實現。例如，這些計算設備可以包括各種移動終端中的任意一種，例如可攜式數字助理(PDA)、行動電話、智慧型電話、尋呼機、移動電視、遊戲設備、膝上型計算機、照相機、平板計算機、觸摸表面、視頻記錄器、音頻/視頻播放器、無線電、電子書、定位設備(例如全球定位系統(GPS)設備)或者前述設備的任意組合以及其它類型的語音和文本通信系統。附加地或可替代地，所述計算設備可以包括固定計算設備，例如個人計算機，計算機工作站等。此外，示例實施例的方法、設備和電腦程式產品可以用被配置以為一個或多個計算設備(例如一個或多個客戶端設備)提供流幀的時間穩定的網絡設備(例如伺服器或其它網絡實體)來實現。
[0024]不管是何種類型的計算設備，可以根據本發明的示例實施例被專門配置為提供流幀的時間穩定的設備10在圖2中被示出。還應當注意雖然圖2示出了用於提供流幀的時間穩定的設備的配置的一個示例，但是各種其它配置也可以被用來實現本發明的實施例。因此，在一些實施例中，雖然設備或元件被顯示為與彼此通信，但是下文中，這些設備或元件應當被認為是能夠在同一設備或元件內被實現的，並且因而，被顯示為彼此通信的設備或元件應當被理解為或者是同一設備或元件的多個部分。
[0025]現在參考圖2，設備10可以包括處理器12、存儲器設備14以及可選的通信接口 16和用戶接口 18或者另外與這些元件通信。在一些實施例中，處理器(和/或協同處理器或者任何其它輔助或者與處理器相關聯的處理電路裝置)可以經由用於在設備的組件之間傳送信息的總線與存儲器設備通信。存儲器設備可以是非瞬態的並且可以包括例如一個或多個易失性和/或非易失性存儲器。換言之，例如，存儲器設備可以是包括被配置為存儲可以由機器(例如像處理器這樣的計算設備)獲取的數據(例如比特)的門的電子存儲設備(例如計算機可讀存儲介質)。存儲設備可以被配置為存儲用於使得所述設備能夠執行根據本發明的示例實施例的各種功能的信息、數據、內容、應用、指令等。例如，存儲器設備可以被配置為緩衝用於由處理器處理的輸入數據。附加地或可替代地，存儲器設備可以被配置為存儲用於由處理器執行的指令。
[0026]設備10可以用諸如移動終端之類的計算設備來實現。但是，在一些實施例中，該設備可以被實現為晶片或晶片組。換言之，該設備可以包括在結構化組件(例如基板)上的包括材料、組件和/或電線的一個或多個物理封裝(例如晶片)。所述結構化組件可以為其中所包括的組件電路提供物理強度、尺寸保全和/或對電交互的限制。因此，在一些情況下，該設備可以被配置為在單個晶片上或者作為單個「片上系統」實現本發明的實施例。因此，在一些情況下，晶片或晶片組可以構成用於執行用於提供這裡所描述的功能的一個或多個操作的裝置。
[0027]處理器12可以用多種不同的方式被實現。例如，處理器可以被實現為各種硬體處理裝置中的一個或多個，例如協同處理器、微處理器、控制器、數位訊號處理器(DSP)、有或沒有伴隨的DSP的處理元件或者各種其它處理電路裝置，包括例如ASIC (專用集成電路)、FPGA (現場可編程門陣列)、微控制器單元(MCU)、硬體加速器、專用計算機晶片等之類的集成電路。因此，在一些實施例中，處理器可以包括被配置為獨立執行的一個或多個處理核。多核處理器可以在單個物理封裝內實現多重處理。作為附加或替代，處理器可以包括經由總線被串聯配置的一個或多個處理器以實現指令的獨立執行、流水線和/或多線程。
[0028]在示例實施例中，處理器12可以被配置為執行存儲在存儲器設備14中或者處理器可獲取的指令。可替換或附加地，處理器可以被配置為執行硬編碼的功能。因此，不管是用硬體或軟體方法或者它們的組合進行配置，處理器都可以代表在被相應地配置時能夠執行根據本發明的實施例的操作的實體(例如物理上用電路裝置實現的實體)。因而，例如，當處理器被實現為ASIC、FPGA等時，處理器可以是用於執行這裡所描述的操作的被專門配置的硬體。或者，作為另一示例，當處理器被實現為軟體指令的執行器時，所述指令可以專門配置處理器以在指令被執行時執行這裡所描述的算法和/或操作。但是，在一些情況下，處理器可以是被配置為通過利用用於執行這裡所描述的算法和/或操作的指令進一步配置處理器來實現本發明的實施例的特定設備(例如直通顯示器或移動終端)的處理器。該處理器可以包括被配置為支持處理器的操作的時鐘、算術邏輯單元(ALU)和邏輯門。
[0029]同時，通信接口 16可以是被配置為從/向網絡和/或與設備10進行通信的任何其它設備或模塊接收和/或發送數據的任意裝置，例如用硬體或硬體和軟體的組合實現的設備或電路裝置。就此而言，通信接口可以包括例如用於實現與無線通信網絡的通信的天線(或多個天線)和支持硬體和/或軟體。附加或可替代地，通信接口可以包括用於與天線交互以致使經由天線的信號傳輸或者處置接收經由天線接收的信號的電路裝置。在一些環境下，通信接口可以作為選擇地或者同時支持有線通信。因此，例如，通信接口可以包括用於支持經由線纜、數字訂戶線(DSL)、通用串行總線(USB)或其它機制的通信的通信數據機和/或其它硬體/軟體。[0030]在一些實施例中，設備10可以包括用戶接口 18，該用戶接口可以進而與處理器12通信以向用戶提供輸出並且在一些實施例中接收關於用戶輸入的指示。因此，用戶接口可以包括顯示器並且在一些實施例中，也可以包括鍵盤、滑鼠、遊戲杆、觸控螢幕、觸摸區域、軟按鍵、傳聲器、揚聲器或其它輸入/輸出機構。替代或附加地，處理器可以包括被配置為控制諸如顯示器以及一些實施例中的揚聲器、響鈴、傳聲器等之類的一個或多個用戶接口元件的至少一些功能的用戶接口電路裝置。處理器和/或包括該處理器的用戶接口電路裝置可以被配置為通過存儲在處理器可訪問的存儲器(例如存儲器設備24等)上的電腦程式指令(例如軟體和/或固件)控制一個或多個用戶接口元件的一個或多個功能。
[0031]現在參考圖3，示出了如下操作，所述操作被執行以提供對由諸如AEC算法、AWB算法、對比優化算法等之類的控制算法提供的輸出的時間穩定。如圖3的框20中所示，設備10可以包括用於確定由相應的控制算法針對前一幀產生的前一經濾波的值與該控制算法響應於當前幀產生的當前值之間的差別的裝置，比如處理器12。就此而言，諸如處理器之類的設備可以根據控制算法的類型被配置以確定所述差別為針對當前幀的取決於算法的當前值與針對前一幀的控制算法的前一經濾波的值的比值，確定該差別為針對當前幀的控制算法的當前值與針對前一幀的控制算法的前一經濾波的值之間的差別，在多個值被評估的情況下確定所述差別為差別的總和等等。
[0032]如圖3的框22中所示，設備10還可以包括用於確定與針對前一幀的控制算法的經濾波的值和針對當前幀的控制算法的當前值之間的差別相關聯的權重的裝置，比如處理器12，如第6，148，103號美國專利所描述的，該美國專利的內容全部通過引用被合併於此。諸如處理器之類的設備可以確定該權重為取決於針對前一幀的控制算法的前一經濾波的值與針對當前幀的控制算法的當前值之間的差別。在一個實施例中，該權重與針對前一幀的控制算法的前一經濾波的值與針對當前幀的控制算法的當前值之間的差別具有直接關係。因此，諸如處理器之類的設備可以在針對前一幀的控制算法的前一經濾波的值與針對當前幀的控制算法的當前值之間的差別較大的情況下分配較大的權重並且在針對前一幀的控制算法的前一經濾波的值與針對當前幀的控制算法的當前值之間的差別較小的情況下分配較小的權重。
[0033]如圖3的框24中所示，本發明的示例實施例的設備10還可以包括用於確定其間控制算法的經濾波的值已經大於當前幀的控制算法的當前值的緊接著在前的連續幀的數目的裝置，比如處理器12。類似地，該設備可以包括用於確定其間控制算法的經濾波的值已經小於當前幀的控制算法的當前值的緊接著在前的連續幀的數目的裝置，比如處理器。該實施例的設備還包括用於基於緊接著在前的連續幀的數目確定權重的裝置，比如處理器。參見圖3的框26。就此而言，權重按照與緊接著在前的連續幀的數目的直接關係變化。因此，諸如處理器之類的設備可以在緊接著在前的連續幀的數目較大的情況下分配較大的權重並且在緊接著在前的連續幀的數目較小的情況下分配較小的權重。通過按照與緊接著在前的連續幀的數目的直接關係的方式分配權重，短暫異常峰值對控制算法的輸出的影響被減小。此外，權重與緊接著在前的連續幀的數目之間的直接關係使得在其中緊接著在前的連續幀的數目較大的情況下收斂被加大，同時仍然保持相對平滑的收斂。
[0034]為了確定緊接著在前的連續幀的數目，一個實施例的設備10可以包括用於維持其間控制算法的經濾波的值已經大於針對當前幀的控制算法的當前值的緊接著在前的連續幀的數目的第一計數器的裝置，比如處理器12、存儲器14等。該設備還可以包括用於維持其間經濾波的值已經小於針對當前幀的控制算法的當前值的緊接著在前的連續幀的數目的第二計數器的裝置，比如處理器、存儲器等。因而，諸如處理器之類的設備可以基於第一計數器或者第二計數器(例如具有非零值的計數器)的值確定權重，該權重與相應的計數器的值具有直接關係。就此而言，在其中具有非零值的計數器具有較大的值的情況下可以分配較大的權重並且在其中具有非零值的計數器具有較小的值的情況下可以分配較小的權重。通過在其中計數器值較小的情況下分配較低的權重，諸如處理器之類的設備可以不以過度的方式對控制算法的當前值的變化做出響應，該變化可能是由於異常峰值引起的，而不是更有意義的幀的實質性變化引起的。
[0035]如圖3的框28中所示，設備10還可以包括用於基於權重和針對前一幀的控制算法的經濾波的值與針對當前幀的控制算法的當前值之間的差別的組合確定針對當前幀的控制算法的經濾波的值的裝置，比如處理器12，該權重由大於或者小於控制算法的當前值的緊接著在前的連續幀的數目決定。因此，該實施例的方法、設備和電腦程式產品確定針對當前值的控制算法的經濾波的值，該當前值不僅基於針對先前幀的控制算法的經濾波的值與針對當前幀的控制算法的控制值之間的加權差別，還基於針對其的控制算法的經濾波的值已經大於或者小於針對當前幀的控制算法的當前值的幀的加權數目，從而改進經濾波的值的響應和收斂。
[0036]在一個實施例中，設備10還可以包括用於在其中針對前一幀的控制算法的經濾波的值的大小等於或者超過針對當前幀的控制算法的當前值的大小的情況下重置第一計數器和第二計數器中的至少一個的裝置，比如處理器12、存儲器14等。在該實施例中，諸如處理器之類的設備可以在其中控制算法的經濾波的值的大小(例如絕對值)等於或超過針對當前幀的控制算法的當前值的大小(例如絕對值)的情況下重置第一計數器或第二計數器。在一個實施例中，諸如處理器、存儲器設備等之類的設備可以將第一計數器和第二計數器重置為零。
[0037]作為示例，現在參考圖4，該圖示出了用隨時間推移的不同灰度級表示的具有不同照度級的多個幀。圖4還示出了控制算法響應於幀所提供的未經濾波的值。如圖所示，控制算法的未經濾波的值即便是在幀的照度級急劇變化相對短暫的情況下也在幀的照度級急劇變化時大幅變化。圖4還示出了第一計數器和第二計數器的值並且指示了其中第二計數器維持其中控制算法的經濾波的值小於當前值(即「低於目標值」)的緊接著在前的連續幀的數目的計數值的情況以及其中第一計數器維持其中控制算法的經濾波的值超過針對當前幀的控制算法的當前值(即「高於目標值」)的緊接著在前的連續幀的數目的計數值的情況。如圖所示，計數器的值的大小不斷增加，一直到針對先前幀的控制算法的經濾波的值的大小等於或超過針對當前幀的控制算法的當前值時為止，此時計數器被重置為零。
[0038]圖4還示出了針對控制算法針對先前幀的先前的經濾波的值與控制算法針對當前幀的當前值之間的差別所確定的權重以及基於計數器確定的權重，以及這些權重的組合,例如這些權重的加和。通過應用權重的組合可以確定當前幀的經濾波的值,例如圖4中所示的。就此而言，經濾波的值是收斂至相同值的更平滑的表示。
[0039]如上所示，諸如處理器12之類的設備10可以基於權重wl與權重《2的組合確定當前幀的經濾波的值，權重《I基於大於或小於控制算法的當前值的緊接著在前的連續幀的數目，權重w2基於針對前一幀的控制算法的先前經濾波的值與針對當前幀的控制算法的當前值之間的差別。例如，諸如處理器之類的設備可以確定當前幀的經濾波的值為基於所述兩個權重的乘積、基於所述兩個權重的最小值、在其中《I超過預定閾值的情況下基於所述權重中的一個(例如w2)和針對當前幀的控制算法的當前值，並且在其中wl不超過預定閾值的情況下，使權重基於所述兩個權重的乘積。在前述實施例中，權重以及閾值的大小是可調諧的，比如由用戶調諧，使得異常或峰值濾波的強度和對幀的照度級的變化進行跟隨的收斂速度是相應地可調諧的。
[0040]作為另一示例，根據本發明的一個實施例的與計數器的值相關聯的權重可以按照圖5中所示的方式被定義，其中該權重在最小權重與最大權重之間隨計數器的值線性變化。然而在其它實施例中，諸如處理器12之類的設備10可以按照其它方式定義權重與計數器的值之間的關係。
[0041]如圖6中所示，示例實施例的方法、設備和電腦程式產品可以提供可收斂至合適的值的控制算法的更平滑的經濾波的輸出，但又可以對短暫存在的異常峰值做出較小的響應。就此而言，幀的照度級包括如控制算法的未經濾波的輸出所示的多個異常峰值。在對控制算法的未經濾波的輸出進行處理之後，根據本發明的方法、設備和電腦程式產品的一個實施例所提供的控制算法的經濾波的值提供更平滑且同時仍然非常具有代表性的輸出，該輸出將實現更好的用戶體驗並且提高流幀的時間穩定。
[0042]為了考慮和平滑地跟蹤控制算法的值的遞增或遞減的趨勢，一個實施例的方法、設備和電腦程式產品在其中針對前一幀的控制算法的經濾波的值的大小等於或超過針對當前幀的控制算法的當前值的大小的情況下不需要將計數器的值重置為零，如上所述。而是，作為對針對前一幀的控制算法的經濾波的值的大小等於或超過針對當前幀的控制算法的當前值的大小的響應，所述方法、設備和電腦程式產品可以減小但是不重置計數器的值。例如，控制算法針對多個幀所生成的未經濾波的值可以具有遞減或遞增趨勢，例如如圖7中所示的遞減趨勢，在遞減或遞增趨勢中具有一些時間變化(temporal variation)。在其中針對前一幀的控制算法的經濾波的值的大小等於或超過針對當前幀的控制算法的當前值的每一種情況下計數器都將被重置的情況下，峰值檢測等待時間將重新開始並且收斂將不像所希望的那樣平滑，如圖7中的線LI所示。實際上，在這種情況下，基於針對前一幀的控制算法的經濾波的值的大小等於或超過針對當前幀的控制算法的當前值，計數器在圖7中所示的每個點處將被重置，這改變了控制算法的經濾波的值的收斂並且可能被用戶感知為錯誤或者其它毛刺。代替的是，該實施例的方法、設備和電腦程式產品可以在其中針對前一幀的控制算法的經濾波的值等於或超過針對當前幀的控制算法的當前值的情況下減小但是不重置計數器的值。
[0043]因而，設備10可以包括用於在其中針對前一幀的控制算法的經濾波的值的大小等於或超過當前幀的控制算法的當前值的大小的情況下減小第一計數器和第二計數器中的至少一個(例如具有非零值的相應的計數器)的裝置，比如處理器12。更具體而言，一個實施例的設備可以包括用於確定緊接著在前的連續幀是遞增的或者用於確定緊接著在前的連續幀是遞減的的裝置，比如處理器，如關於針對先前幀的控制算法的經濾波的值的遞增或遞減的特性進行確定的。在其中緊接著在前的連續幀被確定是遞增的或者是遞減的情況下，諸如處理器之類的設備可以減小第一計數器和第二計數器中的至少一個(即第一計數器和第二計數器中具有非零值的那個計數器)，而不將相應的計數器重置為零。通過減小但是不重置相應的計數器，控制算法的經濾波的值可以按照如圖7中的曲線L2所示的更一致且平滑的方式收斂，從而實現改善的用戶體驗。在該實施例中，計數器的值被減小的程度可以是可調諧的，比如由用戶調諧，以進一步改善用戶體驗。
[0044]在一個實施例中，所述方法、設備和電腦程式產品可以在其中控制算法的經濾波的值是遞增的的情況下利用與其中控制算法的經濾波的值遞減的情況下不同的權重、閾值等。因此，示例實施例的方法、設備和電腦程式產品可以對曝光過度和曝光不足做出不同的響應，例如對曝光過度的響應比對曝光不足的響應更快速。
[0045]如上所述，圖3示出了根據本發明的示例實施例的設備10、方法和電腦程式產品的流程圖。應當理解流程圖的每個方框和流程圖中的方框的組合可以用各種裝置來實現，例如硬體、固件、處理器、電路裝置和/或與包括一個或多個電腦程式指令的軟體的執行相關聯的其它設備。例如，上述過程中的一個或多個過程可以用電腦程式指令來實現。就此而言，實現上述這些過程的電腦程式指令可以被使用本發明的實施例的設備的存儲器設備14存儲並且由設備的處理器12執行。可以理解，任何這樣的電腦程式指令可以被裝載到計算機或其它可編程裝置(例如硬體)上以產生一種機器，使得在計算機或其它可編程裝置上執行的指令創建用於實現流程圖方框中所指定的功能的裝置。這些電腦程式指令也可以被存儲在可以弓I導計算機或其它可編程裝置按特定方式工作的計算機可讀存儲器中，使得存儲在計算機可讀存儲器中的指令產生實現流程圖方框中所指定的功能的製品。電腦程式指令也可以被裝載到計算機或其它可編程裝置上以使得一系列操作在計算機或其它可編程裝置上被執行以產生計算機實現的過程，使得在計算機或其它可編程裝置上執行的指令實現流程圖方框中所指定的功能。
[0046]因此，流程圖的方框支持用於執行指定功能的裝置的組合和用於執行指定功能的操作的組合。還將理解流程圖的一個或多個方框以及流程圖中的方框的組合可以用執行指定功能的專用的基於硬體的計算機系統或者專用硬體和計算機指令的組合來實現。
[0047]在一些實施例中，以上操作中的特定操作可以被修改或者進一步增強。此外，在一些實施例中可以包括附加的可選操作。對以上操作的修改、添加或放大可以按任意順序或者按任意組合被執行。
[0048]這些發明所屬於的領域中的技術人員在前述說明書和相關附圖中所呈現的教導的啟發下將想到這裡所提供的發明的很多修改和其它實施例。因此，應當理解這些方法不局限於所公開的具體實施例並且所述修改和其它實施例意在被包括在所附權利要求的範圍內。此外，雖然之前的描述和相關附圖描述了在特定的元件和/或功能的示例性組合的上下文中的一些示例實施例，但是應當理解替代實施例可以提供不同的元件和/或功能的組合而不脫離所附權利要求的範圍。就此而言，例如，與以上明確描述的那些組合不同的元件和/或功能的組合也被認為是所附權利要求中的一些權利要求中所提出的。雖然這裡使用了特定的術語，但是這些術語按通用和描述性的意思而不是為了限制的目的被使用。
【權利要求】
1.一種用於流幀的時間穩定的方法，包括: 利用處理器確定其間經濾波的值已經大於當前幀的當前值的在前連續幀的數目或者其間所述經濾波的值已經小於所述當前幀的當前值的所述在前連續幀的數目； 基於所述在前連續幀的數目確定權重，其中所述權重按照與所述在前連續幀的數目的直接關係而變化；以及 基於所述權重和先前經濾波的值與所述當前幀的當前值之間的差別的組合確定所述當前幀的經濾波的值。
2.根據權利要求1所述的方法，其中確定所述在前連續幀的數目包括維持其間所述經濾波的值已經大於所述當前幀的當前值的所述在前連續幀的數目的第一計數器或者維持其間所述經濾波的值已經小於所述當前幀的當前值的所述在前連續幀的數目的第二計數器。
3.根據權利要求2所述的方法，進一步包括在其中所述經濾波的值等於或者超過所述當前幀的當前值的情況下重置所述第一計數器和所述第二計數器中的至少一個。
4.根據權利要求2所述的方法，進一步包括在其中所述經濾波的值等於或者超過所述當前幀的當前值的情況下減小所述第一計數器和所述第二計數器中的至少一個。
5.根據權利要求4所述的方法，進一步包括確定所述在前連續幀是遞增的或者確定所述在前連續幀是遞減的，其中減小所述第一計數器和所述第二計數器中的至少一個包括在其中所述在前連續幀被確定是遞增的或者是遞減的的情況下減小但是不重置所述第一計數器和所述第二計數器中的至少一個。
6.根據權利要求1至5中的任一項所述的方法，進一步包括確定與所述先前經濾波的值和所述當前幀的當前值之·間的差別相關聯的權重，並且其中確定所述當前幀的經濾波的值包括基於多個所述權重和所述當前幀的當前值的組合確定所述當前幀的經濾波的值。
7.根據權利要求6所述的方法，進一步包括將與所述先前經濾波的值和所述當前幀的當前值之間的差別相關聯的所述權重以及基於所述在前連續幀的數目的所述權重進行組入口 ο
8.根據權利要求1所述的方法，其中所述在前連續幀的數目包括緊接著在前的連續幀的數目。
9.一種用於流幀的時間穩定的設備，包括: 用於確定其間經濾波的值已經大於當前幀的當前值的在前連續幀的數目或者其間所述經濾波的值已經小於所述當前幀的當前值的所述在前連續幀的數目的裝置； 用於基於所述在前連續幀的數目確定權重的裝置，其中所述權重按照與所述在前連續幀的數目的直接關係而變化；以及 用於基於所述權重和先前經濾波的值與所述當前幀的當前值之間的差別的組合確定所述當前幀的經濾波的值的裝置。
10.根據權利要求9所述的設備，其中所述設備進一步包括:用於通過如下方式確定所述在前連續幀的數目的裝置:維持其間所述經濾波的值已經大於所述當前幀的當前值的在前連續幀的數目的第一計數器或者維持其間所述經濾波的值已經小於所述當前幀的當前值的所述在前連續幀的數目的第二計數器。
11.根據權利要求10所述的設備，其中所述設備進一步包括:用於在其中所述經濾波的值等於或者超過所述當前幀的當前值的情況下重置所述第一計數器和所述第二計數器中的至少一個的裝置。
12.根據權利要求10所述的設備，其中所述設備進一步包括:用於在其中所述經濾波的值等於或者超過所述當前幀的當前值的情況下減小所述第一計數器和所述第二計數器中的至少一個的裝置。
13.根據權利要求12所述的設備，其中所述設備進一步包括:用於確定所述在前連續幀是遞增的或者確定所述在前連續幀是遞減的的裝置，其中所述用於減小所述第一計數器和所述第二計數器中的至少一個的裝置包括用於在其中所述在前連續幀被確定是遞增的或者是遞減的的情況下減小但是不重置所述第一計數器和所述第二計數器中的至少一個的裝置。
14.根據權利要求9至13中的任一項所述的設備，其中所述設備進一步包括:用於確定與所述先前經濾波的值和所述當前幀的當前值之間的差別相關聯的權重的裝置，並且其中所述用於確定所述當前幀的經濾波的值的裝置包括用於基於多個所述權重和所述當前幀的當前值的組合確定所述當前幀的經濾波的值的裝置。
15.根據權利要求14所述的設備，其中所述設備進一步包括:用於將與所述先前經濾波的值和所述當前幀的當前值之間的差別相關聯的所述權重以及基於所述在前連續幀的數目的所述權重進行組合的裝置。
16.根據權利要求9所述的設備，其中所述在前連續幀的數目包括緊接著在前的連續幀的數目。`
17.—種被配置為執行根據權利要求1至8中的任一項所述的方法的設備。
【文檔編號】H04N5/243GK103826067SQ201310576719
【公開日】2014年5月28日 申請日期:2013年11月18日 優先權日:2012年11月19日
【發明者】P·尼諾南 申請人:諾基亞公司