雙照相機應用中動態幀率的圖像幀同步的製作方法

2023-05-23 03:28:01 1

【技術領域】

本公開通常關於電子裝置中的圖像處理，更特別地，關於雙照相機應用中動態幀率的圖像幀同步。

背景技術：

由市場需求和技術進步的驅動，可攜式電子設備，例如，智慧型手機的更新版本和模型，已經引入市場，具有不斷增長的功能和性能。例如，智慧型手機的某些模型裝備有兩個相機或圖像傳感器。這樣的設備典型地有能力為用戶提供各種特徵，例如，創建場深度、暗環境攝影的增強、光縮放能力和三維(3d)圖像俘獲能力的增強。

對於雙照相機應用，由兩個相機俘獲的圖像被處理，且圖像渲染的整個效果通常取決於使用的處理算法。在各種算法和應用中，圖像渲染的效果通常由圖像幀同步影響。即，來自不同相機的圖像幀的同步對雙照相機應用和對應算法有深遠影響。由於穩定的光源通常被要求以便優化圖像幀同步，雙照相機應用的多樣性因此受限。

技術實現要素：

有鑑於此，本發明提供一種方法和裝置以解決以上問題。

本發明提供一種雙照相機應用中動態幀率的圖像幀同步方法，包含當電子裝置操作於利用由第一圖像傳感器和第二圖像傳感器俘獲的圖像的雙照相機模式時，檢測環境照明中亮度的改變；以及響應於檢測同步第一圖像傳感器和第二圖像傳感器的幀率。

本發明還提供一種雙照相機應用中動態幀率的圖像幀同步方法，包含啟用利用由第一圖像傳感器和第二圖像傳感器俘獲的圖像的雙照相機應用；檢測環境照明中亮度的改變；以及響應於檢測同步第一圖像傳感器的第一幀率和第二圖像傳感器的第二幀率。

本發明還提供一種雙照相機應用中動態幀率的圖像幀同步裝置，包含處理器，接收表示由第一圖像傳感器俘獲的第一圖像的第一數據以及表示由第二圖像傳感器俘獲的第二圖像的第二數據，處理器用於控制所述第一圖像傳感器的第一幀率以及第二圖像傳感器的第二幀率，通過執行以下操作至少部分基於第一數據或第二數據，檢測環境照明中亮度的改變；響應於檢測將與第一圖像傳感器和第二圖像傳感器關聯的曝光時間從第一曝光時間調整為第二曝光時間；以及響應於檢測同步第一幀率和第二幀率。

有益地，根據本公開實現，可以有效地優化圖像幀同步。

【附圖說明】

圖1描繪了顯示根據本公開的各種技術、算法和方案的效果的示例場景。

圖2是根據本公開的實現的示例裝置的簡化的框圖。

圖3描繪了根據本公開的實現的圖2的示例裝置的功能300的示例組。

圖4描繪根據本公開的實現的影響雙照相機應用中動態幀率的圖像幀同步的示例算法。

圖5描繪了根據本公開的實現雙照相機應用中動態幀率的圖像幀同步的兩個示例場景。

圖6描繪根據本公開的實現的影響雙照相機應用中動態幀率的圖像幀同步的示例算法。

圖7描繪了根據本公開另一實現雙照相機應用中動態幀率的圖像幀同步的示例場景。

圖8描繪了根據本公開另一實現雙照相機應用中動態幀率的圖像幀同步的示例場景。

圖9描繪了根據本公開的各種實現的關於雙照相機應用中動態幀率的圖像幀同步的示例場景。

圖10是根據本公開的關於雙照相機應用在動態幀率的圖像幀同步的示例過程的流程圖。

圖11是根據本公開的實現關於雙照相機應用在動態幀率的圖像幀同步的示例過程的流程圖。

【具體實施方式】

概述

在下文的詳細描述中，許多具體細節以示例的方式闡述以便提供有關的教導的完整理解。基於本文描述的教導的任何變化、派生和/或擴展落入本公開的保護範圍。在一些實例中，關於本文揭示的一個或多個示例實現的已知方法、過程、部件和/或電路可以不詳細描述，以避免不必要的模糊本公開的教導的方面。

圖1描繪了顯示根據本公開的各種技術、算法和方案的效果的示例場景100。場景100的部分(a)描繪了兩個圖像傳感器(第一圖像傳感器和第二圖像傳感器(圖1中分別標籤為「圖像傳感器1」和「圖像傳感器2」))的幀率怎樣隨時間彼此異步(例如，「不同步」)。場景100的部分(b)描繪了第一圖像傳感器和第二圖像傳感器的幀率可以怎樣根據本公開的各種實現同步。

如場景100的部分(a)所示，當環境照明相對亮以便對於圖像傳感器不要求曝光時間的改變或些許改變時，與第一圖像傳感器和第二圖像傳感器的每個關聯的相應周期性周期時序控制信號(例如，垂直同步信號或vsync)可隨時間逐漸變得彼此不同步。由於相應周期性周期時序控制信號或vsync控制或影響第一圖像傳感器和第二圖像傳感器的每個的相應幀率，第一圖像傳感器和第二圖像傳感器的幀率隨時間變得不同步。因此，由第一圖像傳感器和第二圖像傳感器輸出的圖像幀對於利用來自第一圖像傳感器和第二圖像傳感器的圖像幀的雙照相機應用可能不同步，因為第一圖像傳感器和第二圖像傳感器的相應幀率不同步。

也如場景100的部分(a)所示，當環境照明從相對亮變為相對暗以便圖像傳感器的曝光時間需要從相對短變為相對長，與第一圖像傳感器和第二圖像傳感器關聯的周期性周期時序控制信號可改變以響應曝光時間中的改變，即使在不同的時間和/或不同的節奏。此還可導致與第一圖像傳感器和第二圖像傳感器關聯的周期性周期時序控制信號或vsync隨時間變得不同步。因此，第一圖像傳感器和第二圖像傳感器的幀率可隨時間不同步，以及由第一圖像傳感器和第二圖像傳感器輸出的圖像幀對於利用來自第一圖像傳感器和第二圖像傳感器的圖像幀的雙照相機應用可能不同步。

如場景100的部分(b)所示，當環境照明從相對亮變為相對暗以便圖像傳感器的曝光時間需要從相對短變為相對長，與第一圖像傳感器和第二圖像傳感器關聯的周期性周期時序控制信號或vsync可由於根據本公開的算法、方案、技術和/或過程的實現保持同步，除了環境照明中光源和/或亮度任何動態或恆定變化。因此，第一圖像傳感器和第二圖像傳感器的幀率可隨時間保持同步，以及由第一圖像傳感器和第二圖像傳感器輸出的圖像幀對於利用來自第一圖像傳感器和第二圖像傳感器的圖像幀的雙照相機應用還可保持同步。

也如場景100的部分(b)所示，當環境照明相對亮以便對於圖像傳感器不要求曝光時間的改變或些許改變時，與第一圖像傳感器和第二圖像傳感器關聯的相應周期性周期時序控制信號或vsync可由於根據本公開的算法、方案、技術和/或過程的實現保持同步。因此，第一圖像傳感器和第二圖像傳感器的幀率可隨時間保持同步，以及由第一圖像傳感器和第二圖像傳感器輸出的圖像幀對於對於利用來自第一圖像傳感器和第二圖像傳感器的圖像幀的雙照相機應用還可保持同步。

示例裝置

圖2描繪了根據本公開的實現的示例裝置200。裝置200可執行、實行或實現與本文描述的概念、技術、方案、解決方案、場景、算法、途徑、過程以及方法相關的各種功能、任務和/或操作，包含本文描述的示例場景100以及示例功能300、示例算法400和600、示例方案500、700和800以及示例過程1000和1100。裝置200可包含顯示於圖2中的一個、一些或所有部件。裝置200可選地包含圖2中未示出的附加的部件。這樣的附加的部件和本公開無關，儘管對於裝置200的操作是必要的，但未示出於圖2中以避免模糊闡述。

裝置200可以是電子裝置，例如其可以是但不限於可攜式裝置(例如，智慧型電話、個人數字助理、數位相機等)、計算裝置(例如，膝上計算機、筆記本計算機、臺式計算機、平板計算機等)或可穿戴裝置(例如，智能手錶、智能手環、智能項鍊等)。備選地，裝置200可以以一個或多個集成電路(ic)晶片，例如但不限於一個或多個單核處理器、一個或多個多核處理器或一個或多個複雜指令集計算機(cisc)處理器來實施。

裝置200可包含至少處理器230，其根據本公開設計和配置為執行、實行或實現專門算法、軟體指令、計算和邏輯以渲染或影響雙照相機應用中動態幀率的圖像幀同步的專用計算裝置。即，處理器230可包含專門硬體(以及可選地專門固件)具體地設計和配置為以一個或多個新穎的而不是現存的或可用的方式渲染或影響雙照相機應用中動態幀率的圖像幀同步。

處理器230可包含至少控制電路235。在一些實現中，控制電路235可包含具有自動曝光(automaticexposure，ae)電路232和同步驅動器電路234的專用電路。ae電路232和同步驅動器電路234的每個可分別包含電子元件，包含根據本公開被配置和組織以實現特殊用途的一個或多個電晶體、一個或多個二極體、一個或多個電容器、一個或多個電阻器、一個或多個電感器、一個或多個憶阻器和/或一個或多個變抗器(varactor)。

在一些實現中，裝置200還可包含成像裝置(imagingdevice)215。成像裝置215可以耦合到控制電路235，以及可以配置為俘獲靜止圖像、視頻圖像或其組合。在一些實現中，成像裝置215可以是雙照相機成像裝置，包含第一圖像傳感器210和第二圖像傳感器220。第一圖像傳感器210和第二圖像傳感器220可以配置為檢測和運送表示圖像的成像信息，並將成像信息作為圖像數據提供至處理器230。在一些實現中，第一圖像傳感器210和第二圖像傳感器220的每個可分別包含半導體電荷耦合裝置(ccd)、互補金屬氧化物半導體(cmos)類型主動像素傳感器和/或n型金屬氧化物半導體(nmos)類型主動像素傳感器。在一些實現中，第一圖像傳感器210可配置為俘獲第一圖像並以第一幀率提供表示第一圖像的第一數據。類似地，在一些實現中，第二圖像傳感器220可配置為俘獲第二圖像，並以第二幀率提供表示第二圖像的第二數據。

在一些實現中，控制電路235還可包含周期時序控制信號檢測器236。周期時序控制信號檢測器236可以耦合到成像裝置215，並且可以配置為檢測和分析與第一圖像傳感器210和第二圖像傳感器220的每個關聯的相應周期性周期時序控制信號(例如，垂直同步信號或vsync)。例如，周期時序控制信號檢測器236可檢測與第一圖像傳感器210操作的頻率關聯或控制第一圖像傳感器210操作的頻率的第一vsync信號。周期時序控制信號檢測器236可檢測與第二圖像傳感器220操作的頻率關聯或控制第二圖像傳感器220操作的頻率的第二vsync信號。周期時序控制信號檢測器236還可分析第一vsync信號和第二vsync信號以確定第一vsync信號和第二vsync信號的每個的周期性或頻率。

因此，處理器230可接收表示由第一圖像傳感器210俘獲的第一圖像的第一數據以及由第二圖像傳感器220俘獲的第二圖像的第二數據。此外，處理器230可根據本公開的各種實現控制第一圖像傳感器210的第一幀率和第二圖像傳感器220的第二幀率。例如，ae電路232可以配置為至少部分基於從第一圖像傳感器210/第二圖像傳感器220接收的第一數據和第二數據或兩者來檢測環境照明中亮度的改變。此外，ae電路232可以配置為調整與第一圖像傳感器210和第二圖像傳感器220的每個的相應快門關聯的曝光時間。即，ae電路232可響應於檢測環境照明中亮度的改變將曝光時間從第一曝光時間改變為第二曝光時間。作為示例，ae電路232可響應於環境照明中降低的檢測將曝光時間從相對較短的曝光時間改變為相對較長的曝光時間。作為另一示例，ae電路232可響應於環境照明中增加的檢測將曝光時間從相對較長的曝光時間改變為相對較短的曝光時間。

根據本公開的各種實現，包含示例算法400和600、示例方案500、700和800以及示例過程1000和1100以及任何變化及其派生，同步驅動器電路234可以配置為響應於環境照明中檢測的亮度的改變來同步第一幀率和第二幀率。同步驅動器電路234可分別同步第一圖像傳感器210和第二圖像傳感器220的第一幀率和第二幀率的一些示例描述於以下。

在一些實現中，在同步第一幀率和第二幀率時，同步驅動器電路234可以配置為檢測由於曝光時間改變的第二幀率的改變。此外，同步驅動器電路234可以配置為調整第一幀率以同步第一幀率和第二幀率。

在一些實現中，在調整第一幀率以同步第一幀率和第二幀率中，同步驅動器電路234可配置為執行多個操作。例如，同步驅動器電路234可確定第一圖像傳感器的第一幀率與第二圖像傳感器的第二幀率之間的差值。此外，同步驅動器電路234可確定第一幀率和第二幀率之間的差值是否大於第一閾值。此外，響應於第一幀率和第二幀率之間的差值大於第一閾值的確定，同步驅動器電路234可確定第一幀率和第二幀率之間的差值是否小於第二閾值，第二閾值大於第一閾值。響應於第一幀率和第二幀率之間的差值小於第二閾值且大於第一閾值的確定，同步驅動器電路234可調整第一幀率以匹配第二幀率。響應於第一幀率和第二幀率之間的差值小於第一閾值或大於第二閾值的確定，同步驅動器電路234可監控第一幀率和第二幀率之間的差值的改變。此外，一旦第一幀率和第二幀率之間的差值落入第一閾值和第二閾值之間的範圍，同步驅動器電路234可調整第一幀率以匹配第二幀率。

備選地，在調整第一幀率以同步第一幀率和第二幀率中，同步驅動器電路234可配置為確定第一幀率、第二幀率以及第一幀率和第二幀率之間的差值。此外，同步驅動器電路234可調整第一幀率以匹配第二幀率。

在一些實現中，在同步第一幀率和第二幀率中，ae電路232和同步驅動器電路234可彼此協作以實現同步。ae電路232和同步驅動器電路234可以恆定或周期性彼此通信。例如，同步驅動器電路234可監控第一幀率和第二幀率，並確定第一幀率和第二幀率之間的差值。同步驅動器電路234可不斷地或周期性地通信或通知ae電路232第一幀率、第二幀率以及第一幀率和第二幀率之間的差值。由於環境照明改變，由此要求調整曝光時間，ae電路232可根據或考慮第一幀率、第二幀率以及第一幀率和第二幀率之間的差值調整曝光時間。ae電路232可提供指示到同步驅動器電路234關於對曝光時間待進行的調整或已經進行的調整。同步驅動器電路234然後可調整第一幀率以匹配第二幀率。

值得注意的是，裝置200的處理器230可以配置為同步第一圖像傳感器210和第二圖像傳感器220的幀率，並因此由第一圖像傳感器210和第二圖像傳感器220提供的同步圖像幀在各種情況下在環境照明的光源和/或亮度中具有動態或恆定變化。即，無論是環境照明中從相對亮到相對暗的改變、環境照明中從相對暗到相對亮的改變、光源方向的改變或光源數目的改變，處理器230可根據本公開的一個或多個算法、方案、技術和/或過程同步第一圖像傳感器210和第二圖像傳感器220的幀率以及來自第一圖像傳感器210和第二圖像傳感器220的圖像幀。

在一些實現中，裝置200可包含圖像處理電路238，其可以是處理器230不可分割的部分或單獨離散ic。在圖2示出的示例中，圖像處理電路238是處理器230的部分。圖像處理電路238可對來自第一圖像傳感器210和第二圖像傳感器220的第一數據和第二數據執行信號處理以提供一個或多個靜止圖像和/或一個或多個視頻圖像的對應圖像幀。

在一些實現中，裝置200可包含顯示裝置240。顯示裝置240可以配置為顯示文本、圖形和/或視頻圖像。在一些實現中，顯示裝置240可以是平板和/或觸摸感測面板。顯示裝置240可以由任何合適的技術例如但不限於液晶顯示器(lcd)、等離子體顯示面板(pdp)、發光二極體顯示(led)、有機發光二極體(oled)、場致發光顯示(eld)、表面導電電子發射極顯示(sed)、場發射顯示(fed)、雷射、碳納米管、量子點顯示、幹涉儀調製器顯示(imod)以及數字微快門顯示(dms)實施。圖像處理電路238可以在操作上耦合到顯示裝置240以提供處理的靜止圖像和/或視頻圖像的數字數據以由顯示裝置240顯示。

在一些實現中，裝置200可包含存儲裝置250。存儲裝置250可以配置為儲存一組或多組指令和數據於其中。例如，存儲裝置250可以在操作上耦合到圖像處理電路238以接收處理的靜止圖像和/或視頻圖像以儲存於存儲裝置250。存儲裝置250可以由任何合適的技術實施，且可包含易失性存儲器和/或非易失性存儲器。例如，存儲裝置250可包含隨機存取存儲器(ram)，例如動態隨機存儲器(dram)、靜態隨機存儲器(sram)、晶閘管隨機存儲器(t-ram)和/或零電容器隨機存儲器(z-ram)。備選地或此外，存儲裝置250可包含只讀存儲器(rom)，例如掩碼只讀存儲器、可編程只讀存儲器(prom)、可擦除可編程只讀存儲器(eprom)和/或電可擦除可編程只讀存儲器(eeprom)。備選地或此外，存儲裝置250可包含非易失性隨機存取存儲器(nvram)，例如閃速存儲器、固態存儲器、鐵電隨機存儲器(feram)、磁阻隨機存取存儲器(mram)和/或相位改變存儲器。

圖3描繪了根據本公開的實現的圖2的示例裝置的功能300的示例組。功能300組可包含由裝置200執行、實行或實現的一個或多個操作、動作或功能，由一個或多個塊310、320、330、340、350以及360表示。儘管圖示為離散塊，功能300組的各種塊可以分成附加的塊，結合成更少的塊或取消，取決於所希望的實現。根據本公開，功能300組可以通過裝置200實施來渲染或影響雙照相機應用中動態幀率的圖像幀同步。

在310，裝置200的處理器230可以打開、開始或激活成像裝置215。其結果是，第一圖像傳感器210和第二圖像傳感器220可開始俘獲靜止圖像和/或視頻圖像。

在320，裝置200的處理器230可進入預覽模式。其結果是，由第一圖像傳感器210或第二圖像傳感器220或其兩者俘獲的靜止圖像和/或視頻圖像可以由顯示裝置240顯示用於由裝置200的用戶預覽。

在330，裝置200的處理器230可自動地或一旦接收用戶命令就使能一個或多個雙照相機應用。例如，雙照相機應用可以使能或啟動一個或多個特徵，包含並不限於，場深度的創建、暗環境攝影的增強、光縮放和3d圖像俘獲的增加。

在340，裝置200的處理器230可根據本公開以一個或多個方式執行幀率同步。

在350，裝置200的圖像處理電路238可對由第一圖像傳感器210和第二圖像傳感器220俘獲的靜止圖像和/或視頻圖像執行圖像處理。

在360，裝置200的顯示裝置240可顯示處理的靜止圖像和/或視頻圖像。

示例算法和方案

圖4描繪根據本公開的實現的影響雙照相機應用中動態幀率的圖像幀同步的示例算法400。算法400可包含一個或多個操作、動作或功能，如一個或多個塊410、420、430、440和450表示的。儘管圖示為離散塊，算法400的各種塊可以分為附加的塊、結合為更少的塊或取消，取決於所希望的實現。算法400可以由裝置200以及其任何變化和/或派生來實施。算法400可以開始於410。

在410，算法400可包含分析與第一圖像傳感器和第二圖像傳感器(圖4中分別由「圖像傳感器1」和「圖像傳感器2」指代)關聯的相應周期時序控制信號(例如，vsync)的信息。算法400可從410進入420。

在420中，算法400可包含確定第一圖像傳感器的第一幀率(由圖4中「幀率1」指代)以及第二圖像傳感器的第二幀率(由圖4中的「幀率2」指代)，以及第一幀率和第二幀率之間的差值。第一幀率和第二幀率可以基於第一圖像傳感器和第二圖像傳感器的周期性周期時序控制信號的信息確定。算法400可從420進入430。

在430中，算法400可包含確定第一幀率和第二幀率之間的差值是否大於第一閾值(由圖4中的「閾值1」指代)。在第一幀率和第二幀率之間的差值大於第一閾值的事件中，算法400可從430進入440。否則，在第一幀率和第二幀率之間的差值不大於第一閾值(例如，小於或等於第一閾值)的事件中，算法400可從430進入410以繼續監控與第一圖像傳感器和第二圖像傳感器改變關聯的周期性周期時序控制信號(且，因此，幀率)的改變。

在440中，算法400可包含確定第一幀率和第二幀率之間的差值是否小於第二閾值(由圖4中「閾值2」指代)。在第一幀率和第二幀率之間的差值小於第二閾值的事件中，算法400可從440進入450。否則，在第一幀率和第二幀率之間的差值不小於第二閾值(例如，大於或等於第二閾值)的事件中，算法400可從440進入410以繼續監控與第一圖像傳感器和第二圖像傳感器改變關聯的周期性周期時序控制信號(且，因此，幀率)的改變。

在450中，算法400可包含當第一幀率和第二幀率之間的差值在第一閾值和第二閾值之間的範圍時，調整第一幀率和第二幀率中的一個以匹配第一幀率和第二幀率的另一個，以便實現同步。

例如，假設由於環境照明從相對亮改變為相對暗而導致的曝光率的增加，第一圖像傳感器的第一幀率從30幀每秒(fps)改變為15fps，並假設閾值範圍是10fps，算法400在第二圖像傳感器的第二幀率還沒有改變為15fps的事件中，可將第二圖像傳感器的第二幀率調整為15fps以匹配第一圖像傳感器的幀率。作為另一示例，假設由於環境照明從相對暗改變為相對亮而導致的曝光率的減少，第一圖像傳感器的第一幀率從15fps改變為30fps，並假設閾值範圍是10fps，算法400在第二圖像傳感器的第二幀率還沒有改變為30fps的事件中，可將第二圖像傳感器的第二幀率調整為30fps以匹配第一圖像傳感器的幀率。

圖5描繪了根據本公開的實現雙照相機應用中動態幀率的圖像幀同步的兩個示例場景500。場景500可以是裝置200的算法400的示例實現或任何變化和/或其派生的圖示。在圖5的左手側，無論環境照明是否從相對亮變到相對暗或從相對暗變到相對亮，在第一圖像傳感器和第二圖像傳感器的幀率之間的差值過量(例如，大於高閾值)的事件中，同步過程將暫停、停止或掛起。在圖5的右手側，當在第一圖像傳感器和第二圖像傳感器的幀率之間的差值位於可接受的範圍(例如，位於低閾值和高閾值之間)時，同步過程恢復。

場景500僅僅是用於說明性的目的並不限於，環境照明從相對亮改變為相對暗(例如，裝置200由用戶從亮環境，例如室外，移動到暗環境，例如室內)。在場景500示出的示例中，第一圖像傳感器210的第一幀率被調整以匹配第二圖像傳感器220的第二幀率用於同步，且場景500中進行的示例過程描述如以下。

在場景500，第一圖像傳感器210的第一幀率和第二圖像傳感器220的第二幀率初始為30fps。由於處理器230檢測環境照明從相對亮變為相對暗(例如，基於從第一圖像傳感器210和/或第二圖像傳感器220接收的數據)，ae電路232響應於環境照明中亮度的改變的檢測將與第一圖像傳感器210和第二圖像傳感器220關聯的曝光時間從第一曝光時間(對應於30fps)調整到第二曝光時間(對應於15fps)。結果，在場景500中，一旦從ae電路232接收到關於曝光時間調整的指示，第二圖像傳感器220的第二幀率隨著裝置200從亮環境進入暗環境開始從30fps改變為15fps。另一方面，在場景500中，第一圖像傳感器210的第一幀率保持30fps。例如，第一圖像傳感器210可繼續從處理器230接收周期性控制信號，處理器230將第一圖像傳感器210的幀率設置為30fps。同步驅動器電路234監控第一幀率和第二幀率，並當第一幀率和第二幀率之間的差值超過第一閾值或閾值1(例如，5fps)時初始化同步過程。然而，由於第一幀率和第二幀率之間的差值增加超過第二閾值或閾值2(例如，12fps)，同步驅動器電路234暫停、停止或掛起同步過程，同時繼續監控第一幀率和第二幀率。最終，當第一幀率和第二幀率之間的差值落入第一閾值和第二閾值之間的範圍時(例如，5fps和12fps之間)，同步驅動器電路234恢復同步過程以導致第一幀率和第二幀率在裝置200進入暗環境後同步。

圖6描繪根據本公開的實現的影響雙照相機應用中動態幀率的圖像幀同步的示例算法600。算法600可包含一個或多個操作、動作或功能，如一個或多個塊610、620和630表示的。儘管圖示為離散塊，算法600的各種塊可以分為附加的塊、結合為更少的塊或取消，取決於所希望的實現。算法600可以由裝置200以及其任何變化和/或派生來實施。算法600可以開始於610。

在610，算法600可包含與第一圖像傳感器和第二圖像傳感器(圖6中分別由「圖像傳感器1」和「圖像傳感器2」指代)關聯的分析相應周期時序控制信號(例如，vsync)的信息的分析。算法600可從610進入620。

在620中，算法600可包含確定第一圖像傳感器的第一幀率(由圖6中「幀率1」指代)以及第二圖像傳感器的第二幀率(由圖6中的「幀率2」指代)，以及第一幀率和第二幀率之間的差值。特別地，確定第一幀率的信號阻止時間和第二幀率的信號阻止時間之間的差值。圖5的參考場景500例如，在圖5的左手側當同步過程停止時，差值是15fps，且在圖5的右手側當同步過程恢復時，差值是位於閾值1和閾值2之間。第一幀率和第二幀率可以基於第一圖像傳感器和第二圖像傳感器的周期性周期時序控制信號的信息確定。算法600可從620進入630。

在630中，算法600可包含調整第一幀率和第二幀率的一個以匹配第一幀率和第二幀率的另一個，以便實現同步。

例如，假設由於環境照明從相對亮改變為相對暗而導致的曝光率的增加，第一圖像傳感器的第一幀率從30幀每秒(fps)改變為15fps，算法400在第二圖像傳感器的第二幀率還沒有改變為15fps(例如，從30fps)的事件中，可將第二圖像傳感器的第二幀率調整為15fps以匹配第一圖像傳感器的幀率。作為另一示例，假設由於環境照明從相對暗改變為相對亮而導致的曝光率的減少，第一圖像傳感器的第一幀率從15fps改變為30fps，算法400在第二圖像傳感器的第二幀率還沒有改變為30fps(例如，從15fps)的事件中，可將第二圖像傳感器的第二幀率調整為30fps以匹配第一圖像傳感器的幀率。

圖7描繪了根據本公開另一實現雙照相機應用中動態幀率的圖像幀同步的示例場景700。場景700可以是裝置200的算法600的示例實現或任何變化和/或其派生的圖示。在場景700，無論環境照明是否從相對亮變到相對暗或從相對暗變到相對亮，當一個幀率更新為其他幀率的值時幀率被同步，其用作基礎幀率。

場景700僅僅是用於說明性的目的並不限於，環境照明從相對亮改變為相對暗(例如，裝置200由用戶從亮環境，例如室外，移動到暗環境，例如室內)。在場景700示出的示例中，第一圖像傳感器210的第一幀率被調整以匹配第二圖像傳感器220的第二幀率用於同步，且場景700中進行的示例過程描述如以下。

在場景700中，第一圖像傳感器210的第一幀率和第二圖像傳感器220的第二幀率初始為30fps。由於處理器230檢測環境照明從相對亮變為相對暗(例如，基於從第一圖像傳感器210和/或第二圖像傳感器220接收的數據)，ae電路232響應於環境照明中亮度的改變的檢測將與第一圖像傳感器210和第二圖像傳感器220關聯的曝光時間從第一曝光時間(對應於30fps)調整到第二曝光時間(對應於15fps)。結果，在場景700中，一旦從ae電路232接收到關於曝光時間調整的指示，第二圖像傳感器220的第二幀率隨著裝置200從亮環境進入暗環境開始從30fps改變為15fps。另一方面，在場景700中，第一圖像傳感器210的第一幀率保持30fps。例如，第一圖像傳感器210可繼續從處理器230接收周期性控制信號，處理器230將第一圖像傳感器210的幀率設置為30fps。同步驅動器電路234監控第一幀率和第二幀率，並當檢測到第一幀率和第二幀率之間的差值時初始化同步過程。由於第二幀率從以前的值30fps改變並停在新值15fps，同步驅動器電路234確定新值15fps為基礎率。因此，同步驅動器電路234更新第一幀率為基礎值，由此在裝置200進入暗環境後同步第一幀率和第二幀率。

圖8描繪了根據本公開另一實現雙照相機應用中動態幀率的圖像幀同步的示例場景800。場景800可以由裝置200實施。在場景800，無論環境照明是否從相對亮變到相對暗或從相對暗變到相對亮，環境照明改變由於ae電路232和同步驅動器電路234彼此合作立刻同步的幀率。

場景800僅僅是用於說明性的目的並不限於，環境照明從相對亮改變為相對暗(例如，裝置200由用戶從亮環境，例如室外，移動到暗環境，例如室內)。在場景800示出的示例中，第一圖像傳感器210的第一幀率被調整以匹配第二圖像傳感器220的第二幀率用於同步，且場景800中進行的示例過程描述如以下。

在場景800中，第一圖像傳感器210的第一幀率和第二圖像傳感器220的第二幀率初始為30fps。由於處理器230檢測環境照明從相對亮變為相對暗(例如，基於從第一圖像傳感器210和/或第二圖像傳感器220接收的數據)，同步驅動器電路234監控第一幀率和第二幀率，並確定第一幀率和第二幀率之間的差值。同步驅動器電路234也通信或通知ae電路232第一幀率、第二幀率以及第一幀率和第二幀率之間的差值。由於環境照明改變，由此要求曝光時間的調整，ae電路232根據或考慮第一幀率、第二幀率以及第一幀率和第二幀率之間的差值調整曝光時間。例如，ae電路232將與第一圖像傳感器210和第二圖像傳感器220關聯的曝光時間從第一曝光時間(對應於30fps)調整到第二曝光時間(對應於15fps)響應於環境照明中亮度的改變的檢測。ae電路232通信或通知同步驅動器電路234對曝光時間進行的調整。同步驅動器電路234然後調整第一幀率以匹配第二幀率。

圖9描繪了根據本公開的各種實現的關於雙照相機應用中動態幀率的圖像幀同步的示例場景900。場景900的部分(a)和部分(b)的每個用多個功能塊圖示，包含同步驅動器(例如，代表同步驅動器電路234)、自動曝光(automaticexposure，ae)(例如，代表ae電路232)、圖像傳感器1(例如，代表第一圖像傳感器210)以及圖像傳感器2(例如，代表第二圖像傳感器220)。

場景900的部分(a)圖示不利用ae和同步驅動器彼此合作的圖像幀同步的如在算法400、場景500、算法600和場景700的另一方法。在此方法下，ae和同步驅動器獨立地彼此操作。ae可指示圖像傳感器1和圖像傳感器2的每個需要改變幀率，作為由於環境照明中改變造成的曝光時間的調整的結果。沒有此知識，同步驅動器可獨立地且單獨地確定第一幀率和第二幀率之間的差值。在場景900的部分(a)示出的示例中，同步驅動器可使用第二幀率作為基本率以調整第一幀率。例如，同步驅動器可更新第一幀率為第二幀率的值以實現同步。

場景900的部分(b)圖示利用ae和同步驅動器彼此合作的圖像幀同步的如在場景800的另一方法。在此方法下，ae和同步驅動器可以恆定或周期性彼此通信。同步驅動器可以提供第一幀率(例如，與圖像傳感器1關聯的vsync的時間信息)、第二幀率(例如，圖像傳感器2關聯的vsync的時間信息)以及第一幀率和第二幀率之間的差值到ae。ae可提供曝光時間(例如，曝光時間的調整或曝光時間的新值)的信息到同步驅動器。ae可通過考慮第一幀率、第二幀率以及第一幀率和第二幀率之間的差值來調整曝光時間。ae可指示圖像傳感器1和圖像傳感器2的每個需要改變幀率，作為由於環境照明中改變造成的曝光時間的調整的結果。同步驅動器可利用第二幀率作為基本幀率，並更新第一幀率為第二幀率的值以實現同步。

示例過程

圖10描繪了根據本公開的實現關於雙照相機應用在動態幀率的圖像幀同步的示例過程1000。過程1000可包含一個或多個操作、動作或功能，如一個或多個塊1010、1020以及子塊1022、1024和1026表示的。儘管圖示為離散塊，過程1000的各種塊可以分為附加的塊、結合為更少的塊或取消，取決於所希望的實現。過程1000的塊和子塊可以按顯示於圖10中的順序或其它順序來執行，取決於所希望的實現。過程1000可以由裝置200以及其任何變化和/或派生來實施。過程1000可以是每個算法400、場景500、算法600、場景700和場景800的示例實現，無論部分地或還是完全地。僅僅是用於說明性的目的並不限制，過程1000結合裝置200描述於以下。過程1000可開始於框1010。

在1010中，過程1000可包含裝置200的處理器230，用於當裝置200操作於利用由第一圖像傳感器210和第二圖像傳感器220俘獲的圖像的雙照相機模式時檢測環境照明中亮度的改變。例如，處理器230可基於從第一圖像傳感器210接收的第一數據和/或從第二圖像傳感器220接收的第二數據檢測環境照明中亮度的改變。過程1000可從1010進行到1020。

在1020中，過程1000可包含處理器230，響應於檢測環境照明中亮度的改變同步第一圖像傳感器210和第二圖像傳感器220的幀率。此可包含過程1000，執行子塊1022、1024和1026的一個或多個。

在1022中，過程1000可包含處理器230，利用ae電路232和同步驅動器電路234彼此合作同步第一圖像傳感器210和第二圖像傳感器220的幀率。即，過程1000在同步第一圖像傳感器210和第二圖像傳感器220的幀率過程中可實施場景800，如以下所描述的。

在一些實施例中，過程1000可包含同步驅動器電路234，確定第一圖像傳感器的第一幀率、第二圖像傳感器的第二幀率以及第一幀率和第二幀率之間的差值。過程1000還可包含同步驅動器電路234，將第一幀率、第二幀率以及第一幀率和第二幀率之間的差值通信至ae電路232。過程1000可包含ae電路232，響應於檢測將與第一圖像傳感器210和第二圖像傳感器220關聯的曝光時間從第一曝光時間調整到第二曝光時間。響應於ae電路232調整曝光時間，第二圖像傳感器的第二幀率可從對應於第一曝光時間的第一值改變為對應於第二曝光時間的第二值。過程1000還可包含ae電路232，為同步驅動器電路234提供曝光時間已經調整的指示。過程1000還可包含同步驅動器電路234，調整第一幀率以匹配第二幀率。例如，過程1000可包含同步驅動器電路234，將第一圖像傳感器210的第一幀率設置為第二圖像傳感器220的當前幀率。

在1024中，過程1000可包含處理器230，當第一圖像傳感器210的第一幀率與第二圖像傳感器220的第二幀率之間的差值在預定義的範圍時，同步第一圖像傳感器210和第二圖像傳感器220的幀率。即，過程1000可在可在同步第一圖像傳感器210和第二圖像傳感器220的幀率的過程中實施算法400和場景500，如以下所述。

在一些實施例中，在同步第一圖像傳感器210和第二圖像傳感器220的幀率的過程中，過程1000可包含ae電路232，響應於檢測將與第一圖像傳感器210和第二圖像傳感器220關聯的曝光時間從第一曝光時間調整到第二曝光時間。響應於ae電路232調整曝光時間，第二圖像傳感器220的第二幀率可從對應於第一曝光時間的第一值改變為對應於第二曝光時間的第二值。過程1000可包含同步驅動器電路234，確定第一圖像傳感器210的第一幀率與第二圖像傳感器220的第二幀率之間的差值。過程1000然後可包含同步驅動器電路234，確定第一幀率和第二幀率之間的差值是否大於第一閾值。響應於確定第一幀率和第二幀率之間的差值大於第一閾值，過程1000可包含同步驅動器電路234，確定第一幀率和第二幀率之間的差值是否小於第二閾值，其中第二閾值大於第一閾值。響應於確定第一幀率和第二幀率之間的差值小於第二閾值且大於第一閾值，過程1000可包含同步驅動器電路234調整第一幀率以匹配第二幀率。例如，過程1000可包含同步驅動器電路234，將第一圖像傳感器210的第一幀率設置為第二圖像傳感器220的當前幀率。

在一些實施例中，在同步第一圖像傳感器210和第二圖像傳感器220的幀率的過程中，過程1000可包含同步驅動器電路234，響應於確定第一幀率和第二幀率之間的差值小於第一閾值或大於第二閾值，監控第一幀率和第二幀率之間差值的改變。此外，過程1000可包含同步驅動器電路234，在第一幀率和第二幀率之間的差值落入第一閾值和第二閾值之間的範圍時調整第一幀率以匹配第二幀率。例如，過程1000可包含同步驅動器電路234，將第一圖像傳感器210的第一幀率設置為第二圖像傳感器220的當前幀率。

在1026，過程1000可包含處理器230，通過更新第一圖像傳感器210或第二圖像傳感器220的幀率以匹配另一圖像傳感器的幀率來同步第一圖像傳感器210和第二圖像傳感器的220幀率。即，過程1000可在同步第一圖像傳感器210和第二圖像傳感器220的幀率的過程中實施算法600和場景700，如以下所述。

在一些實施例中，在同步第一圖像傳感器210和第二圖像傳感器220的幀率的過程中，過程1000可包含ae電路232響應於檢測將與第一圖像傳感器210和第二圖像傳感器220關聯的曝光時間從第一曝光時間調整到第二曝光時間。響應於ae電路232調整曝光時間，第二圖像傳感器220的第二幀率可從對應於第一曝光時間的第一值改變為對應於第二曝光時間的第二值。對應地，在同步第一圖像傳感器210和第二圖像傳感器220的幀率的過程中，過程1000可包含同步驅動器電路234，確定第一圖像傳感器210的第一幀率、第二圖像傳感器220的第二幀率以及第一幀率和第二幀率之間的差值。此外，過程1000可包含同步驅動器電路234，調整第一幀率以匹配第二幀率。例如，過程1000可包含同步驅動器電路234，將第一圖像傳感器210的第一幀率設置為第二圖像傳感器220的當前幀率。

圖11描繪了根據本公開的實現關於雙照相機應用在那個動態幀率的圖像幀同步的示例過程1100。過程1100可包含一個或多個操作、動作或功能，如一個或多個塊1110、1120和1130以及子塊1132和1134表示的。儘管圖示為離散塊、過程1100的各種塊可以分為附加的塊、結合為更少的塊或取消，取決於所希望的實現。過程1100的塊和子塊可以按顯示於圖11中的順序或其它順序來執行，取決於所希望的實現。過程1100可以由裝置200以及其任何變化和/或派生來實施。過程1100可以是每個算法400、場景500、算法600、場景700和場景800的示例實現，無論部分地或還是完全地。僅僅是用於說明性的目的並不限制，過程1100結合裝置200描述於以下。過程1100可開始於框1110。

在1110，過程1100可包含啟用雙照相機應用的裝置200的處理器230，雙照相機應用利用由第一圖像傳感器210和第二圖像傳感器220俘獲的圖像。過程1100可從1110進行到1120。

在1120中，過程1100可包含處理器230，檢測環境照明中亮度的改變。例如，處理器230可基於從第一圖像傳感器210接收的第一數據和/或從第二圖像傳感器220接收的第二數據檢測環境照明中亮度的改變。過程1100可從1120進行到1130。

在1130中，過程1100可包含處理器230，響應於檢測環境照明中亮度的改變同步第一圖像傳感器210的第一幀率和第二圖像傳感器220的第二幀率。此可包含過程1000，執行子塊1132和1134的一個或多個。

在1132中，過程1100可包含處理器230，將第一圖像傳感器210的第一幀率和第二圖像傳感器220的第二幀率同步，而不用ae電路232和同步驅動器電路234彼此合作。例如，過程1100可包含同步驅動器電路234，確定第二幀率的改變作為由於環境照明中亮度的檢測的改變的由ae電路232的曝光時間中的改變的結果。此外，過程1100可包含同步驅動器電路234，調整第一幀率以同步第一幀率和第二幀率。在1132，過程1100可在同步第一圖像傳感器210和第二圖像傳感器220的幀率的過程中實現算法400/場景500或算法600/場景700。

在算法400和場景500中，過程1100可包含處理器230，當第一圖像傳感器210的第一幀率和第二圖像傳感器220的第二幀率之間的差值位於預定義的範圍時，同步第一圖像傳感器210和第二圖像傳感器220的幀率，描述如下。

在一些實施例中，在調整第一幀率以同步第一幀率和第二幀率中，過程1100可包含同步驅動器電路234，確定第一幀率和第二幀率之間的差值。過程1100還可包含同步驅動器電路234，確定第一幀率和第二幀率之間的差值是否大於第一閾值。在第一幀率和第二幀率之間的差值大於第一閾值的事件中，過程1100可包含同步驅動器電路234，確定第一幀率和第二幀率之間的差值是否小於第二閾值，第二閾值大於第一閾值。在第一幀率和第二幀率之間的差值小於第二閾值和大於第一閾值的事件中，過程1100可包含同步驅動器電路234，調整第一幀率以匹配第二幀率。例如，過程1000可包含同步驅動器電路234，將第一圖像傳感器210的第一幀率設置為第二圖像傳感器220的當前幀率。

在一些實施例中，在調整第一幀率以同步第一幀率和第二幀率中，過程1100還可包含同步驅動器電路234，在第一幀率和第二幀率之間的差值小於第一閾值或大於第二閾值的事件中，監控第一幀率和第二幀率之間差值的改變。此外，過程1100可包含同步驅動器電路234，一旦第一幀率和第二幀率之間的差值落入第一閾值和第二閾值之間的範圍時，調整第一幀率以匹配第二幀率。

在算法600和場景700中，過程1100可包含處理器230，通過更新第一圖像傳感器210或第二圖像傳感器220的幀率以匹配其它圖像傳感器的幀率來同步第一圖像傳感器210和第二圖像傳感器220的幀率，描述如下。

在一些實施例中，調整第一幀率以同步第一幀率和第二幀率，過程1100可包含同步驅動器電路234，確定第一幀率、第二幀率以及第一幀率和第二幀率之間的差值。此外，過程1100可包含同步驅動器電路234，調整第一幀率以匹配第二幀率。例如，過程1000可包含同步驅動器電路234，將第一圖像傳感器210的第一幀率設置為第二圖像傳感器220的當前幀率。

在1134中，過程1100可包含處理器230，利用ae電路232和同步驅動器電路234彼此合作，將第一圖像傳感器210的第一幀率和第二圖像傳感器220的第二幀率同步。即，過程1100可在同步第一圖像傳感器210和第二圖像傳感器220的幀率中實現場景800，描述如以下。

在一些實施例中，過程1100可包含同步驅動器電路234，確定第一圖像傳感器的第一幀率、第二圖像傳感器的第二幀率以及第一幀率和第二幀率之間的差值。過程1100還可包含同步驅動器電路234，將第一幀率、第二幀率以及第一幀率和第二幀率之間的差值通信至ae電路232。過程1100可包含ae電路232響應於檢測將與第一圖像傳感器210和第二圖像傳感器220關聯的曝光時間從第一曝光時間調整到第二曝光時間。響應於ae電路232調整曝光時間，第二圖像傳感器的第二幀率可從對應於第一曝光時間的第一值改變為對應於第二曝光時間的第二值。過程1100還可包含ae電路232，為同步驅動器電路234提供曝光時間已調整的指示。過程1100還可包含同步驅動器電路234，調整第一幀率以匹配第二幀率。例如，過程1100可包含同步驅動器電路234，將第一圖像傳感器210的第一幀率設置為第二圖像傳感器220的當前幀率。

本領域的技術人員將注意到，在獲得本發明的指導之後，可對所述裝置和方法進行大量的修改和變換。相應地，上述公開內容應該理解為，僅通過所附加的權利要求的界限來限定。