旋轉攝像頭輔助構圖的控制方法、控制裝置及電子裝置與流程

2023-08-04 17:10:41

本發明涉及成像技術，特別涉及一種旋轉攝像頭輔助構圖的控制方法、控制裝置及電子裝置。

背景技術：

攝像技術中構圖屬於比較專業的技能，很多普通消費者都不具備這方面的技能，不知道如何調整鏡頭朝向或者鏡頭朝向調整不準確，導致圖像的視覺效果差。

技術實現要素：

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明需要提供一種旋轉攝像頭輔助構圖的控制方法、控制裝置及電子裝置。

一種旋轉攝像頭輔助構圖的控制方法，用於控制電子裝置，所述電子裝置包括成像裝置和存儲器，所述成像裝置包括旋轉攝像頭，所述成像裝置用於採集場景數據，所述存儲器存儲有多種前景類型和對應的構圖建議；所述控制方法包括以下步驟：

處理所述場景數據以獲得當前前景類型；

在所述存儲器尋找與所述當前前景類型對應的當前構圖建議；和

控制所述旋轉攝像頭旋轉以獲得符合所述當前構圖建議的場景圖像。

一種旋轉攝像頭輔助構圖的控制裝置，用於控制電子裝置，所述電子裝置包括成像裝置和存儲器，所述成像裝置包括旋轉攝像頭，所述成像裝置用於採集場景數據，所述存儲器存儲有多種前景類型和對應的構圖建議；所述控制裝置包括處理模塊、尋找模塊和控制模塊。

所述處理模塊用於處理所述場景數據以獲得當前前景類型。

所述尋找模塊用於在所述存儲器尋找與所述當前前景類型對應的當前構圖建議。

所述控制模塊用於控制所述旋轉攝像頭旋轉以獲得符合所述當前構圖建議的場景圖像。

一種電子裝置包括成像裝置、存儲器和所述控制裝置。

所述成像裝置包括旋轉攝像頭，所述成像裝置用於採集場景數據，所述場景數據包括緩存主圖像。

所述存儲器存儲有多種前景類型和對應的構圖建議。

本發明實施方式的旋轉攝像頭輔助構圖的控制方法、控制裝置及電子裝置利用深度信息確定當前前景類型，從而獲得當前前景類型對應的當前構圖建議並根據當前構圖建議控制旋轉攝像頭旋轉以獲得構圖合適的場景圖像。

本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。

附圖說明

本發明的上述和/或附加的方面和優點從結合下面附圖對實施方式的描述中將變得明顯和容易理解，其中：

圖1是本發明實施方式的旋轉攝像頭輔助構圖的控制方法的流程示意圖。

圖2是本發明實施方式的電子裝置的平面示意圖。

圖3是本發明某些實施方式的控制方法的流程示意圖。

圖4是本發明某些實施方式的控制裝置的處理模塊的功能模塊示意圖。

圖5是本發明某些實施方式的控制方法的流程示意圖。

圖6是本發明某些實施方式的處理單元的功能模塊示意圖。

圖7是本發明某些實施方式的控制方法的流程示意圖。

圖8是本發明某些實施方式的處理單元的另一個功能模塊示意圖。

圖9是本發明某些實施方式的控制方法的流程示意圖。

圖10是本發明某些實施方式的獲取單元的功能模塊示意圖。

圖11是本發明某些實施方式的控制方法的流程示意圖。

圖12是本發明某些實施方式的控制方法的流程示意圖。

圖13是本發明某些實施方式的處理模塊的另一個功能模塊示意圖。

圖14是本發明某些實施方式的緩存主圖像的示意圖。

圖15是本發明某些實施方式的當前構圖建議的示意圖。

圖16是本發明某些實施方式的場景圖像的示意圖。

主要元件符號說明：

電子裝置100、控制裝置10、處理模塊12、處理單元122、第一處理子單元1222、第二處理子單元1224、第三處理子單元1226、第四處理子單元1228、獲取單元124、第五處理子單元1242、尋找子單元1244、確定單元126、確定子單元1262、尋找模塊14、控制模塊16、成像裝置20、旋轉攝像頭22、存儲器30。

具體實施方式

下面詳細描述本發明的實施方式，所述實施方式的實施方式在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施方式是示例性的，僅用於解釋本發明，而不能理解為對本發明的限制。

請一併參閱圖1和圖2，本發明實施方式的旋轉攝像頭22輔助構圖的控制方法可以用於控制電子裝置100。電子裝置100包括成像裝置20和存儲器30。成像裝置20包括旋轉攝像頭22。成像裝置20用於採集場景數據。存儲器30存儲有多種前景類型和對應的構圖建議。控制方法包括以下步驟：

s12：處理場景數據以獲得當前前景類型；

s14：在存儲器30尋找與當前前景類型對應的當前構圖建議；和

s16：控制旋轉攝像頭22旋轉以獲得符合當前構圖建議的場景圖像。

請再次參閱圖2，本發明實施方式的旋轉攝像頭22輔助構圖的控制裝置10可以用於控制電子裝置。控制裝置10包括處理模塊12、尋找模塊14和控制模塊16。處理模塊12用於處理場景數據以獲得當前前景類型。尋找模塊14用於在存儲器30尋找與當前前景類型對應的當前構圖建議。控制模塊16用於控制旋轉攝像頭22旋轉以獲得符合當前構圖建議的場景圖像。

也即是說，本發明實施方式的控制方法可以由本發明實施方式的控制裝置10實現，其中，步驟s12可以由處理模塊12實現，步驟s14可以由尋找模塊14實現，步驟s16可以由控制模塊16實現。

在某些實施方式中，本發明實施方式的控制裝置10可以應用於本發明實施方式的電子裝置100，或者說本發明實施方式的電子裝置100可以包括本發明實施方式的控制裝置10。

本發明實施方式的控制方法、控制裝置10及電子裝置100利用深度信息確定當前前景類型，從而獲得當前前景類型對應的當前構圖建議並根據當前構圖建議控制旋轉攝像頭22旋轉以獲得構圖合適的場景圖像。

在某些實施方式中，電子裝置100包括手機或平板電腦。在本發明實施方式中，電子裝置100是手機。

請參閱圖3，在某些實施方式中，場景數據包括緩存主圖像，步驟s12包括以下步驟：

s122：處理場景數據以獲取緩存主圖像的深度信息；

s124：根據深度信息獲取緩存主圖像的前景部分；和

s126：根據前景部分確定當前前景類型。

請參閱圖4，在某些實施方式中，場景數據包括緩存主圖像。處理模塊12包括處理單元122、獲取單元124和確定單元126。處理單元122用於處理場景數據以獲取緩存主圖像的深度信息。獲取單元124用於根據深度信息獲取緩存主圖像的前景部分。確定單元126用於根據前景部分確定當前前景類型。

也即是說，步驟s122可以由處理單元122實現，步驟s124可以由獲取單元124實現，步驟s126可以由確定單元126實現。

如此，可以獲得緩存主圖像的前景部分並以前景部分為主體，從而獲得當前前景類型。

請參閱圖5，在某些實施方式中，場景數據包括與緩存主圖像對應的深度圖像，步驟s122包括以下步驟：

s1222：處理深度圖像以獲取緩存主圖像的深度數據；和

s1224：處理深度數據以得到深度信息。

請參閱圖6，在某些實施方式中，場景數據包括與緩存主圖像對應的深度圖像，處理單元122包括第一處理子單元1222和第二處理子單元1224。第一處理子單元1222用於處理深度圖像以獲取緩存主圖像的深度數據。第二處理子單元1224用於處理深度數據以得到深度信息。

也即是說，步驟s1222可以由第一處理子單元1222實現，步驟s1224可以由第二處理子單元1224實現。

如此，可以利用深度圖像快速獲得緩存主圖像的深度信息。

可以理解，緩存主圖像為rgb彩色圖像，深度圖像中包含大量的深度數據，即包含場景中各個人或物體的深度信息，深度信息包括深度的大小和/或範圍。由於緩存主圖像的色彩信息與深度圖像的深度信息是一一對應的關係，因此，可獲得緩存主圖像的深度信息。

在某些實施方式中，與緩存主圖像對應的深度圖像的獲取方式包括採用結構光深度測距獲取深度圖像及採用飛行時間(timeofflight,tof)深度攝像頭獲取深度圖像兩種方式。

採用結構光深度測距獲取深度圖像時，成像裝置20包括攝像頭和投射器。

可以理解，結構光深度測距是利用投射器將一定模式的光結構投射於物體表面，在表面形成由被測物體形狀所調製的光條三維圖像。光條三維圖像由攝像頭探測從而獲得光條二維畸變圖像。光條的畸變程度取決於投射器與攝像頭之間的相對位置和物體表面形廓或高度。沿光條顯示出的位移與物體表面的高度成比例，扭結表示了平面的變化，不連續顯示表面的物理間隙。當投射器與攝像頭之間的相對位置一定時，由畸變的二維光條圖像坐標便可重現物體表面的三維輪廓，從而可以獲取深度信息。結構光深度測距具有較高的解析度和測量精度。

採用tof深度攝像頭獲取深度圖像時，成像裝置20包括tof深度攝像頭。

可以理解，tof深度攝像頭通過傳感器記錄從發光單元發出的調製紅外光發射到物體，再從物體反射回來的相位變化，在一個波長的範圍內根據光速，可以實時的獲取整個場景深度距離。tof深度攝像頭計算深度信息時不受被攝物表面的灰度和特徵的影響，且可以快速地計算深度信息，具有很高的實時性。

請參閱圖7，在某些實施方式中，場景數據包括與緩存主圖像對應的緩存副圖像，步驟s122包括以下步驟：

s1226：處理緩存主圖像和緩存副圖像以得到緩存主圖像的深度數據；和

s1228：處理深度數據以得到深度信息。

請參閱圖8，在某些實施方式中，場景數據包括與緩存主圖像對應的緩存副圖像，處理單元122包括第三處理子單元1226和第四處理子單元1228。第三處理子單元1226用於處理緩存主圖像和緩存副圖像以得到緩存主圖像的深度數據。第四處理子單元1228用於處理深度數據以得到深度信息。

也即是說，步驟s1226可以由第三處理子單元1226實現，步驟s1228可以由第四處理子單元1228實現。

如此，可以通過處理緩存主圖像和緩存副圖像獲取緩存主圖像的深度信息。

在某些實施方式中，成像裝置20包括主攝像頭和副攝像頭。

可以理解，深度信息可以通過雙目立體視覺測距方法進行獲取，此時場景數據包括緩存主圖像和緩存副圖像。其中，緩存主圖像由主攝像頭拍攝得到，緩存副圖像由副攝像頭拍攝得到。雙目立體視覺測距是運用兩個相同的攝像頭對同一被攝物從不同的位置成像以獲得被攝物的立體圖像對，再通過算法匹配出立體圖像對的相應像點，從而計算出視差，最後採用基於三角測量的方法恢復深度信息。如此，通過對緩存主圖像和緩存副圖像這一立體圖像對進行匹配便可獲得緩存主圖像的深度信息。

請參閱圖9，在某些實施方式中，步驟s124包括以下步驟：

s1242：根據深度信息獲得緩存主圖像的最前點；和

s1244：尋找與最前點鄰接且深度連續變化的區域作為前景部分。

請參閱圖10，在某些實施方式中，獲取單元124包括第五處理子單元1242和尋找子單元1244。第五處理子單元1242用於根據深度信息獲得緩存主圖像的最前點。尋找子單元1244用於尋找與最前點鄰接且深度連續變化的區域作為前景部分。

也即是說，步驟s1242可以由第五處理子單元1242實現，步驟s1244可以由尋找子單元1244實現。

如此，可以獲得緩存主圖像物理聯繫的前景部分，即在現實場景中，前景部分是連接在一起的。以物理聯繫的前景部分作為主體，可以直觀地獲得前景部分的關係。

具體地，先根據深度信息獲得緩存主圖像的最前點，最前點相當於前景部分的開端，從最前點進行擴散，獲取與最前點鄰接並且深度連續變化的區域，這些區域和最前點歸併為前景區域。

需要說明的是，最前點指的是深度最小的物體對應的像素點，即物距最小或者離成像裝置20最近的物體對應的像素點。鄰接是指兩個像素點連接在一起。深度連續變化時指鄰接的兩個像素點的深度差值小於預定差值，或者說深度之差小於預定差值的兩個鄰接的像素點的深度連續變化。

請參閱圖11，在某些實施方式中，步驟s124可以包括以下步驟：

s1246：根據深度信息獲得緩存主圖像的最前點；和

s1248：尋找與最前點的深度之差小於預定閾值的區域作為前景部分。

如此，可以獲得緩存主圖像邏輯聯繫的前景部分，即在現實場景中，前景部分可能沒有連接在一起，但是符合某種邏輯關係，比如老鷹俯衝下來抓小雞的場景，老鷹和小雞物理上可能沒連接在一起，但是從邏輯上，可以判斷它們是聯繫起來的。

具體地，先根據深度信息獲得緩存主圖像的最前點，最前點相當於前景部分的開端，從最前點進行擴散，獲取與最前點的深度之差小於預定閾值的區域，這些區域和最前點歸併為前景區域。

在某些實施方式中，預定閾值可以是由用戶設置的一個值。如此，用戶可根據自身的需求來確定前景部分的範圍，從而獲得理想的構圖建議，實現理想的構圖。

在某些實施方式中，預定閾值可以是控制裝置10確定的一個值，在此不做任何限制。控制裝置10確定的預定閾值可以是內部存儲的一個固定值，也可以是根據不同情況，例如最前點的深度，計算出來的數值。

在某些實施方式中，步驟s124可以包括以下步驟：

尋找深度處於預定區間的區域作為前景部分。

如此，可以獲得深度處於合適範圍的前景部分。

可以理解，有些拍攝情況下，前景部分並不是最前面的部分，而是最前面部分稍微靠後一點的部分，例如，人坐在電腦後面，電腦比較靠前，但是人才是主體部分，所以將深度處於預定區間的區域作為前景部分，可以有效地避免主體選擇不正確的問題。

請參閱圖12，在某些實施方式中，步驟s126包括以下步驟：

s1262：根據前景部分的大小、形狀與緩存主圖像的背景部分的大小、形狀和/或位置配合關係確定前景類型。

請參閱圖13，在某些實施方式中，確定單元126包括確定子單元1262。確定子單元1262用於根據前景部分的大小、形狀與緩存主圖像的背景部分的大小、形狀和/或位置配合關係確定前景類型。

也即是說，步驟s1262可以由確定子單元1262實現。

如此，可以通過前景部分或者前景部分與背景部分的配合關係來確定前景類型。

可以理解，前景部分作為圖像的主體部分，在確定前景類型時，可以作為最主要的決定因素，即利用前景部分的大小、形狀、內容等特徵決定前景類型。

在某些實施方式中，前景類型包括對稱型、九宮圖型、對角線類型、三角形類型等。比如，前景部分為左右對稱的兩個物體，那麼可以判斷對應的前景類型為對稱型。

在某些實施方式中，為了提高構圖的質量，在確定前景類型時，還可以參考背景部分或者前景部分和背景部分的配合關係，從而獲得更加準確的前景類型，進而得到較理想的構圖建議。

請一併參閱圖14-16，在一個實施例中，控制裝置10控制成像裝置20成像以獲得如圖14所示的緩存主圖像和深度圖像(圖未示)，根據深度信息的處理可以獲得緩存主圖像的前景圖像為兩隻獅子，根據兩隻獅子確定當前前景類型，例如圖14中的兩隻獅子形態相似，並且左邊的獅子太靠近邊緣，而右邊的獅子的右側還留有較多的空間。根據這種前景類型，可以選用對稱式構圖，如圖15所示，控制旋轉攝像頭22旋轉以使得兩隻獅子在圖像中處於一個對稱的狀態，從而獲得如圖16所示的場景圖像。

在本發明的實施方式的描述中，術語「第一」、「第二」僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有「第一」、「第二」的特徵可以明示或者隱含地包括一個或者更多個所述特徵。在本發明的實施方式的描述中，「多個」的含義是兩個或兩個以上，除非另有明確具體的限定。

在本發明的實施方式的描述中，需要說明的是，除非另有明確的規定和限定，術語「安裝」、「相連」、「連接」應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接或可以相互通訊；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通或兩個元件的相互作用關係。對於本領域的普通技術人員而言，可以根據具體情況理解上述術語在本發明的實施方式中的具體含義。

在本說明書的描述中，參考術語「一個實施方式」、「一些實施方式」、「示意性實施方式」、「示例」、「具體示例」或「一些示例」等的描述意指結合所述實施方式或示例描述的具體特徵、結構、材料或者特點包含於本發明的至少一個實施方式或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施方式或示例。而且，描述的具體特徵、結構、材料或者特點可以在任何的一個或多個實施方式或示例中以合適的方式結合。

流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用於實現特定邏輯功能或過程的步驟的可執行指令的代碼的模塊、片段或部分，並且本發明的優選實施方式的範圍包括另外的實現，其中可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，來執行功能，這應被本發明的實施例所屬技術領域的技術人員所理解。

在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用於實現邏輯功能的可執行指令的定序列表，可以具體實現在任何計算機可讀介質中，以供指令執行系統、裝置或設備(如基於計算機的系統、包括處理模塊的系統或其他可以從指令執行系統、裝置或設備取指令並執行指令的系統)使用，或結合這些指令執行系統、裝置或設備而使用。就本說明書而言，"計算機可讀介質"可以是任何可以包含、存儲、通信、傳播或傳輸程序以供指令執行系統、裝置或設備或結合這些指令執行系統、裝置或設備而使用的裝置。計算機可讀介質的更具體的示例(非窮盡性列表)包括以下：具有一個或多個布線的電連接部(電子裝置)，可攜式計算機盤盒(磁裝置)，隨機存取存儲器(ram)，只讀存儲器(rom)，可擦除可編輯只讀存儲器(eprom或閃速存儲器)，光纖裝置，以及可攜式光碟只讀存儲器(cdrom)。另外，計算機可讀介質甚至可以是可在其上列印所述程序的紙或其他合適的介質，因為可以例如通過對紙或其他介質進行光學掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程序，然後將其存儲在計算機存儲器中。

應當理解，本發明的實施方式的各部分可以用硬體、軟體、固件或它們的組合來實現。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執行系統執行的軟體或固件來實現。例如，如果用硬體來實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現：具有用於對數據信號實現邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現場可編程門陣列(fpga)等。

本技術領域的普通技術人員可以理解實現上述實施例方法攜帶的全部或部分步驟是可以通過程序來指令相關的硬體完成，所述的程序可以存儲於一種計算機可讀存儲介質中，該程序在執行時，包括方法實施例的步驟之一或其組合。

此外，在本發明的各個實施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以採用硬體的形式實現，也可以採用軟體功能模塊的形式實現。所述集成的模塊如果以軟體功能模塊的形式實現並作為獨立的產品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質中。

上述提到的存儲介質可以是只讀存儲器，磁碟或光碟等。

儘管上面已經示出和描述了本發明的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本發明的限制，本領域的普通技術人員在本發明的範圍內可以對上述實施方式進行變化、修改、替換和變型。