基於圖像的移動傳感器、多功能攝像系統及其電子裝置的製作方法

2023-04-27 10:58:01

專利名稱：基於圖像的移動傳感器、多功能攝像系統及其電子裝置的製作方法
技術領域：
本發明有關於攝像系統(camera system),特別是有關於基於圖像的移動傳感器(image-based motion sensor)、相關的多功能(mult1-purposed)攝像系統以及電子裝置。所述多功能攝像系統既支持普通的攝像功能，又支持額外的移動傳感功能。
背景技術：
當前，行動電話內通常配置有一些用於不同應用程式的傳感器，例如，通常的智慧型手機可能配置有重力傳感器(G-sensor)(或稱為加速計)和陀螺儀傳感器(Gyro sensor)。重力傳感器能夠提供在移動方向上的速度、位移以及加速度信息。陀螺儀傳感器能夠直接測量方位朝向(orientation),可以用於機械裝置(mechanical means)或者微電機械(MicroElectroMechanical, MEM)裝置。然而,對於一些低成本的應用裝置例如功能手機，在其中應用重力傳感器和陀螺儀傳感器是不現實的，因為重力傳感器和陀螺儀傳感器的成本聞。因此，有必要尋求一種能夠支持移動傳感相關操作(例如，加速度、速度、位移、轉動(roll)、傾斜(pitch)以及偏航(yaw))的新的設計，並且不使用物理移動傳感器(例如，重力傳感器和陀螺儀傳感器)。

發明內容
有鑑於此，本發明提供一種基於圖像的移動傳感器、多功能攝像系統及其電子裝置。依據本發明一實施方式，提供一種基於圖像的移動傳感器，包括:攝像系統，用於產生包括多個拍攝圖像的圖像輸出；以及處理系統，用於通過處理所述圖像輸出以獲取移動傳感輸出，其中所述移動傳感輸出包括指示所述基於圖像的移動傳感器的移動狀態和朝向狀態中至少一者的信息。依據本發明另一實施方式，提供一種多功能攝像系統，包括:圖像拍攝塊，用於產生圖像信號；以及圖像信號處理塊，用於處理所述圖像信號；其中，當所述多功能攝像系統操作於第一操作模式時，所述多功能攝像系統作為攝像機，以產生拍攝圖像輸出；以及當所述多功能攝像系統操作於第二操作模式時，所述多功能攝像系統作為移動傳感器的一部分，以產生圖像輸出。依據本發明又一實施方式，提供一種電子裝置，包括:多功能攝像系統和處理系統。所述多功能攝像系統包括:圖像拍攝塊，用於產生圖像信號；以及圖像信號處理塊，用於處理所述圖像信號；其中，當所述多功能攝像系統操作於第一操作模式時，所述多功能攝像系統作為攝像機，以產生拍攝圖像輸出；以及當所述多功能攝像系統操作於第二操作模式時，所述多功能攝像系統作為移動傳感器的一部分，以產生圖像輸出。所述處理系統作為所述移動傳感器的另一部分，用於通過處理所述圖像輸出以產生移動傳感輸出，其中，所述移動傳感輸出包括指示所述電子裝置的移動狀態和朝向狀態中至少一者的信息。
本發明所提供的基於圖像的移動傳感器、多功能攝像系統及其電子裝置，無需使用重力傳感器和陀螺儀傳感器，就能支持移動傳感相關操作，既降低成本，又能提供較高的系統可靠性。對於已經閱讀後續由各附圖及內容所顯示的較佳實施方式的本領域的技術人員來說，本發明的各目的是明顯的。


圖1為根據本發明一實施例的基於圖像的移動傳感器的示意圖。圖2為圖1所示的處理系統的一實施例的示意圖。圖3為圖2所不的全域移動估計塊(global motion estimation block)的第一實施例的示意圖。圖4為當全域移動估計塊用於基於圖像的移動傳感器時處理系統如何確定偏航相關 目息的不意圖。圖5為當全域移動估計塊用於基於圖像的移動傳感器時處理系統如何確定傾斜相關 目息的不意圖。圖6為當全域移動估計塊應用於基於圖像的移動傳感器時處理系統如何確定轉動相關信息的示意圖。圖7為圖2所示的全域移動估計塊的第二實施例的示意圖。圖8為圖2所示的全域移動估計塊的第三實施例的示意圖。圖9為對輸入圖 像應用線性極坐標轉換(linear polar transform)的示意圖。圖10為圖2所示的全域移動估計塊的第四實施例的示意圖。圖11為應用於輸入圖像的傅立葉-梅林轉換(Fourier-Mellin transform)的示意圖。圖12為圖1所示的處理系統的另一實施例的示意圖。圖13為邊緣直方圖匹配單元(edge histogram matching unit)進行邊緣直方圖匹配操作的示意圖。圖14為根據本發明一實施例的檢測快速移動動作(fast movement action)的方法流程圖。圖15為根據本發明另一實施例的檢測快速移動動作的方法流程圖。圖16為根據本發明一實施例的檢測慢速移動動作(slow movement action)的方法流程圖。圖17為根據本發明一實施例的檢測旋轉動作(rotation action)的方法流程圖。圖18為根據本發明一實施例的電子裝置的示意圖。圖19為圖18所示的多功能攝像系統的一實施例的示意圖。圖20為根據本發明的多功能攝像系統的模式切換操作(modeswitchingoperation)的流程圖。
具體實施例方式在權利要求書及說明書中使用了某些詞彙來指稱特定的組件。所屬領域中的技術人員應可理解，硬體製造商可能會用不同的名詞來稱呼同樣的組件。本權利要求書及說明書並不以名稱的差異來作為區分組件的方式，而是以組件在功能上的差異來作為區分的準貝U。在權利要求書及說明書中所提及的「包括」為開放式的用語，故應解釋成「包括但不限定於」。另外，「耦接」一詞在此包括任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接於第二裝置，則代表所述第一裝置可直接電連接於所述第二裝置，或通過其他裝置或連接手段間接地電連接至所述第二裝置。本發明的主旨為運用攝像系統來模擬移動傳感器的操作。換句話說，本發明提供一種基於圖像的移動傳感器，其中，攝像系統為基於圖像的移動傳感器的一部分。使用這種方法，可以降低成本，並能提供較高的系統可靠性。在本發明一實施例中，攝像系統可作為基於圖像的移動傳感器的專用組件(dedicatedcomponent)。在本發明的另一實施例中，攝像系統可作為支持多種操作模式的多功能攝像系統。例如，當多功能攝像系統操作於第一模式時，多功能攝像系統可當作正常攝像機使用；當多功能攝像系統操作於第二模式時，多功能攝像系統可作為基於圖像的移動傳感器的一部分。更多的詳細說明請見下文。圖1為根據本發明一實施例的基於圖像的移動傳感器的示意圖。基於圖像的移動傳感器100包括(但不限於)攝像系統102和處理系統104。攝像系統102用於產生包括多個拍攝圖像/巾貞(captured images/frames)的圖像輸出IMG_0UT。處理系統104通過處理圖像輸出MG_0UT來得到移動傳感輸出S_0UT，其中移動傳感輸出S_0UT包括的信息指示基於圖像的移動傳感器100的移動狀態(motion status)和朝向狀態(orientation status)中至少一者。例如，當移動傳感輸出S_0UT包括指示朝向狀態的信息時，移動傳感輸出S_OUT可包括轉動、傾斜以及偏航的相關移動信息。當移動傳感輸出S_0UT包括指示移動狀態的信息時，移動傳感輸出S_0UT可包括速度、加速度以及位移信息。簡單來說，基於圖像的移動傳感器100可通過對拍攝的圖像進行圖像處理，來模擬重力傳感器和/或陀螺儀傳感器。在本發明的一設計範例中，處理系統104可配置來支持全域移動估計(globalmotion estimation),全域移動估計用於確定移動傳感輸出S_0UT。請參照圖2,圖2為圖1所示的處理系統104的一實施例的示意圖。處理系統104包括全域移動估計塊(global motion estimation block) 202和處理器204。全域移動估計塊202用於根據攝像系統102的圖像輸出MG_0UT產生全域移動信息INF。處理器204用於根據全域移動信息INF來確定移動傳感輸出S_0UT。全域移動估計塊202可作為用來處理圖像輸出MG_0UT的功能塊。然而，這只是用來說明，而並不是作為本發明保護範圍的限制。作為一種選擇，如果攝像系統102配備有電子圖像穩定(electronic image stabilization,EIS)模塊,那麼全域移動估計塊202可包括電子圖像穩定模塊，因為電子圖像穩定模塊能夠執行全域移動估計。具體而言，當攝像系統102操作於正常攝像模式時，電子圖像穩定模塊執行其指定的電子圖像穩定功能；當攝像系統102操作於移動傳感模式時，電子圖像穩定模塊可作為全域移動估計塊202。在一實施例中，基於圖像的移動傳感器100充當陀螺儀傳感器，處理器204將產生包括旋轉、傾斜以及偏航相關信息的移動傳感輸出S_0UT。當基於圖像的移動傳感器100在Y軸方向旋轉時，由於攝像機的偏航(yaw),連續拍攝到的圖像中的同一物件(object)會具有在水平方向的移動。當基於圖像的移動傳感器100在X軸方向旋轉時，由於攝像機的傾斜(pitch)，連續拍攝到的圖像中的同一物件會具有在垂直方向的移動。當基於圖像的移動傳感器100在Z軸方向旋轉時，由於攝像機的轉動(roll),連續拍攝到的圖像中的同一物件會具有圓周移動(circular movement)。因此,基於這些觀察,根據處理連續拍攝的圖像得到的全域移動估計結果，可以估計得到偏航相關信息、傾斜相關信息以及轉動相關信息。請參照圖3，圖3為圖2所示的全域移動估計塊202的第一實施例的示意圖。全域移動估計塊202可用全域移動估計塊300來實現，其中全域移動估計塊300包括移動估計單元302和移動向量(motion vector)分析單元304。移動估計單元302用於對第一拍攝圖像F_1和第二拍攝圖像F_2中的多對(plurality of pairs)相同位置的子圖像(co-locatedsub-1mages)(例如:A1、A2、A3和A4)中的每一對執行移動估計,並產生對應每一對相同位置的子圖像的移動向量(例如:MV1、MV2、MV3和MV4)，其中第一拍攝圖像F_1和第二拍攝圖像？_2是連續拍攝的圖像。舉例來說，每一個子圖像可以是尺寸為16X16的子塊，第一拍攝圖像F_1為先前圖像，第二拍攝圖像？_2為在先前圖像被拍攝後立即拍攝的當前圖像。值得注意的是，在圖3中所示的相同位置的子圖像對的數量僅作為說明用。在實踐中，每一個拍攝圖像可以分成任意數量的子圖像，這取決於移動估計單元302的實際設計。請注意，本發明的實施例中所提到的圖像的「尺寸」可以理解為圖像的解析度或者圖像的像素等。移動向量分析單元304用於通過分析移動向量(例如，MV1-MV4)以產生全域移動信息INF。更具體地說，根據移動向量MV1-MV4所指出的全域移動方向，可以確定出攝像機旋轉/朝向狀態(camera rotation/orientation status)。相應地，基於圖像的移動傳感器100的旋轉/朝向狀態也可以得到。圖4為當全域移動估計塊300用於基於圖像的移動傳感器100時處理系統104如何確定偏航相關信息的示意圖。如果基於圖像的移動傳感器100在Y軸方向旋轉，攝像頭(camera lens)同樣也會在Y軸方向旋轉。如圖4所示，由於攝像機的旋轉,在第一拍攝圖像F_1中的物件402的位置水平地移位到(shiftedhorizontally)第二拍攝圖像F_2中的新位置。在移動估計單元302針對每一對子圖像A1-A4執行完移動估計後，相應地，所得到的移動向量MV1-MV4都是在X軸上。移動向量分析單元304發現所有的移動向量MV1-MV4都是在X軸上，並因此確定攝像機旋轉狀態為攝像機偏航(camera yaw)。此外,移動向量分析單元304也可以根據移動向量MV1-MV4來確定偏航相關信息(例如，偏航角度)。例如，移動向量分析單元304可以使用移動向量MV1-MV4中的一個或者移動向量MV1-MV4的平均值來確定偏航角度值。值得注意的是，根據攝像機偏航的旋轉方向，移動向量MV1-MV4既可以是向左的移動向量，也可以是向右的移動向量。圖5為當全域移動估計塊300用於基於圖像的移動傳感器100時處理系統104如何確定傾斜相關信息的示意圖。如果基於圖像的移動傳感器100在X軸方向旋轉，攝像頭同樣也會在X軸方向旋轉。如圖5所示，由於攝像機的旋轉，在第一拍攝圖像F_1中的物件502的位置垂直地移位到(shifted vertically)第二拍攝圖像F_2中的新位置。在移動估計單元302針對每一對子圖像A1-A4執行完移動估計後，相應地，所得到的移動向量MV1-MV4都是在Y軸上。移動向量分析單元304發現所有的移動向量MV1-MV4都是在Y軸上，並因此確定攝像機旋轉狀態為攝像機傾斜(camera pitch)。此外,移動向量分析單元304也可以根據移動向量MV1-MV4來確定傾斜相關信息(例如，傾斜角度)。例如，移動向量分析單元304可以使用移動向量MV1-MV4中的一個或者移動向量MV1-MV4的平均值來確定傾斜角度值。值得注意的是，根據攝像機傾斜的旋轉方向，移動向量MV1-MV4既可以是向上的移動向量,也可以是向下的移動向量。圖6為當全域移動估計塊300應用於基於圖像的移動傳感器100時處理系統104如何確定轉動相關信息的示意圖。如果基於圖像的移動傳感器100在Z軸方向旋轉，攝像頭同樣也會在Z軸方向旋轉。如圖6所示，由於攝像機的旋轉，在第一拍攝圖像F_1中的物件602的位置旋轉到第二拍攝圖像F_2中的新位置。在移動估計單元302針對每一對子圖像A1-A4執行完移動估計後，相應地，所得到的移動向量MV1-MV4圍繞成一個圓形(in thecircle)。移動向量分析單元304發現所有的移動向量MV1-MV4圍繞成一個圓形，並因此確定攝像機旋轉狀態為攝像機轉動(camera roll)。此外,移動向量分析單元304也可以根據移動向量MV1-MV4來確定轉動相關信息(例如，轉動角度)。例如，移動向量分析單元304可以使用移動向量MV1-MV4中的一個或者移動向量MV1-MV4的平均值來確定轉動角度值。值得注意的是，根據攝像機轉動的旋轉方向，移動向量MV1-MV4既可以是順時針方向的移動向量，也可以是逆時針方向的移動向量。在上述實施例中，當每一個拍攝的圖像被分為N個子圖像時，移動估計單元302(例如，EIS模塊)需要執行N次移動估計操作。因此，如果N的值較大，那麼運算的複雜度就會較高。為了降低運算的複雜度和/或提高檢測的精確度，圖2所示的全域移動估計塊202的替代實施方式提供如下。請參照圖7，圖7為圖2所示的全域移動估計塊202的第二實施例的示意圖。全域移動估計塊202可用全域移動估計塊700來實現，其中全域移動估計塊700包括圖像縮小單兀(image down-scaling unit) 702和全域移動估計單兀704。圖像縮小單兀702用於分別縮小第一拍攝圖像F_1和第二拍攝圖像？_2，以產生第一已縮小圖像(down-scaledimage) F_l』和第二已縮小圖像F_2』。第一拍攝圖像F_1和第二拍攝圖像F_2是連續拍攝的圖像。舉例來說，第一拍攝圖像？_1為先前圖像，第二拍攝圖像？_2為在先前圖像被拍攝後立即拍攝的當前圖像。假設第一拍攝圖像F_1和第二拍攝圖像？_2中的每一個的尺寸為640X480，則圖像縮小單元702可以配置為調整第一拍攝圖像？_1和第二拍攝圖像F_2的尺寸，以使得第一已縮小圖像F_l』和第二已縮小圖像F_2』的每一個的尺寸為80X80。全域移動估計單元704用於通過對第一已縮小圖像F_l』和第二已縮小圖像F_2』執行全域移動估計，以產生全域移動信息INF。總的來說，移動估計是確定移動向量的過程，每一個移動向量將一個圖像中的圖像塊(image block)匹配至另一個圖像中的圖像塊。關於全域移動估計，是用來確定兩個圖像之間的單一移動向量(single motion vector)。如果第一已縮小圖像F_1 』和第二已縮小圖像F_2 』的尺寸均為80 X 80，全域移動估計單元704可從第一已縮小圖像F_l』中裁切(crop)出尺寸為60X60的中心圖像塊(central imageblock),並採用-10到+10的搜尋範圍在第二已縮小圖像？_2』中找出具有相同尺寸60X60的匹配圖像塊(matched image block),以確定出作為全域移動信息INF的全域移動向量MV。全域移動向量MV可以分解為X軸方向的移動向量分量MVx和Y軸方向的移動向量分量MVY。處理器204根據移動向量分量(Component)MVx來確定偏航相關信息(例如，偏航角度)，根據移動向量分量MVy來確定傾斜相關信息(例如，傾斜角度)。由於圖像縮小單元702能夠減小接下來將要被全域移動估計單元704處理的圖像的尺寸，因此可以有效地降低運算的複雜度。
如圖7所示的配置僅是作為獲取偏航角度和傾斜角度的一個替代設計(alternative design)。關於確定轉動角度,可以使用不同的配置。請參照圖8,圖8為圖2所示的全域移動估計塊202的第三實施例的示意圖。全域移動估計塊202可用全域移動估計塊800來實現,其中全域移動估計塊800包括圖像縮小單元802、轉換單元(transformunit)804和全域移動估計單元806。圖像縮小單元802用於產生第一拍攝圖像F_1的第一已縮小圖像F_l』，以及第二拍攝圖像F_2的第二已縮小圖像F_2』。第一拍攝圖像F_1和第二拍攝圖像F_2是連續拍攝的圖像。舉例來說，第一拍攝圖像？_1為先前圖像，第二拍攝圖像F_2為在先前圖像被拍攝後立即拍攝的當前圖像。轉換單元804用於分別對第一已縮小圖像F_l』和第二已縮小圖像F_2』執行特定轉換(specific transform),以產生第一轉換後圖像(transformed image) FT_1 和第二轉換後圖像FT_2。在本實施例中，由轉換單元804執行的特定轉換可以是線性極坐標轉換(linear polar transform)。請參照圖9,圖9為對輸入圖像(inputimage)902應用線性極坐標轉換的示意圖。輸入圖像902可以是第一已縮小圖像F_l』和第二已縮小圖像F_2』的其中之一。線性極坐標轉換是用來將輸入圖像902從卡迪爾坐標系(Cartesian coordinatesystem)轉換成極坐標系(polarcoordinate system)中的轉換後圖像904。極坐標系是二維坐標系(two-dimensionalcoordinate system),在二維坐標系中，轉換後圖像904的每一點都可以通過與一個固定點(fixed point)(例如,輸入圖像902的圖像中心)的距離和與一個固定方向的角度確定出來。如圖9所示，線段(line segment)L1在輸入圖像902中的角度為0°，並作為轉換後圖像904的第一行。通過將在逆時針方向具有不同角度的線段集合在一起，相應地即可得到轉換後圖像904。全域移動估計單元806用於通過對第一轉換後圖像FT_1和第二轉換後圖像FT_2執行全域移動估計，以產生全域移動信息INF。如圖9所示，因為輸入圖像902可以是例如正方形圖像(square image),轉換後圖像904可包括具有不同長度的行(rows)。為使全域移動估計更容易進行，從轉換後圖像904裁切出局部矩形圖像(partial rectangular image)904』，局部矩形圖像904』的行都具有相同的長度R。因此，全域移動估計單元806通過對來自第一轉換後圖像FT_1的一個局部矩形圖像以及來自第二轉換後圖像FT_2的另一個局部矩形圖像執行全域移動估計，以產生全域移動信息INF，其中這兩個局部矩形圖像具有相同的尺寸大小。通過線性極坐標轉換,旋轉(rotation)被轉換成在Y軸上的移動(如果圖9所示的Y軸用來表示角度)或者在X軸上的移動(如果圖9所示的X軸用來表示角度)。換句話說，全域移動估計單元806可以僅在一個方向上執行全域移動估計。因此，在本實施例中，轉動相關信息(例如，轉動角度)可以通過僅參考Y軸上找出的全域移動向量輕易地確定出來。例如，全域移動估計單元806可使用尺寸為70X50的中心圖像以及在Y軸方向上-10到+10的圖像搜尋範圍，以找出上述局部矩形圖像在Y軸方向的移動向量。如圖8所示，圖像縮小單元802可包括圖像縮小電路812和圖像對準(imagealignment)電路814。圖像縮小電路812用於分別縮小第一拍攝圖像F_1和第二拍攝圖像F_2，以產生第三已縮小圖像？_3』和第四已縮小圖像F_4』。假設第一拍攝圖像F_1和第二拍攝圖像F_2中的每一個的尺寸為640 X 480，則圖像縮小電路812可以配置來調整第一拍攝圖像F_1和第二拍攝圖像？_2的尺寸，以使得第三已縮小圖像？_3』和第四已縮小圖像F_4』的每一個的尺寸為80X80。請注意，圖像縮小單元802不是本發明必需的。例如，在一實施例中，產生第一拍攝圖像F_1和第二拍攝圖像？_2的攝像系統102，當其獲取圖像時，具有調整/改變圖像尺寸的功能，那麼攝像系統102可以直接提供第三已縮小圖像F_3』和第四已縮小圖像F_4』，在這種情況下就可以省略圖像縮小單元802。全域移動估計單元806還可以通過對第三已縮小圖像？_3』和第四已縮小圖像F_4』執行全域移動估計，以產生另一全域移動信息INF』。圖像對準電路814用於根據全域移動信息INF』對第三已縮小圖像F_3』和第四已縮小圖像F_4』執行圖像對準，以產生第一已縮小圖像F_l』和第二已縮小圖像F_2』。如上所述，圖9中所示的轉換後圖像904的每一行都是起始於輸入圖像902的圖像中心並在徑向方向上指向輸入圖像902的邊緣。在存在攝像機偏航/傾斜以及攝像機轉動的實施例中，位於第一拍攝圖像F_1的圖像中心的物件從第二拍攝圖像F_2中的圖像中心移開。如果在執行線性極坐標轉換之前沒有進行圖像對準，那麼全域移動估計單元806所找出的全域移動向量的精確度就會降低。在本實施例中，全域移動信息INF』可以是指示第三已縮小圖像F_3』和第四已縮小圖像F_4』之間的估計圖像錯位(misalignment)的移動向量。因此，圖像對準電路814根據全域移動信息INF』對第三已縮小圖像F_3』和第四已縮小圖像F_4』進行對準。當搜尋範圍為從-10到+10時，圖像對準電路814將會通過丟棄不重疊的像素(non-overlapped pixels)來產生尺寸為70X70的對準後圖像。這樣，對準後圖像(例如，第一已縮小圖像F_l』和第二已縮小圖像F_2』 )將會具有對準於各自圖像中心的相同的圖像內容，因此可以提高由全域移動估計單元806所確定的全域移動向量的精確度。值得注意的是，當全域移動估計塊202採用全域移動估計塊800來實現時，處理器204可以根據全域移動信息INF』來推導出偏航/傾斜相關信息(例如，偏航/傾斜角度)，以及可以根據全域移動信息INF來推導出轉動相關信息(例如，轉動角度)。在另一實施例中，僅存在攝像機轉動，而沒有攝像機偏航/傾斜，弟一拍攝圖像F_1和第二拍攝圖像F_2將會具有對準於各自圖像中心的相同的圖像內容。在一設計範例中，圖像對準電路814通過根據第三已縮小圖像F_3』、第四已縮小圖像？_4』以及全域移動信息INF』來執行相同的圖像對準程序，以產生第一已縮小圖像F_l』和第二已縮小圖像F_2』。在另一設計範例中，圖像對準電路814可以直接將第三已縮小圖像F_3』作為第一已縮小圖像？_1』，並直接將第四已縮小圖像F_4』作為第二已縮小圖像F_2』。根據上述描述可知，當轉換單元804採用的特定轉換為線性極坐標轉換時，為了提高移動向量的精確度，額外的圖像對準步驟是必需的。在實踐中，轉換單元804採用的特定轉換並不限於線性極坐標轉換。例如，圖8所示的轉換單元804可以將採用的線性極坐標轉換更改為對數極坐標轉換(Log-polartransform)。此外，當轉換單元804所採用的特定轉換其本身就具有對準圖像的效果時，則額外的圖像對準步驟也可省略。例如，在一替代設計中，轉換單元804所採用的特定轉換可以是傅立葉-梅林轉換(Fourier-Mellintransform)ο請參照圖10,圖10為圖2所示的全域移動估計塊202的第四實施例的示意圖。全域移動估計塊202可用全域移動估計塊1000來實現，其中全域移動估計塊1000包括圖像縮小單元1002、轉換單元1004和全域移動估計單元1006。圖像縮小單元1002用於產生第一拍攝圖像F_1的第一已縮小圖像F_l』，以及第二拍攝圖像F_2的第二已縮小圖像F_2』。第一拍攝圖像F_1和第二拍攝圖像？_2是連續拍攝的圖像。舉例來說，第一拍攝圖像？_1為先前圖像，第二拍攝圖像？_2為在先前圖像被拍攝後立即拍攝的當前圖像。在本實施例中，圖像縮小單元1002直接縮小第一拍攝圖像F_1以產生第一已縮小圖像F_l』，以及直接縮小第二拍攝圖像F_2以產生第二已縮小圖像？_2』。也就是說，圖像縮小單元1002不會執行圖像對準操作。假設第一拍攝圖像F_1和第二拍攝圖像？_2中的每一個的尺寸為640X480，圖像縮小單元1002可以調整第一拍攝圖像？_1和第二拍攝圖像？_2的尺寸，以使得第一已縮小圖像F_l』和第二已縮小圖像F_2』的每一個的尺寸為80X80。請注意，圖像縮小單元1002不是本發明必需的。例如，在一實施例中，產生第一拍攝圖像F_1和第二拍攝圖像？_2的攝像系統102，當其獲取圖像時，具有調整/改變圖像尺寸的功能，那麼攝像系統102可以直接提供第一已縮小圖像F_l』和第二已縮小圖像F_2』，在這種情況下就可以省略圖像縮小單元1002。轉換單元1004用於分別對第一已縮小圖像F_l』和第二已縮小圖像F_2』執行特定轉換，以產生第一轉換後圖像FT_1和第二轉換後圖像FT_2。在本實施例中，特定轉換為傅立葉-梅林轉換。請參照圖11，圖11為應用於輸入圖像1102的傅立葉-梅林轉換的示意圖。輸入圖像1102可以是第一已縮小圖像F_l』和第二已縮小圖像F_2』的其中之一。傅立葉-梅林轉換包括順序進行的傅立葉轉換(Fourier transform)和對數極坐標轉換。如圖11所示，輸入圖像1102首先根據傅立葉轉換轉變為傅立葉轉換後圖像1104。根據傅立葉轉換的固有特性，輸入圖像1102中的低頻成分(lower-frequency components)對應的轉換輸出，位於靠近傅立葉轉換後圖像1104的圖像中心的位置；輸入圖像1102中的高頻成分(higher-frequency components)對應的轉換輸出，位於遠離傅立葉轉換後圖像1104的圖像中心的位置。因此，由於傅立葉轉換後圖像的圖像中心總是對應輸入圖像1102中的低頻成分，傅立葉轉換可以得到想要的圖像對準效果(imagealignment effect)。接下來,對傅立葉轉換後圖像1104應用對數極坐標轉換。對數極坐標轉換將傅立葉轉換後圖像1104從一個轉換域(transform domain)轉換為另一個轉換域(例如，對數極性坐標系(Log-polarcoordinate system))的對數極坐標轉換後圖像1106。對數極性坐標系是二維坐標系,在此二維坐標系中，轉換後圖像1106的每一點都可以通過與一個固定點(例如,傅立葉轉換後圖像1104的圖像中心)的距離的對數以及與一個固定方向的角度確定出來。如圖11所示，線段LI在傅立葉轉換後圖像中的角度為0°，並作為對數極坐標轉換後圖像1106的第一行。通過將在逆時針方向具有不同角度的線段集合在一起，相應地即可得到對數極坐標轉換後圖像1106。線性極坐標轉換與對數極坐標轉換之間主要的不同在於，對數極坐標轉換採用從傅立葉轉換後圖像1104的圖像中心的距離的對數(logarithm)來保存低頻成分的傅立葉轉換輸出，以及降低高頻成分的傅立葉轉換輸出以降低雜訊(noise reduction)。本領域的技術人員在閱讀上述關於圖9所示的線性極坐標轉換示意圖的段落後，應該很容易理解對數極坐標轉換的操作，為了簡潔起見，這裡省略對其進一步的描述。 全域移動估計單元1006用於通過對第一轉換後圖像FT_1和第二轉換後圖像FT_2執行全域移動估計，以產生全域移動信息INF。如圖11所示，因為輸入圖像1102是正方形圖像，轉換後圖像1106可包括具有不同長度的行。為使接下來的全域移動估計更容易進行，從轉換後圖像1106裁切出局部矩形圖像1106』，局部矩形圖像1106』的行都具有相同的長度R』。因此，全域移動估計單元1006通過對來自第一轉換後圖像FT_1的一個局部矩形圖像以及來自第二轉換後圖像FT_2的另一個局部矩形圖像執行全域移動估計，以產生全域移動信息INF，其中這兩個局部矩形圖像具有相同的尺寸大小。通過傅立葉-梅林轉換，轉動相關信息(例如，轉動角度)可以僅通過在一個方向上的全域移動向量輕易地確定出來。在本實施例中，由於Y軸用來表示角度，轉動相關信息(例如，轉動角度)可以通過在Y軸上找出的移動向量來確定。例如，全域移動估計單元1006可使用尺寸為80X60的圖像以及在Y軸方向上-10到+10的圖像搜尋範圍，以找出上述局部矩形圖像在Y軸方向的移動向量。值得注意的是，當全域移動估計塊202採用全域移動估計塊1000來實施時，處理器204可以根據從使用上述方法得到的全域移動信息INF』來取得偏航/傾斜相關信息(例如，偏航/傾斜角度)，以及根據全域移動信息INF來確定轉動相關信息(例如，轉動角度)。在上述產生用於確定轉動相關信息的全域移動信息INF的實施例中，全域移動估計單元(例如，電子圖像穩定模塊)可以用來執行想要的全域移動估計。然而，這只是用來說明，而並不是作為本發明保護範圍的限制。也就是說，表明攝像機轉動的旋轉狀態的全域移動/[目息INF也可以通過其他方法或算法來獲得。請參照圖12，圖12為圖1所示的處理系統104的另一實施例的示意圖。處理系統104包括邊緣檢測塊1202和處理器1204。邊緣檢測塊1202用於根據圖像輸出MG_0UT執行邊緣檢測以產生全域移動信息INF。處理器1204用於根據全域移動信息INF來確定移動傳感輸出S_0UT。在本實施例中，邊緣檢測塊1202包括圖像縮小單元1212、邊緣檢測單元1214、邊緣直方圖(edge histogram)單元1216以及邊緣直方圖匹配(edge histogrammatching)單元1218。圖像縮小單元1212用於分別縮小第一拍攝圖像F_1和第二拍攝圖像F_2，以產生第一已縮小圖像F_l』和第二已縮小圖像F_2』。第一拍攝圖像F_1和第二拍攝圖像？_2是連續拍攝的圖像。舉例來說，第一拍攝圖像？_1為先前圖像，第二拍攝圖像？_2為在先前圖像被拍攝後立即拍攝的當前圖像。假設第一拍攝圖像F_1和第二拍攝圖像？_2中的每一個的尺寸為640X480。由於全域移動信息INF是根據邊緣信息來確定的,而不是根據移動向量信息來確定的，圖像縮小單元1212可在水平解析度(horizontal resolution)和垂直解析度(vertical resolution)上米用相同的縮小因子(down-scaling factor)。舉例來說，圖像縮小單元1212可調整第一拍攝圖像F_1和第二拍攝圖像F_2的尺寸，以使得第一已縮小圖像F_l』和第二已縮小圖像F_2』的每一個的尺寸為80X60。值得注意的是，圖像縮小單元1212不是本發明必需的。例如，在一實施例中，產生第一拍攝圖像F_1和第二拍攝圖像F_2的攝像系統102，當其獲取圖像時，具有調整/改變圖像尺寸的功能，那麼攝像系統102可以直接提供第一已縮小圖像F_l』和第二已縮小圖像F_2』，在這種情況下就可以省略圖像縮小單元1212。邊緣檢測單元1214用於對第一已縮小圖像F_l』執行邊緣檢測以產生第一邊緣信息E_l，以及對第二已縮小圖像？_2』執行邊緣檢測以產生第二邊緣信息E_2。舉例來說，第一邊緣信息E_1可包括第一已縮小圖像F_l』中每一個像素的角度值以及幅度值(magnitude value)，第二邊緣信息E_2可包括第二已縮小圖像F_2』中每一個像素的角度值以及幅度值。在本實施例中，邊緣檢測單元1214採用索貝爾算子(Sobel operator)來檢測水平變化(horizontal changes)和垂直變化(vertical changes),其中索貝爾算子採用3X3的核心(Kx，KY), Kx和Ky與源圖像(source image) A (例如，第一已縮小圖像F_l』和第二已縮小圖像F_2』)作卷積(convolve)。根據索貝爾算子輸出Gx和Gy,源圖像A中的每一個像素的角度值Θ和幅度值G都可以得到。邊緣檢測單元1214的操作可用以下公式來說明。
權利要求
1.一種基於圖像的移動傳感器，其特徵在於，包括: 攝像系統，用於產生包括多個拍攝圖像的圖像輸出；以及 處理系統，用於通過處理所述圖像輸出以獲取移動傳感輸出，其中所述移動傳感輸出包括指示所述基於圖像的移動傳感器的移動狀態和朝向狀態中至少一者的信息。
2.如權利要求1所述的基於圖像的移動傳感器，其特徵在於，所述移動傳感輸出包括指示所述基於圖像的移動傳感器的所述朝向狀態的信息，指示所述朝向狀態的所述信息包括轉動、傾斜以及偏航的相關移動信息。
3.如權利要求1所述的基於圖像的移動傳感器，其特徵在於，所述移動傳感輸出包括指示所述基於圖像的移動傳感器的所述移動狀態的信息，指示所述移動狀態的所述信息包括速度、加速度以及位移信息。
4.如權利要求1所述的基於圖像的移動傳感器，其特徵在於，所述處理系統包括: 全域移動估計塊，用於根據所述圖像輸出產生全域移動信息；以及 處理器，用於根據所述全域移動信息來確定所述移動傳感輸出。
5.如權利要求4所述的基於圖像的移動傳感器，其特徵在於，所述全域移動估計塊包括電子圖像穩定模塊，所述電子圖像穩定模塊用於執行全域移動估計。
6.如權利要求4所述的基 於圖像的移動傳感器，其特徵在於，所述全域移動估計塊包括: 移動估計單元，用於對第一拍攝圖像和第二拍攝圖像中的多對相同位置的子圖像中的每一對執行移動估計，並產生對應所述多對相同位置的子圖像的多個移動向量，其中，所述第一拍攝圖像和所述第二拍攝圖像是連續拍攝的圖像；以及 移動向量分析單元，用於通過分析所述多個移動向量以產生所述全域移動信息。
7.如權利要求4所述的基於圖像的移動傳感器，其特徵在於，所述全域移動估計塊包括: 圖像縮小單元，用於分別縮小第一拍攝圖像和第二拍攝圖像，以產生第一已縮小圖像和第二已縮小圖像，其中，所述第一拍攝圖像和所述第二拍攝圖像是連續拍攝的圖像；以及全域移動估計單元，用於通過對所述第一已縮小圖像和所述第二已縮小圖像執行全域移動估計，以產生所述全域移動信息。
8.如權利要求4所述的基於圖像的移動傳感器，其特徵在於，所述全域移動估計塊包括: 圖像縮小單元，用於產生第一拍攝圖像的第一已縮小圖像，以及第二拍攝圖像的第二已縮小圖像，其中，所述第一拍攝圖像和所述第二拍攝圖像是連續拍攝的圖像； 轉換單元，用於分別對所述第一已縮小圖像和所述第二已縮小圖像執行特定轉換，以產生第一轉換後圖像和第二轉換後圖像；以及 全域移動估計單元，用於通過對所述第一轉換後圖像和所述第二轉換後圖像執行全域移動估計，以產生所述全域移動信息。
9.如權利要求8所述的基於圖像的移動傳感器，其特徵在於，所述特定轉換為線性極坐標轉換或對數極坐標轉換。
10.如權利要求9所述的基於圖像的移動傳感器，其特徵在於，所述全域移動估計單元進一步用於通過對第三已縮小圖像和第四已縮小圖像執行所述全域移動估計，以產生另一全域移動信息；以及所述圖像縮小單元包括: 圖像縮小電路，用於分別縮小所述第一拍攝圖像和所述第二拍攝圖像，以產生所述第三已縮小圖像和所述第四已縮小圖像；以及 圖像對準電路，用於根據所述另一全域移動信息對所述第三已縮小圖像和所述第四已縮小圖像執行圖像對準，以產生所述第一已縮小圖像和所述第二已縮小圖像。
11.如權利要求8所述的基於圖像的移動傳感器，其特徵在於，所述全域移動估計單元僅在一個方向上執行所述全域移動估計。
12.如權利要求1所述的基於圖像的移動傳感器，其特徵在於，所述處理系統包括: 邊緣檢測塊，用於根據所述圖像輸出執行邊緣檢測以產生全域移動信息；以及 處理器，用於根據所述全域移動信息來確定所述移動傳感輸出。
13.如權利要求12所述的基於圖像的移動傳感器，其特徵在於，所述邊緣檢測塊包括: 圖像縮小單元，用於分別縮小第一拍攝圖像和第二拍攝圖像，以產生第一已縮小圖像和第二已縮小圖像，其中，所述第一拍攝圖像和所述第二拍攝圖像是連續拍攝的圖像；邊緣檢測單元，用於對所述第一已縮小圖像執行邊緣檢測以產生第一邊緣信息，以及對所述第二已縮小圖像執行邊緣檢測以產生第二邊緣信息； 邊緣直方圖單元，用於根據所述第一邊緣信息獲得第一邊緣直方圖，以及根據所述第二邊緣信息獲得第二邊緣直方圖；以及 邊緣直方圖匹配單元，用於對所述第一邊緣直方圖與所述第二邊緣直方圖執行邊緣直方圖匹配操作，以產生所述全域移動信息。
14.如權利要求13所述的基於圖像的移動傳感器，其特徵在於，在傳送所述第一邊緣直方圖與所述第二邊緣直方圖到所述邊緣直方圖匹配單元之前，所述邊緣直方圖單元進一步用於對所述第一邊緣直方圖和所述第二邊緣直方圖執行過濾操作。
15.如權利要求1所述的基於圖像的移動傳感器，其特徵在於，所述基於圖像的移動傳感器設置於第一電子裝置內，所述第一電子裝置位於第二電子裝置的外部；所述處理系統進一步用於根據所述移動傳感輸出對所述第二電子裝置產生控制信號。
16.一種多功能攝像系統，其特徵在於，包括: 圖像拍攝塊，用於產生圖像信號；以及 圖像信號處理塊，用於處理所述圖像信號； 其中，當所述多功能攝像系統操作於第一操作模式時，所述多功能攝像系統作為攝像機，以產生拍攝圖像輸出；以及當所述多功能攝像系統操作於第二操作模式時，所述多功能攝像系統作為移動傳感器的一部分，以產生圖像輸出。
17.如權利要求16所述的多功能攝像系統，其特徵在於，所述圖像拍攝塊包括圖像傳感器、光學系統和控制電路，以及所述控制電路和所述圖像信號處理塊在所述第一操作模式下的所有配置與其在所述第二操作模式下的所有配置是不同的。
18.如權利要求17所述的多功能攝像系統，其特徵在於，所述圖像信號處理塊在所述第二操作模式下的功率消耗低於其在所述第一操作模式下的功率消耗。
19.如權利要求17所述的多功能攝像系統，其特徵在於，所述圖像信號處理塊中的一個信號處理模塊，在所述第一操作模式中是使能的，並且在所述第二操作模式中是禁能的。
20.如權利要求17所述的多功能攝像系統，其特徵在於，所述圖像信號處理塊中的一個信號處理模塊，在所述第一操作模式中採用第一算法，並且在所述第二操作模式中採用第二算法，所述第一算法不同於所述第二算法。
21.如權利要求17所述的多功能攝像系統，其特徵在於，所述控制電路在所述第二操作模式下的功率消耗低於其在所述第一操作模式下的功率消耗。
22.如權利要求17所述的多功能攝像系統，其特徵在於，所述控制電路中的一個控制控制模塊，在所述第一操作模式中採用第一算法，並且在所述第二操作模式中採用第二算法，所述第一算法不同於所述第二算法。
23.如權利要求16所述的多功能攝像系統，其特徵在於，當所述多功能攝像系統作為所述移動傳感器的一部分時，所述圖像拍攝塊使用預定義的且固定的聚焦參數設置。
24.如權利要求16所述的多功能攝像系統，其特徵在於，當所述多功能攝像系統作為用戶輸入裝置的一部分時，所述圖像拍攝塊使用預定義的且固定的曝光參數設置。
25.如權利要求16所述的多功能攝像系統，其特徵在於，所述圖像信號處理塊在所述第二操作模式中將彩色圖像轉換為灰度圖像。
26.如權利要求25所述的多功能攝像系統，其特徵在於，所述圖像信號處理塊對所述彩色圖像執行從RGB格式到YUV格式的色彩轉換，並且僅儲存從所述RGB格式到YUV格式的色彩轉換中得到的灰階值。
27.如權利要求16所述的多功能攝像系統，其特徵在於，所述圖像信號處理塊中的白平衡模塊，在所述第一操作模式中是使能的，並且在所述第二操作模式中是禁能的。
28.如權利要求16所述的多功能攝像系統，其特徵在於，所述圖像拍攝塊在所述第一操作模式中採用第一拍攝幀率，在所述第二操作模式中採用第二拍攝幀率，其中所述第二拍攝幀率高於所述第一拍攝幀率。
29.如權利要求16所述的多功能攝像系統，其特徵在於，所述圖像拍攝塊在所述第一操作模式中採用第一拍攝解析度，在所述第二操作模式下採用第二拍攝解析度，其中所述第二拍攝解析度低於所述第一拍攝解析度。
30.一種電子裝置，其特徵在於，包括: 多功能攝像系統，包括: 圖像拍攝塊，用於產生圖像信號；以及 圖像信號處理塊，用於處理所述圖像信號；其中，當所述多功能攝像系統操作於第一操作模式時，所述多功能攝像系統作為攝像機，以產生拍攝圖像輸出；以及當所述多功能攝像系統操作於第二操作模式時，所述多功能攝像系統作為移動傳感器的一部分，以產生圖像輸出；以及 處理系統，作為所述移動傳感器的另一部分，用於通過處理所述圖像輸出以產生移動傳感輸出，其中，所述移動傳感輸出包括指示所述電子裝置的移動狀態和朝向狀態中至少一者的信息。
31.如權利要求30所述的電子裝置， 其特徵在於，所述電子裝置為可攜式電子裝置。
全文摘要
本發明公開一種基於圖像的移動傳感器、多功能攝像系統和電子裝置。基於圖像的移動傳感器包括攝像系統，用於產生包括多個拍攝圖像的圖像輸出；以及處理系統，用於通過處理所述圖像輸出以獲取移動傳感輸出，其中所述移動傳感輸出包括指示所述基於圖像的移動傳感器的移動狀態和朝向狀態中至少一者的信息。本發明所公開的基於圖像的移動傳感器、多功能攝像系統和電子裝置，可以支持移動傳感相關操作，既降低成本，又能提供較高的系統可靠性。
文檔編號H04N5/232GK103108121SQ201210431590
公開日2013年5月15日 申請日期2012年11月1日 優先權日2011年11月2日
發明者朱啟誠, 何鎮在, 陳鼎勻 申請人:聯發科技股份有限公司