全景圖像提供系統及其方法

2023-07-09 19:13:31

專利名稱：全景圖像提供系統及其方法
技術領域：
本發明涉及拍攝車輛周邊提供畫面的系統，尤其涉及利用車輛上安裝的多個攝像機拍攝車輛周邊併合成一個圖像而提供全景圖像的系統。
背景技術：
利用車輛上安裝的多個攝像機拍攝車輛周邊，將從各個攝像機獲取的圖像框合成一個框，以在畫面上顯示全景圖像的技術為已公開技術，其中車輛周邊圖像顯示裝置的發明通過日本公開專利第2007-158426號得以公開。此公開專利中公開了將顯示車輛周邊的多個圖像合成起來轉換成一個全景圖像，並將顯示車輛外觀的圖像重疊顯示的車輛周邊的顯示裝置。但此已知技術也存在一種缺陷就是只能提供固定的全景。

發明內容
本發明的目的在於提供全景圖像，而且提供可支持全景圖像旋轉以及特定部分放大功能的技術方案。本發明的目的還在於提供車輛發生碰撞事故時可以保存對車輛造成衝擊的部分的圖像的技術方案。為達到所述目的，本發明提出一種全景圖像提供系統，包括:多個攝像機，拍攝車輛周邊；存儲器，儲存所述多個攝像機的輸出圖像框；圖像處理部，將所述存儲器上儲存的所述攝像機的多個圖像框合成全景圖像；顯示部，顯示所述合成的全景圖像；控制部，根據用戶的輸入，旋轉所述顯示的全景圖像，或者放大構成所述全景圖像的所述圖像框中的某一個圖像框。所述圖像處理部對所述多個攝像機的多個圖像框中的一個圖像框進行二等分之後生成所述全景圖像。所述全景圖像提供系統還包括:圖像儲存部，儲存所述全景圖像。所述全景圖像提供系統還包括:衝擊檢測部，檢測所述車輛的衝擊。所述控制部將與檢測的衝擊部位相應的攝像機圖像儲存到所述圖像儲存部。所述控制部將所述該攝像機圖像儲存到所述圖像儲存部，且將所述被檢測到衝擊的時點之前已儲存於所述存儲器的所述該攝像機多個圖像模式以及從所述檢測到衝擊的時點開始一定時間之內重新儲存於所述存儲器的所述該攝像機的多個圖像框儲存到所述圖像儲存部。另一方面，本發明還提出一種全景圖像提供方法，其實施步驟包括:將拍攝車輛周邊的多個攝像機的輸出圖像框合成全景圖像；在畫面上顯示所述合成的全景圖像；根據用戶輸入，旋轉所述顯示的全景圖像，或者放大構成所述全景圖像的所述多個圖像框中的某一個圖像框。所述全景圖像提供方法，其實施步驟還包括:判斷所述車輛衝擊與否；
判斷結果判斷所述車輛有衝擊，則將所述多個攝像機中的拍攝所述衝擊部位的攝像機圖像儲存到圖像儲存部，且將所述被檢測到衝擊的時點之前已儲存於所述存儲器的所述該攝像機多個圖像框以及從所述被檢測到衝擊的時點開始至一定時間之內重新儲存於所述存儲器的所述該攝像機多個圖像框儲存到所述圖像儲存部。
本發明的優點在於:利用如觸控螢幕等輸入裝置實施全景圖像旋轉，而且只能放大特定部分的圖像。並且車輛發生碰撞時將發生衝擊前後對衝擊部位的攝像機圖像保存起來，從而提供可作為交通事故證據的圖像。


圖1是本發明一個實施例的全景圖像提供系統結構 圖2是表示各攝像機的圖像框輸入的 圖3是說明本發明一個實施例的全景圖像生成的參照 圖4是說明本發明一個實施例的攝像機圖像框中後方圖像框二等分的參照 圖5是說明本發明一個實施例的全景圖像旋轉的第一參照 圖6是說明本發明一個實施例的全景圖像旋轉的第二參照 圖7是本發明一個實施例的全景圖像的一部分放大說明參照 圖8是說明本發明一個實施例的檢測車輛衝擊時保存圖像框的參照 圖9是本發明一個實施例的檢測車輛檢測時儲存於圖像儲存部的圖像框示意 圖10是本發明一個實施例的全景圖像提供方法的流程圖。圖中:
100:輸入部200:顯示部
300:前方攝像機 310:後方攝像機 320:左側攝像機 330:右側攝像機 400:存儲器500:圖像處理部
600:控制部700:圖像儲存部
800:衝擊檢測部。
具體實施例方式為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明優選實施例中的技術方案進行清楚、完整地描述，以便本領域的普通技術人員理解並基於本發明中的實施例進行實施。圖1是本發明一個實施例的全景圖像提供系統結構圖。圖1中，全景圖像提供系統包括輸入部100、顯示部200、多個攝像機300、310、320、330、存儲器400、圖像處理部500以及控制部600。進一步說明，全景圖像提供系統還可以包括圖像儲存部700。更進一步說明，全景圖像提供系統還可以包括衝擊檢測部800。輸入部100是用於用戶輸入的普通輸入裝置，顯示部200是輸出圖像的普通輸出裝置。一個實施例中，輸入部100和顯示部200是可支持輸入輸出的觸控螢幕。多個攝像機300、310、320、330裝配於車輛的相互不同位置，對車輛周邊實施拍攝。圖1中作為示例共提供四個攝像機，即拍攝車輛前方的前方攝像機300、拍攝車輛後方的後方攝像機310、拍攝車輛左側的左側攝像機320以及拍攝車輛右側的右側攝像機330。存儲器400是臨時儲存圖像框的緩衝存儲器。一個實施例中，存儲器400具備儲存空間用於臨時儲存各攝像機的四個圖像框。圖像處理部500是處理輸入圖像的處理器。圖像處理部500實施將多個圖像框合成一個圖像框的圖像處理。此外圖像處理部500可以實施色彩濾鏡陣列內插(color filterarray interpolation)、色彩矩陣(color matrix)、色彩校正(color correction)、色彩增強(color enhancement)等旨在改善畫質的圖像處理。控制部600是對整個系統實施控制的控制器。圖像儲存部700是儲存圖像的存儲器，可以是快閃記憶體。圖像儲存部700可以儲存全景圖像。優選地，全景圖像是被壓縮儲存。衝擊檢測部800是由檢測車輛衝擊的多個衝擊傳感器組成。一個實施例中,衝擊檢測部800由檢測車輛前方衝擊的前方衝擊傳感器、檢測車輛後方衝擊的後方衝擊傳感器、檢測車輛左側衝擊的左側衝擊傳感器以及檢測車輛右側衝擊的右側衝擊傳感器組成。
下面對全景圖像提供系統的運行實施例進行說明。前方攝像機300和後方攝像機310、左側攝像機320以及右側攝像機330如圖2所示，將拍攝的圖像框持續輸出到控制部600。控制部600將從各個攝像機輸入的圖像框臨時儲存到存儲器400。該存儲器400可以臨時儲存各攝像機的四個圖像框。控制部600將儲存到存儲器400的同一個時點的各攝像機的圖像框(例如四個Frame #1)傳送到圖像處理部500。圖像處理部500將傳送的四個圖像框即各攝像機的圖像框合成一個圖像框生成全景圖像。一個實施例中，圖像處理部500將四個圖像框中的某一個圖像框二等分之後合成一個圖像框生成全景圖像。其示例見圖3。從圖3中可以確認，後方圖像框(Back Frame)是被二等分為後方左側圖像框(Back-LFrame)和後方右側圖像框(Back-R Frame)之後合成一個圖像框。二等分方式中，圖像處理部500如圖4所示，假設後方圖像框的水平像素(horizontal pixel)規格為M，則以M/2點為基準進行_.等分。
控制部600是將圖像處理部500生成的全景圖像輸出到顯示部200。控制部600支持顯示部200顯示的全景圖像旋轉以及部分放大功能。例如，根據用戶的輸入方式，控制部600將顯示部200顯示的全景圖像旋轉或者放大一部分。如圖5的(a)所示，用戶用手指觸摸顯示部200的全景圖像中前方圖像的狀態下移至右側圖像，則如圖5的(b)所示，左側圖像位於正中央位置，且被一步一步地推到右側。從控制部600的角度來看，如圖6所示，先識別畫面上輸入的手指的坐標，然後監測手指坐標的移動地點，待手指移動到已設定區域時使全景圖像旋轉。圖6中，用(M，N) — (M+M/4, N)對該坐標做出了例示。手指從中央向左移動到已設定的坐標時，按同樣的方法右側圖像位於正中央。若用戶在特定時間內雙擊某一個圖像框的已設定的特定坐標，則控制部600隻將該圖像顯示在顯示部200。例如，如圖7的(b)所示，用戶500ms內點擊兩次(M，N)的坐標，則如圖7的(b)，只將前方圖像放大顯示在顯示部200。
另一方面，通過衝擊檢測部800檢測到衝擊，則控制部600將檢測到的衝擊部位相應的攝像機的圖像框儲存到圖像儲存部700。例如，被左側衝擊傳感器檢測到衝擊，則控制部600將存儲器400上臨時儲存的左側攝像機320的圖像框儲存到圖像儲存部700。一個實施例中，控制部600將儲存於存儲器400的左側多個圖像框以及從檢測到衝擊的時間開始重新儲存於存儲器400的左側多個圖像框儲存到圖像儲存部700，如圖8所示，若左側攝像機320的Frame #N輸入時點檢測到衝擊，則控制部600如圖9所示，將臨時儲存於存儲器400 的 Frame #N_4、Frame #N_3、Frame #N_2、Frame #N_1 儲存到圖像儲存部 700,並將從檢測到衝擊的時點開始重新臨時儲存於存儲器400的Frame謝、Frame #N+K Frame #N+2、Frame #N+3儲存到圖像儲存部700。
圖10是本發明一個實施例的全景圖像提供方法的流程圖。控制部600將從多個攝像機300、310、320、330輸入的圖像框儲存到存儲器400 (S100)。對於儲存到存儲器400的時間，可以通過用戶設定進行變更。控制部600將儲存於存儲器400的各攝像機的同一時點的圖像框傳送到圖像處理部500，圖像處理部500將各攝像機的圖像框合成一個圖像框生成全景圖像(S150)。控制部600將生成的全景圖像顯示在顯示部200的畫面上(S200)。此後控制部600判斷有無用戶觸摸輸入(S250)。若有用戶觸摸輸入，則控制部600識別該輸入地點的坐標(S300)。控制部600用該識別坐標判斷在一定時間之內有無用戶再輸入(S350)，就是說，控制部600是確認雙擊與否。若有雙擊輸入，則控制部600將與該雙擊地點的坐標相應的攝像機圖像框放大顯示在顯示部200 (S400)。S350步驟中確認的不是雙擊而是拖動輸入，則控制部600監測該拖動輸入(S450)。控制部600通過監測確認輸入終止時點的坐標，與此相應地使顯示部200上顯示的全景圖像旋轉(S500)。另一方面，控制部600判斷檢測到衝擊與否，若判斷檢測到衝擊，則確認發生衝擊的車輛部位(S550) (S600)。而且可以通過衝擊傳感器部分進行確認。控制部600將與確認的衝擊部位相應的攝像機圖像框儲存到圖像儲存部400 (S650)。S650中，控制部600如上所述將已儲存於存儲器400的左側多個圖像框以及被檢測到衝擊的時點開始重新儲存於存儲器400的左側多個圖像框儲存到圖像儲存部700。以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解:其依然可以對前述各實施例所述的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例所述技術方案的範圍。
權利要求
1.全景圖像提供系統，其特徵在於，包括: 多個攝像機，拍攝車輛周邊； 存儲器，儲存所述多個攝像機的輸出圖像框； 圖像處理部，將所述存儲器上儲存的所述攝像機的多個圖像框合成全景圖像； 顯示部，顯示所述合成的全景圖像； 控制部，根據用戶輸入，旋轉所述顯示部顯示的全景圖像，或者放大構成所述全景圖像的所述多個圖像框中的某一個圖像框。
2.根據權利要求1所述的全景圖像提供系統，其特徵在於， 所述圖像處理部對所述多個攝像機的多個圖像框中的一個圖像框進行二等分之後生成所述全景圖像。
3.根據權利要求1所述的全景圖像提供系統，其特徵在於，還包括: 圖像儲存部，儲存所述全景圖像。
4.根據權利要求3所述的全景圖像提供系統，其特徵在於，還包括: 衝擊檢測部，檢測所述車輛的衝擊； 所述控制部將與衝擊檢測部檢測的衝擊部位相應的攝像機圖像儲存到所述圖像儲存部。
5.根據權利要求4所述的全景圖像提供系統，其特徵在於， 所述控制部將所述該攝像機圖像儲存到所述圖像儲存部，且將所述被檢測到衝擊的時點之前已儲存於所述存儲器的所述該攝像機多個圖像模式以及從所述檢測到衝擊的時點開始一定時間之內重新儲存於所述存儲器的所述該攝像機的多個圖像框儲存到所述圖像儲存部。
6.一種全景圖像提供方法，其特徵在於，其實施步驟包括: 將拍攝車輛周邊的多個攝像機的輸出圖像框合成全景圖像； 在畫面上顯示所述合成的全景圖像； 根據用戶輸入，旋轉所述顯示的全景圖像，或者放大構成所述全景圖像的所述多個圖像框中的某一個圖像框。
7.根據權利要求6所述的全景圖像提供方法，其特徵在於，其實施步驟還包括: 判斷所述車輛衝擊與否； 判斷結果判斷所述車輛有衝擊，則將所述多個攝像機中的拍攝衝擊部位的攝像機圖像儲存到圖像儲存部，且將被檢測到衝擊的時點之前已儲存於所述存儲器的所述該攝像機多個圖像框以及從所述被檢測到衝擊的時點開始至一定時間之內重新儲存於所述存儲器的所述該攝像機多個圖像框儲存到所述圖像儲存部。
全文摘要
本發明公開了一種全景圖像提供系統及其方法,該系統和方法具體為，將車輛前後左右的攝像機圖像合成全景圖像後顯示在畫面上，並根據用戶的輸入旋轉全景圖像或者只放大部分圖像，進而在車輛受到衝擊時將對其衝擊部位的衝擊時點之前及以後的攝像機圖像儲存起來。隨之可根據用戶的要求使全景圖像旋轉或者放大一部分，並提供可作為交通事故證據的圖像。
文檔編號H04N5/232GK103139465SQ20121043021
公開日2013年6月5日 申請日期2012年11月1日 優先權日2011年11月21日
發明者周碩榮 申請人:現代摩比斯株式會社