一種鏡頭類型的確定方法及裝置與流程

2023-06-08 21:41:56

本發明涉及網際網路技術領域，特別涉及一種鏡頭類型的確定方法及裝置。

背景技術：

隨著網絡以及多媒體技術的迅速發展，湧現出了大量的數字視頻，如新聞、廣告、監控視頻、家庭視頻等。數字視頻的大量湧現引發了許多新的技術，包括視頻存檔、編目、索引以及有效存取等，而這些都需要將非結構化的視頻數據轉換成為結構化的視頻數據。

視頻數據按層次可劃分為幀、鏡頭、場景、故事單元等，其中鏡頭是視頻結構的基本單位，因此對視頻鏡頭的檢測成為視頻檢索和瀏覽技術的基礎工作。

對視頻中鏡頭拍攝方式的自動識別屬於電視資料編目的描述範疇，鏡頭的拍攝方式包括：固定鏡頭、平移、推進和拉伸、鏡頭轉換。傳統的做法，鏡頭的拍攝方式的確定是通過人工觀看視頻來判斷。但是人工識別的方式，存在效率較低，識別準確性較差的問題。

近年來出現使用圖片識別技術來確定鏡頭拍攝方式的技術，具體方法是根據鏡頭下相鄰兩幀的匹配度，來確定鏡頭的類型是否發生了變化以及具體發生了什麼樣的變化，相鄰兩幀圖片是否匹配度的準確判斷，關係到後續鏡頭的類型判斷的準確性，如何提高圖片匹配的準確性，成為亟待解決的問題。

技術實現要素：

鑑於上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的鏡頭類型的確定方法及裝置。

本發明實施例提供的一種鏡頭類型的確定方法，包括：

將鏡頭下相鄰的前後兩幀圖片分別進行特徵點檢測，提取特徵點；

根據前後兩幀圖像中的有效密集區域，對所述特徵點進行提純；所述有效密集區域中的區域密集度和區域內特徵點的匹配度均滿足設定條件；

使用提純後的特徵點，確定所述前後兩幀圖片的變換關係；

根據所述變換關係，對所述兩幀圖片中的後一幀圖像進行圖像變換；

根據前一幀圖像與變換後的後一幀圖像，確定所屬鏡頭的類型。

進一步地，所述提取特徵點的步驟之後，還包括：

對提取的特徵點進行隨機抽樣一致RANSAC提純。

進一步地，根據前後兩幀圖像中的有效密集區域，對所述特徵點進行提純，具體包括：

分別對兩幀圖像中的設定區域進行分塊，並根據各塊的密集度，確定所述設定區域內的密集區域；

分別比較所述兩幀圖片的密集區域中的各特徵點，確定所述兩幀圖片中的有效密集區域；所述有效密集區域中的區域密集度和區域內特徵點的匹配程度均滿足設定條件；

比較兩幀圖片的有效密集區域中相同位置的塊，若前一幀圖片中的塊包含的特徵點，未存在於後一幀圖像相同位置的塊中，則刪除前後兩幀圖片中對應的特徵點；

相應地，所述使用提純後的特徵點，確定所述前後兩幀圖片的變換關係，具體包括：

對所述兩幀圖片的有效密集區域，使用特徵點提純處理後的特徵點進行計算，得到圖片之間的變換矩陣。

進一步地，所述設定區域為前後兩幀圖片中，沿圖片中心輻射的佔整個圖片4/5大小的區域。

進一步地，分別對兩幀圖像中的設定區域進行分塊，並根據各塊的密集度， 確定所述設定區域內的密集區域的步驟之前，還包括：

將所述兩幀圖片中的特徵點匹配程度小於設定匹配度閾值的特徵點刪除。

本發明實施例提供的一種圖片的匹配裝置，包括：

特徵點檢測模塊，用於將鏡頭下相鄰的前後兩幀圖片分別進行特徵點檢測，提取特徵點；

提純模塊，用於根據前後兩幀圖像中的有效密集區域，對所述特徵點進行提純；所述有效密集區域中的區域密集度和區域內特徵點的匹配度均滿足設定條件；

變換關係確定模塊，用於使用提純後的特徵點，確定所述前後兩幀圖片的變換關係；

圖像變換模塊，用於根據所述變換關係，對所述兩幀圖片中的後一幀圖像進行圖像變換；

鏡頭類型確定模塊，用於根據前一幀圖像與變換後的後一幀圖像，確定所屬鏡頭的類型。

進一步地，所述提純模塊，還用於在特徵點檢測模塊提取特徵點之後，對提取的特徵點進行RANSAC提純。

進一步地，所述提純模塊，具體用於分別對兩幀圖像中的設定區域進行分塊，並根據各塊的密集度，確定所述設定區域內的密集區域；分別比較所述兩幀圖片的密集區域中的各特徵點，確定所述兩幀圖片中的有效密集區域；所述有效密集區域中的區域密集度和區域內特徵點的匹配程度均滿足設定條件；比較兩幀圖片的有效密集區域中相同位置的塊，若前一幀圖片中的塊包含的特徵點，未存在於後一幀圖像相同位置的塊中，則刪除前後兩幀圖片中對應的特徵點；

相應地，所述變換關係確定模塊，具體用於對所述兩幀圖片的有效密集區域，使用特徵點提純處理後的特徵點進行計算，得到圖片之間的變換矩陣。

進一步地，所述設定區域為前後兩幀圖片中，沿圖片中心輻射的佔整個圖 片4/5大小的區域。

進一步地，所述提純模塊，進一步用於分別對兩幀圖像中的設定區域進行分塊，並根據各塊的密集度，確定所述設定區域內的密集區域的步驟之前，將所述兩幀圖片中的特徵點匹配程度小於設定匹配度閾值的特徵點刪除。

本發明的有益效果包括：

本發明實施例提供的上述鏡頭類型的確定方法及裝置，將鏡頭下相鄰的前後兩幀圖片分別進行特徵點檢測，提取特徵點；然後根據前後兩幀圖像中的有效密集區域，對特徵點進行提純；使用提純後的特徵點，確定前後兩幀圖片的變換關係；根據變換關係，對兩幀圖片中的後一幀圖像進行圖像變換；最後根據前一幀圖像與變換後的後一幀圖像，確定所屬鏡頭的類型。本發明實施例通過對同一個鏡頭下的相鄰兩張圖片進行匹配的方式，確定所屬鏡頭的類型，實現了鏡頭類型識別的自動化，並且，利用有效密集區域進行匹配的方式，能在提高特徵點的匹配的準確度的同時，保證圖片匹配的速度。

本發明的其它特徵和優點將在隨後的說明書中闡述，並且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在所寫的說明書、權利要求書、以及附圖中所特別指出的結構來實現和獲得。

下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。

附圖說明

通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明了。附圖僅用於示出優選實施方式的目的，而並不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1為本發明實施例中鏡頭類型的確定方法的流程圖；

圖2為本發明實施例提供的鏡頭類型的確定方法中S12步驟的具體實施流 程圖；

圖3為本發明實施例中圖片的匹配裝置的結構示意圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。

首先對本發明實施例提供的鏡頭類型的確定方法的具體實施方式進行說明。

本發明實施例提供的鏡頭類型的確定方法，如圖1所示，包括：

S11、將鏡頭下相鄰的前後兩幀圖片分別進行特徵點檢測，提取特徵點；

S12、根據前後兩幀圖像中的有效密集區域，對提取的特徵點進行提純；其中有效密集區域中的區域密集度和區域內特徵點的匹配度均滿足設定條件；

S13、使用提純後的特徵點，確定前後兩幀圖片的變換關係；

S14、根據變換關係，對兩幀圖片中的後一幀圖像進行圖像變換；

S15、根據前一幀圖像與變換後的後一幀圖像，確定所屬鏡頭的類型。

下面分別對上述各步驟進行詳細的說明。

上述步驟S11-S15針對的兩幀相鄰的圖片，其圖像重疊區域不能太小，一般來說，不能少於圖片大小的15％，這樣才能保證有足夠的特徵點匹配。一般連續性鏡頭不用考慮重疊區域多少的問題；只有切換鏡頭的時候，不能再按照這個方法進行，因為不同鏡頭下的圖片很難檢測到匹配點，換言之，檢測到的匹配點其實都是嚴重錯誤的。

進一步地，上述S11中，將鏡頭下相鄰的前後兩幀圖片分別進行特徵點檢測，提取特徵點，可以參考現有特徵點檢測的方法，例如採用簡單的Harris角點檢測等，具體的不再詳述。

對特徵點進行檢測提取出特徵點之後，上述步驟S11和S12之間，還可以包括對特徵點進行隨機抽樣一致(RANdom SAmple Consensus，RANSAC)算法提純的步驟，該步驟也可以採用最小二乘法進行，目的是去掉一些噪聲，得到有效的樣本。RANSAC算法可以參考現有技術。

在執行S12之前，還可以進一步地，參考兩幀圖片中的特徵點的匹配度的閾值，將特徵點的匹配度低於設定閾值的特徵點進一步地篩除。

進一步地，如圖2所示，上述S12具體可通過下述流程實現：

S21、分別對兩幀圖像中的設定區域進行分塊，並根據各塊的密集度，確定所述設定區域內的密集區域；

S22、分別比較兩幀圖片的密集區域中的各特徵點，確定兩幀圖片中的有效密集區域；有效密集區域中的區域密集度和區域內特徵點的匹配程度均滿足設定條件；

S23、比較兩幀圖片的有效密集區域中相同位置的塊，若前一幀圖片中的塊包含的特徵點，未存在於後一幀圖像相同位置的塊中，則刪除前後兩幀圖片中對應的特徵點。

較佳地，上述S21中，兩幀圖像中的設定區域可以是前後兩幀圖片中，沿圖片中心輻射的佔整個圖片4/5大小的區域。之所以採用上述設定區域，是因為一般視頻的數據流fps＝25，數據採樣率不低於每秒5幀，所以對於連續鏡頭，不用擔心相鄰圖片變化太快的問題。

在這個區域中，進一步地進行分塊，例如分為Area1,Area2…等，將各個塊按照密集度進行排列，按照設定的密集度的閾值，去掉密集度較低的塊，剩下的各塊組成的區域就是密集區域了。

在密集區域中，需要進一步確定有效密集區域，上述步驟S22在具體實施時，將密集區域內的所有特徵點的匹配度進行排列，同樣使用預設的匹配度的閾值，篩掉一些匹配度不高的特徵點，剩下的區域就得到了有效密集區域。

進一步地，上述S23中，比較兩幀圖片的有效密集區域中相同位置的塊， 若前一幀圖片中的塊包含的特徵點，均存在於後一幀圖像相同位置的塊中，則不用處理，反之，若前一幀圖像中的塊包含的某個特徵點，未落在後一幀圖像相同位置的塊中，則在前一幀中刪除掉這個特徵點，並刪除後一幀圖片中對應的特徵點。

相應地，上述S13中使用提純後的特徵點，確定前後兩幀圖片的變換關係，在具體實施時，可以對兩幀圖片的有效密集區域，使用特徵點提純處理後的特徵點進行計算，得到圖片之間的變換矩陣(例如選擇opencv中的FindHomography函數輸出的透視變換矩陣)。

進一步地，上述S14中，可使用S13得到的變換矩陣，對兩幀圖片的設定區域進行變換，最後的效果即將前一幀圖像中的4/5區域變換到後一幀圖像的對應位置上。

現有技術對圖像進行匹配的方法，常常採用將所有匹配點進行轉換，得到一個相鄰圖像的轉換關係然後再進行轉換的方式，這種方式的前提是特徵點的選取都是正確的而且特徵點的匹配也是正確的，這中間就存在一個平衡矛盾的問題：特徵點選擇的準確度越優(比如sift特徵點)，則提取特徵點的速度就越慢，如果特徵點的維數很高，匹配的速度也會很慢(即使先經過上一步的特徵點篩選)。所以如何在特徵點選擇和圖像匹配速度上進行平衡，是需要考慮的。基於此，本發明實施例的S12步驟中，採用了有效密集區域進行圖片匹配和轉換的基礎，就是充分考慮兩幀圖片中非常近似的部分，基於這一部分，特徵點的選取比較準確，相應的圖像匹配過程也較快。克服了現有做法的缺點。

基於同一發明構思，本發明實施例還提供了一種鏡頭類型的確定裝置，由於這些裝置所解決問題的原理與前述鏡頭類型的確定方法相似，因此該裝置實施可以參見前述方法的實施，重複之處不再贅述。

進一步地，上述S15中，根據前一幀圖像與變換後的後一幀圖像，確定所屬鏡頭的類型，具體來說，即根據變換後的後一幀圖像與前一幀圖像的相似程度，來確定鏡頭是否固定，是否發生了的平移、推進和拉伸等。

本發明實施例提供的一種圖片的匹配裝置，如圖3所示，包括：

特徵點檢測模塊301，用於將鏡頭下相鄰的前後兩幀圖片分別進行特徵點檢測，提取特徵點；

提純模塊302，用於根據前後兩幀圖像中的有效密集區域，對所述特徵點進行提純；所述有效密集區域中的區域密集度和區域內特徵點的匹配度均滿足設定條件；

變換關係確定模塊303，用於使用提純後的特徵點，確定所述前後兩幀圖片的變換關係；

圖像變換模塊304，用於根據所述變換關係，對所述兩幀圖片中的後一幀圖像進行圖像變換；

鏡頭類型確定模塊305，用於根據前一幀圖像與變換後的後一幀圖像，確定所屬鏡頭的類型。

進一步地，上述提純模塊302，還用於在特徵點檢測模塊提取特徵點之後，對提取的特徵點進行RANSAC提純。

進一步地，上述提純模塊302，具體用於分別對兩幀圖像中的設定區域進行分塊，並根據各塊的密集度，確定設定區域內的密集區域；分別比較兩幀圖片的密集區域中的各特徵點，確定兩幀圖片中的有效密集區域；有效密集區域中的區域密集度和區域內特徵點的匹配程度均滿足設定條件；比較兩幀圖片的有效密集區域中相同位置的塊，若前一幀圖片中的塊包含的特徵點，未存在於後一幀圖像相同位置的塊中，則刪除前後兩幀圖片中對應的特徵點；

相應地，上述變換關係確定模塊303，具體用於對兩幀圖片的有效密集區域，使用特徵點提純處理後的特徵點進行計算，得到圖片之間的變換矩陣。

進一步地，上述設定區域為前後兩幀圖片中，沿圖片中心輻射的佔整個圖片4/5大小的區域。

進一步地，上述提純模塊302，進一步用於分別對兩幀圖像中的設定區域進行分塊，並根據各塊的密集度，確定設定區域內的密集區域的步驟之前，將 兩幀圖片中的特徵點匹配程度小於設定匹配度閾值的特徵點刪除。

本發明實施例提供的上述鏡頭類型的確定方法及裝置，將鏡頭下相鄰的前後兩幀圖片分別進行特徵點檢測，提取特徵點；然後根據前後兩幀圖像中的有效密集區域，對特徵點進行提純；使用提純後的特徵點，確定前後兩幀圖片的變換關係；根據變換關係，對兩幀圖片中的後一幀圖像進行圖像變換；最後根據前一幀圖像與變換後的後一幀圖像，確定所屬鏡頭的類型。本發明實施例通過對同一個鏡頭下的相鄰兩張圖片進行匹配的方式，確定所屬鏡頭的類型，實現了鏡頭類型識別的自動化，並且，利用有效密集區域進行匹配的方式，能在提高特徵點的匹配的準確度的同時，保證圖片匹配的速度。

以下結合附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用於說明和解釋本發明，並不用於限定本發明。

本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器和光學存儲器等)上實施的電腦程式產品的形式。

本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些電腦程式指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個 流程和/或方框圖一個方框或多個方框中指定的功能。

這些電腦程式指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。