一種視頻幀率定製的系統及方法
2023-04-25 03:34:46 1
專利名稱：一種視頻幀率定製的系統及方法
技術領域：
本發明涉及一種視頻幀率調節的系統及方法，特別是一種根據用戶需求對變幀率格式的視頻進行幀率定製調節的系統及方法。
背景技術：
:
在製作視頻源文件時，經常需要將多個視頻文件分別進行剪輯並最終合併為一個視頻文件，如果這些視頻文件中有定幀率格式的視頻(如mp4)，同時還有可變幀率格式的視頻(如rmvb),簡單的合併堆砌將直接造成音畫不同步和畫面抖動。發明內容:
為了解決上述技術問題，本發明提供了一種視頻幀率定製調節的系統，包括:解封裝裝置，用於對音視頻文件進行解封裝，從而將所述音視頻文件解析為相應的視頻幀序列和音頻幀序列；視頻數據解碼裝置，用於對所述視頻幀序列進行解碼，並將所述視頻幀序列中的視頻幀還原為RAW格式的視頻數據；幀率調節裝置，根據用戶輸入的幀率數以一定時間長度為單位對所述RAW格式的視頻數據進行幀率的調節，使得經調節後的所述RAW格式的視頻數據的幀率等於預定幀率；編碼裝置，通過對經過所述幀率調節裝置調節後的RAW格式的視頻數據進行編碼，獲得經重新編碼後的視頻幀序列；封裝裝置，用於對所述經重新編碼後的視頻巾貞序列和所述首頻巾貞序列進行封裝。
優選地，所述幀率調節裝置根據所述RAW格式的視頻數據每一幀的時間戳，以所述一定時間長度為單位，循環處理所述RAW格式的視頻數據，使得處理後的所述RAW格式的視頻數據的幀率等於所述預定幀率。優選地，所述幀率調節裝置計算所述一定時間長度內的RAW格式的視頻數據的幀率，並將其與所述預定幀率作·比較，其中，當所述一定時間長度內的RAW格式的視頻數據的幀率小於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據做增幀處理，增加的幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長，當所述一定時間長度內的RAW格式的視頻數據的幀率大於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據做刪幀處理，刪除的幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長，當所述一定時間長度內的RAW格式的視頻數據的幀率等於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據不做幀數調整。優選地，在所述增幀處理過程中，所述幀率調節裝置計算出需要插入幀的插入點，再複製所述插入點的前一幀，將複製得到的幀插入到所述插入點；所述插入點的計算公式為:n=Nf+ (M-Nf)，其中η為在所述一定時間長度內的視頻數據中每隔η個幀為一個插入點、Nf為所述一定時間長度內的視頻數據的幀率、M為所述預定幀率。優選地，在所述增幀處理過程中，當所述一定時間長度內的視頻數據中所有插入點都插入幀後，如果經插入幀後的視頻數據的幀率小於所述預定幀率，則所述幀率調節裝置繼續複製最後一個插入幀，並將複製得到的幀插入到最後一個插入點，直到經插入幀後的視頻數據的幀率等於所述預定幀率。
優選地，在所述刪幀處理過程中，所述幀率調節裝置從所述一定時間長度內的視頻數據的第二幀開始，計算每一幀與前一幀的差分值，選取差分值最小的幀作為刪除幀，所述刪除幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長。優選地，幀率設置裝置，用於設置所述預定幀率。優選地，用於存儲數據的存儲裝置。優選地，所述一定時間長度為一秒。優選地，所述一定時間長度為一個GOP段。當以一個GOP段視頻數據為單位對所述RAW格式的視頻數據的幀率進行調整時，能夠更有效地保持源視頻的質量。優選地，所述視頻幀率定製調節系統還包括:幀長調節裝置，用於對所述一個GOP段的視頻數據中的幀長進行調整。本發明還提供一種視頻幀率定製調節的方法，包括:解封裝步驟，對音視頻文件進行解封裝，從而將所述音視頻文件解析為相應的音頻幀序列和視頻幀序列；視頻數據解碼步驟，對所述視頻幀序列進行解碼，並將所述視頻幀序列中的視頻幀還原為RAW格式的視頻數據；幀率調節步驟，根據用戶輸入的幀率數以一定時間長度為單位對所述RAW格式的視頻數據進行幀率的調節，使得經調節後所述RAW格式的視頻數據的幀率等於預定幀率；編碼步驟，通過對經過幀率調節後的RAW格式的視頻數據進行編碼，獲得經重新編碼後的視頻幀序列；封裝步驟，對所述經重新編碼後的視頻幀序列和所述音頻幀序列進行封裝。優選地，在所述幀率調節步驟中，根據所述RAW格式的視頻數據每一幀的時間戳，以所述一定時間長度為單位，循環處理所述RAW格式的視頻數據，使得處理後的所述RAW格式的視頻數據的幀率等於預定幀率。
優選地，在所述幀率調節步驟中，計算所述一定時間長度內的RAW格式的視頻數據的幀率，並將其與所述預定幀率作比較，其中，當所述一定時間長度內的RAW格式的視頻數據的幀率小於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據做增幀處理,增加的幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長；當所述一定時間長度內的RAW格式的視頻數據的幀率大於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據做刪幀處理，刪除的幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長；當所述一定時間長度內的RAW格式的視頻數據的幀率等於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據不做處理。優選地，在所述增幀處理過程中，計算出需要插入幀的插入點，再複製所述插入點的前一幀，將複製得到的幀插入到所述插入點；所述插入點的計算公式為:n=Nf+(M-Nf)，其中η為在所述一定時間長度內的視頻數據中每隔η個幀為一個插入點、Nf為所述一定時間長度內的視頻數據的幀率、M為所述預定幀率。優選地，在所述增幀處理過程中，當所述一定時間長度內的視頻數據中所有插入點都插入幀後，如果經插入幀後的視頻數據的幀率小於所述預定幀率，則繼續複製最後一個插入幀，並將複製所得到的幀插入到最後一個插入點，直到經插入幀後的視頻數據的幀率等於所述預定幀率。優選地，在所述刪幀處理過程中，從所述一定時間長度內的視頻數據的第二幀開始，計算每一幀與前一幀的差分值，選取差分值最小的幀作為刪除幀，所述刪除幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長。優選地，視頻幀率定製調節的方法的方法還包括:幀率設置步驟，設置所述預定幀率。優選地，所述一定時間長度為一秒。 優選 地，所述一定時間長度為一個GOP段。優選地，視頻幀率定製調節的方法的方法還包括:幀長調節步驟，當所述一個GOP段的視頻數據中的幀長不均勻時，在對所述一個GOP段的視頻數據進行幀率調整之前對所述一個GOP段的視頻數據中的幀長進行調整。
:
圖1為本發明實施方式涉及的視頻幀率定製調節系統的結構框 圖2為本發明實施方式涉及的視頻幀率定製調節系統的解封裝模塊的結構框 圖3為本發明實施方式涉及的視頻幀率定製調節系統的視頻數據解碼模塊的結構框
圖4為本發明實施方式涉及的視頻幀率定製調節系統的幀率調節裝置的結構框 圖5為本發明實施方式涉及的視頻幀率定製調節系統的增幀處理單元的處理方法示意 圖6為本發明實施方式涉及的視頻幀率定製調節系統的增幀處理單元的另一種處理方法示意 圖7為本發明實施方式涉及的視頻幀率定製調節系統的編碼模塊的結構框 圖8為本發明實施方式涉及的視頻幀率定製調節系統的封裝模塊的結構框 圖9為本發明實施方式涉及的視頻幀率定製調節流程 圖10為本發明實施方式涉及的步驟S12的流程 圖11為本發明實施方式涉及的步驟S13的流程 圖12為本發明實施方式涉及的步驟S14的流程 圖13為本發明實施方式涉及的步驟S145的流程 圖14為本發明實施方式涉及的步驟S146的流程 圖15為本發明實施方式涉及的步驟S15的流程 圖16為本發明實施方式涉及的步驟S16的流程 圖17為本發明實施方式涉及的視頻幀率定製調節系統的幀率調節裝置的另一種結構的結構框 圖18為本發明實施方式涉及的步驟S14的另一處理方式的流程圖。
具體實施方式
:
下面根據附圖所示實施方式闡述本項發明。本發明實施方式所涉及的視頻幀率定製調節系統根據用戶的要求對可變幀率格式的視頻文件進行幀率調整。圖1顯示了本發明實施方式涉及的視頻幀率定製調節系統的結構框圖。如圖1所示，上述視頻幀率定製調節系統包括音視頻數據接收模塊1、解封裝模塊2、視頻數據解碼模塊3、幀率調節模塊4、編碼模塊5、封裝模塊6、存儲模塊7、設置模塊8和數據總線9。上述音視頻數據接收模塊1、解封裝模塊2、視頻數據解碼模塊3、幀率調節模塊4、編碼模塊5、封裝模塊6、存儲模塊7、設置模塊8通過上述數據總線9進行連接。上述音視頻數據接收模塊I用於接收需要進行幀率調節的具有可變幀率格式的音視頻數據，並將所接收的上述音視頻數據輸送至上述解封裝模塊2進行相應的解封裝。上述解封裝模塊2從上述音視頻數據接收模塊I接收到上述音視頻數據後，根據所收到的上述音視頻數據的相應文件格式進行解封裝。在上述解封裝過程中，上述解封裝模塊2將音視頻文件解析為相應的視頻幀序列和音頻幀序列。然後，上述解封裝模塊2將解封裝後獲得的上述視頻幀序列和上述音視頻文件封裝格式的相關參數存儲在上述存儲模塊7中，並將上述視頻幀序列輸送至上述視頻數據解碼模塊3進行相應的解碼。上述視頻數據解碼模塊3從上述解封裝模塊2接收到上述視頻幀序列後，根據所收到的視頻幀序列的相應編碼格式進行解碼。在上述解碼過程中，上述視頻數據解碼模塊3對上述視頻幀序列進行解碼，將上述視頻幀序列中的視頻幀還原為RAW格式的視頻數據，並將上述RAW格式的視頻數據存儲在上述存儲模塊7中，直至完成對所有的視頻幀序列的解碼。上述設置模塊8接收用戶對幀率數的設置，並將所接收的幀率數存儲在上述存儲模塊7中。上述幀率調節模塊4從上述存儲模塊7中獲取所存儲的RAW格式的視頻數據和上述幀率數，並基於上述幀率數調節上述RAW格式的視頻數據的幀率，將調節幀率後的RAW格式的視頻數據存儲在上述存儲模塊7中。上述編碼模塊5從上述存儲模塊7獲取上述調節幀率後的RAW格式的視頻數據，並根據用戶的要求選擇相應的編碼器對上述調節幀率後的RAW格式的視頻數據進行編碼、壓縮，形成新的視頻幀序列並存儲在存儲模塊7中。上述封裝模塊6從上述存儲模塊7中獲取上述音視頻文件封裝格式的相關參數、上述音頻幀序列和新的視頻幀序列，然後根據上述音視頻文件封裝格式的相關參數將上述新的視頻幀序列和上述音頻幀序列封裝成新的音視頻文件。圖2為本發明實施方式涉及的視頻幀率定製調節系統的解封裝模塊2的結構框圖。如圖2所示，上述解封裝模塊2包括音視頻文件格式判斷單元21、解封裝選擇單元22和數個解封裝單元23、24、·25……。其中，上述數個解封裝單元23、24、25……具有不同的格式，可以對應於不同的文件格式進行解封裝。上述音視頻文件格式判斷單元21可以判斷來自上述音視頻數據接收模塊I所接收的音視頻的文件格式並獲取上述音視頻的文件格式的相關參數，並將上述音視頻的文件格式的相關參數存儲到上述存儲模塊7中，上述解封裝選擇單元22可以根據上述音視頻文件格式判斷單元21的判斷結果(即音視頻文件的封裝格式)從解封裝單元23、24、25……中選擇相應的解封裝單元對上述音視頻文件進行解封裝，上述相應的解封裝單元(即上述解封裝單元23、24、25……中之一)將所接收到的上述音視頻文件解封為相應的視頻幀序列和音頻幀序列，並將上述視頻幀序列和音頻幀序列存儲在上述存儲模塊7中。圖3為本發明實施方式涉及的視頻幀率定製調節系統的視頻數據解碼模塊3的結構框圖。如圖3所示，上述視頻數據解碼模塊3包括編碼格式判斷單元31、解碼器選擇單元32和數個解碼器33、34、35……。其中，上述數個解碼器33,34,35……可以對不同的編碼格式進行解碼。上述編碼格式判斷單元31可以判斷來自上述解封裝模塊2所解封的視頻幀序列的編碼格式，並可以根據上述編碼格式判斷單元31的判斷結果(即上述視頻幀序列的編碼格式)從解碼器33、34、35……中選擇相應的解碼器，上述相應的解碼器(即上述解碼器33、34、35……中之一)對所收到的上述視頻幀序列進行解碼，將上述視頻幀序列中的視頻幀還原為RAW格式的視頻數據，上述RAW格式的視頻數據被暫存在存儲模塊7中。圖4為本發明實施方式涉及的視頻幀率定製調節系統的幀率調節模塊4的結構框圖。如圖4所示，上述幀率調節模塊4包括幀率計算單元41，幀率比較單元42，增幀處理單元43、刪幀處理單元44。上述幀率計算單元41根據上述存儲模塊7中存儲的上述RAW格式的視頻數據每一幀的時間戳，以一秒段為單位，依次從上述存儲模塊7中取出一秒段的RAff格式的視頻數據,再計算出上述一秒段視頻數據的幀率Nf，最後將上述一秒段的RAW格式的視頻數據和上述計算得出的一秒段幀率Nf傳遞給上述幀率比較單元42，上述幀率比較單元42從上述存儲模塊7中獲取用戶設定的幀率M，再將上述設定幀率數M和上述從幀率計算單元41得到的一秒段幀率Nf作比較，當Nf〈M時，將上述一秒段的視頻數據、上述一秒段幀率Nf和上述設定幀率M傳遞給上述增幀處理單元43 ；當Nf>M時，將上述一秒段的視頻數據、上述一秒段幀率Nf和上述設定幀率M傳遞給上述刪幀處理單元44。當Nf=M時，將上述一秒段的視頻數據不做幀數調整直接存儲到上述存儲模塊7中。上述增幀處理單元43接收到上述幀率比較單元42傳遞的上述一秒段視頻數據、一秒段幀率Nf和設定幀率M,然後再在上述接收到的一秒段視頻數據中插入幀，插入幀的個數為上述設定幀率M和上述一秒段幀率Nf的差值，即M-Nf，最後得到一秒段幀率為M的新的一秒段視頻數據，並將上述新的一秒段視頻數據存儲到上述存儲模塊7中。上述增幀處理單元44接收到上述幀率比較單元42傳遞的上述一秒段視頻數據、一秒段幀率Nf和設定幀率M，然後再刪除掉上述一秒段視頻數據的一些幀，刪除的幀的個數為上述一秒段幀率Nf和上述設定幀率M的差值，即Nf-M，最後得到一秒段幀率為M的新的一秒段視頻數據，並將上述新的一秒段視頻數據存儲到上述存儲模塊7中。圖5為本發明實施方式涉及的視頻幀率定製調節系統的增幀處理單元43的處理示意圖。上述增幀處理單元43接收到上述幀數比較單元42傳遞的一秒段幀率Nf和設定幀率M，通過公式n=Nf + (M-Nf) (η取整數部分，當η=0時，設置η=1 ；n為在所述一秒段視頻數據中每隔η個幀為一個插入 點；Nf為所述一秒段視頻數據的幀率;M為所述設定幀率)計算出插入點，
如圖5所示,本實例以設定幀率為25，一秒段幀率為21的視頻數據處理過程為例，通過上述公式計算得出n=5，即每隔5個幀插入一個幀。在插入幀的過程中，首先複製上述插入點的前一幀，再將上述複製得到的幀插入到插入點，直到所有上述插入點都插入幀後，得到新的一秒段幀率為25的一秒段視頻數據，最後將上述新的一秒段幀率為25的一秒段視頻數據存儲到上述存儲模塊7中。上述增幀處理單元43在增幀處理過程中還有另外一種處理情況，如圖6所示，當上述計算得到的插入點的個數小於需要插入的幀的個數時，則按照圖6所示的處理流程處理。例如，對用戶指定幀率為25而一秒段幀率為5的一秒段視頻數據進行處理的過程中，通過上述公式計算得出η=ι，即每隔I個幀插入一個幀，由於上述一秒段幀數為5，所以插入點的個數為5，在每個插入點插入幀後，上述一秒段視頻數據的幀率仍然小於設定幀率25，上述增幀處理單元43判斷在插入點都插入幀後的一秒段幀率小於設定幀率數時，繼續複製最後一個幀，並將上述複製得到的幀插入到上述一秒段視頻的最後，直到上述一秒段視頻數據的幀率等於設定幀率數為止，最後得到新的一秒段幀率為25的一秒段視頻數據。
上述刪幀處理單元44接收到上述幀率比較單元42傳遞的一秒段視頻數據、一秒段幀率Nf和設定幀率M，通過公式m= (Nf-M) XSCS為待處理視頻數據段的時長，單位為秒，本實例中S=I秒)得到需要刪除的幀數，再從上述一秒段視頻數據的第二幀開始，計算當前幀與前一幀的差分值(或小波分析識別)，然後刪除m個上述差分值最小的幀，得到新的一秒段幀率等於設定幀率的一秒段視頻數據，最後將上述得到的新的一秒段視頻數據存儲到上述存儲模塊7中。圖7為本發明實施方式涉及的視頻幀率定製調節系統的編碼模塊5的結構框圖。如圖7所示，上述編碼模塊5包括編碼器選擇單元51、數個編碼器52、53、54……。上述編碼器選擇單元51可以從上述存儲模塊7中獲取經上述幀率調節模塊4進行幀率調節後的新的RAW格式數據。上述編碼器選擇單元51根據用戶的要求選擇相應的編碼器(即上述編碼器52、53、54……中之一)對上述經幀率調整後的RAW格式數據進行重新編碼，形成新的視頻幀序列，並將新的視頻幀序列存儲在上述存儲模塊7中。圖8為本發明實施方式涉及的視頻幀率定製調節系統的封裝模塊6的結構框圖。如圖8所示，上述封裝模塊6包括封裝格式選擇單元61和數個封裝單元62、63、64……。其中，上述數個封裝單元62、63、64……具有不同的封裝格式，可以對應於不同的封裝格式的要求進行封裝。上述封裝格式選擇單元61從上述存儲模塊7中獲取上述音視頻文件封裝格式的相關參數、上述音頻幀序列、新的視頻幀序列並根據上述音視頻文件封裝格式的相關參數
選擇相應的封裝單元(即封裝單元62、63、64......中之一)對上述音頻幀序列和新的視頻幀
序列進行封裝，獲得巾貞率調節後的首視頻文件。
圖9為本發明實施方式涉及的視頻幀率定製調節流程圖。下面，參照圖9說明在本實施方式涉及的視頻幀率定製調節的處理過程。首先，輸入音視頻文件，上述音視頻數據接收模塊I接收上述音視頻文件數據並將其輸送至上述解封裝模塊2(步驟SI I)。上述解封裝模塊2對上述音視頻文件數據進行解封裝,將上述音視頻文件數據解析為視頻幀序列和音頻幀序列，並將上述視頻幀序列和音頻幀序列以及原音視頻文件的封裝格式的相關參數存儲在上述存儲模塊7中(步驟S12)。上述視頻數據解碼模塊3從上述存儲模塊7中獲取上述視頻幀序列，將上述視頻幀序列中的視頻幀還原為RAW格式數據，並將上述RAW格式數據存儲到上述存儲模塊7中(步驟S13)。上述幀率調節模塊4根據用戶通過上述設置模塊8輸入的幀率數，對RAW格式數據進行幀率的調節，獲取經幀率調節後的RAW格式數據，並將經幀率調節後的RAW格式數據存儲到上述存儲模塊7中(步驟S14)
上述編碼模塊5從上述存儲模塊7中獲取經幀率調節後的RAW格式數據，並根據用戶的要求對經幀率調節後的RAW格式數據進行編碼，形成新的視頻幀序列並存儲到上述存儲模塊7中(步驟S15)。上述封裝模塊6從上述存儲模塊7中獲取音頻幀序列、新的視頻幀序列和原音視頻文件的封裝格式的相關參數，並根據原音視頻文件的封裝格式的相關參數進行封裝，形成新音視頻文件(步驟S16)。圖10為本發明實施方式涉及的視頻幀率定製調節的步驟S12的流程圖。下面，參照圖10說明在本實施方式涉及的音視頻文件進行解封裝處理過程。音視頻文件格式判斷單元21基於所接收的音視頻文件數據判斷所接收的音視頻文件的封裝格式，將判斷結果輸送到解封裝選擇單元22 (步驟S121)，同時將原音視頻文件的封裝格式的相關參數存儲到上述存儲模塊7中。上述解封裝選擇單元22基於上述判斷結果選擇相應的解封裝單元(步驟S122)。上述解封裝單元(即解封裝單元23、24、25……中之一)對上述音視頻文件數據進行解封裝，將上述音視頻文件數據解析為視頻幀序列和音頻幀序列(步驟S123)，並將視頻幀序列和音頻幀序列存儲到上述存儲模塊7中(步驟S124)。圖11為本發明實施方式涉及的視頻幀率定製調節的步驟S13的流程圖。下面，參照圖11說明在本實施方式涉及的對視頻數據進行解碼處理的過程。編碼格式判斷單元31對解封裝後的視頻幀序列的編碼格式進行判斷，並將判斷結果輸送到解碼器選擇單元32(步驟S131)。上述解碼器選擇單元32基於上述判斷結果選擇與上述編碼格式相應的解碼器進行解碼(步驟S132)，上述解碼器(即解碼器33、34、35……中之一)將上述視頻幀序列中的視頻幀還原為RAW格式數據(步驟S133)，並將上述RAW格式數據存儲至存儲模塊7中(步驟 S134)。圖12為本發明實施方式涉及的視頻幀率定製調節的步驟S14的流程圖。下面，參照圖12說明在本實施方式涉及的對視頻數據進行幀率調節的流程。幀率計算單元41從存儲模塊7中以一秒為單位讀取上述RAW格式的視頻數據(步驟S141 )，再計算上述讀取的一秒段視頻數據的幀率Nf (步驟S142)並將上述一秒段視頻數據、一秒段視頻數據的幀率Nf傳遞給幀率比較單元42。上述幀率比較單元42從存儲模塊7中讀取出用戶設定的幀率M，將上述設定幀率M和上述幀率計算單元41傳遞來的一秒段幀率Nf做比較，判斷是否需要處理(步驟S143)，如果M=Nf,則不對上述一秒段視頻數據做處理(步驟S143:否)，直接將上述一秒段視頻數據存儲到存儲模塊7中(步驟S147);如果M古Nf,則需要對上述一秒段視頻數據做處理(步驟S143:是)，並進入步驟S144。在步驟S144中，判斷是否需要增幀處理。如果M>Nf，則需要進 行增幀處理(步驟S144:是)，上述一秒段視頻數據、設定幀率M和一秒段幀率Nf被傳遞給增幀處理單元43。上述增幀處理單元43接收到上述幀率比較單元42傳遞的上述一秒段視頻數據、設定幀率數和一秒段幀率Nf後，計算出需要插入的幀數N(N=(M-Nf) XS,本例中S=I秒)，再向上述一秒段視頻數據中插入N個幀(步驟145)，最後將得到的新的一秒段幀率等於設定幀率的一秒段視頻數據存儲在上述存儲模塊7中(步驟S147)。如果M〈Nf，則需要進行刪幀處理(步驟S144:否)，上述一秒段視頻數據、設定幀率M和一秒段幀率Nf被傳遞給刪幀處理單元44。上述刪幀處理單元44接收到上述幀率比較單元42傳遞的上述一秒段視頻數據、設定幀率M和一秒段幀率Nf後，計算出需要刪除的幀數m (m= (Nf-M) XS,本例中S=I秒),並且從上述一秒段視頻數據的第二巾貞開始,計算當前中貞與前一幀的差分值(或小波分析識別)，然後刪除m個上述差分值最小的幀(步驟S146)，最後將得到的新的一秒段幀率等於設定幀率的一秒段視頻數據存儲在上述存儲模塊7中(步驟 S147)。圖13為本發明實施方式涉及的視頻幀率定製調節的步驟S145的流程圖。下面，參照圖13說明在本實施方式涉及的對視頻數據進行增幀調節的流程。增幀處理單元43接收到上述幀率比較單元42傳遞的上述一秒段視頻數據、設定幀率M和一秒段幀率Nf後，通過公式n=Nf + (M-Nf) (η取整數部分，當η=0時，設置η=1 ；n為在所述一秒段視頻數據中，每隔η個幀為一個插入點；Nf為所述一秒段視頻數據的幀率;M為所述設定幀率)計算出插入點(步驟S1451)，然後循環判斷是否有未插入幀的插入點(步驟S1452)。如果有(步驟S1452:是)，則複製尚未插入幀的插入點的前一幀(步驟S1453)，再將上述複製得到的幀插入到當前插入點(步驟S1454)，直到上述所有插入點都插入了幀。如果沒有(步驟S1452:否)，則判斷上述在插入點都插入了幀的新的一秒段視頻數據的幀率是否等於上述設定幀率(步驟S1455)，如果新的一秒段視頻數據的幀率不等於上述設定幀率(步驟S1455:否)，則複製最後一個插入點的前一幀(步驟S1456)，再把上述複製得到的幀插入到最後一個插入點(步驟S1457)，直到上述插入了幀的新的一秒段視頻數據的幀率等於上述設定幀率(步驟S1455:是)，最後得到新的一秒段幀率等於設定幀率的一秒段視頻數據(步驟S1458)。圖14為本發明實施方式涉及的視頻幀率定製調節的步驟S146的流程圖。下面，參照圖14說明在本實施方式涉及的對視頻數據進行刪幀調節的流程。上述刪幀處理單元44接收到上述幀率比較單元42傳遞的一秒段視頻數據、一秒段幀率Nf和設定幀率M (步驟S1461)，然後通過公式m= (Nf-M) XS (S為待處理視頻數據的時長，單位為秒，本例中S=I秒)得到需要刪除的幀數(步驟S1462)，再從上述一秒段視頻數據的第二幀開始，計算當前幀與前一幀的差分值(步驟S1463)，然後刪除m個上述差分值最小的幀(步驟S1464)，最後得到新的一秒段幀率等於設定幀率的一秒段視頻數據(步驟S1465)。圖15為本發明實施方式涉及的對幀率調節的RAW格式視頻數據進行編碼的步驟S15的流程圖。下面，參照圖15說明在本實施方式涉及的對RAW格式數據進行編碼處理過程。編碼器選擇單元51從上述存儲模塊7中獲取上述經調節幀率後的RAW格式視頻數據(步驟S151)，並基於用戶的要求選擇相應的編碼器(步驟S152)。上述被選定的編碼器對上述經調節幀率後的RAW格式數據進行編碼，以獲得新的視頻幀序列(步驟S153)，並將所獲得的新的視頻幀序列存儲在存儲模塊7中(步驟S154)。圖16為本發明實施方式涉及的對音頻幀序列和新的視頻幀序列進行封裝的步驟S16的流程圖。下面，參照圖16說明在本實施方式涉及的對音頻幀序列和新的視頻幀序列進行封裝處理過程。
上述封裝格式選擇單元61從上述存儲模塊7中獲取音頻幀序列、新的視頻幀序列和原音視頻文件的封裝格式的相關參數(步驟S161)。上述封裝格式選擇單元61基於原音視頻文件的封裝格式的相關參數選擇與原音視頻文件的封裝格式相應的封裝單元(步驟S162)，上述封裝單元對上述音頻幀序列和上述新的視頻幀序列進行重新封裝，形成具有與原音視頻文件的封裝格式相同的新的音視頻文件(步驟S163)，並輸出新的音視頻文件(步驟 S164)。在上述實施方式中，以每一秒段視頻數據為單位進行調節，但本發明並不限於此。本發明還可以以其它時長的視頻數據段為單位進行調節。下面以一個GOP段視頻數據為單位進行調節的例子進行說明。圖17為本發明實施方式涉及的視頻幀率定製調節系統的幀率調節模塊4的另一結構框圖。圖17中的幀數計算單元41，幀數比較單元42，增幀處理單元43、刪幀處理單元44與圖4中的相同,此外上述巾貞率調節模塊4還包括巾貞長調節單元45。上述巾貞率計算單元41以一個GOP段視頻數據的時間長度為單位，依次從上述存儲模塊7中取出視頻數據，再計算出上述一個GOP段視頻數據的平均幀率Nf (即一個GOP段視頻數據中的幀數除以該一個GOP段視頻數據的時長)，然後將上述一個GOP段的RAW格式的視頻數據和上述計算得出的一個GOP段視頻數據的平均幀率Nf傳遞給上述幀長調節單元45。上述幀長調節單元45接收到上述一個GOP段視頻數據後，根據每一幀的時長參數判斷是否需要對上述一個GOP段視頻數據中的幀長進行調整。如果上述幀長調節單元45判斷所接收的上述一個GOP段視頻數據中的各個幀的時長不均勻，調整上述視頻數據每一幀的時間戳，使上述視頻數據的每一幀的幀長(或時長)相等，保持上述一個GOP段視頻數據的總時長不變，再把上述調整幀長後的一個GOP段視頻數據和上述計算得出的一個GOP段視頻數據的平均幀率Nf傳遞給上述幀率比較單元42。如果上述幀長調節單元45判斷所接收的上述一個GOP段視頻數據中的各個幀的時長是均勻的，則無需進行幀長的調整而直接將上述一個GOP段視頻數據和上述計算得出的一個GOP段視頻數據的平均幀率Nf傳遞給上述幀率比較單元42。上述幀率比較單元42從上述存儲模塊7中獲取用戶設定的幀率M，再將上述設定幀率數M和上述從幀長調節單元41得到的上述一個GOP段視頻數據的平均幀率Nf作比較。當Nf〈M時，將上述一個GOP段的視頻數據、上述一個GOP段視頻數據的平均幀率Nf和上述設定幀率M傳遞給上述增幀處理單元43。當Nf>M時，將上述一個GOP段的視頻數據、上述一個GOP段視頻數據的平均幀率Nf和上述設定幀率M傳遞給上述刪幀處理單元44。當Nf=M時，將上述一個GOP段的視頻數據不做幀數調整直接存儲到上述存儲模塊7中。上述增幀處理單元43接收到上述幀率比較單元42傳遞的上述一個GOP視頻數據、一個GOP段視頻數據的平均幀率Nf和設定幀率M，然後再在上述接收到的一個GOP段視頻數據中插入幀，插入幀的個數為上述設定幀率M和上述一個GOP段視頻數據的幀率Nf的差值再乘以所述GOP段視頻數據的時間長度，即(M-Nf)XS (取整數，S為一個GOP段視頻數據的時間長度，單位為秒)，最後得到幀率為M的新的一個GOP段視頻數據，並將上述新的一個GOP段視頻數據存儲到上述存儲模塊7中。上 述增巾貞處理單元44接收到上述巾貞率比較單元42傳遞的上述一個GOP段視頻數據、一個GOP段視頻數據的平均幀率Nf和設定幀率M，然後再刪除掉上述一個GOP段視頻數據的一些幀，刪除的幀的個數為上述一個GOP段視頻數據的平均幀率Nf和上述設定幀率M的差值再乘以所述一個GOP段視頻數據的時間長度，S卩(Nf-M)XS (取整數，S為一個GOP段視頻數據的時間長度，單位為秒)，最後得到幀率為M的新的一個GOP段視頻數據，並將上述新的一個GOP段視頻數據存儲到上述存儲模塊7中。圖18為本發明實施方式涉及的視頻幀率定製調節的步驟S14的另一流程圖。下面，參照圖18說明在本實施方式涉及的以一個GOP段視頻數據為單位對視頻數據進行幀率調節的另一流程。幀率計算單元41從存儲模塊7中以一個GOP段視頻數據的時長為單位讀取上述RAW格式的視頻數據(步驟S141 )，再計算上述讀取的一個GOP段視頻數據的平均幀率Nf (步驟S142)並將上述一個GOP段視頻數據、一個GOP段視頻數據的平均幀率Nf傳遞給幀長調節單元45。上述幀長調節單元45接收到上述一個GOP段視頻數據後，判斷是否需要對上述一個GOP段視頻數據的幀進行幀長的調整(步驟S1421)。如果需要進行幀長的調整(步驟S1421:是)，上述幀長調節單元45調整上述視頻數據每一幀的時間戳，使上述視頻數據的每一幀的時長相等，保持上述一個GOP段視頻數據的總時長不變(步驟S1422)，再把上述調整幀長後的一個GOP段視頻數據和上述計算得出的一個GOP段視頻數據的平均幀率Nf傳遞給幀率比較單元42，進入步驟S143的處理。如果無需要進行幀長的調整(步驟S1421:否)，則直接進入步驟S143。在步驟S143中，上述幀率比較單元42從存儲模塊7中讀取出用戶設定的幀率M，將上述設定幀率M和上述幀長調整單元45傳遞來的一個GOP段視頻數據的平均幀率Nf做比較，判斷是否需要處理。如果M=Nf,則不對上述一個GOP段視頻數據做處理(步驟S143:否)，直接將上述一個GOP段視頻數據存儲到存儲模塊7中(步驟S147);如果M古Nf，則需要對上述一個GOP段視頻數據做處理(步驟S143:是)，並進入步驟S144。在步驟S144中，判斷是否需要增幀處理。如果M>Nf，則需要進行增幀處理(步驟S144:是)，上述一個GOP段視頻數據、設定幀率M和一個GOP段視頻數據的平均幀率Nf被傳遞給增幀處理單元43。上述增幀處理單元43接收到上述幀率比較單元42傳遞的上述一個GOP段視頻數據、設定幀率數和GOP段視頻數據的平均幀率Nf後，計算出需要插入的幀數N (N=(M-Nf) X S，S為一個GOP段視頻數據的時長，單位為秒)，再向上述一個GOP段視頻數據中插入N個幀(步驟145)，最後將得到的新的幀率等於設定幀率的一個GOP段視頻數據存儲在上述存儲模塊7中(步驟S147)。如果M〈Nf，則需要進行刪幀處理(步驟S144:否)，上述一個GOP段視頻數據、設定幀率M和一個GOP段視頻數據的平均幀率Nf被傳遞給刪幀處理單元44。上 述刪幀處理單元44接收到上述幀率比較單元42傳遞的上述GOP段視頻數據、設定幀率M和一個GOP段視頻數據的平均幀率Nf後，計算出需要刪除的幀數mCm=(Nf-M) XS, S為一個GOP段視頻數據的時長，單位為秒)，並且從上述一個GOP段視頻數據的第二幀開始，計算當前幀與前一幀的差分值(或小波分析識別)，然後刪除m個上述差分值最小的幀(步驟S146)，最後將得到的新的幀率等於設定幀率的一個GOP段視頻數據存儲在上述存儲模塊7中(步驟S147)。在本實施方式中，在步驟S16中採用與原音視頻文件的封裝格式相同的封裝格式對音頻幀序列和新的視頻幀序列進行封裝。但本發明並不限於此，在步驟S16中也可以採用用戶指定的封裝格式對音頻幀序列和新的視頻幀序列進行封裝。在本實施方式中，有關數據先存儲在存儲模塊7中。但本發明並不限於此，前一模塊所獲取的數據可以不經存儲直接用於後面模塊的處理。應理解以上說明書中所描述的具體實施方式
和實施例僅用於說明本發明而不用於限制本發明的範圍。在閱讀了本發明之後，本領域技術人員對本發明的各種等同形式的修改均落於本申請所附權利要求所限定的範圍。
權利要求
1.一種視頻巾貞率定製調節的系統，包括: 解封裝裝置，用於對音視頻文件進行解封裝，從而將所述音視頻文件解析為相應的視頻幀序列和音頻幀序列； 視頻數據解碼裝置，用於對所述視頻幀序列進行解碼，並將所述視頻幀序列中的視頻幀還原為RAW格式的視頻數據； 幀率調節裝置，根據用戶輸入的幀率數以一定時間長度為單位對所述RAW格式的視頻數據進行幀率的調節，使得經調節後的所述RAW格式的視頻數據的幀率等於預定幀率； 編碼裝置，通過對經過所述幀率調節裝置調節後的RAW格式的視頻數據進行編碼，獲得經重新編碼後的視頻幀序列； 封裝裝置，用於對所述經重新編碼後 的視頻幀序列和所述音頻幀序列進行封裝。
2.根據權利要求1所述的系統，其特徵在於:所述幀率調節裝置根據所述RAW格式的視頻數據每一幀的時間戳，以所述一定時間長度為單位，循環處理所述RAW格式的視頻數據，使得處理後的所述RAW格式的視頻數據的幀率等於所述預定幀率。
3.根據權利要求2所述的系統，其特徵在於: 所述幀率調節裝置計算所述一定時間長度內的RAW格式的視頻數據的幀率，並將其與所述預定幀率作比較，其中， 當所述一定時間長度內的RAW格式的視頻數據的幀率小於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據做增幀處理，增加的幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長，當所述一定時間長度內的RAW格式的視頻數據的幀率大於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據做刪幀處理，刪除的幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長，當所述一定時間長度內的RAW格式的視頻數據的幀率等於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據不做幀數調整。
4.根據權利要求3所述的系統，其特徵在於: 在所述增幀處理過程中，所述幀率調節裝置計算出需要插入幀的插入點，再複製所述插入點的前一幀，將複製得到的幀插入到所述插入點； 所述插入點的計算公式為:n=Nf+ (M-Nf)，其中η為在所述一定時間長度內的視頻數據中每隔η個幀為一個插入點、Nf為所述一定時間長度內的視頻數據的幀率、M為所述預定幀率。
5.根據權利要求4所述的系統，其特徵在於:在所述增幀處理過程中，當所述一定時間長度內的視頻數據中所有插入點都插入幀後，如果經插入幀後的視頻數據的幀率小於所述預定幀率，則所述幀率調節裝置繼續複製最後一個插入幀，並將複製得到的幀插入到最後一個插入點，直到經插入幀後的視頻數據的幀率等於所述預定幀率。
6.根據權利要求3所述的系統，其特徵在於: 在所述刪幀處理過程中，所述幀率調節裝置從所述一定時間長度內的視頻數據的第二幀開始，計算每一幀與前一幀的差分值，選取差分值最小的幀作為刪除幀； 所述刪除幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長。
7.根據權利要求1 6任意一項所述的系統，還包括:幀率設置裝置，用於設置所述預定幀率。
8.根據權利要求7所述的系統，還包括:用於存儲數據的存儲裝置。
9.根據權利要求1 6任意一項所述的系統,其特徵在於:所述一定時間長度為一秒。
10.根據權利要求1 6任意一項所述的系統，其特徵在於:所述一定時間長度為一個GOP 段。
11.根據權利要求10所述的系統，還包括:幀長調節裝置，用於對所述一個GOP段的視頻數據中的幀長進行調整。
12.一種視頻幀率定製調節的方法，包括: 解封裝步驟，對音視頻文件進行解封裝，從而將所述音視頻文件解析為相應的音頻幀序列和視頻幀序列； 視頻數據解碼步驟，對所述視頻幀序列進行解碼，並將所述視頻幀序列中的視頻幀還原為RAW格式的視頻數據； 幀率調節步驟，根據用戶輸入的幀率數以一定時間長度為單位對所述RAW格式的視頻數據進行幀率的調節，使得經調節後所述RAW格式的視頻數據的幀率等於預定幀率； 編碼步驟，通過對經過幀率調節後的RAW格式的視頻數據進行編碼，獲得經重新編碼後的視頻巾貞序列； 封裝步驟，對所述經重新編碼後的視頻幀序列和所述音頻幀序列進行封裝。
13.根據權利要求12所述的方法，其特徵在於:在所述幀率調節步驟中，根據所述RAW格式的視頻數據每一幀的時間戳，以所述一定時間長度為單位，循環處理所述RAW格式的視頻數據，使得處理後的所述RAW格式的視頻數據的幀率等於預定幀率。
14.根據權利要求13所述的方法，其特徵在於: 在所述幀率調節步驟中，計算所述一定時間長度內的RAW格式的視頻數據的幀率，並將其與所述預定幀率作比較，其中， 當所述一定時間長度內的RAW格式的視頻數據的幀率小於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據做增幀處理，增加的幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長， 當所述一定時間長度內的RAW格式的視頻數據的幀率大於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據做刪幀處理，刪除的幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長， 當所述一定時間長度內的RAW格式的視頻數據的幀率等於所述預定幀率時，對所述一定時間長度內的RAW格式的視頻數據不做處理。
15.根據權利要求14所述的方法，其特徵在於: 在所述增幀處理 過程中，計算出需要插入幀的插入點，再複製所述插入點的前一幀，將複製得到的幀插入到所述插入點； 所述插入點的計算公式為:n=Nf+ (M-Nf)，其中η為在所述一定時間長度內的視頻數據中每隔η個幀為一個插入點、Nf為所述一定時間長度內的視頻數據的幀率、M為所述預定幀率。
16.根據權利要求15所述的方法，其特徵在於:在所述增幀處理過程中，當所述一定時間長度內的視頻數據中所有插入點都插入幀後，如果經插入幀後的視頻數據的幀率小於所述預定幀率，則繼續複製最後一個插入幀，並將複製所得到的幀插入到最後一個插入點，直到經插入幀後的視頻數據的幀率等於所述預定幀率。
17.根據權利要求14所述的方法，其特徵在於: 在所述刪幀處理過程中，從所述一定時間長度內的視頻數據的第二幀開始，計算每一幀與前一幀的差分值，選取差分值最小的幀作為刪除幀； 所述刪除幀的個數為所述一定時間長度內的視頻數據的幀率和所述預定幀率的差值再乘以所述一定時間長度內的視頻數據的時長。
18.根據權利要求12 17任意一項所述的方法，還包括:幀率設置步驟，設置所述預定幀率。
19.根據權利要求12 17任意一項所述的方法，其特徵在於:所述一定時間長度為一秒。
20.根據權利要求12 17任意一項所述的方法，其特徵在於:所述一定時間長度為一個GOP段。
21.根據權利要求20所述的方法，還包括:幀長調節步驟，當所述一個GOP段的視頻數據中的幀長不均勻時，在對所述一個GOP段的視頻數據進行幀率調整之前對所述一個GOP段的視頻數據中的幀長進行調 整。
全文摘要
本發明提供一種視頻幀率定製調節的系統，包括解封裝裝置，用於對音視頻文件進行解封裝，從而將所述音視頻文件解析為相應的視頻幀序列和音頻幀序列；視頻數據解碼裝置，用於對所述視頻幀序列進行解碼，並將所述視頻幀序列中的視頻幀還原為RAW格式視頻數據；幀率調節裝置，根據用戶輸入的幀率數以一定時間長度為單位對所述RAW格式視頻數據進行幀率的調節，使得經調節後的所述RAW格式視頻數據的幀率等於預定幀率；編碼裝置，通過對經過所述幀率調節裝置調節後的RAW格式視頻數據進行編碼，獲得經重新編碼後的視頻幀序列；封裝裝置，用於對所述經重新編碼後的視頻幀序列和所述音頻幀序列進行封裝。本發明還提供一種視頻幀率定製調節的方法。
文檔編號H04N21/4402GK103248950SQ20131015438
公開日2013年8月14日 申請日期2013年4月28日 優先權日2013年4月28日
發明者武悅 申請人:天脈聚源(北京)傳媒科技有限公司