一種媒體播放終端設備的視頻播放質量測試方法
2023-06-03 00:51:26
專利名稱：一種媒體播放終端設備的視頻播放質量測試方法
技術領域：
本發明涉及IP電視技術領域，具體涉及一種媒體播放終端設備的視頻播放質量測試方法。
背景技術：
目前IP電視成為電信領域新的市場增長點，通過承載在IP網上的流媒體服務向用戶提供視頻業務將成為未來電視娛樂的一個重要發展方向，各種媒體播放終端設備如IP-STB(IP-Set Top Box，IP機頂盒)等也成為終端產品發展的熱點，但如何測試媒體播放終端設備的播放質量成為一個新的問題。
媒體播放終端設備的播放質量涵蓋兩個方面，一個方面是畫面質量(包括畫面清晰度、色彩、形變、失真、噪聲、幹擾等等)，數字視頻技術的出現已經大幅改進了失真、噪聲、幹擾等問題，其他幾項也已經有比較成熟的技術；另一個方面是播放的流暢程度，由於媒體服務承載在IP網上，與生俱來的網絡時延、抖動、丟包等網絡損傷以及媒體播放終端的協議處理性能、解碼性能等影響因素，導致播放流暢程度成為了播放質量的關注焦點。
如圖1所示，目前針對視頻質量的測試一般按如下方式實現測試儀的一端連接模擬視頻發生器，另一端連接模擬視頻接收器，模擬視頻發生器的標準視頻通過模擬接口輸出；模擬視頻接收器接收該標準視頻，測試儀比較模擬視頻發生器和模擬視頻接收器的差異，得出被測系統造成的視頻損傷。這種測試儀主要用於測試整套編解碼系統，編碼器和解碼器成對出現，用於會議電視等被測試系統，也可以使用標準的高質量離線編碼器、或離線解碼器替代其中的相應部分，來測試另一部分造成的視頻損傷。
上述的測試方法有如下的缺點1、只能用於測試畫面質量的損傷，對於畫面停頓時延、丟幀等實時性問題無法進行有效測試；2、適用於編解碼器成對出現的情形，對於視頻媒體終端這樣的解碼設備的測試不是很合適；3、測試用視頻必須是指定的視頻流，其數量、類型有限，因而必然會限制視頻流的選擇範圍，不能適用不同編碼格式、解析度、碼流速率的測試要求。
媒體播放終端設備的播放不流暢一般表現為播放畫面停頓或丟幀，對播放流暢程度的測試方法目前常用的方式是依靠人的主觀觀測。重複多次播放片源，觀測者對每次播放過程中出現的畫面停頓、時延進行記錄，最後匯總結果給出播放流暢程度的評價。對不同編碼格式、解析度、碼流速率的片源在不同的網絡質量環境下分別進行測試，得出綜合結果。主觀觀測的缺點是人為主觀判斷難以準確反映播放情況，如對某次時延大小的判定或對某次錯誤的忽略等都容易造成誤差；觀測時間長，浪費人力和資源；對於丟幀、亂序等問題更是難以覺察，很難發現並統計。
目前尚未見到對媒體播放終端設備進行播放流暢程度測試的相關工具和方法出現。
發明內容
本發明要解決的技術問題是提供一種媒體播放終端設備的視頻播放質量測試方法，克服現有技術對媒體播放終端設備的播放流暢程度只能依靠人的主觀觀測進行測試的缺點，本發明用以客觀地評價媒體播放終端的播放流暢程度，確定視頻幀間的時間間隔以及丟幀等情況。被測系統完全被包納在測試系統中，並且測試過程完全可以由測試設備和儀器自動實現，不需要人為觀測。
本發明採用如下的技術方案一種媒體播放終端設備的視頻播放質量測試方法，包括步驟A1、對媒體文件的每一視頻幀賦予不同的幀序列號，確定與所述幀序列號對應的不同圖形標記，並將所述圖形標記疊加到所述媒體文件的對應視頻幀上；A2、將該媒體文件作為測試源發送到媒體播放終端設備；A3、所述媒體播放終端設備將接收到的該媒體文件碼流進行解碼，並進行輸出；A4、對輸出的視頻幀中的所述圖形標記依次進行識別並生成與其對應的幀序列號，對所得到的幀序列號進行分析，作出視頻播放質量的評價。
所述的技術方案，其中在進行音視頻同步測試時包括以下步驟B1、執行步驟A1時，在所述媒體文件的音頻流中加入與指定視頻幀同步的特殊信號音，並確定所述特殊信號音對應的二進位碼，存儲所述二進位碼和所述指定視頻幀的幀序列號構成的同步對應表；B2、執行步驟A4時，對所述特殊信號音進行識別並生成所述二進位碼，同時記錄所述特殊信號音之間的間隔時間以及不同視頻幀的間隔時間；B3、根據所述同步對應表比較所述指定視頻幀的時刻信息和所述特殊信號音的時刻信息，確定視頻流和音頻流的同步狀態。
所述的技術方案，其中在將所述圖形標記疊加到所述媒體文件的每一視頻幀上時，所述步驟A1包括以下步驟C1、將所述媒體文件解碼成非壓縮格式；C2、在每一幀視頻的某一位置疊加所述圖形標記；C3、將處理後的視頻幀按原視頻參數和編碼格式重新編碼為壓縮格式的媒體文件。
所述的技術方案，其中在所述步驟A1中，對媒體文件的每一視頻幀賦予不同的幀序列號時，按遞增的順序對幀序列號進行賦值，相鄰的視頻幀之間的幀序列號差1；所述步驟A4按以下標準對視頻播放質量進行評價如果在後的視頻幀的幀序列號減去在前的視頻幀的幀序列號的差為1，則判定這兩幀的輸出正常。
所述的技術方案，其中所述步驟A4按以下標準對視頻播放質量進行評價如果在後的視頻幀的幀序列號減去在前的視頻幀的幀序列號的差為0，則判定在前的視頻幀停頓了1幀的時間。
所述的技術方案，其中所述步驟A4按以下標準對視頻播放質量進行評價如果在後的視頻幀的幀序列號減去在前的視頻幀的幀序列號的差小於零，則判定視頻幀出現亂序。
所述的技術方案，其中所述步驟A4按以下標準對視頻播放質量進行評價如果在後的視頻幀的幀序列號減去在前的視頻幀的幀序列號的差大於1，則判定有視頻幀被丟棄或視頻幀出現亂序；如果在前的視頻幀的所述圖形標記不可識別，則判定出現花屏或其他故障。
所述的技術方案，其中所述圖形標記為條碼、色塊、灰階、數字或文字。
所述的技術方案，其中所述條碼包括同步信息、類型信息、幀序列號和幀結束標記。
所述的技術方案，其中所述特殊信號音為雙音多頻信號音。
本發明的技術方案解決了媒體播放終端設備的視頻播放流暢度的客觀自動測試問題，能夠節省大量的人力成本，大幅提高了測試精度和測試客觀性，並且還具有以下特點1、視頻流的選擇範圍允許多樣化，包括不同的編碼格式、解析度、碼流速率、視頻內容等，可以評價被測終端在不同情況下的表現；2、能夠對被解碼的片源的幀間的間隔、以及沒有顯示出來的幀進行記錄和統計；3、被測系統完全包納在測試系統中，檢測工作由儀器自動地實現，不需要人為參與。
圖1是現有技術中視頻播放質量測試方法示意圖；圖2是本發明技術方案流程示意圖；圖3是本發明的疊加條碼後的視頻幀示意圖；圖4是本發明的條碼和與其表示的二進位碼的對應關係示意圖。
具體實施例方式
下面結合附圖和實施例對本發明作進一步詳細說明如圖2所示，對用於測試的媒體文件的每一視頻幀都賦予一個唯一的二進位幀序列號，這樣就得到彼此相異的幀序列號集合，再根據幀序列號集合確定不同的圖形標記，圖形標記可以是條碼、色塊、灰階、數字或文字等，在用於測試的媒體文件的每一視頻幀的底部邊緣位置疊加不同的圖形標記，完成這個過程的是視頻編緝技術，常規的方法是將用於測試的媒體文件解碼成非壓縮格式；每一視頻幀的底部邊緣位置疊加圖形標記；將處理後的視頻幀原視頻參數和編碼格式重新編碼為壓縮的媒體文件。目前還有一些非線性視頻編緝技術可以對媒體文件不進行解壓而直接編輯，但只適用於某些編碼格式。經過處理的媒體文件作為測試源直接發送到媒體播放終端設備或在流媒體伺服器上發布並通過網絡進行傳送到媒體播放終端設備，為了模擬視頻損傷，可以在網絡中加入模擬網絡損傷的設備。如圖2所示，媒體播放終端設備接收到該媒體文件碼流後對其解碼，並通過視頻輸出接口輸出到幀序列檢測設備上，幀序列檢測設備對圖形標記依次進行識別並生成包含幀序列號在內的二進位字串，同時啟動定時器依次將視頻幀之間的間隔時間記錄下來，然後將所得到的幀序列號及其相應的時刻信息輸出到分析處理伺服器上，分析處理伺服器依據收到的信息統計播放停頓、播放時延、播放丟幀的情況，作出視頻播放流暢度的評價。
還可通過在用於測試的媒體文件的音頻流中加入特殊信號音來檢測用於測試的媒體文件的音視頻同步情況，具體步驟如下1、在所述媒體文件的視頻幀中疊加圖形標記的同時，在所述媒體文件的音頻流中加入與指定視頻幀同步的特殊信號音，並確定所述特殊信號音對應的二進位碼；2、將所述特殊信號音對應的二進位碼和與其同步的指定視頻幀的幀序列號構成的同步對應表傳輸到分析處理伺服器上存儲；3、在幀序列檢測設備對圖形標記進行識別的同時，幀序列檢測設備對特殊信號音進行識別並生成相應的二進位碼，同時將特殊信號音之間的間隔時間記錄下來，然後將所得到的二進位碼及其相應的時刻信息輸出到分析處理伺服器上；4、分析處理伺服器根據所述同步對應表比較指定視頻幀的時刻信息和所述特殊信號音的時刻信息，確定視頻流和音頻流的同步狀態。
下面以條碼為例進行說明，如圖3所示，條碼採用黑白二色，這樣就可以只在視頻的亮度信號中檢測，而且其精確度、信噪比都會比較高，實現起來簡單高效。為了適應於通用的視頻壓縮編解碼技術，減少運算複雜度，條碼的寬度和高度都為8的整倍數。在CIF格式下，條碼的寬度和高度為8；在D1格式下，條碼的寬度和高度為16。水平放置的條碼可以表示的信息量在CIF格式下為44bit，在D1格式下為45bit，在圖4所示的條碼設計中只使用了40bit，最前面的4bit的位置用於同步條紋(SYN)，由4像素寬(0.5個單元)的黑白相間的條紋組成。幀序列檢測設備在屏幕底端的行信號中檢測到亮度信號周期性變化邊緣時，同步其採樣周期和時間點，使後面的採樣點都能取在每個條碼單元的正中間；後面跟隨的4bit是類型信息(TYPE)，用來區別當前幀所表達的內容，0000表示片源起始的同步幀，檢測到這個幀時復位相關計數器及時間寄存器，準備開始接收，1111表示片源結束，檢測到這個幀時，幀序列檢測設備認為片源結束，本次測試過程完成，0001表示一個正常的幀，其後的SN中是幀序列號，檢測到這個幀時記錄序列號和時間；其他類型備用，可以用來作擴展應用，如標識不同的場景、不同解碼複雜度等其他測試信息；後面的24bit是幀序列號(SN)，當TYPE是0001時用來記錄當前幀的序列號，第一個幀序列號是0，後面依次加1，如果是NTSC制的片源，24bit的序列號支持155小時以內的視頻的連續計數；最後的8bit是結束標記(END)，為01010101，用來標識當前幀的有效性，幀序列檢測設備必須在最後能檢測到這個標記，否則認為當前幀的檢測結果無效，當出現花屏或者屏幕顯示嚴重變形時都有可能出現檢測不到正確的結束標記的情況。
起始幀(TYPE為0000)和結束幀(TYPE為1111)都連續出現多個，持續15s以上，防止由於出現誤碼、丟幀等引起的不可識別的錯誤；對於無法識別的幀，也要記錄其時間信息；無法識別可能由很多種原因導致，如花屏，嚴重形變，信號質量差，信號線脫落，被測終端死機等等；當發現無法識別的幀出現超過一定時間(如30分鐘)或者同一幀持續出現超過一定時間，則可以認為本次測試失敗。
幀序列檢測設備的原始輸出結果是在被測設備視頻輸出埠中出現的每一幀對應的序列號SN。由於特定的視頻輸出制式的幀速率是固定的，可以得知其對應的時間。當TYPE為0001時，假設某次檢測到的視頻輸出信號中幀f1的序列號為SN(f1)，緊接著檢測到的下一幀f2的序列號為SN(f2)。通過對原始輸出結果的統計分析可以得到下面結論a、如果發現SN(f2)-SN(f1)＝1，則認為這兩幀的輸出是正常的。
b、如果發現SN(f2)-SN(f1)＝0，則認為f1對應的原始的畫面停頓了1幀的時間，以PAL制為例，f2多停頓了1/25s，如果情況b繼續發生，則繼續累加停頓時間。
c、如果發現SN(f2)-SN(f1)＜0，則認為出現了亂序。
d、如果發現SN(f2)-SN(f1)＞1，則認為有SN(f2)-SN(f1)-1個幀被丟棄了，被丟棄的幀的序列號介於SN(f1)和SN(f2)之間。也有可能是由亂序導致的，需要依據後續的檢測情況來判斷。
e、如果發現SN(f1)不可識別，則認為出現了花屏或其他故障。
如果片源的幀速率與視頻輸出埠制式的幀速率不相同，則情況會複雜一些，可以依據計算出的時間來進行評價，這種情況下應該允許一定範圍內的誤差，也與被測終端處理幀速差異的機制相關。
音視頻同步檢測是在編碼時在某些特定時間點(如固定間隔)的音頻流中加入特殊信號音，其對應的二進位碼以及與信號音同步的視頻幀的幀序列號組成同步對應表，存儲在分析處理伺服器上。在幀序列檢測設備中增加一個音頻的檢測器，當發現特殊信號音時進行記錄，並按照前面的同步對應表以及視頻檢測結果找出相應的視頻幀出現的時間，計算時間差，得出音視頻同步情況的評測結果。具體實現方案如下1、音頻信號採用比較成熟的雙音多頻(DTMF)技術來進行標識和檢測，下面是雙音多頻的對應表
雙音多頻表是4×4的矩陣，每一行代表一個低頻，每一列代表一個高頻。每一個數字可以用一個高頻和低頻的正弦信號組合來標識，比如697Hz和1209Hz的複合音頻信號可以表示0。利用雙音多頻接收板可以檢測並確定所對應的數字。這樣可以利用標準的雙音多頻信號可以標識一個16進位數字。
2、在製作測試用節目源時，在音頻流中依次插入16個持續1秒的雙音多頻信號(在整個片長範圍內平均分布)，並記錄每個信號結束時的視頻幀序列號，這樣就可以得到一張音頻信號和視頻信號的同步對應表。
3、媒體播放終端設備的音頻輸出接口連接雙音多頻檢測器，檢測器在檢測到雙音多頻信號時，在信號結束的時刻上報給視頻幀序列檢測設備。幀序列檢測設備把檢測到的音頻信號所表示的二進位數字和其對應的時刻上報給分析處理伺服器。
4、分析處理伺服器依據前面得到的同步對應表，比較這些時間信息，就可以判斷這16個檢測點上音視頻是否同步。
當然如果用連續的多個雙音多頻信號則可以表示出多位16進位數，標識更多的檢測點。或者採用其他更複雜的音頻調製技術來標識更多的檢測點。
可以利用TYPE欄位的其他值作擴展應用的定義，必要時可以考慮縮短END序列的位數，以及將其後空出的4bit利用起來，例如可以用兩個bit標識當前幀類別是I、B、還是P，有助於分析幀類型對解碼的影響。
本發明解決了媒體播放終端設備的視頻播放流暢度的客觀自動測試問題，能夠節省大量的人力成本，通常一個機頂盒的版本測試中，對播放流暢程度的不是很全面的測試都需要近100人時，佔到整體測試工作量的30％，而且人工測試很難判斷出丟幀或輕微的亂序情況，而且記錄都不精確。有了這樣的測試方法，大幅了提高測試精度和客觀性。
雖然通過參照本發明的優選實施例，已經對本發明進行了圖示和描述，但本領域的普通技術人員應該明白，可以在形式上和細節上對其作各種各樣的改變，而不偏離所附權利要求書所限定的本發明的精神和範圍。
權利要求
1.一種媒體播放終端設備的視頻播放質量測試方法，其特徵在於，包括步驟A1、對媒體文件的每一視頻幀賦予不同的幀序列號，確定與所述幀序列號對應的不同圖形標記，並將所述圖形標記疊加到所述媒體文件的對應視頻幀上；A2、將該媒體文件作為測試源發送到媒體播放終端設備；A3、所述媒體播放終端設備將接收到的該媒體文件碼流進行解碼，並進行輸出；A4、對輸出的視頻幀中的所述圖形標記依次進行識別並生成與其對應的幀序列號，對所得到的幀序列號進行分析，作出視頻播放質量的評價。
2.根據權利要求1所述的媒體播放終端設備的視頻播放質量測試方法，其特徵在於在進行音視頻同步測試時包括以下步驟B1、執行步驟A1時，在所述媒體文件的音頻流中加入與指定視頻幀同步的特殊信號音，並確定所述特殊信號音對應的二進位碼，存儲所述二進位碼和所述指定視頻幀的幀序列號構成的同步對應表；B2、執行步驟A4時，對所述特殊信號音進行識別並生成所述二進位碼，同時記錄所述特殊信號音之間的間隔時間以及不同視頻幀的間隔時間；B3、根據所述同步對應表比較所述指定視頻幀的時刻信息和所述特殊信號音的時刻信息，確定視頻流和音頻流的同步狀態。
3.根據權利要求1或2所述的媒體播放終端設備的視頻播放質量測試方法，其特徵在於在將所述圖形標記疊加到所述媒體文件的每一視頻幀上時，所述步驟A1包括以下步驟C1、將所述媒體文件解碼成非壓縮格式；C2、在每一幀視頻的某一位置疊加所述圖形標記；C3、將處理後的視頻幀按原視頻參數和編碼格式重新編碼為壓縮格式的媒體文件。
4.根據權利要求3所述的媒體播放終端設備的視頻播放質量測試方法，其特徵在於在所述步驟A1中，對媒體文件的每一視頻幀賦予不同的幀序列號時，按遞增的順序對幀序列號進行賦值，相鄰的視頻幀之間的幀序列號差1；所述步驟A4按以下標準對視頻播放質量進行評價如果在後的視頻幀的幀序列號減去在前的視頻幀的幀序列號的差為1，則判定這兩幀的輸出正常。
5.根據權利要求4所述的媒體播放終端設備的視頻播放質量測試方法，其特徵在於所述步驟A4按以下標準對視頻播放質量進行評價如果在後的視頻幀的幀序列號減去在前的視頻幀的幀序列號的差為0，則判定在前的視頻幀停頓了1幀的時間。
6.根據權利要求5所述的媒體播放終端設備的視頻播放質量測試方法，其特徵在於所述步驟A4按以下標準對視頻播放質量進行評價如果在後的視頻幀的幀序列號減去在前的視頻幀的幀序列號的差小於零，則判定視頻幀出現亂序。
7.根據權利要求6所述的媒體播放終端設備的視頻播放質量測試方法，其特徵在於如果在後的視頻幀的幀序列號減去在前的視頻幀的幀序列號的差大於1，則判定有視頻幀被丟棄或視頻幀出現亂序；如果在前的視頻幀的所述圖形標記不可識別，則判定出現花屏或其他故障。
8.根據權利要求7所述的媒體播放終端設備的視頻播放質量測試方法，其特徵在於所述圖形標記為條碼、色塊、灰階、數字或文字。
9.根據權利要求8所述的媒體播放終端設備的視頻播放質量測試方法，其特徵在於所述條碼包括同步信息、類型信息、幀序列號和幀結束標記。
10.根據權利要求3所述的媒體播放終端設備的視頻播放質量測試方法，其特徵在於所述特殊信號音為雙音多頻信號音。
全文摘要
本發明公開了一種媒體播放終端設備的視頻播放質量測試方法，包括步驟A1.對媒體文件的每一視頻幀賦予不同的幀序列號，確定與所述幀序列號對應的不同圖形標記，並將所述圖形標記疊加到所述媒體文件的對應視頻幀上；A2.將該媒體文件作為測試源發送到媒體播放終端設備；A3.所述媒體播放終端設備將接收到的該媒體文件碼流進行解碼，並進行輸出；A4.對輸出的視頻幀中的所述圖形標記依次進行識別並生成與其對應的幀序列號，對所得到的幀序列號進行分析，作出視頻播放質量的評價。本發明解決了媒體播放終端設備的視頻播放流暢度的客觀自動測試問題，能夠節省大量的人力成本，大幅提高了測試精度和測試客觀性。
文檔編號H04N17/02GK1859584SQ20051010143
公開日2006年11月8日 申請日期2005年11月14日 優先權日2005年11月14日
發明者張釗 申請人:華為技術有限公司