可變速度的錄象畫面搜尋裝置與方法
2023-05-14 17:07:16
專利名稱：可變速度的錄象畫面搜尋裝置與方法
技術領域：
本發明是關於一個在儲存媒體上以可變速度搜尋錄象畫面的裝置，特別的是，本發明涉及基於時間上前後連續的錄象畫面的相關性，在快速掃描搜尋時用來控制該裝置的速度。
為了在儲存媒體(如錄象帶)上，識別預先設定的位置，通常的記錄(錄象)裝置，如錄象機，其操作者可以在錄象帶上記錄索引碼，這使得操作者可以向前快轉到帶子上的一個特定位置。通常的錄象機也可以在向前快速搜尋索引的位置時，邊看邊找。
通常的快速向前搜尋裝置，像目前的錄象機，它們具有一個固定或使用者可控制的向前快速搜尋速度。一個固定的向前快速搜尋的速度對觀看同時具有靜態與動態景物的錄象視頻是不合適的。(「動態與靜態」景物定義於後)。同樣地，由手工來調整速度也不是一個有效的替代方法。
一個完全運動視頻序列通常含有靜態和動態兩種畫面。(在此，「畫面」這個用語意指幀或場)。靜態景物在前後連續的畫面之間變化很少，意即畫面與畫面間的重複性相當高。對動態景物，前後連續的畫面之間的差異性就相當大了。
連續畫面之間的變化可以用運動矢量及非零的預估誤差來度量。例如，為了達到很高的數據壓縮量，在塊匹配運動補償算法上，移動矢量，可用於去除畫面之間的冗餘。例如說，一個畫面可以切分為許多8×8的2維像素陣列的區塊，其運動量可以由整個畫面總體來預估，也以在局部的塊中來預估。
連續畫面(或塊)間的最佳匹配位置可由求一個如方程式(1)所示的誤差函數的最小值來決定E=ij|a(i,j)-b(i+mi,j+mj)|q---(1)]]>其中，a(i，j)是當前畫面(或塊)中的像素值，b(i＋mi，j＋mj)是前一個畫面(或塊)中的像素值，i是縱座標索引，j是橫座標索引，mi，mj表示一位移矢量D＝mi，mj乘方q通常等1或2使誤差函數E得到最小值的位移矢量(即mi，mj的數值)就叫做移動矢量。
該移動矢量代表自零位移矢量間的最小位移。例如，對完全相同的畫面而言，其整體的移動矢量是零，也就是後續畫面相對於前一畫面的零位移矢量是不動的。矢樣地，對完全相同的後續塊，其相對於特定塊的移動向量也是零。
靜態場景的信息相當低，因為它們在連續畫面之間的變化相當少(也就是相關性很高。)因此，靜態景物會有較小的移動矢量或者是較小的非零估計誤差。對運動或變化很小的靜態場景而言，預估下一個場景會相當的準確。因此，靜態場景具有較小的非零估計誤差。當然，對於完全靜止的圖面，其移動矢量及預估誤差都是零，這表示下一個場景可正確預估，而且和前一個場景完全相同。
相反地，場景之間變化相當大的動態場景其有較高的信息值及較大的移動矢量。下一個場景的預估通常會因為變動的場景，而傾向於有誤差。
對連續畫面之間變化少(即相關性較高)的靜態場景，用一個固定的快速向前(或快速向後)的搜尋速度，會看起來像是用一個不合理的慢速度在搜錄一樣。對於觀察者而言，這樣的搜尋不象是一快速向前或快速向後的搜尋。對相當靜態的場景而言，一般希望以高速向前快轉搜尋。
相對地，對連續畫面之間變化較多(即相關性較低)的動態場景，同樣的快速向前搜尋速度會快得在視覺上無法辨知。一個較慢的快速向前搜尋對舒適的觀看是所希望的。因此，一個固定的搜尋速度並不能適當地配合場景變化的情形(程度)。
向前快速搜尋的速度可以用人工來調整。例如當使用者主觀上覺得連續的畫面之間時序相關性很低，對動態圖像可以減低搜尋的速度；相反地，當使用者覺得連續的畫面之間時序相關性很高，對靜態圖像則可以提高搜尋的速度。
快速向前搜尋速度的手段調整並不是一個方便使用的技術，而且需要不斷的手動調整，尤其是在使用者評估畫面之間的相關性時與手動調整快轉向前的速度之間有一個反應的延遲。更進一步說，這個方法受限於當搜尋速度很快時，使用者通常會因查覺不到而忽略被掃描到的短暫動態場景。因此，本發明的目的之一就是在利用畫面中含有的信息值，自動地改變快速向前(或向後)的搜尋速度來解決先前技術的缺點。
通過本發明可實現該及其它目的。依照本發明的一個實施例，一個以可變速度在儲存媒體上搜尋錄象畫面的裝置具備有一個可變速度的錄象-重播裝置，這個錄象-重播裝置可記錄錄象畫面及一個信息值信號，然後重播錄象的畫面。
換另一種方式，本發明的裝置可以不記錄信息值，而是在重播或快速掃描搜尋一個預錄的儲存媒體，像錄象帶或雷射碟片時，由本發明的裝置來產生信息值信號。
畫面與(前或後)連續畫面間的時序相關性愈高，其信息值愈低。相反地，畫面間的時序相關性愈低(即變化程度愈高者)，其信息值愈高。
一個對應於信息值信號的速度控制器，可在快速掃描搜尋期間調整錄象-重播裝置的速度。調整快速掃描搜尋的速度是為了要使具有較高信息值的錄象畫面以較慢的快速掃描速度來重播，同樣地，具有較低信息值的錄象畫面以較快的快速掃描度來重播。
當時序上連續的錄象畫面之間相關性愈高，其信息值信號的數值愈低。同樣地，當這個相關性愈低，其信息值信號的數值愈高。這個相關性取決於連續視頻畫面之間的時序上的冗餘。明白地說，這個時序上連續畫面間的相關性是源自於一個代表連續畫面中的變化(如空間上移動)的移動矢量、一個非零的預估誤差、或連續畫面的數據大小。信息值信號可由操作者或節目信息抽取器提供，這個信息值信號亦可由操作者及節目信息抽取器二者共同提供。
在本發明的另一個實施例中，公開一種對在儲存媒體上排隊處理的錄象畫面做可變速度搜尋方法。對視頻信號中的每一個畫面產生(在記錄之前或之中)一個信息值信號，而且和視頻信號一同記錄在儲存媒體上。除了在記錄視頻信號之前或之中來產生信息值信號為例以外，這個信息值信號出可以在重播錄象畫面時產生。在快速掃描搜尋的時候，就是利用這個信息值信號來調整儲存媒體的搜尋速度。
總而言之，提供有一個可變速度搜尋錄象畫面的裝置與方法，其中快速掃描觀看的速度與畫面之間時序上的變化量成反比。這使得在快速掃描搜尋時，可以用一個適當的速度來觀看靜態和動態場景。此外，例如對高信息值的畫面，前述的排隊處理對搜尋有幫助。
圖一表示連續畫面之間的一個塊匹配。
圖二表示本發明的第一個實施例的方框圖。
圖三表示本發明的第二個實施例的方框圖。
圖四表示本發明的第三個實施例的方框圖。
圖五表示本發明的第四個實施例的方框圖。
圖六表示本發明的第五個實施例的方框圖。
本發明的可變速度搜尋裝置，可以用任何的記錄/重播標準，如MPEG、NTSC、PAL、MAC、SECAM等標準來施行。在美國NTSC標準是用在地面及有限視頻廣播及使用非壓縮數據的傳統錄象機上。
相對的，MPEG標準是一個新的標準(在美國是用在某些衛星視頻直播上)，其中的數據是壓縮的，並有移動矢量的產生及連續畫面的估計與預測。
MPEG採用具有動態補償及雙向預測的時序性DPCM(差分脈衝碼調製)。請參閱Elsevier出版公司在1990年出版的信號處理；圖像通訊、第二卷、221頁到239頁所刊載的「以px64 kbits/sec做影音服務的視頻編解碼器H.261建議案的修改草稿」基本的DPCM技術，是利用一個視頻畫面其大部分面積在畫面到畫面之間是不會改變的這個事實，因此，只要傳送畫面間的差值，如此會比傳送整個畫面所需的位數少。
動態補償利用數據在畫面到畫面之間，只有空間上的平移而無其他改變的特性，可以為這個方案增添相當程度的額外效能。畫面要分成例如可能是8×8像素的塊，畫面到畫面之間的變化是在塊與塊的基礎上，以線性平移做為模式，如圖一所示。對當前畫面K30中的每塊35，要在前一畫面K-120中找到一個匹配的塊。因此只需要一個匹配塊的指標(移動矢量22、42)在逐象素的基礎上加上塊間差值就足以表示塊35。
B及P畫面是MPEG中的兩個動態補償畫面。P畫面是只有向前(有因果關係的)預測的動態補償。它們自己可以用來預測未來的P-畫面和B-畫面(雙向預測的畫面)·MPEG還有沒有做動態補償I-畫面(內在-畫面)。
雙向預測是一個非因果關係過程，其中動態補償是由一張未來畫面K+140及一先前畫面K-120一起完成，如圖一所示。雙向的動態補償要使用一向前及一向後的移動矢量22、24，當在先前與未來畫面20、40中的匹配塊都找到的時候，這兩匹配塊取平均值。因為的噪聲的平均，這個步聚會產生與當前的塊更接近的匹配。當一個物體進入或離開場景時，只有先前或未來的塊會與當前塊匹配。
圖二到圖四是用以說明在MPEG標準中使用的本發明。但是本發明並不只限於用在MPEG標準中。本發明也可用於其他標準，如在傳統錄象機中使用的NTSC標準，見圖示五。
如果時序上連續的畫面很相似，例如一組靜止或相對靜態的畫面，那這些連續畫面間的相關性就很高。換言之，相對靜態的畫面其信息值比較低。相反地，動態畫面的信息值比較高。(即連續畫面之間的相關性較低)。信息值量化之後稱為QIV(量化信息值)。說明白一點，上述的畫面可以是一個整體畫面，也可以是畫面中的塊。譬如說，一個畫面中只有連續的塊(即好比一個8×8像素塊的部分畫面)可能有相對動態的變化，畫面的其他部分則相對靜態。
連續的MPEG標準畫面之間的相關性將用來說明本發明，因為使用信息壓縮技術的MPEG標準，已經產生有移動矢量。但是，不同有連續場景面組合型態或是不同型式的標準也可很容易地運用。例如說，一個切分為許多塊的畫面可採用塊與塊之間的相關性而不用畫面與畫面之間的相關性。對於MPEG以外的標準，在決定量化信息值之前，移動矢量可從連續的畫面(或塊)中先抽取出來。
明白地說，量化信息值(QIV)或時序上連續畫面間的相關性是如方程式(2)所示的MPEG標準中B和P畫面的移動矢量(MVQ)及非零估計誤差(NZERQ) 。
QIV＝F1(MVQ，NZERQ)(2)移動矢量(MVQ)代表連續畫面或塊間變化的程度。
舉例來說，移動矢量(MVQ)可以是畫面中每個塊的所有移動矢量的絕對值的總和。同樣地，非零估計誤差(NZERQ)可以是畫面中每個塊的所有誤差的絕對值的總和。
另一方面來說，量化信息值(QIV)會隨I、B、及P畫面的數據大小(DSZ)而改變。因此，量化信息值(QIV)，可由方程式(3)中所示的函數來表示QIV＝F2(DSZ，I-B-P)(3)例如，F2可以僅是I畫面，B畫面，及P畫面的累計值(和)圖二表來示本發明的一個實施例。由信息源100所提供的視頻信號120，輸入到一個節目信息抽取器200及一個同步緩衝器300中。明白的說，這個信息源100可以是攝影機或其他重播一儲存裝置。
節目信息抽出器200輸出一個記錄輔助(R-Side)信息信號220到一個正常錄象多重速度放象(NRMP)媒體400的R-Side輸入端225。例如，NRMP媒體400可以是一個包含VHS視頻磁帶的VHS景影帶錄象裝置。例如NRMP媒體400是包括一VHS錄象帶的一VHS盒式錄象機。講得明白些，NRMP媒體400可以像卡式錄象機(VCR)或帶式錄象機(VTR)一樣錄象和播放視頻影帶。另一方面來說，NRMP媒體400也可以是一個雷射影碟錄象機/放象機。
錄象輔助(R-Side)信息信號220包括量化信息值(QIV)在內。在本發明於圖二所示的實施例中，節目信息抽取器200會從視頻信號中時序上連續的畫面的相關性來自動產生這些量化信息值。
圖三是本發明的另一實施例，其中QIV可由操作員通過一個手動索引機202，例如一個編輯機或是製作機來人工輸入。例如說，操作員可以在場景景物改變時加入高的QIV使得快速掃描搜尋(即向前或向後快速搜尋)在場景景物改變時會把速度放慢。圖四又是本發明的另一實施例，其中QIV可由操作員通過手動索引機202來人工輸入亦或是由節目信息抽取器200來自動產生都可以。
回到圖二，節目信息抽取器200需要時間，計算QIV。因此，一個同步緩衝器300是用來使(確保)視頻信號120中包含的畫面與對應到錄象輔助信息信號220中含有的QIV上是同步(時)發生的。因此，MPEG信息源100除了要提供視頻信號120給節目信息抽取器120之外，還要提供視頻信號120給同步緩衝器300。依次，同步緩衝器300輸出一個錄象主信息信號320給NRMP媒體400的R-main輸入325，其中視頻信號120中的畫面與它們對應在錄象輔助信息信號200中的QIV是同步的(同時發生的)。
接收錄象輔助信息信號220與錄象主信息信號320的NRMP媒體400，它具有可變的快速掃描/重放速度，NRMP媒體400把場景與它們對應的QIV一同錄下來。明白的說，QIV可以記錄於視頻影帶的時間碼區域上，或者，NRMP媒體400可以只錄場景，而在重播或快速掃描搜尋時才產生QIV。
除此這外，NRMP媒體400在重播主(P-Main)輸出端415輸出一個重播主信息信號(P-Main信號)420，在重播狀態(P-staus)輸出端435輸出一個重播狀態信號(P-status信號)440，以及在重播輔助(P-side)輸出端455輸出一個重播輔助信息信號(P-side)重播輔助(P-side)信號460包含了重播主(P-main)信號420上的畫面所對應的QIV。有了重播狀態(P-staus)信號440及MPEG解碼器600的輔助，含有同步畫面的重播主(P-Main)信號420可以解碼與放映。
MPEG解碼器600接收重播主(P-main)信號420及重播狀態(P-status)信號440。解碼器600通過能指出在從儲存媒體重製數據時有惡化情形發生的重播狀態(P-status)信號440的輔助來對重播主(P-main)信號420解碼。接著解碼器600輸出一個，說明白一點，可以在陰極射線管(CRT)或其他放映裝置(未表示)上觀看到的放映信號620。
一個速度控制器500接收重播輔助(P-side)信號460並且輸出一個速度選擇信號520回到NRMP媒體400。NRMP媒體400在SP-SEL(速度選擇)輸入埠525接收到速度選擇信號520。這個速度選擇信號520可以改變NRMP媒體400的速度使之以快速但視覺可以辯識的速度來快速向前(或快速向後)搜尋畫面。那也就是說，具有較高量化信息值(QIV)的相當動態的錄象畫面，要用較慢的快速掃描速度播放(重播)，而具有較低QIV的相當靜態的錄象畫面要用較快的快速掃描速度來重播。
為了說明起見，圖三表示本發明操作在MPEG標準之下的另一實施例。除了圖二中抽取QIV的節目信息抽取器200是被一個索引器200所取代，圖三是個與圖二很相似的實施例。像編輯員或製作人等的操作人員，可以在任意位置手動輸入QIV。
根據操作員人工輸入的QIV，索引器202會將QIV輸出在錄象輔助(R-side)信息信號220上給正常錄象多重速度放象(NRMP)媒體400上的錄象輔助(R-side)輸入端225。因為QIV不是計算或抽取得到的，而是人工輸入的，所以圖二中的同步緩衝器300並不需要。圖三實施例的其他部分與圖二相似，那也就是說，由信息源100提供的視頻信號120是直接輸入到正常錄象多重速度放象(NRMP)媒體400的錄象主(R-Main)輸入端325。
該NRMP媒體400將重播主(P-Main)信號420及重播狀態(P-status)信號440輸出給負責對重播主(P-Main)信號420解碼並輸出可以在例如CRT上觀看的放映信號620的MPEG解碼器600，此外，NRMP媒體400輸出重播輔助(P-side)信號460給輸出速度選擇信號520回到NRMP媒體400的速度控制器500。這個速度選擇信號520會改變NRMP媒體400的速度，使之以快速但視覺上可辨認的速度來快速向前(或快速向後)搜尋畫面。
圖四表示本發明結合了圖二與圖三所示的實施例而成的另一實施例。在圖四所示的實施例中，QIV可以像在圖二中一樣自動地抽取出來，也可像圖三中一樣人工輸入，或者是由自動抽取及人工輸入一起來提供。
節目信息抽取器200及索引器202提供QIV給負責輸出錄象輔助(R-side)信息信號220到正常錄象多重速度放象(NRMP)媒體400的錄象輔助(R-side)輸入端225的選擇器204。選擇器204會選擇是由節目信息抽取器200抽取的QIV或由操作員以人工方式輸入到索引器202中的QIV的其中之一提供給錄象輔助(R-side)信息號220。另一方面來說，選擇器204準許取出的QIV(從節目信息抽取器200輸出的)和人工輸入的QIV(從索引器202輸出的)都出現在錄象輔助(R-side)信息信號220之上。本裝置的其餘部份與圖二和圖三中所示裝置相似。
圖五是本發明使用在傳統卡式錄象機上而工作在NTSC標準之下的另一個實施例。圖五與圖三類似，QIV都是操作員以人工方式輸入。但是如先前與圖二和圖四相關的描述，QIV可以自動地抽取出來(圖二)或自動抽取與人工輸入聯合提供(圖四)。在抽取QIV時候，一些像先要抽取移動矢量等的額外步驟是必須的，因為在NTSC標準中並未像MPEG標準一樣的產生移動矢量。
在圖五所描述的實施例中，源頭5100提供音頻/視頻信號5120，而且索引器5202提供QIV給一個可變速度的錄象機5400去錄在如磁帶一樣的媒體上。QIV是經由操作人員以手動輸入的，而且可以錄在例如磁帶上的控制磁軌域或時間碼區域。錄象機5400重播錄象帶而且輸出錄下的音頻/視頻信號5120到放映單元5700去觀賞。錄象機5400同時會輸出錄下的QIV到速度控制器5500，它會輸出一速度選擇信號520回到錄象機5400。
速度選擇信號520會改變錄象機的速度使之以快速但視覺上可辨認的速度去快速向前(或快速向後)搜尋畫面。那也就是說，具有較高QIV的相當動態的錄象畫面會是以較慢的快速掃描速度來播放，而具有較低QIV的相當靜態的錄象畫面則以較快的快速掃描速度來播放。對於重播那些具有預錄索引的錄象帶。源頭5100及索引器5202並沒有用，因為它們是在錄象帶錄象的時候才有用，而不是在重播有預錄索引的錄象帶時用。
圖六又是本發明的另一實施例，其中QIV是在重播或快速搜尋時產生的。QIV是在錄象帶播放或快速掃描及在顯示單元5700上放映時由錄象機6400內部的QIV產生器6300所產生的。這內部產生的QIV會經由QIV處理器6350處理並輸出一個信號到速度控制器5500。速度控制器5500會輸出一個速度選擇信號5520回到錄象機6400，去改變如先前所討論的快速掃描速度。
因為這快速掃描搜尋的速度後隨QIV而改變，所以這快速掃描搜尋會很有效率，而且可以在視覺可辨議的速度下觀看。快速掃描搜尋的速度在相當靜態的畫面時會加快而在相當動態的畫面時會減慢。所以，快速掃描搜尋得以在變動的速度下有效率的進行。
因此，手動調整或使用固定的快速掃描搜尋速度已經不再需要了，因為它們對相當靜態的畫面來說太慢了，但對相當動態的畫面來說卻快得無法辨認。
再者，本發明的裝置可以自動產生QIV，或者讓使用者輸入任意的QIV，或者可以是自動與手動產生的QIV的結合。此外，以減慢快速搜尋速度為例，本發明的裝置可讓使用者等候到重要的(高QIV的)另外，本發明的裝置也可用於預先錄好的錄象帶上，因為QIV亦可於重播或快速搜尋時產生。本發明可以將快速搜尋時間減到最小，而且利用自動調整快速搜尋速度來達到有效率的觀看快速度掃描。
最後，以上所述的本發明實施例都僅是用來說明而已對那些在本技術領域中的熟練的技術人員而言，在不背離下面的權利要求的精神與範疇之下，也可以設計出許多其他的不同的替代方法。例如，在本發明的其他實施例中，可以用一個與MPEG或NTSC不同的標準，或用一個錄象帶以外的儲存媒體。
權利要求
1.一個可以在儲存媒體上以可變速度搜尋錄象畫面的裝置，包括一可變速度的錄象重播裝置，它會記錄下所述的錄象畫面及一個信息值信號，且重播該錄象畫面；一個速度控制器，它在快速掃描搜尋時，依據所述的信息值信號來調整所述的錄象重播裝置的速度，使得具有高信息值的該錄象畫面會以較慢的快速掃描速度來重播，而具有低信息值的所述錄象畫面會以較快的快速掃描速度來重播。
2.根據權利要求1所述的裝置，其中，該信息值信號是在錄象時產生的。
3.根據權利要求1所述的裝置，其中該信息值信號會在時序上連續的畫面間相關性高時會呈現低的數值，而在相關性低時呈現高數值，而此處的相關性取決於所述連續視頻畫面之間的時序上的重複程度。
4.根據要利要求3所述的裝置，其中，該時序上連續的畫面間的相關性至少須取決於代表所述連續畫面間改變率的移動矢量，或一個非零估計誤差，或一個該連續畫面的數據大小等三者其中之一。
5.根據權利要求1所述的裝置，其中，該信息值信號是由操作員提供。
6.根據權利要求1所述的裝置，其中，該信息值信號是由節目信息抽取器所產生的。
7.一個可以在儲存媒體上，以可變速度搜尋錄象畫面的裝置，包括一個可變速度的錄象重播裝置，它可在重播所述的錄象畫面時產生一個信息值信號；一個速度控制器，它在快速掃描搜尋時，依據所述的信息值信號來調整所述的錄象重播裝置的速度，使得具有高信息值的該錄象畫面會以較慢的快速掃描速度來重播(放)，而且有低信息值的該錄象畫面，會以較快的快速掃描速度來重新播放。
8.一個為了達到可變速度搜尋而使錄象畫面在儲存媒體上隊列處理的方法，包括的步驟為產生一個信息值信號給視頻信號中的每一個畫面，該信息值信號是與所述的視頻信號一起錄在所述的儲存媒體之上；及利用該信息值信號來調整在快速掃描搜尋時所述儲存媒體的搜尋速度，使得具有高信息值的視頻畫面會以較慢的快速掃描速度來重播，而且有低信息值的視頻畫面會以較快的快速掃描速度來重播。
9.根據權利要求8所述的方法，其中，該信息值信號是參考所述的視頻信號中時序上連續的畫面之間的相關程度產生的。
10.根據權利要求8所述的方法，其中，該相關性是通過使用最少是由代表所述連續畫面間改變程度的移動矢量，或一個非零估計誤差，或一個該連續畫面的數據大小等三者其中一被執行的。
11.根據權利要求8所述的方法，其中，該信息值信號是由操作員產生的。
12.一個為了達到可變速度搜尋，而使錄象畫面在儲存媒體上隊列處理的方法，包括的步驟為在重播該錄象畫面時，對該錄象畫面中的每一個畫面產生一個信息值信號；及利用該信息值信號，來調整在快速掃描搜尋時所述儲存媒體的搜尋速度，使得具有高信息值的所述錄象畫面會以較慢的快速掃描速度來重播，而具有低信息的所述錄象畫面會以較快的快速掃描速度來重播。
全文摘要
本發明公開了一個儲存媒體上，以可變速度搜尋錄象畫面的裝置與方法。這個裝置包括了一個可以錄下畫面和信息值信號以及重新播放錄象畫面的錄象重播裝置，一個根據信息值信號在快速掃描搜尋(即快速向前或快速向後搜尋)時調整錄象重播裝置的速度的速度控制器，快速掃描搜索的速度的調整，要使得具有高信息值的錄象畫面，會以較慢的快速掃描速度來重播，而具有低信息值的前述錄象畫面，會以較快的快速掃描速度來重播。
文檔編號G11B27/10GK1151080SQ9511753
公開日1997年6月4日 申請日期1995年11月20日 優先權日1994年11月22日
發明者吳宗曉, 陳天任, 蔡榮宗 申請人:財團法人工業技術研究院