圖象信號高效率編碼裝置的製作方法
2023-05-20 11:45:11 2
專利名稱：圖象信號高效率編碼裝置的製作方法
技術領域：
本發明涉及對圖象信號上下被遮蔽的信箱型圖象信號進行高效率編碼的圖象信號高效率編碼裝置。
在現有技術中，已經採用了隨影象的種類、方式而不同的寬高比(畫面的橫向和縱向的長度之比)。在電影影象中，寬高比為1.85比1的深景電影和寬高比為2.35比1的寬銀幕電影等已經是公知的。作為電視圖象，在EDTV、HDTV制式中所採用的寬高比為16比9(1.78比1)和在現有的NTSC制式中所採用的寬高比為4比3(1.33比1)已經公知了。
圖17是信箱型圖象的示意圖。例如，在不改變其寬高比(2.35比1)而以畫面的寬高比為4比3(1.33比1)的NTSC制式的電視尺寸來輸出寬銀幕電影(寬高比為2.35比1)的電影影象時，如圖17所示的那樣，就成為由上下被遮蔽的無圖象部分和圖象部分所構成的信箱型影象。NTSC制式的水平掃描線數(線數)在有效畫面上為480條/幀(240條/場)。
圖18是對信箱型的圖象信號進行高效率編碼的現有的圖象信號高效率編碼裝置的方框圖。現有的圖象信號高效率編碼裝置101由A/D轉換器102、Y/C分離器103、編碼器104構成。作為模擬輸入信號的信箱型的模擬圖象信號被輸入到A/D轉換器102，而變換為數字圖象信號。由A/D轉換器102所變換的數字圖象信號或作為數字輸入信號的數字圖象信號被輸入Y/C分離器103。Y/C分離器103對數字圖象信號進行亮度信號/色差信號分離的數字處理，而輸出數字亮度信號Y和兩個數字色差信號Cr、Cb。
數字亮度信號Y和各數字色差信號Cr、Cb被提供給編碼器104。編碼器104對數字亮度信號Y、各數字色差信號Cr、Cb進行高效率編碼處理，而生成被進行了高效率編碼的圖象編碼信號104a並輸出。
圖19是表示圖18所示的編碼器的一個具體例子的方框結構圖。圖19表示進行MPEG編碼的編碼器104。對於MPEG，由於在ISO-IEC1172-2、ITU-TH.262/ISO-IEC13818-2中進行了詳細的說明，在此則僅進行簡要的說明。圖19所示的MPEG編碼用的編碼器104由第一內部幀存儲器111、動作檢測部112、動作補償部113、減法器114、離散餘弦變換器(DCT)115、量化器116、可變長度編碼器117、逆量化器118、逆離散餘弦變換器(逆DCT)119和第二內部幀存儲器120所構成。
由數字亮度信號(以下稱為亮度信號)Y、兩個數字色差信號(以下稱為色差信號)Cr、Cb構成的數字圖象信號(以下稱為圖象信號)被輸入並存儲在第一內部幀存儲器111中。在該第一內部幀存儲器111中存儲多個幀的圖象信號。
圖20是編碼處理塊的示意圖。如圖20所示的那樣，在由第一內部幀存儲器111所存儲的圖象信號中，亮度信號Y由16×16象素單元的塊進行處理，各色差信號Cr、Cb分別在縱向(垂直方向)對16×8象素單元進行子抽樣，分別作為8×8象素的塊來進行處理。
圖19所示的動作檢測部112在每個塊化的圖象中檢測由幀間(或場間)預測所產生的動作矢量，而輸出檢測出的動作矢量112a。動作矢量112a被提供給動作補償部113。由逆量化器118和逆離散餘弦變換器119構成用於對編碼的圖象進行解碼的局部解碼電路，已進行了局部解碼的局部解碼圖象信號119a被存儲在第二內部幀存儲器120中。動作補償部113把動作矢量112a和從第二內部幀存儲器120所讀出的局部解碼圖象120a作為輸入，而生成並輸出根據動作矢量對局部解碼圖象進行動作補償的動作補償圖象信號113a，同時，輸出動作矢量113b和預測方式113c。動作補償圖象信號113a被提供給減法器114。動作矢量113b和預測方式113c被提供給可變長度編碼器117。
減法器114從由第一內部幀存儲器111所讀出的編碼對象圖象塊的圖象信號111a減去動作補償圖象信號113a，而輸出差分圖象信號114a。差分圖象信號114a被提供給離散餘弦變換器115。離散餘弦變換器115對差分圖象信號114a進行離散餘弦變換而運算出DCT係數115a並輸出。DCT係數115a被提供給量化器116。量化器116對DCT係數115a進行量化而輸出量化信號(量化編號)116a。量化信號(量化編號)116a被分別輸入給可變長度編碼器117和逆量化器118。
可變長度編碼器117分別對量化信號(量化編號)116a、動作矢量113b和預測方式113c進行可變長編碼，進而，生成根據預定數據格式來復用進行了可變長編碼的量化信號、動作矢量、預測方式的輸出圖象編碼信號104a。
按MPEG方式，進行幀內編碼的I圖片(intra-coded picture)和進行幀間編碼的P圖片(predictive coded picture)作為動作補償預測的參照信號來使用。為此，需要I圖片和P圖片的重放圖象，由逆量化器118和逆離散餘弦變換器119來進行局部解碼。逆量化器118對量化信號(量化編號)116a進行逆量化而輸出DCT係數118a。逆離散餘弦變換器119根據DCT係數118a來進行逆離散餘弦變換而生成局部解碼圖象信號119a並輸出。局部解碼圖象信號119a被存儲在第二內部幀存儲器120中。
在日本專利公開公報特開平7-177476號公報中記載了這樣的圖象信號處理裝置當在上下遮蔽部對復用補強信號的信箱型形式的寬銀幕電視信號進行塊化而進行高效率編碼時，能夠降低跨在上下遮蔽部和補強信號上的塊中的補強信號的失真。
該圖象信號處理裝置具有把與上下遮蔽部的補強信號相鄰的主要部分的圖象信號的預定數的線置換為補強信號的電平的置換裝置，通過使與補強信號相鄰的主要部分的圖象信號成為補強信號的電平，在橫跨主要部分的圖象信號和上下遮蔽部的補強信號上的邊境塊中，在塊內的信號的相關變大，來降低由高效率編碼所產生的補強信號的失真。
該圖象信號處理裝置具有對上下遮蔽部的補強信號的線的順序進行排列變更的排列變更裝置，通過對補強信號的線的順序進行排列變更，當在邊境塊中在補強信號中發生高效率編碼所引起的失真的情況下，由補強信號的失真的影象所引起的妨害成為在視覺上不產生問題的位置。
該圖象信號處理裝置具有在檢測塊內的垂直方向的電平差的電平差檢測裝置，同時，具有控制量化裝置以便按細微的量化幅度對電平差超過預定電平的塊進行量化的量化控制裝置，通過對邊境塊進行細微的量化的辦法，來降低由量化所引起的補強信號的失真。
在圖18所示的的現有圖象信號高效率編碼裝置的構成中，具有以下問題當對包括含有隨機噪聲等的無圖象部分的信箱型圖象信號按原狀進行高效率編碼時，由於無圖象部分量化中的交流成分的增加、幀間的動作補償預測的預測效率低下等，隨無圖象部分的編碼而分配較多的編碼量，其結果，使圖象的畫質劣化。作為對策，考慮這樣的措施一義地設定位置作為來把無圖象部分置換成均一的數據，但是，圖象素材等通過編輯而存在邊界線在每個場景中不同的情況，就不能單純地把無圖象部分置換為均一數據。
在信箱型的圖象信號中的無圖象部分和圖象部分的邊界線跨在塊上的情況下，在該塊的量化中，會發生量化失真，特別是，在塊內的圖象成分的交流成分中出現，而產生無圖象部分的劣化，則邊界線變得不清楚。
在日本專利公開公報特開平7-177476號公報中所記載的圖象信號處理裝置，通過使與補強信號相鄰的主要部分的圖象信號成為補強信號的電平，就能降低隨著邊境塊的編碼的失真，但是，在此情況下，存在使主要部分的圖象受到損害的危險。雖然通過對上下遮蔽部的補強信號的線的順序進行排列變更，能夠使由補強信號的失真的影象所引起的妨害成為在視覺上不產生問題的位置，但是，不能降低失真。而且，通過以細緻的量化幅度對邊境塊進行量化的辦法能夠使失真降低，但是，存在編碼效率降低的危險。
為了解決這樣的問題，本發明的目的在於提供一種圖象信號高效率編碼裝置，在對信箱型的圖象信號進行高效率編碼時，能夠謀求編碼效率的提高，同時，降低包含邊界線的塊的量化失真。
為了解決上述問題，本發明提及的圖象信號高效率編碼裝置，其特徵在於，包括信箱邊界線檢測器，用以在每一幀中以線單位檢測被遮蔽的無圖象部分和未被遮蔽的圖象部分的上下的各邊界線；編碼對象圖象控制部，當無圖象部分和圖象部分的邊界線跨在圖象信號高效率編碼的圖象處理單元(塊)上時，用來對圖象數據進行處理，以便於使上下的邊界線在圖象信號高效率編碼中處於最佳位置上。
編碼對象圖象控制部，在邊界線跨在編碼處理單元(塊)上的情況下，使畫面整體移動以便於使上下的邊界線處在圖象信號高效率編碼中的最佳位置上。
編碼對象圖象控制部，把位於包含邊界線的圖象處理單元(塊)內的無圖象部分置換成相鄰的圖象部分的數據。
上述編碼對象圖象控制部，其特徵在於，在每一幀中把無圖象部分置換成特定的均一數據。
編碼對象圖象控制部，其特徵在於，具有僅對圖象部分進行高效率編碼處理的結構。
本發明所提及的圖象信號高效率編碼裝置，通過信箱邊界線檢測器來以線單位在每一幀中檢測被遮蔽的上下無圖象部分和圖象部分的各個邊界線的位置。編碼對象圖象控制部，在上下的邊界線的位置跨過編碼處理塊的情況下，使畫面整體移動，以便於使邊界線的位置在進行高效率編碼時處於最佳位置上。
編碼對象圖象控制部，對於通過使畫面整體移動而產生的上端或下端的無圖象部分的空白區域，用相鄰的無圖象部分的數據進行補充。
編碼對象圖象控制部，在上下的邊界線位置跨在編碼處理塊的情況下，把該編碼處理塊內的無圖象部分的數據置換成相鄰的圖象部分的數據。
編碼對象圖象控制部，把無圖象部分的數據置換為特定的均一數據。
編碼對象圖象控制部，通過僅把圖象部分的數據提供給編碼器的辦法，僅對圖象部分進行高效率編碼處理。
這樣，本發明所提及的圖象信號高效率編碼裝置，能夠在對圖象信號的上下被遮蔽的信箱型圖象信號進行高效率編碼的過程中，提高預測效率，同時，降低邊界線附近的量化噪聲，而能夠提高編碼效率。
本發明的這些和其他的目的、優點及特徵將通過結合附圖對本發明的實施例的描述而得到進一步說明。在這些附圖中圖1是本發明的圖象信號高效率編碼裝置的整體方框結構圖；圖2是信箱邊界線檢測器的方框結構圖；圖3是編碼對象圖象控制部(讀出/寫入地址發生器)的方框結構圖；圖4是表示把寬高比為2.35比1的寬銀幕電影的圖象信號輸出給寬高比為4比3(1.33比1)的現行的NTSC制式的電視尺寸時的信箱圖象的一個例子的示意圖；圖5是表示把信箱圖象信號寫入幀存儲器時的寫入時序的示意圖；圖6是表示邊界線的檢測時序的示意圖；圖7是表示佔空係數的檢測方法的示意圖；圖8是表示電平的檢測方法的示意圖；圖9是表示邊界線的移動例子的示意圖；圖10是表示向無圖象部分空白區補充的數據操作的示意圖；圖11是表示無圖象部分的數據的置換操作的示意圖；圖12是表示邊界線的移動操作是示意圖；圖13是表示幀存儲器的構成的示意圖；圖14是把無圖象部分置換為固定數據的操作的示意圖；圖15是表示僅抽出圖象部分的操作的示意圖；圖16是編碼器的方框結構圖；圖17是信箱型圖象的示意圖；圖18是現有的圖象信號高效率編碼裝置的方框結構圖；圖19是表示圖18所示的編碼器的一個具體例子的方框結構圖；圖20是編碼處理塊的示意圖。
下面根據附圖來對本發明的實施例進行說明。圖1是本發明所涉及的圖象信號高效率編碼裝置的整體方框圖。本發明的圖象信號高效率編碼裝置1由A/D轉換器2、Y/C分離器3、幀存儲器4、信箱邊界線檢測器5、編碼對象圖象控制部(讀出/寫入地址發生器)6和編碼器7組成。
該圖象信號高效率編碼裝置1能夠輸入模擬圖象信號和數字圖象信號的2系統的圖象信號。模擬圖象信號被輸入給A/D轉換器2，由該A/D轉換器2變換為數字圖象信號，而提供給Y/C分離器3。作為數字輸入的數字圖象信號被直接提供給Y/C分離器3。Y/C分離器3對數字圖象信號進行亮度信號/色差信號分離的數字處理，而輸出數字亮度信號(以下稱為亮度信號)Y和兩個數字色差信號(以下稱為色差信號)Cr、Cb。
被分離為亮度信號Y和色差信號Cr、Cb的數字圖象信號被提供給幀存儲器4，根據編碼對象圖象控制部(讀出/寫入地址發生器)6所提供的寫入地址而寫入到所指定的地址中。在該幀存儲器4中存儲多個幀的數字圖象信號。根據編碼對象圖象控制部(讀出/寫入地址發生器)6所提供的讀出地址而讀出存儲在幀存儲器4中的數字圖象信號。從幀存儲器4讀出的亮度信號Y和色差信號Cr/Cb被提供給信箱邊界線檢測器5和編碼器7。
信箱邊界線檢測器5根據從幀存儲器4所讀出的亮度信號Y和各色差信號Cr/Cb，以線單位來檢測信箱的邊界線(無圖象部分和圖象部分的邊界線)，而輸出邊界線檢測信號5a。邊界線檢測信號5a被提供給編碼對象圖象控制部(讀出/寫入地址發生器)6。
編碼對象圖象控制部(讀出/寫入地址發生器)6根據邊界線檢測信號5a進行信號處理，而輸出用於向編碼器7提供數字圖象信號的讀出地址和圖象位置信息6a。
編碼器7根據編碼對象圖象控制部(讀出/寫入地址發生器)6所提供的圖象位置信息6a來對根據讀出地址而從幀存儲器4所讀出的數字圖象信號進行高效率編碼，並輸出圖象編碼信號7a。
圖2是信箱邊界線檢測器的方框圖。信箱邊界線檢測器5包括佔空係數檢測部51、電平檢測部52、比較部53、佔空係數基準值發生部54、電平基準值發生部55。
從幀存儲器4所讀出的亮度信號Y和各色差信號Cr/Cb被提供給佔空係數檢測部51和電平檢測部52。佔空係數檢測部51根據亮度信號Y和各色差信號Cr/Cb來對每一線求出下述的佔空係數值(ACT)。佔空係數值(ACT)能求出水平方向和垂直方向的兩種(ACTH，ACTV)。各佔空係數值(ACTH，ACTV)被提供給比較部53。電平檢測部52根據亮度信號Y和各色差信號Cr/Cb來對每一線求出下述的電平值(DC)。電平值(DC)被提供給比較部53。
比較部53對由佔空係數檢測部51所檢測的佔空係數值(ACTH，ACTV)與由佔空係數基準值發生部54所提供的佔空係數基準值54a進行大小比較，同時還對由電平檢測部52所檢測的電平值(DC)與由佔空係數基準值發生部54所提供的電平基準值進行大小比較，由此，進行邊界線的判別。
比較部53，為了正確地進行邊界線的判別，而具有進行用於進行上述大小比較的各基準值(佔空係數值(ACTH，ACTV)和電平基準值)的修正的構成。比較部53，對於成為編碼對象的信箱圖象的無圖象部分，根據由各個檢測部51、52所檢測的佔空係數值(ACTH，ACTV)、電平值(DC)來生成用於適當地修正佔空係數基準值的佔空係數基準值修正信號53a並輸出，同時，輸出用於適當地修正電平基準值的電平基準值修正信號53b。佔空係數基準值修正信號53a被提供給佔空係數基準值發生部54。電平基準值修正信號53b被提供給電平基準值發生部55。
佔空係數基準值發生部54把預先設定的水平方向佔空係數基準值BACTH和預先設定的垂直方向佔空係數基準值BACTV提供給比較部53，同時，在由比較部53提供佔空係數基準值修正信號53a的情況下，把根據佔空係數基準值修正信號53a對預先設定的佔空係數基準值進行修正的各佔空係數基準值BACTH、BACTV提供給比較部53。
電平基準值發生部55把預先設定的電平基準值BDC提供給比較部53，同時，在由比較部53提供電平基準值修正信號53b的情況下，把根據電平基準值修正信號53b對預先設定的電平基準值進行修正的電平基準值BDC提供給比較部53。
圖3是編碼對象圖象控制部(讀出/寫入地址發生器)的方框圖。讀出/寫入地址發生器6包括邊界線修正部61、線計數器62、讀出/寫入地址發生部63。
邊界線修正部61，根據邊界線檢測信號5a和線計數器值62a，來生成向邊界線的編碼處理塊內的適當位置的移動、塊內的無圖象部分的數據的置換、無圖象部分整體的向均一數據的置換、僅對圖象部分的抽出中所需要的信息，把生成的各種信息作為邊界線修正信號61a而輸出。邊界線修正信號61a被提供給讀出/寫入地址發生部63。邊界線修正部61，在僅抽出圖象部分時，由編碼器7生成必要的圖象的位置信息，而作為圖象位置信息6a輸出。
線計數器62對信箱圖象信號的線編號進行計數，而把計數的線編號作為線計數器值62a輸出。
讀出/寫入地址發生部63根據邊界線修正信號61a和線計數器值62a生成與上述各處理相對應的讀出地址並輸出。
在進行信箱邊界線的檢測操作時，讀出/寫入地址發生部63根據邊界線檢測窗口寬度信號6b和線計數器值62a生成用於從幀存儲器4讀出邊界線檢測窗口內的圖象信號的讀出地址。由此，向信箱邊界線檢測器5提供邊界線檢測窗口內的圖象信號。
圖4是表示當把寬高比為2.35比1的寬銀幕電影的圖象信號輸出給寬高比為4比3(1.33比1)的現行的NTSC制式的電視尺寸時的信箱圖象的一個例子的示意圖。下面把圖4所示的信箱圖象作為輸入圖象信號來說明本發明所涉及的圖象信號高效率編碼裝置1的操作。
圖5是表示把信箱圖象信號寫入幀存儲器時的寫入時序的示意圖。圖5(a)表示信箱圖象信號的線編號和與幀存儲器4相對應的寫入地址，圖5(b)表示所寫入的數據的種類(無圖象部分與圖象部分的區別)。
從圖1所示的Y/C分離器3所輸出的亮度信號Y和各色差信號Cr、Cb以圖5所示的寫入時序寫入幀存儲器4。在圖1所示的編碼器7進行MPEG編碼時，亮度信號Y的處理單元，如圖20所示的那樣，為16×16象素的塊，各色差信號Cr/Cb的處理單元分別為16×8象素的塊。其中，如圖4所示的那樣，使編碼處理單元的線方向的集合作為限幅(16線)。在信箱的寬高比預先知道的情況下，如圖4所示的那樣，設置邊界線檢測窗口，僅對該邊界線檢測窗口中的線(32線)進行檢測處理，由此，就能高效率地檢測信箱的邊界線。
圖6是表示邊界線的檢測時序的示意圖。圖6(a)以與線編號相對應地表示用於從幀存儲器4讀出邊界線檢測窗口內(32線程度)的圖象信號的讀出地址。圖6(b)附加上與線編號的對應關係來表示運算各線的佔空係數值和電平差的時序。圖6(b)在上段表示進行佔空係數值的運算的線編號；在下段表示運算電平差值的線編號。圖6(c)表示來自比較部53的比較結果的輸出時序。圖6(d)根據比較結果表示邊界線檢測信號的輸出時序。
圖3所示的讀出/寫入地址發生部63，把由外部所提供的邊界線檢測窗口寬度信號6b和線計數器62輸出的線計數器值62a作為輸入，來以圖6(a)所示的時序生成用於把圖象信號從幀存儲器4讀出到信箱邊界線檢測器5中的讀出地址。由此，從幀存儲器4讀出各邊界線檢測窗口內(32線×2)的圖象信號。圖2所示的佔空係數檢測部51根據從幀存儲器4所讀出的各邊界線檢測窗口內(32線×2)的圖象信號來進行佔空係數值ACT的檢測。圖2所示的電平檢測部52根據從幀存儲器4所讀出的各邊界線檢測窗口內(32線×2)的圖象信號來進行電平值DC的檢測。
圖7是表示佔空係數的檢測方法的示意圖。首先，對線0在水平方向計算左右相鄰的象素間的電平差，計算這些絕對值和。然後，對線1進行相同的計算。接著，向水平方向計算線0和線1的上下相鄰的象素間的電平差，來計算兩線的絕對值和。這樣一來，分別求出線0和線1的水平、垂直的佔空係數。接著，對線1和線2同樣求出佔空係數。即，當設象素電平為P(x，y)時，從式1求出水平方向的佔空係數值ACTH，從式2求出垂直方向的佔空係數值ACTV。在式1和式2中，m是象素數量，n是線數。
式1ACTHn=x=0m-1|P(x,n)-P(x+1,n)|]]>式2ACTVn=x=0m-1|P(x,n)-P(x,n+1)|]]>圖8是表示電平的檢測方法的示意圖。首先，求出線0的象素電平的平均。接著，求出線1的象素電平的平均。即，設象素電平為P(x，y)時，從式3求出電平值DC。在式3中，m是象素數量，n是線數。
式3DCn=x=0m-1(P(x,n)/m)]]>圖2所示的比較部53對由佔空係數檢測部51所提供的各佔空係數值ACTH、ACTV和由佔空係數基準值發生部54所提供的佔空係數基準值BACTH、BACTV進行大小比較，同時，對由電平檢測部52所提供的電平值(DC)和由電平基準值發生部55所提供的電平基準值BDC進行大小比較，由此，判別邊界線，以圖6(d)所示的時序輸出邊界線檢測信號。
下面對邊界線的判別操作進行說明。首先，對佔空係數進行說明。在圖7中，假設在線0和線1之間存在信箱上部的邊界線的情況。在此情況下，由於線0為無圖象部分，動作較少，則線0的水平方向的佔空係數值ACTH0為較小的值。另一方面，由於線1為圖象部分，動作比無圖象部分多，則線1的水平方向的佔空係數值ACTH1為較大的值。線0的垂直方向的佔空係數值ACTV0是線0和線1的垂直方向的佔空係數即無圖象部分和圖象部分之間的佔空係數，其值較大。
下面對電平進行說明。在圖8中，假設在線0和線1之間存在信箱上部的邊界線的情況。在此情況下，由於線0為無圖象部分，線1為圖象部分，則線0的電平值DC0與線1的電平值DC1相比而接近於黑電平。
接著，成為這些大小比較的基準值的值為佔空係數值(BACTH，BACTV)和電平基準值BDC。比較部53，在式4所示的條件時，判斷為在線n和線n+1之間存在邊界線。
式4{(ACTHn＜BACTH＜ACTHn+1)|(ACTHn＞BACTH＞ACTHn+1)
(ACTVn＞BACTV)|[{(DCn-BLK)＞BDC}{(DCn+1-BLK)＜BDC}]在式4中，記號|代表邏輯和，記號代表邏輯積。BLK是黑電平。
式4所示的條件為下列這樣首先，作線n的水平方向佔空係數基準值小於水平方向佔空係數基準值，線n+1的水平方向佔空係數基準值大於水平方向佔空係數基準值的情況(ACTHn＜BACTH＜ACTHn+1)，或者，把線n的水平方向佔空係數基準值大於水平方向佔空係數基準值，線n+1的水平方向佔空係數基準值小於水平方向佔空係數基準值的情況(ACTHn＞BACTH＞ACTHn+1)，換句話說，把在相鄰的兩線中一線的水平方向佔空係數基準值大於水平方向佔空係數基準值而另一線的水平方向佔空係數基準值小於水平方向佔空係數基準值的情況為第一條件。
接著，設線n的垂直方向佔空係數值大於垂直方向佔空係數基準值(ACTVn＞BACTV)為第二條件。
接著，設線n的電平值與黑電平之差小於電平基準值並且線n+1的電平值與黑電平之差大於電平基準值的情況{(DCn-BLK)＜BDC}{(DCn+1-BLK)＞BDC}或者把線n的電平值與黑電平之差大於電平基準值並且線n+1的電平值與黑電平之差小於電平基準值的情況{(DCn-BLK)＞BDC}{(DCn+1-BLK)＜BDC}，換句話說，把相鄰的兩線中一線的電平值與黑電平之差大於電平基準值而另一線的電平值與黑電平之差小於電平基準值的情況為第三條件。
這樣，比較部53，在同時滿足上述第一、第二、第三條件時，判斷在n線和n+1線之間存在邊界線。
比較部53，對於佔空係數基準值、電平基準值輸出各自的基準值修正信號53a、53b，以便於為了邊界線的正確的檢測來進行適當的基準值的修正。例如，從正在進行編碼的信箱圖象的無圖象部分的佔空係數和電平來生成各基準值修正信號53a、53b。佔空係數基準值發生部54和電平基準值發生部55根據各自的基準值修正信號53a、53b來進行各基準值BACTH、BACTV、BDC的修正，而輸出經修正的各基準值BACTH、BACTV、BDC。
比較部53，在檢測到信箱的上部的邊界線的時刻，如圖6(d)所示的那樣，設在此之前為H電平的邊界線檢測信號的邏輯電平成為L電平，同時，在檢測到信箱的下部的邊界線的時刻，設邏輯電平返回H電平。
下面對邊界線的修正操作進行說明。圖3所示的邊界線修正部61把邊界線檢測信號5a和線計數器值62a作為輸入，而生成在向邊界線的編碼處理塊內的適當位置的移動、塊內的無圖象部分的數據的置換、向無圖象部分全體的均一數據的置換和僅對圖象部分的抽出中需要的信息，來作為邊界線修正信號61a輸出。在僅對圖象部分的抽出時，由編碼器7生成必要的圖象的位置信息，並作為圖象位置信息6a輸出。讀出/寫入地址發生部63根據邊界線修正信號61a和線計數器值62a來生成與上述各處理相對應的讀出地址。
首先，對把邊界線向編碼處理塊內的適當位置移動的處理進行說明。圖3所示的邊界線修正部61根據邊界線檢測信號5a和線計數器值62a對限幅進行計數，判斷在塊內(限幅內)的哪個位置上有上下的邊界線。
圖9是表示邊界線的移動例子的示意圖。邊界線修正部61根據邊界線的位置，按圖9所示的那樣來移動畫面，以便於使邊界線來到上下的某個編碼處理塊的境內。上下的編碼處理塊的選擇按這樣方式進行在編碼處理塊內使無圖象部分變少。
圖10是表示相無圖象部分空白區的數據補充操作的示意圖。圖10(a)表示對應於上端無圖象部分的空白區的數據的補充操作，圖10(b)表示對應於下端無圖象部分的空白區的數據的補充操作。如圖10(a)、圖10(b)所示的那樣，通過移動圖象的辦法，給發生的上端或下端的空白區補充以相鄰的無圖象部分的數據。
圖3所示的邊界線修正部61把用於使邊界線處於適當位置而移動的線數和移動方向(上下)作為邊界線修正信號61a而輸出。讀出/寫入地址發生部63根據邊界線修正信號61a和線計數器值62a來生成輸出與幀存儲器4相對應的讀出地址，以便於把移動了圖象整體的圖象信號提供給編碼器7。
圖11是表示無圖象部分的數據的置換操作的示意圖。圖11(a)表示編碼處理塊跨在上部邊界線時的無圖象部分的數據置換操作，圖11(b)表示編碼處理塊跨在下部邊界線時的無圖象部分的數據置換操作。
圖3所示的邊界線修正部61根據邊界線檢測信號5a和線計數器值62a來對限幅進行計數，判斷在塊(限幅)內的哪個位置上有上或下的邊界線。接著，按圖11所示的那樣，把塊內的上下無圖象部分的數據置換為相鄰的圖象部分的數據。邊界線修正部61把被置換的無圖象部分的線編號和表示上下某一塊的信息作為邊界線修正信號61a來提供給讀出/寫入地址發生部63。
讀出/寫入地址發生部63根據邊界線修正信號61a和線計數器值62a生成與幀存儲器4相對應的讀出地址並輸出，以便於把上下無圖象部分的數據置換為相鄰的圖象部分的數據。由此，給編碼器7提供把上下無圖象部分的數據已置換為相鄰的圖象部分數據的圖象數據。
圖12是表示邊界線的移動操作的示意圖。圖12(a)表示圖4所示的信箱圖象的線編號，圖12(b)表示限幅編號，圖12(c)表示在限幅內的線編號，圖12(d)表示邊界線檢測信號，圖12(e)表示用於讀出來自幀存儲器4的圖象數據的讀出地址，圖12(f)表示從幀存儲器4所讀出的圖象數據。圖12把圖4所示的信箱圖象作為輸入圖象信號來表示當進行邊界線的移動和塊內的無圖象部分的置換兩者時的讀出地址和從幀存儲器4所讀出的圖象數據的關係。
圖12表示為了使邊界線處於適當位置而對畫面整體移動7線，從而由7線生成讀出地址的例子。跨在邊界線上的塊內的無圖象部分(103線)被相鄰的圖象部分(104線)的數據所置換。下端的無圖象部分的空白區用相鄰的無圖象部分(472～479線)的數據進行補充。讀出/寫入地址發生部63生成與幀存儲器4相對應的讀出地址，以便於把完成上述數據置換、數據的補充的圖象信號提供給編碼器7。由此，邊界線被修正到適當位置上，同時，把完成數據置換、數據的補充的圖象信號提供給編碼器7。
下面對把無圖象部分全體置換為均一的固定數據的處理進行說明。圖3所示的邊界線修正部61根據邊界線檢測信號5a和線計數器值62a來判別上下的邊界線的線數，把判別的各邊界線的線數作為邊界線修正信號61a來輸出。讀出/寫入地址發生部63根據該邊界線修正信號61a和線計數器值62a來生成用於把無圖象部分置換為均一的固定數據的讀出地址並輸出。
圖13是表示幀存儲器的構成的示意圖。在幀存儲器4內，除了存儲作為編碼對象的圖象信號的區域之外，還設有另一個區域，在該另一個區域中存儲均一的的固定數據。在圖13中，表示由存儲作為編碼對象的圖象的亮度信號的亮度信號區、存儲預先設定的固定亮度信號的固定亮度信號區、分別存儲作為編碼對象的圖象的各色差信號Cr、Cb的各色信號區、分別存儲預先設定的各固定色差信號Cb、Cr的固定色信號區和多個空白區所組成的幀存儲器4的存儲器構成例子。
接著，在把無圖象部分的圖象信號提供給編碼器7時，讀出/寫入地址發生部63，在提供亮度信號時輸出指定固定亮度信號區的讀出地址，在提供各色差信號時輸出指定各固定色差信號區的讀出地址。由此，在把無圖象部分的圖象信號提供給編碼器7時，讀出存儲在固定亮度信號區中的固定亮度信號和存儲在各固定色差信號區中的固定色差信號。
圖14是把無圖象部分置換為固定數據的操作的示意圖。圖14(a)表示線編號，圖14(b)表示限幅編號，圖14(c)表示限幅內線編號，圖14(d)表示邊界線檢測信號，圖14(e)表示讀出地址，圖14(f)表示讀出數據。在圖14中，表示邊界線的移動、塊內的無圖象部分的置換和把無圖象部分全體置換為均一的固定數據時的操作。其中，在幀存儲器4內，把固定亮度信號和各固定色差信號分別存儲到相當於線編號480的區域中，通過指定與線編號480相對應的讀出地址，來讀出固定亮度信號和各固定色差信號。這樣，如圖14(e)所示的那樣，通過指定與線編號480相對應的讀出地址，就能如圖14(f)所示的那樣，把無圖象部分置換為固定數據。
下面對僅抽出圖象部分進行說明。圖3所示的邊界線修正部61根據邊界線檢測信號5a和線計數器值62a來判別上下的邊界線的線數，把該線數作為邊界線修正信號61a輸出。接著，邊界線修正部61，在進行把邊界線向編碼處理塊內的適當位置移動處理時，從該移動線數來生成在編碼中所需要的圖象位置信息6a並輸出。
例如，在使用MPEG2方式的編碼的情況下，通過在ISO/IEC13818-2中所規定的vertical_size_value，display_vertecal_size，frame_center_vertecal_offset中記述圖象的位置信號的辦法，就能僅對圖象部分進行編碼。在解碼中，僅對圖象部分進行解碼，在進行向編碼處理塊內的適當位置的移動時，就能使其位置返回原來位置來重放每一場。
這也可適用於上述的向編碼處理塊內的適當位置的移動。例如，不把其他的圖象數據補充到由於進行移動所產生的上端或下端的無圖象部分的空白區中，僅把除去了空白區的部分作為編碼對象來進行相同的處理。
圖3所示的讀出/寫入地址發生部63根據邊界線修正信號61a和線計數器值62a來生成輸出讀出地址，以便於從幀存儲器4僅讀出圖象部分的圖象信號。因而，從幀存儲器4僅讀出圖象部分的圖象信號，僅圖象部分的圖象信號被提供給編碼器7。
圖15是表示僅抽出圖象部分的操作的示意圖。圖15(a)表示線編號，圖15(b)表示限幅編號，圖15(c)表示限幅內線編號，圖15(d)表示邊界線檢測信號，圖15(e)表示讀出地址，圖15(f)表示讀出數據。圖15表示把圖4所示的信箱圖象作為輸入圖象信號，當進行邊界線的移動、塊內的無圖象部分的置換和僅進行圖象部分的抽出三種處理時的讀出地址與從幀存儲器4所讀出的圖象數據的關係。如圖15(e)所示的那樣，生成讀出地址以便於僅對圖象部分的數據所存儲的區域進行存取。
圖16是編碼器的方框圖。編碼器7例如使用進行MPEG方式的編碼的編碼器。對於MPEG，由於在ISO-IEC1172-2，ITU-TH262/ISO-IEC13818-2中已進行詳細的說明，則在此僅說明其概況。
編碼器7由第一內部幀存儲器71、動作檢測部72、動作補償部73、減法器74、離散餘弦變換器(DCT)75、量化器76、可變長度編碼器77、逆量化器78、逆離散餘弦變換器(逆DCT)79和第二內部幀存儲器80所構成。給可變長度編碼器77提供圖象位置信息6a，可變長度編碼器77進行包含圖象位置信息6a的可變長編碼，其他結構基本上與圖19所示的現有的編碼器104相同。
根據由圖1和圖3所示的編碼對象圖象控制部(讀出/寫入地址發生器)6所生成的讀出地址，從圖1所示的幀存儲器4所讀出的編碼對象的圖象信號(亮度信號Y和各色差信號Cr、Cb)被輸入在圖16所示的第一內部幀存儲器71中並存儲。在該第一內部幀存儲器71中存儲多個幀的圖象信號。
存儲在第一內部幀存儲器71中的圖象信號(亮度信號Y和各色差信號Cr、Cb)，如圖20所示的那樣，亮度信號Y由16×16象素單元的塊進行處理，各色差信號Cr、Cb分別在縱向(垂直方向)對16×8象素單元進行子抽樣，分別作為8×8象素的塊來進行處理。
動作檢測部72在每個塊化的圖象中檢測由幀間(或半幀間)預測所產生的動作矢量，而輸出檢測出的動作矢量72a。動作矢量72a被提供給動作補償部73。由逆量化器78和逆離散餘弦變換器79構成用於對編碼的圖象進行解碼的局部解碼電路，局部解碼後的局部解碼圖象信號79a被存儲在第二內部幀存儲器80中。動作補償部73，把動作矢量72a和從第二內部幀存儲器80所讀出的局部解碼圖象80a作為輸入，而生成根據動作矢量對局部解碼圖象進行動作補償的動作補償圖象信號73a並輸出，同時，輸出動作矢量73b和預測方式73c。動作補償圖象信號73a被提供給減法器74。動作矢量73b和預測方式73c被提供給可變長度編碼器77。
減法器74從由第一內部幀存儲器71所讀出的編碼對象圖象塊的圖象信號71a減去動作補償圖象信號73a，而輸出差分圖象信號74a。差分圖象信號74a被提供給離散餘弦變換器75。離散餘弦變換器75對差分圖象信號74a進行離散餘弦變換而運算出DCT係數75a。DCT係數75a被提供給量化器76。量化器76對DCT係數75a進行量化而輸出量化信號(量化編號)76a。量化信號(量化編號)76a被分別提供給可變長度編碼器77和逆量化器78。
可變長度編碼器77分別對量化信號(量化編號)76a、動作矢量73b、預測方式73c和如圖1，圖3所示的編碼對象圖象控制部(讀出/寫入地址發生器)6所提供的圖象位置信息6a分別進行可變長編碼，進而，生成圖象編碼信號7a並輸出，該圖象編碼信號7a是根據預定數據格式來復用進行了可變長編碼的量化信號、動作矢量、預測方式。
在MPEG方式下，由於進行幀內編碼的I圖片(intra-codedpicture)和進行幀間編碼的P圖片(predictive coded picture)需要作為動作補償預測的參照信號來使用的重放圖象，則由逆量化器78和逆離散餘弦變換器79來進行局部解碼。逆量化器78對量化信號(量化編號)76a進行逆量化而輸出DCT係數78a。逆離散餘弦變換器79根據DCT係數78a來進行逆離散餘弦變換而生成局部解碼圖象信號79a並輸出。局部解碼圖象信號80a被存儲在第二內部幀存儲器120中。
如上述那樣，本發明所提及的圖象信號高效率編碼裝置包括信箱邊界線檢測器，用以檢測信箱圖象的無圖象部分和圖象部分的各邊界線；編碼對象圖象控制部，用來當邊界線跨在圖象信號高效率編碼的圖象處理單元(塊)上時，對圖象數據進行處理，以便於使上下的邊界線處在圖象信號高效率編碼中的最佳位置上，由此，就能在對圖象信號的上下被遮蔽的信箱型的圖象信號進行高效率編碼時，提高預測效率，同時，降低邊界線附近量化噪聲，能夠提高編碼效率。
附圖中的標號說明在圖1中1本發明所涉及的圖象信號高效率編碼裝置2A/D轉換器3Y/C分離器Y亮度信號Y、Cr/Cb色差信號4幀存儲器Y亮度信號Y、Cr/Cb色差信號5信箱邊界線檢測器5a邊界線檢測信號6讀出/寫入地址發生器6a圖象位置信息6b邊界線檢測窗口寬度信號7編碼器7a圖象編碼信號在圖2中5信箱邊界線檢測器亮度信號Y和各色差信號Cr/Cb51佔空係數檢測部佔空係數值(ACT)52電平檢測部電平值(DC)53比較部5a邊界線檢測信號53a佔空係數基準值修正信號54佔空係數基準值發生部54a水平和垂直方向佔空係數基準值BACTH，BACTV53b電平基準值修正信號55電平基準值發生部BDC電平基準值在圖3中6編碼對象圖象控制部(讀出/寫入地址發生器)62線計數器62a線計數器值5a邊界線檢測信號61邊界線修正部6a圖象位置信息61a邊界線修正信號63讀出/寫入地址發生部6b邊界線檢測窗口寬度信號在圖16中7編碼器亮度信號Y、各色差信號Cr/Cb71第一內部幀存儲器72動作檢測部73動作補償部74減法器75離散餘弦變換器76量化器77可變長度編碼器6a圖象位置信息7a圖象編碼信號78逆量化器79逆離散餘弦變換器80第二內部幀存儲器73b，73c動作矢量預測方式在圖18中101圖象信號高效率編碼裝置102A/D轉換器103Y/C分離器亮度信號Y和各色差信號Cr/Cb104編碼器104a圖象編碼信號在圖19中104編碼器亮度信號Y、各色差信號Cr/Cb111第一內部幀存儲器112動作檢測部113動作補償部114減法器115離散餘弦變換器116量化器117可變長度編碼器104a圖象編碼信號118逆量化器119逆離散餘弦變換器120第二內部幀存儲器
權利要求
1.一種圖象信號高效率編碼裝置，對圖象信號的上下被遮蔽的信箱型的圖象信號進行高效率編碼，其特徵在於，包括信箱邊界線檢測器，用以在每一幀中以線單位檢測被遮蔽的無圖象部分和未被遮蔽的圖象部分的上下的各邊界線；編碼對象圖象控制部，當上述各邊界線跨在圖象信號高效率編碼的圖象處理單元(塊)上時，用來對圖象數據進行處理，以便於使上述各邊界線在圖象信號高效率編碼中處於最佳位置上。
2.根據權利要求1所述的圖象信號高效率編碼裝置，其特徵在於，上述編碼對象圖象控制部，在由上述信箱邊界線檢測器所檢測的上述各邊界線跨在編碼處理單元(塊)的情況下，使畫面整體移動以便於使上述各邊界線處在圖象信號高效率編碼中的最佳位置上。
3.根據權利要求1所述的圖象信號高效率編碼裝置，其特徵在於，上述編碼對象圖象控制部，把位於包含由上述信箱邊界線檢測器所檢測的上述各邊界線的圖象處理單元(塊)內的無圖象部分置換成相鄰的圖象部分的數據。
4.根據權利要求1所述的圖象信號高效率編碼裝置，其特徵在於，上述編碼對象圖象控制部，根據由上述信箱邊界線檢測器所檢測的上述邊界線來認識上述無圖象部分，同時，在每個幀中把無圖象部分置換成特定的均一數據。
5.根據權利要求1所述的圖象信號高效率編碼裝置，其特徵在於，上述編碼對象圖象控制部，根據由上述信箱邊界線檢測器所檢測的上述邊界線來認識上述無圖象部分，同時，僅對圖象部分進行高效率編碼處理。
全文摘要
本發明提供一種圖像信號高效率編碼裝置,其目的在於提高編碼效率,降低量化失真。本發明的圖象信號高效率編碼裝置包括:信箱邊界線檢測器,在每個幀中以線單位檢測被遮蔽的無圖象部分和未被遮蔽的圖象部分的上下的各邊界線;編碼對象圖象控制部,當無圖象部分和圖象部分的邊界線跨在圖象信號高效率編碼的圖象處理單元(塊)上時,對圖象數據進行處理,以便於使上下的邊界線在圖象信號高效率編碼中處於最佳位置上。
文檔編號H04N7/26GK1201330SQ98102309
公開日1998年12月9日 申請日期1998年5月29日 優先權日1997年6月2日
發明者中川裕史, 上田基睛, 菅原隆幸 申請人:日本勝利株式會社