編碼設備及其控制方法
2023-09-15 02:07:45 1
專利名稱：編碼設備及其控制方法
技術領域：
本發明涉及一種編碼設備，尤其涉及一種用於多路復用多個編碼流的編碼設備、 編碼方法和程序。
背景技術：
近年來，開始對通過使用盤介質、硬碟或存儲器作為存儲介質來進行高清晰度記錄的攝像機進行產品化。由於這類攝像機如此小以至於便於攜帯、並可以記錄高圖像質量的圖像，所以認為這類攝像機在將來會越來越普及。在這類設備中，為了進行高清晰度記錄，將圖像存儲在記錄介質中，作為利用例如MPEG4part-10 :AVC(IS0/IEC 14496-10 ；另一名稱為H. 264)壓縮編碼的視頻流。根據這ー壓縮編碼方法，使用利用圖像之間的相關性的幀間預測(間預測)和利用幀內的相關性的幀內預測(內預測)，並且還使用算術編碼，從而實現高效率的壓縮編碼。被配置成輸入左圖像信號和右圖像信號以形成3D圖像的攝像機也已投入實際應
ο日本特開平9-65372公開了ー種用於編碼和記錄各個右圖像和左圖像的設備。該公報提出了這樣ー種設備，該設備根據右圖像和左圖像之間的相關性，以圖片為單位自適應地設置在編碼各圖像時要分配的代碼量，從而使得右圖像和左圖像的編碼的劣化度一致。在如上述相關技術那樣編碼右圖像和左圖像的情況下，重要的問題是使得右圖像和左圖像的圖像質量一致。儘可能地抑制右圖像和左圖像的編碼的劣化、並保持高圖像質量同樣也很重要。因此，為了在有限的比特率內更有效地編碼，除傳統的幀間預測和算術編碼以外，還進行使得可以根據右圖像和左圖像中的一個圖像預測另一個圖像的視差預測， 作為3D圖像特有的技木。當開始右圖像和左圖像的記錄吋，如果僅設置比特率和緩衝大小、並進行編碼，則視差預測的編碼效率根據輸入圖像的特徵而變化，因而右圖像和左圖像的編碼的劣化度不同。在相關技術的編碼設備中，在這種情況下，通過使右圖像和左圖像的編碼的劣化度與較大的劣化度相一致來降低作為3D圖像的不自然性。然而，相關技術的編碼設備具有這樣的問題沒有有效使用所設置的比特率，因而圖像質量劣化。考慮到上述問題，本發明的ー個方面提供一種編碼設備，在該編碼設備中，在開始記錄時適當分配與右圖像和左圖像的編碼有關的比特率和緩衝大小，從而防止圖像質量劣化、並使得能夠有效進行編碼。
發明內容
根據本發明的ー個方面，本發明的編碼設備輸入第一圖像和來自不同於所述第一圖像的輸入源的輸入源的第二圖像，並且編碼這些圖像，所述編碼設備被配置成基於拍攝模式信息或者編碼單元的編碼的失真率，自適應地確定第一比特率和第二比特率，其中，將所述第一比特率和所述第二比特率分別分配給第一編碼單元和第二編碼單元，所述第一編碼單元用於編碼所輸入的第一圖像，所述第二編碼單元用於基於所述第一圖像編碼所輸入的第二圖像。通過以下參考附圖對典型實施例的說明，本發明的其它特徵將顯而易見。
圖1是根據本發明第一實施例的編碼設備的結構圖。圖2是示出與拍攝模式有關的圖像、幀間差分和視差差分之間的關係的圖。圖3是在圖1的編碼設備中所執行的比特率設置處理的流程圖。圖4是示出根據第一實施例所設置的比特率和拍攝模式之間的關係的圖。圖5是根據本發明第二實施例的編碼設備的結構圖。圖6是在圖5的編碼設備中所執行的比特率設置處理的流程圖。圖7是示出通過圖6的比特率設置處理所設置的比特率的設置值的例子的圖。圖8是本發明第三實施例的比特率設置處理的流程圖。圖9是示出通過圖8的比特率設置處理所設置的比特率的例子的圖。
具體實施例方式下面將參考附圖詳細說明本發明的典型實施例。本發明的編碼設備是這樣ー種圖像編碼設備，可以使用該圖像編碼設備來編碼例如攝像機等所拍攝的3D圖像，並且可以通過用於控制整個照相機的控制單元來對該圖像編碼設備進行控制。在這種情況下，可以作為在照相機的控制單元的控制下工作的硬體、軟體或者它們的組合來實現本發明的編碼設備。本發明不局限於攝像機，自然地，本發明可應用於任何設備，只要該設備具有與圖1中的圖像輸入単元101和103相對應的3D圖像的拍攝功能即可。第一實施例圖1是根據本實施例的編碼設備的結構圖。本實施例的編碼設備具有這樣的結構，在該結構中，輸入右圖像信號和左圖像信號，並且通過多個不同的編碼單元分別編碼這些信號，從而形成ー個多路復用流。下面將參考圖1說明本實施例的編碼設備的結構和操作。編碼處理圖像輸入単元101輸入來自用於左眼的攝像元件(未示出)的圖像信號(第一圖像信號)，並且輸出給編碼単元102。編碼單元102(第一編碼單元)對輸入的第一圖像信號以每一宏塊作為編碼單位進行幀間運動預測和運動補償，並且執行正交變換和量化。編碼單元102對量化後的圖像信號進行熵編碼，形成編碼流(第一編碼流)，並且輸出給多路復用單元105。圖像輸入單元103輸入來自用於右眼的攝像元件(未示出)的圖像信號(第二圖像信號)，並且輸出給編碼單元104。編碼單元104(第二編碼單元)對輸入的第二圖像信號以每一宏塊作為編碼單位，通過使用對由編碼單元102形成的編碼流進行解碼所獲得的圖像信號來進行使用右圖像和左圖像之間的視差的視差預測和視差補償。隨後，編碼單元104執行正交變換和量化。此後，編碼單元104對量化後的圖像信號進行熵編碼，形成編碼流(第二編碼流)，並且輸出給多路復用單元105。多路復用單元105輸入從編碼單元102和104輸出的編碼流，通過諸如MPEG2-TS 或MOV等的已知格式對它們進行多路復用，並且將所形成的多路復用流記錄在記錄介質 108中。多路復用單元105包括隨機存取存儲器(RAM)，並且對RAM上的編碼流進行多路復用(組合處理)。拍攝模式選擇單元106選擇多個拍攝模式中的想要的拍攝模式，並且向比特率設置單元107通知示出所選擇的拍攝模式的信息。拍攝模式選擇單元還具有下面的功能基於在所選擇的拍攝模式下設想的拍攝圖像，在圖像輸入單元101和103中適當設置由攝像元件所執行的攝像操作的快門速度、光圈和曝光等。拍攝模式選擇單元106可以是與單元106分開設置的、通過拍攝模式選擇單元所選擇的拍攝模式的信息的獲取單元(拍攝模式信息獲取單元)。在這種情況下，通過例如攝像機的控制單元進行由攝像元件所執行的拍攝的條件設置，其中，本實施例的編碼設備在該攝像機中工作。在這種情況下，圖像輸入單元101和103變成各自用於輸入來自攝像元件(圖像信號的輸入源)的圖像信號的單元，並且可以用作為諸如PC等的圖像處理設備中的編碼設備，而不局限於具有攝像單元等的照相機等。包括處理器(計算機)的比特率設置單元107根據從拍攝模式選擇單元106所通知的拍攝模式，自適應地設置編碼單元102中的第一比特率並自適應地設置編碼單元104 中的第二比特率。在本發明中，假定第一比特率和第二比特率的和是恆定的(預定值)。在本實施例中，將該預定值預先設置成不會超過由多路復用單元105所形成的多路復用流的比特率的值。也就是說，在本實施例中，根據拍攝模式自適應地設置預定值內的第一比特率和第二比特率的分配比(對各編碼單元的比特率的分配)。拍攝模式圖2是示出從拍攝模式選擇單元106通知給比特率設置單元107的拍攝模式、以及在各拍攝模式下設想的拍攝場景、幀間差分的大小和視差差分的大小之間的對應關係的表。風景模式201是在拍攝例如諸如山等的遠視野處的被攝體時所使用的拍攝模式。在這一拍攝場景下，幀間差分小，並且右圖像和左圖像之間的視差差分也小。在例如諸如高爾夫或網球等的快速運動的被攝體時使用運動模式202。在這一拍攝場景下，儘管幀間差分大， 但是右圖像和左圖像之間的視差差分小。在拍攝例如近視野處的被攝體時使用微距模式 203。在這一拍攝場景下，幀間差分小，並且右圖像和左圖像之間的視差差分大。在拍攝例如光減少使得所拍攝的圖片包括噪聲的房間中的被攝體時，使用低光模式204。在這一拍攝場景下，幀間差分大，並且右圖像和左圖像之間的視差差分也大。比特率選擇處理圖3是示出比特率設置單元107的處理的流程圖。可以通過下面的方法實現該處理，其中，在照相機的控制單元的控制下，執行存儲在使用本實施例的編碼設備的例如攝像機中的程序。將參考圖3說明用於根據拍攝模式設置比特率的方法。在S301，基於從拍攝模式選擇單元所通知的拍攝模式，判斷是否設想了幀間差分小、並且視差差分小的拍攝場景 (風景模式)。如果判斷為設想了這一拍攝場景，則處理例程進入S302。如果為「否」，則處理例程分支至S303。在S302，在第一比特率和第二比特率的總值達到上述預定值的條件下，設置第一比特率和第二比特率的值的分配比，以使得第一比特率的值大於第二比特率的值。在S303， 基於所通知的拍攝模式，判斷是否設想了幀間差分大、並且視差差分小的拍攝場景(運動模式)。如果判斷為設想了這一拍攝場景，則處理例程進入S304。如果為「否」，則處理例程分支至S305。在S304，設置第一比特率和第二比特率的分配比，以使得第一比特率的值小於在 S302所設置的值。在S305，基於所通知的拍攝模式，判斷是否設想了幀間差分小、並且視差差分大的拍攝場景(微距模式)。如果判斷為設想了這一拍攝場景，則處理例程進入S306。 如果為「否」，則處理例程分支至S307。在S306，設置第一比特率和第二比特率的分配比，以使得第一比特率的值小於在 S304所設置的值。S307是下面的情況下的設置處理根據基於輸入的拍攝模式的S301、S303和S305 的判斷結果，設想了幀間差分大、並且視差差分大的拍攝場景(低光模式)。在S307，設置第一比特率和第二比特率的分配比，以使得第一比特率的值小於在S306所設置的值。圖 4是示出各拍攝模式和通過圖3的流程圖所示處理所設置的第一比特率與第二比特率的分配比的例子的表。比特率的具體分配比不局限於圖4所示的例子，並且可以在比特率設置單元等中適當預先設置，只要它們符合上述圖3所示的處理即可。在風景模式401下，向第一比特率的分配最大。在運動模式402下，向第一比特率的分配比風景模式401下的小。在微距模式403下，向第一比特率的分配比運動模式402下的小。在低光模式404下，向第一比特率的分配比微距模式403下的小。如上所述，根據本實施例，根據拍攝模式下所設想的場景來設想幀間預測和視差預測的編碼效率，並且可以適當確定第一比特率和第二比特率的分配比。因此，在記錄開始時可以適當分配與右輸入圖像和左輸入圖像的編碼有關的比特率和緩衝大小。可以進行這樣編碼減少作為3D圖像的不適感的原因的、右圖像和左圖像之間的編碼劣化的差，並且可以防止圖像質量劣化。因此，可以使得右圖像信號和左圖像信號的編碼流的編碼劣化一致，並且可以獲得具有良好圖像質量的3D圖像。當視差差分小時，由於可以將編碼單元102的比特率設置成接近上限值(上述預定值)的值，所以可以進一步提高編碼單元102和104中的編碼精度。因此，可以形成編碼流作為自然的3D圖像，並且可以提供適於用戶的3D圖像的編碼設備。實施例2圖5是第二實施例的編碼設備的結構圖。以與第一實施例相同的方式，該編碼設備也是這樣的一種設備，在該設備中，輸入左圖像信號和右圖像信號，通過多個不同編碼單元對它們進行編碼，並且在此後，形成一個多路復用流。以相同附圖標記表示與第一實施例的編碼設備相同的組件。在第一實施例中，根據所選擇的拍攝模式調整用於左眼的編碼單元和用於右眼的編碼單元各自的比特率的分配。然而，在第二實施例中，基於各編碼單元的編碼失真率調整比特率的分配。編碼處理圖像輸入單元101和103與第一實施例中的相同。多路復用單元105也與第一實施例中的相同，形成諸如MPEG2-TS或MOV等的眾所周知的格式的多路復用流，並且將其記錄在記錄介質108上。以與第一實施例中的編碼單元102相同的方式，編碼單元502對由圖像輸入單元101輸入的圖像信號進行熵編碼，形成編碼流，並且選擇性地將其結果輸出給失真率計算單元503和多路復用單元105。也就是說，在響應於輸入的圖像信號的編碼開始指示而開始的編碼(正式編碼)之前，將通過對輸入的圖像信號進行編碼(臨時編碼)所獲得的編碼流僅輸出給失真率計算單元503。另一方面，在正式編碼時，編碼單元502將編碼流輸出給多路復用單元105，而不輸出給失真率計算單元503。失真率計算單元503通過使用由圖像輸入單元101所輸入的圖像信號和通過對第一編碼流進行解碼所獲得的圖像信號，計算諸如PSNR(峰值信噪比)等的第一失真率，並且將所計算出的第一失真率輸出給比特率設置單元508。第一失真率不局限於PSNR，並且可以是其它眾所周知的失真率。以與第一實施例中的編碼單元104相同的方式，編碼單元505利用相同方法對由圖像輸入單元103所輸入的圖像信號進行熵編碼，形成編碼流，並且選擇性將其結果輸出給失真率計算單元506和多路復用單元105。也就是說，以與編碼單元502相同的方式，在輸入的圖像信號的臨時編碼時，編碼單元505將所形成的編碼流僅輸出給失真率計算單元 506。另一方面，在正式編碼時，編碼單元505將編碼流輸出給多路復用單元105，而不輸出給失真率計算單元506。失真率計算單元506通過使用由圖像輸入單元103所輸入的圖像和通過對第二編碼流進行解碼所獲得的圖像信號，計算諸如PSNR(峰值信噪比)等的第二失真率，並且將所計算出的第二失真率輸出給比特率設置單元508。第二失真率與第一失真率一樣，不局限於 PSNR，並且可以是其它眾所周知的失真率。比特率設置單元508判斷在失真率計算單元503中所計算出的第一失真率和在失真率計算單元506中所計算出的第二失真率之間的差的大小。如果判斷為沒有差，則將編碼開始指示輸出給編碼單元502和505。例如，可以通過下面的方法來進行該判斷將預先適當設置的預定值與第一失真率和第二失真率之間的差(絕對值)進行比較，並且當該差等於或小於預定值時，判斷為(認為)沒有差。如果判斷為存在差，則基於第一失真率和第二失真率，在編碼單元502中自適應地設置第一比特率，並且在編碼單元505中自適應地設置第二比特率。進行該設置處理，以使得第一比特率和第二比特率的和達到可分配給由多路復用單元105所形成的多路復用流的最大分配比特率。也就是說，比特率設置單元基於所計算出的失真率，向第一比特率和第二比特率自適應地分配最大分配比特率。將最大分配比特率設置成小於多路復用流的比特率的預定值。比特率設置處理圖6是示出比特率設置單元508的處理的流程圖。比特率設置單元508以圖片為單位對輸入的圖像信號執行該處理。
將參考圖6說明本實施例中的比特率設置方法。在S601，判斷是否開始編碼。如果判斷為開始編碼，則結束處理例程。如果為「否」，則處理例程分支至S602。這種情況下的「編碼」是上述「正式編碼」，並且由編碼開始指示開始「編碼」。在S602，獲得在失真率計算單元503中所計算出的第一失真率和在失真率計算單元506中所計算出的第二失真率。此時所獲得的失真率是對於輸入的圖像信號的當前圖片所計算出的值。因此，將通過使用所獲得的失真率而確定的比特率應用於下一圖片。通過下面的公式(1)對這點進行闡述。對於第一個圖片(i = 1)，假定應用作為默認比特率所設置的比特率Rl(O)和R2(0)。在S603，如上所述地判斷在所獲得的第一失真率和第二失真率之間是否存在差 (絕對值)。如果判斷為沒有差，則在S605形成編碼開始指示，並且在此後，處理例程返回至S601。如果判斷為存在差，則處理例程進入S604。在S604，通過使用第一失真率和第二失真率確定第一比特率和第二比特率的分配比。在該例子中，例如，通過使用下面的公式(1)來確定第一比特率Rl和第二比特率 R2。Rl (i) = Rl (i-1) +K (SN_2 (i_l) _SN_1 (i_l))R2(i) = R2(i-l)+K(SN_l(i-l)-SN_2(i-l)) …(1)其中，後綴「i」是示出臨時編碼的圖片的編號(1、2、3、……)的自變量，Rl是第一比特率，R2是第二比特率，SN_1是第一失真率，SN_2是第二失真率，並且K是失真率的反饋係數。反饋係數K是用於將失真率轉換成比特率以使得可以將轉換後的比特率相加到比特率Rl或R2的常數。在根據上述公式(1)保持第一比特率和第二比特率的和恆定時， 比特率設置單元508以下面的方式控制比特率的分配減小較大失真率的比特率，並且相反，增大較小失真率的比特率。通過公式(1)顯而易見，作為該控制的結果，如果第一失真率SN_1和第二失真率SN_2相等，則所確定的比特率的設置值等於前一圖片的比特率的設置值。在本實施例的編碼設備中，以圖片為單位重複上述處理，並且確定向第一編碼單元和第二編碼單元的比特率的最佳分配。圖7是示出根據本實施例的在編碼各圖片時所設置的比特率的變化的例子的圖。在該附圖中，縱軸表示比特率，並且橫軸表示輸入的圖像信號的經過時間。在本實施例中，對於輸入的圖像信號中的第一個I圖片和隨後的五個P圖片進行臨時編碼。比特率設置單元508對這六個圖片進行臨時編碼，並且實現在第七個圖片中消除第一失真率和第二失真率之間的差的狀態。通過如上所述構成編碼設備，在開始將輸入的圖像信號記錄到記錄介質108之前，將編碼單元502和505的編碼的失真率之間的差與開始臨時編碼時的差進行比較，並且可以減小該差。因此，可以形成編碼流作為抑制了記錄圖像質量的劣化的自然的3D圖像， 並且可以提供適於用戶的編碼設備。儘管在本實施例中，通過使用I圖片和P圖片來進行臨時編碼，但是可以通過包括 B圖片的圖片來進行臨時編碼。在這種情況下，在比特率設置單元508中設置要適當進行臨時編碼的圖片的編號(自變量i)。
實施例3儘管本實施例的編碼設備具有與實施例2中的相同的結構，但是其操作不同於實施例2中的操作。也就是說，在實施例3中，在不執行臨時編碼的情況下開始實際編碼(正式編碼)，此後，使得編碼設備工作以調整第一比特率和第二比特率的分配。下面將說明本實施例的編碼設備的操作。比特率設置單元508基於由失真率計算單元504所計算出的第一失真率和由失真率計算單元506所計算出的第二失真率，通過下面的方法在編碼單元502中自適應地設置第一比特率，並且在編碼單元505中自適應地設置第二比特率。更詳細地，首先，當開始編碼時，將第一比特率和第二比特率的和設置成小於最大分配比特率的值。根據經驗等來預先設置比特率分配的初始值Rl(O)和R2(0)。此後，在增大第一比特率和第二比特率的和以達到最大分配比特率時，以輸入的圖像信號的圖片為單位確定第一比特率和第二比特率的分配的設置。由於其它組件與實施例2中的相同，所以這裡省略對其的說明。圖8是示出實施例3中的比特率設置單元508的處理的流程圖。比特率設置單元 508以圖片為單位對輸入的圖像信號執行該處理。下面將參考圖8說明本實施例的比特率設置方法。在S801，判斷所設置的第一比特率Rl和第二比特率R2的和是否等於最大分配比特率。如果判斷為該和等於最大分配比特率，則結束處理例程。如果為「否」，則處理例程分支至S802。在S802，獲得在失真率計算單元503中所計算出的第一失真率和在失真率計算單元506中所計算出的第二失真率。此時所獲得的失真率等於針對輸入的圖像信號的當前圖片所計算出的值。因此，將通過使用所獲得的失真率所確定的比特率應用於下一圖片。通過下面將說明的公式O)，這點將顯而易見。在S803，通過使用所獲得的第一失真率和第二失真率，對於輸入的圖像信號的圖片確定第一比特率和第二比特率。在該例子中，通過使用例如下面的公式(2)確定第一比特率Rl和第二比特率R2。
πι Rl(i-1) + K(SN 2(i-l)-SN l(i-l)) /D「. 「，DJ、Rl(i) = ~--——-~—----—^~x(Rt(i -l) + Rd)
R2(i-1) + K(SN_l(i-1)-SN_2(i-1)) ^D .^2(;) =-r-x(Rt(i-l) + Rd)
舟(;-l)... (2)其中，後綴「i」是示出編碼圖片的編號(1、2、3、……)的自變量，Rt是第一比特率和第二比特率的和，Rd是以圖片為單位而增大的比特率，SN_1是第一失真率，SN_2是第二失真率，並且K是失真率的反饋係數。反饋係數K是用於將失真率轉換成比特率以使得可以將轉換後的比特率相加到比特率Rl或R2的常數。通過公式⑵可知，比特率設置單元508以下面的方式進行控制在以圖片為單位將第一比特率和第二比特率的和Rt增大預定量單位(Rd)時，較多地增大與較小失真率相對應的比特率。通過該控制，設置第一比特率和第二比特率，以使得消除第一失真率和第二失真率之間的差。
作為上述本實施例中的控制的結果，如果所設置的第一比特率和第二比特率的和達到最大分配比特率或者超過最大分配比特率，則在此後維持此時的比特率的分配。圖9是示出在編碼各圖片時所設置的比特率的變化的圖。在該附圖中，縱軸表示比特率，並且橫軸示出輸入的圖像信號的時間進程。在本實施例中，在指示開始編碼之後，作為在編碼六個圖片的時間段期間調整第一比特率和第二比特率的結果，它們的和達到最大分配比特率。將根據第六個圖片所調整的比特率的分配應用於第七個及其後的圖片。另外，利用上述實施例的結構，與開始編碼時相比，可以將第一比特率和第二比特率分配成反映不同編碼效率的值，以降低第一比特率和第二比特率之間的差。因此，可以形成編碼流作為抑制了記錄圖像質量的劣化的自然的3D圖像，並且可以提供適於用戶的編碼設備。還可以通過下面的方法實現上述實施例中的圖3、6和8中所示的各處理從系統的存儲器讀出用於實現這些處理的功能的電腦程式，其中，在該系統中，操作本發明的編碼設備，並且該系統的CPU執行該程序。在這種情況下，存儲在存儲器中的程序構成本發明。上述程序可以是用於實現上述功能的一部分的程序。此外，上述程序可以是被稱為差分文件(差分程序)的程序，其中，在該差分文件中，可以通過與已記錄在計算機系統中的程序組合來實現上述功能。可以通過專用硬體實現圖3、6和8所示的處理的全部功能或這些功能的一部分。 可以通過下面的方法執行這些處理將用於實現圖3、6和8所示的處理的功能的程序記錄在計算機可讀記錄介質中，並且將記錄在記錄介質中的程序讀取進計算機系統並執行該程序。假定這裡所述的「計算機系統」包含OS和諸如外圍設備等的硬體。這裡所述的「計算機可讀記錄介質」包括諸如軟盤、磁光碟、ROM或⑶-ROM等的可攜式介質、以及諸如內置於計算機系統中的硬碟等的存儲裝置。此外，在通過諸如網際網路等的網絡或者諸如電話線等的通信線傳送該程序的情況下，假定這類介質還包含保持該程序預定時間的存儲裝置，諸如用作伺服器或客戶機的計算機系統中的易失性存儲器(RAM)寸。可以通過傳輸介質或者通過傳輸介質中的傳輸波，將上述程序從將該程序存儲在存儲裝置等中的計算機系統傳送給其它計算機系統。用於傳送該程序的「傳輸介質」表示諸如像網際網路等一樣的網絡(通信網絡)或者像電話線等一樣的通信線(通信電線)等的具有用於傳輸信息的功能的介質。作為本發明的實施例，還可以應用諸如記錄了該程序的計算機可讀記錄介質等的程序產品。上述程序、記錄介質、傳輸介質和程序產品包含在本發明的範圍內。儘管參考典型實施例說明了本發明，但是應該理解，本發明不局限於所公開的典型實施例。所附權利要求書的範圍符合最寬的解釋，以包含所有這類修改、等同結構和功能。
權利要求
1.一種編碼設備，用於輸入第一圖像信號和第二圖像信號，並且對各圖像信號進行編碼，其中，所述第二圖像信號的輸入源不同於所述第一圖像信號的輸入源，所述編碼設備包括第一編碼部件，用於對所輸入的第一圖像信號進行編碼；第二編碼部件，用於基於所述第一圖像信號對所輸入的第二圖像信號進行編碼；多路復用部件，用於在存儲器上對所述第一編碼部件所輸出的第一編碼流和所述第二編碼部件所輸出的第二編碼流進行多路復用；拍攝模式信息獲取部件，用於獲取表示從多個拍攝模式中所選擇的拍攝模式的拍攝模式信息；以及比特率設置部件，用於設置分配給所述第一編碼部件的第一比特率和分配給所述第二編碼部件的第二比特率，其中，所述比特率設置部件根據所述拍攝模式信息獲取部件所獲取的拍攝模式信息， 自適應地設置所述第一比特率和所述第二比特率的設置值。
2.根據權利要求1所述的編碼設備，其特徵在於，所述比特率設置部件根據所述拍攝模式信息設置所述第一比特率和所述第二比特率的分配，以使得所述第一比特率的設置值和所述第二比特率的設置值的和達到預定值。
3.根據權利要求1所述的編碼設備，其特徵在於，所述比特率設置部件基於圖像的幀間差分和視差差分確定所述設置值，其中，所述圖像的幀間差分和視差差分是根據所述拍攝模式信息獲取部件所獲取的拍攝模式信息所表示的拍攝模式而設想出的。
4.根據權利要求2所述的編碼設備，其特徵在於，當所述拍攝模式信息獲取部件所獲取的拍攝模式信息表示設想了幀間差分小且視差差分小的圖像的拍攝的拍攝模式時，所述比特率設置部件將所述第一比特率的值設置成最大分配值。
5.根據權利要求2所述的編碼設備，其特徵在於，當所述拍攝模式信息獲取部件所獲取的拍攝模式信息表示設想了幀間差分大且視差差分小的圖像的拍攝的拍攝模式時，所述比特率設置部件將所述第一比特率的分配值設置成小於在設想了幀間差分小且視差差分小的圖像的拍攝的拍攝模式下設置的所述第一比特率的分配值。
6.根據權利要求2所述的編碼設備，其特徵在於，當所述拍攝模式信息獲取部件所獲取的拍攝模式信息表示設想了幀間差分小且視差差分大的圖像的拍攝的拍攝模式時，所述比特率設置部件將所述第一比特率的分配值設置成小於在設想了幀間差分大且視差差分小的圖像的拍攝的拍攝模式下設置的所述第一比特率的分配值。
7.根據權利要求2所述的編碼設備，其特徵在於，當所述拍攝模式信息獲取部件所獲取的拍攝模式信息表示設想了幀間差分大且視差差分大的圖像的拍攝的拍攝模式時，所述比特率設置部件將所述第一比特率的分配值設置成小於在設想了幀間差分小且視差差分大的圖像的拍攝的拍攝模式下設置的所述第一比特率的分配值。
8.一種編碼設備的控制方法，所述編碼設備用於輸入第一圖像信號和第二圖像信號， 並且對各圖像信號進行編碼，其中，所述第二圖像信號的輸入源不同於所述第一圖像信號的輸入源，所述控制方法包括以下步驟第一編碼步驟，用於對所輸入的第一圖像信號進行編碼；第二編碼步驟，用於基於所述第一圖像信號對所輸入的第二圖像信號進行編碼；多路復用步驟，用於在存儲器上對在所述第一編碼步驟中輸出的第一編碼流和在所述第二編碼步驟中輸出的第二編碼流進行多路復用；拍攝模式信息獲取步驟，用於獲取表示從多個拍攝模式中所選擇的拍攝模式的信息；以及比特率設置步驟，用於設置分配給所述第一編碼步驟的第一比特率和分配給所述第二編碼步驟的第二比特率，其中，在所述比特率設置步驟中，根據在所述拍攝模式信息獲取步驟中所獲取的拍攝模式信息，自適應地確定所述第一比特率和所述第二比特率的設置值。
9.一種編碼設備，用於輸入第一圖像信號和第二圖像信號，並且對各圖像信號進行編碼，其中，所述第二圖像信號的輸入源不同於所述第一圖像信號的輸入源，所述編碼設備包括第一編碼部件，用於對所輸入的第一圖像信號進行編碼； 第二編碼部件，用於基於所述第一圖像信號對所輸入的第二圖像信號進行編碼； 多路復用部件，用於在存儲器上對所述第一編碼部件所輸出的第一編碼流和所述第二編碼部件所輸出的第二編碼流進行多路復用；第一失真率計算部件，用於根據所輸入的第一圖像信號和所述第一編碼流，計算作為所述第一編碼部件的編碼的失真率的第一失真率；以及第二失真率計算部件，用於根據所輸入的第二圖像信號和所述第二編碼流，計算作為所述第二編碼部件的編碼的失真率的第二失真率；以及比特率設置部件，用於設置分配給所述第一編碼部件的第一比特率和分配給所述第二編碼部件的第二比特率，其中，所述比特率設置部件基於所述第一失真率和所述第二失真率，自適應地確定所述第一比特率和所述第二比特率的設置值。
10.根據權利要求9所述的編碼設備，其特徵在於，所述比特率設置部件確定所述第一比特率和所述第二比特率的分配，以使得所述第一比特率和所述第二比特率的設置值的和等於預定值，其中，所述預定值等於或小於在所述多路復用部件中能夠進行多路復用的最大分配比特率。
11.根據權利要求9所述的編碼設備，其特徵在於，所述比特率設置部件從開始輸入所述第一圖像信號和所述第二圖像信號起、直到消除了所述第一失真率和所述第二失真率之間的差為止，以所輸入的圖像信號的圖片為單位自適應地確定所述第一比特率和所述第二比特率的分配。
12.根據權利要求9 11中任一項所述的編碼設備，其特徵在於，所述第一失真率計算部件和所述第二失真率計算部件分別以所輸入的圖像信號的圖片為單位計算所述第一失真率和所述第二失真率。
13.根據權利要求9所述的編碼設備，其特徵在於，所述比特率設置部件通過減小分配給與較大失真率相對應的編碼部件的比特率並且增大分配給與較小失真率相對應的編碼部件的比特率，以圖片為單位確定所述第一比特率和所述第二比特率的分配。
14.根據權利要求9所述的編碼設備，其特徵在於，所述比特率設置部件將所述第一比特率和所述第二比特率的和的初始值設置成小於在所述多路復用部件中能夠進行多路復用的最大分配比特率的值，並且在輸入圖像信號之後，所述比特率設置部件通過以預定量為單位增大所述第一比特率和所述第二比特率的和、直到達到所述最大分配比特率為止， 以圖片為單位自適應地確定所述第一比特率和所述第二比特率的分配。
15.根據權利要求9所述的編碼設備，其特徵在於，所述比特率設置部件根據所述第一失真率和所述第二失真率之間的差，以圖片為單位確定所述第一比特率和所述第二比特率的分配。
16.一種編碼設備的控制方法，所述編碼設備用於輸入第一圖像信號和第二圖像信號， 並且對各圖像信號進行編碼，其中，所述第二圖像信號的輸入源不同於所述第一圖像信號的輸入源，所述控制方法包括以下步驟第一編碼步驟，用於對所輸入的第一圖像信號進行編碼； 第二編碼步驟，用於基於所述第一圖像信號對所輸入的第二圖像信號進行編碼； 多路復用步驟，用於在存儲器上對所述第一編碼步驟所輸出的第一編碼流和所述第二編碼步驟所輸出的第二編碼流進行多路復用；第一失真率計算步驟，用於根據所輸入的第一圖像信號和所述第一編碼流，計算作為所述第一編碼步驟中的編碼的失真率的第一失真率；第二失真率計算步驟，用於根據所輸入的第二圖像信號和所述第二編碼流，計算作為所述第二編碼步驟中的編碼的失真率的第二失真率；以及比特率設置步驟，用於設置分配給所述第一編碼步驟的第一比特率和分配給所述第二編碼步驟的第二比特率，其中，在所述比特率設置步驟中，基於所述第一失真率和所述第二失真率，自適應地確定所述第一比特率和所述第二比特率的設置值。
全文摘要
本發明提供一種編碼設備及其控制方法，該編碼設備用於輸入第一圖像信號和來自與所述第一圖像信號的輸入源不同的輸入源的第二圖像信號，所述編碼設備基於拍攝模式信息或者編碼單元的編碼的失真率，自適應地確定第一比特率和第二比特率，其中，將所述第一比特率和所述第二比特率分別分配給第一編碼單元和第二編碼單元，所述第一編碼單元用於對所輸入的第一圖像信號進行編碼，所述第二編碼單元用於基於所述第一圖像信號對所輸入的第二圖像信號進行編碼。
文檔編號H04N13/00GK102547339SQ201110405080
公開日2012年7月4日 申請日期2011年12月7日 優先權日2010年12月7日
發明者磨田浩二 申請人:佳能株式會社