發送設備及方法

2023-09-17 07:58:55 4

專利名稱：發送設備及方法
技術領域：
本發明涉及發送設備，發送方法，接收設備，接收方法，發送和接收設 備，發送和接收方法，記錄介質，和信號。特別是，本發明涉及允許例如按 有限發送速率(具有一個有限發送帶寬)發送圖像數據和允許顯示具有高空 間解析度的圖像的一種發送設備， 一種發送方法， 一種接收設備， 一種接收 方法， 一種發送和接收設備， 一種發送和接收方法， 一種記錄介質，和一種 信號。
背景技術：
例如， 一個相關參考文件，日本專利待審公開平10-112856公開了一種 圖像發送設備。在該圖像發送設備中，發送方發送圖像的一個特定區域的圖 像數據，該圖像其它區域的圖像數據相應於接收方發出的命令用不同信息量 發送。接收方顯示處在含有一個較高空間解析度(空間方向的解析度)的指 定點的區域中的圖像，和顯示處在一個較低空間解析度的其他區域中的圖像。
換句話說，當發送方經一個發送路徑向接收方發送圖像數據時，發送方 不能以高於該發送路徑的數據速率發送圖像。因而，當接收方在實際的時基 上顯示一個數據時，發送方將以對應於發送路徑的發送速率向接收方發送圖 像數據。因此，如果發送速率不足夠時，那麼在接收方顯示的圖像的空間方 向上的空間解析度則完全惡化。
為了解決這一問題，在日本專利待審公開平10-112856的圖像發送設備 中，圖像的 一個區域中的圖像數據和該圖像的其它區域中的圖像數據以不同 信息量發送。含有一個指定點的該區域中的圖像和其它區域中的圖像在接收 方分別以高空間解析度和低空間解析度顯示。
換句話說，在日本待審公開平10-112856的圖像發送設備中，用戶要仔 細觀看的一個部分的空間解析度的改善是以其它部分的空間解析度(降低) 為代價的。
另一方面，在日本專利待審公開平10-112856的圖像發送設備中，由於 用戶要仔細觀看的部分空間解析度的改善是以其它部分的空間解析度為代價 的，所以用戶要仔細觀看的部分空間解析度僅以犧牲的空間解析度為代價得 到改善。
此外，發送路徑的發送速率非常低時，如果用戶要仔細觀看部分的空間 解析度的改善以其它部分的空間分辨的犧牲為代價，那麼其它部分的空間分 辨率則嚴重惡化。在最壞的情況下，用戶不能清楚地觀看其它部分。
本發明是基於上述觀點做出的。本發明的目的是允許圖像的空間解析度 相應於用戶的偏愛得到更好的改善。
發明概述
本發明的第一發送設備是向接收設備發送數據的發送設備，包括接收 裝置，用於接收從接收設備發送的控制信息；控制裝置，相應於控制信息控 制發送給接收設備的數據的時間方向、空間方向和電平(level)方向中的至 少兩個方向的解析度；和發送裝置，向接收設備發送相應於控制信息已經控 制至少兩個方向中的解析度的數據。
本發明的接收設備是接收從發送設備發送的數據的接收設備，包括發 送裝置，用於向發送設備發送控制信息，以便相應於控制信息控制數據的時 間方向、空間方向和電平方向的至少兩個方向上的解析度；接收裝置，用於 接收發送設備發送的數據，該數據的解析度在數據的至少兩個方向已經得到 控制；和輸出裝置，輸出由接收裝置接收的數據。
本發明的發送和接收設備是具有用於發送數據的發送設備和用於接收數 據的接收設備的發送和接收設備，其中發送設備包括控制信息接收裝置， 用於接收從接收設備發送的控制信息；控制裝置，用於相應於控制信息控制 發送給接收設備的數據的時間方向、空間方向和電平方向的至少兩個方向上 的解析度；和數據發送裝置，用於向接收設備發送已經相應於控制信息控制 至少兩個方向的解析度的數據；以及其中接收設備包括控制信息發送裝置， 用於發送控制信息；數據接收裝置，用於接收從發送設備發送的數據，該數
據的解析度在數據的至少兩個方向上被控制；和輸出裝置，用於輸出由數據 接收裝置接收的數據。
本發明的第二發送設備是向接收設備發送數據的發送設備，包括接收 裝置，用於接收從接收設備發送的控制信息；歸類裝置，相應於控制信息對 數據歸類；和發送裝置，相應於數據的歸類結果向接收設備發送數據。
本發明的第 一發送方法是向接收設備發送數據的發送方法，包括以下步 驟接收從接收設備發送的控制信息；相應於控制信息控制發送給接收設備 的數據在時間方向、空間方向和電平方向的至少兩個方向上的解析度；和把 已經相應於控制信息控制至少兩個方向的解析度的數據發送給接收設備。
本發明的接收方法是一個接收從發送設備發送的數據的接收方法，包括 以下步驟向發送設備發送控制信息，以便相應於控制信息控制數據的時間 方向、空間方向和電平方向的至少兩個方向上的解析度；接收發送設備發送 的數據，該數據的解析度至少在數據的兩個方向上被控制；和輸出在接收步 驟上接收的數據。
本發明的發送和接收方法是具有發送數據的發送設備的處理和接收數據 的接收設備的處理的發送和接收方法，其中發送設備的處理包括以下步驟 接收從接收設備發送的控制信息；相應於控制信息控制發送給接收設備的數 據在時間方向、空間方向和電平方向的至少兩個方向上的解析度；和4巴已經 相應於控制信息控制至少兩個方向的解析度的數據發送給接收設備；其中接 收設備的處理包括以下步驟發送控制信息；接收從發送設備發送的數據， 該數據的解析度至少在數據的兩個方向上被控制；並輸出在數據接收步驟中 接收的數據。
本發明的第二發送方法是向接收設備發送數據的發送方法，包括以下步 驟接收從接收設備發送的控制信息；相應於控制信息對數據歸類；和相應 於數據的歸類結果向接收設備發送數據。
本發明的第一記錄介質是一種記錄程序的記錄介質，該程序使計算機執 行向接收設備發送數據的發送處理，該發送處理包括以下步驟接收從接收 設備發送的控制信息；相應於控制信息控制發送給接收設備的數據在時間方 向、空間方向和電平方向的至少兩個方向上的解析度；和把已經相應於控制 信息控制至少兩個方向的解析度的數據發送給接收設備。
本發明的第二記錄介質是一種記錄程序的記錄介質，該程序使計算機執
行接收從發送設備發送的數據的接收處理，該接收處理包括以下步驟向發 送設備發送控制信息，以便相應於控制信息控制數據在時間方向、空間方向
和電平方向的至少兩個方向上的解析度；接收從發送設備發送的數據，該數 據的解析度至少在數據的兩個方向上已經被控制；和輸出在接收步驟中接收 的數據。
本發明的第三記錄介質是一種記錄程序的記錄介質，該程序致使計算機 執行發送數據的發送設備的發送處理和接收數據的接收設備的接收處理，其 中發送設備的發送處理包括以下步驟接收從接收設備發送的控制信息；相 應於控制信息控制發送給接收設備的數據在時間方向、空間方向和電平方向 的至少兩個方向上的解析度；和把已經相應於控制信息控制至少兩個方向的 解析度的數據發送給接收設備；其中接收設備的接收處理包括以下步驟發 送控制信息；接收從發送設備發送的數據，該數據的解析度至少在數據的兩 個方向上已經被控制；並輸出在數據接收步驟上接收的數據。
本發明的第四記錄介質是一種記錄程序的記錄介質，該程序使計算機執 行向接收設備發送數據的發送處理，該發送處理包括以下步驟接收從接收 設備發送的控制信息；相應於控制信息歸類數據；和相應於數據的歸類結果 向接收設備發送數據。
本發明的第一信號是一種包含程序的信號，該程序致使計算機執行向接 收設備發送數據的發送處理，該發送處理包括以下步驟接收從接收設備發 送的控制信息；相應於控制信息控制發送給接收設備的數據在時間方向、空 間方向和電平方向的至少兩個方向上的解析度；和把已經相應於控制信息控 制至少兩個方向的解析度的數據發送給接收設備。
本發明的第二信號是一種包含程序的信號，該程序致使計算機執行接收 從發送設備發送的數據的接收處理，該接收處理包括以下步驟向發送設備 發送控制信息，以便相應於控制信息控制數據在時間方向、空間方向和電平 方向的至少兩個方向上的解析度；接收從發送設備發送的數據，該數據的分 辨率至少在數據的兩個方向上已經被控制；和輸出在接收步驟中接收的數據。
本發明的第三信號是一種包含程序的信號，該程序致使計算機執行發送 數據的發送設備的發送處理和接收數據的接收設備的接收處理，其中發送設 備的發送處理包括以下步驟接收從接收設備發送的控制信息；相應於控制 信息控制發送給接收設備的數據在時間方向、空間方向和電平方向的至少兩
個方向上的解析度；和把已經相應於控制信息控制至少兩個方向的解析度的 數據發送給接收設備；其中接收設備的接收處理包括以下步驟發送控制信 息；接收從發送設備發送的數據，該數據的解析度至少在數據的兩個方向上 被控制；和輸出在數據接收步驟上接收的數據。
本發明的第四信號是一種包含程序的信號，該程序致使計算機執行向接 收設備發送數據的發送處理，該發送處理包括以下步驟接收從接收設備發 送的控制信息；相應於控制信息歸類數據；和相應於數據的歸類結果向接收 設備發送數據。
根據本發明的第一發送設備、第一發送方法、第一記錄介質和第一信號， 接收從一個接收設備發送的控制信息。相應於該控制信息，控制時間方向、 空間方向和電平方向中的至少兩個方向上的解析度。把相應於該控制信息控 制至少兩個方向解析度的數據發送給接收設備。
根據本發明的接收設備、接收方法、第二記錄介質和第二信號，向發送 設備發送控制信息，該發送設備相應於該控制信息控制時間方向、空間方向 和電平方向的至少兩個方向上的解析度。此外，相應於該控制信息已經控制
根據本發明的發送和接收設備、發送和接收方法、第三記錄介質和第三 信號，發送設備接收自接收設備發送的控制信息。相應於該控制信息，控制 時間方向、空間方向和電平方向的至少兩個方向上的解析度備。相應於該控 制信息已經控制的至少兩個方向上的解析度的數據備傳送給接收設備，此外， 接收設備向發送設備發送控制信息。相應於該控制信息控制的至少兩個方向 上的解析度的數據自發送設備發送，接收和輸出。
根據本發明的第二發送設備、第二發送方法、第四記錄介質和第四信號， 接收自一個接收設備發送的控制信號，相應於該控制信息，歸類數據。相應 於該數據的歸類結果，向該接收設備發送數據。
附圖的筒單說明


圖1是顯示本發明的實施例的發送系統的結構實例的示意圖； 圖2是顯示圖1所示的發送系統的第一結構的實例的詳細示意圖； 圖3是顯示圖1所示的發送設備(終端單元)1的結構實例的方框圖； 圖4是解釋圖3所示的發送設備的處理的流程圖5是顯示圖1所示的接收設備(終端單元)2的結構實例的方框圖； 圖6解釋圖5所示的接收設備2的處理的流程圖； 圖7是顯示圖3所示的發送處理部分16的結構實例的方框圖； 圖8是顯示圖7所示的編碼部分31的結構實例的方框圖； 圖9A、 9B和9C是解釋分層編碼/解碼的示意圖； 圖10是解釋圖7所示的發送處理部分16的發送處理流程圖； 圖ll是顯示圖5所示的接收處理部分21的結構實例的方框圖； 圖12是圖11所示的解碼部分53的結構實例的方框圖； 圖13是顯示圖5所示的組合處理部分22的結構實例的方框圖； 圖14是解釋圖13所示組合處理部分22的組合處理的流程圖； 圖15A、15B和15C是顯示圖5所示的圖像輸出部分23的圖像顯示實例 的示意圖16A和16B解釋圖1所示的從發送設備1向接收設備2發送的圖像的
空間解析度與時間解析度之間關係的示意圖17是顯示圖3所示的對象提取部分14的結構實例的方框圖18A和18B是解釋圖17所示的開始區域劃分部分83的處理示意圖19A、 19B、 19C和19D是解釋圖17所示的區域拼接部分84的處理
的示意圖20是圖17所示的拼接區域處理部分85和分離區域處理部分86的處 理的示意圖21是解釋圖17所示的對象提取部分4的對象提取處理的流程圖22是解釋圖21所示的步驟S43上的區域拼接處理細節的流程圖23是圖21所示的步驟S44上的拼接區域處理的細節的流程圖24是解釋圖21所示的步驟S44上的分離區域處理細節的流程圖25是顯示圖7所示的控制部分35的結構實例的方框圖26是解釋對象的特徵量(feature amount)的示意圖27是解釋圖25所示的控制部分35的處理細節的流程圖28是顯示圖1所示的發送系統的第二結構的實例的詳細示意圖29是顯示圖28所示的發送設備1的結構實例的方框圖30是解釋圖29所示的發送設備1的處理的流程圖31是顯示圖28所示的接收設備2的結構實例的方框圖32是解釋圖31所示的接收設備2的處理的流程圖； 圖33是顯示圖29所示的發送處理部分1016的結構實例的方框圖； 圖34是解釋圖33所示的發送處理部分1016的發送處理的流程圖； 圖35是顯示圖31所示的組合處理部分的結構實例的方框圖； 圖36是解釋的圖35所示的組合處理部分的組合處理的流程圖； 圖37是顯示圖29所示的對象提取部分1014的實際結構示意圖； 圖3 8是解釋活動對象圖像或靜止對象圖像的提取處理的流程圖； 圖39是解釋靜止區域或活動區域確定處理的流程圖； 圖40A、 40B、 40C、 40D和40E是解釋幀差(幀間差值)的計算方法的 示意圖41是解釋連續點擊確定處理的流程圖42A、 42B、 42C、 42D、 42E和42F是解釋對象號分配方法的示意圖； 圖43是解釋靜止對象組合處理的流程圖； 圖44是解釋活動對象組合處理的流程圖； 圖45是解釋對象提取處理的流程圖46A、 46B、 46C、 46D和46E是解釋對象提取方法的示意圖47是顯示圖31所示的組合處理部分1022的另一個結構實例的方框
圖48是顯示圖28所示的發送設備1的另一個結構實例的方框圖； 圖49是顯示圖48所示的變化確定和歸類部分240的結構實例的方框圖； 圖50A和50B是解釋變化確定和歸類部分240的興趣對象區域變化處理 和興趣對象區域歸類處理的流程圖51是解釋興趣變化確定處理的流程圖； 圖52是圖1所示的發送系統的第三結構的詳細實例的示意圖； 圖53是顯示圖52所示的收費伺服器4的結構實例的方框圖； 圖54是解釋圖53所示的收費伺服器4的處理的流程圖； 圖55是顯示本發明的實施例的計算機的結構實例的方框圖。
實施發明的最好形式
圖1示出了根據本發明的實施例的圖像發送系統的結構(該系統是作為 多個裝置的邏輯組合的一個實體，而且與每個裝置是否設置在一個機架中無
關)。
發送裝置由至少兩個終端單元1和2組成。就終端單元1和2的關係而 言， 一個是發送設備，另一個是接收設備。圖像(圖像數據)從發送設備經 傳送路徑3發送給接收設備。
根據本發明的實施例，例如，假定終端單元1是發送設備，而終端設備 2是接收設備，並且假定圖像數據在它們之間發送和接收。在下文中，終端 單元1或2可以被分別稱作發送設備1或接收設備2。
在該情況下，發送設備1經傳送路徑3向接收設備2發送圖像數據。接 收設備2接收來自發送設備1的圖像數據。下面將要說明圖像數據在圖像輸 出部分23 (參見圖5)上的顯示。圖像輸出部分23例如由液晶顯示器或CRT (陰極射線管)組成。此外，接收部分2經傳送路徑3向發送設備1發送控 制信息，該控制信息控制圖像輸出部分23所顯示的圖像空間方向的空間分辨 率和時間方向的時間解析度。
發送設備1接收來自接收設備2的控制信息，並相應於該控制信息控制 圖像數據的傳送，使接收設備2所顯示的圖像的空間解析度和時間解析度在 滿足預定條件時變化。
就發送設備1和接收設備2來說，可以使用諸如PHS (個人手持電話系 統)(商標)單元的終端單元和諸如便攜電話單元的可攜式終端單元。當使用 PHS單元時，傳送路徑3具有1895.1500至1905.9500Mhz的頻帶，其傳送速 率為128Kbps (每秒比特)。
圖2示出了圖1所示的圖像發送系統的第一結構的實例；在此，諸如PHS 單元和可攜式電話單元的可攜式終端單元被用作圖1所示的發送設備1和接 收設備2。
根據圖2所示的實施例，圖1所示的傳送路徑3由無線基站3-1或3-2 和交換站3-3組成。該交換站3-3是(例如)連接無線基站3-1和3-2的電話 站。無線基站3-1或3-2向/從終端單元1或2發送和接收一個無線信號。在 終端單元1與2之間，其每一個可以經過由無線基站3-l和3-2、收費伺服器 4等組成的傳送路徑3向另一個發送信號，並從另一個終端接收信號。基站 3-1的類型可以基站3-2的類型相同或者不相同。
參見圖2,終端單元1包括攝像機部分1-1、顯示器部分1-2、按鍵部分 1-3、揚聲器部分l-4和麥克風1-5。攝影機部分1-1具有可以攝取活動圖像的
圖像拾取裝置和光系統。顯示部分1-2可以顯示字符、符號、圖像等。在輸 入電話號碼、字符、命令等時操作按鍵部分1-3。揚聲器l-4輸出聲音。麥克
風l-5輸入聲音。同樣，終端單元2包括攝影機部分2-l、顯示部分2-2、按 鍵部分2-3、揚聲器2-4和麥克風2-5，它們分別具有與攝影機部分1-1、顯示 部分l-2、 4姿一睫部分l-3、揚聲器l-4和麥克風l-5相同的結構。
麥克風1-5和1-6採集的語音信號在終端單元1和2之間發送和接收。 此外，可以發送和接收由攝像機部分1-1和2-l攝取的圖像數據。因此，終端 單元1的顯示部分l-2可以顯示由終端單元2的攝影機部分2-l獲取的圖像數 據。同樣，終端單元2的顯示部分2-2可以顯示由終端單元1的攝影機部分 1-1獲取的圖像數據。
換句話說，發送設備1的攝像機部分1-1所攝取的圖像數據以及諸如幀 速率的所需信息經過有基站部分3-1和3-2以及交換站3-3組成的傳送路徑3 發送給接收設備2。接收部分2在由例如液晶顯示器組成的顯示部分2-1上顯 示接收的圖像數據(相對應的圖像)。另 一方面，接收設備2經傳送路徑3向 發送設備1發送用於控制在顯示部分2-1上顯示的圖像的空間解析度和時間 解析度的控制信息。發送設備1接收來自接收設備2的控制信息並相應於控 制信息控制圖像數據的傳送，使接收設備2所顯示的圖像的空間解析度和時 間解析度在滿足預定條件時變化。
下面圖3示出了圖2所示的發送設備1的結構的實例。
圖像輸入部分11相當於圖2所示的攝像機部分1-1。圖像輸入部分11 攝取一個特定的對象，並把它的圖像輸送給預處理部分12。預處理部分12 由背景圖像提取部分13、對象提取部分14和附加信息計算部分15組成。預 處理部分12執行從圖像輸入部分11輸入的圖像的預處理和把該合成圖像供 應給發送處理部分16。
換句話說，背景圖像提取部分13從圖像輸入部分11供應的圖像中提取 所謂的背景圖像，和把提取的背景圖像供應給發送處理部分16。此外，背景 圖像提取部分13所提取的背景圖像還供應給對象提取部分14和附加信息計 算部分15。
作為提取背景圖像的方法，獲取多個連續幀(例如當前幀和過去的10 個幀)的相同空間位置上的多個像素的像素值的出現頻率。具有最高頻率的 像素值可以作為該位置是背景對待。另一方面，可以取得多個幀的相同位置
上的像素值的平均值(活動平均值)，以作為該位置上的背景圖像。
對象提取部分14執行例如從圖像輸入部分11所供給的圖像中減去由背 景圖像提取部分13所提取的背景圖像的減法運算，獲得所謂的前景圖像，並
把該前景圖像供應給發送處理部分16。當圖像輸入部分11輸入的圖像包含 作為前景的多個實體時，對象提取部分14相應於每一實體提取前景圖像並將 所提取的前景背景提供給發送處理部分16。另一方面，由對象提取部分14 提取的前景圖像還被提供給附加信息計算部分15。此後，相應於每一實體的 前景圖像可以看作是一個對象。
附加信息計算部分15檢測背景圖像移動矢量和對象移動矢量。背景圖像 移動矢量表示由背景圖像提取部分13提取的背景圖像的移動(相應於圖像輸 入部分11的拍攝方向的移動的背景圖像的移動)。對象移動矢量表示由對象 提取部分14提取的對象的移動。另外，附加信息計算部分15將對象提取部 分14提供的作為附加信息的一幀中的對象的位置信息等提供給發送處理部 分16。換句話說，當對象提取部分14提取一個對象時，該對象提取部分14 還提取與該對象有關的信息，比如該對象的位置信息等，並把該信息供應給 附加信息計算部分15。附加信息計算部分15還把該位置信息等作為附加信 息輸出。
發送處理部分16多路復用由背景圖像提取部分13提取的背景圖像、由 對象提取部分14提取的對象和由附加信息計算部分15獲取的附加信息，並 按其數據速率經過傳送路徑3將合成的多路復用數據發送給接收設備2。發 送處理部分16經傳送路徑3接收自接收設備2發送的控制信息，並相應於該 控制信息控制背景圖像、對象和附加信息的發送，使接收設備2所顯示的圖 像的空間解析度和時間解析度在滿足預定條件時變化。
下面結合圖4所示的流程圖簡要地說明圖3所示的發送設備1的處理。 圖像輸入部分11輸出的圖像供給預處理部分12。在步驟Sl上，與處理 部分12執行圖像的預處理。換句話說，在步驟S1上，背景圖像提取部分13 或前景圖像提取部分14從圖像輸入部分11輸入的圖像中分別提取背景圖像 或對象，並把提取的背景圖像或提取的對象供應給發送處理部分16。此外， 在步驟Sl上，附加信息計算部分15從圖像輸入部分11輸入的圖像中獲得上 述的附加信息，並把獲得的附加信息供應給發送處理部分16。發送處理部分 16經傳送路徑3發送背景圖像、前景圖像和附加信息。此後，流程返回到步
驟Sl,發送設備1重複相似的處理。
圖5示出了圖2所示的接收設備2的結構實例。
發送設備1經傳送路徑3發送多路復用數據。該多路復用數據由接收處 理部分21接收。接收處理部分21把該多路復用數據分離成背景圖像、對象 和附加信息，並把它們供應給組合處理部分22。
組合處理部分22把從接收處理部分21接收的背景圖像、對象和附加信 息組合成原始圖像，並把該合成的圖像供應給圖像輸出部分23。組合處理部 分22相應於下面將要說明的高解析度信息等改變組合的圖像的空間解析度 和時間解析度。
圖像輸出部分23由例如液晶顯示器或CRT組成。圖像輸出部分23顯示 從組合處理部分22輸出的圖像。
控制信息輸入部分24把控制信息輸出給組合處理部分22和控制信息發 送部分25。換句話說，控制信息輸入部分24組成按鍵部分2-3。控制信息輸 入部分24由例如諸如跟蹤球的指點器組成。當用戶用控制信息輸入部分24 指定一個由圖像輸出部分23顯示的圖像的特定位置時，控制信息輸入部分 24把該位置檢測為用戶正在考慮的一個考慮點，把該考慮點的坐標放入控制 信息中，並輸出所得的控制信息。另一方面，控制信息輸入部分24由例如一 個攝影機組成。當用戶攝取和認可一個圖像時，控制信息輸入部分24把用戶 正在考慮的一個點檢測為考慮點，把該考慮的點的坐標放入控制信息中，並 輸出該合成的控制信息。控制信息輸入部分24可以被構造成使用戶可以直接 輸入作為控制信息的由圖像輸出部分23顯示的圖像的空間解析度和時間分 辨率的結構。
當控制信息發送部分25接收來自控制信息輸入部分24的控制信息時， 控制信息發送部分25經傳送路徑3向發送設備1發送控制信息。
下面結合圖6所示的流程圖簡要說明圖5所示的接收設備2的處理。 在接收設備2中，接收處理部分21經傳送路徑3接收來自發送設備1 的多路復用數據。在步驟Sll,接收處理部分21執行一個接收處理，將多路 復用數據分離成背景圖像、對象和附加信息。接收處理部分21向組合處理部 分22供應作為接收處理結果的背景圖像、對象和附加信息。在步驟S12,組 合處理部分22把背景圖像、對象和附加信息組合為原始圖像並把該組成圖像 供應給圖像輸出部分23。圖像輸出部分23顯示該組合圖像。此後，流程返
回到步驟Sll,隨後接收設備重複相似的處理。
在接收設備2中，當用戶用控制信息輸入部分24指定一個圖像輸出部分 23所顯示的圖像的考慮點時，該考慮點的坐標被放入控制信息中。該合成控 制信息被供給控制信息發送部分25。控制信息發送部分25經傳送路徑3向 發送設備1發送該控制信息。當發送設備1接收到如上所述的控制信息時， 發送處理部分16控制背景圖像、對象和附加信息的發送，使接收設備2所顯 示的圖像的空間解析度和時間解析度可以在滿足約定條件時改變。此後，由 於已經被控制的背景圖像、對象和附加信息從發送設備1發送到接收設備2， 因此在滿足一個預定條件時已改變了空間解析度和時間解析度的圖像由接收 設備2顯示。
圖7示出了圖3所示的發送設備1的發送處理部分16的結構實例。
背景圖像、對象和附加信息從預處理部分12 (參見圖3)供給編碼部分 31和控制部分35。編碼部分31對背景圖像、對象和附加信息編碼，並把該 合成的編碼數據供應給MUX (多路復用器)32。 MUX32在控制部分35的控 制下選擇從編碼部分31接收的背景圖像、對象和附加信息並把選擇的編碼數 據作為多路復用數據供給發送部分33。發送部分33調製從MUX32接收的多 路復用數據，並經傳送路徑3把該調製的數據發送給接收設備2。數據量計 算部分34監視MUX32向發送部分33輸出的多路復用數據，計算多路復用 數據的數據速率，並把計算的數據速率供應給控制部分35。
控制部分35控制MUX32的多路復用數據的輸出，使數據量計算部分 34的數據速率不超過傳送路徑3的傳送速率。此外，控制部分35經傳送路 徑3接收從接收設備2發送的控制信息，並相應於該控制信息控制MUX32 的編碼數據的選擇。
圖8示出了圖7所示的編碼部分31的結構實例。
背景圖像被供應給差值計算部分41B。差值計算部分41從處理的當前幀 (在下文中，該幀可以稱作考慮幀)的背景圖像中減去剛處理的在前幀的背 景圖像，並把背景圖像的差值數據作為相減結果供應給分層編碼部分42B。 分層編碼部分42B對從差值計算部分41B接收的背景圖像的差值數據進行分 層編碼，並把編碼結果提供給存儲部分43B。存儲部分43B臨時存儲從分層 編碼部分42接收的分層編碼結果。存儲部分43B中存儲的分層編碼結果作為 背景圖像的編碼數據供應給MUX32 (參見圖7)。
存儲部分43B中存儲的分層編碼結果供應給本地解碼器44B。本地編碼 器44B把分層編碼結果進行解碼成為原始背景圖像，並把解碼的背景圖像供 應給差值計算部分部分41B。由本地解碼器部分44B解碼的背景圖像由差值 計算部分41B使用。差值計算部分41B使用解碼的背景圖像來獲得下一幀的 背景圖像的差值數據。
對象被供應給差值計算部分41F。差值計算部分41F、分層編碼部分42F、 存儲部分43F和本地解碼器部分44F執行與上述的差值計算部分41B、分層 編碼部分42B、存儲部分43B和本地解碼器44B相同的處理。因而，按照與 背景圖像相同的方式，對象被分層編碼並供應給MUX32 (參見圖7)。當存 在多個對象時，差值計算部分41F、分層編碼部分42F存儲部分43F和本地 解碼部分44F以上述方式對多個對象分層編碼。
附加信息提供給VLC (可變長度編碼)部分45。 VCL部分45按照可變 長碼編碼方法對附加信息進行編碼，並把編碼的附加信息供應給MUX32 (參 見圖7)。
下面結合附圖9將說明由圖8所示的編碼部分31所執行的分層編碼/解碼。
假定較低層次的2x2像素(水平x垂直)的四個像素的平均值被視為較 高層次的一個像素(像素值)，並且假定按三個層次級對一個圖像編碼。在這 種情況下，對於考慮到如圖9 (A)所示的8x8個像素的最低層次級中的一個 圖像，計算2x2個像素的左上部分的四個像素h00、 h01、 h02和h03的平均 值m0 。該平均值被m0視作第二層次級的左上部分的一個像素。計算最低 層次級的右上部分的四個像素h10、 hll、 hl2和hl3的平均值ml。計算最低 層次級的左下部分的四個像素h20、 h21、 h22和h23的平均值m2。計算最低 層次級的右上部分的四個像素h30、 h31、 h32和h33的平均值m3。平均值 ml、 m2和m3被分別-見作第二層次級的右上部分、左下部分和右上部分上的 像素。此外，計算第二層次級的2x2像素的四個像素m0、 ml、 m2和m3的 平均值q。該平均值被視作是最高層次級的第三層次級的一個象素。
根據上述的分層編碼，最高層次級中的圖像的空間解析度是最低的。圖 像的空間解析度與層次級成反比。換句話說，最低層次級中的圖像的空間分 辨率是最高的。
在所有象素hOO至h03、 hlO至hl3、 h20至h23、 h30至h33、 m0至m3
和q被發送的情形下的數據量大於僅由較高層次級的象素m0至m3和q發送 最低層次級的圖像情形下的數據量。
因此，如圖9(B)所示，第三層次級的象素q被發送，而不是例如第 二層次級的象素m0至m3的右下位置上的像素m3被發送。
此外，如圖9(C)所示，發送第二層次級的象素m0,而不是發送例如 最低層次級的象素m0至m3的右下位置上的像素h03。同樣，第二層次級的 剩餘像素ml、 m2和q被發送，而不是發送第一層次級的象素h13、 h23和 h33。儘管像素q不是第二層次級的一個像素，但它被發送，而不是發送直接 從像素h30至h33得到的像素m3。因而，發送像素q，而不是發送替代像素 h33的像素m3。
因而，如圖9(C)所示，發送的像素數目變成4x4像素16像素。因 此發送的像素數目相同於僅僅發送圖9( A )所示的最低層次級的象素的情況。 在這種情況下，發送的數據量可以避免增加。
替代像素q發送的像素m3以及替代像素m0至m3發送的像素h03、hl3、 h23和h33可以按下述方式被解碼。
換言之，由於q是m0至m3的平均值，因此滿足等式q = (m0+ml+m2+m3 ) /4。因此可以相應於等式m3=4xq — (m0+ml+m2)用第 三層次級的象素q和第二層次級的象素m0至m2獲得(解碼)第二層次級的 象素m3。
此外，由於m0是h00至h03的平均值，因此滿足等式 m0=(h00+h01+h02+h03)/4。因此，相應於等式h03=4xm0 - ( h00+h01+h02 )， 可以用第二層次級的象素mO和第一層次級的象素h00至h02獲得第一層次 級的象素h03。按相同的方式，可以獲得hl3、 h23和h33。
因此，在未在一個特定層次級中發送的像素可以用該層次級中發送的像 素和上一級的層次級的一個像素來解碼。
下面將結合圖10所示的流程圖說明圖7所示的發送處理部分16的發送 處理。
在步驟S21，在發送處理部分16中，控制部分35確定接收設備2是否 已經發送控制信號。當步驟S21的確定結果表明控制信號還未從接收設備2 發送(即，控制部分35還未接收到該控制信息)時，流程前進到步驟S22。 控制部分35控制MUX32選擇背景圖像、對象和附加信息的編碼數據，並多
路復用它們，以使接收設備2可以用正常的時間解析度(例如， 一個默認時間解析度)顯示一個圖像。
當正常的時間解析度是例如30幀/秒時，MUX32選擇背景圖像、對象和 附加信息的編碼數據，多路復用該編碼數據，和輸出該多路復用的數據，以 使該圖像用按傳送路徑3的傳送速率發送多路復用數據的最大時間解析度來 顯示。
實際上，例如，在按三個層次級執行分層編碼的情況中，當(只有)第 三層次級的數據以傳送路徑3的傳送速率發送時，選擇背景圖像、對象和附 加信息的編碼數據以顯示第三層次級的圖像。因此，在這種情況下，接收設 備2用是原始圖像(第一層次級)的1/4 (水平方向和垂直方向)的空間分辨 率和30幀/秒的時間解析度來顯示一個圖像。
此後，流程前進到步驟S23。在步驟S23,發送部分33發送MUX32經 傳送路徑3輸出的多路復用數據。此後，步驟返回到步驟S21。
當步驟S21上的確定結果表明控制信號已經從接收設備2發送(即，控 制部分35已經接收到該控制信息)時，流程前進到步驟S24。控制部分35 相應於控制信號操縱控制信息輸入部分24,從而認可指定的考慮點。此後， 流程前進到步驟S25。
在步驟S25，控制部分35把具有一個考慮點(矩形框具有在幀水平方向 和垂直方向的平行邊並且考慮點在矩形框的重心上)周圍預定尺寸的矩形那 樣的區域指定為 一個優先權範圍，在該範圍中用優先權改善空間解析度並且 檢測在該優先權範圍中組成圖像的背景圖像、對象和附加信息。
此後，流程前進到步驟S26。在步驟S26,控制部分35控制MUX32選 擇和多路復用背景圖像、對象和附加信息的編碼數據，並多路復用被選擇的 編碼數據以使接收設備2可以用較高的時間解析度顯示該優先權範圍內的圖 像。
換言之，當控制部分35接收來自接收設備2的控制信號時，控制部分 35控制MUX32以犧牲時間解析度為代價來改善優先權範圍內的圖像的空間 解析度。
因此，MUX32用優先權選擇顯示第三層次級的圖像和第二層次級的圖 像所需的背景圖像、對象和附加信息的編碼數據，多路復用被選擇的編碼數 據和輸出該多路復用的數據。 此外，在步驟S26，控制部分35控制MUX32把優先權範圍、大小等等 的位置信息插入到選作多路復用數據的附加信息中。此後，流程前進到步驟 S23。
在步驟S23，如上述的那樣，發送部分33發送MUX32經傳送路徑3輸 出的多路復用數據。此後，流程返回到步驟S21。
為簡單起見，假定在步驟S26上對於作為非優先權範圍中的一個圖像的 第三層次級的一個圖像連續選擇顯示第三層次級的圖像的背景信息、對象和 附加信息的編碼數據，被多路復用的數據量大於在步驟S22上的優先權範圍 內的圖像的第二層次級的數據的情形。根據本發明的實施例，按照上述的方 式以30幀/秒顯示圖像，則僅以傳送路徑3的傳送速率發送第三層次級的數 據。這樣就不能發送步驟S26上獲得的多路復用數據，以便按30幀/秒顯示 圖像。從而，在步驟S23的極端情況下，在步驟S26上獲得的多路復用數據 用0幀/秒的時間解析度發送。
因此，在這種情況下，對於優先權範圍內的圖像，接收設備2所顯示圖 像的水平方向和垂直方向每個的空間解析度為原始圖像(即第一層次級)空 間解析度的1/2。換句話說，接收設備2顯示其水平方向和垂直方向每個的空 間解析度二倍於第三層次級的圖像空間解析度的圖像(第二層次級)。然而， 其時間解析度為0幀/秒。換言之，接收設備2顯示一個靜止圖像。
在發送用於優先權範圍內圖像的第二層次級的數據之後，當步驟S21的 確定結果表明已經再次從接收設備2發送(即，用戶連續操作控制信息輸入 部分24並指定相同的考慮點)控制信號時，流程前進到步驟S24。在步驟S24, 控制部分35認可該相同的考慮點。此後，流程前進到步驟S25。在步驟S25, 控制部分35指定相同的優先權範圍。此後，流程前進到步驟S26。
在步驟S26,控制部分35控制MUX32選擇背景圖像、對象、和附加信 息的編碼數據和多路復用該選擇的編碼數據，以使接收設備2可以顯示具有 較高空間解析度的優先權範圍內的圖像。
在這種情況下，對於優先權範圍內的圖像，用優先權選擇第三層次級和 第二層次級的背景圖像、對象和附加信息的編碼數據。在這種情況下，用優 先權選擇第一層次級的背景圖像、對象和附加信息的編碼數據，並按多路復 用數據輸出。此外，在步驟S26,如上所述，高解析度信息被插入附加信息 中。此後，流程前進到步驟S23。在步驟S23,發送部分33發送MUX32經
說明書第17/73頁
傳送路徑3輸出的多路復用數據。此後，流程前進到步驟S21。
因此，在這種情況下，對於優先權範圍內的圖像，接收設備2顯示具有
與原始圖像(第一層次級)相同的空間解析度的圖像。換句話說，接收設備
2顯示具有四倍於第三層次級的圖像的空間解析度(水平方向和垂直方向的 每個中的)的圖像。然而，時間解析度例如為0幀/秒。換言之，接收設備2 顯示一個靜止圖像。
因而，當用戶連續操作控制信息輸入部分24和指定相同的考慮點時，對 於含有該考慮點的優先權範圍內的圖像，以圖像的時間解析度為代價藉助優
先權發送改善了空間解析度的數據。因而，儘管圖像的時間解析度惡化，但 含有考慮點的優先權內的圖像的空間解析度得到了改善。因此，優選權範圍 內的圖像被更加清楚地顯示。換句話說，用戶考慮的部分的圖像被更加清楚 地顯示。
因此，圖像數據的發送被控制，以使含有一個考慮點的特定優先權範圍 內的圖像的空間解析度和時間解析度在按傳送路徑3傳送速率發送的圖像數 據的解析度範圍內變化。換句話說，圖像數據的發送被控制，以使優先權範 圍內的圖像的空間解析度得到改善和使該圖像的時間解析度惡化。因而，借 助於按傳送路徑3的傳送速率發送的圖像數據獲得改善的空間解析度解析度 和惡化的時間解析度。結果，在一個限制的傳輸速率上，接收設備2所顯示 的圖像的空間解析度可以進一步得到改善。
下面圖11示出了圖5所示的接收處理部分21的結構實例。 接收部分51經傳送路徑3接收多路復用的數據。在多路復用數據被解調 後，供給DMUX (解復用器)52。 DMUX52把從接收部分51接收的多路復 用數據分解成背景圖像、對象和附加信息的編碼數據，和把分解的數據供應 給解碼部分53。解碼部分53把背景圖像、對象和附加信息的編碼數據解碼 成它們的原始數據並輸送給組合處理部分22 (參見圖5)。
換言之，圖12示出了圖11所示的解碼部分53的結構實例。 作為背景圖像的編碼數據的分層編碼差值數據被供應給加法裝置61B。 此外，已經解碼並存儲在存儲部分62B中的前一幀的一個背景圖像也送給加 法裝置61B。加法裝置61B將背景圖像的差值數據和自存儲部分62B接收的 前一幀的背景圖像相加，以便對一個預期層次級的背景圖像進行解碼。該解 碼的背景圖像被供應給存儲部分62B。存儲部分62B存儲從加法裝置61B接
收的背景圖像。該解碼的背景圖像被供應給加法裝置61B和組合處理部分22 (參見圖5)。
作為對象編碼數據的分層編碼差值數據被供應給加法器61F。加法裝置 61F和存儲部分62F ^丸行與加法裝置61B和存儲部分62B相似的處理。從而， 按照與背景圖像相同的方式，把對象的差值數據解碼為預期的層次級的對象， 然後供應給組合處理部分22 (參見圖5)。當存在多個對象時，加法部分61F 和存儲部分62F對多個對象的差值數據進行解碼(分層解碼)。
作為附加信息編碼數據的用可變長度碼編碼的附加信息被供應給反向 VLC部分63。反向VLC部分63用可變長度編碼對該附加信息進行解碼。從 而獲得原始附加信息，並供應給組合處理部分22。
圖8所示的本地解碼器44B被構成為加法裝置61B和存儲部分62B。同 樣，本地解碼器44F ^^皮構成為加法裝置61F和存〗諸部分62F。
圖13示出了圖5所示的組合處理部分22的結構實例。
解碼部分53輸出的背景圖像(參見圖1 )被供應給背景圖像寫入部分71。 解碼部分53輸出的對象被供應給對象寫入部分72。解碼部分53輸出的附加 信息被供應給背景圖像寫入部分71、對象寫入部分72和組合部分77。
背景圖像寫入部分71連續地把背景圖像寫入背景圖像存儲器73。當一 個圖像是在攝像機搖鏡頭或傾斜情況下拍攝的時，背景圖像是移動的。在此 點，背景圖像寫入部分定位該背景圖像，然後把定位的背景圖像寫入背景圖 像存儲器73。因此，背景圖像存儲器73可以存儲一個在空間上寬於一幀的 圖像的圖像。背景圖像是相應於包含在附加信息中的一個背景圖像移動矢量 來定位背景圖像的。
當背景圖像寫入部分71把具有高空間解析度的背景圖像寫入背景圖像 存儲器73時，背景圖像寫入部分71相應於從0至1的背景圖像的像素來改 變按背景圖像標誌存儲器74的地址所存儲的背景圖像標誌的數值。當背景圖 像寫入部分71把一個背景圖像寫入背景圖像存儲器73時，背景圖像寫入部 分71核對背景圖像標記存儲器74。背景圖像寫入部分71不將一個具有低空 間解析度的背景圖像寫入其背景圖像標誌是1 (表明該像素存儲具有高空間 解析度的一個背景圖像)的一個像素上。因而，大體上，不論背景圖像何時 供應給背景圖像寫入部分71,都被寫入到背景圖像存儲器73。然而，背景圖 像寫入部分71並不把具有低空間解析度的背景圖像寫入到存儲具有高空間
解析度的背景圖像的像素上。結果，無論高空間解析度的背景圖像何時供應 給背景背景圖像寫入部分71,都使高空間解析度的範圍在背景圖像存儲器內 變寬。
對象寫入部分72連續地把所供給的對象寫入到對象存儲器75上。當存 在多個對象時，對象寫入部分72把每個對象寫入到對象存儲器75。當對象 寫入部分72把相同的對象(分配相同的標誌)寫入到對象存儲器75時，對 象寫入部分72用新對象(新近供應給對象寫入部分72的對象)替代舊對象。
此外，當對象寫入部分72把高空間解析度的一個對象寫入到對象存儲器 75時，對象寫入部分72相應於從0到1的對象的像素改變按對象標識存儲 器76的一個地址存儲的一個背景圖像標誌。當對象寫入部分72把對象寫入 到對象存儲器75時，對象寫入部分72核對對象標誌存儲器76。對象寫入部 分72不把具有低空間解析度的對象寫入到存儲高空間解析度的對象(對象標 志=1 )的對象存儲器75上。以背景圖像存儲器73相同的方式，無論對象何 時供給對象寫入部分72，都將該對象寫入到對象寫入部分72。然而，對象寫 入部分72不把低空間解析度的對象寫入到存儲高空間解析度的對象的一個 象素上。結果，無論高空間解析度的對象何時被供應給對象寫入部分72，高 空間解析度的對象的數目在對象存儲器75中遞增。
背景圖像存儲器73存儲從背景圖像寫入部分71供應的背景圖像。背景 圖像標誌存儲器74按背景圖像存儲器73的一個地址存儲上述的一比特背景 圖像標誌。背景圖像標誌存儲器74表示高空間解析度的背景圖像是否已經被 存儲在背景圖像存儲器73的一個地址上。對象存儲器75至少包括一個存儲 從對象寫入部分72供給的每個對象的存儲器部分。對象標誌存儲器部分76 存儲上述的一比特對象標誌，該標誌代表一個高空間解析度的對象是否已經 存儲在對象存儲器75中。
在這種情況下，為簡單起見，背景圖像標誌和對象標誌是一比特標誌。 另一方面，背景圖像標誌和對象標誌可以是多比特標誌。在此情況下，背景 圖像標誌和對象標誌可以代表多等級解析度。換句話說， 一比特標誌只代表 高解析度和低解析度這兩個等級。然而， 一個多比特標誌代表多等級解析度。
組合部分77相應於附加信息中含有的一個背景圖像移動矢量讀出背景 圖像存儲器73中存儲的當前幀(該幀可以被稱之為考慮幀)的背景圖像。此 外，組合部分77相應於附加信息中含有的一個對象移動矢量來組合該背景圖
像和對象存儲器75中存儲的一個對象。結果，組合部分77生成一個考慮幀 的圖像，並把該圖像供給一個顯示存儲器78。
此外，組合部分77接收來自控制信息輸入部分24 (參見圖5 )的控制信 息時，組合部分77從對象存儲器75中讀出該控制信息中含有的考慮點上的 一個對象，並把該對象供給子窗口存儲器79。
顯示存儲器78作為一個所謂的VRAM (視頻只讀存儲器)。顯示存儲器 78暫時存儲組合部分77供給的考慮幀的圖像。
子窗口存儲器79暫時存儲組合部分77供給的一個對象。
疊加部分80讀出顯示存儲器78的存儲內容，並把存儲的內容供給圖像 輸出部分23 (參見圖5)。圖像輸出部分23顯示該存儲的內容。必要時，疊 加部分80打開圖像輸出部分23上的子窗口 (下文將進行說明)，讀出子窗口 存儲器79的存儲內容，並在該子窗口上顯示該內容。
下面，結合圖14將說明圖13所示的組合處理部分22所執行的處理(組 合處理)。
首先，在步驟S31,背景圖像寫入部分71或對象寫入部分72分別相應 於背景圖像標誌存儲器74以上述方式所存儲的背景圖像標誌或對象標誌存 儲器75以上述方式所存儲的對象標誌將解碼部分53 (參見圖12)供給的一 個背景圖像或一個對象寫入相關存儲器。
換言之，背景圖像寫入部分71核對背景圖像標誌存儲器74,並且把供 給的背景圖像寫入到背景圖像存儲器73的該地址上，此時與該地址相對應的 象素的背景圖像標誌為0。相反，如果供給的背景圖像的空間分辨很高時， 背景圖像寫入部分71把該背景圖像寫入背景圖像存儲器73的一個地址上， 此時對應該地址的象素的背景圖像標誌為1。
同樣，當對象存儲器75的對象標誌為0時，對象寫入部分72將供給的 對象寫入到對象存儲器75。當對象存儲器75的對象標誌為1時，如果供給 的對象的空間解析度很高時，對象寫入部分72將供給的對象寫入到對象存儲 器75。
當背景圖像寫入部分71將背景圖像寫入到背景圖像存儲器73的 一個特 定地址時，如果該地址已經存儲了一個背景圖像，則背景圖像寫入部分71將 該背景圖像覆蓋寫到該地址上。該處理也適用於對象存儲器75。
此後，流程前進到步驟S32。在步驟S32,背景圖像寫入部分71和對象
寫入部分72確定附加信息是否含有高解析度信息。當步驟S32上的確定結果 表明附加信息含有高解析度信息(即，用戶已經操作控制信息輸入部分24(參 見圖5)、合成控制信息已經發送給發送設備，以及發送設備1隨後已經為優 先權範圍內的一個圖像發送高空間解析度的 一個背景圖像和一個對象)時， 流程前進到步驟S33。在步驟S33,背景圖像寫入部分71或對象寫入部分72 將背景圖像標誌存儲器74的背景圖像標誌或對象標誌存儲器76的對象標誌 改變為1。
換句話說，當發送設備1為優先權範圍內的一個圖像發送具有高空間分 辨率的一個背景圖像和一個對象時，在步驟S31,背景圖像寫入部分71和對 象寫入部分72將具有高空間解析度的背景圖像和對象分別寫入背景圖像存 儲器73和對象存儲器75。因而，在步驟S33，組成具有高空間解析度的背景 圖像和對象的 一個象素的背景圖像標誌和對象標誌被改變為1 。
此後，流程前進到步驟S34。組合部分77從對象存儲器75中讀出優先 權範圍內的一個對象，並把該對象寫入子窗口存儲器79。
換句話說，當步驟S32上的確定結果表明附加信息含有高解析度信息時， 則表示用戶已經操作了控制信息輸入部分24(參見圖5)、控制信息已經被發 送給發送設備1、以及發送設備1隨後為優先權範圍內的一個圖像已經發送 具有高解析度的一個背景圖像和一個對象。發送給發送設備1的控制信息還 供應給組合部分77。因而，當組合部分77接收控制信息時，在步驟S34上 組合部分77相應於控制信息中含有的考慮點的坐標認同(recognize)其優先 權範圍，從對象存儲器75中讀出發送設備l已經發送的該優先權範圍內的高 空間解析度對象，並把該對象寫入到子窗口存儲器79。
此後，流程前進到步驟S35。在步驟S35,組合部分77相應於附加信息 中含有的背景圖像移動矢量從背景圖像存儲器7 3讀出顯示的當前幀(該幀被 稱之為考慮幀)的背景圖像。此外，組合部分77從對象存儲器75讀出關於 該考慮幀的所顯示的一個圖像。組合部分77相應於附加信息內含有的對象移 動矢量將該考慮幀的背景圖像與從對象存儲器75讀出的對象相組合，並把該 考慮幀的組合圖像寫入到顯示存儲器78。換言之，組合部分77將一個背景 圖像寫入到(例如)顯示存儲器78，隨後將一個對象覆蓋寫到顯示存儲器78 上。結果，組合部分77將一個背景圖像和一個對象被組合為一個考慮幀圖像 的一個圖像寫入到顯示存儲器78上。
在這種方式中，寫入到顯示存儲器78考慮幀的圖像和寫入到子窗口存儲
器79的一個對象被供應給圖像輸出部分23 (參見圖5)。圖像輸出部分23顯 示供給的圖像和對象。
在發送設備l中，所謂的軟健可以被包含在例如附加信息中。在這種情 況下，組合部分77使用軟健將對象和背景圖像相組合。
相反，當步驟S32上的確定確定結果表明附加信息不包含高解析度信息 (即，用戶未操作控制信息輸入部分24 (參見圖5))，流程前進到步驟S35, 跳過步驟33和34。如上所述，組合部分77從背景圖像存儲器73中讀出考 慮幀的一個背景圖像。此外，組合部分77從對象存儲器75中讀出一個所需 對象，並相應於附加信息將考慮幀的背景圖像與從對象存儲器75中讀出的對 象相結合。結果，生成一個考慮幀的圖像，並將其寫入到顯示存儲器78。此 後，流程返回到步驟S31。然後，組合處理部分22重複相似的處理。
在上述組合處理中，當用戶未操作控制信息輸入部分24(參見圖5 )(即， 由諸如沒有被拖動(或點擊)的滑鼠的指點裝置組成的控制信息輸入部分24 ) 時，如圖15 (A)所示，低空間解析度的圖像在圖像輸出部分23 (參見圖5) 上用一個默認時間解析度顯示。在圖15 (A)中，低空間解析度的圖像在低 空間解析度的背景圖像上移動。
當用戶操作控制信息輸入部分24 (參見圖5)時，把光標移動到對象， 並把該光標拖動到對象的位置上，像上所述的那樣，將控制信息發送給發送 設備1。發送設備1以時間解析度為代價為一個優先權範圍內的圖像發送顯 示高空間解析度圖像所需的數據。結果，如圖15 (B)所示的那樣，儘管時 間解析度為(例如)0幀/秒，但在圖像輸出部分23 (參見圖5)上顯示出圍 繞拖動位置的優先權範圍內的一個對象和一個背景圖像的空間解析度被逐漸 改善的圖像。換句話說，相應於拖動時間(或點擊的數目)，在優先權範圍內 的圖像的空間解析度被逐漸改善。
在此情況下，如圖15 (B)所示，在圖像輸出部分23 (參見圖5)上打 開一個子窗口 。圍繞拖動位置的優先權範圍內的一個對象按照對象的空間分 辨率被逐漸改善的方式來顯示。
此後，當用戶用控制信息輸入部分24 (參見圖5)停止拖動操作時，如 上述的那樣，在步驟S35上組合部分77從背景圖像存儲器73讀出考慮幀的 一個背景圖像，從對象存儲器75讀出一個對象，相應於附加信息將考慮幀的
背景圖像與從對象存儲器75中讀出的對象相組合，並將該組合圖像寫入到顯
示存儲器78。如上述的那樣，由於作為拖動操作結果的高空間分辨的對象被 存儲在對象存儲器75中，圖像輸出部分23 (參見圖5)用圖15 (C)所示的 常規時間解析度顯示在考慮幀的相關位置上粘貼作為拖動操作結果的具有高 空間解析度的 一個對象的圖像。
此後，圖像輸出部分23 (參見圖5)用常規時間解析度顯示相應於附加 信息移動的高空間解析度的一個對象的圖像。
因而，當用戶執行在他或她要仔細觀看的對象的位置上的拖動操作時， 他或她可以觀看具有高空間解析度的對象。換句話說，用戶可以詳細觀看一 個對象。
當用戶執行拖動操作時，優先權範圍內的高空間解析度的背景圖像被存 儲在背景圖像存儲器73。因而，即使用戶停止拖動操作，也顯示背景圖像存 儲器73內存儲的高空間解析度的背景圖像。因而，當用戶執行拖動操作時， 由於圍繞拖動位置的優先權範圍內的背景圖像被改善，因此無論用戶何時執 行在圖像輸出部分23 (參見圖5)的顯示屏幕的每個位置上的拖動操作，高 空間解析度的背景圖像按一個鑲嵌模式逐漸展寬。最後，圖像輸出部分23顯 示整個高空間解析度的背景圖像。
此外，根據該實施例，如上所述，由於一個背景圖像被存儲在背景圖像 存儲器73中，因此發送設備1不需要發送一個已經發送的具有低空間解析度 的一個背景圖像。因而，背景圖像的傳送帶寬(傳送速率)可以分配給高空 間解析度的一個對象和一個背景圖像。
在上述情況下，作為拖動操作結果的高空間解析度的對象被存儲到對象 存儲器75。停止拖動操作後，該高空間解析度的對象被粘貼到背景圖像上。 因而，由接收設備2所顯示的一個對象的空間解析度變得高了。然而，發送 設備1所拍攝的對象的狀態不對接收設備2所顯示的對象發生影響。
為了解決這一問題，在停止拖動操作後，存儲在對象存儲器75中的高空 間解析度的一個對象可以用解碼部分53 (參見圖12)的存儲部分62F中存儲 的一個對象替代，而忽略對象標誌。換句話說，發送設備1發送的對象被連 續存儲到解碼部分53 (參見圖12)的存儲部分62F上。因而，當對象被寫入 到對象存儲器75時，圖像輸出部分23上顯示的一個圖像的對象受發送設備 l拍攝的對象的狀態影響(然而，該對象的空間解析度降低)。
包括發送設備1的發送處理部分16的圖7所示的MUX32在控制部分 35的控制下將高解析度信息的有/無、對應於該高解析度信息的優先權範圍內 的一個幀速率(時間解析度)和一個空間解析度、以及非優先權範圍內的一 個幀速率和一個空間解析度放置到多路復用數據的一個首部或類似物上。接 收設備2相應於該首部(header)內放置的信息(在下文中將該信息稱作首部 信息)認同高解析度信息的有/無、優先權範圍內的幀速率和空間解析度、以 及非優先權範圍內的幀速率和空間解析度。
在發送設備1中，首部信息可以包含例如接收設備2發送的控制信息中 所含有的考慮點的(坐標)。在該情況下，圖13所示的組合部分77可以相應 於發送設備1所發送的首部信息認同一個考慮點位置上的一個對象。換句話 說，在上述情況中，組合部分77相應於控制信息輸入部分24 (參見圖5)供 給的控制信息認同控制信息中含有的考慮點位置上的一個對象，從對象存儲 器75中讀出對象，並把該對象供應給子窗口存儲器79。然而，當首部信息 含有一個考慮點時，組合部分77相應於該首部信息認同該考慮點一個位置上 的一個對象。在此情況下，在圖5中，控制信息輸入部分24不需要把該控制 信息供應給接收設備2。
下面，結合圖16說明發送設備1經傳送路徑3向接收設備2發送的一個 圖像的空間解析度與時間解析度之間的關係。
假定傳送路徑3的傳送速率為R (bps)以及發送了由一個背景圖像和三 個對象#1至#3組成的一個圖像。為簡便起見，在該實施例中不考慮附加信 息。此外，假定為了顯示具有特定空間解析度的背景圖像和對象#1至#3, 它們的每個需要相同的數據量。
在此情況下，當用戶不執行拖動操作時，在發送設備l中，如圖16(A) 所示，按傳送速率R除以4的R/4[bps]發送背景圖像和對象弁l至並3。當常 規時間解析度為1/T幀/秒時，發送設備l在至多T秒的時間內可以發送背景 圖像和對象#1至#3的每個的一幀數據。因而，在此情況下，接收設備2顯 示用每幀TxR/4比特的數據獲得的一個空間解析度的背景圖像和對象#1至 #3。
當用戶執行在例如對象#1的位置上的拖動操作時，如圖16 (A)所示， 發送設備1停止發送背景圖像和對象#2和#3,並以傳送路徑3的整個傳送 速率R僅發送對象# 1 。此後，在從時間tl經過時段4T的時間t2上，當用
戶停止拖動操作時，發送設備1按每個傳送速率R/4來發送背景圖像和對象 # 1至#3。
因而，在用戶執行拖動操作的時候，發送設備1為對象#1發送4TxR 比特的數據。因此，^假定用戶執行拖動操作時，時間解析度為0幀/秒，則接 收設備2顯示用每幀4TxR比特的數據獲得的一個空間解析度的對象# 1。換 句話說，為相同量改善水平空間解析度和垂直空間解析度時，儘管時間分辨 率變為0幀/秒，但接收設備2顯示是用戶不執行拖動操作的情況的四倍(= (4TxR/(TxR/4比特)))的水平方向和垂直方向的每個中的一個空間解析度 的對象#1。
換句話說，該空間解析度的對象可以以犧牲時間解析度為代價得到改善。 此外，與犧牲時間解析度的情況相比較，用戶考慮的部分的空間解析度可以 快速改善。
在上述情況下，當用戶為對象#1執行拖動操作時，不發送背景圖像和 其它對象# 1和#3的所有數據。然而，如圖16(B)所示，可以把較高傳送 速率分配給對象#1的數據，而較低傳送速率可以分配給背景圖像和其它對 象#2和#3的數據。
另一方面，即使執行了拖動操作，分配給背景圖像和對象#1至#3的每 個的傳送速率也不會從R/4變化。換句話說，在此情況下，由於以時間分辨 率為代價改善空間解析度，(例如)儘管花費長時間顯示數據，因此可以改善 空間解析度，而不需要改變傳送速率。
根據該實施例，如上所述，作為拖動操作結果的具有高空間解析度的一 個對象被存儲在對象存儲器75中。在拖動操作停止後，高空間解析度的對象 被粘貼到一個背景圖像上。然而，粘貼高空間解析度的對象的背景圖像的位 置取決於發送設備1發送的對象附加信息中含有的一個對象移動矢量。
因而，接收設備2將應當相應於什麼樣的一個相鄰幀的對象來認同什麼 樣的一個特定幀的對象。因此，當發送設備1的對象提取部分14(參見圖3) 提取一個對象時，對象提取部分14將允許接收設備2將執行這樣一個認同操 作的信息加到附加信息上。
圖17示出了圖3所示的對象提取部分14的結構實例。
圖像輸入設備11輸出的一個圖像和背景圖像提取部分13輸出的一個背 景圖像被供應給一個減法部分81。減法部分81從圖像輸入部分輸出的圖像
中減去背景圖像提取部分13輸出的背景圖像，和獲得作為 一個對象的一個前 景圖像。減法部分81獲得的前景圖像被供應給幀存儲器82和初始區域劃分
部分83。
幀存儲器82暫時存儲減法部分81所供給的前景圖像。初始區域劃分部 分83使用減法部分81供給的處理的當前幀(該幀被稱作考慮幀)的前景圖 像和幀存儲器82中存儲的前一幀的前景圖像(該前景圖像被稱作在前幀的前 景圖像)執行初始區域劃分處理。
換句話說，初始區域劃分部分83相應於象素值按類別歸類組成考慮幀的 前景圖像的每個象素。實際上，當一個象素值由RGB (紅、綠、藍)表示時， 初始區域劃分部分83根據由R、 G、 B值的要素組成的一個矢量(該矢量可 稱之為顏色矢量)與該RGB空間中的多個小區域之間的關係按類別歸類每個 象素。此外，初始區域劃分部分83以相同的方式按類別歸類包括幀存儲器 82中存儲的前一幀的前景圖像的每個象素。
當考慮幀是例如第n幀時，初始區域劃分部分83把第n幀的前景圖像和 前一幀的第(n-l)幀的前景圖像劃分成時間上和空間上相鄰的並按相同類別 歸類的多個象素組成的區域。
換句話，例如，假定組成第n幀的前景圖像的每個象素和組成第(n-l ) 幀的前景圖像的每個象素如圖18 (A)所示按類別歸類。在圖18中(還在圖 19和圖20中)， 一個矩形中包含的一個字符C和一個數字的一個組代表一個 象素的類別。
在圖18 (A)所示的情況中，當第n幀的前景圖像和第(n-l )幀的前景 圖像被劃分成由按相同類別歸類的多個象素組成的多個區域時，形成圖18 (B)所示的虛線所代表的初始區域。
初始區域劃分部分83所獲得的初始區域被供應給圖17所示的區域拼接 部分84。
區域拼接部分84執行區域邊界處理，對初始區域劃分部分83所供給的 初始區域進行邊界處理。
換句話說，區域拼接部分84從對象信息存儲器88中讀出第(n-l)幀中 包含的一個對象的對象信息，並認同第(n-l )幀中包含的對象的位置和範圍。 此外，區域拼接部分84認同組成第(n-l)幀中所含有的對象的象素，並拼 接含有象素的初始區域。
實際上，例如，假定在圖19 (A)所示的實線表示的一個範圍(一個方
框)內包含一個特定的對象Obj ，該對象Obj由被歸類為類別c2、 c3、 c4和 c5的諸多象素組成。包含這些象素的初始區域被拼接。因而，在該實例中， 由類別c2、 c3、 c4和c5的象素組成的初始區域(在下文中，類別c射的象素 組成的初始區域被稱之為初始區域c#i)被拼接為圖19 ( B )所示的陰影區域。
此外，區域拼接部分84計算拼接的初始區域(以下可以稱之為拼接區域) 與鄰近該拼接區域的初始區域之間的距離。在該實例中， 一個拼接區域與一 個鄰近的初始區域(以下可以稱之為鄰近初始區域)之間的距離可以是包括 兩個區域(拼接區域和鄰近初始區域)的象素的象素值(顏色)的平均值的 距離(該距離可以被稱之為RGB空間的距離)或兩個區域的邊界附近中的象 素的象素值(顏色)的連續性。
當拼接區域與鄰近初始區域之間的距離小於(或等於) 一個預定閾值時， 區域拼接部分84拼接拼接區域和鄰近初始區域，並生成一個新的拼接區域。 區域拼接部分84計算上述的距離，並重複拼接鄰近初始區域和拼接區域直至 沒有可以被拼接成拼接區域的鄰近初始區域為止。
因而，用圖19 (B)所示的4並^接區域形成(例如)圖19 (C)所示的一 個拼接區域。在圖19C中，由於初始區域c7與c8之間的距離接近，它們被 拼接為圖19 (B)所示的拼接區域。相反，由於初始區域cl與c6之間的距 離遠，它們不能被拼接為 一個拼接區域。
當沒有鄰近初始區域可以被拼接成如圖19 (C)所示的拼接區域時，區 域拼接部分84提取由組成第n幀的前景圖像的象素組成的一個部分，作為與 第(n-l)幀的對象Obj相對應的一個對象(該對象可以被稱之為對應對象)，指 定與第n幀的對象Obj的標誌相同的標誌，並把該對象輸出給拼接區域處理 部分85和分離區域處理部分86。
換句話說，根據該實施例，各幀中一致的對象被指定相同的標誌。接收 設備2相應於該標誌認同與鄰近幀的某對象相當的鄰近幀的某對象。
分配給第(n-l)幀的對象Obj的標誌被包含在對象信息中，並存儲在對 象信息存儲器88中。對於對象信息存儲器88,區域拼接部分84認同分配給 第(n-l)幀的對象Obj標誌。
此外，當區域拼接部分84以上述方式提取與第(n-l)幀的所有對象相 對應的第n幀的對象時，區域拼接部分84提取將第n幀的每個初始區域和其
另一個鄰近初始區域拼接為一個對象的一個區域，並^巴一個新標誌(而不是 指定給(n-l)幀的對象的任何標誌)分配給被提取的對象和把被提取的對象
輸出給拼接區域處理部分85和分離區域處理部分86。
拼接區域處理部分85和分離區域處理部分86分別執行一個拼接區域處 理和一個分離區域處理。當拼接對象時執行拼接區域處理。當分離拼接對象 時執行分離區域處理。
換句話說，例如，就第(n-l)幀、第n幀和第(n+l)幀這三個連續幀 而言，如圖20所示，在第(n-l )幀中，對象A和B相互接近。在第n幀中， 對象A和B相互重疊。換句話說，在第n幀中，對象A和B可以被拼接為 一個對象。在此情況下，已被拼接為一個對象的對象A和B按它們的方向連 續移動。在第(n+l)幀中，拼接對象被分離成兩個對象A和B。
在此情況下，在在區域拼接部分84的區域拼接處理中，第n幀的被拼接 對象相當於地(n-l )幀中的對象A和B 二者。相反，第(n + 1 )幀中被分 離的對象A和B相當於第N幀中的一個拼接對象。根據該實施例，假定特定 幀的一個對象相當於前一幀的一個對象。因而，如上所述，最好不用一個對 象相關兩個對象。相反，最好不用兩個對象相關一個對象。
因而，通過用第(n-l)幀的對象A和B的一個計算相關第n幀的一個 ,皮拼接對象，拼接處理部分85執行一個拼接區域處理。通過用第n幀的一個 被拼接對象相關第(n+l )幀的兩個對象A和B之一，分離區域處理部分86 執行分離區域處理。
換句話說，拼接區域處理部分85把與第(n-l)幀的對象A和B之一相 同的標誌分配給第n幀的一個拼接對象。另一方面，分離區域處理部分86把 與第n幀的拼接對象相同的標誌分配給第(n+1 )幀的兩個被分離對象A和B之 一，並把一個新標誌分配給第(n+l)幀的另一個被分離的對象。
作為由拼接區域處理部分85執行的拼接區域處理的結杲的對象提取結 果和作為由分離區域處理部分86執行的分離區域處理的結果的對象提取結 果由區域拼接部分84進行拼接，並供應給一個新區域處理部分87。
當拼接區域處理部分85和分離區域處理部分86的對象提取結果含有一 個新對象時，新區域處理部分87執行新對象的新區域處理。
有三種類型的對象，它們在拼接區域處理部分85和分離區域處理部分 86的對象提取結果中被分配新標誌。第一類型的對象是這樣一種對象由於
對象移動快並且該對象不在考慮幀和前一幀內空間重疊，因此區域拼接部分 84不提取像前一幀的對應對象那樣的考慮幀的對象。第二類型的對象是這樣
一種對象由於前一幀的對應對象與另一對象拼接，因此分離區域處理部分 86不可能用前一幀的對應幀相關考慮幀的對象。第三類型的對象是這樣一種 對象由於在考慮幀中出現一個新對象，因此分配一個新標誌給該新對象。
在這三種類型的對象中，一個新標誌應當被分配給第三類型的一個對象。 因而，對於第一和第二類型的對象，新區域處理部分87從前一幀中檢測一個 對應對象，並將和考慮幀對象相同的標誌再分配給前一幀的對應對象。
事實上，新區域處理部分87核對對象信息存儲器88，認同考慮幀的幾 個過去幀的對象，和獲得被認同對象的每個與考慮幀的考慮對象之間的距離， 該考慮對象被分配一個新標誌。像對象之間的距離那樣，也可以使用對象的 特徵量之間的距離。對象特徵量的實例是對象的一個區域、 一個由對象的每 個象素組成的輪廓線的切線方向的條形圖(例如，沿上、下、左、右、左上、 左下、右上和右上八個方向的每個方向的條形圖)、和對象的一個移動矢量。
新區域處理部分87獲得被認同對象與考慮對象之間的距離的最小值。當 最小值小於(或等於)預定閾值時，新區域處理部分87把具有距考慮對象最 小距離的一個對象處理為與考慮對象相對應的一個對象，把與獲得的對象的 標誌相同的標誌分配給考慮對象，和輸出該考慮對象。當認同對象與考慮對 象之間的距離的最小值不小於預定閾值(即，沒有這樣的對象，其相距考慮 對象的距離在過去幀中是短的)時，新區域處理部分87把該考慮對象處理為 考慮幀中新近出現的一個對象，把一個新標誌分配給該考慮幀，和輸出該考 慮幀。
新區域處理部分87的輸出被供應給附加信息計算部分15 (參見圖3 )和 發送處理部分16 (參見圖3)。此外，新區域處理部分87的輸出被供應給對 象信息存儲器88。對象信息存儲器88暫時存儲一個對象(該對象的位置和 尺寸(輪廓)、組成該對象的象素的象素值等)和作為對象信息分配的一個標
志o
下面結合圖21所示的流程圖說明從一個圖像提取一個對象的對象提取 處理。對象提取處理由圖17所示的對象提取部分14執行。
圖像輸出部分11輸出的一個圖像和背景圖像提取部分13輸出的一個背 景圖像被供應給減法部分81。在步驟S41，減法部分81從圖像輸入部分11
輸出的圖像中減去背景圖像提取部分13輸出的背景圖像，獲得作為一個對象 的一個前景圖像。減法部分81獲得的前景圖像被供應給幀存儲器82和初始
區域劃分部分83。幀存儲器82存儲從減法部分81輸出的前景圖像。
另一方面，在步驟S42,初始區域劃分部分83核對考慮幀的前一幀的一 個前景圖像，執行根據圖18所述的初始區域劃分處理，獲得初始區域，並把 獲得的初始區域供應給區域拼接部分84。在步驟S43，區域拼接部分84核對 對象信息存儲器88中存儲的前一幀的對象信息，按照結合圖19所述的方式 為初始區域劃分部分83輸出的初始區域執行區域拼接處理，並提取考慮幀的 一個對象。
區域拼接部分84所提取的對象被供應給拼接區域處理部分85和分離區 域處理部分86。在步驟S44,拼接區域處理部分85或分離區域處理部分86 按照結合圖20所述的方式執行拼接區域處理或分離區域處理，把處理的結果 輸出給新區域處理部分87。
在步驟S45,新區域處理部分87為拼接區域處理部分85和分離區域處 理部分86的輸出執行上述的新區域處理。因而，新區域處理部分87輸出考 慮幀的最終對象提取結果。對象的提取結果被供應給附加信息計算部分15(參 見圖3 )和發送處理部分16 (參見圖3 )。此外，對象的提取結果被供應給對 象信息存儲器88並存儲在其中。
此後，流程返回到步驟S20，在此步驟上，下一幀被指定為一個新考慮 幀。然後對象提取部分14重複相似的處理。
下面結合圖22所示的流程圖詳細說明在圖21的步驟S43上由區域拼接 部分84執行的區域拼接處理。
在區域拼接處理中，首先，在步驟S51上，區域拼接部分84核對關於在 考慮幀的前一幀(在前幀)中含有的一個對象的對象信息，把在前幀的對象 處理為一個考慮對象。在步驟S51上，使用考慮對象，如圖19 (B)所示， 區域拼接部分84拼接初始區域劃分部分83輸出的初始區域，形成一個拼接 區域。
此後，流程前進到步驟S52。在步驟S52,區域拼接部分84搜索鄰近拼 接區域的 一個初始區域(該初始區域可以稱之為鄰近初始區域)。此後，流程 前進到步驟S53。在步驟S53,區域拼接部分84計算拼接區域與考慮的初始 區域之間的距離。此後，流程前進到步驟S54。在步驟S54,區域拼接部分
8 4確定區域間的距離是否小於 一 個預定的閾值。
當步驟S54上的確定結果表明拼接區域與考慮的初始區域之間的距離小 於預定的閾值時，流程前進到步驟S55。在步驟S55,區域拼接部分84把考 慮的初始區域拼接到拼接區域，從而形成一個新的拼接區域。此後，流程前 進到步驟S56。
相反，當步驟S54上的確定結果表明拼接區域與考慮的初始區域之間的 距離不小於預定的閾值時，流程前進到步驟S56，跳過步驟S55。換句話說， 區域拼接部分84不把考慮的初始區域拼接到拼接區域。在步驟S56,區域拼 接部分84確定鄰近拼接區域的所有初始區域是否已經都被搜索。當步驟S56 上的確定結果表明鄰近拼接區域的所有初始區域還未被搜索時，流程返回到 步驟S52。在步驟S52，區域拼接部分84搜索未被搜索到的鄰近初始區域。 此後，區域拼接部分84重複相似的處理。
時，流程前進到步驟S57。在步驟S57,區域拼接部分84確定在前幀中含有 的所有對象的每個是否已經被指定為考慮對象。當步驟S57上的確定結果表 明在前幀中含有的所有對象的每個都未被指定為考慮對象時，流程返回到步 驟S51。在步驟S51,區域拼接部分84把在前幀中含有的一個對象指定為考 慮對象，然後為新近考慮的對象重複相似的處理。
相反，當步驟S57上的確定結果表明在前幀中含有的所有對象的每個已 經被指定為考慮對象時，流程返回到被調用進程。
下面，結合圖23所示的流程圖詳細說明在圖21所示的步驟S44上由拼 接區域處理部分85執行的拼接區域處理。
首先，在步驟S61上，拼接區域處理部分85把處理的一個幀指定為一個 考慮幀，核對對象信息存儲器88,在在前幀的對象在空間上與考慮幀的考慮 對象重疊的條件下認同前一幀(在前幀)中含有的對象數目(即，考慮幀的 在前幀的對象數目)，並把對象的數目調整到一個變量N。
此後流程前進到步驟S62。在步驟S62，拼接區域處理部分85確定變量 N是否為2或是否大於2。當變量N小於2(即，在前幀中不含有空間上與考 慮對象重疊的對象或對象的數目為1)時，流程前進到步驟S65，跳過步驟 S63和S64。
相反，當步驟S62上的確定結果表明變量N等於2或大於2 (即，在前
幀中含有空間上與考慮對象重疊的兩個或多個對象)時，流程前進到步驟S63 。
在步驟S63 ，拼接區域處理部分85計算考慮對象與在空間上和考慮對象重疊 的在前幀的兩個或多個對象的每個之間的距離。此後流程前進到步驟S64。
在步驟S64,拼接區域處理部分85從步驟S63上獲得的對象中選擇具有 到考慮幀最小距離的一個對象，並把和所選擇對象的標誌相同的標誌分配給 考慮對象。
此後，流程前進到標誌S65。在步驟S65,拼接區域處理部分85確定考 慮幀中含有的所有對象的每個是否已經被指定為考慮對象。當步驟S65上的 確定結果表明考慮幀中含有的所有對象的每個還未被指定為考慮對象時，拼 接區域處理部分85把這些對象中的一個指定為考慮幀。此後，流程返回到步 驟S61。在步驟S61,拼接區域處理部分85重複相似的處理。
另一方面，當步驟S65上的確定結果表明考慮幀中含有的所有對象的每 個已經被指定為考慮對象時，流程返回到被調用進程。
下面，結合圖24所示的流程圖詳細說明圖21所示的在步驟S44上由分 離區域處理部分86執行的分離區域處理。
分離區域處理部分86核對對象信息存儲器88並把考慮幀的前一幀(在 前幀)中含有的對象之一指定為一個考慮對象。此外，在步驟S71,分離區 域處理部分86認同與對應於考慮對象的考慮幀的對象數目(認同的對象被稱 之為對應對象)，並把對象的數目調整到變量N。
此後，流程前進到步驟S72。在步驟S72,分離區域處理部分86確定變 量N是否等於2或大於2。
當步驟S72上的確定結果表明變量N不大於2 (即，考慮幀中不含有在 空間上與考慮對象重疊的對象或對象的數目為1)時，流程前進到步驟S76, 跳過步驟S73至S75。
相反，當步驟S72上的確定結果表明變量N等於2或大於2 (即，考慮 幀中含有空間上與考慮對象重疊的兩個或多個對象(對應於考慮對象的對 象))時，流程前進到步驟S73。在步驟S73，分離區域處理部分86計算這些 對象的每個與考慮對象之間的距離。此後，流程前進到步驟S74。
在步驟S74，分離區域處理部分86從這些對象中選擇相距考慮對象具有 最小距離的一個對象，和把與被選擇對象的標誌相同的標誌分配給考慮對象。
此後，流程前進到步驟S75。在步驟S75,分離區域處理部分86把一個 新標誌分配給在步驟S74上未被選擇的對象之一 (即，除相距考慮對象最短
距離的對象以外的對象)。此後，流程前進到步驟S76。
在步驟S76,分離區域處理部分86確定在前幀中含有的所有對象的每一 個是否已經被指定為考慮對象。當步驟S76上的確定結果表明在前一幀中含 有的所有對象的每一個還未被指定為考慮對象時，分離區域處理部分86指定 這些對象之一為考慮對象。此後，流程返回到步驟S71。在步驟S71,分離區 域處理部分86重複相似的處理。
當步驟S76上的確定結果表明在前幀中含有的所有對象的每一個已經被 指定為考慮對象時，流程返回到被調用進程。
在上述情況下，當用戶用控制信息輸入部分24指定一個考慮點時，發送 設備1控制數據的傳送，以便以圖像的時間解析度為代價來改善含有考慮點 的優先權範圍內的一個圖像的空間解析度。另一方面，發送設備l可以學習 用戶的偏愛，相應於學習結果來檢測用戶打算用 一個高空間解析度觀看的一 個對象或類似物，並控制數據的傳送以便用一個高空間解析度顯示該對象。
圖25示出了在發送設備l執行這樣一種控制的情況下圖7所示的控制部 分35的結構實例。
優先權範圍指定部分91接收從接收設備2發送的一個控制信號，按上述 方式指定優先權範圍，並把指定的優先權範圍供應給選擇控制部分92和特徵 量提取部分93。
選擇控制部分92控制MUX32 (參見圖7)的背景圖像、對象和附加信 息的數據選擇。換句話說，當選擇控制部分92從優先權範圍指定部分91接 收到優先權範圍時，選擇控制部分92控制MUX32 (參見圖7)以圖像的時 間解析度為代價改善該優先權範圍內圖像的空間解析度。此外，當選擇控制 部分92接收到來自對象^r測部分95的一個標誌時，選^^控制部分92控制 MUX32 (參見圖7)以圖像的時間解析度為代價改善具有該標誌的對象的空 間解析度。
數據量計算部分34 (參見圖7 )向選擇控制部分92供應MUX32輸出的 多路復用數據的數據速率。選擇控制部分92控制MUX32的數據選擇，使多 路復用的數據速率不超過傳送路徑3的傳送速率。
預處理部分12 (參見圖3)輸出的背景圖像、對象和附加信息，以及優 先權範圍指定部分91輸出的優先權範圍，被供應給特徵量提取部分93。特
徵量提取部分93提取從優先權範圍指定部分91輸出的優先權範圍內的圖像的特徵量。換句話說，特徵量提取部分93提取優先權範圍內含有的對象的特 徵量，使該特徵量反映用戶正在考慮的圖像的趨勢。實際上，例如如圖26所示，特徵量提取部分93提取的特定人的一個對 象的特徵量表示 一個對象是一個人，對象的移動是一致的，對象的景深方 向的位置(景深)是前景，顯示的對象的位置是中央，對象正在移動(對象 是正在移動的一個位置)，對象的區域包含眼睛、鼻子和嘴巴(對象的區域由 眼睛、鼻子和嘴巴組成)，對象的圖案是條紋圖案(對象是一個條紋部分)， 對象的顏色是紅色的(對象是一個紅色部分)。特徵量提取部分93獲得一個提取對象的矢量(具有特徵量的元素)(該 矢量可以被稱之為特徵量矢量)，並將條形圖存儲部分94中存儲的獲得特徵 量矢量的條形圖的頻率遞增1。條形圖存儲部分94把特徵量矢量的條形圖作為用戶偏愛的學習結果進 行存儲。對象檢測部分95從預處理部分12 (參見圖3 )供應的那些對象中檢測一 個對象，以便從條形圖存儲部分94中獲得具有條形圖最高頻率的特徵量矢 量。換句話說，對象檢測部分95按照與特徵量提取部分93相同的方式獲得 一個特徵矢量，用於預處理部分12 (參見圖3)供給的一個對象。此外，對 象檢測部分95核對條形圖存儲部分94中存儲的條形圖，確定預處理部分12 (參見圖3)供給的對象的特徵量矢量是否被包含在具有最高頻率的特徵量 矢量的特徵量矢量空間的一個預定範圍內。當特徵量矢量被包含在預定範圍 內時，對象檢測部分95把該對象指定為用戶打算考慮的對象，並把該對象的 標誌供應給選擇控制部分92。下面，結合圖27所示的流程圖說明MUX32 (參見圖7)的控制處理。 該控制處理由圖25所示的控制部分35執行。首先，在步驟S81,優先權範圍指定部分91確定控制信號是否已經從接 收設備2發送。當步驟S81上的確定結果表明控制信號已經從接收設備2發 送時，流程前進到步驟S82。在步驟S82上，優先權範圍指定部分91相應於 該控制信號按上述方式指定一個優先權範圍，並把該優先權範圍供應給選擇 控制部分92和特徵量提取部分93。在步驟S83,選擇控制部分92控制MUX32 (參見圖7)以圖像的時間
解析度為代價改善優先權範圍指定部分91所供給的優先權範圍內一個圖像 的(一個對象和一個背景圖像)的空間解析度。在步驟S84上，特徵量提取部分93提取優先權範圍指定部分91所供給的優先權範圍內的圖像的特徵量，獲得具有由對象的每一特徵量所組成的元素的一個特徵量矢量。在步驟S85上，特徵量提取部分93將條形圖存儲部分 94中存儲的特徵量矢量的條形圖的頻率遞增1。流程返回到步驟S81。在步驟S81到步驟S85的循環中，條形圖存儲部分94形成用戶打算考 慮的對象特徵矢量的一個條形圖。換句話說，條形圖存儲部分94學習用戶的偏愛。此外，特徵量提取部分93可以量化所獲得的特徵量矢量，並遞增與特徵 量矢量的量化結果相對應的代碼的頻率。在這種情況下，條形圖存儲部分94 暫時存儲代碼的條形圖。相反，當步驟S81上的確定結果表明接收設備2還未發送控制信號時， 流程前進到步驟S86。在步驟S86上，對象檢測部分95按照與特徵量提取部 分93相同方式獲得預處理部分12 (參見圖3)所提供的對象的特徵量矢量。 此外，在步驟S87上，對象檢測部分95核對條形圖存儲部分94中所存儲的 條形圖，並確定在有最高頻率的特徵量矢量周圍的特徵量矢量空間的 一個預 定範圍內是否包含預處理部分12 (參見圖3)所提供的對象的一個特徵量矢 量。換句話說，在步驟S87，對象檢測部分95確定具有最高頻率的特徵量矢 量與預處理部分12所供給的對象的特徵量矢量之間的距離是否等於或小於 一個預定值。如上所述，當條形圖存儲部分94存儲作為矢量量化結果的代碼條形圖 時，對象檢測部分95量化所獲得的特徵量矢量。在步驟S87,對象檢測部分 95確定作為矢量量化結果的代碼是否與條形圖存儲部分94中存儲的條形圖 的最高頻率的代碼相匹配。當步驟S87上的確定結果表明具有最高頻率的特徵量矢量與預處理部分 12所供給的對象的特徵量矢量之間的距離不小於預定值(即，由於用戶的癖 好，預處理部分12供給的對象是用戶不打算考慮的對象)時，流程前進到步 驟S88。在步驟S88上，選擇控制部分92控制MUX32 (參見圖7)，使接收 設備2用常規空間解析度和常規時間解析度顯示一個圖像。此後，流程返回 到步驟S81。
相反，當步驟S87上的確定結果表明具有最高頻率的特徵量矢量與預處 理部分12所供給的對象的特徵量矢量之間的距離等於或小於預定值(即，由 於用戶的癖好，預處理部分12供給的對象是用戶打算考慮的對象)時，對象檢測部分95把預處理部分12供給的對象的標誌輸出到選擇控制部分92。此 後，流程前進到步驟S89。在步驟S89上，選擇控制部分92控制MUX32 (參見圖7 )以時間分辨 率為代價改善具有從對象檢測部分95供給的標誌的對象的空間解析度。此 後，流程返回到步驟S81。因而，在這種情況下，接收設備2顯示具有從對象檢測部分95輸出的標 志的一個對象，以便以時間解析度為代價提高其空間解析度。此後，接收設 備2連續顯示具有高空間解析度的對象。結果，接收設備2自動地顯示用戶傾向考慮的對象，從而不需要用戶控 制(幹預)控制信息輸入裝置24就可以提高對象的空間解析度。此後，接收 設備2連續顯示高空間解析度的對象(然而，在此情況下，正如上所述那樣， 圖像的時間解析度惡化)。在條形圖存儲部分94中作為用戶偏愛的學習結果存儲的特徵量矢量的 條形圖可以周期性地、非周期性地或相應於接收設備2的用戶請求來重新設 置。在上述情況下，其特徵量矢量等於(匹配)或小於條形圖最高頻率的特 徵量矢量的對象的空間解析度得到改善。另一方面，具有這樣一種特徵量矢 量的所有對象的空間解析度也得到改善它的特徵量矢量等於(匹配)或小 於其條形圖中的頻率超過一個預定值的特徵量矢量。優先權範圍是考慮點位於重心的一個預定範圍(在上述情況下，優先權 範圍是一個矩形範圍)。然而，也可以被說成包含考慮點的一個矩形範圍中 的一個圖像區域是用戶有興趣觀看的一個圖像區域(以下，把該區域稱之為 興趣對象區域)。另一方面，接收設備2顯示的移動圖像具有一個移動圖像區域(以下， 該區域可以稱之為移動區域)和一個靜止圖像區域(以下，該區域可以稱之 為靜止區域)。為了改善興趣對象區域的空間解析度，必須在圖像的移動區域或靜止區 域中認同(指定)用戶正在考慮的興趣對象區域。當用戶正在考慮的興趣對
象區域可以被指定時，就可以獲得用戶未考慮的圖像區域(例如，背景圖像 區域)。即使用戶考慮的 一個興趣對象區域可以在一個特定時間被指定，此後也 可以被改變。因而，當用戶考慮的一個圖像區域被改變到另一個圖像區域時， 必須把新圖像區域認同為興趣對象區域。此外，可以存在多個用戶考慮的興趣對象區域。在這種情況下，必須分 離地認同這些興趣對象區域。於是圖28示出了在可攜式終端單元被用作圖1所示的發送設備1和接收設備2的情況下圖1所示的圖像發送系統的第二結構的實例。在圖28中，與 圖2相似的部分有相同的參考標號表示，並省略對它們的說明。換句話說， 圖28所示的圖像發送系統的結構基本上與圖2所示的圖像發送系統的結構相同。在圖2所示的實施例中，控制諸如用戶正在考慮的考慮點的坐標的空間 解析度和時間解析度所需的所有信息、空間解析度、時間解析度和傳送速率作為控制信息從接收設備2發送到發送設備1。相反，根據圖28所示的實施 例，正如下面將要說明的那樣，用戶用接收設備2的按鍵部分2-3操作(點 擊)的顯示部分2-2上所顯示的圖像的考慮點的信息作為控制信息被發送(在 下文中，可以把考慮點上的信息稱之為點擊數據)。當發送設備1收到來自接收設備2的點擊數據時，發送設備1相應於點 擊數據指定從接收設備2所顯示的圖像(該圖像由發送設備1的攝像機部分 1-1拍攝)中用戶正在考慮的一個圖像區域(興趣對象區域)，並控制發送給 接收設備2的圖像數據的信息量，以便當滿足一個預定條件時改變指定圖像 區域的空間解析度和時間解析度。下面圖29示出了圖28所示的發送設備1的結構實例。在圖29中，與圖 3相似的部分由相同的參考標號表示，並省略對它們的說明。在圖29所示的 發送設備1中，背景圖像提取部分1013、對象提取部分1014和發送處理部 分1016被設置，以分別替代背景圖像提取部分13、對象提取部分14和發送 處理部分16。此外，接收設備2發送的點擊數據不僅供應給與發送處理部分 16相對應的發送處理部分1016，還供應給預處理部分12。除這些方面(要 點)外，圖29所示的發送設備1的結構大體上與圖3所示的發送設備1的結 構相同。然而，在圖29所示的發送設備1中，背景圖像提取部分1Q13的輸
出不供應給對象提取部分1014。相反，在圖3所示的發送設備1中，背景圖像提取部分13的輸出被供應給對象提取部分14。此外，在圖29所示的發送 設備1中，對象提取部分1014的輸出被供應給背景圖像提取部分1013。相 反，在圖3所示的發送設備1中，對象提取部分14的輸出不供應給背景圖像 提取部分13。點擊數據被供應給預處理部分12。在與處理部分12中，點擊數據被供 應給對象提取部分1014。對象提取部分1014提取(指定)接收設備2的用 戶從圖像輸入部分11所拍攝的圖像中考慮的一個圖像區域(興趣對象區域)， 並把與提取的(指定的)興趣對象區域相對應的圖像數據供應給發送處理部 分1016。當存在接收設備2的用戶對圖像輸入部分11所拍攝的圖像進行考 慮的多個興趣對象區域時，對象提取部分1014把多個興趣對象區域的圖像數 據供應給發送處理部分1016。此外，對象提取部分1014所提取的興趣對象 區域的圖像數據還被供應給附加信息計算部分15。作為 一個實例，用戶進行考慮的興趣對象區域是諸如一個實物的對象。 下面，說明對象提取部分1014提取作為興趣對象區域的一個實例的一個對象 (以下稱之為對象圖像)的情況。應當注意的是興趣對象區域不局限於一個 對象。相反， 一個興趣對象區域可以是一個圖像區域，而不是一個對象、一 個對象中的一個圖像區域、或背景圖像部分(下面將進行說明)。然而，根據 該實施例，將作為一個實例說明一個興趣對象區域是一個對象的情況。下面 將說明對象提取部分1014所執行的對象提取處理(興趣對象區域指定處理)。背景圖像提取部分1013相應於對象提取部分1014的對象提取結果從圖 像輸入部分11供給的圖像數據中提取與該圖像一個背景圖像的部分(即，除 興趣對象區域外的一個圖像區域；以下把背景圖像部分稱之為背景圖像)相 對應的一個信號(以下稱之為背景圖像數據)，並把提取的背景圖像數據供應 給發送處理部分1016和附加信息計算部分15。在該實例中，其活動性低(即， 沒有像圖像那樣的價值)的一個平面圖像區域被處理為一個背景圖像。當然， 像沒有價值的圖像那樣，背景圖像可以是用戶不感興趣對象。在該實例中， 為了簡便起見，上述平面圖像區域將被說成背景圖像。附加信息計算部分15相應於背景圖像提取部分1013供給的背景圖像數 據檢測代表背景圖像移動的背景圖像移動矢量(該背景圖像的移動相當於沿 著圖像輸入部分11的拍攝方向移動)。此外，附加信息計算部分15相應於對象提取部分1014供給的對象圖像的圖像數據(在下文中，把該圖像數據稱之 為對象圖像數據)檢測代表對象移動的一個對象移動矢量。附加信息計算部分15把作為附加信息一部分的被檢測的移動矢量供應給發送處理部分1016。 此外，附加信息計算部分15相應於作為附加信息的從對象提取部分1014供 給的對象圖像數據，向發送處理部分1016供應關於對象的信息，比如由圖像 輸入部分11拍攝的圖像(幀)的對象位置和輪廓。換句話說，當對象提取部 分1014從圖像數據中提取一個對象圖像時，對象提取部分1014還提取有關 該對象的信息，比如對象的位置和輪廓，並把該信息供應給附加信息計算部 分15。附加信息計算部分15把有關該對象的信息輸出為附加信息。發送處理部分1016相應於接收設備2供給的點擊數據對對象提取部分 1014供應的對象圖像數據、背景圖像提取部分1013供應的背景圖像數據、 和附加信息計算部分15供應的附加信息進行編碼，以便當接收設備2顯示的 圖像的對象圖像的空間解析度被改善時，滿足傳送路徑3的數據速率的條件。 此後，發送處理部分1016多路復用該被編碼的對象圖像數據、編碼的背景圖 像數據、和編碼的附加信息，並且經傳送路徑3向接收設備2發送多路復用 數據、幀速率信息等。下面結合圖30所示的流程圖說明圖29所示的發送設備1所執行的處理。 在步驟S91,發送設備1把圖像輸入部分11獲得的圖像數據輸入給預處 理部分12。此後，在步驟S92,發送設備1接收從接收設備2發送的點擊數據，並 把該點擊數據輸入給預處理部分12。在步驟S93,已經接收到圖像數據和點擊數據的預處理部分12執行用於 提取背景圖像、對象和附加信息的預處理，並把在預處理中獲得的背景圖像 數據、對象圖像數據和附加信息供應給發送處理部分1016。在步驟S94上，發送處理部分1016計算對象圖像數據、背景圖像數據和 附加信息的數據量，以便滿足傳送路徑3的數據速率的條件。此後，發送處 理部分1016相應於該數據量對對象圖像數據、背景圖像數據、和附加信息進 行編碼，隨後多路復用它們。此後，發送處理部分1016經傳送路徑3將多路 復用的數據和幀速率信息發送給接收設備2。此後，流程返回到步驟S1。在步驟S1上，發送設備1重複相似的處理。圖31示出了圖28所示的接收設備2的結構實例。在圖31中，與圖5 中相似的部分用相似的參考標號表示，並省略對它們的說明。換句話說，在圖31所示的接收設備2中，設置一個組合處理部分1022，來代替組合處理 部分22。此外，設置了點擊數據輸入部分1024和點擊數據發送部分1025, 來分別代替設置了控制信息輸入部分24和控制信息發送部分25。除這些方 面夕卜，圖28所示的接收設備2的結構基本上和圖5所示的接收設備2的結構 相同。發送設備1經傳送路徑3發送的多路復用數據被接收處理部分21接收。 接收處理部分21把接收的多路復用數據分離成編碼背景圖像數據、編碼對象 圖像數據、和編碼附加信息數據，並對分離的數據進行解碼。此後，接收處 理部分21把解碼的背景圖像數據、對象圖像數據和附加信息供應給組合處理 部分1022。組合處理部分1022組和解碼的背景圖像數據、對象圖像數據和附加信 息，並把該組合的圖像信號供應給圖像輸出部分23。此外，組合處理部分1022 相應於點擊數據輸入部分1024供應的點擊數據控制組合的圖像的空間分辨 率和時間解析度。點擊數據輸入部分1024相應於用戶進行的按4t部分2-3的操作生成代表 點擊位置(坐標位置)和點擊時間的點擊數據。按鍵部分2-3作為一個指點 裝置，用於指定在相當於接收設備2 (參見圖28)的顯示部分2-2的圖像輸 出部分23上顯示的圖像的坐標位置。換句話說，當用戶為圖像輸出部分23 上顯示的圖像的預期圖像位置(興趣對象區域)點擊按鍵部分2-3時，點擊 數據輸入部分1024生成點擊數據，它代表點擊位置的坐標信息和點擊時間。 點擊數據輸入部分1024生成的點擊數據被發送給組合處理部分1022和點擊 數據發送部分1025。當點擊數據發送部分1025接收到來自點擊數據輸入部分1024的點擊數 據時，點擊數據發送部分1025經傳送路徑3把該點擊數據發送給發送設備1。下面結合圖32所示的流程圖簡要說明由圖31所示的接收設備2執行的 處理。首先，在步驟S101,接收設備2接收發送設備1經傳送路徑3發送的多 路復用數據。在步驟S102，接收處理部分21將多路復用數據分離成編碼背景圖像數 據、編碼對象圖像數據、和編碼附加信息數據，並對分離的編碼數據進行解
此外，在步驟S116上，控制部分35控制MUX32把高解析度信息作為 優先權範圍的位置和尺寸信息插入到被選作多路復用數據的附加信息中。此 後，流程前進到步驟S113。
在步驟S113上，發送設備33經傳送路徑3發送MUX32輸出的多路復 用數據。此後，流程返回到步驟Slll。
如上述的那樣，在圖34所示的發送處理中，執行和圖IO所示的處理相 似的處理。因而，當接收設備2的用戶為了包含考慮點上的優先權分為內的 圖像而連續地操作點擊數據輸入部分1024 (例如，他和她連續地指定相同的 考慮點)時，優先發送改善空間解析度的數據。因而，包含考慮點的優先權 範圍內的圖像的空間解析度被逐漸改善。結果優先權範圍內的圖像被更加清 晰地顯示了。換句話說，接收設備2側的用戶進行考慮的一個圖像(一個興 趣對象區域和一個對象圖像)被更加清楚地顯示。
如上所述，圖像數據的傳送相應於傳送路徑3的傳送速率進行控制，以 便優先權範圍內的圖像(一個興趣對象區域和一個對象圖像)的空間解析度 和時間解析度在解析度的範圍內變化。因而，在有限的傳送速率下，可以進 一步改善與接收設備2所顯示的一個考慮點相對應的一個對象圖像的空間分 辨率。換句話說，由於優先權範圍內的對象圖像的空間解析度以圖像的時間 解析度為代價得到改善，因此可以以有限傳送速率更加清楚地顯示在接收設 備2上顯示的對象圖像(即，空間解析度可以被進一步改善)。
下面圖35示出了圖31所示的組合處理部分1022的結構的實例。在圖 35中，和圖13所示的部分相同的部分由相同的參考標號表示，並省略對它 們的說明。換句話說，組合處理部分1022中不設置背景圖像標誌存儲器74。 組合處理部分1022中設置的是組合部分1077而不是組合部分77。此外，供 給組合部分1077的是點擊數據而不是控制信息。除了這些方面外，圖35所 示的組合處理部分1022的結構基本上與圖13所示的組合部分22的結構相 同。
參見圖35，接收處理部分21 (參見圖31)輸出的背景圖像數據被輸入 給背景圖像寫入部分71。接收處理部分21輸出的對象圖像數據被輸入給對 象寫入部分72。接收處理部分21輸出的附加信息被輸入給背景圖像寫入部 分71 、對象寫入部分72和組合部分1077。
背景圖像寫入部分71把供給的背景圖像數據連續地寫入背景圖像存儲
另一方面，控制部分35控制從MUX32供應的多路復用數據的輸出，， 使數據量計算部分34供應的數據速率不超過傳送路徑3的傳送速率。此外， 控制部分35經傳送路徑3接收從接收設備2發送的點擊數據，並相應於點擊 數據控制MUX32選擇和多路復用編碼的數據。下面，結合圖34所示的流程圖由說明圖33所示的發送處理部分1016 執行的發送處理。首先，在步驟Slll，發送處理部分1016的控制部分35確定點擊數據是 否已從接收設備2發送。當步驟Slll上的確定結果表明接收設備2未發送點 擊數據(即，控制部分35未接收到點擊數據)時，流程前進到步驟S112。 在步驟S112,和圖10所示的步驟S22的情況一樣，控制部分35控制MUX32 選擇編碼的背景圖像數據、編碼對象數據和編碼附加信息數據，並多路復用該選擇的數據，以便接收設備2可以用常規時間解析度顯示一個圖像。此後，流程前進到步驟S113。在步驟S113上，發送處理部分1016從發 送部分33經傳送路徑3發送MUX32供應的多路復用數據。此後，流程返回 到步驟Slll。當步驟Slll上的確定結果表明接收設備2已經發送點擊數據(即，控制 部分35已經接收到點擊數據)時，流程前進到步驟S114。在步驟S114上， 控制部分35相應於點擊數據認同用戶已經用接收設備2的按鍵部分2-3指定 的一個考慮點的坐標(點擊位置)和點擊時間。此後，在步驟S115上，控制部分35相應於考慮點的坐標(點擊位置) 和點擊時間按下面將要描述的方式指定接收設備2方的用戶考慮的興趣對象 區域，把興趣對象區域指定為其空間解析度被優先改善的 一個圖像的優先權 範圍，並檢測優先權範圍內的一個圖像以及其附加信息。在這種情況下，優 先權範圍內的圖像是對象圖像。非優先權範圍內的一個圖像是例如像不感興 趣對象區域內的一個背景圖像那樣的一個圖像。此後，在步驟S116上，控制部分35控制MUX32選4奪優先權範圍內的 圖像(對象圖像)、非優先權範圍內的一個圖像(背景圖像)以及附加信息的 編碼數據，並多路復用它們。換句話說，當控制部分35接收到來自接收設備 2的點擊數據時，像圖10所示的步驟S26上情況那樣，控制部分35控制 MUX32,以便優先權範圍內的圖像的空間解析度以時間解析度為代價得到改 善。
此外，在步驟S116上，控制部分35控制MUX32把高解析度信息作為 優先權範圍的位置和尺寸信息插入到被選作多路復用數據的附加信息中。此 後，流程前進到步驟S113。在步驟S113上，發送設備33經傳送路徑3發送MUX32輸出的多路復 用數據。此後，流程返回到步驟Slll。如上述的那樣，在圖34所示的發送處理中，執行和圖IO所示的處理相 似的處理。因而，當接收設備2的用戶為了包含考慮點上的優先權分為內的 圖像而連續地操作點擊數據輸入部分1024 (例如，他和她連續地指定相同的 考慮點)時，優先發送改善空間解析度的數據。因而，包含考慮點的優先權 範圍內的圖像的空間解析度被逐漸改善。結果優先權範圍內的圖像被更加清 晰地顯示了。換句話說，接收設備2側的用戶進行考慮的一個圖像(一個興 趣對象區域和一個對象圖像)被更加清楚地顯示。如上所述，圖像數據的傳送相應於傳送路徑3的傳送速率進行控制，以 便優先權範圍內的圖像(一個興趣對象區域和一個對象圖像)的空間解析度 和時間解析度在解析度的範圍內變化。因而，在有限的傳送速率下，可以進 一步改善與接收設備2所顯示的一個考慮點相對應的一個對象圖像的空間分 辨率。換句話說，由於優先權範圍內的對象圖像的空間解析度以圖像的時間 解析度為代價得到改善，因此可以以有限傳送速率更加清楚地顯示在接收設 備2上顯示的對象圖像(即，空間解析度可以被進一步改善)。下面圖35示出了圖31所示的組合處理部分1022的結構的實例。在圖 35中，和圖13所示的部分相同的部分由相同的參考標號表示，並省略對它 們的說明。換句話說，組合處理部分1022中不設置背景圖像標誌存儲器74。 組合處理部分1022中設置的是組合部分1077而不是組合部分77。此外，供 給組合部分1077的是點擊數據而不是控制信息。除了這些方面外，圖35所 示的組合處理部分1022的結構基本上與圖13所示的組合部分22的結構相 同。參見圖35，接收處理部分21 (參見圖31)輸出的背景圖像數據被輸入 給背景圖像寫入部分71。接收處理部分21輸出的對象圖像數據被輸入給對 象寫入部分72。接收處理部分21輸出的附加信息被輸入給背景圖像寫入部 分71、對象寫入部分72和組合部分1077。背景圖像寫入部分71把供給的背景圖像數據連續地寫入背景圖像存儲器73。然而，在圖35所示的實施例中，未設置圖13所示實施例的背景圖像 標誌存儲器74。因而，在圖35中，當背景圖像寫入部分71把背景圖像數據 寫到背景圖像存儲器73上時，背景圖像寫入部分71不核對一個背景圖像標 志。組合部分1077相應於附加信息中包含的背景圖像移動矢量從背景圖像 存儲器73中存儲的背景圖4象數據中讀出在當前時間(當前幀)顯示的幀的一 個背景圖像，相應於附加信息中包含的一個對象移動矢量將對象存儲器75中 存儲的 一個對象圖像與該背景圖像相組合，並把當前幀的組合圖像供應給顯 示存儲器78。此外，當組合部分1077接收到來自圖31所示的點擊數據輸入部分1024 的點擊數據時，組合部分1077從對象存儲器75中讀出包含一個考慮點坐標 位置的對象圖像數據，該考慮點被包含在點擊數據中，並把獲得的對象圖像 數據供應給子窗口存儲器79。下面結合圖36所示的流程圖說明圖35所示的組合處理部分1022所執行 的處理(組合處理)。首先，在步驟S121上，對象寫入部分72相應於對象存儲器75中存儲的 一個對象標識按上述方式寫入圖35所示的解碼部分53所供應的對象圖像數 據。此後，流程前進到步驟S122。對象寫入部分72確定附加信息是否包含 高解析度信息。當步驟si22上的確定結果表明附加信息包含高解析度信息 (即，接收設備2的用戶已經操作按鍵部分2-3,點擊數據已經發送給發送設 備1,並且發送設備1隨後為優先權範圍內的一個圖像發送具有高空間分辨 率的對象圖像數據)時，流程前進到步驟S123。在步驟S123上，對象寫入 部分72將對象標誌存儲器76的相關對象標誌調整到"1"。換句話說，當發送設備l已經為優先權範圍內的圖像發送具有高空間分 辨率的對象圖像數據時，在步驟S121上，具有高空間解析度的對象圖像數據 被寫入對象存儲器75。因而，在步驟S123上，組成具有高空間解析度的對 象的像素的對象標誌被調整到"1"。此後，流程前進到步驟S124。在步驟S124上，組合部分1077從對象存 儲器75中讀出優先權範圍內的對象圖像數據，並把獲得的對象圖像數據寫入 到子窗口存儲器79。換句話說，當步驟S122上的確定結果表明附加信息包含高解析度信息時，則如上述的那樣，用戶已經操作按#:部分2-3,點擊數據已經發送給發送 設備1,並且發送設備1隨後為優先權範圍內的一個圖像發送具有高空間分 辨率的對象圖像數據。發送給發送設備1的點擊數據還供應給組合部分1077。 當組合部分1077接收到點擊數據時，在步驟S124上，組合部分1077相應於 包含在點擊數據中的考慮點的坐標和點擊時間認同優先權範圍，從對象存儲 器75中讀出已從發送設備1發送的在優先權範圍內的具有高空間解析度的一 個對象，並把獲得的對象寫到子窗口存儲器79。此外，如上所述的那樣，當 發送設備1發送的首部信息包含點擊數據時，組合部分1077可以依據首部信 息中包含的點擊數據認同該優先權範圍。此後，流程前進到步驟S125。在步驟S125上，組合部分1077相應於附 加信息中包含的背景圖像移動矢量從背景圖像存儲器73中讀出當前幀的背 景圖像數據。此外，組合部分1077從對象存儲器75中讀出顯示的當前幀的 對象圖像數據。此後，組合部分1077相應於附加信息中包含的一個對象移動 矢量將當前幀的背景圖像數據與已經從對象存儲器75中讀出的對象圖像數 據相組合，並把該當前幀的組合圖像寫到顯示存儲器78。換句話說，組合部 分1077把背景圖像數據寫入到顯示存儲器78,然後將對象圖像數據覆蓋寫 到顯示存儲器78。結果，組合部分1077將已經組合了背景圖像和對象圖像 的當前幀的圖像數據寫入到顯示存儲器78。在上述方式中，寫入到顯示存儲器78的當前幀的圖像數據和寫入到子窗 口存儲器79的對象圖像數據被供應給圖31所示的圖像輸入部分23,並在其 上顯示。相反，當步驟S122上的確定結果表明附加信息不包含高解析度信息(即， 接收設備2的用戶還未操作按鍵部分2-3)，流程前進到步驟S125,跳過步驟 S123和S124。如上所述的那樣，在步驟S125,組合部分1077從背景圖像存 儲器73讀出當前幀的背景圖像數據，從對象存儲器75中讀出所需的對象圖 像數據，並相應於附加信息將當前幀的背景圖像和已經從對象存儲器75中讀 出的對象圖像數據進行組合。結果，當前幀的圖像數據被形成並被寫入到顯 示存儲器78。此後，流程返回到步驟S121。在步驟S121上，組合部分1077 重複相似的處理。根據上述的組合處理，按照和結合圖15所述情況相同的方式，顯示用戶
考慮作為一個對象的具有高空間解析度的一個圖像。圖35所示的組合處理部 分1022沒有圖13所示的背景圖像標誌存儲器74。因此，圖35所示的背景 圖像寫入部分71總是把供應的背景圖像數據寫入到背景圖像存儲器73。因 此，在圖36所示的組合處理中，背景圖像的空間解析度不像參考圖13至15 所述的情況那樣能夠得到改善。下面，將說明相應於從接收設備2供給的點擊數據提取對象圖像(興趣 對象區域)的方法。該方法由圖29所示的對象提取部分1044執行。圖37示出了圖29所示的預處理部分12的對象提取部分1014的結構實例。在圖37中，圖29所示的圖像輸入部分11所供應的圖像數據被存儲到圖 像存儲器201。該圖像數據從圖像存儲器201中讀出，並供應給靜止區域和 移動區域確定部分203的公共端、對象圖像提取部分213和選擇開關207。 圖像存儲器201存儲靜止區域和移動區域確定部分203進行靜止區域和移動 區域確定所需的至少幾個幀的圖像數據，該靜止區域和移動區域確定部分203 是圖像存儲器201的一個下遊部分。此外，接收設備2經傳送路徑3發送的點擊數據被存儲到點擊數據存儲 器202。該點擊數據從點擊數據存儲器202中讀出並供應給靜止區域和移動 區域確定部分204的公共端、連續點擊確定部分204和選擇開關206。點擊 數據存儲器202存儲在作為點擊數據存儲器202的一個下遊部分的連續點擊 確定部分204所執行的連續點擊確定一個預定時間周期(例如，大於500到 700毫秒)所需的點擊數據。靜止區域和移動區域確定部分203確定由接收設備2發送的當前點擊數 據所代表的點擊位置(圖像上的坐標值)周圍的局部小塊的圖像區域(例如， 16x 16像素)是移動區域還是靜止區域。換句話說，靜止區域和移動區域確 定部分203為點擊位置周圍的16x 16個像素獲得當前幀的圖像區域與一個過 去幀的圖像區域之間的差值，該過去幀先於當前幀幾個幀(以下，把該過去 幀稱為過去幀)。當幀間的差值等於或小於預定閾值時，靜止區域和移動區域 確定部分203確定該圖像區域是靜止區域。相反，當該差值大於預定閾值時， 靜止區域和移動區域確定部分203確定該圖像區域是移動區域。當處理彩色 圖4象時，靜止區域和移動區域確定部分203為R、 G和B的每一個的16 x 16 個像素的圖像獲得當前幀的圖像區域與過去幀的圖像區域之間的差值。當為
R、 G、 B獲得的幀差值的絕對值的平均值等於或小於一個預定閾值(例如，
等於或小於IO)時，靜止區域和移動區域確定部分203確定該圖像區域是靜止區域。相反，當該平均值大於預定閾值時，靜止區域和移動區域確定部分
203確定該圖像區域是一個移動區域。當移動區域和靜止區域確定部分203 確定圖像區域是一個靜止區域時，靜止區域和移動區域確定部分203確定點 擊數據存儲器202輸出的當前點擊數據是靜止點擊(靜止區域中的一個點 擊)。當靜止區域和移動區域確定部分203確定圖像區域是一個移動區域時， 靜止區域和移動區域確定部分203確定點擊數據存儲器202輸出的當前點擊 數據是移動點擊(移動區域中的一個點擊)。此後，靜止區域和移動區域確定 部分203向處理確定部分205發送作為靜止區域和移動區域確定結果的表示 靜止點擊和移動點擊的信息。
連續點擊確定部分204相應於從接收設備2發送的點擊數據的點擊時間 確定接收設備2的用戶是否已經連續執行點擊操作。換句話說，連續點擊確 定部分204獲得接收設備2發送的當前點擊數據的點擊時間與前一點擊數據 的點擊時間之間的時間差(即，點擊時間間隔)。當該時間差等於或小於預定 閾值時，連續點擊確定部分204確定用戶未執行連續點擊操作。當連續點擊 確定部分204確定用戶已經執行連續點擊操作時，連續點擊確定部分204按 連續點擊處理從點擊數據存儲器202輸出的當前點擊數據。相反，連續點擊 確定部分204確定用戶還未執行連續點擊操作(即，當前點擊時間與前一點 擊時間之間的時間差等於或小於預定閣值)時，連續點擊確定部分204按非 連續點擊處理從點擊數據存儲器202輸出的當前點擊數據。此後，連續點擊 確定部分204向處理確定部分205發送作為連續點擊確定結果的表示連續點 擊或非連續點擊的信息。
處理確定部分205相應於靜止區域和移動區域確定部分203的靜止區域 和移動區域確定結果和連續點擊確定部分204的連續點擊確定結果控制選擇 開關206、選擇開關207和選擇開關208。
換句話說，相應於靜止區域和移動區域確定結果和連續點擊確定結果， 當點擊數據存儲器202輸出的當前點擊數據是靜止點擊和連續點擊時，處理 確定部分205控制選擇開關206,使點擊數據存儲器202輸出的當前點擊數 據被發送給靜止對象連接處理部分211。此外，處理確定部分205控制選擇 開關207，使圖像存儲器201輸出的圖像數據被發送給靜止圖像連接處理部
分211。然而，處理確定部分205控制選擇開關208,使對象提取結果存儲器 214輸出的前一點擊數據(後面將要說明)、分配給該點擊數據的對象號(相 當於上述的標誌，並歸類(標識)對象)和與該對象號相對應的對象圖像數 據發送給靜止對象連接處理部分211。此外，相應於靜止區域和移動區域確定結果和連續點擊確定結果，當點 擊數據存儲器202輸出的當前點擊數據是一個移動點擊和一個連續點擊時， 處理確定部分205控制選擇開關206，使點擊數據存儲器202輸出的當前點 擊數據發送給移動對象連接處理部分210。此外，處理確定部分205控制選 擇開關207,使圖像存儲器201輸出的圖像數據發送給移動對象連接處理部 分210。此外，處理確定部分205控制選擇開關208,使對象提取結果存儲器 214輸出的前一單擊數據(後面將進行說明)、分配給該點擊數據的對象號、 和對應於該對象號的對象圖像數據發送給移動對象連接處理部分210。此外，相應於靜止區域和移動區域確定結果和連續點擊確定結果，當點 擊數據存儲器202輸出的當前點擊數據是一個靜止點擊和一個連續點擊(當 前點擊時間與前一點擊時間之間的時間差等於或大於預定閾值)時，處理確 定部分205控制選擇開關206,使點擊數據存儲器202輸出的當前點擊數據 發送給對象號分配部分209。此外，處理確定部分205控制選擇開關207,使 從圖像存儲器201輸出的圖像數據發送給靜止對象連接處理部分211。此時， 選擇開關208控制選擇開關208。使對象提取結果處理器214輸出的前一點 擊數據、對象號、和對象圖像數據不發送給靜止對象連接處理部分211 (在 此情況下，例如，選擇開關208打開)。此外，相應於靜止區域和移動區域確定結果和連續點擊確定結果，當點 擊數據存儲器202輸出的當前點擊數據是一個移動點擊和一個非連續點擊 (當前點擊時間與前一點擊時間之間的時間差等於或大於預定閾值)時，處 理確定部分205控制選擇開關206，使點擊數據存儲器202輸出的當前點擊 數據不發送給對象號分配部分209。此外，處理確定部分205控制選擇開關 207，使圖像存儲器201輸出的圖像數據發送給移動對象連接處理部分210。 此時，處理確定部分205控制選擇開關208，使得對象提取結果存儲器214 輸出的前一點擊數據、對象號、和對象圖像數據不發送給移動對象連接處理 部分210(例如，打開選#^開關208 )。對象號分配部分209把一個新對象號分配給由靜止對象連接處理部分
211和移動對象連接處理部分210按一個連接處理進行處理的作為一個非連 續點擊而不是連續點擊的點擊數據(下面將進行說明)，並把該對象號和點擊數據發送給對象號存儲器212。當處理確定部分205確定點擊數據存儲器202輸出的當前點擊數據是移 動點擊和連續點擊時，移動對象連接處理部分210確定前一點擊數據是否是 移動點擊，當前點擊位置附近的圖像特徵是否被包含在具有分配給前一點擊 數據的對象號的移動對象圖像區域的特徵內，或它們(當前點擊數據和前一 點擊數據)是否相同。當確定結果是肯定的時，移動對象連接處理部分210 確定當前點擊是對相同對象圖像的點擊。因而，移動對象連接處理部分210 執行一個連接處理，將與前一點擊數據相同的對象號分配給當前點擊數據和 把該對象號和點擊數據發送給對象號存儲器212。當處理確定部分205的確定結果表明點擊數據存儲器202輸出的當前點 擊數據是靜止點擊和連續點擊時，靜止對象連接處理部分211確定前一點擊 是否是靜止點擊，以及當前點擊位置是否被包含在具有分配給前一點擊數據 的對象號的靜止對象圖像的區域中，或當前點擊位置是否接近該區域。當靜 止對象連接處理部分211的確定結果是肯定的時，靜止對象連接處理部分211 確定當前點擊是用於與前一點擊相同的對象的點擊。因而，靜止對象連接處 理部分211執行一個靜止對象連接處理，將與前一點擊數據相同的對象號分 配給當前點擊數據並把該對象號和點擊數據發送給對象號存儲器212。對象號存儲器212存儲已經由對象號分配部分209、移動對象連接處理 部分210和靜止對象連接處理部分211分配了對象號的多個過去幀的點擊數 據，並把該存儲的點擊數據和對象號發送給對象圖像提取部分213。對象圖像提取部分213相應於已從對象號存儲器212供應的並且已經分 配了對象號多個過去幀的點擊數據，從圖像存儲器201供給的圖像數據中提 取靜止對象圖像、移動對象圖像、背景圖像等，並且把提取的結果供應給對 象提取結果存儲器214。換句話說，對象圖像提取部分213相應於從對象提取部分213供應的並 且已經分配了對象號多個過去幀的點擊數據，從作為靜止點擊的具有高點擊 數據密度的點擊數據的圖像部分中獲得 一 個佔優的對象號。對象圖像提取部 分213相應於用佔優對象號分配的點擊數據的分配形成一個對象的形狀，並 從該圖像數據中提取按一個對象圖像構形對象的 一個圖像。
此外，對象圖像提取部分213對於在被確定為移動點擊的點擊數據中分 配了相同對象號的點擊位置附近的幀的圖像，執行一個圖案匹配操作，並相應於該匹配結果為該圖像執行移動補償。然而，對象圖像提取部分213從被確定為相似圖像區域的一個圖像數據中獲得具有高點擊密度的一個圖像區域(即，通過移動補償調整的圖像區域)的佔優對象號。對象圖像提取部分213 相應於分配了佔優對象號的點擊數據的分配構成一個圖像的形狀，並從該圖 像區域中提取以一個對象圖像構形的一個圖像。此後，對象圖像提取部分213把具有低靜止點擊密度和低移動點擊密度 的一個圖像部分指定為一個背景圖像。對象提取結果存儲器214存儲由對象圖像提取部分213提取的對象圖像 數據，以及點擊數據、對象號等。必要時，對象提取結果存儲器214向圖29 所示的背景圖像提取部分1013、附加信息計算部分15和發送處理部分1016 供應該對象圖像數據。下面，結合圖38所示的流程圖說明相應於接收設備2發送的點擊數據來 提取接收設備2的用戶從正在拍攝的一個圖像中考慮的一個對象圖像(感興 趣的對象區域)的處理。該處理由圖37所示的對象提取設備1014執行。首先，在步驟S131,圖像存儲器201存儲圖像輸入部分11輸入的一幀 的圖像數據(輸入無論何時發送的幀圖像數據)。圖像存儲器201存儲在步驟 S133上執行靜止區域和移動區域確定處理所需的至少幾個幀的圖像數據。在步驟S131上，當接收設備2經發送路徑3發送點擊數據時，點擊數據 存儲器202存儲該點擊數據。點擊數據存儲器202存儲在步驟S133上執行的 連續點擊確定處理(下面將進行說明)至少一個預定時間周期(例如，長達 500至700毫秒)所需的的點擊數據。此後，流程前進到步驟S132，在步驟S132,對象提取部分1014確定是 否存儲了接收設備2已發送的並且未被處理的點擊數據。當步驟S132上的確 定結果表明點擊數據存儲器202沒有存儲未被處理的點擊數據時，流程返回 到步驟S131。在步驟S131上，對象提取部分1014等待輸入圖像數據和點擊 數據。相反，當步驟S132上的確定結果表明點擊數據存儲器202存儲了未 被處理的點擊數據時，流程前進到步驟S133。在步驟S133上，對象提取部 分1014把未被處理的最舊的點擊數據指定為當前點擊數據。靜止區域和移動 區域確定部分203、連續點擊確定部分204和處理確定部分205為該當前點 擊數據執行靜止區域和移動區域確定處理和連續點擊確定處理。換句話說，在步驟S133上，靜止區域和移動區域確定部分203使用接收 設備2發送的當前點擊數據中含有的點擊位置信息(圖像坐標值)執行靜止 區域和移動區域的確定處理，以確定作為一個點擊位置周圍的局部小塊的一 個圖像區域是一個移動區域還是一個靜止區域。下面，更實際地說明由靜止區域和移動區域確定部分203執行的圖38 所示的在步驟S133上進行的靜止區域和移動區域確定處理。如圖39所示的 流程圖所示，在步驟S141上，靜止區域和移動區域確定部分203從圖像存儲 器201和點擊數據存儲器202分別讀出幾個幀的圖像數據和點擊數據。處理 一個彩色圖像時，如圖40(A)所示，靜止區域和移動區域確定部分203讀 出用於R(紅)、G(綠)、B (藍)的幾個幀的圖像數據。此外，靜止區域和 移動區域確定部分203從圖像數據存儲器201和點擊數據存儲器202中分別 讀出包含對應於當前點擊數據的一個幀的幾個過去幀的圖像數據和對應於為 這幾個幀所執行的點擊的點擊數據。此後，在步驟S142上，對於當前點擊數據的點擊位置周圍的水平方向和 垂直方向上的由16 x 16象素組成的一個局部小塊，靜止區域和移動區域確定 部分203計算當前幀的一個圖像區域與超前該當前幀幾個幀的過去幀(該過 去幀被稱之為過去幀)之間的差值。處理一個彩色圖像時，在步驟S142上， 如圖40 ( B )和40 ( A )所示，靜止區域和移動區域確定部分203獲得用於R、 G和B每一個的由16x 16象素組成的一個圖像的幀之間的差值並獲得用於 R、 G和B每一個的差值絕對值的平均值。此後，在步驟S143上，靜止區域和移動區域確定部分203確定在步驟 S142上計算的幀間差值是否等於或小於一個確定的閾值。此後，流程前進到 步驟S144。當幀間差值等於或小於預定閾值時，靜止區域和移動區域確定部 分203確定包含當前點擊數據的點擊位置的一個小塊(該小塊可以被稱之為 當前塊)是一個靜止區域。相反，當幀間差值大於預定閾值時，靜止區域和 移動區域確定部分203確定該當前塊是一個移動區域。此外，當靜止區域和 移動區域確定部分203的確定結果表明當前塊是一個靜止區域時，靜止區域 和移動區域確定部分203把對應於當前塊的圖像區域的點擊數據指定為一個 靜止點擊。相反，當靜止區域和移動區域確定部分203的確定結果表明當前 塊是一個移動區域時，靜止區域和移動區域確定部分203把相當於當前塊的 圖像區域點擊數據指定為一個移動點擊。靜止區域和移動區域確定部分203 輸出作為靜止區域和移動區域確定結果的該確定結果。在處理一個彩色圖像的情況下，在步驟S144,如圖40(D)所示，當用 於R、 G和B每一個的16 x 16象素的每個塊的幀間差值的絕對值的平均值小 於或等於一個預定閾值(例如，"10")時，靜止區域和移動區域確定部分203 把預定標誌調整到例如"0"。相反，當該平均值大於預定閾值時，靜止區域 和移動區域確定部分203把預定標誌調整到例如"1"。在步驟S144上，如圖 40 (E)所示，當用於16x 16象素的當前塊的R、 G和B的所有標誌都為"0" 時，靜止區域和移動區域確定部分203確定當前塊是一個靜止區域，並把對 應於當前塊的圖像區域的點擊數據指定為靜止點擊。相反，當標誌之一是"l" 時，靜止區域和移動區域確定部分203確定當前塊是一個移動區域並且^l巴與 當前塊的圖像區域相對應的點擊數據指定為 一個移動點擊。靜止區域和移動 區域確定部分203輸出作為靜止區域和移動區域確定結果的靜止點擊或移動 點擊的信息。返回到圖38，在步驟S133上，連續點擊確定部分204連續點擊確定處 理，確定接收設備2的用戶所執行的點擊操作是否是與接收設備2發送的點 擊數據中包含的點擊時間相對應的連續點擊操作。下面說明圖38所示的在步驟S133上執行的連續點擊確定部分204的處 理。根據圖41所示的流程圖，在步驟S151上，點擊數據存儲器202讀出在 點擊數據存儲器202中存儲的點擊數據。此後，在步驟S152上，連續點擊確定部分204計算從接收設備2發送的 當前點擊數據的點擊時間與前一點擊數據的點擊時間(在前時間)之間的時 間差(點擊間隔)。然後，在步驟S153上，連續點擊確定部分204確定該時間差是否等於或 小於一個預定閾值。當步驟S153上的確定結果表明該時間差等於或小於預定 閾值時，連續點擊確定部分204確定當前點擊數據是連續點擊。相反，當步 驟S153上的確定結果表明該時間差大於預定閾值時，連續點擊確定部分204 確定當前點擊數據不是連續點擊。此後，流程前進到步驟S154。在步驟S154 上，連續點擊確定部分204輸出代表作為連續點擊確定結果的連續點擊或非 連續點擊的信息。換句話說，當步驟S153上的確定結果表明當前點擊數據是連續點擊時，
接收設備2的用戶往往是對一個對象圖像連續執行點擊操作。這是因為，當 接收設備2的用戶請求發送設備1發送具有高空間解析度的對象圖像數據(興 趣對象區域中的數據)時，他或她往往連續地點擊用戶想要改善其空間分辨 率的一個對象圖像部分(興趣對象區域)。因而，當連續點擊確定部分204的確定結果表明當前點擊操作是連續點擊操作時，連續點擊確定部分204把當 前點擊數據指定為連續點擊。相反，當連續點擊確定部分204的確定結果表 明當前點擊操作不是連續點擊操作(即，當前點擊的點擊時間與前一點擊的 點擊時間之間的時間差等於或大於預定閾值)時，連續點擊確定部分204把 當前點擊數據指定為一個非連續點擊。連續點擊確定部分204輸出連續點擊 確定結果。返回到圖38,在步驟S133上，當靜止區域和移動區域確定部分203和 連續點擊確定部分204的確定結果表明當前點擊數據是靜止點擊和連續點擊 時，處理確定部分205按上述方式控制選擇開關206、選擇開關207和選擇 開關208。因而，在步驟S135上，靜止對象連接處理部分211執行一個靜止 圖像連接處理。當確定結果表明當前點擊數據是一個移動點擊和一個連續點 擊時，處理確定部分205按上述方式控制選擇開關206、選擇開關207和選 擇開關208。因而，在步驟S136上，移動對象連接處理部分210執行一個移 動對象連接處理。當確定結果表明當前點擊數據是非連續點擊時，處理確定 部分205按上述方式控制選擇開關206、選擇開關207和選擇開關208。在步 驟S136上，移動對象連接處理部分210執行移動對象連接處理。當確定結果 表明當前點擊數據是一個非連續點擊時，處理確定部分205按上述方式控制 選擇開關206。因而，在步驟S134上，對象號分配部分209執行新對象號分 配處理。換句話說，當步驟S133上的確定結果表明當前點擊數據是非連續點擊 時，流程返回到步驟S134。在步驟S134上，對象號分配部分209把一個新 對象號分配給當前點擊數據。此後，流程返回到步驟S131。實際上，如圖42 (A)所示，當分配給由實線X代表的前一點擊數據 CL1的一個對象號是例如"0"時，如果由圖42 (A)中的虛線X標記代表 的當前點擊數據CL2 (即，未指定一個對象號的點擊數據)被確定為一個非 連續點擊時，對象號分配部分209把一個新對象號分配給由圖42 (B)中的 實線X標記代表的當前點擊數據CL2 (在該實例中，新對象號是"1")。相反，當步驟S133上的確定結果表明當前點擊數據是連續點擊和靜止點 擊時，如果前一點擊是靜止點擊，以及當前點擊位置被包含在與分配給前一 點擊數據的對象號相對應的 一個圖像區域中，或者當前點擊位置接近該圖像區域，則靜止對象連接處理部分211判定當前點擊是用於與前一點擊相同的 對象圖像的一個點擊。因而，在步驟S134上，靜止對象連接處理部分211執 行靜止圖像連接處理，用於為當前點擊數據分配與前一點擊數據相同的對象換句話說，如圖43所示的流程圖所示，在步驟S161上，靜止對象連接 處理部分211確定前一點擊數據是否是連續點擊和靜止點擊。當步驟S161上 的確定結果表明前一點擊數據是連續點擊和靜止點擊時，流程前進到步驟 S162。相反，當步驟S161上的確定結果表明前一點擊不是連續點擊和靜止點 擊時，流程前進到步驟S164。當步驟S161上的確定結果表明前一點擊數據不是連續的和靜止的點擊 時，在步驟S164上，靜止對象連接處理部分211按照與結合圖42(A)和(B) 所述的相同的方式把一個新對象號分配給當前點擊數據。此後，流程前進到 圖38所示的步驟S137。相反，當步驟S161上的確定結果表明前一點擊數據是連續點擊和靜止點 擊時，流程返回到步驟S162。在步驟S162上，靜止對象連接處理部分211 獲得當前點擊位置與對應於分配給前一點擊數據的對象號的圖像區域之間的 空間距離。噹噹前點擊位置被包含在與分配給前一點擊數據的對象號相對應 的圖像區域中時，或當前點擊位置接近該圖像區域時，靜止對象連接處理部 分211確定當前點擊數據是與前一點擊相同的對象圖像的點擊數據。相反， 噹噹前點擊位置未包含在與分配給前一點擊數據的對象號相對應的圖像區域 中時，以及當前點擊位置遠離該圖像區域時，靜止對象連接處理部分211確 定當前點擊數據是與前一點擊不同的對象圖像的點擊數據。當步驟S162上的 確定結果表明當前點擊數據是與前一點擊相同的對象圖像的點擊數據時，流 程前進到步驟S163。相反，當步驟S162上的確定結果表明當前點擊數據是 不同於前一點擊的對象圖像的點擊數據時，流程返回到步驟S164。當步驟S162上的確定結果表明當前點擊數據是不同於前一點擊的對象 圖像的點擊數據時，流程返回到步驟S164。在步驟S164,靜止對象連接處理 部分211把一個新對象號分配給當前點擊數據。此後，流程前進到圖38所示
的步驟S137。相反，當步驟S162上的確定結果表明當前點擊數據是與前一點擊相同的 對象圖像的點擊數據時，在步驟S163上，靜止對象連接處理部分211執行靜 止對象連接處理，用於把和前一點擊數據相同的對象號分配給當前點擊數據。實際上，如圖42 (C)所示，當分配給由實線X標記所表示的前一點擊 數據CL1的一個對象號是"0"時，如果由圖42 (C)所示的虛線X標記所 表示的當前點擊標記CL2 (即，未給當前點擊數據指定一個對象號)被確定 為連續點擊和靜止點擊，前一點是靜止點擊以及當前點擊位置被包含在與分 配給前一點擊數據的一個對象號相對應的圖像區域中，或者當前點擊位置接 近該圖像區域，則靜止對象連接處理部分211把與前一點擊數據相同的對象 號(在該實例中為"1")分配給由圖42 (D)所示的實線X標記表示的當前 點擊數據CL2。靜止對象連接處理部分211把與前一點擊數據相同的對象號分配給當前 點擊數據後。流程前進到圖38所示的步驟S137。當步驟S133上的確定結果表明當前點擊數據是連續點擊和移動點擊、前 一點擊是移動點擊、以及當前點擊位置附近的圖像特徵被包含在與分配給前 一點擊的對象號相對應的圖像區域(16x16象素)的特徵中、或前者接近於 後者時，移動對象連接處理部分210確定該點擊是與前一點擊相同的對象圖 像的點擊。在步驟S136上，移動對象連接處理部分210執行移動對象連接處 理，用於把和前一點擊數據相同的對象號分配給當前點擊數據。換句話說，當步驟S133上的確定結果表明當前點擊數據是連續點擊和移 動點擊時，則如圖44所示，在步驟S171上，移動對象連接處理部分210確 定前一點擊數據是否是連續點擊和移動點擊。當步驟S171上的確定結果表明 前一點擊數據是連續點擊和移動點擊時，流程前進到步驟S172。相反，當步 驟S171上的確定結果不是連續點擊和移動點擊時，流程前進到步驟S174。當步驟S171上的確定結果表明前一點擊數據不是連續點擊和移動點擊 時，流程前進到步驟S174。在步驟S174,移動對象連接處理部分210按照結 合圖41 (A)和(B)所述的相同方式把一個新對象號分配給當前點擊數據。 此後，流程前進到圖3 8所示的步驟S137 。當步驟S171上的確定結果表明前一點擊數據是連續點擊和移動點擊時， 流程前進到步驟S172。在步驟S172,移動對象連接處理部分210獲得當前點
擊位置附近的圖像數據(16 x 16象素)的特徵，和與分配給前一點擊的對象 號相對應的圖像區域的特徵。噹噹前點擊位置附近的圖像區域的特徵包含在 與分配給前一點擊數據的對象號相對應的圖像區域的特徵中，並且前者接近 後者時，接收處理部分210確定該點擊是與前一點擊相同的對象圖像的點擊。 相反，當與分配給前一點擊數據的對象號相對應的圖像區域的特徵中不包含 當前點擊位置附近的圖像區域的特徵時，或前者遠離後者時，接收處理部分210確定當前點擊數據是不同於前一點擊的對象圖像的點擊數據。在此情況 下，圖像區域的特徵是例如一個點擊位置附近的局部區域(16 x 16象素)的 顏色(平均顏色，典型顏色，或類似物)、條形圖或圖案。當相同對象號被分 配給多個移動點擊時，則意味著在這些點擊數據中跟蹤一個對象。當步驟S172 上的確定結果表明當前點擊數據是用於與前一點擊相同的對象圖像的點擊數 據時，流程前進到步驟S173。相反，當步驟S172上的確定結果表明當前點 擊數據是用於不同於前一點擊的對象的點擊數據時，流程前進到步驟S174。當步驟S172上的確定結果表明當前點擊數據是用於不同於前一點擊的 對象圖像的點擊數據時，流程前進到步驟S174。在步驟S174上，移動對象 連接部分210按上述方式把一個新對象號分配給當前點擊數據。此後，流程 前進到圖38所示的步驟S137。當步驟S172上的確定結果表明當前點擊數據是用於與前一點擊相同的 對象圖像的點擊數據時，流程前進到步驟S173。在步驟S173,移動對象連接 處理部分210把與前一點擊數據相同的對象號分配給當前點擊數據。實際上，當分配給由圖42 (E)所示的實線X表示的前一點擊數據CL1 的一個對象號是例如"0"時，如果由圖42 (E)所示的虛線X表示的當前點 擊數據CL2被確定為連續點擊和移動點擊，以及當前點擊位置附近的圖像的 特徵被包含在與分配給前一點擊的對象號相對應的對象圖像的特徵中，或者 前者接近於後者，則移動對象連接處理部分210把與前一點擊數據相同的對 象號(在該實例中為"0")分配給由圖42 (F)所示的實線X標記表示的當 前點擊數據CL2。在步驟S173，在移動對象連接處理部分210把與前一點擊相同的對象號 分配給當前點擊數據後，流程前進到步驟S137。當流程從圖38所示的步驟S135前進到步驟S137時，對象圖像提取部 分213從與分配了對象號並存儲在對象號存儲器212中的過去幾個幀的點擊
數據相對應的輸入數據中和存儲在圖像存儲器20中的過去幾個幀的圖像數 據中提取靜止對象圖像、移動對象圖像和其他的背景圖像。換句話說，似乎 是靜止對象圖像被包含在具有高靜止點擊數據密度的圖像部分中。此時，對象圖像提取部分213獲得與分配了對象號的過去幾個幀相對應的靜止點擊數據密度，獲得具有高靜止點擊密度的圖像部分的佔優對象號，形成與分配了 佔優對象號的點擊數據的分布相對應的對象的形狀，和從圖像數據中提取按 靜止對象圖像構形對象的 一個圖像。當流程從步驟S136前進到步驟S137時，對象圖像提取部分213為分配 了相同的對象號的移動點擊數據的點擊位置附近的幀的圖像執行圖案匹配操 作，對應於該匹配結果執行圖像的移動補償，獲得具有高點擊密度的圖案匹 配圖像區域的佔優對象號，相應於分配了佔優對象號的點擊數據的分布形成 一個對象的形狀，並從圖像數據中提取按移動對象圖像構形對象的一個圖像。在步驟S137上，對象圖像提取部分213把具有低靜止點擊密度或低移動 點擊數據的一個圖像部分處理為當前背景圖像。換句話說，對象圖像提取部 分213把從圖像數據中提取的除靜止對象圖像和移動對象圖像之外的一個圖 像部分處理為一個背景圖像。下面結合圖45所示的流程圖詳細說明步驟S137上的處理。首先，在步 驟S181上，對象圖像提取部分213捕獲幾個過去幀分配對象號的點擊數據和 與其對應的圖像數據。此後在步驟S182上，對象圖像提取部分213把點擊數 據歸類為靜止點擊和移動點擊。當流程從圖38所示的步驟S135前進到步驟 S137時，流程從圖45所示的步驟S182前進到步驟S184。相反，當流程從圖 38所示的步驟S136前進到步驟S137時，流程從圖45所示的步驟S182前進 到步驟S184。當流程從圖38所示的步驟S135前進到步驟S137時，流程從圖45所示 的步驟S182前進到步驟S184。在步驟S184上，對象圖像提取部分213獲得 用於16x16象素的每個塊的分配了一個對象號的每個靜止點擊的一個靜止 點擊數據密度。此後，在步驟S185上，對象圖像提取部分213確定用於由一個圖像虛線 框表示的16x 16象素的每個塊bk的由圖46 (A)所示的X標記所表示的靜 止點擊的靜止點擊密度是否等於或大於一個預定值。在發送給接收設備2的一個圖像中，具有高靜止點擊密度的圖像部分往往包含一個靜止對象圖像。因而，當一個特定塊的靜止點擊密度等於或大於 預定值時，流程前進到步驟S186。相反，當一個特定塊的靜止點擊密度小於預定值時，流程前進到步驟S190。在步驟S186，當塊的靜止點擊密度超過一個預定值時，如圖46 (E)所 示，對象圖4象提取部分213從分配給塊的點擊數據的對象號中獲得最佔優的 對象號。此後，對象圖像提取部分213組合與圖46 (B)所示的佔優對象號 相對應的塊(BKO, BK2, BK4,和BK5 )並構形對象。對象圖像提取部分 213從圖像數據中提取按靜止對象圖像構形對象的圖像。在步驟S186之後， 流程前進到圖38所示的步驟S138。另一方面，當流程從圖38所示的步驟S136前進到步驟S137時，流程 從圖45所示的步驟S182前進到步驟S183。在步驟S183上，如圖46(C)所示，對象圖像提取部分213為分配了與 由圖46 (C)所示的X標記表示的移動點擊相同的點擊數據對象號的點擊位 置附近的多個過去幀的圖像執行圖案匹配操作，並為對應於匹配結果的圖像 執行移動補償。此後，在步驟S187上，對象圖像提取部分213獲得圖案匹配圖像區域中 的一個移動點擊密度。此後，在步驟S188上，對象圖像提取部分213確定該圖像的由圖46(D) 所示的X標記的表示的移動點擊的移動點擊密度是否等於或大於預定值。進行了移動補償並且具有一個高移動點擊密度的一個圖像部分往往包含 一個移動對象圖像。因而，當進行了移動補償的一個圖像區域的移動點擊密 度等於或大於預定值時，流程前進到步驟步驟S189。相反，當進行了移動補 償的一個圖像區域的移動點擊密度小於預定值時，流程前進到步驟步驟S190。在步驟S189上，對象圖像提取部分213為具有等於或大於預定值的一個 移動點擊密度的 一個圖像區域從分配給點擊數據的對象號中獲得最佔優的對 象號。此後，如圖46 (D)所示，對象圖像提取部分213組合與佔優對象號 相對應的塊(BK3和BK6)，並構形對象。此後，對象圖像提取部分213從 該圖像數據中提取按移動對象圖像構形的圖像。在步驟S189之後，流程前進 到圖38所示的步驟S138。在步驟S185和S188上，當點擊密度小於預定值時，流程前進到步驟 S190。在步驟S190上，對象圖像提取部分213把具有低靜止點擊密度或低移 動點擊密度的一個圖像部分處理為當前圖像的背景圖像區域。換句話說，對 象圖像提取部分213把已經從圖像數據中提取的除靜止對象圖像和移動對象 圖像外的圖像部分處理為背景圖像。在步驟S190之後，流程前進到步驟圖38所示的步驟S138。在對象圖像提取部分213已經從圖像數據中提取一個靜止對象圖像、一 個移動對象圖像和一個背景圖像後，流程前進到圖38所示的步驟S138。在 步驟S138上，對象圖像提取部分213確定對象提取處理是否完成。當步驟 S138上的確定結果為否定的時，流程前進到步驟S131。當步驟S138上的確 定結果是肯定的時，對象提取部分213則完成了對象提取處理。在上述的處理中，圖29所示的發送設備1的對象提取部分1014可以相 應於與接收設備2的用戶所執行的點擊操作相對應的點擊數據提取靜止對象 圖像、移動對象圖像和背景圖像。在圖28所示的實施例中，其活動小的平面圖像區域(即，沒有圖像價值) 被處理為背景圖像。對於該背景圖像，不改善空間解析度。另一方面，可以 相應於從接收設備2發送的點擊數據提取背景圖像，以便改善其空間解析度。在這種情況下，圖29所示的背景圖像提取部分1013提取與接收設備2 發送的點擊數據相對應的背景圖像。發送處理部分1016發送背景圖像，以便 按照對象圖像的空間解析度被改善的相同方式改善其空間解析度。在這種情況下，如圖47所示，圖13所示的背景圖像標誌存儲器74被加 到圖31所示的組合處理部分1022上。除了背景圖像標誌存儲器74之外，圖 47所示的組合處理部分1022的結構與圖35所示的組合處理部分1022的結 構相同。如同圖13所示的結構，在圖47所示的結構中，當背景圖像寫入部 分17把一個具有高空間解析度的對象的背景圖像寫入到背景圖像存儲器73 時，相應於組成背景圖像的每個象素在背景圖像標誌存儲器74的一個地址上 存儲的背景圖像標誌從"0"變為"1"。換句話說，當背景圖像寫入部分71 把背景圖像數據寫入到背景圖像存儲器73時，背景圖像寫入部分71核對背 景圖像標誌存儲器74。當背景圖像標誌為"1"(即，當背景圖像存儲器73 已經存儲具有高空間解析度的背景圖像數據)時，背景圖像寫入部分71不把 具有低空間解析度的背景圖像數據寫入到背景圖像存儲器73。無論何時向背 景圖像寫入部分71供應背景圖像數據，該背景圖像數據都被寫入到背景圖像 寫入部分71。然而，當背景圖像存儲器73已經存儲具有高空間解析度的背
景圖像數據時，背景圖像寫入部分71不把具有低空間解析度的背景圖像數據 寫入到背景圖像存儲器73。因而，無論何時向背景圖像寫入部分71供應具 有高空間解析度的背景圖像數據，具有高空間解析度的背景圖像的數目都增加到背景圖像存儲器73中。在該實例中，當組合部分1077接收到來自圖31所示的點擊數據輸入部 分1024的點擊數據時，組合部分1077從背景圖像存儲器73和對象存儲器 75中讀出對象圖像數據和背景圖像數據，這些數據包含在點擊數據中含有的 一個考慮點的坐標位置，並把獲得的數據供應給子窗口存儲器79。下面說明確定(認同)接收設備2的用戶的興趣對象區域的變化和歸類 每個興趣對象區域的技術。各種類型的圖像被分析，以確定用戶感興趣的對象區域是否已經改變以 及是否歸類了每個興趣對象區域。該分析顯示了以下結果。首先，人們(用戶)的興趣對象區域是具有價值的區域單元(例如，一 個對象)。第二，當用戶的興趣對象變化時，具有價值的每個區域單元改變。 第三，當用戶的興趣對象改變時，指定用戶感興趣的對象所需的輸入時 間周期往往變長。第四，當用戶的興趣對象改變時，用戶指定一個興趣對象區域(例如， 點擊操作)的輸入位置之間的空間距離往往相對地變長。因而，圖48示出了發送設備1的結構實例，它獲得與接收設備2的用戶 輸入的點擊數據相對應的輸入時間間隔和輸入位置距離，確定接收設備2的 用戶的興趣對象區域是否由於考慮到分析結果(1)至(4)而改變，並歸類 興趣對象區域。圖48中示出的發送設備1是圖28所示的發送設備1的改良。 為了簡便起見，在圖48中，和圖29相似的部分由相似的參考標號表示，並 省略其說明。換句話說，除了變化確定和歸類部分240被新設置為組成預處 理部分12的一個模塊外，圖48所示的發送設備1的結構與圖29所示的發送 設備l的結構基本相同。根據圖48所示的實施例，變化確定和歸類部分240被設置在預處理部分 12中。另一方面，變化確定和歸類部分240可以被設置在預處理部分12的 對象提取部分1014或背景圖像提取部分1013中。再一方面，變化確定和歸 類部分240還可以獨立於預處理部分12設置。
在該實施例中，用點擊數據表示的一個位置是用戶正在考慮的一個考慮 點。用戶的一個考慮點可以不是點擊數據，而是，用戶的考慮點可以通過檢 測用戶的觀看方向來認同。圖49示出了圖48所示的變化確定和歸類部分240的結構實例。輸入圖像存儲部分231暫時存儲由圖像輸入部分11輸出的圖像數據。必 要時，輸入圖像存儲部分231把圖像數據供應給周邊區域提取部分233以及 靜止區域和移動區域確定部分234。點擊數據獲得部分230暫時存儲接收設備2經傳送路徑3發送的數據， 並把存儲的點擊數據供應給周邊區域提取部分233、靜止區域和移動區域確 定部分234、輸入時間間隔計算部分237、和輸入位置距離計算部分238。在該實施例中，與圖37所示的圖像存儲器201 —樣，可以設置輸入圖像 存儲部分231。此外，與圖37所示的點擊數據存儲器202 —樣，可以設置點 擊數據存儲部分232。點擊周邊區域提取部分233從輸入圖像存儲部分231供給的圖像數據中 提取與點擊數據存儲部分232供給的點擊數據相對應的圖像區域(該圖像區 域是例如點擊位置附近的局部小塊；在下文中，圖像區域被稱之為點擊周邊 區域)。由點擊周邊區域提取部分233提取的點擊周邊區域的數據被發送給點 擊周邊區域存儲部分235。在數據被存儲到點擊周邊區域存儲部分235後， 該數據被發送給興趣對象區域歸類部分236。此外，靜止和移動區域確定部分234相應於從輸入圖像存儲部分231供 應的圖像數據和從點擊數據存儲部分232供應的點擊數據使用與圖37所示的 實施例相同方式的幀間差值執行靜止區域和移動區域確定處理。點擊周邊區域提取處理以及靜止區域和移動區域確定處理可以通過結合 附圖38所述的相同處理來完成。因而，省略對這些處理的詳細說明。在圖 49所示的實施例中，以上述實施例相同的方式把點擊數據被確定為靜止點擊 或移動點擊的結果輸出為靜止點擊或移動點擊確定。此外，例如，可以輸出 點擊周邊區域被確定為靜止區域或移動區域的結果。根據圖49所示的實施 例，為簡便起見，作為靜止區域和移動區域確定的結果，將說明靜止點擊或 移動點擊被輸出的情況。靜止區域和移動區域確定部分234的靜止區域和移動區域確定結果被發 送給輸入時間間隔計算部分237和輸入位置距離計算部分238。 當靜止區域和移動區域確定結果表明點擊數據是靜止點擊時，輸入時間 間隔計算部分237計算前一點擊的輸入時間與當前點擊的輸入時間的時間間 隔。在此情況下，計算時間間隔，而不考慮例如一個移動點擊是否發生在前 一靜止點擊的輸入時間與當前靜止點擊的輸入時間之間。輸入時間間隔計算部分237計算的時間間隔的數據被發送給興趣變化確定部分239。當靜止區域和移動區域確定結果表明點擊數據是靜止點擊時，輸入位置 距離計算部分238計算前一靜止點擊的輸入點擊位置(坐標位置)與當前靜 止點擊的輸入點擊位置(坐標位置)之間的空間距離。在此情況下，計算空 間距離，而不考慮例如在當前靜止點擊的輸入位置與前一靜止點擊的輸入位 置之間是否存在例如一個移動點擊的輸入位置。輸入位置距離計算部分238 計算的空間距離的數據被發送給興趣變化確定部分239。當靜止區域和移動區域確定結果點擊數據是靜止點擊時，興趣變化確定 部分239相應於輸入時間間隔計算部分237計算的時間間隔和位置距離計算 部分238計算的空間距離確定用戶的興趣對象是否變化。換句話說，興趣變 化確定部分239衝丸4亍時間間隔和空間距離的預定加斥又處理，確定加^又時間間 隔是否超過一個預定閾值(時間)，並確定加權空間距離是否超過一個預定閾 值(距離)。當加權時間間隔超過預定閾值和/或加權空間距離超過預定閾值 時，興趣變化確定部分239確定用戶的興趣對象已經改變。興趣對象確定部 分239把興趣對象變化確定結果發送給興趣對象區域歸類部分236。當興趣變化確定部分239的確定結果表明用戶的興趣對象未改變時，興 趣對象區域歸類部分236確定當前靜止點擊的點擊周邊區域被包含在與前一 (過去)靜止點擊的點擊周邊區域相對應的興趣對象相同的圖像區域中，把 當前靜止點擊的點擊周邊區域歸類為與前一靜止點擊的點擊周邊區域相同的 興趣對象區域(例如，把相同的類別號分配給當前靜止點擊的點擊周邊區域)， 並輸出歸類的結果。換句話說，當為每個對象歸類興趣對象區域時，按照上 述實施例的相同方式分配相同的對象號。相反，當興趣變化確定部分239的確定結果表明用戶的興趣對象已經改 變時，興趣對象區域歸類部分236確定當前靜止點擊的點擊周邊區域未被包 含在與前一(過去)靜止點擊的點擊周邊區域相對應的興趣對象區域中，則 輸出當前靜止點擊的點擊周邊圖像的存儲數據，並且重新設置已經在點擊周 邊區域存儲部分235中存儲的數據。此後，興趣對象區域歸類部分236把當
前靜止點擊的點擊周邊區域歸類為與前一靜止點擊的點擊周邊區域不同的興 趣對象區域(例如，把一個不同的類別號分配給當前靜止點擊的點擊周邊區 域)。換句話說，當為每個對象歸類一個興趣對象區域時，以上述情況的相同 方式分配一個新的不同對象號。當靜止區域和移動區域確定結果表明點擊數據是移動點擊時，輸入時間間隔計算部分237同樣計算前一移動點擊的輸入時間與當前移動點擊的輸入 時間之間的時間間隔。在此情況下，時間間隔被計算，而不考慮例如靜止點 擊是否在當前移動點擊的輸入時間與前一移動點擊的輸入時間之間發生。輸 入時間間隔計算部分237計算的時間間隔的數據被發送給興趣變化確定部分 239。相反，當靜止區域和移動區域確定結果表明點擊數據是移動點擊時，同 樣輸入位置距離計算部分238計算前一移動點擊的輸入點擊位置與當前移動 點擊的輸入點擊位置之間的空間距離。在此情況下，空間距離被計算，而不 考慮例如是否在當前移動點擊的輸入位置與前一移動點擊的輸入位置之間存 在一個靜止點擊的輸入位置。輸入位置距離計算部分238計算的空間距離的 數據被發送給興趣變化確定部分239。此外，在靜止區域和移動區域確定結果表明點擊數據是一個移動點擊的 情況下，興趣變化確定部分239相應於輸入時間間隔計算部分237計算的時 間間隔和位置距離計算部分238計算的空間距離來確定用戶的興趣對象是否 已經改變。換句話說，興趣變化確定部分239執行時間間隔和空間距離的預 定加權處理，確定加權時間間隔是否超過預定閾值(時間)，並確定加權空間 間隔是否超過預定閾值(距離)。當加權時間間隔超過預定閾值和/或加權空 間距離超過預定閾值時，興趣變化確定部分239確定用戶的興趣對象已經改 變。興趣變化確定部分239的興趣對象變化確定結果被發送給興趣對象區域 歸類部分236。當興趣變化確定部分239的確定結果表明用戶的興趣對象未變化時，興 趣對象區域歸類部分236確定當前移動點擊的點擊周邊區域被包含在與前一 (過去)移動點擊的點擊周邊區域相對應的興趣對象區域相同的圖像區域中， 把當前移動點擊的點擊周邊區域歸類為和前一(舊的)移動點擊的點擊周邊 區域相同的興趣對象區域(即，把相同的類別號分配給當前移動點擊的點擊 周邊區域)，並輸出歸類結果。換句話說，當為每個對象歸類一個興趣對象區
域時，分配相同的對象號。相反，當興趣變化確定部分239的確定結果表明用戶的興趣對象變化時，興趣對象區域歸類部分236確定當前移動點擊的點擊周邊區域未被包含在與 前一 (過去)移動點擊的點擊周邊區域相對應的興趣對象區域中，輸出當前 移動點擊的點擊周邊圖像的存儲數據，並且重新設置已經在點擊周邊區域存 儲部分235中存儲的數據。此後，興趣對象區域歸類部分236把當前移動點 擊的點擊周邊區域歸類為與前一移動點擊的點擊周邊區域不同的興趣對象區 域(例如，把一個不同的類別號分配給當前移動點擊的點擊周邊區域)。換句 話說，當為每個對象歸類一個興趣對象區域時，分配一個新的不同對象號。下面結合圖50所示的流程圖說明圖49所示的變化確定和歸類部分240 的處理。在步驟S201,變化確定和歸類部分240接收來自圖像輸入部分11的圖 像數據和由接收設備2的用戶輸入的點擊數據。此後，在步驟S202上，圖像輸入部分11供應的圖像數據被存儲在輸入 圖像存儲部分231。點擊數據獲得部分230所獲得的點擊數據被存儲在點擊 數據存儲部分232中。此後，在步驟S203上，點擊周邊區域提取部分233從已經被存儲並從輸 入圖像存儲部分231中讀出的圖像的點擊數據中提取與點擊數據相對應的一 個圖像區域(點擊周邊區域)。在步驟S204上，點擊周邊區域存儲部分235 存儲已經被提取的點擊周邊區域的數據。此後，在步驟S205,靜止區域和移動區域確定區域234按上述方式使用 幀間差值執行靜止區域和移動區域確定處理。在步驟S205，當步驟S205上確定的結果表明點擊數據是靜止點擊時， 流程前進到步驟S206。相反，當步驟S205上的確定結果表明點擊數據是移 動點擊時，流程前進到步驟S212。當步驟S205上的確定結果表明點擊數據是靜止點擊，流程前進到步驟 S206。在步驟S206上，輸入時間間隔計算部分237計算前一靜止點擊的輸入 時間與當前靜止點擊的輸入時間之間的時間間隔。該時間間隔被計算，而不 考慮例如在當前靜止點擊的輸入時間與前一靜止點擊的輸入時間之間是否存 在一個移動點擊。此後，在步驟S207上，輸入位置距離計算部分238計算前一靜止點擊的
輸入點擊位置(坐標位置)與當前靜止點擊的輸入點擊位置(坐標位置)之 間的空間距離。在此情況下，計算空間距離，而不考慮例如在當前靜止點擊 的輸入位置與前一靜止點擊的輸入位置之間存在 一個移動點擊的輸入位置。在步驟S208上，興趣對象確定部分239相應於步驟S206上計算的時間 間隔和步驟S207上計算的空間距離確定用戶的興趣對象是否變化。換句話 -說，如上所述，興趣變化確定部分239扭J亍時間間隔和空間間隔的預定加4又 處理，確定加權時間間隔是否超過一個預定閾值(時間)，和確定加權空間距 離是否超過一個預定閾值(距離)。當加權時間間隔超過預定閾值和/或加權 空間距離超過預定閾值時，興趣變化確定部分239確定用戶的興趣對象已經 改變。當步驟S208上的確定結果表明興趣對象已經改變時，流程前進到步驟 步驟S209。當步驟S208上的確定結果表明興趣對象未改變時，流程前進到 步驟S211。當步驟S208上的確定結果表明興趣對象未改變時，流程前進到步驟步驟 S211。在步驟S211，興趣對象區域歸類部分236確定當前靜止點擊的點擊周 邊區域被包含在與前一(過去)靜止點擊的點擊周邊區域相對應的興趣對象 區域相同的圖像區域中，並把當前靜止點擊的點擊周邊區域歸類為和前 一靜 止點擊的點擊周邊區域相同的興趣對象區域(即，把相同的類別號分配給當 前靜止點擊的點擊周邊區域)。換句話說，當為每個對象歸類一個興趣對象區 域時，以上述實施例相同的方式分配相同的對象號。在步驟S211之後，流程 前進到步驟S218。相反，當在步驟S208上確定結果表明用戶的興趣對象改變時，流程前進 到步驟步驟S209。在步驟S209上，興趣對象區域歸類部分236確定當前靜 止點擊的點擊周邊區域未被包含在與前一(舊的)靜止點擊的點擊周邊區域 相對應的興趣對象區域中，輸出當前靜止點擊的點擊周邊圖像的存儲數據， 並且重新設置存儲的數據。此後，在步驟S210上，興趣對象區域歸類部分 236把當前靜止點擊的點擊周邊區域歸類為與前一靜止點擊的點擊周邊區域 不同的興趣對象區域(例如，把一個不同的類別號分配給當前靜止點擊的點 擊周邊區域)。換句話說，當為每個對象歸類一個興趣對象區域時，以上述實 施例相同的方式分配一個新的不同對象號。在步驟S211之後，流程前進到步 驟S218。相反，當步驟S205上的確定結果表明點擊數據是移動點擊時，流程前進
到步驟S212。在步驟S212上，興趣變化確定部分239計算前一移動點擊的 輸入時間與當前移動點擊的輸入時間之間的時間間隔。在此情況下，時間間 隔被計算，而不考慮例如在當前移動點擊的輸入時間與前一移動點擊的輸入 時間之間是否存在一 個靜止點擊。此後，在步驟S213,興趣變化確定部分239計算前一移動點擊的輸入點 擊位置與當前移動點擊的輸入點擊位置之間的空間距離。在此情況下，該空 間距離被計算，而不考慮例如在當前移動點擊的輸入位置與前一移動點擊的 輸入位置之間是否存在一個靜止點擊的輸入位置。此後，在步驟S214，興趣變化確定部分239相應於在步驟S212上計算 的時間間隔和在步驟S213上計算的空間距離確定用戶的興趣對象是否變化。 換句話說，興趣變化確定部分239執行時間間隔和空間距離的預定加權處理， 確定加權時間間隔是否超過一個預定閾值(時間)，和確定加權空間距離是否 超過一個預定閾值(距離)。當加權時間間隔超過預定閾值和/或加權空間距 離超過預定閾值時，興趣變化確定部分239確定用戶的興趣對象已經改變。 當步驟S214上的確定結果表明興趣對象已經改變時，流程前進到步驟S215 。 當步驟S214上的確定結果表明興趣對象未改變時，流程前進到步驟S217。當步驟S214上的確定結果表明用戶的興趣對象未改變時，流程前進到步 驟S217。在步驟S217,如上所述，興趣對象區域歸類部分236確定當前移動 點擊的點擊周邊區域被包含在與對應於前一(過去)移動點擊的點擊周邊區 域的興趣對象相同的圖像區域中，把當前移動點擊的點擊周邊區域歸類為與 前一移動點擊的點擊周邊區域相對應的興趣對象區域(例如，把相同的類別 號分配給當前移動點擊的點擊周邊區域)。換句話說，當為每個對象歸類一個 興趣對象區域時，按照上述實施例的相同方式分配相同的對象號。在步驟S217 之後，流程前進到步驟S218。相反，當步驟S214上的確定結果表明用戶的興趣對象已經改變時，流程 前進到步驟S215。在步驟S215，興趣對象區域歸類部分236確定當前移動點 擊的點擊周邊區域未被包含在與前一(過去)移動點擊的點擊周邊區域相對 應的興趣對象區域中，輸出當前移動點擊的點擊周邊圖像的存儲數據，並且 重新設置存儲的數據。此後在步驟S216,興趣對象區域歸類部分236把當前 移動點擊的點擊周邊區域歸類為與前一移動點擊的點擊周邊區域不同的興趣 對象區域(例如，把一個不同的類別號分配給當前移動點擊的點擊周邊區域)。 換句話說，當為每個對象歸類一個興趣對象區域時，以上述實施例的相同方式分配一個新的不同對象號。在步驟S216之後，流程前進到步驟S218。在步驟S210、 S211、 S216和S217之後，流程前進到步驟S218。在步驟 S218,變化確定和歸類部分240確定所有的處理是否已經完成。當步驟S218 上的確定結果是否定時，流程返回到步驟S201。當步驟S218上確定結果是 肯定時，變化確定和歸類部分240完成圖50所示的處理。下面，結合圖51所示的流程圖說明圖50所示的在步驟S208和S214上 的興趣對象變化確定處理。在步驟S221，興趣變化確定部分239獲得時間間隔的信息。此後，在步 驟S222,興趣變化確定部分239執行時間間隔的預定加權處理。在步驟S223, 興趣變化確定處理部分239獲得空間距離的信息。此後，在步驟S224，興趣 變化確定部分239執行空間距離的預定加權處理。步驟S221和S222的順序 可以改變。同樣，步驟S223和S224的順序也可以改變。時間間隔的加權處 理可以通過壓縮時間單位(例如，ms/10的壓縮)來執行。空間距離的加權處 理可以通過在水平方向和垂直方向上壓縮象素間距來執行。此後，流程前進到步驟S225。在步驟S225上，興趣變化確定部分239 使用加權時間間隔(t)和電平及垂直方向上的加權空間距離(X坐標和Y坐 標)生成三維矢量，並獲得該三維矢量的大小。該三維矢量的大小是通過以 下計算獲得的在將時間軸(t)加到點擊數據的輸入位置的X坐標軸和Y 坐標軸的三維空間上計算當前輸入點與前 一 輸入點之間的歐幾裡得 (Euclidean )距離。在步驟S225之後，流程前進到步驟S226。在步驟S226上，興趣變化確定部分239確定步驟S225上獲得的三維矢 量的大小是否超過預定閾值。當步驟S226上的確定結果表明三維矢量的大小 未超過預定閾值時，流程前進到步驟步驟S227。在步驟S227，興趣變化確定 部分239確定接收設備2的用戶的興趣對象未變化。當三維矢量的大小超過 預定閾值時，流程前進到步驟S228。在步驟S228，興趣變化確定處理部分 239確定用戶的興趣對象已經改變。在上述方式中，變化確定和歸類部分240相應於接收設備2發送的點擊 數據完成用戶的興趣對象變化確定和其歸類。此外，當接收設備2的用戶的興趣對象區域被歸類時，可以最佳地處理 被歸類的興趣對象區域。換句話說，分配給用戶的每個興趣對象區域的信息
量可以改變。例如，大信息量可以分配給用戶的特定興趣對象區域。另一方 面，可以優先發送用戶的興趣對象區域的數據。此外，可以發送從點擊周邊區域存儲部分235中為興趣對象區域236讀 出的 一個圖像區域，以便按上述方式改善空間解析度。在此情況下，即使接收設備2的用戶錯誤地點擊非興趣對象區域，也可 以避免執行錯誤的確定。根據該實施例，即使具有興趣對象區域意義的一個對象在時間或空間上 與另一個對象分離，它們也可以被歸類為一個對象。此外，也可以提取不同 於諸如一個實體的對象的具有特定意義的區域。此外，結合圖37至46所述的實施例和結合圖49至51所述的實施例可 以合併。在此情況下，在步驟S206和S207上，可以按照上述方式為連續點 擊的靜止點擊確定一個連續點擊。同樣，在步驟S212和S213上，可以按照 上述方式為連續點擊的移動點擊確定一個連續點擊。圖52示出了圖1所示的圖像發送設備的第三結構實例。在圖52中，與 圖28相同的部分用相似的標號表示，並省略其說明。換句話說，除交換部分 3-3具有收費伺服器4外，圖52所示的圖像發送系統的結構與圖28所示的圖 像發送系統的結構基本相同。儘管從接收設備2向發送設備1發送點擊數據(或控制信息)和從發送 設備1向接收設備2提供相應於一個點擊數據具有改善了空間解析度的圖像 的這樣一種服務(在下文中，這種服務被稱之為點擊服務)可以是免費服務， 但該服務可以是收費服務。當點擊服務是收費服務時，收費伺服器4執行一 種收費處理，從用戶收取該點擊服務的服務費。換言之，圖53示出了圖52所示的收費伺服器4的結構實例。預定信息從交換站3-3供應給通信鏈路建立檢測部分301。通信鏈路建 立檢測部分301核對從交換站3-3供應的信息。結果，通信鏈路建立檢測部 分301檢測在作為發送設備的終端單元1與作為接收設備的終端單元2之間 是否已經建立的通信鏈路，並把合成數據供應給終端單元認同部分302。當終端單元認同部分302接收到代表已經在諸如發送設備1和接收設備 2的終端單元之間建立通信鏈路的信息(在下文中，該信息被稱之為通信鏈 路建立信息)時，終端單元認同部分302核對從交換站3-3供應的信息。結 果，終端單元認同部分302認同已經通信連結的終端單元。此外，終端單元 認同部分302認同分配給終端單元的ID(在下文中，ID被稱之為終端單元ID ) 並把i/v同的終端單元ID供應給點擊檢測部分303。點擊檢測部分303監視經交換站3-3接收的數據，採用從終端單元認同 部分302接收的終端單元ID檢測從終端單元發送的點擊數據，並把檢測結果 和終端單元ID供應給收費處理部分304。在此情況下，例如，接收設備2將發送點擊數據和本地終端單元ID—起 發送。點擊檢測部分303將附加到經交換站3-3接收的點擊數據上的終端單 元ID與終端單元認同部分302供應的終端單元ID相比較，認同從已經通信 連結的終端單元發送的點擊數據，並檢測該點擊數據。在下文中，點擊檢測部分303的一組點擊數據檢測結果和一個終端單元 ID被稱作點擊檢測信息。當收費處理部分304接收到來自點擊檢測部分303的點擊檢測信息時， 收費處理部分304更新收費資料庫305的存儲內容。此外，收費處理部分304 相應於收費資料庫305的存儲內容，(例如)周期性地(例如，每月 一次)執 行收費處理。收費資料庫305存儲收費處理所需的信息。下面，結合圖54所示的流程圖說明圖53所示的收費伺服器4的處理。 通信鏈路建立檢測部分301監視終端單元之間的通信鏈路是否已經相應 於交換站3-3供給的信息而建立。當通信鏈路建立檢測部分301檢測到發送 設備1與接收設備2之間的通信鏈路已經建立時，通信鏈路建立檢測部分301 把通信鏈路建立信息供應給終端單元認同部分302。當終端單元認同部分302收到通信鏈路建立檢測部分301發送的通信鏈 路建立信息時，在步驟S301,終端單元認同部分302核對交換站3-3供應的 信息。結果，終端單元認同部分302認同已經通信連結的終端單元(例如， 發送設備1和接收設備2 )的終端單元ID,並把終端單元ID供應給點擊檢測 部分303。當點擊檢測部分303收到來自終端單元認同部分302的終端單元ID時， 點擊^r測部分303開始4全測包含終端單元ID的點擊it據。此後，流程前進到步驟S302。在步驟S302,收費處理部分304確定是 否已經從已經通信連結的終端單元檢測到點擊數據。當步驟S302上的確定結 果表明還未從已經通信連結的終端單元檢測到點擊數據時(即，當點擊檢測
部分303未向收費處理部分304供應點擊檢測信息時)，流程前進到步驟S304, 跳過步驟S303。相反，當步驟S302上的確定結果表明已經從已經通信連結的終端單元檢 測到點擊數據時(即，當點擊檢測部分303向收費處理部分304供應點擊檢 測信息時)，流程前進到步驟S303。在步驟S303,收費處理部分304更新收 費資料庫305的存儲內容。換句話說，收費資料庫305存儲諸如點擊數目和點間時間的點擊信息(在 下文中，該信息可以被稱作點擊信息)以及存儲終端單元發出一個呼叫和開 始一個通信的通信時間。收費資料庫305相關地存儲該點擊信息和終端單元 的終端單元ID。在步驟S303,收費處理部分304相應於點擊檢測信息更新與 點擊一企測信息中含有的終端單元ID相對應的點擊信息。在步驟S303之後，流程前進到步驟S304。在步驟S304上，終端單元認 同部分302確定與通信鏈路建立檢測部分301供給的通信鏈路建立信息相對 應的通信鏈路是否已經中斷。換句話說，通信鏈路建立檢測部分301不僅監視終端單元間的通信鏈路 的建立，而且還監視該鏈路的中端。當通信鏈路已經中斷時，通信鏈路建立 檢測部分301把作為通信鏈路中斷信息的結果信息供應給終端單元認同部分 302。在步驟S304,終端單元認同部分302相應於通信鏈路中斷信息確定通 信鏈路是否已經中斷。當步驟S304上的確定結果表明通信鏈路未中斷時，流程前進到步驟 S302。在步驟S302,收費伺服器4重複相似的處理。相反，當步驟S304上的確定結果表明通信鏈路已經中斷時，終端單元認 同部分302控制點擊檢測部分303完成對已經通信連結的終端單元的點擊數 據的監視。此後，收費處理伺服器4完成該處理。此後，收費處理部分304周期性地核對收費資料庫305,執行收費處理， 計算通信費和點擊服務費，並從用戶的銀行帳戶或類似物中轉帳(轉費)。作為點擊服務費，可以指定每次點擊的計費單位。相應於點擊的次數， 可以計算點擊服務費。另一方面，作為點擊服務費，可以指定每小時的計費 單位。相應於點擊時間，可以計算點擊服務費。另一方面，相應於點擊次數 和點擊時間，可以計算點擊服務費。上述處理可以由硬體或軟體執行。當這些處理由軟體執行時，對作為專
用硬體設備的設置在發送設備1、接收設備2中的計算機、通用計算機或類似物等安裝組成該軟體的程序。圖55示出了已經安裝了執行上述處理的程序的一個計算機的結構實例。 該程序可以被預先錄製到作為內置在計算機內的一個記錄介質的硬碟405或ROM403上。另一方面，該程序可以暫時或永久地存儲(記錄)到可移動記錄介質諸 如軟盤、CD-ROM (光碟只讀存儲器)、MO (磁光)盤、DVD (數字通用盤)、 ^t盤或半導體存儲器上。可移動記錄介質411可以被設置為所謂的軟體包。該程序可以從上述的可移動記錄介質411安裝到計算機上。另一方面， 該程序可以從下載點經數字衛星廣播衛星無線傳送給該計算機。再一方面， 該程序可以經過諸如LAN (區域網)的網絡或網際網路傳送給該計算^L。在該 計算機中，該程序由通信部分408接收並安裝到硬碟405上。該計算機含有CPU(中央處理單元)402。輸入/輸出接口 410經總線401 連接CPU402。當用戶使用諸如鍵盤、滑鼠、麥克風等的輸入部分407經輸入 /輸出接口 410向CPU402輸入一個命令時，ROM (只讀存儲器)403中存儲 的程序開始執行。另一方面，CPU402把硬碟405中存儲的程序加載到RAM (隨機存取存儲器)404上，並利用RAM404執行該程序。再一方面，CPU402 把從衛星或網絡傳送、由通信部分408接收並安裝到硬碟405上的程序，或 者從連接到驅動器409的可移動記錄介質411中讀出並安裝到硬碟405上的 程序，加載到RAM404上，利用ARM404執行該程序。因而，CPU402執行 相應於圖4、 6、 10、 14、 21至24、 27、 30、 32、 34、 36、 38、 39、 41、 43 至45、 50、 51和54所示的流程圖的處理。而且CPU402執行相應於圖3、 5、 7、 8、 11至13、 17、 25、 29、 31、 33、 35、 37、 47至49和53的框圖所示 的處理。必要時，CPU402經輸入/輸出接口 410從包括LCD (液晶顯示器)、 揚聲器等的輸出部分406輸出已處理的結果。另一方面，CPU402發送來自通 信部分408或者記錄到硬碟405上的已處理的結果。具體地說，使計算機執行各種處理的程序的處理步驟不一定總是按照流 程圖的順序執行。另一方面，處理步驟可以並行或分離地執行(例如，可以 執行並行處理或對象處理)。該程序可以由一個計算機處理。另一方面，該程序可以由多個計算機分 配。再一方面。該程序可以傳送到一個遠端計算機上，由該計算機執行處理。
根據本發明的實施例，發送設備l執行分層編碼。根據發送的分層數據， 改變接收設備2顯示的圖像的時間解析度或空間解析度。另一方面，接收設 備2顯示的圖像的時間解析度和空間解析度可以根據發送的圖像的離散餘旋變換系悽t或量化級(quantizing step )來改變。另一方面，時間解析度和空間解析度可以根據發送設備1的編碼方法來 改變。換句話說，當用一個常規時間解析度顯示一個圖像時，發送設備1的 編碼部分31對其對象的輪廓連續編碼，並獲得組成一個對象的像素值(顏色) 的平均值，作為典型值。接收設備2按照該典型值顯示彩色對象的區域。當 以時間解析度為代價顯示具有改善的空間解析度的圖像時，可以按上所述的 那樣使用分層編碼。根據該實施例，空間解析度的改善是以時間解析度為代價的。相反，時間解析度可以以空間解析度為代價得到改善。代表犧牲(改善)解析度的選 擇的信息可以被包含在諸如點擊數據的控制信息中，並從接收設備2發送給發送設備1。根據本方明的實施例，時間解析度和空間解析度被處理。然而，根據本 發明，電平方向的解析度(在下文中，把該解析度稱作電平解析度)也可以 被處理。換句話說，當分配給數據的比特數增加或降低時，時間解析度和空 間解析度可以提高或惡化。在此情況下，當圖像的時間解析度和空間解析度 變化時，其明暗度也變化。該電平解析度可以通過改變上述的量化級來改變。此外，根據該實施例，圖像的部分區域(優先權範圍)的空間解析度的 改善是以時間解析度為代價的。另一方面，整個圖像的空間解析度也可以得 到改善。另 一方面，圖像的特定部分的空間解析度的改善可以以圖像的剩餘部分 的空間解析度為代價，而不是以時間解析度為代價(即，保持時間解析度)。此外，根據本實施例，以這種方式處理圖像，即將其分為背景圖像和對 象。而且也可以以不分離圖像的方式處理圖像。此外，本發明不僅適用於圖像數據，而且還適用於音頻數據。在音頻數 據的情況下，採樣頻率相當於時間解析度，而分配給音頻數據的比特數相當 於電平解析度。此外，圖49所示的變化確定和歸類部分240的處理可適用於提取聲音特 徵量(例如音調、話音或樂器的期望部分)的情況。
此外，對象提取部分14和1014以及變化確定和歸類部分240的處理可 適用於所謂的對象編碼。換句話說，對於對象提取部分14和1014以及變化 確定和歸類部分240的處理來說，由於可以提取對象，因此可以相應於獲取 代表對象移動的信息的對象編碼處理，對被提取的對象以及代表對象輪廓或 區域的信息進行編碼。該編碼的數據可以被發送或記錄。接收設備2可以使用點擊數據執行與對象提取部分1014的處理相似的處 理，以便提取一個對象。在此情況下，當接收設備2提取的一個對象被存儲 時， 一個資料庫就被形成。根據本發明的第一發送設備、第一發送方法、第一記錄介質和第一信號， 接收從接收設備發送的控制信息。相應於該控制信息，控制時間方向、空間 方向和電平方向的至少兩個方向上的解析度。已經相應於控制信息控制至少 兩個方向解析度的數據被發送給接收設備。因而，例如，接收設備所顯示的 圖像的空間方向解析度可以被進一 步改善。根據本發明的接收設備、接收方法、第二記錄介質和第二信號，控制信 息被發送給發送設備，以便相應於該控制信息控制時間方向、空間方向和電 平方向的至少兩個方向上的解析度。此外，已經相應於該控制信息控制至少 兩個方向解析度的數據，從發送設備發送，然後接收和輸出。因而，例如， 輸出的圖像的空間解析度可以被進一步改善。根據本發明的發送和接收設備、發送和接收方法、第三記錄介質和第三 信號，發送設備接收從接收設備發送的控制信息。相應於該控制信息，控制 時間方向、空間方向和電平方向的至少兩個方向的解析度。已經相應於控制 信息控制至少兩個方向解析度的數據被發送給接收設備。此外，接收設備向 發送設備發送控制信息。已經相應於該控制信息控制至少兩個方向解析度的 數據，從發送設備發送，然後接收和輸出。因而，例如，接收設備所顯示的 圖像的空間方向解析度可以被進 一 步改善。根據本發明的第二發送設備、第二發送方法、第四記錄介質和第四信號， 接收從接收設備發送的控制信號。相應於該控制信息，對數據歸類。相應於 數據的歸類結果，向接收設備發送數據。因而，例如，可以向接收設備發送 用戶正在考慮的圖像區域，而不考慮該區域是移動的還是靜止的。
權利要求
1、一種向接收設備發送數據的發送設備，包括接收裝置，用於接收從接收設備發送的控制信息；控制裝置，相應於控制信息控制發送給接收設備的數據的時間方向、空間方向和電平方向的至少兩個方向的解析度；發送裝置，向接收設備發送已經已經相應於控制信息控制至少兩個方向的解析度的數據，和分析裝置，用於分析接收設備的用戶的偏愛，其中所述的控制裝置相應於分析裝置的分析結果控制數據的解析度；其中接收設備輸出從所述的發送裝置發送的數據，其中所述的控制裝置控制輸出給接收設備的數據的考慮點，和其中所述的分析裝置相應於考慮點分析用戶的偏愛，其中所述的分析裝置具有特徵量提取裝置，用於提取含有數據考慮點的考慮區域的特徵量；和區域檢測裝置，用於從對應於特徵量的數據中檢測與用戶的偏愛相對應的預定區域，和其中所述的控制裝置控制數據的預定區域的解析度。
2、 根據權利要求1所述的發送設備，其中所述的控制裝置相應於控制信 息控制發送給接收設備的圖像數據的時間方向和空間方向上的解析度。
3、 根據權利要求1所述的發送設備其中所述的發送裝置經預定的傳送路徑以預定的傳送速率向接收設備發 送數據，和其中所述的控制裝置相應於控制信息控制數據的解析度，使數據的傳送 速率不超過預定的傳送速率。
4、 根據權利要求1所述的發送設備，其中接收設備輸出從發送設備發送的數據， 其中控制信息包含輸出給接收設備的數據的考慮點，和 其中所述的控制裝置相應於控制信息改善包含了數據的考慮點的考慮區 域的解析度。
5、 根據權利要求4所述的發送設備，其中所述的發送裝置經預定的傳送路徑以預定的傳送速率向接收設備發 送圖像數據，其中接收設備顯示從發送裝置發送的圖像數據，其中控制信息包含由接收設備顯示的圖像數據的時間和空間位置，和 其中所述的控制裝置相應於控制信息改善包含圖像數據的時間和空間位置的考慮區域的空間解析度，和降低時間解析度，使圖像數據的傳送速率不超過預定的傳送速率。
6、 根據權利要求5所述的發送設備，還包括背景圖像數據提取裝置，用於從發送給接收設備的圖像數據中提取背景 圖像數據，其中當包含在控制信息中的時間和空間位置代表背景圖像數據時，所述 的控制裝置改善背景圖像數據的空間解析度。
7、 根據權利要求6所述的發送設備，還包括對象圖像數據提取裝置，相應於發送給接收設備的圖像數據與背景圖像 數據之間的差值從圖像數據中提取對象圖像數據，其中當包含在控制信息中的時間和空間位置代表對象圖像數據時，所述 的控制裝置改善對象圖像數據的空間解析度。
8、 根據權利要求7所述的發送設備，還包括組合裝置，用於把背景圖像數據和對象圖像數據組合為組合數據， 其中所述的發送裝置向接收設備發送該組合數據。
9、 根據權利要求1所述的發送設備，還包括 輸入數據的輸入裝置。
10、 根據權利要求9所述的發送設備，其中 數據是圖像數據，和其中所述的輸入裝置是拍攝圖像和輸出圖像數據的拍攝裝置。
11、 根據權利要求1所述的發送設備， 其中發送設備是可攜式電話機。
12、 根據權利要求1所述的發送設備，還包括 條形圖存儲裝置，用於存儲特徵量的條形圖，其中所述的區域檢測裝置檢測與該條形圖相對應的預定區域。
13、 根據權利要求1所述的發送設備其中所述的發送裝置經預定的傳送路徑以預定的傳送速率向接收設備發 送圖像數據，其中接收設備顯示從所述的發送裝置發送的圖像數據，和 其中所述的控制裝置改善圖像數據的預定區域的空間解析度和降低時間 解析度，以使圖像數據的傳送速率不超過預定傳送速率。
14、 根據權利要求12所述的發送設備其中所述的檢測裝置把與具有條形圖的最高頻率的特徵量相同或相似的 區域;險測為預定區域。
15、 根據權利要求14所述的發送設備，其中所述的發送裝置經預定的傳送路徑以預定的傳送速率向接收設備發 送圖像數據，其中接收設備顯示所述的發送裝置發送的圖像數據，和 其中所述的控制裝置改善圖像數據的預定區域的空間解析度和降低時間 解析度，以使圖像數據的傳送速率不超過預定傳送速率。
16、 根據權利要求13所述的發送設備，其中所述的特徵量提取裝置提取作為特徵量的包含圖像數據考慮點的考 慮區域的移動信息、深度信息、位置信息、顏色信息和形狀信息的至少一個化息。
17、 根據權利要求16所述的發送設備，其中所述的特徵量提取裝置提取裝置提取多個作為多個特徵量的包含圖 像數據考慮點的考慮區域的移動信息、深度信息、位置信息、顏色信息和形 狀信息。
18、 根據權利要求1所述的發送設備， 其中所述的分析裝置具有歸類裝置，相應於包含數據考慮點的考慮區域對數據進行歸類， 其中所述的分析裝置相應於所述歸類裝置的分析結果分析用戶的偏愛。
19、 根據權利要求18所述的發送設備， 其中所述數據是圖像數據， 其中所述分析裝置具有靜止區域和移動區域確定裝置，用於確定圖像數據的考慮區域是靜止區域還是移動區域；和連續確定裝置，用於確定考慮點在考慮點的時間和空間方向上是否是連 續的，和其中所述的歸類裝置相應於靜止區域和移動區域確定裝置和所述的連續 確定裝置的確定結果對圖像數據歸類。
20、根據權利要求19所述的發送設備，還包括考慮點存儲裝置，用於存儲在靜止的並且在時間和空間方向上連續的考 慮區域中所含有的考慮點，和存儲移動的並且在時間和空間方向上連續的考 慮區域中所含有的考慮點；和類別標識符加法裝置，用於獲取加入到被存儲在考慮點存儲裝置中的一 個考慮點上的類別標識符，並且把該標識符加到該考慮點上。
21 、根據權利要求20所述的發送設備，其中在當前考慮點處於靜止的並在時間和空間方向上連續的考慮區域內 的情況下，當存儲在所述考慮點存儲裝置中的前一考慮點被包含在靜止的並 在時間和空間方向上連續的考慮區域內時，相應於當前考慮點與含有前一考 慮點的區域之間空間位置的關係，所述的歸類標識符加法裝置獲得被加入到 當前考慮點的類別標識符。
22、 根據權利要求21所述的發送設備，其中在當前考慮點處於移動的並在時間和空間方向上連續的考慮區域內 的情況下，當存儲在所述考慮點存儲裝置中的前一考慮點被包含在移動的並 在時間和空間方向上連續的考慮區域內時，相應於含有當前考慮點的考慮區 域的預定特徵量和含有前一考慮點的考慮區域的預定特徵量的相似性，所述 的歸類標識符加法裝置獲得被加入到當前考慮點的類別標識符。
23、 根據權利要求20所述的發送設備，其中所述的歸類裝置相應於與所述考慮點存儲裝置中存儲的考慮點的密 度相對應的用戶偏愛對作為對象的圖像數據的預定區域進行歸類。
24、 根據權利要求23所述的發送設備，其中所述的歸類裝置相應於與所述考慮點存儲裝置中存儲的並包含在靜 止的考慮區域中的分配了相同類別標識符的考慮點的密度相對應的用戶偏 愛，對作為對象的圖像數據的預定區域進行歸類。
25、 根據權利要求23所述的發送設備， 其中所述的歸類裝置相應於與所述考慮點存儲裝置中存儲的並包含在移 度相對應的用戶偏愛，對作為對象的圖像數據的預定區域進行歸類。
26、 根據權利要求19所述的發送設備，其中所述的靜止區域和移動區域確定裝置相應於包含當前幀的考慮點的 考慮區域與包含過去幀的考慮點的考慮區域之間的差值，確定包含當前考慮 點的考慮區域是靜止的還是移動的。
27、 根據權利要求19所述的發送設備，其中所述的連續確定裝置相應於當前考慮點與過去考慮點的時間差值， 確定當前考慮點是否在時間和空間方向上連續。
28、 根據權利要求23所述的發送設備，其中所述的控制裝置改善按對象歸類的區域的解析度。
29、 根據權利要求19所述的發送設備，其中所述的連續確定裝置相應於當前考慮點與過去考慮點之間的時間和 空間方向上的距離確定當前考慮點是否連續，獲得與包含當前考慮點的考慮 區域相同的靜止區域和移動區域確定結果。
30、 根據權利要求29所述的發送設備，其中所述的歸類裝置相應於用於時間方向和空間方向的距離的加權值對 圖像數據進行歸類。
31、 根據權利要求30所述的發送設備，還包括圖像數據存儲裝置，用於存儲包含在時間方向和空間方向連續的考慮點 的考慮區域中的圖像數據。
32、 根據權利要求31所述的發送設備，其中噹噹前考慮點在時間方向和空間方向上不連續時，在所述的圖像數 據存儲裝置的內容被讀出後，擦除該內容，並把包含當前考慮點的考慮區域 中的圖像數據存儲到所述的圖像數據存儲裝置上。
33、 根據權利要求32所述的發送設備，其中所述的控制裝置改善從所述的圖像數據存儲裝置中讀出的圖像數據 的解析度。
34、 根據權利要求1所述的發送設備， 其中控制信息被用於一個收費處理。
35、 根據權利要求2所述的發送設備， 其中圖像數據是編碼的對象。
36、 一種向接收設備發送數據的發送方法，包括步驟 接收從接收設備發送的控制信息；相應於控制信息控制發送給接收設備的數據的時間方向、空間方向和電 平方向的至少兩個方向的解析度；向接收設備發送已經已經相應於控制信息控制至少兩個方向的解析度的 數據，和分析接收設備的用戶的偏愛，其中所述的控制步驟相應於分析步驟的分析結果控制數據的解析度；其中接收設備輸出從所述的發送步驟發送的數據，其中所述的控制步驟控制輸出給接收設備的數據的考慮點，和其中所述的分析步驟相應於考慮點分析用戶的偏愛，其中所述的分析步驟包括提取含有數據考慮點的考慮區域的特徵量；和從對應於特徵量的數據中檢測與用戶的偏愛相對應的預定區域5和其中所述的控制步驟控制數據的預定區域的解析度。
全文摘要
在發送方，背景圖像和對象#1至#3每個以傳送速率R/4發送。在接收方，以特定的空間解析度和特定的時間解析度顯示由對象#1至#3和背景圖像組成的圖像。在此情況下，接收方在特定時間t1拖動對象#1時，在發送方(如圖所示)則停止對背景圖像和對象#2和#3的傳送。此時以傳送路徑的傳送速率R僅發送對象#1。從而，以圖像的時間解析度為代價，顯示改善了拖動對象#1的空間解析度的圖像。
文檔編號H04N7/26GK101106708SQ20071014265
公開日2008年1月16日 申請日期2000年8月9日 優先權日1999年8月9日
發明者小林直樹, 近藤哲二郎, 金丸昌憲 申請人:索尼公司