配置為與圖像顯示設備通信的圖像源的製作方法

2023-09-20 18:15:05

專利名稱：配置為與圖像顯示設備通信的圖像源的製作方法
技術領域：
本發明總體上涉及處理圖像數據的裝置、系統和方法，更具體地，涉及提供客戶機 圖像源設備和目標伺服器顯示設備之間的網絡通信的裝置、系統和方法。
背景技術：
通常，通過如膝上型或臺式計算機、個人數字助理(PDA)或其他計算設備這樣的 圖像源向顯示設備提供圖像數據。某些顯示設備配置為從圖像源無線地接收圖像數據，例 如通過如802. llb(或其他802. 11協議)、藍牙等這樣的通信協議。這些顯示設備可以允許 從會議室內的幾乎任何位置快速地連接圖像源，從而可以有助於對單個顯示設備使用多個 圖像源。然而，支持對單個顯示設備使用多個圖像源會造成各種困難。例如，不同的圖像源 可能使用不同的軟體以生成和/或顯示不同格式的圖像文件。在此情況下，支持多個圖像 源的顯示設備可能需要包括用於解壓縮、提供和/或顯示多種不同類型的圖像文件的適合 的軟體。在很多情況下，該軟體可能由顯示設備製造商之外的公司提供。因此，安裝和更新 這樣的軟體會使顯示設備暴露於軟體病毒、編程缺陷，及超出顯示設備製造商控制的其他 問題之下。此外，存儲和執行顯示所有所需圖像數據格式需要的多個軟體程序可能要求較 大的存儲量和較強的處理能力。一種減少顯示設備上所需的軟體數量的可行方法可以是僅將原始數據文件從每 個圖像源傳輸到顯示設備，而不是傳輸格式化的圖像數據文件。在此情況下，顯示設備可以 只需要支持單種圖像數據格式，這可以簡化顯示設備的軟體需求。然而，與格式化的圖像文 件相比，這樣的原始數據文件可能很大，因此可能需要較長的時間來從圖像源傳輸到顯示 設備，這取決於所使用的通信信道的帶寬。在需要用這樣的顯示設備顯示實時視頻時，通信 信道的帶寬對於以典型的視頻數據幀率(通常約為20幀/秒或更高)傳輸原始圖像數據 文件來說可能太小。

發明內容
本發明提供一種配置為與圖像顯示設備通信的圖像源，包括配置為允許圖像數 據從所述圖像源到所述圖像顯示設備的傳輸，以便基於所傳輸的圖像數據顯示圖像的通信 協議，所述通信協議包括多個不同的數據結構，其中所述多個不同的數據結構包括定義為 包括位圖信息的位圖結構；及多個不同的標籤，其中適配所述通信協議，使得使用所述通信協議的圖像源和圖像顯示設備之間的通信作為串行數據流發生，所述串行數據流包括使用 從所述多個不同的數據結構中選擇的數據結構編碼的數據部分，且其中所述多個不同的標 籤中的每個都關聯於並對應於所述多個不同的數據結構中特定的一個，以有助於圖像數據 的傳輸和允許在目標處對所述串行數據流進行解析。所述多個不同的數據結構包括定義為包括顏色空間信息的顏色空間結構。所述多個不同的數據結構包括定義為包括壓縮信息的壓縮結構。所述多個不同的數據結構包括定義為包括標記信息的標記結構。所述多個不同的數據結構包括定義為包括設置解析度信息的設置解析度結構。所述通信協議包括適配用於提供所述圖像源和所述圖像顯示設備之間的解析度 協商的反向信道。所述通信協議配置為允許雙向客戶機-伺服器通信，以便對所述圖像數據到圖像 顯示設備的傳輸提供流控制。所述通信協議包括正向信道，其中數據流向所述圖像顯示設備，及反向信道，其中 數據流向所述圖像源。所述反向信道適配用於允許所述圖像源和所述圖像顯示設備之間的解析度協商。所述反向信道適配用於對所述圖像數據到圖像顯示設備的傳輸提供流控制。由所述圖像顯示設備在所述反向信道中報告可用緩衝器大小。


圖1是根據本發明的第一實施例的圖像數據處理系統的示意圖。圖2是可以連同本發明的軟體、系統和方法使用的示例計算設備的示意圖。圖3是根據本發明的處理圖像數據的示例方法的流程圖。圖4是根據本發明進行通信的示例客戶機圖像源設備和目標伺服器顯示設備的 示意圖。圖5-12示出可以使用以有助於一個或多個圖像源設備和一個或多個目標顯示設 備之間的網絡通信的網絡通信協議的多個示例方面。
具體實施例方式圖1總地在20處示出根據本發明的第一實施例的圖像數據處理系統的示意圖。圖 像處理系統20包括配置為在觀看面24上顯示圖像的顯示設備22。顯示設備22可以是任 何適合類型的顯示設備。其示例包括但不限於，液晶顯示器(LCD)和數字光處理(DLP)投 影機，電視系統，計算機監控器等等。圖像處理系統20還包括與顯示設備22關聯的圖像提供設備26，及一個或多個通 過網絡30與圖像提供設備26進行電通信的圖像源28。圖像提供設備26配置為接收由圖 像源28發送的圖像數據，並處理所接收的圖像數據以用於由顯示設備22顯示。圖像提供 設備26可以集成到顯示設備22中，或可以作為可連接到顯示設備的單獨組件提供。適合 的圖像提供設備的一個示例在2003年6月2日提交、序列號為10/453，905的美國專利申 請中公開，將該申請結合在此作為參考。系統20的各部分之間的互連可以是無線的(如， 網絡30可以是無線網絡)、有線的，或有線與無線鏈路的組合。
回到圖1，圖像源28可以包括能夠向圖像提供設備26提供圖像數據的任何適合的 設備。其示例包括但不限於，臺式計算機和/或伺服器28a、膝上型計算機28b、個人數字助 理(PDA) 28c、行動電話28d等等。此外，圖像源28可以按任何適合的方式與圖像提供設備 26進行電通信。在所示實施例中，每個圖像源28都通過無線網絡30與圖像提供設備26進 行電通信。然而，圖像源28也可以通過有線網絡、通過無線或有線直接連接等等或它們的 任何組合與圖像提供設備26進行通信。圖像源28和/或顯示設備22可以實現為具有圖2的示例計算設備40中示出的 部分或所有組件的計算設備。計算設備40包括通過總線48互連的處理器42、存儲器44和 /或存儲46。也可以連接各種輸入設備50(如，鍵盤、滑鼠等)以允許用戶輸入。可以通過 與顯示控制器52連接的監視器或其他顯示器提供輸出。如所示，網絡接口 54也可以連接 到總線48，以便允許與連接到網絡30的其他設備的通信。如下文中更詳細的說明，在本文 中描述的圖像處理系統和方法中，通常需要圖像源/客戶機設備(如，圖像源28)通過網絡 與伺服器顯示設備(如，顯示設備22)進行無線通信。在客戶機和/或伺服器設備中，包括 無線協議的網絡通信軟體60可以運行在存儲器44中並用於允許無線網絡通信。再次回到圖1，在圖像源28配置為處理多種格式的圖像數據時，圖像提供設備26 可以配置為解碼每種所需圖像數據格式的數據。然而，如上所述，這可能要求圖像提供設備 26具有足夠的存儲器來存儲解碼每種所需格式的單獨的軟體程序。此外，這些軟體程序中 的很多可能由圖像提供設備26的製造商之外的來源提供。因此，使用這樣的軟體會減少圖 像提供設備26的製造商對安裝在圖像提供設備和/或顯示設備22上的軟體程序的控制。 這會使這些顯示設備對軟體安裝、升級等等期間由外部軟體引入的病毒、缺陷及其他問題 開放。為了簡化圖像提供設備26的操作和軟體需求，每個圖像源28都可以包括配置為 生成顯示器32上的圖像的位圖，然後將該位圖發送到圖像提供設備26以用於由顯示設備 22顯示的軟體。這提供了這樣的優點圖像提供設備26隻需要包括用於接收和解碼單種 格式的圖像數據的軟體，且因此有助於防止在軟體安裝和/或更新期間將病毒、缺陷及其 他問題引入到圖像提供設備26上。然而，如上所述，未壓縮的位圖文件可能相當大，因此發 送到圖像提供設備26會消耗較長的時間，這取決於所使用的通信信道的帶寬。對較高分辨 率的格式的圖像，如XGA及以上來說尤其如此。在數據是視頻數據時，新數據幀傳輸到圖像 提供設備26的速率可能約為20幀/秒或更高。在此情況下，幀率可能比生成並將整個位 圖發送到圖像提供設備26的速率更快，這可能導致視頻圖像的傳輸和顯示的誤差。為了避免傳輸和顯示誤差，可以在傳輸之前處理從顯示在圖像源28中的一個上 的圖像生成的位圖，以減少對每幀圖像數據發送的數據量。圖3總地在100處示出處理從 圖像源28中的一個上的顯示器32生成的位像數據的方法的示例實施例。方法100通 常由軟體代碼執行，該軟體代碼通常存儲在圖像源28上的存儲器中，並可由每個圖像源上 的處理器執行。為了減少發送到圖像提供設備26的數據量，方法100通常僅發送一幀或一組圖像 數據中不同於緊接當前幀之前發送的那幀或那組圖像數據的那些部分。因此，方法100可 以首先在102處比較先前發送的一組或一幀圖像數據N與當前顯示在顯示器32上的一組 或一幀圖像數據N+1，然後可以在104處確定幀N+1中不同於幀N的部分。
在102處兩幀圖像數據的比較及在104處已改變部分的確定可以按任何適合的方 式執行。例如，幀N和N+1中的每個可以存儲在緩衝器中，然後可以用存儲在N+1緩衝器中 的圖像數據的每個像素與存儲在N緩衝器中的圖像數據的每個像素比較。在改變確定時，可以定義已改變區域以用於按任何適合的方式壓縮。例如，在某些 實施例中，檢測到的所有改變可以由所畫出的包含圖像數據的幀N+1中所有已改變區域的 具有可變尺寸的單個矩形區域定義。然而，可能存在這樣的情況，其中這樣定義已改變部分 的方案導致實際上未從先前發送的幀改變的大量數據的壓縮和傳輸。相應地，如在106處所示，方法100可以包括通過將已改變部分劃分為不同的區域 來定義圖像數據幀N的已改變部分。為了最小化未改變數據的傳輸，區域通常是可在幀中 給定的已改變部分周圍定義的最小的邊界矩形。仍舊參考圖3，在將已改變部分劃分為區域之前、同時或之後，方法100可以包括 在108處確定正被編碼和發送的圖像的調色板，及在110處將有關調色板的更新發送到圖 像提供設備26來協助壓縮圖像數據的解壓縮。這是因為24位顏色可以用調色板中的8位 查找值來縮寫。當重複使用顏色時，8位縮寫使得發送的數據更少。作為補充或替換，應理 解，可以使用任何位數的查找表。例如，可以使用12位或16位的查找表。接下來，可以在118處將圖像數據轉換到亮度/色度顏色空間。適合的亮度/色 度顏色空間的示例包括設備相關的顏色空間，如YCrCb顏色空間，以及設備無關的顏色空 間，如CIE XYZ和CIE顏色空間。適合的設備無關顏色空間的另一個示例如下所 述。顏色空間包括亮度r值和色度s及t值，且通過下面的公式從CIE L * a * b *顏色空間 導出r = (L'min) (『max/'-I maxmin))
s = (a ^ i -a")(s / min' ^ max'max 已min))
t =t \ / , min乂、Lmax,'-b maxmin))從這些公式中計算出的r，s和t值可以四捨五入或截取到最接近的整數值，以將 數字格式從浮點改變為整數格式，從而簡化涉及顏色空間中的值的計算。在這些公式中，值 L * _，L * fflin, a * _，a * fflin, b 和b * fflin可以對應於L \ a *和b *顏色空間坐標中各自的 實際限制，或對應於另一顏色空間，如選擇的圖像設備28的顏色空間在映射到CIE L*a*b *顏色空間上時的最大值和最小值。值r_，和t_對應於r，s和t顏色坐標中各自的 最大整數值，且取決於用於表示每個坐標的位數。例如，在用六位來表示每個坐標時，對每 個坐標存在六十四個可能的整數值(0-63)，且r_，sfflax和t_每個都具有值63。在顏色空間轉換之後，可以在120處過濾低變化的數據，以使得非計算機圖形數 據(「非CG數據」)更加酷似計算機圖形數據(「CG數據」)。包含CG數據的圖像，如視頻 遊戲、數字幻燈片演示文件等等與包含非CG數據的圖像，如電影、靜態照片等等相比，趨向 於對較高頻率的圖像數據具有更清晰的顏色邊界。由於這些數據類型在顏色邊界處的不同 特性，不同的壓縮算法趨向於對CG數據比非CG數據更好地工作。某些現有的圖像數據處 理系統嘗試確定數據是CG數據還是非CG數據，然後對每種類型的數據使用不同的壓縮器。 然而，將CG數據錯誤識別為非CG數據，或相反，會導致這些系統中的壓縮效率損失。因此， 過濾低變化數據120可以包括識別具有低於預先選擇的閾值變化的變化的相鄰圖像數據 值，這可能表明相近顏色之間的過渡，然後改變某些圖像數據值來減少該變化，從而創建更加酷似CG數據的顏色邊界。低變化數據的過濾因此可以允許用同一壓縮器適當地壓縮非 CG數據和CG數據。對非CG數據做出的改變通常僅對具有低於可感知閾值的變化的相鄰值 做出，雖然可以可選地對具有高於可感知閾值的變化的值做出改變。可以使用任何適合的方法來從圖像數據層內的圖像數據中過濾低變化數據。適合 的方法的一個示例是使用簡單的陷波降噪濾波器來消除低變化數據。陷波降噪濾波器可以 按如下所述實現。設P。表示當前像素，Pl表示當前像素左邊的像素，而^表示當前像素右 邊的像素。首先，計算出PcJPPl之間的差值屯及口。和化之間的差值4。接下來，比較屯 和dr。如果屯和4的絕對值不相等，且屯和4中較低的一個的絕對值低於預先選擇的可 感知閾值，則可以將P。重置為等於Pl或化以將屯和4中較低的一個改變為0。或者，可以 將Pi和^中的任一個改變為等於P。來實現相同的結果。如果屯和火的絕對值相等，則將p。改變為等於Pl等價於將P。改變為等於^。在 此情況下，如果屯和4的絕對值低於預先確定的可感知閾值，則可以將p。改變為等於Pl和 Pr中的任一個。此外，如果屯和4兩者絕對值都高於預先選擇的可感知閾值，則不改變p。、 Pl，或h中的任一個。應理解，上述過濾方法只是示例性的，且可以使用過濾低變化數據以 使得非CG更加酷似CG數據的其他適合的方法。例如，在屯和4的絕對值相等並低於預先 選擇的可感知閾值時，可以使用判定函數來確定是否改變當前像素來匹配左邊或右邊，或 者上邊或下邊的相鄰像素。除過濾低變化數據來使得非CG數據更加酷似CG數據之外，方法100還包括在122 處對圖像數據的色度值進行二次抽樣。通常，色度二次抽樣是一種涉及以比至少一個其他 顏色空間分量更低的空間頻率對至少一個顏色空間分量進行抽樣的壓縮技術。解壓縮設備 重新計算丟失的分量。常見的用於亮度/色度顏色空間的二次抽樣數據格式包括4:2:2 二 次抽樣，其中在水平方向上以亮度分量一半的空間頻率對色度分量進行抽樣而在垂直方向 上以相同的空間頻率對色度分量進行抽樣；及4:2:0 二次抽樣，其中沿著垂直和水平方向 兩者以亮度分量一半的空間頻率對色度分量進行抽樣。這些二次抽樣格式中的任一種，或 任何其他適合的二次抽樣格式，都可用於對圖像數據的色度分量進行二次抽樣。在120處過濾低變化數據並在122處對色度數據進行二次抽樣之後，方法100接 下來在124處使用一種或多種其他壓縮技術來進一步減少所發送的數據量。通常，使用對 CG數據提供良好壓縮的壓縮方法。在所示的示例中，方法100在126處使用增量調製壓縮 步驟，並在128處使用LZ0壓縮步驟。LZ0是一種實時、可移植、無損的數據壓縮方法，它優 先考慮速度而不是壓縮比，且特別適用於CG數據的實時壓縮。LZ0還提供其他的優點。例 如，LZ0解壓縮需要最小的存儲器，且壓縮僅需要64千字節的存儲器。一旦已從源設備(如，設備28)獲得並壓縮了圖像數據，就可以將壓縮數據發送到 圖像提供設備26。在視頻數據的傳輸中，表示選擇的幀的圖像數據可能超過幀間隔期間可 以跨通信信道傳輸的最大數據量。在此情況下，圖像源28可以配置為在下一幀的壓縮和傳 輸開始之前僅發送對於一幀圖像數據可以發送的量的數據。所發送的圖像數據在圖像提供設備處接收和處理，以通過顯示設備22在觀看面 24上顯示。可以在解壓縮過程中實現有助於改進解壓縮性能的各種特徵，從而改進顯示設 備22和圖像提供設備26在顯示視頻圖像時的性能。例如，為了協助二次抽樣圖像數據的 解壓縮，圖像提供設備26可以包括用於在解壓縮期間存儲圖像數據且小於與執行解壓縮計算的處理器關聯的高速緩衝存儲器的解壓縮緩衝器。用於解壓縮二次抽樣圖像數據的現有解壓縮系統通常在計算丟失的色度值之前 將整組的壓縮圖像數據讀入解壓縮緩衝器中。通常，壓縮圖像數據在被讀入緩衝器時被復 制到高速緩衝存儲器中，這允許存儲在高速緩存中的值能被更快速地訪問以用於解壓縮計 算。然而，因為壓縮圖像文件大小可能大於高速緩衝存儲器，所以在將壓縮圖像數據複製到 緩衝器中時，高速緩衝存儲器中的某些圖像數據可能被其他圖像數據覆蓋。覆蓋高速緩衝 存儲器中的圖像數據可能導致解壓縮圖像數據的處理器在高速緩衝存儲器中查找被覆蓋 的數據時發生高速緩存脫靶。發生過多的高速緩存脫靶會減慢圖像解壓縮以至有害程度。使用小於高速緩衝存儲器的解壓縮緩衝器有助於避免高速緩存脫靶的發生。因為 高速緩衝存儲器通常是較小的存儲器，因此這樣的解壓縮緩衝器可能也比多數圖像文件要 小。換句話說，在圖像數據表示包含AXB像素陣列的圖像時，解壓縮緩衝器可以配置為保 存AXC圖像數據陣列，其中C小於B。這樣的緩衝器可用於通過將一組二次抽樣圖像數據 作為圖像數據的一系列較小的子集讀入緩衝器和高速緩衝存儲器來解壓縮該組二次抽樣 圖像數據。可以在將壓縮圖像數據的新子集讀入解壓縮緩衝器之前解壓縮並從緩衝器中輸 出圖像數據的每個子集。因為解壓縮緩衝器小於高速緩衝存儲器，所以不太可能發生高速 緩衝存儲器中的任何圖像數據在用於解壓縮計算時被覆蓋。解壓縮緩衝器可以具有任何適合的大小。通常，解壓縮緩衝器相對於高速緩衝存 儲器越小，發生大量高速緩存脫靶的可能性越低。此外，要在解壓縮緩衝器中解壓縮的二次 抽樣圖像數據的類型以及用於對壓縮圖像數據進行解壓縮的計算的類型會影響解壓縮緩 衝器的大小。例如，4:2:0圖像數據中丟失的色度分量可以取決於二次抽樣色度值是同位 的還是非同位的而不同地計算。同位的色度值在圖像上位於和選擇的亮度值相同的物理位 置，而非同位的色度值夾在幾個相關的亮度值之間。4:2:0同位圖像數據的丟失的色度值可 以在和丟失的值相同的行或相鄰的行上從二次抽樣色度值計算，這取決於所計算的丟失的 色度值的物理位置。因此，用於解壓縮具有沒有色度值的數據行的4:2:0同位圖像數據的 解壓縮緩衝區可以配置為保存不止一行的圖像數據來允許從垂直地相鄰的色度值計算丟 失的色度值。可以使用任何適合的方法來確定在單個幀間隔期間可以從圖像源28到圖像提供 設備26發送多少圖像數據。例如，一種簡單的方法可以是檢測活動地發送的圖像源28上 的一幀圖像數據何時發生改變，並使用檢測到的改變作為觸發器來開始新的壓縮和傳輸過 程。以此方式，圖像數據的傳輸可以繼續，直到在顯示在選擇的圖像源上的圖像中檢測到改 變，這時先前的圖像幀的數據傳輸如果尚未完成則應停止。確定在單個幀間隔期間可以發送多少圖像數據的適合的方法的另一個示例包括 確定通信信道的帶寬，然後從檢測到的帶寬及已知的圖像數據的幀率計算在單個幀間隔期 間可以跨通信信道發送多少圖像數據。帶寬可以在壓縮圖像數據傳輸之前或期間一次確 定，或可以周期性地檢測並更新。實現上述方法的各種壓縮和傳輸操作的軟體可以以單線程、單進程操作，或可以 以多線程或多進程，或它們的任何組合來操作。多線程或多進程方法可以允許比以單線程 或單進程方法更有效地利用系統20的資源，如傳輸帶寬。各種操作可以由任何適合的數量 的不同線程或進程實現。例如，在一個實施例中，使用三個獨立的線程來執行上述示例方法的操作。這些線程可以稱為接收器、處理器和發送器。接收器線程可以獲取從圖像源28的 屏幕上的圖像生成的位圖數據。處理器線程可以執行比較、區域劃分、顏色空間轉換，及方 法100的其他壓縮步驟。發送器線程可以執行上述帶寬監控和傳輸步驟。應理解，這只是 一種示例軟體架構，且可以使用任何其他適合的軟體架構。為了顯示圖像，圖像處理系統20配置為允許客戶機設備(如，圖像源28)和服務 器設備(如，顯示設備22)之間的通信。雖然可以理解，客戶機和伺服器可以駐留在同一計 算機上，但在本文中所述的示例中，客戶機和伺服器是不同的設備。為了有助於客戶機-服 務器通信，圖像源28和/或顯示設備22可以具有網絡通信軟體60 (圖2)。如圖2所示，通 信軟體60可以配置為運行在客戶機或伺服器計算設備的存儲器44中。通常，通信軟體60包括或使用通信協議以便有助於圖像數據的傳輸以允許在顯 示設備22處顯示圖像。該協議可以由客戶機(如，圖像源28)和伺服器(顯示設備22)之 間發送的字節182的流180組成，如圖4所示，包括從客戶機發送到伺服器的正向信道184， 及從伺服器發送到客戶機的反向信道186。流控制通常通過反向信道186實現。通常，軟體 和協議提供可伸縮性並支持多個同時的客戶機連接。因此，可以有多個正向和反向信道配 對同時打開和活動。正向信道由客戶機計算機發送到伺服器投影機。反向信道由伺服器投影機發送回 客戶機計算機。通常，通信協議由組織為幀200的數據組成，如圖4所示。在正向信道中， 每個幀200都可以包括幀頭202、幀體204和幀尾206。幀體204通常由一系列1至n個具有標籤並使用選擇的數據結構編碼的數據部分 組成，如下文中所述。通信協議的典型用法涉及在連接(如，TCP/IP連接)開始時一次性 傳輸幀頭202，隨後是發送一連串具有標籤的數據部分。幀尾206可以用在所有的實現中， 也可以不用，雖然在某些情況下可能需要使用幀尾來執行客戶機-伺服器連接終止期間的 各種任務。該協議可以在每個幀頭的末尾和/或在部分或所有具有標籤的幀體數據部分的 末尾處結合校驗和。通常，使用校驗和來檢測編程邏輯錯誤，而通常通過某種其他機制來檢 測傳輸錯誤。在使用時，校驗和可以作為一個數據塊的最後一個(第n個)字節出現。校 驗和可以定義為該數據塊的前n-1個字節的模256和。幀頭202通常包含在連接開始時從客戶機發送到伺服器的數據。如圖5所示，幀 頭可以由4位元組的無符號標識符210組成，該標識符對相應的客戶機設備可以是唯一的，也 可以不是。在某些實現中，標識符210也可以稱為幻數，用於識別或確認相應的客戶機設備 是目標伺服器設備的合法連接者。例如，從客戶機設備28c (圖1)發送到伺服器設備26的 字節流可以包括這樣的標識符210，向伺服器設備26表明該客戶機設備是伺服器設備26的 合法用戶。幀頭202也可以包括版本欄位212，該欄位可用於表示正用於客戶機-伺服器通 信的協議版本。幀頭202還可以包括指示正在連接的客戶機設備的尾數或其他平臺或體系 結構決定的特性的尾數欄位214。例如，在包含尾數聲明的協議實現中，欄位214可以指示 正在連接的設備的體系結構在最低的存儲器地址中存儲多字節序列的最低有效值(「小尾 數」)，或者，在最低的存儲器地址中存儲最高有效值(「大尾數」)。也可以指示雙尾數體系 結構。使用欄位214可以增加圖像處理系統20適應和實現在具有不同體系結構的多個正在連接的客戶機設備之間的互操作性的能力。無論協議和目標伺服器設備處理具有不同尾數的設備的能力如何，都可能在某些 情況下需要標識符210保持一致的字節順序。例如，可以將標識符210作為四個單獨的無 符號字節而不是32位無符號整數寫入輸出流。幀體204通常採取字節流的形式並包括下列信息的部分或所有(1)顏色空間信 息；⑵壓縮信息；⑶位圖信息；⑷標記語言命令；(5)解析度信息；(6)反向信道通信的 確認；及(7)終止信息。在典型的實現中，所述的通信協議是無狀態的，以便可以按任何順 序發送幀體部分的成分。然而，通常需要在幀體傳輸開始時發送顏色空間信息。所述的示例協議包括基於標籤的體系結構，其中識別標籤與特定數據結構關聯以 有助於在接收位置處進行解析。這使得協議能夠非常高效，並允許圖像源(如，客戶機設 備)發送比目標處的圖像顯示原本所需更少的數據。例如，與以固定格式將冗餘信息重複 地發送到伺服器顯示設備(如，顏色空間信息)相比，標籤體系結構允許僅在需要時發送信 肩、o具體來說，該協議包括或定義多個不同的數據結構(例如，如下文中所述的位圖 數據結構、壓縮結構等)。不同的數據結構中的每個都具有與該數據結構關聯的唯一識別標 籤，以便允許目標高效地解析接收到的數據，而只使用最少量的處理資源。例如，將位圖信 息編碼為具有關聯的位圖標籤的位圖數據結構。位圖標籤及其他標籤在接收到的數據流中 的出現允許目標位置高效地解析接收到的數據。圖6示出包含編碼在顏色空間數據結構220內的顏色空間信息的示例字節流部 分。如圖所示，初始字節(或一位或多位)可以包括將字節流部分識別為包含顏色空間信息 的顏色空間標籤222。用於後續的正向信道內容(如，圖像位圖信息)的顏色空間由字節或 部分224指示。可以使用任何所需的顏色空間，包括RGB(原始)；YCbCr4:4:4同位；YCbCr 4:2:2 同位(DVCPR050, Digital Betacam, Digital S) ；YCbCr4:l:l 同位(YUV12) (480 線 DV，480 線 DVCAM，DVCPR0) ； YCbCr 4:2:0(H. 261, H. 263, MPEG 1) ； YCbCr 4:2:0(MPEG 2)；及 YCbCr 4:2:0同位(576線DV，DVCAM)。顏色空間信息之後可以附加有校驗和226，以便提 供錯誤檢查。圖7示出包含編碼在壓縮數據結構240內的壓縮信息的示例字節流段。壓縮信 息通常描述如何壓縮所傳輸的圖像信息或已如何壓縮該信息。如圖所示，該數據結構可以 包括將字節流部分識別為包含壓縮信息的壓縮標籤242。所使用的壓縮方法由字節或部分 244指示。可以使用任何所需的壓縮技術或算法，包括LZ壓縮和/或其他方法。同樣，部 分244可用於指示數據未被壓縮。如協議的其他部分中那樣，可以使用校驗和246來提供 對壓縮信息的錯誤檢查。通常，正向信道的幀體部分也將包括對應於要在目標伺服器設備26處顯示的圖 像的多個字節的位圖信息，如圖8所示。位圖信息的每個部分都可以編碼在位圖結構260 內。結構260可以包括將數據流段識別為包含位圖信息的位圖標籤(字節1)。可以包括內 容值(字節2)字節或欄位以指示是否要使用位塊傳輸(BLT)(原始)或使用XOR BLT (遞 增)將重建的位圖複製到屏幕上。同樣，如圖所示，位圖結構260可以定義為包括涉及位圖 的垂直方向的數據、位圖的大小和開始位置(使用X-Y直線坐標方案)、數據塊的大小，及實 際數據塊。通常，校驗和將在數據塊的末尾使用。
幀體部分204也可以包括以各種格式發送的其他命令或信息，包括以標記語言， 如HTML或XML發送的命令/信息。圖9示出編碼在標記結構280中的數據流部分的示例。 如圖所示，類似於幀體部分204的其他成分，編碼的數據流部分可以包括識別數據流部分 本質的初始標籤(字節1)及後附的用於糾錯的校驗和(字節n)。內容值字節(字節2)可 用於表示所使用的標記語言(HTML、XML等)，且後續的字節可用於表示標記語言傳輸的大 小，並傳輸實際的標記語言信息。如圖10所示，正向信道的幀體也可以包括用於表示在目標伺服器設備處使用的 解析度的字節。如圖所示，設置解析度信息(如，編碼在設置解析度數據結構300內)可以 包括初始識別標籤，隨後是表示X和Y解析度、顏色深度，及用於糾錯的校驗和的字節。正向信道可以包括有助於客戶機和伺服器設備之間的交互作用的其他信息或數 據。字節流段可用於請求伺服器重啟動，以便確認伺服器在反向信道186上發送的設置伸 縮命令，和/或發送終止請求。幀尾206可用於執行與終止連接或終止數據傳輸的特定部 分關聯的各種任務。反向信道186可用於提供流控制及其他功能。通常，反向信道186將使用類似於 正向信道的幀格式(如，具有幀頭、幀體和幀尾部分)。流控制可以通過伺服器周期性地 (如，一秒十次)報告可用伺服器緩衝器的大小來實現。所報告的緩衝器大小的前面通常具 有指示後續字節包含有關緩衝器大小的信息的識別標籤，如圖11的示例緩衝器大小流320 所示。然後，報告可用的緩衝器大小。在本發明的示例實施例中，以四字節流報告緩衝器大 小，然後由後附的校驗和字節提供錯誤檢查。然後所報告的可用緩衝器可以由客戶機使用， 以便動態地調整其在正向信道184上的傳輸速率。反向信道186也可以包括設置縮放字節流段340，如圖12所示。在識別標籤之後， 可以使用四個字節來表示X和Y維度上的縮放。再次使用校驗和字節來提供錯誤檢查。反 向信道通信也可以包括伺服器終止特定客戶機設備或連接的請求。此外，雖然本發明包括具體實施例，但具體實施例不應視為具有限制意義，因為有 大量的變體是可能的。本發明的主題包括在此公開的各種元素、特徵、功能，和/或屬性的 所有新穎和非易見的組合及子組合。下面的權利要求特別指出視為新穎和非易見的特定組 合及子組合。這些權利要求可能引用「一個」元素或「第一」元素或其等價。這樣的權利要 求應被理解為包括對一個或多個這樣的元素的結合，而不是要求或排除兩個或多個這樣的 元素。各特徵、功能、元素和/或屬性的其他組合及子組合可以通過本發明權利要求的修改 或通過在本申請或相關申請中提供新的權利要求來請求保護。這樣的權利要求，無論是在 範圍上比原始權利要求更寬、更窄、等價或不同，都應被視為包括在本發明的主題之內。
權利要求
一種配置為與圖像顯示設備通信的圖像源，包括配置為允許圖像數據從所述圖像源到所述圖像顯示設備的傳輸，以便基於所傳輸的圖像數據顯示圖像的通信協議，所述通信協議包括多個不同的數據結構，其中所述多個不同的數據結構包括定義為包括位圖信息的位圖結構；及多個不同的標籤，其中適配所述通信協議，使得使用所述通信協議的圖像源和圖像顯示設備之間的通信作為串行數據流發生，所述串行數據流包括使用從所述多個不同的數據結構中選擇的數據結構編碼的數據部分，且其中所述多個不同的標籤中的每個都關聯於並對應於所述多個不同的數據結構中特定的一個，以有助於圖像數據的傳輸和允許在目標處對所述串行數據流進行解析。
2.如權利要求1所述的圖像源，其特徵在於，所述多個不同的數據結構包括定義為包 括顏色空間信息的顏色空間結構。
3.如權利要求1所述的圖像源，其特徵在於，所述多個不同的數據結構包括定義為包 括壓縮信息的壓縮結構。
4.如權利要求1所述的圖像源，其特徵在於，所述多個不同的數據結構包括定義為包 括標記信息的標記結構。
5.如權利要求1所述的圖像源，其特徵在於，所述多個不同的數據結構包括定義為包 括設置解析度信息的設置解析度結構。
6.如權利要求5所述的圖像源，其特徵在於，所述通信協議包括適配用於提供所述圖 像源和所述圖像顯示設備之間的解析度協商的反向信道。
7.如權利要求1所述的圖像源，其特徵在於，所述通信協議配置為允許雙向客戶機-服 務器通信，以便對所述圖像數據到圖像顯示設備的傳輸提供流控制。
8.如權利要求1所述的圖像源，其特徵在於，所述通信協議包括正向信道，其中數據流 向所述圖像顯示設備，及反向信道，其中數據流向所述圖像源。
9.如權利要求8所述的圖像源，其特徵在於，所述反向信道適配用於允許所述圖像源 和所述圖像顯示設備之間的解析度協商。
10.如權利要求8所述的圖像源，其特徵在於，所述反向信道適配用於對所述圖像數據 到圖像顯示設備的傳輸提供流控制。
11.如權利要求10所述的圖像源，其特徵在於，由所述圖像顯示設備在所述反向信道 中報告可用緩衝器大小。
全文摘要
本發明涉及配置為與圖像顯示設備通信的圖像源，包括配置為允許圖像數據從所述圖像源到所述圖像顯示設備的傳輸，以便基於所傳輸的圖像數據顯示圖像的通信協議，所述通信協議包括多個不同的數據結構，其中所述多個不同的數據結構包括定義為包括位圖信息的位圖結構；及多個不同的標籤，其中適配所述通信協議，使得使用所述通信協議的圖像源和圖像顯示設備之間的通信作為串行數據流發生，所述串行數據流包括使用從所述多個不同的數據結構中選擇的數據結構編碼的數據部分，且其中所述多個不同的標籤中的每個都關聯於並對應於所述多個不同的數據結構中特定的一個，以有助於圖像數據的傳輸和允許在目標處對所述串行數據流進行解析。
文檔編號H04N7/24GK101854456SQ20101016514
公開日2010年10月6日 申請日期2005年5月27日 優先權日2004年5月28日
發明者傑夫·格利克曼 申請人:精工愛普生株式會社