用於識別並選擇視頻流中的數據圖像的系統、方法和媒介的製作方法
2023-10-06 12:57:04 3
專利名稱：用於識別並選擇視頻流中的數據圖像的系統、方法和媒介的製作方法
技術領域：
本公開的主題是關於識別並選擇視頻流中的數據圖像的系統、方法和媒介。
背景技術：
在各種不同的領域中，使用現有的視頻信道的數據在遠程的參與者之間共享。為達到此目的，數據被捕獲，然後使用標準視頻編碼器編碼以使其像是自然的視頻。遠程參與者使用視頻解碼器接收視頻和數據(例如，作為組成數據視頻的數據圖像)。但是，在這些情景中，因為數據是實時視頻流，用戶不能容易地瀏覽數據(例如，展示中的幻燈片)、回顧之前呈現的數據(例如，當出席視頻會議遲到時)、在它被共享之後分配呈現的數據(例如，在視頻會議期間)等
發明內容
本發明提供了用於識別並選擇在視頻流中的數據圖像的系統、方法和媒介。根據一些實施例，提供了用於在視頻流中識別並選擇數據圖像的系統，該系統包括至少一個處理器被編程用於接收表示多個圖像的視頻比特流；識別在多個圖像中的數據圖像組，其中每個數據圖像提供了數據的圖像表示且在任何數據圖像組中的每個數據圖像對應於單一數據圖像；且從數據圖像組中選擇至少一個最佳的數據圖像。根據一些實施例，提供了用於在視頻流中識別並選擇數據圖像的方法，該方法包括接收表示多個圖像的視頻比特流；使用被編程的處理器來識別多個圖像中的數據圖像組，其中每個數據圖像提供了數據的圖像表示且在任何數據圖像組中的每個數據圖像對應於單一數據圖像；且使用被編程的處理器來從數據圖像組中選擇至少一個最佳的數據圖像。根據一些實施例，提供了包含計算機可執行指令的計算機可讀媒介，當指令被處理器執行時，使得處理器執行識別並選擇視頻流中的數據圖像的方法，該方法包括接收表示多個圖像的視頻比特流；識別多個圖像中的數據圖像組，其中每個數據圖像提供了數據的圖像表示且在任何數據圖像組中的每個數據圖像對應於單一數據圖像；且從數據圖像組中選擇至少一個最佳的數據圖像。
圖I是在一些實施例中能被使用的硬體的圖表。圖2是根據一些實施例處理視頻比特流的過程的圖表。圖3是根據一些實施例識別數據圖像組的過程的圖表。圖4是根據一些實施例顯示濾波器通過數和假陽性率、假陰性率和與濾波器通過數相關聯的複雜度的表格的圖表。圖5是根據一些實施例在數據圖像組中選擇最佳數據圖像過程的圖表。
具體實施例方式根據各種不同的實施例，本發明提供了用於在視頻流中識別並選擇數據圖像的機制。這些機制能在多個應用中使用，例如允許數據圖像的在線瀏覽、允許視頻會議中遲到時接收先前被顯示的數據、允許稍後分配在視頻會議中提供的數據圖像和允許使用數據圖像作為索引通過已記錄的視頻會議呼叫瀏覽。轉向圖1，其圖解了在一些實施例中能被使用的硬體100的例子。如其所示，使用照相機104，數據102能被提供給視頻編碼器106或直接提供給視頻編碼器108。數據可為任何適當的數據並且可為視覺顯示的形式(例如，比如POWERPOINT顯示)。照相機104可為任何適當的照相機，比如攝影機。視頻編碼器106和108可為任何適當的硬體和/或軟體視頻編碼器且使用任何適當的視頻編碼標準和/或編碼器/解碼器(多媒體數位訊號編解碼器)用來製造視頻信號和/或壓縮該信號。在一些實施例中，照相機104和/或視頻編碼器106或108可為電視會議端點的一部分。
在數據被編碼後，比特流可由視頻編碼器提供。該比特流可通過網絡110傳輸。任何適當的網絡和/或網絡組合可被用作一些實施例中的網絡110。例如，網絡110可包括網際網路、有線網絡、無線網絡、區域網、廣域網、電話網絡、電纜網、衛星網絡、纖維光學網絡，等。在一些實施例中，網絡110可包括任何適當的設備比如路由器、防火牆、伺服器、代理伺服器、多點會議單元、網關等。在一些實施例中，比特流可被提供到網絡裝置112和/或端點122 (例如，通過網絡110，直接從編碼器106或108，等)。網絡裝置112可為任何適當的設備或任何適當設備的一部分。例如，裝置112可以是伺服器。裝置112可包括視頻解碼器114和圖像識別器和選擇器116。端點122可為任何適當的設備或任何適當設備的一部分。例如，端點122可為配置作為電視會議端點的計算機。端點122可包括視頻解碼器124和圖像識別器和選擇器126。端點122也可包括端點部件128和數據圖像庫130。視頻解碼器114和124可為任何適當的硬體和/或軟體視頻解碼器用於解碼視頻比特流成一連串視頻圖像。視頻解碼器114和124可使用任何適當的視頻編碼標準和/或編碼器/解碼器(多媒體數位訊號編解碼器)。例如，視頻解碼器可包括匹配在視頻編碼器106或108中的編碼器的解碼器。圖像識別器和選擇器116和126可為任何適當的硬體和/或軟體用於識別和選擇圖像。例如，圖像識別器和選擇器可識別和選擇與圖3和圖5相聯繫的這裡描述的圖像。硬體100也可包括端點118和數據圖像庫120。端點118和端點部件128可為任何適當的硬體和/或軟體用於執行視頻會議端點。數據圖像庫120和130可為任何適當的用於存儲數據圖像的存儲機制。例如，數據圖像庫120和130可包括大容量存儲設備(比如磁碟驅動器、光碟機、磁介質，存儲器，等)和資料庫邏輯(比如資料庫硬體和/或軟體)。在一些實施例中，數據圖像庫120和/或任何其它適當的存儲設備可包括視頻會議已記錄的副本，比特流可為視頻會議的一部分。在一些實施例中，硬體100的不同部件(例如視頻編碼器106和108、視頻解碼器114和124、圖像識別器和選擇器116和126、端點118、端點部件128和數據圖像庫120和130)可在一個或多個通用設備比如計算機或者專用設備比如客戶機、伺服器等中執行。這些通用或專用設備的任何一個可包括任何適當的部件例如處理器(可為微處理器、數位訊號處理器、控制器等)、存儲器、通信接口、顯示控制器、輸入設備等，並能被配備用來響應於與這裡描述的功能一致的軟體指令操作。圖2圖解了在一些實施例中能被網絡裝置112和/或端點122執行的過程200的例子。如其所示，在過程200之後，從202開始，該過程在204接收視頻比特流。視頻比特流能以任何適當的方式接收，例如通過在網絡110上傳輸。接下來，在206,視頻比特流能被解碼成視頻圖像。任何適當的解碼可用在一些實施例中。然後在208數據圖像組可在視頻圖像中被識別。識別數據圖像的任何適當的方式可被用在一些實施例中。例如，數據圖像組能使用如圖3所示的過程300被識別。在一些實施例中，過程300能使用濾波器評估視頻圖像。例如，濾波器可被用來通過比較圖像的籤名確定當前圖像是否與先前的圖像不同。任何數量的籤名(包括沒有)可被用在濾波器中，且不同的濾波器可使用不同的籤名。籤名可為圖像的任何適當的表示。 例如，在一些實施例中，籤名可從對圖像可用的編碼信息中得到，例如，幀類型、幀大小、宏塊(MB)類型等，和/或圖像的像素水平信息，例如平均像素亮度，像素差異等。在一些實施例中，籤名基於的東西可被預定，可被任意確定，或可基於圖像內容確定。假定一列的平均像素亮度是某一濾波器的籤名，列選擇可為任意(例如，每第η列)或根據圖像的內容(例如，基於每列中的像素差異)。 為了得到不同的假陽性FP和假陰性FC率，在一些實施例中，不同的濾波器可有不同水平的複雜度C。假陽性是被檢測不匹配其它數據圖像但事實上卻匹配的數據圖像。假陰性是不匹配其它數據圖像但檢測卻匹配的數據圖像。在一些實施例中，濾波器可用於在圖像上以貫序通過，這樣第一個濾波器是最不複雜的，下一個濾波器是較複雜的，且隨後的濾波器是漸進更複雜的。以這種方式，如果第一個濾波器能被用來確定當前圖像和先前圖像是一樣的，那麼更加複雜的濾波器不需要被使用。圖4顯示了表格400，提供了能被用來評估圖像的通過數I至N的濾波器的例子。這些濾波器可具有假陽性率FP1至FPn，假陰性率FN1至FNn，和複雜度C1至Cn，其中FP1 >FP2 > . . . > FPn, FN1 < = FN2 < = FNn,且 C1 < C2 < · · · < CN。回到圖3，在過程300之後，起始於302，在304該過程能選擇第一視頻圖像作為當前圖像。下一步，在306過程300能創造帶有當前圖像的一組並使當前圖像為先前圖像。然後，在308，過程300可確定是否有更多的圖像，如果沒有，在310結束。否則，在312過程300可選擇下一個視頻圖像作為當前圖像。下一步，在314，第一濾波器可被選擇作為當前濾波器。第一濾波器可基於任何適當的標準或準則被選擇，例如複雜程度、假陽性率、假陰性率、使用的籤名等。在316當前濾波器然後能被應用到當前圖像以獲得一個或更多的當前籤名。如上所描述，任何適當類型的籤名可被獲得。在318，過程300可下一步確定當前圖像是否與先前圖像不同。做出這個確定的任何適當的方式可在一些實施例中被使用。例如，過程300能比較當前圖像和先前圖像的籤名以確定它們是否不同(與相同或相似相對)。如果當前圖像被確定與先前圖像相同，那麼過程300可增加當前圖像到帶有先前圖像的組並在320使當前圖像為先前圖像，然後轉到308。
如果當前圖像被確定與先前圖像不相同，那麼過程300在322確定是否有更多應用的濾波器。如果是這樣的，那麼過程300在324可選擇下一個濾波器作為當前濾波器並循環至316。否則，過程循環至306並創造帶有當前圖像的組並使當前圖像為先前圖像。在一些實施例中，當比較當前圖像和先前圖像來確定它們是否應當在同一個組時，存在於數據圖像中的動畫、銳化和其它視頻效果可被忽略。確定忽略的動畫、銳化或其它視頻以及能夠達成的任何適當的方式能用在一些實施例中。轉回到圖2，在數據圖像組已在208被識別後，例如使用FIG. 3的過程300，過程200能在210在每組數據圖像中選擇最佳的數據圖像。確定最佳數據圖像的任何適當的方式能在一些實施例中被使用。例如，在一些實施例中，在每組數據圖像中的最佳數據圖像能使用圖5所示的過程500被選擇 。如圖5所示，在過程500之後，開始於502，該過程能在504選擇第一組數據圖像。下一步，在506該過程可確定圖像被獲取的時間間隔是否太短。例如，如果一數據圖像出現半秒，那麼該圖像對於人來說不是可觀看的，因此該圖像不大可能是有效數據圖像。在一些實施例中，任何適當的時間幀可被用作確定時間間隔是否太短的基礎。如果確定時間間隔太短，那麼過程500能在508選擇下一組數據圖像並在506重複時間間隔評估。如果在506確定該組的時間間隔不是太短，那麼過程500可基於在510的質量排序組中的圖像。任何適當的機制可被用來確定圖像的質量。例如，如果組中一連串圖像具有變化的水平的銳度(例如，因為帶寬限制已影響銳度)，那麼具有最佳銳度的圖像可被選擇作為具有最佳質量。下一步，在512，過程500可基於完整度排序組中的圖像。任何適當的機制可被用來確定圖像的完整度。例如，如果數據漸進地被添加到空表格(例如)在一組中一連串圖像中，具有最完整數據組的圖像(例如，最後的圖像)可被選擇具有最佳的完整度。基於質量和完整度的排序，在514，當前組的最佳的圖像可接下來被選擇。例如，排序的加權和可被用來尋找最佳的圖像。可選的，在一些實施例中，這些排序的僅僅一個可被使用，或一些其它的因素可被用來選擇最佳圖像。在一些實施例中，圖像甚至可被任意地選擇作為最佳圖像，例如，通過隨機(或偽隨機)選擇，通過是組中最後的圖像等。在516，過程500可確定是否有更多的圖像組，如果有，在508選擇下一組並循環至506.否則，如果沒有更多的組，那麼過程500可在518結束。轉回到圖2，在210選擇最佳圖像之後，過程200可在212使得最佳圖像對於一個或更多的用戶可獲得。做這個的任何適當的方式可在一些實施例中被使用。例如，過程200可在數據圖像庫120和/或130中存儲最佳圖像。在212使得最佳圖像對於用戶是可獲得的之後，過程200可在214等待下一個視頻比特流，然後循環至204。轉回到圖1，在一些實施例中，端點118和/或122 (端點)可使得用戶基於最佳數據圖像對於用戶可用執行特定的功能。例如，端點(和/或任何計算機)可使得用戶執行數據的在線瀏覽，可允許在視頻會議遲到時接收先前被顯示的數據，可被用來在視頻會議結束後接收在視頻會議中提供的數據，可允許基於對應它的數據的選擇，選擇一部分已記錄的視頻會議呼叫。在一些實施例中，任何適當的計算機可讀媒介可被用來存儲執行這裡描述的過程的指令。例如，在一些實施例中，計算機可讀媒介可以是短暫的或永久的。例如，永久計算機可讀媒介可包括媒介例如磁媒介(例如硬碟、軟盤等)，光學(例如光碟，數位化視頻光碟、藍光碟等)，半導體媒介(例如快閃記憶體、電可編程只讀存儲器(EPROM)、電可擦除只讀存儲器(EEPROM)等)，任何適當的非短暫的或在傳輸過程中沒有任何持久的媒介，和/或任何適當的可觸及的媒介。作為另一個例子，短暫的計算機可讀媒介可包括網絡上、電線、導體、光纖、電路中的信號，短暫的和傳輸過程中沒有任何持久的任何適當的媒介， 和/或任何適當的無形的媒介。雖然本發明在前述的說明性的實施例中已被描述和說明，應當理解的是本公開的技術方案僅通過例子作出，本發明的實施細節中的許多變動可在不偏離本發明的實質和範圍的情況下作出，本發明的實質和範圍僅受下面跟著的權利要求限制。公開的實施例的特徵可以各種不同的方式結合和重新排列。
權利要求
1.一種用於識別和選擇視頻流中的數據圖像的系統，包括 至少一個處理器，被編程用於 接收表示多個圖像的視頻比特流； 識別多個圖像中的數據圖像組，其中每個數據圖像提供數據的圖像表示且在任何數據圖像組中的每個數據圖像對應於單一數據圖像；和 從數據圖像組中選擇至少一個最佳的數據圖像。
2.如權利要求I所述的系統，其中至少一個處理器也被編程用於應用濾波器來識別數據圖像組。
3.如權利要求2所述的系統，其中濾波器使用圖像籤名來評估圖像。
4.如權利要求2所述的系統，其中至少一個處理器也被編程用於應用第二更複雜的濾波器以識別數據圖像組。
5.如權利要求I所述的系統，其中至少一個處理器也被編程用於確定與數據圖像組有關聯的時間間隔是否低於閾值。
6.如權利要求I所述的系統，其中選擇最佳的數據圖像包括評估在數據圖像組中的數據圖像的質量。
7.如權利要求I所述的系統，其中選擇最佳的數據圖像包括評估在數據圖像組中的數據 圖像的完整性。
8.如權利要求I所述的系統，其中視頻比特流是視頻會議呼叫的一部分，且其中至少一個處理器也被編程用於在至少一個圖像在視頻比特流中不再被表示之後使得視頻會議呼叫的參與者從至少一個最佳數據圖像中觀看至少一個圖像。
9.如權利要求8所述的系統，其中至少一個圖像存儲在伺服器上。
10.如權利要求I所述的系統，其中視頻比特流是視頻會議呼叫的一部分，且其中至少一個處理器也被編程用於分配一組至少兩個最佳數據圖像給至少一個會議呼叫的參與者。
11.如權利要求I所述的系統，其中視頻比特流是已記錄的視頻呼叫的一部分，且其中至少一個處理器也被編程用於使得觀看者基於選擇至少一個最佳的數據圖像的一個，選擇被觀看的視頻呼叫的一部分。
12.一種用於在視頻流中識別並選擇數據圖像的方法，包括 接收表示多個圖像的視頻比特流； 使用編程的處理器來識別在多個圖像中的數據圖像組，其中每個數據圖像提供數據的圖像表示且在任何數據圖像組中的每個數據圖像對應於單一數據圖像；和 使用編程的處理器來從數據圖像組中選擇至少一個最佳的數據圖像。
13.如權利要求12所述的方法，進一步包括應用濾波器識別數據圖像組。
14.如權利要求13所述的方法，其中該濾波器使用圖像籤名來評估該圖像。
15.如權利要求13所述的方法，進一步包括應用第二更複雜的濾波器來識別數據圖像組。
16.如權利要求12所述的方法，進一步包括確定與一組數據圖像相關聯的時間間隔是否低於閾值。
17.如權利要求12所述的方法，其中選擇最佳數據圖像包括評估在數據圖像組中的數據圖像的質量。
18.如權利要求12所述的方法，其中選擇最佳數據圖像包括評估在數據圖像組中的數據圖像的完整性。
19.如權利要求12所述的方法，其中視頻比特流是視頻會議呼叫的一部分，進一步包括在至少一個圖像在視頻比特流中不再被表示之後使得視頻會議呼叫的參與者從至少一個最佳數據圖像中觀看至少一個圖像。
20.如權利要求19所述的方法，其中該至少一個圖像存儲於伺服器上。
21.如權利要求12所述的方法，其中視頻比特流是視頻會議呼叫的一部分，進一步包括分配一組至少兩個最佳數據圖像給會議呼叫的至少一個參與者。
22.如權利要求12所述的方法，其中視頻比特流是已記錄的視頻呼叫的一部分，進一步包括使得觀看者基於選擇至少一個最佳數據圖像的一個選擇被觀看的視頻呼叫的一部分。
23.一種包含計算機可執行指令的計算機可讀媒介，當被處理器執行該指令，使得處理器執行識別並選擇在視頻流中的數據圖像的方法，該方法包括 接收表示多個圖像的視頻比特流； 識別在多個圖像中的數據圖像組，其中每個數據圖像提供數據的圖像表示且在任何數據圖像組中的每個數據圖像對應於單一數據圖像；和 從數據圖像組中選擇至少一個最佳的數據圖像。
24.如權利要求23所述的媒介，其中該方法進一步包括應用濾波器以識別數據圖像組。
25.如權利要求24所述的媒介，其中該濾波器使用圖像籤名以評估該圖像。
26.如權利要求24所述的媒介，其中該方法進一步包括應用第二更複雜的濾波器以識別數據圖像組。
27.如權利要求23所述的媒介，其中該方法進一步包括確定與一組數據圖像相關聯的時間間隔是否低於閾值。
28.如權利要求23所述的媒介，其中選擇最佳數據圖像包括評估在數據圖像組中的數據圖像的質量。
29.如權利要求23所述的媒介，其中選擇最佳數據圖像包括評估在數據圖像組中的數據圖像的完整性。
30.如權利要求23所述的媒介，其中視頻比特流是視頻會議呼叫的一部分，且其中該方法進一步包括在至少一個圖像在視頻比特流中不再被表示之後使得視頻會議呼叫的參與者從至少一個最佳數據圖像中觀看至少一個圖像。
31.如權利要求30所述的媒介，其中該至少一個圖像存儲於伺服器上。
32.如權利要求23所述的媒介，其中視頻比特流是視頻會議呼叫的一部分，且其中該方法進一步包括分配一組至少兩個最佳數據圖像給會議呼叫的至少一個參與者。
33.如權利要求23所述的媒介，其中視頻比特流是已記錄的視頻呼叫的一部分，其中該方法進一步包括使得觀看者基於選擇至少一個最佳數據圖像的一個，選擇被觀看的視頻呼叫的一部分。
全文摘要
本發明提供了用於在視頻流中識別並選擇數據圖像的系統、方法和媒介。根據一些實施例，提供了在視頻流中識別並選擇數據圖像的方法，該方法包括接收表示多個圖像的視頻比特流；使用編程的處理器來識別多個圖像中的數據圖像組，其中每個數據圖像提供了數據的圖像表示且在任何數據圖像組中的每個數據圖像對應於單一數據圖像；且使用編程的處理器來從數據圖像組中選擇至少一個最佳的數據圖像。
文檔編號H04N7/15GK102986209SQ201180026655
公開日2013年3月20日 申請日期2011年5月28日 優先權日2010年5月28日
發明者S·本-澤德夫, Y·威納 申請人:銳迪訊有限公司