圖像遮蔽處理方法及系統的製作方法
2023-09-19 03:00:40
專利名稱：圖像遮蔽處理方法及系統的製作方法
技術領域：
本發明涉及智能圖像識別處理應用技術領域，尤其涉及一種圖像遮蔽處理方法及系統。
背景技術：
隨著視頻監控應用技術的大力發展，視頻監控的區域及對象涵蓋範圍越來越廣泛，同時隨著社會信息化程度的提升，監控視頻應用範圍也將會變得更加廣泛。隨之而來的公眾隱私問題也得到了人們的關注，為避免監控內容中涉及到公眾隱私內容，目前常用的方法是通過人工區分人或物，並在視頻中的對應區域進行遮蔽等處理，而這一處理過程需要對海量的監控視頻進行人工辨別，因此存在著許多弊端，例如:1)工作量巨大，成本較高；2)不能在圖像錄製時一次性處理，需要再加工；3)應用需求不同，針對不同遮蔽對象需要進行重新處理，費時費力等。
發明內容
本發明的目的是提出一種圖像遮蔽處理方法及系統，能夠利用智能對象識別技術自動分析理解視頻畫面中的內容，對目標進行分析判斷後進行圖像遮蔽，降低人工工作量。為實現上述目的，本發明提供了一種圖像遮蔽處理方法，包括:監控平臺接收視頻訪問端發出的視頻獲取請求時，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，則經由智能圖像管理伺服器將該視頻獲取請求轉發給智能圖像識別單元/智能遮蔽單元；所述智能圖像識別單元/智能遮蔽單元根據所述視頻獲取請求從所述監控平臺獲得對應的原始視頻信息；所述智能圖像識別單元/智能遮蔽單元對所述原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析；所述智能圖像識別單元/智能遮蔽單元將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理；如果需要圖像遮蔽處理，則所述智能圖像識別單元/智能遮蔽單元通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息；所述智能圖像識別單元/智能遮蔽單元經由所述監控平臺向所述視頻訪問端返回所述圖像遮蔽處理後的視頻信息。為實現上述目的，本發明提供了一種圖像遮蔽處理系統，包括:監控平臺，用於接收視頻訪問端發出的視頻獲取請求時，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，則經由智能圖像管理伺服器轉發該視頻獲取請求，以及將獲得的圖像遮蔽處理後的視頻信息返回給所述視頻訪問端；
智能圖像識別單元/智能遮蔽單元，用於根據所述智能圖像管理伺服器轉發的視頻獲取請求從所述監控平臺獲得對應的原始視頻信息，對所述原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析，以及將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理，如果需要圖像遮蔽處理，則通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息，以及向所述監控平臺返回所述圖像遮蔽處理後的視頻信息。為實現上述目的，本發明還提供了 一種圖像遮蔽處理方法，包括監控平臺接收視頻訪問端發出的視頻獲取請求時，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，則將該視頻獲取請求轉發給前端智能單元；所述前端智能單元根據所述視頻獲取請求從所述監控平臺或所述前端智能單元自身獲得對應的原始視頻信息；所述前端智能單元對所述原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析；所述前端智能單元將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理；如果需要圖像遮蔽處理，則所述前端智能單元通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息；所述前端智能單元經由所述監控平臺向所述視頻訪問端返回所述圖像遮蔽處理後的視頻信息。為實現上述目的，本發明還提供了一種圖像遮蔽處理系統，包括:監控平臺，用於接收視頻訪問端發出的視頻獲取請求時，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，則轉發該視頻獲取請求，以及將獲得的圖像遮蔽處理後的視頻信息返回給所述視頻訪問端；前端智能單元，用於根據所述監控平臺轉發的視頻獲取請求從所述監控平臺或所述前端智能單元自身獲得對應的原始視頻信息，對所述原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析，以及將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理，如果需要圖像遮蔽處理，則通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息，以及向所述監控平臺返回所述圖像遮蔽處理後的視頻信息。基於上述技術方案，本發明在視頻訪問端訪問需要遮蔽處理的實時或已錄製的視頻信息時，由智能圖像識別單元/IEU或前端智能單元對視頻信息進行圖像語義分析，根據得到的語義描述來識別視頻信息中的敏感信息，並對該敏感信息進行圖像遮蔽的屏蔽處理，從而為視頻訪問端提供處理後的視頻信息，進而實現了公眾隱私的保護，同時相比於人工辨別和遮蔽處理效率更高，且節省大量的人力物力。
此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定。在附圖中:圖1為應用本發明圖像遮蔽處理系統的一實施例的場景示意圖。圖2為應用本發明圖像遮蔽處理系統的另一實施例的場景示意圖。圖3為在圖1應用場景下的圖像遮蔽處理方法的一實施例的流程示意圖。圖4為在圖1應用場景下的圖像遮蔽處理方法的另一實施例的流程不意圖。圖5為在圖2應用場景下的圖像遮蔽處理方法的一實施例的流程不意圖。圖6為在圖2應用場景下的圖像遮蔽處理方法的另一實施例的流程不意圖。圖7為在圖1應用場景下的圖像遮蔽處理系統的一實施例的結構不意圖。圖8為在圖1應用場景下的圖像遮蔽處理系統的另一實施例的結構不意圖。圖9為在圖2應用場景下的圖像遮蔽處理系統的一實施例的結構不意圖。圖10為在圖2應用場景下的圖像遮蔽處理系統的另一實施例的結構不意圖。
具體實施例方式下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。如圖1所示，為應用本發明圖像遮蔽處理系統的一實施例的場景示意圖。在本實施例的應用場景中，圖像遮蔽處理系統包括監控平臺I和智能圖像識別單元(IntelligentVideo Unit,簡稱IVU) /智能遮蔽單元(Intelliget Envelop Unit,簡稱IEU) 2,除此之外場景中還包括智能圖像管理伺服器3 (Intelligent Video Management,簡稱IVM)、前端單元4 (Peripheral Unit，簡稱 PU)和客戶端單元 5 (Client Unit，簡稱 CU)。其中，IVM 3、IVU/IEU 2、PU 4和CU 5均與監控平臺I相連，IVM 3與IVU/IEU 2相連。監控平臺I可以負責設備註冊和管理、控制信令轉發、視頻信息轉發、客戶端接入等功能，且監控平臺I還可以具備一定的存儲空間，用來保存原始視頻信息或處理後的視頻信息。具體來說，監控平臺I可以負責接收視頻訪問端(即CU 5)發出的視頻獲取請求，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，並且可以通過IVM 3向IVU/IEU 2轉發該視頻獲取請求。監控平臺I還負責在從IVU/IEU 2獲得了圖像遮蔽處理後的視頻信息後，將處理後的視頻信息返回給視頻訪問端。IVM 3是中心服務平臺側網元，可實現對智能能力的管理，並可以對用戶智能識別的策略進行管理等。當監控平臺I向IVM 3轉發視頻獲取請求時，IVM 3可以根據其管理的智能能力信息觸發IVU/IEU2，將該視頻獲取請求轉發給IVU/IEU 2，並使其根據預設的用戶智能識別策略對視頻信息進行分析以及智能遮蔽處理等操作。IVU/IEU 2負責根據IVM 3轉發的視頻獲取請求從監控平臺I獲得對應的原始視頻信息，對原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析。圖像語義分析主要是將前景目標的原始數據如尺寸、速度、軌跡、分類、目標顏色、出現時間等等提取出來，形成對目標的語法描述，現有技術中已有語義感知分析實現案例，例如人臉識別、車牌識別等技術，由於具體的圖像語義分析並非本發明實施例的重點，採用現有的圖像語義分析方法能夠實現本發明實施例的技術目的，因此就不再對圖像語義分析方法的具體實現進行詳述了。IVU/IEU 2還負責將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理，如果需要圖像遮蔽處理，則通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息。當獲得了圖像遮蔽處理後的視頻信息後，IVU/IEU 2還負責向監控平臺I返回所述圖像遮蔽處理後的視頻信息。IVU/IEU的表示方式在本發明中表示IVU或IEU作為單獨設備，也包括在這兩種設備上分工實現功能的情況，以及這兩種設備合設在一起的情況。PU 4主要負責採集視頻信息，並傳送給監控平臺1，其通常包括有視頻伺服器、攝像機等前端設備。在本應用場景中，視頻信息的智能處理由平臺側的IVU/IEU 2集中完成，無需對前端設備進行改造。對於某些應用場景來說，例如前端設備具有較好的軟硬體能力，且存在大量的視頻信息需要處理，此時如果靠平臺側進行集中的智能處理則可能會造成系統資源的大量佔用，從而帶來降低處理效率等負面影響。為了在這些應用場景中能夠更好的應用本發明的發明構思，則可以將智能處理功能分散到各個具有一定軟硬體能力的前端智能單元中，如圖2所示，為另一種應用本發明圖像遮蔽處理系統的另一實施例的場景示意圖。與圖1應用場景相比，圖2所示的應用場景中增加了具有智能處理能力的PU，即前端智能單元6 (Peripheral Intelligent Unit,簡稱PIU)。在本應用場景中,監控平臺I負責在接收視頻訪問端(即CU5)發出的視頻獲取請求時，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，直接向PIU 6轉發該視頻獲取請求。當從PIU 6獲得了處理後的視頻信息時，監控平臺I還負責將獲得的圖像遮蔽處理後的視頻信息返回給所述視頻訪問端。PIU 6負責根據監控平臺I轉發的視頻獲取請求從監控平臺I或PIU 6自身獲得對應的原始視頻信息，對所述原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析。PIU 6還負責將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理，如果需要圖像遮蔽處理，則通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息。在得到了圖像遮蔽處理後的視頻信息後，PIU 6還負責向監控平臺I返回所述圖像遮蔽處理後的視頻信息。在本應用場景中，由於將智能處理過程分散到各個PIU中，因此不會給平臺側帶來較大的處理壓力，進而帶來處理效率的提高。在現有的視頻監控系統改造中，只需對部分PU進行改造，而無需對所有均進行改造。監控平臺可以根據各個PIU的處理能力、忙閒狀態、地理位置等因素選擇適合的PIU執行智能處理，例如選擇目前較空閒的PIU執行智能圖像遮蔽處理，或者根據被請求的PU所錄製的視頻信息選擇對應的或相鄰的PIU等。本發明不僅適用於上述圖1和圖2中的應用場景，還適用於更複雜的應用場景，此時可以由監控平臺選擇IVU/IEU以及各個PIU進行智能處理，例如優先採用IVU/IEU進行智能處理，在可能影響系統性能的情況下，繼續選擇PIU來進行智能處理，分擔平臺側的處理壓力等。下面分別針對於前面提到的幾種應用場景來對本發明的幾種方法實施例進行詳細說明。如圖3所示，為在圖1應用場景下的圖像遮蔽處理方法的一實施例的流程示意圖。在本實施例中，圖像遮蔽處理流程包括:步驟101、監控平臺接收視頻訪問端發出的視頻獲取請求，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻彳目息；步驟102、監控平臺經由IVM將該視頻獲取請求轉發給IVU/IEU ；步驟103、IVU/IEU根據視頻獲取請求從監控平臺獲得對應的原始視頻信息；步驟104、IVU/IEU對原始視頻信息進行背景圖像和前景目標的抽離，並對前景目標進行圖像語義分析；步驟105、IVU/IEU將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配；步驟106、根據匹配結果來識別是否需要對原始視頻信息進行圖像遮蔽處理，如果需要圖像遮蔽處理，則執行步驟107，否則執行步驟109 ；步驟107、IVU/IEU通過對原始視頻信息中的前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息；步驟108、IVU/IEU經由監控平臺向視頻訪問端返回圖像遮蔽處理後的視頻信息；步驟109、IVU/IEU通知監控平臺將原始視頻信息返回給視頻訪問端。在本實施例中，監控平臺將視頻獲取請求通過IVM轉發給IVU/IEU,而IVU/IEU從監控平臺獲得相應的視頻信息，這裡的視頻信息可以是PU實時獲得並傳送給監控平臺的視頻流，也可以是在監控平臺中保存的已錄製的視頻文件，或者是監控平臺從PU中獲取的已錄製的視頻文件等。IVU/IEU可以利用現有的計算機基於圖像分割與識別技術對原始視頻進行背景圖像和前景目標的抽離，以此來避免背景圖像對分析過程的幹擾，前景目標可能是人、車或標牌等具有一定的語義特徵的圖像，利用現有的智能圖像識別技術對前景目標進行圖像語義分析，獲得該前景目標的目標語義描述信息，根據該目標語義描述信息可以獲知人、車或標牌在場景中的存在。在獲得了目標語義描述信息後，IVU/IEU則基於本地保存的或IVM所提供的預設的遮蔽規則或遮蔽標準模型庫來對所述目標語義描述信息進行匹配，例如某條遮蔽規則可以為如果圖像中存在人臉的語義描述信息，則對該部分前景目標執行圖像遮蔽處理等，或者判斷是否存在與遮蔽標準模型庫中的某個標準模型的相似度小於預設閾值來確定是否符合需要圖像遮蔽處理的標準等。在具體執行圖像遮蔽處理時，可以針對前景目標的全部區域進行遮蔽，從而很好的保護了隱私信息，但全部遮蔽有可能造成視頻請求者的誤解，還可以只對前景目標的部分區域進行遮蔽，這樣不僅可以一定程度上保護隱私信息，也消除了視頻請求者難以理解視頻內容的問題。具體的圖像遮蔽處理可以包括單色化、馬賽克、模糊化等方式，儘量達到難以直接辨認出具體信息的效果。對於一些更高級別或者政府機關的使用者或監管者來說，獲得更準確的信息更為重要，而可以忽略隱私問題，因此在本發明的另一實施例中還引入了訪問權限的設定，即允許一部分用戶可以直接獲取原始視頻信息，而一部分用戶則受到限制，只能夠訪問經過圖像遮蔽處理後的視頻信息。當然，對於監控平臺的管理員來說，應該可以對監控平臺進行用戶訪問的權限設定，而讓這種訪問權限的實施成為可能。
如圖4所示，為在圖1應用場景下的圖像遮蔽處理方法的另一實施例的流程示意圖。與上一實施例相比，本實施例中在步驟101和102之間還增加了以下步驟:步驟101a、監控平臺對所述視頻訪問端的訪問權限進行判斷，根據所述訪問權限判斷是否需要對被請求的視頻信息進行圖像遮蔽處理；步驟101b、如果視頻訪問端的訪問權限不允許訪問所述被請求的視頻信息中的敏感信息，則確定需要對所述被請求的視頻信息進行圖像遮蔽處理，並繼續執行步驟102，否則執行步驟IOlc ；步驟101c、監控平臺直接將對應的原始視頻信息返回給視頻訪問端。在步驟101中提到的需圖像遮蔽處理的視頻信息實際上是指本發明的常規處理中需要對視頻信息進行圖像遮蔽處理，但對於某些擁有較高權限的使用者來說，則可以根據該權限來確定這些視頻信息無需經過圖像遮蔽處理。在上述的幾個方法實施例中，監控平臺還可以接收客戶端發出的圖像遮蔽設置請求，並可以根據該圖像遮蔽設置請求對監控平臺自身或IVU/IEU進行設置。圖像遮蔽設置請求可以具體包括遮蔽規則、遮蔽標準模型和訪問權限中的一種或多種。考慮到監控平臺具有一定的存儲能力，而且在接收到圖像遮蔽處理的視頻信息可能會被再次索取，因此可以在首次接收到IVU/IEU返回的圖像遮蔽處理後的視頻信息時，在本地保存該圖像遮蔽處理後的視頻信息。當接收到該視頻請求端或另一視頻請求端發出的獲取需圖像遮蔽處理的相同視頻信息的視頻獲取請求時，可以直接將保存的該圖像遮蔽處理後的視頻信息返回給發出視頻獲取請求的視頻請求端。從而節省了平臺側的智能處理能力和信令消耗，同時也提高了處理效率。如圖5所示，為在圖2應用場景下的圖像遮蔽處理方法的一實施例的流程示意圖。在圖2應用場景下，圖像遮蔽處理流程包括:步驟201、監控平臺接收視頻訪問端發出的視頻獲取請求，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻彳目息；步驟202、監控平臺將該視頻獲取請求轉發給PIU ；步驟203、PIU根據所述視頻獲取請求從監控平臺或PIU自身獲得對應的原始視頻
信息；步驟204、PIU對該原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析；步驟205、PIU將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理；步驟206、如果需要圖像遮蔽處理，則執行步驟207，否則執行步驟209 ；步驟207、PIU通過對該原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息；步驟208、PIU經由所述監控平臺向所述視頻訪問端返回所述圖像遮蔽處理後的視頻息;步驟209、PIU通知監控平臺將原始視頻信息返回給視頻訪問端。在本實施例中，監控平臺將視頻獲取請求轉發給具有智能圖像處理能力的PIU，而Piu從監控平臺獲得相應的視頻信息，這裡的視頻信息可以是PU或PIU實時獲得並傳送給監控平臺的視頻流，也可以是在監控平臺中保存的已錄製的視頻文件，或者是監控平臺從PU或PIU中獲取的已錄製的視頻文件等。PIU可以利用現有的計算機基於圖像分割與識別技術對原始視頻進行背景圖像和前景目標的抽離，以此來避免背景圖像對分析過程的幹擾，前景目標可能是人、車或標牌等具有一定的語義特徵的圖像，利用現有的智能圖像識別技術對前景目標進行圖像語義分析，獲得該前景目標的目標語義描述信息，根據該目標語義描述信息可以獲知人、車或標牌在場景中的存在。在獲得了目標語義描述信息後，PIU則基於本地保存的預設遮蔽規則或遮蔽標準模型庫來對所述目標語義描述信息進行匹配，例如某條遮蔽規則可以為如果圖像中存在人臉的語義描述信息，則對該部分前景目標執行圖像遮蔽處理等，或者判斷是否存在與遮蔽標準模型庫中的某個標準模型的相似度小於預設閾值來確定是否符合需要圖像遮蔽處理的標準等。在具體執行圖像遮蔽處理時，可以針對前景目標的全部區域進行遮蔽，從而很好的保護了隱私信息，但全部遮蔽有可能造成視頻請求者的誤解，還可以只對前景目標的部分區域進行遮蔽，這樣不僅可以一定程度上保護隱私信息，也消除了視頻請求者難以理解視頻內容的問題。具體的圖像遮蔽處理可以包括單色化、馬賽克、模糊化等方式，儘量達到難以直接辨認出具體信息的效果。前面也提到，採用分布式的PIU的智能圖像處理可以對平臺側集中處理的IVU/IEU進行圖像智能處理的方式進行補充，或者直接替代平臺側集中處理的方式，均可較大程度的減輕平臺側的處理壓力。對於一些更高級別或者政府機關的使用者或監管者來說，獲得更準確的信息更為重要，而可以忽略隱私問題，因此在本發明的另一實施例中還引入了訪問權限的設定，即允許一部分用戶可以直接獲取原始視頻信息，而一部分用戶則受到限制，只能夠訪問經過圖像遮蔽處理後的視頻信息。當然，對於監控平臺的管理員來說，應該可以對監控平臺進行用戶訪問的權限設定，而讓這種訪問權限的實施成為可能。如圖6所示，為在圖2應用場景下的圖像遮蔽處理方法的另一實施例的流程示意圖。與上一實施例相比，本實施例中在步驟201和202之間還增加了以下步驟:步驟201a、監控平臺對所述視頻訪問端的訪問權限進行判斷，根據所述訪問權限判斷是否需要對被請求的視頻信息進行圖像遮蔽處理；步驟201b、如果視頻訪問端的訪問權限不允許訪問所述被請求的視頻信息中的敏感信息，則確定需要對所述被請求的視頻信息進行圖像遮蔽處理，並繼續執行步驟202，否則執行步驟201c ；步驟201c、監控平臺直接將對應的原始視頻信息返回給視頻訪問端。在步驟201中提到的需圖像遮蔽處理的視頻信息實際上是指本發明的常規處理中需要對視頻信息進行圖像遮蔽處理，但對於某些擁有較高權限的使用者來說，則可以根據該權限來確定這些視頻信息無需經過圖像遮蔽處理。在上述的幾個方法實施例中，監控平臺還可以接收客戶端發出的圖像遮蔽設置請求，並可以根據該圖像遮蔽設置請求對監控平臺自身或PIV進行設置。圖像遮蔽設置請求可以具體包括遮蔽規則、遮蔽標準模型和訪問權限中的一種或多種。考慮到監控平臺具有一定的存儲能力，而且在接收到圖像遮蔽處理的視頻信息可能會被再次索取，因此可以在首次接收到PIV返回的圖像遮蔽處理後的視頻信息時，在本地保存該圖像遮蔽處理後的視頻信息。當接收到該視頻請求端或另一視頻請求端發出的獲取需圖像遮蔽處理的相同視頻信息的視頻獲取請求時，可以直接將保存的該圖像遮蔽處理後的視頻信息返回給發出視頻獲取請求的視頻請求端。從而節省了平臺側的智能處理能力和信令消耗，同時也提高了處理效率。本領域普通技術人員可以理解:實現上述方法實施例的全部或部分步驟可以通過程序指令相關的硬體來完成，前述的程序可以存儲於一計算機可讀取存儲介質中，該程序在執行時，執行包括上述方法實施例的步驟；而前述的存儲介質包括:R0M、RAM、磁碟或者光碟等各種可以存儲程序代碼的介質。下面分別對各應用場景下的圖像遮蔽處理系統的具體結構進行詳細說明。如圖7所示，為在圖1應用場景下的圖像遮蔽處理系統的一實施例的結構示意圖。在本實施例中，圖像遮蔽處理系統包括監控平臺I和IVU/IEU 2，其中監控平臺I具體包括獲取請求接收單元11、第一獲取請求轉發單元12、視頻信息返回單元13。獲取請求接收單元11負責接收視頻訪問端發出的視頻獲取請求，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息。第一獲取請求轉發單元12負責經由IVM向IVU/IEU轉發該視頻獲取請求。視頻信息返回單元13負責將獲得的圖像遮蔽處理後的視頻信息返回給視頻訪問端。IVU/IEU 2具體包括:原始視頻獲取單元21、前景/背景抽離單元22、語義分析單元23、規則/模型匹配單元24、圖像遮蔽處理單元25和處理視頻信息返回單元26。原始視頻獲取單元21負責根據IVM轉發的視頻獲取請求從監控平臺獲得對應的原始視頻信息。前景/背景抽離單元22負責對原始視頻信息進行背景圖像和前景目標的抽離。語義分析單元23負責對前景目標進行圖像語義分析。規則/模型匹配單元24負責將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對原始視頻信息進行圖像遮蔽處理。圖像遮蔽處理單元25負責在判斷原始視頻信息需要圖像遮蔽處理時，通過對原始視頻信息中的前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息。處理視頻信息返回單元26負責向監控平臺返回圖像遮蔽處理後的視頻信息。如圖8所不,為在圖1應用場景下的圖像遮蔽處理系統的另一實施例的結構不意圖。與上一實施例相比，本實施例的監控平臺還包括:訪問權限判斷單元14和敏感信息確認單元15。其中，訪問權限判斷單元14負責在接收視頻獲取請求時，還對視頻訪問端的訪問權限進行判斷，根據訪問權限判斷是否需要對被請求的視頻信息進行圖像遮蔽處理。敏感信息確認單元15負責在判斷視頻訪問端的訪問權限不允許訪問被請求的視頻信息中的敏感信息時，確定需要對被請求的視頻信息進行圖像遮蔽處理。相應的，視頻信息返回單元13還負責在判斷視頻訪問端的訪問權限允許訪問被請求的視頻信息中的敏感信息時，直接將對應的原始視頻信息返回給視頻訪問端。在圖1應用場景中的上述各系統實施例中，監控平臺還可以進一步包括設置單元，該單元負責接收客戶端發出圖像遮蔽設置請求，並根據圖像遮蔽設置請求對監控平臺自身或IVU/IEU進行設置，圖像遮蔽設置請求中包括遮蔽規則、遮蔽標準模型和訪問權限中的一種或多種。在另一實施例中，監控平臺還可以進一步包括:本地保存單元，該單元負責在首次接收到IVU/IEU返回的圖像遮蔽處理後的視頻信息，則在本地保存圖像遮蔽處理後的視頻信息。相應的，視頻信息返回單元還可以負責在接收到視頻請求端或另一視頻請求端發出的獲取需圖像遮蔽處理的相同視頻信息的視頻獲取請求時，直接將保存的圖像遮蔽處理後的視頻信息返回給發出視頻獲取請求的視頻請求端。如圖9所不，為在圖2應用場景下的圖像遮蔽處理系統的一實施例的結構不意圖。在本實施例中，圖像遮蔽處理系統包括監控平臺I和PIU 6。其中，監控平臺I具體包括:獲取請求接收單元U、第二獲取請求轉發單元16和視頻信息訪問單元13。其中，獲取請求接收單元11負責接收視頻訪問端發出的視頻獲取請求，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息。第二獲取請求轉發單元16負責向前端智能單元轉發該視頻獲取請求。視頻信息返回單元17負責將獲得的圖像遮蔽處理後的視頻信息返回給視頻訪問端。PIU 6具體包括:原始視頻獲取單元61、前景/背景抽離單元62、語義分析單元63、規則/模型匹配單元64、圖像遮蔽處理單元65和處理視頻信息返回單元66。原始視頻獲取單元61負責根據所述監控平臺轉發的視頻獲取請求從所述監控平臺或所述前端智能單元自身獲得對應的原始視頻信息。前景/背景抽離單元62對所述原始視頻信息進行背景圖像和前景目標的抽離。語義分析單元63負責對所述前景目標進行圖像語義分析。規則/模型匹配單元64負責將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理。圖像遮蔽處理單元65在判斷所述原始視頻信息需要圖像遮蔽處理時，通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息。處理視頻信息返回單元66負責向所述監控平臺返回所述圖像遮蔽處理後的視頻信息。如圖10所不,為在圖2應用場景下的圖像遮蔽處理系統的另一實施例的結構不意圖。與上一實施例相比，本實施例的監控平臺還包括:訪問權限判斷單元14和敏感信息確認單元15。其中，訪問權限判斷單元14負責在接收視頻獲取請求時，還對視頻訪問端的訪問權限進行判斷，根據訪問權限判斷是否需要對被請求的視頻信息進行圖像遮蔽處理。敏感信息確認單元15負責在判斷視頻訪問端的訪問權限不允許訪問被請求的視頻信息中的敏感信息時，確定需要對被請求的視頻信息進行圖像遮蔽處理。相應的，視頻信息返回單元13還負責在判斷視頻訪問端的訪問權限允許訪問被請求的視頻信息中的敏感信息時，直接將對應的原始視頻信息返回給視頻訪問端。在圖2應用場景中的上述各系統實施例中，監控平臺還可以進一步包括設置單元，該單元負責接收客戶端發出圖像遮蔽設置請求，並根據圖像遮蔽設置請求對監控平臺自身或PIU進行設置，圖像遮蔽設置請求中包括遮蔽規則、遮蔽標準模型和訪問權限中的一種或多種。在另一實施例中，監控平臺還可以進一步包括:本地保存單元，該單元負責在首次接收到PIU返回的圖像遮蔽處理後的視頻信息，則在本地保存圖像遮蔽處理後的視頻信息。相應的，視頻信息返回單元還可以負責在接收到視頻請求端或另一視頻請求端發出的獲取需圖像遮蔽處理的相同視頻信息的視頻獲取請求時，直接將保存的圖像遮蔽處理後的視頻信息返回給發出視頻獲取請求的視頻請求端。上述各方法實施例和系統實施例均採用了遞進方式的描述，在敘述上較為簡略，另外，上述系統實施例的說明可參考前面方法實施例的說明，這裡也不再詳述。最後應當說明的是:以上實施例僅用以說明本發明的技術方案而非對其限制；儘管參照較佳實施例對本發明進行了詳細的說明，所屬領域的普通技術人員應當理解:依然可以對本發明的具體實施方式
進行修改或者對部分技術特徵進行等同替換；而不脫離本發明技術方案的精神，其均應涵蓋在本發明請求保護的技術方案範圍當中。
權利要求
1.一種圖像遮蔽處理方法，包括: 監控平臺接收視頻訪問端發出的視頻獲取請求時，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，則經由智能圖像管理伺服器將該視頻獲取請求轉發給智能圖像識別單元/智能遮蔽單元； 所述智能圖像識別單元/智能遮蔽單元根據所述視頻獲取請求從所述監控平臺獲得對應的原始視頻信息； 所述智能圖像識別單元/智能遮蔽單元對所述原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析； 所述智能圖像識別單元/智能遮蔽單元將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理； 如果需要圖像遮蔽處理，則所述智能圖像識別單元/智能遮蔽單元通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息； 所述智能圖像識別單元/智能遮蔽單元經由所述監控平臺向所述視頻訪問端返回所述圖像遮蔽處理後的視頻信息。
2.根據權利要求1所述的圖像遮蔽處理方法，其中，所述監控平臺在接收所述視頻獲取請求時，還對所述視頻訪問端的訪問權限進行判斷，根據所述訪問權限判斷是否需要對被請求的視頻信息進行圖像遮蔽處理，如果所述視頻訪問端的訪問權限不允許訪問所述被請求的視頻信息中的敏感信息，則確定需要對所述被請求的視頻信息進行圖像遮蔽處理，否則直接將對應的原始視頻信息返回給所述視頻訪問端。
3.根據權利要求1 或2所述的圖像遮蔽處理方法，其中，還包括: 所述監控平臺接收客戶端發出圖像遮蔽設置請求，並根據所述圖像遮蔽設置請求對所述監控平臺自身或所述智能圖像識別單元/智能遮蔽單元進行設置，所述圖像遮蔽設置請求中包括遮蔽規則、遮蔽標準模型和訪問權限中的一種或多種。
4.根據權利要求1或2所述的圖像遮蔽處理方法，其中，在所述監控平臺首次接收到所述智能圖像識別單元/智能遮蔽單元返回的圖像遮蔽處理後的視頻信息，則在本地保存所述圖像遮蔽處理後的視頻信息，當接收到所述視頻請求端或另一視頻請求端發出的獲取需圖像遮蔽處理的相同視頻信息的視頻獲取請求時，直接將保存的所述圖像遮蔽處理後的視頻信息返回給發出視頻獲取請求的視頻請求端。
5.一種圖像遮蔽處理系統，包括: 監控平臺，用於接收視頻訪問端發出的視頻獲取請求時，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，則經由智能圖像管理伺服器轉發該視頻獲取請求，以及將獲得的圖像遮蔽處理後的視頻信息返回給所述視頻訪問端； 智能圖像識別單元/智能遮蔽單元，用於根據所述智能圖像管理伺服器轉發的視頻獲取請求從所述監控平臺獲得對應的原始視頻信息，對所述原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析，以及將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理，如果需要圖像遮蔽處理，則通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息，以及向所述監控平臺返回所述圖像遮蔽處理後的視頻信息。
6.根據權利要求5所述的圖像遮蔽處理系統，其中，所述監控平臺具體包括: 獲取請求接收單元，用於接收視頻訪問端發出的視頻獲取請求，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻彳目息； 第一獲取請求轉發單元，用於經由智能圖像管理伺服器向所述智能圖像識別單元/智能遮蔽單元轉發該視頻獲取請求； 視頻信息返回單元，用於將獲得的圖像遮蔽處理後的視頻信息返回給所述視頻訪問端; 所述智能圖像識別單元/智能遮蔽單元具體包括: 原始視頻獲取單元，用於根據所述智能圖像管理伺服器轉發的視頻獲取請求從所述監控平臺獲得對應的原始視頻信息； 前景/背景抽離單元，用於對所述原始視頻信息進行背景圖像和前景目標的抽離； 語義分析單元，用於對所述前景目標進行圖像語義分析； 規則/模型匹配單元，用於將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理； 圖像遮蔽處理單元，用於在判斷所述原始視頻信息需要圖像遮蔽處理時，通過對所述原始視頻信息中的 所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息； 處理視頻信息返回單元，用於向所述監控平臺返回所述圖像遮蔽處理後的視頻信息。
7.根據權利要求6所述的圖像遮蔽處理系統，其中，所述監控平臺還包括: 訪問權限判斷單元，用於在接收所述視頻獲取請求時，還對所述視頻訪問端的訪問權限進行判斷，根據所述訪問權限判斷是否需要對被請求的視頻信息進行圖像遮蔽處理；敏感信息確認單元，用於在判斷所述視頻訪問端的訪問權限不允許訪問所述被請求的視頻信息中的敏感信息時，確定需要對所述被請求的視頻信息進行圖像遮蔽處理； 所述視頻信息返回單元還用於在判斷所述視頻訪問端的訪問權限允許訪問所述被請求的視頻信息中的敏感信息時，直接將對應的原始視頻信息返回給所述視頻訪問端。
8.根據權利要求6或7所述的圖像遮蔽處理系統，其中，所述監控平臺還包括: 設置單元，用於接收客戶端發出圖像遮蔽設置請求，並根據所述圖像遮蔽設置請求對所述監控平臺自身或所述智能圖像識別單元/智能遮蔽單元進行設置，所述圖像遮蔽設置請求中包括遮蔽規則、遮蔽標準模型和訪問權限中的一種或多種。
9.根據權利要求6或7所述的圖像遮蔽處理系統，其中，所述監控平臺還包括: 本地保存單元，用於在首次接收到所述智能圖像識別單元/智能遮蔽單元返回的圖像遮蔽處理後的視頻信息，則在本地保存所述圖像遮蔽處理後的視頻信息； 所述視頻信息返回單元還用於在接收到所述視頻請求端或另一視頻請求端發出的獲取需圖像遮蔽處理的相同視頻信息的視頻獲取請求時，直接將保存的所述圖像遮蔽處理後的視頻信息返回給發出視頻獲取請求的視頻請求端。
10.一種圖像遮蔽處理方法，包括監控平臺接收視頻訪問端發出的視頻獲取請求時，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，則將該視頻獲取請求轉發給前端智能單元； 所述前端智能單元根據所述視頻獲取請求從所述監控平臺或所述前端智能單元自身獲得對應的原始視頻信息； 所述前端智能單元對所述原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析； 所述前端智能單元將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理； 如果需要圖像遮蔽處理，則所述前端智能單元通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息； 所述前端智能單元經由所述監控平臺向所述視頻訪問端返回所述圖像遮蔽處理後的視頻息。
11.根據權利要求10所述的圖像遮蔽處理方法，其中，所述監控平臺在接收所述視頻獲取請求時，還對所述視頻訪問端的訪問權限進行判斷，根據所述訪問權限判斷是否需要對被請求的視頻信息進行圖像遮蔽處理，如果所述視頻訪問端的訪問權限不允許訪問所述被請求的視頻信息中的敏感信息，則確定需要對所述被請求的視頻信息進行圖像遮蔽處理，否則直接將對應的原始視頻信息返回給所述視頻訪問端。
12.根據權利要求10或11所述的圖像遮蔽處理方法，其中，還包括: 所述監控平臺接收客戶端發出圖像遮蔽設置請求，並根據所述圖像遮蔽設置請求對所述監控平臺自身或所述前端智能單元進行設置，所述圖像遮蔽設置請求中包括遮蔽規則、遮蔽標準模型和訪問權限中的一種或多種。
13.根據權利要求10或11所述的圖像遮蔽處理方法，其中，在所述監控平臺首次接收到所述前端智能單元返回的圖像遮蔽處理後的視頻信息，則在本地保存所述圖像遮蔽處理後的視頻信息，當接收到所述視頻請求端或另一視頻請求端發出的獲取需圖像遮蔽處理的相同視頻信息的視頻獲取請求時，直接將保存的所述圖像遮蔽處理後的視頻信息返回給發出視頻獲取請求的視頻請求端。
14.一種圖像遮蔽處理系統，包括: 監控平臺，用於接收視頻訪問端發出的視頻獲取請求時，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻信息，則轉發該視頻獲取請求，以及將獲得的圖像遮蔽處理後的視頻信息返回給所述視頻訪問端； 前端智能單元，用於根據所述監控平臺轉發的視頻獲取請求從所述監控平臺或所述前端智能單元自身獲得對應的原始視頻信息，對所述原始視頻信息進行背景圖像和前景目標的抽離，並對所述前景目標進行圖像語義分析，以及將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理，如果需要圖像遮蔽處理，則通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息，以及向所述監控平臺返回所述圖像遮蔽處理後的視頻信息。
15.根據權利要求14所述的圖像遮蔽處理系統，其中，所述監控平臺具體包括:獲取請求接收單元，用於接收視頻訪問端發出的視頻獲取請求，該視頻獲取請求用於獲取需圖像遮蔽處理的視頻彳目息； 第二獲取請求轉發單元，用於向所述前端智能單元轉發該視頻獲取請求； 視頻信息返回單元，用於將獲得的圖像遮蔽處理後的視頻信息返回給所述視頻訪問端; 所述前端智能單元具體包括: 原始視頻獲取單元，用於根據所述監控平臺轉發的視頻獲取請求從所述監控平臺或所述前端智能單元自身獲得對應的原始視頻信息； 前景/背景抽離單元，用於對所述原始視頻信息進行背景圖像和前景目標的抽離； 語義分析單元，用於對所述前景目標進行圖像語義分析； 規則/模型匹配單元，用於將圖像語義分析得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並根據匹配結果來識別是否需要對所述原始視頻信息進行圖像遮蔽處理； 圖像遮蔽處理單元，用於在判斷所述原始視頻信息需要圖像遮蔽處理時，通過對所述原始視頻信息中的所述前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息； 處理視頻信息返回單元，用於向所述監控平臺返回所述圖像遮蔽處理後的視頻信息。
16.根據權利要求15所述的圖像遮蔽處理系統，其中，所述監控平臺還包括: 訪問權限判斷單元，用於在接收所述視頻獲取請求時，還對所述視頻訪問端的訪問權限進行判斷，根據所述訪問權限判斷是否需要對被請求的視頻信息進行圖像遮蔽處理；敏感信息確認單元，用於在判斷所述視頻訪問端的訪問權限不允許訪問所述被請求的視頻信息中的敏感信息時，確定需要對所述被請求的視頻信息進行圖像遮蔽處理； 所述視頻信息返回單元還用於在判斷所述視頻訪問端的訪問權限允許訪問所述被請求的視頻信息中的敏感信息時，直接將對應的原始視頻信息返回給所述視頻訪問端。
17.根據權利要求15或16所述的圖像遮蔽處理系統，其中，所述監控平臺還包括: 設置單元，用於接收客戶端發出圖像遮蔽設置請求，並根據所述圖像遮蔽設置請求對所述監控平臺自身或所述前端智能單元進行設置，所述圖像遮蔽設置請求中包括遮蔽規貝U、遮蔽標準模型和訪問權限中的一種或多種。
18.根據權利要求15或16所述的圖像遮蔽處理系統，其中，所述監控平臺還包括: 本地保存單元，用於在首次接收到所述前端智能單元返回的圖像遮蔽處理後的視頻信息，則在本地保存所述圖像遮蔽處理後的視頻信息； 所述視頻信息返回單元還用於在接收到所述視頻請求端或另一視頻請求端發出的獲取需圖像遮蔽處理的相同視頻信息的視頻獲取請求時，直接將保存的所述圖像遮蔽處理後的視頻信息返回給發出視頻獲取請求的視頻請求端。
全文摘要
本發明涉及一種圖像遮蔽處理方法，包括監控平臺接收視頻訪問端發出的視頻獲取請求時，則經由IVM將該視頻獲取請求轉發給IVU/IEU；IVU/IEU從監控平臺獲得對應的原始視頻信息；IVU/IEU對原始視頻信息進行背景圖像和前景目標的抽離，並對前景目標進行圖像語義分析；IVU/IEU將得到的目標語義描述信息與預設的遮蔽規則或遮蔽標準模型庫進行匹配，並識別是否需要圖像遮蔽處理，是則IVU/IEU通過對原始視頻信息中的前景目標的部分區域或全部區域進行遮蔽處理，得到圖像遮蔽處理後的視頻信息；IVU/IEU經由監控平臺向視頻訪問端返回圖像遮蔽處理後的視頻信息。本發明利用智能對象識別技術自動分析理解視頻畫面中的內容，對目標進行分析判斷後進行圖像遮蔽，降低人工工作量。
文檔編號H04N5/14GK103167216SQ20111040464
公開日2013年6月19日 申請日期2011年12月8日 優先權日2011年12月8日
發明者崔瑞琳, 曹寧 申請人:中國電信股份有限公司