視頻節目中基於多媒體內容信息的父母控制系統的製作方法
2023-04-25 13:49:56
專利名稱：視頻節目中基於多媒體內容信息的父母控制系統的製作方法
技術領域：
本發明涉及用於娛樂系統的父母控制系統。更明確地說，本發明涉及的父母控制系統是，根據至少一種用戶提供的過濾判據類型，基於逐段地、實時而動態地過濾視頻節目的內容。也公開了以段落為基礎、實時而動態地過濾視頻節目的內容的方法。
現今對電視和視頻節目的等級評定是根據人們觀看到的節目內容形成的主觀評估，即，根據分級用的某種解釋標準。這種內容評估結果是一組建議，即定級。例子有電影的定級G，PG，PG-13，R，NC17，X，或者電視節目的TV-Y，TV-Y7，TV-G，TV-PG，TV-14和TV-MA。通常這種定級顯示在視頻節目的起頭，可能還包括附加的次分級，如「V」表示暴力，「AL」表示成人語言，「N」表示裸體。
這種主觀評估過程的一種局限性是它沒有為父母們提供一套綜合判據用於判定TV節目是否合適，或者提供得不充分。例如美國電影協會(MPAA)所說的電影定級為PG是指這樣的一部電影，就是父母在讓他們的孩子看之前他們應該先看，或者至少應獲得更多的信息。MPAA還說，PG電影可能含有某些褻瀆言行、某些暴力、或者/以及某種短暫的裸體--可能是某種混合，但是沒有毒品使用。這樣的敘述是非常含混不確定的，沒有為父母們提供足夠的細節讓他們作出有根據的判斷某些或全部PG級節目是否適合於他們的子女。例如對於某給定的父母群體，他們可能沒有發現應拒絕的與臀部相關的短暫的裸體，而這同一組父母可能強烈反對他們的子女觀看裸露的殘缺軀體、某種類型的暴力、或者聽到某特定類型的褻瀆。而另一組父母群體可能有完全不同的一套判據用來判定某PG級影片是否適於他們的子女觀看。再者，標準定級系統沒有涉及其他的可能會被反對的材料，如社會形勢(如同性戀的討論)，哲學(例如「支持生命」或「支持選擇」)或者宗教問題。
再者，傳統的定級系統只應用於被那些受權機構評估的視頻節目。沒有安排對家庭錄象、某些通過郵購限制發行的視頻節目等等進行定級。
當前父母控制技術考查視頻節目或者是依據總體節目定級，或者是依據節目識別與特許的或限制的材料資料庫間的匹配。例如目前生產中的電視包含有稱為「V-晶片」的技術，它根據用戶提供的信息，利用插入在廣播電視視頻節目裡的定級信息決定節目是否適於觀看。該定級信息位於視頻節目某幀各場的垂直消隱段(VBI)的21行。應注意的是VBI的21行含有標準模擬電視廣播的劇終說明信息，甚至可能有多種語言，還有擴展數據服務(XDS)包，即，節目的定級信息是跟其他的數據儲存在一起的。VBI的21行裡傳輸數據的這種機制在ANSI EIA-608說明書裡有說明，VBI的21行數據說明的總結可以在Nuts Volts 2000年1月號找到。另有說明書討論數字視頻回放和廣播的數據編碼。
授予Vogel的4,930,158號美國專利公開了一種選擇性視頻回放系統，其中錄象帶上的視頻節目含有植入的分類代碼。於是該代碼可以在用戶的控制下對視頻節目的回放予以限制。授予Vogel的4,930,160號美國專利公開了視頻節目的自動審查，同時也涉及儲存分類代碼的使用--單個代碼或一組代碼，不過節目或者來自錄象帶，或者是通過廣播。當探測到限制性分類代碼，替換的視頻源就自動地切入。用這種裝置和方法，以及V-晶片方案，父母被限於應用預先確定的分類，如前面所說，這樣可能會與他們特定的價值觀不相一致。
以某種方式嘗試過父母控制的替代方法，即識別某給定的視頻節目，並基於此識別確定是或否阻止或允許收看該節目。對於這種識別過去曾經提出過幾種技術。
授予Greenberg的4,639,779號美國專利討論了一種方法，它將唯一的ID編碼進視頻節目，使該節目可以自動識別；而授予Kenyon的4,843,562號美國專利對視頻節目的識別是將節目的「指紋」圖譜存入資料庫，再利用該資料庫，通過搜尋未來節目圖譜，尋找相匹配的內容。授予Boles的5,019,899號美國專利利用對視頻信息生成的數字特徵標識來嘗試並將它與資料庫相匹配。
不同的是5,485,518號美國專利，它將視頻節目識別技術與節目阻止技術相結合，通過授權父母或其他用戶阻止某人觀看不在「批准節目」資料庫裡的節目。所以，如果節目不在資料庫裡，或者它在資料庫裡但滿足一定的阻止判據，阻止完全收看。視頻節目識別技術依賴於視頻和音頻信號處理。
應該注意的是，沒有那個現有的方法在父母控制系統裡植入了允許選擇、僅對某視頻節目的不適宜部分施行自動過濾的技術，而是在一般的、非特定定級的基礎上，或者是通過節目識別，並決定該節目是否可以被觀看的基礎上，僅僅提供了對整個節目實施阻止。
所需要的是一種自動系統，它具有評估視頻節目的能力，根據用戶提供的判據對視頻節目進行過濾、阻止或部分掩蓋，並且是以實時或基本實時方式，即當視頻節目正在回放或播送的時候實施。而且所需要的是一種父母控制系統，它能學習用戶提供的判據。例如，希望此父母控制系統能夠利用適合不同觀看者組群的判據對視頻節目實施過濾。
在這裡應該指出，所有以上提到的美國專利都通過參考而被結合於此。
根據以上所述，可以看出目前本領域需要一種克服上述不足的父母控制系統。本發明受到克服現存技術的缺點和不足的願望的推動，從而滿足本領域的這種需求。
本發明提供一種自動系統，利用用戶(例如父母)通過視頻節目的多媒體內容，例如視覺、聲音和文本，提交的判據對視頻節目進行評估，然後根據這些判據，實時地對視頻節目給予過濾、阻止或部分地掩蓋。這些阻止或掩蓋可以包括簡單地跳過符合用戶指定的判據的那部分節目，或者在節目的那些不良段落的持續期以「安全」信號取代，或者是將那部分視頻或音響內容掩蓋掉，如模糊化裸體圖象或褻瀆聲音。
優選地，基於本發明的父母控制系統包括一個或多個多媒體處理器，它們分析輸入的視覺、音響、以及文字內容，將分析結果與特定的用戶指定的或選定的判據進行比較。例如，對於視覺內容，人們有外表(如面孔和軀體)，行為(如開槍射擊、性活動、駕駛車輛)，身體特徵(如皮膚顏色或體態身段)，暴力(如爆破、毆鬥)，等等。在音響方面，人們有聲音等級(如爆破時含有大量低頻噪音的沉重聲音)，語言表達(如褻瀆語言、輕蔑誹謗、俚語黑話、詛咒謾罵、影射暗諷)，「沉重喘息」聲(如性場景中可能發生的)，等等。對於文本方面，它可以包含成人語言、話題等語義內容。應用於文本方面的原始文字信息可以有幾種方法從節目裡提取。其中之一是應用於來自節目的音響信息流的語音識別技術。對於電視節目，提取原始文字信息的其他方法是利用劇終說明信息。兩種方法可以方便地用於同一父母控制系統，或者是互為補充，以及/或者提供冗餘度。
一方面，本發明提供一種方法，它對過濾判據作出反應、以一段一段為基礎、實時地動態地過濾多媒體節目的內容，比較從多媒體節目的段落提取的音響、視頻和錄製特徵、對每種適用過濾類型(如暴力，裸體，宗教等等)的每一過濾判據、對每一段落生成一數值等級，當該段落的各數值等級的組合超過某個閾，將該段落對應於過濾判據的材料處置為剔除。優選地，相應於包含在正處理的段落裡的語言的過濾判據，以及該段落裡的音響部分在處理步驟裡進行修改。替代的方式是，相應於包含在正處理的段落裡的圖象的過濾判據，以及該段落裡的視頻部分在處理步驟裡或者進行修改，或者跳過。在演示性實施方案裡，數值等級是一種加權的數值等級。對於這種情況，用於生成加權數值等級的每個權重因子，對於多媒體節目的各個觀看者指定一種特徵，如年齡或宗教聯繫。無論那種情況，每個段落裡，對於每個適用的過濾類型的數值等級都是通過將各段落的內容與過濾判據相對比而生成的。
應該指出的是，在合適的情況裡，即當某段落的緊鄰段落的組合數值等級的每一個都超出了閾，本方法優選地將某段落的緊鄰段落與任何居間的段落相結合，從而產生結合段落。在這種情況下，處理步驟允許處置結合段落，從而剔除相應於過濾判據的材料。而且，過濾判據優選地包括第一和第二判據，生成步驟包括對於每個段落生成對應第一和第二過濾判據的第一和第二數值等級，本方法包括了其他的步驟，即當該段落對應的第一數值等級超出了第一閾，將該段落處置為剔除相應於第一過濾判據的材料，當該段落對應的第二數值等級超出了第二閾，將該段落處置為剔除相應於第二過濾判據的材料。
另一方面，本發明提供一套父母控制系統，依據過濾判據從多媒體節目裡過濾不良材料。優選地，父母控制系統包括錄製分析模塊，從包括在多媒體節目裡一系列的段落裡提取第一聽覺特徵及文本，還有視覺分析模塊，從包括在多媒體節目裡一系列的段落裡提取視頻特徵，還有音響分析模塊，從包括在多媒體節目裡一系列的段落裡提取第二聽覺特徵，還有一個分析器，它對每個段落生成一個組合數值等級，並且當組合數值等級超過了某個閾，它還生成相應的控制信號，以及一個過濾器，它根據接受到的相應信號，對多媒體節目的某個段落進行處理。此過濾器或者對相應段落的第一和第二聽覺特徵之一給予修改，或者對相應段落的視頻特徵進行修改，或者從父母控制系統的輸出過濾多媒體節目裡剔除掉相應段落。優選地，父母控制系統包含一個學習模塊。這時，由錄製分析模塊提取的第一聽覺特徵和文本被選者之一、視覺分析模塊提取的視頻特徵、音響分析模塊提取的第二聽覺特徵、以及父母控制系統的控制者提交的用戶數據一起被學習模塊用來生成過濾判據。在示範的情況裡，學習模塊包含有神經網絡。父母控制系統可以方便地與電視機、機頂盒、或個人錄象機相結合。
本發明的這些特徵及各種其他的特徵和特色，參照以下的詳細說明並結合所附的示意圖是很容易了解的。附圖有
圖1是基於本發明的父母控制系統的高級結構圖；圖2表現圖1中所示基於本發明的父母控制系統的學習模式運行的高級結構圖；圖3表現圖1中所示基於本發明的父母控制系統的觀看模式運行的結構圖。
基於本發明的父母控制系統和相應的方法中，父母控制系統可以構建在電視機裡，或者機頂盒裡，或者其他類型的外圍設備裡，如個人錄象機(PVR)裡。該系統運行於兩種相關聯的運行模式。第一模式是學習模式，其中控制者(典型人選是父母或監護人)為一組選定的觀看者(如小孩可歸入一組，十多歲的少年歸入另一組，祖父母則再歸入一組)找出不相益的影像場景和段落的類型例子，與系統互動從而設置系統。實際上控制者可以在學習模式選用一批極端例子來粗放地訓練系統，然後再用更慎重選擇的例子來精細地訓練系統。父母控制系統和相應方法的第二運行模式是觀看模式，這時系統根據它在學習模式裡學得的判據(可能是發貨時系統帶有的，或者，一般是用戶自行配置的)，對需要的影像節目進行過濾。
圖1是一幅高級結構圖，顯示根據本發明的父母控制系統的優選實施方案，它包括特徵提取電路40，分析電路80和多媒體處理器90。特徵提取電路40將在後面詳細討論，它從調諧器30或者多媒體存儲器20接受多媒體內容。優選地，存儲器20最好與分析電路80和多媒體處理器90相連，這樣它們可以將多媒體存儲器20用作緩衝存儲器。圖中存儲器20的大小被誇大了，為的是表示在示範性實施方案裡，存儲器20可能是個有足以存儲許多小時多媒體內容的容量的存儲器。很容易理解為什麼要將大容量存儲器與父母控制系統相連，因為這將容許父母控制系統可以處理、過濾整個節目，例如標準長度電影，便於為孩子提供一場合適的電影。換句話說，當父母控制系統裝備了或連接了大容量存儲器，就允許控制者以多種方式過濾原始影片，從而為控制者家庭幾個不同的成員組準備適宜的、不同版本的電影。
繼續參見圖1，中央處理器10與存儲器15相連，它可以方便地包括易失性存儲器或非易失性存儲器。中央處理器10控制各個多媒體存儲器20、調諧器30、特徵提取電路40、分析電路80、和多媒體處理器90。正如圖1顯示的，存儲器15可以為特徵提取電路40、分析電路80、和多媒體處理器90提供記憶存儲功能。應該注意的是，特徵提取電路40和分析電路80它們本身可能是、或者包含單獨的多媒體處理器，以及/或者通過多媒體處理器90的調度處理功能。存儲器15可以方便地儲存合適的軟體，用於將普通目的的設備，如裝備有磁碟驅動器和若干數位訊號處理器(DSP)的個人錄象機(PVR)轉換成基於本發明的父母控制系統。
如以上討論的，父母控制系統的第一運行模式是學習模式。這時，用戶與父母控制系統交互作用，通過例子進行指導。例如，控制者發現的對某組觀看者不適宜的影像節目場景或段落，作為例子提交給父母控制系統。在示範的情況裡，在學習模式，用戶可以用一批極端的例子粗放地訓練系統，然後用更慎重選擇的例子來精細地訓練系統。
控制者(以後簡稱為用戶)提供的這些例子將是用戶設定的過濾判據的現實化。由於「智能盒」運行模式，可以方便地向基於本發明的父母控制系統提供預編程的、表示某範圍判據的常備段落。這種常備判據可以根據地域確定(通過調查)，或者根據購買者的種族或宗教信仰，或者通過任何一種人口調查。在父母控制系統和相應方法的一種變體裡，用戶甚至可以從網際網路下載一些判據類型到父母控制系統裡，或者避開用戶要求定製配置父母控制系統，或者為了提供更好的基礎然後再開始定製系統的配置。
應該指出，在學習階段，用戶可以方便地連續地向系統提供輸入。例如，用戶可以至少標記一個音響、視覺或文本部分是不適宜的。優選地，用戶提供起始和終了時間，例如將這些時間標記在顯示影像的時基線上，或者在時基線上以這些辦法加以強調關鍵畫面(小略圖之類)、文本、音響回放、或它們的組合。這種輸入可以與不良類型有關。此外，用戶還能夠提供靈敏程度(不良度)，例如含有輕度不良材料的時基線段以單括號標出，而對真正不良材料以雙括號標出。
父母控制系統和相應方法可以包括至少兩種現存的但是並未配置的類型暴力和性內容。用戶可以生成他所關心的其他觀點的任何附加類型。這些附加類型可以包括那些基於宗教信仰、個人哲學、政治派別，等等。所有類型應與判據相組合來幫助父母控制系統和相應方法學習哪類東西是對控制者不良的，以及不良的材料應歸入哪種類型。
父母控制系統和相應方法的另外變體中，段落標記和過濾信息可以作為元數據預包裝與影像節目一起出現，可能作為VBI的21行XDS成分的一部分提供，或者通過平行數據提供。預包裝的段落標記信息可以應用於標準類型，或者可以動態地生成類型。預包裝的段落標記元數據可以是特定節目的標準，或者可以是節目提供者基於已知用戶的愛好和要求臨時特意生成的。探測不良內容的另外方法是利用模塊選項板，它是系統資料庫的一部分，並提示了普通的不良狀況。模塊可以是影像片段，含有開槍、親密場景、裸胸的婦女、等等。這些模塊與輸入影像相匹配。這可以是系統的基本部分，幫助「自舉」，即系統使用的初期階段。換句話說，系統可以有「重複定型的」不良場景，所以用戶可以用於標記和定級。
前面提到，父母控制系統和相應方法的第二運行模式是觀看模式，這時系統根據運行的學習模式期間學到的判據(可能是發貨時系統帶有的，或者，一般是自行配置的)，對需要的影像節目進行過濾。
圖1顯示的父母控制系統和相應方法在圖2中表示得更詳細，系統包含三個主要的模塊特徵提取模塊，學習模塊，和分類模塊。特徵提取和分類模塊運行於學習模式以及觀看模式，而學習模塊僅在運行的學習模式期間是激活的。然而在某些示範實施方案裡，學習模塊可以通過合適的程序(內部或外部)轉換成分析器(分段和分類)模塊，下面再討論。
參見圖2，它表現了父母控制系統和相應方法的學習模式。父母控制系統在視頻調諧器130的輸入埠處接受影像輸入100的常規影像流，它們可以是來自DVD播放器、VCR、有線電視、人造衛星等等，也可以是來自網際網路上的影像流。另外的情況是父母控制系統與網際網路瀏覽器或電子郵件系統---即客戶軟體設備---相結合，因為電子郵件通常含有指向包含不良資料網址的統一資源定位器(URL)。可選方法有如果父母控制系統和相應方法能夠接受節目信息，例如可能是電子節目指南(EPG)，該節目信息很可能包含詳細的定級信息，調諧器130可以保存一份EPG節目的當前目錄114備用，相關廣播節目100通過廣播頻道觀看。這種信息將補足或補充任何定級信息，像V-晶片技術採用的那樣，可以通過位於VBI的21行的XDS信息獲得。
與調諧器130集成在一起的還有從用戶用於標記段落的用戶界面120來的輸入。在父母控制系統和相應方法裡，用戶通過遙控器(未畫出)提供輸入124到用戶界面120。遙控器有容許選擇類型和觀看組別的按鈕，對影像輸入的某段落啟動拒絕、停止拒絕、凍結畫面，還有，用指針或尋跡球型輸入機制選擇用戶發現的不良視覺景象部分，如裸露的身體或者一把槍。應該認識到，同樣類型機制可以方便地用來提示出現在這些地方的不良字眼和短語即作為影像輸入一部分的劇終說明信息裡，或者是錄製分析部件150裡語音識別部件的文字輸出裡。對於文本輸入，如字符串(？？？)，這裡「？？？」相應於預定義的或用戶定義的類型，可以用來標記類型。字符串通過隨PVR顯示的屏幕上鍵盤鍵入，如通過TiVo錄象機，或者是帶有鍵盤的遙控器。
優選地，所有標記信息，無論是對整段落、個別畫面、或者選定音響都傳送到調諧器130，在那裡與影像輸入信息，和任何可選的EPG相關信息一起，通過傳輸流134送到去復用器140。
去復用器140的作用是將來自傳輸流的信息分離為恰當的部分，對應於由錄製分析部件150、視覺分析部件160、和音響分析部件170所代表的特徵提取模塊的三個多媒體部件。與多媒體部件類型相關的段落標記信息由去復用器140發送到各自的部件。本領域的一般人員都知道，去復用器140也可以包括解調器，用於將NTSC或PAL或類似廣播信號分離成各自的視覺和聽覺信息。還有這種情況，即去復用器140還可以利用畫面抓具，於是信息的全數字畫面可以發送到特徵提取模塊的視覺分析部件160。然而，如果影像輸入100是數字的，去復用器140裡面可能具有MPEG-2或類似的解碼器，這樣就能夠將數字視覺圖象數據直接送到視覺分析部件160，無需使用所謂的畫面抓具或類似的部件來數位化影像。
在特徵提取模塊40(由錄製分析部件150、視覺分析部件160、和音響分析部件170組成)裡，多媒體輸入的音響、視覺、和錄製部分被分析，根據原有的或新用戶輸入所指定的判據，學習、識別不良或敏感段落。舉例說，這些段落可以是新聞或文獻節目、動作片或者愛情片的片段。敏感條目通常總是圍繞著暴力和性，不過，像前面提到的，用戶可以引入新類型。用戶可以對某些段落標以恰當的標記。例如，系統有能力學到帶有音響效果(爆炸的特殊效果，毆打和擊中的聲音)的快動作電影畫面一般都與暴力場景相聯繫。視覺裡的裸體顏色和音響裡的呻吟和喘息通常與性場面相聯繫。文獻裡有些文章在討論如何識別和區分圖象裡裸露的部分身體，如D.Forsyth and M.Fleck，「Body Plans」(Proc.I EEE Conf.on Comput.Vis.and Patt.Recog.，1997)。而且用戶可以生成新的類型，例如生活方式類型，這樣用戶就可以指導父母控制系統學習他認為對他家庭部分或全體成員不相益的那些多媒體節目的特徵。
優選地，與用戶指明的任何段落標記信息一起，還向特徵提取模塊的錄製分析部件150提供音響流和全部劇終說明信息。通過本領域熟知的語言至文字的語音識別子系統，將音響流轉化成文本。語音識別子系統的輸出可以與劇終說明信息相聯繫，看兩者是否有明顯的錯誤，音響流裡的任何語言元可能需要更多的分析與評估。而且，當多媒體節目裡存在著第二音響節目(SAP)或雙語劇終說明時，附加的關聯可以用於解決特徵提取模塊40中錄製分析部件150裡的含糊不清。
來自去復用器140的數字視覺數據流被提供給特徵提取模塊40的視覺分析部件160。視覺分析部件160以很寬的特徵範圍評估輸入的數字視覺數據流，包括顏色、結構、物體和物體外形，物體運動、以及場景。
視頻領域的初級特徵提取包括顏色(用直方圖繪製顏色範圍和流行性)、總體運動和邊緣。中級特徵來自包括身體顏色和外形這些低級特徵，以及來自爆炸、物體碎裂、和炮火的視覺效應。最終此部件裡提取的特徵被用於確定是否有敏感內容存在。例如，顏色和外形可以用來探測裸露----不同膚色(對不同種群)在特定顏色空間(如HSV色彩模型)裡可以很容易探測，而這是很有意義的。
作為實施影像數據特徵分析技術的其他參考材料，即視頻數據分段，更確切說是場景探測，在6,100,941，6,137,544，6,185,363 B1號美國共同轉讓專利裡有詳細說明，本發明的共同發明人NevenkaDimitrova是它們的聯合發明人。視頻數據中物體探測和物體運動探測在5,854,856號美國專利裡有很詳細說明，本發明的另一共同發明人Radu S.Jasinschi是它的聯合發明人。所有這些專利都通過參考而將它們完整地結合於此。此外，運動信息的描述也是MPEG-7標準的一部分。參見，例如S.Jeannin，R.Jasinschi，A.She，T.Naveen，B.Mory，and A.Tabatabai，「Motion Descriptors ForContent-Based Video Representation」，(Signal ProcessingImage Communication，vol.16，pp.59-85，2000).
特徵提取模塊的音頻分析部件170從去復用器140接受音頻流，正像錄製分析部件150那樣，但是對流的處理不同。音頻方面低級特徵提取包括聲級分析、LPC、音調、帶寬、能量、MFCC(嘜逆譜係數(melcepstral coefficient)----用於語音識別)，和傅立葉係數。中級特徵來自低級音頻方面特徵，包括爆破、擊中物體、物體碎裂、重喘息、呻吟、親吻聲，和炮火。
應該特別指出，特徵提取模塊40給出的「敏感」段落(即對於系統是肯定案例)應由用戶標出，像早前指出的那樣，而且給予這些段落的類型標記也應由用戶給出。更明確地說，如果用戶以電影「終結者」標記某場景為「暴力」，那麼系統將從該場景提取全部特徵，並將每個輸出特徵標以「暴力」送往學習模塊180。類似地，從視覺方面提取的裸體顏色物體，以及從音頻方面提取的呻吟和喘息應標以「性」。
對於任何情況，三個特徵提取部件提取的全部特徵，結合對當前視頻信號指定的當前判據(例如暴力、性行為等等)一起提交到學習模塊180。優選地，學習模塊180應用標準的和熟知的學習範例，在視頻輸入場景的標記與提取的特徵之間建立起恰當的關聯。聯繫最相鄰近的分類，標準學習範例，例如隱蔽馬爾可夫模型(HMM)、貝葉斯網絡、基因算法、和神經網絡都可以方便地用於父母控制系統和相應方法，雖然本領域的人員都能意識到其他的學習模型或它們的組合也是合用的。
分類模塊190根據學得的類型和學習模塊180的輸出，對各段落是敏感或非敏感進行歸類。應注意的是，在父母控制系統和相應方法裡，用戶可能還希望通過用戶界面120改進系統的學習過程。於是對分類模塊190輸出的過濾結果進行評價，然後對某些標記給予改正或修改。所有這些都通過學習模塊反饋迴路194送回到學習模塊180。
學習模塊180和分類模決190的結果都保存在父母控制系統中的當地存儲器裡(圖1中的存儲器15)。在父母控制系統和相應方法裡，它應該是非易失性存儲器。
圖3顯示父母控制系統和相應方法的觀看運行模式，它有許多功能與該系統在學習運行模式時是相似的。視頻輸入200代表從其他來源，如人造衛星、電纜、DVD、VCR，向系統送來的影像，並且是送到調諧器230，然後與調諧器230擬送出的其他數據一道，通過傳輸流234送到去復用器240。應該認識到，多媒體節目也可以是從圖1中顯示的多媒體存儲器20輸出；多媒體存儲器20的輸出是傳輸流234攜帶的信息。由此，視頻輸入依次地被分派至特徵提取模塊40的部件，即錄製引擎250、視覺引擎260、和音頻引擎270，輸入數據在其中被分析和處理，其方式基本與運行於學習模式時相同名稱部件的相同。實際上極為有利的是，調諧器230，去復用器240，錄製引擎部件250，視覺引擎部件260，和音頻引擎部件270，可以與調諧器130，去復用器140，錄製引擎部件150，視覺引擎部件160，和音頻引擎部件170有完全相同的過程和系統部件，唯一差別是它們以用戶提供的判據運行，而不是觀看(第二)運行模式中那樣通過這些部件傳送來的。
有些顯著的差別發生在分段和分類模塊280，它利用從錄製引擎250、視覺引擎260、和音頻引擎270這三個特徵提取部件提取的特徵，結合早先存儲的學得的判據，用來決定對於給定的段落是否要通知過濾模塊290是否過濾視頻節目。在示範實施方案裡，運用合適的軟體控制通用分析器，可以方便地將學習模塊170轉換成分段和分類模塊280，反之亦然。
無論什麼情況，優選地，分段和分類模塊280決定敏感場景的起始和結束時間、對敏感場景分類、以及必要時，將緊相鄰的場景合併。對於後者，例如，可以通過短暫地延長來自視頻輸入200的視頻信號，或者將視頻信號緩衝一段時間來實現。在父母控制系統和相應的方法裡，採用的緩衝器大得足以包容10秒的視頻信號；圖1中顯示的多媒體存儲器20是一個合適的存儲器。
關於分段，用的是截斷探測來對視頻輸入進行分段，例如前面提到的6,137,544號美國專利對此有詳細的說明。對兩個截斷間的每個段落施行如以上所說的特徵提取。然而在不明朗的情況，當視覺段落長於n分鐘(例如在父母控制系統和相應方法裡n＞2)，則系統檢視音頻線索，看音頻段落的間距是否比較小。選取小的一個。然後將此段落送到分類模塊。每個段落都得到一個數字，它代表該段落屬於敏感類型之一的似然性；對於多重有效過濾類型，生成多個數。應該指出，可以方便地選定多媒體存儲器20的大小，讓它足以容納許多分鐘的多媒體內容；應該意識到，當父母控制系統適應於可以處置數分鐘長的段落，父母控制系統將從實時處理與實時觀看區域移到實時處理與近實時觀看區域。
當某材料在多重類型的具體實施中被判為敏感時，應用用戶可配置的加權系統可以方便地對可選過濾結果進行有偏向的挑選。例如，如果用戶擬配置父母控制系統適合於老人觀看，如祖父母，對於他或她可以給予暴力過濾類型以更大的權重(例如，強烈的喧鬧聲和流血會喚起帶創傷的回憶)，而給予性內容過濾類型以較小的權重(例如祖父母以前可能已見過)。然而對十幾歲的少年，用戶可以採用完全不同的加權系統。當總組合數值定級超過用戶設定的閾時(包括所有加權材料的計算)，過濾模塊290被提示它需要過濾視頻信號。
然而，為簡化過濾模塊290的過程，如果分段和分類模塊280判斷相繼的段落Sn和Sn+1有很高的似然性屬於同一類型，則優選地將它們歸併為單個輸出段落。值得注意的是，在模塊280中完成的分段過程的輸出是具有很高似然性屬於特定敏感類型的段落。現在，如果相繼段落屬於不同的類型，比如，「暴力」後面接「褻瀆」，則兩段落的合併段可以加標記予以剔除。如果系統在段落之間探測到小的間隙，如短於一分鐘，則該間隙也被包括進擬剔除的段落裡。
當過濾模塊290接受到通知要求它採取措施剔除某段落時，它將根據段落的長短和預設的配置，從用於過濾不良內容的可選方法中作出選擇。例如，模塊290可以利用前面提到的緩衝器的便利，簡單地跳過該段落。替代的辦法是可以方便地將過濾模塊290安排為用另外的視頻信號頂替該段落(例如插映Barney恐龍或環球網頁)。此外，假定過濾模塊290接到明確信息表示多媒體段落的某部分將被剔除，過濾模塊290可以方便地將該特定部分掩蓋或塗汙掉。例如，當某段落的音頻部分含有不良的字眼或短語，但其他方面沒有問題，用戶可能希望僅僅挖去該不良的字眼或短語，而不是要引人注意到影片的某部分被剪去了這一事實。
上面提到過，父母控制系統裝備或連接到大的多媒體存儲器，控制者將能夠以許多方式過濾原影片，從而產生適合於家庭中幾個完全不同成員的版本。這是因為系統提供了加權或衡量不良內容的能力，控制者能夠決定在哪些條件下哪些特徵集是允許的。例如，假定家裡有7歲、14歲兩個孩子，控制者對相同內容對各個孩子定出不同的容許度。這時對7歲孩子將比對14歲孩子實施更多的過濾。因此，父母控制系統可以對同一電影生成多級別標記，於是為14歲孩子標記的不良段落將是給7歲孩子標記的子集。
值得注意的是，雖然學習階段已經完成，而且分類階段已經開始，父母控制系統仍能方便地從控制者那裡收到反饋。即當父母控制系統對某電影進行分段和分類後，用戶被授予機會評價標記過的段落，而且對系統提供反饋，指出哪些段落標記或分類恰當，哪些不恰當。因而下一輪實施學習和分類過程時，系統將提供更好的結果。
從以上的討論可以看到，基於本發明的父母控制系統給用戶提供了這種能力，即根據用戶指定的判據，實時地對多媒體節目，如影視節目，實施過濾。而且通過僅僅加大聯結到父母控制系統其他部件的緩衝存儲器的大小，用戶就進一步獲得了近乎實時地過濾更大節目段落的能力。同樣有益的是，基於本發明的父母控制系統給用戶提供一種機構，通過它用戶可以編輯廠方設置的判據，以及/或者輸入附加的判據，用於阻止或過濾不良影視節目內容。
還可以看到，基於本發明的父母控制系統為用戶提供了一套有益系統，它學習用戶的偏向哪些種類的內容，或那些內容的哪部分是用戶認為不良的，以及對哪種類型的觀看者提供了哪種判據，所以該系統可以應用它已經學會的去分析日後的節目。在示範性實施方案裡，系統根據用戶的輸入連續地學習並精細地調整它的性能。
上面描述的父母控制系統提供的電路從影視節目裡提取特徵，用於協助系統指導學習部件以及日後的過濾操作。要注意，「特徵」是一個綜合性術語，它包含、但不限於多媒體信號裡視頻部分的物體及其特徵、多媒體節目音響部分表現特定動作的聲音、多媒體節目音響部分的語言、以及/或者多媒體節目視頻部分一起送來的劇終說明裡的語言。簡單地說，父母控制系統包括一個學習模塊和一個過濾模塊。學習模塊可以方便地以一種或幾種學習技術驅動，包括隱蔽馬爾可夫模型以及/或者神經網絡，輸入包括廠方設定的判據和用戶提供的信息，並且結合來自錄製特徵提取部件、視頻數據特徵提取部件、音頻數據特徵提取部件的特徵提取數據。學習模塊形成的知識可以應用於系統過濾模塊，它利用那些知識，根據指定的判據動態地過濾影視節目的內容。
雖然以上對本發明的優選實施方案作了詳細說明，應該清楚地認識到，對於相關領域人員非常明確的是，這裡講解的基本獨創概念的許多變體以及/或者修改，仍然在本發明的精髓和領域之內，如所附的權利要求所確定的。
權利要求
1.對過濾判據作出反應、以一個段落一個段落為基礎、實時地對多媒體節目的內容進行動態過濾的方法，該方法包括從含有多媒體節目的段落提取音頻、視頻和錄製特徵；對每個段落，對過濾判據生成一個數值等級；並且當該段落的各數值等級超過了某種閾，則剔除相應於過濾判據的該段落的材料。
2.如權利要求1中所述的方法，其中過濾判據相應於包括在正處理段落裡的語言；並且在處理步驟裡該段落的音頻部分進行了修改。
3.如權利要求1中所述的方法，其中過濾判據相應於包括在正處理段落裡的圖象；並且在處理步驟裡該段落的視頻部分進行了修改。
4.如權利要求1中所述的方法，其中過濾判據相應於包括在正處理段落裡的圖象；並且在處理步驟裡整個段落被跳過。
5.如權利要求1中所述的方法，其中數值等級是加權數值等級。
6.如權利要求6中所述的方法，其中各權重因子用於生成加權數值等級，識別多媒體節目各觀看者的某種特徵。
7.如權利要求1中所述的方法，其中各段落的數值等級是將各段落的內容與過濾判據相比照生成的。
8.如權利要求1中所述的方法，還包含當某段落的緊鄰段落的各數值等級都超過了閾，將緊鄰的段落與任何居間的段落相結合，從而產生結合段落；並且其中處理步驟包含將結合段落處置為剔除對應於過濾判據的材料。
9.如權利要求1中所述的方法，其中過濾判據包含第一和第二過濾判據；生成步驟包括對各段落生成對應於第一和第二過濾判據的第一和第二數值等級；該方法還包含這樣的步驟當該段落的相應第一數值定級超過了第一閾，則將該段落處置為剔除對應於第一過濾判據的材料；當該段落的相應第二數值定級超過了第二閾，則將該段落處置為剔除對應於第二過濾判據的材料。
10.權利要求9中所述的方法，其中第一過濾判據與第一被動用戶相連繫，第二過濾判據與第二被動用戶相連繫。
11.如權利要求10中所述的方法，其中第一過濾判據包含過濾判據的第一組；第二過濾判據包含過濾判據的第二組；並且過濾判據的第一組是過濾判據的第二組的子集。
12.如權利要求1中所述的方法，還包含有提供訓練段落，其內容與過濾判據相對應；並且學習識別與過濾判據相匹配的內容，其中學習步驟由裝置實施。
13.如權利要求12中所述的方法，還包含有步驟評價在施施提取和生成步驟裡生成的結果；並且針對對結果的評價，控制者向本裝置提供反饋。
14.如權利要求1中所述的方法，其中過濾判據可以從N個預先定義的過濾判據和M個用戶定義的過濾判據裡任意選取，這裡N和M是正整數。
15.父母控制系統根據過濾判據從多媒體節目裡過濾不良材料，所述系統包括錄製分析模塊，從包含在多媒體節目裡的一系列段落裡提取第一聽覺特徵和文本；視覺分析模塊，從包含在多媒體節目裡的一系列段落裡提取視頻特徵；音頻分析模塊，從包含在多媒體節目裡的一系列段落裡提取第二聽覺特徵；分析器，對各段落生成數值等級，而且當數值等級超出閾時還生成相應的控制信號；以及過濾器，它根據接收到的相應的控制信號對多媒體節目中的某個段落進行處理。
16.如權利要求15中所述的父母控制系統，其中過濾器對相應段落的第一和第二聽覺特徵進行修改。
17.如權利要求15中所述的父母控制系統，其中過濾器對相應段落的視頻特徵進行修改。
18.如權利要求15中所述的父母控制系統，其中過濾器從父母控制系統輸出的被過濾的多媒體節目裡剔除相應的段落。
19.如權利要求15中所述的父母控制系統，其中數值等級是加權數值等級；分析器應用權重因子生成加權數值等級；並且權重因子相應於多媒體節目的預期觀看者的某一特徵。
20.如權利要求15中所述的父母控制系統，其中權重因子是從多個權重因子中選出的。
21.如權利要求19中所述的父母控制系統，還包括學習模塊，其中錄製分析模塊選出的第一聽覺特徵和文本之一、視覺分析模塊提取的視頻特徵、音頻分析模塊提取的第二聽覺特徵、以及父母控制系統的控制者提供的用戶數據，均被學習模塊用於生成過濾判據。
22.一種電視機，所述電視機結合了如權利要求16中所述的父母控制系統。
23.一種機頂盒，所述機頂盒結合了如權利要求15中所述的父母控制系統。
24.一臺客戶軟體設備，該設備結合了如權利要求15中所述的父母控制系統。
全文摘要
父母控制系統具有根據常備的或用戶指定的判據，實時地自動過濾多媒體節目內容的能力。判據用於告訴系統裡的學習模塊哪些類型影視節目段落被認為是敏感的或應拒絕的，因而模塊對哪些是敏感、哪些是不敏感的理解可以應用到為其他影視節目提供實時過濾。多媒體節目被分解為音頻、視頻、和錄製成分，因此聲音效果、視覺成分和物體以及語言都可以進行綜合分析，並決定不良材料是否隨多媒體節目通過。用戶可以選擇任何類型的不良材料對系統進行訓練，不僅僅是性和暴力。
文檔編號G06F17/30GK1636388SQ02801992
公開日2005年7月6日 申請日期2002年3月15日 優先權日2001年3月30日
發明者N·迪米特羅瓦, R·S·亞辛施 申請人:皇家菲利浦電子有限公司