媒介瀏覽者健康保護的方法和裝置的製作方法

2023-07-25 20:01:51

專利名稱：媒介瀏覽者健康保護的方法和裝置的製作方法
技術領域：
本項發明涉及向信息媒介的瀏覽者提供健康保護，其中的信息媒介的實施方式有 書，電視、電腦和遊戲機屏幕。更特別的是，它涉及媒介瀏覽者瀏覽行為的評估和恰當的媒 介瀏覽政策的實施。
背景技術：
直到近些年，紙一直是最常用的信息媒介。教科書、故事書、作業本和報紙是其中 最見的例子。眾所周知，不當的閱讀、書寫條件和習慣會造成嚴重的身體問題。這在兒童中 尤其如此。比如，眼睛與紙距離過近、看書和寫字時間過長以及室內照明不足都會造成近 視。不正確的閱讀和寫字姿勢可以造成脊柱後凸，表現為駝背，以及脊柱側彎，表現為脊椎 向一側彎曲甚至扭曲。近些年來，信息媒介迅速發展。常見的現代媒介的實施方式有電視屏幕，個人計算 機顯示屏，遊戲機屏幕和其它可攜式設備。現代媒介的使用越來越成為日常生活的一部分。 跟紙上的閱讀和書寫類似，研究表明在現代媒介上不當的閱讀習慣和閱讀條件同樣能造成 嚴重的身體問題。最常見的有近視，肥胖，頸部和背部畸形和疼痛以及整體上疲勞。在校的孩子常常有繁重的閱讀和寫作任務。過去，影響他們身體健康的有不當的 閱讀和書寫習慣。今天，隨著電視節目，網上內容和視頻遊戲的大量湧現，不當的媒介使用 習慣使他們更有可能產生身體健康方面的問題。現代媒介也已經觸及學齡前兒童。有大量的電視節目和遊戲產品定位於這些孩 子。他們的自我控制意識最少，但又最有適應能力。他們認為他們看到的和怎樣看都是正 常的。另外，他們的視覺和身體正經歷著重要的發育階段。沒有正確的媒介使用引導，他們 可能很快出現象近視和背部畸形這樣的健康問題。在成年人群中，越來越多的人在工作和家裡使用電腦。研究也表明成年媒介使用 者也有養成不良的媒介瀏覽習慣的傾向。眼睛和媒介距離過近，不良的頭和肩膀的姿態和 長時間的閱讀是其中常見的問題。這些問題會逐漸引起眼睛酸痛，頸部和背部疼痛，和身體疲勞。顯然，有良好的媒介使用習慣對所有年齡段的人們都重要。隨著媒介使用人口的 不斷增加，提供一種輔助手段來幫助人們建立和保持良好的媒介使用習慣比以往更加緊 迫。一種理想的輔助手段應方便，有效和廉價。它應能自動地跟蹤一個或多個人的各 自看媒介的時間，距離和姿勢。另外，若有必要，應能記錄每個人的瀏覽歷史，根據不同年齡 組實施相應的政策。提供這類相關的輔助手段的現有技術大致可以分成三類，分別面向三類常見的媒 介，即紙，電視和電腦屏幕。對傳統的紙媒介，現有的技術著重幫助保持正確的坐姿和必要的眼睛和紙的距 離。其中有代表性的有美國專利5，168，264和6，325，508。這些方法要求瀏覽者佩戴一定的設備或用一個物理屏障將身體和紙隔開。這些技術缺少方便性，因而沒有被廣泛採納。對於電視節目的瀏覽，現有的方法著重限制個人能看的節目的類型。比如，美國 1996年通過的一個法案，這裡稱之為V-晶片法案。根據這一法案，聯邦電信交通委員會 (FCC)要求所有2001年1月以後製造的13英寸或更大的電視機必須有V-晶片功能。這一 功能讓家長通過電視機內的V-晶片的編程阻斷他們不想讓孩子看的節目。近來，有些方法致力於限制每個用戶可以在一個特定的時段打開一臺電視的時 間。相關的實施方式有美國專利7，098，772和7，362，213。方法是在電視機和電源間加一 個開關。若一個用戶還有規定的瀏覽時間剩餘，開關可以打開。附近的一臺電腦上有瀏覽 者的帳戶並用一個無線信號控制那個開關。這些方法也可以用來控制其他設備如遊戲機的 使用時間。雖然上述方法的目的是控制瀏覽者的瀏覽時間，但是因為它們對瀏覽者的跟蹤不 一定準確而不能總是有效。比如，如果是瀏覽者B打開電視的開關，那麼另一瀏覽者A同樣 可以看電視而其可看電視的時間不損失。這裡，瀏覽者A的瀏覽時間被低估了。可見，家裡 的瀏覽者越多，這些方法有效性越低。一個更加嚴重的問題是，這些方法可以高估瀏覽者的實際瀏覽時間。在電視的實 施方式中，儘管瀏覽者臨時走開一會，只要電視是打開的，它們就會把每一分秒都算成瀏覽 時間。為了防止其瀏覽時間被多算，瀏覽者會有意地減少定期的休息次數而長時間連續觀 看電視。長此以往，就會危害瀏覽者的健康。在瀏覽電腦屏幕瀏覽方面，現有的方法用軟體手段限制每個用戶的瀏覽時間。與 限制看電視的時間類似，這些方法在計算實際看電腦屏幕時間上可能不精確。因此，它們也 有上述因低估和高估瀏覽時間帶來的類似問題。總結起來，現有的方法在幫助媒介瀏覽者保持良好的瀏覽習慣方面存在重要缺 陷。在對於紙媒介上的閱讀和書寫，現有的方法在幫助保持正確的姿態方面給瀏覽者帶去 不便。在對於現代的媒介如電視，電腦和遊戲機上的瀏覽方面，現有的方法在控制瀏覽時間 方面的有效性有待提高。特別是，它們沒有把許多跟健康有關的重要的瀏覽行為諸如保持 正確的姿態，眼睛和媒介的距離和定期的休息很好的考慮在內。本項發明克服了現有方法的缺陷。它提供一個方便而有效的方案去幫助廣大瀏覽 者保持健康的瀏覽行為。

發明內容
本項發明提供一個評估媒介瀏覽者瀏覽行為的方法和裝置。通過對媒介的瀏覽空 間進行圖像拍攝和分析，採用機器視覺技術檢測媒介瀏覽者並評估其瀏覽行為。根據對媒 介瀏覽者行為的評估結果，實施相應的控制措施進而向其提供健康保護功能。根據本項發明的其中一個實施方式，一個媒介瀏覽者行為評估系統用來分析瀏覽 行為，其中的瀏覽行為包含瀏覽的時間長度，眼睛與媒介的距離，身體姿態和室內照明之中 的一個或幾個。根據本項發明的另外一個實施方式，一個媒介瀏覽者健康保護系統根據瀏 覽者瀏覽行為的評估結果執行一些瀏覽政策，其中的每個政策包含一個瀏覽規則和一個相 應的控制動作。瀏覽規則與一定的具體健康瀏覽行為有關。比如，某一個距離規則要求瀏覽 者與電視機屏幕保持至少四倍於電視機屏幕對角寬度的距離。瀏覽政策可以是懲罰性的，當瀏覽者違反相應的規則時，系統就執行相應的控制動作。類似地，瀏覽政策可以是鼓勵性 的，當瀏覽者遵守相應的規則時，系統就執行相應的控制動作。根據本項發明的其中一個實施方式，一個媒介瀏覽者行為評估系統用來分析瀏覽 者在多個媒介上的瀏覽行為。根據本項發明的另外一個實施方式，一個媒介瀏覽者健康保 護系統根據瀏覽者在多個媒介上的瀏覽行為的評估結果執行一些瀏覽政策。對本項發明的更完整的理解，及其優點可以參照以下的詳細說明和圖示。


圖1描述媒介瀏覽者行為評估系統的一個實施方式。圖2是一個流程圖，用來說明媒介瀏覽者行為評估系統中行為跟蹤過程的一個實 施方式。圖3是一個流程圖，用來說明媒介瀏覽者行為評估系統中行為分析過程的一個實 施方式。圖4是一個流程圖，用來說明媒介瀏覽者檢測過程的一個實施方式。圖5是一個流程圖，用來說明媒介瀏覽者驗證過程的一個實施方式。圖6是一個流程圖，用來說明對人的視線範圍的分析過程的一個實施方式。圖7是一個流程圖，用來說明除視線範圍外其它一些瀏覽行為分析過程的一個實 施方式。圖8是一個流程圖，用來說明瀏覽者辨認過程的一個實施方式。圖9是一個流程圖，用來說明帶有年齡估計的瀏覽者辨認過程的一個實施方式。圖10是一個流程圖，用來說明媒介狀態和瀏覽者行為跟蹤過程的一個實施方式。圖11是一個流程圖，用來說明媒介瀏覽者健康保護系統的一個實施方式。圖12A描述一些典型的瀏覽行為規則的一個實施方式。圖12B描述更多的瀏覽行為規則的一個實施方式。圖13描述一些典型的懲罰性的瀏覽行為政策的一個實施方式。圖14描述一些典型的獎勵性的瀏覽行為政策的一個實施方式。圖15是一個流程圖，用來說明瀏覽政策實施過程的一個實施方式。圖16是一個流程圖，用來說明針對某一個瀏覽者的瀏覽政策實施過程的一個實 施方式。圖17是一個流程圖，用來說明執行某一瀏覽政策過程的一個實施方式。圖18描述可監控多個媒介的媒介瀏覽者健康保護系統的一個實施方式。
具體實施例方式分成兩部分說明。第一部分著重描述媒介瀏覽者瀏覽行為自動評估的典型實例。 第二部分著重描述向媒介瀏覽者自動提供健康保護功能的典型實施。第二部分中的實例應 用了第一部分中說明的自動瀏覽行為評估原理。作為實施方式之一，圖1描述了一個典型的媒介142的瀏覽者瀏覽行為自動評估 系統100。以下，只要上下文意義明確，上述瀏覽者瀏覽行為自動評估系統100，以下簡稱 為瀏覽者行為評估系統100，系統100或系統。這個系統包括一個或多個照相機130-1至130-K用來對媒介142的瀏覽空間140進行圖象拍攝。以下，這些照相機又統稱為圖像拍攝 設備130。系統根據拍攝到的圖像評估媒介瀏覽者的瀏覽行為。這個典型的媒介瀏覽者的行為評估系統100包括一個瀏覽行為跟蹤過程400。作 為過程400的一個功能，系統100採用機器視覺(MV)檢測媒介142的瀏覽者。這些媒介瀏 覽者處在瀏覽空間140中，被標成144-1至144-M。而那些不在瀏覽媒介142的人被標成 146-1至146-N，他們可能與媒介瀏覽者同時存在。瀏覽者的個數M和非瀏覽者的個數N可 能隨時間的變化而變化。特別地，在任一時刻，那裡可能沒有一個瀏覽者或沒有一個非瀏覽 者。這裡提到的瀏覽者和非瀏覽者的檢測中所用的視覺技術將在下面結合圖5和圖6進行 描述。作為過程400的另一功能，系統100識別每一個檢測到的瀏覽者並將結果保存在 瀏覽者識別資料庫200中。瀏覽者識別資料庫200又稱為瀏覽者身份資料庫。瀏覽者身份 資料庫的運作可能隨媒介和瀏覽者類型的不同而有所不同，將在下面結合圖8和圖9進行 描述。作為過程400的又一功能，系統100對識別到的每一個瀏覽者進行瀏覽行為評估， 並將結果保存在瀏覽者行為資料庫300中。瀏覽行為的評估將在下面結合圖5，圖6和圖7 進行描述。媒介瀏覽者健康保護系統100可以實施在任意形式的計算設備中，比如個人電腦 和嵌入式系統，其中包含處理器110比如通用處理器或圖形處理器，和存儲器120比如隨機 存取記憶器(RAM)和只可讀記憶器(ROM)。或者，系統可以實施在一個或多個專用集成電路 (ASIC)中。下面將對系統的不同實施方式中的可選的架構和功能給出進一步說明，其中根據 使用者的意願，可以實施或不實施前述的框架。必須明確強調的是，下面給出的信息完全 是以說明本項發明的原理為目的具體實施方式
，而不可理解成任何形式的對本項發明的限 制。以下的任何功能可以單獨或跟任何其它描述的功能一起實施。圖2是一個描述典型的瀏覽者行為跟蹤過程400的流程圖。這個過程的目的是檢 測處在媒介瀏覽空間140中的瀏覽者並確定他們的行為。這個過程是循環的。在每一個循 環周期402，它調用瀏覽者行為分析過程500。圖3是一個描述典型的瀏覽者行為分析過程500的流程圖。這個分析過程可以被 上述瀏覽者行為跟蹤過程400重複調用。該過程首先在步驟502中從圖像拍攝設備140得 到圖像。步驟504調用一個典型的瀏覽者檢測過程600，在所得到的圖像中檢測瀏覽者。這 裡所說的典型的瀏覽者檢測過程600由圖8描述。在過程600中，某些瀏覽行為如瀏覽者 的視線範圍、眼睛和媒介的距離也得以確定。如果沒有檢測到任何瀏覽者，該過程在瀏覽者 資料庫300中記錄此刻沒有瀏覽者，並返回調用過程，如步驟508所示。如果檢測到至少一 個瀏覽者，該過程在步驟510中進一步分析每一個檢測到的瀏覽者的行為，而後返回調用 過程。瀏覽者的進一步的行為分析實施方式將在圖7中描述。圖4是一個描述一個典型的瀏覽者檢測過程600的流程圖。這個過程可分成兩個 主要階段。第一階段包括步驟602和604。在步驟602中，該過程收到一組瀏覽空間的圖 像。在一個實施方式中，這些圖像可能由圖像拍攝設備130在步驟502中獲得。在步驟604， 該過程在步驟602中得到的圖像中檢測是否有人。若沒有檢測到人，過程在步驟610返回。否則，過程執行第二階段以確定每一個檢測到的人是否是媒介瀏覽者。這個確定由步驟608 調用瀏覽者驗證過程700實現。如果驗證通過，過程700賦給對應的瀏覽者一個唯一的身 份號，而後在步驟610返回調用過程，通知調用過程所檢測到的瀏覽者和它們的身份號。瀏 覽者驗證過程700將在後面結合圖5，圖6，圖8和圖9說明。在瀏覽者檢測過程600的步驟604中，機器視覺技術用來分析圖像以檢測是否有 人。在關於檢測圖像中的物體的問題上有大量的文獻。關於如何選擇合適的視覺技術用來 檢測人的存在，可以參考Mohan等的文章[1]，Viola等的文章[2]，Ronfard等的文章[3] 和Mikolajczyk等的文章[4]，以上均列在本項發明的參考文獻中。圖5是描述一個媒介瀏覽者驗證過程700的典型實施的流程圖。這個過程可以被 瀏覽者檢測過程600的步驟608調用以檢測圖像中是否有人。如圖5所示，媒介瀏覽者驗證 過程700先在步驟702中收到人的圖像片段，然後執行步驟704和708。在步驟704中，它 先調用另一過程800估計人的視線範圍。過程800在圖6中描述。根據估計的視線範圍， 步驟706檢查這個人是否在瀏覽媒介。若不是，過程確定這個人不是媒體瀏覽者，相應的在 步驟714返回。但是，如果這個人被確定是在瀏覽媒介，過程將調用另一過程1000確定瀏 覽者的身份號，這將結合圖8進一步描述。之後，步驟704中估計的有關瀏覽行為數據包括 眼睛和媒體的距離，頭的姿態，視線範圍被保存到瀏覽者行為資料庫300中，計錄在相應的 在步驟708所確定的瀏覽者身份號和當前時間下。過程700在步驟712中返回瀏覽者的身 份號。圖6是一個描述用機器視覺技術對圖像中檢測到的人進行視線範圍分析的典型 過程800。該過程可以被過程700調用，以確定一個人是否在瀏覽媒介。在步驟802中收到 一個人的圖像片段後，該過程先在步驟804中確定圖像片段中人臉的位置，然後在步驟806 中估計頭的姿態，在步驟808中檢測眼睛，然後再在步驟810中估計眼睛和媒介的距離。根 據估計得到的頭的姿態和眼睛與媒介的距離，步驟812估計人的視線方向，在步驟814，根 據估計的視線方向和眼睛與媒介的距離，來估計人的視線範圍，最後在步驟816將上述估 計結果返回給調用過程。再次強調，圖6中所描述的過程完全是以說明本項發明的原理為 目的一個具體實施方式
，而不可理解成任何形式的對本項發明的限制。比如，在看電視的時 候，眼睛和媒介的距離，用頭和媒介的距離就可以來充分估計，那麼，就沒有必要來估計眼 睛和媒介的距離了。步驟804中檢測人臉的操作，期間用機器視覺技術對步驟802中收到的圖形片段 進行分析。有關人臉檢測的問題有大量的文獻。有關合適的人臉檢測技術的討論，可以參見 Yang 等[5]，Sung 等[6]，Keren 等[7]，Viola 等[8]，Osadchy 等[9]，和 Hiesele 等[10]， 以上均列在本項發明的參考文獻中。如前所述，在步驟804中在每一個圖形片段中檢測人臉後，過程800接著分析檢 測到的包含人臉的圖像區域，這些分析包括步驟806中的頭的姿態的估計，步驟808中眼 睛的檢測和步驟810中眼睛和媒介距離的估計。根據這些分析結果，步驟802估計檢測到 的人的視線方向。有關頭的姿態的分析有大量的使用機器視覺技術的文獻，以確定人頭部 左右，上下轉動和搖擺的角度。比如，有關合適的人頭部姿態的估計技術的討論，可參見 Murphy-Chutorian 等[ll]，Kruger 等[12]，Huang 等[13]，Matsumoto 等[14]，Sherrah 等 [15]，Moon等[16]，以上均列在本項發明的參考文獻中。
步驟808用機器視覺技術在步驟804檢測到人臉的圖像區域中檢測眼睛。在圖像 中檢測眼睛也有大量的文獻，有關合適的人的眼睛的檢測技術的討論，可參見Lam等[17]， Huang等[18]，Sirohey等[19]和Peng等[20]，以上均列在本項發明的參考文獻中。步驟810根據步驟808檢測到眼睛的圖像區域，估計眼睛和媒介的距離。根據本 項發明的一個實施方式，以上所說的這個距離可以用眾所周知的三角形定位過程來確定 物體在三維空間的位置。有關在三維度量系統中採用三角形定位過程的討論，可以參見 Teutsch[21]。檢測到的眼睛在每一個圖像中的位置，照相機的焦距和圖像拍攝設備130的 相互距離，以上三足以進行三角形定位，來確定眼睛相對於圖像拍攝設備130的距離。根據 本專利的其中一個實施方式，圖形照相設備130相對於媒介的三維空間位置是固定的，且 是預先知道的。如果，此媒介為電腦屏幕或電視屏幕，且圖形拍攝設備130可以方便的放在 媒介屏幕的旁邊，那麼眼睛和媒介的距離，可以簡單的確定為眼睛相對於圖形照相設備130 的位置和照相設備130相對於媒介的位置的組合。根據本專利的其中一個實施方式，圖形照相設備130相對於媒介的位置是不固定 的，或者是不預先確定的，比如，媒介是書本，筆記本，或者任何其他情形裡圖形拍攝設備 130，不能被方便的放在相對於媒介的固定的位置上，眼睛和媒介的距離的估計可以通過步 驟810進一步確定媒介相對於圖像拍攝設備130的位置。媒介相對於圖像拍攝設備130的 位置的確定可以採用類似於眼睛相對於圖像拍攝設備130的距離的確定方法，其中媒介可 用機器視覺技術來檢測，然後用三角形定位原理確定其與照相機的相對空間位置。用機器 視覺進行一般物體的檢測有大量的文獻。有關合適檢測技術的討論，可參見Papageorgiou 等[22], Viola等[23],Bochard等[24]和Fergus等[25]，以上均列在本項發明的參考文 獻中。步驟812估計在步驟802中所收到的圖像片段中的人的視線方向。在一般情況下， 可以認為人觀看媒介時是直視前方的，那麼人的眼睛的注視方向可以直接計算為與人臉垂 直的角度，這可以由步驟806中所估計的頭的左右，上下的姿態來確定。如果需要更精確的 眼睛注視方向的估計，可以用機器視覺技術確定眼睛的虹膜和瞳孔的中心，而眼睛注視的 方向的估計可以將虹膜的方向和頭的左右，上下的角度相加來估計眼睛的注視方向，比如 參見Daugman[26]其中對虹膜和瞳孔進行明確的模型和檢測，和Tan等[27]其中對虹膜和 瞳孔建立外觀模型從而進行間接檢測。根據在步驟810中得到的人眼睛和媒介的距離以及在步驟812中得到的眼睛的注 視方向，步驟814估計人的視線在由媒介所延伸的平面上的範圍。特別地，該步驟確定視線 範圍是否和媒介重疊。若是，該人被認為在注意媒介，而因此被認為在瀏覽媒介。最後，步驟816將對步驟802中所收到的圖像片段中的人的眼睛和媒介的距離及 其視覺範圍的估計結果返回給調用過程。圖7中的流程圖描述了過程900的一個典型實施方式。該過程用來分析媒體瀏覽 者的有關瀏覽行為。它能被在瀏覽者行為分析過程500中的步驟510調用，用來分析一個 被檢測到的媒體瀏覽者的除了視覺範圍外的其他一些瀏覽行為。其中，步驟902和904估 計瀏覽空間周圍的照明程度，步驟906和908估計瀏覽者的身體姿態。要強調的是這僅僅 是其中一個實施方式，不可理解成任何形式的對本項發明的限制。根據本項發明的一個實施方式，可以用一個專門的亮度傳感器，比如由加州聖荷西Avago技術公司生產的APDS-9300低壓環境亮度傳感器。步驟902收到來自於亮度傳感 器的測量信號，步驟904根據這個信號估計照明程度。根據本項發明的另一實施方式，圖像拍攝設備130代替專用亮度傳感器，用來估 計照明程度，從而節約成本。在這個實施方式中，步驟902中所指的亮度傳感器就是圖像拍 攝設備130，而測量結果就是圖像傳感設備130對媒介瀏覽空間所拍攝的圖像。在步驟904 中，對所拍攝的圖像進行分析來估計瀏覽空間的照明程度，比如，取圖像中所有像素的亮度 的均值。在步驟906中，過程900收到瀏覽者的身份號和圖像片段。步驟908採用機器視覺 技術對收到的圖像片段進行分析來估計瀏覽者的身體姿態。常見的應該避免的身體姿態包 括躺著，肩膀傾斜和弓背。這些姿態需要檢測。用機器視覺技術從圖像中估計身體姿態有 大量的文獻，有關合適的估計身體姿態的機器視覺技術，可參見Taylor [28]，Mori等[29]， Sigal等[30]，以上均列在本項發明的參考文獻。在步驟910中，過程900將估計的照明程度和瀏覽者的身體姿態按步驟906所收 到的瀏覽者的身份號和當前時間保存到瀏覽者行為資料庫300中，然後返回到調用過程。圖8描述了過程1000的一個典型實施方式，該過程用機器視覺技術識別瀏覽者身 份。在媒介瀏覽者檢測過程700中，過程1000可以被步驟708被調用，其中需識別的人已 經被確定為是一個媒體瀏覽者，而調用過程1000所得到的是該媒體瀏覽者的身份號。根據 其身份號，可以檢索一個瀏覽者在不同的瀏覽階段中的瀏覽行為並將其累計起來。如圖8所示，過程1000先在步驟1002中收到一個人的圖像片段，然後在步驟1004 中在瀏覽者身份資料庫200中搜索該瀏覽者是否已經存在。在步驟1006中，根據所述的搜 索結果決定是否使用一個原有的瀏覽者身份號或者賦一個新的瀏覽者身份號給該瀏覽者。 如果在瀏覽者身份資料庫200中找到一個匹配的瀏覽者，即所收到的該瀏覽者的圖像片段 和過去已經識別的一個瀏覽者相吻合，該過程在步驟1008中提取並返回那個已經識別的 瀏覽者的身份號。否則，在步驟1010中指定一個新的瀏覽者身份號給該瀏覽者，然後在步 驟1012中將新的身份號和該瀏覽者的圖像片段一起保存到瀏覽者身份資料庫200，以便將 來瀏覽者身份的查找，最後在步驟1014中將新指定的瀏覽者身份號返回。步驟1004採用機器視覺技術通過分析瀏覽者的圖像片段來確定該瀏覽者是否與 瀏覽者資料庫200中的一個已知的瀏覽者圖像片段匹配。這是一個眾所周知的人的識別問 題，在文獻中被廣泛地通過對人臉的識別來解決。有關合適的用於識別人臉的機器視覺技 術，可參見Zhao [31]，列在本項發明的參考文獻中。在上述瀏覽者身份識別過程1000的實施方式中，步驟1010自動地給一個新的瀏 覽者賦予一個唯一的身份號，並將其登記到瀏覽者行為評估系統100中，而步驟2012將該 瀏覽者的圖像片段和其瀏覽者身份號一起存儲在瀏覽者身份資料庫200中。或者，一個新 的瀏覽者可以以手動方式登記到系統中，比如，賦予該瀏覽者一個唯一的身份號，通過圖像 拍攝設備130得到其正面和有代表性的側面圖像，然後將得到的圖像和所賦予的身份號一 起存儲到瀏覽者身份資料庫200中。如上所述，圖8中的瀏覽者身份識別過程1000通過機器視覺技術直接識別媒介瀏 覽者。這種做法可以用在需要跟蹤同一瀏覽者在不同瀏覽階段中的瀏覽行為或者有多個媒 介的情形中。根據系統的具體應用情形，媒介瀏覽者的識別的實現可以採用或不採用機器視覺技術。在本項發明的另一實施方式中，媒介瀏覽空間中最多只有一個瀏覽者，就沒有必 要跟蹤瀏覽者在不同瀏覽階段的行為。在這種情形裡，步驟708中的瀏覽者身份識別過程 可以簡單地返回一個任意固定的身份號。實際上，在這種情形下，在瀏覽者行為評估系統 100中的媒介瀏覽者的身份識別過程可以被省略。在本項發明的又一實施方式中，同時可能 有多個瀏覽者，但又沒有必要跟蹤瀏覽者在不同瀏覽階段的行為。在這種情形裡，瀏覽者身 份識別系統可以簡單的賦予每個檢測到打瀏覽者一個身份號，然後跟蹤每一個瀏覽者，直 到該瀏覽者結束當前瀏覽階段為止。用機器視覺跟蹤人的身體有大量的文獻，比如Wren等 在[32]和Zhou等在[33]中講解的技術，均列在本項發明的參考文獻。在本項發明的又一 實施方式中，有多個媒體瀏覽者，且他們的物理位置是已知的，比如有一個位置和身份號的 對應表。在這種情形裡，瀏覽者身份識別過程只要確定每一個檢測到的瀏覽者的物理位置， 然後按得到的位置在所說的表格中直接檢索對應的瀏覽者身份號。—般來說，媒介瀏覽者的身份識別可以被認為是根據某些具體的瀏覽者特徵對媒 體瀏覽者進行的歸類。比如，在本項發明的一個實施方式中，一個瀏覽者可以被歸類為某一 個具體的年齡組。這樣的歸類結果可以用來分析一個瀏覽者的瀏覽行為是否適當，是否符 合其相應的年齡段的某些瀏覽行為規則。瀏覽行為規則將在下面的媒介瀏覽者健康保護方 法和系統的各種實施方式中介紹和描述。一個瀏覽者的年齡可以用手工方法確定。比如在 該系統中登記一個新的瀏覽者時，可以直接指定該瀏覽者的年齡。瀏覽者本身或一個系統 管理員可以直接將瀏覽者的年齡提供給系統，將該年齡數據儲存在瀏覽者身份資料庫200 裡。或者，當瀏覽者身份識別過程發現一個新的瀏覽者的時候，瀏覽者的年齡可以用機器視 覺技術自動估計。圖9所示的瀏覽者識別過程的實施方式描述了這種應用。瀏覽者驗證過 程700中的步驟708可以調用這一過程而不是前述的過程1000。如圖9所示，過程1100跟 過程1000有相同的流程圖，唯一不同之處是它有額外的兩個步驟，其中步驟1111根據步驟 1102中所收到的瀏覽者的圖像片段來估計瀏覽者的年齡，而步驟1113將所估計的瀏覽者 的年齡保存到瀏覽者身份識別庫200中。用機器視覺估計人的年齡有大量的文獻，比如Guo 等在[34]中所講述的技術，列在本項發明的參考文獻中。要再次強調的是，前述的媒介瀏 覽者分類只是以說明本項發明的原理為目的具體實施方式
，而不可理解成任何形式的對本 項發明的限制。在圖2中的瀏覽者行為跟蹤過程400的實施方式裡，當人的視線集中在媒體上時， 就認為人在瀏覽媒體。這個假定在通常情形下是成立的，比如，當一個人的視線集中在一本 書上的時候，這個人通常是在看書或是寫字。又比如，當一個人的視線集中在電腦屏幕上的 時候，這個人通常是在瀏覽電腦屏幕上的內容，而當一個人的視線集中在電視屏幕的時候， 這個人通常就是在看電視。如果需要將人的視線已集中在媒體上但媒體還未就緒的特例排 除，比如一個人在看電視，但所說的電視是關的，那麼在跟蹤瀏覽者的行為時可以對媒體的 運行狀態進行檢測，如圖10所示。這樣得到的是瀏覽者行為跟蹤過程1200的另一實施方 式。如圖2和圖10所示，瀏覽者行為跟蹤過程400和1200都是循環的，而且兩者都調用瀏 覽者行為分析過程500。他們的區別在於過程400在每次循環裡都調用瀏覽者行為分析過 程500，而過程1200隻有在步驟1202和1204確定媒介已準備就緒後才在一個循環裡調用 瀏覽者行為分析過程500。有各種各樣的技術可以用在步驟1202中確定媒介的運行狀態。以下是這類技術的在本項發明的一些具體實施方式
中的應用。需再次強調的是，這些只是用來以說明本項 發明的原理，而不可理解成任何形式的對本項發明的限制。如果媒介瀏覽者行為評估系統 100集成在媒介設備裡面，如集成在電視機，電腦或遊戲機裡，那麼確定媒介設備的運行狀 態是直接和簡單的。否則，如果媒介設備是可以用來作通用編程的，如帶有標準通信接口的 電腦，那麼可以直接編寫一個程序將其運行在媒介設備裡，通過所述的標準通信接口將媒 介設備的運行狀態傳遞給媒體瀏覽者行為評估系統100。比如，2008年3月頒發給Nelson 等人美國專利7，343，615所講述的技術，通過檢測顯示器中的變壓器所發出的一個特定的 音頻信號來間接地確定顯示器是否被打開。作為另一個測定媒介是否被打開的間接技術的 實施方式，可以利用機器視覺技術對圖像拍攝設備130所得到的圖像，採用步驟604中所討 論的物體檢測技術來確定媒介設備顯示器在這些圖像中的位置。然後，分析對應於媒介顯 示器的圖像區域，將它們和相應的在顯示器處在關閉時的背景圖像值進行比較，來確定媒 介設備是否被打開。為了說明本項發明的媒介瀏覽者行為評估的基本原理，到目前為止所描述的實施 方式採用的機器視覺技術絕大多數都局限在分析靜態圖像中的內容。更具體地說，在上述 實施方式中，圖像拍攝設備130在同一時刻拍攝的圖像被一起分析，從而利用它們的空間 相關性，但不同時刻所拍攝的圖像被分別分析。本專利的實施也可以採用各種基於視頻的機器視覺技術，將圖像拍攝設備130所 獲得的圖像作為視頻序列進行分析。通過利用物體在連續的圖像中所體現的空間和時間的 相關性，基於視頻的機器視覺技術，通常可以在視頻圖像序列中跟蹤物體，從而取得更好的 分析結果，並減少分析中的計算量。文獻中有很多基於視頻的機器視覺技術可以用來實現 前述的實施方式中視覺內容分析的各種任務。下面來說明一些具體的實施方式。媒介瀏覽者檢測過程600中的對人的檢測步驟604可以採用比如Wren等[32]和 Zhou等[35]中所講述的基於視頻的技術，均列在本項發明的參考文獻中。距離和視覺範圍的分析過程800中的人臉檢測步驟804可以採用比如Mkolajczyk 等[36]，Froba等[37]和Gorodnichy [38]所講述的基於視頻的技術，均列在本項發明的參 考文獻中。距離和視覺範圍的分析過程800中的頭的姿態的估計步驟806可以採用例如 Morency等[39]，HUang等[40]和Oka等[41]所講述的基於視頻的技術，均列在本項發明 的參考文獻中。距離和視覺範圍的分析過程800中的眼睛的檢測步驟808可以採用例如 Stiefelhagen等[42]和Bakic等[43]所講述的基於視頻的技術，均列在本項發明的參考 文獻中。進一步的瀏覽行為分析過程900中的身體姿態估計步驟908可以採用例如Lee在 [44]所講述的基於視頻的技術，列在本項發明的參考文獻中。瀏覽者識別過程1000中的人的匹配步驟1004可以採用例如2001年10月頒發給 Steffens等人的美國專利6，301，370和Goronichy [45]所講述的基於視頻的技術，均列在 本項發明的參考文獻中。圖像中像素的深度信息也可以用在本項發明的各個視覺處理任務中。圖像中一個 像素的深度信息是拍攝該圖像的設備與對應於該像素的物體的在空間的距離。這個信息又
13稱作範圍信息。比如，在瀏覽者驗證過程800中，一旦一個瀏覽者的眼睛在圖像中被檢測和 定位，深度信息可以用在步驟810中來估計眼睛與媒介的距離。在圖4中的瀏覽者檢測過 程600實施方式中，深度信息可以用來將物體和它們的背景分開並確定它們的形狀，從而 達到檢測和識別物體的目的。有關用深度信息來檢測物體的討論，可參照比如Reeves等 [46]，列在本項發明的參考文獻中。文獻中有大量的關於用單個和多個圖像來計算深度信 息。有關合適的從圖像中提取算深度信息的技術的討論，可參照Adelson等[47]和Saxena 等[48]，均列在本項發明的參考文獻中。深度信息可以用更新的範圍相機直接獲得，比如參 見，Lang等[49]和Oggier等[50]，均列在本項發明的參考文獻中。除了前面描述的利用可見光和飛行時間拍攝圖像，其他照相技術也可以用來獲得 媒介瀏覽空間的圖像。比如，一個或多個圖像拍攝設備130可以採用紅外成像。又比如，一 個或多個圖像拍攝設備130可以採用高光譜成像，收集來自從紅外到紫外的更寬的電磁頻 譜的信息。有關合適的採用紅外成像的機器視覺技術來分析前述的瀏覽者行為，可參照比 如 Eveland 等[51]，Dowdall 等[52]，Socolinksy 等[53]和 Kong 等[54]中講述的技術來 檢測和識別瀏覽者，以及Trivedi等[55]中講述的技術來估計瀏覽者的身體姿態，均列在 本項發明的參考文獻中。有關合適的採用高頻譜成像的機器視覺技術的討論，可參照Chou 等[56]，列在本項發明的參考文獻中。上面描述的媒介瀏覽者行為評估原理可以根據瀏覽者的行為評估結果向它們提 供有意義的健康保護功能。下面，我們描述一個用來評估瀏覽者是否遵守一定的瀏覽行為 規則的系統的一些具體實施方式
，其中的瀏覽行為規則可以是預先設定的並且被認為是健 康的瀏覽所必需的。一般地，當系統確定某個瀏覽者違反或遵守一個規則時，就執行相應的 控制動作以便幫助該瀏覽者建立和保持健康的瀏覽習慣。作為實施方式之一，圖11描述了一個媒介瀏覽者健康保護系統100HC。該系統擴 展了圖1中的媒介瀏覽者行為評估系統100，能自動地向媒介142的瀏覽者提供健康保護功 能。以下，該系統又被簡稱為健康保護系統100HC或系統100HC，而媒介瀏覽者行為評估系 統100又被簡稱為行為評估系統100或系統100。與圖1中的行為評估系統100 —樣，健康保護系統100HC包含了聚焦在媒介瀏覽 空間140的圖像拍攝設備130，瀏覽者身份資料庫200，瀏覽者行為資料庫300，瀏覽行為跟 蹤過程500來檢測和評估瀏覽瀏覽者的行為，其中瀏覽者144-1至144-M的個數和非瀏覽 者146-1至146-N的個數都可能隨時間變化。健康保護系統100HC又包含瀏覽政策資料庫 1300和瀏覽政策執行過程1600。一般地，瀏覽政策資料庫1300包含瀏覽行為規則以及這些規則被違反或遵守時 須執行的動作，這些規則和動作可以由一個系統管理員預先定義或設置。圖12A和圖12B 給出了幾個瀏覽行為規則的實施方式。當系統確定一個瀏覽者沒有遵守某個規則時，就執 行一個或多個跟該規則有關的瀏覽政策中所規定的動作。以下，我們稱這類政策為懲罰性 政策。圖13給出了幾個典型的懲罰性政策的實施方式。相反地，當系統確定一個瀏覽者遵 守某個規則時，如果有跟該規則有關的瀏覽政策，就執行這些政策中所規定的動作。以下， 我們稱這類政策為獎勵性政策，圖14給出了幾個典型的獎勵性政策的實施方式。作為瀏覽政策執行過程1600的一個功能，根據保存在瀏覽者行為資料庫300中他 們的瀏覽行為，媒介瀏覽者健康保護系統100HC為各個瀏覽者在瀏覽政策資料庫1300中檢索和確認所有相應的政策。其中所述的相應的瀏覽政策的檢索和確認將在下面結合圖16 和圖17說明。下面將對健康保護系統100HC的不同實施方式中的可選的架構和功能作進一步 說明。根據使用者的意願，這些實施方式可以實現或不實現前述的框架。必須強調的是，下 面給出的實施方式完全是以說明本項發明原理為目的，而不可理解成任何形式的對本項發 明的限制。以下的任何功能可以單獨或跟任何其它描述的功能一起採納。瀏覽政策資料庫1300可以通過定義什麼是健康的瀏覽行為以及一個瀏覽行為被 確認為健康或不健康時應執行的動作來建立。或者，可以通過定義什麼是不健康的瀏覽行 為以及一個行為被確認為不健康或健康時應執行的動作來建立。因為一個瀏覽行為要麼是 健康的，要麼是不健康的，以上兩種定義方式是對等的。以下，我們選用第一種方法來進一 步說明瀏覽政策資料庫1300。根據本項發明的一個實施方式，一個健康的瀏覽行為可以用一組瀏覽行為規則來 刻畫，其中的每一個規則定義了該健康行為的一個方面。在本項發明的一個實施方式中，上 述的這些規則是結合的，因而一個健康的瀏覽行為必須符合所有這些規則。在本項發明的 另一實施方式中，上述的這些規則是選言的，因而一個健康的瀏覽行為只要符合其中的一 個規則。基於邏輯學中的DeMorgan定律，這二種方式是可以互換的。以下，我們選用第一 種方式來進一步描述一個健康的瀏覽行為的定義。如圖12A和12B所示，瀏覽政策資料庫1300可以由一組表格來記錄。一個表格的 每一行定義一個瀏覽規則，它對應於一個瀏覽行為的一個具體的方面或屬性。更具體地說， 每一行包含一個某一規則所涉及的瀏覽行為的某個屬性的欄位，以及用來說明健康的瀏覽 行為中該屬性必須符合的一個或多個條件欄位。圖12A描述了三個典型的瀏覽行為規則1320，1322和1324。它們都有二個條件字 段，其中一個欄位1312定義相應的行為屬性值的允許範圍，另一個欄位1314定義可違反該 允許範圍的最長時間。瀏覽行為可以違反欄位1312中規定的允許範圍，只要單次連續違反 的時間不超過欄位1314的規定，可仍然被視為可接受的。比如，規則1320的行為屬性是瀏 覽者的眼睛與其所瀏覽的媒介的距離。如果該媒介是電視屏幕，根據其空間距離規定1312， 該規則規定健康的瀏覽必須將眼睛和電視保持至少4倍於電視屏幕的對角寬度。根據其時 間欄位1312的說明，該規則進一步規定，一個瀏覽者可以與電視保持少於4倍於電視屏幕 對角線寬度，但每次不能超過10秒鐘。類似地，規則1320規定了可接受的眼睛離開電腦屏 幕的距離，以及離開書本的距離，其中意義不言自明。作為本項發明的另一實施方式，規則 1322定義健康的瀏覽行為中的頭部姿態。該規則規定，瀏覽者頭部左右旋轉若超過45度， 不應持續10秒鐘以上；頭部上下傾斜若超過45度，不應持續10秒鐘以上；頭部左右傾斜若 超過30度，不應持續10秒鐘以上。作為又一實施方式，規則1324定義健康的瀏覽行為中 的肩膀姿態。該規則規定，瀏覽者肩膀左右旋轉若超過15度，不應持續5秒鐘以上，對肩膀 的左右傾斜的規定也相同。圖12B給出更多的瀏覽行為規則，其中每個都有一個條件欄位1316。規則1326 規定在看電視時室內照明至少是100LUX，在看電腦屏幕時至少是200LUX，而在看書寫字時 至少是500LUX。規則1328規定，看電視，電腦屏幕和看書每次分別不能超過1小時，45分 鍾和30分鐘。規則1330要求連續瀏覽階段之間必須有至少5分鐘的休息。規則1332規定瀏覽者在一天內看電視超過不應4小時，看電腦屏幕不超過2小時，看書寫字不超過4小 時。類似地，規則1334規定瀏覽者在一周內看電視不應超過12小時，看電腦屏幕不應超過 10小時，看書寫字不應超過20小時。規則1336規定瀏覽者不應在一個連續的瀏覽階段裡 違反規則5次以上。類似地，規則1338和1340分別規定瀏覽者不應在一天和一周內違反 規則10次和20次以上。圖13中的表格給出幾個典型的懲罰性瀏覽行為政策的實施方式1420至1440，每 行一個。每個政策包含兩個欄位1410和1412，其中1410指定被違反的瀏覽行為規則，而 1412定義系統對違反該規則的瀏覽者所執行的動作。當系統確定某個瀏覽者違反了欄位 1410指定的規則時，就對該瀏覽者執行欄位1412規定的動作。一般地，欄位1412規定的動 作有勸阻瀏覽者進一步違反瀏覽規則的作用。比如，根據政策1420，當確定瀏覽者違反距離 規則1420時，系統每隔5秒鐘向瀏覽者發出提醒並給其規則違反次數加一直到其遵守該距 離規則為止。根據其中的一個實施方式，上述提醒可以是一個聽見的信息，可以是一個看見 的信息，可以是一個觸覺的信息，比如一個物理震動，或者是這類信息的組合。作為另一個 實施方式，根據瀏覽行為規則1326，如果室內照明太低，政策1426被激活，系統向瀏覽者發 出提醒，要求提高室內照明，或許是通過打開一些燈來達到規則的要求。如果在15秒鐘後 室內照明還沒有提高到規則1326的要求，系統給瀏覽者的規則違反次數加一。作為另一個 實施方式，如果瀏覽者違反連續瀏覽時間的規則1328，政策1428被激活，系統向該瀏覽者 發出提醒。另外，如果瀏覽者在看電視(電腦)，並在上述提醒發出的15分鐘後仍在繼續看 電視(電腦)，那麼系統將關閉電視機(鎖住電腦屏幕)。關閉電視機和鎖住電腦屏幕可以 有各種途經實現，將在後面結合描述瀏覽政策實施過程1600圖16和圖17來說明。圖14中的表格給出兩個典型的獎勵性瀏覽行為政策的實施方式1420至1440，每 行一個。當系統確定某個瀏覽者遵守欄位1510所指定的規則，就對該瀏覽者執行欄位1512 定義的動作。更具體地說，政策1532規定，如果某個瀏覽者遵守規則1332，即該瀏覽者沒 有用完當天允許的瀏覽時間，系統就將其中剩餘部分的一半加到其第二天允許的瀏覽時間 裡。類似地，政策1534規定如果某個瀏覽者遵守規則1334，即該瀏覽者沒有用完一周允許 的瀏覽時間，系統就將其剩餘部分的四分之一加到其第二周允許的瀏覽時間裡。一個瀏覽行為規則和相應的政策也可以選擇性地跟年齡有關。比如，一個瀏覽階 段的時間長度規則1228可以為每年齡段定義其恰當的時間長度。瀏覽者的年齡可以由圖9 中描述的瀏覽者行為評估系統100的實施方式可選擇地確定。再次強調，上述瀏覽行為規 則和政策只是一些具體地實施方式，以說明為目的，不可以將其理解為對本項發明的任何 形式的限制。圖15的流程圖描述了瀏覽政策執行過程1600的一個典型的實施方式。如前面概 括的那樣，該過程的目的是檢查瀏覽者行為跟蹤過程400所確定的每個瀏覽者的瀏覽行為 是否違反或遵守瀏覽政策資料庫1300中的有關行為規則，並執行相應的瀏覽政策所規定 的動作。如圖所示，在初始化後，該過程開始迭代。在每次迭代中，先由步驟1602檢索當前 所有瀏覽者的身份號，然後在步驟1604中，為每個瀏覽者調用瀏覽政策執行過程1700。圖16的流程圖描述了瀏覽政策執行過程1700的一個典型的實施方式。該過程為 一個給定的瀏覽者確定所有合適的瀏覽政策，並調用圖17描述的瀏覽政策執行過程1800 來執行相應的動作。
如圖16所示，瀏覽政策執行過程1700先在步驟1702中收到一個瀏覽者的身份 號，在步驟1704中從瀏覽政策資料庫1300中檢索所有跟該瀏覽者相關的政策，在步驟1706 中，從瀏覽者行為資料庫300中檢索該瀏覽者的行為評估結果。然後，在步驟1708，對其中 每個檢索得到政策，先評估瀏覽者的瀏覽行為是否符合政策中規定的條件，然後將評估結 果存儲在行為資料庫300中，以便將來參考。在步驟1710中，對其中每個檢索得到政策，調 用在圖17所描述的政策執行過程1800。之後，返回調用過程。圖17的流程圖描述了瀏覽政策執行過程1800的一個典型的實施方式。該過程先 在步驟1802中接受一個瀏覽者的身份號和一個瀏覽政策編號。接著，從行為資料庫300中 檢索對應的瀏覽政策的評估結果，比如，在瀏覽政策執行過程1700中，這個評估結果由步 驟1708確定。步驟1806測試得到的評估結果。如果瀏覽者的行為沒有滿足該政策的條件， 過程1800不執行該政策規定的動作而直接返回。否則，過程1800在步驟1808中執行該政策規定的動作。作為一個例子，假定某個 瀏覽者在看電視節目，電視機的對角線寬度為25英寸而所說的瀏覽政策是距離政策1420。 如果根據步驟1804的評估結果，所說的瀏覽者的行為滿足政策1420的條件，即瀏覽者違反 距離規則1220，與所說的電視的距離少於4x25 = 100英寸超過10秒鐘，那麼步驟1806的 測試獲得通過。在這種情況下，系統執行政策1420中欄位1412規定的動作，即每隔5秒 鍾，向該瀏覽者發出提醒並將其違反規則的次數加1，直到其遵守距離規則1220(離開電視 機至少100英寸)為止。一般地，一個瀏覽政策規定的動作可以由一個獨立的過程來執行。 該過程記錄該動作的執行歷史。例如，為了執行上述距離政策1420規定的動作，可以採用 一個定時器來計算自上次提醒發出後已經過去的時間。根據本項發明的其中一個方面，由於媒介瀏覽健康保護系統100HC擁有瀏覽者識 別能力，可以將瀏覽行為規則和政策個性化。利用其唯一的瀏覽者身份號，系統管理可以在 瀏覽政策資料庫1300中根據具體情況對特定的瀏覽者制定特別的行為規則和政策。同樣 地，根據瀏覽者身份號，瀏覽政策執行過程1700在步驟1704中將在瀏覽政策庫1300中檢 索為該瀏覽者定義的所有政策。在本項發明的另一個實施方式中，如圖18所示，媒介瀏覽者評估系統100可以擴 展，使其監控多個媒介的瀏覽空間，稱之為媒介瀏覽系統100MHC。該系統有L個媒介，標作 142-1至142-L，而圖像拍攝設備130覆蓋所述的L個媒介的瀏覽空間。在該系統的其中 一個實施方式中，前述的媒介瀏覽者的行為評估原理可以重複地應用到圖像拍攝設備130 為所有L個媒介的瀏覽空間拍攝的每一組圖像上。隨著集成電路產品(如nVidia公司的 GeForce圖形處理器)的性價比不斷提高，這樣擴展後的媒介瀏覽健康保護系統100MHC的 一個關鍵的優點是節約了成本。比如，可以用一個媒介瀏覽健康保護系統100MHC來監控一 個教室中所有學生的看書、寫字和坐姿。根據以上所描述的利用機器視覺向媒介瀏覽者提供健康保護功能的基本原理，媒 介瀏覽者健康保護系統100HC的具體實施可以有各種各樣的變化。例如，一個媒介瀏覽健 康保護系統100HC可以直接集成在媒介設備如電視機，電腦和遊戲機中。在這種方式中，系 統100HC和媒介設備可以共同設計。這個方式的一個好處是讓兩者共享計算資源和機械封 裝，從而節約成本。這個方式的另一個好處是可以方便靈活的執行某些瀏覽政策規定的動 作，特別是那些需要控制媒介設備的動作，如關閉媒介設備的電源，將電腦鎖屏或切換電視頻道。對於一個沒有和媒介設備集成在一起的媒介瀏覽健康保護系統100HC，為了執行 象上一段落提到的需要控制媒介設備的瀏覽政策中的動作，可以採用一些合適的外部方法 來控制媒介設備。例如，對於一個帶有遙控器的電視機，健康保護系統100HC可以採用與該 遙控器匹配的遙控信號來控制該電視機。大多數電視機製造商公開其電視機產品所用的遙 控信號。遙控信號也可以直接向搖控器學習得到，例如可以用2008年8月頒發給Hayes等 人的美國專利6，097，309所講解的技術。如果媒介設備是電腦，那麼媒介瀏覽健康保護系 統100HC可以用一個標準的接口如藍牙或乙太網與電腦建立連結。類似地，一個媒介瀏覽健康保護系統100HC的實施也可以通過控制一個該媒介以 外的設備來執行瀏覽政策的動作。例如，該媒介以外的設備可以是一盞學習用的檯燈，系統 可以通過自動地將它打開實施例如規則1226的室內照明規定。應該理解的是以上講述的所有具體實施方式
及其變化都僅僅是用來說明本項發 明的原理。那些熟練掌握相關技術的人們可以對它們進行各種各樣的修改而不偏離本項發 明的範圍和精神。引用的專利
U.s.Patent5，168，264, Decem ber 1,1992, Decreton,et al
u.s.Patent6，097，309, August 1,2000, Hayes,et al.
u.s.Patent6，301，370, October 9,2001, Steffens,et al.
u.s.Patent6，325，508, December 4,2001, Agustin.
u.s.Patent7，098，772，August 29，2006，Cohen.
u.s.Patent7，343，615, March 11,2008, Nelson,et al.
u.s.Patent7，362，213, April 22，2008，Cohen.參考文獻[l]Mohan, et al. , "Example-based object detection in images by components,，，IEEE Trans. onPattern Analysis and Machine Intelligence, Vol. 23, No. 4，pp. 349-361，Apr. 2001.[2]Viola, et al. , "Rapid object detection using a boosted cascade of simple features, "Proc.IEEE Conf. on Computer Vision and Pattern Recognition, Kauai, HI, Dec. 2001.[3]Ronfard, et al. , "Learning to parse pictures of people, "in Proc. 7th European Conf. onComputer Vision, Part IV, pp. 700-714, Jun. 2002.[4]Mikolajczyk, et al. ,"Human detection based on a probabilistic assembly of robust partdetectors," in Proc. 8th European Conference on Computer Vision, VolumeI, pp. 69-81，May2004.[5] Yang, et al. , "Detecting faces in images :A survey,，，IEEE Trans, on Pattern Analysis andMachine Intelligence, Vol. 24, No. 1,pp.34-58, Jan. 2002.[6]Sung, et al. , "Example-based learning for view-based human face detection,，，IEEE Trans, on Pattern Analysi s and Machinelntelligence, Vol. 20, No. 1，pp. 39-51，Jan. 1998.
[7] Keren, et al.，「Antifaces A novel fast method for image detection，，，IEEE Trans, on PatternAnalysis and Machine Intelligence, Vol. 23,No. 7, pp. 747-761，Jul. 2001.[8] Viola, et al. ,"Robust real-time face detection，，，Int，1 J. of Computer Vision，Vol. 57，No. 2，pp. 137—154，May 2004.[9]Osadchy，et al. ,"Synergistic face detection and pose estimation with energy-based models，，，J. of Machine Learning Research，Vol. 8, pp. 1197-1214，May 2007.[10]Hiesele，et al. ，「A component-based framework for face detection and identification，」Int，1 J. of Computer Vision，Vol. 74，No. 2，pp.167—181，Aug. 2007.[ll]Murphy-Chutorian, et al. , "Head Pose Estimation in Computer Vision A Survey，，，IEEE Trans, on Pattern Analysis and Machine Intelligence，PrePrints， Apr. 2008.[12]Kruger，et al.，「Determination of face position and pose with a learned representationbased on labeled graphs，，，Image and Vision Computing， Vol. 15，No. 8，pp. 665-673，Aug. 1997.[13]Huang, et al. ，「Face pose discrimination using support vector machines (SVM)，，，in Proc. Int』 1. Conf. Pattern Recognition，pp. 154-156，Aug. 1998.[14]Matsumoto，et al.，「An algorithm for real-time stereo vision implementation of head poseand gaze direction measurement，，，in Proc.IEEE 4th Int.Conf. on Automatic Face and GestureRecognition，pp. 499-504，Mar. 2000.[15] Sherrah, et al.，『『Face distributions in similarity space under varying head pose，，，Imageand Vision Computing, Vol. 19,No. 12,pp. 807-819,Dec. 2001.[ 16 ] Moon, et al.，「Estimating facial pose from a sparse representation，，，in Proc. Int* 1 Conf. on Image Processing, pp. . 75-78, Oct. 2004.[17] Lam, et al.，『『 Locating and extracting the eye in human face images, "Pattern Recognition, Vol. 29, No. 5, pp. 771-779, May 1996.[18] Huang, et al.，「Eye detection using optimal wavelet packets and radial basis functions，，，J. of Pattern Recognition and Artificial Intelligence， Vol. 13，No. 7，pp. 1009-1025，Jul. 1999.[19]Sirohey, et al. , "Eye detection in a face image using linear and nonlinearfiIters,，，Pattern Recognition，Vol. 34，No. 7，pp. 1367-1391，Jul. 2001.[20]Peng, et al. ,"A Robust and Efficient Algorithm for Eye Detection on Gray Intensity Face，」 J. of Computer Science and Technology, Vol.5, No. 3， pp. 127-132，Oct. 2005.[21]Teutsch， Model-based analysis and evaluation of point sets from optical 3D laser scanners，Ph. D. Thesis, Shaker Verlag，ISBN :978-3-8322-6775_9， 2007.
[22] Papageorgiou，e t al.，「A trainable system for object detection，，，Int』 1. J. of ComputerVision，Vol. 38，No. 1，pp. 15-33，Jun. 2000.[23]Viola, et al. ,"Robust real-time object detection, 」Int' 1 J. of Computer Vision，Vol. 57，No. 2，pp. 137—154，May 2004.[24]Bochard, et al.，『『A hierarchical part-based model for visual object categorization，，，inProc. IEEE Int* 1 Conf. on Computer Vision and Pattern Recognition，pp. 710-715，Jun.2005.[25]Fergus，et al.，「A sparse object category model for efficient learning and exhaustiverecognition，，，in Proc. IEEE Int'l Conf. on Computer Vision and Pattern Recognition，pp. 710—715，Jun.2005.[26]Daugman, "High confidence visual recognition of persons by a test of statistical independence,，，IEEE Trans, on Pattern Recognition and Machine Intelligence，Vol. 15，No. 11，pp.1148-1161，Nov. 1993.[27] Tan, et al.，『『Appearance-based eye gaze estimation，，，in Proc. 6th IEEE Workshop onApplications of Computer Vision, pp. 191-195,Dec.2002.[28]Taylor, 「Reconstruction of articulated objects from point correspondences in a singleuncalibrated image，，，Computer Vision and Image Understanding，Vol. 80，No. 3，pp. 349-363，Dec. 2000.[29]Mori， et al. ，「Estimating human body configurations using shape context matching，」 in Proc.7th European Conf. on Computer Vision, Part III， pp. 660-668，Jun. 2002.[30] Sigal, et al. 『『Measure locally, reason globally :0cclusion-sensitive articulated poseestimation，，，in Proc. IEEE Conf. on Computer Vision and Pattern Recognition，pp.2041-2048，Jun.2006.[31]Zhao，et al.，〃 Face recognition :A literature survey,"ACM Computing Surveys, Vol. 35，No. 4，pp. 399-458，Dec. 2003.[32]Wren, et al.，『『Pf inder :real_time tracking of the human body，，，IEEE Trans.on Pattern Analysisand Machine Intelligence，Vol.19，No.7，pp. 780—785， Jul. 1997.[33]Zhou， et al. ，「Real time robust human detection and tracking system, 」Proc.IEEE Conf.onComputer Vision and Pattern Recognition，Vol. 3， pp. 149-149，Jun. 2005.[34]Guo，et al. ，「Image-based human age estimation by manifold learning and locally adjustedrobust regression，，，IEEE Trans, on Image Processing, Vol. 17, No. 7，pp. 1178-1188，Jul. 2008.[35]Zhou，et al.，「Real time robust human detection and tracking system，，，in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 3, pp. 149-149，Jun. 2005.[36]Mkolajczyk, et al. , "Face detection in a video sequence—a temporalapproach，，，in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. II.，pp. 96-101，Dec. 2001.[37]Froba，et al. , "Face Tracking by Means of Continuous Detection，，，in Proc. CVPR Workshopon Face Processing in Video,pp.65—66，Jun. 2004.[38]Gorodnichy, 「Seeing faces in video by computers. Editorial for Special Issue on FaceProcessing in Video Sequences,"Image and Vision Computing， Vol. 24，No. 6，pp. 551-556，Jun. 2006.[39]Morency, et al. , "Fast stereo-based head tracking for interactive environments，，，in Proc.Int』 1. Conf. Automatic Face and Gesture Recognition， pp. 375-380，May 2002.[40]Huang, et al. ，「Robust Real-Time Detection， Tracking， and Pose Estimation of Faces in VideoStreams，，，in Proc. IEEE Int』 1 Conf. Pattern Recognition，pp.965-968，Aug. 2004.[41]0ka，et al. ，「Head pose estimation system based on particle filtering with adaptivediffusion control，，，in Proc. Int* 1 Conf. on Machine Vision Applications, pp. 586—589，May2005.[42]Stiefelhagen, et al. , "Tracking eyes and monitoring eye gaze,」 in Proc. Workshop onPerceptual User Interfaces，pp.98—100，Oct. 1997.[43]Bakic，et al. ,"Real-time tracking of face feature and gaze direction determination，，，in Proc. 4th IEEE Workshop on Applications of Computer Vision, pp. 256-257，Oct. 1998.[44]Lee, Model-based human pose estimation and tracking， Ph.D.Thesis， Univ.of Southern Calif. ，Los Angeles，CA，2006.[45] Gorodnichy，『『Video-based framework for face recognition，，，in Proc. 2nd Workshop on FaceProcessing in Video within 2nd Canadian Conf.on Computer and Robot Vision, pp. 330—338，May 2005.[46]Reeves, et al. ，「Identification of three-dimensional objects using range information，」 IEEE Trans, on Pattern Analysis and Machine Intelligence， pp. 403-410，Vol. 11，No. 4，Apr. 1989.[47] Adelson, et al.，「Single lens stereo with plensoptic camera，，，IEEE Trans.on Pattern Analysisand Machine Intelligence，Vol. 12，No. 2，pp.99-106， Feb. 1992.[48] Saxena，et al.，『『Depth estimation using monocular and stereo cues，，，in Proc.Int* 1 JointConf. on Artificial Intelligence, pp. 2197-2203, Jan. 2007.[49]Lange, et al. , "Solid state time—of—flight range camera, 」 IEEE J. of Quantum Electronics，Val. 37，No. 3，pp. 390—397，Mar. 2001.[50] Oggier, et al.，『『An all-solid-state optical range camera for 3D real-time imaging withsub-centimeter depth resolution(SwissRanger)，，，in Proc. SPIE，Vol. 5249，pp.534-545，Feb.2004.
[51]Eveland, et al.，『『Tracking human faces in infrared video，，，Image and Vision Computing，Vol. 21，No. 7，pp. 579—590，Jul. 2003.[52]Dowdall, et al.，「Face detection in the near-IR spectrum，，，Image and Vision Computing，Vol. 21，No. 7，pp. 565—578，Jul. 2003.[53]Socolinsky, et al. ，「Face recognition with visible and thermal infrared imagery，，，ComputerVision and Image Understanding，Vol. 91, No. 1-2， pp. 72-114，Jul. -Aug. 2003.[54] Kong, et al. 『『Recent advances in visual and infrared face recognition :A review，，，ComputerVision and Image Understanding，Vol. 97, No. 1， pp. 103-135，Jan. 2005.[55]Trivedi，et al.，『『Occupant posture analysis with stereo and thermal infrared video :algorithms and experimental evaluation,，，IEEE Trans, on Vehicular Technology,Speciallssue onln-Vehicle Vision Systems, Vol. 53,No. 6,pp.1698—1712， Nov. 2004.[56]Chou, et al.，「Toward face detection，pose estimation and human recognition fromhyperspectral imagery, 」 Technical Report NCSA-ALG04-0005， Automated Learning Group，National Center of Supercomputing Applications, Univ. of Illinois at Urbana Champion，Oct.2004.
2權利要求
一個自動監控至少一個信息媒介的一個或多個瀏覽者的瀏覽行為的方法，其中包括獲得至少一幅所述媒介的瀏覽空間的圖像；通過分析所述圖像，檢測所述媒介的瀏覽者；若檢測到所述媒介的瀏覽者，通過分析所述圖像，評估所述瀏覽者的瀏覽行為。
2.如權利要求1所述的方法，進一步包括 通過分析所述圖像，對一個所述的瀏覽者分類。
3.如權利要求2所述的方法，其中所述的對瀏覽者的分類包括至少下列操作中之一 估算所述瀏覽者的年齡；識別所述瀏覽者為一特定的個體； 跟蹤所述瀏覽者； 確定所述瀏覽者在空間的位置； 識別所述瀏覽者視線所集中的媒介。
4.如權利要求1所述的方法，其中所述瀏覽行為包括至少以下之一 所述瀏覽者的眼睛和所述媒介的距離；所述瀏覽者的視線方向和所述媒介的角度； 所述瀏覽者在所述媒介所化的時間； 所述瀏覽者的身體姿態； 所述瀏覽者和所述媒介周圍的照明情況； 顯示在所述媒介上的內容。
5.如權利要求4所述的方法，其中所述照明情況採用至少下列途徑之一來測量 分析所述圖像；分析來自於至少一個光傳感器的信號。
6.如權利要求1所述的方法，基於所述瀏覽行為的分析結果，進一步向至少一個所述 的瀏覽者提供健康保護功能。
7.如權利要求6所述的方法，其中所述的健康保護功能執行至少一個瀏覽政策。
8.如權利要求7所述的方法，其中所述瀏覽政策包括 一個跟健康有關的瀏覽行為規則。
9.如權利要求8所述的方法，其中所述瀏覽政策包括至少以下之一 若所述規則被違反，對所述媒介瀏覽者執行一個實時或延時的動作； 若所述規則被遵守，對所述媒介瀏覽者執行一個實時或延時的動作。
10.如權利要求9所述的方法，其中所述動作包括至少以下之一 一個對所述瀏覽者的勸阻性的提醒；一個對所述瀏覽者的鼓勵性的提醒。
11.如權利要求10所述的方法，其中所述提醒包括至少以下之一 一個可見的反饋；一個可聽的反饋； 一個可觸覺的反饋； 一個任何形式的有形反饋。
12.如權利要求9所述的方法，其中所述動作包括至少以下之一 縮小對所述媒介的使用權限；放寬對所述媒介的使用權限。
13.一個自動監控至少一個信息媒介的一個或多個瀏覽者的瀏覽行為的系統，其中至 少包括一個機器可讀的代碼的儲存器； 一個計算機，用來獲取至少一個有關所述媒介的瀏覽空間的圖像； 通過對所述圖像分析，檢測所述媒介的瀏覽者；若檢測到所述媒介的瀏覽者，通過分析所述的圖像，評估所述瀏覽者的瀏覽行為。
14.如權利要求13所述的系統，進一步包括 通過分析所述圖像，對所述瀏覽者進行分類。
15.如權利要求14所述的系統，其中對所述瀏覽者的分類包括至少下列操作中之一 估算所述的瀏覽者的年齡；識別所述的瀏覽者為一特定的個體； 跟蹤所述的瀏覽者； 確定所述的瀏覽者在空間的位置； 識別所述的瀏覽者視線所集中的媒介。
16.如權利要求13所述的系統，其中所述瀏覽行為包括至少以下之一 所述瀏覽者的眼睛和所述媒介的距離；所述瀏覽者的視線方向和所述媒介的角度； 所述瀏覽者在所述媒介所化的時間； 所述瀏覽者的身體姿態； 所述瀏覽者和所述媒介周圍的照明情況； 顯示在所述媒介上的內容。
17.如權利要求16所述的系統，其中所述的照明情況採用至少以下途徑之一來測量 分析所述的圖像；分析來自於至少一個光傳感器的信號。
18.如權利要求13所述的系統，基於所述瀏覽行為的分析結果，進一步向至少一個所 述的瀏覽者提供健康保護功能。
19.如權利要求18所述的系統，其中所述健康保護功能執行至少一個瀏覽政策。
20.如權利要求7所述的系統，其中所述的瀏覽政策包括 一個跟健康有關的瀏覽行為規則。
21.如權利要求8所述的系統，其中所述的瀏覽政策包括至少以下之一 若所述規則被違反，對所述媒介瀏覽者執行一個實時或延時的動作； 若所述規則被遵守，對所述媒介瀏覽者執行一個實時或延時的動作。
22.如權利要求21所述的系統，其中所述的動作包括至少以下之一 一個對所述的瀏覽者的勸阻性的提醒；一個對所述的瀏覽者的鼓勵性的提醒。
23.如權利要求22所述的系統，其中所述的提醒包括至少之一 一個可見的反饋；一個可聽的反饋； 一個可觸覺的反饋； 一個任何形式的有形反饋。
24.如權利要求21所述的系統，其中所述的動作包括至少之一 縮小對所述的媒介的使用權限；放寬對所述的媒介的使用權限。
25.一個自動監控至少一個信息媒介的一個或多個瀏覽者的瀏覽行為的產品，其中包一個獲得至少一副有關所述媒介的瀏覽空間的圖像的步驟；一個通過分析所述圖像，檢測所述媒介的瀏覽者的步驟；若檢測到所述媒介的瀏覽者，一個通過分析所述圖像，評估其瀏覽行為的步驟。
26.如權利要求25所述的產品，進一步包括一個根據所述瀏覽行為的分析結果向所述瀏覽者提供一個健康保護功能的步驟。
全文摘要
媒介瀏覽者健康保護的方法和裝置的發明涉及媒介瀏覽、健康保護和應用信息技術領域。它提供了一個評估媒介瀏覽者瀏覽行為的方法和裝置。通過對瀏覽空間拍攝圖像及分析，用機器視覺技術進行媒介瀏覽者的檢測和行為評估。根據對媒介瀏覽者的瀏覽行為的評估結果，向其提供健康保護功能。
文檔編號G06K9/62GK101853390SQ20091021727
公開日2010年10月6日 申請日期2009年12月28日 優先權日2008年12月29日
發明者謝愛國 申請人:謝愛國