基於眼球跟蹤的網頁圖像個性化搜索方法
2023-07-31 16:04:21
專利名稱：基於眼球跟蹤的網頁圖像個性化搜索方法
技術領域：
本發明涉及計算機搜索領域，尤其涉及一種基於眼球跟蹤的網頁圖像個性化搜索方法。
背景技術：
現有的個性化引擎依靠的是用戶的反饋，它可以分為顯式反饋和隱式反饋。我們從這兩種反饋中都可以得到用戶的喜好特徵(Salton & Buckley 1990；White，Jose，& Ruthven 2001；White，Ruthven，& Jose 2002)。但是用戶一般都不願意去提供顯式的反饋，所以現在的研究越來越多的研究都轉向隱式反饋(Granka，Joachims，& Gay 2004；Guan & Cutrell 2007；Fu 2007)。研究表明，隱式反饋可以很好的反映用戶的搜索意圖(Fox etal.2005；Dou，Song，& Wen 2007；Fu 2007).並且從大量的隱式反饋中得到的用戶喜好往往比顯式反饋更加可靠。
查詢歷史現代研究中，用得最多的隱式反饋就是用戶的查詢歷史。Google的個性化搜索(http://www.google.com/psearch)就是基於用戶的查詢歷史的。總的來說，基於查詢歷史的算法又可以分為以下兩類一類是基於整個查詢歷史的算法，另一類是基於某個查詢會話(指的是一連串相關的查詢)。對於前者來說，通常算法會產生一個該用戶的概要文本用來描述用戶的搜索喜好。
點擊數據點擊數據是另一種非常重要的隱式反饋，如(Dupret，Mrudock，&Piwowarski 2007；Joachims 2002)。在一個搜索結果頁面上，我們假設用戶點擊過的連結比用戶沒有點過的連結對於此用戶來說更加重要。研究者們用了很多中方法從用戶的點擊行為中獲取用戶的喜好特徵。舉例來說，有些研究者用一種叫Ranking SVM的算法(Hersh et al.1994)通過用戶的點擊信息來獲得對該用戶來說最好的網頁排序。在(Radlinski & Joachims 2005)一文中，作者不但從用戶的單次查詢中提取用戶喜好，同時也從用戶對同一信息的一連串查詢中提取用戶的喜好，這些喜好特徵然後通過Ranking SVM的改進算法來進行訓練。Sun et al.(2005)提出了一種基於Singluar Value Decomposition的算法，它通過分析用戶的點擊數據來提高搜尋引擎的建議系統的準確率。
關注時間相對來說，關注時間是一個新型的隱式用戶反饋。雖然它在近期的研究中越來越多被提到，但是關於它是否真的能夠反映用戶意圖仍然有爭辯。Kelly和Belkin(2004；2001)建議說，在文本的關注時間和它對用戶的有用度之間並沒有非常可靠的相互關係。但是不同的是，在他們的研究當中，關注時間是通過測量一組用戶閱讀不同主題的文章而得到的平均關注時間。Halabiet al.(2007)認為對於一個的用戶在同一個搜索行為中關注時間，它可以很好的反映出用戶的喜好。我們認為以上兩個研究並不矛盾，因為他們所計算的關注時間並不相同。
發明內容
本發明的目的是克服現有技術的不足，提供一種基於眼球跟蹤的網頁圖像個性化搜索方法。
基於眼球跟蹤的網頁圖像個性化搜索方法包括以下步驟 1)利用眼球跟蹤裝置，獲取用戶對網頁圖像關注時間的樣本信息； 2)對獲取到的用戶關注時間樣本進行校正； 3)對未知網頁圖像，運用決策樹的方法動態選擇合適的圖像相似度算法； 4)基於圖像相似度來預測未知網頁圖像的用戶關注時間； 5)利用用戶關注時間結合傳統搜索技術生成個性化的網頁圖像搜索結果。
所述的利用眼球跟蹤裝置，獲取用戶對網頁圖像關注時間的樣本信息步驟 (a)在網頁圖像搜索結果頁面上，搜尋引擎通常會在搜索結果頁面上為每個網頁圖像提供縮略圖；利用眼球跟蹤裝置，追蹤用戶眼球的移動位置，從而來記錄用戶在某個網頁圖像縮略圖上花的時間； (b)在被打開的網頁圖像頁面上，記錄用戶眼球裝置在該圖像各子區域處移動的時間；設圖像I由互不相交的等尺寸的矩形圖像子區域R1，R2...Rn構成，每當眼球跟蹤裝置當前位置位於坐標(x，y)處時，設(xi，yi)為子區域Ri內距離(x，y)最近的點，則子區域Ri的用戶關注時間
增加 其中參數σ的值預設為1cm； (c)對於此網頁圖像的關注時間就是觀看該圖像縮略圖的時間加上觀看該圖像各子區域處的圖像頁面的時間之和；如果之後用戶的眼球跟蹤裝置又重新在該圖像某子區域或縮略圖上移動，那麼該網頁圖像的用戶關注時間會相應增加。
所述的對獲取到的用戶關注時間樣本進行校正步驟 (d)對獲取到的用戶關注時間樣本通過校正公式 進行校正，其中
是從步驟(a)～(c)中收集到的用戶關注時間，tbasic(I)是用戶用來判斷此圖像是否值得一讀的時間，
則是校正後的對該網頁圖像I的用戶關注時間。
所述的對未知網頁圖像，運用決策樹的方法動態選擇合適的圖像相似度算法步驟 (e)任意挑選5個已有的圖像相似度算法A1，A2，...，A5；並從步驟(a)～(d)收集到的樣本集中任意挑選其中90％的圖像作為訓練集，另10％的圖像作為測試集； (f)對訓練集與樣本集中的每個圖像中的每個圖像子區域R，提取出特徵向量F(R)首先使用已有的非負矩陣的因素分解方法對訓練集中的圖像子區域進行聚類，每個圖像子區域都將獲得幾個分值，每個分值表示的是該圖像子區域對某一聚類集合的依附程度，選擇最高的3個依附分值和相應聚類集合編號作為特徵向量 F(R)＝(N1(R)，f1(R)，N2(R)，f2(R)，N3(R)，f3(R)) 其中N1(R)，N2(R)，N3(R)是有最高依附分值的三個聚類集合編號，f1(R)，f2(R)，f3(R)則是對應的依附分值； (g)對於訓練集與測試集中每個圖像子區域R，分別用每個圖像相似度算法Ai預測算法預測它的關注時間，然後分別和真實關注時間進行相減，得到誤差error；從A1～A5中找到其中誤差error最小的算法Aopt(R)； (h)使用一個決策樹來學習每個圖像子區域R的特徵向量F(R)與具有最小誤差error的算法Aopt(R)之間的關係；即以圖像特徵向量、算法編號分別作為決策樹的輸入輸出，並使用訓練集中的樣本對決策樹進行訓練，當決策樹的輸出在測試集中樣本上的平均誤差最小時，保存此時的決策樹； (i)用訓練好的決策樹為未知網頁圖像Ix中的每個圖像子區域選擇最合適的圖像相似度算法； 所述的基於圖像相似度來預測未知網頁圖像的用戶關注時間步驟 (j)用Sim(Ro，R1)來表示圖像子區域R0和圖像子區域R1之間的相似度，同時Sim(Ro，R1)∈
，在計算兩個圖像子區域的相似度之前，將它們的圖像尺寸歸一化為同樣大小； (k)把每個已通過眼球跟蹤獲取到用戶關注時間的網頁圖像子區域樣本集表示為{tatt(u，Ri)|i＝1，...n}，其中n是當前用戶閱讀過的圖像子區域的個數，閱讀過的圖像子區域表示為Ri(i＝1，...，n)，當用戶遇到一個新的圖像Ix的時候，設Ix由矩形圖像子區域R1(x)，R2(x)...Rm(x)構成，對其中每個圖像Rj(x)和樣本集中的所有圖像進行相似度計算，挑選出k個具有最高相似度的圖像，把k設為min(10，m)，挑選出來的圖像為Ri(i＝1，...，k)，用以下這個公式來預測Rj(x)的用戶關注時間， 其中γ用來控制Sim(，)的值佔多的比重，ε是一個很小的正整數用來防止表達式的分母為0，函數δ(，)用來去除一些相似度非常低的圖像，它被定義為: (1)計算新圖像Ix的用戶關注時間，使用如下公式 所述的利用用戶關注時間結合傳統搜索技術生成個性化的網頁圖像搜索結果步驟 (m)當用戶提交一個查詢請求時，服務端首先將查詢重定向至傳統圖像搜尋引擎，並獲得返回的前n個網頁圖像，對於返回的每個頁面，系統將在該用戶的樣本集中查找k個與圖像相似度最高的樣本，並用步驟(j)～(1)中的方法預測該網頁圖像的關注時間； (n)對於傳統的排序，系統會生成一個關注時間偏差，那就是在傳統排序中，排名越高的圖像，獲得更高的關注時間偏差，用如下公式定義這個偏差 其中rank(I)表示的圖像I在傳統圖像搜尋引擎的排序的排名，參數κd用來控制關注時間隨排名下降的坡度； (o)從圖像I的關注時間tatt(I)和偏差
獲得圖像I的全局關注時間參數κoverall是一個用戶變量，用來控制該用戶希望個性化的排名佔的比重； (p)最終排序將按照總關注時間的倒序排列，生成搜索結果。
本發明有效地將用戶的喜好結合在搜索過程中，充分的利用了眼球跟蹤技術獲取用戶當前的興趣所在，並利用機器學習技術中的決策樹動態選擇圖像相似度算法，更加準確的預測了未知圖像對用戶的潛在吸引力，使得最終的搜索排名結果更加接近用戶期待的理想排名，從而使得網頁圖像引擎為用戶提供更好的個性化服務。
圖1是具體實施方式
的流程圖； 圖2是7組圖片搜索實驗的坐標圖，具體數據在表1和表2中；每組實驗都是由不同的用戶在相同的設置下進行的，坐標上畫的是用戶的平均的期望排名，平均值越小，那麼用戶期望的圖片在搜索結果中將會出現得越靠前。
具體實施例方式 基於眼球跟蹤的網頁圖像個性化搜索方法包括以下步驟 1)利用眼球跟蹤裝置，獲取用戶對網頁圖像關注時間的樣本信息； 2)對獲取到的用戶關注時間樣本進行校正； 3)對未知網頁圖像，運用決策樹的方法動態選擇合適的圖像相似度算法； 4)基於圖像相似度來預測未知網頁圖像的用戶關注時間； 5)利用用戶關注時間結合傳統搜索技術生成個性化的網頁圖像搜索結果。
所述的利用眼球跟蹤裝置，獲取用戶對網頁圖像關注時間的樣本信息步驟 (a)在網頁圖像搜索結果頁面上，搜尋引擎通常會在搜索結果頁面上為每個網頁圖像提供縮略圖；利用眼球跟蹤裝置，追蹤用戶眼球的移動位置，從而來記錄用戶在某個網頁圖像縮略圖上花的時間； (b)在被打開的網頁圖像頁面上，記錄用戶眼球裝置在該圖像各子區域處移動的時間；設圖像I由互不相交的等尺寸的矩形圖像子區域R1，R2...Rn構成，每當眼球跟蹤裝置當前位置位於坐標(x，y)處時，設(xi，yi)為子區域Ri內距離(x，y)最近的點，則子區域Ri的用戶關注時間
增加 其中參數σ的值預設為1cm； (c)對於此網頁圖像的關注時間就是觀看該圖像縮略圖的時間加上觀看該圖像各子區域處的圖像頁面的時間之和；如果之後用戶的眼球跟蹤裝置又重新在該圖像某子區域或縮略圖上移動，那麼該網頁圖像的用戶關注時間會相應增加。
所述的對獲取到的用戶關注時間樣本進行校正步驟 (d)對獲取到的用戶關注時間樣本通過校正公式 進行校正，其中
是從步驟(a)～(c)中收集到的用戶關注時間，tbasic(I)是用戶用來判斷此圖像是否值得一讀的時間，
則是校正後的對該網頁圖像I的用戶關注時間。
所述的對未知網頁圖像，運用決策樹的方法動態選擇合適的圖像相似度算法步驟 (e)任意挑選5個已有的圖像相似度算法A1，A2，...，A5；並從步驟(a)～(d)收集到的樣本集中任意挑選其中90％的圖像作為訓練集，另10％的圖像作為測試集； (f)對訓練集與樣本集中的每個圖像中的每個圖像子區域R，提取出特徵向量F(R)首先使用已有的非負矩陣的因素分解方法對訓練集中的圖像子區域進行聚類，每個圖像子區域都將獲得幾個分值，每個分值表示的是該圖像子區域對某一聚類集合的依附程度，選擇最高的3個依附分值和相應聚類集合編號作為特徵向量 F(R)＝(N1(R)，f1(R)，N2(R)，f2(R)，N3(R)，f3(R)) 其中N1(R)，N2(R)，N3(R)是有最高依附分值的三個聚類集合編號，f1(R)，f2(R)，f3(R)則是對應的依附分值； (g)對於訓練集與測試集中每個圖像子區域R，分別用每個圖像相似度算法Ai預測算法預測它的關注時間，然後分別和真實關注時間進行相減，得到誤差error；從A1～A5中找到其中誤差error最小的算法Aopt(R)； (h)使用一個決策樹來學習每個圖像子區域R的特徵向量F(R)與具有最小誤差error的算法Aopt(R)之間的關係；即以圖像特徵向量、算法編號分別作為決策樹的輸入輸出，並使用訓練集中的樣本對決策樹進行訓練，當決策樹的輸出在測試集中樣本上的平均誤差最小時，保存此時的決策樹； (i)用訓練好的決策樹為未知網頁圖像Ix中的每個圖像子區域選擇最合適的圖像相似度算法； 所述的基於圖像相似度來預測未知網頁圖像的用戶關注時間步驟 (j)用Sim(Ro，R1)來表示圖像子區域R0和圖像子區域R1之間的相似度，同時Sim(Ro，R1)∈
，在計算兩個圖像子區域的相似度之前，將它們的圖像尺寸歸一化為同樣大小； (k)把每個已通過眼球跟蹤獲取到用戶關注時間的網頁圖像子區域樣本集表示為{tatt(u，Ri)|i＝1，...n}，其中n是當前用戶閱讀過的圖像子區域的個數，閱讀過的圖像子區域表示為Ri(i＝1，...，n)，當用戶遇到一個新的圖像Ix的時候，設Ix由矩形圖像子區域R1(x)，R2(x)...Rm(x)構成，對其中每個圖像Rj(x)和樣本集中的所有圖像進行相似度計算，挑選出k個具有最高相似度的圖像，把k設為min(10，m)，挑選出來的圖像為Ri(i＝1，...，k)，用以下這個公式來預測Rj(x)的用戶關注時間， 其中γ用來控制Sim(，)的值佔多的比重，ε是一個很小的正整數用來防止表達式的分母為0，函數δ(，)用來去除一些相似度非常低的圖像，它被定義為: (1)計算新圖像Ix的用戶關注時間，使用如下公式 所述的利用用戶關注時間結合傳統搜索技術生成個性化的網頁圖像搜索結果步驟 (m)當用戶提交一個查詢請求時，服務端首先將查詢重定向至傳統圖像搜尋引擎，並獲得返回的前n個網頁圖像，對於返回的每個頁面，系統將在該用戶的樣本集中查找k個與圖像相似度最高的樣本，並用步驟(j)～(1)中的方法預測該網頁圖像的關注時間； (n)對於傳統的排序，系統會生成一個關注時間偏差，那就是在傳統排序中，排名越高的圖像，獲得更高的關注時間偏差，用如下公式定義這個偏差 其中rank(I)表示的圖像I在傳統圖像搜尋引擎的排序的排名，參數κd用來控制關注時間隨排名下降的坡度； (o)從圖像I的關注時間tatt(I)和偏差
獲得圖像I的全局關注時間參數κoverall是一個用戶變量，用來控制該用戶希望個性化的排名佔的比重； (p)最終排序將按照總關注時間的倒序排列，生成搜索結果。
實施例 本發明的基於眼球跟蹤的網頁圖像個性化搜索方法的流程結構如圖1所示。該個性化排序系統包括客戶端和服務端兩部分，客戶端通過20、眼球跟蹤裝置來獲取用戶的關注時間，服務端包括30、樣本收集模塊，40、關注時間校正，50、用戶資料庫和60、圖像資料庫，70、查詢界面，80、傳統引擎模塊，90、圖像預處理模塊，100、圖像比較模塊，110、關注時間預測模塊，120、排序模塊。
眼球跟蹤裝置20，利用先進的眼球運動捕捉儀器，分析當前用戶視線所在圖像的位置，以及用戶在該圖像上的關注時間。在本例中眼球跟蹤裝置採用普通攝像頭(Logitech Quickcam Notebook Pro)搭配開源眼球跟蹤系統opengazer(http://www.inference.phy.cam.ac.uk/opengazer/)組裝而成。
樣本收集模塊30，將客戶端發送的樣本數據存入對應用戶的資料庫中，如果某圖像在圖像資料庫中不存在，則下載並存入圖像資料庫。
關注時間校正模塊40，直接從客戶端獲得的預測關注時間還需要進行校正，當用戶瀏覽一個圖像時，不管此圖像是否對該用戶有用，用戶都得花一段時間去粗略的瀏覽此圖像。一般來說，此時獲得關注時間既包括了用戶的實際關注時間也包括了用戶粗略瀏覽該圖像的時間，為了克服這個問題，我們需要此模塊來校正我們原先獲得的關注時間。
用戶資料庫50，存儲系統各個用戶對圖像的關注時間，在本例中用MYSQL存儲。
圖像資料庫60，存儲圖像的數據，在本例中用MYSQL存儲。
查詢界面70，提供一個用戶查詢的web入口，提供圖片搜索服務。在本例中，此查詢界面用jsp實現。
傳統引擎模塊80，當用戶提交一個查詢請求時，服務端會對傳統搜尋引擎(比如Google)的結果頁面進行解析並獲取其返回結果中的前300個圖像，並將圖像下載存至圖像伺服器。
圖像預處理模塊90，直接從網站下載下來的網頁包含很多無用信息，比如HTML標籤，廣告欄，導航欄等。此模塊用於去除網頁中的無用信息，保留用戶將關注的主體圖像。在本例中，我們實現了，去除HTML標籤功能。
圖像比較模塊100，我們用決策樹算法動態的選擇最適合的圖像相似度比較算法。我們挑選了5個圖像相似度算法A1，A2，...，A5。對於訓練集中的樣本，我們隨機的選擇90％的樣本作為訓練樣本，剩下的10％作為測試樣本。對於測試集中每個圖像Ix和算法Ai，我們用預測算法預測它的關注時間，然後和真實關注時間進行比較，我們可以得到一個誤差error，表示為(Ix，Ai，error)，這樣我們可以從A1～A5中找到最小誤差的算法Aopt。接下來我們將對決策樹進行訓練，此決策樹的輸入是一個特徵向量，輸出是對應相似度算法的標識。我們對每個圖像Ix提取出一個特徵向量F(Ix)，直接的是將Ix中的每個單詞作為特徵會使特徵空間變得巨大。因此我們引入了一個聚類算法來生成特徵向量F(Ix)使得特徵變小。在這些圖像被聚合之後，每個圖像都有幾個分值，每個分值表示的是該圖像對某一聚集的依附程度，我們選擇最高的3個依附分值和聚集標識作為特徵向量 F(Ix)＝(N1(Ix)，f1(Ix)，N2(Ix)，f2(Ix)，N3(Ix)，f3(Ix)) N1(Ix)，N2(Ix)，N3(Ix)是有最高依附分值的三個聚集標識，f1(Ix)，f2(Ix)，f3(Ix)則是對應的依附分值。接下來我們就用新生成的特徵向量來訓練決策樹，為了防止過度訓練，我們用10-folder交叉驗證的方法來測試決策樹。一旦決策樹生成，我們將在運行過程中動態的決定用什麼文本相似度算法來進行相似度計算。在本例中，我們選用的5個圖片相似度算法為基於像素的灰度直方圖相似度算法，基於「ScalableColor」的，「ColorLayout」以及「EdgeHistogram」算法和基於「Auto ColorCorrelogram」(Huang et al.1997)的相似度算法。實施例中所用的聚類算法為Unsupervised image-set clustering算法(Goldberger 2006)。
關注時間預測模塊110，包含以下幾個步驟 a.)此模塊對於傳統引擎模塊中的每個圖像都進行關注時間的預測。首先我們把每個訓練樣本表示為{Iatt(u，Ii)|i＝1，...n}，其中n是當前用戶閱讀過的圖像的個數。閱讀過的圖像表示為Ii(i＝1，...，n)。對於傳統引擎返回的圖像Ix的時候，我們會計算圖像Ix和測試集中的所有圖像進行相似度計算。然後我們會挑選出k個具有最高相似度的圖像。在我們的實施例中，我們把k設為min(10，n)。我們挑選出來的圖像為Ii(i＝1，...，k).然後我們用以下這個方程來預測Ix的關注時間 其中γ用來控制Sim(，)的值佔多的比重，ε是一個很小的正整數用來防止表達式的分母為0。函數δ(，)用來去除一些相似度非常低的圖像，它被定義為 b.)在系統運行的初期，我們還會將傳統引擎的排名轉化成一個關注時間偏差。我們用下面這個方程將傳統排名轉化成一個值在0和1之間的標準化關注時間偏差 其中rank(i)表示的圖像i在傳統搜尋引擎的排名。我們之所以選擇這樣一個式子是因為它可以把網頁排名信息轉換成關注時間，而且讓排名較低的圖像轉化所得的關注時間相對更短。參數κd用來控制關注時間隨排名下降的坡度，在我們是實驗中，我們設定為0.2。
c.)一旦我們得到了圖像i的關注時間tatten(i)和偏差
我們可以獲得該圖像的全局關注時間參數κoverall是一個用戶變量，用來控制該用戶希望個性化的排名佔的比重。最終網頁的排名就是按照全局關注時間的降序來排列的。我們實現了種自動設置κoverall值的方法，當訓練集中的樣本很少的時候，κoverall值較小，並且當訓練集中的樣本變的越來越多的時候，κoverall值越來越大。之所以這樣是因為我們的排序算法從根本上來說是一個學習算法。但是，就像其他學習算法一樣，當訓練樣本集還很小的時候，算法會產生比較差的結果，因此我們需要借鑑傳統引擎的排序結果。在我們的實驗中，我們一個S形函數去自動驗證κoverall的值，發現它是一個常量，通常為0.1。
排序模塊120，排序模塊將結果按照所有圖像按照全局關注時間進行倒序排列，並將結果返回給用戶。
表1～2的實驗結果清晰的顯示出本方法的優越性； 表1是一組以「畢卡索」(Picasso)為關鍵詞的圖像搜索實驗數據；用戶想用″Picasso″去查找Picasso的自畫像，在60個圖片中僅有6是符合用戶需求的；表中每一欄表示的是這些符合需求的圖片在圖像搜尋引擎Google，以及本方法得出的的排名；Rk1st，Rk2nd，Rk3rd分別表示的是用戶在閱讀過搜索結果第1，2，3頁之後的排名情況；Rkgoogle表示的是這些圖像在Google圖像搜索的排名情況。最後一行是這些圖像在各個情況下的平均排名；平均排名值越小，用戶所需求的圖像將出現的越早； 表1 表2是另外6組圖像搜索的實驗數據；實驗中每個用戶都被要求在60個圖片中尋找他所需要的圖像；第一列為搜索關鍵詞，第二列為用戶所需要的圖片個數；RkGoogle表示在網頁圖像搜尋引擎Google中用戶所需網頁的平均排名；Rk1st、Rk2nd、Rk3rd分別表示的是用戶在閱讀過搜索結果第1、2、3頁之後，用戶所需網頁圖像的平均排名； 表2 上述表格表明，本發明有效地將用戶的喜好結合在搜索過程中，使得最終的排名結果更加接近用戶期待的理想排名，從而使得網頁文本與圖像搜尋引擎為用戶提供更好的個性化服務。
以上所述僅為本發明的基於眼球跟蹤的網頁圖像個性化搜索方法的較佳實施例，並非用以限定本發明的實質技術內容的範圍。本發明的基於眼球跟蹤的網頁圖像個性化搜索方法，其實質技術內容是廣泛的定義於權利要求書中，任何他人所完成的技術實體或方法，若是與權利要求書中所定義者完全相同，或是同一等效的變更，均將被視為涵蓋於此專利保護範圍之內。
權利要求
1.一種基於眼球跟蹤的網頁圖像個性化搜索方法，其特徵在於包括以下步驟
1)利用眼球跟蹤裝置，獲取用戶對網頁圖像關注時間的樣本信息；
2)對獲取到的用戶關注時間樣本進行校正；
3)對未知網頁圖像，運用決策樹的方法動態選擇合適的圖像相似度算法；
4)基於圖像相似度來預測未知網頁圖像的用戶關注時間；
5)利用用戶關注時間結合傳統搜索技術生成個性化的網頁圖像搜索結果。
2.根據權利要求1所述的一種基於眼球跟蹤的網頁圖像個性化搜索方法，其特徵在於所述的利用眼球跟蹤裝置，獲取用戶對網頁圖像關注時間的樣本信息步驟
(a)在網頁圖像搜索結果頁面上，搜尋引擎通常會在搜索結果頁面上為每個網頁圖像提供縮略圖；利用眼球跟蹤裝置，追蹤用戶眼球的移動位置，從而來記錄用戶在某個網頁圖像縮略圖上花的時間；
(b)在被打開的網頁圖像頁面上，記錄用戶眼球裝置在該圖像各子區域處移動的時間；設圖像I由互不相交的等尺寸的矩形圖像子區域R1，R2...Rn構成，每當眼球跟蹤裝置當前位置位於坐標(x，y)處時，設(xi，yi)為子區域Ri內距離(x，y)最近的點，則子區域Ri的用戶關注時間
增加
其中參數σ的值預設為1cm；
(c)對於此網頁圖像的關注時間就是觀看該圖像縮略圖的時間加上觀看該圖像各子區域處的圖像頁面的時間之和；如果之後用戶的眼球跟蹤裝置又重新在該圖像某子區域或縮略圖上移動，那麼該網頁圖像的用戶關注時間會相應增加。
3.根據權利要求1所述的一種基於眼球跟蹤的網頁圖像個性化搜索方法，其特徵在於所述的對獲取到的用戶關注時間樣本進行校正步驟
(d)對獲取到的用戶關注時間樣本通過校正公式
進行校正，其中
是從步驟(a)～(c)中收集到的用戶關注時間，tbasic(I)是用戶用來判斷此圖像是否值得一讀的時間，
則是校正後的對該網頁圖像I的用戶關注時間。
4.根據權利要求1所述的一種基於眼球跟蹤的網頁圖像個性化搜索方法，其特徵在於所述的對未知網頁圖像，運用決策樹的方法動態選擇合適的圖像相似度算法步驟
(e)任意挑選5個已有的圖像相似度算法A1，A2，...，A5；並從步驟(a)～(d)收集到的樣本集中任意挑選其中90％的圖像作為訓練集，另10％的圖像作為測試集；
(f)對訓練集與樣本集中的每個圖像中的每個圖像子區域R，提取出特徵向量F(R)首先使用已有的非負矩陣的因素分解方法對訓練集中的圖像子區域進行聚類，每個圖像子區域都將獲得幾個分值，每個分值表示的是該圖像子區域對某一聚類集合的依附程度，選擇最高的3個依附分值和相應聚類集合編號作為特徵向量
F(R)＝(N1(R)，f1(R)，N2(R)，f2(R)，N3(R)，f3(R))
其中N1(R)，N2(R)，N3(R)是有最高依附分值的三個聚類集合編號，f1(R)，f2(R)，f3(R)則是對應的依附分值；
(g)對於訓練集與測試集中每個圖像子區域R，分別用每個圖像相似度算法Ai預測算法預測它的關注時間，然後分別和真實關注時間進行相減，得到誤差error；從A1～A5中找到其中誤差error最小的算法Aopt(R)；
(h)使用一個決策樹來學習每個圖像子區域R的特徵向量F(R)與具有最小誤差error的算法Aopt(R)之間的關係；即以圖像特徵向量、算法編號分別作為決策樹的輸入輸出，並使用訓練集中的樣本對決策樹進行訓練，當決策樹的輸出在測試集中樣本上的平均誤差最小時，保存此時的決策樹；
(i)用訓練好的決策樹為未知網頁圖像Ix中的每個圖像子區域選擇最合適的圖像相似度算法。
5.根據權利要求1所述的一種基於眼球跟蹤的網頁圖像個性化搜索方法，其特徵在於所述的基於圖像相似度來預測未知網頁圖像的用戶關注時間步驟
(j)用Sim(Ro，R1)來表示圖像子區域R0和圖像子區域R1之間的相似度，同時Sim(Ro，R1)∈
，在計算兩個圖像子區域的相似度之前，將它們的圖像尺寸歸一化為同樣大小；
(k)把每個已通過眼球跟蹤獲取到用戶關注時間的網頁圖像子區域樣本集表示為{tatt(u，Ri)|i＝1，...n}，其中n是當前用戶閱讀過的圖像子區域的個數，閱讀過的圖像子區域表示為Ri(i＝1，...，n)，當用戶遇到一個新的圖像Ix的時候，設Ix由矩形圖像子區域R1(x)，R2(x)...Rm(x)構成，對其中每個圖像Rj(x)和樣本集中的所有圖像進行相似度計算，挑選出k個具有最高相似度的圖像，把k設為min(10，m)，挑選出來的圖像為Ri(i＝1，...，k)，用以下這個公式來預測Rj(x)的用戶關注時間，
其中γ用來控制Sim(，)的值佔多的比重，ε是一個很小的正整數用來防止表達式的分母為0，函數δ(，)用來去除一些相似度非常低的圖像，它被定義為:
(1)計算新圖像Ix的用戶關注時間，使用如下公式
6.根據權利要求1所述的一種基於眼球跟蹤的網頁圖像個性化搜索方法，其特徵在於所述的利用用戶關注時間結合傳統搜索技術生成個性化的網頁圖像搜索結果步驟
(m)當用戶提交一個查詢請求時，服務端首先將查詢重定向至傳統圖像搜尋引擎，並獲得返回的前n個網頁圖像，對於返回的每個頁面，系統將在該用戶的樣本集中查找k個與圖像相似度最高的樣本，並用步驟(j)～(1)中的方法預測該網頁圖像的關注時間；
(n)對於傳統的排序，系統會生成一個關注時間偏差，那就是在傳統排序中，排名越高的圖像，獲得更高的關注時間偏差，用如下公式定義這個偏差
其中rank(I)表示的圖像I在傳統圖像搜尋引擎的排序的排名，參數κd用來控制關注時間隨排名下降的坡度；
(o)從圖像I的關注時間tatt(I)和偏差
獲得圖像I的全局關注時間參數κoverall是一個用戶變量，用來控制該用戶希望個性化的排名佔的比重；
(p)最終排序將按照總關注時間的倒序排列，生成搜索結果。
全文摘要
本發明公開了一種基於眼球跟蹤的網頁圖像個性化搜索方法。該方法包括以下步驟1)利用眼球跟蹤裝置，獲取用戶對網頁圖像關注時間的樣本信息；2)對獲取到的用戶關注時間樣本進行校正；3)對未知網頁圖像，運用決策樹的方法動態選擇合適的圖像相似度算法；4)基於圖像相似度來預測未知網頁圖像的用戶關注時間；5)利用用戶關注時間結合傳統搜索技術生成個性化的網頁圖像搜索結果。本發明有效地通過眼球跟蹤裝置獲取到了用戶的個人閱讀興趣，將用戶的喜好結合在網頁圖像搜索過程中，使得最終的圖像搜索排名結果更加接近用戶期待的理想排名。
文檔編號G06F17/30GK101382940SQ20081012165
公開日2009年3月11日 申請日期2008年10月23日 優先權日2008年10月23日
發明者徐頌華, 浩 江, 劉智滿, 潘雲鶴 申請人:浙江大學