一種轉碼資源緩存處理方法、裝置及設備與流程

2023-07-05 17:19:03 1

本發明涉及移動網際網路技術領域，具體涉及一種轉碼資源緩存處理方法、裝置及設備。

背景技術：

目前的移動瀏覽器應用中，有一種基於瀏覽中轉架構的技術。該技術利用中轉服務集群的優勢，例如中轉服務集群中的中轉伺服器的數據緩存和頁面計算能力等方面的優勢，來加速頁面瀏覽速度及通過轉碼技術修改原頁面的數據展現布局來改善用戶體驗。所謂轉碼，就是通過對原頁面的關鍵數據進行識別提取，過濾無關數據，及對關鍵數據進行頁面重布局，使頁面達到突出關鍵數據的效果，從而改善用戶的瀏覽體驗。

現有的瀏覽中轉服務使用了轉碼頁緩存方法，該方法主要包括：對於某個站點頁面a的首次訪問請求，如果頁面a可以進行轉碼則進行轉碼處理得到轉碼後的頁面a』(稱為「轉碼頁」)。將頁面a』按照預定義的格式保存到集群級別的轉碼頁緩存系統中。如果下次再接收到對頁面a的再次訪問請求，且該次需要對該頁面進行轉碼，則直接通過訪問轉碼頁緩存系統獲取其對應的轉碼頁面a』，直接把該頁面及其外聯引用的子資源數據返回，而不需要重新加載原始頁面a進行重複的轉碼處理。上述子資源數據，主要是指圖片數據，javascript資源及css(cascadingstylesheets，層疊樣式表)資源在轉碼時已進行處理，不需要返回。例如，對於某個站點的頁面，在一定時間段內，會被多個用戶同時或者相繼訪問。在第一次訪問該頁面時，通過緩存其轉碼後的頁面，那麼在後繼訪問該頁面時可以直接使用緩存的頁面數據來進行響應。例如對於某個小說頁面如果總計有100次訪問， 則除第1次需要進行轉碼處理外，其餘99次都可以直接使用轉碼頁緩存。因此，避免了不必要的轉碼處理，既減少了伺服器的cpu資源開銷，也加快了頁面瀏覽的響應耗時。

但是，現有的轉碼頁緩存方法，在標識轉碼頁的緩存關鍵字key中，帶有原頁面的路徑信息，這個路徑信息是基於域名的。某些小說類站點為了用戶訪問便利或者營銷的因素，通常會使用多個域名，通常一個站點有2～3個域名不等，雖然域名不同，但站點頁面內容是一致的(因為指向的網際網路web伺服器一樣)。這一點在圖片類站點中更為突出，有些站點甚至有過百個域名。而圖片類站點還存在一種場景，其域名會不定期發生變更，可能與站點方租用的域名服務商的租用規則相關，也有可能與圖片站點為了避免其圖片資源被盜用相關。

以「書書網」小說正文頁面地址為例，對於以下相同的頁面，轉碼頁緩存key由於帶有原頁面的路徑信息，會保存兩份數據。舉例，轉碼頁緩存key增加了「transcode:」前綴，以和普通頁面緩存key相區分。

頁面地址1：http://shushu.com.cn/yuanzhenxiaxili/594

轉碼頁緩存key:

transcode:http://shushu.com.cn/yuanzhenxiaxili/594

頁面地址2：http://www.shushu.com.cn/yuanzhenxiaxili/594

轉碼頁緩存key:

transcode:http://www.shushu.com.cn/yuanzhenxiaxili/594

由於這兩個分屬不同域名的相同相對路徑頁面內容本身是一樣的(從同一個網際網路web伺服器獲取的相同相對路徑頁面)，即其轉碼後的頁面也是一致的。所以，這樣會導致轉碼頁緩存存在冗餘數據。更進一步而言，這兩個頁面分別首次訪問，則中轉伺服器都需要進行轉碼處理。還是以「書書網」為例，假定其兩個域名下各有2次相同相對路徑的頁面(yuanzhenxiaxili/594)訪問，則由於轉碼頁緩存key帶有域名信息，首次訪問都需要轉碼，則共需進行2次轉碼操作(每個域名各1次)，2次直接使用轉碼頁結果；對於某些頻繁更改域名的 可轉碼站點(其web伺服器通常保持不變)，例如圖片類站點，已存儲的轉碼頁緩存數據則失去用處，因為域名信息的不同導致不能命中轉碼頁緩存key。

因此，現有的轉碼頁緩存方法有待完善。

技術實現要素：

為解決上述技術問題，本發明實施例提供一種轉碼資源緩存處理方法、裝置及設備，能有效減少轉碼頁緩存的冗餘數據。

根據本發明的一個方面，提供一種轉碼資源緩存處理方法，包括：獲取站點方的站點域名與站點ip地址的映射信息；獲取站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字；基於所述映射信息中的站點ip地址，生成轉碼頁緩存關鍵字替換字符串；用所述轉碼頁緩存關鍵字替換字符串替換所述轉碼頁緩存關鍵字中的站點域名，得到基於ip路徑的轉碼頁緩存關鍵字；以及，存儲與所述基於ip路徑的轉碼頁緩存關鍵字對應的轉碼頁緩存數據。

可選的，所述基於所述映射信息中的站點ip地址，生成轉碼頁緩存關鍵字替換字符串包括：獲取基於站點方名稱的站點標識；獲取站點方的站點域名的頁面版式標識；以及將所述站點標識、頁面版式標識以及與站點域名映射對應的ip地址相組合，生成轉碼頁緩存關鍵字替換字符串。

可選的，所述獲取站點方的站點域名的頁面版式標識包括：獲取同一站點方的多個站點域名的首頁數據；根據對各站點域名的首頁數據兩兩進行雙向差量運算的結果小於或等於設定閾值，檢測出頁面內容是一致或相近的頁面；將頁面內容是一致或相近的頁面所對應的站點域名按照相似關係進行分組；以及對同一站點方的不同組進行頁面版式識別並設置頁面版式標識。

可選的，所述對同一站點方的不同組進行頁面版式識別包括：依次從每個組抽取一個站點域名的首頁，對首頁的頁面內容基於html標記及屬性信息來識別每個組的頁面版式。

可選的，所述方法還包括：建立所述被替換站點域名與所述站點ip地址映射的轉碼頁緩存域名映射關係表。

可選的，所述方法還包括：通過定期監測所述站點域名頁面、站點域名或站點ip地址的變化，更新所述轉碼頁緩存域名映射關係表。

可選的，所述方法還包括：在接收到的瀏覽器客戶端的可轉碼頁面請求的頁面地址的站點域名存在於所述轉碼頁緩存域名映射關係表的情況下，用所述轉碼頁緩存域名映射關係表中的轉碼頁緩存關鍵字替換字符串替換所述頁面地址的站點域名，得到轉碼頁緩存關鍵字；以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找到轉碼頁緩存數據後，發送給所述瀏覽器客戶端。

可選的，所述方法還包括：在以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找不到轉碼頁緩存數據的情況下，按所述頁面地址加載頁面，並對加載的頁面進行轉碼處理；在轉碼處理後的頁面地址的站點域名存在於所述轉碼頁緩存域名映射關係表的情況下，用所述轉碼頁緩存域名映射關係表中的轉碼頁緩存關鍵字替換字符串替換所述頁面地址的站點域名，得到轉碼頁緩存關鍵字；將所述轉碼頁緩存關鍵字對應的轉碼頁緩存數據存儲到所述轉碼頁緩存系統。

根據本發明的另一個方面，提供一種轉碼資源緩存處理裝置，包括：映射模塊，用於獲取站點方的站點域名與站點ip地址的映射信息；關鍵字模塊，用於獲取站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字；字符串生成模塊，用於基於所述映射模塊的映射信息中的站點ip地址，生成轉碼頁緩存關鍵字替換字符串；轉換模塊，用於用所述字符串生成模塊生成的轉碼頁緩存關鍵字替換字符串替換所述轉碼頁緩存關鍵字中的站點域名，得到基於ip路徑的轉碼頁緩存關鍵字；緩存模塊，用於存儲與所述轉換模塊的基於ip路徑的轉碼頁緩存關鍵字對應的轉碼頁緩存數據。

可選的，所述字符串生成模塊包括：站點標識模塊，用於獲取基於站點方名稱的站點標識；版式標識模塊，用於獲取站點方的站點域名的頁面版式標識；生成模塊，用於將所述站點標識模塊的站點標識、 所述版式標識模塊的頁面版式標識以及與站點域名映射對應的ip地址相組合，生成轉碼頁緩存關鍵字替換字符串。

可選的，所述版式標識模塊是獲取同一站點方的多個站點域名的首頁數據，根據對各站點域名的首頁數據兩兩進行雙向差量運算的結果小於或等於設定閾值，檢測出頁面內容是一致或相近的頁面，將頁面內容是一致或相近的頁面所對應的站點域名按照相似關係進行分組，以及對同一站點方的不同組進行頁面版式識別並設置頁面版式標識。

可選的，所述裝置還包括：關係表模塊，用於建立所述被替換站點域名與所述站點ip地址映射的轉碼頁緩存域名映射關係表。

可選的，所述裝置還包括：監測及更新模塊，用於通過定期監測所述站點域名頁面、站點域名或站點ip地址的變化，更新所述關係表模塊的轉碼頁緩存域名映射關係表。

可選的，所述裝置還包括：處理模塊，用於在接收到的瀏覽器客戶端的可轉碼頁面請求的頁面地址的站點域名存在於所述關係表模塊的轉碼頁緩存域名映射關係表的情況下，用所述轉碼頁緩存域名映射關係表中的轉碼頁緩存關鍵字替換字符串替換所述頁面地址的站點域名，得到轉碼頁緩存關鍵字；查找模塊，用於以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找到轉碼頁緩存數據後，發送給所述瀏覽器客戶端。

可選的，所述裝置還包括：轉碼處理模塊，用於在所述查找模塊以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找不到轉碼頁緩存數據的情況下，按所述頁面地址加載頁面，並對加載的頁面進行轉碼處理；所述處理模塊在轉碼處理後的頁面地址的站點域名存在於所述轉碼頁緩存域名映射關係表的情況下，用所述轉碼頁緩存域名映射關係表中的轉碼頁緩存關鍵字替換字符串替換所述頁面地址的站點域名，得到轉碼頁緩存關鍵字；所述緩存模塊將所述轉碼頁緩存關鍵字對應的轉碼頁緩存數據存儲到所述轉碼頁緩存系統。

根據本發明的另一個方面，提供一種處理設備，包括存儲器和處 理器，所述存儲器存儲站點方的站點域名與站點ip地址的映射信息、站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字；所述處理器獲取存儲器存儲的站點方的站點域名與站點ip地址、站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字，基於所述映射信息中的站點ip地址，生成轉碼頁緩存關鍵字替換字符串，用所述轉碼頁緩存關鍵字替換字符串替換所述轉碼頁緩存關鍵字中的站點域名，得到基於ip路徑的轉碼頁緩存關鍵字；所述存儲器根據所述處理器得到的基於ip路徑的轉碼頁緩存關鍵字，存儲與所述基於ip路徑的轉碼頁緩存關鍵字對應的轉碼頁緩存數據。

可以發現，本發明實施例的技術方案，獲取站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字key後，通過將轉碼頁緩存key去除域名相關信息，改為使用ip地址信息，即將站點ip地址作為轉碼頁緩存關鍵字替換字符串，替換轉碼頁緩存關鍵字中的站點域名得到基於ip路徑的轉碼頁緩存關鍵字，因為多個域名可以對應唯一一個ip地址，所以對於某個具體相對路徑下的頁面，將域名路徑信息替換為ip路徑信息後，就只要存儲一份轉碼頁緩存數據就可以，多個域名下的該頁面訪問都可以復用這一份轉碼頁緩存數據，從而可以實現有效減少轉碼頁緩存的冗餘數據。

進一步的，本發明實施例可以將所述站點標識、頁面版式標識以及與站點域名映射對應的ip地址相組合，生成轉碼頁緩存關鍵字替換字符串，可以去除ip地址相同但站點方不同的虛擬主機的情形。

進一步的，本發明實施例還可以建立所述被替換站點域名與所述站點ip地址映射的轉碼頁緩存域名映射關係表，用於後續接收到相關頁面請求時根據該轉碼頁緩存域名映射關係表進行處理，可以簡化處理流程。

進一步的，本發明實施例可通過定期監測所述站點域名頁面、站點域名或站點ip地址的變化，更新所述轉碼頁緩存域名映射關係表。

進一步的，本發明實施例可以接收瀏覽器客戶端發送的可轉碼的頁面請求後，在請求的頁面地址的站點域名存在於所述轉碼頁緩存域 名映射關係表的情況下，通過字符串替換和添加轉碼頁緩存關鍵字前綴得到轉碼頁緩存關鍵字，然後以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找轉碼頁緩存數據，將查找到的轉碼頁緩存數據發送給所述瀏覽器客戶端。

附圖說明

通過結合附圖對本公開示例性實施方式進行更詳細的描述，本公開的上述以及其它目的、特徵和優勢將變得更加明顯，其中，在本公開示例性實施方式中，相同的參考標號通常代表相同部件。

圖1是根據本發明的一個實施例的轉碼資源緩存處理方法的示意性流程圖；

圖2是根據本發明的一個實施例的轉碼資源緩存處理方法的另一示意性流程圖；

圖3是根據本發明的一個實施例的轉碼資源緩存處理方法的另一示意性流程圖；

圖4是根據本發明的一個實施例的轉碼資源緩存處理方法中檢測不同域名的頁面相似性及輸出轉碼頁緩存域名映射關係表的示意性流程圖；

圖5是根據本發明的一個實施例的轉碼資源緩存處理方法中根據轉碼頁緩存域名映射關係表進行處理的示意性流程圖；

圖6是本發明的一種轉碼資源緩存處理處理裝置的示意性方框圖；

圖7是本發明的一種轉碼資源緩存處理處理裝置的另一示意性方框圖；

圖8是本發明的一種轉碼資源緩存處理處理裝置的另一示意性方框圖；

圖9是本發明的一種處理設備的示意性方框圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的優選實施方式。雖然附圖中顯示了本公開的優選實施方式，然而應該理解，可以以各種形式實現本公開而不應被這裡闡述的實施方式所限制。相反，提供這些實施方式是為了使本公開更加透徹和完整，並且能夠將本公開的範圍完整地傳達給本領域的技術人員。

本發明實施例提供一種轉碼資源緩存處理方法，能有效減少轉碼頁緩存的冗餘數據。

在介紹本發明實施例方案前，先介紹本發明本發明實施例的相關術語。

站點方：是指運營某個站點的web內容提供方。例如「書書網」、「瀟湘書院」等。一個站點方可能有多個站點域名。

站點方名稱：是指轉碼站點中用以標識站點方的名稱，例如「書書網」、「瀟湘書院」等都是有效的站點方名稱。在轉碼站點的運營工作中，站點方名稱都是唯一的，即使站點方的域名或者ip(internetprotocol，網絡協議)地址發生改變站點方名稱也不會變化，除非站點方的運營內容發生改變。

ip地址：是指通過數字和點按照格式組合的標識串，其可以唯一定位接入到全球網絡拓撲中的節點。可以這樣認為，ip地址相當於是一個門牌，可以定位該節點在網絡中的位置，作為信息傳輸的路由依據。

域名：是指以字母和點按照格式組合的標識串，可以視為接入到全球網絡拓撲中的節點的別名。當基於域名定位節點時，需要dnr(domainnameresolver，域名解析)服務提供支持，解析出節點實際的ip地址。一個域名可以對應一個ip地址，多個域名也可以對應一個ip地址。

以下結合附圖詳細描述本發明實施例方案。

圖1是根據本發明的一個實施例的轉碼資源緩存處理方法的示意性流程圖。

如圖1所示，在步驟101中，獲取站點方的站點域名與站點ip地 址的映射信息。

在步驟102中，獲取站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字。

例如，以「書書網」小說正文頁面地址為例，頁面地址http://shushu.com.cn/yuanzhenxiaxili/594對應的基於域名路徑轉碼頁緩存key為：transcode:http://shushu.com.cn/yuanzhenxiaxili/594。

在步驟103中，基於所述映射信息中的站點ip地址，生成轉碼頁緩存關鍵字替換字符串。

在步驟104中，用所述轉碼頁緩存關鍵字替換字符串替換所述轉碼頁緩存關鍵字中的站點域名，得到基於ip路徑的轉碼頁緩存關鍵字。

例如，以「書書網」前述頁面為例，把其站點ip地址「http://27.255.67.30」替換轉碼頁緩存key中路徑信息裡的域名「http://shushu.com.cn」，得到的基於ip路徑的轉碼頁緩存key為:transcode:http://27.255.67.30/yuanzhenxiaxili/594。

在步驟105中，存儲與所述基於ip路徑的轉碼頁緩存關鍵字對應的轉碼頁緩存數據。

該步驟中，將與所述基於ip路徑的轉碼頁緩存關鍵字對應的轉碼頁緩存數據存儲到中轉伺服器的轉碼頁緩存系統。

可以發現，本發明實施例的方案中，獲取站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字key後，通過將轉碼頁緩存key去除域名相關信息，改為使用ip地址信息，即將站點ip地址作為轉碼頁緩存關鍵字替換字符串，替換轉碼頁緩存關鍵字中的站點域名得到基於ip路徑的轉碼頁緩存關鍵字，因為多個域名可以對應唯一一個ip地址，所以對於某個具體相對路徑下的頁面，將域名路徑信息替換為ip路徑信息後，就只要存儲一份轉碼頁緩存數據就可以，多個域名下的該頁面訪問都可以復用這一份轉碼頁緩存數據，從而可以實現有效減少轉碼頁緩存的冗餘數據。

以之前示例的「書書網」的前述頁面為例，如果把其站點ip地址 替換轉碼頁緩存key中路徑信息裡的域名，則兩個不同域名的頁面地址和替換後的轉碼頁緩存key如下所示：

頁面地址1：http://shushu.com.cn/yuanzhenxiaxili/594

轉碼頁緩存key:

transcode:http://27.255.67.30/yuanzhenxiaxili/594

頁面地址2：http://www.shushu.com.cn/yuanzhenxiaxili/594

轉碼頁緩存key:

transcode:http://27.255.67.30/yuanzhenxiaxili/594

可以發現，兩個不同域名的頁面，其基於ip路徑的轉碼頁緩存key現在是一致的，而如果使用現有技術方案，則得到的是兩個不同的轉碼頁緩存key。因此，使用本發明實施例的方案，可以實現以下效果：

1)可以減少轉碼頁緩存數據的冗餘程度，在有限的緩存容量下，可以存儲更多的轉碼頁緩存數據。

2)可以減少中轉伺服器對於不同域名下重複頁面的轉碼次數，從而減少過多轉碼處理對瀏覽中轉服務的影響。還是以「書書網」為例，假定其兩個域名下各有2次相同相對路徑的頁面(yuanzhenxiaxili/594)訪問，則現有技術方案由於轉碼頁緩存key帶有域名信息，首次訪問需要轉碼，則共需進行2次轉碼操作(每個域名各1次)，2次直接使用轉碼頁緩存數據；使用本發明實施例方案，則只需要1次轉碼操作，3次直接使用轉碼頁緩存數據，從而減少了轉碼處理次數，提高了轉碼頁緩存數據的復用率。

3)對於某些頻繁更改域名的可轉碼站點(其web伺服器通常保持不變)，例如前述的圖片類站點，使用本發明實施例方案後，只要中轉伺服器有其新域名關聯到ip地址的信息，則可以繼續使用已存儲的轉碼頁緩存數據，而不會導致這些轉碼頁緩存數據無效；而使用現有技術方案，這種場景下已存儲的轉碼頁緩存數據將失去用處，因為域名信息的不同導致不能命中轉碼頁緩存key，也就查找不到轉碼頁緩存數據。

圖2是根據本發明的一個實施例的轉碼資源緩存處理方法的另一示意性流程圖。

如圖2所示，在步驟201中，獲取站點方的站點域名與站點ip地址的映射信息。

本發明的實施例中，可以先獲取站點方的多個域名到ip地址的映射信息。

在步驟202中，獲取站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字。

該步驟參見步驟102的描述。

在步驟203中，獲取基於站點方名稱的站點標識和站點方的站點域名的頁面版式標識，將所述站點標識、頁面版式標識以及與站點域名映射對應的ip地址相組合，生成轉碼頁緩存關鍵字替換字符串。

該步驟將站點標識、頁面版式標識以及與站點域名映射對應的ip地址相組合生成轉碼頁緩存關鍵字替換字符串，可以去除ip地址相同但站點方不同的虛擬主機的情形。

該步驟中，獲取基於站點方名稱的站點標識是將站點方名稱的字符串內容進行設定運算並將運算結果進行設定編碼後，取編碼的前設定個字符作為站點標識。

該步驟中，獲取站點方的站點域名的頁面版式標識包括：獲取同一站點方的多個站點域名的首頁數據；根據對各站點域名的首頁數據兩兩進行雙向差量運算的結果小於或等於設定閾值，檢測出頁面內容是一致或相近的頁面；將頁面內容是一致或相近的頁面所對應的站點域名按照相似關係進行分組；以及對同一站點方的不同組進行頁面版式識別並設置頁面版式標識。

其中，獲取同一站點方的多個站點域名的首頁數據是通過相同的http請求欄位獲取同一站點方的多個站點域名的首頁數據。

在步驟204中，用所述轉碼頁緩存關鍵字替換字符串替換所述轉碼頁緩存關鍵字中的站點域名，得到轉碼頁緩存關鍵字。

在步驟205中，存儲與所述轉碼頁緩存關鍵字對應的轉碼頁緩存 數據。

在步驟206中，建立被替換站點域名與站點ip地址映射的轉碼頁緩存域名映射關係表。

需說明的是，步驟205與步驟206沒有必然的順序關係。

還需說明的是，本發明實施例方案還可以通過定期監測所述站點域名頁面、站點域名或站點ip地址的變化，更新所述建立的轉碼頁緩存域名映射關係表。定期的時間根據需要設定，例如可以設定一個較短的間隔，如每10分鐘等但不局限於此。

通過定期監測，可以便於發現是否出現不同域名頁面不一致的問題，可以及時從轉碼頁緩存域名映射關係表中下線有問題的域名；通過定期監測，可以監測到域名變化情況，及時更新轉碼頁緩存域名映射關係表；通過定期監測，可以發掘更多的多域名轉碼站點，及時添加到轉碼頁緩存域名映射關係表表；通過定期監測，可以識別站點ip地址變更(一般很少出現)，及時添加新的站點ip地址信息到轉碼頁緩存域名映射關係表。

可以發現，本發明實施例的方案中，將站點標識、頁面版式標識以及與站點域名映射對應的ip地址相組合，生成轉碼頁緩存關鍵字替換字符串，替換頁面的轉碼頁緩存關鍵字中的域名，得到新的轉碼頁緩存關鍵字，因為多個域名可以對應唯一一個ip地址，所以對於某個具體相對路徑下的頁面，將域名路徑信息替換包含ip路徑信息後，只要存儲一份轉碼頁緩存數據，則多個域名下的該頁面訪問，都可以復用這一份轉碼頁緩存數據，從而可以實現有效減少轉碼頁緩存的冗餘數據。另外建立了所述被替換站點域名與所述站點ip地址映射的轉碼頁緩存域名映射關係表，從而可以支撐中轉伺服器根據轉碼頁緩存域名映射關係表實施新的轉碼頁處理流程。

圖3是根據本發明的一個實施例的轉碼資源緩存處理方法的另一示意性流程圖。該圖3流程在將站點ip地址作為緩存關鍵字替換字符串替換域名，並建立述被替換站點域名與所述站點ip地址映射的轉碼頁緩存域名映射關係表後，由中轉伺服器根據轉碼頁緩存域名映射關 系表執行新的處理流程。

如圖3所示，在步驟301中，獲取同一站點方的多個站點域名與站點ip地址的映射信息。

在步驟302中，獲取站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字。

在步驟303中，將所述映射信息中的站點ip地址作為轉碼頁緩存關鍵字替換字符串，替換頁面的轉碼頁緩存關鍵字中的域名，得到基於ip路徑的轉碼頁緩存關鍵字。

在步驟304中，存儲與所述基於ip路徑的轉碼頁緩存關鍵字對應的轉碼頁緩存數據。

在步驟305中，建立所述被替換站點域名與所述站點ip地址映射的轉碼頁緩存域名映射關係表。需說明的是，步驟304和305沒有必然的順序關係。

在步驟306中，中轉伺服器接收瀏覽器客戶端發送的可轉碼的頁面請求。

在步驟307中，在請求的頁面地址的站點域名存在於所述轉碼頁緩存域名映射關係表的情況下，用所述轉碼頁緩存域名映射關係表中的轉碼頁緩存關鍵字替換字符串替換所述頁面地址的站點域名，得到轉碼頁緩存關鍵字。

在步驟308中，以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找轉碼頁緩存數據，將查找到的轉碼頁緩存數據發送給所述瀏覽器客戶端。

需說明的是，上述流程還可以包括：在請求的頁面地址的站點域名不存在於所述轉碼頁緩存域名映射關係表的情況下，在所述頁面地址前添加轉碼頁緩存關鍵字前綴作為轉碼頁緩存關鍵字；以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找轉碼頁緩存數據，將查找到的轉碼頁緩存數據發送給所述瀏覽器客戶端。

可以發現，該實施例中，在將站點ip地址作為緩存關鍵字替換字符串替換域名，並建立述被替換站點域名與所述站點ip地址映射的轉 碼頁緩存域名映射關係表後，中轉伺服器可以根據轉碼頁緩存域名映射關係表執行新的處理流程，在請求的頁面地址的站點域名存在於所述轉碼頁緩存域名映射關係表的情況下，可以直接以轉碼頁緩存關鍵字在轉碼頁緩存系統中查找到轉碼頁緩存數據後，發送給所述瀏覽器客戶端，不需要再重新進行轉碼，從而減少轉碼處理次數，提高轉碼頁緩存數據的復用率。

圖4是根據本發明的一個實施例的轉碼資源緩存處理方法中檢測不同域名的頁面相似性及輸出轉碼頁緩存域名映射關係表的示意性流程圖。

本發明實施例方案中，對於指向同一個ip地址(也即指向同一個web伺服器)的多個域名站點，需要先識別出頁面內容是一致的或者相近的頁面再進行處理。

需要說明的是，一般的對於頁面內容是一致的情況，其頁面轉碼後的內容肯定是一致的。而對於頁面內容是相近的情況，其轉碼後的內容也能夠保持一致；這是因為這一類站點在不同域名下可能投放的廣告是不同的，或者是一些運營類的動態信息會基於域名不同而存在差異，但對於頁面的關鍵信息，例如首頁(一級頁面)的板塊信息、小說/圖片列表頁(二級頁面)的列表信息、小說正文/圖片正文(三級頁面)的主要內容等，這些關鍵信息在不同域名下基本是保持一致的，而轉碼正是保留這些關鍵信息，所以這類站點的頁面的轉碼頁內容也是一致的。

本發明實施例的方案，可以通過各個域名頁面的首頁數據的比對，來確定多個域名的頁面實際上使用了同一個ip地址，也即使用了同一個web伺服器，從而可以輸出有效的基於ip路徑信息的轉碼頁緩存映射關係表。

如圖4所示，在步驟401中，按照站點方維度劃分多域名站點。

例如劃分為站點方1、站點方2....等，其中站點方1有3個域名，站點方2有4個域名....等。

在步驟402中，依次選擇每個站點方執行檢測處理，進入步驟403。

在步驟403中，對依次選擇的站點方以相同的http請求欄位依次獲取該站點方下的多個域名的首頁數據。

其中的http請求欄位包括用戶代理user-agent欄位、接受accept欄位等。該步驟選擇使用相同的http請求欄位，能夠避免目標站點可能基於user-agent欄位或者accept欄位的不同而應答不同版式的頁面，從而混淆了檢測結果。例如同一個站點的首頁，其wap(wirelessapplicationprotocol，無線應用通訊協議)版/html5(hypertextmarkuplanguage，超級文本標記語言)版/web版頁面之間都會存在很大的差異。

在步驟404中，對於獲取的各域名首頁數據，兩兩進行雙向差量運算來檢測其是否相同/相似，將相同/相似的頁面所對應的域名按照相似關係進行分組，進入步驟405。如果運算後不存在有效的虛擬組，則返回步驟402。

該步驟中，根據對各站點域名的首頁數據兩兩進行雙向差量運算的結果小於或等於設定閾值檢測出頁面內容是一致或相近的頁面。

例如，對於參與差量運算的域名a的首頁a1和域名b的首頁b1，如果其之間的雙向差量運算的兩個增量delta率都不大於設定閾值1％(即小於或等於1％)，則認為a1和b1是相同或者相似的，則可將域名a和域名b的成功次數分別加1；如果其之間的雙向差量運算的其中一個或者兩個delta率大於1％，則認為a1和b1之間存在較大差異，則域名a和域名b的失敗次數分別加1。需說明的是，上述是以設定閾值為1％舉例說明但不局限因此。

舉例說明，假定站點方「xxxxx」有三個域名，a(首頁a1)、b(首頁b1)、c(首頁c1)。

場景1：如果這三個首頁數據都相同或者相似，則兩兩差量運算後的結果如下：

域名a:成功2次，失敗0次

域名b:成功2次，失敗0次

域名c:成功2次，失敗0次

場景2：如果a1與b1/c1都有差異，而b1和c1相同或者相似，則兩兩差量運算後的結果如下：

域名a:成功0次，失敗2次

域名b:成功1次，失敗1次

域名c:成功1次，失敗1次

在兩兩差量運算後，對於只有失敗結果沒有成功結果的域名，說明其首頁和該站點方其他域名的首頁不相似，則標記其為無效，不加入到轉碼頁緩存域名映射關係表中，因為其只有一個域名，也沒有必要進行轉碼頁緩存key轉換。

對於剩餘的域名，按照相似關係進行聚合，例如a1和b1之間是成功的，且b1和c1之間是成功的，則肯定存在a1和c1也是成功的，故a1、b1、c1都是相似的，歸為同一個虛擬組。

在步驟405中，對同一個站點方內的不同虛擬組進行頁面版式識別，如果各個站點方組別的頁面版式都識別後進入步驟406，否則返回步驟402對下一站點方執行處理。

因為有可能存在同一個站點方使用不同的域名指向不同版式的頁面，例如m.abc.com和www.abc.com都屬於站點方abc的域名，且指向同一個ip地址，但前者是html5版式頁面，後者是pc版式頁面，這種場景是有可能的，因此需要對同一個站點方內的不同虛擬組進行頁面版式識別，以進一步確定其頁面版式差異。

該405步驟可以包括：依次從每個虛擬組隨機抽取一個域名的首頁，可以按現有的基於html標記及屬性信息的方法來識別該虛擬組頁面的版式，本發明在此不作贅述。識別完畢後可以再為虛擬組設置版式標識，即為每一個虛擬組進行版式標識，例如標識為wap版虛擬組、html5版虛擬組或pc版虛擬組等。

在步驟406中，在完成各個站點方組別的頁面版式識別後，生成按照站點方進行區分的域名映射的轉碼頁緩存key替換字符串。

一般都是同一站點方的多個域名可以指向同一個ip地址，但是由於存在虛擬主機服務，例如不同的站點方都是用了同一個虛擬主機服 務，有可能存在不同站點方組的域名都指向同一個ip地址的場景。也就是說，對於多個域名指向同一個ip地址的場景，不一定這些相關域名的頁面都是相同的。因為部分站點可能使用了虛擬主機業務，即伺服器是由提供商維護的，其實體只有一臺伺服器，通過對域名的識別而轉接到不同服務埠上來支撐多個實體站點web資源的運營。所以有可能會存在兩個或多個相互毫無關係的站點，但其域名都指向了同一個ip地址(虛擬主機伺服器)的場景。因此，本發明實施例在生成轉頁緩存映射關係表時可以進一步按照站點方進行區分，以避免上述問題的出現。

本發明通過生成按照站點方進行區分的域名映射的轉碼頁緩存key替換字符串，可以識別出上述不適合基於ip路徑信息的轉碼頁緩存的站點域名。

該步驟中生成按照站點方進行區分的域名映射的轉碼頁緩存key替換字符串的過程包括：

1)獲取基於站點方名稱的站點標識。

具體可以包括：基於站點方名稱的字符串內容，進行設定運算例如進行md5(messagedigestalgorithm5，消息摘要算法第五版)運算，結果使用設定編碼例如base64(傳輸8bit字節代碼的編碼方式之一)方式編碼，再取前設定個例如8個字符作為「站點標識」。

2)基於所屬虛擬組的頁面版式，生成「版式標識」，比如「wap」、「html5」、「pc」等都是可用的標識。需說明的是，如果前述已經設置了版式標識，則可以直接獲取虛擬組的版式標識。

3)將所述站點標識、版式標識和與站點域名映射對應的ip地址，組合生成域名映射的轉碼頁緩存key替換字符串。

例如，域名www.abc.com的站點標識是8b6h3frp，其頁面版式是pc版，其對應的ip地址是123.123.123.123，則建立以下映射關係：

域名：

www.abc.com

組合生成的域名映射的緩存key替換字符串:

8b6h3frp:pc:http://123.123.123.123

在步驟407中，存儲轉碼頁緩存域名映射關係表供後續的輸出。

該步驟中，將生成的按照站點方進行區分的域名映射的轉碼頁緩存key替換字符串存儲到轉碼頁緩存域名映射關係表中，轉碼頁緩存域名映射關係表中還記錄站點域名與所述站點ip地址映射關係。

可以發現，本發明實施例通過上述處理，如果某個站點方新增了域名，則基於以上所述的檢測機制，可以及時添加該域名到轉碼頁緩存域名映射關係表，使其可復用轉碼頁緩存數據。如果某個站點方的所有pc版域名都發生變化，但ip地址保持不變，可以及時更新這些域名到轉碼頁緩存域名映射關係表，同時由於站點方名稱、頁面版式、ip地址不變，故這一系列域名的轉碼頁緩存key替換字符串也保持不變，可以復用已存儲的相應轉碼頁緩存數據。這樣，就可以解決轉碼站點頻繁變更域名導致轉碼頁緩存數據不能復用的問題。如果某個站點方的ip地址發生改變，即使其相關域名沒有發生變化，但由於轉碼頁緩存key是使用ip地址作為轉碼頁緩存key替換字符串，所以轉碼頁緩存域名映射關係表更新後將不能再使用已存儲的轉碼頁緩存數據。不過，通常這種場景很少發生，因為其出現的原因通常是站點發生遷移並伴隨著頁面的改版，這種情況的概率比較小。

圖5是根據本發明的一個實施例的轉碼資源緩存處理方法中根據轉碼頁緩存域名映射關係表進行處理的示意性流程圖。

圖5的流程主要是在於寫入和讀取轉碼頁緩存數據時，基於轉碼頁緩存域名映射關係表執行不同處理。

如圖5所示，在步驟501中，中轉伺服器接收瀏覽器客戶端的可轉碼頁面請求。

在步驟502中，檢查請求的頁面地址的域名是否存在於轉碼頁緩存域名映射關係表中，如果存在，則需要進行域名信息替換，轉步驟503，如果不存在，則不需要進行域名信息替換，轉步驟504。

在步驟503中，將頁面地址的域名以所述轉碼頁緩存域名映射關係表中的轉碼頁緩存key替換字符串進行替換，並在頁面地址前添加 轉碼頁緩存key前綴作為轉碼頁緩存key。進入步驟505。

以下是一個頁面地址進行替換後的轉碼頁緩存key示例：

transcode:5rt29fgj:pc:http://27.255.67.30/yuanzhenxiaxili/594

在步驟504中，不需要進行域名信息替換，在原始的頁面地址前添加轉碼頁緩存key前綴作為轉碼頁緩存key。進入步驟505。

在步驟505中，以轉碼頁緩存key查詢轉碼頁緩存系統，如果查找到轉碼頁緩存數據，轉步驟511；如果沒有查找到轉碼頁緩存數據，轉步驟506。

在步驟506中，沒有查找到轉碼頁緩存數據，按原始的頁面地址加載頁面，並對加載的頁面進行轉碼處理。進入步驟507。

在步驟507中，檢查轉碼處理後的頁面地址的域名是否存在於轉碼頁緩存域名映射關係表中，如果存在，則需要進行域名信息替換，則轉步驟508，如果不存在，則不需要進行域名信息替換，轉步驟509。

在步驟508中，將頁面地址的域名以轉碼頁緩存key替換字符串進行替換，並在頁面地址前添加轉碼頁緩存key前綴作為轉碼頁緩存key。進入步驟510。

在步驟509中，在原始的頁面請求地址前添加轉碼頁緩存key前綴作為轉碼頁緩存key。進入步驟510。

在步驟510中，基於轉碼頁緩存key，將轉碼頁緩存key對應的轉碼頁緩存數據寫入到轉碼頁緩存系統。進入步驟512。

在步驟511中，將查找到的轉碼頁緩存數據應答給瀏覽器客戶端。進入步驟512。

在步驟512中，完成瀏覽器客戶端發送的該次轉碼請求處理，結束流程。

綜上所述，本發明實施例的方案，將域名路徑信息替換為ip路徑信息後，就只要存儲一份轉碼頁緩存數據就可以，多個域名下的該頁面訪問都可以復用這一份轉碼頁緩存數據，從而可以實現有效減少轉碼頁緩存數據的冗餘數據。而且，轉碼站點方指向同一個ip地址的域名個數越多(比較離散)，則該技術方案效益越大，轉碼站點的不同 域名的用戶訪問路徑聚合程度越高，可減少越多的不必要轉碼頁緩存數據，效益也越大。

上述詳細介紹了本發明的轉碼資源緩存處理方法，相應的，本發明還提供一種裝置及設備。

圖6是本發明的一種轉碼資源緩存處理處理裝置的示意性方框圖。

如圖6所示，在轉碼資源緩存處理裝置中包括：映射模塊61、關鍵字模塊62、字符串生成模塊63、轉換模塊64、緩存模塊65。

映射模塊61，用於獲取站點方的站點域名與站點ip地址的映射信息。

關鍵字模塊62，用於獲取站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字。

字符串生成模塊63，用於基於所述映射模塊61的映射信息中的站點ip地址，生成轉碼頁緩存關鍵字替換字符串。

轉換模塊64，用於用所述字符串生成模塊63生成的轉碼頁緩存關鍵字替換字符串替換所述轉碼頁緩存關鍵字中的站點域名，得到基於ip路徑的轉碼頁緩存關鍵字。

緩存模塊65，用於存儲與所述轉換模塊64的基於ip路徑的轉碼頁緩存關鍵字對應的轉碼頁緩存數據。

圖7是本發明的一種轉碼資源緩存處理處理裝置的另一示意性方框圖。

如圖7所示，在轉碼資源緩存處理裝置中包括：映射模塊61、關鍵字模塊62、字符串生成模塊63、轉換模塊64、緩存模塊65，這些模塊參見圖6描述。

其中，所述字符串生成模塊63還包括：站點標識模塊631、版式標識模塊632、生成模塊633。

站點標識模塊631，用於獲取基於站點方名稱的站點標識。

版式標識模塊632，用於獲取站點方的站點域名的頁面版式標識。

生成模塊633，用於將所述站點標識模塊的站點標識、所述版式 標識模塊的頁面版式標識以及與站點域名映射對應的ip地址相組合，生成轉碼頁緩存關鍵字替換字符串。

其中，站點標識模塊631是將站點方名稱的字符串內容進行設定運算並將運算結果進行設定編碼後，取編碼的前設定個字符作為站點標識。

其中，所述版式標識模塊632是獲取同一站點方的多個站點域名的首頁數據，根據對各站點域名的首頁數據兩兩進行雙向差量運算的結果小於或等於設定閾值，檢測出頁面內容是一致或相近的頁面，將頁面內容是一致或相近的頁面所對應的站點域名按照相似關係進行分組，以及對同一站點方的不同組進行頁面版式識別並設置頁面版式標識。

其中，所述版式標識模塊632獲取同一站點方的多個站點域名的首頁數據是通過相同的http請求欄位獲取同一站點方的多個站點域名的首頁數據。

其中，所述裝置中還包括關係表模塊66。

關係表模塊66，用於建立所述被替換站點域名與所述站點ip地址映射的轉碼頁緩存域名映射關係表。

其中，所述裝置還包括監測及更新模塊67。

監測及更新模塊67，用於通過定期監測所述站點域名頁面、站點域名或站點ip地址的變化，更新所述關係表模塊66的轉碼頁緩存域名映射關係表。定期的時間根據需要設定，例如可以設定一個較短的間隔，如每10分鐘等但不局限於此。

圖8是本發明的一種轉碼資源緩存處理處理裝置的另一示意性方框圖。

如圖7所示，在轉碼資源緩存處理裝置中包括：映射模塊61、關鍵字模塊62、字符串生成模塊63、轉換模塊64、緩存模塊65、關係表模塊66、監測及更新模塊67，這些模塊參見圖7描述。

其中，在裝置中還包括：處理模塊68、查找模塊69。

處理模塊68，用於在接收到的瀏覽器客戶端的可轉碼頁面請求的 頁面地址的站點域名存在於所述關係表模塊66的轉碼頁緩存域名映射關係表的情況下，用所述轉碼頁緩存域名映射關係表中的轉碼頁緩存關鍵字替換字符串替換所述頁面地址的站點域名，得到轉碼頁緩存關鍵字。

查找模塊69，用於以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找到轉碼頁緩存數據後，發送給所述瀏覽器客戶端。

另外，處理模塊68在請求的頁面地址的站點域名不存在於所述轉碼頁緩存域名映射關係表的情況下，在所述頁面地址前添加轉碼頁緩存關鍵字前綴作為轉碼頁緩存關鍵字，查找模塊69以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找轉碼頁緩存數據，將查找到的轉碼頁緩存數據發送給所述瀏覽器客戶端。

其中，所述裝置還包括轉碼處理模塊610。

轉碼處理模塊610，用於在查找模塊69以所述轉碼頁緩存關鍵字在轉碼頁緩存系統中查找不到轉碼頁緩存數據的情況下，按所述頁面地址加載頁面，並對加載的頁面進行轉碼處理。

處理模塊68在轉碼處理後的頁面地址的站點域名存在於所述轉碼頁緩存域名映射關係表的情況下，用所述轉碼頁緩存域名映射關係表中的轉碼頁緩存關鍵字替換字符串替換所述頁面地址的站點域名，得到轉碼頁緩存關鍵字。

緩存模塊65將所述轉碼頁緩存關鍵字對應的轉碼頁緩存數據存儲到所述轉碼頁緩存系統。

另外，處理模塊68在轉碼處理後的頁面地址的站點域名不存在於所述轉碼頁緩存域名映射關係表的情況下，在所述頁面地址前添加轉碼頁緩存關鍵字前綴作為轉碼頁緩存關鍵字；緩存模塊65將所述轉碼頁緩存關鍵字對應的轉碼頁緩存數據存儲到所述轉碼頁緩存系統。

圖9是本發明的一種處理設備的示意性方框圖。

如圖9所示，處理設備中包括存儲器91和處理器92。

存儲器91存儲站點方的站點域名與站點ip地址的映射信息、站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字。

處理器92獲取存儲器91存儲的站點方的站點域名與站點ip地址、站點域名頁面的基於域名路徑的轉碼頁緩存關鍵字，基於所述映射信息中的站點ip地址，生成轉碼頁緩存關鍵字替換字符串，用所述轉碼頁緩存關鍵字替換字符串替換所述轉碼頁緩存關鍵字中的站點域名，得到基於ip路徑的轉碼頁緩存關鍵字。

存儲器91根據所述處理器92得到的基於ip路徑的轉碼頁緩存關鍵字，存儲與所述基於ip路徑的轉碼頁緩存關鍵字對應的轉碼頁緩存數據。

上文中已經參考附圖詳細描述了根據本發明的技術方案。

此外，根據本發明的方法還可以實現為一種電腦程式，該電腦程式包括用於執行本發明的上述方法中限定的上述各步驟的電腦程式代碼指令。或者，根據本發明的方法還可以實現為一種電腦程式產品，該電腦程式產品包括計算機可讀介質，在該計算機可讀介質上存儲有用於執行本發明的上述方法中限定的上述功能的電腦程式。本領域技術人員還將明白的是，結合這裡的公開所描述的各種示例性邏輯塊、模塊、電路和算法步驟可以被實現為電子硬體、計算機軟體或兩者的組合。

附圖中的流程圖和框圖顯示了根據本發明的多個實施例的系統和方法的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。也應當注意，在有些作為替換的實現中，方框中所標記的功能也可以以不同於附圖中所標記的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或操作的專用的基於硬體的系統來實現，或者可以用專用硬體與計算機指令的組合來實現。

以上已經描述了本發明的各實施例，上述說明是示例性的，並非 窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。