內容篩選方法、裝置及伺服器與流程
2023-05-20 09:46:06
本發明涉及網際網路資源管理
技術領域：
，具體而言，涉及一種對與設定目標主題相關的內容進行篩選的方法、裝置及伺服器。
背景技術：
：現目前，針對設定的目標主題一般通過網絡爬蟲從網際網路中去採集網際網路資源。然而，採用網絡爬蟲採集的內容因數量大對存儲空間與計算資源的提出了很高的要求。事實上，在針對設定的目標主題時，用戶往往只關心包含有某些關鍵詞的有價值的文本內容。為了解決上述問題，常用的做法是對網絡爬蟲採集的網際網路資源進行內容篩選。傳統的內容篩選方法存在因網絡文本字符編碼的不統一而兼容性差，而導致無法實現內容的快速篩選的缺陷。技術實現要素：有鑑於此，本發明一較佳實施例的目的在於提供一種對不同格式文本字符編碼兼容性能良好的內容篩選方法，所述方法包括：從HTTP響應頭中獲取文件的類型，在所述獲取文件的類型為文本類型時，按照預設的編碼規則對HTTP響應正文中的內容進行編碼得到字節流；將所述HTTP響應正文中的內容對應的字節流輸入根據設定的目標主題生成的篩選器中進行模式匹配；及在匹配成功時，將所述HTTP響應正文中的內容作為與所述設定的目標主題相關的網頁內容進行保存。本發明另一較佳實施例還提供一種內容篩選裝置，所述裝置包括：文件獲取與編碼模塊，用於從HTTP響應頭中獲取文件的類型，在所述獲取文件的類型為文本類型時，按照預設的編碼規則對HTTP響應正文中的內容進行編碼得到字節流；模式匹配模塊，用於將所述HTTP響應正文中的內容對應的字節流輸入根據設定的目標主題生成的篩選器中進行模式匹配；及網頁內容保存模塊，用於在匹配成功時，將所述HTTP響應正文中的內容作為與所述設定的目標主題相關的網頁內容進行保存。本發明另一較佳實施例還提供一種伺服器，包括存儲器、處理器以及內容篩選裝置。所述內容篩選裝置安裝或存儲於所述存儲器由所述處理器控制內容篩選裝置各功能模塊的執行。與現有技術相比，本發明實施例提供的內容篩選方法及裝置，在獲取文件的類型為文本類型時，按照預設的編碼規則對HTTP響應正文中的內容進行編碼得到字節流，將得到的字節流輸入根據設定的目標主題生成的篩選器進行模式匹配後進行存儲。相對於現有的內容篩選方法，將HTTP響應正文中的內容按照預設的編碼規則(如UTF-8)進行編碼，可以解決HTTP響應正文中的內容編碼與篩選器中編碼規則不一致導致的兼容性差，而無法提升網頁內容篩選速度的技術問題。為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。附圖說明為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。圖1是本發明較佳實施例提供的伺服器的方框示意圖。圖2是本發明較佳實施例提供的圖1中所示的內容篩選裝置的一種功能模塊框圖。圖3是本發明較佳實施例提供的一種HTTP響應頭的示例。圖4是本發明較佳實施例提供的圖1中所示的內容篩選裝置的另一種功能模塊框圖。圖5是本發明較佳實施例提供的一種字典樹結構圖。圖6是由圖5的字典樹得到的一種確定性有窮自動機篩選器結構示意圖。圖7是本發明較佳實施例提供的一個簡單確定性有窮自動機篩選器的狀態圖。圖8是本發明較佳實施例提供的一種內容篩選方法的具體流程圖。圖9是本發明較佳實施例提供的另一種內容篩選方法的具體流程圖。圖10是本發明較佳實施例提供的生成篩選器的流程圖。圖11是圖10中步驟S114包括的子步驟流程示意圖。圖標：100-伺服器；110-內容篩選裝置；111-存儲器；112-處理器；113-通信單元；1101-文件獲取與編碼模塊；1102-模式匹配模塊；1103-網頁內容保存模塊；1104-隊列生成模塊；1105-判斷與取出模塊；1106-響應信息獲取模塊；1107-關鍵詞編碼模塊；11071-關鍵字編碼子模塊；11072-字節流集合生成子模塊；1108-篩選器創建模塊。具體實施方式下面將結合本發明實施例中附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的組件可以以各種不同的配置來布置和設計。因此，以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施例。基於本發明的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步定義和解釋。同時，在本發明的描述中，術語「第一」、「第二」等僅用於區分描述，而不能理解為指示或暗示相對重要性。請參照圖1，圖1是本發明實施例提供的伺服器100的方框示意圖。所述伺服器100包括內容篩選裝置110、存儲器111、處理器112及通信單元113。所述存儲器111、處理器112及通信單元113的各元件相互之間直接或間接地電性連接，以實現數據的傳輸或交互。例如，這些元件相互之間可通過一條或多條通訊總線或信號線實現電性連接。其中，所述存儲器111可以是，但不限於，隨機存取存儲器(RandomAccessMemory，RAM)，只讀存儲器(ReadOnlyMemory，ROM)，可編程只讀存儲器(ProgrammableRead-OnlyMemory，PROM)，可擦除只讀存儲器(ErasableProgrammableRead-OnlyMemory，EPROM)，電可擦除只讀存儲器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。其中，存儲器111用於存儲程序，所述處理器112在接收到執行指令後，執行所述程序。所述通信單元113用於通過網絡建立所述伺服器100與其它通信終端之間的通信連接，並用於通過網絡接收和發送數據。所述內容篩選裝置110包括至少一個可以軟體或固件(firmware)的形式存儲於所述存儲器111中或固化在所述伺服器100的作業系統(operatingsystem，OS)中的軟體功能模塊。所述處理器112用於執行所述存儲器111中存儲的可執行模塊，例如內容篩選裝置110所包括的軟體功能模塊及電腦程式等。本實施例中，所述內容篩選裝置110為伺服器100提供針對不同設定目標主題的內容篩選服務，具體的方法在後續進行詳細說明。應當理解的是，圖1所示的結構僅為示意，所述伺服器100還可包括比圖1中所示更多或者更少的組件，或者具有與圖1所示不同的配置。圖1中所示的各組件可以採用硬體、軟體或其組合實現。請參照圖2，是本發明較佳實施例提供的圖1所示內容篩選裝置110的功能模塊框圖。所述內容篩選裝置110包括文件獲取與編碼模塊1101、模式匹配模塊1102及網頁內容保存模塊1103。所述文件獲取與編碼模塊1101，用於從HTTP響應頭中獲取文件的類型，在所述獲取文件的類型為文本類型時，按照預設的編碼規則對HTTP響應正文中的內容進行編碼得到字節流。請參照圖3，圖3為一個典型的HTTP響應頭的示例，所述文件獲取與編碼模塊1101可以從HTTP響應頭的Content-Type中獲取文件擴展名。當獲取文件的擴展名是文本類型時，對HTTP響應正文中的內容進行編碼，其中，所述文本類型包括，但不限於text/xml、text/html、text/plain等格式的文本。若獲取文件的擴展名不是文本類型，重新獲得新的HTTP響應頭進行上述操作。文件獲取與編碼模塊1101不僅可以直接按照預設的編碼規則對HTTP響應正文中的內容進行編碼得到字節流，還可以先從HTTP響應頭中獲取字符集(如，charset)。若HTTP響應頭中沒有charset鍵值對或charset鍵值對不是默認的預設的編碼規則(比如，UTF-8)，文件獲取與編碼模塊1101可將字符集替換為預設的編碼規則，並對所述HTTP響應正文中的內容按照預設的編碼規則進行編碼。若charset鍵值對為預設的編碼規則，直接對所述HTTP響應正文中的內容進行編碼。請參照圖4，在本實施例中，所述內容篩選裝置110還可以包括用於獲取HTTP響應內容的隊列生成模塊1104、判斷與取出模塊1105及響應信息獲取模塊1106，其中，所述HTTP響應內容包括HTTP響應響應頭及HTTP響應正文中的內容。下面結合上述模塊對獲取HTTP響應內容的過程進行描述。首先，所述隊列生成模塊1104生成統一資源定位器(UniformResoureLocator，URL)隊列。具體地，統一資源定位器隊列可以從一定數量的種子統一資源定位器出發，在網絡爬蟲執行網絡資源的爬取過程中，採用搜索算法(比如，廣度優先搜索算法)動態的獲取新的統一資源定位器，並將新的統一資源定位器追加到隊列中。其次，所述判斷與取出模塊1105判斷所述統一資源定位器隊列是否為空，在所述統一資源定位器隊列不為空時，從所述統一資源定位器隊列中取出任意一個統一資源定位器。具體地，當所述統一資源定位器隊列不為空時，所述判斷與取出模塊1105通過HTTP的GET方法從所述統一資源定位器隊列中取出任意一個統一資源定位器。當所述統一資源定位器隊列為空時，結束內容篩選。最後，所述響應信息獲取模塊1106由取出的所述統一資源定位器獲取訪問所述統一資源定位器對應網頁的HTTP響應信息，所述HTTP響應信息包括HTTP響應頭及HTTP響應正文中的內容。所述模式匹配模塊1102用於將所述HTTP響應正文中的內容對應的字節流輸入根據設定的目標主題生成的篩選器中進行模式匹配。請再次參照圖4，在本實施例中，所述內容篩選裝置110還可以包括用於生成所述篩選器的關鍵詞編碼模塊1107及篩選器創建模塊1108。下面結合上述模塊對所述篩選器的生成過程進行描述。所述關鍵詞編碼模塊1107對所述目標主題的關鍵詞按照所述預設的編碼規則進行編碼，得到所述目標主題的關鍵詞所對應的字節流集合。具體地，以從網際網路中篩選目標主題為「水門事件」的文本資源為例，與該目標主題相關的關鍵字可以包括：「水門」、「深喉」及「尼克森」。請再次參照圖4，所述關鍵詞編碼模塊1107包括關鍵字編碼子模塊11071及字節流集合生成子模塊11072。所述關鍵字編碼子模塊11071用於對所述關鍵詞中的每個關鍵字進行編碼，得到每個關鍵字對應的字符串。具體地，還是以「水門事件」為例，預設的編碼規則採用UFT-8編碼。該主題的關鍵字與編碼的字符串的關係可以參見表1。表1所述字節流集合生成子模塊11072用於由關鍵字對應的字符串得到關鍵詞的字節流，由每個關鍵詞的字節流構成所述目標主題的關鍵詞所對應的字節流集合。具體地，通過關鍵字對應的字符串的組合可以得到關鍵詞的字節流，具體可以參照表2。關鍵詞字節流(十進位表示)水門230176180233151168深喉230183177229150137尼克森229176188229133139230157190表2所述篩選器創建模塊1108根據所述字節流集合創建所述篩選器。具體地，所述篩選器創建模塊1108可以創建一字典樹，並將所述字節流集合生成子模塊11072生成的字節流集合中的元素一一插入到字典樹中。字典樹的每個節點可以用數據結構TrieNode表示，其中TrieNode的數據結構如表3。表3TrieNode包含兩個屬性，其中code為十進位的字節編碼，isEnd為Boolean(布爾)類型，表示一個字節流的結束。對於一個字典樹而言，字節流集合中任意一個字節流的最後一個字節對應TrieNode的isEnd為True，預設為False。這樣的字典樹，構造過程首先是初始化樹的根節點，然後將每個字節流插入到字典樹中，其插入方法可以用以下偽代碼實現：通過上述方法，可以得到如圖5所示的字典樹。對應地，請參照圖6，圖6為基於圖5中的字典樹得到的確定性有窮自動機(DeterministicFiniteAutomata,DFA)的篩選器的示意圖。在本實施例中，所述模式匹配模塊1102通過所述篩選器採用確定性有窮自動機對所述HTTP響應正文中的內容對應的字節流進行模式匹配，其中，所述模式匹配是指根據確定性有窮自動機的狀態轉移關係，尋找接受狀態的過程。在本實施例中，採用確定性有窮自動機對所述HTTP響應正文中的內容對應的字節流進行模式匹配的具體方式可以如下。請參照圖7，以簡單的確定性有窮自動機為例，假設S1和S2是狀態；其中S1表示接受狀態，狀態以雙圓圈表示，每條邊表示輸入。用δ表示邊，則對於上述確定性有窮自動機，有以下關係：δ(S1,1)＝S1δ(S1,0)＝S2δ(S2,1)＝S2δ(S2,0)＝S1模式匹配，是根據確定性有窮自動機的狀態轉移關係，尋找接受狀態的過程。下面舉實例說明：例1：給定數字序列1001，判斷是否匹配。1、δ(S1,1)＝S12、δ(S1,0)＝S23、δ(S2,0)＝S14、δ(S1,1)＝S1……S1是接受狀態，故匹配成功例2：給定數字序列0001，判斷是否匹配。1、δ(S1,0)＝S22、δ(S2,0)＝S13、δ(S1,0)＝S24、δ(S2,1)＝S2……S2不是接受狀態，故未匹配成功。所述網頁內容保存模塊1103用於在匹配成功時，將所述HTTP響應正文中的內容作為與所述設定的目標主題相關的網頁內容進行保存。具體地，還是以上面描述的目標主題「水門事件」為例，假設創建的篩選器只要在滿足一個關鍵詞的情況下即視為模式匹配。則在所述HTTP響應正文中的內容中只要包括水門、深喉、尼克森中的一個即可將該HTTP響應正文中的內容作為與所述設定的目標主題相關的網頁內容進行保存。請參照圖8，是本發明較佳實施例提供的應用於圖1所示伺服器100的內容篩選方法的流程圖。所述方法相關的流程定義的方法步驟可以由所述處理器112實現。下面對圖8所示的具體流程進行詳細闡述。步驟S111，從HTTP響應頭中獲取文件的類型，在所述獲取文件的類型為文本類型時，按照預設的編碼規則對HTTP響應正文中的內容進行編碼得到字節流。請參照圖9，在本實施例中，所述方法還可以包括用於獲取HTTP響應內容的步驟S108-步驟S110，其中，所述HTTP響應內容包括HTTP響應響應頭及HTTP響應正文中的內容。下面結合上述步驟S108-步驟S110對獲取HTTP響應內容的過程進行描述。步驟S108，生成統一資源定位器隊列。步驟S109，判斷所述統一資源定位器隊列是否為空，在所述統一資源定位器隊列不為空時，從所述統一資源定位器隊列中取出任意一個統一資源定位器。步驟S110，由取出的所述統一資源定位器獲取訪問所述統一資源定位器對應網頁的HTTP響應信息，所述HTTP響應信息包括HTTP響應頭及HTTP響應正文中的內容。步驟S112，將所述HTTP響應正文中的內容對應的字節流輸入根據設定的目標主題生成的篩選器中進行模式匹配。所述篩選器採用確定性有窮自動機對所述HTTP響應正文中的內容對應的字節流進行模式匹配，其中，所述模式匹配是指根據確定性有窮自動機的狀態轉移關係，尋找接受狀態的過程。請參照圖10，在本實施例中，所述方法還可以包括用於生成所述篩選器的步驟S114和步驟S115，下面結合步驟S114和步驟S115對所述篩選器的生成過程進行描述。步驟S114，對所述目標主題的關鍵詞按照所述預設的編碼規則進行編碼，得到所述目標主題的關鍵詞所對應的字節流集合。具體地，請參照圖11，步驟S114可以包括子步驟S1141及子步驟S1142。子步驟S1141，對所述關鍵詞中的每個關鍵字進行編碼，得到每個關鍵字對應的字符串。子步驟S1142，由關鍵字對應的字符串得到關鍵詞的字節流，由每個關鍵詞的字節流構成所述目標主題的關鍵詞所對應的字節流集合。步驟S115，根據所述字節流集合創建所述篩選器。具體地，創建一字典樹，將所述字節流集合中的元素插入所述的字典樹中，以生成所述篩選器。在本具體實施例中，所述步驟S108～S112與步驟S114～S115可以同步進行，在上述步驟同步進行時，可以將時間複雜度降低，以滿足高並發、大數據量的爬蟲需求。步驟S113，在匹配成功時，將所述HTTP響應正文中的內容作為與所述設定的目標主題相關的網頁內容進行保存。綜上所述，本發明實施例提供的內容篩選方法及裝置，在獲取文件的類型為文本類型時，按照預設的編碼規則對HTTP響應正文中的內容進行編碼得到字節流，將得到的字節流輸入根據設定的目標主題生成的篩選器進行模式匹配後進行存儲。相對於現有的內容篩選方法，將HTTP響應正文中的內容按照預設的編碼規則進行編碼，可以解決HTTP響應正文中的內容編碼與篩選器中編碼規則不一致導致的兼容性差，無法提升網頁內容篩選速度的技術問題。同時篩選器的創建與網頁內容的爬取可以並列進行，時間複雜度低，可以滿足高並發、大數據量的爬蟲需求。在本申請所提供的幾個實施例中，應該理解到，所揭露的設備和方法，也可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據本發明的多個實施例的設備、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。也應當注意，在有些作為替換的實現方式中，方框中所標註的功能也可以以不同於附圖中所標註的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與計算機指令的組合來實現。另外，在本發明各個實施例中的各功能模塊可以集成在一起形成一個獨立的部分，也可以是各個模塊單獨存在，也可以兩個或兩個以上模塊集成形成一個獨立的部分。所述功能如果以軟體功能模塊的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。以上所述僅為本發明的優選實施例而已，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步定義和解釋。以上所述，僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本
技術領域：
的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應所述以權利要求的保護範圍為準。當前第1頁1 2 3