用於爬蟲的數據處理方法及裝置與流程
2023-05-07 08:59:27
本發明涉及網際網路領域，具體而言，涉及一種用於爬蟲的數據處理方法及裝置。
背景技術：
在網際網路中，網站上的某些新聞內容或者本文內容過於冗長。網站為了方便用戶閱讀，經常會引入分頁機制。例如，一篇文章分為3頁展示給閱讀者、一個BBS主題下有多頁相關的帖子信息。
當爬蟲程序在遇到上述具有分頁機制的網際網路資源時，通常會對所有的分頁信息進行爬取。例如，一篇小說被分為30頁，爬蟲程序會對每一頁進行爬取，共爬取30次；一個建立時間較長的論壇主題下的一篇300頁的帖子文章，爬蟲程序會對300頁都進行爬取。
在實際應用當中，具有分頁機制的網際網路資源中，往往有利用價值的內容只存在於前面幾頁當中，而現有的爬蟲程序會將上述網際網路資源中的每個分頁都進行爬取。現有的爬蟲程序對具有分頁機制的網際網路資源中的所有分頁頁面的全部進行爬取，這種方法存在如下缺點：
1、把指定網際網路資源中的所有分頁進行完全爬取，將會極大地浪費伺服器資源。
2、無法根據不同的網際網路資源的類型，以不同的方式進行爬取，導致爬取的靈活度不足。例如，在面對具有分頁機制的新聞文章時需要爬取所有的分頁，對於具有分頁機制的論壇的一個主題時，只需要爬取前幾頁即可。
針對上述由於對具有分頁機制的網頁進行全部爬取，導致的伺服器資源浪費的技術問題，目前尚未提出有效的解決方案。
技術實現要素：
本發明實施例提供了一種用於爬蟲的數據處理方法及裝置，以至少解決由於對具有分頁機制的網頁進行全部爬取，導致的伺服器資源浪費的技術問題。
根據本發明實施例的一個方面，提供了一種用於爬蟲的數據處理方法，包括：獲 取待爬取任務信息，其中，待爬取任務信息中至少包括待爬取任務對應的預設分頁數量；將待爬取任務的第一分頁作為當前分頁，對當前分頁執行如下步驟，直到與當前分頁對應的當前已爬取分頁數量等於預設分頁數量為止：爬取當前分頁，累計當前已爬取分頁數量；將當前已爬取分頁數量與預設分頁數量進行比較；噹噹前已爬取分頁數量小於預設分頁數量時，將當前分頁的下一分頁作為當前分頁。
進一步地，獲取待爬取任務信息包括：獲取待爬取任務的任務地址；獲取待爬取任務對應的任務類型；根據任務類型，確定與任務地址對應的預設分頁數量。
進一步地，將當前分頁的下一分頁作為當前分頁，包括：對當前分頁對應的已爬取地址信息進行解析，確定與待爬取任務的下一分頁對應的待爬取地址信息；將待爬取地址信息對應的下一分頁，作為待爬取的當前分頁。
進一步地，對當前分頁對應的已爬取地址信息進行解析，確定與待爬取任務的下一分頁對應的待爬取地址信息，包括：獲取待爬取任務的當前分頁對應的已爬取地址信息；按照預定解析規則對已爬取地址信息進行解析，確定在已爬取地址信息中用於記載頁碼信息的字符位置；對字符位置中的字符進行替換，生成待爬取任務的下一分頁對應的待爬取地址信息。
根據本發明實施例的另一方面，還提供了一種用於爬蟲的數據處理裝置，包括：第一獲取模塊，用於獲取待爬取任務信息，其中，待爬取任務信息中至少包括待爬取任務對應的預設分頁數量；執行模塊，用於將待爬取任務的第一分頁作為當前分頁，對當前分頁執行如下步驟，直到與當前分頁對應的當前已爬取分頁數量等於預設分頁數量為止：爬取模塊，用於爬取當前分頁，累計當前已爬取分頁數量；比較模塊，用於將當前已爬取分頁數量與預設分頁數量進行比較；處理模塊，用於噹噹前已爬取分頁數量小於預設分頁數量時，將當前分頁的下一分頁作為當前分頁。
進一步地，裝置還包括：第二獲取模塊，用於獲取待爬取任務的任務地址；第三獲取模塊，用於獲取待爬取任務對應的任務類型；確定模塊，用於根據任務類型，確定與任務地址對應的預設分頁數量。
進一步地，處理模塊，包括：第一子確定模塊，用於對當前分頁對應的已爬取地址信息進行解析，確定與待爬取任務的下一分頁對應的待爬取地址信息；子處理模塊，用於將待爬取地址信息對應的下一分頁，作為待爬取的當前分頁。
進一步地，子處理模塊包括：子獲取模塊，用於獲取待爬取任務的當前分頁對應的已爬取地址信息；第二子確定模塊，用於按照預定解析規則對已爬取地址信息進行解析，確定在已爬取地址信息中用於記載頁碼信息的字符位置；子生成模塊，用於對 字符位置中的字符進行替換，生成待爬取任務的下一分頁對應的待爬取地址信息。
在本發明實施例中，採用獲取待爬取任務信息，其中，待爬取任務信息中至少包括待爬取任務對應的預設分頁數量；將待爬取任務的第一分頁作為當前分頁，對當前分頁執行如下步驟，直到與當前分頁對應的當前已爬取分頁數量等於預設分頁數量為止：爬取當前分頁，累計當前已爬取分頁數量；將當前已爬取分頁數量與預設分頁數量進行比較；噹噹前已爬取分頁數量小於預設分頁數量時，將當前分頁的下一分頁作為當前分頁的方式，從而達到了對具有分頁機制的網際網路資源的爬取頁數進行控制的目的，進而解決了由於對具有分頁機制的網頁進行全部爬取，導致的伺服器資源浪費的技術問題。
附圖說明
此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定。在附圖中：
圖1是根據本發明實施例的一種用於爬蟲的數據處理方法的流程示意圖；
圖2是根據本發明實施例的一種可選的用於爬蟲的數據處理方法的流程示意圖；
圖3是本發明實施例一種用於爬蟲的數據處理方法在實際應用當中的流程示意圖；
圖4是根據本發明實施例的一種用於爬蟲的數據處理裝置的示意圖；以及
圖5是根據本發明實施例的一種可選的用於爬蟲的數據處理裝置的示意圖。
具體實施方式
為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。
需要說明的是，本發明的說明書和權利要求書及上述附圖中的術語「第一」、「第二」等是用於區別類似的對象，而不必用於描述特定的順序或先後次序。應該理解這樣使用的數據在適當情況下可以互換，以便這裡描述的本發明的實施例能夠以除了在這裡圖示或描述的那些以外的順序實施。此外，術語「包括」和「具有」以及他們的任何變形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方 法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
根據本發明實施例，提供了一種用於爬蟲的數據處理方法實施例，需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中執行，並且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的順序執行所示出或描述的步驟。
圖1是根據本發明實施例的用於爬蟲的數據處理方法的流程圖，如圖1所示，該方法包括如下步驟：
步驟S21，獲取待爬取任務信息，其中，待爬取任務信息中至少包括待爬取任務對應的預設分頁數量。
步驟S23，將待爬取任務的第一分頁作為當前分頁，對當前分頁執行如下步驟，直到與當前分頁對應的當前已爬取分頁數量等於預設分頁數量為止：
步驟S231，爬取當前分頁，累計當前已爬取分頁數量；
步驟S233，將當前已爬取分頁數量與預設分頁數量進行比較；
步驟S235，噹噹前已爬取分頁數量小於預設分頁數量時，將當前分頁的下一分頁作為當前分頁。
具體的，在通過網絡爬蟲對網際網路資源進行爬取時，經常會遇到存在具有分頁機制的網際網路資源。而在這些網際網路資源的分頁中，並不是每一個分頁都需要對其進行爬取。因此，通過步驟S21至步驟S29，可以在獲取待爬取任務信息的時候，獲取任務地址以及與待爬取任務對應的分頁數量。在對待爬取任務進行爬取時，通過對該待爬取任務的翻頁數量進行累計。並在對下一分頁進行爬取之前，將翻頁數量與分頁數量進行比對，從而確定是否對待爬取任務的下一分頁頁面進行爬取。從而達到了對具有分頁機制的網際網路資源的爬取頁數進行控制的目的，進而解決由於對具有分頁機制的網頁進行全部爬取，導致的伺服器資源浪費的技術問題。
作為一種可選的實施方式，以待爬取任務對應的分頁數量為3頁為例進行說明。當在對待爬取任務的第一個分頁進行爬取後，將與所述待爬取任務對應的用於記錄已爬取分頁數量的計數器做累加處理。然後，將已爬取分頁數量與獲取到的分頁數量進行比對，當已爬取分頁數量小於3頁時，將下一分頁進行爬取。當在對待爬取任務的第三個分頁進行爬取後，將當前已爬取分頁數量與獲取到的分頁數量進行比對。當一爬去分頁數量等於3頁時，終止對當前待爬取任務的爬取進程，結束對當前待爬取任 務的爬取。
作為一種可選的技術方案，如圖2所示，在步驟S21獲取待爬取任務信息中，可以包括：
步驟S11，獲取所述待爬取任務的任務地址。
步驟S13，獲取所述待爬取任務對應的任務類型。
步驟S15，根據所述任務類型，確定與所述任務地址對應的預設分頁數量。
具體的，在對網際網路資源進行爬取時，由於網際網路資源的類型不同，可以根據各類型網際網路資源的特點，為其設置不同的分頁數量。通過步驟S11至步驟S15，可以在獲取待爬取任務的任務地址的時候，同時獲取待爬取任務對應的任務類型。通過任務類型，確定與任務類型對應的分頁數量。利用任務地址和與其對應的分頁數量，生成任務列表。
在實際應用當中，網際網路資源可以包括資訊類網站、論壇類網站等多種類型，在對不同類型的網站進行爬取時，可以為其設置不同的分頁數量。例如，在對資訊類網站進行爬取時，由於資訊類網站為了方便用戶閱讀，加快頁面的加載速度，通常會將資訊內容按照其長度分為若干頁。因此，在對資訊類網站進行爬取時，需要對記載有資訊內容的全部分頁進行爬取，即可以將分頁數量設置為資訊內容的全部分頁數量。在對論壇類網站及進行爬取時，由於論壇類網站的有效內容通常存在於分頁的前幾頁之中。在對論壇類的網站進行爬取時，只需對分頁的前幾頁進行爬取即可。因此，可以將分頁數量設置為5、10、15等。其中，分頁數量可以根據不同網站的實際情況進行設置，此處不做具體限定。
作為一種可選的技術方案，在步驟S235將當前分頁的下一分頁作為當前分頁中，可以包括：
步驟S51，對當前分頁對應的已爬取地址信息進行解析，確定與待爬取任務的下一分頁對應的待爬取地址信息。
步驟S53，將待爬取地址信息對應的下一分頁，作為待爬取的當前分頁。
具體的，在待爬取任務中的每個分頁頁面都擁有與其對應的網絡地址。因此，可以通過步驟S51至步驟S53對待爬取任務中的當前分頁的待爬取地址信息進行解析，確定下個分頁的下一分頁的待爬取地址信息。利用待爬取地址信息構建用於爬取待爬取地址信息的爬取進程，從而達到對待爬取任務的下一分頁進行爬取的目的。在構建爬取進程的同時，對待爬取任務的實時翻頁數量進行累加運算，從而達到對翻頁數量 進行計數的目的。
作為一種可選的技術方案，在步驟S51對當前分頁對應的已爬取地址信息進行解析，確定與待爬取任務的下一分頁對應的待爬取地址信息，可以包括：
步驟S511，獲取待爬取任務的當前分頁對應的已爬取地址信息。
步驟S513，按照預定解析規則對已爬取地址信息進行解析，確定在已爬取地址信息中用於記載頁碼信息的字符位置。
步驟S515，對字符位置中的字符進行替換，生成待爬取任務的下一分頁對應的待爬取地址信息。
具體的，通過步驟S511至步驟S515按照預先設定的解析規則對與當前分頁對應的已爬取地址信息進行解析，確定在已爬取地址信息中用於記錄分頁頁碼的字符位置。然後通過對分頁頁碼進行替換，從而得到下一分頁對應的待爬取地址信息。
在實際應用當中，與各個分頁頁面對應的網絡地址，通常是按照一定規律設置的。並且，由於網絡地址通常是以明文記載的，因此，爬蟲程序可以通過直接對網絡地址中的字符進行識別，即可確定在網絡地址中用於記錄分頁頁碼的位置。在確定用於記錄分頁頁碼的位置，通過對用於記錄分頁頁碼的位置的字符進行替換，即可得到下一分頁面的地址信息。
作為一種可選的技術方案，以分布式爬蟲系統為例進行說明。在分布式爬蟲系統中存在多臺爬蟲伺服器。爬蟲伺服器之間依靠消息隊列來分發待爬取任務。在將每個待爬取任務發送到爬蟲伺服器時，爬蟲伺服器中運行的爬蟲程序需要確定與該任務對應的爬取規則。因此，可以在爬蟲程序接收待爬取任務的同時，接收與該待爬取任務對應的最大翻頁次數，當未對最大翻頁次數進行設置時即可直接使用預先設置的默認翻頁次數。每當爬蟲程序遇到具有分頁的文章或者任何資源信息時，將會在爬取分頁中的內容的同時，對爬取的實際翻頁數量進行計數操作。當實際翻頁數量等於最大翻頁次數時，爬蟲程序認為當前的待爬取任務已經爬取完成，即結束與待爬取任務對應的爬取進程。
如圖3所示，具體實施步驟如下
步驟S1，為每個待爬取任務設置最大翻頁次數X。
步驟S2，當爬蟲程序爬取分頁內容的同時，對爬取的實際翻頁數量Y進行計數操作。
步驟S3，爬蟲程序在每次在對下一個分頁內容進行爬取之前，判斷實際翻頁數量Y是否等於最大翻頁次數X。如果等於，爬蟲程序認為當前的待爬取任務已經爬取完成。
步驟S4，如果實際翻頁數量Y小於最大翻頁次數X，使實際翻頁數量Y自增1，於此同時，構建下一分頁面的爬取進程。
本發明實施例還提供了一種用於爬蟲程序的數據處理裝置。其中，需要說明的是，本發明實施例的用於爬蟲程序的數據處理裝置可以用於執行本發明實施例所提供的用於爬蟲程序的數據處理方法，本發明實施例的用於爬蟲程序的數據處理方法也可以通過本發明實施例所提供的用於爬蟲程序的數據處理裝置來執行。
圖4是根據本發明實施例的用於爬蟲程序的數據處理裝置的結構示意圖。如圖4所示，該裝置包括：第一獲取模塊21、執行模塊23、爬取模塊231、比較模塊235和處理模塊237。
其中，第一獲取模塊21，用於獲取待爬取任務信息，其中，待爬取任務信息中至少包括待爬取任務對應的預設分頁數量；執行模塊23，用於將待爬取任務的第一分頁作為當前分頁，對當前分頁執行如下步驟，直到與當前分頁對應的當前已爬取分頁數量等於預設分頁數量為止：爬取模塊231，用於爬取當前分頁，累計當前已爬取分頁數量；比較模塊235，用於將當前已爬取分頁數量與預設分頁數量進行比較；處理模塊237，用於噹噹前已爬取分頁數量小於預設分頁數量時，將當前分頁的下一分頁作為當前分頁。
具體的，在通過網絡爬蟲對網際網路資源進行爬取時，經常會遇到存在具有分頁機制的網際網路資源。而在這些網際網路資源的分頁中，並不是每一個分頁都需要對其進行爬取。因此，通過上述第一獲取模塊21、執行模塊23、爬取模塊231、比較模塊235和處理模塊237，可以在獲取待爬取任務信息的時候，獲取任務地址以及與待爬取任務對應的分頁數量。在對待爬取任務進行爬取時，通過對該待爬取任務的翻頁數量進行累計。並在對下一分頁進行爬取之前，將翻頁數量與分頁數量進行比對，從而確定是否對待爬取任務的下一分頁頁面進行爬取。從而達到了對具有分頁機制的網際網路資源的爬取頁數進行控制的目的，進而解決由於對具有分頁機制的網頁進行全部爬取，導致的伺服器資源浪費的技術問題。
作為一種可選的實施方式，以待爬取任務對應的分頁數量為3頁為例進行說明。當在對待爬取任務的第一個分頁進行爬取後，將與所述待爬取任務對應的用於記錄已爬取分頁數量的計數器做累加處理。然後，將已爬取分頁數量與獲取到的分頁數量進行比對，當已爬取分頁數量小於3頁時，將下一分頁進行爬取。當在對待爬取任務的 第三個分頁進行爬取後，將當前已爬取分頁數量與獲取到的分頁數量進行比對。當一爬去分頁數量等於3頁時，終止對當前待爬取任務的爬取進程，結束對當前待爬取任務的爬取。
作為一種可選的技術方案，如圖5所示，上述裝置還包括：第二獲取模塊11、第三獲取模塊13和確定模塊15。
其中，第二獲取模塊11，用於獲取待爬取任務的任務地址；第三獲取模塊13，用於獲取待爬取任務對應的任務類型；確定模塊15，用於根據任務類型，確定與任務地址對應的預設分頁數量。
具體的在對網際網路資源進行爬取時，由於網際網路資源的類型不同，可以根據各類型網際網路資源的特點，為其設置不同的分頁數量。通過上述第二獲取模塊11、第三獲取模塊13和確定模塊15，可以在獲取待爬取任務的任務地址的時候，同時獲取待爬取任務對應的任務類型。通過任務類型，確定與任務類型對應的分頁數量。利用任務地址和與其對應的分頁數量，生成任務列表。
在實際應用當中，網際網路資源可以包括資訊類網站、論壇類網站等多種類型，在對不同類型的網站進行爬取時，可以為其設置不同的分頁數量。例如，在對資訊類網站進行爬取時，由於資訊類網站為了方便用戶閱讀，加快頁面的加載速度，通常會將資訊內容按照其長度分為若干頁。因此，在對資訊類網站進行爬取時，需要對記載有資訊內容的全部分頁進行爬取，即可以將分頁數量設置為資訊內容的全部分頁數量。在對論壇類網站及進行爬取時，由於論壇類網站的有效內容通常存在於分頁的前幾頁之中。在對論壇類的網站進行爬取時，只需對分頁的前幾頁進行爬取即可。因此，可以將分頁數量設置為5、10、15等。其中，分頁數量可以根據不同網站的實際情況進行設置，此處不做具體限定。
作為一種可選的技術方案，上述處理模塊235包括：第一子確定模塊51和子處理模塊53。
其中，第一子確定模塊51，用於對當前分頁對應的已爬取地址信息進行解析，確定與待爬取任務的下一分頁對應的待爬取地址信息；子處理模塊53，用於將待爬取地址信息對應的下一分頁，作為待爬取的當前分頁。
具體的，在待爬取任務中的每個分頁頁面都擁有與其對應的網絡地址。因此，可以通過上述第一子確定模塊51和子處理模塊53，對待爬取任務中的當前分頁的待爬取地址信息進行解析，確定下個分頁的下一分頁的待爬取地址信息。利用待爬取地址信息構建用於爬取待爬取地址信息的爬取進程，從而達到對待爬取任務的下一分頁進 行爬取的目的。在構建爬取進程的同時，對待爬取任務的實時翻頁數量進行累加運算，從而達到對翻頁數量進行計數的目的。
作為一種可選的技術方案，上述子處理模塊53包括：子獲取模塊511、第二子確定模塊513和子生成模塊515。
其中，子獲取模塊511，用於獲取待爬取任務的當前分頁對應的已爬取地址信息；第二子確定模塊513，用於按照預定解析規則對已爬取地址信息進行解析，確定在已爬取地址信息中用於記載頁碼信息的字符位置；子生成模塊515，用於對字符位置中的字符進行替換，生成待爬取任務的下一分頁對應的待爬取地址信息。
具體的，通過上述子獲取模塊511、第二子確定模塊513和子生成模塊515，按照預先設定的解析規則對與當前分頁對應的已爬取地址信息進行解析，確定在已爬取地址信息中用於記錄分頁頁碼的字符位置。然後通過對分頁頁碼進行替換，從而得到下一分頁對應的待爬取地址信息。
在實際應用當中，與各個分頁頁面對應的網絡地址，通常是按照一定規律設置的。並且，由於網絡地址通常是以明文記載的，因此，爬蟲程序可以通過直接對網絡地址中的字符進行識別，即可確定在網絡地址中用於記錄分頁頁碼的位置。在確定用於記錄分頁頁碼的位置，通過對用於記錄分頁頁碼的位置的字符進行替換，即可得到下一分頁面的地址信息。
上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
在本發明的上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的技術內容，可通過其它的方式實現。其中，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，單元或模塊的間接耦合或通信連接，可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可為個人計算機、伺服器或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：U盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、移動硬碟、磁碟或者光碟等各種可以存儲程序代碼的介質。
以上所述僅是本發明的優選實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。