聚合網際網路內容的方法及系統與流程

2023-09-20 04:15:25 2

本發明涉及電子信息技術領域，特別是涉及一種聚合網際網路內容的方法及系統。

背景技術：

隨著網際網路技術的飛速發展，傳統的pc網際網路技術已逐漸被移動網際網路技術所取代，智慧型手機、平板電腦等可移動智能設備的普及和進步，使人們可以通過移動網際網路更方便地獲取信息。網際網路包括了各種知識，包括音樂，圖書，動漫，電視劇，動漫，公開課，演講等各種海量數據，種類繁多，內容豐富。對於這些龐大的數據資源，網際網路公司都會採用內容聚合的方式將網際網路內容呈現給用戶。

但在實際應用中，目前的網際網路內容聚合系統都比較偏向傳統的pc網際網路公司，若將該網際網路內容聚合系統應用在移動網際網路公司中，會導致網際網路數據抓取不便捷，數據分析管理步驟繁瑣，聚合效果不智能，系統監測不靈敏。因此，如何開發適合於移動網際網路公司的聚合網際網路內容的方法及系統是目前亟待解決的技術問題。

技術實現要素：

鑑於上述狀況，有必要提供一種克服上述問題或者至少部分地解決上述問題的聚合網際網路內容的方法及系統。

根據本發明一實施例的聚合網際網路內容的方法，包括以下步驟：

雲端伺服器定時啟動網際網路數據抓取動作，自動抓取網際網路數據，獲取網際網路數據內容；

雲端伺服器對獲取的網際網路數據內容進行分析，分類聚合獲取的網際網路數據內容，並確認數據內容的合法性和真實性；

雲端伺服器對已分類聚合且確認後的網際網路數據內容進行整合併存儲。

根據本發明實施例的聚合網際網路內容的方法，通過雲端伺服器定時啟動網際網路數據抓取動作，自動抓取網際網路數據，獲取網際網路數據內容，然後對網際網路數據內容進行分析，分類聚合獲取的網際網路數據內容，並確認數據內容的合法性和真實性，最後對已分類聚合且確認後的網際網路數據內容進行整合併存儲，可實現對網際網路各種內容智能化的數據抓取和分析聚合，處理流程簡化、操作簡單，更適用於移動網際網路，且系統運行狀況可實現自動化實時監測，更加智能。

另外，根據本發明上述實施例的聚合網際網路內容的方法，還可以具有如下附加的技術特徵：

進一步地，在本發明的一個實施例中，所述雲端伺服器包括智能數據抓取工具，所述智能數據抓取工具用於自動抓取網際網路數據，獲取網際網路數據內容。

進一步地，在本發明的一個實施例中，所述智能數據抓取工具含有關鍵字排除程序，所述關鍵字排除程序用於所述智能數據抓取工具發起網際網路數據抓取請求時，排除涉及虛假、色情的非法信息。

進一步地，在本發明的一個實施例中，所述雲端伺服器還包括智能數據分析聚合工具，所述智能數據分析聚合工具用於自動分析所述智能數據抓取工具抓取的網際網路數據內容，對獲取的網際網路數據內容進行分類聚合，並再次確認數據內容的合法性和真實性。

進一步地，在本發明的一個實施例中，所述雲端伺服器還包括智能數據整合存儲工具，所述智能數據整合存儲工具用於對已分類聚合且確認後的網際網路數據內容進行整合併存儲。

進一步地，在本發明的一個實施例中，所述聚合網際網路內容的方法進一步包括系統運行狀況監控方法，包括以下步驟：

雲端伺服器自動實時獲取系統運行數據；

雲端伺服器對獲取的系統運行數據運行監控分析；

雲端伺服器系統異常運行狀況進行處理。

進一步地，在本發明的一個實施例中，所述雲端伺服器進一步包括系統運行狀態數據獲取工具、系統運行狀態數據分析工具、系統異常信息發送工具和異常處理工具，所述運行狀態數據獲取工具自動實時獲取系統運行數據，所述運行狀態數據分析工具對獲取的數據運行分析及處理，所述運行狀態數據分析工具進一步根據分析的結果判斷系統是否處於正常運行狀態，如果系統處於正常運行狀態，則所述雲端伺服器繼續進行監控，如果系統處於異常運行狀態，則所述系統異常信息發送工具發出異常警告，將異常信息發送至所述異常處理工具，並啟動相應的預案處理機制。

本發明的另一個實施例提出一種聚合網際網路內容的系統。

根據本發明實施例的聚合網際網路內容的系統，應用上述方法，上述聚合網際網路內容的系統包括智能數據抓取單元、智能數據分析聚合單元和數據整合存儲單元，所述智能數據抓取單元自動抓取網際網路數據，獲取網際網路數據內容，所述智能數據抓取單元還包括關鍵字排除單元，所述關鍵字排除單元用於所述智能數據抓取模塊發起網際網路數據獲取請求時，排除涉及虛假、色情等非法信息，所述智能數據分析聚合單元自動分析所述智能數據抓取單元抓取的網際網路數據內容，對抓取的網際網路數據內容進行分類聚合，再次確認數據內容的合法性和真實性，所述智能數據整合存儲單元用於整合併存儲所述智能數據分析聚合單元分析聚合後的網際網路數據內容。

進一步地，在本發明的一個實施例中，所述聚合網際網路內容的系統還包括雲端伺服器系統運行狀況監控組件，所述雲端伺服器系統運行狀況監控組件包括運行狀態數據獲取單元、運行狀態數據分析單元、系統異常信息發送單元和異常處理單元，所述運行狀態數據獲取單元自動實時獲取系統運行數據，所述運行狀態數據分析單元對獲取的系統運行數據進行分析及處理，所述運行狀態數據分析單元進一步根據分析的結果判斷系統是否處於正常運行狀態，如果系統處於正常運行狀態，則所述系統運行狀況監控組件繼續監控，如果系統處於異常運行狀態，則所述系統異常信息發送單元發出異常警告，將異常信息發送至所述異常處理單元，並啟動相應的預案處理機制。包括：

附圖說明

圖1示出了根據本發明一個實施例的聚合網際網路內容的方法的流程圖。

圖2示出了根據本發明一個實施例的系統運行狀況監控方法的流程示意圖。

圖3示出了根據本發明一個實施例的聚合網際網路內容的系統的結構組成圖。

圖4示出了根據本發明一個實施例的雲端伺服器系統運行狀況監控組件的結構組成圖。

具體實施方式

為了便於理解本發明，下面將參照相關附圖對本發明進行更全面的描述。附圖中給出了本發明的首選實施例。但是，本發明可以以許多不同的形式來實現，並不限於本文所描述的實施例。相反地，提供這些實施例的目的是使對本發明的公開內容更加透徹全面。

請參閱圖1，本發明實施例提出的聚合網際網路內容的方法，包括以下步驟：

步驟s102，雲端伺服器定時啟動網際網路數據抓取動作，自動抓取網際網路數據，獲取網際網路數據內容；

其中，所述雲端伺服器設有智能數據抓取工具，所述智能數據抓取工具用於自動抓取網際網路數據，獲取網際網路數據內容，具體操作時，該智能數據抓取工具可定時在網際網路中啟動抓取工作，將第三方的數據資源，比如文本、html網頁、web服務、關係資料庫等內容進行自動抓取，抓取動作高效便捷，且該智能數據抓取工具還可統計用戶的喜好，根據用戶的使用特點進行個性化抓取。

進一步的，所述智能數據抓取工具含有關鍵字排除程序，該關鍵字排除程序用於所述智能數據抓取工具發起網際網路數據抓取請求時，排除涉及虛假、色情等非法的信息，精簡掉多餘、無效的網際網路內容，保證所述智能數據抓取工具抓取內容的合法、有效。

步驟s104，雲端伺服器對獲取的網際網路數據內容進行分析，分類聚合獲取的網際網路數據內容，並確認數據內容的合法性和真實性；

其中，所述雲端伺服器進一步設有智能數據分析聚合工具，所述智能數據分析聚合工具用於自動分析所述智能數據抓取工具抓取的網際網路數據內容，對抓取的網際網路數據內容進行分類聚合，例如所述智能數據分析工具根據音頻、視頻、圖書、圖片等類別對抓取到的數據內容進行分類，將同類的數據內容進行聚合歸檔。之後所述智能數據分析聚合工具再次確認數據內容的合法性和真實性，確認完成後，進一步向步驟s106發出存儲請求。

步驟s106，雲端伺服器對已分類聚合且確認後的網際網路數據內容進行整合併存儲；

其中，所述雲端伺服器進一步設有智能數據整合存儲工具，所述智能數據整合存儲工具接收步驟s104發出的請求，對已分類聚合且確認後的網際網路數據內容進行整合併存儲，整合時可根據系統設定選擇將所有數據內容進行整合，或選擇性的整合部分內容。

本發明實施例提出的聚合網際網路內容的方法可通過雲端伺服器自動抓取網際網路最新的信息，保證了系統內容與網際網路內容保持高度一致，能夠根據智能數據抓取工具捕捉到網際網路市場的最新發展趨勢，且本發明可利用大數據存儲技術和大數據分析技術，為企業公司決策提供信息支持。

進一步地，本發明實施例提出的聚合網際網路內容的方法還包括系統運行狀況監控方法。

請參閱圖2，圖2為所述系統運行狀況監控方法的流程示意圖，具體包括以下步驟：

步驟s202，雲端伺服器自動實時獲取系統運行數據；

其中，所述雲端伺服器設有系統運行狀態數據獲取工具，所述系統運行狀態數據獲取工具自動實時獲取系統運行數據，並將獲取的數據發送給步驟s204。

步驟s204，雲端伺服器對獲取的系統運行數據運行監控分析；

其中，所述雲端伺服器進一步設有系統運行狀態數據分析工具，所述系統運行狀態數據分析工具對獲取的數據運行分析對比及處理，並根據分析的結果判斷系統是否處於正常運行狀態，如果系統處於正常運行狀態，則進行返回步驟s202，繼續對系統進行監控；如果系統處於異常運行狀態，則執行步驟s206。

步驟s206，雲端伺服器對系統異常運行狀況進行處理；

其中，所述雲端伺服器設有系統異常信息發送工具和異常處理工具，所述系統異常信息發送工具根據步驟s204分析的數據結果發出異常警告，將異常信息發送至所述異常處理工具，並通知系統相關人員，及時啟動相應的預案處理機制。

本實施例提出的系統運行狀況監控方法可通過雲端伺服器自動實時獲取系統運行狀態數據，並將實時運行數據提交給系統運行狀態數據分析工具，該系統運行狀態數據分析工具將根據系統運行的內存佔用，如cpu佔用，io處理，網絡傳輸時間等運行狀態指標來判斷系統是否處於運行異常狀態，系統運行狀態一旦觸發了臨界值，雲端伺服器中的系統異常信息發送工具就會自動發送系統異常警告信息給異常處理工具並通知系統相關人員，系統相關人員根據系統異常警告信息啟用相應的處理預案，因此該系統運行狀況監控方法更加智能、簡便。且在具體實施中，雲端伺服器能夠實時監控系統的運行狀態，當系統面對突發情況時，系統相關人員能夠第一時間啟動處理預案，這樣就極大地保證了系統的穩定性，數據的安全性。在移動網際網路企業，這種保障企業的信息穩定和數據安全機制顯得尤為重要。

本發明的實施例還提出了一種聚合網際網路內容的系統，該系統應用上述提出的聚合網際網路內容的方法。

請參閱圖3，該聚合網際網路內容的系統30包括智能數據抓取單元301、智能數據分析聚合單元302、數據整合存儲單元303和數據倉庫304。

該智能數據抓取單元301自動抓取網際網路數據，獲取網際網路數據內容，包括文本、html網頁、web服務、關係資料庫等內容。該智能數據抓取單元301可定時在網際網路中啟動抓取工作，抓取工作自動進行，抓取動作高效便捷，且該智能數據抓取單元301還可統計用戶的喜好，根據用戶的使用特點進行個性化抓取。

該智能數據抓取單元301還包括關鍵字排除單元3011，該關鍵字排除單元3011用於智能數據抓取單元301發起網際網路數據抓取請求時，排除涉及虛假、色情等非法的信息，精簡掉多餘、無效的網際網路內容，保證智能數據抓取單元301抓取內容的合法、有效。

智能數據分析聚合單元302用於自動分析智能數據抓取單元301抓取的網際網路數據內容，對抓取的網際網路數據內容進行分類處理，例如所述智能數據分析工具根據音頻、視頻、圖書、圖片等類別對抓取到的數據內容進行分類歸檔。之後所述智能數據分析工具再次確認數據內容的合法性和真實性，確認完成後，向數據整合存儲單元303發出存儲請求。

數據整合存儲單元303接收智能數據分析聚合單元302發出的存儲請求，執行存儲智能數據分析聚合單元302分析後的網際網路數據內容，最終將該數據內容存儲在數據倉庫304中。

進一步地，本發明實施例提出的聚合網際網路內容的系統還包括系統運行狀況監控組件。

請參閱圖4，所述雲端伺服器系統運行狀況監控組件40包括運行狀態數據獲取單元401、運行狀態數據分析單元402、系統異常信息發送單元403和異常處理單元404。

該運行狀態數據獲取單元401自動實時獲取系統運行的數據，並將獲取的數據發送給運行狀態數據分析單元402。

該運行狀態數據分析單元402對獲取的數據運行分析對比及處理，並根據系統運行的內存佔用，如cpu佔用，io處理，網絡傳輸時間等運行狀態指標來判斷系統是否處於運行異常狀態，如果系統處於正常運行狀態，則該運行狀態數據分析單元402反饋信息給運行狀態數據獲取單元401，使運行狀態數據獲取單元401繼續對系統進行監控；如果系統處於異常運行狀態，則運行狀態數據分析單元402發生異常信息給系統異常信息發送單元403，該系統異常信息發送單元403將異常信息進一步發送至異常處理單元404，並通知系統相關人員，及時啟動相應的預案處理機制。

本發明提出的聚合網際網路內容的方法及系統可實現對網際網路各種內容智能化的數據抓取和分析聚合，處理流程簡化、操作簡單，更適用於移動網際網路，且系統運行狀況可實現自動化實時監測，更加智能。

以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附權利要求為準。