網絡數據的處理方法及裝置、網絡數據的發布方法及系統的製作方法
2023-08-13 07:13:21 2
網絡數據的處理方法及裝置、網絡數據的發布方法及系統的製作方法
【專利摘要】本發明提供了一種網絡數據的處理方法及裝置、網絡數據的發布方法及系統，其中，該網絡數據的處理方法包括：根據第一配置信息從不同形式的網絡應用程式接口API獲取待發布的原始網絡數據，其中，第一配置信息包括：用於獲取原始網絡數據的來源信息；根據第二配置信息將原始網絡數據處理為不同發布形式的網絡數據文件。本發明解決了相關技術中第三方客戶端需要編寫不同的代碼來處理不同網絡API數據的問題，從而在提高數據處理效率的同時，減少了代碼編寫人員的工作量。
【專利說明】網絡數據的處理方法及裝置、網絡數據的發布方法及系統
【技術領域】
[0001]本發明涉及通信領域，具體而言，涉及一種網絡數據的處理方法及裝置、網絡數據的發布方法及系統。
【背景技術】
[0002]在網絡的發展中，出現了網絡應用程式接口(Application Program Interface,簡稱為API)即由數據提供者(網站)通過網絡API發布數據，各種客戶端(桌面客戶端、移動終端客戶端、第三方網站)通過網絡API獲得數據並再處理呈現給最終用戶。即:數據被存儲在它的提供者那裡，用網絡API獲得，而數據的傳播和呈現則由第三方負責。
[0003]網絡API的形式是多種多樣的，一般是提供一個統一資源定位符(UniformResource Locator,簡稱為URL)地址,和約定傳入參數，當使用者訪問這個URL地址並傳入正確的參數時，伺服器將網絡API的運算結果用可擴展標記語言(Extensible MarkupLanguage，簡稱為XML)，JSON等格式返給使用者。其他的可以作為網絡API傳遞運算結果的格式還有 RSS Resource Sharing System 資源共享系統 RSS、S0AP(Simple Object AccessProtocol,簡單對象訪問協議)SOAP等。RSS主要應用於新聞、博客等發布,是一種出現的較早的格式，有自己專用的閱讀器。SOAP主要用於伺服器之間的網絡API調用，可以認為是伺服器之間的「交互語言」。
[0004]網絡API很好用，但是也有自己的不足。我們從以下方面來說:
[0005]一、站在數據提供者的角度來說，第三方(客戶端)對它的伺服器的並行訪問壓力很重。因此，建設一個能提供網絡API的網站的門檻很高。
[0006]一方面，要讓眾多的第三方使用網絡API，就需要數據提供者的伺服器的並行訪問能力非常出眾，否則很容易死機。要構建起能支撐巨大並行訪問量的伺服器需要很多資金，這是普通網站建設者做不到的。所以現在能提供網絡API的主要是大型網站。另一方面，如果普通網站建設者依靠購買大型網站提供的雲計算服務來提供網絡API，就必須將自己的代碼和數據都存放在大型網站那裡，一旦大型網站出現問題，對於普通網站自己是非常不利的。
[0007]二、站在第三方的角度來說，因為第三方客戶端缺乏自動處理網絡數據的手段，所以用網絡API編寫程序做的重複工作較多，編程壓力重。
[0008]目前要使用網絡API，第三方程式設計師就必須要編寫代碼。這是因為各種網絡API的來源、數據格式定義和參數定義均不相同，所以每當需要使用一個新的網絡API時，就必須編寫相應的代碼來訪問和處理數據，這對程式設計師的壓力很重。而且，如果需要將來自於多個網絡API提供者的數據進行融合時，更是必須要編寫代碼來完成。
[0009]針對相關技術中上述至少之一的問題，目前尚未提出有效的解決方案。
【發明內容】
[0010]本發明提供了一種網絡數據的處理方法及裝置、網絡數據的發布方法及系統，以至少解決相關技術中第三方客戶端需要編寫不同的代碼來處理不同網絡API數據的問題。
[0011]根據本發明的一個方面，提供了一種網絡數據的處理方法，其包括:根據第一配置信息從不同形式的網絡應用程式接口 API獲取待發布的原始網絡數據，其中，第一配置信息包括:用於獲取原始網絡數據的來源信息；根據第二配置信息將原始網絡數據處理為不同發布形式的網絡數據文件。
[0012]優選地，根據第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據包括:根據來源信息從不同形式的網絡API獲取待發布的原始網絡數據，其中，來源信息包括:原始網絡數據的格式、獲取原始網絡數據的統一資源定位符URL、訪問URL的預設參數。
[0013]優選地，根據第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據包括:根據來源信息中定義的路徑信息通過XML路徑語言(XML Path Language，簡稱為XPATH)方式獲取原始網絡數據。
[0014]優選地，根據第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據之後，上述網絡數據的處理方法還包括:根據第一配置信息中的存儲信息將原始網絡數據存儲到資料庫中，其中，存儲信息包括:原始網絡數據將要存儲在資料庫中的資料庫表的預表名、資料庫表的版本號、原始網絡數據在資料庫中存儲時的名稱、原始網絡數據的存儲類型。
[0015]優選地，根據第一配置信息中的存儲信息將原始網絡數據存儲到資料庫中包括:預表名對應著至少兩個資料庫表，根據預表名從預表名與資料庫表的真實表名的預設映射關係中確定出存儲原始網絡數據的資料庫表的真實表名，其中，確定出的資料庫表的真實表名為資料庫表中未被映射的資料庫表的真實表名；根據版本號和確定出的真實表名將原始網絡數據文件存儲到資料庫中。
[0016]優選地，根據第一配置信息中的存儲信息將原始網絡數據存儲到資料庫中包括:在存儲信息中的存儲類型為時間類型的情況下，獲取原始網絡數據的原始時間格式；根據原始時間格式解析獲得原始網絡數據的時間；以預設時間格式將原始網絡數據按照時間順序存儲到資料庫中。
[0017]優選地，根據預設的第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據之後，上述網絡數據的處理方法還包括:在原始網絡數據為二進位文件的情況下，根據獲取原始網絡數據的連結地址獲取原始網絡數據；將原始網絡數據存儲在本地文件系統中，並存儲發布原始網絡數據的新連結地址。
[0018]優選地，根據預設的第二配置信息將原始網絡數據處理為不同發布形式的網絡數據文件包括:根據第二配置信息中的數據獲取方式獲取原始網絡數據，其中，數據獲取方式包括:從資料庫中獲取原始網絡數據、通過指定的第一配置信息來獲取原始網絡數據；根據第二配置信息中的預設數據形式將原始網絡數據處理為不同發布形式的網絡數據文件。
[0019]優選地，根據第二配置信息從資料庫中獲取原始網絡數據包括:根據第二配置信息中的參數獲取方式獲取用於獲得原始網絡數據的參數信息，其中，參數獲取方式包括以下之一:接收攜帶有參數信息的請求消息，查詢存儲原始網絡數據時的預設映射關係獲取原始網絡數據的存儲信息，並作為參數信息；根據參數信息生成結構查詢語言(StructuredQuery Language,簡稱為SQL)語句來從資料庫中獲取原始網絡數據。
[0020]優選地，根據查詢存儲原始網絡數據時的預設映射關係獲取的參數信息來從資料庫中獲取原始網絡數據包括:根據第二配置信息中的別名查詢預設映射關係確定獲取原始網絡數據的資料庫表的真實表名，其中，別名與存儲原始網絡數據時使用的預表名一致，在預設映射關係中與別名對應映射的資料庫表的名稱為獲取原始網絡數據的資料庫表的真實表名；使用確定出的真實表名生成SQL語句來從資料庫中獲取原始網絡數據。
[0021]優選地，根據第二配置信息從指定的第一配置信息來獲取原始網絡數據包括:根據參數信息從指定的第一配置信息中確定原始網絡數據的來源信息；根據來源信息從不同形式的網絡API獲取原始網絡數據。
[0022]優選地，預設數據形式包括以下之一:可擴展標記語言(Extensible MarkupLanguage,簡稱為XML)形式、輕量級數據交換語言(JavaScript Object Notation,簡稱為JSON)形式、超文件標記語言(Hypertext Markup Language,簡稱為HTML)形式。
[0023]優選地，間隔預設時間周期根據第一配置信息從不同形式的網絡API獲取原始網絡數據，並根據第二配置信息將原始網絡數據處理為不同發布形式的網絡數據文件。
[0024]根據本發明的另一方面，提供了一種網絡數據的發布方法，其包括:根據上述任一種方法網站的雲伺服器對不同形式的原始網絡數據處理為不同發布形式的網絡數據文件，並通過雲伺服器來發布網絡數據文件，其中，雲伺服器使用的URL與網站的URL相關。
[0025]優選地，網絡數據包括:網站從除網站之外的其他網站獲得的網絡數據。
[0026]根據本發明的又一方面，提供了一種網絡數據的處理裝置，其包括:獲取模塊，用於根據第一配置信息從不同形式的網絡應用程式接口 API獲取待發布的原始網絡數據，其中，第一配置信息包括:用於獲取原始網絡數據的來源信息；數據處理模塊，用於根據第二配置信息將原始網絡數據處理為不同發布形式的網絡數據文件。
[0027]優選地，上述網絡數據的處理裝置還包括:存儲模塊，用於根據第一配置信息中的存儲信息將原始網絡數據存儲到資料庫中，其中，存儲信息包括:原始網絡數據將要存儲在資料庫中的資料庫表的預表名、資料庫表的版本號、原始網絡數據在資料庫中存儲時的名稱、原始網絡數據的存儲類型。
[0028]優選地，數據處理模塊包括:獲取單元，用於根據第二配置信息中的數據獲取方式獲取原始網絡數據，其中，數據獲取方式包括:從資料庫中獲取原始網絡數據、通過指定的第一配置信息來獲取原始網絡數據；數據處理單元，用於根據第二配置信息中的預設數據形式將原始網絡數據處理為不同發布形式的網絡數據文件。
[0029]根據本發明的又一方面，提供了一種網絡數據的發布系統，其包括:網站根據上述任一種裝置網站通過雲伺服器將不同形式的網絡數據處理為不同發布形式的網絡數據文件，並通過雲伺服器來發布網絡數據文件，其中，雲伺服器使用的URL與網站的URL相關。
[0030]優選地，網絡數據包括:網站從除網站之外的其他網站獲得的網絡數據。
[0031]在本發明中，通過預設的第一配置信息，該第一配置信息包括:用於獲取原始網絡數據的來源信息，並根據根據第一配置信息從不同形式的網絡應用程式接口 API獲取待發布的原始網絡數據，然後，根據預設的第二配置信息將上述原始網絡數據處理為不同發布形式的網絡數據文件，實現可以對不同的網絡API數據進行處理，並處理為不同形式的發布數據，避免在處理不同網絡API數據時，編寫相應的代碼來完成數據的處理，從而在提高數據處理效率的同時，減少了代碼編寫人員的工作量。【專利附圖】
【附圖說明】
[0032]此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定。在附圖中:
[0033]圖1是根據本發明實施例的網絡數據的處理方法的流程圖；
[0034]圖2是根據本發明實施例的網絡數據的處理裝置的結構框圖；
[0035]圖3是根據本發明實施例的另一種網絡數據的處理裝置的結構框圖；
[0036]圖4是根據本發明實施例的網絡數據的處理並發布的系統的功能示意圖；
[0037]圖5是根據本發明實施例的生產者配置文件的示意圖；
[0038]圖6是根據本發明實施例的生產者處理模塊的處理流程的示意圖；
[0039]圖7是根據本發明實施例的消費者配置文件的示意圖；
[0040]圖8是根據本發明實施例的消費者處理模塊的處理流程的示意圖；
[0041]圖9是根據本發明實施例的系統一的結構示意圖；以及
[0042]圖10是根據本發明實施例的系統二的結構示意圖。
【具體實施方式】
[0043]下文中將參考附圖並結合實施例來詳細說明本發明。需要說明的是，在不衝突的情況下，本申請中的實施例及實施例中的特徵可以相互組合。
[0044]本實施例提供了一種網絡數據的處理方法，如圖1所示，該網絡數據的處理方法包括步驟S102至步驟S104。
[0045]步驟S102:根據第一配置信息從不同形式的網絡應用程式接口 API獲取待發布的原始網絡數據，其中，第一配置信息包括:用於獲取原始網絡數據的來源信息。
[0046]步驟S104:根據第二配置信息將原始網絡數據處理為不同發布形式的網絡數據文件。
[0047]通過上述步驟，通過預設的第一配置信息，該第一配置信息包括:用於獲取原始網絡數據的來源信息，並根據第一配置信息從不同形式的網絡應用程式接口 API獲取待發布的原始網絡數據，然後，根據預設的第二配置信息將上述原始網絡數據處理為不同發布形式的網絡數據文件，實現可以對不同的網絡API數據進行處理，並處理為不同形式的發布數據，避免在處理不同網絡API數據時，編寫相應的代碼來完成數據的處理，從而在提高數據處理效率的同時，減少了代碼編寫人員的工作量。
[0048]為了準確地獲得原始網絡數據，在本優選實施例中，根據第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據包括:根據來源信息從不同形式的網絡API獲取待發布的原始網絡數據，其中，來源信息包括:原始網絡數據的格式、獲取原始網絡數據的統一資源定位符URL、訪問URL的預設參數。即通過訪問URL並輸入相應的參數來獲取原始網絡數據，並對原始網絡數據的格式進行解析。
[0049]為了提高獲取原始網絡數據的效率、準確性，在本優選實施例中，根據第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據包括:根據上述來源信息中定義的路徑信息通過XPATH方式獲取上述原始網絡數據。例如，該路徑信息可以包括用XPATH指示的該原始網絡數據在以XML格式表示的原始數據文件中的位置信息，供XPATH使用的命名空間和根路徑。利用XPATH從原始數據文件獲取上述原始網絡數據的過程是:先通過根路徑定義的XPATH把包含數據的多個節點提取出來，再對每個節點用每個表項的來源信息中位置信息的XPATH找到具體數據。組成這些XPATH語句需要用到命名空間。
[0050]為了對上述原始網絡數據進行融合處理，在本優選實施例中，根據第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據之後，根據第一配置信息中的存儲信息將原始網絡數據存儲到資料庫中，其中，存儲信息包括:原始網絡數據將要存儲在資料庫中的資料庫表的預表名、上述資料庫表的版本號、原始網絡數據在資料庫中存儲時的名稱、原始網絡數據的存儲類型。將獲取的不同形式且擁有相同預表名的網絡原始數據寫入同一張數據表，做到數據的融合。
[0051]為了避免數據表中的讀寫衝突，在本優選實施例中，根據第一配置信息中的存儲信息將原始網絡數據存儲到資料庫中包括:預表名對應著至少兩個資料庫表，根據預表名從預表名與資料庫表的真實表名的預設映射關係中確定出存儲原始網絡數據的資料庫表的真實表名，其中，確定出的資料庫表的真實表名為資料庫表中未被映射的資料庫表的真實表名；根據版本號和確定出的真實表名將原始網絡數據文件存儲到資料庫中。即預表名並不是真實的表名，可以另外維護著一張映射表(相當於上述映射關係)，該映射表以上述預表名為主鍵，記錄了表的版本號和目前使用的真實表名，我們只需要用兩張真實的表就可以達到目的了。例如:假設預表名為「Tablel」，我們在其後加上建立兩張真實的表「Tablel_A」、「Tablel_B」。假設上次運行完成後，數據被存儲在「Tablel_A」，即目前使用的真實表名是「TabIe 1_A」，即映射關係表中預表名「Tablel」與「TabIe 1_A」是對應映射的，則我們將這次運行得到的數據寫入「Tablel_B」，等到寫入完成時，才將映射表中「Tablel」項對應的目前使用的真實表名更換成「Tablel_B」，而消費者處理模塊取數據也是先查映射表，找到目前使用的真實表名再取數據，這樣保證消費者處理模塊永遠都能取到準備好了的數據，圓滿解決了等待寫資料庫而發生阻塞的問題，避免了讀寫衝突的問題。
[0052]為了滿足不同應用場景的需求，在本優選實施例中，根據第一配置信息中的存儲信息將原始網絡數據存儲到資料庫中包括:在存儲信息中的存儲類型為時間類型的情況下，獲取原始網絡數據的原始時間格式；根據原始時間格式解析獲得原始網絡數據的時間；以預設時間格式將原始網絡數據按照時間順序存儲到資料庫中。例如，在實際使用中，經常需要將來自於不同來源的數據以時間順序排序，這就要求統一它們的時間格式，所以在存儲信息中，如果存儲類型是時間，就要給出數據來源中的時間格式(例如:yyyy-MM-ddHH:mm),就可以根據這個格式解析數據的時間，並用統一的時間格式(例如:yyyy-MM-dd HH:mm:ss)以時間為順序將數據存儲到資料庫中。
[0053]為了滿足不同應用需求，在本實施例中，根據預設的第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據之後，在原始網絡數據為二進位文件的情況下，根據獲取原始網絡數據的連結地址獲取原始網絡數據；將原始網絡數據存儲在本地文件系統中，並存儲發布原始網絡數據的新連結地址。即原始網絡數據為二進位文件的情況下，最典型的例子是圖片，原始數據文件給出的圖片一般是URL連結字串，如果需要將二進位文件從原始數據源取來並通過上述方法對數據進行處理，就要在第一配置信息中給出指示以及獲取數據的URL連結字串，在實施時就可以根據指示將二進位文件取回到本地文件系統，並生成指向處理後的數據文件地址的URL連結字串存儲在第一配置信息中。為了節省流量，在取二進位文件時要支持HTTP304原因值的處理，這樣就不會重複地取內容未改變的文件了。
[0054]為了提高本實施例的靈活性，在本優選實施例中，根據預設的第二配置信息將原始網絡數據處理為不同發布形式的網絡數據文件包括:根據第二配置信息中的數據獲取方式獲取原始網絡數據，其中，數據獲取方式包括:從資料庫中獲取原始網絡數據、通過指定的第一配置信息來獲取原始網絡數據；根據第二配置信息中的預設數據形式將原始網絡數據處理為不同發布形式的網絡數據文件。即除了可以從資料庫中獲取上述原始網絡數據之夕卜，還可以指定一個第一配置信息，根據該指定的第一配置信息直接從原始數據文件中獲得數據並填入新生成文件的相應位置。不經過資料庫中轉，這種方式的好處是省下了資料庫的開銷，但是缺點是不能利用資料庫做較複雜的排序，只能按照數據在原始文件中的順序排序，但是因為一般原始文件中的數據就已經是排了序的，所以新生成的文件仍然是有序的。
[0055]從資料庫中獲取原始網絡數據可以通過以下步驟來實現，根據第二配置信息從資料庫中獲取原始網絡數據包括:根據第二配置信息中的參數獲取方式獲取用於獲得原始網絡數據的參數信息，其中，參數獲取方式包括以下之一:接收攜帶有參數信息的請求消息，查詢存儲原始網絡數據時的預設映射關係獲取原始網絡數據的存儲信息，並作為參數信息；根據參數信息生成SQL語句來從資料庫中獲取原始網絡數據。
[0056]為了準確地從資料庫中獲取數據，在本優選實施例中，根據查詢存儲原始網絡數據時的預設映射關係獲取的參數信息來從資料庫中獲取原始網絡數據包括:根據第二配置信息中的別名查詢預設映射關係確定獲取原始網絡數據的資料庫表的真實表名，其中，別名與存儲原始網絡數據時使用的預表名一致，在預設映射關係中與別名對應映射的資料庫表的名稱為獲取原始網絡數據的資料庫表的真實表名；使用確定出的真實表名生成SQL語句來從資料庫中獲取原始網絡數據。
[0057]還可以根據第二配置信息從指定的第一配置信息來獲取原始網絡數據，例，根據參數信息從指定的第一配置信息中確定原始網絡數據的來源信息；根據來源信息從不同形式的網絡API獲取原始網絡數據。
[0058]為滿足不同的應用場景，上述預設數據形式包括以下之一:XML形式、JSON形式、HTML形式。可以將上述原始網絡數據處理為上述形式的數據文件。
[0059]為了實時地根據最新的配置信息來處理網絡數據，在本優選實施例中，間隔預設時間周期根據第一配置信息從不同形式的網絡API獲取原始網絡數據，並根據第二配置信息將原始網絡數據處理為不同發布形式的網絡數據文件。
[0060]為了降低對提供數據的網站的訪問量，本優選實施例提供了一種網絡數據的發布方法，該網絡數據的發布方法包括:根據上述網絡數據的處理方法網站的雲伺服器對不同形式的原始網絡數據處理為不同發布形式的網絡數據文件，並通過所述雲伺服器來發布所述網絡數據文件，其中，所述雲伺服器使用的URL與所述網站的URL相關。
[0061]通過上述步驟，網站通過雲伺服器對不同形式的原始網絡數據進行處理，生成不同發布形式的網絡數據文件，並通過雲伺服器來發布網絡數據文件，使得客戶端通過訪問雲伺服器來獲得發布數據，大大地避免了客戶端對網站的訪問，以降低網站的並行訪問壓力，同時，可以實現網站的數據和代碼都存放在自身上，提高了網站自身的數據和代碼的安全性和保密性。例如，數據提供者的伺服器提供的原始數據位置為URLl (不向用戶公開)，處理後的數據文件的位置為URL2(向用戶公開)，用戶只知道並訪問URL2，可見URLl幾乎沒有訪問壓力。所有的訪問壓力都在URL2上，因此，普通網站建設者只需要搭建一個普通性能的伺服器，然後購買一家雲計算服務，上傳這兩個配置文件，並告訴用戶訪問URL2即可。其代碼和數據都存放在網站建設者自己的伺服器中，保密性很好，而且，一旦購買的雲計算服務出現問題，可以很快的換另一家雲計算服務，不影響URL2的訪問。
[0062]在上述系統的使用場景中，對於大網站來說，通過可以視為一種雲計算服務的提供方式，可以在保證網站自身的數據和代碼的安全性和保密性的前提下，通過購買第三方雲計算服務達到網站的快速擴容。在這種情況下，複雜計算和數據生成發生在己方伺服器，通過動態DNS負載均衡技術和第三方雲伺服器建立起⑶N (內容分發網絡)。對於普通網站而言，在可以在保證網站自身的數據和代碼的安全性和保密性的前提下，降低了提供網絡API的難度。
[0063]為了提高本優選實施例的靈活性，在本優選實施例中，上述網絡數據包括:網站從除該網站之外的其他網站獲得的網絡數據。
[0064]本優選實施例提供了一種網絡數據的處理裝置，如圖2所示，該網絡數據的處理裝置包括:獲取模塊202，用於根據第一配置信息從不同形式的網絡應用程式接口 API獲取待發布的原始網絡數據，其中，第一配置信息包括:用於獲取原始網絡數據的來源信息；數據處理模塊204，連接至獲取模塊202，用於根據第二配置信息將原始網絡數據處理為不同發布形式的網絡數據文件。
[0065]為了對上述原始網絡數據進行融合處理，在本優選實施例中，如圖3所示，上述網絡數據的處理裝置還包括:存儲模塊206，用於根據第一配置信息中的存儲信息將原始網絡數據存儲到資料庫中，其中，存儲信息包括:原始網絡數據將要存儲在資料庫中的資料庫表的預表名、上述資料庫表的版本號、原始網絡數據在資料庫中存儲時的名稱、原始網絡數據的存儲類型。
[0066]為了提高本實施例的靈活性，在本優選實施例中，上述數據處理模塊204包括:獲取單元，用於根據第二配置信息中的數據獲取方式獲取原始網絡數據，其中，數據獲取方式包括:從資料庫中獲取原始網絡數據、通過指定的第一配置信息來獲取原始網絡數據；數據處理單元，用於根據第二配置信息中的預設數據形式將原始網絡數據處理為不同發布形式的網絡數據文件。
[0067]為了降低對提供數據的網站的訪問量，本優選實施例提供了一種網絡數據的發布系統，網站通過雲伺服器將不同形式的網絡數據處理為不同發布形式的網絡數據文件，並通過雲伺服器來發布網絡數據文件，其中，雲伺服器使用的URL與網站的URL相關。
[0068]為了提高本優選實施例的靈活性，在本優選實施例中，上述網絡數據包括:網站從除該網站之外的其他網站獲得的網絡數據。
[0069]以下結合附圖對上述各個優選實施例進行詳細地描述。
[0070]在以下實施例，上述第一配置信息以「數據生產者」配置文件為例，上述第二配置信息以「數據消費者」配置文件為例，來詳細地描述上述各個優選實施例。
[0071]以下提供一種使用配置文件自動的對來自於不同來源的多種格式的網絡數據進行融合、再處理，生成可用多種格式呈現的新文件的方法，以及利用該方法實現的兩個系統。[0072]定義一個「數據生產者」配置文件，這個配置文件是用於將原始數據取回並存儲在資料庫中。在其中要說明數據來源的格式、URL和應傳入參數；以及要存入的資料庫的表名、表項名、表項存儲類型、默認值(以及其他必要參數)，並說明表項內容的值應該在原始數據文件中哪個位置獲得。特別重要的，「數據生產者」可以說明多個數據來源，將它們不同格式不同名字但具有相同意義的數據歸一到同一個數據表的同一個表項下，這就做到了數據的融合。
[0073]定義一個「數據消費者」配置文件。這個配置文件用於從資料庫中取出之前由「數據生產者」存入的原始數據，並按配置文件指定的順序進行排序，然後生成新的格式的文件。在其中要說明查詢資料庫的SQL語句，以及語句中應該替換的參數(如表名、排序參數等)。還要說明新生成文件的格式和應將數據填入新生成文件的哪個位置。「數據消費者」完成了數據的再處理。
[0074]「數據消費者」配置文件中說明的取數據的方式除了從資料庫取之外，還有另一種方式，就是指定一個「數據生產者」配置文件，直接從原始數據文件中獲得數據並填入新生成文件的相應位置。不經過資料庫中轉。這種方式的好處是省下了資料庫的開銷，但是缺點是不能利用資料庫做較複雜的排序，只能按照數據在原始文件中的順序排序，但是因為一般原始文件中的數據就已經是排了序的，所以新生成的文件仍然是有序的。
[0075]基於上述方案實現如下兩個系統:
[0076]系統一:
[0077]將上述兩個配置文件寫好後，存儲在並行訪問能力強大的雲伺服器上，定時運行，生成新文件放在雲伺服器上供用戶訪問。我們說數據提供者的伺服器提供的原始數據位置為URLl (不向用戶公開),新文件的位置為URL2 (向用戶公開),用戶只知道並訪問URL2,可見URLl幾乎沒有訪問壓力。所有的壓力都在URL2上。普通網站建設者只需要搭建一個普通性能的伺服器，然後購買一家雲計算服務，上傳這兩個配置文件，並告訴用戶訪問URL2即可。其代碼和數據都存放在網站建設者自己的伺服器中，保密性很好，而且，一旦購買的雲計算服務出現問題，可以很快的換另一家雲計算服務，不影響URL2的訪問。
[0078]系統一可視為一種雲計算服務的提供方式，它不僅對普通網站建設者是有用的，同樣對於大型網站也是有用的:因為它可以在保證己方數據和代碼不外洩的情況下，通過購買第三方雲計算服務達到網站的快速擴容。在這種情況下，複雜計算和數據生成發生在己方伺服器，通過動態DNS負載均衡技術和第三方雲伺服器建立起⑶N (內容分發網絡)。
[0079]系統二:
[0080]同樣的，第三方程式設計師也可以利用上述兩個配置文件來自動處理數據。他們可以把能處理上述配置文件的模塊連結進程序中，之後就可以只修改配置文件而不用重寫代碼來獲得融合後再處理的網絡數據，能大大提升工作效率。
[0081]圖4是根據本發明實施例的網絡數據的處理並發布的系統的功能示意圖，如圖4所示，101是多來源多格式的原始數據源；102是生產者處理模塊；103是生產者配置文件；104是資料庫；105是文件系統；106是消費者處理模塊；107是消費者配置文件；108代表多種輸出格式的新文件；109是系統一中的雲伺服器；110是系統一的最終用戶；111是系統
二中的第三方應用。
[0082]通過上述系統可以實現以下的數據處理並發布的過程:102先讀入103，然後按照該配置文件從101讀入原始數據，存入到由104和105組成的中間存儲模塊中。106讀入107，按照該配置文件從102、104、105讀入融合後的數據，再處理成108。最終，利用109將108發布給110 (系統一)；或者將108提供給111 (系統二)。
[0083]圖5是根據本發明實施例的生產者配置文件的示意圖，如圖5所示，生產者配置文件是由I個或多個表定義組成的，每個表定義由表名、版本號、來源和表項組組成。
[0084]表名是數據應該存入的資料庫表的名字(相當於上述存儲信息)。
[0085]版本號是該資料庫表目前的版本號(相當於上述存儲信息)。
[0086]來源(相當於上述來源信息)用於說明原始數據源，包括:格式、訪問用URL和參數。有了這三項信息就可以獲取原始數據。本發明能夠解析的原始數據格式有XML (包含HTML格式，下同)、JSON、SOAP、RSS四種。其中通過XML、SOAP、RSS獲得的原始數據文件本身就是XML格式的，本發明把JSON格式也轉化成XML格式。這樣原始數據文件就全部統一成XML格式的了(這樣就可以利用XPATH進行查找了)。
[0087]表項組說明資料庫表中有哪些表項。每一項表項要說明名稱(相當於上述存儲信息)、存儲類型(相當於上述存儲信息)、來源(相當於上述路徑信息)和默認值(以及其他必要參數)。這其中，表項中的來源是用XPATH指示的該表項數據在以XML格式表示的原始數據文件中的位置。為此，表項組中還定義了供XPATH使用的命名空間和根路徑。
[0088]利用XPATH從原始數據文件取表項數據的過程是:先通過根路徑定義的XPATH把包含數據的多個節點提取出來，再對每個節點用每個表項的來源定義的XPATH找到具體數據。組成這些XPATH語句需要用到命名空間。
[0089]在講述生產者處理模塊(相當於上述獲取模塊202)的具體處理流程前，需要說明與該流程相關的幾個概念:
[0090]I)生產者處理模塊定時運行，每次運行時都讀取生產者配置文件，這樣一旦修改了生產者配置文件，下次運行時會使用新的配置文件工作；
[0091]2)雙緩衝機制:將原始數據寫入資料庫需要一定時間t，為了保證在時間t內消費者處理模塊仍能正常工作而不會因為等待生產者寫資料庫而發生駐塞，生產者處理模塊使用了一種雙緩衝機制，即表定義中的表名並不是真實的表名，它另外維護著一張映射表，該映射表以表定義中的表名為主鍵，記錄了表的版本號和目前使用的真實表名，我們只需要用兩張真實的表就可以達到目的了。例如:假設表定義中的表名為「Tablel」，我們在其後加上「建立兩張真實的表「Tablel_A」、「Tablel_B」。假設上次運行完成後，數據被存儲在「Tablel_A」，即目前使用的真實表名是「Tablel_A」，則我們將這次運行得到的數據寫入「Tablel_B」，等到寫入完成時，才將映射表中「Tablel」項對應的目前使用的真實表名更換成「Tablel_B」，而消費者處理模塊取數據也是先查映射表，找到目前使用的真實表名再取數據，這樣保證消費者處理模塊永遠都能取到準備好了的數據，圓滿解決了等待寫資料庫而發生駐塞的問題；
[0092]3)表的自動重建:數據表在生產者處理模塊的第一次運行時就自動建好了，一般不需要重新建表。但是，因為表是根據配置文件中的表項組來建立的，如果表項組中的每一項表項的名稱和存儲類型不變，就不需要重建表；如果一旦發生變化了，就需要通知生產者處理模塊重建數據表。這是利用版本號來實現的，比較從映射表讀出的版本號和配置文件中的版本號，如果不一致，就重建表；[0093]4)取SOAP數據:獲取XML、JSON、RSS數據都是用URL帶上參數即可獲得，只有SOAP特殊，它是用HTTP POST方法帶上特定的內容發送到伺服器端去獲取數據，因此對於SOAP格式的數據來源，需要在來源中定義SOAP的POST請求應帶上的內容soapbody和屬性值 SOAPAction ；
[0094]5)把JSON格式獲得的原始數據文件也轉化成XML格式:本發明能夠解析的原始數據格式有XML、JS0N、SOAP、RSS四種。其中通過XML、SOAP、RSS獲得的原始數據文件本身就是XML格式的，本發明把JSON格式也轉化成XML格式。這樣獲得的原始數據文件格式就都是XML的了。為了之後XPATH語句的書寫，必須強制規定從JSON轉化成的XML文件的根節點名、數組名、元素名、對象名，例如:規定根節點名為ztejson2xml,數組名為array,元素名為elem,對象名為object ；
[0095]6)時間格式歸一化:在實際使用中，經常需要把來自於不同來源的數據以時間順序排序，這就要求統一它們的時間格式，所以在表項組的表項說明中，如果該表項類型是時間，就要給出數據來源中的時間格式(例如:yyyy-MM_dd HH:mm)。生產者處理模塊會根據這個格式解析數據為時間，用內部統一的時間格式(例如:yyyy-MM-ddHH:mm:ss)存儲進資料庫；
[0096]7)用URL代表的二進位文件的存取:最典型的例子是圖片，原始數據文件給出的圖片一般是URL連結字串，如果需要將二進位文件從原始數據源取來通過本發明再發布，就要在表項說明中給出指示，生產者處理模塊會根據指示將二進位文件取回到本地文件系統，生成指向新文件地址的URL連結字串作為表項值存儲進對應的表項。為了節省流量，在取二進位文件時要支持HTTP304原因值的處理，這樣就不會重複地取內容未改變的文件了。
[0097]圖6是根據本發明實施例的生產者處理模塊的處理流程的示意圖，如圖6所示:該處理流程包括如下步驟:
[0098]步驟S301:讀取生產者配置文件；
[0099]步驟S302:根據表定義N，檢查是否需要創建或重建數據表；
[0100]步驟S303:從映射表中獲取本次操作可以寫入的(即雙緩衝中未使用)的真實表名A；
[0101]步驟S304:讀取原始數據源並解析數據；
[0102]步驟S305:將解析後的數據寫入表A。但是要注意，在本次運行的第一次寫入時要清空A裡原來的舊內容，但是之後的寫入就不清空了，這樣做就能將從多個擁有相同表名的表定義獲取的解析後的數據寫入同一張數據表，做到數據的融合；
[0103]步驟S306:檢查是否還有未處理完的表定義，如果有，轉到步驟S302繼續處理；如果沒有，說明數據更新工作已經全部完成，轉到步驟S307 ;
[0104]步驟S307:更新映射表中目前正在使用的真實表名為A。這樣消費者處理模塊就會從A中獲取融合後的新數據了。
[0105]圖7是根據本發明實施例的消費者配置文件的示意圖，如圖7所示，消費者配置文件是由數據來源(相當於上述數據獲取方式)，參數表(相當於上述參數信息)和輸出說明組成。
[0106]數據來源有兩種:一種是SQL語句(使用資料庫)；另一種是生產者配置文件(不使用資料庫直接取原始數據)。但是注意，無論是SQL語句還是生產者配置文件都必須配合參數表使用，因為其中的參數變量是由參數表確定的。
[0107]參數表是由很多個參數項組成的，每個參數項要說明參數值名稱、來源、別名和默認值(其中默認值可省略)。參數值來源有兩種，一種是來自於用戶的請求消息(REQ)，例如HTTPGET請求的URL中所帶參數；另一種是來自於前述的資料庫映射表，例如表名，實際上該表是不存在的，為了組成可以執行的SQL語句，只要指出其來源是資料庫，消費者處理模塊就會自動將這個表名去查映射表，獲得SQL語句真正需要查詢的真實表名組成完整的SQL語句。
[0108]注意:
[0109]I)在數據來源的SQL語句和生產者配置文件中，使用參數項的別名來佔位(即:說明該處參數值需要根據參數表來替換);
[0110]2)如果該參數項在指定的參數值來源中找不到，就使用默認值。否則必須使用所找到的值。
[0111]輸出說明由輸出文件類型和輸出項組成。輸出文件類型有但不限於XML，JS0N，HTML三種(這是三種最常用類型，但是可以根據需要使用其他格式輸出)。輸出項由名稱、別名和默認值組成(可以沒有默認值)，名稱對應著生產者配置文件表項組中那些表項的名稱，別名是用於輸出文件中的名稱。(為什麼要在這裡將名稱做轉化呢？這是為了縮短名稱，以便縮小輸出文件的大小，如果不願意改名，將表項名和別名寫成一致即可)。
[0112]特別的，對於輸出文件類型為HTML的情況,還要定義html_header, html_body和html_footer。下面是一個例子:
[0113]
【權利要求】
1.一種網絡數據的處理方法，其特徵在於，包括: 根據第一配置信息從不同形式的網絡應用程式接口 API獲取待發布的原始網絡數據，其中，所述第一配置信息包括:用於獲取所述原始網絡數據的來源信息； 根據第二配置信息將所述原始網絡數據處理為不同發布形式的網絡數據文件。
2.根據權利要求1所述的方法，其特徵在於，根據第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據包括: 根據所述來源信息從不同形式的網絡API獲取待發布的所述原始網絡數據，其中，所述來源信息包括:所述原始網絡數據的格式、獲取所述原始網絡數據的統一資源定位符URL、訪問所述URL的預設參數。
3.根據權利要求1所述的方法，其特徵在於，根據第一配置信息從不同形式的網絡API獲取待發布的所述原始網絡數據包括: 根據所述來源信息中定義的路徑信息通過XML路徑語言XPATH方式獲取所述原始網絡數據。
4.根據權利要求1至3中任一項所述的方法，其特徵在於，根據所述第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據之後，還包括: 根據所述第一配置信息中的存儲信息將所述原始網絡數據存儲到資料庫中，其中，所述存儲信息包括:所述原始網絡數據將要存儲在所述資料庫中的資料庫表的預表名、所述資料庫表的版本號、所述原始網絡數據在所述資料庫中存儲時的名稱、所述原始網絡數據的存儲類型。
5.根據權利要求4所述的方法，其特徵在於，根據所述第一配置信息中的存儲信息將所述原始網絡數據存儲到所述資料庫中包括: 所述預表名對應著至少兩個所述資料庫表，根據所述預表名從所述預表名與所述資料庫表的真實表名的預設映射關係中確定出存儲所述原始網絡數據的資料庫表的真實表名，其中，確定出的資料庫表的真實表名為所述資料庫表中未被映射的資料庫表的真實表名； 根據所述版本號和確定出的真實表名將所述原始網絡數據文件存儲到資料庫中。
6.根據權利要求4所述的方法，其特徵在於，根據所述第一配置信息中的存儲信息將所述原始網絡數據存儲到資料庫中包括: 在所述存儲信息中的存儲類型為時間類型的情況下，獲取所述原始網絡數據的原始時間格式； 根據所述原始時間格式解析獲得所述原始網絡數據的時間； 以預設時間格式將所述原始網絡數據按照時間順序存儲到資料庫中。
7.根據權利要求1至3中任一項所述的方法，其特徵在於，根據預設的第一配置信息從不同形式的網絡API獲取待發布的原始網絡數據之後，還包括: 在所述原始網絡數據為二進位文件的情況下，根據獲取所述原始網絡數據的連結地址獲取所述原始網絡數據； 將所述原始網絡數據存儲在本地文件系統中，並存儲發布所述原始網絡數據的新連結地址。
8.根據權利要求4所述的方法，其特徵在於，根據預設的第二配置信息將所述原始網絡數據處理為不同發布形式的網絡數據文件包括:根據所述第二配置信息中的數據獲取方式獲取所述原始網絡數據，其中，所述數據獲取方式包括:從所述資料庫中獲取所述原始網絡數據、通過指定的第一配置信息來獲取所述原始網絡數據； 根據所述第二配置信息中的預設數據形式將所述原始網絡數據處理為不同發布形式的網絡數據文件。
9.根據權利要求8所述的方法，其特徵在於，根據所述第二配置信息從所述資料庫中獲取所述原始網絡數據包括: 根據所述第二配置信息中的參數獲取方式獲取用於獲得所述原始網絡數據的參數信息，其中，所述參數獲取方式包括以下之一:接收攜帶有所述參數信息的請求消息，查詢存儲所述原始網絡數據時的預設映射關係獲取所述原始網絡數據的存儲信息，並作為所述參數信息； 根據所述參數信息生成結構查詢語言SQL語句來從所述資料庫中獲取所述原始網絡數據。
10.根據權利要求9所述的方法，其特徵在於，根據查詢存儲所述原始網絡數據時的預設映射關係獲取的參數信息來從所述資料庫中獲取所述原始網絡數據包括: 根據所述第二配置信息中的別名查詢所述預設映射關係確定獲取所述原始網絡數據的資料庫表的真實表名，其中，所述別名與存儲所述原始網絡數據時使用的預表名一致，在所述預設映射關係中與所述別名對應映射的資料庫表的名稱為獲取所述原始網絡數據的資料庫表的真實表名； 使用確定出的真實表名生成SQL語句來從所述資料庫中獲取所述原始網絡數據。
11.根據權利要求9所述的方法，其特徵在於，根據所述第二配置信息從指定的第一配置信息來獲取所述原始網絡數據包括: 根據所述參數信息從所述指定的第一配置信息中確定所述原始網絡數據的來源信息； 根據所述來源信息從不同形式的網絡API獲取所述原始網絡數據。
12.根據權利要求8所述的方法，其特徵在於，預設數據形式包括以下之一:可擴展標記語言XML形式、輕量級數據交換語言JSON形式、超文件標記語言HTML形式。
13.根據權利要求1至3中任一項所述的方法，其特徵在於，間隔預設時間周期根據所述第一配置信息從不同形式的網絡API獲取所述原始網絡數據，並根據所述第二配置信息將所述原始網絡數據處理為不同發布形式的網絡數據文件。
14.一種網絡數據的發布方法，其特徵在於，根據權利要求1至13中任一項所述的方法網站的雲伺服器對不同形式的原始網絡數據處理為不同發布形式的網絡數據文件，並通過所述雲伺服器來發布所述網絡數據文件，其中，所述雲伺服器使用的URL與所述網站的URL相關。
15.根據權利要求14所述的方法，其特徵在於，所述網絡數據包括:所述網站從除所述網站之外的其他網站獲得的網絡數據。
16.一種網絡數據的處理裝置，其特徵在於，包括: 獲取模塊，用於根據第一配置信息從不同形式的網絡應用程式接口 API獲取待發布的原始網絡數據，其中，所述第一配置信息包括:用於獲取所述原始網絡數據的來源信息；數據處理模塊，用於根據第二配置信息將所述原始網絡數據處理為不同發布形式的網絡數據文件。
17.根據權利要求16所述的裝置，其特徵在於，還包括: 存儲模塊，用於根據所述第一配置信息中的存儲信息將所述原始網絡數據存儲到資料庫中，其中，所述存儲信息包括:所述原始網絡數據將要存儲在所述資料庫中的資料庫表的預表名、所述資料庫表的版本號、所述原始網絡數據在所述資料庫中存儲時的名稱、所述原始網絡數據的存儲類型。
18.根據權利要求16或17所述的裝置，其特徵在於，所述數據處理模塊包括: 獲取單元，用於根據所述第二配置信息中的數據獲取方式獲取所述原始網絡數據，其中，所述數據獲取方式包括:從所述資料庫中獲取所述原始網絡數據、通過指定的第一配置信息來獲取所述原始網絡數據； 數據處理單元，用於根據所述第二配置信息中的預設數據形式將所述原始網絡數據處理為不同發布形式的網絡數據文件。
19.一種網絡數據的發布系統，其特徵在於，網站根據權利要求16至18中任一項所述的裝置網站通過雲伺服器將不同形式的網絡數據處理為不同發布形式的網絡數據文件，並通過所述雲伺服器來發 布所述網絡數據文件，其中，所述雲伺服器使用的URL與所述網站的URL相關。
20.根據權利要求19所述的系統，其特徵在於，所述網絡數據包括:所述網站從除所述網站之外的其他網站獲得的網絡數據。
【文檔編號】H04L29/06GK103581123SQ201210259392
【公開日】2014年2月12日 申請日期:2012年7月20日 優先權日:2012年7月20日
【發明者】陳璐, 鐘聲 申請人:中興通訊股份有限公司