數據處理、發布、獲取方法及系統的製作方法
2023-06-27 10:01:06 2
數據處理、發布、獲取方法及系統的製作方法
【專利摘要】本發明涉及一種數據處理、發布、獲取方法及系統，所述數據處理方法包括：發布端將從一數據產生端實時抽取的數據推送至接入層；接入層根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入對應的第一郵箱中；分發層根據第二匹配方式和預設的通道方式從所述第一郵箱中獲取第二篩選數據並存儲入對應的第二郵箱中；所述訂閱端根據第二匹配方式和預設的通道方式從對應的第二郵箱中獲取第二篩選數據，以Pub/Sub模式的分布式技術架構整個服務，發布端和訂閱端可通過靈活的主題訂閱發布機制進行關聯，發布端、訂閱端、分發層和接入層的節點之間高度解耦，僅通過郵箱進行耦合，所有的交互都在「郵箱」中進行，實現數據按不同主題進行一對多批量分發。
【專利說明】數據處理、發布、獲取方法及系統
【技術領域】
[0001]本發明涉及一種數據處理、發布、獲取方法及數據處理系統。
【背景技術】
[0002]目前，盛大遊戲擁有像ΑΙ0Ν、龍之谷、星辰變、傳奇、傳世、魔界2等諸多款遊戲，這些遊戲每天都會產生大量的動態數據和靜態數據。根據目前的不完全統計，星辰變每天能夠產生17種以上達到2000萬的遊戲動態數據，龍之谷每天能夠產生11種以上的多達6000萬遊戲動態數據；每款遊戲每天產生的靜態數據少則幾十兆，甚至達到幾百兆之多。
[0003]盛大遊戲的遊戲伺服器一般也部署在全國的很多個IDC機房，而開放平臺的伺服器是採用集中式部署，由於複雜的網絡環境以及龐大的數據量，如何能夠將這些數據能夠實時的提供給開放平臺的APP應用，一直是一個難題。針對這些數據，現有技術有些採用了T+1的方式提供數據，也有些採用T+2的方式提供的數據，然後對於一些要求實時或者準實時的應用來說，這種T+1的方式或T+2的方式已經失去了意義。
[0004]盛大遊戲的動態數據的發布目前採用的是由動態抽取程序抽取數據以後通過一個網站api接口推送到Redis系統中。由於Redis系統採用內存的方式對數據進行緩存，在海量數據的情況下，僅僅採用內存無法滿足需求，在啟用VM (virtual memory)的情況下，大量的請求導致數據在內存和磁碟之間大量的換入換出，從而導致性能急劇下降和服務不可用。對於不斷增長的數據量，如果一味的擴展內存以滿足業務的需求，只能導致成本的不斷增長。
[0005]對於靜態的數據，目前則採用採集程序將靜態數據全量導出到CSV文件中，然後通過FTP工具將數據上傳到數據中心，再通過腳本將該數據全量導入到資料庫中。但這種方法存在以下幾個弊端:
[0006]1、所有的靜態數據採用T+1甚至T+2的方式提供，無法保證實時性要求；
[0007]2、提供的是全量數據，大量重複的數據導致網絡帶寬的浪費和大量的人工成本；
[0008]3、對於海量的數據這種情況，整個項目中將無法沿用原有的處理方法進行實施。
【發明內容】
[0009]本發明的目的在於提供一種數據處理、數據發布、數據獲取方法及數據處理、數據發布、數據獲取系統，能夠以Pub (發布)/Sub (訂閱)模式的分布式技術架構整個服務，發布端和訂閱端可通過靈活的主題訂閱發布機制進行關聯，發布端、訂閱端、分發層和接入層的節點之間高度解耦，僅通過郵箱進行耦合，所有的交互都在「郵箱」中進行，可按照多級匹配規則如多級正則匹配規則來支持複雜多樣的業務需求，將數據投遞到所述第二郵箱中供訂閱端獲取，訂閱端以預設的通道方式從所述第二郵箱中拉取數據，實現主題一對多批量分發。
[0010]為解決上述問題，本發明提供一種數據處理方法，包括:
[0011]發布端將從一數據產生端實時抽取的數據推送至接入層；[0012]訂閱端設置第二匹配方式；
[0013]分發層獲取所述第二匹配方式，並根據所述第二匹配方式生成第一匹配方式；
[0014]接入層根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入對應的第一郵箱中；
[0015]分發層根據所述第二匹配方式和預設的通道方式從所述第一郵箱中獲取第二篩選數據並存儲入對應的第二郵箱中；
[0016]所述訂閱端根據所述第二匹配方式和預設的通道方式從對應的第二郵箱中獲取第二篩選數據。
[0017]進一步的，在上述方法中，所述接入層前置有一負載均衡設備。
[0018]進一步的，在上述方法中，所述發布端、訂閱端、分發層和接入層中的一種或多種分別支持多進程橫向擴展。
[0019]進一步的，在上述方法中，所述發布端、訂閱端、分發層和接入層中的一種或多種分別支持多節點橫向擴展。
[0020]進一步的，在上述方法中，所述發布端分布式部署。
[0021]進一步的，在上述方法中，所述接入層集中式部署。
[0022]進一步的，在上述方法中，所述分發層和/或訂閱端分布式或集中式部署。
[0023]進一步的，在上述方法中，所述數據產生端包括遊戲伺服器。
[0024]進一步的，在上述方法中，所述實時抽取的數據包括動態數據和靜態數據。
[0025]進一步的，在上述方法中，發布端將從一數據產生端實時抽取的數據推送至接入層的步驟中，所述靜態數據為新增的和更新的靜態數據。
[0026]進一步的，在上述方法中，發布端將從一數據產生端實時抽取的數據推送至接入層的步驟中，所述動態數據為上一次更新動態數據的時間點後產生的動態數據。
[0027]進一步的，在上述方法中，所述實時抽取的數據包括具體內容、數據發布者、服務類別和主題類型的信息。
[0028]進一步的，在上述方法中，所述第一匹配方式或第二匹配方式包括限定數據的具體內容、限定數據發布者、限定服務類別和限定主題類型中的一種或任意組合。
[0029]進一步的，在上述方法中，所述通道方式包括推方式、拉方式和訂閱方式中的一種或任意組合。
[0030]本發明還提供一種數據發布方法，包括:
[0031]發布端將從一數據產生端實時抽取的數據推送至接入層；
[0032]分發層從一訂閱端獲取第二匹配方式，並根據所述第二匹配方式生成第一匹配方式；
[0033]接入層根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入對應的第一郵箱中；
[0034]分發層根據所述第二匹配方式和預設的通道方式從所述第一郵箱中獲取第二篩選數據並存儲入對應的第二郵箱中。
[0035]進一步的，在上述方法中，所述接入層前置有一負載均衡設備。
[0036]進一步的，在上述方法中，所述發布端、分發層和接入層中的一種或多種分別支持多進程橫向擴展。[0037]進一步的，在上述方法中，所述發布端、分發層和接入層中的一種或多種分別支持多節點橫向擴展。
[0038]進一步的，在上述方法中，所述發布端分布式部署。
[0039]進一步的，在上述方法中，所述接入層集中式部署。
[0040]進一步的，在上述方法中，所述分發層分布式或集中式部署。
[0041]進一步的，在上述方法中，所述實時抽取的數據包括動態數據和靜態數據。
[0042]進一步的，在上述方法中，發布端將從一數據產生端實時抽取的數據推送至接入層的步驟中，所述靜態數據為新增的和更新的靜態數據。
[0043]進一步的，在上述方法中，發布端將從一數據產生端實時抽取的數據推送至接入層的步驟中，所述動態數據為上一次更新動態數據的時間點後產生的動態數據。
[0044]進一步的，在上述方法中，所述實時抽取的數據包括具體內容、數據發布者、服務類別和主題類型的信息。
[0045]進一步的，在上述方法中，所述第一匹配方式或第二匹配方式包括限定數據的具體內容、限定數據發布者、限定服務類別和限定主題類型中的一種或任意組合。
[0046]進一步的，在上述方法中，所述通道方式包括推方式、拉方式和訂閱方式中的一種或任意組合。
[0047]本發明阿還提供一種數據獲取方法，包括:
[0048]訂閱端設置第二匹配方式；
[0049]所述訂閱端根據所述第二匹配方式和預設的通道方式從一第二郵箱中獲取第二篩選數據。
[0050]進一步的，在上述方法中，所述訂閱端支持多進程橫向擴展。
[0051]進一步的，在上述方法中，所述訂閱端支持多節點橫向擴展。
[0052]進一步的，在上述方法中，所述訂閱端分布式或集中式部署。
[0053]進一步的，在上述方法中，所述第二匹配方式包括限定數據的具體內容、限定數據發布者、限定服務類別和限定主題類型中的一種或任意組合。
[0054]進一步的，在上述方法中，所述通道方式包括推方式、拉方式和訂閱方式中的一種或任意組合。
[0055]根據本發明的另一面，提供一種數據處理系統，包括:
[0056]發布端，用於將從一數據產生端實時抽取的數據推送至接入層；
[0057]訂閱端，用於設置第二匹配方式，並根據所述第二匹配方式和預設的通道方式從對應的第二郵箱中獲取第二篩選數據；
[0058]分發層，用於獲取所述第二匹配方式，並根據所述第二匹配方式生成第一匹配方式，根據所述第二匹配方式和預設的通道方式從對應的第一郵箱中獲取第二篩選數據並存儲入所述第二郵箱中；
[0059]接入層，用於根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入所述第一郵箱中。
[0060]進一步的，在上述系統中，所述接入層前置有一負載均衡設備。
[0061]進一步的，在上述系統中，所述發布端、訂閱端、分發層和接入層中的一種或多種分別支持多進程橫向擴展。[0062]進一步的，在上述系統中，所述發布端、訂閱端、分發層和接入層中的一種或多種分別支持多節點橫向擴展。
[0063]進一步的，在上述系統中，所述發布端分布式部署。
[0064]進一步的，在上述系統中，所述接入層集中式部署。
[0065]進一步的，在上述系統中，所述分發層和/或訂閱端分布式或集中式部署。
[0066]進一步的，在上述系統中，所述實時抽取的數據包括動態數據和靜態數據。
[0067]進一步的，在上述系統中，所述靜態數據為新增的和更新的靜態數據。
[0068]進一步的，在上述系統中，所述動態數據為上一次更新動態數據的時間點後產生的動態數據。
[0069]進一步的，在上述系統中，所述實時抽取的數據包括具體內容、數據發布者、服務類別和主題類型的信息。
[0070]進一步的，在上述系統中，所述第一匹配方式或第二匹配方式包括限定數據的具體內容、限定數據發布者、限定服務類別和限定主題類型中的一種或任意組合。
[0071]進一步的，在上述系統中，所述通道方式包括推方式、拉方式和訂閱方式中的一種或任意組合。
[0072]本發明還提供一種數據發布系統，包括:
[0073]發布端，用於將從一數據產生端實時抽取的數據推送至接入層；
[0074]分發層，用於獲取第二匹配方式，並根據所述第二匹配方式生成第一匹配方式，根據所述第二匹配方式和預設的通道方式從對應的第一郵箱中獲取第二篩選數據並存儲入對應的第二郵箱中；
[0075]接入層，用於根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入所述第一郵箱中。
[0076]進一步的，在上述系統中，所述接入層前置有一負載均衡設備。
[0077]進一步的，在上述系統中，所述發布端、分發層和接入層中的一種或多種分別支持多進程橫向擴展。
[0078]進一步的，在上述系統中，所述發布端、分發層和接入層中的一種或多種分別支持多節點橫向擴展。
[0079]進一步的，在上述系統中，所述發布端分布式部署。
[0080]進一步的，在上述系統中，所述接入層集中式部署。
[0081]進一步的，在上述系統中，所述分發層分布式或集中式部署。
[0082]進一步的，在上述系統中，所述實時抽取的數據包括動態數據和靜態數據。
[0083]進一步的，在上述系統中，所述靜態數據為新增的和更新的靜態數據。
[0084]進一步的，在上述系統中，所述動態數據為上一次更新動態數據的時間點後產生的動態數據。
[0085]進一步的，在上述系統中，所述實時抽取的數據包括具體內容、數據發布者、服務類別和主題類型的信息。
[0086]進一步的，在上述系統中，所述第一匹配方式或第二匹配方式包括限定數據的具體內容、限定數據發布者、限定服務類別和限定主題類型中的一種或任意組合。
[0087]進一步的，在上述系統中，所述通道方式包括推方式、拉方式和訂閱方式中的一種或任意組合。
[0088]本發明還提供一種數據獲取系統，包括:
[0089]訂閱端，用於設置第二匹配方式，並將所述第二匹配方式發送至一分發層，並根據所述第二匹配方式和預設的通道方式從分發層的一第二郵箱中獲取第二篩選數據。
[0090]進一步的，在上述系統中，所述訂閱端支持多進程橫向擴展或多節點橫向擴展。
[0091]進一步的,在上述系統中，所述訂閱端分布式或集中式部署。
[0092]進一步的，在上述系統中，所述第二匹配方式包括限定數據的具體內容、限定數據發布者、限定服務類別和限定主題類型中的一種或任意組合。
[0093]進一步的，在上述系統中，所述通道方式包括推方式、拉方式和訂閱方式中的一種或任意組合。
[0094]與現有技術相比，本發明具有如下優點:
[0095]I)通過發布端將從一數據產生端實時抽取的數據推送至接入層，訂閱端設置第二匹配方式，分發層獲取所述第二匹配方式，並根據所述第二匹配方式生成第一匹配方式，接入層根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入對應的第一郵箱中，分發層根據所述第二匹配方式和預設的通道方式從所述第一郵箱中獲取第二篩選數據並存儲入對應的第二郵箱中，所述訂閱端根據所述第二匹配方式和預設的通道方式從對應的第二郵箱中獲取第二篩選數據，可以Pub (發布)/Sub (訂閱)模式的分布式技術架構整個服務，發布端和訂閱端可通過靈活的主題訂閱發布機制進行關聯，發布端、訂閱端、分發層和接入層的節點之間高度解耦，僅通過郵箱進行耦合，所有的交互都在「郵箱」中進行，可按照多級匹配規則如多級正則匹配規則來支持複雜多樣的業務需求，將數據投遞到所述第二郵箱中供訂閱端獲取，訂閱端以預設的通道方式從所述第二郵箱中拉取數據，實現主題一對多批量分發；
[0096]2)通過所述發布端、訂閱端、分發層和接入層中的一種或多種分別支持多進程或多節點橫向擴展，所述發布端、訂閱端、分發層和接入層可根據實際需要分別設置多個伺服器，每個伺服器的數據相對獨立，突破海量數據在實時性處理上對內存的過多依賴，利用低成本高容量的硬碟去持久化數據，實現多個伺服器服務於一個或者多個主題來實現負載均衡和業務的擴展，接入層伺服器和分發層伺服器存貯引擎得到優化，提高數據存儲容量、數據安全性、數據處理的性能和實時性；
[0097]3)通過設置通道方式包括推方式、拉方式和訂閱方式中的一種或任意組合，接入層與分發層之間、分發層與訂閱端之間可以採用推、拉和訂閱機制模式相結合的方式實現網絡節點之間互聯，可以根據網絡環境的特點選擇更為方便和可行的通道方式；
[0098]4)通過所述接入層前置有一負載均衡設備，所述接入層集中式部署，所述負載均衡設備可提供統一接入服務，所述接入層以中間件的模式集中部署，並通過前置負載均衡設備，提供靈活的橫向擴展能力。
【專利附圖】
【附圖說明】
[0099]圖1是本發明實施例一的數據處理方法的流程圖；
[0100]圖2是本發明實施例二的數據發布方法的流程圖；
[0101]圖3是本發明實施例三的數據獲取方法的流程圖；[0102]圖4是本發明實施例四的數據處理系統的模塊示意圖；
[0103]圖5是本發明實施例四的數據處理系統的網絡結構示意圖；
[0104]圖6是實施例五的數據發布系統的模塊示意圖。
【具體實施方式】
[0105]為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和【具體實施方式】對本發明作進一步詳細的說明。
[0106]實施例一
[0107]如圖1所示，本發明提供一種數據處理方法，包括:
[0108]步驟S11，發布端將從一數據產生端實時抽取的數據推送至接入層，其中，所述數據產生端包括遊戲伺服器。
[0109]具體的，為了能夠將分布在不同地方的數據實時、準時的提供給需要特定數據的開放平臺，可根據數據產生端的特點如每款遊戲的特點定製一個數據的抽取程序，在數據抽取程序和數據產生端之間採用資料庫進行數據交互，即資料庫用於存儲所述實時抽取的數據。
[0110]優選的，所述實時抽取的數據包括動態數據和靜態數據，所有的動態數據和靜態數據寫入到資料庫中，動態抽取程序會對所有指定的數據產生端如遊戲指定區服的遊戲動態和靜態數據按照規則進行實時抽取，可以僅抽取新增的和更新的靜態數據，也可僅抽取上一次更新動態數據的時間點後產生的動態數據，即對於動態數據而言，抽取程序在每次更新完畢以後，記錄更新最近更新的時間，下一次更新都將從上次更新的時間點開始更新，這樣發布端可只對增量靜態數據和動態數據進行實時全量發布，大大的降低了靜態數據和動態數據的數量。較佳的，所述實時抽取的數據包括具體內容、數據發布者、服務類別和主題類型的信息。
[0111]步驟S12，訂閱端設置第二匹配方式，具體的，所述第二匹配方式可為一種訂閱規則。
[0112]較佳的，可另外設置一管理端或接口以支持在線修改第二匹配方式如訂閱規則並實時生效。
[0113]步驟S13，分發層獲取所述第二匹配方式，並根據所述第二匹配方式生成第一匹配方式。
[0114]較佳的，所述第一匹配方式或第二匹配方式包括限定數據的具體內容、限定數據發布者、限定服務類別和限定主題類型中的一種或任意組合。
[0115]步驟S14，接入層根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入對應的第一郵箱中，具體的，隨著業務量的增加，當接入層整體負荷過高的時候，通過在接入層加入新的伺服器來保證服務的質量，為了保證數據發布的實時性要求，接入層通常提供大容量硬碟、高性能和高帶寬，所有發布的主題都能夠首先被高效的保存到系統的硬碟上，並隨後通過分發層提供給訂閱端。
[0116]優選的，所述接入層前置有一負載均衡設備，以提供統一接入服務，提供靈活的橫向擴展能力，以滿足整個系統大容量、高穩定性和負載均衡的需求。
[0117]步驟S15，分發層根據所述第二匹配方式和預設的通道方式從所述第一郵箱中獲取第二篩選數據並存儲入對應的第二郵箱中。
[0118]具體的，所述分發層會向所述接入層訂閱自己感興趣的主題，第一匹配方式可為
如下的訂閱規則:
[0119]
〈rule Id=「l」 router=「hanjiang」 publisher=*4 ，servieeid=「hanjiang」
messagetype=「.*」 content=44 />
<mie Id=「2」 router=「test」 publisher=「umcc，，serviceid=「umc」
messagetype=「test」 content=「，*」 />
〈rule W=「3」 router=「der』 Publisher=H servic.eid=「cial:aeanar
messagetype=「login」 content=「 />
〈rule Id=「4」 router=「test2」 publislier=「umcc」 serviceid=「imic」
messagetype=「tesr content=1' />
〈rule Id=ttS51 router=「tesl:4」 publisher=84 serviceid=t1.**』
messagetype=「 content=「 />
〈/router〉
[0120]〈/conf i g>上述訂閱規則中，每個主題通過四個條件進行過濾，其中每個條件都支持正則表達式進行複雜匹配，以滿足應用需求。其中，publisher用於限定數據由誰發布的；serviceid用於限制哪一類的服務,譬如可以採用以遊戲名來指定；messagetype則用於限定主題的類型是什麼，譬如登錄、升級、加入公會等動態content則對具體的數據進行限制。同時滿足四個條件的主題將會保存到router配置項所定義的郵箱中。
[0121]同理，所述第二匹配方式也可按上述訂閱規則設置。分發層會從第一郵箱中會被動接收或者主動拉取該第一郵箱中的第一篩選數據，並再次調用本地的主題訂閱規則獲取第二篩選數據並存儲入對應的第二郵箱中，以進行主題的分發，這裡支持一個或者多個伺服器採用同一套訂閱規則即可構成一個伺服器組，以實現主題的集群服務。
[0122]步驟S16，所述訂閱端根據所述第二匹配方式和預設的通道方式從對應的第二郵箱中獲取第二篩選數據，這樣接入層和分發層對發布端的數據進行規則匹配，並將篩選數據投遞到相應的郵箱中，訂閱端通過預定義的第二匹配方式如訂閱規則獲取自身關心的數據，並進行處理。
[0123]優選的，所述發布端、訂閱端、分發層和接入層中的一種或多種分別支持多進程橫向擴展，另外，所述發布端、訂閱端、分發層和接入層中的一種或多種也可分別支持多節點橫向擴展，單伺服器可以突破海量數據在實時性處理上對內存的過多依賴，利用低成本高容量的硬碟去持久化數據，提供處理系統的高性能和數據安全性，發布端、分發層、接入層和訂閱端可支持根據數據量的大小加入更多的伺服器的橫向自由擴展方式來處理業務請求，保持在海量數據處理上的實時性要求，這裡採用分布式技術，通過服務機器的橫向擴展和靈活組網，通過多個伺服器服務於一個或者多個主題來實現負載均衡和業務的擴展，接入層伺服器和分發層伺服器存貯引擎得到優化，提高數據存儲容量、數據安全性、數據處理的性能和實時性，增加整個處理系統的處理能力。
[0124]較佳的，發布端、分發層、接入層和訂閱端可具有跨語言、跨平臺、分布式、靈活組網的特性，通過對所述發布端分布式部署，對所述接入層集中式部署，對所述分發層和/或訂閱端分布式或集中式部署，分發層可根據不同的主題來對海量主題進行篩選和分發。
[0125]發布端、接入層、分發層和訂閱端的特點如下表所示:
[0126]
【權利要求】
1.一種數據處理方法，其特徵在於，包括: 發布端將從一數據產生端實時抽取的數據推送至接入層； 訂閱端設置第二匹配方式； 分發層獲取所述第二匹配方式，並根據所述第二匹配方式生成第一匹配方式； 接入層根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入對應的第一郵箱中； 分發層根據所述第二匹配方式和預設的通道方式從所述第一郵箱中獲取第二篩選數據並存儲入對應的第二郵箱中； 所述訂閱端根據所述第二匹配方式和預設的通道方式從對應的第二郵箱中獲取第二篩選數據。
2.一種數據發布方法，其特徵在於，包括: 發布端將從一數據產生端實時抽取的數據推送至接入層； 分發層從一訂閱端獲取第二匹配方式，並根據所述第二匹配方式生成第一匹配方式；接入層根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入對應的第一郵箱中； 分發層根據所述第二 匹配方式和預設的通道方式從所述第一郵箱中獲取第二篩選數據並存儲入對應的第二郵箱中。
3.一種數據獲取方法，其特徵在於，包括: 訂閱端設置第二匹配方式； 所述訂閱端根據所述第二匹配方式和預設的通道方式從一第二郵箱中獲取第二篩選數據。
4.一種數據處理系統，其特徵在於，包括: 發布端，用於將從一數據產生端實時抽取的數據推送至接入層； 訂閱端，用於設置第二匹配方式，並根據所述第二匹配方式和預設的通道方式從對應的第二郵箱中獲取第二篩選數據； 分發層，用於獲取所述第二匹配方式，並根據所述第二匹配方式生成第一匹配方式，根據所述第二匹配方式和預設的通道方式從對應的第一郵箱中獲取第二篩選數據並存儲入所述第二郵箱中； 接入層，用於根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入所述第一郵箱中。
5.如權利要求4所述的數據處理系統，其特徵在於，所述接入層前置有一負載均衡設備。
6.如權利要求4所述的數據處理系統，其特徵在於，所述發布端、訂閱端、分發層和接入層中的一種或多種分別支持多進程橫向擴展。
7.如權利要求4所述的數據處理系統，其特徵在於，所述發布端、訂閱端、分發層和接入層中的一種或多種分別支持多節點橫向擴展。
8.如權利要求7所述的數據處理系統，其特徵在於，所述發布端分布式部署。
9.如權利要求7所述的數據處理系統，其特徵在於，所述接入層集中式部署。
10.如權利要求7所述的數據處理系統，其特徵在於，所述分發層和/或訂閱端分布式或集中式部署。
11.如權利要求4所述的數據處理系統，其特徵在於，所述實時抽取的數據包括動態數據和靜態數據。
12.如權利要求11所述的數據處理系統，其特徵在於，所述靜態數據為新增的和更新的靜態數據所述靜態數為新增的和更新的靜態數據。
13.如權利要求11所述的數據處理系統，其特徵在於，所述動態數據為上一次更新動態數據的時間點後產生的動態數據。
14.如權利要求4所述的數據處理系統，其特徵在於，所述實時抽取的數據包括具體內容、數據發布者、服務類別和主題類型的信息。
15.如權利要求4所述的數據處理系統，其特徵在於，所述第一匹配方式或第二匹配方式包括限定數據的具體內容、限定數據發布者、限定服務類別和限定主題類型中的一種或任意組合。
16.如權利要求4所述的數據處理系統，其特徵在於，所述通道方式包括推方式、拉方式和訂閱方式中的一種或任意組合。
17.一種數據發布系統，其特徵在於，包括: 發布端，用於將從一數據產生端實時抽取的數據推送至接入層； 分發層，用於獲取第二匹配方式，並根據所述第二匹配方式生成第一匹配方式，根據所述第二匹配方式和預設的通道方式從對應的第一郵箱中獲取第二篩選數據並存儲入對應的第二郵箱中； 接入層，用於根據所述第一匹配方式從所述實時抽取的數據中獲取第一篩選數據並存儲入所述第一郵箱中。
18.如權利要求17所述的數據發布系統，其特徵在於，所述接入層前置有一負載均衡設備。
19.如權利要求17所述的數據發布系統，其特徵在於，所述發布端、分發層和接入層中的一種或多種分別支持多進程橫向擴展。
20.如權利要求17所述的數據發布系統，其特徵在於，所述發布端、分發層和接入層中的一種或多種分別支持多節點橫向擴展。
21.一種數據獲取系統，其特徵在於，包括: 訂閱端，用於設置第二匹配方式，並將所述第二匹配方式發送至一分發層，並根據所述第二匹配方式和預設的通道方式從分發層的一第二郵箱中獲取第二篩選數據。
22.如權利要求21所述的數據獲取系統，其特徵在於，所述訂閱端支持多進程橫向擴展或多節點橫向擴展。
【文檔編號】H04L29/08GK103581250SQ201210270123
【公開日】2014年2月12日 申請日期:2012年7月31日 優先權日:2012年7月31日
【發明者】王林, 侯庭凱 申請人:盛趣信息技術（上海）有限公司