一種海量網絡發票數據集群播報方法
2023-09-15 03:33:15
一種海量網絡發票數據集群播報方法
【專利摘要】本發明提供一種海量網絡發票數據集群播報方法，通過構建海量網絡發票數據廣播工作集群，來組建由廣播數據存儲節點、廣播機節點、廣播前置機節點、廣播業務機節點、接收機節點、接收前置機節點、接收數據存儲節點構成的分布式計算、傳輸工作集群平臺。該一種海量網絡發票數據集群播報方法和現有技術相比，解決海量網絡發票數據的傳輸、計算吞吐效率低下問題；解決海量網絡發票數據的分類計算效率低下問題；提高播報資源利用率及工作效率；解決帶寬佔用問題。實用性強，易於推廣。
【專利說明】一種海量網絡發票數據集群播報方法
【技術領域】
[0001]本發明涉及稅務發票信息傳輸技術，具體的說是一種可由稅局(作為廣播方)向多個服務商(作為接收方)進行海量網絡發票數據集群播報方法。
【背景技術】
[0002]隨著國家金稅三期網絡發票項目的推廣，全國各省級稅務部門每天需要將納稅人的基礎數據、業務數據、代碼表數據等海量的結構化(或非結構化)數據，向不同的服務商進行廣播推送。這些以TB為單位的海量發票數據，在進行數據廣播的時候，如果仍按照傳統的廣播方式，將會對現有的網絡帶寬、網絡結構形成巨大衝擊，並且不符合安全傳輸要求，主要體現在:
一、傳統的數據廣播方法是僅基於消息的數據廣播方法:
作為傳統廣播內容的消息，多是簡單字節內容，在網絡廣播的時候基本不佔用網絡帶寬。
[0003]而以TB為單位計的海量數據，在進行廣播時，傳統方式顯然不能滿足要求。
[0004]二、傳統的數據廣播方法，不區別對待廣播內容:
傳統的數據廣播方法，只有消息群播一種手段。
[0005]而網絡發票數據廣播內容中，只有代碼表類數據適合群播，而其他基礎數據、業務數據只能定向廣播，嚴禁向非相關節點廣播。
[0006]綜合分析以上問題，在進行海量網絡發票數據廣播時，需要解決以下問題:
A、海量數據高並發I/O請求問題，以解決海量網絡發票數據的傳輸吞吐和計算吞吐。
[0007]B、海量數據的計算問題，以解決對海量網絡發票數據的分類計算(如定向傳輸方向的指定、形成批量傳輸報文等)。
[0008]C、海量數據傳輸模式問題，以解決原有的一次播報方式帶來的資源浪費及效率低下問題。
[0009]D、海量數據傳輸帶寬佔用問題，以解決海量網絡發票數據的傳輸對業務系統造成的帶寬衝擊。
[0010]基於該背景下，現提出的一種利用實用集群計算體系(含網絡存儲系統和NOSQL資料庫)提高海量網絡發票數據廣播傳輸效率和系統可用性的辦法。
【發明內容】
[0011]本發明的技術任務是解決現有技術的不足，提供一種高效、安全的海量網絡發票數據集群播報方法。
[0012]本發明的技術方案是按以下方式實現的，該一種海量網絡發票數據集群播報方法，一、搭建網絡發票數據廣播工作集群，該集群包括以下節點:
廣播數據存儲節點:用於對被廣播數據進行高並發讀寫、海量緩存處理；
廣播機節點:定向或群播網絡發票數據消息； 廣播前置機節點:傳輸需要廣播的批量網絡發票數據信息；
廣播業務機節點:對被廣播數據按照處理策略進行分類計算處理；
接收機節點:接收來自廣播機節點的數據播報消息；
接收前置機節點:接收來自廣播前置機節點的批量網絡發票數據信息；
接收數據存儲節點:對接收到的海量網絡發票數據進行高並發讀寫、非結構化存儲處
理；
二、廣播數據存儲節點對需要廣播的網絡發票數據提供高速並發讀寫服務，將待廣播海量數據寫入緩衝區等待處理；
三、廣播業務機節點根據調度任務，按照數據處理策略對待廣播的海量網絡發票數據進行批量分類處理，形成待廣播數據報文；
四、廣播機節點定時檢查有無待廣播數據報文，如果沒有，那麼繼續等待下一輪檢查；如果有，根據待廣播報文類型進行相應的業務處理；
五、接收機節點接收到廣播機節點發送的廣播數據報文以後，通知本節點所歸屬的接收前置機節點進行報文批量數據進行傳輸請求；
六、接收前置機節點向廣播前置機節點發送報文傳輸請求，由廣播前置機節點根據集群負載均衡情況分配處理機，與接收前置機節點之間建立數據傳輸通道，將包括海量網絡發票數據的報文按照流方式進行數據傳輸；
七、接收前置機節點接收到報文後，調用接收數據存儲節點的高速I/o接口，將數據進行存儲；
八、報文數據傳輸完成後，廣播機業務節點根據調度策略對被廣播數據報文進行清算。
[0013]廣播數據存儲節點設置有I個、廣播機節點設置有I個、廣播前置機節點設置有至少2個、廣播業務機節點設置有至少2個、接收機節點設置有I個、接收前置機節點設置有至少I個、接收數據存儲節點設置有I個。
[0014]所述廣播數據存儲節點採用NOSQL資料庫進行數據存儲。
[0015]所述步驟三中形成的待廣播數據報文分為兩類:群播數據報文和定向數據報文，其中群播數據報文向所有接收機播報，並進行數據傳輸；定向數據報文向指定接收機播報，並進行單一數據傳輸。
[0016]所述步驟四中根據待廣播報文類型進行相應的業務處理的詳細步驟為:如果報文為群播數據報文，廣播機節點向覆蓋範圍內的所有已註冊接收機節點發送廣播消息，推送需要廣播的數據報文的UUID序列號；如果報文為定向數據報文，那麼廣播機節點向指定的已註冊接收機節點發送廣播消息，推送需要廣播的數據報文的UUID序列號。
[0017]所述步驟八中根據調度策略對被廣播數據報文進行清算是指:定向數據報文即時取消廣播任務；群播數據報文等待所有已註冊接收機全部完成數據傳輸後，再取消廣播任務。
[0018]所述數據傳輸採用分布數據廣播法:
1)數據傳輸消息廣播，消息內容含:目標機編號、數據報文唯一編號UUID序列號、廣播類型，這裡的廣播類型即為群播或定向兩類，以減輕直接數據廣播對網絡帶寬的佔用；
2)按照報文唯一編號UUID進行報文數據的流式傳輸，採用請求、應答方式進行，並進行異步化構建。[0019]本發明與現有技術相比所產生的有益效果是:
本發明的一種海量網絡發票數據集群播報方法利用分布式計算方法和網絡存儲文件系統，解決海量網絡發票數據廣播中的數據傳輸瓶頸、計算性能瓶頸、數據存儲瓶頸等問題，從而提高海量網絡發票數據的廣播傳輸效率，從而達到提高網絡發票系統可用性的目的:
通過採用NOSQL資料庫和網絡存儲系統，解決海量網絡發票數據的傳輸、計算吞吐效率低下問題。
[0020]通過採用集群工作站與資料庫聯合工作的方式，將計算壓力分割為獨立單元進行處理，並通過任務調度方式進行計算結果整合，解決海量網絡發票數據的分類計算效率低下問題。
[0021]通過採用「分步數據廣播方法」，將傳統的一次消息播報，轉變為先消息播報再數據播報的分步廣播方法，提高廣播系統資源利用率及工作效率。
[0022]通過對異步流式數據傳輸方式的支持，採用海量網絡發票數據分時傳輸策略，解決帶寬佔用問題。從而大大提高海量網絡發票數據的廣播效率及提高系統的可用性。
[0023]實用性強，適用範圍廣泛，可在稅局與多個服務商之間進行數據集群播報傳輸，高效安全，加快稅務信息化進度，易於推廣。
【專利附圖】
【附圖說明】
[0024]附圖1是本發明的實現示意框圖。
【具體實施方式】
[0025]下面結合附圖對本發明的一種海量網絡發票數據集群播報方法作以下詳細說明。
[0026]如附圖1所示，現提供一種海量網絡發票數據集群播報方法，該方法通過構建海量網絡發票數據廣播工作集群，來組建由「廣播數據存儲節點」、「廣播機節點」、「廣播前置機節點(集群)」、「廣播業務機節點(集群)」、「接收機節點」、「接收前置機節點」、「接收數據存儲節點」構成的分布式計算、傳輸工作集群平臺，並通過採用NOSQL資料庫和網絡存儲系統，解決海量網絡發票數據的傳輸、計算吞吐效率低下問題；通過採用集群工作站與資料庫聯合工作的方式，將計算壓力分割為獨立單元進行處理，並通過任務調度方式進行計算結果整合，解決海量網絡發票數據的分類計算效率低下問題；通過採用「分步數據廣播方法」，將傳統的一次消息播報，轉變為先消息播報再數據播報的分步廣播方法，提高播報資源利用率及工作效率；通過對異步流式數據傳輸方式的支持，採用海量網絡發票數據分時傳輸策略，解決帶寬佔用問題。解決現有模式下的性能瓶頸，從而提高海量網絡發票數據的廣播效率和提高系統可用性。其實現步驟如下:
一、搭建網絡發票數據廣播工作集群，該集群包括以下節點:
廣播數據存儲節點:用於對被廣播數據進行高並發讀寫、海量緩存處理。
[0027]廣播機節點:定向或群播網絡發票數據消息。
[0028]廣播前置機節點:傳輸需要廣播的批量網絡發票數據信息，這裡的廣播前置機節點為集群節點，其具備負載均衡功能，可根據集群工作機負載情況進行實時調度，可同時處理來自不同接收機的數據傳輸請求。[0029]廣播業務機節點:對被廣播數據按照處理策略進行分類計算處理，這裡的廣播業務機節點為集群節點，其具備任務調度功能，可根據實時任務命令及任務執行策略進行任務生成、跟蹤、註銷等功能。
[0030]接收機節點:接收來自廣播機節點的數據播報消息，支持集群橫向擴展，至少包含一個節點。
[0031]接收前置機節點:接收來自廣播前置機節點的批量網絡發票數據信息，支持集群橫向擴展，至少包含一個節點，根據接收到的海量網絡發票數據量級可被擴展為集群工作節點，當廣播前置機節點與接收前置機節點之間進行數據傳輸的時候，可以支持結構化、非結構化數據的流式數據轉換。
[0032]接收數據存儲節點:對接收到的海量網絡發票數據進行高並發讀寫、非結構化存儲處理，支持高速並發讀寫請求及海量非結構化數據存儲。
[0033]二、廣播數據存儲節點對需要廣播的網絡發票數據提供高速並發讀寫服務，將待廣播海量數據寫入緩衝區等待處理；
三、廣播業務機節點根據調度任務，按照數據處理策略對待廣播的海量網絡發票數據進行批量分類處理，形成待廣播數據報文；
四、廣播機節點定時檢查有無待廣播數據報文，如果沒有，那麼繼續等待下一輪檢查；如果有，根據待廣播報文類型進行相應的業務處理；
五、接收機節點接收到廣播機節點發送的廣播數據報文以後，通知本節點所歸屬的接收前置機節點進行報文批量數據進行傳輸請求；
六、接收前置機節點向廣播前置機節點發送報文傳輸請求，由廣播前置機節點根據集群負載均衡情況分配處理機，與接收前置機節點之間建立數據傳輸通道，將包括海量網絡發票數據的報文按照流方式進行數據傳輸；
七、接收前置機節點接收到報文後，調用接收數據存儲節點的高速I/o接口，將數據進行存儲；
八、報文數據傳輸完成後，廣播機業務節點根據調度策略對被廣播數據報文進行清算。
[0034]廣播數據存儲節點設置有I個、廣播機節點設置有I個、廣播前置機節點設置有至少2個、廣播業務機節點設置有至少2個、接收機節點設置有I個、接收前置機節點設置有至少I個、接收數據存儲節點設置有I個。
[0035]所述廣播數據存儲節點採用NOSQL資料庫進行數據存儲，支持高速並發讀寫請求、海量非結構化數據存儲、異步海量數據計算。
[0036]所述步驟三中形成的待廣播數據報文分為兩類:群播數據報文和定向數據報文，其中群播數據報文向所有接收機播報，並進行數據傳輸；定向數據報文向指定接收機播報，並進行單一數據傳輸。
[0037]所述步驟四中根據待廣播報文類型進行相應的業務處理的詳細步驟為:如果報文為群播數據報文，廣播機節點向覆蓋範圍內的所有已註冊接收機節點發送廣播消息，推送需要廣播的數據報文的UUID序列號；如果報文為定向數據報文，那麼廣播機節點向指定的已註冊接收機節點發送廣播消息，推送需要廣播的數據報文的UUID序列號。
[0038]所述步驟八中根據調度策略對被廣播數據報文進行清算是指:定向數據報文即時取消廣播任務；群播數據報文等待所有已註冊接收機全部完成數據傳輸後，再取消廣播任務。
[0039]上述海量網絡發票數據的傳輸被定義為「分步數據廣播方法」，即:
第一步:數據傳輸消息廣播，消息內容含:目標機編號、數據報文唯一編號(UUID)、廣播類型(群播/定向)等，以減輕直接數據廣播對網絡帶寬的佔用。
[0040]第二步:按照報文唯一編號(UUID)進行報文數據的流式傳輸，採用請求、應答方式進行，可進行異步化構建。
[0041]除說明書所述的技術特徵外，均為本專業技術人員的公知技術。
【權利要求】
1.一種海量網絡發票數據集群播報方法，其特徵在於:一、搭建網絡發票數據廣播工作集群，該集群包括以下節點: 廣播數據存儲節點:用於對被廣播數據進行高並發讀寫、海量緩存處理； 廣播機節點:定向或群播網絡發票數據消息； 廣播前置機節點:傳輸需要廣播的批量網絡發票數據信息； 廣播業務機節點:對被廣播數據按照處理策略進行分類計算處理； 接收機節點:接收來自廣播機節點的數據播報消息； 接收前置機節點:接收來自廣播前置機節點的批量網絡發票數據信息； 接收數據存儲節點:對接收到的海量網絡發票數據進行高並發讀寫、非結構化存儲處理； 二、廣播數據存儲節點對需要廣播的網絡發票數據提供高速並發讀寫服務，將待廣播海量數據寫入緩衝區等待處理； 三、廣播業務機節點根據調度任務，按照數據處理策略對待廣播的海量網絡發票數據進行批量分類處理，形成待廣播數據報文； 四、廣播機節點定時檢查有無待廣播數據報文，如果沒有，那麼繼續等待下一輪檢查；如果有，根據待廣播報文類型進行相應的業務處理； 五、接收機節點接收到廣播機節點發送的廣播數據報文以後，通知本節點所歸屬的接收前置機節點進行報文批量數·據進行傳輸請求； 六、接收前置機節點向廣播前置機節點發送報文傳輸請求，由廣播前置機節點根據集群負載均衡情況分配處理機，與接收前置機節點之間建立數據傳輸通道，將包括海量網絡發票數據的報文按照流方式進行數據傳輸； 七、接收前置機節點接收到報文後，調用接收數據存儲節點的高速I/o接口，將數據進行存儲； 八、報文數據傳輸完成後，廣播機業務節點根據調度策略對被廣播數據報文進行清算。
2.根據權利要求1所述的一種海量網絡發票數據集群播報方法，其特徵在於:廣播數據存儲節點設置有I個、廣播機節點設置有I個、廣播前置機節點設置有至少2個、廣播業務機節點設置有至少2個、接收機節點設置有I個、接收前置機節點設置有至少I個、接收數據存儲節點設置有I個。
3.根據權利要求1所述的一種海量網絡發票數據集群播報方法，其特徵在於:所述廣播數據存儲節點採用NOSQL資料庫進行數據存儲。
4.根據權利要求1所述的一種海量網絡發票數據集群播報方法，其特徵在於:所述步驟三中形成的待廣播數據報文分為兩類:群播數據報文和定向數據報文，其中群播數據報文向所有接收機播報，並進行數據傳輸；定向數據報文向指定接收機播報，並進行單一數據傳輸。
5.根據權利要求4所述的一種海量網絡發票數據集群播報方法，其特徵在於:所述步驟四中根據待廣播報文類型進行相應的業務處理的詳細步驟為:如果報文為群播數據報文，廣播機節點向覆蓋範圍內的所有已註冊接收機節點發送廣播消息，推送需要廣播的數據報文的UUID序列號；如果報文為定向數據報文，那麼廣播機節點向指定的已註冊接收機節點發送廣播消息，推送需要廣播的數據報文的UUID序列號。
6.根據權利要求4或5所述的一種海量網絡發票數據集群播報方法，其特徵在於:所述步驟八中根據調度策略對被廣播數據報文進行清算是指:定向數據報文即時取消廣播任務；群播數據報文等待所有已註冊接收機全部完成數據傳輸後，再取消廣播任務。
7.根據權利要求6所述的一種海量網絡發票數據集群播報方法，其特徵在於:所述數據傳輸採用分布數據廣播法: 1)數據傳輸消息廣播，消息內容含:目標機編號、數據報文唯一編號UUID序列號、廣播類型，這裡的廣播類型即為群播或定向兩類，以減輕直接數據廣播對網絡帶寬的佔用； 2)按照報文唯一編號UUID進行報文數據的流式傳輸，採用請求、應答方式進行，並進行異步化構建。
【文檔編號】G07G1/00GK103530960SQ201310501670
【公開日】2014年1月22日 申請日期:2013年10月23日 優先權日:2013年10月23日
【發明者】徐兵兵, 王永軍, 於治樓 申請人:浪潮齊魯軟體產業有限公司