一種數據表生成的方法和系統的製作方法
2023-04-28 23:02:31 5
一種數據表生成的方法和系統的製作方法
【專利摘要】本發明公開了一種數據表生成的方法和系統，其中所述方法包括：接收數據表生成請求，所述數據表生成請求包括指定查詢維度；從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存；依據所述內存中的數據記錄生成數據表。本發明可以最大限度地減少對資料庫查詢的循環調用，減少了資料庫的開銷和資源佔用，提高查詢效率和數據表生成的效率。
【專利說明】一種數據表生成的方法和系統
【技術領域】
[0001]本發明涉及數據處理【技術領域】，具體涉及一種數據表生成的方法，以及一種數據表生成的系統。
【背景技術】
[0002]報表是企業應用軟體系統不可或缺的一部分，通過計算機自動或輔助生產各種業務報表，可以實現業務的規範化管理，極大提高了工作效率，加速了各行業信息化進程。
[0003]例如，在線支付系統每月初為系統中平臺級用戶按不同維度，根據支付系統中上月的交易數據，生成交易報表提供給財務，財務根據此報表完成與用戶間的財務核對和資金劃撥。在線支付系統生成報表的偽代碼表不如下:
[0004]select查詢資料庫中所有渠道組成報文頭
[0005]select查詢出數據收集表中上個月所有商戶帳號、商戶名稱、單價信息
[0006]for循環所有商戶
[0007]{
[0008]for循環所有渠道
[0009]{
[0010]select數據收集表統計出每個商戶在各個渠道上的總筆數、總金額
[0011]}
[0012]select數據收集表統計出每個商戶帳號+單價發生的總筆數、總金額作為行合計
[0013]}
[0014]for循環所有渠道
[0015]{
[0016]select數據收集表統計出每個渠道上的總筆數、總金額
[0017]}
[0018]累加每個渠道的總金額、總筆數及行合計生成列合計
[0019]然而，發明人在使用上述偽代碼生成報表的過程中發現了如下不足:
[0020]1、對數據收集表的查詢嵌套的外層循環太多，查詢和統計的結果過於單一，造成對多維度的統計需要對數據收集表多次查詢和統計，對資料庫帶來的開銷太大；
[0021]2、過於依賴資料庫查詢，大量佔用資料庫資源，降低了資料庫的交易吞吐量，造成一段時間內在線支付系統性能降低；
[0022]3、大量對資料庫中數據收集表的查詢造成統計程序執行時間的大大增加,每日統計完成平均用時需2小時以上，無法及時生成報表。
【發明內容】
[0023]鑑於上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種數據表生成的方法和和相應的一種數據表生成的系統。[0024]依據本發明的一個方面，提供了一種數據表生成的方法，所述的方法包括:
[0025]接收數據表生成請求，所述數據表生成請求包括指定查詢維度；
[0026]從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存；
[0027]依據所述內存中的數據記錄生成數據表。
[0028]可選地，所述從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存的步驟包括:
[0029]依據所述指定查詢維度生成資料庫查詢請求；
[0030]在資料庫中獲取與所述資料庫查詢請求對應的數據記錄；
[0031 ] 將所述數據記錄存儲至內存。
[0032]可選地，所述依據所述內存中的數據記錄生成數據表的步驟包括:
[0033]從所述內存中讀取所述數據記錄；
[0034]依據所述數據記錄以及預設的數據表模板生成數據表。
[0035]可選地，所述依據所述數據記錄以及預設的數據表模板生成數據表的子步驟包括:
[0036]將數據記錄填入預設的數據表模板的行記錄或列記錄中；
[0037]統計所述數據表模板中每行的總和以及每列的總和，填入所述數據表模板的相應位置，生成數據表。
[0038]可選地，所述指定查詢維度的個數至少為2個。
[0039]根據本發明的另一方面，提供了一種數據表生成的系統，所述的系統包括:
[0040]數據表生成請求接收模塊，適於接收數據表生成請求，所述數據表生成請求包括指定查詢維度；
[0041]數據記錄獲取模塊，適於從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存；
[0042]數據表生成模塊，適於依據所述內存中的數據記錄生成數據表。
[0043]可選地，所述數據記錄獲取模塊還適於依據所述指定查詢維度生成資料庫查詢請求；在資料庫中獲取與所述資料庫查詢請求對應的數據記錄；將所述數據記錄存儲至內存。
[0044]可選地，所述數據表生成模塊包括:
[0045]數據記錄讀取子模塊，適於從所述內存中讀取所述數據記錄；
[0046]數據表生成子模塊，適於依據所述數據記錄以及預設的數據表模板生成數據表。
[0047]可選地，所述數據表生成子模塊還適於將數據記錄填入預設的數據表模板的行記錄或列記錄中；統計所述數據表模板中每行的總和以及每列的總和，填入所述數據表模板的相應位置，生成數據表。
[0048]可選地，所述指定查詢維度的個數至少為2個。
[0049]根據本發明的一種數據表生成的方法和系統，可以按指定查詢維度對資料庫進行查詢和統計，並將查詢結果存入內存，從內存中解析獲得數據記錄生成數據表，由此解決了【背景技術】中對數據收集表的查詢嵌套的外層循環太多，查詢和統計的結果過於單一，造成對多維度的統計需要對數據收集表多次查詢和統計，對資料庫帶來的開銷太大，生成數據表不及時等問題，取得了最大限度地減少對資料庫查詢的循環調用，減少了資料庫的開銷和資源佔用，提高查詢效率和數據表生成的效率的有益效果。
[0050]上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉本發明的【具體實施方式】。
【專利附圖】
【附圖說明】
[0051]通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明了。附圖僅用於示出優選實施方式的目的，而並不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0052]圖1示出了本發明的一種數據表生成的方法實施例一的步驟流程圖；
[0053]圖2示出了本發明的一種數據表生成的方法實施例二的步驟流程圖；
[0054]圖3示出了本發明的一種數據表生成的系統實施例的結構框圖。
【具體實施方式】
[0055]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
[0056]參照圖1，示出了本發明的一種數據表生成的方法實施例一的步驟流程圖，所述的方法可以包括如下步驟:
[0057]步驟SI 10，接收數據表生成請求，所述數據表生成請求包括指定查詢維度；
[0058]步驟S120，從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存；
[0059]步驟S130，依據所述內存中的數據記錄生成數據表。
[0060]在本發明實施例中，按指定查詢維度對資料庫進行查詢和統計，並將查詢結果存入內存，從內存中解析獲取數據記錄生成數據表，可以最大限度地減少對資料庫查詢的循環調用，減少了資料庫的開銷和資源佔用，提高資料庫查詢效率和數據表生成的效率。
[0061]參照圖2，示出了本發明的一種數據表生成的方法實施例二的步驟流程圖，所述的方法可以包括如下步驟:
[0062]步驟S210，接收數據表生成請求，所述數據表生成請求包括指定查詢維度；
[0063]具體而言，用戶在發出數據表生成請求時，可以指定查詢維度，維度是分析數據的角度，其主要依據「欄位」作為標準，例如有一個資料庫保存著商戶的數據收集表信息，欄位分別為:商戶帳號、商戶名稱、單價信息、渠道信息、商品總額等，那麼除了商品總額外，其他的欄位都算是維度。在本發明實施例中，指定查詢維度的個數至少為2個，如指定查詢維度為商戶帳號+單價信息，則按照這個查詢維度進行資料庫查詢，從而可以儘可能一次多維度地從資料庫中取出全部需要的數據,節省數據查詢的時間。
[0064]步驟S220，依據所述指定查詢維度生成資料庫查詢請求；
[0065]在具體實現中，資料庫查詢請求為按照指定查詢維度生成的資料庫查詢語句，例如SELECT語句，SELECT語句是資料庫操作中最基本、最重要的語句之一，其功能是從一個或多個表或視圖中查找滿足條件的數據。SELECT語句可以包括SELECT子句(SELECIX目標列名表> )、FROM子句(FR0M〈數據源表 > )，可選的WHERE子句(WHERE〈查詢條件> )、GROUP BY子句(GROUP BY)、HAVING子句(HAVING〈組選擇條件 >)和ORDER BY子句(ORDERBY〈排序列>)。
[0066]本發明實施例中的指定查詢維度可以放在GROUP BY子句中，將數據按所述查詢維度進行查詢和統計，可以儘可能一次多維度地從資料庫中取出全部需要的數據，避免多次單一的查詢和統計，從而減少對資料庫查詢的依賴，提高查詢效率。
[0067]步驟S230，在資料庫中獲取與所述資料庫查詢請求對應的數據記錄；
[0068]在實際應用中，與資料庫查詢請求對應的數據記錄可以為目標列名對應的數據記錄，該目標列名可以為指定查詢維度對應的列名，也可以為統計函數。具體而言，本發明實施例可以先將指定查詢維度對應的數據記錄提取出來，作為維度(多維度)，然後根據維度按照統計函數得到統計結果。
[0069]步驟S240，將所述數據記錄存儲至內存；
[0070]在本發明實施例中，設置有指定查詢維度，儘可能的一次多維度從資料庫中取出全部需要數據記錄，並將數據記錄存入內存數組中，使得對數據記錄的解析和獲得在內存中進行，減少了資料庫的開銷和資源佔用。
[0071]步驟S250，從所述內存中讀取所述數據記錄；
[0072]步驟S260，依據所述數據記錄以及預設的數據表模板生成數據表。
[0073]在本發明的一種優選實施例中，所述步驟S260可以包括如下子步驟:
[0074]子步驟S21，將數據記錄填入預設的數據表模板的行記錄或列記錄中；
[0075]子步驟S22，統計所述數據表模板中每行的總和以及每列的總和，填入所述數據表模板的相應位置，生成數據表。
[0076]具體而言，本發明實施例可以從內存數組中找到與數據表模板相應的數據記錄填入數據表模板的行記錄或列記錄中，然後在內存中計算每行的總和以及每列的總和，生成數據表文件。
[0077]在本發明實施例中，統計程序只需要從內存數組中獲得多維度的數據記錄，對其進行解析和統計，相比於在資料庫中解析和統計數據記錄，本發明實施例極大地提高了統計程序的性能，大大縮短了統計程序運行時間(例如可以由原來的2小時縮短到I分鐘左右)，從而可以及時地生成數據表，也方便對數據表生成系統的調試和跟蹤。
[0078]為了使本領域技術人員能更好地理解本發明，下面通過一個具體實例對本發明進行詳細說明，需要說明的是，為了方便對比和理解，本實例與【背景技術】中在線支付系統生成報表的偽代碼相對應，本實例的偽代碼表示如下:
[0079]select查詢資料庫中所有渠道組成報文頭；
[0080]按照商戶帳號+單價為維度，select查詢出數據收集表中上個月所有商戶帳號、商戶名稱、單價信息到內存數組；
[0081]for循環所有渠道
[0082]{
[0083]for循環所有商戶
[0084]{
[0085]按照商戶帳號+單價為維度，select數據收集表統計出上個月每個渠道在所有商戶中的交易總筆數、總金額到內存數組
[0086]}
[0087]}
[0088]for按照商戶帳號+單價為維度的總條數
[0089]{
[0090]按照帳號、單價、各個渠道、合計為順序，從數組中找到相應的值組成一行數據
[0091]}
[0092]累加每個渠道的總金額、總筆數及行合計生成列合計
[0093]生成報表文件。
[0094]從上述本實例的偽代碼與【背景技術】中的偽代碼對比可知，本實例具有如下優勢:
[0095]本實例按照多維度資料庫查詢，從資料庫中獲取對應的查詢結果(或數據記錄)存入內存數組中，對查詢結果的解析和統計在內存中進行，從而生成報表。本實例的關鍵點是對海量數據多層次統計的數據來源思維的轉變，由每次需要時就從資料庫查詢數據記錄變為儘可能的一次多維度取出全部需要數據記錄，數據記錄的獲得由每次從資料庫查詢變為從多維度的內存中解析，從而最大限度的減少對資料庫查詢的依賴，減少了資料庫的開銷和資源佔用，保證了在線支付系統性能的不受影響。進一步地提高了統計程序的性能，大大縮短了程序運行時間，能及時的生成報表，也方便對在線支付系統的調試和跟蹤。
[0096]需要說明的是，上述生成商戶數據表的過程僅僅是本發明的一種示例，本領域技術人員依據本發明原理生成其他數據表均是可以的。
[0097]對於方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明並不受所描述的動作順序的限制，因為依據本發明，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於優選實施例，所涉及的動作和模塊並不一定是本發明所必須的。
[0098]參照圖3，示出了本發明的一種數據表生成的系統實施例的結構框圖，所述的系統可以包括如下模塊:
[0099]數據表生成請求接收模塊310，適於接收數據表生成請求，所述數據表生成請求包括指定查詢維度；
[0100]其中，所述指定查詢維度的個數至少為2個。
[0101]數據記錄獲取模塊320，適於從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存；
[0102]數據表生成模塊330，適於依據所述內存中的數據記錄生成數據表。
[0103]在本發明的一種優選實施例中，所述數據記錄獲取模塊320還適於依據所述指定查詢維度生成資料庫查詢請求；在資料庫中獲取與所述資料庫查詢請求對應的數據記錄；將所述數據記錄存儲至內存。
[0104]在本發明的一種優選實施例中，所述數據表生成模塊330可以包括如下子模塊:
[0105]數據記錄讀取子模塊，適於從所述內存中讀取所述數據記錄；
[0106]數據表生成子模塊，適於依據所述數據記錄以及預設的數據表模板生成數據表。
[0107]在本發明的一種優選實施例中，所述數據表生成子模塊還適於將數據記錄填入預設的數據表模板的行記錄或列記錄中；統計所述數據表模板中每行的總和以及每列的總和，填入所述數據表模板的相應位置，生成數據表。
[0108]對於圖3的系統實施例而言，由於其與上述方法實施例基本相似，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
[0109]在此提供的算法和顯示不與任何特定計算機、虛擬系統或者其它設備固有相關。各種通用系統也可以與基於在此的示教一起使用。根據上面的描述，構造這類系統所要求的結構是顯而易見的。此外，本發明也不針對任何特定程式語言。應當明白，可以利用各種程式語言實現在此描述的本發明的內容，並且上面對特定語言所做的描述是為了披露本發明的最佳實施方式。
[0110]在此處所提供的說明書中，說明了大量具體細節。然而，能夠理解，本發明的實施例可以在沒有這些具體細節的情況下實踐。在一些實例中，並未詳細示出公知的方法、結構和技術，以便不模糊對本說明書的理解。
[0111]類似地，應當理解，為了精簡本公開並幫助理解各個發明方面中的一個或多個，在上面對本發明的示例性實施例的描述中，本發明的各個特徵有時被一起分組到單個實施例、圖、或者對其的描述中。然而，並不應將該公開的方法解釋成反映如下意圖:即所要求保護的本發明要求比在每個權利要求中所明確記載的特徵更多的特徵。更確切地說，如下面的權利要求書所反映的那樣，發明方面在於少於前面公開的單個實施例的所有特徵。因此，遵循【具體實施方式】的權利要求書由此明確地併入該【具體實施方式】，其中每個權利要求本身都作為本發明的單獨實施例。
[0112]本領域那些技術人員可以理解，可以對實施例中的設備中的模塊進行自適應性地改變並且把它們設置在與該實施例不同的一個或多個設備中。可以把實施例中的模塊或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特徵和/或過程或者單元中的至少一些是相互排斥之外，可以採用任何組合對本說明書(包括伴隨的權利要求、摘要和附圖)中公開的所有特徵以及如此公開的任何方法或者設備的所有過程或單元進行組合。除非另外明確陳述，本說明書(包括伴隨的權利要求、摘要和附圖)中公開的每個特徵可以由提供相同、等同或相似目的的替代特徵來代替。
[0113]此外，本領域的技術人員能夠理解，儘管在此所述的一些實施例包括其它實施例中所包括的某些特徵而不是其它特徵，但是不同實施例的特徵的組合意味著處於本發明的範圍之內並且形成不同的實施例。例如，在下面的權利要求書中，所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
[0114]本發明的各個部件實施例可以以硬體實現，或者以在一個或者多個處理器上運行的軟體模塊實現，或者以它們的組合實現。本領域的技術人員應當理解，可以在實踐中使用微處理器或者數位訊號處理器(DSP )來實現根據本發明實施例的數據表生成設備中的一些或者全部部件的一些或者全部功能。本發明還可以實現為用於執行這裡所描述的方法的一部分或者全部的設備或者裝置程序(例如，電腦程式和電腦程式產品)。這樣的實現本發明的程序可以存儲在計算機可讀介質上，或者可以具有一個或者多個信號的形式。這樣的信號可以從網際網路網站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0115]應該注意的是上述實施例對本發明進行說明而不是對本發明進行限制，並且本領域技術人員在不脫離所附權利要求的範圍的情況下可設計出替換實施例。在權利要求中，不應將位於括號之間的任何參考符號構造成對權利要求的限制。單詞「包含」不排除存在未列在權利要求中的元件或步驟。位於元件之前的單詞「一」或「一個」不排除存在多個這樣的元件。本發明可以藉助於包括有若干不同元件的硬體以及藉助於適當編程的計算機來實現。在列舉了若干裝置的單元權利要求中，這些裝置中的若干個可以是通過同一個硬體項來具體體現。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
[0116]本發明的實施例公開了 Al、一種數據表生成的方法，所述的方法包括:接收數據表生成請求,所述數據表生成請求包括指定查詢維度；從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存；依據所述內存中的數據記錄生成數據表。A2、如權利要求Al所述的方法，所述從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存的步驟包括:依據所述指定查詢維度生成資料庫查詢請求；在資料庫中獲取與所述資料庫查詢請求對應的數據記錄；將所述數據記錄存儲至內存。A3、如權利要求Al所述的方法，所述依據所述內存中的數據記錄生成數據表的步驟包括:從所述內存中讀取所述數據記錄；依據所述數據記錄以及預設的數據表模板生成數據表。A4、如權利要求A3所述的方法，所述依據所述數據記錄以及預設的數據表模板生成數據表的子步驟包括:將數據記錄填入預設的數據表模板的行記錄或列記錄中；統計所述數據表模板中每行的總和以及每列的總和，填入所述數據表模板的相應位置，生成數據表。A5、如權利要求Al至A4任一權利要求所述的方法，所述指定查詢維度的個數至少為2個。
[0117]本發明的實施例還公開了 B6、一種數據表生成的系統，所述的系統包括:數據表生成請求接收模塊，適於接收數據表生成請求，所述數據表生成請求包括指定查詢維度；數據記錄獲取模塊，適於從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存；數據表生成模塊,適於依據所述內存中的數據記錄生成數據表。B7、如權利要求B6所述的系統，所述數據記錄獲取模塊還適於依據所述指定查詢維度生成資料庫查詢請求；在資料庫中獲取與所述資料庫查詢請求對應的數據記錄；將所述數據記錄存儲至內存。B8、如權利要求B6所述的系統，所述數據表生成模塊包括:數據記錄讀取子模塊，適於從所述內存中讀取所述數據記錄；數據表生成子模塊，適於依據所述數據記錄以及預設的數據表模板生成數據表。B9、如權利要求B8所述的系統，所述數據表生成子模塊還適於將數據記錄填入預設的數據表模板的行記錄或列記錄中；統計所述數據表模板中每行的總和以及每列的總和，填入所述數據表模板的相應位置，生成數據表。B10、如權利要求B6至B9任一權利要求所述的系統，所述指定查詢維度的個數至少為2個。
【權利要求】
1.一種數據表生成的方法，所述的方法包括: 接收數據表生成請求,所述數據表生成請求包括指定查詢維度； 從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存； 依據所述內存中的數據記錄生成數據表。
2.如權利要求1所述的方法，所述從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存的步驟包括: 依據所述指定查詢維度生成資料庫查詢請求； 在資料庫中獲取與所述資料庫查詢請求對應的數據記錄； 將所述數據記錄存儲至內存。
3.如權利要求1所述的方法，所述依據所述內存中的數據記錄生成數據表的步驟包括: 從所述內存中讀取所述數據記錄； 依據所述數據記錄以及預設的數據表模板生成數據表。
4.如權利要求3所述的方法，所述依據所述數據記錄以及預設的數據表模板生成數據表的子步驟包括: 將數據記錄填入預設的數據表模板的行記錄或列記錄中； 統計所述數據表模板中每行的總和以及每列的總和，填入所述數據表模板的相應位置，生成數據表。
5.如權利要求1至4任一權利要求所述的方法，所述指定查詢維度的個數至少為2個。
6.一種數據表生成的系統，所述的系統包括: 數據表生成請求接收模塊，適於接收數據表生成請求，所述數據表生成請求包括指定查詢維度； 數據記錄獲取模塊，適於從資料庫中獲取與所述指定查詢維度對應的數據記錄存入內存； 數據表生成模塊，適於依據所述內存中的數據記錄生成數據表。
7.如權利要求6所述的系統，所述數據記錄獲取模塊還適於依據所述指定查詢維度生成資料庫查詢請求；在資料庫中獲取與所述資料庫查詢請求對應的數據記錄；將所述數據記錄存儲至內存。
8.如權利要求6所述的系統，所述數據表生成模塊包括: 數據記錄讀取子模塊，適於從所述內存中讀取所述數據記錄； 數據表生成子模塊，適於依據所述數據記錄以及預設的數據表模板生成數據表。
9.如權利要求8所述的系統，所述數據表生成子模塊還適於將數據記錄填入預設的數據表模板的行記錄或列記錄中；統計所述數據表模板中每行的總和以及每列的總和，填入所述數據表模板的相應位置，生成數據表。
10.如權利要求6至9任一權利要求所述的系統，所述指定查詢維度的個數至少為2個。
【文檔編號】G06F17/30GK103500188SQ201310419182
【公開日】2014年1月8日 申請日期:2013年9月13日 優先權日:2013年9月13日
【發明者】柴昱, 李連港 申請人:北京奇虎科技有限公司, 奇智軟體（北京）有限公司