多並發大數據量環境下excel數據導出方法及其導出裝置製造方法
2023-08-09 22:40:41
多並發大數據量環境下excel數據導出方法及其導出裝置製造方法【專利摘要】本發明公開了一種多並發大數據量環境下EXCEL數據導出方法，包括以下步驟：（a）設置配置文件中的配置信息：所述配置信息包括數據導出格式信息、數據表格結構信息、每次輸出的數據量信息，所述數據導出格式為xml格式；（b）解析配置信息；（c）獲取用戶查詢條件；（d）生成資料庫可執行語句：根據用戶查詢條件和每次輸出的數據量信息生成資料庫可執行語句；（e）數據轉換與輸出步驟：對需要導出的數據進行分批次轉換和輸出，每次輸出完畢後釋放內存。本發明將輸出數據格式定義為xml格式，支持將具有龐大數據量的EXCEL文件分批進行導出，每批次導出後都進行了一次內存釋放，可以大大減小數據下載時對內存的佔用。【專利說明】多並發大數據量環境下EXCEL數據導出方法及其導出裝置【
技術領域：
】[0001]本發明涉及數據導出方法，尤其涉及一種多並發大數據量環境下EXCEL數據導出方法及其導出裝置。【
背景技術：
】[0002]隨著信息技術的發展，目前許多的智能化平臺都需要採用資料庫存儲各種龐大的過程、結果數據，而很多資料和報表都以EXCEL文件方式保存、查詢、匯總、導出，因此EXCEL數據的查詢、導出是非常重要的。[0003]目前，EXCEL數據的導出，一般採用POI或JXL兩大編輯Excel文件的開源工具從伺服器導出數據到EXCEL格式，然後下載。這種方式最直接和方便，但是當需要導出的數據量非常大的時候，由於所有的數據都要先存入內存再導出，而伺服器內存有限，可能會導致伺服器癱瘓，例如，當要導出20萬條數據時，這些數據佔用內存可能達到20M，當100人同時使用此功能時就會消耗內存2G，如果數據量更多和使用的人數更多，則佔用的內存更大，有可能導致伺服器崩潰。[0004]目前，也有一些解決方案是在伺服器中生成臨時文件後下載，這種方式會產生磁碟文件，影響服務性能。【
發明內容】[0005]本發明要解決的技術問題就在於:針對現有技術存在的上述不足，本發明提供一種多並發大數據量環境下EXCEL數據導出方法，該方法不僅支持多並發大數據量環境下的EXCEL數據導出，在導出數據時對內存的佔用非常小，本發明還提供了一種多並發大數據量環境下EXCEL數據導出裝置。[0006]為實現上述目的，本發明的多並發大數據量環境下EXCEL數據導出方法，包括數據轉換與輸出步驟，該步驟中對需要導出的數據進行分批次轉換和輸出，每次輸出完畢後釋放內存。[0007]作為本發明的進一步改進，上述多並發大數據量環境下EXCEL數據導出方法在數據轉換與輸出步驟之前還包括以下步驟:(a)設置配置文件中的配置信息:該配置信息包括數據導出格式信息、數據表格結構信息、每次輸出的數據量信息，其中，所述數據導出格式信息中將數據導出格式設置為xml格式；(b)解析配置信息:系統啟動時，讀取上述配置文件，將配置文件中的配置信息解析成對象模型，並存儲到內存中；(c)獲取用戶查詢條件:用戶查詢時，獲取用戶的查詢條件並將其保存到內存中；(d)生成資料庫可執行語句:用戶導出數據時，從內存中獲取用戶查詢條件和每次輸出的數據量信息，並根據用戶查詢條件和每次輸出的數據量信息生成資料庫可執行語句，該資料庫可執行語句中包含有數據過濾條件和數據位置信息。該數據量信息主要用於將用戶的查詢數據分批次導出，作為數據分割的主要依據，也是資料庫可執行語句的數據位置信息確定的關鍵。[0008]進一步，上述數據轉換與輸出步驟包括以下步驟:(el)根據步驟(d)中的資料庫可執行語句從資料庫中取出數據，並根據對象模型中的數據表格結構信息和數據導出格式信息將取出的數據轉換為xml格式的字符串；(e2)輸出步驟(el)中的xml格式的字符串數據，輸出完後釋放內存；(e3)判斷用戶查詢到的數據是否全部輸出完成，是則結束流程，否則根據本次輸出的數據位置信息和對象模型中的每次輸出的數據量信息更改資料庫執行語句中數據位置信息，並跳轉到步驟(el)，進行下一次數據轉換和輸出。[0009]進一步,步驟(el)包括:(ell)根據步驟(d)中的資料庫可執行語句從資料庫中取出數據，並根據對象模型中的數據表格結構信息將取出的數據轉換為字符串後存入一個數組中；(el2)根據對象模型中的數據導出格式信息將步驟(ell)中數組中的字符串拼接並轉換為xml格式的字符串。[0010]進一步，上述數據位置信息包括輸出數據的起始行和結束行信息。[0011]進一步，上述表格結構信息包括EXCEL表標題、列顯示名、列寬度、列高度、列顯示格式、列對齊方式、列綁定信息。[0012]本方案中，將輸出數據格式定義為xml格式，支持將具有龐大數據量的EXCEL文件分批進行輸出，每批次數據輸出完成後都進行一次內存釋放，因此在資料庫伺服器內一直只有當前下載批量的數據(例如只有一頁約為500條的數據)，佔用內存量小，減少了伺服器資源消耗；而傳統的方式一般對EXCEL文件就直接採用EXCEL格式的數據導出，而EXCEL文件本身的數據量就遠遠大於xml格式的數據，同時也不支持分批或分頁導出，發明人在長期的實踐和探索中提出了本方案中的基於xml格式的輸出數據、採用分批輸出的算法將龐大數據量的EXCEL數據分批輸出的方法，該方法可以大大減小數據下載時對內存的佔用，具有突出的特點。[0013]多並發大數據量環境下EXCEL數據導出裝置，包括:配置模塊，用於對配置文件中的配置信息進行設置，上述配置信息包括數據導出格式信息、數據表格結構信息、每次輸出的數據量信息，上述數據導出格式信息中的數據導出格式為xml格式；解析模塊，用於在系統啟動時讀取配置文件，將配置文件中的配置信息解析成對象模型存儲在內存中；查詢條件獲取模塊:用於獲取用戶查詢時的查詢條件並將其保存到內存中；數據可執行語句拼裝模塊，用於在用戶導出數據時從內存中獲取用戶查詢條件和每次輸出的數據量信息，並根據用戶查詢條件和每次輸出的數據量信息生成資料庫可執行語句；該可執行語句中包含有數據過濾條件和數據位置信息。[0014]數據轉換和輸出模塊，用於分批次轉換和輸出需要導出的數據，並在每次輸出完畢後釋放內存。[0015]進一步，上述數據轉換和輸出模塊中包括:第一轉換模塊:用於根據數據可執行語句拼裝模塊生成的資料庫可執行語句從資料庫中取出數據，並根據對象模型中的數據表格結構信息將取出的數據轉換為字符串後存入一個數組中；第二轉換模塊:用於根據對象模型中的數據導出格式將數組中的字符串拼接並轉換為xml格式的字符串；輸出模塊:用於向用戶輸出xml格式的字符串數據，輸出完後釋放內存；判斷模塊:用於判斷用戶查詢到的數據是否全部輸出完成，如果未全部輸出，則根據本次輸出的數據位置信息和對象模型中的每次輸出的數據量信息更改資料庫執行語句中數據位置信息，進行下一次數據轉換和輸出。[0016]相對於現有技術，本發明具有如下優點和有益效果:1、本發明將數據量非常大的EXCEL文件分批進行導出，每批次導出給客戶端後都進行了一次內存釋放，因此在資料庫伺服器內一直只有當前下載批量的數據(例如只有一頁約為500條的數據)，佔用內存量小，減少了伺服器資源消耗；2、本發明中，資料庫伺服器內存只保留了較少的數據，因此在有限的內存資源下，可滿足更多的用戶查詢和下載需求；3、本發明中，採用xml格式的數據輸出查詢數據，在導出相同條數的數據的情況下，其本身的數據量遠小於Excel格式的數據，進一步減小了內存佔用；4、本發明導出EXCEL文件並不生成臨時文件，減少了IO操作，提高了伺服器性能。【專利附圖】【附圖說明】[0017]圖1為本發明的流程圖。【具體實施方式】[0018]下面結合實施例及附圖，對本發明作進一步的詳細說明，但本發明的實施方式不僅限於此。[0019]【裝置實施例】多並發大數據量環境下EXCEL數據導出裝置，包括:配置模塊，用於對配置文件中的配置信息進行設置，該配置信息包括數據導出格式信息、數據表格結構信息、每次輸出的數據量信息，其中，數據導出格式信息中的數據導出格式為xml格式，本實施例中，數據表格結構信息包括EXCEL表標題、列顯示名、列寬度、列高度、列顯示格式、列對齊方式、列綁定等信息。本實施例中，每次輸出的數據量定為每次輸出一頁，每頁50行實際應用中:每頁多少行可以根據需求通過配置文件進行配置；解析模塊，用於在系統啟動時讀取配置文件，將配置文件中的配置信息解析成對象模型存儲在內存中；查詢條件獲取模塊:用於獲取用戶查詢時的查詢條件並將其保存到內存中；該模塊在用戶在客戶端點擊查詢按鈕時響應，將用戶的查詢條件保存在Session中。[0020]數據可執行語句拼裝模塊，用於在用戶導出數據時從內存中獲取用戶查詢條件和每次輸出的數據量信息，並根據用戶查詢條件和每次輸出的數據量信息生成資料庫可執行語句，生成的可執行語句中包含有數據過濾條件和數據位置信息；數據轉換和輸出模塊，用於分批次轉換和輸出需要導出的數據，並在每次輸出完畢後釋放內存。該模塊中還包括4個子模塊:第一轉換模塊、第二轉換模塊、輸出模塊、判斷模塊，其中:第一轉換模塊:用於根據數據可執行語句拼裝模塊生成的資料庫可執行語句從資料庫中取出數據，並根據對象模型中的數據表格結構信息將取出的數據轉換為字符串後存入一個數組中；第二轉換模塊:用於根據對象模型中的數據導出格式將數組中的字符串拼接並轉換為xml格式的字符串；輸出模塊:用於向用戶輸出xml格式的字符串數據，輸出完後釋放內存；判斷模塊:用於判斷用戶查詢到的數據是否全部輸出完成，如果未全部輸出，則根據本次輸出的數據位置信息和對象模型中的每次輸出的數據量信息更改資料庫執行語句中數據位置信息，進行下一次數據轉換和輸出。[0021]【方法實施例】如圖1所示，本實施例的多並發大數據量環境下EXCEL數據導出方法，包括以下步驟。[0022](a)設置配置文件中的配置信息:該配置信`息包括數據導出格式信息、數據表格結構信息、每次輸出的數據量信息。其中，數據導出格式信息中的數據導出格式被設置為xml格式；上述數據表格結構信息包括EXCEL表標題、列顯示名、列寬度、列高度、列顯示格式、列對齊方式、列綁定等信息；本實施例中，設置配置文件中的配置信息時:(al)採用〈table〉標籤中的table元素、tr元素、th元素或td元素等設置數據導出格式為xml格式，本實施例中數據導出格式具體設置為；〈metahttp-equiv=Content_Typecontent=//text/xml;Charset=UtfD(設置文件編碼和格式)〈tableborder=lpx>(表格開始)(行開始)〈tdalign=〃left〃height=〃20〃width=〃200〃>哈哈(設置單兀格數據格式，高20，寬200，左對齊)(行結束)〈/table〉(表格結束)(a2)定義數據表格結構信息:包括EXCEL表標題、列顯示名、列寬度、列高度、列顯示格式、列對齊方式、列綁定等信息，其具體定義了如下信息:excelModel:列表界面導出的EXCEL數據定義queryAction:查詢列表的action定義title:導出報表的標題tableFoots:表腳cols:列元素定義,元素為〈CellBean〉fiIeName:導出的文件名tabIeHeads:表眉其中，對象CellBean表示EXCEL每個單元格的格式，其進一步包括以下信息:title:列標題height:列高度width:列寬度propertyPath:該列對應的對象的屬性路徑,支持無限級對象屬性，比如a.b.ccellType:列數據類型，為字符串、日期、數字等3種format:導出數據的顯示格式。[0023](a3)將每次輸出的數據量信息設置為:每頁50行，，實際應用中，每次輸出的數據量即每頁多少行可以根據需求通過配置文件進行配置；(b)系統啟動時，讀取上述配置文件，將配置文件中的配置信息解析成對象模型，並存儲到內存中；(C)用戶進行查詢操作時，獲取用戶的查詢條件並將其保存到內存中的Session中，將查詢結果顯示給用戶；(d)用戶進行導出操作時，進行以下操作:(dl)從Session中取出查詢條件；(d2)從對象模型中查詢EXCEL表標題、列顯示名、列寬度、列高度、列顯示格式、列對齊方式、列綁定等數據表格結構信息；(d3)然後創建伺服器響應流。[0024](d4)生成資料庫可執行語句；用戶導出數據時，從內存中獲取用戶查詢條件和每次輸出的數據量信息，並根據用戶查詢條件和每次輸出的數據量信息生成資料庫可執行語句，該資料庫可執行語句中包含有數據過濾條件和數據位置信息。該執行語句中包括了查詢條件和取出數據的起始位置(即起始行和結束行)，例如select*from(select*fromITP_L0Gwherenamelike』r%』)whererownum>(pageNow-1)*50andrownum〈=(pageNow)*50-1,此處,將輸出的頁數pageNow作為參數，pageNow初始值為I,即第一批次輸出I頁數據，第一頁數據為從第0行至第49行的數據；也可以直接將輸出行數r作為參數，直接設置起始行和結束行行數，例如:select*from(select*fromITP_L0Gwherenamelike』r%』)whererownum>randrownum〈=r+49,r初始值為0,取從第0行至第49行的數據。[0025](d5)根據步驟(d4)中的資料庫可執行語句從資料庫中取出第0行至第49行的數據，並根據對象模型中的數據表格結構信息將取出的數據轉換為字符串後存入一個數組中；本步驟中，從資料庫的每行數據就是一個業務對象，遍歷取出數據的每一行數據，根據從excelModel屬性值獲取的不同列的元數據定義CellBean(EXCEL每個單元格的格式)，把每列所對應的對象屬性值放入數組中，放入數組的順序與excelModel中列定義的順序一致。如果該列為日期型，那麼根據屬性值format取得日期顯示格式後轉化為字符串；如果該列為數字型，那麼根據屬性值format取得數字顯示格式後轉化為字符串；否則直接轉化為字符串。[0026](d6)根據對象模型中的數據導出格式信息將步驟(d5)中數組中的字符串拼接並轉換為xml格式的字符串；將該數組的數據轉換為〈trXtdX/tdX/tr〉的xml數據。根據從excelModel屬性值獲取的不同列的元數據定義CellBean,獲取每列的對齊方式,如果列定義了左右對齊方式，那麼在生成td的時候，加align標識。[0027](d7)向響應流輸出步驟(d6)中的xml格式的字符串數據，響應流將本次數據全部輸出給客戶端後釋放內存；(d8)判斷用戶查詢到的數據是否全部輸出完成，是則結束流程，否則根據本次輸出的數據位置信息和對象模型中的每次輸出的數據量信息更改資料庫執行語句中數據位置信息，即:採用頁數作為參數時，將資料庫可執行語句中的參數PageNow加I後再賦值給pageNow,並跳轉到步驟(d5),再次執行select*from(select*fromITP_L0Gwherenamelike'r%')whererownum>(pageNow-1)*50andrownumrandrownum〈=r+49,取接下來50行的數據。[0028](e)用戶所在客戶端保存數據，保存完後即可用EXCEL軟體讀取數據查閱。本發明一般用於用戶客戶端所在設備與資料庫伺服器為不同設備的情況下，通過本發明的下載方法減小資料庫伺服器的內存佔用，支持更多用戶的查詢和下載需求。[0029]以上僅是本發明的優選實施方式，本發明的保護範圍並不僅局限於上述實施例，凡屬於本發明思路下的技術方案均屬於本發明的保護範圍。應當指出，對於本【
技術領域：
】的普通技術人員來說，在不脫離本發明原理前提下的若干改進和潤飾，應視為本發明的保護範圍。【權利要求】1.多並發大數據量環境下EXCEL數據導出方法，包括數據轉換與輸出步驟，其特徵在於，該步驟中對需要導出的數據進行分批次轉換和輸出，每次輸出完畢後釋放內存。2.根據權利要求1所述的多並發大數據量環境下EXCEL數據導出方法，其特徵在於，在數據轉換與輸出步驟之前還包括以下步驟:(a)設置配置文件中的配置信息:所述配置信息包括數據導出格式信息、數據表格結構信息、每次輸出的數據量信息，所述數據導出格式信息中將數據導出格式設置為xml格式；(b)解析配置信息:系統啟動時，讀取所述配置文件，將配置文件中的配置信息解析成對象模型，並存儲到內存中；(c)獲取用戶查詢條件:用戶查詢時，獲取用戶的查詢條件並將其保存到內存中；(d)生成資料庫可執行語句:用戶導出數據時，從內存中獲取用戶查詢條件和每次輸出的數據量信息，並根據用戶查詢條件和每次輸出的數據量信息生成資料庫可執行語句，所述資料庫可執行語句中包含有數據過濾條件和數據位置信息。3.根據權利要求2所述的多並發大數據量環境下EXCEL數據導出方法，其特徵在於，數據轉換與輸出步驟包括以下步驟:(el)根據步驟(d)中的資料庫可執行語句從資料庫中取出數據，並根據對象模型中的數據表格結構信息和數據導出格式信息將取出的數據轉換為xml格式的字符串；(e2)輸出步驟(el)中的xml格式的字符串數據，輸出完後釋放內存；(e3)判斷用戶查詢到的數據是否全部輸出完成，是則結束流程，否則根據本次輸出的數據位置信息和對象模型中的每次輸出的數據量信息更改資料庫執行語句中數據位置信息，並跳轉到步驟(el)，進行下一次數據轉換和輸出。4.根據權利要求3所述的多並發大數據量環境下EXCEL數據導出方法，其特徵在於，步驟(el)包括:(ell)根據步驟(d)中的資料庫可執行語句從資料庫中取出數據，並根據對象模型中的數據表格結構信息將取出的數據轉換為字符串後存入一個數組中；(el2)根據對象模型中的數據導出格式信息將步驟(ell)中數組中的字符串拼接並轉換為xml格式的字符串。5.根據權利要求3所述的多並發大數據量環境下EXCEL數據導出方法，其特徵在於，所述數據位置信息包括輸出數據的起始行和結束行信息。6.根據權利要求2至5任一所述的多並發大數據量環境下EXCEL數據導出方法，其特徵在於，所述表格結構信息包括EXCEL表標題、列顯示名、列寬度、列高度、列顯示格式、列對齊方式、列綁定信息。7.多並發大數據量環境下EXCEL數據導出裝置，其特徵在於，包括:配置模塊，用於對配置文件中的配置信息進行設置，所述配置信息包括數據導出格式信息、數據表格結構信息、每次輸出的數據量信息，所述數據導出格式信息中的數據導出格式為xml格式；解析模塊，用於在系統啟動時讀取配置文件，將配置文件中的配置信息解析成對象模型存儲在內存中；查詢條件獲取模塊:用於獲取用戶查詢時的查詢條件並將其保存到內存中；數據可執行語句拼裝模塊，用於在用戶導出數據時從內存中獲取用戶查詢條件和每次輸出的數據量信息，並根據用戶查詢條件和每次輸出的數據量信息生成資料庫可執行語句；所述可執行語句中包含有數據過濾條件和數據位置信息；數據轉換和輸出模塊，用於分批次轉換和輸出需要導出的數據，並在每次輸出完畢後釋放內存。8.根據權利要求7所述的多並發大數據量環境下EXCEL數據導出裝置，其特徵在於，所述數據轉換和輸出模塊中包括:第一轉換模塊:用於根據數據可執行語句拼裝模塊生成的資料庫可執行語句從資料庫中取出數據，並根據對象模型中的數據表格結構信息將取出的數據轉換為字符串後存入一個數組中；第二轉換模塊:用於根據對象模型中的數據導出格式將數組中的字符串拼接並轉換為xml格式的字符串；輸出模塊:用於向用戶輸出xml格式的字符串數據，輸出完後釋放內存；判斷模塊:用於判斷用戶查詢到的數據是否全部輸出完成，如果未全部輸出，則根據本次輸出的數據位置信息和對象模型中的每次輸出的數據量信息更改資料庫執行語句中數據位置信息，進行下一次數據轉換`和輸出。【文檔編號】G06F17/30GK103500196SQ201310431143【公開日】2014年1月8日申請日期:2013年9月22日優先權日:2013年9月22日【發明者】周發宣,陳奇志,王倩,劉軍申請人:成都交大光芒科技股份有限公司