數據導入方法和裝置的製作方法
2023-10-11 13:28:44
專利名稱：數據導入方法和裝置的製作方法
技術領域：
本發明涉及數據傳輸技術，尤其涉及一種數據導入方法和裝置。
背景技術：
隨著各種業務系統的普及，為了充分利用業務系統中的原始數據，通常需要將所述原始數據從第二業務系統導入到第一業務系統中。以往，導入原始數據的工作一般由人工完成，即人工進行原始識別、判斷及導入。這種利用人工的方法大批量導入原始數據的過程需要耗費大量的人力、物力，並且增大了出錯的概率。為解決上述問題，現有技術執行數據導入方法是讀取原始數據；將所述原始數據解析轉化為SQL腳本數據；執行所述SQL腳本數據，將所述SQL腳本數據導入到第一業務系統中，形成業務數據，供所述第一業務系統使用。在實現本發明的過程中，發明人發現，現有技術中至少存在如下問題如果原始數據中存在數據不完整或者格式不符合要求的錯誤數據，當錯誤數據轉化為SQL腳本數據時，SQL腳本數據將難以被導入到第一業務系統中或容易被導入到第一業務系統中形成錯誤的業務數據，從而使原始數據在導入過程中造成數據丟失或者導入失敗。
發明內容
本發明的實施例提供一種數據導入方法和裝置，能夠提高數據導入的成功率。本發明解決上述問題的一個實施例是一種數據導入方法，包括獲取第一業務系統所需原始數據並獲取所述原始數據對應的業務數據匹配規則；判斷所述原始數據是否符合所述業務數據匹配規則，得到判斷結果；根據所述判斷結果，將所述原始數據導入到所述第一業務系統中，形成業務數據。本發明解決上述問題的另一個實施例是一種數據導入裝置，包括存儲模塊，用於存儲原始數據文檔；導入模塊，用於將所述存儲模塊中的所述原始數據導入到第一業務系統中，形成業務數據。本發明實施例提供的數據導入方法和裝置，通過獲取業務數據匹配規則，對原始數據是否符合業務數據匹配規則進行判斷，根據判斷結果，將原始數據導入到第一業務系統中，能夠提高數據導入的成功率。本發明實施例解決了現有技術中因為錯誤數據轉化的 SQL腳本數據難以被導入到第一業務系統或容易被導入到第一業務系統形成錯誤的業務數據，造成的數據丟失或導入失敗的問題，能夠提高數據導入的成功率。
圖1為本發明實施例提供的數據導入方法的流程圖；圖2為圖1所示的本發明實施例提供的原始數據的判斷方法的流程圖；圖3為圖1所示的本發明實施例提供的數據導入示意4
圖4為本發明實施例提供的數據導入裝置的結構示意圖；圖5為圖4所示的本發明實施例提供的導入模塊結構示意圖；圖6為圖5所示的本發明實施例提供的實施模塊結構示意圖。
具體實施例方式為了解決現有技術在導入有錯誤數據的原始數據時易造成數據丟失或數據導入失敗的問題，本發明提供一種數據導入方法和裝置。下面結合附圖和具體的實施例進行說明。如圖1所示，本發明實施例提供的數據導入方法，包括步驟101，獲取第一業務系統所需原始數據並獲取所述原始數據對應的業務數據匹配規則。在本實施例中，步驟101中所述的原始數據，可以從第二業務系統中，選擇所需的原始數據文檔獲取。在本實施例中，所述原始數據文檔的格式可以為.xls、. txt、. csv、. dif、. xlsx、. xml 0其中.xls和.xlsx時Microsoft Excel工作表，是一種常用的電子表格格式；.txt是最常見的一種文件格式，主要存文本信息；.CSV是一種用來存儲數據的純文本文件格式，通常用於電子表格或資料庫文件；.dif是AutoCAD中的圖形文件，它以ASCII方式存儲圖形；.xml是一種可擴展標記語言的文件格式。在本實施例中，步驟101，獲取第一業務系統所需的原始數據後，根據所述原始數據，獲得所述原始數據對應的業務數據匹配規則。所述對應的業務數據匹配規則，可以是所述原始數據的格式要求，包括文本長度、浮點數、整數或布爾值的任意一種或者組合。步驟102，判斷所述原始數據是否符合所述業務數據匹配規則，得到判斷結果。在本實施例中，所述步驟102可以通過以下方式判斷所述原始數據是否符合所述業務數據匹配規則，如圖2所示，包括步驟201，將所述原始數據解析轉化為SQL腳本將數據。在本實施例中，所述步驟201可以通過如下步驟將所述原始數據解析轉化為SQL 腳本數據將格式為.xls、. txt、. csv、. dif或.xlsx的原始數據，通過調用C#函數，使用 〔#代碼解析的方式，解析成統一 .xml格式的SQL腳本數據，讀取並存儲在資料庫中。解析成統一的.xml格式是因為xml簡單並且易於在任何應用程式中讀寫數據。 它是數據交換的公共語言，可以跨平臺使用，並且解析成統一的格式，就可以用統一的方式對所述SQL腳本數據進行規則對比和執行。在本實施例中，所述步驟201可以通過多種方式將原始數據解析轉化為相應的 SQL腳本數據，例如可以通過Java解析的方式將原始數據解析轉化為相應的SQL腳本數據，也可以通過C#解析的方式將原始數據解析轉化為相應的SQL腳本數據，或者通過C++ 解析的方式將原始數據轉化為相應的SQL腳本數據，此處不再一一贅述。步驟202，判斷所述SQL腳本數據是否符合業務數據匹配規則，得到判斷結果。
在本實施例中，步驟202可以包括將所述SQL腳本數據內容與業務數據匹配規則一一對比，判斷所述SQL腳本數據是否符合所述業務數據匹配規則，得到所述原始數據是否符合業務數據匹配規則。在本實施例中，步驟102所述的判斷結果可以包括兩種情況第一種，所述原始數據符合所述業務數據匹配規則；第二種，所述原始數據不符合所述業務數據匹配規則。步驟103，根據所述判斷結果，將所述原始數據導入到所述第一業務系統中，形成業務數據。在本實施例中，如圖3所示，步驟103可以包括步驟301，如果所述原始數據符合所述業務數據匹配規則，執行所述原始數據，將其導入到所述第一業務系統中形成業務數據；步驟302，如果所述原始數據不符合所述業務數據匹配規則，獲取所述原始數據的附加信息，所述附加信息用於記錄錯誤數據的信息，將所述附加信息導入到所述第一業務系統的失敗記錄文檔中。在本實施例中，步驟302可以包括如果所述SQL腳本數據不符合所述業務數據匹配規則，獲取所述原始數據的附加信息，將所述附加信息導入到所述第一業務系統的失敗記錄文檔中。第一業務系統可以在它的發布路徑下，建立一個文件夾，並將所述失敗記錄的隱文檔存儲在該文件夾下。當所述SQL腳本數據全部執行完後，顯示失敗記錄文檔，將所述附加信息提供給用戶。所述失敗記錄文檔中的附加信息可以包括以下任意一種或者組合位置信息，用來描述數據不完整或者格式不符合要求的錯誤數據在所述原始數據中所處位置；失敗原因，用來描述所述原始數據未全部成功導入到所述第一業務系統的原因；修改建議，當所述原始數據未全部成功導入到所述第一業務系統時，提供所述未成功導入數據的修改建議。將所述附加信息提供給用戶，可以方便用戶對原始數據中的錯誤數據進行定位和修改。在本實施例中，步驟103可以通過SQL語句將所述原始數據導入到所述第一業務系統中，形成業務數據以供第一業務系統使用。本發明實施例提供的數據導入方法，通過獲取業務數據匹配規則，對原始數據是否符合業務數據匹配規則進行判斷，根據判斷結果，將原始數據導入到第一業務系統中，能夠提高數據導入的成功率。本發明實施例解決了現有技術中因為錯誤數據轉化的SQL腳本數據難以被導入到第一業務系統或容易被導入到第一業務系統形成錯誤的業務數據，造成的數據丟失或導入失敗的問題，能夠提高數據導入的成功率。在本發明的另一個實施例中，如圖4所示，所述數據導入裝置，包括存儲模塊401，用於存儲原始數據文檔；導入模塊402，用於將所述存儲模塊中的所述原始數據導入到第一業務系統中，形成業務數據。在本實施例中，所述導入模塊402，如圖5所示，還可以包括數據獲取模塊501，用於獲取第一業務系統所需原始數據。在本實施例中，數據獲取模塊501中所述的原始數據，可以從存儲模塊401中獲取。在本實施例中，所述原始數據文檔的格式可以為.xls、. txt、. csv、. dif、. xlsx、. xml ο規則匹配模塊502，用於根據所述數據獲取模塊獲取的原始數據，獲取對應的業務數據匹配規則。在本實施例中，規則匹配模塊502所述的業務數據匹配規則，可以是所述原始數據的格式要求，包括文本長度、浮點數、整數或布爾值的任意一種或者組合。規則判斷模塊503，用於判斷所述數據獲取模塊獲取的原始數據是否符合所述規則匹配模塊的業務數據匹配規則，得到判斷結果。在本實施例中，規則判斷模塊503可以通過以下方式判斷所述原始數據是否符合所述業務數據匹配規則第一、將所述原始數據解析轉化為SQL腳本將數據；第二、判斷所述SQL腳本數據是否符合業務數據匹配規則，得到判斷結果。在本實施例中，可以通過如下步驟將所述原始數據解析轉化為SQL腳本數據將格式為.xls、. txt、. csv、. dif或.xlsx的原始數據，通過調用C#函數，使用C#代碼解析的方式，解析成統一 .xml格式的SQL腳本數據，讀取並存儲在資料庫中。解析成統一的.xml格式是因為xml簡單並且易於在任何應用程式中讀寫數據。 它是數據交換的公共語言，可以跨平臺使用，並且解析成統一的格式，就可以用統一的方式對所述SQL腳本數據進行規則對比和執行。在本實施例中，可以通過多種方式將原始數據解析轉化為相應的SQL腳本數據， 例如可以通過Java解析的方式將原始數據解析轉化為相應的SQL腳本數據，也可以通過 C#解析的方式將原始數據解析轉化為相應的SQL腳本數據，或者通過C++解析的方式將原始數據轉化為相應的SQL腳本數據，此處不再一一贅述。在本實施例中，規則判斷模塊503所述的判斷結果可以包括兩種情況第一種，所述原始數據符合所述業務數據匹配規則；第二種，所述原始數據不符合所述業務數據匹配規則。實施模塊504，用於根據所述規則判斷模塊得到的判斷結果，將所述數據獲取模塊獲取的原始數據導入到第一業務系統中。在本實施例中，所述實施模塊504，如圖6所示，還可以包括失敗原因分析模塊601，用於將所述原始數據的附加信息導入到所述第一業務系統的失敗記錄文檔中。在本實施例中，失敗原因分析模塊601可以包括如果所述SQL腳本數據不符合所述業務數據匹配規則，獲取所述原始數據的附加信息，將所述附加信息導入到所述第一業務系統的失敗記錄文檔中。第一業務系統可以在它的發布路徑下，建立一個文件夾，並將所述失敗記錄的隱文檔存儲在該文件夾下。當所述SQL腳本數據全部執行完後，顯示失敗記錄文檔，將所述附加信息提供給用戶。所述失敗記錄文檔中的附加信息可以包括以下任意一種或者組合位置信息、失敗原因或修改建議。執行模塊602，用於將所述原始數據導入到所述第一業務系統中，形成業務數據。
在本實施例中，執行模塊602可以通過SQL語句將所述原始數據導入到所述第一業務系統中，形成業務數據以供第一業務系統使用。在本實施例中，如果所述原始數據不符合所述業務數據匹配規則，使用失敗原因分析模塊601將附加信息導入到所述第一業務系統的失敗記錄文檔中；如果所述原始數據符合所述業務數據匹配規則，使用執行模塊602將所述原始數據導入到所述第一業務系統中，形成業務數據。本發明實施例提供的數據導入裝置，通過獲取業務數據匹配規則，對原始數據是否符合業務數據匹配規則進行判斷，根據判斷結果，將原始數據導入到第一業務系統中，能夠提高數據導入的成功率。本發明實施例解決了現有技術中因為錯誤數據轉化的SQL腳本數據難以被導入到第一業務系統或容易被導入到第一業務系統形成錯誤的業務數據，造成的數據丟失或導入失敗的問題，能夠提高數據導入的成功率。本發明實施例還提供一種數據導入方法和裝置的具體示例，包括第一、讀取原始數據，原始數據文檔，例如表1所示表1
權利要求
1.一種數據導入方法，其特徵在於，包括獲取第一業務系統所需原始數據並獲取所述原始數據對應的業務數據匹配規則；判斷所述原始數據是否符合所述業務數據匹配規則，得到判斷結果；根據所述判斷結果，將所述原始數據導入到所述第一業務系統中，形成業務數據。
2.根據權利要求1所述的數據導入方法，其特徵在於，所述獲取第一業務系統所需原始數據，包括從第二業務系統中獲取所述第一業務系統所需的原始數據。
3.根據權利要求1所述的數據導入方法，其特徵在於，所述業務數據匹配規則，包括 所述原始數據的格式要求，包括文本長度、浮點數、整數或布爾值的任意一種或者組I=I O
4.根據權利要求1所述的數據導入方法，其特徵在於，所述判斷所述原始數據是否符合所述業務數據匹配規則，得到判斷結果，包括將所述原始數據解析轉化為SQL腳本將數據； 判斷所述SQL腳本數據是否符合業務數據匹配規則，得到判斷結果。
5.根據權利要求1所述的數據導入方法，其特徵在於，所述根據所述判斷結果，將所述原始數據導入到所述第一業務系統中，形成業務數據，包括如果所述原始數據符合所述業務數據匹配規則，執行所述原始數據，將所述原始數據導入到所述第一業務系統中，形成業務數據；如果所述原始數據不符合所述業務數據匹配規則，獲取所述原始數據的附加信息，所述附加信息用於記錄錯誤數據的信息，將所述附加信息導入到所述第一業務系統的失敗記錄文檔中。
6.根據權利要求5所述的數據導入方法，其特徵在於，所述原始數據的附加信息，包括以下任意一種或者組合位置信息，失敗原因或修改建議。
7.一種數據導入裝置，其特徵在於，包括 存儲模塊，用於存儲原始數據文檔；導入模塊，用於將所述存儲模塊中的所述原始數據導入到所述第一業務系統中，形成業務數據。
8.根據權利要求7所述的數據導入裝置，其特徵在於，所述導入模塊，還包括 數據獲取模塊，用於獲取所述第一業務系統所需原始數據；規則匹配模塊，用於根據所述數據獲取模塊獲取的原始數據，獲取對應的業務數據匹配規則；規則判斷模塊，用於判斷所述數據獲取模塊獲取的原始數據是否符合所述規則匹配模塊的業務數據匹配規則，得到判斷結果；實施模塊，用於根據所述規則判斷模塊得到的判斷結果，將所述數據獲取模塊獲取的原始數據導入到所述第一業務系統中。
9.根據權利要求8所述的數據導入裝置，其特徵在於，所述實施模塊，還包括失敗原因分析模塊，用於將所述原始數據的附加信息導入到所述第一業務系統的失敗記錄文檔中；執行模塊，用於將所述原始數據導入到所述第一業務系統中，形成業務數據。
全文摘要
本發明公開了一種數據導入方法和裝置，涉及數據傳輸技術，為解決現有技術在導入有錯誤數據的原始數據時易造成數據丟失或導入失敗的問題而發明。本發明的技術方案為一種數據導入方法，包括獲取第一業務系統所需原始數據並獲取所述原始數據對應的業務數據匹配規則；判斷所述原始數據是否符合所述業務數據匹配規則，得到判斷結果；根據所述判斷結果，將所述原始數據導入到所述第一業務系統中，形成業務數據。本發明實施例提供的數據導入方法和裝置，適用於任何需要數據導入的業務系統中。
文檔編號G06F17/30GK102567796SQ20101061344
公開日2012年7月11日 申請日期2010年12月20日 優先權日2010年12月20日
發明者呂賀, 黃瑩 申請人:北京北大方正電子有限公司, 北大方正集團有限公司