一種不同應用系統間的數據核對方法、裝置及系統的製作方法

2023-08-13 14:35:51

專利名稱：：一種不同應用系統間的數據核對方法、裝置及系統的製作方法
技術領域：
：本發明涉及數據處理
技術領域：
，特別是涉及一種不同應用系統間的數摒核對方法、裝置及系統。
背景技術：
：在很多業務領域，根據業務的需要，會對業務數據進行核對處理。例如在電子交易領域，交易雙方通過第三方支付系統實現網上交易，該第三方支付系統就需要通過對帳系統與參與交易的銀行系統進行對帳處理。對帳處理是對前一個清算周期的交易信息進行核對，以確認交易信息的一致性和正確性。所述第三方支付系統與接入的各家銀行都要作對帳。具體對帳過程是結算人員從銀行獲得用來對帳的文件，對帳文件的格式一般是銀行自己定義的，每個銀行的對帳文件一般來說格式不一樣；然後，將該對帳文件中的對帳欄位分別與第三方支付系統中的交易數據進行核對。其中，所述對帳欄位是指用於對帳過程的欄位，不同的業務需要對不同的欄位，如支付寶卡通提現需要對用戶的卡通協議號，正常提現需要對用戶的卡號。其中，所述支付寶卡通提現業務是指將4艮行卡號與支付寶支付系統的帳號通過卡通協議進行關聯，卡通協議號分別與銀行卡號、支付寶支付系統的帳號相對應。目前，對帳系統採取的對帳方法是，針對每一家銀行的系統來作對帳。但由於需要與第三方支付系統進行對帳的銀行系統非常多，而每個銀行系統的對帳文件格式不一致，多種業務需要對帳的欄位也不盡相同，因此這種需要針對每家銀行實現一套對帳流程的處理方式，對開發和測試造成了巨大的負擔。一方面，對於系統的開發而言，對帳系統實現起來異常複雜，非常不利於維護和擴展；另一方面，對於開發人員而言，當對帳欄位需要更改的時候，需要重新開發，然後系統重新發布，代價4艮大。通過以上電子交易領域的對帳處理過程可知，如果一個數據核對系統(如對帳系統)需要與多個業務應用系統(如各家銀行的系統)進行數據核對處理，採用針對每個業務應用系統實現一套核對流程的方式，而每個業務應用系統的核對文件格式不一致，不同業務需要核對的欄位也不相同，這種情況下，數據核對系統的開發、維護和擴展會非常困難，而且還對開發人員造成人力資源的耗費。
發明內容本發明所要解決的技術問題是提供一種不同應用系統間的數據核對方法、裝置及系統，以解決目前的核對方法造成數據核對系統的開發、維護和擴展困難，耗費大量人力的問題。為解決上述技術問題，根據本發明提供的具體實施例，本發明公開了以下技術方案一種不同應用系統間的數據核對裝置，用於將至少一個第一應用系統中的第一數據文件與第二應用系統中的第二數據文件進行核對，包括文件解析規則獲取單元，用於獲取預配置的文件解析規則；,文件獲取單元，用於獲取對應該文件解析規則的第一數據文件；文件解析單元，用於按照所述文件解析規則，將所述第一數據文件解析為統一格式的數據記錄；核對欄位獲取單元，用於對應所述第一數據文件，獲取預配置的核對欄位；數據核對單元，用於按照所述核對欄位，將對應所述第一數據文件的數據記錄與第二數據文件中的數據進行核對。其中，所述數據核對單元具體包括比較子單元和標記子單元；所述比較子單元用於根據核對欄位將對應所述第一數據文件的數據記錄與第二數據文件的數據進行比較；如果所有的核對欄位對應的數據都匹配，則所述標記子單元用於將所述第二數據文件的數據標記為正常數據；否則，所述標記子單元用於標記為差異數據。優選的，所述裝置還包括第二數據文件獲取單元，用於獲取第二數據文件。其中，所述第二數據文件獲取單元設置在數據核對單元中。優選的，所述裝置還包括線程池，用於分配多個線程執行所述數據核對單元；核對引擎，用於管理所述線程池。本發明還提供了一種不同應用系統間的數據核對方法，用於將至少一個第一應用系統中的第一數據文件與第二應用系統中的第二數據文件進行核對，包括提供文件解析規則獲取單元，該單元獲取預配置的文件解析規則；提供文件獲取單元，該單元獲取對應該文件解析規則的笫一數據文件；提供文件解析單元，該單元按照所述文件解析規則，將所述第一數據文件解析為統一格式的數據記錄；提供核對欄位獲取單元，該單元對應所述第一數據文件，獲取預配置的核對欄位；提供數據核對單元，該單元按照所述核對欄位，將對應所述第一數據文件的數據記錄與第二數據文件中的數據進行核對。優選的，所述方法還包括數據核對單元根據核對欄位將對應所述第一數據文件的數據記錄與第二數據文件的數據進行比較，如果所有的核對欄位對應的數據都匹配，則將所述第二數據文件的數據標記為正常數據；否則，標記為差異數據。優選的，所述方法還包括通過配置新的文件解析規則和新的核對欄位，增加新的第一數據文件與第二數據文件的核對。其中，所述獲取預配置的文件解析規則，並獲取對應該文件解析規則的第一數據文件，具體包括文件解析規則獲取單元定時檢查預配置的文件解析規則，當有新的文件解析規則時，獲取該新的文件解析規則並緩存，然後文件獲取單元獲取對應該新的文件解析規則的第一數據文件。其中，所述獲取預配置的核對欄位具體包括核對欄位獲取單元定時檢查預配置的核對欄位，當有新的核對欄位時，獲取該新的核對欄位並緩存。優選的，核對引擎從線程池分配多個線程執行所述核對。優選的，所述預配置文件解析MJ'j和核對欄位，具體包括設置文件解析規則配置表來預配置文件解析規則；設置核對欄位配置表來預配置核對欄位。優選的，所述文件解析規則獲取單元獲取預配置的文件解析規則，具體包括根據第二數據文件中的每條數據記錄對應的應用系統，獲取對應該應用系統的文件解析規則。本發明還提供了一種數據核對系統，包括至少一個應用系統及核對子系7統，所述核對子系統包括第一資料庫，用於存儲文件解析規則及核對欄位；第二資料庫，用於存儲文件解析後的數據記錄；第三資料庫，用於存儲第二數據文件；文件解析規則緩存伺服器，用於從第一資料庫獲取預配置的文件解析規則，然後通知文件解析器；文件解析器，用於觸發文件獲取器獲取第一數據文件，然後按照所述文件解析規則，將所述第一數據文件解析為統一格式的數據記錄，並存入第二資料庫；文件獲取器，用於從應用系統獲M應該文件解析規則的第一數據丈件；核對欄位緩存伺服器，用於對應所述第一數據文件，從第一資料庫獲取預配置的核對欄位，並從第二資料庫獲取文件解析後的數據記錄，然後通知核對處理器；核對處理器，用於從第三資料庫獲取第二數據文件，然後按照所述核對欄位，將對應所述第一數據文件的數據記錄與第二數據文件中的數據進行核對。優選的，所述系統還包括線程池，用於分配多個線程執行所述核對處理器；核對引擎，用於管理所述線程池。其中，所述文件解析規則緩存伺服器定時檢查第一資料庫，當有新的文件解析規則時，獲取該新的文件解析規則並緩存；所述核對欄位緩存伺服器定時檢查第一資料庫，當有新的核對欄位時，獲取該新的核對欄位並緩存。其中，所述第一資料庫和第二資料庫為同一個資料庫。根據本發明提供的具體實施例，本發明具有以下技術效果首先，本發明提供了一種可配置的數據核對系統及核對方法，該方法通過預先配置文件解析規則和核對欄位，然後根據預配置的文件解析規則將第一數據文件解析為統一格式的數據記錄，再按照預配置的核對欄位，將所述數據記錄與第二數據文件的數進行核對。針對電子交易中第三方支付系統與各銀行系統間的對帳處理，所述方法將各銀行不同的文件解析規則、不同的對帳欄位進行預先配置，然後根據所述配置信息完成對帳處理。當增加新的4艮行系統時，只需增加新的配置信息即可；或者，當更改對帳欄位時，只需修改原始配置中的對帳欄位即可。由此，這種可配置的對帳方式更加靈活，更加有利於系統的維護和擴展；而且，極大地減輕了開發人員的工作負擔。其次，在採用配置方式的基礎上，本發明還利用線程池來同時處理多個核對，從而大大提高了核對效率。圖1是本發明實施例一所述一種不同應用系統間的數據核對裝置結構圖；圖2是本發明實施例一所述一種不同應用系統間的數據核對方法流程圖；圖3是本發明實施例二所述對帳系統中文件解析模塊的結構圖；圖4是本發明實施例二所述對帳系統中對帳模塊的結構圖；圖5是本發明實施例二所述一種對帳方法的流程圖；圖6是本發明實施例中對帳文件格式的示意截圖；圖7是本發明實施例中將對帳文件導入到資料庫的表結構示意截圖。具體實施例方式為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本發明作進一步詳細的說明。實施例一本發明實施例一提供了一種不同應用系統間的數據核對裝置。參照圖l,是本發明實施例所述一種數據核對裝置結構圖。該裝置是將至少一個業務應用系統的數據(稱為第一數據文件)與數據核對系統的數據(稱為第二數據文件)進行核對，所述數據核對系統可同時連接多個業務應用系統。所述數據核對裝置通常設置於所述數據核對系統中，但本實施例不做限定，該裝置也可以設置在數據核對系統之外。所述數據核對裝置主要包括文件解析規則獲取單元Ull,用於獲取預配置的文件解析規則；文件獲取單元U12，用於獲取對應該文件解析規則的第一數據文件；文件解析單元U13,用於按照所述文件解析規則，將所述第一數據文件解析為統一格式的數據記錄；核對欄位獲取單元U14,用於對應所述第一數據文件，獲取預配置的核對欄位；數據核對單元U15,用於按照所述核對欄位，將對應所述第一數據文件的數據記錄與第二數據文件中的數據進行核對。其中，所述第二數據文件可以由設置在數據核對單元U15內的第二數據文件獲取單元獲取(如果數據核對裝置設置於所述數據核對系統中，則數據核對單元U15可以直接從系統資料庫中讀取)，也可以設置一單獨的第二數據文件獲取單元從數據核對系統獲取第二數據文件。需要說明的是，當數據核對系統同時連接多個應用系統時，上述文件獲取單元U12需要從不同的應用系統分別獲取第一數據文件，而第二數據文件都從數據核對系統獲取。優選的，所述數據核對單元U15具體包括比較子單元和標記子單元；所述比較子單元用於根據核對欄位將對應所述第一數據文件的數據記錄與第二數據文件的數據進行比較；如果所有的核對欄位對應的數據都匹配，則所述標記子單元用於將所述第二數據文件的數據標記為正常數據；否則，所述標記子單元用於標記為差異數據。優選的，所述裝置還包括線程池，用於分配多個線程執行所述數據核對單元U15;核對引擎，用於管理所述線程池，包括對線程的獲取、分發、運行、回收等整個生命周期的管理。基於以上說明，也可以對上述裝置進行擴展，用於實現多個不同的兩兩應用系統間的數據核對。例如，可以實現A應用系統與B應用系統的數據核對，也可以實現C應用系統與D應用系統的數據核對。此時，所述裝置需要將兩個進行核對的系統數據解析為統一格式。假設第一應用系統的數據文件與第二應用系統的數據文件進行核對，則該裝置不僅包括用於獲取第一應用系統和第二應用系統的文件解析規則的文件解析規則獲取單元，用於獲取第一應用系統的數據文件的文件獲取單元，用於將所述第一應用系統的數據文件解析為統一格式數據的文件解析單元，以及核對欄位獲取單元和數據核對單元；還可以包括用於獲取第二應用系統的數據文件的文件獲取單元，用於將所述第二應用系統的數據文件解析為統一格式數據的文件解析單元。針對上述數據核對裝置，本發明實施例提供了一種不同應用系統間的婆:據核對方法。以至少一個業務應用系統的數據(第一數據文件)與數據核對系統的數據(第二數據文件)進行核對為例。參照圖2，是實施例一所述一種數據核對方法流程圖。以一次核對過程為例，第一數據文件與第二數據文件的數據核對處理過程如下S201，文件解析規則獲取單元獲取預配置的文件解析規則，然後文件獲取單元獲取對應該文件解析規則的第一數據文件；所述第一數據文件來源於業務應用系統；本實施例提供的配置信息包括文件解析規則和核對欄位。所述文件解析規則用於對第一數據文件進行解析，第一數據文件的格式不同，解析規則也不同。即如果有多個第一數據文件分別來源於不同的業務應用系統，則需要針對每個第一數據文件的格式配置相應的文件解析規則。所述核對欄位用於提供需要核對的數據，而業務不同，需要核對的欄位也不同。這些信息都需要預先配置，可以設置文件解析規則配置表和核對欄位配置表來分別存放文件解析規則和核對欄位，當然也可以採取其他存放方式，本實施例不作限定。當某個業務應用系統需要與數據核對系統核對數據的時候，將該業務應用系統的文件解析規則和需要核對的欄位配置到相應的配置表中，然後核對過程中根據這些配置信息完成核對。針對一次數據核對，首先要讀取配置信息中的文件解析規則，然後乂M目應的業務應用系統中讀取對應該文件解析規則的第一數據文件，繼續以下流程。優選的，可以將從文件解析規則配置表讀取出的文件解析規則進行緩存，下次使用時從該緩存讀取即可。如果數據核對系統同時連接多個應用系統，不同應用系統的文件解析規則也不同，此時文件解析規則獲取單元獲取不同的文件解析規則的方式是依次讀取第二數據文件中的數據記錄，根據記錄對應的應用系統，獲取對應該應用系統的文件解析規則；然後，文件獲取單元從該應用系統中獲取第一數據文件。S202，文件解析單元按照所述文件解析規則，將所述第一數據文件解析為統一格式的數據記錄；ii文件解析的目的是要把各種不同格式的文件解析成具有統一格式的數據記錄，存放到資料庫中，以便後續核對時使用。這樣，各種業務應用系統的文件都轉換成了一種格式，就可以通過同一個核對流程完成數據核對，而不需要像現有技術一樣分別實現核對流程。S203,核對欄位獲取單元對應所述第一數據文件，獲取預配置的核對欄位；當文件解析完成之後，繼續^目應的配置信息中獲取需要核對的欄位，所述字採可能為一個或多個。優選的，可以將從核對欄位配置表讀取出的核對欄位進行緩存，下次使用時從該緩存讀取即可。S204，數據核對單元按照所述核對欄位，將對應所述第一數據文件的數據記錄與第二數據文件中的數據進行核對。所述第二數據文件來源於數據核對系統。具體核對過程是根據核對欄位將對應所述第一數據文件的數據記錄與第二數據文件的數據進行比較，如果所有的核對欄位對應的數據都匹配，則將所述第二數據文件的數據標記為正常數據；否則，標記為差異數據。對於差異數據，可以通知人工處理。上述流程中，獲取文件解析規則的步驟和獲取核對欄位的步驟並沒有先後執行的必然聯繫，以上流程僅作為實施例，在實際應用中，也可以同時獲取。當一次核對過程結束後，再對下次核對循環執行S101—S104。這些要核對的文件可能來源於不同的業務應用系統，各文件的悽t據格式也可能不同，但通過統一的核對流程即可完成。以上數據核對方法充分利用了每種核對流程中公用的部分，通過配置的方式將不同格式的文件轉換為統一格式後，就可以根據配置的核對欄位進行統一處理，因此一套核對流程就可以實現多個業務應用系統與數據核對系統的數據核對處理。而當增加新的業務應用系統，或更改核對欄位的時候，通過增加或修改配置信息即可實現。因此，這種可配置的數據核對方式更加靈活，更加有利於系統的維護和擴展；而且，極大地減輕了開發人員的工作負擔。實施例二針對上述數據核對裝置和核對方法的說明，結合實際應用，本發明實施例二提供了一種數據核對系統。仍以電子交易領域的對帳系統為例，該對帳系統是將第三方支付系統的交易數據與銀行系統的對帳文件進行核對。所述對帳系統主要包括文件解析模塊和對帳才莫塊，下面分別說明。參照圖3，是實施例二所述對帳系統中文件解析^i塊的結構圖。所述文件解析模塊主要包括第一資料庫U31，用於存儲文件解析規則及對帳欄位；第二資料庫U32，用於存儲文件解析後的數據記錄；文件解析規則緩存伺服器U33，用於從第一資料庫U31獲取預配置的文件解析規則，然後通知文件解析器U34;文件解析器U34，用於觸發文件獲取器U35獲取對帳文件，然後按照所述文件解析規則，將所述對帳文件解析為統一格式的數據記錄，並存入第二資料庫U32;文件獲取器U35,用於從應用系統獲取對應該文件解析規則的對帳文件，本例中所述應用系統為銀行系統，所述銀行系統可以為多家銀行的系統。其中，所述第一資料庫U31和第二資料庫U32也可以為同一個資料庫。文件解析模塊的工作過程如下文件解析規則緩存伺服器U33根據配置的定時時間，定時檢查配置文件解析規則的第一資料庫U31,當發現有新的文件解析規則時，獲取該新的文件解析規則並緩存，然後通知文件解析器U34;文件解析器U34觸發文件獲取器U35從銀行系統獲取對帳文件，然後文件解析器U34按照所述新的文件解析規則，將所述對帳文件解析為統一格式的數據記錄，並存入第二資料庫U32。其中，所述新的文件解析規則可以是新添加到第一資料庫U31中的記錄，也可以是對第一資料庫U31中原有記錄的更新信息。參照圖4,是實施例二所述對帳系統中對帳模塊的結構圖。所述對帳模塊主要包括第三資料庫U41，用於存儲需要對帳的交易數據，這些交易數據來源於第三方支付系統；對帳欄位緩存伺服器U42，用於對應所述對帳文件，從第一資料庫U31獲取預配置的對帳欄位，並從第二資料庫U32獲取文件解析後的數據記錄，13然後通知對帳處理器U43;對帳處理器U43,用於從第三資料庫U41獲取交易數據，然後按照所述對帳欄位，將對應所述對帳文件的數據記錄與交易數據進行核對。優選的，所述對帳模塊還包括線程池U44,用於分配多個線程執行所述對帳處理器U43;對帳引擎U45,用於管理所述線程池U44,包括對線程的獲取、分發、運行、回收等整個生命周期的管理。對帳模塊的工作過程如下對帳欄位緩存伺服器U42根據配置的定時時間，定時檢查配置對帳欄位的第一資料庫U31,當發現有新的對帳欄位時，獲取該新的對帳欄位並緩存；對帳欄位緩存伺服器U42還需要從第二資料庫U32獲取文件解析後的數據記錄，然後通知對帳處理器U43;對帳處理器U43從第三資料庫U41獲取交易數據，然後按照所述對帳欄位，將對應所述對帳文件的數據記錄與交易數據進行核對。針對多線程處理，對帳引擎U45控制線程池U44分配多個線程，同時執行對帳處理。此時，對帳處理器U43以多線程方式並行執行對帳處理。上述對帳系統不僅可以用來作對帳操作，也可以用來做覆核操作。總之，任何需要比對兩方的數據的業務場景都可以利用所述系統通過修改來實現。在實際應用中，很多業務都需要進行數據核對，針對上述對帳系統，仍以電子交易領域的對帳處理為例。參照圖5,是實施例二所述一種對帳方法的流程圖。對於每天的交易記錄，第三方支付系統需要與多家銀行系統進行對帳處理。假設目前已有兩家銀行系統實現了與第三方支付系統的對帳，即配置表中已記錄了這兩家4艮行的配置信息(包括文件解析規則和核對欄位)，當增加第三家銀行系統時，後臺管理人員通過管理頁面在文件解析規則配置表和對帳欄位配置表中分別錄入新的文件解析規則和新的核對欄位。對帳處理如下S501，文件解析規則緩存伺服器定時檢查第一資料庫中的文件解析規則配置表，當有新的文件解析規則時，獲取該新的文件解析規則並緩存，然後通知文件解析器；文件解析器觸發文件獲取器獲^t應該新的文件解析規則的對帳文件；所述對帳文件來源於銀行系統；即通過定時刷新文件解析規則配置表的方式，可以發現是否有新的文件解析規則添加進來，如果第三家銀行的文件解析規則已添加進來，則可以檢測出並立即進行對帳處理。其中，所述新的文件解析規則可以是新添加到文件解析規則配置表中的記錄，也可以是對文件解析規則配置表中原有記錄的更新信息。總之，所述定時檢查的目的是保持緩存與配置表的數據一致。S502，文件解析器按照所述新的文件解析規則，將所述新獲取的對帳文件解析為統一格式的數據記錄，並存入第二資料庫；5503,核對欄位緩存伺服器定時檢查第一資料庫中的對帳欄位配置表，當有新的對帳欄位時，對應所述新獲取的對帳文件，獲取新的對帳欄位並緩存；並從第二資料庫獲取文件解析後的數據記錄，然後通知核對處理器；即通過定時刷新對帳欄位配置表可以發現是否有新的對帳欄位添加進來。所述新的核對欄位可以是新添加的核對欄位，也可以是原有核對欄位的更新信息。所述定時檢查也是為了保持緩存與配置表的數據一致。所述定時刷新文件解析規則配置表和定時刷新對帳欄位配置表的過程可以並行，但針對同一個對帳文件的處理，則需要完成文件解析後，才能利用對帳欄位進行對帳處理。5504,核對處理器按照所迷對帳欄位，將對應所述對帳文件的數據記錄與第三方支付系統中的交易數據進行核對。核對過程中，可能存在如下情況如果是銀行有、第三方支付系統無的數據，標記為多帳數據；如果是第三方支付系統有、銀行無的數據，標記為少帳數據；如果雙方都有的數據，則根據配置好的對帳欄位來比較，如果所有的對帳欄位都能匹配通過，則標記這條數據為正常數據，然後通知業務應用系統進行後續的處理；如果遇到某個對帳欄位不能匹配，則標記這條欄位為差異數據，統計到差異結果裡面，形成一個淨"，供結算人員手工幹預處理。本實施例中，上述緩存採用的是Memcached緩存機制。Memcached是個開源的緩存框架，當然也可以用其他的緩存框架(比如OSCache)，本實施例15不作限定。本實施例優選的，在採用配置方式的基礎上，還利用線程池來同時處理多個核對，從而大大提高了核對效率。所述線程池是指以一個或多個線程循環執行多個應用邏輯的線程集合。本實施例可採用現有的任何一種線程池技術來實現數據核對。而且，線程池技術對線程的管理具有良好的安全性。本實施例中，對帳過程由於數據量很大，需要多個線程同時對帳，這樣線程之間的安全和並發就很重要，因為對帳過程直接關係著資金的安全，如果出現並發問題，將會有資金的損失。而線程池技術是將整個對帳過程需要用到的線程部分形成了一個公用的模板，能夠在底層保證安全，因此使用線程池技術可以對線程的獲取、分發、運行、回收等整個生命周期進行安全管理。通過以上舉例表明，本發明提供的可配置的數據核對方法，可以快速接入新的核對業務。而且，利用線程池技術大大提高了核對效率，保證了數據核對的安全性。下面舉例說明，以農行的提現業務對帳為例從農行網銀下載的提現對帳文件格式截圖如圖6所示。根據配置好的提現對帳文件解析規則，將這個文件解析到資料庫裡面去，導入到資料庫裡的表結構截圖如圖7所示(部分欄位可以自行酌情增減)圖7中，settle—batch—no欄位是對銀行提現對帳文件生成的一個批次號。然後找到3959這個批次號所有的記錄(該例子中只有2條)，開始進入對帳過程對帳線程池首先取出部分數據(可以自行根據情況來定義，本例中定義的是每次取出100條)，分配到各個線程去開始對帳，等這100條完成了，對帳線程池繼續去取數據，直到這個批次的所有數據都取完為止。線程會讀出農行需要配置的對帳欄位，例如資料庫可以配置如下tableseeoriginaldocumentpage17表1然後線程可以根據這三個欄位開始對帳，對帳的過程中會根據對帳的情況來更新圖7中所示的compare—flag欄位。例如，正常數據可以標記為R，差異數據可以標記為D，多帳數據可以標記為M等等。等所有的流水都對帳完畢之後，統計上述報表，然後形成結果文件，供管理人員參考。至此，整個對帳過程結束。以上對本發明所提供的一種不同應用系統間的數據核對方法、裝置及系了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處。綜上所述，本說明書內容不應理解為對本發明的限制。權利要求1、一種不同應用系統間的數據核對裝置，用於將至少一個第一應用系統中的第一數據文件與第二應用系統中的第二數據文件進行核對，其特徵在於，包括文件解析規則獲取單元，用於獲取預配置的文件解析規則；文件獲取單元，用於獲取對應該文件解析規則的第一數據文件；文件解析單元，用於按照所述文件解析規則，將所述第一數據文件解析為統一格式的數據記錄；核對欄位獲取單元，用於對應所述第一數據文件，獲取預配置的核對欄位；數據核對單元，用於按照所述核對欄位，將對應所述第一數據文件的數據記錄與第二數據文件中的數據進行核對。2、根據權利要求1所述的裝置，其特徵在於所述數據核對單元具體包括比較子單元和標記子單元；所述比較子單元用於根據核對欄位將對應所述第一數據文件的數據記錄與第二數據文件的數據進行比較；如果所有的核對欄位對應的數據都匹配，則所述標記子單元用於將所述第二數據文件的數據標記為正常數據；否則，所述標記子單元用於標記為差異數據。3、根據權利要求l所述的裝置，其特徵在於，還包括第二數據文件獲取單元，用於獲取第二數據文件。4、根據權利要求3所述的裝置，其特徵在於所述第二數據文件獲取單元設置在數據核對單元中。5、根據權利要求1所述的裝置，其特徵在於，還包括線程池，用於分配多個線程執行所述數據核對單元；核對引擎，用於管理所述線程池。6、一種不同應用系統間的數據核對方法，用於將至少一個第一應用系統中的第一數據文件與第二應用系統中的第二數據文件進行核對，其特徵在於，包括提供文件解析規則獲取單元，該單元獲取預配置的文件解析規則；提供文件獲取單元，該單元獲取對應該文件解析規則的第一數據文件；提供文件解析單元，該單元按照所述文件解析規則，將所述第一數據文件解析為統一格式的數據記錄；提供核對欄位獲取單元，該單元對應所述第一數據文件，獲取預配置的核對欄位；提供數據核對單元，該單元按照所述核對欄位，將對應所述第一數據文件的數據記錄與第二數據文件中的數據進行核對。7、根據權利要求6所述的方法，其特徵在於，還包括數據核對單元根據核對欄位將對應所述第一數據文件的數據記錄與第二數據文件的數據進行比較，如果所有的核對欄位對應的數據都匹配，則將所述第二數據文件的數據標記為正常數據；否則，標記為差異數據。8、根據權利要求6所述的方法，其特徵在於，還包括通過配置新的文件解析規則和新的核對欄位，增加新的第一數據文件與第二數據文件的核對。9、根據權利要求8所述的方法，其特徵在於，所述獲取預配置的文件解析規則，並獲取對應該文件解析規則的第一數據文件，具體包括文件解析規則獲取單元定時檢查預配置的文件解析規則，當有新的文件解析規則時，獲取該新的文件解析規則並緩存，然後文件獲取單元獲取對應該新的文件解析規則的第一數據文件。10、根據權利要求8所述的方法，其特徵在於，所述獲取預配置的核對欄位具體包括核對欄位獲取單元定時檢查預配置的核對欄位，當有新的核對欄位時，獲取該新的核對欄位並緩存。11、根據權利要求6—10任一所述的方法，其特徵在於核對引擎從線程池分配多個線程執行所述核對。12、根據權利要求6所述的方法，其特徵在於，所述預配置文件解析規則和核對欄位，具體包括設置文件解析規則配置表來預配置文件解析規則；設置核對欄位配置表來預配置核對欄位。13、根據權利要求6所述的方法，其特徵在於，所述文件解析規則獲取單元獲取預配置的文件解析規則，具體包括根據第二數據文件中的每條數據記錄對應的應用系統，獲取對應該應用系統的文件解析規則。14、一種數據核對系統，其特徵在於，包括至少一個應用系統及核對子系統，所述核對子系統包括第一資料庫，用於存儲文件解析規則及核對欄位；第二資料庫，用於存儲文件解析後的數據記錄；第三資料庫，用於存儲第二數據文件；文件解析規則緩存伺服器，用於從第一資料庫獲取預配置的文件解析規則，然後通知文件解析器；文件解析器，用於觸發文件獲取器獲取第一數據文件，然後按照所述文件解析規則，將所述第一數據文件解析為統一格式的數據記錄，並存入第二資料庫；文件獲取器，用於從應用系統獲取對應該文件解析規則的第一數據文件；核對欄位緩存伺服器，用於對應所述第一數據文件，從第一資料庫獲取預配置的核對欄位，並從第二資料庫獲取文件解析後的數據記錄，然後通知核對處理器；核對處理器，用於從第三資料庫獲取第二數據文件，然後按照所述核對欄位，將對應所述第一數據文件的數據記錄與第二數據文件中的數據進行核對。15、根據權利要求14所述的系統，其特徵在於，還包括線程池，用於分配多個線程執行所述核對處理器；核對引擎，用於管理所述線程池。16、根據權利要求14所述的系統，其特徵在於所述文件解析規則緩存伺服器定時4全查第一資料庫，當有新的文件解析規則時，獲取該新的文件解析^見則並緩存；所述核對欄位緩存伺服器定時檢查第一資料庫，當有新的核對欄位時，獲取該新的核對欄位並緩存。17、根據權利要求14—16任一所述的系統，其特徵在於所述第一資料庫和第二資料庫為同一個資料庫。全文摘要本發明公開了一種不同應用系統間的數據核對方法、裝置及系統，以解決目前的核對方法造成數據核對系統的開發、維護和擴展困難的問題。所述方法包括提供文件解析規則獲取單元，該單元獲取預配置的文件解析規則；提供文件獲取單元，該單元獲取對應該文件解析規則的第一數據文件；提供文件解析單元，該單元按照所述文件解析規則，將所述第一數據文件解析為統一格式的數據記錄；提供核對欄位獲取單元，該單元對應所述第一數據文件，獲取預配置的核對欄位；提供數據核對單元，該單元按照所述核對欄位，將對應所述第一數據文件的數據記錄與第二數據文件中的數據進行核對。這種可配置的數據核對方式更加靈活，更加有利於系統的維護和擴展。文檔編號G06F17/30GK101458705SQ200810189148公開日2009年6月17日申請日期2008年12月29日優先權日2008年12月29日發明者劉中勝申請人:阿里巴巴集團控股有限公司