數據過濾系統和方法
2023-10-31 07:01:27 1
專利名稱：數據過濾系統和方法
技術領域：
本發明涉及信息處理技術領域，尤其涉及一種基於模塊自由式重組的數據過濾系統和方法。
背景技術：
現有的數據過濾分為三種第一種過濾方式是完全靜態的，在進行數據過濾時是基於程序指令中既定的過濾條件進行過濾；第二種是過濾方式是全開放式的動態過濾，例如一個過濾條件為<=9，「< = 」作為過濾參數和「9」作為過濾參數值都將接受來自外部的任意輸入，但一旦外部輸入的過濾參數不符合被過濾的數據項的邏輯屬性，會導致數據過濾無法實施，例如被過濾數據項的值為時間字符串，但過濾條件卻被動態設置成小於某一個整數值；第三種是過濾方式是半開放式的動態過濾，即通過模板雛形限定過濾參數的外部輸入，開放過濾參數值的輸入，解決過濾參數常與數據模板雛形的參數不一致問題，即保證過濾參數符合被過濾數據項的邏輯屬性。例如見申請號為200910249725. 3的中國專利申請公開的數據過濾方法。現有的數據通常具有多種屬性特性。例如以銀行卡交易數據為例，其具有交易金額屬性、交易類型屬性、發卡機構屬性等。用戶通常需要根據需要來對不同的屬性特性以不同的條件進行數據過濾。現有技術在處理數據過濾時，通過模板雛形方式限定過濾參數的選擇，接收過濾參數值動態錄入系統的過濾方式最為常見，但其過濾模板通常為事先定製， 且與應用系統本身進行了緊密耦合，不能根據現實數據特徵對過濾項進行自由重組和順序調整，無法滿足業務的發展變化，其過濾需求不斷發生變化時，後續的分析數據在一定程度上將產生數據冗餘，失去了其過濾篩選的意義。另外，正因為現有的數據過濾機制，通常基於既定的過濾模板，與應用系統進行了緊密耦合，其無法單獨剝離進行自由重組的現狀，導致一旦業務發生變化、數據分析機制產生新需求時，帶來的損失將是系統級別上的大規模源程序修訂，並造成應用系統資源的重複投入。
發明內容
有鑑於此，本發明的目的在於提供一種數據過濾方法和系統，能夠動態地生成過濾條件來實現數據的過濾分析。本發明提供一種數據過濾系統，包括抽取單元，用於抽取源數據的屬性特徵並發送至選擇單元；選擇單元，選擇至少一個根據其進行數據過濾的屬性特徵並將所選擇的屬性特徵發送至過濾條件生成單元；過濾條件生成單元，根據所選擇的至少一個屬性特徵生成與所述至少一個屬性特徵一一對應的至少一個過濾模塊、組合所述至少一個過濾模塊以生成過濾條件；數據過濾分析單元，根據過濾條件對源數據進行過濾從而生成目標數據。優選地，在本發明的數據過濾系統中，所述過濾條件生成單元包括過濾項生成模塊，接收所選擇的至少一個屬性特徵、生成至少一個過濾項並將其發送至過濾模塊生成模塊，其中每個過濾項包括過濾項名稱、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值；過濾模塊生成模塊，生成至少一個過濾模塊並將其發送至控制模塊，其中所述過濾模塊與所述過濾項一一對應；控制模塊，組合所述至少一個過濾模塊以生成過濾條件。優選地，在本發明的數據過濾系統中，所述過濾條件生成單元包括過濾項生成模塊，接收所選擇的至少一個屬性特徵並生成至少一個過濾項並將其發送至過濾模塊生成模塊，其中每個過濾項包括過濾項名稱、過濾項優先級、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值；過濾模塊生成模塊，生成至少一個過濾模塊並將其發送至控制模塊，其中所述過濾模塊與所述過濾項一一對應；控制模塊，根據所述過濾項優先級組合所述至少一個過濾模塊以生成過濾條件。優選地，在本發明的數據過濾系統中，所述過濾方式包括過濾保留參數和過濾剔除參數，其中過濾保留參數表示保留符合該過濾項的數據；過濾剔除參數表示剔除符合該過濾項的數據。優選地，在本發明的數據過濾系統中，匹配方式包括全字匹配、頭部匹配、尾部匹配、模糊匹配或區間匹配。優選地，在本發明的數據過濾系統中，所述系統還包括輸入裝置，與選擇單元和過濾條件生成單元相連，用於輸入所需要的信息。優選地，在本發明的數據過濾系統中，所述系統還包括顯示單元，與抽取單元和過濾條件生成單元相連，用於顯示來自抽取單元和過濾條件生成模塊的信息。本發明還提供一種數據過濾方法，包括以下步驟Al、抽取源數據的屬性特徵；A2、選擇至少一個根據其進行數據過濾的屬性特徵；A3、根據所選擇的屬性特徵生成過濾模塊，組合過濾模塊以生成過濾條件；A4、根據過濾條件對源數據進行過濾生成目標數據。優選地，在本發明的數據過濾方法中，步驟A3進一步包括生成至少一個過濾項，其中每個過濾項包括過濾項名稱、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值；生成至少一個過濾模塊，其中所述過濾模塊與所述過濾項一一對應的；組合至少所述一個過濾模塊以生成所述過濾條件。優選地，在本發明的數據過濾方法中，步驟A3進一步包括生成至少一個過濾項，其中每個過濾項包括過濾項名稱、過濾項優先級、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值；
生成與過濾項一一對應的過濾模塊；根據所述過濾項優先級組合所述至少一個過濾模塊以生成過濾條件。優選地，在本發明的數據過濾方法中，所述過濾方式包括過濾保留參數和過濾剔除參數，其中過濾保留參數表示保留符合該過濾項的數據；過濾剔除參數表示剔除符合該過濾項的數據；優選地，在本發明的數據過濾方法中，所述匹配方式包括全字匹配、頭部匹配、尾部匹配、模糊匹配或區間匹配。本發明的技術效果在於(1)首先從設計理念上進行了創新，不需要預先設定的、與數據模板雛形參數相一致的過濾參數的過濾項模板。數據模板雛形的方式在一定程度上限定了過濾項的靈活性， 而本方法通過採用過濾機制和應用系統解耦合、過濾項靈活定義、過濾模塊自由式重組的處理方法，使得系統可自動根據數據的特徵以及業務變化調整過濾項的過濾邏輯和過濾模塊的組合排列，靈活地完成數據的過濾分析。從而保證在數據特徵發生變化時，能夠自由地進行重組，以高效地適應數據特徵以及壓力的變化。(2)具有最低的代碼或數據冗餘度，這樣使得這些數據運行或被使用時，佔用的系統資源較少、較合理，從而保證了系統資源使用和運行的高效率；使得在保證系統準確性的同時，減小系統數據壓力、保證系統穩定。(3)採用本發明所述的系統和方法會使用戶減少開發程序代碼或數據模型的費用，同時也提高了現有軟體資源的利用率，避免因為業務需求的變化而帶來的重複開發。
圖1為根據本發明的數據過濾系統的示意性結構圖；圖2為根據本發明的數據過濾方法的示意性例程圖。
具體實施例方式下面將結合附圖詳細描述本發明的優選實施例，在附圖中相同的參考標號表示相同的元件。圖1為根據本發明的數據過濾系統的示意性結構圖。如圖所示，該數據過濾系統包括抽取單元1、選擇單元2、過濾條件生成單元3、數據過濾分析單元4、顯示單元5和輸入單元6。過濾條件生成單元3包括過濾項生成模塊30、過濾模塊生成模塊31和控制模塊 32。抽取單元1，用於抽取源數據的屬性特徵並發送至選擇單元2和顯示單元5。選擇單元2和輸入單元5相連，使得用戶通過輸入單元5選擇至少一個根據其進行數據過濾的屬性特徵並將所選擇的屬性特徵發送至過濾條件生成單元3中的過濾項生成模塊30。過濾項生成模塊30接收所選擇的至少一個屬性特徵、生成過濾項1、過濾項 2、...過濾項n，其中η大於等於1，並將其發送至過濾模塊生成模塊31，其中每個過濾項包括過濾項名稱、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值。優選地，該過濾項還可以包括過濾項優先級。其中用戶可通過輸入單元6輸入過濾項中的各部分內容。過濾方式包括過濾保留參數和過濾剔除參數，其中過濾保留參數表示保留符合該過濾項的數據；過濾剔除參數表示剔除符合該過濾項的數據。匹配方式包括全字匹配、頭部匹配、尾部匹配、模糊匹配或區間匹配。全字匹配方式可進行整型或字符型的「=」方式的過濾。頭部匹配可以完成從被匹配數值第一位開始的任意位數的「=」方式的過濾。尾部匹配可以完成從被匹配數值從最末一位開始，往前倒推任意位數的「=，，方式的過濾。模糊匹配可以完成類似一般「like」方式的匹配，即被匹配數值類似或包含了該過濾參數值的數據過濾。區間匹配可以完成類似「>」 「<」方式的整型匹配，或字符型的屬於關係匹配等。該匹配方式可覆蓋所有可能的過濾參數邏輯，而不必受限於模板雛形方式中固定過濾參數的限制。上述匹配方式僅是示例性描述，本領域技術人員可以根據實際增加新的匹配方式而不脫離本發明的保護範圍。該過濾項生成模塊31還將該過濾項發送至顯示單元5，該顯示單元5以頁面的形式顯示該過濾項。過濾模塊生成模塊31，生成過濾模塊1、過濾模塊2、...過濾模塊η並將其發送至控制模塊，其中所述過濾模塊與所述過濾項一一對應。過濾模塊例如可以為根據過濾項所生成的並加載到控制模塊以進行過濾的代碼指令模塊。控制模塊32組合所述至少一個過濾模塊以生成過濾條件。優選地，根據所述過濾項優先級組合所述至少一個過濾模塊以生成過濾條件。數據過濾分析單元4，根據過濾條件對源數據進行過濾從而生成目標數據。圖2為根據本發明的數據過濾方法的示意性例程圖。如圖所示，該方法包括步驟Al、抽取源數據的屬性特徵；Α2、選擇至少一個根據其進行數據過濾的屬性特徵；A3、根據所選擇的屬性特徵生成過濾模塊，組合過濾模塊以生成過濾條件；Α4、根據過濾條件對源數據進行過濾生成目標數據。其中，步驟A3進一步包括生成至少一個過濾項，其中每個過濾項包括過濾項名稱、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值；生成至少一個過濾模塊，其中所述過濾模塊與所述過濾項一一對應的；組合至少所述一個過濾模塊以生成所述過濾條件。可選地，步驟A3進一步包括生成至少一個過濾項，其中每個過濾項包括過濾項名稱、過濾項優先級、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值；生成與過濾項一一對應的過濾模塊；根據所述過濾項優先級組合所述至少一個過濾模塊以生成過濾條件。利用本發明，若後續數據過濾的特徵發生變化，可重新根據用戶需求來組合過濾模塊，實現數據過濾的重新排列和序列組合，以獲取更佳的系統效能。上述描述僅為對本發明的優選實施例的示意性描述，熟悉本領域的技術人員將容易想到本發明的其它實施例、組合和修改。因此，當結合上述說明和附圖進行閱讀時，本發明僅僅由權利要求限定。
權利要求
1.一種數據過濾系統，其特徵在於，包括抽取單元，用於抽取源數據的屬性特徵並發送至選擇單元；選擇單元，選擇至少一個根據其進行數據過濾的屬性特徵並將所選擇的屬性特徵發送至過濾條件生成單元；過濾條件生成單元，根據所選擇的至少一個屬性特徵生成與所述至少一個屬性特徵一一對應的至少一個過濾模塊、組合所述至少一個過濾模塊以生成過濾條件； 數據過濾分析單元，根據過濾條件對源數據進行過濾從而生成目標數據。
2.如權利要求1所述的系統，其特徵在於，所述過濾條件生成單元包括過濾項生成模塊，接收所選擇的至少一個屬性特徵、生成至少一個過濾項並將其發送至過濾模塊生成模塊，其中每個過濾項包括過濾項名稱、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值；過濾模塊生成模塊，生成至少一個過濾模塊並將其發送至控制模塊，其中所述過濾模塊與所述過濾項一一對應；控制模塊，組合所述至少一個過濾模塊以生成過濾條件。
3.如權利要求1所述的系統，其特徵在於，所述過濾條件生成單元包括過濾項生成模塊，接收所選擇的至少一個屬性特徵並生成至少一個過濾項並將其發送至過濾模塊生成模塊，其中每個過濾項包括過濾項名稱、過濾項優先級、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值；過濾模塊，生成至少一個過濾模塊並將其發送至控制模塊，其中所述過濾模塊與所述過濾項一一對應；控制模塊，根據所述過濾項優先級組合所述至少一個過濾模塊以生成過濾條件。
4.如權利要求1-3中任一項所述的系統，其特徵在於，所述過濾方式包括過濾保留參數和過濾剔除參數，其中過濾保留參數表示保留符合該過濾項的數據； 過濾剔除參數表示剔除符合該過濾項的數據。
5.如權利要求1-3中任一項所述的系統，其特徵在於，匹配方式包括全字匹配、頭部匹配、尾部匹配、模糊匹配或區間匹配。
6.如權利要求1-3中任一項所述的系統，其特徵在於，所述系統還包括輸入裝置，與選擇單元和過濾條件生成單元相連，用於輸入所需要的信息。
7.如權利要求1-3中任一項所述的系統，其特徵在於，所述系統還包括顯示單元，與抽取單元和過濾條件生成單元相連，用於顯示來自抽取單元和過濾條件生成單元的信息。
8.一種數據過濾方法，其特徵在於，所述方法包括以下步驟 Al、抽取源數據的屬性特徵；A2、選擇至少一個根據其進行數據過濾的屬性特徵；A3、根據所選擇的屬性特徵生成過濾模塊，組合過濾模塊以生成過濾條件；A4、根據過濾條件對源數據進行過濾生成目標數據。
9.如權利要求8所述的方法，其特徵在於，步驟A3進一步包括生成至少一個過濾項，其中每個過濾項包括過濾項名稱、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值；生成至少一個過濾模塊，其中所述過濾模塊與所述過濾項一一對應的； 組合至少所述一個過濾模塊以生成所述過濾條件。
10.如權利要求8所述的方法，其特徵在於，步驟A3進一步包括生成至少一個過濾項，其中每個過濾項包括過濾項名稱、過濾項優先級、過濾方式、與所選擇的屬性特徵一一對應的過濾域、匹配方式和過濾參數值； 生成與過濾項一一對應的過濾模塊；根據所述過濾項優先級組合所述至少一個過濾模塊以生成過濾條件。
11.如權利要求8-10中任一項所述的方法，其特徵在於，所述過濾方式包括過濾保留參數和過濾剔除參數，其中過濾保留參數表示保留符合該過濾項的數據； 過濾剔除參數表示剔除符合該過濾項的數據；
12.如權利要求8-10中任一項所述的方法，其特徵在於，所述匹配方式包括全字匹配、 頭部匹配、尾部匹配、模糊匹配或區間匹配。
全文摘要
本發明提供一種數據過濾系統和方法。該數據過濾系統包括抽取單元，用於抽取源數據的屬性特徵並發送至選擇單元；選擇單元，選擇至少一個根據其進行數據過濾的屬性特徵並將所選擇的屬性特徵發送至過濾條件生成單元；過濾條件生成單元，根據所選擇的至少一個屬性特徵生成與所述至少一個屬性特徵一一對應的至少一個過濾模塊、組合所述至少一個過濾模塊以生成過濾條件；數據過濾分析單元，根據過濾條件對源數據進行過濾從而生成目標數據。利用本發明，能夠保證在數據特徵發生變化時，能夠自由地進行重組，從而高效地適應數據特徵的變化。
文檔編號G06F17/30GK102567413SQ20101061938
公開日2012年7月11日 申請日期2010年12月31日 優先權日2010年12月31日
發明者楊帆, 肖哲 申請人:中國銀聯股份有限公司