一種數據實時分析方法及裝置製造方法
2023-08-13 13:42:36
一種數據實時分析方法及裝置製造方法
【專利摘要】本發明公開了一種數據實時分析方法及裝置，該方法包括：通過將生成的數據轉換為預設格式，獲得標準化數據，所述數據在第一業務的執行過程中生成；調用預先生成的模型，所述模型中包括使用類決策樹進行分類的規則；通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑；獲取位於所述第一路徑的終點的第一案例模型；將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果。本發明提供的分析方法不需要將所述數據與多個案例模型一一進行比對，可以加快規則的調用，縮短系統分析的流程，保證分析規則內部邏輯判斷的效率，提高了系統在線分析的能力。
【專利說明】一種數據實時分析方法及裝置
【技術領域】
[0001]本發明涉及數據分析領域，特別是涉及一種數據實時分析方法及裝置。
【背景技術】
[0002]為提高預警管理精細化水平，全面監控銀行核心交易系統，突出櫃面業務操作風險，完善客戶維度資金風險監控，與「大運營、大後臺」」的職能定位相匹配，以「在線反映、實時監控、輔助管理、確保安全」為目標，以交易信息及操作流程的監控為重點，以櫃員交易數據的分析判斷為基礎，建立一個實時的風險預警平臺是非常有必要的。
[0003]在海量數據分析領域，目前各行業大部分都是基於資料庫中的靜態數據進行數據挖掘分析，其在線分析能力不強。
【發明內容】
[0004]本發明的目的是提供一種數據實時分析方法及裝置，目的在於解決對實時數據在線分析能力不強的問題。
[0005]為解決上述技術問題，本發明提供一種數據實時分析方法，包括:
[0006]通過將生成的數據轉換為預設格式，獲得標準化數據，所述標準化數據包括用來表徵所述數據的特徵的要素以及已知屬性值，所述數據在第一業務的執行過程中生成，所述第一業務的生存期為七1 ；
[0007]調用預先生成的模型，所述模型中包括使用類決策樹進行分類的規則，其中，所述類決策樹中的分支表示不同的屬性值所對應的規則路徑；
[0008]通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑；
[0009]獲取位於所述第一路徑的終點的第一案例模型；
[0010]將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果，其中，從獲得所述生成的數據到使用所述規則路徑獲得所述預警分析結果的時間七2與所述生存期0的差值在預設範圍之內。
[0011]可選地，所述將生成的數據轉換為預設格式，獲得標準化數據包括:
[0012]將生成的數據轉換為統一的可擴展標記語言的數據，獲得所述標準化數據。
[0013]可選地，在所述將生成的數據轉換為預設格式，獲得標準化數據之後，還包括:
[0014]使用負載均衡策略進行資源的平衡及橫向擴展，將工作任務進行平衡、分攤到多個操作單元上執行。
[0015]可選地，所述調用預先生成的模型包括:
[0016]調用預先存儲在內存中的模型。
[0017]可選地，所述將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果包括:
[0018]將所述標準化數據中的要素與所述第一模型中的要素進行比對，當所述標準化數據中的要素有符合規則本身的風險特徵時，生成所述預警分析結果，並將所述結果寫入預警信息表中。
[0019]本發明還提供了一種數據實時分析裝置，包括:
[0020]標準化數據生成模塊，用於將生成的數據轉換為預設格式，獲得標準化數據，所述標準化數據包括用來表徵所述數據的特徵的要素以及已知屬性值，所述數據在第一業務的執行過程中生成，所述第一業務的生存期為tl ；
[0021]模型調用模塊，用於調用預先生成的模型，所述模型中包括使用類決策樹進行分類的規則，其中，所述類決策樹中的分支表示不同的屬性值所對應的規則路徑；
[0022]第一路徑生成模塊，用於通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑；
[0023]第一案例模型生成模塊，用於獲取位於所述第一路徑的終點的第一案例模型；
[0024]分析結果生成模塊，用於將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果，其中，從獲得所述生成的數據到使用所述規則路徑獲得所述預警分析結果的時間t2與所述生存期tl的差值在預設範圍之內。
[0025]可選地，所述標準化數據生成模塊用於將生成的數據轉換為預設格式，獲得標準化數據包括:
[0026]所述標準化數據生成模塊具體用於，將生成的數據轉換為統一的可擴展標記語言的數據，獲得所述標準化數據。
[0027]可選地，還包括:
[0028]負載均衡策略模塊，用於在所述標準化數據生成模塊將生成的數據轉換為預設格式，獲得標準化數據之後，使用負載均衡策略進行資源的平衡及橫向擴展，將工作任務進行平衡、分攤到多個操作單元上執行。
[0029]可選地，所述模型調用模塊用於調用預先生成的模型包括:
[0030]所述模型調用模塊具體用於，調用預先存儲在內存中的模型。
[0031]可選地，所述分析結果生成模塊用於將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果包括:
[0032]所述分析結果生成模塊具體用於，將所述標準化數據中的要素與所述第一模型中的要素進行比對，當所述標準化數據中的要素有符合規則本身的風險特徵時，生成所述預警分析結果，並將所述結果寫入預警信息表中。
[0033]本發明所提供的一種數據實時分析方法及裝置，該方法通過調用預先生成的模型，所述模型中包括使用類決策樹進行分類的規則，其中，所述類決策樹中的分支表示不同的屬性值所對應的規則路徑。通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑。這樣就可以獲取得到位於所述第一路徑的終點的第一案例模型，通過將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，最終生成預警分析結果。與現有的對靜態數據的分析相比，本發明提供的分析方法因為模型中的類決策樹中的分支表示不同的屬性值所對應的規則路徑，所以，只需要通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑，來獲取位於所述第一路徑的終點的第一案例模型，並將所述標準化模型中的要素與所述第一案例模型的要素比對即可，因此不需要將所述數據與多個案例模型一一進行比對，可以加快規則的調用，縮短系統分析的流程，保證分析規則內部邏輯判斷的效率，提聞了系統在線分析的能力。
【專利附圖】
【附圖說明】
[0034]圖1為本發明提供的數據實時分析方法的一種【具體實施方式】的流程圖；
[0035]圖2為本發明提供的數據實時分析方法的另一種【具體實施方式】的流程圖；
[0036]圖3為本發明提供的數據實時分析方法的另一種【具體實施方式】中類決策樹的分支示意圖；
[0037]圖4為本發明提供的數據實時分析裝置的一種【具體實施方式】的結構框圖；
[0038]圖5為本發明提供的數據實時分析裝置的一種【具體實施方式】中標準化數據生成模塊的結構框圖；
[0039]圖6為本發明提供的數據實時分析裝置的一種【具體實施方式】中模型調用模塊的結構框圖；
[0040]圖7為本發明提供的數據實時分析裝置的另一種【具體實施方式】的結構框圖。
【具體實施方式】
[0041]本申請實施例所述方法可以應用於用戶通過金融系統辦理業務的過程中，通常，在金融系統受理業務時，會產生數據，為了避免風險，金融系統需要對數據進行風險預警分析，並給出預警分析的結果。
[0042]為了使本【技術領域】的人員更好地理解本發明方案，下面結合附圖和【具體實施方式】對本發明作進一步的詳細說明。顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0043]本發明提供的數據實時分析方法的一種【具體實施方式】流程圖如圖1所示，所述方法包括:
[0044]步驟101:通過將生成的數據轉換為預設格式，獲得標準化數據，所述標準化數據包括用來表徵所述數據的特徵的要素以及已知屬性值，所述數據在第一業務的執行過程中生成，所述第一業務的生存期為七1 ；
[0045]步驟102:調用預先生成的模型，所述模型中包括使用類決策樹進行分類的規則，其中，所述類決策樹中的分支表示不同的屬性值所對應的規則路徑；
[0046]步驟103:通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑；
[0047]步驟104:獲取位於所述第一路徑的終點的第一案例模型；
[0048]步驟105:將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果，其中，從獲得所述生成的數據到使用所述規則路徑獲得所述預警分析結果的時間12與所述生存期0的差值在預設範圍之內。
[0049]現有的資料庫產品對數據的分析大多基於對靜態數據的分析，數據不需要經常進行變更。這主要是由於資料庫產品的插入、更新效率低以及對數據分析的並發度不夠造成的。而在金融系統辦理業務過程中，金融系統受理業務後會生成實時的數據。為避免風險，需要對所述實時生成的數據進行在線分析，對該金融交易數據對應的生成環節可能存在的操作風險以及資金風險做出實時預警。
[0050]本實施例中，所述實時數據與靜態數據相比，區別在於，實時數據具有生存期，需要在一定的期限內得到預警分析結果，而現有的針對於靜態數據的分析方法不能夠滿足這一需求。
[0051]本發明提供的數據實時分析方法中因為模型中的類決策樹的分支表示不同的屬性值所對應的規則路徑，所以，只需要通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑，來獲取位於所述第一路徑的終點的第一案例模型，並將所述標準化模型中的要素與所述第一案例模型的要素比對即可，因此不需要將所述數據與多個案例模型一一進行比對，可以加快規則的調用，縮短系統分析的流程，保證分析規則內部邏輯判斷的效率，提高了系統在線分析的能力。
[0052]以銀行系統中的隨機交易為例，下面結合具體場景對本發明的另一種【具體實施方式】進行闡述，圖2為本發明提供的數據實時分析方法的另一種【具體實施方式】的流程圖。
[0053]步驟201:將生成的數據轉換為統一的可擴展標記語言的數據，獲得所述標準化數據；
[0054]步驟202:使用負載均衡策略進行資源的平衡和橫向擴展，將工作任務進行平衡、分攤到多個操作單元上執行；
[0055]步驟203:調用預先存儲在內存中的模型，所述模型中包括使用類決策樹進行分類的規則；
[0056]圖3所示為本發明提供的數據實時分析方法的另一種【具體實施方式】中的類決策樹的分支示意圖，所述類決策樹中的分支表示不同的屬性值所對應的規則路徑。所述類決策樹將銀行隨機交易過程中產生的數據所對應的屬性值按照一定的邏輯進行分類，根據數據的不同的屬性值對應不同的規則路徑，最終獲得位於所述規則路徑終點的案例模型。
[0057]步驟204:通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑；
[0058]例如，所述標準化數據的已知屬性值中渠道屬性為「櫃面」，則選擇圖3中位於「渠道」判定框下最左邊的分支「櫃面」矩形框作為所述第一路徑的起始端。然後再根據所述標準化數據的已知屬性值的卡種屬性來選擇路徑，以此類推。
[0059]步驟205:獲取位於所述第一路徑的終點的第一案例模型；
[0060]例如根據所述標準化數據的已知屬性值，選擇圖3中最右邊的分支作為第一路徑，所述第一路徑的終點為大額風險規則，則獲取位於該分支終點的第一案例模型，所述案例模型為從真實案例中抽象出來的規則。
[0061]步驟206:將所述標準化數據中的要素與所述第一模型中的要素進行比對，當所述標準化數據中的要素有符合規則本身的風險特徵時，生成所述預警分析結果，並將所述結果寫入預警信息表中；
[0062]根據類決策樹的分類，在所述標準化數據中選擇需要的要素與所述第一模型中的要素進行比對，不同的規則所需要的要素不同，當規則內部的判斷條件中有符合規則本身實現的風險特徵時，就會寫入預警信息結構中。當所有需要分析的規則調用完成後，所述預警信息結構中存儲有各種風險分析結果，可以根據事先定義的風險程度存入不同的表中，以提示給相關的風險處置人員。
[0063]步驟207:將所述預警分析結果提供給用戶。
[0064]現有技術中，一筆交易發生時，可能最多需要經過100多個規則，整個規則庫經常在維護，每個規則均是一個業務模型，這樣對100多個規則的調用是很消耗時間的。本發明實施方式通過類決策樹的使用，根據所述標準化數據的不同屬性值進行分類，在規則調用時，只需要選擇與所述標準化數據的已知屬性值所對應的規則路徑為第一路徑，獲取得到位於所述第一路徑終點的第一案例模型，將其中的要素進行比對即可。因此，不需要與多個案例模型一一進行比對，從而加快了規則的調用，縮短了系統分析的流程，保證分析規則內部邏輯判斷的效率，提高了系統在線分析的能力。
[0065]同時，本發明【具體實施方式】還可以通過使用負載均衡策略進行資源的平衡和橫向擴展，將工作任務進行平衡、分攤到多個操作單元上執行，可以增加整個系統的並發度，提高系統分析數據的效率。
[0066]本發明還提供了一種數據實時分析裝置，圖4為本發明提供的數據實時分析裝置的一種【具體實施方式】的結構框圖。該裝置包括:
[0067]標準化數據生成模塊100，用於將生成的數據轉換為預設格式，獲得標準化數據，所述標準化數據包括用來表徵所述數據的特徵的要素以及已知屬性值，所述數據在第一業務的執行過程中生成，所述第一業務的生存期為tl ；
[0068]在本實施例中，所述標準化數據生成模塊具體用於將生成的數據轉換為預設格式，獲得所述標準化數據，把不同渠道、不同時間特徵的數據進行實時的數據抽取，轉存為統一的xml數據輸出總線結構。如圖5所示，所述標準化數據生成模塊可以包括交易總控組件10、UDP伺服器11、交易解析轉發平臺層12以及消息隊列緩存13。
[0069]其中，交易總控組件10，用於對文件形式的數據來源的整合；
[0070]UDP伺服器11，用於對實時報文形式的數據來源的整合；
[0071]交易解析轉發平臺層12，用於將生成的數據轉換為預設格式，獲得所述標準化數據；
[0072]消息隊列緩存13，用於保證獲得所述標準化數據的效率與所述數據來源整合的效率相匹配。
[0073]模型調用模塊200，用於調用預先生成的模型，所述模型中包括使用類決策樹進行分類的規則，其中，所述類決策樹中的分支表示不同的屬性值所對應的規則路徑；
[0074]如圖6所示，所述模型調用模塊具體可以包括:
[0075]操作風險分析組件20，用於存儲操作風險分析規則的規則群，由近十個組件近200個規則組成；
[0076]客戶服務監控組件21，用於存儲資金風險分析規則群，由兩個組件的近20多個規則組成。
[0077]第一路徑生成模塊300，用於通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑；
[0078]第一案例模型生成模塊400,用於獲取位於所述第一路徑的終點的第一案例模型；
[0079]分析結果生成模塊500，用於將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果，其中，從獲得所述生成的數據到使用所述規則路徑獲得所述預警分析結果的時間t2與所述生存期tl的差值在預設範圍之內。
[0080]本發明提供的數據實時分析裝置的另一種【具體實施方式】的結構框圖如圖7所示，所述數據實時分析裝置包括:
[0081]標準化數據生成模塊100，用於將生成的數據轉換為預設格式，獲得標準化數據，所述標準化數據包括用來表徵所述數據的特徵的要素以及已知屬性值，所述數據在第一業務的執行過程中生成，所述第一業務的生存期為tl ；
[0082]所述標準化數據生成模塊可以具體設置在應用伺服器上，在本【具體實施方式】中選擇了可擴展的高性能伺服器，也可以使用PCserver集群。
[0083]負載均衡策略模塊600，用於在所述標準化數據生成模塊將生成的數據轉換為預設格式，獲得標準化數據之後，使用負載均衡策略進行資源的平衡及橫向擴展，將工作任務進行平衡、分攤到多個操作單元上執行；
[0084]所述負載均衡策略模塊600可採用硬體負載均衡設備把所述標準化數據分發輸入到多個規則分析操作設備中。需要注意的是，所述負載均衡策略模塊也可以採用系統自帶的軟負載均衡。
[0085]模型調用模塊200，用於調用預先生成的模型，所述模型中包括使用類決策樹進行分類的規則，其中，所述類決策樹中的分支表示不同的屬性值所對應的規則路徑；
[0086]第一路徑生成模塊300，用於通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑；
[0087]第一案例模型生成模塊400,用於獲取位於所述第一路徑的終點的第一案例模型；
[0088]分析結果生成模塊500，用於將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果，其中，從獲得所述生成的數據到使用所述規則路徑獲得所述預警分析結果的時間t2與所述生存期tl的差值在預設範圍之內。
[0089]其中，所述模型調用模塊200、第一路徑生成模塊300、第一案例模型生成模塊400以及分析結果生成模塊500均可以設置在高性能伺服器集群上。
[0090]在該【具體實施方式】中，所述數據實時分析裝置的標準化數據生成模塊100、模型調用模塊200、第一路徑生成模塊300、第一案例模型生成模塊400以及分析結果生成模塊500都可靈活設置在伺服器集群上，由於主要運算在內存中完成，隨著機器的擴展能夠增加系統的並發度。並且，由於大量的數據放入內存，通過類決策樹加快規則的調用，一筆交易通過所有規則分析到最後預警能在2分鐘之內完成，滿足了銀行風險控制人員對分析結果接收時間的預期。
[0091]本申請實施例方法所述的功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算設備可讀取存儲介質中。基於這樣的理解，本申請實施例對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算設備(可以是個人計算機，伺服器，移動計算設備或者網絡設備等)執行本申請各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:u盤、移動硬碟、只讀存儲器(ROM, Read-Only Memory) >隨機存取存儲器(RAM, Random Access Memory)、磁碟或者光碟等各種可以存儲程序代碼的介質。
[0092]本說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似部分互相參見即可。
[0093]對所公開的實施例的上述說明，使本領域專業技術人員能夠實現或使用本申請。對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本申請的精神或範圍的情況下，在其它實施例中實現。因此，本申請將不會被限制於本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的範圍。
【權利要求】
1.一種數據實時分析方法，其特徵在於，包括: 通過將生成的數據轉換為預設格式，獲得標準化數據，所述標準化數據包括用來表徵所述數據的特徵的要素以及已知屬性值，所述數據在第一業務的執行過程中生成，所述第一業務的生存期為tl ； 調用預先生成的模型，所述模型中包括使用類決策樹進行分類的規則，其中，所述類決策樹中的分支表示不同的屬性值所對應的規則路徑； 通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑； 獲取位於所述第一路徑的終點的第一案例模型； 將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果，其中，從獲得所述生成的數據到使用所述規則路徑獲得所述預警分析結果的時間t2與所述生存期tl的差值在預設範圍之內。
2.如權利要求1所述的數據實時分析方法，其特徵在於，所述將生成的數據轉換為預設格式，獲得標準化數據包括: 將生成的數據轉換為統一的可擴展標記語言的數據，獲得所述標準化數據。
3.如權利要求1所述的數據實時分析方法，其特徵在於，在所述將生成的數據轉換為預設格式，獲得標準化數據之後，還包括: 使用負載均衡策略進行資源的平衡及橫向擴展，將工作任務進行平衡、分攤到多個操作單元上執行。
4.如權利要求1所述的數據實時分析方法，其特徵在於，所述調用預先生成的模型包括: 調用預先存儲在內存中的模型。
5.如權利要求1所述的數據實時分析方法，其特徵在於，所述將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果包括: 將所述標準化數據中的要素與所述第一模型中的要素進行比對，當所述標準化數據中的要素有符合規則本身的風險特徵時，生成所述預警分析結果，並將所述結果寫入預警信息表中。
6.一種數據實時分析裝置，其特徵在於，包括: 標準化數據生成模塊，用於將生成的數據轉換為預設格式，獲得標準化數據，所述標準化數據包括用來表徵所述數據的特徵的要素以及已知屬性值，所述數據在第一業務的執行過程中生成，所述第一業務的生存期為tl ； 模型調用模塊，用於調用預先生成的模型，所述模型中包括使用類決策樹進行分類的規則，其中，所述類決策樹中的分支表示不同的屬性值所對應的規則路徑； 第一路徑生成模塊，用於通過所述標準化數據的已知屬性值，從所述模型中選擇屬性值與所述已知屬性值相同的規則路徑為第一路徑； 第一案例模型生成模塊，用於獲取位於所述第一路徑的終點的第一案例模型； 分析結果生成模塊，用於將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果，其中，從獲得所述生成的數據到使用所述規則路徑獲得所述預警分析結果的時間t2與所述生存期tl的差值在預設範圍之內。
7.如權利要求6所述的數據實時分析裝置，其特徵在於，所述標準化數據生成模塊用於將生成的數據轉換為預設格式，獲得標準化數據包括: 所述標準化數據生成模塊具體用於，將生成的數據轉換為統一的可擴展標記語言的數據，獲得所述標準化數據。
8.如權利要求6所述的數據實時分析裝置，其特徵在於，還包括: 負載均衡策略模塊，用於在所述標準化數據生成模塊將生成的數據轉換為預設格式，獲得標準化數據之後，使用負載均衡策略進行資源的平衡及橫向擴展，將工作任務進行平衡、分攤到多個操作單元上執行。
9.如權利要求6所述的數據實時分析裝置，其特徵在於，所述模型調用模塊用於調用預先生成的模型包括: 所述模型調用模塊具體用於，調用預先存儲在內存中的模型。
10.如權利要求6所述的數據實時分析裝置，其特徵在於，所述分析結果生成模塊用於將所述標準化數據中的要素與所述第一案例模型中的要素進行比對，生成預警分析結果包括: 所述分析結果生成模塊具體用於，將所述標準化數據中的要素與所述第一模型中的要素進行比對，當所述標準化數據中的要素有符合規則本身的風險特徵時，生成所述預警分析結果，並將所述結果寫入預警信息表中。
【文檔編號】G06Q10/06GK104376397SQ201410545325
【公開日】2015年2月25日 申請日期:2014年10月15日 優先權日:2014年10月15日
【發明者】郭清琦, 張楠, 吳元勳, 邵亞雷 申請人:中國農業銀行股份有限公司