一種數據分布方法及裝置與流程

2023-12-01 20:57:46

本發明涉及資料庫
技術領域：
，尤其涉及一種數據分布方法及裝置。
背景技術：
：greenplum是一個關係型資料庫集群，它實際上是由多個獨立的資料庫服務組合而成的邏輯資料庫。greenplum採用shared-nothing(無共享)架構，整個集群由一個控制節點(masterhost)和多個分區節點(segmenthost)組成，且每個分區節點上可以運行一個資料庫。由於在典型的shared-nothing架構中，每一分區節點均是獨立的，即每一分區節點上的資料庫所佔用的資源(如cpu，內存，磁碟等)都是獨立的，也就是說，一個分區節點不可利用另一個分區節點上的資源。在greenplum中，需要存儲的所有數據在進入greenplum資料庫集群時，首先需要進行數據分布，即，為需要存儲的所有數據中的每個數據表指定一個分布列(distributecolumn)，然後根據每個數據表對應的分布列，基於hash算法等，將每個數據表中的數據平均分布到每個分區節點上。另外，若需要對某個數據表的分布列進行修改，則必須要重新創建該數據表才能實現對該數據表的分布列的修改。具體地，對於greenplum等並行執行的資料庫集群而言，只有將數據均勻分布在各個分區節點上才能充分發揮該資料庫集群的分布式處理數據的優勢，如果數據並沒有均勻的分布到各個分區節點上，而是發生了數據偏移(即負載不均衡)的現象，則數據量較多的分區節點在處理數據時，必然需要更長的時間，容易使數據的入庫加載、查詢分析、導出處理等受到影響。目前，為了防止出現上述數據偏移所帶來的問題，業內常採用人工方式， 重新確定存在數據偏移的數據表的分布列，以重新進行數據的分布。如，具體地，利用sql(structuredquerylanguage，結構化查詢語言)語句查詢每個數據表在每一個分區節點上的數據量，找出發生數據偏移的數據表(即偏移表)，人工地將偏移表中的數據導出，以及，根據開發人員的經驗構建新的分布列並重新創建新的數據表，再將原數據表中的數據人工導入具有新分布列的新的數據表中，並根據新的分布列將該新的數據表中的數據均勻分布到各個分區節點上。由上述內容可知，現有的數據分布方法中，分布列的確定完全依賴於開發人員的經驗，若開發人員的技術水平和/或對資料庫內的表數據以及結構的了解程度較低，則很容易存在所確定的分布列的準確性和合理性較低的問題。另外，由於人工確定分布列的速度較慢，因而，還會降低數據分布的效率。技術實現要素：本發明實施例提供了一種數據分布方法及裝置，用以解決現有的數據分布方法由於對開發人員經驗的完全依賴而存在的、分布列的準確性和合理性較低、以及數據分布的效率較低等的問題。本發明實施例提供了一種數據分布方法，包括：針對資料庫中的任一數據表，確定所述數據表是否為偏移表；若是，則確定所述數據表中的每個數據列的性能指標，並根據每個數據列的性能指標，確定對應的數據列的數據離散度；所述性能指標用於反映數據列中的數據的離散性能；根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低於設定離散度閾值的一數據列，並根據選擇的數據列，確定分布列；基於確定的分布列，將所述數據表中的數據分布到各分區節點上。本發明實施例還提供了一種數據分布裝置，包括：確定模塊，用於針對資料庫中的任一數據表，確定所述數據表是否為偏移 表；若是，則確定所述數據表中的每個數據列的性能指標，並根據每個數據列的性能指標，確定對應的數據列的數據離散度；所述性能指標用於反映數據列中的數據的離散性能；選擇模塊，用於根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低於設定離散度閾值的一數據列，並根據選擇的數據列，確定分布列；分布模塊，用於基於確定的分布列，將所述數據表中的數據分布到各分區節點上。本發明有益效果如下：本發明實施例提供了一種數據分布方法及裝置，針對資料庫中的任一數據表，可在確定所述數據表為偏移表時，根據確定的所述數據表中的每個數據列的、用於反映該數據列中的數據的離散性能的性能指標，確定對應的數據列的數據離散度，並根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低於設定離散度閾值的一數據列來建立新的分布列，以根據該新的分布列將相應數據重新分布到各分區節點上。從而可自動化地根據每個數據列對應的性能指標確定合理的分布列，無需依靠人為經驗，解決了現有的數據分布方法由於對開發人員經驗的完全依賴而存在的、分布列的準確性和合理性較低、以及數據分布的效率較低等的問題。附圖說明為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1所示為本發明實施例一中所述的數據分布方法的流程示意圖；圖2所示為樣本數據的抽取示意圖；圖3所示為本發明實施例二中所述的數據分布裝置的結構示意圖。具體實施方式為了使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明作進一步地詳細描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬於本發明保護的範圍。實施例一：為了解決現有的數據分布方法存在的對人的依賴性過強、導致分布列的準確性不高、合理性較差以及數據分布效率較低等的問題，本發明實施例一提供了一種數據分布方法，如圖1所示，其為本發明實施例一中所述的數據分布方法的流程示意圖，由圖1可知，所述數據分布方法可包括以下步驟：步驟101：針對資料庫中的任一數據表，確定所述數據表是否為偏移表。可選地，針對任一數據表，可通過以下方式確定所述數據表是否為偏移表：確定所述數據表是否在至少一個分區節點上分布的數據量大於設定的數據量平均值，若是，則確定所述數據表為偏移表；或者，確定所述數據表在任意兩個分區節點上分布的數據量之差是否不小於設定閾值，若是，則確定所述數據表為偏移表。其中，所述設定的數據量平均值可根據實際情況靈活設定，如可通過所述數據表中數據的總個數與分區節點的總個數進行相應的除法運算來確定。例如，假設所述除法運算的結果為整數，則可直接將該整數作為設定的數據量平均值；假設所述除法運算的結果不為整數，則可對該結果進行向上取整，並將向上取整之後的整數作為設定的數據量平均值等，此處不再贅述。另外，所述設定閾值也可根據實際情況靈活設定，如可設定為幾十、幾百個、或者幾千等，對此不作任何限定。再有，需要說明的是，每一數據表在分區節點上分布的數據量，可通過sql 語句(或其它方法)查詢得到。例如，針對任一數據表，可通過sql語句依次查詢該數據表在每個分區節點上的分布情況，如果確定該數據表在某一分區節點上的數據量超出了該數據表在各分區節點上的數據量平均值、或者該數據表在某一分區節點上的數據量相較於該數據表在其它分區節點上的數據量過多或過少，則可確定該數據表中的數據在分布時發生了數據偏移，即可確定該數據表為偏移表。另外，需要說明的是，在本實施例中，可在接收到用戶下發的搜索偏移表的指令時，再利用sql語言等查詢相應資料庫中的偏移表，此處不作贅述。步驟102：確定所述數據表中的每個數據列的性能指標，並根據每個數據列的性能指標，確定對應的數據列的數據離散度；所述性能指標用於反映數據列中的數據的離散性能。可選地，所述性能指標可包括列平均抽樣誤差、列數據差異率以及列值頻率，其中：所述列平均抽樣誤差，是指數據列的樣本數據與數據列的總體數據的平均誤差；所述列數據差異率，是指數據列的樣本數據中的數據差異數與數據列的總體數據中的數據差異數的比值；所述列值頻率，是指在設定時間段內數據列與資料庫中的其它數據表之間發生關聯查詢的次數。其中，需要說明的是，針對任一數據列，該數據列的樣本數據可為從該數據列中抽取的設定比例的數據，如可為該數據中總數據的10％、20％、或50％等(也可為整個數據列的全部數據)，即，每個數據列的樣本數據可為該數據列總數據的子集。例如，在如圖2所示的偏移表a中，該偏移表a共有n個數據列，如圖2中所示的col1、col2、col4、……、coln。從偏移表a的第1個數據列(col1)中抽取的樣本數據組成的集合{a1，a2，a3，a4，……，an}可為偏 移表a的第1個數據列(col1)對應的集合{a1，a2，a3，a4，……，an}的子集；從偏移表a的第2個數據列(col2)中抽取的樣本數據組成的集合{b1，b2，b3，b4……bn}可為偏移表a的第2個數據列(col2)對應的集合{b1，b2，b3，b4……bn}的子集；從偏移表a的第n個數據列(coln)中抽取的樣本數據的集合{x1，x2，x3，x4……xn}可為偏移表a的第n個數據列(coln)對應的集合{x1，x2，x3，x4……xn}的子集，對此不作贅述。另外，需要說明的是，為了提高分布列的準確性以及合理性，在進行偏移表中各數據列性能指標的計算時，還可將各數據中的換行符、回車符、空格等特殊符號去除，同時，若偏移表中的字符為中文字符，還可將中文字符轉化為十進位等，對此不再贅述。下面，將通過對應的表達式，對數據列的各性能指標進行進一步的介紹：具體的，針對任一偏移表，所述偏移表的第i個數據列的列平均抽樣誤差scoli可表示為：其中，n為從該數據列中抽取的樣本數據的總個數，n為該數據列中數據的總個數，表示抽取的n個樣本數據的方差，xj表示該數據列的樣本數據中的第j個數據，x為抽取的n個樣本數據的平均值，i為正整數、且i的取值不大於所述偏移表中數據列的列數。由上述表達式可知，列平均抽樣誤差是指抽樣平均數的標準差，反映了數據列中樣本數據與總體數據的平均誤差程度，此處不再贅述。進一步地，針對任一偏移表，所述偏移表的第i數據列的列數據差異率wcoli可表示為：其中，count(n)為從該數據列中抽取的樣本數據中、存在差異的數據的總 數，count(n)為該數據列的總數據中、存在的差異的數據的總數。需要說明的是，針對偏移表中的每個數據列，若確定該數據列中的兩個數據互不相同，則可認為這兩個數據存在差異。例如，假設偏移表如表1所示，則由表1可知，第1個數據列中存在差異的數據的總個數為4，第2個數據列中存在差異的數據的總個數為5，此處不再贅述。表1偏移表第1個數據列第2個數據列111223352441進一步地，針對任一偏移表，所述偏移表的第i數據列在設定時間段t內的列值頻率tcoli可表示為：其中，t可指設定的時間段，如可為1天、1小時、1分鐘等。ai表示該數據列與其它表(如其它偏移表或其它數據表)之間發生關聯查詢的次數。例如，以數據列與其它表之間發生關聯查詢的次數為關聯查詢的sql語句的條數為例，可通過相關視圖收集(如pg_stat_activity等)對資料庫中的其它表與相應偏移表中每一列進行關聯的sql語句進行詳細統計，得到與該數據列關聯查詢的sql語句的條數等。進一步地，在計算每個數據列的性能指標後，還可將所述性能指標進行保存，以使得在後續處理中，可通過調用保存的性能指標來確定每個數據列對應 的數據離散度，從而進一步節省了時間、提高了效率。進一步地，需要說明的是，每一數據列的性能指標除了可包括以上三種性能指標之外，還可包括其它的性能指標。如還可包括用於表示每個數據列中的總數據的數據差異數的列數據差異指標、用於表示每個數據列中的抽樣數據的數據差異數的抽樣數據差異指標、或者，用於表示每個數據列中的抽樣數據的列值頻率的抽樣數據列值頻率指標等，本發明實施例對此不作任何限定。進一步地，根據每個數據列的性能指標，確定對應的數據列的數據離散度，可包括：針對任一數據列，確定該數據列的各性能指標的權重；根據該數據列的各性能指標的權重，對該數據列的各性能指標進行加權求和，並將加權求和的結果作為該數據列的數據離散度。具體地，針對任一數據列，確定該數據列的各性能指標的權重，可包括：確定該數據列的各性能指標的負相關係數；每一性能指標的負相關係數用於反映該性能指標與其它性能指標之間的相關性大小，該性能指標的負相關係數越大，該性能指標與其它性能指標之間的相關性越大；將各性能指標的負相關係數的倒數，或各性能指標的負相關係數的倒數的歸一化值，作為對應的性能指標的權重。下面，將以對應的性能指標如表2所示的某一偏移表為例，對確定偏移表中每個數據列的數據離散度的過程進行詳細說明：表2偏移表中各數據列的性能指標第一步，針對該偏移表的每一數據列，確定該數據列的各性能指標的權重。具體地，可先分別確定該數據列的各性能指標與其它性能指標的負相關係數，如確定scoli與wcoli、tcoli的負相關係數r1，wcoli與scoli、tcoli的負相關係數r2，以及tcoli與scoli、wcoli的負相關係數r3。其中，需要說明的是，scoli、wcoli以及tcoli中任一性能指標與其它性能指標的負相關係數越大，就說明該任一性能指標與其它性能指標之間的共線性關係越強，即相關性越大，該任一性能指標越容易由其它性能指標的線性組合表示。另外，需要說明的是，各性能指標的負相關係數r1、r2、r3可通過excel表中的、用於計算負相關係數的公式求得，也可利用現有的、相關係數的數學公式求得，對此不作任何限定。具體地，在計算出各性能指標與其它性能指標之間的負相關係數之後，可將各性能指標的負相關係數的倒數作為對應的性能指標的權重，如將1/r1、1/r2以及1/r3分別作為scoli、wcoli以及tcoli的權重；另外，還可對各性能指標的負相關係數的倒數進行歸一化處理，並將歸一化處理後的數值作為對應的性能指標的權重值，對此不作任何限定。需要說明的是，通常情況下，偏移表中的任意兩個不同的數據列的同一性能指標可對應同一個權重，當然，也可分別對應不同的權重，此處不再贅述。第二步，根據每一數據列的性能指標的權重，確定該數據列的性能指標的加權求和值，並將該加權求和值作為該數據列的數據離散度。例如，假設偏移表中的第i個數據列的各性能指標scoli、wcoli以及tcoli對應的權重分別為sqz、wqz以及tqz，則該數據列的數據離散度可表示為p(i)，其中：p(i)＝scoli×sqz+wcoli×wqz+tcoli×tqz。步驟103：根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低於設定離散度閾值的一數據列，並根據選擇的數據列，確定分布列。其中，所述設定離散度閾值可根據實際情況靈活設定，對此不作任何限定。可選地，為了使得數據在各分區節點上的分布更加均勻，通常可選取對應的數據離散度最大的一數據列，以確定合理的分布列。例如，若確定偏移表中第k個數據列的數據離散度p(k)最大，則說明偏移表中的第k個數據列的性能指標所佔的權重相對最合理，可直接選取第k列以確定分布列，此處不再贅述。具體地，根據選擇的數據列，確定分布列，可包括：將選擇的數據列作為分布列；或者，根據選擇的數據列中的數據的數量以及分區節點的數量，建立分布列。步驟104：基於確定的分布列，將所述數據表中的數據分布到各分區節點上。具體地，基於確定的分布列，將所述數據表中的數據分布到各分區節點上，可包括：根據所述分布列建立一新數據表，並將所述數據表中的數據導入至所述新數據表中，以及，根據所述分布列將所述新數據表中的數據分布到各分區節點上。其中，需要說明的是，可通過hash算法等，將偏移表中的數據合理的分布到各個分區節點上。進一步地，所述方法還可包括：在根據所述分布列將所述新數據表中的數據分布到各分區節點上之後，對本次分布進行記錄，以便於後續查看與調用。進一步地，需要說明的是，本發明實施例中所述的數據分布方法，可根據 資料庫dba(databaseadministrator，資料庫管理員)下發的數據分布任務指令來執行；或者，也可根據相應設定，定時執行。另外，本發明實施例中所述的數據分布過程可僅執行一次，也可循環執行多次，對此不作任何限定。再有，需要說明的是，本發明實施例中，可僅針對指定主機(即指定資料庫)中的數據表執行相應的數據分布任務；並且，可僅針對指定主機(即指定資料庫)中的部分數據表執行相應的數據分布任務，如僅對新增的數據表、或者發生更新的數據表進行數據分布等，從而可進一步節省時間，提高效率，此處不再贅述。本發明實施例一提供了一種數據分布方法，針對資料庫中的任一數據表，可在確定所述數據表為偏移表時，根據確定的所述數據表中的每個數據列的、用於反映該數據列中的數據的離散性能的性能指標，確定對應的數據列的數據離散度，並根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低於設定離散度閾值的一數據列來建立新的分布列，以根據該新的分布列將相應數據重新分布到各分區節點上。從而可自動化地根據每個數據列對應的性能指標確定合理的分布列，無需人工依靠經驗，解決了現有的數據分布方法由於對開發人員經驗的完全依賴而存在的、分布列的準確性和合理性較低、以及數據分布的效率較低等的問題。實施例二：基於與本發明實施例一相同的發明構思，本發明實施例二提供了一種數據分布裝置，如圖3所示，其為本發明實施例二中所述的數據分布裝置的結構示意圖，具體地，如圖3可知，本發明實施例二中所述的數據分布裝置可包括：確定模塊31，用於針對資料庫中的任一數據表，確定所述數據表是否為偏移表；若是，則確定所述數據表中的每個數據列的性能指標，並根據每個數據列的性能指標，確定對應的數據列的數據離散度；所述性能指標用於反映數據列中的數據的離散性能；選擇模塊32，用於根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低於設定離散度閾值的一數據列，並根據選擇的數據列，確定分布列；分布模塊33，用於基於確定的分布列，將所述數據表中的數據分布到各分區節點上。進一步地，所述性能指標包括列平均抽樣誤差、列數據差異率以及列值頻率；所述列平均抽樣誤差，是指數據列的樣本數據與數據列的總體數據的平均誤差；所述列數據差異率，是指數據列的樣本數據中的數據差異數與數據列的總體數據中的數據差異數的比值；所述列值頻率，是指在設定時間段內數據列與資料庫中的其它數據表之間發生關聯查詢的次數。進一步地，所述確定模塊31，具體用於針對任一數據列，確定該數據列的各性能指標的權重；根據該數據列的各性能指標的權重，對該數據列的各性能指標進行加權求和，並將加權求和的結果作為該數據列的數據離散度。進一步地，所述確定模塊31，具體用於確定該數據列的各性能指標的負相關係數；每一性能指標的負相關係數用於反映該性能指標與其它性能指標之間的相關性大小，該性能指標的負相關係數越大，該性能指標與其它性能指標之間的相關性越大；以及，將各性能指標的負相關係數的倒數，或各性能指標的負相關係數的倒數的歸一化值，作為對應的性能指標的權重。進一步地，所述選擇模塊32，具體用於將選擇的數據列作為分布列；或者，根據選擇的數據列中的數據的數量以及分區節點的數量，建立分布列。進一步地，所述確定模塊31，具體用於確定所述數據表是否在至少一個分區節點上分布的數據量大於設定的數據量平均值，若是，則確定所述數據表為 偏移表；或者，確定所述數據表在任意兩個分區節點上分布的數據量之差是否不小於設定閾值，若是，則確定所述數據表為偏移表。進一步地，所述分布模塊33，具體用於根據所述分布列建立一新數據表，並將所述數據表中的數據導入至所述新數據表中，以及，根據所述分布列將所述新數據表中的數據分布到各分區節點上。本領域技術人員應明白，本發明的實施例可提供為方法、裝置(設備)、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器、cd-rom、光學存儲器等)上實施的電腦程式產品的形式。本發明是參照根據本發明實施例的方法、裝置(設備)和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。這些電腦程式指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。這些電腦程式指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。儘管已描述了本發明的優選實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優選實施例以及落入本發明範圍的所有變更和修改。顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。當前第1頁12