新四季網

一種熱點數據識別方法及裝置的製作方法

2023-07-17 15:03:41


專利名稱::一種熱點數據識別方法及裝置的製作方法
技術領域:
:本發明涉及存儲領域,尤其涉及一種熱點數據識別方法及裝置。
背景技術:
:在計算機的使用過程中會產生大量數據,這些數據都需要被存儲在磁碟上以備其他業務使用,許多業務在訪問存儲系統時,對隨機IO並發性都有很高的要求。為滿足業務應用的要求,提高存儲系統的每秒鐘處理IO請求(I/Opersecond,IOPS)的能力,引入了熱點數據遷移、二級緩存等新技術,而這些技術都依賴於熱點數據識別技術。現有的熱點數據識別技術主要包括,將存儲區域劃分為若干數據塊,對所有數據塊做精細化統計,統計若干塊被訪問的次數,根據被訪問的次數計算被訪問的頻率,再根據塊的被訪問的頻率判斷其是否是熱點數據區域。例如,以塊的大小為32M為例,一個存儲空間為2T的存儲區域具有2T/32M=64K個塊,如果一個存儲陣列同時存在2K個這樣的存儲區域,那麼這個存儲陣列的存儲空間為2T*2K=4P字節,假設塊的管理單元是64位元組,那麼管理4P存儲空間需要的統計信息空間為2K*64K*64=8G字節。這些統計信息是存放在高速介質上的,只有最近被訪問的資料庫的統計信息才會調入內存中,所以對統計信息而言就需要支持換入換出機制。可見,現有的熱點數據識別技術較難利用有限的內存空間完成對熱點數據的識別,統計信息必須採用換入換出方式實現數據的統計,降低了熱點數據識別的效率。
發明內容本發明實施例提供了一種熱點數據識別方法及裝置,可以利用有限的內存空間完成對熱點數據的識別。本發明實施例提供的熱點數據識別方法,包括根據預置的第一統計表,獲得當前周期內存儲區域中的一級顆粒的周期訪問頻率加權平均值;當所述一級顆粒的周期訪問頻率加權平均值達到第一閾值時,將所述一級顆粒確定為熱一級顆粒;將所述熱一級顆粒劃分為二級顆粒;在內存中創建第二統計表,所述第二統計表用於存儲所述二級顆粒的信息;根據所述第二統計表,獲得下一個周期內所述二級顆粒的周期訪問頻率加權平均值;當所述二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將所述二級顆粒確定為熱點數據區域,所述熱點數據區域中的數據為熱點數據。本發明實施例提供的熱點數據識別裝置,包括第一計算模塊,用於根據預置的第一統計表,獲得當前周期內存儲區域中的一級顆粒的周期訪問頻率加權平均值;第一確定模塊,用於當所述一級顆粒的周期訪問頻率加權平均值達到第一閾值4時,將所述一級顆粒確定為熱一級顆粒;第二劃分模塊,用於將所述熱一級顆粒劃分為二級顆粒;第二創建模塊,用於在內存中創建第二統計表,所述第二統計表用於存儲所述二級顆粒的信息;第二計算模塊,用於根據所述第二統計表,獲得下一個周期內所述二級顆粒的周期訪問頻率加權平均值;第二確定模塊,用於當所述二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將所述二級顆粒確定為熱點數據區域,所述熱點數據區域中的數據為熱點數據。從以上技術方案可以看出,本發明實施例具有以下優點本發明實施例不需要對所有數據塊都做精細化的統計,採用分級的方法識別熱點數據,動態創建二級顆粒,根據與二級顆粒對應的第二統計表,計算該二級顆粒的周期訪問頻率加權平均值,當該二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將該二級顆粒確定為熱點數據區域,由於只有被確定為熱一級顆粒的一級顆粒才被劃分為二級顆粒,而不屬於熱一級顆粒的一級顆粒則不會被劃分為二級顆粒,相應的不屬於熱一級顆粒的一級顆粒則不需要在內存中建立二級統計表進行管理,而一級顆粒不屬於精細化的劃分,所以其統計表佔用內存的資源較少,並且二級統計表是動態建立的,所以本發明實施例可以利用有限的內存空間完成對熱點數據的識別。為了更清楚地說明本發明實施例中的技術方案,下面將對實施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。圖1為本發明實施例中數據訪問方法一個實施例示意圖;圖2為本發明實施例中數據訪問方法另一實施例示意圖;圖3為本發明實施例中數據訪問裝置實施例的結構示意圖;圖4為本發明實施例中數據訪問裝置另一個實施例的結構示意圖。具體實施例方式下面將結合本發明中的附圖,對本發明中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例,都屬於本發明保護的範圍。本發明實施例提供了一種熱點數據識別方法及裝置,可以利用有限的內存空間完成對熱點數據的識別。請參閱圖1,本發明實施例中數據處理方法一個實施例包括S100、根據預置的第一統計表,獲得當前周期內存儲區域中的一級顆粒的周期訪問頻率加權平均值;眾所周知,計算機硬碟是通過磁介質來存儲信息的。一塊計算機硬碟內部包含若干個磁碟片,磁碟片上的磁塗層是由數量眾多的、體積極為細小的顆粒組成,若干個顆粒組成一個記錄單元來記錄1比特(bit)信息,即0或1;本發明實施例預先將存儲區域劃分為若干個一級顆粒,每一個一級顆粒可以被看做一個單獨的數據塊,同時,在內存中創建一級顆粒對應的第一統計表,第一統計表可以包括一級顆粒的被訪問次數、訪問頻率、歷史周期訪問頻率加權平均值等信息;具體的,步驟S100可以按照以下步驟執行a、統計當前周期內,一級顆粒的訪問頻率,需要說明的是,周期的大小是預先設定的,並且可以根據業務需要進行動態調整;b、根據一級顆粒的訪問頻率,以及第一統計表中存儲的歷史周期訪問頻率加權平均值等信息計算獲得當前周期內一級顆粒的周期訪問頻率加權平均值,具體的計算公式如下bn=an+kan—,k、—2+.........+k(n—"a"cn=bn/(l+k+k2+.........+kn—工);其中,a表示當前周期內數據塊的訪問頻率,b表示數據塊所有歷史訪問頻率的加權值,c表示數據塊所有歷史訪問頻率的加權平均值,下標n表示第n個統計周期,k表示加權係數,其取值範圍為0《k<l,k取值越小,受以前訪問頻率影響就越小,受當前周期訪問頻率影響就越大,熱點數據識別就越靈敏,但波動也比較大;反之k取值越大,數據塊冷熱變化就越平緩。下表是加權係數與歷史訪問記錄的關係tableseeoriginaldocumentpage6S105、當一級顆粒的周期訪問頻率加權平均值達到第一閾值時,將該一級顆粒確定為熱一級顆粒;具體的,這裡的第一閾值是指一級顆粒的熱點門限值,可以根據數據塊熱點門限公式,計算出一級顆粒的熱點門限值,具體的計算公式屬於現有技術,這裡不再贅述;如果該一級顆粒的周期訪問頻率加權平均值達到第一閾值,則將其標識為熱一級顆粒。S110、將該熱一級顆粒劃分為二級顆粒;與一級顆粒不同的是,二級顆粒是動態劃分的,只有被確定為熱一級顆粒的一級顆粒,才會被劃分為若干個二級顆粒,而一級顆粒是預先劃分的。S115、在內存中創建第二統計表,該第二統計表用於存儲二級顆粒的信息;具體的,第二統計表中可以包括二級顆粒的被訪問次數、訪問頻率、歷史周期訪問頻率加權平均值等信息;第一統計表和第二統計表在內存中可以用二級哈希表的形式進行維護,也可以用二叉樹的形式進行維護,在此不做限定。S120、根據第二統計表,獲得下一個周期內該二級顆粒的周期訪問頻率加權平均值;在步驟S110將該熱一級顆粒劃分為二級顆粒後,當前周期結束,開始下一個周期;具體的,步驟S120可以按照以下步驟執行a、計算該周期內,一級顆粒的周期訪問頻率加權平均值;—級顆粒的周期訪問頻率加權平均值的計算公式如步驟S100所述,這裡不再贅述;b、根據該周期內一級顆粒的周期訪問頻率加權平均值,計算獲得該周期內二級顆粒的周期訪問頻率加權平均值,具體的計算公式如下若該二級顆粒是第一次參與統計,計算公式是S=Sl+kX(F/total—誦),其中,S1為該周期內該二級顆粒的訪問頻率;k為加權係數;F是該周期內,一級顆粒的周期訪問頻率加權平均值;total—皿m為該一級顆粒中所包含的二級顆粒的個數;若該二級顆粒不是第一次參與統計,其計算公式可參考步驟100中的周期訪問頻率加權平均值的計算公式,這裡不再贅述。S125、當二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將所述二級顆粒確定為熱點數據區域,所述熱點數據區域中的數據為熱點數據;具體的,這裡的第二閾值是指二級顆粒的熱點門限值,可以根據數據塊熱點門限公式,計算出二級顆粒的熱點門限值,具體的計算公式屬於現有技術,這裡不再贅述;如果該二級顆粒的周期訪問頻率加權平均值達到第二閾值,那麼該二級顆粒屬於熱點數據區域,熱點數據區域中的數據為熱點數據。從以上技術方案可以看出,本發明實施例具有以下優點本發明實施例不需要對所有數據塊都做精細化的統計,採用分級的方法識別熱點數據,動態創建二級顆粒,根據與二級顆粒對應的第二統計表,計算該二級顆粒的周期訪問頻率加權平均值,當該二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將該二級顆粒確定為熱點數據區域,由於只有被確定為熱一級顆粒的一級顆粒才被劃分為二級顆粒,而不屬於熱一級顆粒的一級顆粒則不會被劃分為二級顆粒,相應的不屬於熱一級顆粒的一級顆粒則不需要在內存中建立二級統計表進行管理,而一級顆粒不屬於精細化的劃分,所以其統計表佔用內存的資源較少,並且二級統計表是動態建立的,所以本發明實施例可以利用有限的內存空間完成對熱點數據的識別。請參閱圖2,本發明實施例中數據訪問方法另一個實施例包括S200、將存儲區域劃分為一級顆粒;具體的,將存儲區域劃分為若干個一級顆粒,每一個一級顆粒可以被看做一個單獨的數據塊。S205、在內存中創建第一統計表,該第一統計表用於存儲該一級顆粒的信息;具體的,在存儲區域被劃分為一級顆粒後,在內存中創建一級顆粒對應的第一統計表,第一統計表可以包括一級顆粒的被訪問次數、訪問頻率、歷史周期訪問頻率加權平均值等信息;S210、根據預置的第一統計表,獲得當前周期內存儲區域中的一級顆粒的周期訪問頻率加權平均值;具體的計算方法及計算公式請參考上一實施例,這裡不再贅述。S215、將計算獲得的一級顆粒的周期訪問頻率加權平均值寫入第一統計表;具體的,將步驟S210中計算獲得的一級顆粒的周期訪問頻率加權平均值作為歷史周期訪問頻率加權平均值寫入第一統計表,以備下一次計算一級顆粒的周期訪問頻率加權平均值時使用。S220、當一級顆粒的周期訪問頻率加權平均值達到第一閾值時,將該一級顆粒確定為熱一級顆粒;具體的,這裡的第一閾值是指一級顆粒的熱點門限值,可以根據數據塊熱點門限公式,計算出一級顆粒的熱點門限值,具體的計算公式屬於現有技術,這裡不再贅述;如果該一級顆粒的周期訪問頻率加權平均值達到第一閾值,則將其標識為熱一級顆粒;需要說明的是步驟S215和步驟S220沒有前後順序之分,可以先將一級顆粒的周期訪問頻率加權平均值寫入第一統計表,也可以先用該一級顆粒的周期訪問頻率加權平均值判斷該一級顆粒是否是熱一級顆粒。S225、將該熱一級顆粒劃分為二級顆粒;與一級顆粒不同的是,二級顆粒是動態劃分的,只有被確定為熱一級顆粒的一級顆粒,才會被劃分為若干個二級顆粒,而一級顆粒是預先劃分的。S230、在內存中創建第二統計表,該第二統計表用於存儲二級顆粒的信息;具體的,第二統計表中可以包括二級顆粒的被訪問次數、訪問頻率、歷史周期訪問頻率加權平均值等信息;第一統計表和第二統計表在內存中可以用二級哈希表的形式進行維護,也可以用二叉樹的形式進行維護,在此不做限定。S235、根據第二統計表,獲得下一個周期內該二級顆粒的周期訪問頻率加權平均值;在步驟S225將該熱一級顆粒劃分為二級顆粒後,當前周期結束,開始下一個周期;具體的,該二級顆粒的周期訪問頻率加權平均值的計算方法及計算公式請參見上一實施例,這裡不再贅述。S240、將計算獲得的二級顆粒的周期訪問頻率加權平均值寫入第二統計表;具體的,將步驟S235中計算獲得的二級顆粒的周期訪問頻率加權平均值作為歷史周期訪問頻率加權平均值寫入第二統計表,以備下一次計算二級顆粒的周期訪問頻率加權平均值時使用。S245、當二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將所述二級顆粒確定為熱點數據區域,所述熱點數據區域中的數據為熱點數據;具體的,這裡的第二閾值是指二級顆粒的熱點門限值,可以根據數據塊熱點門限公式,計算出二級顆粒的熱點門限值,具體的計算公式屬於現有技術,這裡不再贅述;如果該二級顆粒的周期訪問頻率加權平均值達到第二閾值,那麼該二級顆粒屬於熱點數據區域,熱點數據區域中的數據為熱點數據。需要說明的是,步驟S240和步驟S245沒有前後順序之分,可以先將二級顆粒的周期訪問頻率加權平均值寫入第二統計表,也可以先用該二級顆粒的周期訪問頻率加權平均值判斷該二級顆粒是否是熱點數據區域。S250、將該熱點數據區域中的數據遷移至高速硬碟或二級緩存;釋放該第二統計表所佔用的內存;可選的,如果該熱點數據區域中的數據存儲在低速硬碟,則可以將其遷移至高速硬碟;如果該熱點數據區域中的數據存儲在磁碟,則可以將其遷移至二級緩存,因為這些熱點數據的訪問頻率較高,將其遷移至高速硬碟或者二級緩存,可以提高其訪問速度;在將該熱點數據區域中的數據遷移至高速硬碟或二級緩存後,釋放該熱點數據區域對應的第二統計表所佔用的內存,以達到節省內存資源的目的。從以上技術方案可以看出,本發明實施例具有以下優點本發明實施例不需要對所有數據塊都做精細化的統計,採用分級的方法識別熱點數據,動態創建二級顆粒,根據與二級顆粒對應的第二統計表,計算該二級顆粒的周期訪問頻率加權平均值,當該二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將該二級顆粒確定為熱點數據區域,由於只有被確定為熱一級顆粒的一級顆粒才被劃分為二級顆粒,而不屬於熱一級顆粒的一級顆粒則不會被劃分為二級顆粒,相應的不屬於熱一級顆粒的一級顆粒則不需要在內存中建立二級統計表進行管理,而一級顆粒不屬於精細化的劃分,所以其統計表佔用內存的資源較少,並且二級統計表是動態建立的,所以本發明實施例可以利用有限的內存空間完成對熱點數據的識別。進一步地,本發明實施例還可以包括當熱點數據區域中的數據遷移至高速硬碟或二級緩存,並釋放該熱點數據區域對應的第二統計表所佔用的內存後,可以在一級顆粒對應的第一統計表中增加該被遷移的熱點數據區域,即被遷移的二級顆粒的信息,計算被遷移的二級顆粒的周期訪問頻率加權平均值;當該被遷移的二級顆粒的周期訪問頻率加權平均值滿足下列條件時,重新將該一級顆粒劃分為二級顆粒,並進行熱點數據的識別1、該一級顆粒的周期訪問頻率加權平均值達到第一閾值;以及,2、該被遷移的二級顆粒的周期訪問頻率加權平均值小於第三閾值,第三閾值是指該一級顆粒中的遷移數據塊的熱點門限值;具體的一級顆粒中的遷移數據塊的熱點門限值的計算公式屬於現有技術,這裡不再贅述。當該被遷移的二級顆粒的周期訪問頻率加權平均值滿足以上條件時,說明該一級顆粒中的熱點數據發生變化,需要重新將該一級顆粒劃分為二級顆粒進行熱點數據識別。進一步地,當一級顆粒的周期訪問頻率加權平均值小於第一閾值時,說明該一級顆粒已不是熱點區域,需要將該一級顆粒保存在高速硬碟中的數據遷出至低速硬碟,或者將該一級顆粒保存在二級緩存中的數據遷出至磁碟。請參閱圖3,本發明實施例中數據訪問裝置的一個實施例包括第一計算模塊31,用於根據預置的第一統計表,獲得當前周期內存儲區域中的一級顆粒的周期訪問頻率加權平均值;眾所周知,計算機硬碟是通過磁介質來存儲信息的。一塊計算機硬碟內部包含若干個磁碟片,磁碟片上的磁塗層是由數量眾多的、體積極為細小的顆粒組成,若干個顆粒組成一個記錄單元來記錄1比特(bit)信息,即0或1;本發明實施例預先將存儲區域劃分為若干個一級顆粒,每一個一級顆粒可以被看做一個單獨的數據塊,同時,在內存中創建一級顆粒對應的第一統計表,第一統計表可以包括一級顆粒的被訪問次數、訪問頻率、歷史周期訪問頻率加權平均值等信息;具體的,第一計算模塊31可以按照以下步驟執行a、統計當前周期內,一級顆粒的訪問頻率,需要說明的是,周期的大小是預先設定的,並且可以根據業務需要進行動態調整;b、根據一級顆粒的訪問頻率,以及第一統計表中存儲的歷史周期訪問頻率加權平均值等信息計算獲得當前周期內一級顆粒的周期訪問頻率加權平均值,具體的計算公式如下bn=an+kan—,k、—2+.........+k(n—"a"cn=bn/(l+k+k2+.........+kn—工);其中,a表示當前周期內數據塊的訪問頻率,b表示數據塊所有歷史訪問頻率的加權值,c表示數據塊所有歷史訪問頻率的加權平均值,下標n表示第n個統計周期,k表示加權係數,其取值範圍為0《k<l,k取值越小,cn受以前訪問頻率影響就越小,受當前周期訪問頻率影響就越大,熱點數據識別就越靈敏,但波動也比較大;反之k取值越大,數據塊冷熱變化就越平緩。下表是加權係數與歷史訪問記錄的關係10tableseeoriginaldocumentpage11—級顆粒的周期訪問頻率加權平均值的計算公式如步驟S100所述,這裡不再贅述;b、根據該周期內一級顆粒的周期訪問頻率加權平均值,計算獲得該周期內二級顆粒的周期訪問頻率加權平均值,具體的計算公式如下若該二級顆粒是第一次參與統計,計算公式是S=Sl+kX(F/total—誦),其中,S1為該周期內該二級顆粒的訪問頻率;k為加權係數;F是該周期內,一級顆粒的周期訪問頻率加權平均值;total—皿m為該一級顆粒中所包含的二級顆粒的個數;若該二級顆粒不是第一次參與統計,其計算公式可參考第一計算模塊31中的周期訪問頻率加權平均值的計算公式,這裡不再贅述。第二確定模塊36,用於當該二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將該二級顆粒確定為熱點數據區域,該熱點數據區域中的數據為熱點數據;具體的,這裡的第二閾值是指二級顆粒的熱點門限值,可以根據數據塊熱點門限公式,計算出二級顆粒的熱點門限值,具體的計算公式屬於現有技術,這裡不再贅述;如果該二級顆粒的周期訪問頻率加權平均值達到第二閾值,那麼該二級顆粒屬於熱點數據區域,熱點數據區域中的數據為熱點數據。從以上技術方案可以看出,本發明實施例具有以下優點本發明實施例不需要對所有數據塊都做精細化的統計,採用分級的方法識別熱點數據,動態創建二級顆粒,根據與二級顆粒對應的第二統計表,計算該二級顆粒的周期訪問頻率加權平均值,當該二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將該二級顆粒確定為熱點數據區域,由於只有被確定為熱一級顆粒的一級顆粒才被劃分為二級顆粒,而不屬於熱一級顆粒的一級顆粒則不會被劃分為二級顆粒,相應的不屬於熱一級顆粒的一級顆粒則不需要在內存中建立二級統計表進行管理,而一級顆粒不屬於精細化的劃分,所以其統計表佔用內存的資源較少,並且二級統計表是動態建立的,所以本發明實施例可以利用有限的內存空間完成對熱點數據的識別。請參閱圖4,本發明實施例中數據訪問裝置另一個實施例包括第一划分模塊401,用於將存儲區域劃分為一級顆粒;具體的,將存儲區域劃分為若干個一級顆粒,每一個一級顆粒可以被看做一個單獨的數據塊。第一創建模塊402,用於在內存中創建第一統計表,該第一統計表用於存儲該一級顆粒的信息;具體的,在第一划分模塊401將存儲區域劃分為一級顆粒後,在內存中創建一級顆粒對應的第一統計表,第一統計表可以包括一級顆粒的被訪問次數、訪問頻率、歷史周期訪問頻率加權平均值等信息;第一計算模塊403,用於根據預置的第一統計表,獲得當前周期內存儲區域中的一級顆粒的周期訪問頻率加權平均值;具體的計算方法及計算公式請參考上一實施例,這裡不再贅述。第一確定模塊404,用於當一級顆粒的周期訪問頻率加權平均值達到第一閾值時,將該一級顆粒確定為熱一級顆粒;12具體的,這裡的第一閾值是指一級顆粒的熱點門限值,可以根據數據塊熱點門限公式,計算出一級顆粒的熱點門限值,具體的計算公式屬於現有技術,這裡不再贅述;如果該一級顆粒的周期訪問頻率加權平均值達到第一閾值,則將其標識為熱一級顆粒。第一寫入模塊405,用於將計算獲得的一級顆粒的周期訪問頻率加權平均值寫入第一統計表;具體的,將第一計算模塊403計算獲得的一級顆粒的周期訪問頻率加權平均值作為歷史周期訪問頻率加權平均值寫入第一統計表,以備下一次計算一級顆粒的周期訪問頻率加權平均值時使用。第二劃分模塊406,用於將該熱一級顆粒劃分為二級顆粒;與一級顆粒不同的是,二級顆粒是動態劃分的,只有被確定為熱一級顆粒的一級顆粒,才會被劃分為若干個二級顆粒,而一級顆粒是預先劃分的。第二創建模塊407,用於在內存中創建第二統計表,該第二統計表用於存儲二級顆粒的信息;具體的,第二統計表中可以包括二級顆粒的被訪問次數、訪問頻率、歷史周期訪問頻率加權平均值等信息;第一統計表和第二統計表在內存中可以用二級哈希表的形式進行維護,也可以用二叉樹的形式進行維護,在此不做限定。第二計算模塊408,用於根據第二統計表,獲得下一個周期內該二級顆粒的周期訪問頻率加權平均值;在第二劃分模塊406將該熱一級顆粒劃分為二級顆粒後,當前周期結束,開始下一個周期;具體的,該二級顆粒的周期訪問頻率加權平均值的計算方法及計算公式請參見上一實施例,這裡不再贅述。第二確定模塊409,用於當二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將所述二級顆粒確定為熱點數據區域,所述熱點數據區域中的數據為熱點數據;具體的,這裡的第二閾值是指二級顆粒的熱點門限值,可以根據數據塊熱點門限公式,計算出二級顆粒的熱點門限值,具體的計算公式屬於現有技術,這裡不再贅述;如果該二級顆粒的周期訪問頻率加權平均值達到第二閾值,那麼該二級顆粒屬於熱點數據區域,熱點數據區域中的數據為熱點數據。第二寫入模塊410,用於將計算獲得的二級顆粒的周期訪問頻率加權平均值寫入第二統計表;具體的,將第二計算模塊408計算獲得的二級顆粒的周期訪問頻率加權平均值作為歷史周期訪問頻率加權平均值寫入第二統計表,以備下一次計算二級顆粒的周期訪問頻率加權平均值時使用。遷移模塊411,用於將該熱點數據區域中的數據遷移至高速硬碟或二級緩存;釋放模塊412,用於釋放該第二統計表所佔用的內存;可選的,如果該熱點數據區域中的數據存儲在低速硬碟,則可以將其遷移至高速硬碟;如果該熱點數據區域中的數據存儲在磁碟,則可以將其遷移至二級緩存,因為這些熱13點數據的訪問頻率較高,將其遷移至高速硬碟或者二級緩存,可以提高其訪問速度;在將該熱點數據區域中的數據遷移至高速硬碟或二級緩存後,釋放該熱點數據區域對應的第二統計表所佔用的內存,以達到節省內存資源的目的。從以上技術方案可以看出,本發明實施例具有以下優點本發明實施例不需要對所有數據塊都做精細化的統計,採用分級的方法識別熱點數據,動態創建二級顆粒,根據與二級顆粒對應的第二統計表,計算該二級顆粒的周期訪問頻率加權平均值,當該二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將該二級顆粒確定為熱點數據區域,由於只有被確定為熱一級顆粒的一級顆粒才被劃分為二級顆粒,而不屬於熱一級顆粒的一級顆粒則不會被劃分為二級顆粒,相應的不屬於熱一級顆粒的一級顆粒則不需要在內存中建立二級統計表進行管理,而一級顆粒不屬於精細化的劃分,所以其統計表佔用內存的資源較少,並且二級統計表是動態建立的,所以本發明實施例可以利用有限的內存空間完成對熱點數據的識別。進一步地,本發明實施例還可以包括第一處理模塊和第二處理模塊;該第一處理模塊,用於當熱點數據區域中的數據遷移至高速硬碟或二級緩存,並釋放該熱點數據區域對應的第二統計表所佔用的內存後,可以在一級顆粒對應的第一統計表中增加該被遷移的熱點數據區域,即被遷移的二級顆粒的信息,計算被遷移的二級顆粒的周期訪問頻率加權平均值;當該被遷移的二級顆粒的周期訪問頻率加權平均值滿足下列條件時,重新將該一級顆粒劃分為二級顆粒,並進行熱點數據的識別1、該一級顆粒的周期訪問頻率加權平均值達到第一閾值;以及,2、該被遷移的二級顆粒的周期訪問頻率加權平均值小於第三閾值,第三閾值是指該一級顆粒中的遷移數據塊的熱點門限值;具體的一級顆粒中的遷移數據塊的熱點門限值的計算公式屬於現有技術,這裡不再贅述。當該被遷移的二級顆粒的周期訪問頻率加權平均值滿足以上條件時,說明該一級顆粒中的熱點數據發生變化,需要重新將該一級顆粒劃分為二級顆粒進行熱點數據識別。第二處理模塊,用於當一級顆粒的周期訪問頻率加權平均值小於第一閾值時,說明該一級顆粒已不是熱點區域,需要將該一級顆粒保存在高速硬碟中的數據遷出至低速硬碟,或者將該一級顆粒保存在二級緩存中的數據遷出至磁碟。本領域普通技術人員可以理解實現上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬體完成,所述的程序可以存儲於一種計算機可讀存儲介質中,上述提到的存儲介質可以是只讀存儲器,磁碟或光碟等。以上對本發明所提供的一種信息處理方法以及信息處理伺服器進行了詳細介紹,對於本領域的一般技術人員,依據本發明實施例的思想,在具體實施方式及應用範圍上均會有改變之處,綜上所述,本說明書內容不應理解為對本發明的限制。1權利要求一種熱點數據識別方法,其特徵在於,包括根據預置的第一統計表,獲得當前周期內存儲區域中的一級顆粒的周期訪問頻率加權平均值;當所述一級顆粒的周期訪問頻率加權平均值達到第一閾值時,將所述一級顆粒確定為熱一級顆粒;將所述熱一級顆粒劃分為二級顆粒;在內存中創建第二統計表,所述第二統計表用於存儲所述二級顆粒的信息;根據所述第二統計表,獲得下一個周期內所述二級顆粒的周期訪問頻率加權平均值;當所述二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將所述二級顆粒確定為熱點數據區域,所述熱點數據區域中的數據為熱點數據。2.如權利要求l所述的方法,其特徵在於,還包括預先將所述存儲區域劃分為一級顆粒;在內存中創建第一統計表,所述第一統計表用於存儲所述一級顆粒的信息。3.如權利要求2所述的方法,其特徵在於,還包括將計算獲得的所述一級顆粒的周期訪問頻率加權平均值寫入所述第一統計表。4.如權利要求l所述的方法,其特徵在於,還包括將計算獲得的下一個周期內所述二級顆粒的周期訪問頻率加權平均值寫入所述第二統計表。5.如權利要求l所述的方法,其特徵在於,還包括將所述熱點數據區域中的數據遷移至高速硬碟或二級緩存;釋放所述第二統計表所佔用的內存。6.—種熱點數據識別裝置,其特徵在於,包括第一計算模塊,用於根據預置的第一統計表,獲得當前周期內存儲區域中的一級顆粒的周期訪問頻率加權平均值;第一確定模塊,用於當所述一級顆粒的周期訪問頻率加權平均值達到第一閾值時,將所述一級顆粒確定為熱一級顆粒;第二劃分模塊,用於將所述熱一級顆粒劃分為二級顆粒;第二創建模塊,用於在內存中創建第二統計表,所述第二統計表用於存儲所述二級顆粒的信息;第二計算模塊,用於根據所述第二統計表,獲得下一個周期內所述二級顆粒的周期訪問頻率加權平均值;第二確定模塊,用於當所述二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將所述二級顆粒確定為熱點數據區域,所述熱點數據區域中的數據為熱點數據。7.如權利要求6所述的裝置,其特徵在於,還包括第一划分模塊,用於預先將所述存儲區域劃分為一級顆粒;第一創建模塊,用於在內存中創建第一統計表,所述第一統計表用於存儲所述一級顆粒的信息。8.如權利要求7所述的裝置,其特徵在於,還包括第一寫入模塊,用於將計算獲得的所述一級顆粒的周期訪問頻率加權平均值寫入所述第一統計表。9.如權利要求6所述的裝置,其特徵在於,還包括第二寫入模塊,用於將計算獲得的下一個周期內所述二級顆粒的周期訪問頻率加權平均值寫入所述第二統計表。10.如權利要求6所述的裝置,其特徵在於,還包括遷移模塊,用於將所述熱點數據區域中的數據遷移至高速硬碟或二級緩存;釋放模塊,用於釋放所述第二統計表所佔用的內存。全文摘要本發明實施例公開了一種熱點數據識別方法及裝置,包括根據預置的第一統計表,獲得當前周期內存儲區域中的一級顆粒的周期訪問頻率加權平均值;當所述一級顆粒的周期訪問頻率加權平均值達到第一閾值時,將所述一級顆粒確定為熱一級顆粒;將所述熱一級顆粒劃分為二級顆粒;在內存中創建第二統計表,所述第二統計表用於存儲所述二級顆粒的信息;根據所述第二統計表,獲得下一個周期內所述二級顆粒的周期訪問頻率加權平均值;當所述二級顆粒的周期訪問頻率加權平均值達到第二閾值時,將所述二級顆粒確定為熱點數據區域,所述熱點數據區域中的數據為熱點數據。本發明實施例可以利用有限的內存空間完成對熱點數據的識別。文檔編號G06F17/30GK101788995SQ20091021719公開日2010年7月28日申請日期2009年12月31日優先權日2009年12月31日發明者張翔,杜小華,董浩,龔濤申請人:成都市華為賽門鐵克科技有限公司

同类文章

一種新型多功能組合攝影箱的製作方法

一種新型多功能組合攝影箱的製作方法【專利摘要】本實用新型公開了一種新型多功能組合攝影箱,包括敞開式箱體和前攝影蓋,在箱體頂部設有移動式光源盒,在箱體底部設有LED脫影板,LED脫影板放置在底板上;移動式光源盒包括上蓋,上蓋內設有光源,上蓋部設有磨沙透光片,磨沙透光片將光源封閉在上蓋內;所述LED脫影

壓縮模式圖樣重疊檢測方法與裝置與流程

本發明涉及通信領域,特別涉及一種壓縮模式圖樣重疊檢測方法與裝置。背景技術:在寬帶碼分多址(WCDMA,WidebandCodeDivisionMultipleAccess)系統頻分復用(FDD,FrequencyDivisionDuplex)模式下,為了進行異頻硬切換、FDD到時分復用(TDD,Ti

個性化檯曆的製作方法

專利名稱::個性化檯曆的製作方法技術領域::本實用新型涉及一種檯曆,尤其涉及一種既顯示月曆、又能插入照片的個性化檯曆,屬於生活文化藝術用品領域。背景技術::公知的立式檯曆每頁皆由月曆和畫面兩部分構成,這兩部分都是事先印刷好,固定而不能更換的。畫面或為風景,或為模特、明星。功能單一局限性較大。特別是畫

一種實現縮放的視頻解碼方法

專利名稱:一種實現縮放的視頻解碼方法技術領域:本發明涉及視頻信號處理領域,特別是一種實現縮放的視頻解碼方法。背景技術: Mpeg標準是由運動圖像專家組(Moving Picture Expert Group,MPEG)開發的用於視頻和音頻壓縮的一系列演進的標準。按照Mpeg標準,視頻圖像壓縮編碼後包

基於加熱模壓的纖維增強PBT複合材料成型工藝的製作方法

本發明涉及一種基於加熱模壓的纖維增強pbt複合材料成型工藝。背景技術:熱塑性複合材料與傳統熱固性複合材料相比其具有較好的韌性和抗衝擊性能,此外其還具有可回收利用等優點。熱塑性塑料在液態時流動能力差,使得其與纖維結合浸潤困難。環狀對苯二甲酸丁二醇酯(cbt)是一種環狀預聚物,該材料力學性能差不適合做纖

一種pe滾塑儲槽的製作方法

專利名稱:一種pe滾塑儲槽的製作方法技術領域:一種PE滾塑儲槽一、 技術領域 本實用新型涉及一種PE滾塑儲槽,主要用於化工、染料、醫藥、農藥、冶金、稀土、機械、電子、電力、環保、紡織、釀造、釀造、食品、給水、排水等行業儲存液體使用。二、 背景技術 目前,化工液體耐腐蝕貯運設備,普遍使用傳統的玻璃鋼容

釘的製作方法

專利名稱:釘的製作方法技術領域:本實用新型涉及一種釘,尤其涉及一種可提供方便拔除的鐵(鋼)釘。背景技術:考慮到廢木材回收後再加工利用作業的方便性與安全性,根據環保規定,廢木材的回收是必須將釘於廢木材上的鐵(鋼)釘拔除。如圖1、圖2所示,目前用以釘入木材的鐵(鋼)釘10主要是在一釘體11的一端形成一尖

直流氧噴裝置的製作方法

專利名稱:直流氧噴裝置的製作方法技術領域:本實用新型涉及ー種醫療器械,具體地說是ー種直流氧噴裝置。背景技術:臨床上的放療過程極易造成患者的局部皮膚損傷和炎症,被稱為「放射性皮炎」。目前對於放射性皮炎的主要治療措施是塗抹藥膏,而放射性皮炎患者多伴有局部疼痛,對於止痛,多是通過ロ服或靜脈注射進行止痛治療

新型熱網閥門操作手輪的製作方法

專利名稱:新型熱網閥門操作手輪的製作方法技術領域:新型熱網閥門操作手輪技術領域:本實用新型涉及一種新型熱網閥門操作手輪,屬於機械領域。背景技術::閥門作為流體控制裝置應用廣泛,手輪傳動的閥門使用比例佔90%以上。國家標準中提及手輪所起作用為傳動功能,不作為閥門的運輸、起吊裝置,不承受軸向力。現有閥門

用來自動讀取管狀容器所載識別碼的裝置的製作方法

專利名稱:用來自動讀取管狀容器所載識別碼的裝置的製作方法背景技術:1-本發明所屬領域本發明涉及一種用來自動讀取管狀容器所載識別碼的裝置,其中的管狀容器被放在循環於配送鏈上的文檔匣或託架裝置中。本發明特別適用於,然而並非僅僅專用於,對引入自動分析系統的血液樣本試管之類的自動識別。本發明還涉及專為實現讀