一種惡意軟體家族分類模型生成方法、裝置
2024-04-15 18:25:05
1.本發明涉及信息安全技術領域，具體涉及一種惡意軟體家族分類模型生成方法、裝置。
背景技術：
2.android是由google公司以及開放手機聯盟於2007年領導以及開發的一種基於linux的自由及開放原始碼的作業系統，具有很好的開源性和流行性，被廣泛使用於行動裝置，也正因如此其成為97％的惡意軟體攻擊目標。有研究表明，安卓惡意軟體具有明顯的家族特性，來自相同家族的惡意軟體其惡意行為非常相似，因此研究惡意軟體分類問題能夠幫助安卓安全分析員更高效地分析安卓惡意軟體，從而規避其惡意行為。
3.目前最流行的惡意家族分類方法大多基於機器學習，對每個家族中的安卓惡意軟體進行特徵提取為向量，然後再用svm、rf等分類器進行有監督學習。
技術實現要素：
4.發明人發現，惡意軟體家族分類模型通常是根據在一定時段採集的封閉數據集設計的，惡意軟體家族的分類往往是固定的。但隨著技術的發展，在封閉數據上訓練的模型難以適用於新捕獲的惡意樣本。而且，為了使惡意軟體家族分類模型能夠分類新家族樣本，又要使其不遺忘原始家族的分類知識，現有技術一般是將新樣本和原始樣本融合進行重新訓練。但是隨著新家族的不斷增多，計算開銷將越來越大，非常消耗資源，難以在實際情況下使用。有鑑於此，實有必要提出一種新的惡意軟體分類方法，使其能夠在分類原始家族的同時，吸納新家族的知識，同時保證可控的計算開銷。
5.本發明公開了一種惡意軟體家族分類模型生成方法，包括以下步驟：
6.提取原始惡意軟體家族中各樣本的特徵向量；
7.利用提取的各樣本的特徵向量訓練一個分類模型；
8.利用提取的各樣本的特徵向量確定原始惡意軟體家族中的代表樣本；
9.利用確定的代表樣本與新出現的惡意軟體樣本構建新的訓練樣本；
10.利用訓練樣本更新所述分類模型得到新的惡意軟體家族分類模型。
11.進一步的，提取原始惡意軟體家族中各樣本的特徵向量包括以下步驟：
12.對原始惡意軟體家族中各樣本的apk文件進行反編譯，提取出函數調用關係，構建函數調用圖(fcg)；
13.提取出每個函數的操作碼序列作為函數的節點特徵；
14.利用所述函數調用圖(fcg)、各函數的節點特徵，得到具有節點屬性的圖特徵(o-sfcg)；
15.按預設規則將所述圖特徵向量變換為低維特徵向量。
16.進一步的，提取原始惡意軟體家族中各樣本的特徵向量包括以下步驟：
17.對原始惡意軟體家族中各樣本的apk文件進行反編譯，提取出預設敏感api相關的
函數調用關係，用鄰接矩陣a來表示敏感函數調用圖；
18.提取出每個預設敏感api相關的函數的代碼片段，並且抽取出操作碼序列作為函數的節點特徵，用節點特徵向量x來保存；
19.利用所述敏感函數調用圖、各函數的節點特徵，得到具有節點屬性的圖特徵，所述具有節點屬性的圖特徵由鄰接矩陣a和節點特徵向量x來表示；
20.將所述具有節點屬性的圖特徵輸入一預設網絡模型，將所述圖特徵向量變換為低維特徵向量，所述預設網絡模型為：
[0021][0022]
圖特徵向量f
graph
，其中h
ij
∈h
out
，
[0023][0024][0025]
其中表示的度矩陣,w是可訓練權重，i是單位矩陣，rn為n維實數。
[0026]
進一步的，用提取的各樣本的特徵向量訓練一個分類模型具體包括：
[0027]
獲取各樣本的真實家族標籤y
*
；
[0028]
通過優化f(x)的參數使得e{l[y
*
,f(x)]最小化得到分類模型f0；
[0029]
其中，f(x)表示模型預測的輸出，l是標籤平滑損失函數以表示真實樣本和輸出標籤之前的差距，e表示期望。
[0030]
進一步的，利用提取的各樣本的特徵向量確定原始惡意軟體家族中的代表樣本具體包括以下步驟：
[0031]
計算各原始惡意軟體家族的每個樣本與同一家族其他樣本的距離之和，將得到的最小的距離和作為各原始惡意軟體家族樣本的緊緻度；
[0032]
計算每個原始惡意軟體家族的樣本與同一家族其他樣本的距離和，然後與得到的該原始惡意軟體家族的緊緻度進行差運算，得到各樣本的偏離程度，將偏離程度小的樣本作為代表樣本。
[0033]
進一步的，利用訓練樣本更新所述分類模型得到新的惡意軟體家族分類模型具體包括：
[0034]
按如下優化損失函數l更新原始分類器f0，得到惡意軟體家族分類模型fn，其中，
[0035]
l＝(1-ρ)ls+lh[0036]
ls為使原始分類器的輸出與新惡意軟體家族分類模型fn的輸出接近的最小化函數，lh為了保證新分類系統良好的分類效果，新惡意軟體家族分類模型fn的輸出值與真實標籤之間差異小的最小化函數。
[0037]
進一步的，
[0038][0039][0040]
其中，xm代表樣本xm，為原始惡意家族分類器f0輸出的分類為第i個家族的概率，
packag文件)進行反編譯，並且提取出函數調用關係構建成函數調用圖(function calling graph，fcg)。在一些實施例中，提取原始惡意軟體家族中各樣本的特徵向量可以採用現有技術中的一些常規技術方法。
[0059]
優選的，具體地，結合圖2所示，提取原始惡意軟體家族中各樣本的特徵向量可以包括以下步驟：
[0060]
s101，對原始惡意軟體家族中各樣本的apk文件進行反編譯，提取出函數調用關係，構建函數調用圖。
[0061]
s102，提取出每個函數的操作碼序列作為函數的節點特徵。
[0062]
發明人發現，函數調用圖和敏感函數調用圖只表示出了函數之間的關係，沒有表示出各個函數的角色信息，且容易受到技術更新的影響。因此，本發明優選提取出每個函數的操作碼序列(opcode)作為函數的節點特徵。操作碼用來指明指令所要完成的操作，通常其位數反映了機器的操作種類。實驗數據表明，操作碼序列有很多，一般只考慮經常使用的255種，如數據操作類，方法調用類等，其餘的歸為第256種，也即一般認為操作碼序列包括固定的256個編碼，其容易提取，不會隨著時間和技術的升級而變化，在一定程度上能夠增加敏感函數調用圖的穩健性。
[0063]
s103，利用所述函數調用圖、各函數的節點特徵，得到具有節點屬性的圖特徵。
[0064]
對於函數調用圖(用鄰接矩陣a表示)，可提取出每個函數的代碼片段，並且抽取出操作碼序列。由於操作碼一共有256個，因此可以得到一個256維的向量x，x即為節點特徵。根據以上操作，每個函數都被賦予了一個語義信息豐富的節點特徵，如此，新構建的具有節點屬性的圖特徵不僅能夠與原函數調用圖結構一致以表示函數之間的調用關係，還增加了節點特徵以表示函數本身的語義信息，在識別惡意軟體時更加具有魯棒性。
[0065]
s104，按預設規則將所述圖特徵向量變換為低維特徵向量。
[0066]
優選的，可將得到的鄰接矩陣a和節點特徵矩陣x輸入預先設置的網絡(其表達公式如公式(1)所示)，所述網絡包括至少兩個圖卷積層，其激活函數是relu函數(全稱為：rectified linear unit，是一種人工神經網絡中常用的激活函數，通常意義下，其指代數學中的斜坡函數):
[0067][0068]
其中其中表示的度矩陣，h
out
為輸出矩陣，w是可訓練權重，i是單位矩陣。本發明實施例設置單位矩陣是為了節點在聚合鄰居節點特徵時能夠將自身的特徵也計算進去，以提高計算的準確性。
[0069]
由於是圖分類任務，需要得到整個圖的特徵表示，因此，往往在圖卷積後加一個讀出層，以得到整個圖的特徵向量f
graph
(由公式(2)表示)，其中h
ij
∈h
out
，rn為n維實數，本實例中為512維：
[0070][0071]
至此，可以保證提取的原始惡意軟體家族中各樣本的特徵向量穩健性強，其不會隨著時間和技術的升級而變化，是保證新的惡意軟體家族分類模型能在有限開銷情況下同時完成原始家族樣本和新家族樣本的分類的基礎。
[0072]
在另一些實施例中，優選的，為了進一步刻畫apk的行為特徵，在步驟s101中僅僅
保留與敏感api相關的調用關係，從而構建出敏感函數調用圖，並用鄰接矩陣a來表示敏感函數調用圖。與普通的函數調用圖相比，敏感api相關的函數調用圖在一定程度上具有更小的圖的規模，從而能夠提升特徵處理的效率。後續步驟都基於此敏感函數調用圖。
[0073]
s02，利用提取的各樣本的特徵向量訓練一個分類模型。
[0074]
具體的，利用提取的各樣本的特徵向量訓練一個分類模型可以包括以下步驟：
[0075]
s201，獲取各樣本的真實家族標籤y
*
。
[0076]
s202，通過優化f(x)的參數使得e{l[y
*
,f(x)]最小化得到分類模型f0，可以用公式(3)表示：
[0077]
f0＝argminfe{l[y
*
,f(x)]}
ꢀꢀꢀ
(3)
[0078]
f(x)表示模型預測的輸出，l是標籤平滑損失函數以表示真實樣本和輸出標籤之前的差距，e表示期望。
[0079]
s03，利用提取的各樣本的特徵向量確定原始惡意軟體家族中的代表樣本。
[0080]
當新樣本到來，用全部原始樣本加上新樣本重新訓練分類器會使得計算開銷和內存線性增大。因此，本技術只從每個原始家族中挑選出代表性樣本與新家族樣本融合。
[0081]
具體的，確定原始惡意軟體家族中的代表樣本包括以下步驟：
[0082]
s301，計算各原始惡意軟體家族的每個樣本與同一家族其他樣本的距離之和，將得到的最小的距離之和作為各原始惡意軟體家族樣本的緊緻度。
[0083]
具體的，對於某個家族中樣本的特徵向量x＝{x1,x2,
…
,xn}，使用最小距離(dm)代表某個原始惡意軟體家族樣本的緊緻度，其計算公式如公式(4)所示：
[0084][0085]
式中xi與xj表示數據集x中的不同樣本，n代表樣本個數，對於一個集合x，就可以算出一個dm。
[0086]
s302，計算每個原始惡意軟體家族的樣本與同一家族其他樣本的距離和，然後與得到的該原始惡意軟體家族的緊緻度進行差運算，得到各樣本的偏離程度。
[0087]
具體的，對於樣本xm，定義其重要性dm如公式(5)所示，偏離程度越小的樣本其代表性越強。
[0088][0089]
為了方便計算，可進行以下歸一化處理，首先得到原始惡意軟體家族的每個樣本與同一家族其他樣本的距離之和的最大值dmx(如公式6所示)，然後得到dmx與dm的差值，最後將各樣本重要性dm除以dmx與dm的差值(如公式7所示)：
[0090][0091][0092]
其中，rm表示樣本xm對概率密度估計的貢獻，可定義為代表性。rm越小,表示樣本xm偏離dm越小，則xm的代表性越強。dmx與dm的差值可以反映整個數據集數據點的分散情況。通過以上方式可以計算出x＝{x1,x2,
…
,xn}中每個樣本的代表性r＝{r1,r2,
…
,rn}。
[0093]
s04，利用確定的代表樣本與新出現的惡意軟體樣本構建新的訓練樣本。
[0094]
當新類別樣本湧現時，需要對步驟s02中得到的f0分類模型進行更新，因此首先需
要對訓練集進行更新。
[0095]
假設原始家族為m個，湧現的新類別家族為n個，從原始家族中選定的代表樣本總數為t個。那麼從每個家族中選擇的樣本數為t＝t/m個。此時，可對s03中計算的每個樣本的代表性r＝{r1,r2,
…
,rn}進行由小到大排序，選擇出前t個更具代表性的樣本。
[0096]
最後，用|sm|表示每個類別中樣本的數量，則原始樣本訓練集t
old
＝{s1,s2,
…
,sm},|sm|＝t。
[0097]
更新後的訓練集為t
new
，一共有m+n個家族的樣本，t
new
＝{s1,s2,
…
,sm}∪{s
m+1
,s
m+2
…
,s
m+n
}。
[0098]
s05，利用訓練樣本更新所述分類模型得到新的惡意軟體家族分類模型。
[0099]
利用步驟s04得到的新訓練集t
new
，對原始分類器f0進行更新本質上需要優化原惡意軟體家族分類模型的損失函數l。由於原始分類器f0中包含了對原始家族樣本的分類知識，因此優選的，本發明可通過知識提取的方式去學習對原始家族的分類知識，再通過新的訓練集來矯正和學習新家族的分類知識，最後實現損失函數l的優化。
[0100]
具體地，對於樣本xm，假設原始惡意家族分類器f0輸出的分類為第i個家族的概率如公式(8)所示：
[0101][0102]
其中f0(xm)是原始分類器輸出的概率，n為類別總數，k為設置的參數，來平滑輸出概率之間的差異，k取正整數。
[0103]
而同樣對於樣本xm，假設新分類系統fn輸出的第i類的概率如公式9所示：
[0104][0105]
其中fn(xm)是新構建的分類器輸出的概率，n為類別總數，k為設置的參數,與公式(8)中的k值相同。
[0106]
為了達到將f0中的知識提取到fn中的目的，對於樣本xm和家族i，要使原始分類器的輸出與新分類系統的輸出儘可能地接近，即最小化函數ls(如公式10所示)：
[0107][0108]
另一方面，為了保證新分類系統良好的分類效果，要使預測值與真實標籤之間的差異儘可能地小，即最小化函數lh(如公式(11)所示)：
[0109][0110]
其中cm為在xm的真實標籤。
[0111]
最終，模型的損失函數l為ls和lh的加權求和，如公式(12)所示：
[0112]
l＝(1-ρ)ls+lhꢀꢀꢀ
(12)
[0113]
在訓練的過程中通過優化l，以保證新模型對新家族樣本和原始家族樣本都具有分類能力。
[0114]
可以理解的，在一些實施例中，步驟s02、步驟s03是可以替換的，本發明對其先後順序不做特殊要求。
[0115]
本發明公開了一種惡意軟體家族分類模型生成方法，利用原始惡意軟體家族中各樣本的特徵向量訓練一個分類模型，並確定原始惡意軟體家族中的代表樣本，然後利用代
表樣本與新出現的惡意軟體樣本構建新的訓練樣本，利用訓練樣本更新所述分類模型得到新的惡意軟體家族分類模型。本發明利用代表樣本保留了原始惡意軟體家族的分類知識，然後再吸納新惡意軟體家族的知識，既減小了惡意軟體家族的樣本數量，減少了計算開銷，又使新的惡意軟體家族分類模型不遺忘原始家族的分類知識，能適應惡意軟體家族不斷增多的情況，並且惡意樣本分類準確性高。
[0116]
在另一些實施例中，發明人發現訓練新的惡意軟體家族分類模型時，若新的惡意軟體樣本量少，會導致新模型更新有限，新模型的準確度不高。因此，需要考慮增加新樣本的數量。由於惡意家族劃分的依據是惡意行為是否相同，因此可考慮對新出現的惡意軟體家族中各樣本文件進行重打包、插入垃圾代碼片段、擾亂代碼順序或標識符加密，以增加每個家族樣本數量。
[0117]
具體的，比如可修改新的惡意軟體樣本apk反編譯的smail文件，然後需要利用apktool重新編譯成apk文件，以完成樣本的重打包。另外，插入垃圾代碼片段、擾亂代碼順序或標識符加密等也都不會改變惡意軟體樣本中的惡意行為，因此都可以用來增加惡意家族樣本數量，以保證更好地訓練新的惡意軟體家族分類模型。
[0118]
實施例二
[0119]
本發明還公開了一種惡意軟體家族分類模型生成裝置，結合圖3所示，包括特徵向量提取單元10、代表樣本選取單元20、訓練樣本生成單元30、模型訓練單元40，其中：
[0120]
特徵向量提取單元10，用於提取原始惡意軟體家族中各樣本的特徵向量。
[0121]
具體的，特徵向量提取單元10用於對原始惡意軟體家族中各樣本的apk文件進行反編譯，提取出函數調用關係，構建函數調用圖。而後，提取出每個函數的操作碼序列作為函數的節點特徵。然後，利用所述函數調用圖、各函數的節點特徵，得到具有節點屬性的圖特徵。最後，按預設規則將所述圖特徵向量變換為低維特徵向量。
[0122]
優選的，特徵向量提取單元10也可以對原始惡意軟體家族中各樣本的apk文件進行反編譯，提取出預設敏感api相關的函數調用關係，生成敏感函數調用圖。而後，提取出每個預設敏感api相關的函數的代碼片段，並且抽取出操作碼序列作為函數的節點特徵。然後，利用所述敏感函數調用圖、各函數的節點特徵，得到具有節點屬性的圖特徵，最後，將所述具有節點屬性的圖特徵輸入一預設網絡模型，將所述圖特徵變換為低維特徵向量。
[0123]
代表樣本選取單元20，用於利用提取的各樣本的特徵向量確定原始惡意軟體家族中的代表樣本。
[0124]
具體的，代表樣本選取單元20用於計算各原始惡意軟體家族的每個樣本與同一家族其他樣本的距離之和，將得到的最小的距離和作為各原始惡意軟體家族樣本的緊緻度。還用於計算每個原始惡意軟體家族的樣本與同一家族其他樣本的距離和，然後與得到的該原始惡意軟體家族的緊緻度進行差運算，得到各樣本的偏離程度，將偏離程度小的樣本作為代表樣本。
[0125]
訓練樣本生成單元30，用於利用確定的代表樣本與新出現的惡意軟體樣本構建新的訓練樣本。
[0126]
具體的，假設原始家族為m個，湧現的新類別家族為n個，從原始家族中選定的代表樣本總數為t個。那麼從每個家族中選擇的樣本數為t＝t/m個。此時，可對代表樣本選取單元中計算的每個樣本的代表性r＝{r1,r2,
…
,rn}進行由小到大排序，選擇出前t個更具代表
性的樣本。
[0127]
最後，用|sm|表示每個類別中樣本的數量，則原始樣本訓練集t
old
＝{s1,s2,
…
,sm},|sm|＝t。
[0128]
更新後的訓練集為t
new
，一共有m+n個家族的樣本，t
new
＝{s1,s2,
…
,sm}∪{s
m+1
,s
m+2
…
,s
m+n
}。
[0129]
在一些實施例中，若新的惡意軟體樣本量少，會導致新模型更新有限，新模型的準確度不高。因此，訓練樣本生成單元還用於對新出現的惡意軟體家族中各樣本文件進行重打包、插入垃圾代碼片段、擾亂代碼順序或標識符加密，以增加每個家族樣本數量。
[0130]
模型訓練單元40，用於利用提取的原始惡意軟體家族中各樣本的特徵向量訓練一個原始分類模型；還用於利用訓練樣本生成單元輸出的訓練樣本更新所述原始分類模型得到新的惡意軟體家族分類模型。
[0131]
具體的，原始分類模型f0滿足上述所述的公式(3)，即通過優化f(x)的參數使得e{l[y
*
,f(x)]最小化得到分類模型f0：
[0132]
f0＝argminfe{l[y
*
,f(x)]}
ꢀꢀꢀ
(3)
[0133]
f(x)表示模型預測的輸出，l是標籤平滑損失函數以表示真實樣本和輸出標籤之前的差距，e表示期望。
[0134]
利用訓練樣本生成單元輸出的訓練樣本更新所述原始分類模型得到新的惡意軟體家族分類模型本質上為更新分類模型的損失函數l，如上述公式(12)所示：
[0135]
l＝(1-ρ)ls+lhꢀꢀꢀ
(12)
[0136]
ls為使原始分類器的輸出與新惡意軟體家族分類模型的輸出接近的最小化函數，lh為了保證新分類系統良好的分類效果，新惡意軟體家族分類模型的輸出值與真實標籤之間差異小的最小化函數。
[0137]
本實施例的惡意軟體家族分類模型生成裝置的具體工作過程可以參考實施例一，在此不再贅述。
[0138]
實施例三
[0139]
在另一些實施例中，本發明還提供一種惡意軟體家族分類模型，其損失函數如上述公式(12)所示：
[0140]
l＝(1-ρ)ls+lhꢀꢀꢀ
(12)
[0141]
ls為使原始分類器的輸出與新惡意軟體家族分類模型的輸出接近的最小化函數，lh為了保證新分類系統良好的分類效果，新惡意軟體家族分類模型的輸出值與真實標籤之間差異小的最小化函數，其中：
[0142][0143][0144]
其中，xm代表樣本xm，為原始惡意家族分類器輸出的分類為第i個家族的概率，為新分類系統fn輸出的第i類的概率，其中：
[0145]
[0146][0147]
f0(xm)是原始分類器輸出的概率，fn(xm)是新分類器輸出的概率，n為類別總數，k為設置的參數，以平滑輸出概率之間的差異，k取正整數，cm為在xm的真實標籤。
[0148]
在實際應用中，可利用上述公式快速得到新的惡意軟體家族分類模型的損失函數，以提高惡意軟體家族分類模型的產生效率。
[0149]
在上述的詳細描述中，各種特徵一起組合在單個的實施方案中，以簡化本公開。不應該將這種公開方法解釋為反映了這樣的意圖，即，所要求保護的主題的實施方案需要清楚地在每個權利要求中所陳述的特徵更多的特徵。相反，如所附的權利要求書所反映的那樣，本發明處於比所公開的單個實施方案的全部特徵少的狀態。因此，所附的權利要求書特此清楚地被併入詳細描述中，其中每項權利要求獨自作為本發明單獨的優選實施方案。
[0150]
上文的描述包括一個或多個實施例的舉例。當然，為了描述上述實施例而描述部件或方法的所有可能的結合是不可能的，但是本領域普通技術人員應該認識到，各個實施例可以做進一步的組合和排列。因此，本文中描述的實施例旨在涵蓋落入所附權利要求書的保護範圍內的所有這樣的改變、修改和變型。此外，就說明書或權利要求書中使用的術語「包含」，該詞的涵蓋方式級似於術語「包括」，就如同「包括，」在權利要求中用作銜接詞所解釋的那樣。此外，使用在權利要求書的說明書中的任何一個術語「或者」是要表示「非排它性的或者」。