一種針對物體刪除的縫裁剪圖像定位取證方法與流程
2023-05-17 23:28:21
本發明屬於圖像處理中的圖像盲取證領域，具體涉及一種針對物體刪除的縫裁剪圖像定位取證方法。
背景技術：
縫裁剪即seam-carving是一種基於內容感知的圖像縮放技術。該技術不僅可以實現圖像的縮放，還可以實現特定物體的移除。在利用縫裁剪實現特定物體移除時，首先要將刪除的區域標記出來，然後將該區域的能量值賦值為0，最後不斷地刪除一條能量最低的縫，直到所有標記的區域刪除為止。該方法使得刪除物體成為可能，同時不會造成圖像的扭曲與變形。
縫定義為一條從上到下或從左到右貫穿圖像的8連通的低能量像素線。可以用動態規劃技術來選定每個方向的最佳縫，而所謂最佳縫，是指具有最小積累能量的縫，其中積累能量表示了縫中像素的結合重要性。
最常用的能量函數定義如下：
其中，i是一個n×m的圖像。對於一條垂直縫，可以定義為：
其中x表示映射x:[1,...,n]→[1,...,m]。最佳縫s*是一條能量總和最小的縫，可以通過動態規劃m對於每個入口(i,j)的所有可能的連接縫計算而得。
m(i,j)＝e(i,j)+min(m(i-1,j-1),m(i,j-1),m(i-1,j+1))
對於圖像縮小，縫的甄選可以保證維持圖像結構，刪除儘量多的低能量像素，並留下儘量多的高能量像素。特定物體移除是圖像縮減的一個特例，是在保證圖像基本內容不發生扭曲和變形的情況下，儘可能的刪除低能量的縫，保留高能量的縫，同時將標記的區域徹底刪除。
縫裁剪是一種內容感知圖像重定向算法，已經獲得了廣泛的使用，然而也對圖像取證帶來了不少的挑戰。在2013年6月由ieee信息取證和安全技術委員會(ifs-tc)舉辦的首屆圖像取證挑戰難題中，如何檢測縫裁剪操作已經成為一個圖像取證科學挑戰問題。
從2009年開始，陸續出現了一些縫裁剪取證方面的研究成果。首先是2009年，sarkar等人提出的通過提取324維的馬爾科夫特徵來檢測縫裁剪，對於縮小和放大，該方法檢測率分別可達到80％和85％，但是低縮放比例的圖像檢測效果並沒有那麼好。
在2010年，fillion和sharma提出幾個直觀的特徵用於縫裁剪檢測。這些統計特徵集包括基於能量偏差的特徵、基於縫行為的特徵、基於更高次序的圖像統計特徵(小波絕對矩)、基於第二次縫裁剪的特徵。他們取得了更好的檢測結果，對於縫裁剪20％和30％的圖像，檢測率分別達到了84.0％和91.3％。同時，他們還對故意縮放，即刪除特定對象進行檢測，相同條件下，四種特徵組合檢測正確率為76％。
seung-jinryu等人提取了包括平均列能量、平均行能量、平均能量、最大縫、最小縫等14個特徵，並通過svm訓練進行檢測。在不同的縮放比例下正確率為71.52％到93.5％。
qingzhongliu合併了空間域的基於替換重壓縮的特徵和在dct域上基於替換重壓縮的鄰近聯合密度來檢測jpeg格式圖像中的基於內容感知的圖像偽造。
wen-lungchang等人提出針對jpeg格式的縫裁剪圖像的檢測。該檢測技術是以方格特徵區域矩陣(blockingartifactcharacteristicsmatrix,bacm)為基礎。對於原始的jpeg圖像，方格特徵區域矩陣會是對稱且完整的，而對於破壞過的圖像，方格特徵區域矩陣的對稱性會被破壞。在計算出方格特徵區域矩陣後，他們從中定義了18維的特徵，並將這些特徵經由支持向量機作訓練來檢測圖像是原始圖像還是經過縫裁剪修改過的圖像。實驗使用ucid圖像數據集，原始圖像為qf＝75的jpeg格式圖像。
2014年，臺灣的jyh-dawei等人提出了一種基於塊的檢測方法。首先，將圖像分為2*2的小方塊。對於每個小塊定義了9種2*3的塊，作為可能有縫裁剪效果的候選塊。然後通過餘弦相似和仲裁塊計算出哪個是最佳塊，並計算垂直、對角線、斜對角線方向的塊轉換概率矩陣，組成252維的檢測。最後，將這些特徵通過支持向量機進行訓練檢測圖像是否經過縫裁剪操作。這種方法對於縫裁剪20％和50％的圖像檢測結果可以達到92.2％和95.8％。
2015年tingyin等人利用縫裁剪會改變圖像的局部紋理這一特性，提取了6個基於局部二進模式(lbp)特徵。檢測性能可以提高3.5-19.1％。
然而現有方法主要是針對縫裁剪縮放的圖像檢測，沒有專門針對使用縫裁剪進行特定物體移除的篡改檢測的研究，更無法做到物體刪除區域的定位檢測。
技術實現要素：
本發明的目的在於解決上述現有技術中存在的難題，提供一種針對物體刪除的縫裁剪圖像定位取證方法，用於檢測圖像是否使用縫裁剪進行了物體刪除，並將被刪除物體區域定位出來。
本發明是通過以下技術方案實現的：、
一種針對物體刪除的縫裁剪圖像定位取證方法，包括：
(1)對待檢測圖像進行塊效應網格提取，獲得待檢測圖像的塊效應網格圖g；
(2)對所述塊效應網格圖g進行特徵提取，獲得特徵；
(3)利用無監督聚類方法對所述特徵進行分類，獲得分類標記結果圖；
(4)根據分類標記結果圖進行定位檢測。
所述步驟(2)是這樣實現的：
對於塊效應網格圖g中的每一個8*8的塊a＝[a]8*8，使用下式獲得縱向累加序列b：
對縱向累加序列b進行降序排列，得到降序後的集合c及對應的坐標index：
[c,index]＝sort(b,'descend')
其中，sort為排序操作，『descend』表示降序，c為降序後的序列集合，index為每個序列值在縱向累加序列b中對應的索引坐標；
提取縱向累加序列b的最大值f1、次大值f2：
f1＝c1,ci∈c|i∈{1,2,...,8}
f2＝c2,ci∈c|i∈{1,2,...,8}
提取縱向累加序列b的最大值對應的坐標f4、次大值對應的坐標f5：
f4＝index1,indexi∈index|i∈{1,2,...,8}
f5＝index2,indexi∈index|i∈{1,2,...,8}
提取縱向累加序列b的最大值與次大值之和與全部值之和的比值特徵f7：
提取縱向累加序列b的標準差特徵f9：
其中，
所述步驟(3)是這樣實現的：
將最大值f1、次大值f2、最大值對應的坐標f4、次大值對應的坐標f5、比值特徵f7、標準差特徵f9作為輸入，利用無監督聚類方法獲得分類標記結果，並將分類標記結果顯示出來，得到分類標記結果圖。
優選地，所述步驟(2)進一步包括：
提取縱向累加序列b的最大值f1與最小值f1的差值特徵f3：
f3＝f1-f2；
提取最大值對應的坐標f4、次大值對應的坐標f5這兩個坐標差特徵f6：
f6＝|f4-f5|；
提取縱向累加序列b的均值特徵f8：
提取塊效應網格圖g的bag偏移特徵f10：
其中，函數max[a{}]和min[a{}]分別返回集合a{}的最大值和最小值。
所述步驟(3)是這樣實現的：
將最大值f1、次大值f2、差值特徵f3、最大值對應的坐標f4、次大值對應的坐標f5、坐標差特徵f6、比值特徵f7、均值特徵f8、標準差特徵f9和bag偏移特徵f10作為輸入，利用無監督聚類方法獲得分類標記結果，並將分類標記結果顯示出來，得到分類標記結果圖。
所述無監督聚類方法採用3分類的k-means聚類算法。
所述步驟(4)是這樣實現的：
如果在分類標記結果圖上能夠分離出左側區域l、右側區域r和中間區域m，且中間區域m呈兩個漏鬥型結構，且兩個漏鬥型結構的頸部對接，則判定該待檢測圖像經過物體刪除，並且中間區域m的兩個漏鬥型結構的對接處即為被刪除的物體的位置；
如果在分類標記結果圖上不能分離出左側區域l、右側區域r和中間區域m，或者能夠分離出左側區域l、右側區域r和中間區域m，但是中間區域m不呈頸部對接的兩個漏鬥型結構，則判定該待檢測圖像沒有經過物體刪除。
與現有技術相比，本發明的有益效果是：利用本發明方法可以檢測出圖像是否有物體被刪除，並且可以定位出被刪除物體的具體位置。
附圖說明
圖1是物體刪除的形狀特徵圖像
圖2是普通縫裁剪或未發生縫裁剪的形狀特徵圖像
圖3(1)是物體刪除縫裁剪後的塊效應網格圖
圖3(2)-1是左側區域l的局部塊效應網格
圖3(2)-2左側區域l的局部塊效應網格的分布
圖3(3)-1是中間區域m的局部塊效應網格
圖3(3)-2是中間區域m的局部塊效應網格的分布
圖3(4)-1是右側區域r的局部塊效應網格
圖3(4)-2是右側區域r的局部塊效應網格的分布
圖4是本發明方法的步驟框圖
圖5(1)是原始圖像
圖5(2)是圖5(1)的分類結果標記圖
圖6(1)是普通縫裁剪縮小圖像
圖6(2)是圖6(1)的分類結果標記圖
圖7(1)是特定物體移除圖像
圖7(2)是圖7(1)分類結果標記圖
圖8(1)是原圖
圖8(2)是對圖8(1)中間位置的物體刪除後的分類結果標記圖
圖8(3)是對圖8(1)上方位置的物體刪除後的分類結果標記圖
圖8(4)是對圖8(1)下方位置的物體刪除後的分類結果標記圖
圖8(5)是對圖8(1)左側位置的物體刪除後的分類結果標記圖
圖8(6)是對圖8(1)右側位置的物體刪除後的分類結果標記圖。
具體實施方式
下面結合附圖對本發明作進一步詳細描述：
本發明通過物體刪除的縫裁剪圖像的會發生像素位移的行為特徵提出了一種新的物體刪除的縫裁剪定位檢測方法。本發明是基於這樣的事實：當一幅圖像使用縫裁剪刪除一個物體時，被刪除物體左側區域l的像素沒有發生位移；被刪除物體對應的中間區域m，縫裁剪前後圖像像素位置發生左移，但具體某個像素移動的步長不定，沒有規律；被刪除物體右側區域r，縫裁剪前後圖像像素發生左移，且整體移動的步長一致。對於特定物體刪除過程而言，m區域比較集中，而且成對接的兩個漏鬥型結構，l區域位於左側，r區域位於右側，三個區域的劃分比較明顯(如圖1所示)。對於普通的縫裁剪過程而言，m區域面積較大，而且不是對接的兩個三角形(如圖2所示)，或者幾乎無法劃分出l與r區域。因此，如果能夠檢測出一幅圖像存在lmr區域且m區域成對接的兩個三角形結構，那麼就可以判斷出該圖像是否使用縫裁剪技術刪除了某個特定的物體，同時m區域的上下兩個交叉位置即為被刪除物體的原始位置，從而實現刪除物體的準確定位。
圖像在經歷jpeg壓縮過程中，分塊處理的獨立量化過程會在相鄰分塊之間引入塊效應，表現為圖像中呈現水平和垂直的線條，構成8*8的網格，稱為塊效應網格(bag)。在縫裁剪過程中，當刪除一條條縫時，將使得塊效應網格往往不能與其周圍區域的塊效應網格保持匹配，產生塊效應網格的錯配現象(如圖3(1)所示)。而在使用縫裁剪技術進行特定物體移除中，圖像中不同區域的bag錯位具有一定的差異性。假定物體刪除時刪除了m條縫，則在篡改圖像中，l區域的bag不變，沒有發生錯位，其分布為兩邊高中間低(如圖3(2)-1和圖3(2)-2所示)；而m區域的bag錯位雜亂無章,幾乎所有的bag都被錯配，沒有任何規律，其分布比較平緩(如圖3(3)-1和圖3(3)-2所示)；而r區域的bag基本上是整體向右位移了m，其分布為中間高兩邊低(如圖3(4)-1和圖3(4)-2所示)。
基於以上提到的物體刪除縫裁剪圖像的像素位移行為特徵，本發明提出了一種新的基於塊效應網格錯配特性的針對物體刪除縫裁剪圖像有效的定位檢測方法。本發明的實驗結果表明，本發明所提出的方法能夠很好的檢測出圖像是否使用縫裁剪進行物體刪除，並能夠比較準確的定位被刪除物體的位置。
本發明的方法如圖4所示，包括：
首先，對待檢測圖像進行塊效應網格提取；接著計算塊效應網格的特徵；然後將提取的特徵，使用無監督聚類方法進行分類；最後根據分類結果圖像進行定位檢測。
具體如下：
(1)提取jpeg圖像的塊效應網格。
塊效應網格提取的方法是由weihaili提出的(請參考weihaili,yuanyuan,nenghaiyu,passivedetectionofdoctoredjpegimageviablockartifactgridextraction.signalprocessing,2009.89.pp:1821-1929)。
對於所有大小為m×n的jpeg格式的圖像s(m、n為一副圖像的像素的行數和列數)。
1、首先從圖像中提取弱水平線eh
假設s(y,x)是圖像s中的像素點，d(y,x)是圖像絕對二階差分d的一個元素。利用公式(1)可以得到d。
d(y,x)＝|2s(y,x)-s(y-1,x)-s(y+1,x)|公式(1)
然後每33列被水平的累加以擴大d中的弱水平線，參見公式(2)。
最後使用公式(3)獲得弱水平邊緣eh，其中函數mid[a{}]返回集合a{}中的均值，e(y,x)為圖像eh的元素。
e(y,x)＝es(y,x)-mid[{es(i,x)|y-16≤i≤y+16}]公式(3)
2、從eh中以8為周期獲得增強的gh
為了減少噪聲的影響，用公式(4)對eh進行進一步的中值濾波，其中，gh是提取的水平bag圖像gh中的元素。
gh(y,x)＝mid[{e(i,x)|i＝y-16,y-8,y,y+8,y+16}]公式(4)
相應地，垂直方向的bag圖像gv也可用同樣的方法得到。將gh與gv結合起來，便可得到圖像s最終的bag圖g。在公式(5)中，gh為提取的水平bag圖像gh中的元素，gv為提取的垂直bag圖像gv中的元素，g(y,x)為最終提取的bag圖g中的元素。
g(y,x)＝gh(y,x)+gv(y,x)公式(5)
(2)從步驟(1)得到g中提取特徵。
對於圖像g中的每一個8*8的塊a＝[a]8*8，使用公式(6)獲得縱向累加序列b。
對縱向累加序列b進行降序排列，得到降序後的集合c及對應的坐標index
[c,index]＝sort(b,'descend')公式(7)
上式中，sort為排序操作，『descend』表示降序，c為降序後的序列集合，index為每個序列值在b中對應的索引坐標。
提取b的最大值f1、次大值f2，以及最大值與最小值的差值特徵f3：
f1＝c1,ci∈c|i∈{1,2,...,8}公式(8)
f2＝c2,ci∈c|i∈{1,2,...,8}公式(9)
f3＝f1-f2公式(10)
提取b的最大值對應的坐標f4、次大值對應的坐標f5以及這兩個坐標差特徵f6：
f4＝index1,indexi∈index|i∈{1,2,...,8}公式(11)
f5＝index2,indexi∈index|i∈{1,2,...,8}公式(12)
f6＝|f4-f5|公式(13)
提取b的最大值與次大值之和與全部值之和的比值特徵f7：
提取b的均值特徵f8：
提取b的標準差特徵f9：
同時利用weihaili提出的方法計算圖像g的bag偏移特徵f10(請參考weihaili,yuanyuan,nenghaiyu,passivedetectionofdoctoredjpegimageviablockartifactgridextraction.signalprocessing,2009.89.pp:1821-1929)：
對於圖像g中的每一個8*8的塊a＝[a]8*8，如果發生了像素移動，則在6*6的中心矩陣中將存在bag線。因此，定義f10表示bag偏移特徵，如公式(17)所示：
其中，函數max[a{}]和min[a{}]分別返回集合a{}的最大值和最小值。
(3)將前面獲得的10維特徵送入無監督聚類方法，從而獲得分類標記結果。在本發明中採用3分類的k-means聚類算法。k-means聚類算法是無監督聚類方法中的一種。把整幅圖像，每個8*8塊所獲得10個特徵值送入k-means方法，將分類結果設置為3類，就會輸出分類標記結果，標記結果為1、2、3；這裡k取值為3。利用全部10維特徵時效果最好，使用少於10個特徵也可以實現定位檢測，例如僅僅使用f1,f2,f4,f5,f7,f9也可實現，只是定位檢測的效果比使用全部10維特徵的效果要差些。
這些特徵包括：步驟(2)獲得的最大值和次大值，最大值與最小值的差值，最大值坐標和次大值坐標以及兩者的差，最大值與次大值之和與全部值之和的比值，均值和方差，bag偏移特徵。實驗中採用k-means聚類方法。
(4)將步驟(3)所獲得的標記結果顯示出來(例如可以在matlab軟體中按繪圖的形式直接顯示標記結果)，如果圖像能夠比較理想的分離出lmr三個區域，且m區域呈頸部對接的兩個漏鬥型結構(如圖1所示)，則說明該圖像經過物體刪除，並且中間區域m的兩個對立三角形區域的連接處就是刪除的物體位置。如果無法分離出lmr三個區域，或者分離出lmr區域但m區域不呈頸部對接的兩個漏鬥型結構，則該圖像沒有進行物體刪除(如圖2所示)。
這樣就實現了物體刪除的縫裁剪圖像的定位檢測，即給定一副待檢測圖像，基於本發明方法，最後會給出這幅圖像是否有物體被刪除，並且可以定位出被刪除物體的具體位置。
為了檢測本發明提出的物體刪除縫裁剪圖像定位檢測方法的有效性，實驗使用標準圖片庫dresdenimagedatabase(請參考http://forensics.inf.tu-dresden.de/ddimgdb)和自己手機拍的圖片進行測試。圖像庫中圖片為tiff格式的，使用photoshop將其壓縮為jpg格式的圖片作為實驗的原圖,其中壓縮質量因子為中。本發明使用縫裁剪方法(請參考avidan,s.anda.shamir，seamcarvingforcontent-awareimageresizing，acmtransactionsongraphics.2007)進行物體的刪除。
本發明進行了一系列的實驗。首先評估本發明方式是否可以定位出被刪除物體。
圖5(1)為原圖，大小為3264*4928；圖6(1)為傳統縫裁剪後的縮小圖像，垂直方向裁剪後圖像大小為3264*4598；圖7(1)為通過縫裁剪將原圖中的貓移除後的篡改圖，垂直方向裁剪後圖像大小為3264*4598。從圖7(2)可以看出，特定物體移除後的縫裁剪圖像可以較好的分割出lmr區域，並且可以預測出刪除物體的位置(如圖7(2)中的圓圈所示)；而普通縫裁剪圖像和原始圖像都無法很好的劃分出lmr區域(如圖6(2)和圖5(2)所示)。
為了進一步驗證所提方法的可行性，針對刪除物體的不同位置的縫裁剪圖像進行定位實驗，圖8(1)是原圖，從圖8(2)、圖8(3)、圖8(4)可以發現，物體刪除在中間、上方、下方，都能較好的分出lmr三個區域，其中m區域的形狀會變成兩個對接的漏鬥，對接的地方則為預估刪除物體所在的位置(圖中的圈代表預估刪除物體的位置)。物體刪除在左側和右側時，也可以劃分出兩個區域mr(圖8(5))或lm(圖8(6))。不管是哪種形式，儘管分類結果不同，但從整體結構上，已經可以很容易的定位出物體刪除的篡改區域。
本發明主要針對物體刪除的縫裁剪圖像的定位問題，通過對圖像先提取塊效應網格，然後提取包括最大值和次大值，最大值與最小值的差值，最大值坐標和次大值坐標以及兩者的差，最大值與次大值之和與全部值之和的比值，均值和方差，bag偏移特徵組成的特徵集，然後通過聚類方法進行分類，最後根據圖像結果獲得待檢測圖像是否有物體被刪除，並且定位出了被刪除物體的具體位置。
上述技術方案只是本發明的一種實施方式，對於本領域內的技術人員而言，在本發明公開了應用方法和原理的基礎上，很容易做出各種類型的改進或變形，而不僅限於本發明上述具體實施方式所描述的方法，因此前面描述的方式只是優選的，而並不具有限制性的意義。