基於內容相關性的文件涉密內容檢索、密級判定及標註方法
2023-06-03 01:29:31 1
專利名稱：基於內容相關性的文件涉密內容檢索、密級判定及標註方法
技術領域：
本發明涉及對電子文檔裡的具體內容進行基於內容相關性的文件涉密內容檢索、密級判定和標註方法。
背景技術：
在現在的保密工作當中，對於涉密文件的管理和使用是很重要的一個環節，而其中對於文件密級的判定則是一項很重要的工作。現在的密級判定全部依賴於人工來實現，使得判定工作的周期過長、準確性不高，而且密級的確定涉及到整個文件，這就給涉密文件中一些非涉密內容的引用帶來了極大的不便。為此能夠依靠計算機，實現自動化且有效的判斷一個文件的內容是否涉密、哪些具體內容涉密、涉密內容的密級如何的方法就顯得尤·為重要了。現在的文件涉密內容檢索，包括一個已公開的發明專利申請一計算機系統涉密文件搜索方法(申請號200910156814. 3，申請公布號CN 101763394A)，其採用的是對涉密關鍵詞的匹配或者是通過對不同密級、不同類型、不同行業的涉密文件分析出特徵點，然後對這些特徵點實現組合搜索。但這種搜索方法存在一定的局限性，原因如下I.準確性不高。有些關鍵詞和特徵點只有在某種特定的語境下才涉密，而簡單的關鍵詞和特徵點的匹配只能找出文件中是否含有該詞語和特徵點，並不能有效的判斷該處文字的語境，因此，很多時候找出來的「涉密內容」實際上並不涉密。2.完整性不強。文件內容的表達方式多種多樣，包括文字、圖片、視頻、音頻等，僅僅文字方面，對一個事物的表述方式就千差萬別，這就使得無法用一些固定的關鍵詞或特徵點來涵蓋所有的涉密信息，關鍵詞和特徵點只能起到提綱的作用，基於簡單的搜索匹配的方法有可能會漏掉很多不包含關鍵詞和特徵點，但卻包含涉密信息的內容，給保密工作帶來隱患。3.搜索結果的可用性不強。採用已有的方法查找出的文件，用戶只能知道整個文件是涉密還是不涉密，並不能具體的給出文件中究竟哪個詞語、哪個句子、哪個段落的內容涉密、涉密內容的密級分別是什麼，這就給今後引用該文件中的內容造成了很大的不便。4.不具備自動學習的功能。隨著社會的發展，不斷的會有新的文件、新的關鍵詞、新的特徵點出現。而已有的方法，只能是在已有的涉密文件的基礎上來進行搜索，而沒有辦法涉及到新出現的涉密內容。
發明內容
本發明目的在於，針對現有技術中的問題，提出一種基於內容相關性的涉密內容檢索、密級判定及標註方法，其可根據文件的上下文內容來進行智能化的語義檢索，能準確地檢索出文件中的涉密信息、確定涉密內容的範圍、密級，實現對文本內容中涉密內容的準確定位和範圍界定，幫助定密負責人和保密部門的工作人員進行高效的定密和保密檢查工作，實現定密的科學化、合理化、規範化、高效化；還可以對檢索出來的涉密內容進行標註，方便今後對該文件的引用。為了實現上述目的，本發明提出了基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其依次包括以下步驟A、加載步驟加載文檔所屬範圍的涉密關鍵詞及匹配規則庫、本體庫和定密規則庫；B、解析步驟對文檔中的文字進行分詞操作，並解析出該文檔所包含圖片、視頻、音頻中隱含的信息；C、檢索步驟對解析後的文檔進行基於內容相關性的語義檢索，根據語義關聯度的大小來判斷文檔中相關信息與涉密關鍵詞的內容相關性的大小，檢索出文檔中的涉密內容及該涉密內容在文檔中的範圍；D、密級確定步驟根據檢索結果和所屬範圍的定密規則庫，確定文檔中涉密內容 的密級；E、標註步驟對文檔中確定了密級的涉密內容進行標註，生成標註文檔。作為優選，本發明還包括步驟F :根據對整個文件的密級標註進行分析統計，給出文件中各個密級內容的統計信息，依據設定的文檔密級確定規則給出整個文檔的密級判定，並對其進行標註。作為優選，本發明還包括步驟G :從文檔中提取相關信息，如提取相應的關鍵字、生成內容摘要、給出該文檔應屬的部門、定密時間等，製成該文檔的定密審批表和加了密級標註的文檔。作為優選，本發明基於內容相關性進行涉密內容檢索、密級確定及標註的方法還包括自學習步驟對不屬於已有範圍的文檔，對文檔進行完檢索後，提取相應的關鍵字和匹配規則，加入到默認關鍵詞詞庫和匹配規則庫當中。作為優選，所述加載步驟中文檔所屬範圍的涉密關鍵詞及匹配規則庫是指對屬於某一特定領域範圍、某一特定部門、行業中的已知的所有涉密關鍵詞集合；與該行業、領域判斷是否是涉密信息的相關文字的語法、語義規則的集合以及相關圖片涉密信息的匹配規
則集合。作為優選，所述加載步驟中，對於不確定文檔所屬領域的，可採用默認的涉密關鍵詞及匹配規則庫。默認的涉密關鍵詞及匹配規則庫是由所有的部門關鍵詞詞庫和匹配規則中使用頻率最高的一些關鍵詞和匹配規則組成，可以最大範圍的覆蓋各個不同領域的文檔。作為優選，所述加載步驟中，若選擇了默認的涉密關鍵詞及匹配規則庫，則還需要據初次匹配的結果，分析得出該文檔所屬的領域或部門，再加載該部門涉密關鍵詞詞庫和規則庫進行進一步的分析匹配，以得到更精確的結果。作為優選，所述解析步驟中的分詞操作的主要對象是中文和英文。分詞又叫切詞，中文分詞是指將連續的漢字序列按照一定的規範重新切成分詞序列的過程，即將文檔的文字內容分解成與上下文環境相匹配的一個一個的詞語；英文分詞則相對簡單，根據文中英文單詞之間的空格就可以很好的對英文進行分詞操作。作為優選，所述解析步驟中的分詞操作，可以採用某種單一的分詞方法，也可以採用多種不同分詞方法的組合，並可以對分詞方法進行優先級設定，即在採用多種不同的分詞方法進行分詞操作的過程中，如果發生了分詞衝突，則以優先級高的分詞方法為準。作為優選，所述解析步驟中的分詞操作可以與多核並行計算相結合，在保證分詞精度的同時提高分詞的速度。作為優選，所述解析步驟中，還包括對文字以外的其它信息的解析，如對圖片、視頻、音頻中所隱含的信息的解析。作為優選，在檢索步驟中，利用解析步驟的結果，對解析後的文檔進行基於內容相關性的語義檢索，並根據語義關聯度的大小來判斷文檔中相關信息與涉密關鍵詞的內容相關性的大小，從而得知文檔中的相關信息是否涉密。作為優選，在檢索步驟中，對解析出的信息依據其與涉密關鍵詞的內容相關性程度，構建一個基於涉密關鍵詞的語義關聯網絡，便於依據關鍵詞來檢索與涉密相關的信息。
作為優選，在密級確定步驟中，對文檔中的涉密信息，依據相應的定密規則庫對其進行密級的判定，根據對文檔中所有涉密信息的密級判定，最終確定整個文檔的密級。作為優選，在密級確定步驟中，密級判定規則可以有多種不同的形成方式。可以直接採用與該涉密信息相關的涉密關鍵詞的密級；也可以通過分析其與多個不同涉密關鍵詞的關聯程度來計算得到；也可以將相應的密級判定辦法用語義規則來描述，通過語義規則來判斷涉密信息的密級；還可以將關鍵詞和語義規則結合起來，共同判定涉密信息的密級。作為優選，在標註步驟中，將文檔中所有涉密信息進行標註，註明涉密關鍵詞、涉密關鍵句、涉密關鍵段落的密級，並生成相應的標註文檔，便於今後的檢查和使用。作為優選，在標註步驟中，除了簡單的標註密級外，還應給整篇文檔加注符合規範的密級標籤，使得該文檔具有相應密級所應具備的所有屬性。作為優選，在標註步驟中，採用相應的加密技術，對生成的標註文檔做加密處理，讓其中的內容無法被複製，增強涉密文檔的保密性。作為優選，在自學習階段，通過對屬於已有關鍵詞詞庫範圍外的文檔的分析檢索，並進行與已有涉密關鍵詞的內容相關性搜索，匹配出與已有涉密關鍵詞內容相關性最高的若干個詞語，進行新的關鍵詞的提取操作，將其加入到默認關鍵詞詞庫當中。作為優選，在自學習階段，通過提取的涉密關鍵詞，還可以提取出與新的涉密關鍵詞相關的定密語義規則，並將該規則加入到默認的涉密匹配規則庫當中。作為優選，該方法能夠在單機版的應用程式中實現，也能在網絡版的應用程式中使用，還能夠作為插件嵌入到其它應用程式中使用。作為優選，該方法可以對單個文檔進行定密操作，也可以對一批文檔進行定密操作。本發明的有益效果本發明對文檔進行基於內容相關性的語義搜索，可根據文檔所屬範圍選擇相應的涉密關鍵詞及匹配規則庫，通過對文檔內容進行分詞操作並構建語義關聯網，準確而全面地查找出文檔中的涉密信息，並依據定密規則，對各個涉密信息點進行密級判定和加密處理，然後綜合各個涉密信息點的密級給出整個文檔的相應密級，最後，將相關的密級信息在文檔中進行標註。該方法能夠高效地查找文檔中的涉密信息並準確地判斷文檔的密級，大大減少了人工定密的工作量，提高了定密工作和密級鑑定工作的效率。該方法能準確的確定計算機中文件的密級，有效地防止定密過程中隨意定密現象的產生，是保密工作源頭的重要保障。另外，本發明還具有自動學習的功能，通過不斷地對各種類型的文件進行涉密內容的檢索，可以自動地生成相應的檢索關鍵字和檢索規則，從而不斷的提高檢索和密級判定的精度。
圖I是本發明基於內容相關性的文件涉密內容檢索及密級判定和標註方法的流程圖。
圖2為本發明實施例形成的語義關聯網示意圖。
具體實施例方式參閱圖1，基於內容相關性的文件涉密內容檢索、密級判定及標註的流程具體步驟描述如下A、加載步驟用戶填寫相關信息，如部門名稱、定密人、事項名稱等，並提交文檔，其中，定密人一項為必填項目，其它項目可由系統自動生成，根據用戶填寫的部門信息加載所屬範圍的涉密關鍵詞及匹配規則庫、本體庫和定密規則庫，若用戶沒有填寫部門信息，則加載默認的涉密關鍵詞及匹配規則庫、本體庫和定密規則庫。B、解析步驟對提交的文檔進行分詞操作，並解析出該文檔所包含圖片、視頻、音頻中隱含的信息。根據不同的文檔類型，使用不同的解析方法(分詞方法)如TXT文檔，則直接利用中英文的分詞算法對其進行分詞操作；如WORD文檔，除了對其中的文字內容進行分詞操作以外，還需要對其中可能包含的圖片進行解析，提取其中可能包含的涉密信息；對PDF等其他類型的文件，採用相應的方法解析出文字、圖片、格式等信息。C、檢索步驟根據文檔的解析(即分詞)結果和加載的所屬範圍的涉密關鍵詞詞庫及本體庫查找文檔中的涉密關鍵詞(本體庫是某領域的詞語的集合，結合本體庫，就可以更好的找到文本中可能存在的與涉密關鍵詞同義的詞語。)；利用基於內容相關性的語義檢索，依次檢索出文檔中與找到的涉密關鍵詞有內容相關性的詞語、句子和段落，將檢索出的與涉密關鍵詞有內容相關性的信息按其相關程度的大小，加入到有內容相關性的語義關聯網中，再將語義關聯網中構建的關係與涉密匹配規則庫的規則比較，檢索出涉密的語句、段落。語義關聯網就是根據涉密關鍵詞之間的關係組建的涉密關鍵詞聯繫網。語義關聯網的主要作用就是便於定密規則的機器化實現。D、密級確定步驟利用所屬範圍的定密規則庫對檢索出來的涉密關鍵詞、短語、句子、段落進行密級判定；E、標註步驟對文檔中確定了密級的涉密內容進行標註，生成標註文檔。F、根據對整個文檔的密級標註進行分析統計，給出文檔中各個密級內容的統計信息，依據設定的文檔密級確定規則給出整個文檔的密級判定，並對其進行標註。G、從文檔中提取相關信息，如提取相應的關鍵字、生成內容摘要、給出該文檔應屬的部門、定密時間等，製成該文檔的定密審批表和加了密級標註的文檔。本發明通過對文檔內容進行基於內容相關性的語義檢索，檢索文檔中與涉密關鍵詞相關的內容信息，並將其與定密規則庫中的定密規則相匹配，對文檔中的信息進行密級的判定和標註。同時，除了對涉密關鍵詞的密級判定外，還可以對句子、段落進行密級的判定和標註，實現定密過程的自動化和深入化，有效地簡化了定密人員的工作，縮短了定密和密級鑑定的時間，提高了定密的精確度，很好地防止了隨意定密造成的涉密文件過多的現象，以利於保密工作的開展。本發明基於內容相關性的文件涉密內容檢索、密級判定和標註方法可以根據待定密文檔所屬的部門來進行密級判定，也可以選擇默認的涉密關鍵詞庫、本體庫來進行密級判定。對文檔中相關信息的判定結果，會在文檔中進行標註，並對整個文檔的密級進行計算和標註，同時生成密級審批表和標註文檔，並將其放入到一個臨時的文件保護區當中，待審核過後，便按密級、按部門進行分類保存。本發明可以應用於政府、公檢法、財稅、金融、軍隊、企事業單位等，凡是會產生涉密文件的單位，對新產生的文件進行密級鑑定，確定其密級後，才能在該密級所規定的範圍內進行傳播；還可用於保密工作部門對各行 業開展保密工作檢查，提高保密工作的效率。下面以一段文字為例，來看看是如何進行密級判定的。例文加勒比總理Sotos將於2012年10月31日應邀來華進行國事訪問。在其訪問期間，將與我國總理就目前加勒比的緊張局勢進行磋商。Sotos總理在華期間的安全必須得到保障。保衛工作中，無線電的使用方案如下在其出行的過程中，主要是從釣魚臺到中南海的道路沿線，對周邊I公裡範圍內的無線電進行管制，只允許保衛人員用無線電頻率91. 8MHz進行通信。A、加載所屬範圍的涉密關鍵詞及匹配規則庫、本體庫和定密規則庫；涉密關鍵詞詞庫外國元首，政府首腦，重要領導人，無線電，安全……。本體庫總統、總理、國王、副總統、副總理、議長、委員長……(省略了很多與「外國元首」、「政府首腦」、「重要領導人」有關的詞語)、電臺、微波、頻率、管制、實施方案……(省略了很多與「無線電」有關的詞語)、安全措施、安全保障、安全手段……(省略了很多與「安全」有關的詞語)……B、對該文檔進行解析(分詞)，得到解析結果如下加勒比總理Sotos將於2012年10月31日應邀來華進行國事訪問。在其訪問期間，將與我國總理就目前加勒比的緊張局勢進行磋商。Sotos總理在華期間的安全必須得到保障。保衛工作中，無線電的使用方案如下在其出行的過程中，主要是從釣魚臺到中南海的道路沿線，對周邊I公裡範圍內的無線電進行管制，只允許保衛人員用無線電頻率91. 8MHz進行通信。C、根據文檔的解析(即分詞)結果和加載的所屬範圍的涉密關鍵詞詞庫和本體庫查找文檔中的涉密關鍵詞，得到文檔中的涉密關鍵詞總理、安全、保障、無線電、使用方案、頻率、管制；利用基於內容相關性的語義檢索，依次檢索出文檔中與找到的涉密關鍵詞有內容相關性的詞語、句子和段落，將檢索出的與涉密關鍵詞有內容相關性的信息按其相關程度的大小，加入到有內容相關性的語義關聯網中，得到語義關聯網如圖2所示；圖2中，斜體文字表示是涉密關鍵詞，圓圈為語義關聯網的初始節點，雙環形為語義關聯網的終止節點，類橢圓形框中的詞語為中心詞語，矩形框中的詞語為中心詞語的修飾語，圓角矩形中的內容為某一中心詞語的複合修飾內容，可以看作是一個語義子網。再將語義關聯網中構建的關係與所屬範圍的涉密匹配規則庫的規則比較，檢索出涉密的語句、段落。通過對涉密關鍵詞所在的語義網路徑進行搜索，我們知道，是要對「加勒比」 「總理」 「在華」的安全進行保障；通過對「無線電」 「使用方案」的複合修飾內容的檢索，裡面包含有對關鍵詞「無線電」進行修飾的「頻率」，並且有「91. 8MHz」這個具體的頻率值來進一步修飾「頻率」。分析完成後，我們知道，這段文字涉及到對外國元首來訪期間安全保障所使用的無線電頻率。在此，可以注意到，在語義關聯網中，給出具體使用頻率的斜體的「無線電」上方的那個「無線電」不是涉密關鍵詞，這是由語義檢索來判定的，所以在不同的環境下，同一個詞語它是否涉密是需要通過語義檢索來進行判定的，並不是簡單的查找匹配就能判定的。D、通過查找所屬範圍的定密規則庫，即在《國家無線電管理工作中國家秘密及其密級具體範圍的規定》中，第二條第(二)項第二點規定外國元首、政府首腦或其它重要領導人來訪期間使用的無線電技術資料應為機密級事項。因而，判定這段文字符合該定密規貝U，其密級可以確定為「機密級」。E、對該段文字中的機密級內容進行標註，標註修飾「使用方案」的複合修飾內容為「機密級」，這意味著在加標註的文件中，與語義關聯網中，該修飾部分內容對應的文字，全部要標註成「機密級」，其餘文字不標註；
F、將整個段落標註成「機密級」段落，因為整個文檔的密級通過對各個段落的密級取最高級別得到，從而完成對整個文檔的密級判定和標註工作。由此得到經過標註的文檔如下(陰影文字表示絕密內容，加粗黑體表示機密內容，普通黑體表示秘密內容，下劃線表示涉密關鍵詞，段落最後的上標表示該段落的密級)加勒比總理Sotos將於2012年10月31日應邀來華訪進行國事訪問。在其訪問期間，將與我國總理就目前Alish國內的緊張局勢進行磋商。Sotos總理在華期間的必須得到保衛工作中，無線電的使用方案如下在其出行的過程中，主要是從釣魚臺到中南海的
道路沿線，對周邊1公裡範圍內的無線電進行管制,只允許保衛人員用無線電頻率91. SMHz
進行通信。機密G、結合相應的「用戶填寫信息」，輸出「定密審批表」如下表所示(其中，*號為用戶填寫的相關信息，除籤字蓋章部分外，其餘均由系統生成)。國家秘密事項密級確定審批表
權利要求
1.一種基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於依次包括以下步驟 A、加載步驟加載文檔所屬範圍的涉密關鍵詞及匹配規則庫、本體庫和定密規則庫； B、解析步驟對文檔中的文字進行分詞操作，並解析出該文檔所包含圖片、視頻、音頻中隱含的信息； C、檢索步驟對解析後的文檔進行基於內容相關性的語義檢索，根據語義關聯度的大小來判斷文檔中相關信息與涉密關鍵詞的內容相關性的大小，檢索出文檔中的涉密內容及該涉密內容在文檔中的範圍； D、密級確定步驟根據檢索結果和所屬範圍的定密規則庫，確定文檔中涉密內容的密級； E、標註步驟對文檔中確定了密級的涉密內容進行標註,生成標註文檔。
2.根據權利要求I所述的基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於還包括自學習步驟對不屬於已有範圍的文檔，對文檔進行完檢索後，提取相應的關鍵字和匹配規則，加入到默認的涉密關鍵詞及匹配規則庫中。
3.根據權利要求I所述的基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於還包括步驟F :根據對整個文檔的密級標註進行分析統計，給出文檔中各個密級內容的統計信息，依據設定的文檔密級確定規則給出整個文檔的密級判定，並對其進行標註。
4.根據權利要求I所述的基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於還包括步驟G :從文檔中提取相關信息，如提取相應的關鍵字、生成內容摘要、給出該文檔應屬的部門、定密時間等，製成該文檔的定密審批表和加了密級標註的文檔。
5.根據權利要求I所述的基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於，所述加載步驟中文檔所屬範圍的涉密關鍵詞及匹配規則庫是指該文檔所屬的某一特定領域範圍或某一特定部門已知的所有涉密關鍵詞集合，和該領域、部門判斷是否是涉密信息的相關文字的語法、語義規則的集合以及相關圖片涉密信息的匹配規則集口 ο
6.根據權利要求I所述的基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於，所述加載步驟中，對於不確定文檔所屬領域的，採用默認的涉密關鍵詞及匹配規則庫，該默認的涉密關鍵詞及匹配規則庫是由所有的部門關鍵詞詞庫和匹配規則中使用頻率最聞的一些關鍵詞和匹配規則組成。
7.根據權利要求I所述的基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於，所述加載步驟中，若選擇了默認的涉密關鍵詞及匹配規則庫，則根據初次匹配的結果，分析得出該文檔所屬的領域或部門，再加載該部門的涉密關鍵詞及匹配規則庫進行進一步的分析匹配。
8.根據權利要求I所述的基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於，所述檢索步驟中，根據文檔的分詞結果和加載的所屬範圍的涉密關鍵詞詞庫及本體庫查找文檔中的涉密關鍵詞，並利用基於內容相關性的語義檢索，依次檢索出文檔中與找到的涉密關鍵詞有內容相關性的詞語、句子和段落，將檢索出的與涉密關鍵詞有內容相關性的信息按其相關程度的大小，加入到有內容相關性的語義關聯網中，再將語義關聯網中構建的關係與涉密匹配規則庫的規則比較，檢索出涉密的語句、段落。
9.根據權利要求I所述的基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於，所述解析步驟中的分詞操作與多核並行計算相結合。
10.根據權利要求I所述的基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其特徵在於，所述標註步驟中，採用加密技術對生成的標註文檔做加密處理。
全文摘要
一種基於內容相關性進行涉密內容檢索、密級確定及標註的方法，其主要是根據文檔所屬範圍選擇相應的涉密關鍵詞及匹配規則庫，通過對文檔內容進行分詞操作並構建語義關聯網，準確而全面地查找出文檔中的涉密信息，並依據定密規則庫中的定密規則，對各個涉密信息點進行密級判定和加密處理，然後綜合各個涉密信息點的密級給出整個文檔的相應密級，最後，將相關的密級信息在文檔中進行標註。該方法能夠高效地查找文檔中的涉密信息並準確地判斷文檔的密級，大大減少了人工定密的工作量，提高了定密工作和密級鑑定工作的效率，有效地防止定密過程中隨意定密現象的產生，可以自動地學習新的涉密關鍵詞及匹配規則，從而不斷的提高檢索和密級判定的精度。
文檔編號G06F17/30GK102819604SQ20121029606
公開日2012年12月12日 申請日期2012年8月20日 優先權日2012年8月20日
發明者徐亮, 譚煌 申請人:徐亮, 譚煌