確定圖文對應關係的方法和裝置與流程
2023-05-11 17:05:51 3
本發明涉及確定圖文對應關係的方法和裝置，更具體地，本發明涉及對於一組圖像的圖文對應關係的方法和裝置。
背景技術：
近年來，隨著社交媒體的發展，網際網路上出現了大量的用戶生成內容(User Generated Content,UGC)，例如用戶發布的微博、微信、圖像等。人們在表達他們對的看法時，常常喜歡上傳靜態圖像(例如照片)或動態圖像(例如視頻)以配合文字評論來說明自己的觀點。
用戶發布的評論通常是包括多個語句的一段話，並且配合包括多幅圖像的一組圖像。評論中的多個語句通常對應於一組圖像中的不同圖像。例如，評論中前面的語句可描述排列在後面的圖像，或者評論中後面的語句可描述排列在前面的圖像。這樣圖文之間經常會出現順序不對應的情況。特別是有些網站在上載來自用戶的多幅圖像時，可能會對多幅圖像隨機排序，導致用戶無法控制所發布的多幅圖像的顯示順序。
技術實現要素：
本發明實施例的目的在於提供一種確定圖文對應關係的方法和裝置，以解決上述問題。
本發明的一個實施例提供了一種確定圖文對應關係的方法，包括：獲得對於一組圖像的評論，其中評論包括多個語句；基於預先建立的關鍵詞庫，從每個語句中提取關鍵詞；以及根據評論的一個語句中的關鍵詞，在一組圖像中確定與該語句對應的圖像。
本發明的另一實施例提供了一種確定圖文對應關係的裝置，包括：獲取單元，被配置為對於一組圖像的評論，其中評論包括多個語句；關鍵詞提取單元，被配置為基於預先建立的關鍵詞庫，從每個語句中提取關鍵詞；以及確定單元，被配置為根據評論的一個語句中的關鍵詞，在一組圖像中確定與 該語句對應的圖像。
通過本發明實施例的方案，能夠確定包含一段文字中的各個語句與一組圖像中每個圖像的對應關係。此外，通過從用戶對於一組圖像的評論中提取關鍵詞，能夠利用少量的關鍵詞與圖像中的大部分關鍵特徵建立聯繫，從而簡化了確定對應關系所需要進行的操作，並且提高了確定結果的準確性。
附圖說明
圖1是描述了根據本發明一個實施例的確定圖文對應關係的方法的流程圖。
圖2是示出根據本發明一個示例，根據關鍵詞和第二關鍵詞確定一組圖像中的每個圖像和評論中的每個語句之間的對應關係的方法的流程圖。
圖3示出了根據本發明一個示例的一組圖像。
圖4是示出了根據本發明的一個實施例的確定圖文對應關係的裝置的示範性結構框圖。
圖5是示出根據本發明一個示例，確定單元的示範性結構框圖。
圖6是示出按照本發明實施例的檢測異常情形的系統的總體硬體框圖。
具體實施方式
為了使本領域技術人員更好地理解本發明，將參考附圖詳細描述本發明的優選實施例。注意，在本說明書和附圖中，具有基本上相同步驟和元素用相同的附圖標記來表示，且對這些步驟和元素的重複解釋將被省略。
在根據本發明的實施例中，評論是包含多個語句的一段文字。每個圖像的標籤是不包含在評論中的對於該圖像的標註。
圖1是描述了根據本發明一個實施例的確定圖文對應關係的方法100的流程圖。下面，將參照圖1來描述根據本發明實施例的確定圖文對應關係的方法。如圖1所示，在步驟S101中，獲得對於一組圖像的評論，其中所述評論包括多個語句。評論中的語句可以是用自然語言表述的語句。例如，用戶發布在網站上的對某一產品的評論等。根據本發明的一個示例，評論可以是對於，某款相機性能、外觀等的評論，並且所述一組圖像可以是通過該相機拍攝的照片。
然後在步驟S102中，基於預先建立的關鍵詞庫，從每個語句中提取關鍵 詞。根據本發明的一個示例，可預先獲取已有的評論，並對所獲取的已有評論進行分析來獲得關鍵詞庫中的詞語。例如，可通過網際網路從社交網站上獲取已有評論。此外，還可預先獲取已經生成的圖像標籤，並對所獲取的已有標籤進行分析來獲得關鍵詞庫中的詞語。具體地，關鍵詞庫可包括預先從與對於一組圖像的評論不同的其它評論中提取的第一候選詞語和從先前對其他圖像生成的標籤中提取的第二候選詞語。
此外根據本發明的另一示例，第一候選詞語和第二候選詞語可包括被攝對象、場景、圖像元數據、圖像特徵、多個圖像之間的位置關係、和/或評論中出現頻率高於預定頻率的詞等。例如，被攝對象可以是男人、女人、小孩、學生等。場景可以是雪天、晴天、陰天、室內等。圖像元數據可以是從在拍攝相應圖像時生成的EXIF信息中提取的，可包括拍攝的時間、地點、模式、光圈大小、快門速度、ISO值等。圖像特徵可以是諸如偏紅、偏黃、發紫之類的對於圖像特點的描述。多個圖像之間的位置關係可以是諸如第一、第二、最後之類的描述圖像出現順序的詞。此外，評論中出現頻率高於預定頻率的詞可以是紅眼、閉眼、模糊、噪點等和圖像中出現問題相關的詞。
第一候選詞語中的一些詞語可能與和第二候選詞語中的一些詞語重複。例如，指示被攝對象的詞語，可能既出現在評論中又出現在標籤中。可選擇地，根據本發明的另一示例可對第一候選詞語和第二候選詞語進行合併處理以便後續操作。例如，在合併處理中可刪除第二候選詞語中與第一候選詞語重複的詞語。
此外，根據本發明的另一示例，在步驟S102中，可對評論進行劃分，以獲得多個評論片段，然後在每個評論片段中提取關鍵詞。例如，可以按照自然句對評論進行劃分，然後在每個自然句中提取關鍵詞。此外，也可以以其它單位對評論進行劃分。
在步驟S103中，根據評論的一個語句中的關鍵詞，在所述一組圖像中確定與該語句對應的圖像。例如，可計算一組圖像中的每個圖像與每個語句的關鍵詞的匹配度，從而確定一組圖像中的每個圖像和評論中的每個語句之間的對應關係。
圖2是示出根據本發明一個示例，根據關鍵詞和第二關鍵詞確定一組圖像中的每個圖像和評論中的每個語句之間的對應關係的方法200的流程圖。如圖2所示，在步驟S201中在多個語句中選擇一候選語句。然後在步驟S202 中，根據候選語句中的關鍵詞對所述一組圖像進行識別，以在所提取的該候選語句的關鍵詞中確定與所述一組圖像中的每個圖像匹配的關鍵詞作為該圖像的標籤。
圖3示出了根據本發明一個示例的一組圖像。如圖3所示，所述一組圖像包括關於河流的第一圖像310、關於花的第二圖像320、和關於狗的第三圖像330。假設候選語句中的關鍵詞包括「狗」、「晴天」、「運動」和「土地」。根據步驟S202，可對第一圖像310、第二圖像320和第三圖像330進行圖像識別，以確定其中是否包括「狗」、「晴天」、「運動」和「土地」，並且獲得第一圖像310與關鍵詞「晴天」和「土地」匹配，第二圖像320與關鍵詞「狗」、「晴天」、「運動」和「土地」都匹配，以及第三圖像330隻與關鍵詞「晴天」匹配。根據識別結果，可生成第一圖像310的標籤「晴天」和「土地」，生成第二圖像320的標籤「狗」、「晴天」、「運動」和「土地」，並且生成第三圖像330的標籤「晴天」。
此外根據本發明的另一示例，在根據關鍵詞確定對應關係前，可將一組圖像轉換為圖像數組。例如當對於圖3中所示的一組圖像的關鍵詞中包括「第三」時，基於步驟S202根據圖像中數組的順序，可識別數組中各個圖像的順序，並確定第三圖像330與關鍵詞「第三」匹配，並且生成第三圖像330的標籤「第三」。在根據本示例的方法中，根據從評論的語句提取的少量的關鍵詞對圖像進行識別，而不需要對圖像建立很多用於確定圖像內容或特徵的分類器或對象/場景識別器。
返回圖2，在步驟S203中根據圖像的標籤確定所述一組圖像中與候選語句對應的圖像。例如，可確定在一組圖像中具有最多標籤的圖像為候選語句對應的圖像。又例如，可根據與每個圖像匹配的所有標籤，計算每個圖像與候選語句的匹配度，並且根據所計算的匹配度確定所述一組圖像中與候選語句對應的圖像。
根據本發明的一個示例，在步驟S203中，可計算在候選語句中的關鍵詞中與一個圖像匹配的關鍵詞(即，標籤)的數量作為匹配度，並且確定匹配的關鍵詞的數量是否超過預定閾值，當匹配的關鍵詞的數量超過預定閾值，可確定該圖像與當前候選語句對應。可選擇地，可按照類型預先設置關鍵詞的分類，並分配每類關鍵詞的權重。在步驟S203中，可計算匹配的關鍵詞(即，標籤)的加權數量作為匹配度。
可將評論中的各個語句逐一作為候選語句，並對於每個語句重複執行步驟S201至步驟S203，直到獲得確定所有語句的對應圖像為止。此外，對每個語句，在確定對應圖像的操作開始之前，所有的圖像都被重新初始化為未經過對應的狀態。
應注意，圖1和2中所示的方法的各個步驟不必按照所示的順序執行。可以顛倒或並行地執行某些步驟。可以先執行選擇一候選語句，在確定候選語句後，可針對該候選語句執行提取關鍵詞。此外，根據圖2中所示的方法中生成的圖像的標籤可被加入到關鍵詞庫中，以作為用於確定其他圖像組與其評論的對應關係時所使用的第二候選詞語。
在根據本實施例的確定圖文對應關係的方法中，能夠確定包含一段文字中的各個語句與一組圖像中每個圖像的對應關係。此外，通過從用戶對於一組圖像的評論中提取關鍵詞，能夠利用少量的關鍵詞與圖像中的大部分關鍵特徵建立聯繫，從而簡化了確定對應關系所需要進行的操作，並且提高了確定結果的準確性。
下面，參照圖4說明本發明實施例的確定圖文對應關係的裝置。圖4是示出了根據本發明的一個實施例的確定圖文對應關係的裝置400的示範性結構框圖。如圖4中所示，本實施例的確定圖文對應關係的裝置400包括獲取單410、關鍵詞提取單元420和確定單元430。在確定圖文對應關係的裝置400中的各個單元可分別執行上述圖1中的確定圖文對應關係的方法100的各個步驟/功能。因此，以下僅對確定圖文對應關係的裝置400的主要部件進行了描述，而省略了以上已經結合圖1描述過的細節內容。
具體地，獲取單元410可獲得對於一組圖像的評論，其中所述評論包括多個語句。評論中的語句可以是用自然語言表述的語句。例如，用戶發布在網站上的對某一產品(例如相機)的評論等。根據本發明的一個示例，評論可以是對於，某款相機性能、外觀等的評論，並且所述一組圖像可以是通過該相機拍攝的照片。
然後關鍵詞提取單元420基於預先建立的關鍵詞庫，從每個語句中提取關鍵詞。關鍵詞庫可存儲在電子設備400中，可替換地，也存儲在與裝置400相連接的、獨立於裝置400的存儲介質中。
根據本發明的一個示例，可預先獲取已有的評論，並對所獲取的已有評 論進行分析來獲得關鍵詞庫中的詞語。例如，可通過網際網路從社交網站上獲取已有評論。此外，還可預先獲取已經生成的圖像標籤，並對所獲取的已有標籤進行分析來獲得關鍵詞庫中的詞語。具體地，關鍵詞庫可包括預先從與對於一組圖像的評論不同的其它評論中提取的第一候選詞語和從先前對其他圖像生成的標籤中提取的第二候選詞語。
此外根據本發明的另一示例，第一候選詞語和第二候選詞語可包括被攝對象、場景、圖像元數據、圖像特徵、多個圖像之間的位置關係、和/或評論中出現頻率高於預定頻率的詞等。例如，被攝對象可以是男人、女人、小孩、學生等。場景可以是雪天、晴天、陰天、室內等。圖像元數據可以是從在拍攝相應圖像時生成的EXIF信息中提取的，可包括拍攝的時間、地點、模式、光圈大小、快門速度、ISO值等。圖像特徵可以是諸如偏紅、偏黃、發紫之類的對於圖像特點的描述。多個圖像之間的位置關係可以是諸如第一、第二、最後之類的描述圖像出現順序的詞。此外，評論中出現頻率高於預定頻率的詞可以是紅眼、閉眼、模糊、噪點等和圖像中出現問題相關的詞。
第一候選詞語中的一些詞語可能與和第二候選詞語中的一些詞語重複。例如，指示被攝對象的詞語，可能既出現在評論中又出現在標籤中。可選擇地，根據本發明的另一示例可對第一候選詞語和第二候選詞語進行合併處理以便後續操作。例如，在合併處理中可刪除第二候選詞語中與第一候選詞語重複的詞語。
此外，根據本發明的另一示例，關鍵詞提取單元420可對評論進行劃分，以獲得多個評論片段，然後在每個評論片段中提取關鍵詞。例如，可以按照自然句對評論進行劃分，然後在每個自然句中提取關鍵詞。此外，也可以以其它單位對評論進行劃分。
確定單元430根據評論的一個語句中的關鍵詞，在所述一組圖像中確定與該語句對應的圖像。例如，可計算一組圖像中的每個圖像與每個語句的關鍵詞的匹配度，從而確定一組圖像中的每個圖像和評論中的每個語句之間的對應關係。
圖5是示出根據本發明一個示例，確定單元430的示範性結構框圖。如圖5所示，確定單元440包括語句選擇模塊510、識別模塊520和確定模塊530。在確定單元440中的各個模塊可分別執行上述圖2中的方法200的各個步驟/功能。因此，以下僅對確定單元440的主要部件進行了描述，而省略了 以上已經結合圖2描述過的細節內容。
語句選擇模塊510在多個語句中選擇一候選語句。然後識別模塊520根據候選語句中的關鍵詞對所述一組圖像進行識別，以在所提取的該候選語句的關鍵詞中確定與所述一組圖像中的每個圖像匹配的關鍵詞作為該圖像的標籤。例如，識別模塊520可根據關鍵詞進行圖像內容識別，以確定圖像中是否存在關鍵詞所指示的內容，並且當存在該內容時生成相應的標籤。又例如，識別模塊520可根據關鍵詞進行排列順序識別，以確定圖像在所述一組圖像中的順序是否為關鍵詞所指示的順序，並且當確定順序匹配時生成相應的標籤。根據示例的識別模塊520基於從評論的語句提取的少量的關鍵詞對圖像進行識別，而不需要對圖像建立很多用於確定圖像內容或特徵的分類器或對象/場景識別器。
確定模塊530根據與每個圖像匹配的關鍵詞，確定一組圖像中與候選語句對應的圖像。例如，確定模塊530可確定在一組圖像中具有最多標籤的圖像為候選語句對應的圖像。又例如，確定模塊530可根據與每個圖像匹配的所有標籤，計算每個圖像與候選語句的匹配度，並且根據所計算的匹配度確定所述一組圖像中與候選語句對應的圖像。
根據本發明的一個示例，確定模塊530可計算在候選語句中的關鍵詞中與一個圖像匹配的關鍵詞(即，標籤)的數量作為匹配度，並且確定匹配的關鍵詞的數量是否超過預定閾值，當匹配的關鍵詞的數量超過預定閾值，可確定該圖像與當前候選語句對應。可選擇地，可按照類型預先設置關鍵詞的分類，並分配每類關鍵詞的權重。確定模塊530可計算匹配的關鍵詞(即，標籤)的加權數量作為匹配度。
可將評論中的各個語句逐一作為候選語句，並對於每個語句重複執行語句選擇模塊510、識別模塊520和確定模塊530，直到獲得確定所有語句的對應圖像為止。此外，對每個語句，在確定對應圖像的操作開始之前，所有的圖像都被重新初始化為未經過對應的狀態。此外，確定單元440生成的圖像的標籤可被加入到關鍵詞庫中，以作為用於確定其他圖像組與其評論的對應關係時所使用的第二候選詞語。
在根據本實施例的確定圖文對應關係的裝置中，能夠確定包含一段文字中的各個語句與一組圖像中每個圖像的對應關係。此外，通過從用戶對於一組圖像的評論和該組照片的標籤中提取關鍵詞，能夠利用少量的關鍵詞與圖 像中的大部分關鍵特徵建立聯繫，從而簡化了確定對應關系所需要進行的操作，並且提高了確定結果的準確性。
此外，根據本發明的另一示例，本發明還可以通過一種確定圖文對應關係的系統來實施。圖6是示出按照本發明實施例的確定圖文對應關係的系統600的總體硬體框圖。如圖6所示，確定圖文對應關係的系統600可以包括：輸入設備610，用於從外部輸入例如圖像、評論等，並且例如可以包括圖像傳輸線、圖像輸入埠等等；處理設備620，用於實施上述的按照本發明實施例的確定圖文對應關係的方法，例如可以包括計算機的中央處理器或其它的具有處理能力的晶片等等，此外，處理設備620還可以連接到諸如網際網路的網絡(未示出)，根據處理過程的需要向遠程傳送處理後的結果等等；輸出設備630，用於向外部輸出實施上述確定圖文對應關係的方法所得的結果，例如可以包括顯示器以及通信網絡及其所連接的遠程輸出設備等等；以及存儲設備640，用於以易失或非易失的方式存儲上述圖像、評論、預先建立的關鍵詞庫等數據，例如可以包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、硬碟、或半導體存儲器等等的各種易失或非易失性存儲器。
所屬技術領域的技術人員知道，本發明可以實現為系統、裝置、方法或電腦程式產品。因此，本發明可以具體實現為以下形式，即：可以是完全的硬體、也可以是完全的軟體(包括固件、駐留軟體、微代碼等)，還可以是硬體和軟體結合的形式，本文一般稱為「組件、「模塊」、「裝置」或「系統」。此外，在一些實施例中，本發明還可以實現為在一個或多個計算機可讀介質中的電腦程式產品的形式，該計算機可讀介質中包含計算機可讀的程序代碼。
可以採用一個或多個計算機可讀介質的任意組合。計算機可讀介質可以是計算機可讀信號介質或者計算機可讀存儲介質。計算機可讀存儲介質例如可以是但不限於電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件，或者任意以上的組合。計算機可讀存儲介質的更具體的例子(非窮舉的列表)包括：具有一個或多個導線的電連接、可攜式計算機磁碟、硬碟、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或快閃記憶體)、光纖、可攜式緊湊磁碟只讀存儲器(CD-ROM)、光存儲器件、磁存儲 器件、或者上述的任意合適的組合。在本文件中，計算機可讀存儲介質可以是任何包含或存儲程序的有形介質，該程序可以被指令執行系統、裝置或者器件使用或者與其結合使用。
計算機可讀的信號介質可以包括在基帶中或者作為載波一部分傳播的數據信號，其中承載了計算機可讀的程序代碼。這種傳播的數據信號可以採用多種形式，包括但不限於電磁信號、光信號或上述的任意合適的組合。計算機可讀的信號介質還可以是計算機可讀存儲介質以外的任何計算機可讀介質，該計算機可讀介質可以發送、傳播或者傳輸用於由指令執行系統、裝置或者器件使用或者與其結合使用的程序。
上面參照本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或框圖描述了本發明。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由電腦程式指令實現。這些電腦程式指令可以提供給通用計算機、專用計算機或其它可編程數據處理裝置的處理器，從而生產出一種機器，這些電腦程式指令通過計算機或其它可編程數據處理裝置執行，產生了實現流程圖和/或框圖中的方框中規定的功能/操作的裝置。
也可以把這些電腦程式指令存儲在能使得計算機或其它可編程數據處理裝置以特定方式工作的計算機可讀介質中，這樣，存儲在計算機可讀介質中的指令就產生出一個包括實現流程圖和/或框圖中的方框中規定的功能/操作的指令裝置(instruction means)的製造品(manufacture)。
也可以把電腦程式指令加載到計算機、其它可編程數據處理裝置、或其它設備上，使得在計算機、其它可編程數據處理裝置或其它設備上執行一系列操作步驟，以產生計算機實現的過程，從而使得在計算機或其它可編程裝置上執行的指令能夠提供實現流程圖和/或框圖中的方框中規定的功能/操作的過程。
附圖中的流程圖和框圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或操作的專用的基於硬體的系統來實 現，或者可以用專用硬體與計算機指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。