計算機漢語有聲影像資料自動加注中外文字幕的方法
2023-05-29 19:45:21 1
計算機漢語有聲影像資料自動加注中外文字幕的方法
【專利摘要】本技術方案是一種計算機漢語有聲影像資料自動加注中外文字幕的方法，屬於計算機系統聲音和圖像數據處理【技術領域】。在將漢語語音影像資料轉變成加注中外文字幕的影像資料時，將漢語有聲語言的信號提取出來傳給漢語語音識別模塊並識別成漢語語音碼或漢字，再通過機器翻譯模塊翻譯成指定的外文，再將它們單獨或中外文對照文本字幕傳輸給傳統的視頻畫面字幕疊加機，將字幕信息疊加在視頻畫面上，並與相同同步信號的視頻畫面合成在一起儲存或同步輸出。本技術方案可以使整個漢語信息可以在純ASCII系統的計算機中進行處理，可以方便外國觀眾通過中國漢語影視資料學漢語。
【專利說明】計算機漢語有聲影像資料自動加注中外文字幕的方法
【技術領域】
[0001]本技術方案屬於嵌入式或非嵌入式計算機系統聲音和圖像數據處理【技術領域】，以下敘述中將嵌入式和非嵌入式計算機系統統稱為計算機系統。
【背景技術】
[0002]目前市面上的漢語有聲影像資料的漢字或外文或其對照字幕疊加，一般通過人工方式將漢語有聲影像資料中的漢語轉換成漢字或外文，再交給視頻畫面或影像畫面字幕疊加機將表達漢語意思的漢字或外文或漢字與外文對照字幕疊加在視頻畫面或影像畫面上，由於存在大量的漢語有聲影像資料，這種影像資料包括電視錄像和電影等各種格式儲存的有聲影像資料，因此，如果單靠採用人工轉換的方式會很費工費時，而且隨著計算機數字有聲影像處理技術的出現，越來越需要有一種能根據漢語語音自動轉換成表達漢語信息的字符和外文以及它們的對照並加注字幕到同步對應的影像資料畫面上去的技術出現，而且這種能自動根據漢語轉換成漢語和外文及其它們對照字幕的技術，不但能在帶漢字系統的計算機系統中運行，還能再不帶漢字系統只帶128個字符的ASCII碼系統的以美國為代表的西方國家的計算機系統中運行，以滿足世界網際網路的日益廣泛的運用和雲計算、物聯網、世界各地出現的漢語熱，以及中西文化交流越來越頻繁的新形勢的需要。
【發明內容】
[0003]本技術方案的提出就是為了解決上述出現這些問題。具體來說本技術方案通過採用以下的計算機漢語有聲影像資料自動加注中外文字幕的方法來解決上述出現的問題:
在將漢語語音影像資料通過計算機自動在影像資料中加注字幕時，首先通過現有計算機軟體做好影像資料中視頻畫面或影像畫面與對應的有聲語言的音頻信號同步信號標記，這裡的同步信號標記可以採用現有的製作視頻畫面或影像畫面與音頻同步時間戳標記技術來完成，以上以下均同。然後將帶同步信號標記的有聲語言的音頻信號提取出來傳給計算機中的漢語語音識別模塊，漢語語音識別模塊將漢語語音識別成帶與所識別的漢語語音相同同步信號標記的用26個拉丁字母表示的漢語語音碼，再通過機器翻譯模塊將上述漢語語音碼翻譯成用26個拉丁字母表示的與對應漢語語音碼句子具有相同同步信號標記的指定的外文，再將上述帶同步信號標記的漢語語音碼字幕或外文字幕或它們對照文本字幕傳輸給傳統的視頻畫面或影像畫面字幕疊加機，根據漢語語音碼字幕或外文字幕或它們對照文本字幕與視頻畫面或影像畫面同步信號標記的對應關係將字幕信息疊加在視頻畫面或影像畫面上，並進行儲存或同步輸出。
[0004]上述所述的漢語語音碼是以單詞為單位，這裡將單個漢字看作單音節詞，根據組成該單詞的每個音節的《漢語拼音方案》中的拼音，用且僅用26個拉丁字母對漢語拼音的聲母、介母、韻母、聲調採取先編碼再依次按「聲碼+介碼+韻碼+調碼兼隔音節符號」的順序編碼拼寫，並通過得到的語音碼的編碼直接表達漢語信息，當直接用語音碼編碼來表示漢語信息時，其標點符號的用法同英文的標點符號的用法相同，編碼時同一個單詞的多個音節不用空格連續編碼，單詞與單詞之間要有空格隔開。
[0005]由於本技術方案採用26個拉丁字母表示的漢語語音碼來表達漢語信息，且當直接用語音碼編碼來表示漢語信息時，其標點符號的用法同英文的標點符號的用法相同，這樣就保證了漢語信息的表達連標點符號在內都與ASCII碼完全一致，也即與ASCII碼100%兼容，這樣上述各種漢語信息處理模塊，由於處理的漢語信息是用與ASCII碼完全一致的漢語語音碼來表示的，這樣就使得這些模塊可以在ASCII碼系統的計算機中運行，由於組成整個系統的模塊可以在ASCII碼系統的計算機中運行，因此，整個系統可以在ASCII碼系統的計算機中運行。
[0006]有了本技術方案以後，漢語信息可以在漢字內碼系統和非漢字內碼系統的ASCII內碼系統的計算機信息系統中暢通無阻地進行傳輸和處理，而且隨著世界網際網路的日益廣泛的運用和雲計算、物聯網以及世界各地漢語熱的出現，使得外國觀眾能夠更方便地通過中國的影視資料學漢語，從而使漢語能夠更廣更好地傳播到世界各地，促進中國文化走向世界。
[0007]除了漢語以漢語語音碼的形式輸出外，本技術方案所述的漢語語音碼需要時，在漢字系統的計算機中可以通過漢字轉換模塊轉換成漢字，並且漢語語音碼或漢字能夠單獨或者漢語語音碼、漢字、漢語拼音，意義一致的外文兩兩對照顯示、儲存、輸出。
【具體實施方式】
[0008]下面結合實施例對本發明的【具體實施方式】作進一步的說明。
[0009](一)本技術方案所採用的漢語語音碼的每一音節聲、韻、調的編碼方法採用以下的方法:
注:括號內的符號均為《漢語拼音方案》中的漢語拼音符號，以下簡稱為漢語拼音符號，不帶括號的字母為本方案所採用的漢語語音碼的每一音節聲、韻、調的編碼符號，以下將下列對照表簡稱為碼錶；
1、聲碼的編碼符號採用與漢語拼音方案基本一致的聲母的字母符號，比如採用下面這種聲碼的編碼形式:
b: (b) P: (P) m: (m) f: (f) d: (d)t: (t)
η: (n) 1:(1) g: (g) k: (k) h: (h) j: (zh), (j)q: (ch), (q)x: (sh), (x) r: (r)
z:(z) c:(c) s:(s) y:(y) w:(w)
2、漢語拼音介母(U)採用26個拉丁字母中的一個字母表示，比如採用下面這種介碼的編碼形式:
1:(i) u:(u) y:(U)
3、韻碼的編碼，對單韻母除(U)採用26個拉丁字母中的一個字母表示外，其它採用與漢語拼音相同的字母符號，漢語拼音的複合韻母只要是採用輔音字母來編碼都是可以的，比如採用下面的這種字母符號來對漢語拼音的韻母進行編碼:
a: (a) o:(o) e: (e) i: (i) u: (u) y: (ii) k:(ao) c:(ai) s: (an) x:(ou) w:(ei) n:(en) z:(ua) I:(uo) b: (ang) d:(ong) p: (eng)q: (ing) g:(ng) er:(er)
r: (i)[只與(zh)、(ch)、(sh)相拼]
4、調碼的編碼除採用一個漢語不用的輔音字母V表示漢語拼音的上聲(V)外，其它採用元音字母來表示漢語的聲調，比如採用下面的字母來對漢語拼音的聲調進行編碼:a:(—)陰平e:(/)陽平 v:(V)上聲 u:(\)去聲 0:(不標)輕聲(二)利用上述編碼的漢語語音碼漢語信息表示採用如下的方法:
以單詞為單位，這裡將單個漢字看作單音節詞，根據組成該單詞的每個音節的《漢語拼音方案》中的拼音，依次按「聲碼+介碼+韻碼+調碼兼隔音節符號」的順序編碼，同一個單詞的多個音節不用空格隔開連寫，單詞與單詞之間的編碼用空格隔開，當漢語信息表示處於漢語語音碼狀態時，其六種點號，七種標號和一個移行號採用與英文相同的形式；
這裡由於將獨立運用的漢字看作單音節詞，因此，本發明所採用的漢字編碼的方法和漢語單詞音節編碼的方法相同，在本發明中採用單詞音節編碼按詞連寫後得到單詞編碼，我們將由若干個單詞組成的一組詞稱為詞組，本發明所採用詞組的編碼同漢語句子的編碼相同，由於單詞可以表示詞組和漢語句子，因此在本發明中所採用的詞組的編碼和漢語句子的編碼都可以通過單詞的編碼實現，而不需要對詞組和漢語句子另外製定一套專門的編碼，一般在整句整篇以詞為單位表示漢語信息時，在理解時一般不需要進行同音字詞的選擇，原則上聽起來不會產生歧義的句子，用編碼表達時也不會產生歧義。
[0010]下面以一句含有漢語語音句子的影像資料為例來說明本技術方案的具體實現步驟
一.首先通過現有計算機軟體做好影像資料中視頻畫面或影像畫面與對應的有聲語言的音頻信號同步信號標記，然後將帶同步信號標記的漢語有聲語言的音頻信號提取出來傳給計算機中的漢語語音 識別模塊，漢語語音識別模塊將漢語普通話語音識別成帶與所識別的漢語語音相同同步信號標記的用26個拉丁字母表示的漢語語音碼，這裡的同步信號標記可以採用現有的製作視頻畫面或影像畫面與音頻同步時間戳來標記。
[0011]當採用漢語語音碼漢語語音識別模塊來進行漢語語音識別時，該漢語語音識別模塊將漢語音節作為識別的基元，通過查找預先儲存在計算機系統中的漢語音節語音模板和漢語語音音節碼對照表，匹配後識別出相應的漢語音節語音碼，語音連續輸入時便得到連續的漢語音節語音碼串，對上述得到漢語音節語音碼串通過查詞庫的方式進行按詞切分，對多種單詞切分，可以依據漢語詞法句法上下文聯繫及統計規律等手段進行判別後再進行單詞切分，對切分出的單詞採取同一單詞的音節與音節之間連寫，詞與詞之間空格的方式表不。
[0012]下面例舉用本發明方法對漢語語音進行漢語語音碼識別的例子:
1.漢語語音轉換成漢語語音碼:
比如:我們提取到影像資料中下面一句句子的漢語語音:
「我們每天使用拉丁文。」
(I)通過查找預先儲存在計算機系統中的漢語音節語音模板和漢語語音音節碼對照表，匹配後識別出相應的漢語音節語音碼串:
Wov mno mwv tisa xrv ydu Iaa dqa wnv.(音節與音節之間有空格)
或wovmnomwvtisaxrvyduIaadqawnv.(音節與音節之間無空格) (熟練後mno中的輕音符ο在不引起混音時可以省略，以上以下均同。)
為了讓大家看清楚這裡將表示聲調的字母加了下劃線，語音碼中的聲調字母同時具隔音節作用，實際語音碼中聲調無下劃線，熟練漢語語音碼後聲調兼隔音節符能夠方便區分出來。
[0013]這樣便完成了一個系統的複雜性與系統的詞庫規模性無關的純語音識別過程。
[0014](2)將語音碼串進行單詞切分，最終完成以詞為單位的語音碼轉換。
[0015]通過查找預先儲存在計算機系統中的分好詞的漢語語音碼單詞詞庫，將同一個單詞的多個音節連寫，詞與詞之間用空格隔開便得到以下我們最終需要的漢語語音碼:
Wovmno mwvtisa xrvydu Iaadqawnv.二.調用漢語語音碼與外文雙向轉換模塊，再將得到的漢語語音碼表示的漢語信息轉換成以英文為主的外文。
[0016](注:以上以下文中出現的與漢語語音碼對照的漢字是為了方便理解漢語語音碼的含義，實際在純ASCII碼系統運行中並不出現，以上以下均同)
比如將上面得到的漢語語音碼表示的漢語信息: wovmno mwvtisa xrvydu Iaadqawnv.調用漢語語音碼與英文為主的外語雙向翻頁模塊得到以下翻譯轉換步驟:a)查預先儲存在計算機系統中的標註單詞詞性的漢語詞典建立單詞詞性串:(句中括號內的部分是詞性，以下均同)
wovmno (人稱代詞 I) + mwvtisa (時間名詞 I)+ xrvydu (動詞 I)+ Iaadqawnv (名詞
2).我們(人稱代詞I) +每天(時間名詞I) +使用(動詞I) +拉丁文(名詞2)。
[0017]b)根據上面得到的句子詞性串查預先儲存在計算機系統中的表得到預先儲存在表中的漢語句型:
(詞性和該詞所作的句子成分串組成句型，以下均同)
wovmno (人稱代詞I作主語)+ mwvtisa (時間名詞I作時間狀語)+ xrvydu (動詞I作謂語)+ Iaadqawnv (名詞2作賓語)
我們(人稱代詞I作主語)+每天(時間名詞I作時間狀語)+使用(動詞I作謂語)+拉丁文(名詞2作賓語)
c)根據上面得到的漢語句型查表得到預先儲存在表中的對應的英語句型:
wovmno (人稱代詞I作主語)+ xrvydu (動詞I作謂語)+ Iaadqawnv (名詞2作賓語)+ mwvtisa (時間名詞I作時間狀語)
我們(人稱代詞I作主語)+使用(動詞I作謂語)+拉丁文(名詞2作賓語)+每天(時間名詞I作時間狀語)
此時查預先儲存在計算機系統中的漢英詞庫進行單詞或詞組意思的轉換，並按此句型順序輸出便完成漢語翻譯成英語的轉換，為了表明此機器翻譯過程的可雙向性，我們再作下面進一步的變換:
d)根據上面得到英語句型查表得到預先儲存在表中的與對應的英語單詞或詞組詞性相一致的詞性串:(該詞性串也可從得到的目標語言句型中提取得到，以下均同)
wovmno (人稱代詞 I)+ xrvydu (動詞 I)+ Iaadqawnv (名詞 2)+ mwvtisa (時間名詞0.我們(人稱代詞I) +使用(動詞I) +拉丁文(名詞2)+每天(時間名詞I)。
[0018]e)查預先儲存在計算機系統中的漢英詞庫進行單詞或詞組意思的轉換並按上面所得到的英語句型的順序輸出:
we (人稱代詞I) use (動詞I) Iatin (名詞2) every day (時間名詞I).weuselatinevery day.這樣便完成了漢語翻譯成以英文為主的外文的轉換。再將上述得到的帶同步信號標記的漢語語音碼字幕或外文字幕或它們對照文本字幕傳輸給傳統的視頻畫面或影像畫面字幕疊加機，根據漢語語音碼字幕或外文字幕或它們對照文本字幕與視頻畫面或影像畫面同步信號標記的對應關係將字幕信息疊加在視頻畫面或影像畫面上，並進行儲存或輸出。
[0019]三.更進一步在得到漢語語音碼後，漢語語音碼需要時可以通過漢語語音碼漢字轉換模塊轉換成漢字，此時整個系統必須運行在漢字系統的計算機中，漢語語音碼或漢字能夠單獨或者漢語語音碼、漢字、漢語拼音，意義一致的外文兩兩對照顯示、儲存、輸出，此時整個系統必須運行在漢字系統的計算機中。
[0020]通過調用漢語語音碼漢字雙向轉換模塊計算機通過以下步驟將漢語語音碼轉換成漢字:
通過分別查找漢語語音碼與以詞為單位的漢字和漢語拼音對照表可以方便地將漢語語音碼轉換成漢字和漢語拼音，比如:
wovmno通過查聲碼、介碼、韻碼、調碼和漢語拼音對照表或根據該對照表生成的漢語語音碼音節或單詞和拼音音節或單詞對照表得到w0men,再通過w0men查找到以詞為單位的漢字，當以單詞為單位的語音碼通過以單詞為單位的漢語拼音與以單詞為單位的漢字建立對應關係後，一 旦需要以單詞為單位的語音碼可以不再需要通過以單詞為單位的漢語拼音，直接與以單詞為單位的漢字建立對應關係並實行相應的轉換。比如:wovmno可以轉換為wdmen,再通過wdmen可以轉換成「我們」，這樣wovmno和「我們」便直接建立了對應關係，需要時可以不通過漢語拼音wdmen進行轉換,而直接在wovmno和「我們」之間實現雙向可逆轉換。
[0021]遇同音詞時，可以依據漢語詞法句法上下文聯繫及統計規律等手段進行判別後進行以詞為單位的漢字選定。比如:ysvlune上裝滿了郵包。ysvlune上裝滿了原油。結合上下文的聯繫可以知道:前面一句中的「ysvlune」代表郵輪，後面一句中的「ysvlune」代表油輪，這兩句話分別會轉換成「郵輪上裝滿了郵包」和「油輪上裝滿了原油」。對其它單詞情況也依次類推。
[0022]上述雙向可逆轉換的結果既可以單獨顯示也可以對照顯示，比如:
原句:「我們每天使用漢語拉丁文。」用本發明方法計算機可以可逆地轉換為以下幾種形式:
1.1iWomen meitian shiyongladlngwen。」
2.「wovmno mwvtisa xrvyduIaadqawnv.」
3.1iWomen meitian shiyong ladlngwen。」
我們每天使用拉丁文。
[0023]4.「wovmno mwvtisa xrvydu Iaadqawnv.」
我們每天使用拉丁文。
[0024]
5.1iWomenmeitianshiyongladlngwen。」
「wovmnomwvtisaxrvyduIaadqawnv.」
為了讓外國人或中國少數民族更方面地了解漢語的含義和學習漢語，也可以在每個對照的單詞中插入相應的外語單詞或少數民族文字，比如在下面的單詞中加入相應的英語單詞作中文意思的註解:
「wovmno Women mwvtisa meitian xrvydu shiyong Iaadqawnv IadIngwen 。」 我們 We 每天every day使用use拉丁文Latine。
[0025]用上述方法，通過現有的視頻畫面或影像畫面與字符信號疊加技術將漢語語音及其對應中外文字幕實現了同步對應的視頻畫面或影像畫面合成疊加儲存或輸出。
[0026]依次類推，用上述方法，我們還可以實現漢語對其它外語對應字幕的同步對應視頻畫面或影像畫面合成疊加儲存或輸出。這裡就不一一累述。`
【權利要求】
1.一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:在將漢語語音影像資料通過計算機自動在影像資料中加注字幕時，首先通過現有計算機軟體做好影像資料中視頻畫面或影像畫面與對應的有聲語言的音頻信號同步信號標記，然後將帶同步信號標記的有聲語言的音頻信號提取出來傳給計算機中的漢語語音識別模塊，漢語語音識別模塊將漢語語音識別成帶與所識別的漢語語音相同同步信號標記的用26個拉丁字母表示的漢語語音碼，再通過機器翻譯模塊將上述漢語語音碼翻譯成用26個拉丁字母表示的與對應漢語語音碼句子具有相同同步信號標記的指定的外文，再將上述帶同步信號標記的漢語語音碼字幕或外文字幕或它們對照文本字幕傳輸給現有的視頻畫面或影像畫面字幕疊加機，根據漢語語音碼字幕或外文字幕或它們對照文本字幕與視頻畫面或影像畫面同步信號標記的對應關係將字幕信息疊加在視頻畫面或影像畫面上，並進行儲存或同步輸出。
2.如權利要求1所述的一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:所述的漢語語音碼是以單詞為單位，這裡將單個漢字看作單音節詞，根據組成該單詞的每個音節的《漢語拼音方案》中的拼音，用且僅用26個拉丁字母對漢語拼音的聲母、介母、韻母、聲調採取先編碼再依次按「聲碼+介碼+韻碼+調碼兼隔音節符號」的順序編碼拼寫，並通過得到的語音碼的編碼直接表達漢語信息，當直接用語音碼編碼來表示漢語信息時，其標點符號的用法同英文的標點符號的用法相同，編碼時同一個單詞的多個音節不用空格連續編碼，單詞與單詞之間要有空格隔開。
3.如權利要求1或2所述的一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:所述的漢語語音碼是聲母全部用輔音拉丁字母表示，用於表示漢語信息的語音碼的聲母除了(zh)、(ch)、(sh)的聲母分別用j、q、x三個輔音拉丁字母表示外，其餘的聲母用與漢語拼音相同符號的輔音拉丁字母表示，漢語拼音的(zhi)、(chi)、(shi)分別用語音碼的jr、qr、xr表示,漢語拼音的(er)用語音碼的er來表示，jr或qr或xr及er鍵盤輸入時分別按J和R或Q和R或X和R及E和R兩個鍵位輸入。
4.如權利要·求1或2所述的一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:所述的漢語語音碼用26個字母中的一個字母表示原來漢語拼音單韻母和介母中的(U)，其餘單韻母和介母的編碼採用與漢語拼音單韻母和介母相同的符號。
5.如權利要求1或2所述的一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:所述的漢語語音碼用y來表示原來漢語拼音單韻母和介母中的(U)。
6.如權利要求1或2所述的一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:所述的漢語語音碼除了部分帶有介母的複合韻母外，其餘的複合韻母的韻碼用輔音字母表示。
7.如權利要求6所述的一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:所述的漢語語音碼用拉丁字母k、C、s、x、w、η、ζ、1、b、d、p、q、g (無聲母韻母)分別表示漢語拼音的(ao)、(ai)、(an)、(ou)、(ei)、(en)、(ua)、(uo)、(ang)、(ong)、(eng)、(ing)、(ng)。
8.如權利要求1或2所述的一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:所述的漢語語音碼其調碼用四個元音字母和一個漢語不用的字母V表示，用拉丁字母a、e、V、U、ο分別表示漢語拼音的陰平(一)、陽平e: (/)、上聲V: (V)、去聲u:(\)、輕聲O (不標)。
9.如權利要求1或2所述的一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:所述的漢語語音碼需要時，在漢字系統的計算機中可以通過漢字轉換模塊轉換成漢字，漢語語音碼或漢字能夠單獨或者漢語語音碼、漢字、漢語拼音，意義一致的外文兩兩對照顯示、儲存、輸出。
10.如權利要求1所述的一種計算機漢語有聲影像資料自動加注中外文字幕的方法，其特徵是:所述的同步信號標記可以採用現有的製作視頻畫面或影像畫面與音頻同步時間戳標記技術 來完成。
【文檔編號】G06F17/28GK103853709SQ201210522696
【公開日】2014年6月11日 申請日期:2012年12月8日 優先權日:2012年12月8日
【發明者】苗玉水 申請人:上海能感物聯網有限公司