一種用於唇語識別的唇形模型庫構建方法
2023-09-23 08:29:25 1
一種用於唇語識別的唇形模型庫構建方法
【專利摘要】本發明針對現有唇形模型庫構建效率低、全面性難以保障的問題，提供一種用於唇語識別的唇形模型庫構建方法，由計算機對唇部圖像及說話聲音進行自動分析，提取唇形的特徵值、生成說話聲音對應文字，形成訓練資料庫，之後，利用機器學習技術對訓練資料庫進行學習，構建唇形模型庫。該技術方案大幅提高了唇形模型庫的構建效率。
【專利說明】一種用於唇語識別的唇形模型庫構建方法
【技術領域】
[0001]本發明涉及人機互動模型庫構建【技術領域】，具體涉及一種用於唇語識別的唇形模型庫構建方法。
【背景技術】
[0002]人工智慧技術的發展，人們已經開始將計算機視頻分析技術用於唇語識別，以解決生產車間等噪音場所的現場口頭生產指令下達問題。在進行唇語識別過程中，需要用到唇形模型庫，其準確性、全面性將直接決定唇語識別的效率。現有技術多通過人工進行唇形模型的逐個建立，不僅工作量大，而且其全面性難以保證。
[0003]為解決上述問題，本發明提供一種用於唇語識別的唇形模型庫構建方法，可有效降低人工工作量，並提高唇形模型庫的全面性。
【發明內容】
[0004]針對上述問題，本發明通過綜合引用機器學習技術、語音識別技術和圖像分析技術，由計算機對大量有聲唇部視頻進行學習並自動構建唇形模型庫的方式，提供一種用於唇語識別的唇形模型庫構建方法，從而有效提升唇形模型庫的構建效率。
[0005]本發明提供的具體技術方案是:
[0006]一種用於唇語識別的唇形模型庫構建方法，其特徵在於，該方法包括以下步驟:
[0007]有聲視頻圖像採集，通過帶有麥克風的攝像頭同步採集目標人員的唇部視頻圖像及說話聲音；
[0008]音頻與視頻分析，由計算機根據圖像分析技術對所述唇部視頻圖像進行分析，獲取唇形特徵值，由計算機根據語音識別技術對所述說話聲音進行分析，獲得文字信息；
[0009]訓練資料庫形成，將所述唇形特徵值與所述文字信息一一對應，生成訓練資料庫；
[0010]機器學習及唇形模型庫構建，由計算機根據機器學習技術對所述訓練資料庫進行學習，構建唇形模型庫。
[0011]優選地:所述唇形模型庫中的每個唇形模型，分別對應與之相應的文字。
[0012]優選地:所述目標人員的數量應不少於2人。
[0013]有益效果:本發明提供的一種用於唇語識別的唇形模型庫構建方法，由計算機對唇部圖像及說話聲音進行自動分析，提取唇形的特徵值、生成說話聲音對應文字，形成訓練資料庫，之後，利用機器學習技術對訓練資料庫進行學習，構建唇形模型庫。該技術方案為唇形模型庫的構建提供了一種高效的技術手段，大幅提高了唇形模型庫的構建效率。
【專利附圖】
【附圖說明】
[0014]圖1所示是本發明工作流程圖。
【具體實施方式】
[0015]為了更為具體地描述本發明，下面結合附圖及【具體實施方式】對本發明的技術方案進行詳細說明。
[0016]如圖1所示，首先通過帶有麥克風的攝像頭同步採集目標人員的唇部視頻圖像及說話聲音。在進行唇部視頻圖像及說話聲音採集時，需保證兩者的同步性，避免因聲音延後等情況給後續分析帶來誤差。然後，由計算機根據圖像分析技術對所述唇部視頻圖像進行分析，獲取唇形特徵值，由計算機根據語音識別技術對所述說話聲音進行分析，獲得說話聲音對應的文字信息。將所述唇形特徵值與所述文字信息一一對應，生成訓練資料庫，再由計算機根據機器學習技術對所述訓練資料庫進行學習，構建唇形模型庫。
[0017]唇形模型庫中的每個唇形模型，分別對應與之相應的文字，即由說話聲音獲得的文字。
[0018]對於機器學習，其訓練效果與所採用的訓練資料庫的數據量多少有關，數據量越大，訓練結果越準確。因此，為了獲得更好的唇形模型庫，應採集儘量多的有聲視頻圖像，以形成數據量更為豐富的訓練資料庫。
[0019]需要說明的是，以上【具體實施方式】，是用於幫助理解本發明的方法及其核心思想；對於本領域的一般技術人員，依據本發明的思想，在【具體實施方式】及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。
【權利要求】
1.一種用於唇語識別的唇形模型庫構建方法，其特徵在於，該方法包括以下步驟: 有聲視頻圖像採集，通過帶有麥克風的攝像頭同步採集目標人員的唇部視頻圖像及說話聲音； 音頻與視頻分析，由計算機根據圖像分析技術對所述唇部視頻圖像進行分析，獲取唇形特徵值，由計算機根據語音識別技術對所述說話聲音進行分析，獲得文字信息； 訓練資料庫形成，將所述唇形特徵值與所述文字信息一一對應，生成訓練資料庫；機器學習及唇形模型庫構建，由計算機根據機器學習技術對所述訓練資料庫進行學習，構建唇形模型庫。
2.如權利要求1所述的方法，其特徵在於，所述唇形模型庫中的每個唇形模型，分別對應與之相應的文字。
3.如權利要求1所述的方法，其特徵在於，所述目標人員的數量應不少於2人。
【文檔編號】G06F17/30GK104504088SQ201410829118
【公開日】2015年4月8日 申請日期:2014年12月26日 優先權日:2014年12月26日
【發明者】陳擁權, 李建中, 鄭榮穩 申請人:安徽寰智信息科技股份有限公司