應用於視頻直播平臺的虛擬機器人多模態交互方法和系統與流程

2023-05-30 06:08:51 1

本發明涉及網際網路直播平臺技術領域，尤其涉及一種應用於視頻直播平臺的虛擬機器人多模態交互方法和系統。

背景技術：

隨著網絡直播行業的發展，用戶可以通過在網絡直播平臺上觀看、做活動等方式領取虛擬獎品，並將獲得的虛擬獎品贈送給自己喜歡的主播，進行互動，從而培養用戶的觀看習慣和平臺粘性。然而現有的網絡直播平臺的輿情監測技術還不完善，給用戶帶來的體驗感不佳，因此提高直播平臺的智能性，是現在急需解決的重要技術問題。

技術實現要素：

本發明所要解決的技術問題之一是需要提供一種應用於視頻直播平臺的虛擬機器人多模態交互方法，所述視頻直播平臺的應用配置有輔助直播的虛擬機器人，所述虛擬機器人具備多模態交互能力，所述輿情監測方法包括以下步驟：信息採集步驟，採集當前特定直播間的直播的輿情信息，所述輿情信息包括：觀看的文本反饋信息；輿情監測步驟，調用文本語義理解能力並生成針對該特定直播間的輿情監測結果；情景事件響應步驟，判斷所述輿情監測結果表徵的事件，調用多模態交互能力並通過所述虛擬機器人輸出多模態響應數據。

優選地，在所述信息採集步驟中，所述輿情信息還包括：攝像頭所採集的直播圖像信息。

優選地，在所述輿情監測步驟中，進一步，對所述直播圖像信息進行人臉追蹤和/或人體檢測；調用視覺語義理解能力，確定當前特定直播間的主播狀態。

優選地，在所述情景事件響應步驟中，進一步，若判斷出所述特定直播間的主播處於離開狀態，調用多模態交互能力並通過所述虛擬機器人輸出直播表演，直至監測到主播處於直播狀態。

優選地，在所述輿情監測步驟中，進一步，對所述文本反饋信息進行情緒解析識別，確定觀看視頻的用戶的情緒反應。

優選地，在所述情景事件響應步驟中，進一步，當所述用戶的情緒為負面情緒時，則判斷所述輿情監測結果表徵的事件為直播偏離事件，調用多模態交互能力通過並所述虛擬機器人向主播輸出直播偏離信息。

為了解決上述技術問題，本申請的實施例還提供了一種應用於視頻直播平臺的虛擬機器人多模態交互系統，所述虛擬機器人輔助直播且具備多模態交互能力，所述系統包括以下模塊：信息採集模塊，其採集當前特定直播間的直播的輿情信息，所述輿情信息包括：觀看的文本反饋信息；輿情監測模塊，其調用文本語義理解能力並生成針對該特定直播間的輿情監測結果；情景事件響應模塊，其判斷所述輿情監測結果表徵的事件，調用多模態交互能力並通過所述虛擬機器人輸出多模態響應數據。

優選地，所述輿情信息還包括：攝像頭所採集的直播圖像信息。

優選地，所述輿情監測模塊，其進一步對所述直播圖像信息進行人臉追蹤和/或人體檢測；調用視覺語義理解能力，確定當前特定直播間的主播狀態。

優選地，所述情景事件響應模塊，其進一步，若判斷出所述特定直播間的主播處於離開狀態，調用多模態交互能力並通過所述虛擬機器人輸出直播表演，直至監測到主播處於直播狀態。

優選地，所述輿情監測模塊，其進一步對所述文本反饋信息進行情緒解析識別，確定觀看視頻的用戶的情緒反應。

優選地，所述情景事件響應模塊，其進一步當所述用戶的情緒為負面情緒時，則判斷所述輿情監測結果表徵的事件為直播偏離事件，調用多模態交互能力通過並所述虛擬機器人向主播輸出直播偏離信息。

與現有技術相比，上述方案中的一個或多個實施例可以具有如下優點或有益效果：

本發明實施例，通過對直播間的信息進行實時採集和綜合分析獲取輿情監測結果，根據該結果進行決策和行為幹預，例如，在主播離開階段，利用虛擬機器人來輔助視頻直播操作，能夠在該階段保持和用戶的粘性，改善了用戶體驗。

本發明的其它特徵和優點將在隨後的說明書中闡述，並且，部分地從說明書中變得顯而易見，或者通過實施本發明的技術方案而了解。本發明的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構和/或流程來實現和獲得。

附圖說明

附圖用來提供對本發明的進一步理解，並且構成說明書的一部分，與本發明的實施例共同用於解釋本發明，並不構成對本發明的限制。在附圖中：

圖1為本申請實施例的直播平臺輿情監測系統所處的應用交互場景示意圖；

圖2為本申請實施例的直播平臺輿情監測系統的結構示意圖；

圖3為本申請實施例的直播平臺輿情監測系統的模塊框圖；

圖4為本申請實施例的直播平臺輿情監測系統中人臉追蹤模塊321的模塊框圖；

圖5為本申請實施例的直播平臺輿情監測系統中實現人臉追蹤功能的流程圖；

圖6為本申請實施例的直播平臺輿情監測系統中人體檢測模塊322的模塊框圖；

圖7為本申請實施例的直播平臺輿情監測系統中實現人體檢測功能的流程圖；

圖8為本申請實施例的直播平臺輿情監測系統中文本語義分析模塊323的模塊框圖；

圖9為本申請實施例的直播平臺輿情監測系統中實現文本語義分析功能的流程圖；

圖10為本申請實施例的直播平臺輿情監測方法的流程圖。

具體實施方式

以下將結合附圖及實施例來詳細說明本發明的實施方式，藉此對本發明如何應用技術手段來解決技術問題，並達成相應技術效果的實現過程能充分理解並據以實施。本申請實施例以及實施例中的各個特徵，在不相衝突前提下可以相互結合，所形成的技術方案均在本發明的保護範圍之內。

另外，附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中執行。並且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的順序執行所示出或描述的步驟。

圖1為本申請實施例的直播平臺輿情監測系統(應用於視頻直播平臺的虛擬機器人多模態交互系統)所處的應用交互場景示意圖，如圖1所示，該場景分為用戶端與主播端，下面分別說明用戶端和主播端。

主播端2230可以是計算機、智慧型手機、平板電腦或其他可穿戴設備等多種設備上安裝的app或者網頁端，本發明針對主播伺服器220的設備類型不做具體限定。主播210在主播端2230上直播，所述主播伺服器220支持直播平臺運行。用戶端包括多個用戶設備(121、122……12n)，由多用戶(111、112……11n)對其所屬設備(121、122……12n)進行控制，其中，用戶設備(121、122……12n)可以是計算機、平板電腦、智慧型手機等，本發明針對用戶設備的具體類型也不做具體限定。

具體地，主播210通過打開直播軟體或網頁發起直播指令，便可進入到主播直播間平臺進行直播表演。同樣的，用戶設備(121、122……12n)上也裝有同一種直播類應用客戶端，用戶需要操作用戶設備，通過網際網路訪問主播直播間網址，從而進入到感興趣的主播的直播房間(以下簡稱主播直播間)觀看主播的直播表演。其中，本發明針對直播類應用的種類不做具體限定，多種應用都可使用，例如：一直播、花椒直播、微博直播等。

一般情況下在直播間平臺上，用戶的網絡交互埠為直播間用戶端(1231、1232……123n)。當用戶進入到特定直播間時，用戶不僅可以看到如下內容：主播的實時表演、用戶留言、彈幕播放等，還可以根據主播表演情況進行實時反饋，例如：在留言區上傳用戶留言、在彈幕輸入區上傳彈幕文本。所有用戶和主播210均能在直播平臺顯示界面上的留言顯示區與彈幕顯示區處觀看到相應的留言信息及彈幕信息。

需要說明的是，在本申請實施例中，直播平臺輿情監測系統配置有輔助直播的虛擬機器人2201，該虛擬機器人2201具備多模態交互能力，例如輸出文字信息、語音信息、動畫信息等。而且，該直播平臺輿情監測系統能夠根據直播間主播端2230接收到的用戶留言、彈幕信息等文本信息實時統計用戶的情緒狀況，並將上述情緒反饋信息顯示在直播間平臺主播端對應的顯示界面上，實時的反饋給主播210。主播210根據用戶情緒信息對其表演進行實時的調整，保持直播間的用戶訪問量及熱度。另一方面，該直播平臺輿情監測系統能夠將虛擬機器人2201轉化成動畫形象，在主播210由於補妝、準備道具等原因短暫離開時代替主播210為用戶進行動畫表演，用戶能夠從其用戶設備的屏幕上觀看到虛擬機器人2201的動畫形象，並通過耳機、音響等音頻輸出設備中聽到伴隨動畫表演過程中輸出的音頻信息。

在本實施例中，通過使虛擬機器人2201代替主播210在直播表演過程中的部分工作，輔助主播210進行表演，使得在主播210短暫離開後仍然能向觀眾展示直播表演，保持一定的用戶粘度。接下來，以一個例子來詳細描述直播過程中用戶和主播是如何進行互動的。

(第一種情況)當主播210在線直播演唱表演過程中，用戶根據主播210的表演情況，通過其用戶設備進行實時留言或彈幕消息的輸入。例如：「主播，唱的好！」、「唱首歡快的歌」、「別唱了，講個笑話吧」、「主播，眼鏡很好看，哪兒買的啊？」、「主播，再唱一首！」、「主播，唱的不好聽，換別的吧！」「主播，66666！」、「主播，想聽你邊彈邊唱啊」「主播，送你跑車！」、「主播，快，喊個麥」、「哈哈哈，主播你好搞笑啊」…….直播間平臺主播端2230接收上述文字信息，由直播平臺輿情監測系統利用網絡語言情緒分析資料庫將上述文字進行用戶情緒分析。在一個例子中，上述情緒分析結果按照程度可以被劃分為五類，分別為：非常積極、積極、一般、消極和非常消極。同時，直播平臺輿情監測系統能夠根據用戶在線數量，統計出用戶文字信息所表現出的情緒類別佔上述五類不同程度情緒的百分比，將統計結果以及留言關鍵短句使用頻率最高的前n個(比如10個)詞語顯示在主播伺服器顯示屏的結果顯示區域內，主播210根據統計結果做出調整表演的動作。例如：給觀眾講個笑話、為觀眾彈琴、給觀眾跳個舞蹈等。

(第二種情況)當主播210因特殊原因需要短暫離開時，一方面，直播平臺輿情監測系統可以通過主播攝像頭或者其他影像採集設備採集主播直播影像，當監測到主播210離開時間超過時間閾值後，判斷主播210處於不在線狀態，直播平臺輿情監測系統隨機或者根據設定模式使虛擬機器人2201執行機器人輔助表演動畫，填補直播間由於主播210不在線導致的表演空白的情況。另一方面，用戶看到在直播過程中，主播離開，則會留下例如：「主播呢？」、「人呢？」「去哪兒了？」等詢問主播去向的關鍵短句，直播平臺輿情監測系統還可以僅僅基於這些文本信息或結合這些文本信息來解析得到主播離開的情況，並隨機或者根據設定模式調用多模態交互能力使虛擬機器人2201執行機器人輔助表演動畫。而且，在此期間，該系統還可以根據觀眾情緒反饋隨機調整播放機器人輔助表演動畫的內容，填補直播間由於主播210不在線導致觀眾情緒消極的情況。

通過上述兩種情景的描述，直播平臺輿情監測系統不僅能夠幫助主播210關注用戶留言過程中透露的情緒信息，並進行統計與反饋，還可以對主播210的在線情況進行監測，必要時能夠控制虛擬機器人2201代替主播210進行相應的動畫表演，代替了主播210的部分工作，使得主播210將多數精力投入於表演過程中，從而保持直播間熱度，防止由於主播不在線狀態導致大量觀眾流失的情況發生。

圖2為本申請實施例的直播平臺輿情監測系統的結構示意圖，如圖2所示，直播平臺輿情監測系統包括主播攝像頭311、直播類應用主播端2230、雲端伺服器30和直播類應用用戶端123n。

具體地，主播攝像頭311，設置於直播設備，能夠採集直播過程中直播畫面信息，虛擬機器人2201可以是以插件形式在直播類應用軟體中運行，直播類應用主播端2230配置api接口，虛擬機器人運行時調用api接口，並利用雲端伺服器30處理視覺及語義數據，使虛擬機器人2201具備視覺能力和語義理解能力。進一步，所述虛擬機器人可以為sdk包。

雲端伺服器30具備強大的雲計算能力和存儲能力，在輿情監測系統中，提供運算、分析和存儲處理功能，獲取輿情監測結果，控制直播類應用主播端2230作出相應反饋，例如虛擬機器人2201的輔助直播或用戶情緒信息的反饋等。

需要說明的是，插件是利用依據一定應用程式接口規則編寫出來的小程序，需要依附於特定程序運行，不可單獨完成運行該程序。在本發明實施例中，採用插件的形式運行虛擬機器人，虛擬機器人插件2201是安裝在直播平臺內的功能性插件，該插件的數據格式與通訊規則應滿足直播平臺api接口的相應規則，其能夠加載到應用軟體和網際網路傳輸協議中，並進行實時通信，實現數據的交換，需要與直播應用軟體可同時運行以實現虛擬機器人所附加於直播平臺的輔助直播功能，但不會對直播平臺軟體的其他功能產生影響。

在本實施例中，虛擬機器人2201的運行為直播應用軟體增加了輿情監測功能，從而構成了本發明中的輿情監測系統。在輿情監測系統運行時，其具備如下功能：其一，接收主播攝像頭311端發送的直播畫面信息；其二，通過網際網路與直播類應用用戶端123n進行觀眾觀看的文字反饋信息、虛擬機器人的視頻流信息等的交互；其三，通過網際網路實現app主播端2230與雲端伺服器30的信息訪問與交互。

具體地，直播平臺輿情監測系統在數據處理過程中，不僅能夠使虛擬機器人2201在卡通、美女等特定形象動畫形象下進行動作播放，還能夠實現如下功能：對主播210進行人臉追蹤、人體監測；對直播平臺用戶端輸入的文本信息進行採集分析，並利用情緒分類器追蹤觀眾情緒的反應情況，進行實時反饋。在一個例子中，若監測到主播210人臉消失超過一定時間閾值t或連續多幀未監測到人臉，可確認主播離開了直播間。在另一個例子中，在通過人臉檢測的方式初步認為主播離開了直播間後，還可再根據獲取到的文本內容確定是否存在與詢問主播去向相關的觀眾留言，從而判定主播210處於離開直播間的狀態。在確定主播離開時，按照預設的行為，控制虛擬直播機器人2201暫時代替主播進行短時間的直播表演，並告知觀眾主播狀態。

圖3為本申請實施例的直播平臺輿情監測系統的功能模塊框圖，如圖3所示，該系統由如下設備構成：多模態輸入模塊31、信息處理模塊32和多模態輸出模塊33。其中，多模態輸入模塊31(作為信息採集模塊的一個例子)，其採集特定直播間的直播的輿情信息，該輿情信息至少包括用戶觀看的文本反饋信息，優選地包括影像信息和用戶觀看的文字反饋信息。信息處理模塊32，其可以包括雲端伺服器30和信息轉發處理器(未圖示)，信息轉發處理器接收多模態輸入模塊31採集到的信息，通過網際網路訪問並將信息轉發至雲端伺服器，或者將從雲端伺服器接收到的處理結果通過網際網路發送至直播平臺的主播端；雲端伺服器30具備視覺以及語義理解能力，即可以實現人臉追蹤、人體檢測和文本語義分析處理等功能，在接收到文本反饋信息時，調用文本語義理解能力並生成針對該特定直播間的輿情檢測結果；在接收到文本反饋信息和圖像信息時，則執行人臉追蹤、人體檢測和文本語義分析處理。後期，雲端伺服器30將處理結果，反饋至信息轉發處理器，由信息轉發處理器完成數據的輸出預處理，並完成輿情監測數據的輸出。多模態輸出模塊33(作為情景事件響應模塊的一個例子)，其接收信息處理模塊32輸出的結果，並判斷輿情監測結果表證的事件，並調用多模態交互能力，通過虛擬機器人輸出多模態響應數據，其中，多模態響應數據包括輔助直播信息與輿情反饋信息。

下面對直播平臺輿情監測系統中的模塊組成及功能進行詳細說明。首先，說明多模態輸入模塊31。參見圖3，該多模態輸入模塊31主要包括第一採集模塊311和第二採集模塊312。具體地，第一採集模塊311，其在直播過程中採集主播表演的影像信息，將上述信息從視頻格式轉化成幀圖像格式，輸出直播幀圖像。該模塊311的採集設備可以是外掛攝像頭、內置前置攝像頭等，本申請針對第一採集模塊311的採集設備類型不作具體限定。第二採集模塊312，其接收直播平臺用戶端傳送的用戶輿情信息，其中，用戶輿情信息為用戶觀看的文本反饋信息，進一步，用戶觀看的文字反饋信息包括用戶留言信息和用戶彈幕信息。

接下來，對信息處理器32的雲端伺服器的組成及功能進行詳細說明。該雲端伺服器主要包括如下模塊：人臉追蹤模塊321、人體檢測模塊322、文本語義分析模塊323。具體地，人臉追蹤模塊321，能夠對獲取到的幀圖像信息進行人臉檢測和人臉追蹤處理，並基於處理結果判斷是否檢測到主播的臉部信息，輸出人臉檢測結果；人體檢測模塊322，從獲取到的幀圖像信息中提取運動的人體目標，基於提取結果判斷是否檢測到主播的人體信息，並輸出人體檢測結果；文本語義分析模塊323，能夠將獲取的用戶輿情信息進行分句處理提取關鍵短句，利用預設的網絡語言情緒分析資料庫和情緒程度置信度模型對關鍵詞進行情緒分析，從而得到用戶情緒信息並進行統計，輸出高頻情緒信息及高頻關鍵短句。

圖4為本申請實施例的直播平臺輿情監測系統中人臉追蹤模塊321的模塊框圖，如圖4所示，人臉追蹤模塊321由如下單元構成：圖像輸入單元3211、人臉檢測單元3212、人臉追蹤單元3213和追蹤結果輸出單元3214。其中，圖像輸入單元3211，其通過網際網路獲取來自信息交互處理器的單幀或連續幀格式的主播直播圖像；人臉檢測單元3212，其將單幀圖像利用預設的人臉特徵分類器進行人臉檢測，輸出檢測結果；人臉追蹤單元3213，其將上述檢測結果作為運動目標樣本，進行人臉追蹤處理，輸出處理結果；追蹤結果輸出單元3214，其能夠利用上述追蹤結果，進行人臉在線時間的判斷，從而對人臉是否處於在線狀態進行判定，輸出判定結果至信息轉發處理器。

圖5為本申請實施例的直播平臺輿情監測系統中人臉追蹤模塊321原理的實施流程圖。如圖5所示，圖像輸入單元3211獲取單幀主播直播圖像後，執行人臉檢測單元3212，在該單元中，採用adaboost算法對圖像中的人臉進行檢測，首先需要對人臉特徵進行提取，然後生成人臉特徵的級聯分類器，將該分類器作為檢測工具預設進人臉檢測單元3212中，能夠實現對實時獲取的單幀主播直播圖像進行在線人臉檢測。

具體地，人臉特徵提取的實施步驟如下所示：1)將人臉資料庫樣本利用雙線性插值法歸一化到到同一像素大小，提取單幀圖像的線性矩形特徵；2)將每一個特徵在訓練圖像子窗口中按照像素點的排列滑動計算，歷遍整個圖像，獲取各個位置的各類矩形特徵，計算每一類特徵個數；3)利用特徵端點積分圖，計算出每類矩形特徵的特徵值；4)獲取人臉特徵和非人臉特徵。在確定了矩形特徵數量和特徵值後，需要對每一個特徵f，訓練一個弱分類器h，從而，獲取多個強分類器及級聯分類器，進而，獲取最終的人臉特徵並區分人臉區域，具體實施過程如下列步驟所示：1)將特徵值(按照具有相同特徵值的特徵)進行排序，計算每個特徵值的權重，計算相鄰特徵值的分類誤差，得到弱分類器；2)計算對應所有特徵的弱分類器的加權錯誤率，投票組合成強分類器；3)將多個強分類器連接在一起進行操作，構成級聯分類器，篩選人臉樣本特徵。在人臉級聯分類器生成後，即可作為單幀圖像實時人臉檢測的工具，進而輸出已識別出人臉區域的主播直播單幀圖像，執行人臉追蹤單元3213。

需要說明的是，在本發明實施例中，採用adaboost算法對直播幀圖像中的人臉區域進行檢測，本申請針對人臉檢測的實施方法不作具體限定，可以使用其他方法進行替代。

在追蹤單元3213中，採用camshift算法對圖像中的人臉區域進行實時的追蹤，首先為了方便計算，對圖像色調進行預處理，初始化幀圖像中人臉區域的初始位置，進行實時跟蹤。具體實施過程如下列步驟所示：1)將色彩空間為rgb的幀圖像轉化為hsv空間幀圖像，並提取hsv空間的色調分量；2)獲取輸入圖像的顏色直方圖，計算各像素點的色調分量分布概率，獲得上述輸入圖像的色調概率分布圖；3)利用上述色調概率分布圖，初始化搜索窗的參數，計算搜索窗的質心；4)獲取初始化輸入圖像的人臉中心，計算人臉中心與搜索窗質心的距離，5)若上述距離大於預設閾值，重複上述3)和4)步，直到其距離小於預設閾值，並輸出人臉檢測標誌數據，啟動追蹤結果輸出單元3214。

需要說明的是，在本發明實施例中，採用camshift算法對直播幀圖像中的人臉區域進行追蹤，本申請針對人臉追蹤的實施方法不作具體限定，可以使用其他方法進行替代。

當追蹤結果輸出單元3214接收到人臉檢測標誌數據後，該單元根據該數據進行解析，對人臉是否在線進行判斷。具體地，當檢測到人臉區域時，人臉處於在線狀態；當未檢測到人臉區域時，人臉處於不在線狀態。進一步，追蹤結果輸出單元3214能夠對人臉檢測標誌數據進行實時的檢測，當檢測到該數據的輸出接連為人臉不在線狀態時，並且輸出的時間到達預設的非在線時間閾值t或者達到連續設定幀數的圖像均未檢測到人臉時，則判斷主播人臉處於不在線狀態。在一個實施例中，直播視頻平均一分鐘輸出24幀圖像，每幀圖像輸出一次人臉檢測標誌數據，因此，針對非在線時間閾值t的計算，是通過計算單位時間內接收幀圖像的次數得到的。

圖6為本申請實施例的直播平臺輿情監測系統中人體檢測模塊322的模塊框圖，如圖6所示，人體檢測模塊322包括下列單元：圖像提取單元3221、圖像預處理單元3222、運動目標獲取單元3223和人體檢測輸出單元3224。具體地，圖像提取單元3221，其通過網際網路獲取來自信息交互處理器的多幀格式的主播直播圖像；圖像預處理單元3222，其利用連續三幀圖像獲取絕對差灰度圖像，計算差分閾值；運動目標獲取單元3223，其基於上述絕對差灰度圖像，提取相對運動區域，並獲取運動目標，輸出人體檢測標誌數據；人體檢測輸出單元3224其利用上述人體檢測結果，對具有人體標誌的單幀直播圖像的在線時間進行判斷，進而判定主播人體是否處於在線狀態。

圖7為本申請實施例的直播平臺輿情監測系統中人體檢測模塊322原理的實施流程圖。如圖7所示，圖像提取單元3221獲取單幀主播直播圖像後，執行圖像預處理單元3222。在該單元中，需要對幀圖像進行預處理，具體地，需要滿足如下步驟：1)採集連續三幀圖像；2)從連續三幀圖像中得到連續兩幀圖像的絕對差灰度圖像；3)求取差分閾值。當完成圖像預處理單元3221的工作過程後，需要將上述圖像預處理結果傳輸到運動目標獲取單元3223中。在運動目標獲取單元3223中，首先，根據上述差分閾值，將圖像預處理單元3221獲得的連續兩幀的絕對差灰度圖像進行二值化處理，分別提取連續兩幀圖像的相對運動區域，然後，通過與運算，得到上述連續兩幀圖像相對運動區域的交集，獲得最終的運動目標圖像(在本實施例中，運動目標即為人體)，進而輸出人體檢測標誌數據。人體檢測輸出單元3224，接收運動目標獲取單元3223發送的人體檢測結果數據包後，解析該數據包後獲得人體檢測標誌數據，讀取該數據後，對主播人體是否在線進行判斷。具體地，當檢測到人體圖像時，主播人體處於在線狀態；當未檢測到人體圖像時，主播人體處於不在線狀態。進一步，人體檢測輸出單元3214能夠對人體檢測標誌數據進行實時的檢測，當檢測到該數據的輸出連續為人體不在線狀態時，並且輸出的時間到達預設的非在線時間閾值t時，則判斷主播人體處於不在線狀態。需要說明的是，針對非在線時間閾值t的計算同樣是通過計算單位時間內接收幀圖像的次數得到的。

需要說明的是，差分閾值是完成圖像二值化的關鍵計算參數，能夠直接影響圖像前景(即運動目標)和背景的分割效果，在本實施例中，採用最大類間方差法對差分閾值進行計算，本發明針對差分閾值的計算方法不做具體限定，實施操作人員可以根據實際需求選取適當的方法進行替代，替代方法包括：迭代法、直方圖法、自適應局部閾值法等。

圖8為本申請實施例的直播平臺輿情監測系統中文本語義分析模塊323的模塊框圖，如圖8所示，文本語義分析模塊323包括如下單元：文本語義輸入單元3231、分句處理單元3232、情緒分析單元3233、情緒統計單元3234和語義分析輸出單元3235。其中，文本語義輸入單元3231，其通過網際網路獲取來自信息交互處理器的觀眾觀看的文字反饋信息(輿情文本信息)；分句處理單元3232，其將用戶輿情文本信息分成只含有單獨情緒的短句；情緒分析單元3233，其利用nlp技術、預設的網絡語言情緒分析資料庫和情緒程度置信度模型，對上述單獨情緒的短句先進行情緒分析處理，輸出短句情緒程度置信度；情緒統計單元3234，其能夠對上述情感分析結果和高頻關鍵短句(出現頻率較高的單獨情緒短句)進行單位時間內的統計；語義分析輸出單元3235，其將上述統計結果輸出到主播伺服器顯示屏上。

圖9為本申請實施例的直播平臺輿情監測系統中語義分析模塊323原理的實施流程圖。如圖9所示，語義分析模塊323的分句處理單元3232接收用戶端發送的用戶輿情信息，將用戶輿情信息進行分句處理，標記短句標識，將帶有短句標識的短句數據包發送至情緒分析單元3233中。其中，用戶輿情信息為文本信息，並包括用戶留言文字信息和用戶彈幕文字信息。具體地，分句處理可以根據標點符號(例如：逗號、感嘆號、問號等)等標識，提取有效的短句信息，例如：「去哪兒？」、「在嗎？」、「唱歌」、「主播6666」、「你好逗啊」、「唱得不好聽」、「不喜歡這個表演」、「主播的表演真無聊」、「打得太爛」、「別唱了」、「還是跳舞吧」等。

然後，在情緒分析單元3233中，首先，將分句處理單元3232得到的有效的短句數據包利用短句標識進行解析，然後利用網絡語言情緒分析資料庫對解析後的短句進行情緒分析，輸出該短句所包含的情緒參量、語氣參量、行動參量的留言人意圖信息。其中，網絡語言情緒分析資料庫是利用nlp技術(神經語言程序學)，結合常用網絡語言情緒對照表所構建的，其預設於分句處理單元3232中，能夠根據短句中的關鍵詞元素一方面進行逐一分析，另一方面綜合各信息元素進行整體分析，進而輸出該短句所具備的留言人實際意圖。具體地，該資料庫利用標點符號(例如：逗號、感嘆號、問號等)、主語標識(例如：你們、主播、大家、我、他等)、時間狀語(例如：一會兒、馬上、半小時、三分鐘等)、地點狀語(例如：家、臥室、馬路、沙發等)、副詞標識(例如：別、十分、太、特別、非常等)等分句關鍵詞元素，分析出短句中的留言人意圖信息。

其中，留言人意圖信息為情緒分析單元3233的輸出結果，其包括情緒參量、語氣參量和行動參量。網絡語言情緒分析資料庫可以將短句按照如下方式進行評價，從而輸出留言人意圖信息。具體地，留言人意圖信息中的各個參量按下列描述進行表示：在情緒參量中，用1-10表示觀眾情緒的積極度，1表示最積極，10表示最消極；語氣參量，其用1-5表示觀眾情緒程度，1表示「接近所述情緒」，2表示「輕微」，3表示「十分」，4表示「特別」，5表示「極度」；行動參量，其用1-5表示觀眾欲離開的程度，1表示「想繼續觀看」，5表示「馬上離開」。進一步，對關鍵詞元素的情緒分析如下列示例所示：問號對應的情緒為疑問；「太好了」對應的情緒為高興；「不喜歡」對應的情緒為煩感；「6666」對應的情緒為高興；「別」對應的情緒為抗拒等。按照上述情緒分析，對短句中留言人意圖的分析結果按照下列示例進行輸出：當解析出的短句內容為「主播6666」時，情緒信息為2，語氣信息為2，行動意圖為1；當解析出的短句內容為「主播，人呢？」時，情緒信息為6、語氣信息為2、行動意圖為2。

需要說明的是，在本發明是實施例中，情緒參量、語氣參量和行動參量為留言人意圖信息的一個組成示例，本發明對其不作具體限定。

然後，將每個分句所對應的留言人意圖信息進行情緒程度置信度的計算，輸出短句情緒程度百分比。其中，情緒程度分為五類，分別為非常積極、積極、一般、消極和非常消極，每種留言人意圖信息都對應不同的情緒程度比例。另外，情緒程度置信度的計算是根據留言人意圖中的參量信息的歷史數據作為訓練樣本，留言人意圖中的參量信息的實時輸入信息作為測試樣本，利用bp神經網絡訓練出情緒置信度計算模型，比如：短句「主播6666」所對應的五種情緒程度百分比分別為「非常積極60％、積極35％、一般5％、消極0％、非常消極0％」；短句「主播，人呢？」所對應的五種情緒程度百分比分別為「非常積極0％、積極5％、一般60％、消極35％、非常消極0％」。最後，將每個短句所對應的情緒程度置信度以數據包的形式發送給情緒統計單元3234。

需要說明的是，本發明在情緒置信度計算中採用了bp神經網絡的方式訓練情緒情緒置信度計算模型，本發明對此部分的計算方法不作具體限定，還可以採用其他方法進行替代。

接著，在情緒分析完成後，情緒統計單元3234需要先接收分句處理單元3232發送的帶有短句標識的短句數據包和情緒分析單元3233傳輸的短句情緒程度置信度，並且解析接收到的數據包獲取關鍵分句的情緒信息和短句信息。然後，設定分句採集時間閾值為單位時間，一方面，將分句情緒信息按照單位時間內的分句情緒程度置信度進行統計，得到相應的統計結果，即為單位時間內的觀眾觀看的反饋情緒；另一方面，先將相似短句(例如：「主播，666666」與「主播666」為相似短句)進行分類整合，統計短句信息出現的頻率，將單位時間內頻率值由大到小排列，其中，序列數為1-10所對應的短句信息，即為高頻短句信息。最後，將上述單位時間內的觀眾觀看的反饋情緒(單位時間內分句情緒程度置信度)和高頻短句信息進行實時輸出。需要說明的是，為了對觀眾情緒進行準確、有效的實時反饋，單位時間的設定不宜過長，10s左右為最佳。

最後，再次參考圖8、9，進入到語義分析輸出單元3235，該單元接收情緒統計單元3234的統計結果，將該結果顯示在主播伺服器顯示屏的特定位置上，從而將觀眾實時的觀看情緒反饋給主播。

再次參考圖3，接下來針對多模態輸出設備33進行詳細說明。如圖3所示，多模態輸出設備33包括如下模塊：主播在線狀態判定模塊331、輔助直播信息輸出模塊332、輿情信息反饋模塊333。其中，主播在線狀態判定模塊331，其接收人臉追蹤模塊321、人體檢測模塊322的處理結果，對主播在線狀態進行判定，輸出主播在線狀態信息；輔助直播信息輸出模塊332，其接收文本語義分析模塊323和主播在線狀態判定模塊331的輸出信息，根據主播直播狀態，將輔助直播的視頻流信息和主播狀態信息輸出到直播平臺用戶端；輿情信息反饋模塊333，其接收文本語義分析模塊323和主播在線狀態判定模塊331的輸出信息，根據實時獲取到的情緒程度置信度，判斷觀眾是否產生負面情緒，是否發生直播偏離事件，並由虛擬機器人向主播輸出直播偏離信息。

具體地，主播在線狀態判定模塊331，接收人臉追蹤模塊321、人體檢測模塊322的數據處理結果，獲取主播人臉在線狀態信息、主播人體在線狀態信息，根據主播在線狀態判定依據，對主播是否處於在線狀態進行判斷，輸出判斷結果。需要說明的是，主播在線狀態判定依據如下所示：當主播人臉處於在線狀態和/或主播人體處於在線狀態時，判定主播處於直播在線狀態；當主播人臉處於不在線狀態且主播人體處於不在線狀態時，判定處於主播直播不在線狀態。

接下來，對輿情信息反饋模塊333進行詳細說明。如圖3所示，輿情信息反饋模塊333接收文本語義分析模塊323的數據處理結果和主播在線狀態判定模塊331輸出的主播在線狀態信息，從而獲取觀眾觀看的反饋情緒信息以及高頻短句信息，根據負面情緒判定原則，判斷觀眾是否產生負面情緒，是否發生直播偏離事件，並由虛擬機器人向主播輸出直播偏離信息。需要說明的是，在單位時間內觀眾觀看的反饋情緒(單位時間內分句情緒程度置信度)中，情緒程度為一般、消極、非常消極所佔的百分比之和大於等於40時，觀眾的情緒反應滑向負面，則判定發生直播偏離事件，此時，虛擬機器人調用其多模態交互能力向主播輸出直播偏離信息。

如圖3所示，輔助直播信息輸出模塊332包括如下單元：視頻流輸出單元3321和文本信息輸出單元3322。其中，視頻流輸出單元3321接收文本語義分析模塊323、主播在線狀態判定模塊331和輿情信息反饋模塊333的數據處理結果，獲取主播在線狀態信息、負面情緒反饋信息、觀眾觀看的反饋情緒信息以及高頻短句信息，根據不同的直播狀態，調取不同的輔助機器人表演資料庫的視頻流信息，並向直播平臺用戶端發送；文本信息輸出單元3312接收文本語義分析模塊323、主播在線狀態判定模塊331和輿情信息反饋模塊333的數據處理結果，獲取主播在線狀態信息、負面情緒反饋信息、觀眾觀看的反饋情緒信息以及高頻短句信息，根據不同的直播狀態，向直播平臺用戶端隨機輸出預設的主播不在線狀態的文字信息。

需要說明的是，在輔助直播信息輸出模塊332中，當獲取到主播處於不在線狀態時，輸出輔助機器人視頻流信息和主播不在線狀態文字信息。其中，主播不在線狀態文字信息的示例如下所示：「主播正在補妝」、「主播正在換衣服」等。

在本例中，輔助機器人表演資料庫是針對主播處於不在線狀態構建的以動畫形象為載體的動畫視頻流資料庫，其可以存儲於雲端伺服器30也可以存儲在主播段應用軟體中，具有聲頻輔助信息。該資料庫中具有多種不同類型的視頻流數據，其按照不同的直播狀態進行輸出。其中，直播狀態為直播不在線和/或觀眾產生負面情緒和/或高頻短句中有與詢問主播去向的短句出現。

需要說明的是，本發明對觀眾觀看的反饋情緒信息獲取方式採用計算五類不同情緒程度百分比，進而按照相應的比例，對是否是否發生直播偏離事件進行判定，本發明對觀眾觀看的反饋情緒信息的獲取方式和負面情緒的判定方法不做具體限定，以採用其他形式進行替代。

圖10為本申請實施例的直播平臺輿情監測方法(應用於視頻直播平臺的虛擬機器人多模態交互方法)的流程圖。如圖10所示，一方面，首先，主播直播圖像採集設備(攝像頭)採集到直播直播過程中的視頻圖像，將其轉化成單幀圖像格式，在獲取到的單幀圖像後，進入到人臉追蹤模塊321中進行人臉追蹤處理，其實施過程如圖4、圖5所示的所述人臉追蹤處理的原理及流程，輸出主播人臉在線狀態信息。同時，還可以根據需要對單幀圖像進行人體檢測，啟動人體檢測模塊322進行人體檢測處理，其實施過程如圖6、圖7所示的所述人體檢測處理的原理及流程，輸出主播人體在線狀態信息。另一方面，該方法能夠獲取直播平臺用戶端的文本信息，並將該文本信息傳輸至文本語義分析模塊323中,進行文本語義分析處理，其實施過程如圖8、圖9所示的所述文本語義分析處理的原理及流程，進而輸出情緒反饋置信度和高頻短句信息。然後，進入到主播在線狀態判定模塊331，完成對主播在線狀態數據的輸出，並發送至輔助直播信息輸出模塊332和輿情信息反饋模塊333中。當輔助直播信息輸出模塊332接收到主播在線狀態數據，該模塊只對解析出主播處於不在線狀態有效，進而輔助直播信息輸出模塊332可以根據觀眾產生負面情緒和/或高頻短句中有與詢問主播去向的短句出現，調用虛擬機器人表演資料庫的信息，不僅輸出虛擬機器人輔助表演動畫視頻流，還對主播狀態文字信息進行輸出。當主播在線狀態數據發送至輿情信息反饋模塊333時，輿情信息反饋模塊333的實施只對解析出主播處於在線狀態有效，根據文本語義分析模塊323輸出的情緒信息和高頻短句，判定觀眾反饋情緒中是否產生負面情緒，當解析主播處於在線狀態時，若觀眾產生負面情緒，則輸出直播偏離信息，並顯示在主播伺服器顯示屏上，從而提示主播適當調整其表演方式，調動觀眾的積極性；若觀眾並沒有產生負面情緒，則輿情監測系統繼續對觀眾觀看的反饋情緒進行輸出。

由於本發明的方法描述的是在計算機系統中實現的。例如，本文所述的方法可以實現為能以控制邏輯來執行的軟體，其由機器人作業系統中的cpu來執行。本文所述的功能可以實現為存儲在非暫時性有形計算機可讀介質中的程序指令集合。當以這種方式實現時，該電腦程式包括一組指令，當該組指令由計算機運行時其促使計算機執行能實施上述功能的方法。可編程邏輯可以暫時或永久地安裝在非暫時性有形計算機可讀介質中，例如只讀存儲器晶片、計算機存儲器、磁碟或其他存儲介質。除了以軟體來實現之外，本文所述的邏輯可利用分立部件、集成電路、與可編程邏輯設備(諸如，現場可編程門陣列(fpga)或微處理器)結合使用的可編程邏輯，或者包括它們任意組合的任何其他設備來體現。所有此類實施例旨在落入本發明的範圍之內。

應該理解的是，本發明所公開的實施例不限於這裡所公開的特定結構、處理步驟或材料，而應當延伸到相關領域的普通技術人員所理解的這些特徵的等同替代。還應當理解的是，在此使用的術語僅用於描述特定實施例的目的，而並不意味著限制。

說明書中提到的「一個實施例」或「實施例」意指結合實施例描述的特定特徵、結構或特性包括在本發明的至少一個實施例中。因此，說明書通篇各個地方出現的短語「一個實施例」或「實施例」並不一定均指同一個實施例。

雖然本發明所公開的實施方式如上，但所述的內容只是為了便於理解本發明而採用的實施方式，並非用以限定本發明。任何本發明所屬技術領域內的技術人員，在不脫離本發明所公開的精神和範圍的前提下，可以在實施的形式上及細節上作任何的修改與變化，但本發明的專利保護範圍，仍須以所附的權利要求書所界定的範圍為準。