一種用於機器人的交互輸出方法與流程
2023-09-19 18:42:25 2
本發明涉及機器人領域，具體涉及一種用於機器人的交互輸出方法。
背景技術：
隨著機器人技術的不斷發展，智慧機器人的越來越多的被應用到人類日常的生產生活中。
為了提高機器人的用戶體驗，需要不斷提高機器人的擬人化水平。在現有技術中，通常採用不斷精細化模仿人類行為的方式來提高機器人的擬人化水平，例如複製人類說話的語氣、模仿人類的一些習慣性小動作等。然而，人類行為的一個重要特徵是人類的各種日常行為往往是伴隨著特定情緒的。在不同的環境中、面對不同的對象，人類會產生不同的情緒並基於該情緒採用不同的行為模式，情緒指向的千變萬化導致了人類行為的不確定性。但是，現有技術中，機器人對人類的模仿僅停留在單純的外部表象模仿，在實際上並無法模仿人類的情緒，這就導致機器人最終的行為輸出十分乾澀生硬，擬人化水平不高，大大影響了機器人的用戶體驗。
技術實現要素：
本發明提供了一種用於機器人的交互輸出方法，所述方法包括：
獲取多模態輸入信息並解析，確認當前交互場景的場景描述、當前交互參與者的參與者屬性以及目標物；
獲取所述目標物在所述場景描述以及所述參與者屬性限定下所對應的情緒信息；
結合所述情緒信息生成多模態輸出數據並輸出。
在一實施例中，所述交互場景的場景描述包含多個維度的場景信息元素，所述場景描述包含但不限於時間、地點、當前環境總人數。
在一實施例中，所述交互參與者為當前交互對象或機器人自身。
在一實施例中，獲取所述目標物對應的情緒信息，其中：
從預存的目標物關聯情緒體系中提取所述目標物對應的情緒信息。
在一實施例中，所述方法還包括：
獲取當前交互場景的場景描述以及當前交互對象的交互對象屬性；
確定所述當前交互對象的關注對象，獲取所述關注對象的關注對象描述；
確定所述當前交互對象針對所述關注對象的情緒信息；
關聯記錄所述當前交互場景的場景描述、所述當前交互對象的交互對象屬性、所述關注對象描述以及所述情緒信息獲取關聯記錄數據；
積累所述關聯記錄數據，分析整理所述關聯記錄數據獲取所述目標物關聯情緒體系。
在一實施例中，所述目標物關聯情緒體系可以表示為
F{An,Bn,Sn}＝{Cn,Dn}*Pn
其中：
F{An,Bn,Sn}為場景描述Sn、參與者屬性An以及目標物Bn；
{Cn,Dn}表示對應F{An,Bn,Sn}的情緒信息，Cn為情緒類型，Dn為情緒值；
Pn為情緒信息{Cn,Dn}出現的概率值。
本發明還提出了一種智慧機器人，所述機器人包括：
採集模塊，其配置為獲取多模態輸入信息；
交互解析模塊，其配置為解析所述多模態輸入信息，確認當前交互場景的場景描述、當前交互參與者的參與者屬性以及目標物；
情緒解析模塊，其配置為獲取所述目標物在所述場景描述以及所述參與者屬性限定下所對應的情緒信息；
輸出模塊，其配置為結合所述情緒信息生成多模態輸出數據並輸出。
在一實施例中，所述情緒解析模塊包含存儲有目標物關聯情緒體系的存儲單元，其中：
所述情緒解析模塊配置為從預存的目標物關聯情緒體系中提取所述目標物對應的情緒信息。
在一實施例中，所述機器人還包括情緒體系構造模塊，所述情緒體系構造模塊包含：
場景採集單元，其配置為獲取當前交互場景的場景描述；
交互對象採集單元，其配置為獲取當前交互對象的交互對象屬性；
關注對象採集單元，其配置為確定所述當前交互對象的關注對象，獲取所述關注對象的關注對象描述；
情緒信息採集單元，其配置為確定所述當前交互對象針對所述關注對象的情緒信息；
關聯記錄單元，其配置為關聯記錄所述當前交互場景的場景描述、所述當前交互對象的交互對象屬性、所述關注對象描述以及所述情緒信息獲取關聯記錄數據；
記錄保存單元，其配置為保存並積累所述關聯記錄數據；
數據整理單元，其配置為分析整理所述關聯記錄數據獲取所述目標物關聯情緒體系。
在一實施例中，保存在所述存儲單元的所述目標物關聯情緒體系可以表示為
F{An,Bn,Sn}＝{Cn,Dn}*Pn，
其中：
F{An,Bn,Sn}為場景描述Sn、參與者屬性An以及目標物Bn；
{Cn,Dn}表示對應F{An,Bn,Sn}的情緒信息，Cn為情緒類型，Dn為情緒值；
Pn為情緒信息{Cn,Dn}出現的概率值。
根據本發明的方法，在機器人面對目標物時，可以在機器人的交互輸出中體現模擬人類的情緒信息，從而大大提高機器人的擬人化水平，增強機器人的用戶體驗。
本發明的其它特徵或優點將在隨後的說明書中闡述。並且，本發明的部分特徵或優點將通過說明書而變得顯而易見，或者通過實施本發明而被了解。本發明的目的和部分優點可通過在說明書、權利要求書以及附圖中所特別指出的步驟來實現或獲得。
附圖說明
附圖用來提供對本發明的進一步理解，並且構成說明書的一部分，與本發明的實施例共同用於解釋本發明，並不構成對本發明的限制。在附圖中：
圖1是根據本發明一實施例的方法流程圖；
圖2、圖3以及圖4是根據本發明實施例的方法的部分流程圖；
圖5以及圖6是根據本發明實施例的機器人系統結構簡圖；
圖7是根據本發明一實施例的機器人系統部分結構簡圖。
具體實施方式
以下將結合附圖及實施例來詳細說明本發明的實施方式，藉此本發明的實施人員可以充分理解本發明如何應用技術手段來解決技術問題，並達成技術效果的實現過程並依據上述實現過程具體實施本發明。需要說明的是，只要不構成衝突，本發明中的各個實施例以及各實施例中的各個特徵可以相互結合，所形成的技術方案均在本發明的保護範圍之內。
為了提高機器人的用戶體驗，需要不斷提高機器人的擬人化水平。人類行為的一個重要特徵是人類的各種日常行為往往是伴隨著特定情緒的。在不同的環境中、面對不同的對象，人類會產生不同的情緒並基於該情緒採用不同的行為模式，情緒指向的千變萬化導致了人類行為的不確定性。但是，現有技術中，機器人對人類的模仿實際上無法模仿人類的情緒，這就導致機器人最終的行為輸出十分乾澀生硬，擬人化水平不高，大大影響了機器人的用戶體驗。
為了進一步提高機器人的擬人化水平，增強機器人的用戶體驗，本發明提出了一種用於機器人的交互輸出方法。在本發明的方法中，機器人在進行交互輸出時通過交互輸出體現特定的情緒從而使得交互輸出更加接近人類的交互輸出。在此步驟中，關鍵點之一在於確保機器人所體現的情緒與正常人類在同樣的交互環境下所體現出的情緒一致。因此，進一步的，在本發明一實施例中，通過模擬人類情緒的確定方式來確定在特定交互環境下機器人該體現的情緒。
接下來基於附圖詳細描述根據本發明實施例的方法的詳細流程，附圖的流程圖中示出的步驟可以在包含諸如一組計算機可執行指令的計算機系統中執行。雖然在流程圖中示出了各步驟的邏輯順序，但是在某些情況下，可以以不同於此處的順序執行所示出或描述的步驟。
在通常的交互環境中，人類面對不同的目標物時會抱有不同的情緒(例如，一般的：面對玩具或者圖畫書，兒童會表現出喜歡的情緒；而面對全是字的書籍，兒童則會表現出不喜歡或無視的情緒)，也就是說，目標物會直接影響到所要體現出的情緒。因此，在一實施例中，機器人首先需要確定當前所要面對的目標物是什麼，而後再確定對應的情緒。
如圖1所示，在一實施例中，機器人首先解析多模態輸入數據(步驟S100)，然後根據解析結果確定目標物(步驟S111)。
進一步的，在正常的交互場景中，不同的人類面對相同的目標物時會抱有不同的情緒(例如，一般的：面對洋娃娃，女孩會表現出喜歡的情緒，男孩會表現出不喜歡或是無視的情緒；而面對汽車模型，女孩則會表現出不喜歡或無視的情緒，男孩會表現出喜歡的情緒)。也就是說，人類自身的屬性特徵(性別、年齡、性格、喜好以及特殊個性等)也會直接影響所要體現出的情緒(或者說交互輸出中所體現出的情緒是人類自身屬性特徵的映射)。因此，在一實施例中，機器人在確定所要體現出的情緒之前，還需要確認自身所要體現的是何種人類屬性特徵。
如圖1所示，機器人還根據步驟S100的解析結果確定當前交互參與者的參與者屬性(在交互輸出中體現映射何種人類屬性特徵的情緒)(步驟S112)。
進一步的，由於普通人類交互輸出中所體現出的情緒映射的是自身屬性特徵。為了模擬人類的情緒輸出模式，在一實施例中，為機器人預設固定的屬性特徵。在步驟S112中，定義當前交互參與者為機器人自身，直接調用機器人所預設的屬性特徵。
進一步的，在某些交互場景中，交互雙方中的一方(A)為了維持交互話題的延續性，提高另一方(B)的交互意願，A會配合B的情緒來進行交互輸出(例如，在家長與孩子進行交互的過程中，即使家長對兒童玩具並不感興趣，但是也會配合孩子的喜好表現出對兒童玩具感興趣的樣子)。在這種情況下，A的交互輸出所體現的情緒就不是A的屬性特徵的映射，而是匹配B的屬性特徵。
延伸到人機互動的場合，在一實施例中，為了提高交互對象的交互意願，機器人配合交互對象的屬性特徵進行情緒輸出。在步驟S112中，定義當前交互參與者為當前交互對象，獲取當前交互對象的屬性特徵。
進一步的，在一實施例中，採用了上述兩種參與者屬性確認方式相結合的方式。如圖2所示，機器人解析多模態輸入數據(步驟S200)，根據解析結果判斷是否要配合當前的交互對象進行情緒輸出(步驟S210)。如果是，則獲取當前交互對象的屬性特徵(基於當前交互對象的屬性特徵確定要輸出的情緒)(步驟S211)。如果不需要配合，則調用機器人預設的機器人屬性特徵(步驟S212)。
以一具體的應用環境為例，機器人與兒童進行交互，面對兒童玩具，為了增強兒童的交互意願，機器人配合兒童表現出自身也對兒童玩具抱有喜歡的情緒。在另一具體的應用環境中，機器人與成人進行交互，機器人被設定為扮演兒童的角色，不需要配合成人的喜好，機器人表現出自身對兒童玩具抱有喜歡的情緒。
進一步的，由於機器人在本質上並不存在固定的屬性特徵(預設的屬性特徵只是一種預定義，與人類所固有的屬性特徵並不相同，不是不可更改的)。並且在大多數的人機互動過程中，機器人交互輸出的側重目標並不是體現自身的性格特徵，而是儘可能的增強用戶的交互意願，提高用戶體驗。因此，在一實施例中，默認機器人始終配合當前交互對象的屬性特徵進行交互輸出。
進一步的，當不存在特定的交互對象時，機器人才調用自身預設的機器人屬性特徵。
如圖3所示，機器人解析多模態輸入數據(步驟S300)，根據解析結果判斷當前是否存在交互對象(步驟S310)。如果是，則獲取當前交互對象的屬性特徵(基於當前交互對象的屬性特徵確定要輸出的情緒)(步驟S311)。如果不存在，則調用機器人預設的機器人屬性特徵(步驟S312)。
進一步的，在本發明一實施例中，圖1所示的步驟S112中，參與者屬性可以是一類人的屬性(例如，7～10歲男孩)，也可以是具體的某個用戶的身份標識(例如用戶A)。這樣，在某些針對特定用戶的交互場景中，機器人就可以根據用戶的身份標識確定匹配該用戶的情緒。例如機器人的交互對象限定為用戶A以及用戶B，用戶A喜歡汽車討厭洋娃娃、用戶B喜歡洋娃娃討厭汽車。那麼機器人在人機互動過程中，當面對汽車時，如果交互對象識別為用戶A，則機器人在交互輸出中體現喜歡的情緒；當面對洋娃娃時，如果交互對象識別為用戶B，則機器人在交互輸出中體現喜歡的情緒。
進一步的，在正常的交互場景中，當前所處的交互場景的環境狀態也會影響到人類的情緒。因此，在一實施例中，機器人在確定所要體現出的情緒之前，還需要確認自身所處的交互場景。如圖1所示，機器人還根據步驟S100的解析結果確定當前交互場景的場景描述(步驟S113)。
進一步的，實際的交互場景是一個眾多場景元素的綜合體。其中每個場景元素的變化都有可能影響到交互場景內進行交互的人類的具體情緒表現。為了儘可能的模擬人類情緒輸出(使得機器人的情緒輸出與相同場景下的人類情緒輸出一致)，就需要儘可能細緻的採集當前交互場景的信息。因此，在一實施例中，步驟S113中，交互場景的場景描述包含多個維度的場景信息元素，場景描述包含但不限於時間、地點、當前環境總人數。
當目標物(步驟S111)、參與者屬性(步驟S112)以及場景描述(步驟S113)被確認後，機器人就根據目標物、參與者屬性以及場景描述獲取目標物在場景描述以及參與者屬性限定下所對應的情緒信息(確認具有參與者屬性的人類在場景描述限定下的交互場景中面對目標物所抱有的情緒)(步驟S120)。並最後結合情緒信息生成多模態輸出數據並輸出(步驟S130)。由於步驟S130最終輸出的多模態數據中可以體現擬人化的情緒，使得機器人的交互輸出更加貼合人類的交互輸出，這就大大提高了機器人的擬人化水平，增強了機器人的用戶體驗。
這裡需要指出的是，在圖1所示的步驟中，步驟S111、S112以及S113的執行先後順序並不需要特別限制。在具體的實施例中，可以以任意執行順序或者同時執行上述步驟。
在圖1所示步驟中，保證機器人擬人化水平的關鍵點之一在於步驟S120中獲取到的情緒要和普通人類在同樣交互狀況下所抱有的情緒一致。為了實現這一點，在本發明一實施例中，參照正常交互狀態下，不同屬性特徵的人類在不同交互場景下面對不同目標物所抱有的不同情緒來構造目標物關聯情緒體系。在步驟120中，基於目標物、參與者屬性以及場景描述從預存的目標物關聯情緒體系中提取目標物對應的情緒信息。
具體的，在一實施例中，目標物關聯情緒體系可以表示為
F{An,Bn,Sn}＝{Cn,Dn}*Pn
其中：
F{An,Bn,Sn}為場景描述Sn、參與者屬性An以及目標物Bn；
{Cn,Dn}表示對應F{An,Bn,Sn}的情緒信息，Cn為情緒類型，Dn為情緒值；
Pn為情緒信息{Cn,Dn}出現的概率值。
在圖1所示的步驟S111、S112以及S113中，確定了目標物Bn、參與者屬性An以及場景描述Sn(也就確定了F{An,Bn,Sn})。這樣在步驟S120中就可以直接確定對應F{An,Bn,Sn}的{Cn,Dn}*Pn，從而確定對應的情緒信息。
進一步的，由於人類的情緒體系是一個複雜多變的系統，其不能以簡單的描述進行概括。因此，在一實施例中，採用數據積累、數據訓練的方式構造目標物關聯情緒體系。具體的，獲取不同的人類情緒信息並同時採集人類輸出該情緒信息時對應的交互場景描述、人類屬性特徵以及目標物屬性特徵。積累此類記錄數據，並對足夠數據量規模的記錄數據進行分析歸納整理，從而最終獲取目標物關聯情緒體系。
進一步的，在本發明一實施例中，利用機器人，在人機互動過程中實現數據的採集。具體的，如圖4所示，在人機互動過程中，獲取當前交互場景的場景描述(Sn)(步驟S404)以及當前交互對象的交互對象屬性(An)(步驟S403)；確定當前交互對象的關注對象(步驟S401)，獲取關注對象的關注對象描述(Bn)(步驟S400)；獲取當前交互對象針對關注對象的情緒信息(Cn以及Dn)(步驟S405)；關聯記錄當前交互場景的場景描述、當前交互對象的交互對象屬性、關注對象描述以及情緒信息，獲取關聯記錄數據(步驟S410)。
針對不同的交互對象、交互場景和/或關注對象多次進行關聯記錄，積累關聯記錄數據(步驟420)。分析整理關聯記錄數據(步驟430)，從而獲取目標物關聯情緒體系(步驟S440)。這樣，最終獲取到的目標物關聯情緒體系就會準確體現實際交互過程中真實人類的情緒輸出情況，使得機器人可以獲取到與真實人類情緒一致的情緒信息，保證機器人交互輸出體現出的情緒信息符合真實人類的情況。
綜上，根據本發明的方法，在機器人面對目標物時，可以在機器人的交互輸出中體現模擬人類的情緒信息，從而大大提高機器人的擬人化水平，增強機器人的用戶體驗。
基於本發明的方法，本發明還提出了一種智慧機器人。如圖5所示，在一實施例中，機器人包括：
採集模塊510，其配置為獲取多模態輸入信息；
交互解析模塊520，其配置為解析多模態輸入信息，確認當前交互場景的場景描述、當前交互參與者的參與者屬性以及目標物；
情緒解析模塊530，其配置為獲取目標物在場景描述以及參與者屬性限定下所對應的情緒信息；
輸出模塊540，其配置為結合情緒信息生成多模態輸出數據並輸出。
進一步的，在一實施例中，情緒解析模塊基於預存的目標物關聯情緒體系獲取情緒信息。具體的，如圖6所示，在一實施例中，情緒解析模塊630包含存儲有目標物關聯情緒體系的存儲單元631。採集模塊610獲取多模態輸入信息；交互解析模塊620解析多模態輸入信息，確認當前交互場景的場景描述、當前交互參與者的參與者屬性以及目標物；情緒解析模塊630從存儲單元631中預存的目標物關聯情緒體系中提取獲取目標物在場景描述以及參與者屬性限定下所對應的情緒信息；輸出模塊640結合情緒信息生成多模態輸出數據並輸出。
進一步的，在一實施例中，保存在存儲單元631的目標物關聯情緒體系可以表示為
F{An,Bn,Sn}＝{Cn,Dn}*Pn
其中：
F{An,Bn,Sn}為場景描述Sn、參與者屬性An以及目標物Bn；
{Cn,Dn}表示對應F{An,Bn,Sn}的情緒信息，Cn為情緒類型，Dn為情緒值；
Pn為情緒信息{Cn,Dn}出現的概率值。
情緒解析模塊630從交互解析模塊620處獲取當前交互場景的場景描述Sn、當前交互參與者的參與者屬性An以及目標物Bn，從而確定F{An,Bn,Sn}。根據F{An,Bn,Sn}提取對應的{Cn,Dn}*Pn，進而確定對應的情緒信息(Cn以及Dn)。
進一步的，在本發明一實施例中，機器人還包括用於獲取目標物關聯情緒體系的情緒體系構造模塊，該情緒體系構造模塊通過在人機互動過程中進行數據收集來獲取目標物關聯情緒體系。具體的，如圖7所示，在一實施例中，情緒體系構造模塊包含：
場景採集單元711，其配置為獲取當前交互場景的場景描述；
交互對象採集單元712，其配置為獲取當前交互對象的交互對象屬性；
關注對象採集單元713，其配置為確定當前交互對象的關注對象，獲取關注對象的關注對象描述；
情緒信息採集單元714，其配置為確定當前交互對象針對關注對象的情緒信息；
關聯記錄單元720，其配置為關聯記錄當前交互場景的場景描述、當前交互對象的交互對象屬性、關注對象描述以及情緒信息獲取關聯記錄數據；
記錄保存單元730，其配置為保存並積累關聯記錄數據；
數據整理單元740，其配置為分析整理關聯記錄數據獲取目標物關聯情緒體系。
數據整理單元740獲取到目標物關聯情緒體系後就將目標物關聯情緒體系保存到情緒解析模塊的存儲單元中。進一步的，當關聯記錄單元720記錄到新的關聯信息後(記錄保存單元730中的關聯記錄數據增加後)，數據整理單元740分析整理新增加的關聯信息並判斷是否需要對目標物關聯情緒體系進行更新，如果需要更新，則生成新的目標物關聯情緒體系替換情緒解析模塊的存儲單元中的目標物關聯情緒體系。
或者，當關聯記錄單元720記錄到新的關聯信息後(記錄保存單元730中的關聯記錄數據增加後)，數據整理單元740分析整理新增加的關聯信息並判斷是否需要擴充目標物關聯情緒體系中的條目或是修改目標物關聯情緒體系中的條目，如果需要，則生成新的條目填充到情緒解析模塊的存儲單元中的目標物關聯情緒體系或者替換情緒解析模塊的存儲單元中的目標物關聯情緒體系中的已有條目。
雖然本發明所公開的實施方式如上，但所述的內容只是為了便於理解本發明而採用的實施方式，並非用以限定本發明。本發明所述的方法還可有其他多種實施例。在不背離本發明實質的情況下，熟悉本領域的技術人員當可根據本發明做出各種相應的改變或變形，但這些相應的改變或變形都應屬於本發明的權利要求的保護範圍。