一種用於機器人的多模態輸出方法與流程
2023-07-26 05:37:46 2
本發明涉及計算機領域，具體說涉及一種用於機器人的多模態輸出方法。
背景技術：
隨著機器人技術的不斷發展，機器人的應用範圍被不斷拓展，尤其的，越來越多的機器人被應用到日常的生產生活中。在日常的生產生活中，機器人的主要應用場景通常集中在與人的交互上。
在當前技術環境中，人機互動具有很多不同的方式，其中較為常見的一種模式是用戶依照固定的流程進行人機互動。例如，用戶使用機器人進行遊戲，而大部分的遊戲流程都是預先設置好的。。
在這種情況下，機器人持續通過固定的流程進行輸出，容易使用戶對交互產生厭倦情緒，降低了機器人的用戶體驗。
技術實現要素：
本發明提出了一種用於機器人的多模態輸出方法，所述方法包括：
在根據當前運行的應用進行的人機互動過程中基於用戶交互輸入和/或用戶狀態數據生成針對當前交互內容的用戶興趣參量；
當所述用戶興趣參量低於設定閾值時，輸出預設的吸引用戶注意力的多模態輸出。
在一實施例中，所述方法還包括：
當所述用戶興趣參量高於所述設定閾值時，輸出根據當前運行的應用的固定交互模式生成的多模態輸出。
在一實施例中，當所述用戶興趣參量低於設定閾值時，輸出預設的吸引用戶注意力的多模態輸出，其中，在輸出所述預設的吸引用戶注意力的多模態輸出之後，輸出根據當前運行的應用的固定交互模式生成的多模態輸出。
在一實施例中，基於用戶交互輸入和/或用戶狀態數據生成針對當前交互內容的用戶興趣參量，其中，通過如下之一或組合來生成所述用戶興趣參量：
採集用戶語音，通過語音語義理解生成針對當前交互內容的用戶興趣參量；
採集用戶語音，通過語音情感識別生成針對當前交互內容的用戶興趣參量；
採集用戶圖像，通過用戶位置變化和/或視線變化生成針對當前交互內容的用戶興趣參量；
採集用戶圖像，通過人臉情緒識別生成針對當前交互內容的用戶興趣參量；
採集用戶圖像，通過手勢識別生成針對當前交互內容的用戶興趣參量。
在一實施例中，所述當前運行的應用包括：
遊戲類交互應用、學習類交互應用。
本發明還提出了一種智慧機器人，所述機器人包括：
用戶興趣解析模塊，其配置為在根據當前運行的應用進行的人機互動過程中基於用戶交互輸入和/或用戶狀態數據生成針對當前交互內容的用戶興趣參量；
輸出模塊，其配置為當所述用戶興趣參量低於設定閾值時，輸出預設的吸引用戶注意力的多模態輸出。
在一實施例中，所述輸出模塊還配置為：
當所述用戶興趣參量高於所述設定閾值時，輸出根據當前運行的應用的固定交互模式生成的多模態輸出。
在一實施例中，所述輸出模塊還配置為：在輸出所述預設的吸引用戶注意力的多模態輸出之後，輸出根據當前運行的應用的固定交互模式生成的多模態輸出。
在一實施例中，所述用戶興趣解析模塊配置為通過如下之一或組合來生成所述用戶興趣參量：
採集用戶語音，通過語音語義理解生成針對當前交互內容的用戶興趣參量；
採集用戶語音，通過語音情感識別生成針對當前交互內容的用戶興趣參量；
採集用戶圖像，通過用戶位置變化和/或視線變化生成針對當前交互內容的用戶興趣參量；
採集用戶圖像，通過人臉情緒識別生成針對當前交互內容的用戶興趣參量；
採集用戶圖像，通過手勢識別生成針對當前交互內容的用戶興趣參量。
在一實施例中，所述用戶興趣解析模塊配置為在機器人根據遊戲類交互應用和/或學習類交互應用進行的人機互動過程中生成針對當前交互內容的用戶興趣參量。
根據本發明的方法及機器人，可以在不影響應用功能的實現的基礎上維持用戶的感興趣程度，從而大大提高用戶體驗。
本發明的其它特徵或優點將在隨後的說明書中闡述。並且，本發明的部分特徵或優點將通過說明書而變得顯而易見，或者通過實施本發明而被了解。本發明的目的和部分優點可通過在說明書、權利要求書以及附圖中所特別指出的步驟來實現或獲得。
附圖說明
附圖用來提供對本發明的進一步理解，並且構成說明書的一部分，與本發明的實施例共同用於解釋本發明，並不構成對本發明的限制。在附圖中：
圖1和圖2是根據本發明實施例的方法流程圖；
圖3是根據本發明一實施例的機器人系統結構簡圖。
具體實施方式
以下將結合附圖及實施例來詳細說明本發明的實施方式，藉此本發明的實施人員可以充分理解本發明如何應用技術手段來解決技術問題，並達成技術效果的實現過程並依據上述實現過程具體實施本發明。需要說明的是，只要不構成衝突，本發明中的各個實施例以及各實施例中的各個特徵可以相互結合，所形成的技術方案均在本發明的保護範圍之內。
隨著機器人技術的不斷發展，機器人的應用範圍被不斷拓展，尤其的，越來越多的機器人被應用到日常的生產生活中。在日常的生產生活中，機器人的主要應用場景通常集中在與人的交互上。
在當前技術環境中，人機互動具有很多不同的方式，其中較為常見的一種模式是用戶依照固定的流程進行人機互動。例如，用戶使用機器人進行遊戲，而大部分的遊戲流程都是預先設置好的。
在這種情況下，機器人只能通過用戶的輸入來判斷下一步的流程，持續通過固定的流程進行輸出，不容易發現用戶對交互是否產生厭倦情緒，降低了機器人的用戶體驗。針對這一問題，本發明提出了一種在人機互動遊戲中，通過判斷用戶當前的興趣度，從而使機器人能更好控制遊戲過程的方法。
在用戶依照固定的流程進行人機互動過程中，用戶對交互產生厭倦情緒的主要原因之一是機器人的交互應對是完全依照當前運行的應用中預設的交互流程設置進行的，機器人的交互應對無法反應用戶自身狀態的變化，使得交互應對生硬、缺乏靈活性。解決這一問題的方法之一就是機器人根據用戶自身的狀態變化及時調整交互回應，使得交互回應靈活多變，從而不斷激發用戶的交互興趣。
但是，根據用戶自身的狀態變化及時調整交互回應勢必佔用大量的處理資源並且需要大量完整精確的數據支持，並且靈活多變的交互回應也會破壞應用中預設的交互流程，使得應用的功能無法得到有效實現，從而使得人機互動失去了原本的目的和意義。
針對上述問題，在本發明一實施例中，機器人根據用戶自身的狀態變化調整交互回應以激發用戶的交互興趣。但是，交互回應的調整並不是隨時進行的，而僅僅是在用戶交互興趣下降(產生厭倦感)的關鍵節點進行的。這樣，就在最大限度維持應用的原有交互流程的基礎上，以儘可能少的交互回應調節來避免用戶厭倦感的產生，不僅提高了用戶體驗，而且保證了處理資源消耗的精簡以及應用功能的正常實現。
接下來基於附圖詳細描述根據本發明實施例的方法執行流程。附圖的流程圖中示出的步驟可以在包含諸如一組計算機可執行指令的計算機系統中執行。雖然在流程圖中示出了各步驟的邏輯順序，但是在某些情況下，可以以不同於此處的順序執行所示出或描述的步驟。
在一實施例中，如圖1所示，機器人根據當前運行的應用和用戶進行人機互動(步驟S110)；在人際交互過程中基於用戶交互輸入和/或用戶狀態數據生成針對當前交互內容的用戶興趣參量(步驟S120)，該用戶興趣參量用於量化描述用戶對於當前交互內容的感興趣程度。
接下來判斷當前用戶的用戶興趣參量是否低於設定閾值(步驟S130)。在本實施例中，用戶興趣參量的設定閾值是當用戶對當前交互內容沒有產生厭倦感時對於當前交互內容的感興趣程度的量化描述。當用戶的當前用戶興趣參量低於設定閾值時，則說明用戶對當前交互內容的感興趣程度開始降低，用戶開始產生厭倦感。
因此在步驟S130之後，如果用戶興趣參量大於等於設定閾值，則繼續進行原有的人機互動進程(返回步驟S110)。如果用戶興趣參量小於設定閾值，則輸出預設的吸引用戶注意力的多模態輸出(步驟S140)(例如誇張的動作、表情，以及吸引用戶集中注意力的語言)，從而維持或提高用戶對當前交互內容的興趣，避免用戶產生厭倦感。
在本發明一實施例中，根據用戶對同一應用的歷史使用過程中的用戶興趣參量數據確定用戶興趣參量的設定閾值。具體的，以用戶對同一應用的歷史使用過程中對交互內容沒有產生厭倦感時對應的用戶興趣參量值作為設定閾值。噹噹前的用戶興趣參量值小於該設定閾值，則說明用戶開始產生厭倦感。
在本發明另一實施例中，以當前用戶在上一用戶興趣參量檢測時刻的用戶興趣參量值作為設定閾值。噹噹前的用戶興趣參量值小於該設定閾值(上一用戶興趣參量檢測時刻的用戶興趣參量值)，則說明用戶對當前交互內容的感興趣程度開始降低，用戶開始產生厭倦感。
進一步的，考慮到用戶興趣參量值的測量波動以及用戶本身的興趣波動，基於歷史數據對用戶興趣參量的設定波動範圍。具體的，在一實施例中，以當前用戶在上一用戶興趣參量檢測時刻的用戶興趣參量值作為基準量，結合波動範圍設定用戶興趣參量的設定閾值。即相較於上一用戶興趣參量檢測時刻的用戶興趣參量值，如果當前的用戶興趣參量值的減小值超出波動範圍，則說明用戶對當前交互內容的感興趣程度開始降低，用戶開始產生厭倦感。
進一步的，在本發明一實施例中，在步驟S110中，機器人根據當前運行的應用和用戶進行人機互動，即輸出根據當前運行的應用的固定交互模式生成的多模態輸出。當在步驟S130中判斷用戶興趣參量不低於設定閾值時，機器人不輸出預設的吸引用戶注意力的多模態輸出，而是依照當前運行的應用的固定交互模式生成多模態輸出並輸出給用戶。
進一步的，在本發明一實施例中，當用戶興趣參量低於設定閾值時，輸出預設的吸引用戶注意力的多模態輸出。並且，在輸出預設的吸引用戶注意力的多模態輸出之後，機器人返回到通常的輸出模式，輸出根據當前運行的應用的固定交互模式生成的多模態輸出。
如圖2所示，機器人根據當前運行的應用和用戶進行人機互動(步驟S210)；在人際交互過程中基於用戶交互輸入和/或用戶狀態數據生成針對當前交互內容的用戶興趣參量(步驟S220)；判斷當前用戶的用戶興趣參量是否低於設定閾值(步驟S230)。
如果用戶興趣參量不低於設定閾值，則輸出根據當前運行的應用的固定交互模式生成的多模態輸出(步驟S250)，繼續進行原有的人機互動進程(返回步驟S210)。
如果用戶興趣參量小於設定閾值，則輸出預設的吸引用戶注意力的多模態輸出(步驟S240)，從而維持或提高用戶對當前交互內容的興趣，避免用戶產生厭倦感。並且進一步的，在步驟S240之後，機器人返回到通常的輸出模式，輸出根據當前運行的應用的固定交互模式生成的多模態輸出(步驟S250)，繼續進行原有的人機互動進程(返回步驟S210)。
進一步的，在本發明一實施例中，在步驟S240中監控用戶興趣參量，當用戶興趣參量回到預設的設定閾值(用戶回復對當前交互內容的興趣)時才停止輸出預設的吸引用戶注意力的多模態輸出。
進一步的，在本發明一實施例中，為了保證應用功能的正常實現，步驟S240以及步驟S250並行執行。即，在整個人機互動過程中，根據當前運行的應用的固定交互模式生成的多模態輸出不被打斷，始終按照當前運行的應用的固定交互流程進行交互。在該交互流程過程中，當用戶興趣降低時，在固定的多模態交互輸出基礎上增加吸引用戶注意力的多模態輸出。
進一步的，在本發明一實施例中，機器人通過解析與用戶相關的語音和/或圖像數據來獲取用戶興趣參量。具體的，通過如下之一或組合來生成用戶興趣參量：
(1)採集用戶語音，通過語音語義理解生成針對當前交互內容的用戶興趣參量。例如，在利用應用進行遊戲或學習的過程中，當如用戶說「太難了」，就表示用戶有無法維持交互狀態的趨勢，其感興趣程度下降。
(2)採集用戶語音，通過語音情感識別生成針對當前交互內容的用戶興趣參量.例如用戶語調放緩、處於消極水平，表示對當前交互內容沒有興趣。
(3)採集用戶圖像，通過用戶位置變化和/或視線變化生成針對當前交互內容的用戶興趣參量。例如用戶跑開、大幅度晃動、人臉視線不專注，表示沒有繼續進行交互的意願。
(4)採集用戶圖像，通過人臉情緒識別生成針對當前交互內容的用戶興趣參量。例如用戶笑了，處於開心或是興奮狀態，則表明交互意願強。
(5)採集用戶圖像，通過手勢識別生成針對當前交互內容的用戶興趣參量。例如用戶的手去做別的事情(抓取與當前交互內容無關的物品)，則說明用戶不再專注於當前的交互內容，交互意願降低。
進一步的，在本發明一實施例中，機器人進行用戶興趣參量監控的應用包括遊戲類交互應用以及學習類交互應用。上述類型的應用具有相對固定的交互模式，並且其應用功能的實現和其交互模式的關聯度相對較高。因此，在上述類型的應用的執行過程中，機器人根據本發明的方法監控用戶興趣參量，在儘量不影響應用的固有交互流程(應用功能的實現)的基礎上維持用戶的感興趣程度。而在其他不具備相對固定的交互模式或應用功能的實現與應用固有交互流程關聯度不高的應用執行時，則採用其他方式維持用戶的感興趣程度(例如構造不同於應用的固有交互模式的全新的交互模式)。
綜上，根據本發明的方法，可以在不影響應用功能的實現的基礎上維持用戶的感興趣程度，從而大大提高用戶體驗。
基於本發明的方法，本發明還提出了一種智慧機器人。在一實施例中，如圖3所示，所述機器人包括：
用戶興趣解析模塊310，其配置為在根據當前運行的應用進行的人機互動過程中基於用戶交互輸入和/或用戶狀態數據生成針對當前交互內容的用戶興趣參量；
輸出模塊320，其配置為當用戶興趣參量低於設定閾值時，輸出預設的吸引用戶注意力的多模態輸出。
進一步的，在一實施例中，輸出模塊320還配置為：
當用戶興趣參量不低於設定閾值時，輸出根據當前運行的應用的固定交互模式生成的多模態輸出。
進一步的，在一實施例中，輸出模塊320還配置為：在輸出預設的吸引用戶注意力的多模態輸出之後，輸出根據當前運行的應用的固定交互模式生成的多模態輸出。
進一步的，在一實施例中，用戶興趣解析模塊310配置為通過如下之一或組合來生成用戶興趣參量：
採集用戶語音，通過語音語義理解生成針對當前交互內容的用戶興趣參量；
採集用戶語音，通過語音情感識別生成針對當前交互內容的用戶興趣參量；
採集用戶圖像，通過用戶位置變化和/或視線變化生成針對當前交互內容的用戶興趣參量；
採集用戶圖像，通過人臉情緒識別生成針對當前交互內容的用戶興趣參量；
採集用戶圖像，通過手勢識別生成針對當前交互內容的用戶興趣參量。
進一步的，在一實施例中，用戶興趣解析模塊310配置為在機器人根據遊戲類交互應用和/或學習類交互應用進行的人機互動過程中生成針對當前交互內容的用戶興趣參量。
綜上，本發明的機器人可以在不影響應用功能的實現的基礎上維持用戶的感興趣程度，相較於現有技術的機器人，其用戶體驗被大大提高。
雖然本發明所公開的實施方式如上，但所述的內容只是為了便於理解本發明而採用的實施方式，並非用以限定本發明。本發明所述的方法還可有其他多種實施例。在不背離本發明實質的情況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變或變形，但這些相應的改變或變形都應屬於本發明的權利要求的保護範圍。