一種基於人機互動的電影受眾體驗評價方法
2023-06-23 14:38:26
一種基於人機互動的電影受眾體驗評價方法
【專利摘要】本發明公開了一種基於人機互動的電影受眾體驗評價方法，其特徵在於，包括如下步驟：取一定數量長度的不同情緒內容的電影片段樣本並播放；採集一定數量觀看所述不同情緒內容的電影片段的受眾受眾的腦電信號；對採集到的腦電信號進行頻域分析，提取不同頻段的腦電響應；將所述腦電響應拆分為一定時長的腦電片段；計算每個腦電片段的不同腦電特徵的受眾群體響應一致性，將該一致性計算結果作為群體間一致性的多元度量指標；根據所述多元度量指標修正人機互動體驗狀態識別方法的參數；進一步的，受眾受眾根據電影播放全過程中所識別得到的體驗狀態的動態變化時間過程的特點得到整部電影的情緒體驗狀態評價。
【專利說明】一種基於人機互動的電影受眾體驗評價方法
【技術領域】
[0001]本發明涉及一種基於人機互動的電影受眾體驗評價方法，屬於人機互動【技術領域】。
【背景技術】
[0002]電影是工業、科技與藝術的結晶，是最普通、最流行的大眾娛樂活動之一。對於電影製作商以及電影受眾來說，電影的受眾體驗好壞是一部電影能否成功的關鍵因素。目前主流電影受眾體驗評價方法體系主要依賴對受眾的訪談或問卷調查數據展開，這一方式受主觀因素影響較大，比如訪談或問卷的問題設計、受眾從眾心理及對個人隱私偏好的顧慮等。建立更加客觀的評價方法，對於電影製作商在電影製作或發布前進行更加精確的評估，以及幫助潛在受眾做出觀影決策，都有很重要的意義。
[0003]人機互動技術中的腦機交互技術是一種通過直接解讀人腦思維活動所產生的腦電波來判斷人思維活動狀態的工程心理學技術。隨著腦機交互技術的發展，通過腦電信號解讀人的不同情緒體驗狀態已經可以通過特定的信號處理算法實現。與傳統方法相比，腦機交互技術依賴客觀的腦神經電活動信息進行體驗分析，可以讓人們更好地理解和掌握不同情景下的情緒反應，為電影受眾體驗評價提供了新的思路，是一種更加客觀的方法。
[0004]然而，現有腦機交互領域的分析方法如事件相關電位、節律活動變化等大多針對實驗室條件下高度簡化的視覺或聽覺事件下的大腦響應進行分析，這些方法不能適用於分析電影這一複雜視聽覺刺激情景下的大腦情緒體驗，針對電影情景的數據分析方法尚未見報導。
【發明內容】
[0005]本發明要解決的技術問題是:現有技術中不能通過腦電對電影觀影過程中的大腦情緒體驗進行分析的問題。
[0006]為實現上述的發明目的，本發明提供了一種基於人機互動的電影受眾體驗評價方法，包括如下步驟:
[0007]取一定數量長度的不同情緒內容的電影片段樣本並播放；
[0008]採集一定數量觀看所述不同情緒內容的電影片段的受眾的腦電信號；
[0009]對採集到的腦電信號進行頻域分析，提取不同頻段的腦電響應；
[0010]將所述腦電響應拆分為一定時長的腦電片段；
[0011]計算腦電片段的不同腦電特徵的受眾群體響應一致性，將所述受眾間群體響應一致性作為群體間一致性的多元度量指標；
[0012]根據所述多元度量指標組成不同腦電特徵的向量，修正人機互動體驗狀態識別方法的參數；
[0013]在電影播放過程中記錄不同受眾的不同時段的不同腦電特徵，對所述不同受眾的不同時段的不同腦電特徵，按所述人機互動體驗狀態識別方法得到不同受眾的不同時段的喚起度和效價；統計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內容預測。
[0014]其中較優地，所述電影片段樣本的情緒內容評價來自於影評專家或網際網路電影推薦系統。
[0015]其中較優地，所述腦電信號是每個受眾不同位置的至少16個通道採集的。
[0016]其中較優地，所述腦電信號採集時採樣率不低於200Hz。
[0017]其中較優地，所述不同腦電特徵包括不同採集通道、不同頻段、大腦不同半球能量比。
[0018]其中較優地，所述群體間一致性的多元度量指標是按下述方式得到的:
[0019]分別針對所有頻域響應和能量比分別進行計算得到所有受眾兩兩響應相關性；
[0020]所有受眾兩兩響應相關性取平均值得到群體間一致性的多元度量指標。
[0021]其中較優地，所述統計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內容預測的步驟還包括:
[0022]如果當前連續腦電片段的喚起度超出了閾值，則視為當前腦電片段產生一個情緒事件；
[0023]根據當前連續腦電片段的喚起度對應的情緒事件對應的效價得到當前腦電片段的情緒評價；
[0024]統計不同受眾的不同時段的喚起度對應的情緒得到整部電影的情緒內容預測。
[0025]其中較優地，所述閾值是按下述方法得到的:
[0026]整個電影時段的喚起度的平均值加上兩倍標準差得到閾值。
[0027]本發明提供的基於人機互動的電影受眾體驗評價方法，通過記錄受眾觀影過程中的大腦神經電活動信息，建立基於群體間腦電響應一致性的情緒識別腦機交互方法，從效價和喚起度兩個維度評價電影的受眾體驗。相比傳統的電影受眾體驗評價方法，本發明所提出方法依據客觀的生理數據而非主觀報告，可以對受眾體驗進行更加精細、準確的評估，對推動電影文化產業發展有積極意義。
【專利附圖】
【附圖說明】
[0028]圖1是本發明整部電影的情緒內容預測示意圖。
【具體實施方式】
[0029]下面結合附圖和實施例，對本發明的【具體實施方式】作進一步詳細描述。以下實施例用於說明本發明，但不用來限制本發明的範圍。
[0030]本發明提供一種基於人機互動的電影受眾體驗評價方法，包括如下步驟:取一定數量長度的不同情緒內容的電影片段樣本並播放；採集一定數量觀看所述不同情緒內容的電影片段的受眾的腦電信號；對採集到的腦電信號進行頻域分析，提取不同頻段的腦電響應；將所述腦電響應拆分為一定時長的腦電片段；計算腦電片段的不同腦電特徵的受眾群體響應一致性，將所述受眾間群體響應一致性作為群體間一致性的多元度量指標；根據所述多元度量指標組成不同腦電特徵的向量,修正人機互動體驗狀態識別方法的參數；在電影播放過程中記錄不同受眾的不同時段的不同腦電特徵，對所述不同受眾的不同時段的不同腦電特徵，按所述人機互動體驗狀態識別方法得到不同受眾的不同時段的喚起度和效價；統計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內容預測。下面對本發明提供的基於人機互動的電影受眾體驗評價方法展開詳細的說明。
[0031]首先，介紹取一定數量長度的不同情緒內容的電影片段樣本並播放的步驟。
[0032]在本發明的一個實施例中，準備不少於40個具有不同情緒內容的電影片段，每個電影片段時長不短於10分鐘。有不同情緒內容的電影片段包括四種情緒內容:高喚起度+高效價，低喚起度+高效價，高喚起度+低效價，低喚起度+低效價。40個具有不同情緒內容的電影片段中每種情緒內容電影片段10段。電影片段的情緒內容評價可以來自影評專家或網際網路電影推薦系統。
[0033]其次，介紹採集一定數量觀看所述不同情緒內容的電影片段的受眾的腦電信號的步驟。
[0034]在本發明的一個實施例中，同時或分別採集至少40人觀看40個具有不同情緒內容的電影片段時的腦電信號。優選每位受眾至少採集16通道腦電信號，覆蓋電極位置包括Fz、F3、F4、Cz、C3、C4、T3、Τ4、Τ5、Τ6、Ρζ、Ρ3、Ρ4、0ζ、01、02,且採樣率不低於 200Hz。
[0035]來自影評專家或網際網路電影推薦系統。
[0036]再次，介紹對採集到的腦電信號進行頻域分析，提取不同頻段的腦電響應的步驟。
[0037]在本發明的一個實施例中，對採集到的不同通道腦電信號均進行頻域分析，提取delta (l_3Hz)、theta (4_8Hz)、alpha (8_13Hz)，beta (14_30Hz)、gamma (30_50Hz)頻段的腦電響應，上述各頻段名稱用希臘字母分別表示為δ、θ、α、β、Y。同時在此基礎上計算左右半球的各頻段腦電能量不對稱性，包括額葉F3/F4能量比、頂葉C3/C4能量比、顳葉Τ3/Τ4能量比、顳葉Τ5/Τ6能量比、頂葉Ρ3/Ρ4能量比、枕葉01/02能量比。這些腦電特徵以採樣率為時間單位進行計算，即最多5毫秒得到一組上述特徵數值。
[0038]第四，介紹將所述腦電響應拆分為一定時長的腦電片段，計算腦電片段的不同腦電特徵之間的腦電群體響應一致性，將腦電群體響應一致性作為群體間一致性的多元度量指標的步驟。
[0039]將以上提取到的腦電響應進一步拆分為短時長的腦電片段(例如每10秒為片段)，計算受眾之間不同腦電特徵(包括不同通道、不同頻段、不同能量比)之間的相關性作為群體間一致性的度量指標。所述群體間一致性的多元度量指標是按下述方式得到的:分別針對所有頻域響應和能量比分別進行計算得到所有受眾兩兩響應相關性；所有受眾兩兩響應相關性取平均值得到群體間一致性的多元度量指標。所有受眾兩兩響應相關性的平均值作為所測得群體間一致性。度量指標需要分別針對所有頻域響應和能量比分別進行計算得到。
[0040]第五，根據所述多元度量指標組成不同腦電特徵的向量，修正人機互動體驗狀態識別方法的參數。
[0041]將得到的一系列群體間一致性指標組成特徵向量，訓練該算法模型參數以實現對短時長腦電片段所對應的情緒內容(即喚起度、效價)的預測。
[0042]最後，介紹在電影播放過程中記錄不同受眾的不同時段的不同腦電特徵，對所述不同受眾的不同時段的不同腦電特徵，按所述人機互動體驗狀態識別方法得到不同受眾的不同時段的喚起度和效價；統計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內容預測。
[0043]如圖1所示，本發明所提出方法即可應用於電影受眾體驗的評價。對於一部新的電影，需要採集不少於40人觀看該電影的腦電，並通過與上述訓練過程一樣的腦電數據處理方法進行處理，最後得到對每個短時電影片段及整部電影的情緒內容預測輸出，這一輸出結果即為電影受眾體驗的評價。如果當前連續腦電片段的喚起度超出了閾值，則視為當前腦電片段產生一個情緒事件；根據當前連續腦電片段的喚起度對應的情緒事件對應的效價得到當前腦電片段的情緒評價；統計不同受眾的不同時段的喚起度對應的情緒得到整部電影的情緒內容預測。
[0044]針對所有短時長腦電片段分別在喚起度和效價維度進行統計，以超出平均值加上兩倍標準差為閾值，將喚起度維度超出閾值的連續腦電片段定義為一個情緒事件；通過對應的效價維度輸出標記情緒時間為正向或負向情緒事件。
[0045]本發明提取布置在不同腦區的不同電極通道的腦電信號，通過頻域分析提取不同頻段腦電響應及其組合作為特徵來進行受眾體驗的預測。具體的說，本發明從情緒的兩個維度來描述受眾體驗:第一維度為效價(valence),表示情緒的正向(積極情緒)或負向(消極情緒)；第二維度為喚起度(arousal)，表示情緒的強弱(強喚起或弱喚起)。對於短時長(例如10秒鐘)的腦電數據，可以通過根據上述基於頻域的腦電響應特徵的群體一致性指標建立的分類方法進行分類，最終得到在情緒二維空間中表徵的受眾體驗指標。
[0046]把正向和負向情緒事件的持續時間佔電影總時間的比例、單個正向和負向情緒事件的平均持續時間、情緒事件的平均間隔時間組成為特徵向量(包括但不限於)，訓練該算法參數以實現對整部電影所對應的情緒內容的預測。
[0047]綜上所述，本發明提供的基於人機互動的電影受眾體驗評價方法，採用了工程心理學前沿的腦機接口技術。通過記錄受眾觀影過程中的大腦神經電活動信息，建立基於群體間腦電響應一致性的情緒識別腦機交互方法，從效價和喚起度兩個維度評價電影的受眾體驗。相比傳統的電影受眾體驗評價方法，本發明所提出方法依據客觀的生理數據而非主觀報告，可以對受眾體驗進行更加精細、準確的評估，對推動電影文化產業發展有積極意義。
[0048]以上實施方式僅用於說明本發明，而並非對本發明的限制，有關【技術領域】的普通技術人員，在不脫離本發明的精神和範圍的情況下，還可以做出各種變化和變型，因此所有等同的技術方案也屬於本發明的範疇，本發明的專利保護範圍應由權利要求限定。
【權利要求】
1.一種基於人機互動的電影受眾體驗評價方法，其特徵在於，包括如下步驟: 取一定數量長度的不同情緒內容的電影片段樣本並播放； 採集一定數量觀看所述不同情緒內容的電影片段的受眾的腦電信號； 對採集到的腦電信號進行頻域分析，提取不同頻段的腦電響應； 將所述腦電響應拆分為一定時長的腦電片段； 計算腦電片段的不同腦電特徵的受眾間群體響應一致性，將所述受眾間群體響應一致性作為群體間一致性的多元度量指標； 根據所述多元度量指標組成不同腦電特徵的向量，修正人機互動體驗狀態識別方法的參數； 在電影播放過程中記錄不同受眾的不同時段的不同腦電特徵，對所述不同受眾的不同時段的不同腦電特徵，按所述人機互動體驗狀態識別方法得到不同受眾的不同時段的喚起度和效價；統計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內容預測。
2.如權利要求1所述的電影受眾體驗評價方法，其特徵在於:所述電影片段樣本的情緒內容評價來自於影評專家或網際網路電影推薦系統。
3.如權利要求1所述的電影受眾體驗評價方法，其特徵在於:所述腦電信號是每個受眾不同位置的至少16個通道採集的。
4.如權利要求1所述的電影受眾體驗評價方法，其特徵在於:所述腦電信號採集時採樣率不低於200?。
5.如權利要求1所述的電影受眾體驗評價方法，其特徵在於:所述不同腦電特徵包括不同採集通道、不同頻段、大腦不同半球能量比。
6.如權利要求1所述的電影受眾體驗評價方法，其特徵在於:所述群體間一致性的多元度量指標是按下述方式得到的: 分別針對所有頻域響應和能量比分別進行計算得到所有受眾兩兩響應相關性； 所有受眾兩兩響應相關性取平均值得到群體間一致性的多元度量指標。
7.如權利要求1所述的電影受眾體驗評價方法，其特徵在於:所述統計不同受眾的不同時段的喚起度和效價得到整部電影的情緒內容預測的步驟還包括: 如果當前連續腦電片段的喚起度超出了閾值，則視為當前腦電片段產生一個情緒事件； 根據當前連續腦電片段的喚起度對應的情緒事件對應的效價得到當前腦電片段的情緒評價； 統計不同受眾的不同時段的喚起度對應的情緒得到整部電影的情緒內容預測。
8.如權利要求7所述的電影受眾體驗評價方法，其特徵在於:所述閾值是按下述方法得到的: 整個電影時段的喚起度的平均值加上兩倍標準差得到閾值。
【文檔編號】G06K9/62GK104361356SQ201410743841
【公開日】2015年2月18日 申請日期:2014年12月8日 優先權日:2014年12月8日
【發明者】張丹, 胡鑫, 彭凱平 申請人:清華大學