視聽質量判定裝置、視聽質量判定方法、視聽質量判定程序和記錄媒體的製作方法

2023-05-14 02:06:46

專利名稱：視聽質量判定裝置、視聽質量判定方法、視聽質量判定程序和記錄媒體的製作方法
技術領域：
本發明涉及判定視聽質量的技術，特別涉及基於從視聽者檢測出的信息 來判定視聽質量的視聽質量判定裝置、視聽質量判定方法、視聽質量判定程 序以及存儲有該程序的記錄媒體，所謂視聽質量表示視聽者以何種關心程度 視聽了內容。
背景技術：
視聽質量是表示視聽者以何種關心程度視聽了廣播節目等內容的信息， 它作為內容的評估指標之一而備受關注。作為用於判定內容的視聽質量的方 法，以往進行了例如視聽者問巻調查的方法，但是該方法存在給視聽者增加 負擔的問題。
因此，例如專利文獻1記載了基於從視聽者檢測出的信息，自動判定視 聽質量的技術。在專利文獻1所記載的技術中，從視聽者檢測視聽者的生物 信息，例如視線方向、瞳孔直徑、對於內容的操作內容以及心搏數等，並且 基於檢測出的信息判定視聽質量。由此，能夠減輕對視聽者的負擔而判定視
聽質量。特開第2005_142975號公報

發明內容
本發明需要解決的問題
然而，在專利文獻1所記載的技術中，無法識別從視聽者檢測出的信息 因視聽者對內容的實際關心程度而受到了何種程度的影響。因此，專利文獻 1所記載的技術存在無法高精度地判定視聽質量的問題。
例如有如下的擔憂，在視聽者一邊通過電話等與別人交談一邊將視線朝 向內容時，雖然實際上對內容不怎麼關心，但4晉誤地判定為視聽者在感興趣 地視聽著內容。另外還有如下的擔憂，例如，在運動後心搏數較高的狀態下，
6不怎麼感興趣地視聽內容時，還是錯誤地判定為在感興趣地^L聽著內容。在 專利文獻1所記載的技術中，為了提高視聽質量判定的精度，需要對一見聽者 加以限制，例如在視聽內容時禁止打電話等，以將對內容的關心程度以外的 要素所帶來的影響抑制到最小限度，從而給視聽者增加負擔。
本發明的目的為，提供不給視聽者增加特別的負擔而能夠高精度地判定 視聽質量的視聽質量判定裝置、視聽質量判定方法、視聽質量判定程序以及 存儲有該程序的記錄媒體。
解決問題的方案
本發明的視聽質量判定裝置採用的結構包括情感期望值信息獲得單元， 獲得情感期望值信息，該信息表示，視聽內容的視聽者被期望產生的情感； 情感信息獲得單元，獲得情感信息，該信息表示，在視聽所述內容時視聽者 所產生的情感；以及視聽質量判定單元，通過比較所述情感期望值信息和所 述情感信息，判定所述內容的視聽質量。
本發明的視聽質量判定方法包括信息獲得步驟，獲得情感期望值信息 和情感信息，所述情感期望值信息表示，視聽內容的視聽者被期望產生的情 感，所述情感信息表示，在視聽所述內容時視聽者所產生的情感；信息比較 步驟，比較所述情感期望值信息和所述情感信息；以及視聽質量判定步驟， 基於所述情感期望值信息和所述情感信息的比較結果，判定所述內容的視聽 質量。
本發明的有益效果
根據本發明，對從視聽者檢測出的情感信息與表示視聽內容的視聽者被 期望產生的情感的情感期望值信息進行比較。由此能夠區別受到了對內容的 實際關心程度的影響的情感信息和沒有受到對內容的實際關心程度的影響的 情感信息，能夠高精度地判定視聽質量。並且，無需為了抑制對內容的關心 程度以外的要素造成的影響而對視聽者加以限制，所以能夠實現上述的視聽 質量判定而不給視聽者增加特別的麻煩。


圖l是表示本發明實施方式l的視聽質量數據生成裝置的結構的方框圖。 圖2是表示實施方式1中使用的一例二維情感模型的說明圖。 圖3A是表示實施方式1的樂曲變換表的一例結構的說明圖。圖3B是表示實施方式1的效果音變換表的一例結構的說明圖。
圖3C是表示實施方式1的視頻鏡頭(shot)變換表的一例結構的說明圖。 圖3D是表示實施方式1的攝影技法(camera work)變換表的一例結構 的說明圖。
圖4是表示實施方式1的一例參照點類別信息管理表的說明圖。
圖5是表示實施方式1的視聽質量數據生成裝置中的一例視聽質量數據
生成處理的整個流程的流程圖。
圖6是表示實施方式1的從情感信息獲得單元輸出的情感信息的一例結
構的說明圖。
圖7是表示實施方式1的從視頻操作/屬性信息獲得單元輸出的視頻操作 /屬性信息的一例結構的說明圖。
圖8是表示實施方式1的參照點情感期望值計算單元的一例情感期望值 信息計算處理流程的流程圖。
圖9是表示實施方式1的參照點情感期望值計算單元輸出的一例參照點
情感期望值信息的說明圖。
圖IO是表示實施方式1的時間一致性判定單元的一例時間一致性判定處 理流程的流程圖。
圖11是表示實施方式1的 一個單位時間中存在多個參照點的情況的說明圖。
圖12是表示實施方式1的情感一致性判定單元的一例情感一致性判定處 理流程的流程圖。
圖13是表示實施方式1的一例有時間一致性而沒有情感一致性的情況的 說明圖。
圖14是表示實施方式1的一例有情感一致性而沒有時間一致性的情況的 說明圖。
圖15是表示實施方式1的綜合判定單元的一例綜合判定處理流程的流程圖。
圖16是表示實施方式1的綜合判定單元的判定處理(l)的一例流程的流程圖。
圖17是表示實施方式1的綜合判定單元的判定處理(3)的一例流程的流程圖。圖18是表示實施方式1的通過判定處理(3)設定視聽質量信息的情況的 說明圖。
圖19是表示實施方式1的判定處理(2)的一例流程的流程圖。 圖20是表示實施方式1的判定處理(4)的一例流程的流程圖。 圖21是表示實施方式1的通過判定處理(4)設定視聽質量信息的情況的
說明圖。
圖22是表示實施方式1的綜合判定單元生成的一例視聽質量數據信息的 說明圖。
圖23是表示本發明實施方式2的視聽質量數據生成裝置的結構的方框圖。
圖24是表示在使用視線的綜合判定處理中使用的判定表的一例結構的 說明圖。
圖25是表示實施方式2的判定處理(5)的一例流程的流程圖。 圖26是表示實施方式2的判定處理(6)的一例流程的流程圖。
具體實施例方式
下面，參照附圖詳細地說明本發明的各個實施方式。 (實施方式1 )
圖1是表示本發明實施方式1的包括視聽質量信息判定裝置的視聽質量 數據生成裝置的結構的方框圖。以下說明如下的情況視聽質量信息的判定 對象為，電影和電視劇等帶有語音的視頻內容。
在圖1中，視聽質量數據生成裝置100包括情感信息生成單元200、 情感期望值信息生成單元300、視聽質量數據生成單元400以及視聽質量數 據存儲單元500。 .
情感信息生成單元200基於從視聽者檢測出的生物信息而生成情感信 息，該情感信息表示作為視聽質量判定的對象的視聽者產生了的情感。這裡， "情感"是指，除了喜怒哀樂等情緒以外，還包括"放鬆"等心情的全面精神狀 態。另外，假設"產生情感"包括從某種精神狀態轉移到不同精神狀態的情況。 情感信息生成單元200包括傳感單元210以及情感信息獲得單元220。
傳感單元210連接到傳感器和數位相機等檢測裝置(未圖示)，檢測(感側) 視聽者的生物信息。視聽者的生物信息例如包括視聽者的心搏數、脈搏、體
9溫、臉部的肌電變化和聲音等。
情感信息獲得單元220從傳感單元210所獲得的視聽者的生物信息，生
成包括情感實測值和情感產生時間的情感信息。這裡，"情感實測值"是表示 視聽者產生了的情感的值，"情感產生時間"是產生了各種情感的時間。
息，該情感期望值信息表示，在視聽視頻內容時的視聽者被期望產生的情感。
情感期望值信息生成單元300包括視頻獲得單元3]0、；現頻操作/屬性信息 獲得單元320、參照點情感期望值計算單元330以及參照點情感期望值變換 表340。
視頻獲得單元310獲得視聽者要視聽的視頻內容。具體地說，視頻獲得 單元310例如從地面波廣播或衛星廣播的接收數據、DVD或硬碟等存儲媒體、 或者網際網路上的視頻播發伺服器，獲得視頻內容的數據。
視頻操作/屬性信息獲得單元320獲得視頻操作/屬性信息，該信息包括視 頻內容的節目屬性信息和節目操作信息。具體地說，視頻操作/屬性信息獲得 單元320例如從進行視頻內容重放操作的遙控器的操作歷史，獲得視頻操作 信息。另外，視頻操作/屬性信息獲得單元320從被附加到要重放的視頻內容 的信息和視頻內容製作方的信息伺服器，獲得視頻內容的屬性信息。
參照點情感期望值計算單元330從視頻內容4企測參照點。此外，參照點 情感期望值計算單元330使用參照點情感期望值變換表340,計算與4企測出 的參照點對應的情感期望值，生成情感期望值信息。這裡，"參照點"是，在
視頻內容中，對視聽者造成心理上或情感上的影響的視頻編輯存在的位置或 區間。"情感期望值"是一種參數，其表示在視聽者視聽視頻內容時，基於上 述視頻編輯的內容，在各個參照點視聽者被期望產生的情感。"情感期望值信 息"是，包括情感期望值和各個參照點的時間的信息。
參照點情感期望值變換表340以音樂(BGM:背景音樂)、效果音、視頻 鏡頭、攝影技法為單位，預先將其各個內容與情感期望值關聯對應地記載。
視聽質量數據生成單元400比較情感信息和情感期望值信息，判定視聽 者持有何種程度的關心來視聽了所述內容，生成用於表示判定結果的視聽質 量數據信息。視聽質量數據生成單元400包括時間一致性判定單元410、 情感一致性判定單元420和綜合判定單元430。
時間一致性判定單元410判定有無時間一致性，生成用於表示判定結果
10的時間一致性判定信息。這裡，"時間一致性，，是指，情感信息與情感期望值
信息中，產生情感的時刻(timing)同步的情況。
情感一致性判定單元420判定有無情感一致性，生成用於表示判定結果 的情感一致性判定信息。這裡，"情感一致性"是指，情感信息與情感期望值 信息的情感相似的情況。
綜合判定單元430將時間一致性判定信息和情感一致性判定信息進行綜 合，判定視聽者持有何種程度的關心來觀看著視頻內容，生成用於表示判定 結果的視聽質量數據信息。
視聽質量數據存儲單元500存儲並保持所生成的視聽質量數據信息。
視聽質量數據生成裝置100是，例如可以用CPU(中央處理器)、存儲有 控制程序的ROM(只讀存儲器)等存儲媒體、RAM(隨機存取存儲器)等操作用
存儲器等來實現。此時，由CPU執行控制程序，從而實現上述各個單元的功
臺匕
在說明視聽質量數據生成裝置100的動作之前，首先說明視聽質量數據 生成裝置100中的用於定義情感的情感模型以及參照點情感期望值變換表 340的內容。
圖2是表示視聽質量數據生成裝置100中使用的一例二維情感模型的說 明圖。圖2所示的二維情感模型600是被稱為LANG情感模型的模型，由表 示愉悅度即快樂和不快的程度的橫軸、以及表示喚醒度即興奮或緊張和放鬆 的程度的縱軸的兩軸構成。在二維情感模型600的二維空間中，根據縱軸和 橫軸的關係，對"興奮(Excited)"、"沉靜(Relaxed)"、"悲哀(Sad)"等各個情感類 別，定義了區域。使用二維情感模型600時，通過縱軸值和橫軸值的組合， 能夠筒單地表現情感。上述的情感期望值和情感實測值是，該二維情感模型 600中的坐標值，它間接地表現情感。
這裡，例如，坐標值(4, 5)位於情感類另ll"興奮"的區域內。因此，坐標值 (4， 5)的情感期望值和情感實測值表示"興奮"的情感。另外，坐標值(-4, -2) 位於情感類另'J"悲哀，，的區域內。因此，坐標值(-4, -2)的情感期望值和情感實 測值表示"悲哀"的情感類別。在二維情感模型600中，情感期望值和情感實 測值的距離很短時，可以說，它們分別表示的情感是相似的情感。
此外，作為情感模型，還可以使用二維以上的空間或者LANG情感模型 以外的模型。例如，可以使用三維情感模型(愉快/不快、興奮/沉靜、緊張/放鬆)或六維感情模型(憤怒、恐懼、悲哀、喜悅、厭惡、震驚)。使用這種更高 維的情感模型時，能夠更詳細地劃分並表現情感類別。
接著，說明參照點情感期望值變換表340。參照點情感期望值變換表340
包括多個變換表、以及用於管理這些多個變換表的參照點類別信息管理表。 按照視頻內容的視頻編輯的種類，準備有多個變換表。
圖3A至圖3D是表示變換表的結構例的說明圖。
圖3A所示的樂曲變換表341a中，使視頻內容所包含的BGM的內容與 情感期望值關聯對應，該表被附加了"Table一BGM"的名稱。BGM的內容通過 音調(tonality )、速度、基音、節奏、和聲以及旋律的參數的組合來表示，每 個組合與情感期望值關聯對應。
圖3B所示的效果音變換表341b中，使表示視頻內容所包含的效果音內 容的參數與情感期望值關聯對應，該表被附加了"Table—ESound，，的名稱。
圖3C所示的視頻鏡頭變換表341c中，使表示4見頻內容所包含的^L頻鏡 頭內容的參數與情感期望值關聯對應，該表被附加了 "Table—Shot"的名稱。
圖3D所示的攝影技法變換表341d中，使表示視頻內容所包含的攝影技 法內容的參數與情感期望值關聯對應，該表被附加了 "Table一CameraWork"的 名稱。
例如，在效果音變換表341b中，對於"歡聲"的效果音內容，關聯對應著 情感期望值(4, 5)。如上述，該情感期望值(4， 5)表示情感類別"興奮"。該關 聯對應關係意味著，如果在視聽視頻內容時，視聽者處於在感興趣地視聽著 的狀態，則一般在插入歡聲的位置，視聽者會感到興奮。另外，在樂曲變換 表341a中，使"音調短調、速度慢、基音低、節奏固定、和聲復 雜，，的BGM內容對應於情感期望值(-4， -2)。如上述，該情感期望值(-4， -2) 表示情感類別"悲哀"。該關聯對應關係意味著，如果在視聽視頻內容時，視 聽者處於在感興趣地視聽著的狀態，則一般在插入上述內容的BGM的位置， 視聽者會感到悲哀。
圖4是表示一例參照點類別信息管理表的說明圖。圖4所示的參照點類 別信息管理表342中，使表示從視頻內容獲得的參照點類別的參照點類別信 息關聯對應於圖3A至圖3D所示的變換表341的表名，並分別附加了表類別 序號(No.)。該關聯對應關係表示，在參照點為哪一類別時，應參照哪個變換 表341。
12"關聯對應於表名"Table一BGM"。該關聯 對應關係指定，在獲得的參照點的類別為"BGM"時，應參照圖3A所示的表 名"Table—BGM"的樂曲變換表341a。
下面，說明具有上述結構的視聽質量數據生成裝置100的動作。
圖5是表示視聽質量數據生成裝置100中的一例視聽質量數據生成處理 的整個流程的流程圖。首先，為了從視聽者檢測所需的生物信息，進行傳感 器和數位相機的設置(setting)等，完成該設定後，接受用戶操作等而開始視 聽質量數據生成裝置100的視聽質量數據生成處理。
首先，在步驟S1000，傳感單元210感側在^L聽視頻內容時的一見聽者的 生物信息，然後將荻得的生物信息輸出到情感信息獲得單元220。生物信息 例如包括腦波、皮膚電阻值、皮膚導電性、皮膚溫度、心電圖頻率、心搏 數、脈搏、體溫、肌電、臉部圖像、聲音等。
接著，在步驟S1100,情感信息獲得單元220每隔例如1秒等規定的時 間，解析生物信息，生成表示視聽者的視頻內容視聽時的情感的情感信息， 並將其輸出到視聽質量數據生成單元400。已知人的生理信號對應人的情感 的變化而變化。情感信息獲得單元220利用該情感的變化與生理信號的變化 之間的關係，從生物信息獲得情感實測值。
例如，已知人處于越輕鬆的狀態，腦波中的阿爾法(a)腦波成分的比例越 大。另外已知震驚、恐懼和擔憂等情感使皮膚電阻值上升；格外高興的情 感產生時，皮膚溫度和心電圖頻率上升；以及心理上和精神上穩定時，心搏 數和脈搏呈現較慢的變化等。另外，除了上述的生理指標以外，還已知人根 據喜怒哀樂等的情感，例如哭泣、笑、發怒等表情和聲音的種類會變化。還 有，已知人有如下的傾向在沮喪時聲音變小，在生氣或高興時聲音變大。
因此能夠通過皮膚電阻值、皮膚溫度、心電圖頻率、心搏數、脈搏和聲 音大小的檢測、或者腦波中的a波成分的比例的解析、基於臉部的肌電變化 和圖像的表情識別、或者聲音識別等，來獲得生物信息，並基於生物信息，
對人的情感進行解析。
具體地說，情感信息獲得單元220例如預先存儲變換表和變換式，該變 換表和變換式用於將上述各個生物信息的值變換為圖2所示的二維情感模型 600的坐標值。並且，情感信息獲得單元220利用變換表和變換式，將從傳 感單元210輸入的生物信息映射到二維情感模型600的二維空間上，並獲得
13相應的座標值作為情感實測值。
例如，皮膚導電性信號(skin conductance)與喚醒度對應地增加，月幾電信 號(electromyography: EMG)與愉悅度對應地變化。因此，通過預先與^L聽者喜 好視聽內容的程度對應地測量皮膚導電性，能夠使皮膚導電性信號的值對應 於表示喚醒度的縱軸，並且使肌電信號的值對應於表示愉悅度的橫軸，將生 物信息映射到二維情感;f莫型600的二維空間上。通過預先準備這些對應關係， 然後檢測皮膚導電性信號和肌電信號，能夠簡單地獲得情感實測值。關於將 生物信息映射到情感模型空間上的具體方法，例如記載在文獻"Emotion Recognition from Electromyography and Skin Conductance" (Arturo Nakasone, Helmut Prendinger， Mitusru Ishizuka, The Fifth International Workshop on Biosignal Interpretation, BSI-05, Tokyo, Japan, 2005, pp.219畫222)中，所以在此省 略說明。
圖6是表示從情感信息獲得單元220輸出的情感信息的一例結構的說明 圖。情感信息610包括情感信息序號、情感產生時間[秒]和情感實測值。情感 產生時間是，以從基準時刻開始的經過時間表示產生了情感的時間，該情感 為對應的情感實測值所示的類別的情感。基準時刻例如為一見頻開始時間。此 時，例如能夠使用視頻內容的絕對時間即時間碼，獲得情感產生時間。另夕卜， 例如用視聽地點的標準時間來表示基準時刻，它被附加到情感信息610中。
這裡，例如，使情感產生時間"13秒"對應於情感實測值(-4, -2)。該對應 關係表示情感信息獲得單元220基於在基準時刻的13秒後獲得的視聽者的 生物信息，獲得了情感實測值(-4， -2)。也就是說，表示在基準時刻的13秒 後^L聽者產生了 "悲哀"的情感。
但是，情感信息獲得單元220也可以只將在情感模型中情感類別變化時 的信息作為情感信息而輸出。此時，例如情感信息序號"002"、 "003，，的信息 對應於與情感信息序號"OOl"的信息相同的情感類別，因此不被輸出。
接著，在步驟S1200,視頻獲得單元310獲得視聽者要視聽的視頻內容， 並將其輸出到參照點情感期望值計算單元330。視聽者要視聽的視頻內容例 如為地面波廣播或衛星廣播等的視頻節目、DVD或硬碟等存儲媒體所存儲 的視頻數據、或者從網際網路下載的視頻流等。視頻獲得單元310可以直接獲 得對視聽者重放的視頻內容的數據，也可以獲得其內容與對視聽者重放的視 頻相同的其它數據。在步驟S1300,視頻操作/屬性信息獲得單元320獲得對於視頻內容的視 頻操作信息和視頻內容的屬性信息。然後，視頻操作/屬性信息獲得單元320 基於獲得的信息生成視頻操作/屬性信息，將其輸出到參照點情感期望值計算 單元330。視頻操作信息是，表示視聽者所作的操作的內容以及各個操作的 時間的信息。具體地說，視頻操作信息例如表示視聽者使用遙控器等接口， 從哪個頻道變更到哪個頻道、在什麼時間進行了該變更，或者在什麼時間重 放或停止視頻等。屬性信息是，用於識別處理對象的表示視頻內容的屬性的 信息，該屬性例如為視聽者要視聽的視頻內容的ID(標識)序號、廣播頻道、 類型等。
圖7是表示從視頻操作/屬性信息獲得單元320輸出的視頻操作/屬性信息 的一例結構的說明圖。如圖7所示，視頻操作/屬性信息620包括索引號(Index Number)、用戶ID、內容ID、內容名稱、類型、^L聽開始時相對時間[秒]以 及一見聽開始時絕對時間[年月日時分秒]。視聽開始時相對時間表示，從^L頻內 容的開始時間起的經過時間。視聽開始時絕對時間是，例如以視聽地點的標 準時間表示視頻內容的開始時間。
在圖7所示的視頻操作/屬性信息620中，例如，使內容名稱"哈利波特" 對應於視聽開始時相對時間"Null(無)"。該對應關係表示該視頻內容例如為 直播的視頻節目，從視頻開始時間直至開始視聽為止的經過時間(視聽開始時 相對時間)為O秒。此時，作為視聽質量判定的對象的視頻區間與正在播送的 視頻同步。另一方面，使內容名稱"羅塾門"與視聽開始時相對時間"20秒"關 聯對應。該關聯對應關係表示相應的視頻內容例如為錄像的視頻數據，在 視頻開始時間的20秒後開始視聽。
在圖2的步驟S1400,參照點情感期望值計算單元330進行參照點情感 期望值信息計算處理。這裡，"參照點情感期望值信息計算處理"是，基於視 頻內容和視頻操作/屬性信息，計算各個參照點的時間和情感期望值的處理。
圖8是表示參照點情感期望值計算單元330的一例參照點情感期望值信 息計算處理流程的流程圖，其對應於圖5的步驟S1400。參照點情感期望值 計算單元330 —個一個地獲得將視頻內容以單位時間S分割所得的視頻部分。 然後，參照點情感期望值計算單元330在每次獲得一個視頻部分時，進行參 照點情感期望值信息計算處理。以下，下標的參悽t i表示在某個視頻部分中 檢測出的參照點的序號，其初始值為i=0。另外，視頻部分也可以以場景為單
15位。
首先，在步驟S1410,參照點情感期望值計算單元330從視頻部分檢測 參照點Vp"然後，參照點情感期望值計算單元330提取檢測出的參照點Vpi 中的視頻編輯的類別即參照點類別Type"以及該參照點類別Typej的視頻參 數Pi。
作為參照點類別Type，這裡，假設預先設定了"BGM"、"效果音"、"視 頻鏡頭"以及"攝影技法"。圖3A至圖3D所示的變換表是，對應這些參照點 類別Type而被準備。記載在圖4所示的參照點類別信息管理表342中的參照 點類別信息對應於參照點類別Type。
視頻參數Pi作為表示各個視頻編輯的內容的參數，；陂預先設定。記載在 圖3A至圖3D所示的變換表341的各個參數對應於視頻參數Pi。例如，參照 點類別Type為"BGM，，時，參照點情感期望值計算單元330提取音調、速度、 基音、節奏、和聲以及旋律的視頻參數Pi。因此，圖3A所示的樂曲變換表 341a與參照點類別信息管理表342中的參照點類別信息"BGM"關聯對應，並 且記載了音調、速度、基音、節奏、和聲以及旋律的參數。
關於參照點類別Type為"BGM，，的參照點Vp的具體一全測方法，例如記載 在文獻"複數o音符列力> ^構成$扎3音楽f 一夕*対象i ^ ('印象乂夕亍" 一夕抽出方式，，(石橋直樹等、曰本亍一夕《一 》學會Leters, Vol.2,No.2)中， 在此省略說明。
另外，關於參照點類別Type為"效果音"的參照點Vp的具體檢測方法， 例如記載在文獻"映畫(fc、 W 3音楽、効果音(SE)O印象評価"(濱村正治等、 信學技報、2000-03)中，在此省略說明。
另外，關於參照點類別Type為"視頻鏡頭"的參照點Vp的具體檢測方法， 例如記載在文獻")3 '7卜長遷移(J: 3演出&利用L ^映像O編集"(竹本 楽-吉高淳夫'平嶋宗、匕二一7》瞎報処理研究會、2006-1-19~20)中，在 jt匕省、各i兌明。
還有，關於參照點類別Type為"攝影技法，，的參照點Vp的具體檢測方法， 例如記載在專利文獻特開2003-61112號公報"力乂 ， "7 —夕検出裝置好J: V 力乂 ， 7 —夕検出方法"以及文獻"力乂 ， 7 —夕*利用L t演出効果o抽 出"(松井亮治'吉高淳夫'平嶋宗、信學技報、Technical Report of IEICE, PRMU2004-167， 2005—01)中，在此省略說明。接著，在步驟S1420,參照點情感期望值計算單元330獲得參照點相對 開始時間Ti.sT以及參照點相對結束時間Ti.EN。這裡，"參照點相對開始時間，， 是，以視頻開始時間為起點的相對時間中的、參照點Vpi的開始時間。另夕卜， "參照點相對結束時間，，是，以視頻開始時間為起點的相對時間中的、參照 點Vpi的結束時間。
接著，在步驟S1430，參照點情感期望值計算單元330參照參照點類別 信息管理表342，來確定與參照點類別Typei對應的變換表341。然後，參照 點情感期望值計算單元330獲得確定出的變換表341。例如，參照點類別Type; 為"BGM"時，獲得圖3A所示的樂曲變換表341a。
接著，在步驟S1440，參照點情感期望值計算單元330對視頻參數Pi與 記載在獲得的變換表341中的參數進行匹配，搜索與視頻參數Pi —致的參數。 一致的參數存在時(S1440:"是")，進至步驟S1450，而一致的參數不存在時 (S1440:"否")，跳過步驟S1450而進至下一個步驟即S1460。
在步驟S1450,參照點情感期望值計算單元330獲得與視頻參數Pi—致 的參數所對應的情感期望值ei,然後進至步驟S1460。例如，參照點類別Typej 為"BGM，，且視頻參數Pi為"音調短調、速度慢、基音低、節奏固定、 和聲複雜，，時，圖3A所示的索引號"M—002"的各個參數與視頻參數Pi—致。 因此，作為對應的情感期望值，獲得(-4， -2)。
在步驟S1460,參照點情感期望值計算單元330判別是否在視頻部分中 存在其它參照點Vp。在視頻部分中存在其它參照點Vp時(S1460:"是")，參 照點情感期望值計算單元330在步驟S1470使參數i的值增加1，然後返回到 步驟S1420，對下一個參照點Vpi進行解析。對視頻部分中的所有參照點Vpi 的解析結束時(S1460:"否")，參照點情感期望值計算單元330生成情感期望 值信息，將其分別輸出到圖1所示的時間一致性判定單元410和情感一致性 判定單元420(步驟S1480),結束一系列的處理。這裡，"情感期望值信息'， 是，包括各個參照點的參照點相對開始時間Ti.sT和參照點相對結束時間Ti-EN、 參照了的變換表的表名、以及情感期望值ei，並且使這些對應於各個參照點 的信息。然後，進至圖2的步驟S1500和S1600。
另外，在步驟S1440進行的參數的匹配中，例如也可以將最相似的參數 判斷為一致的參數而進至步驟S1450。
圖9是表示參照點情感期望值計算單元330輸出的情感期望值信息的一例結構的說明圖。如圖9所示，情感期望值信息630包括用戶ID、操作信 息索引號、參照點相對開始時間[秒]、參照點相對結束時間[秒]、參照點情感 期望值變換表名稱、參照點索引號、參照點情感期望值、參照點開始絕對時 間[年月日時分秒]以及參照點結束絕對時間[年月日時分秒]。"參照點開始絕 對時間"和"參照點結束絕對時間'，是，例如以視聽地點的標準時間表示了 參照點相對開始時間和參照點相對結束時間的時間。參照點情感期望值計算 單元330例如基於圖7所示的視頻操作/屬性信息620的視聽開始時相對時間 和視聽開始時絕對時間，求參照點開始絕對時間和參照點結束絕對時間。
另外，在圖8所示的參照點情感期望值信息計算處理中，參照點情感期 望值計算單元330也可以從視頻部分的開始位置至結束位置，以很短的間隔 設定暫定的參照點，確定情感類別變化的位置，並且將該位置判斷為，期望 使視聽者的情感變化的視頻編輯(以下簡稱為"視頻編輯")存在的位置，將該位 置作為參照點Vpi處理。
具體地說，參照點情感期望值計算單元330例如將糹見頻部分的開始部分 設定為暫定的參照點，對BGM、效果音、視頻鏡頭和攝影技法的內容進行解 析。然後，在記載在圖3A至圖3D所示的各個變換表341中的參數中，搜索 關聯對應的參數，在存在關聯對應的參數時，獲得對應的情感期望值。參照 點情感期望值計算單元330以小間隔重複進行上述的解析和搜索，直至視頻 部分的結束部分。
每當獲得第二個以後的情感期望值時，參照點情感期望值計算單元330 判別在新獲得的情感期望值與上一次獲得的情感期望值之間，二維情感模 型中的對應的情感類別是否變化，也就是說，是否存在視頻編輯。情感類別 變化時，參照點情感期望值計算單元330將獲得了情感期望值的參照點檢測 為參照點Vp。將作為情感類別的變化的原因的、視頻部分的構成要素的類別 檢測為類別Type"
另外，在上一個另外的視頻部分，已進行了參照點的解析的情況下，參 照點情感期望值計算單元330也可以使用該解析結果，在獲得第一個情感期 望值的時點，判別情感類別有無變化。
這樣，情感信息和情感期望值信息被輸入到視聽質量數據生成單元400 後，處理進至圖5的步驟S1500和步驟S1600。
首先，說明圖5的步驟S1500。在圖5的步驟S1500，時間一致性判定
18單元410進行時間一致性判定處理。這裡，"時間一致性判定處理"是，判定 情感信息與情感期望值信息之間有無時間一致性的處理。
圖10是表示時間 一致性判定單元410的時間 一致性判定處理的 一例流程 的流程圖，其對應於圖5的步驟S1500。時間一致性判定單元410對^L頻內 容的單位時間S的每個視頻部分，進行以下說明的時間一致性判定處理。
首先，在步驟S1510，時間一致性判定單元410獲得與單位時間S的視 頻部分對應的情感期望值信息。在存在多個相應的參照點時，獲得與各個參 照點對應的情感期望值信息。
圖11是表示一個單位時間中存在多個參照點的情況的說明圖。這裡表 示，在單位時間S的視頻部分中，檢測出以時間l為開始時間的參照點類別 Type,"BGM，，的參照點Vpl7以及以時間T2為開始時間的參照點類別Type,視 頻鏡頭，，的參照點Vp2的情況。並且表示，對應於參照點Vp,,獲得了情感期 望值e,,對應於參照點Vp2,獲得了情感期望值e2的情況。
在圖10的步驟S1520，時間一致性判定單元410基於情感期望值信息， 計算代表單位時間S的視頻部分的參照點的參照點相對開始時間Texpst。具體 地說，時間 一致性判定單元410將情感類別變化的參照點作為代表性參照點， 並計算該參照點相對開始時間作為參照點相對開始時間Texp—st。
這裡，視頻內容為實時廣播視頻時，時間一致性判定單元410確定，參 照點相對開始時間Texp—s產參照點開始絕對時間。而視頻內容為錄像視頻時， 時間一致性判定單元410確定，參照點相對開始時間Texp—f參照點相對開始 時間。如圖ll所示，情感類別變化的參照點Vp存在多個時，將最早的時間、 即情感類別最初變化的時間，決定為參照點相對開始時間Texp—St。
接著，在步驟S1530,時間一致性判定單元410確定與單位時間S的視 頻部分對應的情感信息，從確定出的情感信息，獲得在單位時間S的視頻部 分中情感類別變化的時間作為情感產生時間TUSCT—st。存在多個相應的情感產生 時間時，例如，與參照點相對開始時間Texp—st同樣地，獲得最早的時間即可。 此時，使參照點相對開始時間Texp—51和情感產生時間T，"t可以用相同的時間 尺度表示。
具體地說，例如，是實時廣播的視頻內容時，時間一致性判定單元410 將視聽開始時絕對時間與參照點相對開始時間相加後的時間，設為參照點絕 對開始時間。另一方面，在為存儲的視頻內容時，時間一致性判定單元410從視聽開始時絕對時間減去視聽開始時相對時間，並將相減所得的時間與參 照點相對開始時間相加，將相加所得的時間設為參照點絕對開始時間。
例如，實時廣^番的一見頻內容的參照點相對開始時間為"20秒"、^L聽開始
時絕對時間為"20060901:19:10:10"時，參照點絕對開始時間為 "20060901:19:10:30"。另外，例如，在存儲的視頻內容中,參照點相對開始 時間為"20秒"、 一見聽開始時相對時間為"10秒"、 一見聽開始時絕對時間為 "20060901:19:10:10"時，參照點絕對開始時間為"20060901:19:10:20"。
另一方面，對於從視聽者測量出的情感產生時間，時間一致性判定單元 410例如將記載在情感信息610中的值與基準時刻相加，並替換為基於絕對 時間的表現。
接著，在步驟S1540,時間一致性判定單元410計算參照點相對開始時 間Texp—a與情感產生時間Tuser—st之間的時間差，基於這兩個時間的一致性，判 定在單位時間S的視頻部分內有無時間一致性。具體地說，時間一致性判定 單元410判別參照點相對開始時間Texp—st與情感產生時間Tuser—st之間的差分 的絕對值，是否為預先設定的閾值Td以下。然後，時間一致性判定單元410 在差分的絕對值為閾值Td以下時(S1540:"是")，進至步驟S1550,而差分的絕 對值超過閾值Td時(S1540:"否，，)，進至步驟S1560。
在步驟S1550，時間一致性判定單元410判斷為在單位時間S的視頻部 分內有時間一致性，將表示有無時間一致性的時間一致性信息RT的值，設 定為"1"。也就是說，作為時間一致性的判定結果，獲得時間一致性判定信息 RT=1。然後，時間一致性判定單元410將時間一致性判定信息RT以及用於 獲得該時間一致性判定信息RT的情感期望值信息和情感信息，都輸出到綜 合判定單元430,然後進至圖5的步驟S1700。
另一方面，在步驟S1560,時間一致性判定單元410判斷為在單位時間S 的視頻部分內沒有時間 一致性，將表示有無時間 一致性的時間 一致性信息RT 的值，設定為"O"。也就是說，作為時間一致性判定結果，獲得時間一致性判 定信息RT二O。然後，時間一致性判定單元410將時間一致性判定信息RT以 及用於獲得該時間一致性判定信息RT的情感期望值信息和情感信息，都輸 出到綜合判定單元430,然後進至圖5的步驟S1700。
在上述步驟S1540 S1560的處理中，例如可以使用下式(l)。
20formula see original document page 21式(l)
下面，說明圖5的步驟S1600。在圖5的步驟S1600,情感一致性判定 單元420進行情感一致性判定處理。這裡，"情感一致性判定處理"是，用於 判定情感信息與情感期望值信息之間有無情感 一致性的處理。
圖12是表示情感一致性判定單元420的一例情感一致性判定處理流程的 流程圖。情感一致性判定單元420對視頻內容的每單位時間S的視頻部分， 進行以下說明的情感一致性判定處理。
在步驟S1610，情感一致性判定單元420獲得與單位時間S的視頻部分 對應的情感期望值信息。這裡，在存在多個相應的參照點時，獲得與各個參 照點對應的情感期望值信息。
接著，在步驟S1620，情感一致性判定單元420基於情感期望值信息， 計算代表單位時間S的視頻部分的情感期待值Eexp。如圖11所示，存在多個 情感期望值&時，情感一致性判定單元420將預先按照各個參照點類別Type 設定的加權w乘以各個情感期望值ei，從而合成各個情感期望值e"假設與 各個情感期望值ei對應的參照點類別Type的加權為Wi，情感期望值&的總數 為N時，情感一致性判定單元420例如使用下式(2)來決定情感期望值Eexp。
其中，以滿足下式(3)的方式，設定與各個情感期望值ej對應的參照點類 另'J Type的力口鬥又Wi。
或者，情感一致性判定單元420也可以使用預先按照各個參照點類別 Type以固定值方式設定的的加權w,通過下式(4)決定情感期望值E，。此時, 與各個情感期望值ej對應的參照點類別Type的加權Wj也可以不滿足式(3)。
式(2)
式(3)
21五 =B
exp W
/' = 1_
'=1 ......式(4)
例如，假設在圖11所示的例子中，對以時間1為開始時間的參照點類 別Type,"BGM"的參照點Vpn獲得了情感期望值el5對以時間丁2為開始時 間的參照點類別Type2"視頻鏡頭"的參照點Vp2，獲得了情感期望值e2。此外， 假設對參照點類別Type"BGM，，和"視頻鏡頭"，設定了相對比例為7: 3的加
權。此時，例如通過下式(5)計算情感期望值Eexp。
......式(5)
接著，在步驟S1630，情感一致性判定單元420確定與單位時間S的視 頻部分對應的情感信息，從確定出的情感信息中，獲得單位時間S的視頻部 分的情感實測值EUSCT。存在多個相應的情感實測值時，例如，與情感期望值 E，同樣地，合成多個情感實測值即可。
接著，在步驟S1640，情感一致性判定單元420計算情感期望值Eexp與 情感實測值E,之間的差分，根據這兩個值的一致性，判定在單位時間S的 視頻部分內有無情感一致性。具體地說，判別情感期望值E，和情感實測值 E,.之間的差分的絕對值是否為預先決定的、二維情感模型600的二維空間 中的距離的閾值Ed以下。情感一致性判定單元420在差分的絕對值為閾值Ed 以下時(S1640:"是")，進至步驟S1650，而差分的絕對值超過閾值Ed時(S1640: "否，，)，進至步驟S1660。
在步驟S1650，情感一致性判定單元420判斷為在單位時間S的碎見頻部 分內有情感一致性，將表示有無情感一致性的情感一致性判定信息RE的值， 設定為"1"。也就是說，作為情感一致性的判定結果，獲得情感一致性判定信 息RE-1。然後，情感一致性判定單元420將情感一致性判定信息RE以及用 於獲得該情感一致性判定信息RE的情感期望值信息和情感信息，都輸出到 綜合判定單元430,然後進至圖5的步驟S1700。
另一方面，在步驟S1660，情感一致性判定單元420判斷為在單位時間S 的視頻部分內沒有情感一致性，將表示有無情感一致性的情感一致性判定信 息RE的值，設定為"O"。也就是說，作為情感一致性的判定結果，獲得情感一致性判定信息虹=0。然後，情感一致性判定單元420將情感一致性判定信 息RE以及用於獲得該情感一致性判定信息RE的情感期望值信息和情感信 息，都輸出到綜合判定單元430，然後進至圖5的步驟S1700。 在上述步驟S1640 S1660的處理中，例如可以使用下式(6)。
formula see original document page 23
式(6)
這樣，綜合判定單元430對應於將視頻內容以單位時間S分割所得的各 個視頻部分，被輸入情感期望值信息和情感信息、以及時間一致性判定信息 RT和情感一致性判定信息RE。綜合判定單元430將所輸入的這些信息存儲 到視聽質量數據存儲單元500中。
時間一致性判定信息RT和情感一致性判定信息RE分別可取"1"和"0"的 值，因此，在時間一致性判定信息RT和情感一致性判定信息RE的值上可以 考慮四種組合。
時間一致性和情感一致性都有時表示，在視聽視頻內容時，視聽者在相 應的視頻編輯的存在位置產生了被期望的情感，該被期望的情感為，基於視 頻編輯而期望感興趣地視聽該視聽內容的視聽者所產生的情感。因此，可以
估計，視聽者感興趣地一見聽了相應的視頻部分。
時間一致性和情感一致性都沒有時表示，在視聽視頻內容時，視聽者沒 有產生被期望的情感，即使產生了某些情感，也不是由該視頻編輯引起的情 感的可能性高，該被期望的情感為，感興趣地視聽的視聽者被期望產生的、 基於視頻編輯所產生的情感。因此，可以估計，視聽者未感興趣的視聽了相 應的糹見頻部分。
然而，有時間一致性和情感一致性的其中一個，而沒有另一個時，難以 估計視聽者是否感興趣地視聽了視頻內容的該視頻部分。
圖13是表示有時間一致性而沒有情感一致性的一例情況的說明圖。以 下，各個參照點的線型對應於情感類別，相同的線型表示相同的情感類別， 不同的線型表示不同的情感類別。在圖13所示的例子中，參照點相對開始時 間Texp—n和情感產生時間Tuser—st幾乎一致，但情感期望值Eexp和情感實測值 Eu^表示了不同的情感類別。
另一方面，圖14是表示有情感一致性而沒有時間一致性的一例情況的說明圖。在圖14所示的例子中，情感期望值E，和情感實測值Eu^的情感類別 一致，但參照點相對開始時間Texp—a與情感產生時間Tuse^t較大地錯開。
綜合判定單元430考慮到如圖13和圖14所示的情況，在圖5的步驟 S1700中，對將視頻內容以單位時間S分割所得的各個視頻部分進行綜合判 定處理。這裡，"綜合判定處理"是，將時間一致性判定結果和情感一致性判 定結果進行綜合，從而進行最終的視聽質量判定的處理。
圖15是表示綜合判定單元430的一例綜合判定處理流程的流程圖，其對 應於圖5的步驟S1700。
首先，在步驟S1710，綜合判定單元430選衝奪將視頻內容以單位時間S 分割所得的視頻部分的一個視頻部分，並獲得對應的時間一致性判定信息RT 和情感一致性判定信息RE。
接著，在步驟S1720，綜合判定單元430判別時間一致性。綜合判定單 元430在時間一致性判定信息RT的值為'T，，即有時間一致性時(S1720: "是，，),進至步驟S1730，在時間一致性判定信息RT的值為"O",即沒有時間 一致性時(S1720:"否")，進至步驟S1740。
在步驟S1730,綜合判定單元430判別情感一致性。綜合判定單元430 在情感一致性判定信息RE的值為'T，，即有情感一致性時(S1730:"是")，進 至步驟S1750,在情感一致性判定信息RE的值為"O"，即沒有情感一致性時 (S1730:"否")，進至步驟S1751。
在步驟S1750，因為時間一致性和情感一致性雙方都有，所以綜合判定 單元430將該視頻部分的視聽質量信息設定為"有"，並獲得視聽質量信息。 然後，綜合判定單元430將所獲得的視聽質量信息存儲到視聽質量數據存儲 單元500中。
另一方面，在步驟S1751，綜合判定單元430進行"時間一致情感不一致 時判定處理"(以下稱為"判定處理(l)")。判定處理(l)是，因為有時間一致性而 沒有情感一致性，所以通過進行更詳細的解析來判定視聽質量的處理。對於 判定處理(l)，將在後面描述。
在步驟S1740,綜合判定單元430判別情感一致性，在情感一致性判定 信息RE的值為"O"，即沒有情感一致性時(S1740:"否")，進至步驟S1770， 在情感一致性判定信息RE的值為"1"，即有情感一致性時(S1740:"是")，進 至步驟S1771。在步驟S1770,因為時間一致性和情感一致性都沒有，所以綜合判定單 元430將該視頻部分的視聽質量信息設定為"無"，並獲得視聽質量信息。然 後，綜合判定單元430將所獲得的視聽質量信息存儲到視聽質量數據存儲單 元500中。
另一方面，在步驟S1771,因為有情感一致性而沒有時間一致性，所以 綜合判定單元430進行"情感一致時間不一致時判定處理"(以下稱為"判定 處理(2)")。判定處理(2)是，通過進行更詳細的解析來判定視聽質量的處理。 對於判定處理(2)，將在後面描述。
下面，說明判定處理(l)。
圖16是表示綜合判定單元430的判定處理(l)的一例流程的流程圖，其 對應於圖15的步驟S1751。
在步驟S1752，綜合判定單元430參照視聽質量數據存儲單元500,判別 在作為視聽質量判定對象的視頻部分(以下稱為"判定對象")附近的其它視頻 部分中，是否存在參照點。綜合判定單元430在不存在相應的參照點時(S1752: "否")，進至步驟S1753，在存在相應的參照點時(S1752:"是，，)，進至步驟S1754。
綜合判定單元430根據對視頻內容的視聽實時地生成視聽質量數據信 息，還是延時地生成視聽質量數據信息，設定判定對象附近的其它視頻部分 的範圍。
綜合判定單元430對視頻內容的視聽，實時地生成視聽質量數據信息時， 例如，將從判定對象開始追溯了 M個單位時間S的時間的範圍，設定為上述 附近的其它視頻部分，在該範圍內搜索參照點。也就是說，以判定對象為基 準，使用SxM的範圍的過去的信息。
另一方面，對於視頻內容的視聽，延時(offtime)地生成視聽質量數據 信息時，綜合判定單元430可以使用從判定對象之後的視頻部分中獲得的情 感實測值。因此，除了過去的信息之外，還可以使用以判定對象為基準的未 來的信息，例如，將以判定對象為中心的前後SxM的範圍都設定為上述附近 的其它視頻部分，在該範圍內搜索參照點。M的值可以是任意的值，例如， 預先設定"5，，等整數。另外，還可以用時間長度來設定參照點的搜索範圍。
在步驟S1753,因為在判定對象附近的其它視頻部分內不存在參照點， 所以綜合判定單元430將相應的視頻部分的視聽質量信息設定為"無"，然後 進至步驟S1769。
25在步驟S1754,因為在判定對象附近的其它視頻部分內存在參照點，綜 合判定單元430進行"時間一致附近參照點存在時判定處理，，(以下稱為"判定 處理(3)")。判定處理(3)是，參考參照點中有無時間一致性來判定視聽質量的 處理。
圖17是表示綜合判定單元430的判定處理(3)的一例流程的流程圖，其 對應於圖16的步驟S1754。
首先，在步驟S1755，綜合判定單元430從視聽質量數據存儲單元500 中，搜索並獲得時間上連續的L個以上的各個視頻部分的代表性參照點。這 裡，將表示搜索範圍內的參照點的序號以及情感實測值Euser的序號的參數， 分別假設為j和k。參數j和k分別取{0,1,2,3，..丄}的值。
接著，在步驟S1756，綜合判定單元430從視聽質量數據存儲單元500 中所存儲的情感期望值信息和情感信息中，獲得第j參照點的情感期望值
Eexp(j,tj)、以及第k情感實測值E,(k,tk)。這裡，時刻tj和時刻tk分別是獲得 了情感期待值和情感實測值的時刻，也就是產生了對應的情感的時刻。
接著，在步驟S1757,綜合判定單元430計算情感期望值Eexp(j)與在相同
視頻部分中的情感實測值E，r(k)之間的差分的絕對值。然後，綜合判定單元
430判定差分的絕對值是否為預先設定的、二維情感模型600的二維空間 中的距離的閾值K以下，而且時刻tj和時刻tk是否一致。綜合判定單元430 在差分的絕對值為閾值K以下且時刻tj與時刻tk一致時(S1757:"是")，進至 步驟S1758,在差分的絕對值超過閾值K或者時刻tj與時刻tk不一致時(S1757: "否，，)，進至步驟S1759。判定時刻tj與時刻tk的一致不一致時，例如也可以 在時刻tj與時刻tk之差分的絕對值小於預先設定的閾值時判定為一致，在閾 值以上時判定為不一致。
在步驟S1758，綜合判定單元430判定為情感變化不大且產生時間 一致， 將有關第j參照點的處理標記FLG，設定為表示邏輯TRUE的值'T，，然後進 至步驟S1760。但是，在後述的步驟S1759中處理標記FLG已被設定為表示 邏輯FALSE的值"0"時，保持不變。
在步驟S1759，綜合判定單元430判定為情感大不同或者產生時間不一 致，將有關第j參照點的處理標記FLG設定為表示邏輯FALSE的值"0"，然 後進至步驟S1760。
接著，在步驟S1760，綜合判定單元430判別是否完成了對於全部L個參照點的處理標記FLG的設定處理。在還沒有完成全部L個參照點的處理時， 也就是說，參數j小於L時(S1760:"否")，綜合判定單元430使參數j和k 的值分別增加1，然後返回到步驟S1756。綜合判定單元430重複進行步驟 S1756至S1760的處理，在對於全部L個參照點的處理完成後(S1760:"是")， 進至步驟S1761。
在步驟S1761，綜合判定單元430判別處理標記FLG的值是否設定為 "0"(FALSE)。綜合判定單元430在處理標記FLG的值未被設定為"0，，時(S1761: "否")，進至步驟S1762,在處理標記FLG的值已^^皮設定為"0"時(S1761:"是")， 進至步驟S1763。
在步驟S1762,雖然在情感期望值信息與情感信息之間沒有情感一致性， 但在附近的L個參照點中連續地有時間一致性，所以綜合判定單元430判斷 為視聽者感興趣地視聽了判定對象的視頻部分，將判定對象的視聽質量信息 設定為"有"。然後，進至圖16的步驟S1769。
另一方面，在步驟S1763，因為在情感期望值信息與情感信息之間沒有 情感一致性，而且在附近的L個參照點中連續地沒有時間一致性，所以綜合 判定單元430判斷為視聽者未感興趣地視聽了判定對象的視頻部分，將判定 對象的視聽質量信息設定為"無"。然後，進至圖16的步驟S1769。
在圖16的步驟S1769中，綜合判定單元430獲得在圖16的步驟S1753、 圖17的步驟S1762或步驟S1763設定了的視聽質量信息，並將其存儲到視聽 質量l丈據存儲單元500中。然後，進至圖5的步驟S1800。
這樣，綜合判定單元430通過判定處理(3),對有時間一致性而沒有情感 一致性的視頻部分也進行視聽質量的判定。
圖18是表示通過判定處理(3)設定視聽質量信息的情況的說明圖。這裡 圖示了實時地生成視聽質量數據信息，並且參數L-3、閾值K二9的情況。另
外，Vcp,表示在判定對象中檢測出的效果音的參照點，V啦和V一分別表示在
判定對象附近的視頻部分中，從BGM和視頻鏡頭檢測出的參照點。
如圖18所示，假設從檢測出參照點Vcp,的判定對象，獲得了情感期望值 (4， 2)和情感實測值(-3， 4)。假設從檢測出參照點Vcp2的視頻部分，獲得了 情感期望值(3， 4)和情感實測值(3， -4)。還假設從檢測出參照點Vcp3的視頻 部分，獲得了情感期望值(-4， -2)和情感實測值(3, -4)。檢測出參照點Vcpl 的判定對象雖然有時間一致性但沒有情感一致性，所以直到進行圖16所示的判定處理(l)為止，視聽質量信息處於未定的狀態。檢測出V一和V—的視頻 部分也是同樣的。在這種狀態下，進行圖17所示的判定處理(3)時，在附近的 參照點Vw和Vcp3也有時間一致性，所以檢測出參照點Vcpl的判定對象的視 聽質量信息被判定為"有"。作為參照點Vep2附近的參照點搜索出參照點Vcpl 和vcp3時，或者作為參照點Vcp3附近的參照點搜索出參照點Vcpl和Vcp2時也 是同樣的。
下面，說明判定處理(2)。
圖19是表示綜合判定單元430的判定處理(2)的一例流程的流程圖，其 對應於圖15的步驟S1771。
在步驟S1772,綜合判定單元430參照視聽質量數據存儲單元500,判別 在判定對象附近的其它視頻部分中，是否存在參照點。綜合判定單元430在 不存在相應的參照點時(S1772:"否，，),進至步驟S1773,在存在相應的參照 點時(S1772:"是")，進至步驟S1774。
綜合判定單元430如何設定判定對象附近的其它視頻部分，與圖16所示 的判定處理(l)同樣地，根據實時地生成視聽質量數據信息還是延時地生成視 聽質量數據信息而不同。
在步驟S1773,因為在判定對象附近的其它視頻部分內不存在參照點， 綜合判定單元430將相應的視頻部分的視聽質量信息設定為"無"，然後進至 步驟S1789。
在步驟S1774,因為在判定對象附近的其它視頻部分內存在參照點，所 以綜合判定單元430進行"情感一致附近參照點存在時判定處理，，(以下稱為 "判定處理(4)")。判定處理(4)是，參考該參照點中有無情感一致性來判定視聽 質量的處理。
圖20是表示綜合判定單元430的判定處理(4)的一例流程的流程圖，其 對應於圖19的步驟S1774。這裡，用參數p表示判定對象的參照點的序號。
首先，在步驟S1775,綜合判定單元430從視聽質量數據存儲單元500 中，獲得判定對象的前一個(第p-l)參照點的情感期望值Eexp(p.,)。並且，綜合 判定單元430從視聽質量數據存儲單元500中，獲得判定對象的後一個(第p+l)
參照點的情感期望值Eexp(p+D。
接著，在步驟S1776,綜合判定單元430從視聽質量數據存儲單元500 中，獲得在與判定對象的前一個(第p-l)參照點相同的視頻部分中測量出的情感實測值Eu一p.,)。並且，綜合判定單元430從視聽質量數據存儲單元500中， 獲得在與判定對象的後一個(第p+l)參照點相同的視頻部分中測量出的情感
實測值Eu一p+D。
接著，在步驟S1777，綜合判定單元430計算情感期望值Eexp(p+,)與情感 實測值Eu^p+,)之間的差分的絕對值，以及情感期望值E，(p.D與情感實測值 Euse#D之間的差分的絕對值。然後判別兩個值是否為預先決定的、二維情感 模型600的二維空間中的距離的閾值K以下。這裡，預先將可以認為是情感 一致的最大值設定為閾值K。綜合判定單元430在兩個值都為閾值K以下時 (S1777:"是，，)，進至步驟S1778,而兩個值都不為閾值K以下時(S1777:"否，，)， 進至步驟S1779。
在步驟S1778，雖然在情感期望值信息與情感信息之間沒有時間一致性， 但在前後的參照點的視頻部分中有情感一致性，所以綜合判定單元430判斷 為視聽者感興趣地視聽了判定對象的視頻部分，將判定對象的視聽質量信息 設定為"有"。然後，進至圖19的步驟S1789。
另一方面，在步驟S1779，在情感期望值信息與情感信息之間沒有時間 一致性，而且在前後的參照點的^f見頻部分的至少一方的視頻部分中沒有情感 一致性，所以綜合判定單元430判斷為視聽者未感興趣地視聽了判定對象的 視頻部分，將判定對象的視聽質量信息設定為"無"。然後，進至圖19的步驟 S1789。
在圖19的步驟S1789中，綜合判定單元430獲得在圖19的步驟S1773、 圖20的步驟S1778或步驟S1779中設定了的視聽質量信息，並將其存儲到視 聽質量數據存儲單元500中。然後，進至圖5的步驟S1800。
這樣，綜合判定單元430通過判定處理(4)，對有情感一致性而沒有時間 一致性的視頻部分也進行視聽質量的判定。
圖21是表示通過判定處理(4)設定視聽質量信息的情況的說明圖。這裡， 圖示了延時地生成視聽質量數據信息，並將判定對象的前後各一個參照點用
於判定的情況。另外，Vep2表示在判定對象中檢測出的效果音的參照點，Vcpl
和Vcp3分別表示在判定對象附近的視頻部分中，從效果音和BGM檢測出的
參照點。
如圖21所示，假設從檢測出參照點V一的判定對象，獲得了情感期望值
(-1， 2)和情感實測值(-1， 2)。假設從檢測出參照點V^的視頻部分，獲得了
29情感期望值(4, 2)和情感實測值(4， 2)。々I設從檢測出參照點Vep3的視頻部分，
獲得了情感期望值(3， 4)和情感實測值(3， 4)。檢測出參照點Vw的判定對象 雖然有情感一致性但沒有時間一致性，所以直到進行圖19所示的判定處理(2) 為止，視聽質量信息處於未定的狀態。但是，假設檢測出參照點V—和Vcp3 的視頻部分中，都有情感一致性和時間一致性。在這種狀態下，進行圖20所 示的判定處理(4)時，在附近的參照點V一和Vcp3中也有時間一致性，所以檢
測出參照點Vcp2的判定對象的視聽質量信息被判定為"有"。作為參照點Vcpl 附近的參照點搜索出參照點V啦和Vep3時，或者作為參照點V。p3附近的參照
點搜索出參照點vcpl和vcp2時也是同樣的。
這樣，綜合判定單元430通過綜合判定處理，獲得視頻內容的視聽質量 信息，生成視聽質量數據信息並將其存儲到視聽質量數據存儲單元500中(圖 5的步驟S1800)。具體地說，綜合判定單元430例如對已存儲到視聽質量數 據存儲單元500中的情感期望值信息進行編輯，用獲得的視聽質量信息替換 情感期望值的欄位。
圖22是表示綜合判定單元430生成的一例視聽質量數據信息的說明圖。 如圖22所示，視聽質量數據信息640的結構與圖9所示的情感期望值信息 630大致相同。但是，視聽質量數據信息640的結構中，將情感期望值信息 630的情感期望值欄位替換為視聽質量信息欄位以存儲視聽質量信息。這裡 例示了用值'T，表示視聽質量信息"有"、用值"O，，表示視聽質量信息"無"的情 況。也就是說，從該視聽質量數據信息640中，可以解析出以下事實在存 在參照點索引號"ES一00r的視頻部分中，視聽者未感興趣地視聽了視頻內容。 從視聽質量數據信息640中，還可以解析出以下事實在存在參照點索引號 "MJ)01"的視頻部分中，視聽者感興趣地視聽了視頻內容。
另外，在存儲表示存在未檢測出參照點的視頻部分的視聽質量信息時， 或者對於只有時間一致性和情感一致性的其中一個的視頻部分，可以不進行 判定處理(1)和判定處理(2)而存儲表示"未定"的視聽質量信息。
另外，也可以通過解析視聽質量數據存儲單元500中存儲的多個視聽質 量信息，判別視聽者以何種關心程度視聽了整個視頻內容，將其作為視聽質 量信息而輸出。具體地說，例如，將視聽質量信息"有"變換為值"l"，將視聽
質量信息"無"變換為值"-r，，並在整個視聽內容中合計變換後的值。另外還 可以根據視頻內容的種類或視聽質量數據信息的用途而改變對應於視聽質量信息的數值。
另外，例如將視聽質量信息"有"變換為值"100",將視聽質量信息"無"變 換為值"0"，並將變換後的值的合計值除以獲得的視聽質量信息的個數，從而 能夠用百分率表現對整個視頻內容的視聽者的關心程度。此時，例如對視聽 質量信息"未定"也賦予"50"等特有的值，則能夠將一見聽質量信息"未定，，的狀態 反映到視聽者以何種程度的關心而視聽了視頻內容的評估值。
如以上的說明，根據本實施方式，對於表示在視聽視頻內容時視聽者被 期望產生的情感的情感期望值信息以及表示視聽者產生的情感的情感信息， 判定時間一致性和情感一致性，並根據其結果來判定視聽質量。由此，能夠 區別在情感信息中的受到了對內容的實際關心程度的影響的情感信息和未受 到影響的情感信息，從而能夠高精度地判定視聽質量。並且，綜合時間一致 性和情感一致性來進行判定。由此，例如能夠考慮到對視頻編輯的反應的個 人差異來進行視聽質量判定。另外，無需為了抑制因對內容的關心程度以外 的要素所受的影響，而對視聽者加以限制。由此，不給視聽者增加特別的負 擔而能夠實現高精度的視聽質量判定。另外，從視頻內容的視頻編輯的內容 中，獲得情感期望值信息。由此，能夠適用於各種視頻內容。
另外，在圖5所示的視聽質量數據生成處理中，無論先進行步驟SIOOO 和S1100的處理還是先進行步驟S1200至S1400的處理都可以，也可以同時 並行地進行這些處理。步驟S1500和步驟S1600也是同樣的。
另夕卜，在只有時間一致性和情感一致性的其中一方時，綜合判定單元430 對判定對象附近的參照點進行了時間一致性和情感一致性的判定，但不限於 此。例如，綜合判定單元430也可以將從時間一致性判定單元410輸入的時 間一致性判定信息和從情感一致性判定單元420輸入的情感一致性判定信 息，直接用作判定結果。 (實施方式2)
圖23是表示本發明實施方式2的視聽質量數據生成裝置的結構的方框 圖，其對應於實施方式1的圖1。對與圖1相同的部分附加相同標號，並省 略有關它們的說明。
在圖23中，除了圖1所示的結構以外，視聽質量數據生成裝置700還包 括視線方向檢測單元900。另外，視聽質量數據生成單元裝置700還包括視 聽質量數據生成單元800,所述視聽質量數據生成單元800具備進行與實施方式1的綜合判定單元430不同的處理的綜合判定單元830、以及視線一致 性判定單元840。
視線方向檢測單元卯0檢測視聽者的視線方向。具體地說，視線方向檢 測單元900例如將用於從屏幕側立體拍攝視聽者的數位相機設置在顯示視頻 內容的屏幕附近，從拍攝圖像解析視聽者的臉部方向和眼球方向，從而檢測 視聽者的視線方向。
視線一致性判定單元840進行有無視線一致性的判定，即判定檢測出的 視聽者的視線方向(以下簡稱為"視線方向")是否朝向電視機的屏幕等視頻內 容的顯示區域，並生成用於表示判定結果的視線一致性判定信息。具體地說， 視線一致性判定單元840預先存儲視頻內容的顯示區域的位置，從而判別在 視線方向上是否存在視頻內容的顯示區域。
綜合判定單元830將時間一致性判定信息、情感一致性判定信息以及視 線一致性判定信息進行綜合來判定視聽質量。具體地說，例如，預先存儲對 每個上述三個判定結果的組合設定了視聽質量信息的值的判定表，並參照該 判定表來設定並獲得視聽質量信息。
圖24是表示在使用視線的綜合判定處理中所使用的判定表的一例結構 的說明圖。判定表831中，與時間一致性判定信息(RT)、情感一致性判定信 息(RE)和視線一致性判定信息(RS)的判定結果的各個組合關聯對應地記載有 視聽質量信息的值。例如，時間一致性判定信息RT一'不一致"、情感一致性的組合，與視聽質量信關聯對應。該關聯對應關係表示，沒有時間一致性和情感一 致性而僅有視線一致性時，可以估計視聽者以40%程度的關心在視聽視頻內 容。另外，視聽質量信息的值表示關心的程度，即，將時間一致性、情感一 致性和視線一致性都有時設為100%，將時間一致性、情感一致性和視線一致 性都沒有時設為0%。
綜合判定單元830在對於某個視頻部分被輸入時間一致性判定信息、情 感一致性判定信息和視線一致性判定信息後，在判定表830中搜索一致的組 合，獲得對應的視聽質量信息，並將獲得的視聽質量信息存儲到視聽質量數 據存儲單元500中。
綜合判定單元830通過使用該判定表830來進行視聽質量判定，能夠迅 速地獲得視聽質量信息，並且能夠實現考慮到視線一致性的細緻的判定。
32另外，在圖24所示的判定表830中，只有時間一致性和情感一致性的其 中一方而沒有視線一致性時，與"20°/。"的值關聯對應，但是通過反映其它參
照點的判定結果，能夠更細緻地決定值。下面說明"時間一致情感視線不一致
時判定處理"(以下稱為"判定處理(5)")和"情感一致時間視線不一致時判定處 理(以下稱為"判定處理(6)")。這裡，判定處理(5)是，有時間一致性但沒有情 感一致性時，通過進行更詳細的解析來判定視聽質量的處理。判定處理(6)是， 有情感一致性但沒有時間 一致性時，通過進行更詳細的解析來判定視聽質量 的處理。
圖25是表示判定處理(5)的一例流程的流程圖。以下，用參數q來表示 判定對象的參照點的序號。另外，對如下的假設進行說明，即，在判定對象 的參照點的前後的參照點中，獲得了視線一致性信息和視聽質量信息的值。
首先，在步驟S7751，綜合判定單元830獲得第q-1參照點和第q+l參 照點即判定對象的前後的參照點的視聽質量數據和^L線一致性判定信息。
接著，在步驟S7752,綜合判定單元830判別是否滿足"在前後的參照點 都有視線一致性且視聽質量信息的值都超過60。/。"的條件。綜合判定單元830 在滿足上述條件時(S7752:"是，，)進至步驟S7753，而未滿足上述條件時(S7752: "否")進至步驟S7754。
在步驟S7753，因為在前後的參照點，兩方的視聽質量信息的值都比較 高，而且視聽者的視線都朝向視頻內容，所以綜合判定單元830判斷為視聽 者在以較高的關心程度視聽著視頻內容，並將視聽質量信息的值設定為 "75%"。
接著，在步驟S7755，綜合判定單元830獲得設定了值後的視聽質量信 息，然後進至實施方式1的圖5的S1800。
另一方面，在步驟S7754，綜合判定單元830判別是否滿足"在前後的參 照點的至少一方沒有視線一致性，而且視聽質量信息的值都超過60%"的條 件。綜合判定單元830在滿足上述條件時(S7754:"是")進至步驟S7756,而 在未滿足上述條件時(S7754:"否")進至步驟S7757。
在步驟S7756,雖然在前後的參照點的至少一方視聽者的視線沒有朝向 視頻內容，但在前後的參照點，兩方的視聽質量信息的值都比較高，所以綜 合判定單元830判斷為視聽者在以稍高的關心程度視聽著視頻內容，並將視 聽質量信息的值設定為"65%"。接著，在步驟S7758，綜合判定單元830獲得設定了值後的視聽質量信 息，然後進至實施方式1的圖5的S1800。
另外，在步驟S7757,因為在前後的參照點的至少一方，視聽質量信息 的值比較低，而且在前後的參照點的至少一方，視聽者的視線沒有朝向視頻 內容，所以綜合判定單元830判斷為視聽者在以相當低的關心程度視聽著視 頻內容，將視聽質量信息的值設定為"15%"。
接著，在步驟S7759,綜合判定單元830獲得設定了值後的視聽質量信 息，然後進至實施方式1的圖5的S1800。
這樣，有時間一致性而沒有情感一致性的情況下，考慮到前後的參照點 所獲得的信息，能夠細緻地決定視聽質量信息的值。
圖26是表示判定處理(6)的一例流程的流程圖。
首先，在步驟S7771，綜合判定單元830獲得第q-l參照點和第q+l參 照點即判定對象的前後的參照點的視聽質量數據和視線一致性判定信息。
接著，在步驟S7772，綜合判定單元830判別是否滿足"在前後的參照點 都有視線一致性且視聽質量信息的值都超過60%"的條件。在滿足上述條件時 (S7772:"是")進至步驟S7773，而在未滿足上述條件時(S7772:"否")進至步 驟S7774。
在步驟S7773,因為在前後的參照點，兩方的視聽質量信息的值都比較 高，而且視聽者的視線都朝向視頻內容，所以綜合判定單元830判斷為視聽 者在以中等程度的關心程度視聽著視頻內容，將視聽質量信息的值設定為 "50%，，。
接著，在步驟S7775，綜合判定單元830獲得設定了值的視聽質量信息， 然後進至實施方式1的圖5的S1800。
另一方面，在步驟S7774,綜合判定單元830判別是否滿足"在前後的參 照點的至少一方沒有視線一致性，而且視聽質量信息的值都超過60%"的條 件。綜合判定單元830在滿足上述條件時(S7774:"是")進至步驟S7776，而 在未滿足上述條件時(S7774:"否")進至步驟S7777。
在步驟S7776，雖然在前後的參照點視聽質量信息的值都比較高，但在 前後的參照點的至少 一方視聽者的視線沒有朝向視頻內容，所以綜合判定單 元830判斷為視聽者在以稍低的關心程度視聽著視頻內容，將視聽質量信息 的值設定為"45%"。接著，在步驟S7778，綜合判定單元830獲得設定了值的視聽質量信息， 然後進至實施方式1的圖5的S1800。
另外，在步驟S7777,因為在前後的參照點的至少一方，視聽質量信息 的值比較低，而且在前後的參照點的至少一方，視聽者的視線沒有朝向視頻 內容，所以綜合判定單元830判斷為視聽者在以較低的關心程度視聽著視頻 內容，將視聽質量信息的值設定為"20%"。
接著，在步驟S7779，綜合判定單元830獲得設定了值的^L聽質量信息， 然後進至實施方式1的圖5的S1800。
這樣，對於有情感一致性但沒有時間一致性的情況，也考慮到前後的參 照點所獲得的信息，能夠細緻地決定視聽質量信息的值。
另外，在圖25和圖26中，說明了在前後的參照點能夠獲得視線一致性 信息和視聽質量信息的值的情況，但是也可能有如下的情況連續存在多個 有情感一致性但沒有時間 一致性的參照點，或者這樣的參照點為最初的參照 點和最後的參照點。此時，例如僅使用前後的任意一方的參照點的信息，或 者使用在前後的任意 一 方連續存在的多個的參照點的信息即可。
在圖5的步驟S1800，將百分率的值作為視聽質量信息記載到視聽質量 數據信息中。綜合判定單元830例如也可以計算在整個視頻內容獲得的視聽 質量信息的值的平均，以百分率輸出對於整個視頻內容的視聽者的關心程度。
這樣，根據本實施方式，除了情感一致性判定結果和時間一致性判定結 果之外，還將視線一致性判定結果用於視聽質量判定。由此，能夠實現精度 更高的視聽質量判定和更為詳細的視聽質量判定。而且，使用判定表，所以 能夠使判定處理高速化。
另外，綜合判定單元830也可以如下進行判定作為第一階段，首先使 用情感一致性判定結果和時間一致性判定結果嘗試進行視聽質量判定，而僅 在判定對象中沒有參照點時或者在附近不存在參照點時等而無法獲得判定結 果的情況下，作為第二階段，進行使用了視線一致性判定結果的視聽質量判 定。
另外，在以上說明的各個實施方式中，視聽質量數據生成裝置基於視頻 內容的視頻編輯的內容獲得情感期望值信息，但不限於此。視聽質量數據生 成裝置例如也可以預先將表示參照點的信息和表示各個情感期望值的信息作 為元數據附加到視頻內容中，並基於這些信息獲得情感期望值信息。具體地
35說，作為要附加的元數據，對各個參照點或場景，可以記載表示參照點的信 息(包括索引號、開始時間以及結束時間)和情感期望值(a，b)的組合。
另外，有時視聽了相同視頻內容的其它視聽者的評論或評價被公開在因 特網上，或者被附加到視頻內容中。於是，在視頻內容中包含的視頻編輯點 不多而不能檢測出足夠的參照點時，視聽質量數據生成裝置可以解析這些評 論和評價，從而補償情感期望值信息的獲得。例如，假設在網際網路上公開的
博客(blog)中記載有"在人物A出場的場景使我感到特別悲傷"的評論。此時， 視聽質量數據生成裝置可以檢測該內容中"人物A，，出場的時間，將檢測出的 時間獲得為參照點，同時將相當於"悲傷"的值獲得為情感期望值。
另外，作為情感一致性的判定方法，將情感模型的空間中的情感期望值 與情感實測值之間的距離和閾值進行比較，但不限於此。-視聽質量數據生成 裝置也可以將視頻內容的視頻編輯的內容和視聽者的生物信息分別變換為情 感類別，並判定情感類別是否一致或相似。另外，此時，^L聽質量數據生成 裝置也可以不將情感類別轉移的點作為情感一致性或時間 一致性的判定對 象，而將"興奮"等特定的情感類別產生的時刻或產生的時間段，作為該判定 對象。
本發明的視聽質量判定除了適用於視頻內容以外，當然還可以適用於音 樂內容、網絡上的文章等文本內容等各種內容。
2007年2月20日提交的日本專利申請第2007-040072號中包含的說明 書、附圖以及說明書摘要的公開內容，全部被引用於本申請。
工業實用性
本發明的視聽質量判定裝置、視聽質量判定方法、視聽質量判定程序以 及存儲有該程序的記錄媒體作為不給視聽者特別增加負擔而能夠高精度地判 定視聽質量的視聽質量判定裝置、視聽質量判定方法、視聽質量判定程序以 及存儲有該程序的記錄媒體極為有用。
權利要求
1.一種視聽質量判定裝置，包括情感期望值信息獲得單元，獲得情感期望值信息，該信息表示，視聽內容的視聽者被期望產生的情感；情感信息獲得單元，獲得情感信息，該信息表示，在視聽所述內容時視聽者產生的情感；以及視聽質量判定單元，通過比較所述情感期望值信息和所述情感信息，判定所述內容的視聽質量。
2. 如權利要求1所述的視聽質量判定裝置，其中， 所述視聽質量判定單元對時間分割了所述內容的每個部分進行所述比較，根據多個比較結果判定所述視聽質量。
3. 如權利要求1所述的視聽質量判定裝置，其中， 還包括內容獲得單元，獲得所述內容；以及情感期望值信息表，使所述內容的編輯內容的類別和所述情感期望值信 息預先關聯對應，別，並參照所述情感期望值信息表獲得所述情感期望值信息。
4. 如權利要求1所述的視聽質量判定裝置，其中， 還包括傳感單元，獲得所述視聽者的生物信息， 所述情感信息獲得單元基於所述生物信息獲得所述情感信息。
5. 如權利要求1所述的視聽質量判定裝置，其中， 所述情感期望值信息包括情感期望產生時間，其表示，所述被期望產生的情感的產生時間；以及 情感期望值，其表示，所述被期望產生的情感的類別， 所述情感信息包括情感產生時間，其表示，所述視聽者產生的情感的產生時間；以及 情感實測值，其表示，所述視聽者產生的情感的類別， 所述視聽質量判定單元包括時間 一致性判定單元，判定是否存在所述情感期望產生時間與所述情感 產生時間同步的時間 一 致性；情感一致性判定單元，判定是否存在所述情感期望值與所述情感實測值相似的情感一致性；以及綜合判定單元，將有無所述時間一致性和有無所述情感一致性進行綜合 來判定所述視聽質量。
6. 如權利要求5所述的視聽質量判定裝置，其中， 所述綜合判定單元在所述時間一致性和所述情感一致性都有時，判定為所述視聽者感興趣地進行了視聽，在所述時間 一致性和所述情感一致性都沒 有時，判定為所述視聽者未感興趣地進行了視聽。
7. 如權利要求6所述的視聽質量判定裝置，其中， 所述綜合判定單元在有所述時間 一致性和情感一致性中的 一方而沒有另一方時，判定所述視聽者是否感興趣地進行了視聽為"不明"。
8. 如權利要求6所述的視聽質量判定裝置，其中，所述時間一致性判定單元對所述內容，每單位時間判定有無所述時間一 致性，所述情感一致性判定單元對所述內容，每所述單位時間判定有無所述情 感一致性，所述綜合判定單元根據所述時間 一致性判定單元和所述情感一致性判定 單元的判定結果，判別所述視聽質量。
9. 如權利要求8所述的視聽質量判定裝置，其中， 所述綜合判定單元對於所述內容中、有所述時間一致性而沒有所述情感一致性的部分，在所述內容的其它部分有所述時間一致性時，判定為所述一見 聽者感興趣地進行了視聽，在所述其它部分沒有所述時間一致性時，判定為 所述視聽者未感興趣地進行了視聽。
10. 如權利要求8所述的視聽質量判定裝置，其中， 所述綜合判定單元對於所述內容中、沒有所述時間一致性而有所述情感一致性的部分，在所述內容的其它部分有所述情感一致性時，判定為所述視 聽者感興趣地進行了視聽，在所述其它部分沒有所述情感一致性時，判定為 所述視聽者未感興趣地進行了視聽。
11. 如權利要求5所述的視聽質量判定裝置，其中， 所述內容包含圖像，所述視聽質量判定裝置還包括視線方向^f企測單元，；險測所述視聽者的:規線方向；以及視線一致性判定單元，判定是否存在所述視線方向朝向所述內容所包含 的圖像的視線一致性，所述綜合判定單元將有無所述時間一致性、有無所述情感一致性和有無 所述視線一致性進行綜合來判定所述視聽質量。
12. 如權利要求3所述的視聽質量判定裝置，其中， 所述內容是包含音樂、效果音、視頻鏡頭、攝影技法中的至少一個的視頻內容，所述情感期望值信息表對於音樂、效果音、視頻鏡頭和攝影技法，預先 使各個類別和所述情感期望值信息關聯對應，所述情感期望值信息獲得單元判別在音樂、效果音、視頻鏡頭、攝影技 法中所述內容所包含的它們的類別，並參照所述情感期望值信息表，獲得所 述情感期望值信息。
13. 如權利要求5所述的視聽質量判定裝置，其中， 所述情感期望值信息獲得單元獲得情感模型的空間的坐標值作為所述情感期望值信息，所述情感信息獲得單元獲得所述情感^t型的空間的坐標值作為所述情感4呂息,所述情感一致性判定單元根據所述情感模型的空間中的、所述情感期望 值與所述情感實測值之間的距離，判定有無所述情感一致性。
14. 一種視聽質量判定方法，包括信息獲得步驟，獲得情感期望值信息和情感信息，所述情感期望值信息 表示，視聽內容的視聽者被期望產生的情感，所述情感信息表示，在視聽所 述內容時視聽者產生的情感；信息比較步驟，比較所述情感期望值信息和所述情感信息；以及 視聽質量判定步驟，根據所述情感期望值信息和所述情感信息的比較結 果，判定所述內容的視聽質量。
15. —種視聽質量判定程序，使計算機執行以下處理 獲得情感期望值信息和情感信息的處理，所述情感期望值信息表示，視聽內容的視聽者被期望產生的情感，所述情感信息表示，在視聽所述內容時 視聽者產生的情感；比較所述情感期望值信息和所述情感信息的處理；以及 根據所述情感期望值信息和所述情感信息的比較結果，判定所述內容的 視聽質量的處理。
16. —種記錄媒體，存儲有使計算機執行以下處理的視聽質量判定程序 獲得情感期望值信息和情感信息的處理，所述情感期望值信息表示，視聽內容的視聽者被期望產生的情感，所述情感信息表示，在-見聽所述內容時視聽者產生的情感；比較所述情感期望值信息和所述情感信息的處理；以及 根據所述情感期望值信息和所述情感信息的比較結果，判定所述內容的視聽質量的處理。
全文摘要
不給視聽者特別增加負擔而能夠高精度地判定視聽質量的視聽質量判定裝置。包括該裝置的視聽質量數據生成裝置(100)具備情感期望值信息生成單元(300)，獲得情感期望值信息，該信息表示，視聽內容的視聽者被期望產生的情感；情感信息生成單元(200)，獲得情感信息，該信息表示，在視聽內容時視聽者產生的情感；以及視聽質量數據生成單元(400)，通過比較情感期望值信息和情感信息，判定內容的視聽質量。
文檔編號H04N17/00GK101543086SQ200880000439
公開日2009年9月23日 申請日期2008年2月18日 優先權日2007年2月20日
發明者中田透, 張文利 申請人:松下電器產業株式會社