內容分析裝置和方法
2023-05-29 17:03:16
專利名稱：內容分析裝置和方法
技術領域：
本發明涉及如下的裝置和方法，其用於顯示從諸如卡通畫、報紙、雜誌、文件、課本、以及參考書的基於紙張的內容數位化而來的各種類型的內容。
背景技術：
在日本專利申請特開No. 2007-226255中，基於卡通畫的作者假設的順序作為幀的順序來確定卡通畫的幀的再現順序。例如，識別號碼被分配給各個幀；再現順序被確定為識別號碼的布置的數據。為了便於在用於再現的顯示裝置的大小上進行閱讀，可以在卡通畫空間中的一個大幀中確定多個顯示位置，並且所述位置可以被重新確定為幀。在日本專利申請特開No. 2007-164550中，可以根據預置的幀顯示順序來生成 Flash卡通畫內容的文件。根據企業主的指示，通過執行規定的Flash生成應用程式的個人計算機來生成該Flash內容文件。由此，生成了在其中每頁包括該頁的圖像數據和幀顯示順序指令(幀顯示順序)的Flash內容文件。在日本專利申請特開No. 2002-41401中，通過存儲對項目進行掃描而生成的數據，在諸如報紙和雜誌的信息提供媒體中公布項目的風格得以維持的同時，可以將在信息提供媒體中公布的多個項目存儲作為項目信息。根據經由通信線路從信息終端接收的指示信息，在存儲的多個項目信息中識別一個項目信息。根據所識別的項目信息來生成輸出信息。所生成的輸出信息被傳輸以輸出到記錄介質。因此，可以以在諸如雜誌的信息提供媒體中公布的風格來獲取用戶所期望的信息。其他與本發明相關的傳統技術包括日本專利申請特開No. 2001-25024和 No.11-272399。如日本專利申請特開No. 2007-226255和No. 2007-164550 一樣，通過用戶的人工操作而初步確定各個幀的布置，並且輸入所確定的數據的技術是非常複雜的。傳統技術不涉及用於根據數據來向具有各種規格和形式的終端順序分發數位化內容，並使得具有各種規格和形式的終端重現內容的設備。
發明內容
本發明提供如下一種技術，其自動或者半自動地確定數字文件的顯示位置和顯示順序。本發明提供一種內容分析裝置，其包括輸入部，所述輸入部輸入原始內容；內容分析器，所述內容分析器分析輸入到所述輸入部的原始內容的細節，並且獲取作為與所述內容相關的信息的內容分析信息；以及定位點信息生成器，所述定位點信息生成器根據與輸入到所述輸入部的原始內容相對應的規定的分析規則，分析讀者視線所停留的定位點， 以及所述定位點相對於輸入到所述輸入部的所述原始內容的轉移順序，並且生成指示所分析的定位點和所述定位點的轉移順序的定位點信息。優選地，內容分析裝置進一步包括轉換器，所述轉換器將從所述輸入部輸入的所述原始內容轉換為分發內容，所述分發內容是根據所述定位點信息和終端的模型類型的圖像；以及信息嵌入部，所述信息嵌入部將通過所述定位點信息生成器生成的所述定位點信息嵌入到通過所述轉換器轉換的分發內容中。優選地，內容分析裝置進一步包括場景生成器，所述場景生成器根據所述終端的模型類型和所述內容分析信息中的至少一個，為通過所述定位點信息生成器生成的每一個定位點確定分發內容的停留時間，並且生成指示用於每個定位點的停留時間的場景。優選地，內容分析裝置進一步包括內容資料庫，在內容資料庫中，為終端的每一模型類型存儲具有嵌入的定位點信息的分發內容；場景資料庫，在場景資料庫中，通過所述場景生成器生成的場景被存儲，並且與終端的所述模型類型和所述內容分析信息中的至少一個相關聯；分發器，所述分發器從所述場景資料庫中提取與訪問所述裝置的終端的模型類型相對應的場景，從所述內容資料庫中提取與終端的模型類型相對應的分發內容，並且將所提取的場景和分發內容分發到終端；以及終端，所述終端從所述分發器接收所述場景和所述分發內容，並且根據所述場景再現所述分發內容。優選地，所述場景生成器根據包括所述終端的屏幕大小的規格，為通過所述定位點信息生成器生成的每個定位點確定所述分發內容的顯示放大率，並且生成指示用於每個定位點的顯示放大率的場景。優選地，所述輸入部接收所述原始內容的圖像以及輔助信息，並且所述內容分析器根據所述原始內容的圖像和所述輔助信息來獲取所述內容分析信息。優選地，所述定位點信息生成器根據與輸入到所述輸入部的所述原始內容相對應的規定的分析規則，來確定用於輸入到所述輸入部的所述原始內容中的元素的順序，並且根據各個元素的順序和各個元素的大小來生成所述定位點信息。優選地，所述內容分析器接受對要被分析的內容的類型的選擇，並且根據所選擇的內容的類型來分析所述內容的元素。優選地，在將對卡通畫的選擇接受為要被分析的內容的類型的情況下，所述內容分析器通過邊緣分析和幀邊界候選提取來確定所述卡通畫的幀。優選地，所述內容分析器在規定的顯示裝置上顯示幀確定的結果。優選地，所述定位點信息生成器根據與輸入到所述輸入部的卡通畫相對應的規定的分析規則，為所確定的卡通畫的每個幀確定順序，並且根據每個幀的順序和每個幀的幀大小來生成所述定位點信息。優選地，在所確定的卡通畫的幀不能適合於終端的屏幕大小之內的情況下，所述定位點信息生成器將幀分割為適合於所述屏幕大小之內的大小；確定幀的順序，其中，所述幀包括在根據與所述卡通畫相對應的規定的分析規則而進行的分割之後的幀；並且根據所述幀的順序和所述幀大小來生成所述定位點信息。優選地，所述定位點信息生成器對幀進行分割，以匹配所述終端的屏幕的形狀。優選地，在所述確定的卡通畫的幀適合於同時處在終端的屏幕大小之內的情況下，所述定位點信息生成器合併所述幀；確定幀的順序，其中，所述幀包括在根據與所述卡通畫相對應的規定的分析規則進行合併之後的幀；並且根據所述幀的順序和所述幀大小來生成所述定位點信息。本發明提供一種內容分析方法，其使計算機執行以下步驟輸入原始內容的步驟；對所輸入的原始內容的細節進行分析，並且獲取作為與所述內容相關的信息的內容分析信息的步驟；以及根據與所輸入的原始內容相對應的規定的分析規則，分析讀者視線所停留的定位點，以及定位點相對於所輸入的原始內容的轉移順序，並且生成指示所分析的定位點和所述定位點的轉移順序的定位點信息的步驟。本發明提供了一種在其上嵌入有使得計算機執行所述內容分析方法的內容分析程序的非暫時性的計算機可讀介質。
圖1是內容分發系統的配置的示意圖；圖2A、2B、和2C是示出定位點的示例的視圖；圖3A、3B、和3C是生成場景的處理的流程圖；圖4A、4B、和4C是示出檢測邊緣的示例的視圖；圖5A、5B、和5C是示出確定幀順序的示例的視圖；圖6A和6B是示出卡通畫的特定幀布置的示例的視圖；圖7是分發處理的流程圖；圖8A、8B、和8C是示出原始內容、定位點信息和細節圖像的示例的視圖；圖9是示出通過算法來書寫的用於卡通畫的定位點生成規則的示例的視圖；以及圖10A、10B、10C、以及IOD是示出用於卡通畫的幀順序和定位點的示例的視圖。
具體實施例方式圖1示出了本發明優選實施例的內容分發系統的配置。該系統包括內容伺服器1 和分發伺服器2。內容伺服器1和分發伺服器2包括計算機(信息處理裝置)，其包括處理設備(CPU)、存儲設備以及輸入和輸出電路。內容伺服器1和分發伺服器2可以被集成到一個計算機中。內容伺服器1包括內容輸入部11、內容分析器12、定位點信息生成器13、內容圖像轉換器14、定位信息嵌入部15、場景生成器16、原始內容DB 21、規則DB 22、模型類型信息 DB 23、已處理內容DB 24、以及再現場景DB 25。內容輸入部11接收在諸如卡通畫、報紙和周刊雜誌、辦公文件(提交單據等)、課本、參考書等的項目之類的頁面的單元中設置的原始內容的輸入。可以採用任何形式的輸入。輸入可以經由諸如USB或者網際網路的網絡來進行，或者經由諸如存儲卡或者⑶-ROM的計算機可讀介質來進行。輸入的原始內容被存儲在原始內容DB 21中。使用掃描器等，將在原始內容DB 21中存儲的內容數位化為數字數據。可以採用存儲原始內容的任何形式。 以PDF文件或者圖像文件的形式來存儲所述內容。輔助信息可以記錄在原始內容中。該輔助信息可以包括作者、題目、頁面的總數、卷號、以及內容的劇集號。內容分析器12分析在原始內容DB 21中存儲的內容以及輔助信息，並且輸出內容分析信息。內容分析信息包括內容(卡通畫、報紙、周刊雜誌、辦公文件、課本、參考書等的項目)的類型、內容的作者、內容的題目、如果內容包括多個卷和集則有劇集號、內容的頁數、在每頁中的內容元素(幀、圖、在圖中人物的類型、氣球形圓圈、正文、表格、圖表等)的布局、人物的特徵(人物名、人物的視線的方向、人物的大小和位置等)、正文的細節、正文
6的位置、正文的數量(字數)、以及頁、節、章的分隔符等。內容元素的位置、大小和類型可以根據諸如臉部的對象的特徵量而自動地檢測。根據機器學習可以自動地檢測內容元素。例如，可以根據用於學習的樣本卡通畫而依經驗來設置檢測幀的外部邊緣的精度、確定矩形之外的區域作為幀是否適合的閾值等。規則DB 22存儲定位點生成規則。例如，規則DB 22存儲根據內容的類型的定位點生成規則。定位點生成規則表示讀取內容元素的順序的規律。更具體地，如圖2A中所示例地，在內容的類型是水平排版的辦公文件的情況下， 如下規則被存儲作為定位點生成規則A，該規則即，按照從其被包括在內容分析信息中的正文的位置位於最上面的元素到其正文的位置位於最下面的元素的順序來掃描各個幀的代表點(幀的中心或者質心)。如圖2B中所示例地，在內容的類型是卡通畫的情況下，如下規則被存儲作為定位點生成規則B，該規則即，根據從其被包括在內容分析信息中的幀(或者氣球形圓圈)的位置在最右上方的元素到其位置在最左下方的元素的順序來在水平方向中掃描各個幀的代表點(幀的中心或者質心)。如圖2C中所示例地，在內容的類型是垂直排版的報紙的情況下，如下規則被存儲作為定位點生成規則C，該規則即，按照從其被包括在內容分析信息中的位置位於最右上方的元素到其位置位於最左下方的元素的順序來在垂直方向中掃描各個幀的代表點。規則DB 22還可以存儲根據內容的作者的定位點生成規則。這種情況沒有在視圖中示出。在規則DB 22中不僅可以存儲根據內容的作者和類型的規範的規則，而且可以存儲根據通過規則生成器30的人工智慧而學習的內容的作者和類型的規則。例如，通過規則生成器30的學習可以如下來執行。首先，為各個基本圖案初步準備正確的規則。規則生成器30提取用於各個基本圖案的特徵量(幀邊界的厚度和長度)。 然後，規則生成器30從提取的特徵量估計由內容的作者假設的讀取幀的順序。規則生成器 30將為每個基本圖案估計的讀取順序與正確的規則相比較，並且對用於估計讀取幀的順序的參數進行最優化。最優化的參數被存儲在規則DB 22中。定位點信息生成器13根據從內容分析器12中輸出的內容分析信息以及在規則DB 22中存儲的定位點生成規則而生成定位點信息。定位點是視線對於每個頁面的內容的元素所停留的位置(著眼點)。定位點信息生成器13從在規則DB 22中存儲的用於各個類型的內容的定位點生成規則中提取與輸入的內容的類型相對應的定位點規則，並且根據提取的定位點生成規則和內容分析信息來生成定位點信息。定位點信息包括定位點的位置坐標和指示定位點的移動順序和移動方向的信息。 定位點信息可以包括其他多個可選的信息。內容圖像轉換器14將在原始內容DB 21中存儲的原始內容轉換為具有可由再現終端再現的格式的圖像。轉換的圖像被稱為再現內容。可通過再現終端再現的格式可以是 JPEG等。內容圖像轉換器14根據訪問分發伺服器2的再現終端3的模型類型信息，從模型類型信息DB23中識別相應的屏幕大小信息；調整再現內容的解析度的大小，以使其與所識別的屏幕信息相匹配；並且將調整大小的內容認為是再現內容。在該種情況下，內容圖像轉換器14可以被包括在再現終端3中，而不是在內容伺服器1中。
替代地，內容圖像轉換器14可以根據在模型類型信息DB 23中存儲的每個模型類型的屏幕大小信息來調整再現內容的解析度，並且為每個模型類型生成再現內容。再現內容包括縱覽圖像和細節圖像。縱覽圖像是以簡化方式描繪整個一頁的內容的低解析度圖像。細節圖像是詳細描繪在定位點周圍的內容元素並且對應於每一個著眼點的一個或者多個高清晰度的圖像。例如，細節圖像是用於其中根據內容分析結果而確定的每個定位點是代表點的卡通畫的每個幀的高清晰度圖像。定位信息嵌入部15將通過定位點信息生成器13生成的定位點信息嵌入到用於通過內容圖像轉換器14而轉換的用於每個模型類型的再現內容中。可以採用任何的嵌入方法。例如，使XML格式化的元數據與再現內容相關聯。對於每一種模型類型信息，嵌入有定位點信息的再現內容被存儲在已處理內容DB M中。根據內容分析信息/模型類型信息/再現狀態信息，場景生成器16生成與已處理內容DB M的再現內容相對應的再現場景。生成的場景被存儲在再現場景DB 25中，並且與內容分析信息/模型類型信息/再現狀態信息相關聯。可以採用用於存儲場景的任何格式。例如，對於定位信息，其格式被描述為XML。再現場景可以對應於整個內容或者內容的每一個頁面。應該注意到，當傳輸每一頁的縱覽圖像時，與內容的每個頁面相對應的再現場景被要求一起分發。再現場景包括細節圖像的放大因子；從與之前的定位點對應的細節圖像到與後續的定位點相對應的細節圖像的顯示切換速度和顯示切換方法(滾動、漸入/漸出等)；在每一個定位點的視線的停留時間，即停留時間，或者與每個定位點相對應的細節圖像的顯示時間；內容的縱覽圖像和細節圖像的布置(頁和節)；以及標題信息。例如，與每個定位點相對應的細節圖像的正文量匹配的停留時間被設置在再現場景中。在每個定位點周圍的細節圖像的正文量越大，則在一個屏幕中的信息量就變得越大。 因此，在再現場景中的停留時間被相應地設置為更長。在再現場景中，在每個定位點處的細節圖像的放大因子被設置為使得與訪問分發伺服器2的再現終端3相匹配，或者用於每個模型類型的停留時間被設置為使得與模型類型信息DB 23中存儲的每個模型類型的屏幕大小相匹配。在定位點之間顯示的切換速度被設置在再現場景中。可以根據與訪問分發伺服器 2的再現終端3的用戶相對應的、已經被獲得來作為再現狀態信息的之前的瀏覽速度來確定所述速度。或者，可以通過將從已經對相同的再現內容進行再現的多個再現終端3中獲得的作為再現狀態信息的之前的瀏覽速度應用到規定的數學表達式(平均等)中來確定所述速度。顯示切換方法可以是規定的默認切換方法，或者可以根據內容分析信息來進行設置。例如，如果內容的幀A中的人物的視線方向的目的地與在定位點的移動方向上的幀B 相匹配，則從幀A到幀B的顯示切換方法被設置為滾動。內容的縱覽圖像和細節圖像的布置(頁和節)、標題信息等對應於在原始內容中的輔助信息。分發伺服器2分別從再現場景DB 25和已處理內容DB M中，提取與經由諸如網際網路的網絡而連接的再現終端3的模型類型信息相對應的再現場景和再現內容，並且將所提取的再現場景和圖像傳輸到再現終端3。可以整體地或者以再現單元(頁等)來傳輸再現場景和再現內容。再現終端3可以是移動信息終端，諸如行動電話、智慧型電話、或者平板計算機，並且包括能夠再現圖像的信息處理裝置、顯示設備和通信設備。再現終端3根據從分發伺服器2接收的再現場景來再現圖像。未指定數目的再現終端3以及其用戶可以訪問分發伺服器2中。圖3A示出了通過內容伺服器1執行的生成場景的處理的流程圖。使得內容伺服器1執行該處理的程序被存儲在內容伺服器1的非臨時的計算機可讀存儲介質(RAM、R0M、 CD-ROM 等)中。在步驟Si，內容輸入部11接收原始內容。在步驟S2，內容分析器12分析原始內容。在步驟S3，定位點信息生成器13生成定位點信息。在步驟S4，內容圖像轉換器14將原始內容轉換為用於每個模型類型信息的再現內容。在步驟S5，定位信息嵌入部15在再現內容中嵌入定位點信息。對於每個模型類型信息，將嵌入有定位點信息的再現內容存儲在已處理內容DB 24中。在步驟S6，場景生成器16為每一個模型類型信息生成再現場景。對於再現終端3 的每個模型類型信息，將所生成的再現場景存儲在再現場景DB 25中。在步驟S7,分發伺服器2將與再現終端3的模型類型信息相對應的再現場景和再現內容傳輸到再現終端3。圖:3B示出了步驟S2的內容分析(內容元素的自動檢測)的流程。該內容分析包括三個步驟，或者說包括邊緣檢測(S21)、幀邊界候選提取(S22)，以及幀確定(S23)。例如，當經由諸如滑鼠或者鍵盤的用戶接口，選擇男孩的漫畫為內容時，與男孩的漫畫相對應的內容分析被啟動。在邊緣檢測(S21)中，內容分析器12用於對幀的外部邊緣的框架進行檢測的處理。對於傳統情況，可以執行對其自身進行邊緣檢測的特定方法。例如，可以從通過對內容進行掃描而獲取的圖像中檢測高頻分量來執行所述方法。幀的外部邊緣可以是單線，而沒有白線(白色的邊界)或者裝飾線。因此，在不能僅僅通過檢測高頻分量來檢測框架的情況下，通過應用哈夫(Hough)變換來估計構成幀的邊的線段。作為邊緣檢測的結果，不是幀的框架中原有的線或者掃描時所產生的噪聲可能被檢測作為幀的框架。因此，內容分析器12消除邊緣中的噪聲，並且對缺失的部分進行添加， 並且檢測所產生的剩餘邊緣來作為幀的框架。幀邊界候選提取(S2》在顯示器等上向用戶展示在步驟S21中檢測的框架來作為幀邊界候選，並且提醒用戶驗證框架。幀確認(S2!3)從邊界候選的組合中確認幀。例如，如果由邊界候選包圍的封閉區域是矩形，並且其具有一定範圍的寬和長，則內容分析器12確定所述封閉區域是幀。幀確定的結果在顯示器等上被顯示給用戶，提醒用戶驗證結果。在確定矩形幀之後，為了解決幀不是矩形的情況，內容分析器12驗證剩餘的未指定區域是否是幀的適當性。例如，如圖4A中所示，矩形Ml至M3被確定為幀，但是非矩形的區域Q被認為是未指定的區域。如果未指定區域Q的面積、高度、長度、位置等滿足一定的閾值，則未指定區域被確定為幀。如圖4B中所示，在幀的外部邊緣被氣球形圓圈等隱藏或者割裂的情況下，分割的邊界是虛擬地延伸的，並且該延伸的線與所檢測的幀的外部邊緣合併。隨後，驗證由合併的外部邊緣包圍的區域是否是幀的適當性。如圖4C中所示，在幀延伸到頁的邊緣，並且幀的外部邊緣沒有被繪成線段的情況下，幀的虛擬邊界被布置在頁的邊緣處，並且所述邊界與所檢測的幀的外部邊緣合併。隨後，驗證由合併的外部邊緣包圍的區域是否是幀的適當性。圖3C示出了在步驟S3中生成定位點信息的流程。定位點信息的所示生成包括兩個步驟，或者說包括幀順序確定(S31)和在相同的幀中的視線移動的確定(S32)。在幀順序確定(S31)中，根據與所選的內容類型相對應的定位點生成規則，定位點信息生成器13確定讀取幀的順序(幀順序)。例如，在男孩的漫畫的情況下，根據圖2B 中所示的定位點生成規則B來確定幀順序。在相同的幀中的視線移動的確定(S32)中，定位點信息生成器13確定其幀順序已經被確定的每個幀的視線(定位點)的移動。逐個幀地來確定定位點。在幀的大小大於或者小於再現終端3的顯示設備的屏幕大小的情況下，調整幀大小，使得與屏幕大小相匹配，並且然後確定定位點。例如，假設某個幀不適合再現裝置3的一個屏幕。在該種情況下，定位點信息生成器13將該幀分割為能夠適合一個屏幕的單元。接下來，根據與所選的內容的類型相對應的定位點生成規則，定位點信息生成器13再次將幀順序分配給被分割的單元。例如，如圖5A中所示，假設四個幀Ml至M4的幀順序被確定。還假設的是，雖然幀 Ml和M2中的每個可以適合於再現終端3的一個屏幕，但是幀M3不能適合再現終端3的一個屏幕。定位點信息生成器13將幀M3分割為能夠適合一個屏幕的單元。因此，生成分割的幀M3-1和M3-2。根據用於確定幀順序的定位點生成規則B，定位點信息生成器13確定所分割的幀M3-1和M3-2的幀順序。在圖5A中，分割的幀M3-1被布置在分割的幀M3-2的右邊。因此，所分割的幀M3-1被分配為幀M2的下一個的第三位3，並且所分割的幀M3-2被分配為分割的幀M3-1的下一個的第四位。在幀M3之後的幀順序被更新，以按照被分配給分割的幀的位次而向下移動。例如，在幀M3的分割之前，幀M4被分配為具有第四位。然而， 所分割的幀M3-1被分配到下一位，或者說第四位。因此，幀M4被更新為第五位。如在圖5B中所示例地，分割的幀的數量可以是兩個或者更多。在幀具有複雜形狀的情況下，幀被分割為與典型為矩形的顯示屏幕的形狀相匹配的形狀，並且然後，確定幀順序。相反，假設具有確定的幀順序的多個幀同時適合於再現終端3的一個屏幕。在該種情況下，定位點信息生成器13將多個幀合併成適合於所述一個屏幕的單元。接下來，根據與所選的內容的類型相對應的定位點生成規則，定位點信息生成器13將幀順序再次分配給合併的單元。例如，如在圖5C中所示，假設已經確定了三個幀M4、M6、和M7的幀順序。還假設幀M6和M7適合於同時處在再現終端3的一個屏幕中的顯示區域R內。定位點信息生成器 13將幀M6和M7合併為一個單元M6'。根據定位點生成規則B，定位點信息生成器13將單元M6'分配為第六位，其為幀M4的下一位。在此所述的再現終端3的一個屏幕根據再現終端3的類型而變化。因此，用於分割幀的單元和用於合併幀的單元也根據再現終端3的類型而變化。即，用於分割幀的單元和用於合併幀的單元取決於再現終端3的類型。即使是相同的卡通畫，如果亞類(男孩的漫畫、女孩的漫畫等)不同，則幀的排列以及對幀進行繪畫的方式也趨向於完全的不同。因此，優選的是，根據由用戶選擇的內容的類型來分析內容。例如，如在圖6A和6B中所示例地，女孩的漫畫具有與男孩的漫畫的特徵不同的特徵。即，在女孩的漫畫中，不同幀的邊界相互重疊(圖6A)，並且幀的邊界沒有明顯的畫出 (圖6B)。因此，優選的是，採用與男孩的漫畫的算法不同的算法來對女孩的漫畫的內容進行分析。在內容的類型不是卡通畫的情況下，例如，在雜誌的情況下，識別諸如項目的主體、圖表、相片、以及標題的內容元素而不是幀，並且根據定位點生成規則來確定這些內容元素的順序。在顯示器上，逐個地顯示各個步驟的執行結果。用戶確認每個結果的適當性。在此，可以從用戶接口輸入各個步驟的執行結果的校正。例如，如果幀順序是不正確的，則可以從用戶接口來糾正幀順序。圖7示出了在再現終端3和分發伺服器2之間執行的分發處理的流程圖。步驟 Sll至S22由再現終端3來執行。步驟S31至S34通過分發伺服器2來執行。使得分發伺服器2或者再現終端3分別地執行這些處理的程序被存儲在分發伺服器2或者再現終端3 的相應的非臨時性計算機可讀存儲介質(RAM、ROM、CD-ROM等)中。在再現終端3中的處理如下。應該注意的是，未指定數量的再現終端3可以連接到分發伺服器2。在步驟Sl 1，響應於用戶發出的請求分發的操作，再現終端3訪問分發伺服器2，並且請求總共P頁的再現內容的分發。分發請求包括識別再現終端3的模型類型的信息。數目P是與內容相對應的頁的總數。數目P已經通過內容分析器12獲取。在步驟S12，再現終端3以X = 1、2……ρ的順序來將值設置到X，並且在每次對值進行設置的時候重複步驟S12至S22的循環。在步驟S13，再現終端3從分發伺服器2接收在總共ρ頁的再現內容中的第X頁的縱覽圖像，以及與在P頁中的第一定位點相對應的細節圖像和再現場景，並且再現終端3將這些圖像和場景存儲在存儲介質中，諸如RAM和存儲卡。在步驟S14，再現終端3接收已經從分發伺服器2中發送的與再現終端3的模型類型信息相對應的所需的第X頁(例如，X=D的縱覽圖像、第X頁的再現場景，以及與第X 頁的第一定位點相對應的細節圖像。在步驟S14，再現終端3在屏幕上顯示從分發伺服器2接收的與再現終端3的模型類型信息相對應的第X頁的縱覽圖像。圖8A示出了與第X頁相對應的再現內容和在其中嵌入的定位點信息的示例。圖8B示出了與第X頁相對應的縱覽圖像的示例。實際上，在再現內容中嵌入的定位點信息是不可見的。在步驟S15，再現終端3以Y = 1、2……q的順序來將值設置到Y，並且在每次對值進行設置的時候重複步驟S15至S20的循環。數目q是與當前顯示的第X頁相對應的幀的總數。數目q已經通過內容分析器12獲取。在步驟S16，再現終端13確定定位點移動事件是否發生，所述定位點移動事件是將屏幕顯示移動到在第X頁中的第Y定位點(例如，Y= 1)的事件。在是的情況下，處理行進到步驟S17。例如，在已經過去了再現場景中指定的當前顯示的定位點處的停留時間的情況下，確定定位點移動事件發生。即使在停留時間還沒有過去的情況下，如果通過用戶的操作而指示移動到下一個定位點，則確定已經發生了定位點移動事件。在步驟S17，再現終端3訪問分發伺服器2，並且發出對與再現終端3的模型類型信息相對應的在第X頁中、與第(Y+1)個定位點以及其後的定位點相對應的細節圖像的所有部分或者一些部分進行分發的請求。根據定位點信息和再現場景來識別與第(Y+1)個定位點以及其後的定位點相對應的細節圖像。在步驟S18，再現終端3在屏幕上顯示與再現終端3的模型類型信息相對應的在第X頁中、與第Y個定位點相對應的細節圖像。圖8C示出了作為示例的，與在屏幕上顯示的第一定位點相對應的細節圖像。顯示的細節圖像的放大因子和停留時間依據再現場景。 然而，放大因子可以通過用戶的操作而隨意的改變。在步驟S19，再現終端3從分發伺服器2接收與再現終端3的模型類型信息相對應的在第X頁中、與第(Y+1)個定位點以及其後的定位點相對應的細節圖像的所有部分或者一些部分，並且將所述圖像存儲在存儲介質中。隨後將描述再現裝置3接收多少量的細節圖像。在步驟S20，再現終端3將Y遞增1。在步驟S21，再現終端3確定是否已經從用戶輸入了將顯示切換到第(X+1)頁的指令。在是的情況下，處理行進到步驟S22。在否的情況下，處理返回到步驟S16。在步驟S22，再現終端將X遞增1。處理返回到步驟S12。在分發伺服器2中的處理如下。在步驟S31，分發伺服器2確定是否從再現終端3接收了用於對總共ρ頁的再現內容進行分發的請求。在是的情況下，處理行進到步驟S32。在步驟S32，分發伺服器2分別從已處理內容DB M和再現場景DB 25接收與再現終端3的模型類型信息相對應的總共ρ頁的再現內容的第X頁的縱覽圖像，以及與第ρ頁中的第一定位點相對應的細節圖像和再現場景，並且然後將這些圖像和場景傳輸到已經發出了分發請求的再現終端3。在步驟S33，分發伺服器2確定是否接收到對與再現終端3的模型類型信息相對應的在第X頁中、與第(Y+1)個定位點相對應的細節圖像進行分發的請求。在是的情況下，處理行進到步驟S34。在步驟S34，分發伺服器2從已處理內容DB 24接收與再現終端3的模型類型信息相對應的在第X頁中、與第(Y+1)個定位點相對應的細節圖像，並且將所述圖像傳輸到再現終端3。根據在第X頁中的第Y細節圖像的量(大小)、與第X頁中的第Y定位點相對應的細節圖像中的正文的量、或者停留時間，確定是僅僅對在與第(Y+1)個定位點以及其後的定位點相對應的細節圖像中的與第(Y+1)個定位點相對應的細節圖像進行傳輸，或者是傳輸第(Y+1)和與第(Y+2)以及之後的定位點相對應的細節圖像的所有部分或者一部分。
12
例如，如果在第X頁中的第Y個細節圖像的量(大小)較大，則分發伺服器2會認為在再現終端3中的存儲介質的剩餘量較小，並且然後僅僅對與第(Y+1)定位點以及其後的定位點相對應的細節圖像進行傳輸。相反，如果在第X頁中的第Y細節圖像的量(大小)較小，則分發伺服器2會認為在再現終端3中的存儲介質的剩餘量較大，並且然後對與第(Y+1)定位點以及其後的定位點相對應的至少兩個細節圖像進行傳輸。如果與第X頁中的第Y定位點相對應的正文的量較大，或者停留時間較長，則在移動到第(Y+1)個定位點之前存在時間餘量(temporal allowance)，並且因此分發伺服器 2將對與第(Y+1)定位點以及其後的定位點中的至少兩個相對應的細節圖像進行傳輸。相反，如果與第X頁中的第Y定位點相對應的正文的量較小，或者停留時間較短，則在移動到第(Y+1)個定位點之前幾乎沒有時間餘量，並且因此分發伺服器2僅僅將對與第(Y+1)定位點相對應的細節圖像進行傳輸。在此，只要再現終端3請求的分發被執行，則步驟S31至S34的操作將重複，直到與內容相對應的再現場景、與所有頁相對應的所有縱覽圖像和所有細節圖像都被傳輸。響應於定位點的轉移，因此與再現終端3的模型類型信息相對應的內容而被從分發伺服器2傳輸到再現終端3。在此，響應於與當前定位點相對應的內容的量以及與其相對應的正文的量或者停留時間來執行與下一個定位點以及其後的定位點相對應的內容的預期的分發。因此，能夠適當地執行與再現終端3相匹配的分發管理。在規則DB 22中存儲的定位點生成規則可以是算法。圖9示出了與卡通畫相對應的並且通過算法來描寫的定位點生成規則(幀順序確定)的示例。在步驟S41，根據在來自內容分析器12的內容分析信息中所指示的特定頁中的所有幀的位置信息，定位點信息生成器13確定特定頁的最右上方的幀的位次作為第一位。第一幀被設置為參考幀。第一幀的右上方的點最靠近於頁的右上方的點。特定頁是構成卡通畫的所有頁中的任意一頁。因此，對算法進行重複可以確定所有頁的所有幀的順序。在步驟S42，定位點信息生成器13參考內容分析信息，並且其在還沒有被確定位次的幀當中，對緊靠在頁的頂部處的參考幀的左邊的幀A，以及在參考幀的正下方並且處在所述頁的最右側的幀B進行識別。幀A緊靠在參考幀的左邊，並且在上端處於最高位置處的幀中處於最右側。上端處於最高位置處的幀被如下地確定。如果在某一幀的上端坐標之上不存在幀的上端坐標， 則定位點信息生成器13確定該幀是在頁中的上端處的幀。然而，在存在其他幀的上端處於某一幀的上端之上的情況下，定位點信息生成器13根據實際測量的到頁的端的距離來對幀進行分類；如果從一組幀的上端到頁的上端之間實際測量的距離的變化寬度在士e內， 則將該組幀共同識別為處於頁的上端處的幀。例如，e的值可以為從5到20個點。該值通過經驗來確定。此外，定位點信息生成器13識別幀A，所述幀A在參考幀的左側，並且在其上端為最高的幀當中處於最右邊的位置。幀B是上端在參考幀的下端之下的幀中的最高的幀，並且位於最右側的位置。如以上描述一樣，將其與參考幀的下端的距離在規定範圍內的所有幀確定為在參考幀的下端處的幀。例如，在存在其他幀的上端在某一幀的上端之上的情況下，根據在這些幀的上端和參考幀的下端之間的實際測量的距離的順序來對幀進行分類；如果實際測量的距離的變化
13寬度在士e內，則將所有的這些幀識別為處於參考幀的下端處的幀。此外，定位點信息生成器13識別幀B，所述幀B在參考幀的正下方，並且在參考幀的下端處的幀中處於最右邊。在步驟S43，定位點信息生成器13確定幀B是否在特定的頁中。如果確定幀不在其中，則處理行進到步驟S44。如果確定幀在其中，則處理行進到步驟S45。在步驟S44，定位點信息生成器13將幀A的位次確定為參考幀的位次+1。在步驟S45，定位點信息生成器13確定幀A和幀B是否是同一個幀。如果確定是同一個幀，則處理行進到步驟S46。如果確定不是同一個，則處理行進到步驟S47。在步驟S46，定位點信息生成器13將幀A的位次確定為參考幀的位次+1。在步驟S47，定位點信息生成器13確定是否幀A的下端<幀8的上端+ α。在是的情況下，處理行進到步驟S48。在否的情況下，處理行進到步驟S49。α是用於確定是否進行了到緊靠在參考幀左邊的幀A或者到緊靠在參考幀下面的幀B的轉移的閾值。α越大， 則從參考幀到幀A的位次轉移的可能性越大。α越小，則從參考幀到幀B的位次轉移的可能性越大。例如，α通過經驗而被確定在從0. 2到0. 6的範圍內。在步驟S48，定位點信息生成器13將幀A的位次確定為參考幀的位次+1。在步驟S49，定位點信息生成器13將幀B的位次確定為參考幀的位次+1。在步驟S50，定位點信息生成器13確定是否所有的幀的位次已經確定。在否的情況下，處理返回到步驟S42。在是的情況下，該處理完成。定位點信息生成器13根據幀的順序來生成各個幀的多個定位點信息。例如，如果幀的寬度小於規定值，例如小於頁寬的70%，則定位點信息生成器13將每個幀的中心確定為定位點的位置坐標，並且這些幀的順序被確定為定位點移動的順序。如果幀的寬度大於規定值，定位點信息生成器13將每個幀的右部區域、中部區域、以及左部區域確定為定位點的位置坐標，根據幀的順序來向右部、中部、以及左部區域分配後綴號碼，並且將該順序確定為在幀中的定位點的移動順序。圖IOA示出了從內容輸入部11輸入的卡通畫的示例。圖IOB示出了通過內容分析器12分析的卡通畫的幀的位置坐標P的示例。圖IOC示出了根據上述算法，通過定位點信息生成器13確定的卡通畫的幀的順序的示例。圖IOD示出了通過定位點信息生成器13 來確定定位點信息的示例。
1權利要求
1.一種內容分析裝置，包括 輸入部，所述輸入部輸入原始內容；內容分析器，所述內容分析器分析輸入到所述輸入部的所述原始內容的細節，並且獲取作為與所述內容相關的信息的內容分析信息；以及定位點信息生成器，所述定位點信息生成器根據與輸入到所述輸入部的所述原始內容相對應的規定的分析規則，分析讀者的視線所停留的定位點，以及所述定位點相對於輸入到所述輸入部的所述原始內容的轉移順序，並且生成指示所分析的定位點和所述定位點的所述轉移順序的定位點信息。
2.根據權利要求1所述的內容分析裝置，進一步包括轉換器，所述轉換器將從所述輸入部輸入的所述原始內容轉換為分發內容，所述分發內容是根據所述定位點信息和終端的模型類型的圖像；以及信息嵌入部，所述信息嵌入部將通過所述定位點信息生成器生成的所述定位點信息嵌入到通過所述轉換器轉換的所述分發內容中。
3.根據權利要求2所述的內容分析裝置，進一步包括場景生成器，所述場景生成器根據所述終端的模型類型和所述內容分析信息中的至少一個，為通過所述定位點信息生成器生成的每一個定位點確定所述分發內容的停留時間， 並且生成指示用於每個定位點的停留時間的場景。
4.根據權利要求3所述的內容分析裝置，進一步包括內容資料庫，在所述內容資料庫中，為終端的每一模型類型存儲具有所嵌入的定位點信息的所述分發內容；場景資料庫，在所述場景資料庫中，通過所述場景生成器生成的所述場景被存儲，並且與終端的所述模型類型和所述內容分析信息中的至少一個相關聯；分發器，所述分發器從所述場景資料庫中提取與訪問所述裝置的終端的模型類型相對應的場景，從所述內容資料庫中提取與終端的模型類型相對應的分發內容，並且將所述提取的場景和所述分發內容分發到終端；以及終端，所述終端從所述分發器接收所述場景和所述分發內容，並且根據所述場景再現所述分發內容。
5.根據權利要求3所述的內容分析裝置，其中，所述場景生成器根據包括所述終端的屏幕大小的規格，為通過所述定位點信息生成器生成的每個定位點確定所述分發內容的顯示放大率，並且生成指示用於每個定位點的所述顯示放大率的場景。
6.根據權利要求1所述的內容分析裝置，其中，所述輸入部接收所述原始內容的圖像以及輔助信息，並且所述內容分析器根據所述原始內容的所述圖像和所述輔助信息來獲取所述內容分析 fn息ο
7.根據權利要求1所述的內容分析裝置，其中，所述定位點信息生成器根據與輸入到所述輸入部的所述原始內容相對應的規定的分析規則，來確定用於輸入到所述輸入部的所述原始內容中的元素的順序，並且根據各個元素的順序和各個元素的大小來生成所述定位點fn息。
8.根據權利要求7所述的內容分析裝置，其中，所述內容分析器接受對要被分析的內容的類型的選擇，並且根據所選擇的內容的類型來分析所述內容的所述元素。
9.根據權利要求8所述的內容分析裝置，其中，在將對卡通畫的選擇接受作為要被分析的內容的類型的情況下，所述內容分析器通過邊緣分析和幀邊界候選提取來確定所述卡通畫的幀。
10.根據權利要求9所述的內容分析裝置，其中，所述內容分析器在規定的顯示裝置上顯示幀確定的結果。
11.根據權利要求10所述的內容分析裝置，其中，所述定位點信息生成器根據與輸入到所述輸入部的所述卡通畫相對應的規定的分析規則，為所確定的卡通畫的每個幀確定順序，並且根據每個幀的順序和每個幀的幀大小來生成所述定位點信息。
12.根據權利要求11所述的內容分析裝置，其中，在所述確定的卡通畫的幀不能適合於終端的屏幕大小之內的情況下，所述定位點信息生成器將所述幀分割為適合於所述屏幕大小之內的大小；確定幀的順序，其中，所述幀包括在根據與所述卡通畫相對應的規定的分析規則而進行的分割之後的幀；並且根據所述幀的順序和所述幀大小來生成所述定位點信肩、ο
13.根據權利要求12所述的內容分析裝置，其中，所述定位點信息生成器對所述幀進行分割，以匹配所述終端的屏幕的形狀。
14.根據權利要求11所述的內容分析裝置，其中，在所述確定的卡通畫的幀適合於同時處在所述終端的屏幕大小之內的情況下，所述定位點信息生成器合併所述幀；確定幀的順序，其中，所述幀包括在根據與所述卡通畫相對應的規定的分析規則進行合併之後的幀； 並且根據所述幀的順序和所述幀大小來生成所述定位點信息。
15.一種內容分析方法，所述內容分析方法使得計算機執行以下步驟輸入原始內容的步驟；對所輸入的原始內容的細節進行分析，並且獲取作為與所述內容相關的信息的內容分析信息的步驟；以及根據與所輸入的原始內容相對應的規定的分析規則，分析讀者視線所停留的定位點， 以及所述定位點相對於所輸入的原始內容的轉移順序；並且生成指示所分析的定位點和所述定位點的所述轉移順序的定位點信息的步驟。
全文摘要
本發明提供了一種內容分析裝置和方法。提供一種技術，其自動地確定數字文件的顯示位置和顯示順序。分發系統向終端傳輸與根據內容的分析結果和視線的移動順序而獲取的視線的停留位置有關的定位點信息；指示用於每個定位點的內容的停留時間的根據模型類型的場景；以及根據模型類型的再現內容。已經接收信息、場景和內容的終端可以依照場景來再現根據模型類型的再現內容。
文檔編號G06F17/30GK102426573SQ20111020462
公開日2012年4月25日 申請日期2011年7月13日 優先權日2010年7月13日
發明者野中俊一郎 申請人:富士膠片株式會社