電子書顯示調整系統及方法
2023-06-05 20:41:01
專利名稱：電子書顯示調整系統及方法
技術領域：
本發明涉及一種數字內容顯示系統及方法，尤其是關於一種電子書顯示調整系統及方法。
背景技術：
電子書裝置是指集存儲和顯示文字、圖片、聲音、影像等數位化內容的出版物於一體的手持式閱讀器。目前，用戶在使用電子書裝置的過程中，為了更清楚地觀察所閱讀內容，需要將電子書裝置靠近用戶臉部，或是通過手動操作閱讀器提供的顯示控制按鈕(例如放大、縮小按鈕)以調整閱讀內容的顯示比例。此外，若用戶需要閱讀其它部分的內容，也需要手動調整。
發明內容
鑑於以上內容，有必要提供一種電子書顯示調整系統及方法，可以根據用戶臉部與電子書裝置的相對位置及距離自動調整閱讀內容的顯示比例及顯示部分。一種電子書顯示調整系統，該系統包括參數設置模塊、3D人臉偵測模塊、判斷模塊及顯示調整模塊。參數設置模塊用於接收設置的顯示調整參數，包括當用戶閱讀電子書文件時，用戶臉部與電子書裝置的標準距離、最短距離以及電子書文件的最大顯示倍率，當用戶臉部與電子書裝置的距離等於標準距離時，電子書文件以原始尺寸顯示，當用戶臉部與電子書裝置的距離等於最短距離時，電子書文件以最大顯示倍率顯示。參數設置模塊還用於接收設置的用戶臉部與電子書裝置的距離在所述最短距離及標準距離之間變化時，電子書文件的縮放規則。3D人臉偵測模塊用於採用3D人臉偵測技術持續偵測TOF攝像機拍攝電子書裝置前方得到的場景場景影像中的3D人臉區域，根據Z方向景深信息確定用戶臉部與電子書裝置的當前距離。判斷模塊用於判斷該當前距離是否小於所述標準距離。顯示調整模塊，用於噹噹前距離大於或等於所述標準距離時，將電子書文件以原始尺寸顯示於顯示屏幕，當前距離小於或等於所述最短距離，將電子書文件以原始尺寸乘以最大倍率顯示於顯示屏幕，及當前距離大於所述最短距離且小於所述標準距離，根據當前距離及縮放規則調整電子書文件的顯示倍率。判斷模塊還用於判斷3D人臉區域在場景影像中的位置是否發生變化。顯示調整模塊，還用於當3D人臉區域在場景影像中的位置發生變化時，根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書文件當前顯示部分在顯示屏幕上的移動方向及移動距離。一種電子書顯示調整方法。該方法包括(A)接收設置的顯示調整參數，包括當用戶閱讀電子書文件時，用戶臉部與電子書裝置的標準距離、最短距離以及電子書文件的最大顯示倍率；(B)接收設置的用戶臉部與電子書裝置的距離在所述最短距離及標準距離之間變化時，電子書文件的縮放規則；(C)利用安裝於電子書裝置的時間飛行TOF攝像機持續對電子書裝置前方的場景進行拍攝得到場景影像及Z方向景深信息；(D)採用3D人臉偵測技術持續偵測場景影像中的3D人臉區域，根據Z方向景深信息確定用戶臉部與電子書裝置的當前距離；(E)判斷該當前距離是否小於所述標準距離；(F)若當前距離大於或等於所述標準距離，則將電子書文件以原始尺寸顯示於顯示屏幕，若該當前距離小於或等於所述最短距離，則將電子書文件以原始尺寸乘以最大倍率顯示於顯示屏幕，若當前距離大於所述最短距離且小於所述標準距離，則根據當前距離及縮放規則調整電子書文件的顯示倍率；(G)判斷3D人臉區域在場景影像中的位置是否發生變化；及(H)若3D人臉區域在場景影像中的位置發生變化，則根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書文件當前顯示部分在顯示屏幕上的移動方向及移動距離。相較於現有技術，本發明提供的電子書顯示調整系統及方法可以根據用戶臉部與電子書裝置的相對位置及距離自動調整閱讀內容的顯示比例及顯示部分。
圖I是本發明電子書顯示調整系統較佳實施例的應用環境圖。圖2是本發明電子書顯示調整系統較佳實施例的功能模塊圖。圖3是本發明電子書顯示調整方法較佳實施例的流程圖。圖4本發明電子書顯示調整系統調整顯示參數的示意圖。圖5及圖6是利用TOF攝像機拍攝場景影像的不意圖。圖7是根據場景影像中3D人臉區域的變化調整電子書文件顯示倍率的示意圖。主要元件符號說明
電子書裝置100
TOF攝像機10
電子書顯示調整系統 20存儲器30
處理器40
顯不屏蒂50
參數設置模塊21
計算模塊22
3D人臉偵測模塊23
判斷模塊24
顯示調整模塊25如下具體實施方式
將結合上述附圖進一步說明本發明。
具體實施例方式參閱圖I所示，是本發明電子書顯示調整系統20較佳實施例的應用環境圖。該電子書顯示調整系統20應用於電子書裝置100。該電子書裝置100還包括時間飛行(Time ofFlight, T0F)攝像機10、存儲器30、處理器40及顯示屏幕50。在本實施例中，TOF攝像機10安裝於顯示屏幕50的正上方(如圖5所示)。該TOF攝像機10可以獲取場景影像(如圖6所示)中被拍攝物體Z方向的景深信息。所述被拍攝物體Z方向的景深信息是指被拍攝物體各點與TOF攝像機10的鏡頭的距離信息。由於TOF攝像機10在拍攝目標物時，將發射一定波長的信號，當信號遇到目標物時即會反射至TOF攝像機10的鏡頭，根據信號發射與接收之間的時間差即可計算出目標物上各點與鏡頭之間的距離信息，因此該TOF攝像機10可得到場景影像中被拍攝物體各點與TOF攝像機10的鏡頭之間的距離信息。存儲器30存儲通過網絡下載的大量電子書文件供用戶選擇閱讀，並存儲TOF攝像·機10拍攝得到的場景影像。顯示屏幕50顯示用戶選擇的電子書文件，例如書籍或圖片。參閱圖2所示，該電子書顯示調整系統20包括參數設置模塊21、計算模塊22、三維(three-dimensional, 3D)人臉偵測模塊23、判斷模塊24及顯示調整模塊25 (具體介紹請參閱圖3)。利用這些功能模塊，該電子書顯示調整系統20偵測場景影像中的3D人臉區域，根據3D人臉區域的影像數據確定用戶閱讀過程中臉部與電子書裝置100的距離變化，根據距離變化自動調整用戶閱讀內容的顯示比例，並根據3D人臉區域在場景影像中的位置變化自動調整用戶閱讀內容的顯示部分。本實施例所述的模塊是一種能夠被處理器40所執行並且能夠完成固定功能的電腦程式段，其存儲在存儲器30中。參閱圖3所示，是本發明電子書顯示調整方法較佳實施例的流程圖。步驟S301，參數設置模塊21接收設置的顯示調整參數，包括當用戶閱讀電子書文件時，用戶臉部與電子書裝置100的標準距離、最短距離以及電子書文件的最大顯示倍率。在本實施例中，當用戶臉部與電子書裝置100的距離大於或等於標準距離時，電子書文件以原始尺寸顯示。當用戶臉部與電子書裝置100的距離小於或等於最短距離時，電子書文件以所述最大顯示倍率顯示。例如，所述最大顯示倍率可以設置為「X5」，表示在原始尺寸的基礎上放大5倍顯示。用戶臉部與電子書裝置100的距離可以根據TOF攝像機10拍攝得到的用戶人臉影像Z方向的景深信息確定。例如，用戶臉部與電子書裝置100的距離可以設置為用戶臉部各點與TOF攝像機10的鏡頭之間的所有距離值的平均值，也可以設置為用戶臉部特殊位置(例如雙眼所在水平線)與TOF攝像機10的鏡頭之間的距離值。所述標準距離及最短距離可以為一個具體的距離值，也可以為一個距離值範圍。例如，標準距離可以為30釐米，也可以為28釐米 33釐米的範圍，最短距離可以為6釐米，也可以為5釐米 7釐米的範圍。如圖4所示，本發明電子書顯示調整系統20提供兩種模式，即默認模式和用戶自定義模式。當用戶選擇默認模式時，上述參數，例如標準距離、最短距離以及電子書文件的最大顯示倍率，是由電子書顯示調整系統20的提供方(例如設計人員)設置的默認值。當用戶選擇用戶自定義模式時，用戶可以根據個人需求(例如閱讀習慣)藉助TOF攝像機10及電子書顯示調整系統20的其它功能模塊完成上述參數設置。例如，啟動自定義設置所述標準距離時，用戶將電子書裝置100置於用戶臉部前方的適當位置，TOF攝像機10拍攝得到用戶的3D人臉影像，3D人臉偵測模塊23根據該3D人臉影像中各點與TOF攝像機10的鏡頭之間的距離信息確定所述標準距離。例如，假設拍攝得到單張3D人臉影像，則參數設置模塊21以3D人臉影像中各點與TOF攝像機10的鏡頭之間的所有距離值的平均值為標準距離，或者取用戶臉部特殊位置(例如雙眼所在水平線)與TOF攝像機10的鏡頭之間的距離值為標準距離。假設拍攝得到多張(例如10) 3D人臉影像，則參數設置模塊21根據每張3D人臉影像得到一個粗略的標準距離(計算方法參閱單張3D人臉影像)，再根據所有粗略的標準距離的平均值得到標準距離，或者根據所有粗略的標準距離組成的值域得到標準距離值。最短距離的設置與標準距離的設置類似。步驟S302，參數設置模塊21接收用戶設置的用戶臉部與電子書裝置100的距離在所述最短距離及標準距離之間變化時，電子書文件的縮放規則。例如，用戶可以設置用戶臉 部與電子書裝置100的距離在所述最短距離及標準距離之間每次向電子書裝置100拉近2釐米，電子書文件的顯示比例增加O. 2倍，每次向電子書裝置100拉遠2釐米，電子書文件的顯示比例縮小O. 2倍。用戶也可以不設置所述縮放規則，默認由參數設置模塊21獲取計算模塊22計算得到的縮放規則。計算模塊22根據用戶臉部與電子書裝置100相距所述標準距離及最短距離時對應的倍率關係計算得到該縮放規則。例如，假設用戶臉部與電子書裝置100相距的標準距離為Ds = 28釐米，對應I倍倍率，用戶臉部與電子書裝置100相距的最短距離Dl=8釐米,對應5倍倍率,則縮放比例R = (28-8)釐米/5倍=4釐米/倍，即所述縮放規則為用戶臉部與電子書裝置100的距離在所述最短距離8釐米及標準距離28釐米之間每次向電子書裝置100拉近4釐米，電子書文件的顯示比例增加I倍，每次向電子書裝置100拉遠4釐米，電子書文件的顯示比例縮小I倍。步驟S303，利用TOF攝像機10持續對電子書裝置100前方的場景進行拍攝得到場
景影像及Z方向景深彳目息。步驟S304，3D人臉偵測模塊23採用3D人臉偵測技術持續偵測場景影像中的3D人臉區域，根據Z方向景深信息確定用戶臉部與電子書裝置100的當前距離。如上文所述，該當前距離可以為用戶臉部各點與TOF攝像機10的鏡頭之間的所有距離值的平均值，也可以為用戶臉部特殊位置(例如雙眼所在水平線)與TOF攝像機10的鏡頭之間的距離值。本發明所述的3D人臉偵測技術是一種現有技術，其實作方式為先搜集大量各式不同的3D人臉影像數據，從而建立完善的3D人臉樣本，以此3D人臉樣本作為判斷場景影像是否包含3D人臉區域的比較依據。例如，3D人臉偵測模塊23分析一張搜集到的3D人臉影像的200個特徵點，得到各特徵點至TOF攝像機10鏡頭的距離數據並轉換為像素值，例如鼻尖至鏡頭的Z方向的距離為61釐米被轉換為像素值255，眉心至鏡頭的Z方向的距離為59釐米被轉換為像素值253，等等。3D人臉模板偵測模塊23將該200個特徵點的像素值儲存至該3D人臉影像的特徵矩陣。假設搜集到的3D人臉影像一共有10張，3D人臉偵測模塊23依此方法計算得到其它9張3D人臉影像的特徵矩陣，將得到的10個特徵矩陣依據雙眼的像素值進行對齊後，對該10個特徵矩陣中相同特徵點的像素值進行統計，得到各特徵點的像素值的容許範圍建立3D人臉樣本。例如，該10個特徵矩陣中鼻尖的像素值範圍為[251，255]，眉心的像素值範圍為[250，254]。步驟S305，判斷模塊24判斷該當前距離是否小於所述標準距離。若當前距離大於或等於所述標準距離，則進入步驟S306，顯示調整模塊25將電子書文件以原始尺寸顯示於顯示屏幕50。如圖7(1)所示，用戶選擇閱讀的電子書文件為圖片A，若當前距離大於或等於所述標準距離，圖片A以原始尺寸在顯示屏幕50上完整顯示。之後，進入步驟S310。若當前距離小於所述標準距離，則執行步驟S307。步驟S307，判斷模塊24判斷該當前距離是否大於所述最短距離。若該當前距離小於或等於所述最短距離，則進入步驟S308，顯示調整模塊25將電子書文件以原始尺寸乘以最大倍率顯示於顯示屏幕50。如圖7(111)所示，若當前距離小於或等於所述最大距離，圖片A在原始尺寸的基礎上放大5倍後在顯示屏幕50上顯示，由於顯示屏幕50顯示範圍的限制，放大後的圖片A只能部分顯示在顯示屏幕50上。之後，進入步驟S310。若判斷模塊24判斷該當前距離大於所述最短距離，則執行步驟S309。步驟S309，顯示調整模塊25根據當前距離及縮放規則調整電子書文件的顯示倍率。如上文所述，假設最短距離為8釐米，標準距離為28釐米，縮放規則R= (28-8)釐米/5倍=4釐米/倍，最大倍率為5倍，當前距離為24釐米，則調整後的電子書文件的顯示倍率=(24-8)釐米/R = 4倍，則顯示調整模塊25將電子書文件，例如圖片A在原始尺寸的基礎上放大4倍後在顯示屏幕50上顯示(如圖7(11)所示)。步驟S310，判斷模塊24判斷3D人臉區域在場景影像中的位置是否發生變化。如未發生變化，則返回步驟S303，若發生變化，則執行步驟S311。步驟S311，顯示調整模塊25根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書文件在顯示屏幕50上的移動方向及移動距離。所述移動關聯包括文件當前顯示部分與3D人臉區域在場景影像中的移動方向的關聯(例如方向相反)，以及3D人臉區域中心點在場景影像中的移動距離與文件當前顯示部分在顯示屏幕50上移動距離的關聯。所述移動距離的關聯可以設置為人臉區域中心點在場景影像中移動第一距離(例如O. I釐米)對應文件當前顯示部分在顯示屏幕50上移動第二距離(例如O. 5釐米)。所述移動距離的關聯也可以根據場景影像的大小、顯示屏幕50的顯示範圍大小的比例關係計算得到，例如假設場景影像的大小為W1XH1，顯示屏幕50的顯示範圍大小為W2XH2，則所述關聯為X2/X1 =W2/W1，Y2/Y1 = D2XH2/H1，其中X1、Y1表示3D人臉區域中心點在場景影像中X軸、Y軸方向的移動距離，Χ2、Υ2表示3D人臉區域中心點在場景影像中Y、Y軸軸方向的移動距離。最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。
權利要求
1.一種電子書顯示調整方法，其特徵在於，該方法包括 接收設置的顯示調整參數，包括當用戶閱讀電子書文件時，用戶臉部與電子書裝置的標準距離、最短距離以及電子書文件的最大顯示倍率； 接收設置的用戶臉部與電子書裝置的距離在所述最短距離及標準距離之間變化時，電子書文件的縮放規則； 利用安裝於電子書裝置的時間飛行TOF攝像機持續對電子書裝置前方的場景進行拍攝得到場景影像及Z方向景深信息； 採用3D人臉偵測技術持續偵測場景影像中的3D人臉區域，根據Z方向景深信息確定用戶臉部與電子書裝置的當前距離； 判斷該當前距離是否小於所述標準距離； 若當前距離大於或等於所述標準距離，則將電子書文件以原始尺寸顯示於顯示屏幕，若該當前距離小於或等於所述最短距離，則將電子書文件以原始尺寸乘以最大倍率顯示於顯示屏幕，若當前距離大於所述最短距離且小於所述標準距離，則根據當前距離及縮放規則調整電子書文件的顯示倍率； 判斷3D人臉區域在場景影像中的位置是否發生變化 '及 若3D人臉區域在場景影像中的位置發生變化，則根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書文件當前顯示部分在顯示屏幕上的移動方向及移動距離。
2.如權利要求I所述的電子書顯示調整方法，其特徵在於，所述設置規則由電子書裝置的用戶設置，或者根據用戶臉部與電子書裝置相距所述標準距離及最短距離時對應的倍率關係計算得到。
3.如權利要求I所述的電子書顯示調整方法，其特徵在於，所述3D人臉偵測技術是通過預先搜集大量3D人臉影像數據建立3D人臉樣本，以此3D人臉樣本作為判斷場景影像是否包含3D人臉區域的比較依據。
4.如權利要求I所述的電子書顯示調整方法，其特徵在於，所述移動關聯包括3D人臉區域在場景影像中的移動方向與電子書文件當前顯示部分在顯示屏幕上的移動方向的關聯，以及3D人臉區域中心點在場景影像中的移動距離與電子書文件當前顯示部分在顯示屏幕上移動距離的關聯。
5.如權利要求4所述的電子書顯示調整方法，其特徵在於，所述移動距離的關聯設置為3D人臉區域中心點在場景影像中移動第一距離對應電子書文件當前顯示部分在顯示屏幕上移動第二距離，或者根據場景影像的大小、顯示屏幕的顯示範圍大小的比例關係計算得到。
6.一種電子書顯示調整系統，其特徵在於，該系統包括 參數設置模塊，用於接收設置的顯示調整參數，包括當用戶閱讀電子書文件時，用戶臉部與電子書裝置的標準距離、最短距離以及電子書文件的最大顯示倍率； 參數設置模塊，還用於接收設置的用戶臉部與電子書裝置的距離在所述最短距離及標準距離之間變化時，電子書文件的縮放規則； 3D人臉偵測模塊，用於採用3D人臉偵測技術持續偵測TOF攝像機拍攝電子書裝置前方得到的場景場景影像中的3D人臉區域，根據Z方向景深信息確定用戶臉部與電子書裝置的當前距離； 判斷模塊，用於判斷該當前距離是否小於所述標準距離； 顯示調整模塊，用於當前距離大於或等於所述標準距離時，將電子書文件以原始尺寸顯示於顯示屏幕，當前距離小於或等於所述最短距離，將電子書文件以原始尺寸乘以最大倍率顯示於顯示屏幕，及當前距離大於所述最短距離且小於所述標準距離，根據當前距離及縮放規則調整電子書文件的顯示倍率； 判斷模塊，還用於判斷3D人臉區域在場景影像中的位置是否發生變化 '及 顯示調整模塊，還用於當3D人臉區域在場景影像中的位置發生變化時，根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書文件當前顯示部分在顯示屏幕上的移動方向及移動距離。
7.如權利要求6所述的電子書顯示調整系統，其特徵在於，所述設置規則由電子書裝置的用戶設置，或者根據用戶臉部與電子書裝置相距所述標準距離及最短距離時對應的倍率關係計算得到。
8.如權利要求6所述的電子書顯示調整系統，其特徵在於，所述3D人臉偵測技術是通過預先搜集大量3D人臉影像數據建立3D人臉樣本，以此3D人臉樣本作為判斷場景影像是否包含3D人臉區域的比較依據。
9.如權利要求6所述的電子書顯示調整系統，其特徵在於，所述移動關聯包括3D人臉區域在場景影像中的移動方向與電子書文件當前顯示部分在顯示屏幕上的移動方向的關聯，以及3D人臉區域中心點在場景影像中的移動距離與電子書文件當前顯示部分在顯示屏幕上移動距離的關聯。
10.如權利要求9所述的電子書顯示調整系統，其特徵在於，所述移動距離的關聯設置為3D人臉區域中心點在場景影像中移動第一距離對應電子書文件當前顯示部分在顯示屏幕上移動第二距離，或者根據場景影像的大小、顯示屏幕的顯示範圍大小的比例關係計算得到。
全文摘要
本發明提供一種電子書顯示調整系統，該系統應用於電子書裝置。該電子書裝置利用TOF攝像機持續對電子書裝置前方的場景進行拍攝得到場景影像及Z方向景深信息。該系統偵測場景影像中的3D人臉區域，根據3D人臉區域的影像數據確定用戶閱讀過程中臉部與電子書裝置的距離變化，根據距離變化自動調整用戶閱讀內容的顯示比例，並根據3D人臉區域在場景影像中的位置變化自動調整用戶閱讀內容的顯示部分。本發明還提供一種電子書顯示調整方法。
文檔編號G09B5/02GK102955664SQ20111023915
公開日2013年3月6日 申請日期2011年8月19日 優先權日2011年8月19日
發明者李後賢, 李章榮, 羅治平 申請人:鴻富錦精密工業(深圳)有限公司, 鴻海精密工業股份有限公司