隨環境和表情變化的電子畫的製作方法

2023-05-18 04:19:46 2

專利名稱：隨環境和表情變化的電子畫的製作方法
技術領域：
本實用新型涉及隨環境和表情變化的電子畫，特別是採用環境檢測傳感器檢測環
境參數和採用圖像採集器採集的圖像經數據處理識別出所採集的圖像數據中人物的表情 狀態，然後信息處理電路根據環境參數、表情狀態來控制柔性電子顯示器上顯示的圖像的
電子畫。
背景技術：
傳統的畫一般是畫家在特定材料上描繪的內容，一旦確定就不會變化。為了保存， 會將畫固定在畫軸上以便巻曲後存放和移動。 隨著電子技術的發展，人們推出了電子相冊的產品，該產品可以根據人們的操作 來改變所顯示的畫面。但這樣的產品不會感知環境的變化，也不會感知觀看者的表情。因 此它不會自動根據環境或觀看者的表情進行變化。因此產品沒有與人或環境自動做具有一 定含義的智能交流。而且現有的電子相冊無法像傳統畫一樣可以巻曲，因而不方便存儲或 移動。

發明內容本發明所要解決的技術問題是如何設計出一種既可以類似傳統畫一樣可以巻曲 功能又具有自動感知環境和觀看者的表情狀態改變所展示畫面的智能交流能力的電子畫。 所採用的技術手段是採用感知環境的傳感器檢測環參數和採用圖像傳感器採集觀看者的 圖像數據然後經過圖像識別獲得表情參數，並根據環境參數、表情參數、顯承圖像建立的數 據庫提取出合適的顯示圖像展示在具有柔性可巻曲的電子顯示器上。成為可以隨環境和表 情變化的電子畫。 術語說明表情參數，在本發明中是指用於表示面部表情的各種狀態數值或各種 特徵值構成的區分不同表情的一組數據。 對於環境參數可以通過安裝各種傳感器，如環境溫度傳感器、環境溼度傳感器、環 境氣壓傳感器、環境日照度傳感器等。通過這些傳感器之一或幾種的組合可以分析出當前 環境的狀況，例如這些傳感器給出的日照參數高、環境溫度較高、環境溼度較低，表明是晴 朗乾燥的環境，天氣晴；例如這些傳感器給出的日照參數低、環境溫度低、環境溼度很高，表 明是陰冷潮溼的環境、天氣為陰天或雨天。這些傳感器給出信號的多種組合可以得到各種 環境狀況和天氣狀況。以此類推，可以根據常識、氣象知識可以得到環境各種傳感器的變化 與特定環境和天氣的對應關係。進一步如果增加日曆的信息，可以進一步得到一年四季中 與季節相關的環境各種傳感器的變化與特定環境和天氣的對應關係。 對於表情參數的獲得，通過圖像傳感器採集圖像，然後從圖像中識別出人的表情 狀態作為表情參數。在公開號為CN10100479
公開日為2007年7月25日的中國發明專利 申請名稱為"一種基於二維偏最小二乘法的面部表情識別方法"公開文件中描述如何從圖 像中提取表情特徵和識別面部表情的方法。本發明全文引用該公開文件的方法作為實現本發明的表情參數獲取的一種手段。在公開號為CN179426
公開日為2006年6月28日的中 國發明專利名稱為"基於視頻的面部表情識別方法及裝置"公告文件中描述如何從圖像中 提取人臉和識別面部表情的方法。本發明全文引用該公開文件的方法作為實現本發明的表 情參數獲取的另一種手段。 根據上述方法獲得環境參數和表情參數後，就可以建立環境參數、表情參數與最 終顯示圖像的對應資料庫。當環境參數從一組參數值變化為另一組參數值時，從資料庫中 選取相對應的一幅圖像顯示出來；或者當表情參數從一組參數值變化為另一組參數值時， 從資料庫中選取相對應的一幅圖像顯示出來；或者當環境參數和表情參數都發生變化時， 從資料庫中選取相對應的一幅圖像顯示出來。 因此一種根據環境和表情自動變化輸出圖像方法的第一種技術方案是 第一步利用環境傳感器獲取環境參數； 第二步利用圖像傳感器採集圖像，並用表情識別方法從所採集圖像中獲得表情 參數； 第三步建立環境參數、表情參數與圖像數據的對應資料庫； 第四步當環境參數和/或表情參數變化時，從資料庫中選取對應的圖像數據進 行顯示； 其中所述第一步、第二步、第三步的順序無關。 上述第一步、第二步、第三步的順序可以任意變化。 在上述方案中，可以做進一步改進，即對應的輸出圖像數據可以相同，但將輸出圖 像送到顯示器上進行顯示時，可以對於輸出圖像按照一種對應的圖像處理方法進行處理。 也實現了環境參數和/或表情參數變化時，實際顯示的圖像隨之變化。比如輸出圖像數據 是一幅風景畫，當檢測到表情參數下是觀看者看到該幅風景十分高興時，可以在輸出圖像 數據中疊加所採集的觀看者的圖像，使觀看者的圖像與風景畫合成為一幅像是觀看者處於 風景中的顯示圖像達到進一步愉悅觀看者的目的和奇特的效果。圖像處理方法可以設計出 多種，分別對應不同的環境參數和/或表情參數。
因此一種根據環境和表情自動變化輸出圖像方法的一種技術方案是 第一步利用環境傳感器獲取環境參數； 第二步利用圖像傳感器採集圖像，並用表情識別方法從所採集圖像中獲得表情 參數； 第三步建立環境參數、表情參數與圖像數據和圖像處理方法的對應資料庫； 第四步當環境參數和/或表情參數變化時，從資料庫中選取對應的圖像數據經 過對應的圖像處理方法處理後進行顯承； 其中所述第一步、第二步、第三步的順序無關。 採用上述的技術方法，可以進一步設計出隨環境和表情變化的電子畫。 隨環境和表情變化的電子畫的第一種技術方案是 —種隨環境和表情變化的電子畫，包含如下部件 環境傳感器； 圖像傳感器； 信息處理電路；[0029] 存儲電路，存儲有至少一幅圖像數據； 柔性電子顯示器； 所述信息處理電路從環境傳感器檢測到的信號中提取環境參數、從圖像傳感器採 集的圖像中提取表情參數並根據獲得的環境參數、表情參數從資料庫中檢索到對應的圖像 數據送到柔性電子顯示器顯示； 所述存儲電路是所述信息處理電路內部的數據存儲體或所述存儲電路獨立於所 述信息處理電路並與所述信息處理電路連接； 所述環境傳感器、圖像傳感器、柔性電子顯示器與所述信息處理電路連接。 進一步存儲電路中存儲有資料庫，包含環境參數、表情參數、輸出圖像數據的對應
關係； 所述資料庫可以在信息處理電路中內含的存儲數據體，也可以是獨立於信息處理 電路的存儲體部件存儲。如果包含存儲部件，則所述存儲部件與信息處理電路連接。 上述柔性電子顯示器可以採用有機顯示材料或者柔性電子紙材料，實現可以彎曲 的電子畫。 上述柔性電子顯示器採用有機發光材料作為顯示單元或者採用具有雙穩態特
性的電子材料層作為顯示單元；所述具有雙穩態特性的電子材料層包含如下材料之一
或組合具有電泳效應的微膠囊電子墨水、具有電泳效應的微杯結構封裝薄膜、旋轉球
(Gyricon)、具有電潤溼效應的電子紙材料、雙穩態的膽甾醇型液晶材料。 上述電子畫可以進一步包含畫軸，將環境傳感器、圖像傳感器、信息處理電路置於
畫軸中，使採用有機顯示材料或者柔性電子紙材料的柔性電子顯示器可以像傳統畫一樣繞
畫軸巻起來便於存儲、移動和運輸。 上述電子畫進一步包含與所述信息處理電路連接的通訊模塊，所述通訊模塊通過
有線信號或無線信號與網際網路或區域網路進行信息交互。所述通訊模塊通過有線信號或
無線信號從網際網路或區域網路下載圖像數據存儲到所述存儲電路中。或者所述通訊模
塊將環境參數、表情狀態通過有線信號或無線信號發送到網際網路或區域網路中的伺服器
中，從所屬伺服器中下載與環境參數、表情狀態相關的圖像數據存儲到所述存儲電路中。 上述環境檢測傳感器包含檢測如下信息之一或幾種的一個或多個傳感器環境溫
度、氣壓、溼度、日照度。 上述信息處理電路包含表情識別功能模塊，能夠對所述圖像採集器所採集獲得的 圖像數據進行處理，識別出圖像數據包含的人臉表情參數。 上述提取出的表情參數至少可以表示如下七種表情之一或幾種憤怒、厭惡、恐 懼、高興、中性、悲傷、驚訝。 隨環境和表情變化的電子畫的第二種技術方案是 —種隨環境和表情變化的電子畫，包含如下部件 環境傳感器； 圖像傳感器； 信息處理電路； 存儲電路，存儲有至少一幅圖像數據； 柔性電子顯示器；[0050] 所述信息處理電路從環境傳感器檢測到的信號中提取環境參數、從圖像傳感器採 集的圖像中提取表情參數並根據獲得的環境參數、表情參數從資料庫中檢索到對應的圖像 數據經過對應的圖像處理方法處理後送到柔性電子顯示器顯示； 所述存儲電路是所述信息處理電路內部的數據存儲體或所述存儲電路獨立於所 述信息處理電路並與所述信息處理電路連接； 所述環境傳感器、圖像傳感器、柔性電子顯示器與所述信息處理電路連接。 進一步存儲電路中存儲有資料庫，所述資料庫，包含環境參數、表情參數、輸出圖
像數據、圖像處理方法的對應關係； 所述資料庫可以在信息處理電路中內含的存儲數據體，也可以是獨立於信息處理 電路的存儲體部件存儲。如果包含存儲部件，則所述存儲部件與信息處理電路連接。 上述柔性電子顯示器可以採用有機顯示材料或者柔性電子紙材料，實現可以彎曲 的電子畫。 上述電子畫可以進一步包含畫軸，將環境傳感器、圖像傳感器、信息處理電路、存 儲體部件置於畫軸中，使採用有機顯示材料或者柔性電子紙材料的柔性電子顯示器可以像 傳統畫一樣繞畫軸巻起來便於存儲、移動和運輸。 上述的圖像處理方法包含多圖像合成、添加圖像邊框、圖像剪輯、圖像變形、圖像 函數變換等。 上述電子畫進一步包含與所述信息處理電路連接的通訊模塊，所述通訊模塊通過
有線信號或無線信號與網際網路或區域網路進行信息交互。所述通訊模塊通過有線信號或
無線信號從網際網路或區域網路下載圖像數據存儲到所述存儲電路中。或者所述通訊模
塊將環境參數、表情狀態通過有線信號或無線信號發送到網際網路或區域網路中的伺服器
中，從所屬伺服器中下載與環境參數、表情狀態相關的圖像數據存儲到所述存儲電路中。 上述環境檢測傳感器包含檢測如下信息之一或幾種的一個或多個傳感器環境溫
度、氣壓、溼度、日照度。 上述信息處理電路包含表情識別功能模塊，能夠對所述圖像採集器所採集獲得的 圖像數據進行處理，識別出圖像數據包含的人臉表情參數。 上述提取出的表情參數至少可以表示如下七種表情之一或幾種憤怒、厭惡、恐 懼、高興、中性、悲傷、驚訝。 上述柔性電子顯示器採用有機發光材料作為顯示單元或者採用具有雙穩態特
性的電子材料層作為顯示單元；所述具有雙穩態特性的電子材料層包含如下材料之一
或組合具有電泳效應的微膠囊電子墨水、具有電泳效應的微杯結構封裝薄膜、旋轉球
(Gyricon)、具有電潤溼效應的電子紙材料、雙穩態的膽甾醇型液晶材料。 本發明的有益效果採用本發明的技術可以實現傳統畫一樣可以巻曲功能又具有
自動感知環境和觀看者的表情狀態改變所展示畫面的智能交流能力的電子畫。所採用的具
有柔性可巻曲的電子顯示器上，使電子化十分方便攜帶、保存、移動、布置，成為一種一新的
藝術品表現方式。同時由於畫面可以隨環境和表情變化，使電子畫更具有靈性和吸引力。

圖1是第一種實現隨環境和表情變化的電子畫工作原理圖。[0065] 圖2是第二種實現隨環境和表情變化的電子畫工作原理圖。 圖3是隨環境和表情變化的電子畫產品示意圖。
具體實施方式

以下結合附圖進一步描述本發明的具體實施方案。 圖1是第一種實現隨環境和表情變化的電子畫工作原理圖。在該圖中，電子畫包 含環境檢測傳感器101、圖像採集器102、存儲電路103、信息處理電路105、柔性電子顯示器 104。所述環境檢測傳感器101檢測環境的環境溫度、氣壓、溼度、日照度的等信息送到信息 處理電路105進行處理提取出環境參數，並進一步結合數字日曆信息可以識別出環境的天 氣與氣候作為環境參數。所述圖像採集器102觀看者的圖像信息送到信息處理電路105進 行處理提取出表情參數，所採用的表情識別方法可以是在公開號為CN10100479
公開日為 2007年7月25日的中國發明專利申請名稱為"一種基於二維偏最小二乘法的面部表情識別 方法"公開文件中描述的從圖像中提取表情特徵和識別面部表情的方法；也可以是在公開 號為CN179426
公開日為2006年6月28日的中國發明專利名稱為"基於視頻的面部表情 識別方法及裝置"公告文件中描述的從圖像中提取人臉和識別面部表情的方法。所述存儲 電路103種存儲了用於顯示的圖像數據和一個資料庫，所述資料庫中存儲了環境參數、表 情參數與要顯示的圖像數據的對應關係。所述信息處理電路105具有管理所述資料庫的功 能，可以根據提取的環境參數和/或表情參數提取出需要顯示的對應圖像數據並輸出到柔 性電子顯示器104上顯示出來。當環境參數和/或表情參數變化時，將根據資料庫的對應 關係顯示新的圖像。假定可識別的表情參數有7種情況，如憤怒、厭惡、恐懼、高興、中性、悲 傷、驚訝；可識別的環境參數有10種情況，如高溫晴朗、高溫潮溼、高溫乾燥、雨天、雪天、雷 雨天、溫和氣候、低溫潮溼、低壓悶熱等，則與輸出圖像的對應關係有70種。此時所顯示的 圖像有70種變化。下表列舉了其中幾種環境參數、表情參數與顯示圖像的對應關係舉例。
環境參數表情參數輸出圖像
晴天高溫高興一幅夏日海灘畫面
晴天高溫驚訝一幅后羿射日畫面
雨天高興一幅雨中漫步的畫面
雪天恐懼一幅童話"三根火柴" 進一步的是根據環境參數、表情參數，可以是對於特定的圖像數據經過不同圖像 處理方法的處理後再輸出顯示，從而實現不同環境參數、表情參數而呈現不同輸出圖像。此 時的資料庫是環境參數、表情參數、圖像數據、處理方法的對應關係。下表列舉了其中幾種 環境參數、表情參數、圖像數據、處理方法的對應關係舉例。
環境參數表情參數圖像數據處理方法
晴天高溫高興一幅夏日海灘畫面在畫面中疊加一太陽傘和躺椅
晴天高溫驚訝一幅夏日海灘畫面在畫面中疊加一鯊魚噴水景象
雨天高興一幅夏日海灘畫面在畫面中疊加雨花落在海面上的場景
雪天恐懼一幅夏日海灘畫面在畫面中疊加雪花[0072] 圖2是第二種實現隨環境和表情變化的電子畫工作原理圖。相比於圖1，本實施例 中增加了通訊模塊106與信息處理電路205連接，所述通訊模塊106具有無限通訊功能和 /或有線通訊功能。增加通訊模塊106後，可以使信息處理電路205通過無線通訊網絡或 有線通訊網絡從網際網路或區域網路或移動通訊網絡中下載圖像數據存儲在存儲電路103 中，增加可顯示圖像數據的來源並可實現更新。特別是，可以以環境參數、表情參數作為在 網際網路或區域網路或移動通訊網絡中搜索關聯圖像的檢索詞或關鍵詞，以搜索並下載與 環境參數、表情參數相關的圖像數據。假定可識別的表情參數有7種情況，如憤怒、厭惡、 恐懼、高興、中性、悲傷、驚訝；可識別的環境參數有10種情況，如高溫晴朗、高溫潮溼、高溫 乾燥、雨天、雪天、雷雨天、溫和氣候、低溫潮溼、低壓悶熱等，則與輸出圖像的對應關係有70 種。此時通過通訊模塊106從網際網路或區域網路或移動通訊網絡中搜索關聯圖像的檢索 詞或關鍵詞達到70個。使電子畫的圖像輸出變化更多，數據信息源更多。 圖3是隨環境和表情變化的電子畫產品示意圖。電子畫產品包含畫軸301、柔性電 子紙顯示器302。實現本發明的環境傳感器、圖像傳感器、信息處理電路都布置在所述畫軸 301內部和表面。最優的是其中圖像傳感器的感光鏡頭304置於畫軸301的正中間位置，便 於有效地採集觀察者的臉部圖像信息。柔性電子紙顯示器302顯示的畫面303可以隨著環 境傳感器、圖像傳感器所檢測到的環境參數和表情參數而變化。進一步電子畫中可以包含 通訊模塊，所述通訊模塊置於畫軸301內，通過有線通訊網絡或無線通訊網絡從網際網路 或區域網路或移動通訊網絡中下載圖像數據，使圖像的變化更多，圖像的數據源也更多。
9
權利要求一種隨環境和表情變化的電子畫，其特徵是包含如下部件環境傳感器；圖像傳感器；信息處理電路；存儲電路，存儲有至少一幅圖像數據；柔性電子顯示器；所述信息處理電路從環境傳感器檢測到的信號中提取環境參數、從圖像傳感器採集的圖像中提取表情參數並根據獲得的環境參數、表情參數從資料庫中檢索到對應的圖像數據送到柔性電子顯示器顯示；所述存儲電路是所述信息處理電路內部的數據存儲體或所述存儲電路獨立於所述信息處理電路並與所述信息處理電路連接；所述環境傳感器、圖像傳感器、柔性電子顯示器與所述信息處理電路連接。
2. 根據權利要求1所述的電子畫，其特徵是進一步包含與所述信息處理電路連接的通 訊模塊。
3. 根據權利要求1所述的電子畫，其特徵是所述環境檢測傳感器包含如下傳感器之一 或幾種檢測環境溫度的傳感器、檢測氣壓的傳感器、檢測溼度的傳感器、檢測日照度的傳 感器；所述信息處理電路包含表情識別功能模塊，能夠對所述圖像採集器所採集獲得的圖 像數據進行處理，識別出圖像數據包含的人臉表情參數。
4. 根據權利要求1至3中任一項所述的電子畫，其特徵是所述柔性電子顯示器採用有 機發光材料作為顯示單元或者採用具有雙穩態特性的電子材料層作為顯示單元。
5. 根據權利要求1至3中任一項所述的電子畫，其特徵是所述電子畫進一步包含畫軸， 將環境傳感器、圖像傳感器、信息處理電路置於畫軸中。
6. —種隨環境和表情變化的電子畫，其特徵是包含如下部件 環境傳感器；圖像傳感器； 信息處理電路；存儲電路，存儲有至少一幅圖像數據； 柔性電子顯示器；所述信息處理電路從環境傳感器檢測到的信號中提取環境參數、從圖像傳感器採集的 圖像中提取表情參數並根據獲得的環境參數、表情參數從資料庫中檢索到對應的輸出圖像 數據經過多圖像合成或添加圖像邊框或圖像剪輯或圖像變形處理後送到柔性電子顯示器 顯示；所述存儲電路是所述信息處理電路內部的數據存儲體或所述存儲電路獨立於所述信 息處理電路並與所述信息處理電路連接；所述環境傳感器、圖像傳感器、柔性電子顯示器與所述信息處理電路連接。
7. 根據權利要求6所述的電子畫，其特徵是進一步包含與所述信息處理電路連接的通 訊模塊。
8. 根據權利要求6所述的電子畫，其特徵是所述環境檢測傳感器包含如下傳感器之一 或幾種檢測環境溫度的傳感器、檢測氣壓的傳感器、檢測溼度的傳感器、檢測日照度的傳感器；所述信息處理電路包含表情識別功能模塊，能夠對所述圖像採集器所採集獲得的圖 像數據進行處理，識別出圖像數據包含的人臉表情參數。
9. 根據權利要求6至8中任一項所述的電子畫，其特徵是所述柔性電子顯示器採用有 機發光材料作為顯示單元或者採用具有雙穩態特性的電子材料層作為顯示單元。
10. 根據權利要求6至8中任一項所述的電子畫，其特徵是所述電子畫進一步包含畫 軸，將環境傳感器、圖像傳感器、信息處理電路置於畫軸中。
專利摘要本實用新型提出一種隨環境和表情變化的電子畫，包含環境檢測傳感器，檢測環境參數；圖像採集器；存儲電路；信息處理電路；柔性電子顯示器；在所述存儲電路建立環境參數、表情狀態、圖像數據相對應的資料庫；所述信息處理電路包含對於所述環境檢測傳感器的傳感信號處理的功能模塊；所述信息處理電路包含對於所述圖像採集器所採集的圖像數據處理識別出所採集的圖像數據中人物的表情狀態；所述環境檢測傳感器、圖像採集器、存儲電路、柔性電子顯示器與所述信息處理電路連接；由所述信息處理電路根據環境參數、表情狀態來控制柔性電子顯示器上顯示的圖像。實現當環境變化或觀看者的表情變化自動改變顯示的圖像。有書畫的特徵，如書畫一樣攜帶和欣賞。
文檔編號G09F9/00GK201535983SQ20092022262
公開日2010年7月28日 申請日期2009年9月7日 優先權日2009年9月7日
發明者須清 申請人:北京派瑞根科技開發有限公司