圖像通信系統、終端裝置、管理裝置及附屬圖像生成方法

2023-10-08 21:39:49 2

專利名稱：圖像通信系統、終端裝置、管理裝置及附屬圖像生成方法
技術領域：
本發明涉及一種將本體圖像與附屬(r r々七寸U )圖像合成後顯示的終端裝置、在與管理圖像的管理裝置之間經通信網絡進行圖像收發的圖像通信系統、終端裝置、管理裝置及附屬圖像生成方法。
背景技術：
近年來，在網絡上顯示表現自己的符號3 」、的情況下，例如在利用 SNS(social networking service)、興趣相同的同伴彼此經各人的分身圖像(r /S'夕-:頭像)在網絡上進行通信的情況下，因為是相同興趣的同伴彼此，所以頭像也多與興趣相關， 同伴彼此的頭像會類似。在這種情況下，向頭像附加附屬，但多僅從事先決定的附屬中選擇期望的附屬，附屬也會類似。
因此，以前，作為向頭像附加附屬的技術，已知向頭像附加對應於用戶屬性選擇的附屬的技術(參照專利文獻I)。
專利文獻1:特開2005-332091號公報
但是，在上述專利文獻I中，通過自動生成帶附屬的頭像，能使頭像的識別力大幅度提高，但作為用於決定用戶屬性的前提，必需對用戶實施規定的測試，另外，擔心用戶屬性類似的人彼此的附屬也類似。發明內容
本發明的課題在於將生成本體圖像與顯示的附屬圖像合成的情況下， 能生成識別力高的附屬圖像。
根據本發明，提供一種由終端裝置與管理裝置構成的圖像通信系統，具備
所述終端裝置中攝影被攝體的攝像部；
將由所述攝像部攝影的圖像內的被攝體辨別為本體圖像的識別用圖像的辨別部;
根據所述識別圖像生成附屬圖像的生成部；
將所述附屬圖像合成於所述本體圖像後生成第一合成圖像的第一合成部件；和
所述終端裝置中顯示所述第一合成圖像的顯示部。


圖1A是表示圖像通信系統(植物培育管理系統)的伺服器裝置5的圖。
圖1B是表示圖像通信系統(植物培育管理系統)的便攜電話機I的圖。
圖1C是表示圖像通信系統(植物培育管理系統)的傳感器裝置2的圖。
圖2是表示使符號顯示在由便攜電話機I的攝像機功能攝影的圖像(直通(^ -)圖像)內時的顯示例的圖。
圖3是用於說明傳感器裝置2的構成的示意縱向截面圖。
圖4是表示便攜電話機I的基本構成要素的框圖。
圖5是表示伺服器裝置5的基本構成要素的框圖。
圖6是用於說明圖像資料庫7的圖。
圖7是將根據識別圖像生成的鑰匙掛圈(々-* ^夕' )的附屬圖像附加於符號 (本體圖像)的狀態顯示例的圖。
圖8是表示便攜電話機I對伺服器裝置5執行附屬圖像登錄要求時的動作(登錄要求處理)的概要流程圖。
圖9是表示便攜電話機I側顯示符號時的動作(符號顯示處理)的概要流程圖。
圖10是表示伺服器裝置5側對應於電源ON開始執行的動作的流程圖。
圖11是接續於圖10的動作的流程圖。
圖12是用於詳述伺服器裝置5中的登錄處理(圖10的步驟C7)的流程圖。
圖13是表示第2實施方式中、將附屬圖像登錄於圖像資料庫7中時的動作(登錄處理)的概要流程圖。
圖14是表示第2實施方式中、便攜電話機I側顯示符號時的動作(符號顯示處理)的概要流程圖。
具體實施方式
下面，參照附圖來詳細說明本發明的實施方式。
(第I實施方式)
首先，參照圖1-圖12來說明本發明的第I實施方式。
本實施方式示例將本發明適用於通信系統的情況，圖1A-C是表示該通信系統的圖。
該通信系統構成為具有便攜電話機1、傳感器裝置2、無線通信網3、網際網路4、伺服器裝置(管理裝置)5，是一種圖像通信系統(植物培育管理系統)，其中便攜電話機I側攝影的圖像經無線通信網3、網際網路4發送到伺服器裝置(管理裝置)5，伺服器裝置5側生成的圖像經網際網路4、無線通信網3發送。該圖像通信系統(植物培育管理系統)中興趣(植物培育)共同的同伴彼此也可在網絡上進行通信。
圖1B的便攜電話機I具備語音通話功能、電子郵件功能、網際網路連接功能(Web訪問功能)、近距離通信功能、攝像功能(攝像機功能)等，與檢測植物培育環境的傳感器裝置 2之間進行近距離通信，另外，若經最近的基站(省略圖示)連接於無線通信網3，則變為能經該無線通信網3與其他便攜電話機(省略圖示)之間通話或收發電子郵件的狀態，另外， 若經無線通信網3連接於網際網路4，則能收發電子郵件或閱覽Web網頁。
圖1C的傳感器裝置2設置在植物附近(例如花盆內)，具備檢測植物培育環境的環境傳感器(溫度傳感器、水分傳感器等)。便攜電話機I若從傳感器裝置2接收傳感器檢測結果(當前的培育環境)，則將該植物的種類與當前的培育環境經無線通信網3、網際網路 4發送到伺服器裝置5。伺服器裝置5若經便攜電話機I接收植物的種類與當前的培育環境，則根據該接收結果檢索植物用培育資料庫6，並對應於該植物的種類，將表示當前培育狀況的培育信息(例如最佳環境、水分不足、日照過多等)發送到最初的便攜電話機I。植物用培育資料庫6對應於植物的種類，存儲表示當前培育狀況的培育信息與表示培育方式等的培育信息。除該培育資料庫6外，伺服器裝置5中還具備後述的圖像資料庫7。
便攜電話機I若從伺服器裝置5接收培育信息，則顯示包含該培育信息的符號，但此時，將符號作為本體圖像，在其中合成附屬圖像後顯示。圖2是表示使符號顯示在由便攜電話機I的攝像機功能攝影的圖像(直通圖像)內時的顯示例的圖。此時，將花盆內的傳感器裝置2作為被攝體，將由攝像機功能攝影的圖像作為直通圖像，顯示在現場視圖(』 ^-)畫面(監視器畫面終端畫面)中，將事先存儲的符號(動畫)重疊顯示在該直通圖像內。除該傳感器裝置2附近重疊顯示的符號外，還在攝影圖像(直通圖像)中顯示合成於作為本體圖像的該符號中的附屬圖像(在圖示實例中，為徽章(7千)型附屬)。 如圖所示，在監視器畫面的一角落部，顯示從伺服器裝置5取得的表示當前培育狀況的培育信息(在圖示實例中，為」最佳環境」)。
附屬圖像在伺服器裝置5側生成，便攜電話機I從伺服器裝置5接收附屬圖像，附加顯示(合成顯示)於符號(本體圖像)。即，便攜電話機I將附加於由攝像機功能攝影的圖像內的被攝體中的標記(7 -力)辨別為符號(本體圖像)識別用圖像，若將該識別圖像發送到伺服器裝置5，則伺服器裝置5根據該識別圖像，生成附屬圖像，發送到便攜電話機I。便攜電話機I從伺服器裝置5接收附屬圖像，使附屬圖像合成顯示於符號(本體圖像)。
在圖示實例中，標記被作為其識別用而附加於花盆內的傳感器裝置2。若以該標記為中心攝影傳感器裝置2作為被攝體，則從該攝影圖像中抽取標記部分，辨別為識別圖像。此時，當從攝影圖像中抽取標記部分時，補正該圖像部分後抽取，以便從正上方攝影標記部分，但該抽取方式不限於此，是任意的。標記例如是手寫於傳感器裝置2的桌面部的繪圖、數字、字符、照片等，設計來能視覺識別傳感器裝置2，在圖示實例中，示出手寫記入數字 5的情況。另外，當攝影傳感器裝置2、即標記作為被攝體時，從正面方向攝影該標記。
伺服器裝置5若與其登錄要求一起接收來自便攜電話機I的識別圖像，則根據該識別圖像，生成附屬圖像，並將該識別圖像與附屬圖像對應後，登錄到圖像資料庫7。在將識別圖像與附屬圖像對應後登錄到該圖像資料庫7的狀態下，便攜電話機I向伺服器裝置5 要求發送符號(本體圖像)顯示時附加於其中的附屬圖像。伺服器裝置5若從便攜電話機 I接收附屬圖像的發送要求，則將與該發送要求一起接收到的識別圖像作為識別信息(檢索密鑰)，檢索圖像資料庫7，從而讀出對應的附屬圖像，發送到要求源的便攜電話機I。
圖3是用於說明傳感器裝置2的構成的示意縱向截面圖。
傳感器裝置2是具備用於觀測樹木與花草等植物培育環境的環境傳感器與通信功能的小型電子設備，其殼體整體形成細長狀中空棒體。傳感器裝置2的中空棒體整體形成尖細狀，構成為將該傳感器裝置2的下部(例如下半部分)埋入缽等土壤內。在傳感器裝置2下部側的表面中，形成多個細孔2a，作為通氣、通水用。另外，構成為在傳感器裝置2 的上端部分的一側部，突出形成(一體成型)弧狀把手2b，在將傳感器裝置2的下部刺拔到缽等土壤內時，邊用拇指的指肚部分按壓其上端面，邊將食指搭在把手2b的下側，從而能順利進行傳感器裝置2的拔刺。
在傳感器裝置2的上端部側的桌面部，作為各種電子部件，內置檢測植物外圍亮度的照度(日照) 傳感器2c、檢測植物外圍氣溫的外部氣溫傳感器2d、近距離通信部用天線2e、控制上述部件動作的控制部、和依次存儲各種傳感器的檢測結果的存儲部(省略圖示)，另外，在該桌面部的下方，內置電池電池2f。在傳感器裝置2的中央隔板部，內置檢測土壤的水分量(溼度)的水分傳感器2g。在傳感器裝置2的中空部中細孔2a的形成部分， 形成多個用於防止土壤侵入的閥部件2h。
圖4是表示便攜電話機I的基本構成要素的框圖。
CPUll是中央運算處理裝置，利用來自具備蓄電池(省略圖示)的電源部12的供電來動作，對應於存儲部13內的各種程序，控制該便攜電話機I的整體動作。存儲部13中除存儲用於對應於圖8及圖9所示的動作步驟實現本實施方式的程序或各種應用程式等夕卜，還設置暫時存儲便攜電話機I動作所需的各種信息的工作區域。
無線通信部14是語音通話功能、電子郵件功能、網際網路連接功能時使用的寬帶通信部。攝像部15構成能高精細攝影被攝體的攝像機部，雖然未圖示，但除光學透鏡、攝像元件外，還具備光學系統驅動部、照明用頻閃觀測器、模擬處理電路、信號處理電路等。若由該攝像部15攝影傳感器裝置2作為被攝體，則CPUlI將附加於該傳感器裝置2的繪圖(標記) 辨別為識別圖像。顯示部16例如使用高精細液晶顯示器或有機EL顯示器、電泳型顯示器 (電子紙張m等，構成為除顯示字符信息、等待圖像等顯示信息外、還在攝像機功能使用時作為攝影圖像顯示現場視像(監視器圖像)的取景器畫面。在該顯示部15的表面積層配設檢測手指接觸的接觸操作部(透明的接觸傳感器)，從而構成觸控螢幕(接觸畫面)。
操作部17省略圖示，但具有電源0N/0FF按鈕、切換為攝像機模式的按鈕、快門按鈕等，CPUll執行對應於操作按鈕的處理。近距離通信部18構成藍牙(Bluetooth :註冊商標)模塊，與傳感器裝置2之間交流通信，其可通信區域例如為IOm範圍內，但可通信距離不限於此。另外，從便攜電話機I發出探索傳感器裝置2的探索信號(搜索信號)，若從傳感器裝置2對此有響應，則確立便攜電話機I與傳感器裝置2的通信連結，相互間變為能數據通信的狀態。
圖5是表示伺服器裝置5的基本構成要素的框圖。
CPU51是中央運算處理裝置，利用來自電源部52的供電動作，對應於存儲部53內的各種程序，控制該伺服器裝置5的整體動作。存儲部25中，存儲用於對應於圖10-圖12 所示的動作步驟來實現第I實施方式的程序或各種應用程式等。在CPU51上，作為其外圍設備，連接通信部54、顯示部55、操作部56。另外，CPU51若如上所述與其登錄要求一起接收來自便攜電話機I的識別圖像，則根據該識別圖像生成附屬圖像，並將該識別圖像與附屬圖像對應後登錄在圖像資料庫7中。
圖6是用於說明圖像資料庫7的圖。
圖像資料庫7將識別圖像與附屬圖像對應地存儲管理，構成為其記錄具有「ID」、 「「識別圖像」、「「附屬圖像」、「附屬形狀」、「「登錄日期時間」、「「利用日期時間」、「狀態」等各項目。「ID」是每次新登錄附屬圖像時發行的序列號，用作檢索該記錄的密鑰(例如第2檢索密鑰)。「「識別圖像」在便攜電話機I側攝影傳感器裝置2時，將附加於該傳感器裝置2 的標記辨別為用於識別符號的圖像，用作檢索該記錄的密鑰(例如第I檢索密鑰)。這裡， 第I檢索密鑰是優先於第2檢索密鑰使用的密鑰，第2檢索密鑰為第I檢索密鑰的輔助密鑰。在圖示實例中，作為「「識別圖像」，示例手寫的臉的圖、字符、數字，但當然不限於此。
「「附屬圖像」是附加於符號(本體圖像)的圖像，根據「「識別圖像」生成。伺服器裝置5在根據「「識別圖像」生成「「附屬圖像」的情況下，若「「識別圖像」中包含字符，則生成記述該字符的名牌(彳、-^ 夕' )的附屬圖像。另外，若「「識別圖像」中包含數字，則生成記述該數字的徽章(號碼塊的附屬圖像，若「「識別圖像」中不包含字符及數字，則生成使用該「「識別圖像」的鑰匙掛圈的附屬圖像。之後，將生成的附屬圖像附加在符號(本體圖像)的規定位置。圖7是表示將根據「ID」為」1」的「「識別圖像」生成的鑰匙掛圈的附屬圖像附加於符號(本體圖像)的狀態顯示例的圖。此時，識別圖像被利用為裝配在鑰匙掛圈環部分上的裝飾部。
「附屬形狀」作為附屬種類，表示」鑰匙掛圈」、」名牌」、」徽章(號碼塊)」等，但當然不限於此。「「登錄日期時間」表示生成「「附屬圖像」後與「「識別圖像」 一起登錄的日期時間，「「利用日期時間」表示利用「「附屬圖像」的日期時間，每次利用時更新。「狀態」表示 「「附屬圖像」是否非長期未使用的不變狀態，若不是長期未使用狀態不變，則存儲」 true」， 若是長期未使用狀態不變，則存儲」 false」。
下面，參照圖8-圖12所示的流程圖來說明第I實施方式中便攜電話機1、伺服器裝置5的動作概念。這裡，這些流程圖中記述的各功能以可讀取的程序代碼的形式存儲，依次執行根據該程序代碼的動作。另外，也能依次執行根據經網絡等傳輸媒體傳輸的上述程序代碼的動作。這在後述的其他實施方式中也一樣，除記錄媒體外，還能利用經傳輸媒體外部供給的程序/數據來執行本實施方式特有的動作。
圖8是表示便攜電話機I對伺服器裝置5執行附屬圖像登錄要求時的動作(登錄要求處理)的概要流程圖。圖9是表示便攜電話機I側顯示符號時的動作(符號顯示處理) 的概要流程圖。圖8、圖9是表示便攜電話機I的整體動作中、本實施方式的特徵部分的動作概要的流程圖，當從該圖8、圖9的流程跳出時，返回到整體動作的主流程(省略圖示)。 圖10-圖12是表示伺服器裝置5側的整體動作的概要流程圖。
便攜電話機I偵彳，若用戶操作指示圖像登錄，則開始執行對應於圖8流程的動作。 首先，CPUll在執行清除存儲器內容等初始化處理(圖8的步驟Al)之後，使攝像部15起動(步驟A2)，同時，顯示攝影引導(步驟A3)。此時，用戶在攝像部15的攝影方向 指向花盆內的傳感器裝置2的狀態下，操作快門按鈕。由此攝影附加於傳感器裝置2的識別用標記(步驟A4) ο
CPUll從該攝影圖像(直通圖像)中抽取標記部分，辨別為識別圖像(步驟A5)， 調查該辨別是否成功(步驟A6)，返回上述步驟S4，直到辨別為正常為止。在目前能將標記正常辨別為識別圖像的情況下(步驟A6為是)，為了要求圖像登錄，在與該識別圖像一起對伺服器裝置5發送登錄請求後(步驟A7)，調查是否與之響應從伺服器裝置5接收到「有已登錄」(步驟AS)。
圖10及圖11是表示伺服器裝置5側對應於電源ON開始執行的動作的流程圖。
首先，CPU51調查從便攜電話機I接收到何請求(圖10的步驟Cl)，或調查是否為更新圖像資料庫7的內容的定時(例如00時00分)(步驟C2)，或調查是否執行電源OFF 操作(步驟C3)。目前當執行電源OFF操作時(步驟C3為是)，該流程終止，但當從便攜電話機I接收到某一請求時(步驟Cl為是)，開始從便攜電話機I接收取得識別圖像的動作 (步驟C4)，調查是否正常接收完成(步驟C5)，返回到上述步驟C4，直到正常接收為止。在目前能正常接收取得識別圖像的情況下(步驟C5為是)，若該請求內容是登錄請求(步驟C6為是)，則移動到登錄圖像的登錄處理(步驟C7)。
圖12是用於詳述伺服器裝置5中的登錄處理(圖10的步驟C7)的流程圖。
首先，CPU51從圖像資料庫7內的已登錄的「「識別圖像」中按其登錄順序讀出一個「「識別圖像」(步驟Dl)，通過與從便攜電話機I取得的識別圖像比較，進行兩者是否一致的一致判定(步驟D2)。結果，若兩者不一致(步驟D3為否)，則指定下一已登錄的「「識別圖像」(步驟D9)，返回上述步驟Dl，直到全部指定完圖像資料庫7內的「「識別圖像」(步驟DlO為是)，下面，邊一個個地指定已登錄的「「識別圖像」邊重複一致判定(步驟D2、D3、 D9)。
結果，在檢測到從便攜電話機I取得的識別圖像與圖像資料庫7內的任一「「識別圖像」 一致的情況下(步驟D3為是)，判斷為與登錄要求的「「識別圖像」相同的圖像已登錄完，移動到下一步驟D4，調查對應於該已登錄完的「「識別圖像」的「狀態」是否是表示長期未使用狀態的」false」。這裡，若是表示非長期未使用狀態的」true」(步驟D4為否)，則在對其要求源的便攜電話機I發送相同圖像已登錄完之後(步驟D8)，從圖12的流程中跳出。
另外，若「狀態」是」 false」(步驟D4為是)，則改寫成這次要求的登錄內容，代替該已登錄內容。即，原樣利用已登錄內容，改寫成新登錄的內容(步驟D5-D7)。此時，為了將這次的登錄要求設為新登錄，在將其「狀態」改寫成」 true」後(步驟D5)，將其「「登錄日期時間」更新為當前日期(步驟D6)，同時，進行將其「「利用日期時間」也更新為當前日期的處理(步驟D7)。如此改寫登錄內容之後，從圖12的流程中跳出。
另一方面，若即便讀出全部識別圖像也不沒有一致判定，即若與登錄要求的識別圖像相同的圖像不是已登錄(步驟DlO為否)，則對應於這次要求進行新登錄，但此前執行根據登錄要求的識別圖像生成附屬圖像的處理(步驟D11-D16)。即，解析識別圖像，進行文本辨別(步驟Dll)，調查是否包含文本(步驟S12)，若不包含文本(步驟D12為否)，則生成使用該識別圖像的鑰匙掛圈的附屬圖像(步驟D13)。
若識別圖像內包含文本(步驟S12為是)，則調查其文本是否數字(步驟D14)，若是數字(D14為是)，則生成記述該數字的徽章(號碼塊)的附屬圖像(步驟D15)。若該文本是字符(步驟D14為否)，則生成記述該字符的名牌的附屬圖像(步驟D16)。若如此生成附屬圖像，則發行新的ID，生成由「ID」、「辨別圖像」、「「附屬圖像」、「附屬形狀」、「「登錄日期時間」、「「利用日期時間」、「狀態」構成的新的記錄，將該新的記錄追加登錄到圖像資料庫 7的末尾(步驟D17)。在該新登錄時存儲」 true」作為「狀態」。之後，從圖12的流程中跳出。
若這種登錄處理結束(圖10的步驟C7)，則伺服器裝置5調查該登錄處理的結果是否是」無已登錄」(步驟CS)，這裡，在」有已登錄」的情況下(步驟CS為否)，為了具備於再登錄要求，返回上述步驟Cl。另外，在」無已登錄」的情況下(步驟CS為是)，讀出新生成的「「附屬圖像」，發送到要求源的便攜電話機1(步驟C9)，調查該發送是否完成(步驟 C10)，返回上述步驟C9，直到發送完成。由此當發送完成時(步驟ClO為是)，返回上述步驟Cl。
這裡，便攜電話機I在將識別圖像發送給伺服器裝置5之後，調查是否與之響應從伺服器裝置5接收到」有已登錄」(圖8的步驟A9)，當接收到」有已登錄」時(步驟A9為是)，在將請求用戶應將傳感器裝置2的標記變更為其他標記的引導顯示在顯示部16後 (步驟AlO)，從圖8的流程跳出。另外，當接收到」無已登錄」時(步驟A9為否)，從伺服器裝置5接收取得附屬圖像(步驟All)，調查該取得是否成功(步驟A12)，返回上述步驟 All，直到正常接收取得圖像。
由此，便攜電話機I若附屬圖像的接收取得完成(步驟A12為是)，則讀出並取得事先存儲的符號(步驟A13)。之後，在將攝像部15攝影的圖像作為直通圖像顯示在監視器畫面中的狀態下，特定附加於作為其被攝體的傳感器裝置2的標記位置(步驟A14)。接著，將該取得的符號合成附屬圖像，使該合成圖像重疊顯示在直通圖像內的特定位置(步驟A15)。此時，在將符號合成附屬圖像的情況下，合成到對應於其附屬形狀的位置。之後， 調查有無基於用戶操作的再登錄指示(步驟A16)，若無再登錄指示(步驟A16為否)，則在使攝像部15停止後(步驟A17)，從圖8的流程跳出，但若有再登錄指示(步驟A16為是)， 則為了對伺服器裝置5要求再登錄，返回到上述步驟A3。
另一方面，伺服器裝置5若檢測更新圖像資料庫7的內容的定時(例如00時00 分)(步驟C2為是)，則移動到圖11的流程，從圖像資料庫7中按登錄順序讀出一個「「利用日期時間」(步驟C17)，與當前日期相比較，調查是否從「「利用日期時間」起算經過I年以上(步驟C18)，將對應於該「「利用日期時間」的「狀態」內容改寫為」 false」 (步驟C19)。 之後，指定下一「「利用日期時間」(步驟C20)，調查是否讀出全部「「利用日期時間」(步驟 C21)，返回上述步驟C17，直到讀出全部「「利用日期時間」，重複將從「「利用日期時間」起算經過I年以上的「狀態」改寫為」 false」的動作(步驟C19)。之後，在結束指定全部「「利用日期時間」的情況下(步驟C21為是)，返回圖10的步驟Cl。
另一方面，便攜電話機I側若由用戶操作指示符號顯示，則開始執行對應於圖9的流程的動作。首先，CPUll在執行清除存儲器內容等的初始化處理(圖9的步驟BI)之後， 使攝像部15起動(步驟B2)，同時，顯示攝影引導(步驟B3)。此時，用戶在攝像部15的攝影方向指向花盆內的傳感器裝置2的狀態下，操作快門按鈕。由此，若攝影傳感器裝置2的識別用標記(步驟B4)，則CPUlI從該攝影圖像(直通圖像)中辨別標記作為識別圖像(步驟·B5)。接著，調查該辨別是否成功(步驟B6)。之後，返回上述步驟A4，直到正常辨別。若當前將標記正常辨別為識別圖像(步驟B6為是)，則為了要求發送附屬圖像，與該識別圖像一起對伺服器裝置5發送圖像發送請求(步驟B7)。
伺服器裝置5側若接收來自便攜電話機I的請求(圖10的步驟Cl為是)，則調查其是否登錄請求(步驟C6)，若不是登錄請求(步驟C6為否)，則判斷為是附屬圖像的發送請求，移動到圖11的步驟Cll，根據來自便攜電話機I的識別圖像，檢索圖像資料庫7內的各「「識別圖像」。結果，調查能否檢索一致的識別圖像(一致完成)(步驟C12)，若未一致完成(步驟C12為否)，則調查從便攜電話機I接收到的識別圖像是否未登錄在圖像資料庫 7內(未登錄)(步驟C13)。
此時，伺服器裝置5若識別圖像為未登錄(步驟C13為是)，則移動到圖10的步驟C7，進行登錄處理，但若一致完成(步驟C12為是)，則從圖像資料庫7中讀出並取得對應的「「附屬圖像」(步驟C14)。之後，將該「「附屬圖像」發送到要求源的便攜電話機1(步驟C15)，調查該發送是否完成(步驟C16)，返回上述步驟C15，直到發送完成。由此若發送完成(步驟C16為是)，則返回圖10的步驟Cl。
便攜電話機I側，在向伺服器裝置5發送識別圖像後(圖9的步驟B8)，則若與之響應從伺服器裝置5接收取得「「附屬圖像」(步驟B9)，則調查該取得是否成功(步驟B10)， 返回上述步驟B8，再次向伺服器裝置5發送識別圖像，直到正常取得。若由此附屬圖像的接收取得完成(步驟BlO為是)，則在讀出並取得事先存儲的符號後(步驟B11)，特定直通圖像內附加於傳感器裝置2的標記位置(步驟B12)。
之後，使將符號合成了附屬圖像的合成圖像重疊顯示在直通圖像內的特定位置 (步驟B13)。另外，在將符號合成附屬圖像的情況下，合成到對應於該附屬形狀的位置。另夕卜，在開始移動符號的動畫處理之後(步驟B14)，重複符號動畫處理(步驟B14)，直到指示符號顯示終止(步驟B15為是)，若由用戶操作等指示顯示終止(步驟B15為是)，則在使攝像部15停止後(步驟B16)，從圖9的流程中跳出。
如上所述，第I實施方式是一種圖像通信系統，將本體圖像(符號)合成附屬圖像並顯示的便攜電話機I與伺服器裝置5經通信網絡進行圖像的收發，其中，若便攜電話機I 側由攝像部5攝影被攝體，則將攝影的圖像內的被攝體辨別為符號的識別用圖像，並根據該辨別的識別圖像，生成附屬圖像，所以能生成利用被攝體的識別力高的附屬圖像，例如， 即便存在類似的本體圖像(符號)，也能容易辨別各個符號。
便攜電話機I若由攝像部15攝影被攝體，則將攝影的圖像內的被攝體辨別為符號的識別用圖像，發送給伺服器裝置5，伺服器裝置5根據來自便攜電話機I的識別圖像，生成附屬圖像，發送給便攜電話機1，所以可防止作為由便攜電話機I分別單獨生成附屬圖像時的缺陷的同一內容的重複生成。
對應於識別圖像的內容來生成種類不同的附屬圖像，所以即便是相同被攝體，也能對應於其內容來改變附屬圖像。
生成包含識別圖像的附屬圖像，所以能將被攝體自身利用為附屬圖像。
伺服器裝置5在從便攜電話機I側接受到識別圖像的登錄要求的情況下，將該識別圖像與生成的附屬圖像對應後，登錄在圖像資料庫7內，在從便攜電話機I接受到對應於識別圖像的附屬圖像的發送要求的情況下，根據該識別圖像，檢索圖像資料庫7，取得對應的附屬圖像，發送到要求源的便攜電話機1，所以除了能由伺服器裝置5側一維管理附屬圖像外，還能在附屬圖像的檢索中使用識別圖像。
將作為識別用附加於攝影圖像內的傳感器裝置(被攝體)2的標記辨別為符號的識別圖像，所以能利用附屬圖像來識別傳感器裝置2。
便攜電話機I在攝影作為識別用附加於傳感器裝置(被攝體)2的標記的情況下， 在該標記的附近合成符號的同時，使來自伺服器裝置5的附屬圖像合成於符號中來顯示， 所以通過僅攝影傳感器裝置2，就能在其附近顯示帶附屬圖像的符號，能利用附屬圖像識別傳感器裝置2。
在上述第I實施方式中，在便攜電話機I側進行識別圖像的辨別，但也可在伺服器裝置5側進行該識別圖像的辨別。
另外，在上述第I實施方式中，對應於識別圖像的內容(文本的有無、數字/字符) 來生成種類(鑰匙掛圈、名牌、徽章)不同的附屬圖像，但也可事先由用戶操作來指定附屬種類。此時，便攜電話機I若向伺服器裝置5發送用戶指定的附屬種類，則也可在伺服器裝置5側執行生成用戶指定種類的附屬圖像的處理，代替附屬圖像生成處理(圖12的步驟D11-D16)。另外，也可若用戶指定附屬種類，則優先生成該種類的附屬圖像，但若未用戶指定，則執行上述附屬圖像生成處理(圖12的步驟D11-D16)。若能這樣由用戶操作來任意指定附屬種類，則除能採納用戶的希望外，還能生成富於獨創性的附屬圖像。
(第2實施方式)
下面，參照圖13及圖14來說明本發明的第2實施方式。
在上述第I實施方式中，是適用於便攜電話機I與伺服器裝置5之間經通信網絡進行圖像收發的圖像通信系統(植物培育管理系統)的情況，而在該第2實施方式中，是適用於便攜電話機I單體的情況。這裡，兩實施方式中基本上或名稱上相同的部件附加相同符號來表示，省略其說明，同時，下面主要說明第2實施方式的特徵部分。在該第2實施方式中，在便攜電話機I側具有培育資料庫6及圖像資料庫7。
圖13是表示第2實施方式中、登錄附屬圖像時的動作(登錄處理)的概要流程圖。 另外，第2實施方式中的登錄處理也基本上與第I實施方式一樣。
首先，便攜電話機I在執行清除存儲器內容等初始化處理(步驟El)之後，使攝像部15起動(步驟E2)，同時，顯示攝影引導(步驟E3)。若由此攝影傳感器裝置2的識別用標記(步驟E4)，則從該攝影圖像(直通圖像)中辨別標記，作為識別圖像(步驟E5)。
之後，根據識別圖像來檢索圖像資料庫7內的各「「識別圖像」(步驟E6)，調查是否有已登錄(步驟E7)，若有已登錄(步驟E7為是)，則在顯示標記的變更請求之後(步驟 ES)，為了受理再登錄，返回上述步驟E2。另外，若無已登錄(步驟E7為否)，則對應於這次的要求，進行新登錄，但在此之前，執行根據登錄要求的識別圖像生成附屬圖像的處理(步驟E9-E14)。即，解析識別圖像後進行文本辨別(步驟E9)，若不包含文本(步驟ElO為否)， 則生成使用該識別圖像的鑰匙掛圈的附屬圖像(步驟Ell)。
另外，在識別圖像內包含文本的情況下(步驟ElO為是)，若該文本是數字(步驟 E12為是)，則生成記述該數字的徽章(號碼塊)的附屬圖像(步驟E13)，若是字符(步驟 E12為否)，則生成記述該字符的名牌的附屬圖像(步驟E14)。在取得由此生成的附屬圖像的同時(步驟E15)，讀出並取得事先存儲的符號(步驟E16)。
之後，在由攝像部15攝影的圖像作為直通圖像顯示在現場視圖畫畫(監視器畫面)的狀態下，在特定附加於作為其被攝體的傳感器裝置2的標記位置之後(步驟E17)， 將該符號合成附屬圖像，並將該合成圖像重疊顯示在直通圖像內的特定位置(步驟E18)。 此時，在將符號合成附屬圖像的情況下，合成到對應於該附屬形狀的位置。之後，調查有無基於用戶操作的再登錄指示(步驟E19)，若有再登錄指示(步驟E19為是)，則為了進行再登錄，返回上述步驟E3。另外，若無再登錄指示(步驟E19為否)，則發行新的ID，生成由 「ID」、「辨別圖像」、「「附屬圖像」、「附屬形狀」、「「登錄日期時間」、「「利用日期時間」、「狀密」 構成的新的記錄，將該新的記錄追加登錄到圖像資料庫7的末尾(步驟E20)。之後，在停止攝像部15之後(步驟E21)，從圖13的流程中跳出。
圖14是表示第2實施方式中、便攜電話機I側顯示符號時的動作(符號顯示處理)的概要流程圖。另外，第2實施方式中符號顯示處理也基本上與第I實施方式一樣。
首先，便攜電話機I在執行清除存儲器內容等初始化處理(步驟Fl)之後，使攝像部15起動(步驟F2、)。若由此攝影傳感器裝置2的識別用標記(步驟F3、)，則從該攝影圖像(直通圖像)中辨別標記，作為識別圖像(步驟F4)。之後，根據識別圖像來檢索圖像資料庫7內的各「「識別圖像」(步驟F5)，調查能否檢索一致的識別圖像(一致完成)(步驟F6)，若未致完成(步驟F6為否)，則調查識別圖像是否未登錄在圖像資料庫7內(未登錄)(步驟F7)。
此時，若是未登錄(步驟F7為是、)，則進行圖13的登錄處理，但若一致完成(步驟F6為是)，則從圖像資料庫7中讀出並取得對應的「「附屬圖像」(步驟F8)。之後，在讀出並取得事先存儲的符號之後(步驟F9、)，特定直通圖像內附加於傳感器裝置2的標記位置(步驟F10)。之後，使將符號合成了附屬圖像的合成圖像重疊顯示在直通圖像內的特定位置(步驟Fll)。另外，在將符號合成附屬圖像的情況下，合成到對應於該附屬形狀的位置。另外，在開始移動符號的動畫處理之後(步驟F12)，重複符號動畫處理(步驟F12)，直到指示符號顯示終止(步驟F13為是)，若由用戶操作等指示顯示終止(步驟F13為是)， 則在使攝像部15停止後(步驟F14)，從圖14的流程中跳出。
如上所述，第2實施方式中，便攜電話機I若由攝像部15攝影被攝體，則將攝影的圖像內的被攝體辨別為符號的識別用圖像，並根據該辨別的識別圖像，生成附屬圖像，所以能生成利用被攝體的識別力高的附屬圖像，例如即便存在類似的本體圖像(符號)，也能容易識別各個符號。
便攜電話機I對應於識別圖像的內容來生成種類不同的附屬圖像，所以即便是相同被攝體，也能對應於其內容來改變附屬圖像。
便攜電話機I生成包含識別圖像的附屬圖像，所以能將被攝體自身利用為附屬圖像。
便攜電話機I將識別圖像與生成的附屬圖像對應後，登錄在圖像資料庫7內，在符號顯示時，根據該識別圖像，檢索圖像資料庫7，取得對應的附屬圖像，所以除了能一維管理生成的各種附屬圖像外，還能在附屬圖像的檢索中使用識別圖像。
便攜電話機I將作為識別用附加於攝影圖像內的傳感器裝置2的標記辨別為符號的識別圖像，所以能 利用附屬圖像來識別傳感器裝置2。
便攜電話機I在攝影作為識別用附加於傳感器裝置(被攝體)2的標記的情況下， 在該標記的附近合成符號的同時，使附屬圖像合成於符號中來顯示，所以通過僅攝影傳感器裝置2，就能在其附近顯示帶附屬圖像的符號，能利用附屬圖像識別傳感器裝置2。
在上述第2實施方式中，對應於識別圖像的內容(文本的有無、數字/字符)來生成種類(鑰匙掛圈、名牌、徽章)不同的附屬圖像，但也可事先由用戶操作來指定附屬種類。 此時，便攜電話機I也可執行生成用戶指定種類的附屬圖像的處理，代替上述附屬圖像生成處理(圖13的步驟E9-E14)。另外，也可若用戶指定附屬種類，則優先生成該種類的附屬圖像，但若未用戶指定，則執行上述附屬圖像生成處理(圖13的步驟E9-E14)。若能這樣由用戶操作來任意指定附屬種類，則除能採納用戶的希望外，還能生成富於獨創性的附屬圖像。
在上述各實施方式中，在檢索圖像資料庫7的情況下，設「「識別圖像」為檢索密鑰，但不限於此，在以「「識別圖像檢索失敗的情況下，也可將「ID」作為密鑰檢索。當然也可不使用「「識別圖像」作為檢索密鑰，僅將「 ID」作為密鑰檢索。
另外，在上述各實施方式中，也可通過使擴展現實技術(AR)組合於攝像機功能， 使用體感、體驗方法，向用戶建議。此時，也可利用基於AR符號的擬人化建議提示方式，感受到無法意思顯示的植物中好像存在意思或人格。由此能經符號向用戶提供疑似體驗植物感情的情緒價值與減輕植物管理培育困難的現實價值。
另外，在上述各實施方式中，示出植物作為培育對象，但也可是觀賞魚、鸚哥或文鳥等鳥類、狗、貓等。此時，也可測定寵物的飼養房間的環境或水槽環境等，還可在狗或貓等脖圈部分配備傳感器裝置2，或在水槽內配備傳感器裝置2，但當然不限於此。並且，不限於培育，也可以是經擬人化符號(頭像)在網絡上進行通信的情況。另外，被攝體不限於傳感器裝置2的標記，也可以是符號、風景等。
另外，在上述各實施方式中，示出適用於便攜電話機I的情況，但作為終端裝置， 也可以是PDA(面向個人的便攜型信息通信設備)、數位相機、音樂播放器、PC(電腦)等。
另外，上述各實施方式中所示的所謂」裝置」或」部」也可按功能不同而分離成多個殼體，·不限於單一殼體。另外，上述流程圖中記述的各步驟不限於時間系列的處理，也可並列處理多個步驟，或單獨獨立處理。
以上說明了本發明的實施方式，但本發明不限於此，包含權利要求記載的發明與其均等的範圍。·
權利要求
1.一種由終端裝置與管理裝置構成的圖像通信系統，其特徵在於具備 所述終端裝置中攝影被攝體的攝像部； 將由所述攝像部攝影的圖像內的被攝體辨別為本體圖像的識別用圖像的辨別部； 根據所述識別圖像生成附屬圖像的生成部； 將所述附屬圖像與所述本體圖像合成後生成第一合成圖像的第一合成部件；和 所述終端裝置中顯示所述第一合成圖像的顯示部。
2.根據權利要求1所述的圖像通信系統，其特徵在於 所述終端裝置具備 所述攝像部； 所述辨別部； 發送部； 接收部； 所述顯示部， 所述發送部向所述管理裝置發送由所述辨別部辨別的識別圖像， 所述接收部從所述管理裝置接收所述第一合成圖像， 所述顯示部顯示所述接收部接收到的第一合成圖像， 所述管理裝置具備 識別圖像接收部； 所述生成部； 所述第一合成部件；和 生成圖像發送部， 所述識別圖像接收部接收來自所述終端裝置的所述識別圖像， 所述生成部在接收到來自所述終端裝置的所述識別圖像的情況下，根據該識別圖像，生成所述附屬圖像， 所述生成圖像發送部向所述終端裝置發送所述第一合成圖像。
3.根據權利要求2所述的圖像通信系統，其特徵在於 所述生成部對應於所述識別圖像的內容，生成種類不同的附屬圖像。
4.根據權利要求2所述的圖像通信系統，其特徵在於 所述管理裝置還具備選擇部，對應於用戶操作，選擇附屬的種類。
5.根據權利要求2所述的圖像通信系統，其特徵在於 所述生成部生成包含所述識別圖像的附屬圖像。
6.根據權利要求2所述的圖像通信系統，其特徵在於 所述管理裝置包含 登錄部，在從所述終端裝置接收到所述識別圖像的登錄要求的情況下，將來自所述終端裝置的該識別圖像與由所述生成部生成的附屬圖像對應地登錄； 取得部，在從所述終端裝置接收到與所述識別圖像對應的附屬圖像的發送要求的情況下，通過根據來自所述終端裝置的該識別圖像，檢索所述登錄部的登錄內容，取得該識別圖像對應的附屬圖像；和 登錄圖像發送部，將由所述取得部件取得的附屬圖像發送到要求源的終端裝置。
7.根據權利要求2所述的圖像通信系統，其特徵在於 所述辨別部將作為識別用而附加於由所述攝像部攝影的圖像內的被攝體上的繪圖辨別為所述本體圖像的識別用圖像。
8.根據權利要求2所述的圖像通信系統，其特徵在於 所述終端裝置包含第二合成部件，在由所述攝像部件對被攝體攝影了識別用圖像的情況下，以所述第一合成圖像位於該識別用圖像的附近的方式，將所述第一合成圖像與所述識別用圖像合成，生成第二合成圖像， 所述顯示部顯示所述第二合成圖像。
9.一種終端裝置，其特徵在於包含 攝影被攝體的攝像部； 將由所述攝像部攝影的圖像內的被攝體辨別為本體圖像的識別用圖像的辨別部； 根據由所述辨別部辨別的識別圖像生成附屬圖像的生成部； 將所述附屬圖像與所述本體圖像合成後生成第一合成圖像的合成部件；和 顯示所述第一合成圖像的顯示部。
10.根據權利要求9所述的終端裝置，其特徵在於 所述生成部對應於所述識別圖像的內容，生成種類不同的附屬圖像。
11.根據權利要求9所述的終端裝置，其特徵在於 還具備選擇部，對應於用戶操作，選擇附屬的種類。
12.根據權利要求9所述的終端裝置，其特徵在於 所述生成部生成包含所述識別圖像的附屬圖像。
13.根據權利要求9所述的終端裝置，其特徵在於還包含 登錄部，將由所述辨別部辨別的識別圖像與由所述生成部生成的附屬圖像對應地登錄；和 取得部，通過根據所述識別圖像，檢索所述登錄部的登錄內容，取得該識別圖像對應的附屬圖像。
14.根據權利要求9所述的終端裝置，其特徵在於 所述辨別部將作為識別用而附加於由所述攝像部攝影的圖像內的被攝體上的繪圖辨別為所述本體圖像的識別用圖像。
15.根據權利要求14所述的終端裝置，其特徵在於 還包含第二合成部件，在由所述攝像部件攝影了作為識別用而附加於被攝體的繪圖的情況下，以所述第一合成圖像位於該繪圖的附近的方式，將所述第一合成圖像與所述繪圖合成，生成第二合成圖像， 所述顯示部顯示所述第二合成圖像。
16.一種管理裝置，其特徵在於包含 接收部，接收來自終端裝置的圖像； 生成部，根據該圖像，生成附屬圖像；和 生成圖像發送部，將由所述生成部件生成的所述附屬圖像發送到所述終端裝置。
17.一種附屬圖像生成方法，包含以下過程 將由終端裝置的攝像部攝影的圖像內被攝體辨別為本體圖像的識別用圖像，其中該終端裝置將所述本體圖像與附屬圖像合成後顯示合成圖像；和根據所述辨別的識別圖像來生成所述附屬圖像。
18.一種附屬圖像生成方法，包含以下過程將本體圖像與附屬圖像合成後顯示合成圖像； 將由攝像部攝影的圖像內被攝體辨別為所述本體圖像的識別用圖像；和 根據辨別的所述識別圖像來生成所述附屬圖像。
全文摘要
本發明的圖像系統中，在本體圖像(符號)中合成附屬圖像後顯示的便攜電話機與伺服器裝置經通信網絡進行圖像的收發。若便攜電話機側由攝像部攝影被攝體，則將攝影的圖像內被攝體辨別為符號的識別用圖像，伺服器裝置根據該辨別的識別圖像來生成附屬圖像。便攜電話機將生成的附屬圖像合成顯示於本體圖像(符號)。
文檔編號H04N7/08GK103024242SQ20121040238
公開日2013年4月3日 申請日期2012年9月20日 優先權日2011年9月21日
發明者大塚利彥 申請人:卡西歐計算機株式會社