交流支持裝置以及方法
2023-06-26 23:01:31 3
專利名稱：交流支持裝置以及方法
技術領域：
本發明涉及翻譯在使用不同語言的用戶之間使用的語言信息，並有效地提示給對方的交流支持裝置以及方法。
背景技術：
近年，普通人出國的機會在增加，另外，生活在其它國家的外國人也在增加。進而，網際網路等的通信技術和計算機網絡技術的進步也很顯著。由於接觸外語的機會和與外國人交流的機會增加，因而不同語言或者不同文化間交流的必要性提高。這從世界規模的統一性看也是必然潮流，可以認為今後這種趨勢更加顯著。
為了這種不同語言或者不同文化之間的交流，作為以不同語言為母語的人之間的交流的不同語言間交流，和作為具有不同文化背景的人之間的交流的不同文化間交流的必要性增加。
作為和說自己母語不同語言的人交流的方法，可以考慮一方的人學習對方(外國人)的語言的方法，和相互翻譯多種語言傳達給對方的翻譯的方法等。
但是，外語的學習對誰都不容易，另外，為了學習需要花費大量的時間。進而，假設即使可以學到1種外語，但與想要進行交流的對方進行交流時，也有不能使用自己已學會的語言的情況。這種情況下，需要學習第2、第3種外語，語言學習的困難性增大。另外，因為翻譯是具有特殊技能的專門職業，所以人數有限，僱傭翻譯的費用也很高，一般不太利用。
因而，一般人在旅行海外時考慮的方法是，利用在對譯的同時記述在將要遇到的場景中想好的會話短語的會話短語集。在會話短語集中，收錄有用於交流的定型短語表現。
但是，因為在會話短語集中收錄數受到限制，所以不能收羅在實際的會話中所需要的表現，不另人滿意。另外，使用者存儲被收錄在會話短語集中的定型短語的方法，和學習外語一樣是極其困難的。而且，因為會話短語是書籍，所以在實際的會話場面中，迅速查找記述有所需要表現的頁是困難的。因而，在實際的交流中不一定有效。
因而，有把這樣的會話集的數據電子化，例如作為可以攜帶大小的電子機器使用的電子翻譯機。使用者手持電子翻譯機，通過鍵盤和菜單選擇翻譯指定翻譯的文章。電子翻譯機把被輸入的文章轉換為另一國語言，把轉換(翻譯)後的文章顯示在顯示器上，或者聲音輸出。這樣，可以實現和對方的交流。
在電子翻譯機中，所需要的短語檢索的工作，與作為書籍的會話集相比，減輕了不少。但是，和會話集一樣，只能使用限定的定型短語，和局部改變該短語的一些擴展表現。即，使用不同語言的人士之間不能完美的交流。
另外，如果增加電子翻譯機的收錄短語，由於電子翻譯機的操作是通過鍵盤和菜單選擇進行的，所以選擇翻譯的文章困難。即，實際的交流中的有效性降低。
這樣，以往，存在沒有一種完美流暢地在使用不同語言的人士之間進行交流的工具的問題。
發明內容
本發明的目的在於提供可以在使用不同語言的人士之間流暢地進行交流的交流支持裝置以及方法。
在技術方案1中，描繪部，由在和顯示畫面之間具有規定的位置關係的多個使用者內規定的使用者，把基於第1種語言的描述信息描繪在上述顯示畫面上。轉換部，把基於上述第1種語言的描述信息轉換為基於第2種語言的信息。控制部，在上述多個使用者內，對應成為基於上述第2種語言的信息提供目標的另一使用者的位置，在上述顯示畫面上提示基於上述第2種語言的信息。因而，在相對顯示畫面的位置關係不同的多個使用者中，可以把基於作為轉換結果的第2種語言的信息，顯示在對方使用者容易看到的位置以及方向上。
在技術方案14中，輸入部，接受來自使用者的第1種語言的輸入信息。翻譯部，把上述第1種語言的輸入信息翻譯為對應於另一使用者的第2種語言的輸出信息。提示部，利用與另一使用者的位置對應的指向性，提示採用上述第2種語言的輸出信息。由此，可以把輸出信息提示在對方的使用者以使用的第2種語言容易看的方向上。
在技術方案27中，在描繪步驟中，由在和顯示畫面之間具有規定的位置關係的多個使用者內規定的使用者，把基於第1種語言的描述信息描繪在上述顯示畫面上。在轉換步驟中，把基於上述第1種語言的描述信息轉換為基於第2種語言的信息。在控制步驟中，在上述多個使用者內，對應成為基於上述第2種語言的信息提供目標的另一使用者的位置，在上述顯示畫面上提示基於上述第2種語言的信息。因而，在相對顯示畫面的位置關係不同的多個使用者中，可以把基於作為轉換結果的第2種語言的信息，顯示在對方使用者容易看到的位置以及方向上。
在技術方案28中，在輸入步驟中，接受來自使用者的使用第1種語言的輸入信息。在翻譯步驟中，把上述第1種語言的輸入信息翻譯為給另一使用者的第2種語言的輸出信息。在提示步驟中，利用對應上述另一使用者的位置的指向性，提示採用上述第2種語言的輸出信息。由此，可以以對方使用者使用的第2種語言中容易看到的方向上提示輸出信息。
圖1是展示本發明的實施方式1的交流支持裝置的方框圖。
圖2是展示在圖1中的顯示信息存儲部16的存儲內容的一例的說明圖。
圖3是展示在顯示畫面上描述的文字位置以及正方向的說明圖。
圖4展示在圖1中的配置信息存儲部17的存儲內容的一例的說明圖。
圖5是展示相對顯示畫面的使用者的配置位置以及正方向的說明圖。
圖6是用於說明本發明的實施方式1的動作的流程圖。
圖7是用於說明本發明的實施方式1的具體的使用方法的說明圖。
圖8是用於說明本發明的實施方式1的具體的使用法的說明圖。
圖9是展示本發明的實施方式2的交流支持裝置的方框圖。
圖10是用於說明圖9中的麥克風21a以及21b、揚聲器22a以及22b的實際的配置的說明圖。
具體實施例方式
以下，參照附圖詳細說明本發明的實施方式。圖1是展示本發明的實施方式1的交流支持裝置的方框圖。
本實施方式，鑑於近年的聲音識別技術和手寫輸入的自動識別技術的發展、自然語言處理技術，特別是對文本的機械翻譯技術的高速化以及精度的提高等的背景，靈活使用這些技術流暢地進行不同語言間的交流。
即，在本實施方式中，受理來自使用者的輸入信息，在進行作為信息的提供目標的另一使用者可以理解的翻譯處理後，通過對應該使用者的位置確定翻譯信息的提示方向，有效地支持使用者相互間的交流。
可是，作為對和說外語的外國人交流的有效的方法，有使用鋼筆、鉛筆和筆記本等，一邊畫圖和寫字一邊和對方對話的筆談的方法。在該方法中，通過以手寫顯示描繪和圖象，可以得到和對方的有效的交流。但是，只在描繪和圖形中，把可以表現的具體的事物以外的事物傳給對方困難。另外，因為進行交流的雙方的人的文化性背景不同，所以不依賴於記號和文化的符號和圖形未必有效。
另外，例如日語和漢語，即使是使用雙方都稱為漢字的共同的羅馬字母(文字)的語言之間，實際所使用的漢字的種類(形狀)也不同。
因而，在本實施方式中，考慮筆談具有的有效性，可以手寫輸入。即，在翻譯手寫輸入的文章的同時，把翻譯的文章顯示在與對方的位置相應的方向上或者以聲音輸出。由此，可以進行有效的交流。另外，這種情況下，即使是各種記號以及符號，由於根據各國的語言以及文化進行翻譯處理(轉換)，因而可以謀求交流的有效化。
在圖1中，交流支持裝置10，至少由1個以上的筆器件11、圖象顯示部12、磁性傳感器部13、文字記號識別部14、語言記號翻譯部15、顯示信息存儲部16、配置信息存儲部17，以及控制部18構成。
筆器件11(11a、11b、……)，在每個器件上，從筆尖輸出包含固有的識別信號的磁性信號。在圖象顯示部12上設置磁性傳感器部13，使用者用手拿著筆器件11，用筆尖在圖象顯示部12上描繪，由此可以手寫輸入文字、記號、圖形等的圖象信息。
圖象顯示部12，例如由液晶顯示器(LCD)等構成，根據後述的控制部18的指示，可以適宜地提示使用者文字和記號、圖形等的圖象信息。
磁性傳感器部13，通過受理各筆器件11發出的磁性信號進行解析，把與在各筆器件11的空間內的位置、移動等的軌跡有關的信息，與主體的接觸狀態，或者筆器件11的姿勢有關的信息作為筆輸入信息得到，輸出到控制部18。
在本實施方式中，控制部18，可以用與筆器件11的姿勢等有關的信息，檢測使用筆器件11的使用者和裝置10(圖象顯示部12)的相對位置關係。
文字記號識別部14，通過解析從控制部18提供的筆輸入信息，分離抽出手寫輸入的文字、記號、圖形、描繪圖象，把與筆尖的軌跡、種類、內容和位置或者方向有關的信息作為識別結果信息得到並輸出到控制部18。進而，筆器件的手寫輸入的識別處理，例如可以採用和在特許第3167799號「聯機手寫文字識別」中使用的方法一樣的方法。
在本實施方式中，控制部18，根據文字記號識別部14的識別結果檢測已輸入的文字記號等的方向，可以掌握手寫輸入成為識別對象的文字等的使用者和裝置10(圖象顯示部12)的相對位置關係。另外，控制部18，檢測文字記號等是否與某種語言對應，根據檢測結果，可以掌握輸入了與各語言對應的文字的使用者和裝置10(圖象顯示部12)的相對位置關係。
另外，控制部18，解析手寫輸入，通過抽出分析與手寫輸入時的筆跡和筆壓有關的信息，和輸入圖象的特徵等，還可以判定進行手寫輸入的使用者。具體地說，可以判定使用者和裝置10(圖象顯示部12)的相對位置關係，或者使用者10的使用語言種類。
語言記號翻譯部15，從由控制部18提供的識別結果信息中，抽出語言信息，和語言種類或者文化固有的記號，翻譯成目標語言，把翻譯結果信息輸出到控制部18。進而，語言信息的翻譯處理，可以採用和在例如特許第3131432號「機器翻譯方法以及機器翻譯裝置」中使用的方法一樣的方法。
控制部18，根據筆尖輸入信息、識別結果信息、翻譯結果信息等得到各種顯示信息。控制部18，適宜分類這些各種顯示信息，保存在顯示信息存儲部16中。
圖2是展示在圖1中的顯示信息存儲部16的存儲內容的一例的說明圖。
如圖2所示，顯示信息存儲部16，把已輸入的信息，分成ID信息、位置信息、方向信息、種類信息、軌跡信息、對譯ID信息、內容信息等存儲。
在圖2所示的顯示信息存儲部16的各輸入中，在ID信息欄中，記述各輸入的識別記號。在位置信息欄中，在各顯示信息的圖象顯示部12中的位置以及區域，作為基於圖象顯示部12的坐標系的坐標記錄。如圖3所示，圖象顯示部12上的畫面位置，以左上角為原點，用在向右方向延伸的X軸上的坐標值，和向下方延伸的在Y軸上的坐標值的組表示為(X，Y)。例如，在圖2中ID信息的13的輸入位置信息的值L3，具體地說可以記述為圖3中的(10，20)等。
在圖2、圖3的例子中，與該13的輸入對應的輸入是表示日語的「家」的日語文字，表示被顯示在顯示畫面上的坐標(10，20)的位置上的文字。
在方向信息欄中，各顯示信息的正方向，用基於畫面上的坐標系的向量表現。進而，關於不具有正方向的顯示信息，記錄記號「-。
在種類信息欄中，各顯示信息的種類記錄為「圖形」、「日語」、「英語」、「日語記號」、「英語記號」等。在軌跡信息欄中，記錄與從筆輸入信息得到的各顯示信息對應的輸入描繪軌跡。進而，在與用語言記號翻譯部15得到的翻譯結果對應的輸入中，因為不存在軌跡信息，所以記錄記號 「-。
另外，在對譯ID信息欄中，記錄作為翻譯對對應的顯示信息的輸入ID信息。進而，在翻譯對不存在的輸入中，記錄記號 「-。
在內容信息欄中，記錄要顯示在畫面顯示部12上的信息的內容。進而，在圖形等中，在該欄中記述記號「-，它表示軌跡信息是要直接顯示的信息。
在圖1中，配置信息存儲部17，記錄與各利用者相對裝置10(圖象顯示部12)的空間配置有關的信息，圖4是展示圖1中的配置信息存儲部17的內容的一例的說明圖。
如圖4所示，配置信息，可以分成用戶ID信息、配置信息以及正方向信息等存儲。在配置信息存儲部17的各輸入中，在用戶ID信息欄中，記錄用於識別各用戶的記號。在配置信息的欄中，對應的用戶和裝置10的空間性的位置關係，沿著裝置10的圖象顯示部12的畫面上的坐標系敘述。
即，用把作為圖象顯示部12的畫面上的坐標系採用的X軸以及Y軸向+以及-兩方向外推的坐標軸，表現裝置10和各使用者的位置。例如，當圖4的用戶ID信息是使用者J輸入的，其配置信息P1的值是(200，-150)的情況下，如圖5所示，使用者在使用者與Y軸的負方向(從圖象顯示部12的畫面看的上方向)的坐標值150對應的位置上。
另外，在正方向信息欄中，從對應的用戶看為正的方向，沿著圖象顯示部12的畫面上的坐標形用向量表現記錄。該正方向，作為向該用戶顯示信息時的顯示方向使用。
在圖1中，控制部18控制裝置10的各部。
另外，控制部18，還具有樣式信息檢測功能，它解析手寫輸入，檢測在該手寫輸入中使用的作為表現的樣式信息的輸入樣式信息。而後，控制部18，把語言種類信息和對應的輸入樣式信息作為組存儲。因而，控制部18，還可以參照存儲的信息的組，對應輸出信息的語言種類，控制輸出樣式使其和用同一種語言形成的輸入樣式相同。
以下，參照圖6說明這樣構成的實施方式的動作。圖6是與控制部18進行的處理程序對應的流程圖。
在此，假定對各使用者來說在配置信息存儲部17中準備輸入。即，與相對使用者的裝置10的位置和正方向有關的信息，用上述的方法取得，預先存儲在配置信息存儲部17中。
在圖6的步驟S1中，控制部18，變為筆輸入發生的待機狀態。如果使用者使用筆器件11進行手寫輸入，則磁性傳感器部13，檢測使用者通過筆器件11操作的筆尖的位置以及狀態，在控制部18中作為筆輸入信息隨時輸出。
以下，在步驟S2中，進行顯示信息的存儲。即，控制部18，如果接受筆輸入信息，則把該信息輸出到文字記號識別部14。在步驟S3中，文字記號識別部14對筆輸入進行語言記號識別處理，把識別結果信息輸出到控制部18。
控制部18，如果接受來自文字記號識別部14的識別結果信息，則在顯示信息存儲部16內準備新的輸入，適宜地分類接受到的信息存儲。這時，在該輸入的對譯ID信息的欄中存儲記號「-。
控制部18，在步驟S4中，專注種類信息的欄和對譯ID信息的欄檢索顯示信息存儲部16的各輸入。在此，從對譯ID信息的內容是「-」的信息之中，抽出種類信息的內容，是語言的種類(日語，英語等)，或者是依賴語言的記號的種類(日語記號、英語記號等)的輸入。
控制部18，對於被抽出的全部的輸入Es，重複以後步驟S5～S7的處理。即，控制部18，把未記錄對譯的輸入的識別結果信息發送到語言記號翻譯部15。語言記號翻譯部15，在步驟S5中，對識別結果信息進行翻譯處理，得到翻譯結果信息Rs。語言記號翻譯部15，把翻譯結果信息Rs輸出到控制部18。
以下，控制部18，在步驟S6中，在顯示信息存儲部16中準備新的輸入Et，在輸入Et的種類信息的欄中，記錄翻譯結果信息Rs的翻譯結果的種類。另外，控制部18，在輸入Et的內容信息的欄中，記錄翻譯結果信息Rs的翻譯結果。
以下，控制部18，在步驟S7中，參照配置信息存儲部17，得到與該輸入Ed對應的應該接受翻譯結果的用戶的配置信息的值Pt，和正方向信息的值Vt。而後，控制部18，在輸入Et的方向信息欄中，記錄值Vt。控制部18，參照顯示信息存儲部16的內容，查找不會和另一輸入的位置信息重複，並且與輸入Es的位置信息表示的位置接近的位置Lt，記錄在輸入Et的位置信息欄中。
以下，在步驟S8中，讀出下一輸入的信息，重複步驟S4～S8的處理。如果記錄全部的輸入的對譯，則轉移至步驟S9，進行顯示。
即，控制部18，參照顯示信息存儲部16的內容，把各個輸入表示的內容輸出到圖象顯示部12，使得在各個輸入的位置信息表示的位置上，把各個輸入的方向信息表示的方向作為正方向顯示。
以下，參照圖7以及圖8的說明圖。說明具體的使用方法。圖7以及圖8的說明圖與圖2對應。
圖7假想使用日語的第1使用者J，和使用英語的第2使用者E面對面，把裝置10放置在兩者之間，一邊描繪地圖一邊說明地點的場面。圖8展示圖象顯示部12的畫面顯示的推移。
現在，如圖8(a)所示，使用者J用筆器件11，輸入表示河流的線I1。通過該輸入，執行圖6的步驟S1、S2的處理，在顯示信息存儲部16上生成ID信息＝I1的輸入。
該輸入I1，其種類是圖形。文字記號識別部14，識別手寫輸入不是文字或者記號。因而，這種情況下，控制部18，從圖6的步驟S4至步驟S9一步步處理，只把用戶輸入的描繪線直接輸出到圖象顯示部12。這樣在圖象顯示部12的畫面上顯示河流的繪畫。
以下，假設使用者J輸入表示家的線描繪圖形I2。於是，如圖8(b)所示，在顯示信息存儲部16中產生I2的輸入，直接追加該線描繪圖形，顯示在圖象顯示部12的畫面上。
在此，假設使用者J，在表示家的線描繪圖形附近，用日語輸入「家」。於是，由控制部18在顯示信息存儲部16中生成I3的輸入。該輸入，是可以翻譯的語言信息，根據文字記號識別部14的識別結果，在顯示信息存儲部16中生成作為對譯的英語「HOME」的輸入I4。另外，控制部18，設定為使與輸入I4對應的顯示位置與其它的顯示位置不重複，在作為翻譯的原語言的日語的「家」附近，並且在靠近使用者E的位置附近，該文字的方向從使用者E看為正方向(步驟S5～S8)。
根據控制部18的設定，如圖8(c)所示，在步驟S9中，加上此前的顯示內容，顯示由使用者J輸入的日語的文字「家」。進而，如圖8(d)所示，在其附近作為英語對譯的英語字符串「HOME」，從使用者E看顯示為正向。
以下，如圖8(e)所示，由使用者E，手寫輸入表示橋的線描繪圖形15，和英語字符串I6「bridge」。對此同樣進行上述各處理，追加從使用者J看正向的日語的對譯字符串I7「橋」。
以下，假設使用者J手寫表示郵局的記號I8 於是，文字記號識別部14把用手寫描繪的圖案作為語言文化特有的符號抽出。進而，語言記號翻譯部15，對該符號，得到英語的字符串I9「postoffice」的翻譯結果。控制部18，在從使用者看的正方向上，把該字符串作為注釋追加顯示(圖8(f))。
這樣在本實施方式中，判定使用者的手寫信息是否是文字記號，不只是文字，對記號也可以進行對應於對方使用者的翻譯處理。進而，在該使用者正向的方向上，把翻譯結果作為信息提示。不只是文字，因為採用利用記號和繪畫的筆談，所以即使在定型短語等的用於交流的表現收錄數少的情況下，也可以向對方提供交流所需要的很多信息。而且，可以進行文字和繪畫的手寫輸入，輸入操作極其容易。即，因為進行繪畫和記號和文字的複合性翻譯處理，所以極其簡單地進行使用圖象的交流，在地點的說明等中有效。而且，即使對於不是原本翻譯的對象的記號和符號等，也可以進行用文字表現的這種翻譯處理，可以容易理解信息。
進而，在本實施方式中，根據各使用者的位置，確定信息的提示位置以及方向。因而，可以同時正向看自己寫的文字記號和對方寫的文字記號的翻譯結果，可以極其有效地支持交流。
例如，假設多個使用者共有1個共用顯示畫面，多個使用者在該共用顯示畫面內，用各個筆器件進行手寫輸入的情況。例如假設在說日語的第1使用者描繪的圖形的橫向上，第1使用者用日語進一步寫入注釋。而且，把該日語的注釋，例如向說英語的第2使用者翻譯為英語，和原日語注釋並列顯示。這種情況下，在該圖形的附近區域中，在距第2使用者物理上近的位置上，顯示被翻譯為英語的注釋。
另外例如，假設隔著桌子相對的，說日語的第1使用者和說英語的第2使用者，把1個共用顯示畫面平放在位於兩者之間的桌子上使用的情況。在第1使用者在描繪的圖形的橫方向上用日語進一步寫入注釋時，把日語注釋的英語的翻譯結果向著第2使用者顯示。這種情況下，在該圖形的附近區域中，在向著從第2使用者看正向的方向上，顯示英語的注釋。
另外例如，當受理來自使用者的手寫輸入的情況下，例如通過解析輸入文字和圖形的方向，或者輸入筆畫的行進方向等，檢測進行該輸入的使用者相對裝置10的空間性位置關係。根據該信息，控制對各使用者提示的信息的提示方法，對該使用者提示採用文字信息的信息。這時，參照在上述的處理中檢測出的使用者的位置信息，輸出相對該用戶的文字信息，使得從該使用者的位置看是正向。
另外例如，由通過受理來自使用者的手寫輸入，解析被包含在其中的文字的種類，辨認所使用的語言的種類。使用該原語言種類信息，可以用於控制對使用者的輸出的樣式。
另外例如，通過解析來自第1使用者的手寫輸入，確認該輸入是用日語進行的，和包含在其中的文字的正方向。以下，把來自第2使用者的英語輸入翻譯為日語，提示給第1使用者。這時，在通過上述處理確認的和來自第1使用者採用日語手寫輸入的正方向相同的方向上，輸出作為來自第2使用者的英語輸入翻譯結果的採用日語的信息。
另外例如，還可以存儲第1使用者使用日語，第2使用者使用英語這一信息。即，在受理來自使用者的輸入時，解析該輸入判定該語言種類，與使用者的空間位置信息的判定結果對應地存儲，還可以在後面的信息的提示方法的控制中使用。
在上述的實施方式中，作為輸入裝置使用具有筆器件以及磁性傳感器部的圖象顯示部，作為提示裝置使用圖象顯示部。但是，通過使用輸入輸出聲音的麥克風和揚聲器，即使使用聲音也可以進行同樣的交流支持。
圖9是展示本發明的實施方式2的方框圖，展示可以採用聲音的交流支持裝置。在圖9中，在和圖1同樣的構成要素上賦予同一符號並省略說明。
本實施方式的交流支持裝置20，在附加麥克風21a以及21b、揚聲器22a以及22b的同時，附加聲音識別部25、聲音翻譯部26以及聲音輸出部27這一點和圖1的實施方式不同。
圖10是用於說明麥克風21a以及21b，揚聲器22a以及22b的實際的配置的說明圖。如圖10所示，一對麥克風21a以及21b被安裝在圖象顯示部12的一邊的兩端上，一對揚聲器22a以及22b被安裝在與安裝有一對麥克風的一邊相對的邊的兩端上。
麥克風21a以及21b把取得的聲音信號輸出到控制部18。一對麥克風21a以及21b只以規定的間隔配置。通過來自各麥克風21a以及21b的聲音信號的時間性的延遲關係，控制部18，可以特定發出被麥克風21a、以及21b取入的聲音信號的使用者的位置。
控制部18，把來自麥克風21a以及21b的聲音信號付與聲音識別部25。聲音識別部25，聲音識別已被輸入的聲音信號，把識別結果返回控制部18。控制部18，把聲音識別結果輸出到聲音翻譯部26。聲音翻譯部26，翻譯被輸入的聲音識別結果後返回控制部18。控制部18，把來自聲音翻譯部26的翻譯結果輸出到聲音輸出部27。
聲音輸出部27具備音像定位裝置28。聲音輸出部27，把被輸入的翻譯結果轉換為聲音信號。聲音定位裝置28，調整聲音信號的電平、聲音以及相位，使得將翻譯結果的聲音信號，朝著作為其提供目標的使用者定位。這樣，音像輸出部，把調整後的聲音信號輸出到各揚聲器22a以及22b。
進而，麥克風以及揚聲器的數不只是2個，也可以採用分別設置3個以上的麥克風排列以及揚聲器排列。
進而，控制部18，可以解析聲音輸入，也可以抽出與從聲音輸入信號得到的聲紋和發生樣式有關的信息分析。這樣，還可以判定進行聲音輸入的使用者。
在這樣構成的實施方式中，不只是手寫輸入，還可以是聲音輸入。而且，可以把該聲音輸入的語言，翻譯為對方使用者可以聽懂的語言，向對方所在位置輸出聲音。
另外，控制部18，通過把手寫輸入的識別結果付與聲音翻譯部26，還可以把手寫輸入的文章用對方的語言向對方以聲音輸出。另外相反，控制部18，由於把聲音輸入的識別結果付與語言記號翻譯部15，還可以把聲音輸入的文章轉換為與對方的語言對應的文字記號顯示在圖象顯示部12的畫面上。
這樣，在本實施方式中，不只在共用顯示畫面上對應相互位置進行基於相互語言的圖象顯示，而且把使用者發出的聲音轉換為對方語言的聲音，可以向對方的位置輸出聲音。由此，可以顯著提高交流的效率。
例如，說日語的第1使用者和說英語的第2使用者，在處於1個共用顯示畫面的右方和左方的狀態下，向第1使用者輸出的日語的聲音信號，被控制輸出在第1使用者的右方向上例如音量變大，向第2使用者輸出的英語的聲音信號，被控制輸出在第2聲音者所在的左方向上例如音量增大。
例如，採用具有多個麥克風，根據從各麥克風得到的音量信號的時間性延遲關係，檢測發出各個聲音信號的空間內的位置的麥克風排列技術，檢測裝置20和使用者的空間性的配置關係。根據該信息，可以把採用文字和圖象的信息配置在距離接受該信息的使用者近的位置上，在對該使用者為正的方向上提示，或者把聲音信息定位在接受該信息的使用者的位置上。
另外例如，接受來自使用者的聲音輸入，通過解析聲音輸入，辨別發出各聲音輸入的使用者。利用該信息，解析裝置20和各使用者的空間性位置關係，還可以用於控制對使用者的輸出樣式。
本發明並不限於上述的各實施方式。例如，在手寫輸入中使用的筆器件中，嵌入磁性標記，通過用磁性傳感器解析該標記信息。解析筆器件的空間性位置和姿勢。這樣，也可以檢測出本裝置和使用者之間的空間性的配置關係。
另外，使用本裝置的各使用者把無線標記帶在身邊，用具有指向性的天線讀取解析該無線標記信息。這樣也可以檢測出本裝置和使用者的空間性配置關係。
另外，輸入不只可以由使用者實時進行，也可以經由介質和網絡提供。
另外，手寫輸入和聲音輸入等，也可以同時並用多個輸入裝置。
另外，輸入例如也可以通過菜單選擇等進行。
另外，也可以是輸入以聲音，輸出以文字圖象信息等，輸入和輸出以不同裝置(介質)進行。
另外，也可以是一方的使用者以聲音進行輸入，另一方的使用者以手寫輸入等，每個使用者的輸入裝置不同。
另外，也可以是對一方的使用者以聲音輸出，對另一方的使用者以文字圖象輸出等，每個使用者的輸出裝置不同。
另外，除了進行語言翻譯的功能，還可以把聲音信號轉換為文字信號等，並用介質轉換功能。
另外，也可以同時輸出給多個使用者。
另外，還可以具有多個輸出部和輸入部。
另外，在上述實施方式中，展示了多名使用者共用1個裝置，其構成也可以是相互通信的多臺機器。
另外，也可以把語言種類判定處理的結果，利用在翻譯方向的確定上。
另外，也可以把輸入者判定處理的結果，作為該輸入者的使用語言種類，利用到翻譯方向的確定上。
另外，當可以作為使用者用手拿著的便攜裝置實現的情況下，由於具備檢測在主體的空間內的姿勢的裝置，因而也可以並用該信息控制輸出的形式。
另外，在上述例子中，展示了控制文字的方向的例子，例如，也可以使用半透明顯示、多顏色顯示、立體顯示等。
另外，各使用者所使用的語言並不限於1種，使用語言也可以有多種。
另外，使用者使用的語言，可以預先設定，或者，可以由使用者適宜的確定。
另外，在使用者和本裝置的位置關係的檢測處理中，也可以使用對人傳感器、臉和手識別等圖象識別技術、運動捕獲技術進行等。
另外，在控制聲音信號的輸出形式時，在不是接受該聲音信號的使用者的使用者的位置上，可以屏蔽該聲音信號，使得其減小或者不能聽到。
另外，在上述各實施方式中，展示了作為裝置實現本發明的例子，但在上述的具體例子中展示的處理步驟，即使把流程圖作為程序記述、安裝，用通用的計算機同樣地執行也可以得到同樣的功能和效果。
即，上述實施方式所述的方法，作為可以使計算機執行的程序，如果用磁碟(軟盤、硬碟等)、光碟(CD-ROM、DVD等)半導體存儲器等的記錄介質把程序讀入計算機，用CPU部執行，則可以實現本發明的交流支持裝置。
如上所述如果採用本發明，則具有可以實現在使用不同語言的人之間的流暢交流的效果。
權利要求
1.一種交流支持裝置，其特徵在於包含描繪部，由相對顯示畫面在具有規定的位置關係位置上的多個使用者內的規定的使用者，把基於第1種語言的描繪信息描繪在上述顯示畫面上；轉換部，把基於上述第1種語言的描繪信息轉換為基於第2種語言的轉換信息；控制部，在上述多個使用者內，根據成為基於上述第2種語言的信息提供目標的另一使用者的位置，在上述顯示畫面上把基於上述第2種語言的信息提示到上述顯示畫面上。
2.權利要求1所述的交流支持裝置，其特徵在於上述描繪信息，是文字、單詞、文章以及記號內的至少1種。
3.權利要求1所述的交流支持裝置，其特徵在於上述描繪部，輸入由上述多個使用者各自手寫的描繪信息。
4.權利要求3所述的交流支持裝置，其特徵在於上述控制部，根據用上述描繪部輸入的描繪信息的特徵，判定相對上述顯示畫面的各使用者的配置、正方向，或者語言種類。
5.權利要求4所述的交流支持裝置，其特徵在於進一步具備對應各使用者ID，存儲配置信息以及正方向信息的配置信息存儲部。
6.權利要求2所述的交流支持裝置，其特徵在於上述轉換部，從基於上述第1種語言的描繪信息中抽出語言依賴數據，把該語言依賴數據翻譯成第2種語言。
7.權利要求6所述的交流支持裝置，其特徵在於上述轉換部，把基於第1種語言的記號信息翻譯為基於第2種語言的單詞信息。
8.權利要求6所述的交流支持裝置，其特徵在於進一步具備，在用上述描繪部輸入基於上述第1種語言的描繪信息時，與該描繪信息ID對應地，存儲在上述顯示畫面上的位置、方向、種類以及描繪內容的顯示信息存儲部。
9.權利要求8所述的交流支持裝置，其特徵在於上述控制部，當被存儲在上述顯示信息存儲部中的描繪信息的種類是語言依賴數據的情況下，與該描繪信息ID的對譯ID對應地，把採用第2種語言的翻譯結果作為描繪內容存儲在上述顯示信息存儲部中。
10.權利要求9所述的交流支持裝置，其特徵在於上述控制部，參照上述顯示信息存儲部，把在基於上述第1種語言的描繪信息附近，和另一描繪信息不重合的位置，作為採用上述第2種語言的翻譯結果的位置信息，與上述對譯ID對應地存儲在上述顯示信息存儲部中。
11.權利要求10所述的交流支持裝置，其特徵在於上述控制部，從上述配置信息存儲部中檢索成為採用上述第2種語言的翻譯結果的提供目標的使用者的正方向信息，把該正方向信息作為採用上述第2種語言的翻譯結果的方向信息，與上述對譯ID對應地存儲在上述顯示信息存儲部中。
12.權利要求11所述的交流支持裝置，其特徵在於上述控制部，參照上述顯示信息存儲部，根據該位置信息以及方向信息把採用上述第2種語言的翻譯結果顯示在上述顯示畫面上。
13.權利要求4所述的交流支持裝置，其特徵在於上述控制部，解析上述描繪信息，檢索在該描繪信息中使用的輸入樣式信息，把該輸入樣式信息與該語言種類對應地存儲。
14.權利要求13所述的交流支持裝置，其特徵在於上述控制部，使用與應該提示的上述信息的語言種類對應的上述輸入樣式信息，確定上述信息的輸出樣式。
15.權利要求1所述的交流支持裝置，其特徵在於上述控制部，利用無線標記或者磁性標記，檢索相對上述顯示畫面的各使用者的位置。
16.一種交流支持裝置，其特徵在於包含輸入部，接受來自使用者的第1種語言的輸入消息；翻譯部，把上述第1種語言的輸入消息翻譯為對另一使用者的第2種語言的輸出消息；提示部，利用與上述另一使用者的位置對應的指向性，提示採用上述第2種語言的輸出消息。
17.權利要求16所述的交流支持裝置，其特徵在於上述輸入輸出消息，是包含口語以及非語言聲音內的至少一種的聲音信號。
18.權利要求17所述的交流支持裝置，其特徵在於上述輸入部，把多個使用者各自發出的聲音作為聲音消息輸入。
19.權利要求18所述的交流支持裝置，其特徵在於進一步包含根據來自上述輸入部的聲音消息的特徵，檢索上述多個使用者各自的空間配置的控制部。
20.權利要求19所述的交流支持裝置，其特徵在於上述控制部，根據從上述聲音消息得到的與聲門以及發生樣式有關的信息，判定輸入上述聲音消息的使用者的語言種類。
21.權利要求20所述的交流支持裝置，其特徵在於進一步包含存儲上述多個使用者各自的空間性配置以及語言種類的配置信息存儲部。
22.權利要求21所述的交流支持裝置，其特徵在於上述翻譯部，從上述配置信息存儲部中特定作為聲音消息的提供目標的另一使用者的語言種類，把採用上述第1種語言的聲音輸入信息翻譯為該語言種類的聲音輸出消息。
23.權利要求22所述的交流支持裝置，其特徵在於上述控制部，從上述配置信息存儲部中檢索上述另一使用者的空間性配置，根據該空間性配置的指向性從上述提示部提示上述聲音輸出消息。
24.權利要求16所述的交流支持裝置，其特徵在於上述輸入部，作為上述輸入消息接受由使用者進行的手寫描繪信息。
25.權利要求16所述的交流支持裝置，其特徵在於上述提示部，作為上述輸出消息，使用文字、單詞、文章以及記號的至少一種的圖象信息。
26.權利要求16所述的交流支持裝置，其特徵在於上述控制部，利用無線標記或者磁性標記，檢索相對上述顯示畫面的各使用者的位置。
27.一種交流支持方法，其特徵在於包含描繪步驟，由相對顯示畫面在具有規定的位置關係位置上的多個使用者內的規定的使用者，把基於第1種語言的描繪信息描繪在上述顯示畫面上；轉換步驟，把基於上述第1種語言的描繪信息轉換為基於第2種語言的信息；提示步驟，在上述多個使用者內，根據成為基於上述第2種語言的信息提供目標的另一使用者的位置，在上述顯示畫面上提示基於上述第2種語言的信息。
28.一種交流支持方法，其特徵在於包含輸入步驟，接受來自使用者的採用第1種語言的輸入信息；翻譯步驟，把上述第1種語言的輸入消息翻譯為對另一使用者的第2種語言的輸出消息；提示步驟，利用與上述另一使用者的位置對應的指向性，提示採用上述第2種語言的輸出消息。
全文摘要
本發明提供了交流支持裝置以及方法。用於有效地支持使用不同語言的使用者之間的交流。其中,磁性傳感器部(13),檢測採用筆器件(11)的手寫輸入。文字記號識別部(14),根據手寫輸入識別文字記號,語言記號翻譯部(15),翻譯被識別後的文字記號。控制部(18),例如通過筆器件(11)的操作,求使用者的位置,把使用者的位置信息存儲在配置信息存儲部(17)中。另外,控制部(18),把翻譯結果向著與使用者的位置對應的方向顯示在圖象顯示部(12)的畫面上。進而,控制部(18),直接顯示圖案,對文字以及記號進行翻譯處理。由此,可以有效地支持交流。
文檔編號G10L17/00GK1423216SQ02152408
公開日2003年6月11日 申請日期2002年11月22日 優先權日2001年11月22日
發明者知野哲朗 申請人:株式會社東芝