顯示裝置、投影儀和顯示控制方法與流程

2023-05-15 19:21:06 5

本發明涉及顯示與由指示體指示的位置對應的圖像的顯示裝置、投影儀和顯示控制方法。

背景技術：

公知有如下技術：在投影儀等顯示裝置中，檢測屏幕上的電子筆(指示體)的位置，投射與電子筆的軌跡對應的圖像(手繪圖像)。該功能被稱為電子黑板功能或電子白板功能。在具有電子黑板功能的投影儀中，利用畫面尺寸較大的性質，將畫面分割成多個，使用多個電子筆在各個區域中獨立地描繪手繪圖像(例如專利文獻1和2)。

現有技術文獻

專利文獻

專利文獻1：日本特開2013-168142號公報

專利文獻2：日本特開2013-235416號公報

技術實現要素：

發明要解決的課題

在電子黑板系統中，能夠使用個人計算機中普及的剪切粘貼和複製粘貼。但是，在專利文獻1和2所記載的技術中，存在如下問題：在利用第1指示體對假想對象進行剪切後且進行粘貼前、第2指示體對其他假想對象進行了剪切的情況下，在被稱為剪貼緩衝區的存儲區域中存儲其他假想對象的數據，然後，當利用第1指示體指示粘貼時，會粘貼其他假想對象。

與此相對，本發明提供在顯示與多個指示體的位置對應的圖像的顯示裝置中進一步提高剪切粘貼或複製粘貼的功能的便利性的技術。

用於解決課題的手段

本發明提供一種顯示裝置，其具有：顯示單元，其顯示圖像；檢測單元，其檢測所述圖像上的、第1指示體的位置和第2指示體的位置；存儲單元，其具有與所述第1指示體以及所述第2指示體對應的存儲區域；存儲控制單元，其將與所述第1指示體相關聯的第1假想對象和識別該第1指示體的第1標識符對應起來存儲在所述存儲區域中，將與所述第2指示體相關聯的第2假想對象和識別該第2指示體的第2標識符對應起來存儲在所述存儲區域中；以及粘貼單元，其根據所述第1指示體的操作將所述存儲區域中與所述第1標識符對應起來存儲的第1假想對象粘貼在所述圖像上，根據所述第2指示體的操作將所述存儲區域中與所述第2標識符對應起來存儲的第2假想對象粘貼在所述圖像上。根據該顯示裝置，能夠針對第1指示體和第2指示體分別獨立地進行剪切粘貼或複製粘貼。

也可以是，該顯示裝置具有切換單元，該切換單元將所述粘貼單元的動作模式切換為包含第1模式和第2模式在內的多個動作模式中的任意一個，在所述第1模式中，所述粘貼單元根據所述第1指示體的操作將所述存儲區域中與所述第1標識符對應起來存儲的第1假想對象粘貼在所述圖像上，根據所述第2指示體的操作將所述存儲區域中與所述第2標識符對應起來存儲的第2假想對象粘貼在所述圖像上，在所述第2模式中，所述粘貼單元根據所述第1指示體或所述第2指示體的操作將所述第1假想對象和所述第2假想對象中的最後存儲在所述存儲區域中的假想對象粘貼在所述圖像上。根據該顯示裝置，能夠切換針對第1指示體和第2指示體分別獨立地進行剪切粘貼或複製粘貼的模式和針對第1指示體和第2指示體共通地進行剪切粘貼或複製粘貼的模式。

也可以是，所述檢測單元檢測所述圖像上的第3指示體的位置，所述粘貼單元根據所述第3指示體的操作將所述第1假想對象和所述第2假想對象中的最後存儲在所述存儲區域中的假想對象粘貼在所述圖像上。根據該顯示裝置，針對第3指示體，能夠與第1指示體和第2指示體共通地進行剪切粘貼或複製粘貼。

也可以是，所述第3指示體是用戶的手指。根據該顯示裝置，針對用戶的手指，能夠與第1指示體和第2指示體共通地進行剪切粘貼或複製粘貼。

也可以是，所述第1假想對象是使用所述第1指示體被指示進行複製的假想對象。根據該顯示裝置，能夠針對使用第1指示體被指示進行複製的假想對象進行複製粘貼。

也可以是，所述第1假想對象是使用所述第1指示體描繪的假想對象。根據該顯示裝置，能夠針對由第1指示體描繪的假想對象進行剪切粘貼或複製粘貼。

該顯示裝置也可以是，所述第1假想對象是使用所述第1指示體選擇的假想對象。根據該顯示裝置，能夠針對由第1指示體選擇的假想對象進行剪切粘貼或複製粘貼。

並且，本發明提供一種投影儀，其具有：投射單元，其投射圖像；檢測單元，其檢測所述圖像上的、第1指示體的位置和第2指示體的位置；存儲單元，其具有與所述第1指示體以及所述第2指示體對應的存儲區域；存儲控制單元，其將與所述第1指示體相關聯的第1假想對象和識別該第1指示體的第1標識符對應起來存儲在所述存儲區域中，將與所述第2指示體相關聯的第2假想對象和識別該第2指示體的第2標識符對應起來存儲在所述存儲區域中；以及粘貼單元，其根據所述第1指示體的操作將所述存儲區域中與所述第1標識符對應起來存儲的第1假想對象粘貼在所述圖像上，根據所述第2指示體的操作將所述存儲區域中與所述第2標識符對應起來存儲的第2假想對象粘貼在所述圖像上。根據該投影儀，能夠針對第1指示體和第2指示體分別獨立地進行剪切粘貼或複製粘貼。

進而，本發明提供一種顯示控制方法，是顯示裝置中的顯示控制方法，該顯示裝置具有顯示圖像的顯示單元以及存儲單元，該存儲單元具有與第1指示體以及第2指示體對應的存儲區域，所述顯示控制方法具有以下步驟：檢測所述圖像上的、所述第1指示體的位置和所述第2指示體的位置；將與所述第1指示體相關聯的第1假想對象和識別該第1指示體的第1標識符對應起來存儲在所述存儲區域中，將與所述第2指示體相關聯的第2假想對象和識別該第2指示體的第2標識符對應起來存儲在所述存儲區域中；以及根據所述第1指示體的操作將所述存儲區域中與所述第1標識符對應起來存儲的第1假想對象粘貼在所述圖像上，根據所述第2指示體的操作將所述存儲區域中與所述第2標識符對應起來存儲的第2假想對象粘貼在所述圖像上。根據該顯示控制方法，能夠針對第1指示體和第2指示體分別獨立地進行剪切粘貼或複製粘貼。

附圖說明

圖1是示出一個實施方式的顯示裝置1的功能結構的圖。

圖2是例示一個實施方式的顯示裝置1的硬體結構的圖。

圖3是示出關聯技術的顯示裝置1的動作的流程圖。

圖4是例示處理的菜單的圖。

圖5是示出一個實施方式的顯示裝置1的動作的流程圖。

具體實施方式

1.結構

圖1是示出一個實施方式的顯示裝置1的功能結構的圖。顯示裝置1是顯示與指示體(例如電子筆)的軌跡對應的圖像的裝置。顯示裝置1具有獨立地檢測第1指示體和第2指示體這2個指示體的軌跡的功能。

顯示裝置1具有顯示單元10、檢測單元11、存儲單元12、存儲控制單元13、粘貼單元14、切換單元15。顯示單元10顯示與所供給的圖像數據對應的圖像。檢測單元11檢測第1指示體的位置和第2指示體的位置。存儲單元12具有與第1指示體以及第2指示體對應的存儲區域，存儲第1假想對象和第2假想對象。第1假想對象是與第1指示體相關聯的假想對象，第2假想對象是與第2指示體相關聯的假想對象。假想對象是指由數據表示的假想的對象、例如圖像、線畫、圖形、圖標、字符串。存儲控制單元13將第1假想對象與第1標識符對應起來存儲在存儲單元12的存儲區域中，將第2假想對象與第2標識符對應起來存儲在存儲單元12的存儲區域中。第1標識符是識別第1指示體的標識符，第2標識符是識別第2指示體的標識符。粘貼單元14根據指示體的操作將存儲在存儲單元12的存儲區域中的假想對象粘貼在由顯示單元10顯示的圖像上。切換單元15將粘貼單元14的動作模式切換為包含第1模式和第2模式的多個動作模式中的任意一個。在第1模式中，粘貼單元14根據第1指示體的操作，將與第1標識符對應起來存儲在存儲區域中的第1假想對象粘貼在圖像上，根據第2指示體的操作，將與第2標識符對應起來存儲在存儲區域中的第2假想對象粘貼在圖像上。另外，在第2模式中，粘貼單元14根據第1指示體或第2指示體的操作，將第1假想對象和第2假想對象中的最後存儲在存儲單元12的存儲區域中的假想對象粘貼在圖像上。

圖2是例示一個實施方式的顯示裝置1的硬體結構的圖。在該例子中，顯示裝置1是具有所謂的白板功能(有時也稱為電子黑板功能或交互式功能)的投影儀。作為白板功能中的指示體，使用電子筆2和電子筆3。

顯示裝置1具有cpu(centralprocessingunit)100、rom(readonlymemory)101、ram(randomaccessmemory)102、存儲部103、if(接口)部104、圖像處理電路105、投射單元106、攝像部107、操作面板108。

cpu100是對顯示裝置1的各部進行控制的控制裝置。rom101是存儲了各種程序和數據的非易失性存儲裝置。ram102是存儲數據的易失性存儲裝置，作為cpu100執行處理時的工作區域發揮功能。存儲部103是存儲數據和程序的非易失性存儲裝置、例如hdd(harddiskdrive)或ssd(solidstatedrive)。在該例子中，存儲部103存儲用於使顯示裝置1實現白板功能的程序(以下稱為「白板程序」)。

if部104是與作為影像源的外部裝置進行信號或數據的交換的接口。if部104具有用於與外部裝置進行信號或數據的交換的端子(例如vga端子、usb端子、有線lan接口、s端子、rca端子、hdmi(high-definitionmultimediainterface：註冊商標)端子等)和無線lan接口。

圖像處理電路105對所輸入的影像信號(以下稱為「輸入影像信號」)實施規定的圖像處理。投射單元106根據實施了圖像處理的影像信號，向屏幕投射圖像。投射單元106具有光源、光調製器、光學系統以及它們的驅動電路(均省略圖示)。光源是高壓水銀燈、滷素燈或金屬滷化物燈等燈、或led(lightemittingdiode)、或雷射二極體等固體光源。光調製器是根據影像信號對從光源照射的光進行調製的裝置，例如具有液晶面板。光學系統是向屏幕投射由光調製器調製後的光的元件，例如具有透鏡和稜鏡。在該例子中，按照每個顏色成分設置有光源和光調製器。具體而言，針對紅色、綠色和藍色這三原色分別單獨設置有光源和光調製器。利用光學系統對由各液晶面板調製後的光進行合成，向屏幕投射。

攝像部107對包含被投射圖像的屏幕的區域進行拍攝，以便確定電子筆2和電子筆3的位置。在該例子中，電子筆2和電子筆3分別具有輸出固有波長的光的發光元件，在筆尖處具有壓力傳感器，當壓力傳感器檢測到壓力後，發光元件輸出光。cpu100在由攝像部107拍攝的圖像中根據與其波長的光相應的點的位置，檢測電子筆2和電子筆3的位置。攝像部107以規定的周期對包含屏幕的區域進行拍攝。在以時序對檢測到的位置進行排列後，可得到電子筆的軌跡。cpu100對圖像處理電路105和投射單元106進行控制，以便描繪與檢測到的電子筆2的位置(軌跡)對應的圖像以及與電子筆3的位置(軌跡)對應的圖像。

操作面板108是用於供用戶對顯示裝置1輸入指示的輸入裝置，例如包含鍵盤、按鈕或觸摸面板。

在該例子中，投射單元106是顯示單元10的一例，並且是投射單元的一例。攝像部107和cpu100是檢測單元11的一例。ram102是存儲單元12的一例。執行白板程序的cpu100是存儲控制單元13、粘貼單元14和切換單元15的一例。

2.關聯技術的問題點

在進入本實施方式的說明之前，對關聯技術的問題點進行說明。

圖3是示出關聯技術的顯示裝置1的動作的流程圖。在該例子中，顯示裝置1具有電子筆2和電子筆3共用的剪貼緩衝區。剪貼緩衝區是存儲假想對象(的數據)以對選擇出的假想對象進行處理(例如剪切、複製、粘貼、分組、分組解除、刪除等)的存儲區域。該存儲區域設置在ram102中。另外，在以下的說明中，有時將白板程序等軟體作為動作主體進行說明，但是，這意味著執行該軟體的cpu100與其他硬體要素協作地進行處理。

在該例子中，使用電子筆2的用戶a和使用電子筆3的用戶b總共兩名用戶使用顯示裝置1的白板功能描繪圖像。在圖3中，示出電子筆2的操作和電子筆3的操作以及存儲在剪貼緩衝區中的假想對象。在圖3的流程的開始時點，在剪貼緩衝區中未進行任何存儲。另外，在圖3的例子中，在剪貼緩衝區中僅存儲單一的假想對象。

在步驟s1中，用戶a描繪企鵝圖案。並且，用戶b描繪熊圖案。

在步驟s2中，用戶a選擇自己繪畫的企鵝圖案。用戶b選擇熊圖案。電子筆2和電子筆3具有用於指示假想對象的選擇的按鈕，當用戶按壓該按鈕並觸摸假想對象時、或者描繪包圍假想對象的圖形時，選擇該假想對象。在選擇假想對象後，白板程序顯示包含能夠對選擇出的假想對象執行的處理的項目的菜單。

圖4是例示處理的菜單的圖。在該例子中，針對選擇出的假想對象，能夠執行剪切、複製、粘貼、分組、分組解除和刪除的處理。白板程序執行與用戶從中選擇出的項目對應的處理。

再次參照圖3。在步驟s3中，用戶a將選擇出的假想對象(在該例子中為企鵝圖案)複製到剪貼緩衝區。即，用戶a從圖4的菜單中選擇「複製」的項目。在該時點，用戶b未進行菜單的操作。在剪貼緩衝區中存儲企鵝圖案。

在步驟s4中，用戶b將選擇出的假想對象(在該例子中為熊圖案)複製到剪貼緩衝區。即，用戶b從圖4的菜單中選擇「複製」的項目。用戶a此時未進行任何操作。在剪貼緩衝區中存儲熊圖案。此時，刪除此前存儲的企鵝圖案。

在步驟s5中，用戶a指示在畫面上粘貼假想對象。例如，當用戶a按壓電子筆2的按鈕並利用電子筆2在畫面上觸摸時，白板程序顯示包含「粘貼」這樣的項目的菜單。當用戶a從該菜單中選擇「粘貼」的項目後，指示粘貼。

在步驟s6中，白板程序將剪貼緩衝區中存儲的假想對象、在該例子中為熊圖案粘貼在畫面上的指定的位置。

此時，用戶a想粘貼哪個假想對象是取決於狀況的。例如，在用戶a注意到用戶b複製了熊圖案的情況下，可認為用戶a具有粘貼熊圖案的意願。但是，在用戶a未注意到用戶b複製了熊圖案的情況下，可認為用戶a具有粘貼企鵝圖案的意願。在該情況下，會違背用戶a的意願而粘貼熊圖案。本實施方式應對這種問題。

3.動作

3-1.動作例1

圖5是示出一個實施方式的顯示裝置1的動作的流程圖。在該例子中，在假想對象的存儲中使用單一的(即電子筆2和電子筆3共用的)剪貼緩衝區，在該剪貼緩衝區中存儲多個假想對象(具體而言，與電子筆2對應的假想對象和與電子筆3對應的假想對象分別各一個)。並且，假想對象與識別電子筆的標識符對應起來存儲在剪貼緩衝區中。

在步驟s11中，用戶a描繪企鵝圖案。另外，用戶b描繪熊圖案。在步驟s12中，用戶a選擇自己描繪的企鵝圖案。用戶b選擇熊圖案。

在步驟s13中，用戶a將選擇出的假想對象(在該例子中為企鵝圖案)複製到剪貼緩衝區。即，用戶a從圖4的菜單中選擇「複製」的項目。在該時點，用戶b未進行菜單的操作。由用戶a選擇出的假想對象(企鵝圖案)存儲在剪貼緩衝區中。此時，白板程序將選擇出的假想對象和電子筆2的標識符(在該例子中為c1)存儲在剪貼緩衝區中。

在步驟s14中，用戶b將選擇出的假想對象(在該例子中為熊圖案)複製到剪貼緩衝區。即，用戶b從圖4的菜單中選擇「複製」的項目。由用戶b選擇出的假想對象(熊圖案)存儲在剪貼緩衝區中。此時，白板程序將選擇出的假想對象和電子筆3的標識符(在該例子中為c2)存儲在剪貼緩衝區中。

在步驟s15中，用戶a指示在畫面上粘貼假想對象。並且，用戶b也指示在畫面上粘貼假想對象。

在步驟s16中，白板程序粘貼假想對象。即，白板程序在由電子筆2指示的位置粘貼與標識符c1對應起來存儲在剪貼緩衝區中的假想對象、在該例子中為企鵝圖案，在由電子筆3指示的位置粘貼與標識符c2對應起來存儲在剪貼緩衝區中的假想對象、在該例子中為熊圖案。

3-2.動作例2

在動作例1中，對不同的用戶分別使用2根電子筆的例子進行了說明，但是，也可以是一名用戶使用2根電子筆。在該情況下，如圖5那樣進行處理，在步驟s15中用戶希望粘貼的假想對象是與標識符c1對應的假想對象還是與標識符c2對應的假想對象根據狀況而不同。因此，在動作例2中，顯示裝置1具有共用模式和獨立模式這2個動作模式。共用模式是與使用的電子筆無關地粘貼最後存儲在剪貼緩衝區中的假想對象的動作模式。獨立模式與動作例1同樣，是粘貼與使用的電子筆的標識符對應起來存儲的假想對象的動作模式。

例如，在顯示裝置1顯示的畫面中顯示用於調用進行各種設定變更的畫面的圖標，用戶利用電子筆觸摸該圖標，由此能夠調用該菜單。在該菜單中具有用於進行動作模式切換的項目。

在該情況下，在共用模式中，可以僅將最後複製的假想對象存儲在剪貼緩衝區中，也可以將假想對象和複製該假想對象的順序存儲在剪貼緩衝區中，粘貼該順序為最後的假想對象。

3-3.動作例3

在動作例2中，對用戶從菜單畫面進行設定變更來切換動作模式的例子進行了說明，但是，白板程序也可以自動切換動作模式。在該例子中，白板程序根據所使用的指示體是電子筆還是用戶的手指來切換動作模式。具體而言，在使用手指作為指示體的情況下，將動作模式切換為共用模式，在使用電子筆作為指示體的情況下，將動作模式切換為獨立模式。根據該動作例，用戶能夠直觀地切換動作模式而與菜單操作無關。

另外，在該情況下，白板程序具有從攝像部107拍攝的圖像中識別用戶手指的輸入的功能。與屏幕平行地對屏幕的表面照射同樣的固有波長的光，在用戶的手指遮擋光的情況下，利用攝像部107捕捉其反射，識別為相應位置。此時，為了識別出電子筆2或電子筆3的光，根據特定的模式進行來自電子筆的發光，通過識別該模式，識別電子筆和手指的操作。並且，也可以具有從攝像部107拍攝的圖像中識別用戶的手的形狀的功能。在用戶的手具有特定形狀(例如豎立食指的形狀)的情況下，白板程序將手識別為指示體，將食指指尖的位置識別為由指示體指示的位置。

4.變形例

本發明不限於上述實施方式，能夠進行各種變形實施。下面，對若干個變形例進行說明。也可以組合使用以下的變形例中的2個以上的變形例。

在與識別哪個指示體的標識符對應起來的狀態下將假想對象存儲在剪貼緩衝區中、即指示體的位置與假想對象的關聯性不限於實施方式中說明的例子。在實施方式中，白板程序在將識別指示了假想對象的複製的指示體的標識符對應起來的狀態下，將該假想對象存儲在剪貼緩衝區中。但是，白板程序也可以在將識別描繪了假想對象的指示體的標識符對應起來的狀態下，將該假想對象存儲在剪貼緩衝區中。例如，在利用電子筆3選擇了由電子筆2描繪的企鵝圖案的情況下，也可以在將標識符c1對應起來的狀態下將企鵝圖案存儲在剪貼緩衝區中。在其他例子中，白板程序也可以在將識別選擇了假想對象的指示體的標識符對應起來的狀態下，將該對象存儲在剪貼緩衝區中。

在使用手指作為指示體的情況下，白板程序也可以設置手指用的剪貼緩衝區。在該情況下，區分使用電子筆的剪貼緩衝區和手指的剪貼緩衝區。

剪貼緩衝區的容量不限於2個假想對象的容量。剪貼緩衝區也可以存儲3個以上的假想對象。

用於實現圖1的功能的硬體不限於圖2例示的硬體。例如，顯示裝置1也可以不具有攝像部107。在該情況下，電子筆也可以檢測自身的位置，將檢測到的位置通知給顯示裝置1。並且，投射單元106也可以不按照每個顏色成分具有光調製器，也可以具有單一的光調製器。並且，也可以使用數字鏡器件(digitalmirrordevice、dmd)等液晶面板以外的電氣光學元件作為光調製器。進而，顯示裝置1不限於投影儀，也可以是直視的顯示裝置。

也可以省略圖1的功能的一部分。例如，顯示裝置1也可以不具有切換單元15。

標號說明

1：顯示裝置；2：電子筆；3：電子筆；10：顯示單元；11：檢測單元；12：存儲單元；13：存儲控制單元；14：粘貼單元；15：切換單元；100：cpu；101：rom；102：ram；103：存儲部；104：if部；105：圖像處理電路；106：投射單元；107：攝像部；108：操作面板。