多屏互動方法與流程
2023-05-17 11:23:30 1
本發明涉及多媒體數據播放領域，尤其涉及一種多屏互動方法。
背景技術：
隨著科技的發展，各種多媒體設備逐漸運用到教學領域中。電子白板是應用較為廣泛的一種多媒體設備。投影機利用光線將計算機上的內容照射到電子白板上，教師可以利用雷射筆在電子白板上進行繪製、擦除等操作，增強教師和學生在課堂上的教學互動。
由於電子白板的普及，電子白板的應用在教育中越來越多。電子白板的發展也由早期的投影形式發展到現今僅需要一個android系統嵌入就可以操作的大屏設備，並且這些大屏設備支持有線和無線網絡以及upnp協議。
upnp協議，是一種分布式、開放式的網絡架構，可以將各式各樣的智能設備、無線設備和個人電腦進行對等的網絡連接，同時支持數據的高速傳輸和數據共享、數據訂閱。和目前教育中引用的虛擬技術相結合，可以將單個用戶觀看的虛擬場景展示給其它使用虛擬實境設備的用戶，以直播的方式進行呈現。
結合目前小學教育發展的狀況，教師通過電子白板展示時，後排學生由於距離白板較遠無法看清白板上的內容。教師在開課前，也需要預先開啟電腦端打開軟體、選擇文件後，再通過白板的方式進行展示，這一操作的步驟很多。如果教師能夠直接通過手機將待互動的文件直接投屏至白板，更能節省一些時間。
公開號為cn105100885a的中國專利提出了一種瀏覽播放ppt文件多屏互動方法，包括：s1、移動智能客戶端(10)與android定製系統服務端(20)建立無線網絡連接；s2、android定製系統服務端(20)播放ppt文件，並向移動智能客戶端(10)發送系統截屏畫面數據；s3、移動智能客戶端(10)接收系統截屏畫面數據，同時將畫面顯示在操控區內，並在操控區內操作發送控制ppt操作指令；s4、android定製系統服務端(20)接收並發送控制ppt操作指令，根據該控制ppt操作指令模擬成系統控制ppt播放指令；s5、顯示端(30)根據控制ppt播放指令顯示ppt播放畫面。
然而，上述方案需要引入服務端，增加了成本，並且如立體ppt等動態的場景展示，如果按照普通ppt截屏的方式傳輸，則會存在畫面閃動及圖片不銜接等問題。
技術實現要素：
本發明所要解決的技術問題是：提供一種多屏互動方法，能夠在不引入服務端的情況下，實現不同設備間多屏流暢瀏覽待互動的文件。
為了解決上述技術問題，本發明採用的技術方案為：
一種多屏互動方法，包括：
第一終端和第二終端通過upnp協議建立通訊連接，所述第二終端的數量為一個以上；
第一終端開啟直播服務；
第二終端接入所述直播服務；
第一終端通過所述直播服務將待互動的文件發送至第二終端；
第一終端播放所述待互動的文件；
第二終端依據接收的數據進行播放。
本發明的有益效果在於：利用upnp協議將第一終端和第二終端通過自組網的形式通訊連接，以及將第一終端的文件以投屏的方式呈現到第二終端，實現文件的多屏互動，無需另外構建服務端，節省了成本，並且以直播服務的形式，通過直播流的通道傳輸文件，具有很高的實時性，確保文件的流暢瀏覽，尤其適用於對動態文件的多屏互動。
附圖說明
圖1為本發明實施例的多屏互動方法的流程示意圖；
圖2為本發明實施例一的多屏互動方法的流程示意圖。
具體實施方式
為詳細說明本發明的技術內容、所實現目的及效果，以下結合實施方式並配合附圖予以說明。
本發明最關鍵的構思在於：第一終端和第二終端通過upnp協議建立通訊連接；第一終端構建直播服務；第二終端接入所述直播服務；第一終端通過所述直播服務將待互動的文件發送至第二終端。
本發明涉及的技術術語解釋：
請參照圖1，本發明提供：
一種多屏互動方法，包括：
第一終端和第二終端通過upnp協議建立通訊連接，所述第二終端的數量為一個以上；
第一終端開啟直播服務；
第二終端接入所述直播服務；
第一終端通過所述直播服務將待互動的文件發送至第二終端；
第一終端播放所述待互動的文件；
第二終端依據接收的數據進行播放。
從上述描述可知，本發明的有益效果在於：通過upnp協議和直播服務的方式傳輸文件，無需另外構建服務端，在很大程度上節省了成本，並且提高了傳輸效率，實時性高。
進一步的，第二終端接入所述直播服務，具體包括：
第一終端將所述直播服務的地址、埠號以及交互指令發送至第二終端；
第二終端依據接收到的地址、埠號以及交互指令向第一終端發送接入直播服務的請求；
第一終端依據所述請求將第二終端接入所述直播服務。
從上述描述可知，第一終端將直播服務的地址、埠號以及交互指令發送給第二終端後，第二終端能夠使用交互指令通過上述地址和埠號向第二終端請求播放待互動的文件，第一終端接收到請求後開始進行文件傳輸。且由於傳輸的文件是壓縮形式，減少了傳輸負荷，提高了傳輸效率。
進一步的，第一終端依據所述請求向第二終端發送待互動的文件的壓縮數據，具體包括：
第一終端將待互動的文件分成兩個以上的數據包；
從本地依次讀取所述數據包；
第一終端將讀取的數據包進行壓縮後發送至第二終端。
從上述描述可知，第一終端發送文件時先將文件打散成多個小的數據包，然後分別對小的數據包進行傳輸，減小了單次傳輸的數據量。
進一步的，第二終端依據接收的數據進行播放，具體為：第二終端依據接收到的數據包的壓縮數據進行組合，並將組合後的數據包繪製於自身的ui界面上。
從上述描述可知，第二終端接收的數據包為多個小的數據包，因此需要進行組合，組合後再進行繪製以實現播放。
進一步的，第二終端依據接收的數據進行播放之後，還包括：
第一終端或第二終端依據所述交互指令控制第一終端和第二終端的播放。
從上述描述可知，第一終端和第二終端均可通過交互指令進行兩者的播放控制，其中，交互指令可包括播放請求指令、開啟指令、關閉指令、插入指令等。
進一步的，第二終端接入所述直播服務之後，第一終端通過所述直播服務將待互動的文件發送至第二終端之前，還包括：
第一終端設置第二終端的權限。
進一步的，所述第二終端包括電子白板端和移動終端，設置電子白板端的權限為可控制第一終端和第二終端的播放，設置移動終端的權限為不可控制第一終端和第二終端的播放。
從上述描述可知，通過第一終端可設置第二終端的權限，如在教室場景中，老師可通過第一終端設置電子白板端和學生的手機、平板電腦的權限，既能實現多屏互動，又能整體把控呈現給學生的內容。
進一步的，所述待互動的文件為立體ppt文件。
從上述描述可知，立體ppt是當前的一種新型ppt形式，具備了360度全景教學場景，且兼容以往ppt所有功能的ppt。可以讓學生在場景中進行學習和課堂互動。與現有的虛擬實境技術相比，立體ppt是將一些虛擬的三維動態場景展現到電子白板上，並且通過電子白板與立體ppt的場景互動，讓學生在虛擬的世界中學習到更多現實生活中無法展示和觸摸的東西，增強課堂教學互動。
進一步的，第二終端依據所述交互指令控制第一終端和第二終端的播放，具體包括：
電子白板端獲取雷射筆在電子白板端所觸碰到的立體ppt上的坐標；
通過截屏方式截取電子白板端當前操作形成的圖像幀；
將截取的圖像幀發送至第一終端和移動終端；
第一終端、電子白板端和移動終端將截取的圖像幀插入至當前播放的圖像幀及其下一幀之間；
對各圖像幀進行排序；
依據排序播放各圖像幀。
從上述描述可知，老師可通過雷射筆觸碰電子白板端正在顯示的立體ppt，如在需要強調的內容上劃線，電子白板端再通過截屏的方式截取圖像幀，同時將截取的圖像成發送給其他終端，再插入原來的圖像幀中，形成新的ppt進行多屏播放。通過第一終端也可以進行相同控制，如觸碰手機屏幕，再以相同的方式形成新的ppt。
進一步的，第一終端依據所述交互指令控制第一終端和第二終端的播放，具體包括：
第一終端發送關閉指令控制第二終端停止播放立體ppt。
從上述描述可知，除了控制停止播放，還可進行開啟、關閉等控制。
請參照圖2，本發明的實施例一為：
一種多屏互動方法，包括：
第一終端和第二終端通過upnp協議建立通訊連接；所述第二終端包括電子白板端和移動終端；
第一終端開啟直播服務；
第一終端將所述直播服務的地址、埠號以及交互指令發送至第二終端；第二終端依據接收到的地址、埠號以及交互指令向第一終端發送接入直播服務的請求；第一終端依據所述請求將第二終端接入所述直播服務；
第一終端設置電子白板端的權限為可控制第一終端和第二終端的播放，設置移動終端的權限為不可控制第一終端和第二終端的播放；
第一終端將立體ppt文件分成兩個以上的數據包；第一終端從本地依次讀取所述數據包；第一終端將讀取的數據包進行壓縮後發送至第二終端；
第一終端播放將讀取到的數據包繪製於自身的ui界面上；
第二終端依據接收到的數據包的壓縮數據進行組合，並將組合後的數據包繪製於自身的ui界面上；
電子白板端獲取雷射筆在電子白板端所觸碰到的立體ppt上的坐標；通過截屏方式截取電子白板端當前操作形成的圖像幀；
將截取的圖像幀發送至第一終端和移動終端；
第一終端、電子白板端和移動終端將截取的圖像幀插入至當前播放的圖像幀及其下一幀之間；對各圖像幀進行排序；依據排序播放各圖像幀；
第一終端發送關閉指令控制第二終端停止播放立體ppt。
上述第一終端、移動終端可為手機、平板電腦等。
本發明的實施例二為：
一種多屏互動方法，應用於教學場景，包括：
s1：教師持有的手機端1和電子白板端以及學生持有的手機端2通過upnp協議建立通訊連接，且電子白板端和手機端2開啟upnpav服務；其中，手機端1和電子白板端的數量為一個，手機端2的數量為多個；手機端1即上述的第一終端，電子白板端和手機端2即上述的第二終端；
具體的，upnp協議在設備開啟時，設備會在本地生成一個設備配置文件，包含了當前設備的id、設備的ip、設備本地開放的接口等一些參數信息，利用多播地址的方式，將設備配置文件以xml流的形式發送出去，而其他設備可以自動捕捉到在多播地址上的這些設備，並與其建立連接關係；因此，手機端1通過upnp協議以多播地址的方式匹配到電子白板端，接收並保存電子白板端的參數信息以及服務信息，電子白板端通過upnp協議訂閱手機端1的參數信息，匹配到手機端1，從而完成手機端1和電子白板端的通訊連接，同理，實現手機端1和手機端2的通訊連接；
s2：手機端1每隔一分鐘檢測自身的屏幕是否被觸碰；
s3：手機端1開啟本地架設的直播服務，並將本地的直播服務埠、ip地址、開放的服務地址、交互指令、參數類型等參數信息以xml的方式發送至電子白板端及手機端2；其中，交互指令包括播放請求指令、開啟指令、關閉指令、插入指令等；
s4：電子白板端和手機端2開啟直播服務；
s5：電子白板端和手機端2從upnpav服務獲取接收到的參數信息，並依據接收到的參數信息通過http請求的方式請求訪問手機端1的直播服務以及播放立體ppt；
s6：手機端1的直播服務接收到訪問的請求後根據每個電子白板端和手機端2的設備號建立會話，並分別為每個電子白板端和手機端2設置一個sessionid以設置其權限，其中，設置電子白板端的權限為可控制手機端1、電子白板端以及手機端2的播放，設置手機端2的權限為不可控制手機端1、電子白板端以及手機端2的播放；
s7：手機端1從本地讀取立體ppt文件，並將讀取到的立體ppt的每一幀轉換成h264硬解碼的格式繪製於自身的ui界面上；同時將當前轉換的h264硬解碼的數據發送至電子白板端和手機端2；
s8：電子白板端和手機端2從upnpav服務中獲取到的h264硬解碼，並將h264硬解碼轉換為yuv格式，採用紋理的方式繪製於自身的ui界面上；具體的，紋理，是將立體ppt將文件流打散成由無數個小個體，再利用三維圖形程序接口將這些無數個小個體組合起來進行渲染；
s9：手機端1和電子白板端對手機端1、電子白板端以及手機端2的播放進行控制，具體為：
手機端1通過upnp協議發送開啟指令至電子白板端和手機端2，電子白板端和手機端2開始播放立體ppt；
電子白板端獲取雷射筆在屏幕上所觸碰到的立體ppt的某一坐標位置，並且通過屏幕截屏的方式截取對當前電子白板端的操作形成一個圖像幀a，並且將該圖像幀a發送至手機端1和手機端2，手機端1和電子白板端以及手機端2將圖像幀a插入至原先播放的圖像幀及其下一幀之間，同時對各圖像幀進行重新排序，並依據新的排序進行播放；
手機端1接收到在手機屏幕上所觸碰到的立體ppt的某一坐標位置，並且通過屏幕截屏的方式截取當前手機端1的操作形成一個圖像幀b，並且將圖像b發送至電子白板端和手機端2，手機端1和電子白板端以及手機端2該圖像幀b插入至原先播放的圖像幀的下一幀，同時對各圖像幀進行重新排序，並依據新的排序進行播放；
手機端1通過upnp協議發送關閉指令至電子白板端和手機端2，解除電子白板端的權限，白板端接收到教師手機端發來的關閉指令，暫停本地的直播媒體服務。
通過上述實施例二多屏互動方法，將教師手機上的立體ppt以投屏的方式呈現到電子白板和學生的手機上，同時支持電子白板和教師的手機進行操作，來提高授課的實時性、增強教學的互動，讓學生更能集中精力看最重要的內容，且增加學生課堂的注意力，提高教學效果。
綜上所述，本發明提供的多屏互動方法，能夠實現立體ppt等動態文件的多屏互動，無需另外構建服務端，節省了成本，具有很高的實時性，確保文件的流暢瀏覽，並且能夠對終端進行權限控制，選擇不同的終端控制多屏播放。
以上所述僅為本發明的實施例，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等同變換，或直接或間接運用在相關的技術領域，均同理包括在本發明的專利保護範圍內。