基於AR增強現實的樂器輔助演奏和協奏體驗系統的製作方法

2023-05-01 08:50:56

本發明涉及一種基於AR增強現實的樂器輔助演奏和協奏體驗系統。

背景技術：

一直以來，都需要大量的重複性練習，才能夠掌握樂器這一演奏難度非常大的樂器。而在學習過程中，需要音樂老師實時輔導監督學生的練習，同時，需要學生從基礎技法開始不間斷的大量重複訓練，直至形成肌肉記憶，才算真正習得樂器演奏技法，整個學習過程異常漫長而枯燥，需要極大的毅力和習慣才能完成。這種高門檻，將許多音樂、尤其是樂器愛好者望而卻步，極大的阻礙了樂器的普及，影響了全面音樂素養的普及。

AR增強顯示技術，能夠在人眼的正常視野範圍內，通過網際網路技術，獲得周邊目標的信息，並將周邊的目標的信息在顯示在特定的顯示界面上，增加特定範圍內的人群交互。結合大數據分析、計算機人工智慧算法等技術，可以在顯示界面上顯示特定的內容，極大的拓展了人類的視野。

由於樂器等樂器的演奏都具有相對固定的方法，主要是運弓方法和持琴手指按壓琴弦兩部分動作，而且儘管不同的演奏者手型和運弓方式都有一定區別，但是總體上都需要完成核心的手指按壓和琴弦運行動作，這就帶來了動作標準化的可能性，如果利用AR增強顯示技術，給出樂譜對應的提示，將有望擺脫傳統的演奏學習過程，降低樂器演奏的門檻。

技術實現要素：

本發明針對以上問題的提出，而研製的一種基於AR增強現實的樂器輔助演奏和協奏體驗系統，包括：

圖像採集單元，實時採集當前使用者握持樂器的視頻圖像，視頻圖像還包含握持手指甲；

圖像分析單元，分析當前的樂器的圖像，識別當前樂器的輪廓和操作區域，識別定位樂器的琴弦或按鍵；

第二存儲單元，該單元存儲樂譜，以及音節和音符對應的手指動作和輔助器械運行的虛擬動畫元素；以及操作單元、處理單元和顯示單元；

使用時，使用者通過操作單元控制系統啟動，選擇當前演奏曲目；處理單元根據所述的當前樂器的輪廓和操作區域，定位後的樂器的琴弦、按鍵或打擊區域，在所述的顯示單元上顯示，並設定所述的動畫元素顯示區域；處理單元調取第二存儲單元中的對應的樂譜和對應的按壓動作和輔助器械運行的虛擬動畫元素，在所述的動畫元素顯示區域中顯示；

使用者根據所述的虛擬動畫元素引導，完成當前樂曲的演奏，即學習體驗過程。

還包括遠程伺服器和伺服器中集成的第三存儲單元，該伺服器收集系統內註冊用戶的評分和樂曲，根據樂器種類，生成針對每個樂器的等級分組；所述的第三存儲單元中存儲有構成合奏樂曲的每個樂器的分樂譜；

系統內註冊用戶根據各自樂器種類和等級，通過各自系統中的通信單元，下載所述的分樂譜，按系統輔助或自行完成分樂譜的演奏；分樂器的演奏過程由所述的聲音採集單元採集通過所述的演奏過程，傳輸至遠程伺服器；

伺服器收集所述合奏樂曲的全部演奏過程在分布式工作站中合成生成合奏樂曲，存儲並返回至合奏樂曲分樂譜的演奏者；存儲的合奏樂曲向系統內公開。

演奏過程中，所述的處理單元通過聲音採集單元獲取演奏曲目的音頻，分析得到音頻曲線，與第二存儲單元中存儲的音頻曲線比對，給出當前使用者演奏水準的評分。

作為優選的實施方式，所述的圖像採集單元、圖像分析單元、操作單元和處理單元以及顯示單元集成在智能終端或智能頭盔/眼鏡上。

作為優選的實施方式，使用過程中，所述的處理單元通過圖像採集單元收集到的圖像，追蹤當前使用者的輔助器械運行軌跡和指甲的位置，尤其是按下琴弦的指甲的位置，與所述的第二存儲單元中存儲的虛擬動畫元素進行比較；

當判定使用者的輔助器械運行軌跡和指甲位置與虛擬動畫元素在閾值範圍內接近時，判定當前使用者完成當前音符或音節的正確演奏，並給出提示。

作為優選的實施方式，所述的琴弦和輔助器械表面設有軸線延伸的等間距標誌。

作為優選的實施方式，使用者握持手指甲分別設有相互區分的區別標識。

更進一步的，所述的區別標識集成在一輔助手套上；

所述的手套指尖位置設有電刺激貼片；當所述的處理單元根據當前音符給出手指的對應的虛擬動畫元素時，控制對應手指的電刺激貼片通電。

作為優選的實施方式，樂器緊弦板上方設有固定智能終端的夾具。

通過採用上述技術方案，本發明提出的基於AR增強現實的樂器輔助演奏和協奏體驗系統，利用現有的硬體設備，比如智能終端(手機)或者AR眼鏡等設備，基於成熟的識別算法和定位顯示技術，實現了對樂器使用者的虛擬輔助，極大的降低了樂器演奏的門檻，技術成熟可靠，十分適於大範圍的推廣和使用。

附圖說明

為了更清楚的說明本發明的實施例或現有技術的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖做一簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明的系統模塊圖

具體實施方式

為使本發明的實施例的目的、技術方案和優點更加清楚，下面結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚完整的描述：

如圖1所示：一種基於AR增強現實的樂器輔助演奏和協奏體驗系統，主要包括圖像採集單元，在使用過程中，該單元實時採集當前使用者握持樂器的視頻圖像，同時為了後續的視頻識別，所述的視頻圖像還包含握持手指甲。

圖像分析單元，分析當前的樂器的圖像，識別當前樂器的輪廓和操作區域，識別定位樂器的琴弦或按鍵，即劃分特定的圖像區域，作為後續的算法依據。在後續的運行過程中，圖像分析單元始終工作追蹤所述的琴弦、輪廓和操作區域。

第二存儲單元，該單元存儲樂譜，以及印譜中最小演奏單位音節和音符對應的手指動作的位置和輔助器械運行的虛擬動畫元素，比如當一個演奏單元音列需要按下一弦，同時輔助器械需要在一弦上運行全弓時，虛擬動畫顯示表示食指的動畫元素，比如帶有數字(比如為食指設定標號1)或區別於其它手指的圖形，向下運動的動畫元素，同時在設定的一弦時的運弓角度區域顯示輔助器械圖形和帶有特定角度的運行方向的動畫。同時，也可以給出相應的文字提示或者語音提示等信息。

在使用過程中，使用者通過操作單元控制系統啟動，選擇當前演奏曲目；處理單元根據所述的當前樂器的輪廓和操作區域，定位後的樂器的琴弦、按鍵或打擊區域，在所述的顯示單元上顯示。

在顯示區域上劃定所述的動畫元素顯示區域。同時，處理單元調取第二存儲單元中的對應的樂譜和對應的按壓動作和輔助器械運行的虛擬動畫元素，在所述的動畫元素顯示區域中顯示；使用者根據所述的虛擬動畫元素引導，完成當前樂曲的演奏，即學習體驗過程。

為了擴張相應的功能，在演奏過程中，所述的處理單元通過聲音採集單元獲取演奏曲目的音頻，分析得到音頻曲線，與第二存儲單元中存儲的音頻曲線比對，給出當前使用者演奏水準的評分。

作為可選的實施方式，聲音採集單元可採用智慧型手機的聽筒，或者使用集成有聲音採集設備的AR眼鏡或者採用無線/有線聲音採集設備接入現有設備。評分算法，可以利用現有的類似KTV中的演唱評分算法等類似算法即可實現，處於鼓勵的目的，採集關鍵音即可。

相應的，也可設置不同難度的評價標準，針對不同層次的使用者，設定不同級別的算法，增加系統的可持續性操作。

為了能夠儘可能的利用現有成熟的技術設備，增加設備集成度，減少使用者佩戴物品數量，作為優選的實施方式，所述的圖像採集單元、圖像分析單元、操作單元和處理單元以及顯示單元集成在智能終端或智能頭盔/眼鏡上。作為系統的核心，替換運算核心和相應的算法即可實現本專利提出的方案。

為了能夠識別當前使用者的操作是否正確，作為優選的實施方式，所述的處理單元通過圖像採集單元收集到的圖像，追蹤當前使用者的輔助器械運行軌跡和指甲的位置，尤其是按下琴弦的指甲的位置，與所述的第二存儲單元中存儲的虛擬動畫元素進行比較。

較為可行的實施方式，當判定使用者的輔助器械運行軌跡和指甲位置與虛擬動畫元素在閾值範圍內接近時，在顯示界面，可以理解為虛擬動畫元素和手指甲基本出現在相似的區域，能夠大幅度的重合，即可判定當前使用者根據系統提示，完成了當前音符或音節的正確演奏，並給出正確演奏的提示。

此處，可以借鑑其它遊戲中的連擊提示機制，當正確完成一個音符的演奏時，即可給出+1的提示，當連續的正確完成演奏時，即給出+N的提示，並給出相應的鼓勵詞語或者類似提示。

為了能夠通過網絡協作，使得遠程交響協奏成為可能，作為優選的實施方式，系統包括遠程伺服器和伺服器中集成的第三存儲單元，該伺服器收集系統內註冊用戶的評分和樂曲，根據樂器種類，生成針對每個樂器的等級分組，所述的第三存儲單元中存儲有構成合奏樂曲的每個樂器的分樂譜。按演奏等級劃分系統用戶，能夠避免在協奏過程中因成員水平差異過大，導致合奏結果不理想。同時，可以在一定等級以上再開放協奏。

系統內註冊用戶根據各自樂器種類和等級，通過各自系統中的通信單元，下載所述的分樂譜，按系統輔助或自行完成分樂譜的演奏；分樂器的演奏過程由所述的聲音採集單元採集通過所述的演奏過程，傳輸至遠程伺服器；伺服器收集所述合奏樂曲的全部演奏過程在分布式工作站中合成生成合奏樂曲，存儲並返回至合奏樂曲分樂譜的演奏者；存儲的合奏樂曲向系統內公開。

更進一步的，考慮到輔助器械的色彩與樂器琴身色彩較為接近，導致識別算法過於複雜，作為優選的實施方式，所述的琴弦和輔助器械表面設有軸線延伸的等間距標誌。可選間隔設置的黑白色塊，便於算法識別，減少算法的識別運行時間。

同樣的，使用者握持手指甲分別設有相互區分的區別標識。比如為分別對應1/2/3/4琴弦的食指、中指、無名指和小指分別設置1/2/3/4的編號，便於計算機識別。

作為優選的實施方式，所述的區別標識集成在一輔助手套上與指甲對應的位置。

為了能夠對使用者多方面的刺激和引導，作為優選的實施方式，所述的處理單元根據當前音符給出手指的對應的虛擬動畫元素時，控制對應手指的電刺激貼片通電。

樂器緊弦板上方，靠近微調器的位置設有固定智能終端的夾具，方便固定手機等設備。

以上所述，僅為本發明較佳的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，根據本發明的技術方案及其發明構思加以等同替換或改變，都應涵蓋在本發明的保護範圍之內。