使用在三維空間中執行的手勢以及相關的電腦程式產品控制車輛功能的方法和設備的製作方法
2023-05-30 04:56:06
使用在三維空間中執行的手勢以及相關的電腦程式產品控制車輛功能的方法和設備的製作方法
【專利摘要】一種使用在三維空間中實施的手勢來控制車輛功能的方法，該方法具有如下步驟：確定(S100)是否在三維空間中實施的光學檢測到的第一手勢指向疊加到車輛周圍的實際環境上的虛擬物體；確定(S500)是否在三維空間中實施的光學檢測到的第二手勢是被分配給虛擬對象操作的手勢；以及如果已經確定檢測到的第一手勢是指向疊加在車輛周圍的實際環境上的虛擬對象的手勢並且如果確定檢測到的第二手勢是被分配給虛擬對象操作的手勢，則操作(S700)虛擬對象。
【專利說明】使用在三維空間中執行的手勢以及相關的電腦程式產品控制車輛功能的方法和設備
【技術領域】
[0001]本發明涉及一種使用在三維空間中執行的手勢以及相關的電腦程式產品控制車輛功能的方法和設備。
【背景技術】
[0002]在US 2008/0065291 Al中已知一種使用在三維空間中執行的手勢控制車輛功能的方法和設備，其中確定是否藉助基於圖像的檢測過程來檢測在三維空間中執行的手勢；確定所檢測的手勢是否為分配給功能操作的手勢；並且在確定所檢測的手勢為分配給功能操作的手勢的情況下操作該功能。
【發明內容】
[0003]本發明的目標在於產生一種以簡單可靠的方式允許與車輛周圍的真實環境互動的用戶在車輛中基於手勢的控制方法、設備和相關電腦程式產品。
[0004]該目的採用在獨立權利要求中說明的特徵來解決。
[0005]本發明的其他有利實施方式是從屬權利要求的主題。
[0006]根據第一方面，使用在三維空間中執行的手勢控制車輛功能的方法的特徵在於:a)確定是否藉助基於圖像的檢測過程檢測到在三維空間中執行的第一手勢，b)在確定已經檢測出第一手勢的情況下，確定第一手勢是否是指向在車輛周圍的真實環境上疊加的虛擬物體的手勢，c)確定是否藉助基於圖像的檢測過程檢測到在三維空間中執行的第二手勢，d)在確定已經檢測出第二手勢的情況下，確定檢測出的第二手勢是否是被分配為操作虛擬物體的手勢，e)在已經確定檢測出的第一手勢是指向在車輛周圍的真實環境上疊加的虛擬物體的手勢的情況下並且在檢測出的第二手勢是被分配為操作虛擬物體的手勢的情況下，操作該虛擬物體。
[0007]根據一個實施方式，虛擬物體操作的特徵在於將虛擬物體移動到車輛的顯示單元上。
[0008]根據另一實施方式，虛擬物體操作的特徵在於將虛擬物體複製到車輛的顯示單元上。
[0009]根據另一實施方式，虛擬物體操作的特徵在於將關於虛擬物體的信息描述在車輛的顯示單位上。
[0010]根據另一實施方式，將虛擬物體疊加在車輛周圍的真實環境上藉助平視顯示器執行，並且顯示單元為至少一個儀表面板和至少一個中央顯示單元。
[0011]根據另一實施方式，將虛擬物體疊加在車輛周圍的真實環境上藉助將虛擬物體投影到車輛周圍的真實環境中執行，並且顯示單元為至少一個儀表面板和至少一個中央顯示單元。
[0012]根據另一實施方式，在對應於在真實環境中存在的物體處將虛擬物體疊加到車輛周圍的真實環境中，其中該物體被分配給虛擬物體。
[0013]根據另一實施方式，基於圖像的檢測過程是基於攝像頭的，並且檢測在三維空間中執行手勢的物體位置。
[0014]根據第二方面，使用在三維空間中執行的手勢來控制車輛功能的設備具有被設計為執行上述方法或者其實施方式的裝置。
[0015]根據第三方面，使用在三維空間中執行的手勢來控制車輛功能的電腦程式產品被設計為結合計算機或者計算機系統來直接地或在執行預定程序後間接地執行上述方法或者其實施方式。
[0016]根據第一至第三方面和其實施方式，用戶可以藉助疊加在車輛周圍的真實環境上的虛擬物體藉助在車輛的顯示單元上的手勢操作顯示關於相關虛擬物體的信息，並以這種方式與車輛周圍的真實環境互動。
【專利附圖】
【附圖說明】
[0017]藉助於參考所附附圖的示例性實施方式更詳細地闡述本發明。
[0018]在附圖中示出:
[0019]圖1:根據本發明的示例性實施方式的顯示單元基本結構和檢測構思的示意圖；
[0020]圖2:根據本發明的示例性實施方式的顯示單元基本結構和檢測構思的另一示意圖；
[0021]圖3:根據本發明的示例性實施方式的顯示單元基本結構和在車頂控制單元中的檢測設備安裝位置的示意圖；
[0022]圖4:根據本發明的示例性實施方式的顯示單元基本結構和內後視鏡的檢測設備安裝位置的示意圖；
[0023]圖5:根據本發明的示例性實施方式的具有虛擬疊加物體的車輛周圍的真實環境的不意圖；
[0024]圖6:根據本發明的示例性實施方式的使用在三維空間中執行的手勢來控制車輛功能的方法流程圖。
【具體實施方式】
[0025]下面為本發明的一個示例性實施方式的描述。
[0026]應注意的是，在下文中假設顯示單元優選為車輛，尤其是機動車輛的中央顯示器或儀表面板，以及執行在車輛中使用在三維空間中執行的手勢來控制在顯示單元上描述的功能的方法。
[0027]此外，下面描述的手勢是藉助於用戶的手或者手指由車輛用戶在三維空間中執行而無需接觸諸如例如觸控螢幕的顯示器或諸如例如觸摸板的控制元件的手勢。
[0028]下面描述的基於圖像的捕捉設備可以是能夠檢測在三維空間中的手勢的任何合適的攝像頭，例如深度攝像頭、具有結構光的攝像頭、立體攝像頭、基於飛行時間(Time-of-Flight)技術的攝像頭或者組合有單色攝像頭紅外攝像頭。多個這種攝像頭的任意組合也是可能的。組合有單色攝像頭的紅外攝像頭改進了檢測能力，因為具有高圖像解析度的單色攝像頭額外提供亮度信息，其在背景分割期間具有優勢，並且單色攝像頭不受外部光線影響。
[0029]圖1示出根據本發明的示例性實施方式的顯示單元基本結構和檢測構思的示意圖。
[0030]在圖1中，參考標記10指車輛的顯示單元,參考標記20指基於圖像的檢測設備的有效檢測區域，參考標記30指車輛的車頂控制單元，參考標記40指車輛的內後視鏡，參考標記50指車輛的中控臺，而參考標記60指車輛的拱頂(dome)。
[0031]基本控制構思為，如果基於圖像的檢測設備在檢測區域20內將執行的手勢藉助檢測為預定手勢，則在三維空間內執行藉助於由用戶的手或者手指在有效檢測區域20內執行的手勢對控制功能的手勢操作。
[0032]有效的檢測區域20通過基於圖像的檢測設備來確定，該設備能夠在三維空間內檢測用戶的手或者手指的三維位置。基於圖像的檢測設備優先為整合在車輛內的深度攝像頭。
[0033]必須整合基於圖像的檢測設備以使得，通過在車輛的拱頂60和中控臺50上面的區域中的任意位置處用戶放鬆的手和/或手臂來允許手勢操作。因此，有效檢測區域可從上面通過顯示單元10的上邊緣，從下面通過到拱頂60和中控臺50的最小距離來限定。
[0034]如果有效檢測區域20中檢測到第一手勢，則激活手勢操作，其中該第一手勢為第一預定手勢。第一預定手勢為靜態手勢，其通過在有效檢測區域20內將用戶的手或者手指移動到有效檢測區域20內，並隨後將有效檢測區域20中的用戶的手或者手指離開第一預定量時間來執行。
[0035]通過將用戶的手或者手指從有效檢測區域移出來使手勢操作失效。在有效檢測區域20的下方執行用戶的手或者手臂在車輛的中控臺20和控制部件上的放置，因而手勢操作不會被激活。
[0036]在車輛內打手勢的情況下或者在將用戶的手或者手指移動到控制元件的情況下，不執行靜態手勢，因而手勢操作不會被激活。
[0037]圖2示出根據本發明的示例性實施方式的顯示單元基本結構和檢測構思的另一示意圖。
[0038]在圖2中，相同的參考標記指與圖1相同的元件，而參考標記70指在中控臺50中或在其上作為障礙物體存在的物品，諸如例如杯架中的飲料容器。
[0039]關於圖1在上文中的描述同樣適用於圖2。
[0040]有效檢測區域20的下邊界針對物品70進行動態調整。執行將有效檢測區域作為互動區域的這種取決於環境的調整，以使得在手勢檢測的情況下，有效檢測區域的深度輪廓藉助基於圖像的檢測設備(諸如例如深度攝像頭)的深度信息實時執行。這意味著必須在物品70上執行有效手勢。
[0041]基於圖像的檢測設備在車輛的車頂區域中的布置導致以下優點:日光不會照耀到基於圖像的檢測設備的透鏡中。在顯示單元10的鄰近區域中同樣將完整的檢測區域覆蓋為有效檢測區域20。在朝向手勢操作的左側、右側、在手勢操作前和後的主要互動方向上具有高圖像解析度。基於圖像的檢測設備由駕駛員或者乘客的標準視野構成。車頂部件可以採用少量設計變量對不同系列容易地進行標準化。對於檢測距離需求很少。
[0042]關於圖3和圖4，說明了對於基於圖像的檢測設備在車輛車頂區域中的兩種可能的安裝位置。
[0043]圖3示出根據本發明的示例性實施例的顯示單元基本結構和檢測設備在車頂控制單元中的安裝位置的示意圖。
[0044]在圖3中，相同的參考標記表示與圖1和圖2中相同的元件,並且參考標記100指整合到車輛的車頂控制單元30中的基於圖像的檢測設備的最大檢測角度。
[0045]關於圖1和圖2在上文中做出的描述也同樣適用於圖3。
[0046]如在圖3中可以看到，採用整合到車頂控制單元30中的基於圖像的檢測設備覆蓋完整的有效檢測區域20。整合入車頂控制單元30的基於圖像的檢測設備的另一優點在於，獲得距有效檢測區域20的最大可能垂直距離。
[0047]圖4示出根據本發明的示例性實施例的顯示單元基本結構和檢測設備在內後視鏡中的安裝位置的示意圖。
[0048]在圖4中，相同的參考標記指與圖1和圖2相同的元件，並且參考標記110指整合到車輛內後視鏡40中的基於圖像的檢測設備的最大檢測角。
[0049]關於圖1和圖2在上文做出的描述也同樣適用於圖4。
[0050]如在圖4中所看到的，採用整合到車頂控制單元30中的基於圖像的檢測設備覆蓋完整有效檢測區域20。為了補償由於內後視鏡40的調節導致的基於圖像的檢測設備的變化對準，藉助於中控臺50的輪廓校正基於圖像的檢測設備的對準偏移以便執行位置校準。
[0051]圖5示出根據本發明的示例性實施方式的具有虛擬疊加物體的車輛周圍的真實環境的示意圖。
[0052]在圖5中，參考標號200指車輛的擋風玻璃，參考標號300指車輛周圍的真實環境，參考標號400指第一虛擬物體,參考標號500指第二虛擬物體,參考標號600指第三虛擬物體，參考標號700指儀表面板，參考標號800指方向盤，並且參考標號900指中央顯不單元。
[0053]將具有到真實環境300中存在的物體的連接並位於該位置的虛擬物體疊加到車輛周圍的真實環境上，諸如例如通過擋風玻璃200可見的車輛前的真實環境300，如藉助在圖5中的建築物、道路和行駛車輛所示意性指示的。例如，虛擬物體可以是被分配到停車場的第一虛擬物體400，該停車場被疊加在真實環境300的一位置處，在該位置在真實環境中存在被分配給虛擬物體400的停車場，虛擬物體可以是被分配給公共廁所的第二虛擬物體500，該公共廁所被疊加到真實環境300的一位置處，在該位置在真實環境300中存在被分配給虛擬物體500的公共廁所，和/或虛擬物體可以是被分配給餐館的第三虛擬物體400，該餐館被疊加到真實環境300中的一位置處，在該位置在真實環境300中存在被分配給虛擬物體的餐館。任意進一步和/或者其它類型的物體或者虛擬物體同樣是可能的。
[0054]虛擬物體到真實環境300上的疊加例如可以藉助諸如虛擬物體在車輛擋風玻璃200上的所謂平視顯示器上的顯示來執行。將執行虛擬物體到真實環境300上的疊加的另一可能性可以藉助通過合適的投影設備將虛擬物體投影到真實環境300上來實施。
[0055]虛擬物體到在真實環境300中存在的物體的分配例如基於諸如例如GPS坐標的位置坐標和/或者在真實環境300中存在物體的物體識別來執行，其中該GPS坐標藉助車輛的導航系統獲得。
[0056]表徵關於與虛擬物體相關的真實環境300中的物體的附加或詳細信息的信息與疊加到真實環境300上物體相關。例如，關於第一虛擬物體400的信息可以表徵在真實環境300中存在的停車場的價格或者關於第三虛擬物體600的信息可以表徵在真實環境300中存在的餐館的菜單。
[0057]可藉助指向虛擬物體的用戶手勢來標記或選擇虛擬物體，並且虛擬物體可藉助進一步的手勢來移動或複製到儀表面板700或中央顯示單元900,其中該進一步的手勢是朝向位於方向盤800之後的儀表面板700的動態手勢或滑動移動並且關於虛擬物體的信息可以描述在儀表面板700或者中央顯示單元900上。
[0058]圖6示出根據本發明的示例性實施例使用在三維空間中執行的手勢控制車輛功能的方法流程圖。
[0059]應注意的是，圖6中流程圖的處理流程在初始化點之後(諸如例如在開啟車輛點火之後)開啟，並且以重複循環執行直至達到結束點(諸如例如關閉車輛點火)。替代地，初始化點例如可以是車輛啟動發動機的時間點，和/或結束點可以是車輛關閉發動機的時間點。根據本申請，其它初始化點和結束點也是可能的。
[0060]可以關於由駕駛員還是由乘客執行手勢作出區分，這在所謂的分屏顯示器中特別有利，其中該顯示器能夠同時為駕駛員和乘客顯示不同的信息。同時，關於由駕駛員或者由外面的乘客執行的手勢的區分關於由駕駛員或者由乘客的人體工程學控制是有利的。
[0061]下面，假設檢測到的手勢既可以是由駕駛員執行的手勢，也可以是由乘客執行的手勢。
[0062]另外應注意的是，在駕駛員和乘客的手勢的如上所述的區分情況下，在圖6中的流程圖的方法對於駕駛員側和乘客側兩者均執行。在圖6中所示的處理序列例如可以對於駕駛員側和乘客側以並行、串行或連接的方式方便地執行。
[0063]在步驟SlOO中，確定是否檢測到第一手勢。在未檢測到第一手勢的情況下，這對應於在步驟SlOO中的回答「否」，處理序列返回步驟S100。在檢測到第一手勢的情況下，這對應於在步驟SlOO中的回答「是」，處理序列前進至步驟S200。
[0064]在步驟S200中，確定檢測到的第一手勢是否是指向疊加在車輛周圍的真實環境上的虛擬物體的手勢。在第一手勢並非指向疊加在車輛周圍的真實環境上的虛擬物體的手勢的情況下，其對應於在步驟S200中的回答「否」，處理序列返回步驟S100。在第一手勢為指向疊加在車輛周圍的真實環境上的虛擬物體的手勢的情況下，其對應於在步驟S200中的回答「是」，處理序列前進至步驟S300。
[0065]指向疊加在車輛周圍的真實環境上的虛擬物體的手勢例如是第一預定手勢，該第一預定手勢在第一預定時間期間在三維空間的互動區域中靜態地指向虛擬物體。如參考圖1至5在上文已經描述的，檢測第一預定手勢。互動區域對應於上述的有效檢測區域。
[0066]在步驟S300中，標記或選擇虛擬物體。在步驟S300之後，處理序列前進至步驟S400。
[0067]在步驟S400中，確定是否滿足預定的取消條件。在滿足預定的取消條件的情況下，這對應於在步驟S400中的回答「是」，處理序列返回步驟S100。在未滿足取消條件的情況下，這對應於在步驟S400中的回答「否」，處理序列前進至步驟S500。
[0068]預定取消條件例如可以是對於第四預定量時間未檢測到手勢。
[0069]在步驟S500中，確定是否檢測到第二手勢。在未檢測到第二手勢的情況下，這對應於步驟S500中的回答「否」，處理序列返回到步驟S500。在檢測到第二手勢的情況下，這對應於步驟S500中的回答「是」，處理序列前進至步驟S600。
[0070]在步驟S600中，確定檢測到的第二手勢是否是被分配給虛擬物體操作的手勢。在第二手勢並非被分配給虛擬物體操作的手勢的情況下，其對應於在步驟S600中的回答「否」，處理序列返回至步驟S500。在第二手勢為被分配給虛擬物體操作的手勢的情況下，其對應於在步驟S600中的回答「是」，處理序列前進至步驟S700。
[0071]被分配給虛擬物體操作的手勢是第二預定手勢，該第二預定手勢在三維空間的互動區域中是動態的並且由疊加真實環境的虛擬物品導引、標記或選擇朝向諸如例如儀表面板700或者中央顯示單元900的顯示單元。
[0072]在步驟S700中操作虛擬物體，例如該虛擬物品被移動或者複製到顯示單元或者關於被標記或選擇的物體的信息顯示在顯示單元上。在步驟S700之後，處理序列返回至步驟 S700。
[0073]上述方法可以藉助設備執行，該設備形成控制車輛功能的設備。顯示單元優選為車輛，尤其是機動車輛的中央顯示器。
[0074]儘管在圖3和4中示出對於相應攝像頭的具體安裝位置，但是相應攝像頭可以布置在其他合適的安裝位置。
[0075]通過上述基於圖像的手勢控制實現簡單且快速的控制能力，這提高用戶的控制舒適度、控制靈活性和控制體驗，顯著提高車輛內部的設計自由度以及允許用戶與真實環境的互動。
[0076]上述示例性實施方式能夠作為諸如例如存儲介質的電腦程式產品來實現，該電腦程式產品被設計為與計算機或者多個計算機(即計算機系統)或者其它處理單元互動來執行根據上述示例性實施方式的方法。電腦程式產品可被設計以使該方法僅在預定程序(諸如例如設置程序)的實現之後才執行。
[0077]儘管本發明已經藉助示例性實施方式在上文中描述，但應理解可執行不同的實施方式和變化而無需脫離如所附權利要求中所定義的本發明的範圍。
[0078]附圖公開專門涉及關於本發明的進一步特徵和優點。
【權利要求】
1.一種方法，其使用在三維空間中執行的手勢控制車輛功能，該方法的特徵在於: a)確定是否藉助基於圖像的檢測過程來檢測在三維空間中執行的第一手勢； b)在確定已經檢測到所述第一手勢的情況下，確定所述第一手勢是否是指向疊加到所述車輛周圍的真實環境上的虛擬物體的手勢； c)確定是否藉助所述基於圖像的檢測過程來檢測在三維空間中執行的第二手勢； d)在確定已經檢測到所述第二手勢的情況下，確定檢測到的第二手勢是否是被分配給所述虛擬物體操作的手勢； e)在已經確定檢測到的第一手勢是指向疊加在所述車輛周圍的所述真實環境上的所述虛擬物體的手勢的情況下並且在檢測到的第二手勢是被分配給所述虛擬物體操作的手勢的情況下，操作所述虛擬物體。
2.根據權利要求1所述的方法，其特徵在於，所述虛擬物體操作表徵將所述虛擬物體移動到所述車輛的顯示單元上。
3.根據權利要求1所述的方法，其特徵在於，所述虛擬物體操作表徵將所述虛擬物體複製到所述車輛的顯示單元上。
4.根據權利要求1至3中的一項所述的方法，其特徵在於，所述虛擬物體操作表徵將關於所述虛擬物體的信息描述在所述車輛的顯示單元上。
5.根據權利要求1至4中的一項所述的方法，其特徵在於，將所述虛擬物體疊加在所述車輛周圍的所述真實環境上藉助平視顯示器執行，並且所述顯示單元為至少一個儀表面板和至少一個中央顯示單元。
6.根據權利要求1至4中的一項所述的方法，其特徵在於，將所述虛擬物體疊加到所述車輛周圍的所述真實環境上藉助將所述虛擬物體投影到所述車輛周圍的所述真實環境中來執行，並且所述顯示單元為至少一個儀表面板和至少一個中央顯示單元。
7.根據權利要求1至6中的一項所述的方法，其特徵在於，在對應於在所述真實環境中存在的物體的位置處將所述虛擬物體疊加在所述車輛周圍的所述真實環境上，其中該物體被分配給所述虛擬物體。
8.根據權利要求1至7中的一項所述的方法，其特徵在於，所述基於圖像的檢測過程是基於攝像頭的，並且在三維空間中檢測執行手勢的物體的位置。
9.一種設備，其使用在三維空間中執行的手勢控制車輛功能，該設備具有被設計為執行根據權利要求1至8中的一項所述的方法的設備。
10.一種電腦程式產品，其使用在三維空間中執行的手勢控制在車輛的顯示單元上顯示的功能，該產品被設計為與計算機或計算機系統互動來直接地或在執行預定程序之後間接地執行根據權利要求1至8中的一項所述的方法。
【文檔編號】G06F3/01GK104040465SQ201280066639
【公開日】2014年9月10日 申請日期:2012年12月12日 優先權日:2012年1月10日
【發明者】M·卡塔裡厄斯, W·艾德, P·菲舍爾, C·洛倫茨, G·賴爾, V·施密特, E·舍爾斯, H·辛克維茨, B·施特勞布, S·蔡林格 申請人:戴姆勒股份公司