用於信息的輸入和展示的駕駛員輔助系統的多形態的用戶接口的製作方法

2023-06-26 14:32:46

專利名稱：用於信息的輸入和展示的駕駛員輔助系統的多形態的用戶接口的製作方法
用於信息的輸入和展示的駕駛員輔助系統的多形態的用戶
接口 本發明涉及一種用於尤其為機動車的駕駛員輔助系統的、多形態的 (multimodale)信息輸入和信息顯示的調整(Anpassung)的方法，以及一種設置用於執行 該方法的系統架構(Systemarchitektur)。鑑於駕駛員信息和駕駛員輔助系統的持續增長的功能範圍，人機接口(MMI)在 未來須比以往更多地考慮降低操作過程的持續時間(Dauer)和(被感覺到的)複雜性 (Komplexitat)o未來的人機接口(MMI』 s)須能夠，以對於使用者而言可照章實施且可操作的方式 來集成不斷增加的數量的駕駛員信息功能和駕駛員輔助功能，且同時減少各個操作過程的 持續時間和(被感覺到的)複雜性。對於優化信息輸入，協同式多形態的接口可對此給予重要的貢獻。這樣的接口 原理上在"Nigay, L. and Coutaz, J. (1993). A designspace for multimodal systems concurrent processing and data fusion(用於多形態系統的設計空間協同過程和數 據融合)，in CHI 『 93 :Proceedings of the SIGCHI Conference on Human factors in ComputingSystems, pages 172-178，New York, NY, USA. ACM Press」 中已進行了描述。多形態的輸入現今在車輛中已能實現——使用者可為了操作一個功能而在多個 備選的交流形態(例如語音或手動的輸入)之間選擇。協同的或者交替的(alternierende) 多形態使得效率和舒適性的提高成為可能，因為通過多種形態所實現的輸入以相關聯的方 式而被解讀(interpretiert)。這有助於「更自然的」(以人與人的交流為依據)交流。在信息內容和操作界面(Bedienoberf^chen)的顯示的區域中，適應於情況的 (situationsadaptive)用戶接口包含有巨大潛能，即，檢測(erfassen)當前的使用情況的 不同參數(尤其是使用者的操作意圖和操作目標)並由此導出(ableiten)用於操作界面 的調整的、與情況相適的措施。這種系統觀察(beobachten)使用者的行為(Handlungen)，模擬(modellieren) 使用者的興趣且由此預料(antizipieren)使用者期望和使用者動作(Nutzerwtosche und-aktionen)。對此，與許多其它的應用領域相比，技術系統「車輛」及其特定的使用背景提供了 良好的技術前提。相比於其它的系統，在車輛中存在較少且清晰地經限定的數量的交互可 能性，由此，操作目標的系統側的預料(Antizipation)可更好地實現。本發明的目的在於，在人和機器之間的交流可能性方面更進一步改善迄今為止的 交流模式(Kommimikationsmodelle)，且為此提供一種提供了該交流可能性的方法和一種 為此而所需的、用於實現人機接口的更快且更直觀的操作的系統。下面的說明介紹了一種用於多形態的信息輸入以及信息顯示的調整(Anpassung der Informationsanzeige)的方法和一種用於適應性的(adaptive)多形態的用戶接口的 系統架構。該方法和系統架構簡化了未來的汽車系統的操作。通過協同式多形態的信息輸入和信息顯示的自動的調整可更容易且更全面地檢
5測相應的使用情況。對於交互技術而言典型的使用場合(Anwendungsfdlle)藉助於與菜單的交互 (Interaktion)示例性地進行說明。這舉例來說包括-監視器(Monitor)的操作功能(Bedienfunktionen)如運動(放大(Zoomen)、滾 動、開/關、中斷和類似者)或在監視器上所期望的操作功能的分配(Zuweisimg)，或者-被排列在上面的(iibergeordneten)首要的(obersten)選擇菜單內的菜單選擇 功能，或-在所選擇的「音樂選擇菜單」內的音樂選擇功能，或-在所選擇的「路線規劃菜單」內的路線規劃功能，或-在所選擇的「通訊菜單」內的通訊功能(例如電話、網際網路)，或-在「P0I選擇菜單」內的P0I選擇功能，或-在存放有導航地圖的「導航地圖菜單」內的P0I選擇功能，和/或-路線規劃功能，和/或-通訊功能。此外，介紹了一種用於適應性的多形態的用戶接口的可縮放的(skalierbare)系 統架構。該系統架構允許了多形態的輸入可能性，其超越了現今以串行方式(in Serie)進 行的輸入可能性。其尤其地包括用於單獨地分析輸入信號的系統模塊。本發明以如下方法為出發點，藉助於該方法可多形態地輸入信息，其中，視信 息輸入而定地調整相應的信息顯示。對於機動車而言，該方法尤其地對於駕駛員輔助 系統非常重要。迄今為止，通常地，不同形態的輸入信號被檢測且被供應給檢測模塊 (Erfassungsmodul)。顯示和操作元件、舉例來說帶有從屬的操作元件的傳統的顯示器或 觸摸顯示器(其大多情況下(zumeist)額外地還具有另外的所必需的操作元件)，充當接 收不同形態的輸入信號的輸入模塊。由此，通過操作元件的操作和/或通過觸摸顯示器 (Touchdisplay)/觸控螢幕(Touchscreen)的觸碰使得確定的信息輸入成為可能或者可進行 信息顯示的調整。此外，大多情況下，通過手勢(Gestik)而確定的操作行為可通過如下方式而被用 作輸入信號，即，舉例來說布置有以電容性的方式而布置的傳感裝置(Sensorik)，該傳感裝 置使得輸入信號的這種無觸碰的檢測成為可能。這些形態，S卩，在操作元件處的簡單的觸覺形式的操作行為和/或觸覺形式的「觸 摸操作行為」和/或手勢形式的(gestische) 「手勢操作行為」，被與用於語音識別的語音 識別裝置(Spracherkermer)相組合。本發明以一種在機動車中用於多形態的信息輸入和/或顯示和操作裝置的顯示 的調整的方法為出發點，該方法檢測不同形態的輸入信號，輸入信號通過至少一個操作裝 置和語音識別裝置而被供應，由此，作為輸出信號，所期望的功能和/或顯示被觸發，其顯 示在顯示和操作裝置上和/或經語音輸出而被輸出。本發明特徵在於，觸覺形式的和/或手勢形式的輸入信號在顯示和操作裝置 上或在顯示和操作裝置旁引起了設置用於交互的對象(zurlnteraktion vorgesehenen Objekt)的選擇並引起語音識別裝置的激活，並且，伴隨著對象的選擇和/或語音識別裝置 的激活依賴於所選擇的對象而實現對設置用於交互的詞彙表(Vokabular)的限制，據此，
6作為信息輸入和/或為了顯示的調整，通過語音識別裝置將該經限制的詞彙表的從屬於該 所選擇的對象的語音指令添加(hinzugefilgt)給該所選擇的對象。在第一種實施變型中，為了檢測輸入信號，該方法優選第一形態的使用，該第一形 態呈使用者在顯示和操作元件處的觸覺形式的操作行為(如舉例而言，在檢測模塊處的操 作元件的轉動、按壓、觸碰和/或接通)的形式。在第二種實施變型中，為了檢測輸入信號優選地使用第二形態，在該第二形態中 使用者的呈運動的形式的手勢形式的操作行為[手勢]被識別。作為第三形態，與第一和/或第二形態相組合地使用語音識別，即，利用該使用者 的語音以用於執行該方法。根據本發明，兩種用於檢測輸入信號的實施變型同樣被用於激活語音識別裝置。根據本發明作如下設置，S卩，語音對話系統的語音識別裝置通過觸覺形式的操作 行為，舉例來說「長按」觸碰和/或「雙擊」觸碰、和/或「拖曳手勢(Drag-Geste) 」和/或 「2指觸摸」來激活。此外，根據本發明作如下設置，S卩，於在檢測模塊處在識別出「普通的」手勢形式的 操作行為的時刻，語音對話系統的語音識別裝置已被自動地激活。兩種激活形式可組合地實施。通過這些根據本發明的解決方案，省去了 (entfdllt)迄今為止由現有技術已知的、 對語音識別裝置進行激活的「按鍵講話(Push-to-Talk) 」鍵。在另一種優選的設計方案中，不依賴於語音識別裝置的觸覺形式的和/或手勢形 式的激活，在激活後在可預定的、經限定的時段中是激活的，那麼其中，僅在該可預定的時 段內可由使用者添加語音指令。所添加的語音指令優選是單字的或多字的詞彙。在語音輸入的和手勢形式的和/或觸覺形式的輸入信號的交互的第一種實施形 式中，在所謂的「顯示對象/語音交互」中，源自可預定的詞彙表的、呈單字詞彙或多字詞彙 形式的語音指令(僅藉助於一個和多個「動詞」)而被添加至通過相應的操作行為而被選擇 的對象，以便於生成簡單且直觀的多形態的操作，用於在輸出模塊處產生輸出信號和與此 相聯繫的經修改的顯示對象的功能和顯示。在語音輸入的和手勢形式的和/或觸覺形式的輸入信號的交互的第二種實施形 式中，在所謂的「顯示對象_背景/語音_交互」中，呈單字詞彙或多字詞彙形式的預定的 「背景特定的」詞彙表的「背景相關的」語音指令被添加至通過相應的操作行為而被選擇的 對象，以便於同樣地生成簡單且直觀的多形態的操作，以用於在顯示和操作元件處產生輸 出信號和與此相聯繫的經修改的該對象的顯示和/或功能。優選地，作如下設置，S卩，語音對話系統的語音識別裝置在其激活後僅對於可 預定的、經限定的時段而言是激活的，在該時段內可由使用者添加語音指令，其中，語 音識別裝置的激活或者去激活通過在顯示和操作元件本身處(在離交互對象不遠處 (abseits deslnteraktionsobjektes))的為此設置的區域中的圖形的顯示——「圖形反饋 (grafisches Feedback)，，-來完成。優選地，相應的語音指令本身在優選的設計方案中在兩種實施形式中以文字形式 而直接在其識別(通過語音識別裝置)之後在可預定的、經限定的時段中在顯示和操作元
7件上淡入(einblenden，有時或稱漸漸出現)。對於兩種實施形式同樣地優選的是，語音識別裝置的激活通過顯示和操作 元件處的圖形的顯示和/或通過該顯示和操作元件的聲學的信號而被用信號傳遞 (signalisiert)，其中進一步優選地，可預定的、還剩下的用於輸入語音指令的持續時間在 語音識別裝置的激活後被顯示。最後，為兩種實施形式均設置了，在輸入了不適合於所確定的設置用於交互的顯 示對象的語音指令時，產生圖形的和/或聲學的報告(Meldimg)並通過顯示和操作元件或 通過語音對話系統的語音輸出器將其輸出。此外，為兩種實施形式同樣優選地作如下設置，即，語音對話系統的語音識別裝置 在其激活後僅對於可預定的、經限定的時段而言是激活的，在該時段內語音指令可由使用 者添加，其中，語音識別裝置的激活或者去激活通過圖形的顯示——「圖形反饋」——不是 在顯示和操作元件處在離交互對象不遠處、而是在設置用於交互的對象本身處進行。這樣 的做法(VorgehensweisehS卩，在該做法中，語音識別裝置的狀態可以不同的方式被顯示， 將在實施例中進一步被說明。此外優選地，在支持該方法的系統架構內構造有展示控制器 (Prasentationsmanager)，其依賴於由上遊的信息控制器(Informationsmanager)所獲 得的不同形態的輸入信號來決定該輸出的形式和在顯示和操作元件處的合適的展示方法 (PrSsentationsmethode)的選擇。在本發明的另一設計方案中，該展示方法依賴於被傳遞到展示控制器處的輸入信 號而被適配(adaptieren)。展示(Presentation，有時或稱顯示)的改變通過圖形界面的調整、 通過顯示內容的適宜的選擇和/或通過輸出媒介或者輸出時刻的交流特定的 (kommunikationsspezifische)選擇來實現。此外，該方法特徵在於，通過充當檢測模塊的顯示和操作元件，依賴於操作運動的 距顯示和操作元件的距離，操作意圖、尤其是手勢形式的第二形態的操作意圖[手勢]被輸 入，並且輸入信號被檢測，從而，依賴於該手勢形式的操作行為而實現在顯示和操作元件的 顯示模式和至少一個操作模式之間的、與情況有關的(situativer)轉變。在優選的設計方案中，系統架構的顯示和操作元件首先能夠確定，到底是否存在 操作運動。如果不存在操作運動，則這一點被系統的信息控制器所識別且被處理，其中，輸 出模塊的展示控制器在信息內容的圖示(Darstellimg)和顯示方面朝「顯示模式」而被優 化。如果由顯示和操作元件在d彡可預定的間距、尤其d彡5cm的區域中探測到操作 運動，則信息控制器識別出「普通的」操作意圖，其中，展示控制器將輸出模塊在整個顯示區 域中朝「第一操作模式」而優化以用於經改善的操作。如果顯示和操作元件在d <可預定的間距、尤其d < 5cm的區域中識別出操作運 動，則信息控制器探測到作為顯示對象的操作目標的「潛在地被瞄準的」操作意圖，其中，展 示控制器將輸出模塊在所瞄準的顯示區域中朝「第二操作模式」而優化以用於「潛在地被瞄 準的，，操作目標的改善的操作。在本發明的優選的設計方案中，操作模式的優化通過可預定的顯示區域的縮放
8(Skalierung)、淡入、放大來實現，由此產生了帶有更好且更簡單的可操作性的操作面。在優選的設計方案中，語音對話系統的語音識別裝置在識別到普通的操作意圖的 時刻，如先前所描述的那樣，已被自動地開啟。在優選的設計方案中，依次地或並行地進行的不同形態的輸入信號被彼此用於校 驗輸入信號。最後，該方法傑出之處在於，依賴於相應的在時間上也可疊加的輸入信號產生相 應的輸出信號，其用於操作平面的圖示和操作且用於不同的設有多個操作平面的系統的選 擇。作為用途，可考慮帶有不同的、可在相應的系統內執行的功能內容的導航系統和娛樂系 統的功能。也就是，根據本發明，為該方法關聯有用於多形態的信息輸入和信息顯示的調整 的系統架構，該系統架構如此地建立，即，輸入信號可通過與相應的形態相關聯的用戶接口 通過顯示和操作元件和語音識別裝置而被供應。該系統傑出之處在於，不同形態的輸入信號可協同地由信息控制器檢測，且展示 控制器可基於所獲得的信息控制器的輸入信號而被操控，且依賴於輸入信號而向顯示和操 作裝置和/或語音識別裝置提供準備好的輸出信號。顯示和操作元件視形態而定地為帶有從屬的操作元件的通常的顯示器或為觸摸 屏，該觸控螢幕在一種設計方案中裝備有從屬的電容式的傳感系統，為該傳感系統可額外地 關聯有另外的操作元件。優選地，為了分析輸入信號而布置有信息控制器，其將輸入信號傳遞給展示控制 器，從而信息控制器的輸出信號可以被展示控制器為了展示而加以準備的方式被提供給顯 示和操作元件以用於顯示。本發明的另外的有利的設計方案由其餘的在從屬權利要求中所提及的特徵得出。下面，在實施例中藉助從屬的圖紙對本發明進行說明。其中

圖1A至1C顯示了在導航地圖菜單(Navigationskarten-Meniis)內在操作手 (Bedienhand)的靠近的情形下顯示的適配(Adaption)；圖2A至2C顯示了在導航地圖菜單內協同式多形態的P0I搜索的操作流程；圖3A至3C顯示了與導航地圖菜單內的P0I的協同式多形態的交互的操作流程；圖4A至4B顯示了與導航地圖菜單內的P0I的協同式多形態的交互的操作流程；圖5A至5C顯示了與導航地圖菜單內的P0I的協同式多形態的交互的操作流程；圖6A至6B顯示了被排列在上面的首要的選擇菜單內的協同式多形態的菜單功能 的操作流程；圖7A至7B顯示了在音樂選擇菜單內的協同式多形態的音樂選擇功能的操作流 程；圖8A至8B顯示了在路線規劃菜單內的協同式多形態的路線規劃功能的操作流 程，且圖9顯示了協同式多形態的操作功能的操作流程；圖10顯示了在觸控螢幕處的操作手的經定義的靠近的情形下的系統狀態；圖11顯示了在所選擇的交互對象(以播放列表為例)處的用於語音識別裝置的 狀態顯示的圖形的對話；
圖12顯示了在所選擇的交互對象(以媒體播放器為例)處的用於語音識別裝置 的狀態顯示的圖形的對話；圖13顯示了在所選擇的交互對象(以在導航顯示器上的P0I選擇為例)處的用 於語音識別裝置的狀態顯示的圖形的對話；圖14顯示了在所選擇的交互對象(以在導航顯示器上的單個P0I為例)處的用 於語音識別裝置的狀態顯示的圖形的對話。對於相應的交互而言的前提首先是設置用於交互的對象的確定的方式。與其或者 在其中發生交互的單個對象以及區域被理解成對象。在第一種實施變型中，該確定通過檢測在使用第一形態Ml的情形下的輸入信號 來實現，第一形態Ml呈使用者在顯示和操作元件處的觸覺形式的操作行為(如舉例來說操 作元件的轉動、按壓、觸碰、接通)的形式。在第二種實施變型中，設置用於交互的對象的確定通過檢測通過第二形態M2而 產生的輸入信號來實現，在該第二形態M2中使用者10的——呈運動形式的——手勢形式 的操作行為被識別並被分析。對於有所改善的交互而言的前提是，語音識別裝置與設置用於交互的對象的確定 相關聯地被激活。在第一種實施變型中，觸覺形式的操作行為Ml (例如在操作裝置上的「長按」觸碰 和/或「雙擊」觸碰、和/或「拖曳手勢」和/或「2指觸摸」)用於激活語音識別裝置。在第二種實施變型中作如下設置，即，語音對話系統的語音識別裝置在識別出「通 常的」手勢形式的操作行為M2的時刻已被自動地激活。這兩種實施變型可單獨地或組合地被實施。如果語音識別裝置是激活的，則可由使用者10在第三形態M3中灌入 (eingesprochen)語音指令。在此，該方法可如此地實施，即，語音識別裝置僅對於可預定 的、經限定的時段而言是激活的，其中，該時段為使用者10而示出在顯示和操作裝置20，60 上。如果所有前提被滿足則實現交互，其作為第一種實施形式，「顯示對象/語音-交 互」，無附圖然而利用稍後說明的第二種實施形式的參考標號地被描述，以便於說明與第二 種實施形式的關係。隨後，根據附圖藉助於第二種實施形式，「顯示對象－背景/語音－交互」，來進行 描述。第一種實施形式，「顯示對象/語音－交互」在實施形式中的一種，即，「顯示對象/語音－交互」中，該方法藉助觸覺形式的和 /或手勢形式的操作行為Ml，M2和語音指令M3如下面那樣來執行。首先，通過操作行為Ml和/或M2中的一種來選擇對象，其中，語音識別裝置利用 該兩種操作行為中的至少一種而被同時地且自動地啟動(starten)。在「顯示對象/語音_交互」中，語音識別裝置僅被設計用於識別在語音識別裝 置中所存放的被限制的動詞詞彙表的一個或多個動詞。因為動詞容易被說出，所以得出 了通過操作行為Ml和/或M2而被選擇的對象與包括至少一個動詞的語音指令M3的直 觀的組合。該做法與人的活動和語言、尤其是特別地直觀的兒童語言的基本的工作原理(Funktionsweise)和做法相符。為了闡明該交互，下面對此舉了一些例子，其通過至少一個觸覺形式的操作行為 Ml而被引入以用於在顯示和操作裝置、舉例來說觸摸顯示器或觸控螢幕處確定該對象。對象 的確定，如所描述的那樣，也可通過手勢形式的操作行為M2或通過操作行為Ml，M2的組合 來引入。使用者10在觸控螢幕20的地圖(Karte)上觸碰一地點或一 P0I圖標，並且同時說 「前往」、「保存」、「呼叫」或「從旁經過(vorbeifahren) 」。使用者10在觸控螢幕20上例如通過封面流(Cover-Flow)察看其音樂。他觸碰唱 片集封面(Albumcover)，並且說「播放」、「刪除」、「複製」或「標記」。在美國，使用者10收聽高清廣播(HD Radio)。他在觸控螢幕20上觸碰在顯示器上 的當前的歌曲的標題顯示(Titelanzeige)，並且說「獲取」。於是，在家，iTimes提供該所標 記的歌曲以供購買。使用者10在觸控螢幕20上查看其聯繫人(呈照片形式)，觸碰某一個，並且說「呼 叫」、「發郵件」或「前往」。使用者10在觸控螢幕20，60的顯示器上查看其車輛的圖形，觸碰行李艙或車窗，並 且說「關閉」。第二種實施形式，「顯示對象_背景/語音_交互」本發明在其第二種實施形式、所謂的「顯示對象_背景/語音_交互」中將根據圖 1A至9B進行說明。在此同樣使得對於使用者(駕駛員或副駕駛員)10而言如下這點是可能，即，將不 同形態Ml，M2，M3的輸入信號M供應給顯示和操作元件20和/或語音識別裝置。首先，通過操作行為Ml和/或M2，如已針對第一種實施形式所描述的那樣，實現對 象的確定，並且，同時地且自動地隨著對象的確定實現語音識別裝置的激活。示例性地，為 了激活語音識別裝置可實施操作行為(如轉動/按壓或類似者)，或如已針對第一種實施形 式為了在第一種實施變型中激活語音識別裝置而所描述的那樣，實現觸覺形式的操作行為 M1，「長按」觸碰和/或「雙擊」觸碰，和/或「拖曳手勢」和/或「2指觸摸」，或在第二種實 施變型中作如下設置，即，語音對話系統的語音識別裝置已在識別出在檢測模塊處的「通常 的」觸覺形式的操作行為M2的時刻被自動地激活。在該第二種實施形式即「顯示對象-背景/語音-交互」中，設置用於交互的語音 指令M3是來自經限制的背景特定的詞彙表的、針對相應的確定的顯示對象的特定的有意 義的動作的單字或多字詞彙。此處，該背景相關的單字或多字詞彙同樣可以是動詞和/或 名詞。然而，該詞彙表被定製到或者被限制到相應的背景(Kontext)上。由此產生了在使用 者和系統架構之間的更快速且更簡單的交互，由此在從屬的系統架構中節省了存儲空間。另外的描述參照根據本發明的、使得該方法成為可能的系統架構來完成。為形態M1，M2，M3中的每個關聯有(zugeordnet)適合的用戶接口，例如，用於第一 形態Ml的帶有必要時被布置的操作元件的觸控螢幕20 ；用於檢測手勢形式的操作行為的用 於第二形態M2的傳感裝置、尤其電容式傳感裝置；用於語音識別的第三形態M3的語音識別裝置。此外，布置有信息控制器，其協同地分析形態Ml，M2，M3的輸入信號或者信號分fio信息控制器的輸出信號被供應給展示控制器，其通過用於顯示和信息的輸出的用 戶接口將輸出信號示出到顯示和操作元件或者語音識別裝置的語音輸出器處，在其上，呈 圖形動畫或者聲學的形式的輸出信號被供應給駕駛員或副駕駛員10。在此，展示控制器依賴於由信息控制器所傳送的信號來決定輸出的形式和合適的 展示方法的選擇。例如「導航系統」的、適應性的(adaptiv)多形態的用戶接口的一種執行過程在包 含利用語音識別裝置的用戶接口的語音識別、利用用戶接口(電容式傳感裝置)的手勢識 別、以及在作為顯示和操作裝置的觸控螢幕接口 20，60的用戶接口處的手勢形式的操作行為 的識別在內的情形下被描述。在手勢識別M2中手運動和/或手位置的探測藉助於電容式接近傳感器 (NSherungssensoren)來實現，其舉例來說安裝到觸控螢幕20的角(Ecke)處。如圖10所示，至該系統的設計成觸控螢幕20的導航顯示器的經限定的靠近，自大約 為10cm的間距起被視為普通的(generell)操作意圖。於是，為了所提供的按鍵(Schaltflaeche)(舉例來說P0I圖標)的有所改善的可 操作性，展示控制器通過額外的操作選項的淡入和縮放而對從信息控制器所獲得的、用於 在觸控螢幕20上的信息圖示的輸入信號進行適配。圖10中的表格鑑於輸入信號的存在來區分操作手的出現(PrSsenz)且將一定的操 作意圖與相應的出現相關聯，其中，展示控制器此外視操作手的出現而定地變換到可預定 的模式中。如果未探測到操作手，則無使用者10的操作意圖被檢測到，並且，展示模塊 (PrSsentationsmodul)基於在信息控制器中總共存在的數據優化該圖示以用於信息內容 的顯示，所謂的顯示模式。自大約5cm的間距起(即d彡5cm)在導航顯示器的區域中的出現已可被探測到， 其作為「通常的」操作意圖而被檢測。由此，通過信息控制器在展示控制器處完成全部的顯示的優化，用於可能的手動 操作，所謂的第一操作模式。自大約< 5cm的間距起，具體的起作用的操作目標從在觸控螢幕20，60上的相應的 被使用者10的食指所瞄準的按鍵中得出。操作手的出現和位置被探測且當前的操作目標 的潛在的位置被定義成顯示對象。通過信息控制器藉助於展示控制器實現被瞄準的區域的 優化，用於手動的「手指」操作，所謂的第二操作模式。額外地，所瞄準的經優化的按鍵被縮放，從而再次簡化了用於操作示出在觸控螢幕 20上的「鍵」的瞄準過程(Zielvorgang)。在車輛中的當前的基於觸控螢幕20的用戶接口中，按鍵的尺寸絕大多情況下被減 到人類工程學可接受的最小程度，以便於在受限的顯示器尺寸中創造用於信息的並行的顯 示的空間。通過在顯示模式和第一或第二操作模式之間的與情況有關的轉變，車輛中的觸摸 屏20的受限的顯示面在假設(Armahme)操作意圖的情形下既可為了在一目了然的圖示中 的信息內容的顯示又可為了特定的操作面的圖示而有效地被使用。
以與觸控螢幕20，60上的導航地圖中的P0I圖標的手動的交互為例，該方法被示例 性地執行，這首先根據圖1A至1C進行描述。圖1A顯示了導航系統的觸控螢幕20，60，在其中操作手還未被探測到，從而，信息顯 示在顯示模式中在整個觸控螢幕20，60上被優化。根據圖1B，在操作手的通常的靠近(「通常的」操作意圖)中，P0I圖標的尺寸已 經被縮放。在此，道路名稱、道路信息和其它的細節被部分隱藏，因為其對於該操作行為的 時期而言不重要。因此，已實現了用於隨後的手動操作的至第一操作模式的優化。根據關於用於操縱地圖視圖的操作選項的圖1C，在「指示器」(即被選擇用於交互 的對象)的瞄準中，該操作選項在相應的位置處淡入，而使用者無須操作按鍵。在圖1C中進行的手勢形式的操作行為M2喚起第二種操作模式，在其中，所瞄準的 區域為了手動操作被優化。為了在觸控螢幕20，60上指定對象、幾何尺寸和位置以及為了在觸控螢幕20，60上調 整刻度(例如用於音量調節)，觸覺形式的輸入和/或手勢形式的指點運動同樣適用。為了輸入名稱、概念和指令，在大多情況下語音更合適。所謂的協同的多形態(操作行為和語音輸入)除了使得較短的操作時間成為可能 以外，通過平行的信息輸入還使得操作錯誤的減少成為可能，因為通過一種操作形態來進 行的輸入可相應地有助於對相應地平行地被使用的操作形態的輸入進行檢驗。此外，通過例如在合適的觸覺形式的和/或手勢形式的與導航地圖的交互中語音 識別裝置自動地(代替通過「按鍵講話」鍵而)被激活的方式，可減少操作元件和操作步驟。在包含空間幾何的說明在內的情形下的指令，如舉例而言在與地圖的交互中所進 行的那些，是對於這種協同的系統的應用而言最常見的任務類型。根據圖2A至2C，對特定的主題類別(例如「酒店」或「餐館」)中的P0I的、與地 點相關的多形態的搜索展現了一種示例性的執行。此處，使用者通過語音M3指定了被搜索的P0I的類別，且同時在觸控螢幕20，60上 通過手動的指點手勢M2(例如搜索區域的自由的『圈定』)限定了指定的搜索區域。圖2A顯示了在語音指令M3之前的觸控螢幕。根據圖2A至2C，一旦該系統記錄到指點手勢和/或觸覺形式的操作行為M1，M2的 開始，語音識別裝置被自動地激活。所識別的與背景相關的搜索關鍵詞、舉例來說「酒店」， 在顯示器20上淡入，且在指點手勢和/或觸覺形式的操作行為Ml，M2結束時(見圖5B)， 在地圖上在所指明的搜索區域內該特定的搜索區域的所找到的P0I (此處為酒店)被顯示 (圖 2C)。通過語音識別M3的基於導航地圖的經限定的應用背景的激活，僅在相應的應用 背景中有意義的背景相關的且被限制到該背景上的詞彙表被作為識別的基礎，且因此，錯 誤率保持較低。關於導航背景中的協同式多形態的輸入的另外的應用示出在圖3A至3C中。由圖 3A起，與P0I的直接的交互如下來實現。代替經語音(如在針對圖2A至2C所描述的解決 方案中那樣)來指定所期望的P0I (這在相同的類別的多個P0I的情形下是有問題的)或 純手動地在菜單上通過觸覺形式的操作行為M3來選擇所期望的動作(例如「呼叫」)(這要 求較長的操作時間和目光偏移(Blickabwendungen))，使用者可通過指點手勢M2 (圖3B)來
13選擇該P0I且與此並行地經語音而輸入所期望的動作M3。此處，對於語音識別M3而言同樣地僅該經限制的與背景相關的、用於控制P0I動 作的概念的詞彙表被作為基礎，從而，在該例子中同樣使錯誤識別的可能性保持較小。通過 對這些輸入即Ml，M2，M3的在時間上和語義上的同步性的分析，該系統，如上面所描述的那 樣，藉助輸入信號(其必要時在形態M1，M2，M3方面被疊加)的分析來決定P0I菜單的相應 的顯示。在所識別的語音指令M3中，動作「呼叫，，直接地被實施，且P0I菜單(參見圖3C) 未被調出(aufgerufen)。背景相關的語音交互不排除單個動詞的使用。P0I菜單(參見圖3C)僅在未被識別的或不成功的語音指令的情形下被調出。使 用者10此時可重新地經語音M3或在觸控螢幕20，60上通過操作行為Ml和/或M2和/或M3 而在根據圖3C的示出的菜單上指明所期望的選項。根據圖1A至3C已顯示了，這種輸入的檢測帶有用於HMI的對操作情況的適配的 大的潛能且因此帶有用於舒適性和安全性的大的潛能。根據圖4A至9B將描述另外的應用可能性，其在使用該方法或者該系統架構的情 形下可被實施。圖4A至9B同樣說明了用於語音指令M3以及觸覺形式的和/或手勢形式 的操作行為Ml，M2的多形態的輸入的方法。此處同樣假設，至少可被該系統架構和從屬的方法所檢測以用於共同的處理的輸 入信號M1，M2，M3被使用。圖4A已顯示了第一操作模式，在其中，如已針對圖3而描述的那樣，顯示已為了手 動操作而被優化。在確定的位置處的對象的確定和指定已要麼通過至顯示器20，60的手勢 形式的靠近M2要麼通過在顯示器20，60上的觸覺形式的觸摸輸入Ml而被實現。在此，語 音識別裝置可以是已再次被打開的，而操作行為Ml，M2檢測操作手的手勢形式的出現和/ 或在P0I對象的區域中的通過操作手指而進行的觸覺形式的選擇。舉例來說，在P0I對象上的按壓Ml 「長按」的情形下實現語音識別裝置的打開。兩種變型，即，語音識別裝置的手勢形式的和/或觸覺形式的激活，可單獨地或組 合地實現。此時，通過語音識別裝置，在針對所選擇的P0I的背景中可實現語音指令的輸 入，該語音指令舉例來說內容為「導航」或「信息」或「繞行」。圖4B再次顯示了通過操作手的、在觸控螢幕20，60的區域中的手勢形式的出現M2 而實現的，位置指定的P0I搜索的可能性。必要時，該顯示事先地根據針對圖3的描述而被優化，並且，實現手指的畫圈的運 動，作為在形態M2中的操作行為。同時，舉例來說，語音識別裝置作為另外的用戶接口而打開，或者，P0I按鈕顯現， 其中，P0I搜索通過如下方式藉助於語音輸入而繼續，S卩，灌入語音指令M3、舉例來說「餐 廳」或「酒店」。下面，藉助圖5A至5C描述另外的例子，這些例子將闡明多形態的P0I操作的原理。根據圖5A，使用者10以其手指指到P0I上，其中，充當輸出模塊的顯示和操作元 件60變換(wechseln)到第一或第二操作模式中。使用者10與此並行地說出語音命令M3。 因此，輸入指令或者輸入信號由指點手勢M2和所說的信息M3組合成輸入信號。
語音識別裝置識別該一個或多個語音指令M3，並且，通過觸控螢幕20，60的電容式 的傳感裝置並行地檢測手勢形式的操作行為M2。舉例而言，在第一階段中，使用者10再次對所期望的P0I圖標執行操作行為Ml和 M2或僅M2 (以手勢形式的方式，無觸控螢幕觸碰)，伴隨著相應的並行的與背景相關的語音指 令M3例如「信息！ 」，從而，在顯示和操作裝置60上，通過多形態的輸入指令Ml，M2，M3或 M2，M3或Ml，M3，藉助該系統，舉例而言，聽覺的或圖形的動畫作為關於「現代藝術博物館」 的信息而自動地被提供。隨後，舉例而言，使用者10想要建立電話連接。其例如再次對所期望的P0I圖標 執行操作行為Ml和M2或僅M2 (舉例而言，無觸控螢幕觸碰的手勢形式的操控)，並且，相應 地說出並行的語音指令M3、舉例而言「呼叫！」。輸入指令M3通過可供系統使用的語音識別 裝置(在基於經限定的與背景相關的詞彙表的情形下)而被確認，且該系統自動地建立至 「現代藝術博物館」的電話連接。舉例而言，同樣存在如下可能性，即，通過到P0I圖標上或至P0I圖標處的操作行 為Ml和M2或僅M2(無觸控螢幕觸碰的手勢形式的操控)M1，M2，並且灌入並行的語音輸入M3、 舉例而言「目的地導航！ 」，以便於(在對輸入指令M進行分析後)通過車輛的導航系統開 啟往「現代藝術博物館」的目的地導航，且通過顯示和操作元件60的顯示而將其以圖形方 式示出。圖5B顯示了在導航顯示器上的操作行為「環繞手勢(Einkreisegeste) 」M2，並且 再次地舉例而言進行了並行的語音指令M3 「餐廳！ 」。由此，在導航系統的顯示器的顯示和 操作裝置60上實現了在該被環繞的區域中的所有餐廳的顯示。在圖5C中，使用者10舉例而言進行了指點手勢M2且與之並行地進行了語音指令 M3、例如「放大！ 」，或指點手勢M2和語音指令M3 「瀏覽！ 」或指點手勢20和舉例而言語音 指令M3「移動地圖」。那麼，在導航系統的顯示和操作裝置20，60上實現導航地圖的相應的 「放大」、「滾動」或「瀏覽」。對於所有已描述的例子和下面的例子而言，作為輸入信號M3的與背景相關的語 音指令不必強制地(zwangslSufig)並行於輸入指令Ml和/或M2來實現。同樣可設想，語 音指令M3在另外的輸入指令Ml和/或M2的之前不久或之後不久被實現。該系統和方法 試圖實現與使用者10的自然的行為方式最相符的、協調的(koordinierte)多形態的輸入。多形態的可操作性的另外的例子示出在圖6A和6B中且將在下面更進一步被描 述。根據圖6A和6B首先示出了，通過第一或第二操作模式(對此，見圖10的描述) 中的輸入模塊20的展示上的按壓和/或指點Ml，M2，視圖示而定地得出了語音指令M3的
一定的背景。首先，系統架構預先揀選(vorsortieren)對應用而言特定的詞彙表，且通過打開 語音識別裝置的用戶接口而在經限制的對應用而言特定或者背景特定的上下文中提供一 定的語音指令M3、如舉例而言「停止」或「繼續」或「廣播FFM」。在操作行為M2的充分的出現中和/或在Ml 「按壓保持」中實現語音識別裝置的 打開，其中，待被說出的指令M3甚至在顯示和操作裝置20，60上被給出。通過該解決方案， 舉例而言位於方向盤處的「按鍵講話」按鈕的包含(Umgreifen)不再是必需的。
該解決方案同樣通過圖6B額外地被示出。其顯示了，在檢測模塊20上實現了展 示的一目了然的應用，且在相應的靠近M2或按壓Ml( 「按壓保持」)中，語音識別裝置被打 開，且舉例而言從總覽圖示(iibersichtsdarstelhing)出發而進行與背景相關的語音指令M3 的顯示，如舉例而言「地圖」或「導航」或「進入組合儀表(組合儀表)」。通過該解決方案， 不同的形態M1，M2，M3引起明確的可實施的指令，該指令可被系統所實現。如圖7A和7B顯示的那樣，多形態的輸入在特定的應用中通過語音輸入M3或者觸 摸/手勢指令Ml，M2同樣能實現。此處，示例性地，藉助示出的iPod(圖10A)或者根據圖 10B的另外的類型的音樂標題選擇圖示來闡明音樂標題的選擇。通過在第一或者第二操作 模式中的在觸摸界面20上方的靠近的操作行為M2，舉例而言「自動化的點撥輪」自動地被 示出且被打開，此外，語音識別模塊自動地或舉例而言通過直接的「觸摸指令"Ml而被激活， 從而，可再次地或者通過另外的「觸摸指令」Ml或通過靠近指令M2或其組合和/或經由再 一次的語音輸入M3來選擇相應的音樂標題、舉例而言「A Kind of Magic」代替音樂標題「A Friend of Mine，，。此處，再次地，「按鍵講話」按鈕的單獨的按壓同樣不是必需的，因為語音識別裝置 已通過操作行為M2的靠近而被打開或通過到觸控螢幕20(圖7A 「Talk(對話)」)上的按壓 Ml而被激活。對「按鍵講話」按鈕的包含被省去。因此，該系統示出了從「按鍵講話」到「指 點講話」或者「觸摸講話」的創新。此外應注意，藉助iPod的示出的部分(圖10A)或打開的操作域(圖10B)的各個 選擇的修正必要時又可經由觸控螢幕20、即觸摸操作行為M1，和/或經由手勢形式的靠近操 作行為M2和/或經由語音操作行為M3來實施。類似於剛剛所描述的在iPod或類似者處的音樂標題選擇處的操作方式，在圖8A 和8B中示出了多形態的、藉助於導航小部件(Navigations-Widget)的目的地輸入。語音識別裝置舉例而言又通過至顯示器20，60上的靠近/指點M2而被打開，且隨 後舉例而言經操作行為Ml和/或M2實現各個部分的選擇和修正，並且，實現在觸控螢幕20， 60上的圖示。通過打開語音識別模塊，此時，相應的目的地或者相應的路線(舉例而言參見圖 8A)可被灌入，從而，此處舉例而言根據圖8A實現Wolfsburg(狼堡)-Berlin (柏林)的 路線顯示，且然後，根據圖8B，又經觸摸操作行為Ml或Ml和M2和/或僅通過修正的語音 指令M3實現目的地的輸入和修正，從而，舉例而言，所誤解的與背景相關的語音指令例如 "Hambergstrasse (Hamberg 大街)」(而不是所其月望的"Hamburgstrasse (Hamburg 大街)」) 可手動地經操作行為Ml或Ml，M2或再次經語音指令M3而被修正。圖9A和9B還顯示了功能分配或者全手勢的分配的多形態的輸入的可能性。那麼 舉例而言，根據圖9A，如已針對圖5C所描述的那樣，在通過操作手來進行的靠近之後，通過 手勢形式的輸入指令M2和相應的並行的或隨後的語音指令M3 「放大」或「移動」，可實現導 航地圖在觸控螢幕20上的移動。此外，開/關功能或中斷功能可舉例而言被與手勢M2 (如舉例而言整個手的手張 開)相關聯。由此，在與語音指令M3例如「開/關」或「中斷」的結合中可實現用於啟動或 關閉系統的多形態的操作。該系統的進一步的補充可通過來自車輛系統的、與當前行駛任務有關的背景信息(例如速度、道路等級、交通密度、車輛的輔助水平等)的集成來實現，以便基於使用者10的 需求情況而實現觸控螢幕20，60上的可使用的顯示面的適配。在圖11至14中將介紹關於語音識別裝置的狀態(激活/非激活)的顯示可能性。 已經說明了，對於兩種實施形式「顯示對象/語音_交互」和「顯示對象_背景/語音-交 互」而言優選地作了如下設置，即，語音對話系統的語音識別裝置在其激活後僅在可預定 的、經限定的時段上是激活的。在該時段內，可由使用者添加語音指令M3。在一種已知的變型中——該變型用於用信號告知使用者10，語音識別裝置是否為 激活或非激活的——在語音識別裝置的激活或者去激活中，在離交互對象或設置用於交互 的區域不遠處在顯示和操作元件20，60旁或在顯示和操作元件20，60中進行圖形的顯示 (所謂的「圖形反饋」)。在該新的變型中，「圖形反饋」不是在離設置用於交互的對象或區域不遠處，而是 在設置用於交互的對象或區域本身處進行。此處，在顯示和操作元件20，60上或在顯示和 操作元件20，60處無須再保留用於關於語音識別裝置的狀態的反饋的輸出的單獨區域，並 且，對於使用者10而言該圖形反饋有利地處在與設置用於交互的交互對象或該交互區域 的直接的關聯中。在與圖形反饋的結合中的語音識別裝置的激活和去激活中，原則上的流程如下。 在設置用於交互的區域中或在設置用於交互的對象處，語音識別裝置的激活舉例而言通過 「長按觸碰」(其已作為可能的備選方案中的一種而被描述)來進行。在此，可在顯示和操 作元件20，60上的設置用於交互的區域或對象中觸碰任一點以用於激活，其在此須保持一 定的可預定的時間。首先，在與圖形反饋的一種可能的組合中，在「正確的」、即設置用於激 活的區域中的「長按觸碰」中或在該對象的足夠長的觸碰中，產生「觸覺反饋」、舉例而言在 操作者的手指處的振動。在「長按觸碰」被接納作為用於打開語音識別裝置的觸發行為的 時刻，額外地實現另外的明顯的呈點擊式振動形式的「觸覺反饋」，作為對使用者10的信號 形式的回饋，即，所期望的操作行為已成功。該明顯的「觸覺反饋」可在與並行地被觸發的 「聽覺反饋」的另一種組合中實施。因此，語音識別裝置被啟動，且由此，以觸覺和/或聽覺 的方式通知使用者該成功的啟動。然而，直到語音識別裝置被激活，還將流逝一可預定的時段，其為了使用者10而 作為「圖形反饋」被顯示。圍繞著該區域或者該對象，針對可預定的時間，一種邊框式的帶 子開始跑動(laufen)，直到語音識別裝置符號S顯現。直到該時刻語音識別裝置才是激活 的(也就是說被打開以用於接收語音指令M3)且語音指令M3可被灌入。在此，在圖形反饋 的圖示方面存在不同的設計可能性。舉例而言，邊框式的(優選地與顯示和操作元件20，60在其發光強度和/或色彩 方面形成對照的)帶子在區域或對象的右下角中開始跑動，且在一種優選的設計方案中在 兩個方向上朝左上角而形成邊框R，其中，在到達左上角且邊框R閉合的時刻，語音識別裝 置符號S恰好在該處顯現。參見圖11和13。—種另外的可能的設計方案為，環繞的(umlaufende)、形成了繞對象或區域的邊 框R的帶子在該區域或對象的垂直的邊緣的中部處朝兩側以相同的或不同的速度而跑動， 在相對的一側上閉合且因此形成邊框R，且語音識別裝置符號S在該相對的一側上在於該 處的垂直的邊緣的中部處顯現。參見圖12和14。
17
在另一種設計方案中，環繞的帶子可從區域或對象的可自由地選擇的任一邊緣點 出發而開始形成，且僅在一個方向上或在兩個方向上跑動，其中，在由此形成的邊框R閉合 的時刻，語音識別裝置符號S被顯示，據此，語音識別裝置被置為激活的。去激活舉例而言相應地從點(帶子原先在該點處開始形成邊框R)出發在朝語音 識別裝置符號S的方向上通過如下方式實現，S卩，帶子在一個方向上或在兩個方向上跑動 著地重新淡出(ausblenden)，其中，一旦邊框R和語音識別裝置符號S再次地完全消失，則 語音識別裝置被置成非激活的。在語音識別裝置符號S顯現的時刻，語音指令M3可被灌入。在可預定的時段後， 邊框R以不依賴於在語音識別裝置符號S顯現後語音指令M3是否被灌入的方式在保持語 音識別裝置符號S的情形下舉例而言再次在帶子開始構成邊框R的位置處打開。因此，環 繞的帶子在朝語音識別裝置符號S的方向上重新逐漸消去，此後，在邊框R完全消失或在殘 留下邊框R(該邊框R的彩色造型不再可見或先前被提高的發光強度已回落)的時刻，語音 識別裝置符號S消失。那麼，語音識別裝置又是非激活的。藉助四個例子和圖11至14對本發明作進一步說明。在圖11中，藉助在顯示和操作元件20，60中已被調出的播放列表示出該解決方 案。舉例而言，帶有標題1至6的播放列表在原始視圖(Grimdansicht)中還未被邊框R圍 繞，且語音識別裝置符號S還未被顯示。通過顯示和操作元件20，60上的「長按觸碰」，舉例 而言在與「觸覺形式的」和/或「聽覺的」反饋(該反饋用於通知使用者10該成功的操作 行為，就如上面已在原理上所描述的那樣)的組合中，實現用於激活語音識別裝置的觸發 操作行為。由右下角出發，邊框R在左上角中閉合，並且語音識別裝置符號S顯現。因此，「圖形反饋」被提供給使用者，從而使得，使用者可精確地識別，什麼時候語 音識別裝置是激活的。在考慮第一或者第二實施形式的情形下，利用在中間間隔中為了與 所選擇的對象或區域的交互而設置的、經限定的詞彙表，實現語音輸入M3。在圖11中，使用 者10舉例而言灌入了標題2 "Badly Drawn Boy」。在顯示和操作設備20，60中，標題的揀 選如此地實現，即，所選擇的標題2被突出，且在一種有利的設計方案中在顯示和操作設備 20，60上進一步移動到操作者的居中的可見區域(Sichtbereich)中。其中，在該設計方案 的一種改進方案中，在所限定的詞彙表的範疇中舉例而言語音上聽起來近似的標題、舉例 而言標題3 "Beck-The Inform…」、標題4和5等等被揀選。在語音識別裝置符號S淡入 後，形成邊框R的帶子已從在其處邊框R開始由帶子形成(如在圖11中示出的那樣)的位 置出發，在朝語音識別裝置符號S的方向上退回，且在達到符號S時，語音識別裝置變為非 激活的且符號S再次淡出。在圖12中以媒體播放器為例示出了該做法。在原始視圖中，舉例而言，唱片集視 圖「David Grey",以及由該唱片集播放的標題「Alibi」以及其播放時間和還剩下的播放時 間在標題顯示中示出。下面的描述可類似地被轉用到在所顯示的唱片集封面的區域中在標 題顯示的區域的上方的唱片集的選擇上。為了從先前已選擇的唱片集中更換標題，示例性地，必要時在與用於使用者10的 觸覺的和/或聽覺的反饋的組合中，再次實現標題顯示區域上的「長按觸碰」。在該區域的 右邊的邊緣處，由中部起，環繞的帶子在如此形成的邊框R的左邊的邊緣的中部處閉合，且 語音識別裝置符號S在左邊的邊緣處顯現。語音識別裝置是激活的且已準備好用於語音輸入。在考慮第一或者第二實施形式的情形下，利用詞彙表(該詞彙表被限定到與所選擇的 對象或者所設置的區域的交互上)，實現語音輸入M3。舉例而言，根據圖12使用者灌入語 音指令「Alibi」，據此從相應的唱片集中播放該標題。隨後，環繞的邊框再次在右邊的邊緣 的中部處打開，且在朝語音識別裝置符號S的方向上消失，在到達符號S後在將語音識別裝 置切換成非激活的情形下該語音識別裝置符號S再次淡出。圖13顯示了在所選擇的交互對象處(以導航顯示器上的P0I類別選擇為例)的 用於語音識別裝置的狀態顯示的圖形對話或者「圖形反饋」。在圖13中藉助在顯示和操作 元件20，60中已被調出的導航顯示器來示出該解決方案。舉例而言，在導航顯示器上不同 的P0I類別、例如「酒店」或「餐館」或「購物設施」在這樣的原始視圖中被示出，即，該原始 視圖還未被邊框R圍繞，並且語音識別裝置符號S還未被顯示。通過「長按觸碰」到顯示和 操作元件20，60上，如上面在原則上所描述的那樣，實現語音識別裝置的啟動(再次地，舉 例而言，在與觸覺的和/或聽覺的反饋的組合中)。由右下角起，邊框R在左上角中首先被 閉合，並且語音識別裝置符號S顯現。由此，圖形反饋被提供給使用者，藉助於該圖形反饋 使用者可精確地識別，什麼時候語音識別裝置是激活的且其可進行語音輸入M3。在考慮第一或者第二實施形式的情形下，利用被設置、限定到與所選擇的區域的 交互上的詞彙表來實現語音輸入M3。在圖13中，使用者舉例而言灌入類別「酒店」。所選 擇的P0I的顯示在已提到的設計方案中如此地實現，S卩，所選擇的P0I被突出且——如在圖 14中示出的那樣——自動地進一步移動到使用者10的中央的可視區域中。隨後，邊緣(如在圖11中示出的那樣)以消除邊框R的方式從這樣的點(在該點 處邊框R開始形成)出發重新往回地在朝語音識別裝置符號S的方向上跑動，且在到達符 號S時，語音識別裝置變為非激活的且從屬的符號S再次淡出。在圖14中說明了在所選擇的交互對象(以單個的藉助於語音對話而被選擇的、出 自圖13的在導航顯示器上的P0I為例)處的用於語音識別裝置的狀態顯示的圖形對話。如 果使用者10還希望獲得關於所選擇的酒店的信息、在使用語音對話系統的情形下與該酒 店聯繫、或以其它方式互動，則使用者再次如下面那樣行動。實現作為對象本身的P0I上的 「長按觸碰」。再次地，根據所描述的備選的或組合地存在的實施可能性，使用者獲得觸覺形 式的和/或聽覺的反饋，該反饋以信號傳遞了，用於啟動語音識別裝置的輸入已成功。舉例 而言，在P0I對象的右側邊緣處由中部出發，環繞的邊緣R在左側邊緣R的中部閉合。如此形成的邊框R和語音識別裝置符號S顯現。語音識別裝置是激活的。在考 慮第一或者第二實施形式的情形下，利用被設置和限定到與所選擇的對象的交互上的詞彙 表，實現語音輸入M3。舉例而言，用戶說出語音指令M3 「前往」，由此該酒店作為目的地而 被接收到導航系統的路線規劃中。或使用者說出語音指令M3 「呼叫」，據此，至酒店的電話 連接被自動地建立。隨後，邊框R再次打開，其中，邊框R優選地在對象的右側邊緣的中部 打開，且該邊框R通過在兩側上在朝語音識別裝置符號S的方向上以消除邊框R的方式而 跑動的帶子而再次消失。語音識別裝置符號S再次淡出，且語音識別裝置再次為非激活的。參考標號列表10 使用者20 進行檢測的顯示和操作裝置60 進行輸出的顯示和操作裝置
M輸入信號Ml第一形態[觸覺形式的操作行為]M2第二形態[手勢形式的操作行為]M3第三形態[語音]d間距S語音識別裝置符號R邊框/邊緣
20
權利要求
一種在機動車中用於多形態的信息輸入和/或顯示和操作裝置的顯示的調整的方法，該方法檢測不同形態的輸入信號，這些信號通過至少一個操作裝置被供應給語音識別裝置，由此，作為輸出信號，所期望的功能和/或顯示被觸發，其在所述顯示和操作裝置上被顯示和/或經語音輸出而被輸出，其特徵在於，觸覺形式的和/或手勢形式的輸入信號(M1，M2)在所述顯示和操作裝置(20，60)上或在所述顯示和操作裝置(20，60)旁引起設置用於交互的對象的選擇和引起所述語音識別裝置的激活，並且，伴隨著所述對象的選擇和/或所述語音識別裝置的激活，依賴於所選擇的對象實現設置用於交互的詞彙表的限制，據此，作為信息輸入和/或為了顯示的調整，通過所述語音識別裝置將所述經限制的詞彙表的從屬於所選擇的對象的語音指令(M3)添加給所選擇的對象。
2.根據權利要求1所述的方法，其特徵在於，作為輸入信號(M1，M2)和作為用於所述語音識別裝置的激活信號， 使用者(10)的觸覺形式的輸入信號例如操作元件的轉動、按壓、觸碰、接通等作為第 一種形態^1)，和/或 使用者(10)的手勢形式的輸入信號作為第二種形態(M2)而被所述顯示和操作裝置(20)所檢測。
3.根據權利要求1所述的方法，其特徵在於，伴隨著設置用於交互的對象的確定，所述語音對話系統的語音識別裝置通過產生觸覺 形式的輸入信號的操作行為在所述顯示和操作裝置(20)上或在所述顯示和操作裝置(20) 旁藉助於「長按」觸碰和/或「雙擊」觸碰和/或「2指觸摸」和/或「拖曳手勢」而被激活。
4.根據權利要求1所述的方法，其特徵在於，所述語音對話系統的語音識別裝置在產生手勢形式的輸入信號的、帶有「通常的」操作 意圖的操作行為被識別的時刻自動地被激活，並且，隨後才實現設置用於交互的顯示對象 的確定，從而確保了，在提早的語音輸入的情況中通過所述語音識別裝置實現語音分析。
5.根據權利要求1所述的方法，其特徵在於，所述語音對話系統的語音識別裝置在其激活之後僅對於可預定的、經限定的時段而言 是激活的，在該時段內可由所述使用者(10)添加語音指令(M3)，其中，所述語音識別裝置 的激活或者去激活通過在設置用於交互的區域或對象本身處的圖形的顯示——「圖形反 饋」——來實現。
6.根據權利要求1所述的方法，其特徵在於，所添加的語音指令(M3)為單字的或多字的詞彙。
7.根據權利要求1所述的方法，其特徵在於，在與所確定的顯示對象的「顯示對象/語音交互」中，呈單字的或多字的詞彙形式的語 音指令(M3)僅藉助於一個和/或多個「動詞」而被添加，以便於生成簡單且直觀的多形態 的操作，用於在所述輸出模塊處產生所述輸出信號和與此相聯繫的經修改的、所述顯示對 象的功能和顯示。
8.根據權利要求1所述的方法，其特徵在於，在與所確定的對象的「顯示對象_背景/語音_交互」中，呈單字的或多字的詞彙形式的語音指令(M3)藉助於一個和/或多個背景特定的詞彙而被添加，以便於生成簡單且直觀 的多形態的操作，用於在所述顯示和操作元件(60)處產生所述輸出信號和與此相聯繫的 經修改的、所述對象的顯示和/或功能。
9.根據權利要求1所述的方法，其特徵在於，所述語音指令(M3)直接地在通過所述語音識別裝置而被識別之後在可預定的、經限 定的時段中在所述顯示和操作元件(20)上淡入。
10.根據權利要求2至5中任一項所述的方法，其特徵在於，所述語音識別裝置的激活或者去激活藉助於圖形的顯示「圖形反饋」而在所述顯示和 操作元件(20，60)處在設置用於交互的區域或對象處被用信號傳遞、和/或通過觸覺的和 /或聽覺的信號「觸覺的和/或聽覺的反饋」而被用信號傳遞，其中，在所述語音識別裝置 激活之後可供使用的可預定的用於輸入所述語音指令(M3)的時段在顯示和操作元件(20， 60)中在設置用於交互的區域或對象本身處以圖形的方式被顯示。
11.根據權利要求1所述的方法，其特徵在於，在輸入了不適合於所確定的設置用於交互的顯示對象的語音指令的時候，實現圖形的 和/或聲學的通知或者信號傳遞。
12.根據權利要求1所述的方法，其特徵在於，在所述顯示和操作裝置(60)的上遊的展示控制器依賴於所述輸入信號(M1，M2，M3)來 決定所述輸出的形式和合適的展示方法的選擇。
13.根據權利要求12所述的方法，其特徵在於，所述展示方法依賴於傳遞到所述展示控制器處的輸入信號(Ml至M3)而被適配，且 通過所述圖形界面的改變 通過所述顯示內容的適宜的選擇 通過輸出媒介——顯示和/或語音——或者輸出時刻的交流特定的選擇來實現。
14.根據權利要求1至8中至少一項所述的方法，其特徵在於，通過所述顯示和操作裝置(20)依賴於操作運動的距所述顯示和操作裝置(20)尤其是 觸控螢幕的距離而輸入所述第二形態(M2)的操作意圖，並且手勢形式的輸入信號(M2)被檢 測，從而依賴於所述手勢形式的輸入信號(M2)操作運動實現在所述顯示和操作裝置(60) 的顯示模式和至少一個操作模式之間的與情況有關的轉變。
15.根據權利要求14所述的方法，其特徵在於，所述手勢形式的輸入信號(M2)的操作意圖可與所有其它的影響該操作意圖的其它形 態的輸入信號(M1，M3)相疊加。
16.根據權利要求14所述的方法，其特徵在於，所述顯示和(20)未探測到操作行為，從而在所述展示控制器的上遊的信息控制器未 識別出操作意圖，其中，所述展示控制器關於信息內容的圖示和顯示而將所述顯示和操作 裝置(20，60)作為「顯示模式」來優化。
17.根據權利要求14所述的方法，其特徵在於，所述顯示和操作裝置(20，60)在d彡可預定的間距、尤其d ^ 5cm的區域中探測到操作行為，從而所述信息控制器識別出「通常的」操作意圖，其中，所述展示控制器優化所述顯 示和操作裝置(20，60)的在整個區域中的顯示以用於經改善的操作，「第一操作模式」。
18.根據權利要求14所述的方法，其特徵在於，所述顯示和操作裝置(20)在d <可預定的間距、尤其d < 5cm的區域中探測到操作行 為，從而所述信息控制器識別出所選擇的對象的「潛在的被瞄準的」操作意圖，其中，所述展 示控制器優化所述顯示和操作裝置(20，60)以用於在被瞄準的顯示區域中的「潛在被瞄準 的」對象的經改善的操作，「第二操作模式」。
19.根據權利要求17和/或18所述的方法，其特徵在於，所述操作模式的優化通過可預定的顯示區域的縮放、淡入、放大來實現，由此產生具有 更好的可操作性的操作面。
20.根據權利要求1所述的方法，其特徵在於，例如速度、道路級別、交通密度、車輛的輔助水平等源於車輛系統的使用背景的信息被 供應，由此基於所述使用者(10)的需求情況而實現在所述顯示和操作裝置(20，60)的顯示 上的可使用的顯示面的適配。
21.一種用於多形態的信息輸入和顯示的調整的系統架構，其基於使用者的多形態的 交互，所述使用者的輸入信號可通過與相應的形態相關聯的用戶接口通過顯示和操作裝置 及語音識別裝置而被供應，其中，為了分析所述輸入信號布置有信息控制器，其依賴於所述 輸入信號而將輸出信號傳遞給展示控制器，所述輸出信號可在位於所述展示控制器的下遊 的顯示和操作元件和/或所述語音識別裝置上被提供給所述使用者，其特徵在於，不同形 態的輸入信號(Ml，M2，M3)可協同地由信息控制器來檢測，且所述展示控制器可基於所述 信息控制器的所獲得的輸入信號(Ml，M2，M3)而被操控，並且，依賴於所述輸入信號(M1， M2，M3)而將準備好的輸出信號提供給所述顯示和操作裝置(20，60)和/或所述語音識別直o
22.根據權利要求21所述的系統架構，其特徵在於，檢測所述輸入信號(M1，M2)的顯示和操作裝置(20，60)是帶有從屬的操作元件的顯示 器或帶有從屬的操作元件和相關聯的電容式的傳感裝置的觸摸顯示器。
23.根據權利要求21所述的系統架構，其特徵在於，輸出所述輸出信號的顯示和操作裝置(20，60)是顯示器或觸摸顯示器。
24.根據權利要求21所述的系統架構，其特徵在於，所述展示控制器依賴於由所述信息控制器所檢測的輸入信號(M1，M2，M3)而產生輸出 信號，其用於 用於不同的系統、例如〇帶有例如路線規劃、出發地和/或目的地輸入的修正、P0I搜索、P0I選擇、P0I交互、 通訊功能等系統功能的導航系統，或者〇帶有例如音樂標題的選擇和修正等的系統功能的娛樂系統的被排列在上面的選擇的操作平面的圖示和操作。
全文摘要
本發明涉及一種在機動車中用於多形態的信息輸入和/或顯示和操作裝置的顯示的調整的方法，其檢測不同形態的輸入信號，這些信號通過至少一個操作裝置被供應給語音識別裝置，由此，作為輸出信號，所期望的功能和/或顯示被觸發，其在顯示和操作裝置上被顯示和/或經語音輸出而被輸出。作如下設置，即，觸覺形式的和/或手勢形式的輸入信號(M1，M2)在顯示和操作裝置(20，60)上或在顯示和操作裝置(20，60)旁引起設置用於交互的對象的選擇且引起語音識別裝置的激活，並且，伴隨著對象的選擇和/或語音識別裝置的激活，依賴於所選擇的對象實現設置用於交互的詞彙表的限制，據此，作為信息輸入和/或為了顯示的調整，通過語音識別裝置將經限制的詞彙表的從屬於所選擇的對象的語音指令(M3)添加給所選擇的對象。
文檔編號G06F3/038GK101855521SQ200880116363
公開日2010年10月6日 申請日期2008年11月12日 優先權日2007年11月12日
發明者C·沃勒, G·霍納, M·米薩爾, M·紐格鮑爾, T·法比安, U·韋林 申請人:大眾汽車有限公司