將行進工具的周圍環境的局部圖像拼接成一個圖像的製作方法

2023-07-29 16:29:36

本發明涉及一種行進工具、一種駕駛員輔助系統以及一種用於將行進工具的連續周圍環境區域的局部圖像拼接成一個圖像的方法。尤其是，本發明涉及避免在拼合線區域中的失真。

背景技術：

為了使行進工具的運行更舒適及更可靠，使用通過傳感器接收周圍環境信號並且為駕駛員示出周圍環境圖像的駕駛員輔助系統。例如已知，為了監控位於本體車輛後方的交通空間而設置用於拍攝圖像的相機，其圖像為駕駛員復現在集成於駕駛艙或中控臺中的顯示器上。該系統常用於停車輔助。此外已知，該系統集成為用於車輛側設置的後視鏡的替代物。對於駕駛員來說可能的是，代替後視鏡，通過示出相機圖像來監控後向的交通空間。因此，駕駛員的周圍環境可以通過在車輛內部的顯示器展示。

de102011079913公開了一種用於駕駛員的視野輔助系統以及一種具有該系統的車輛。

de102010023591公開了使用在用於道路行駛車輛的駕駛員輔助系統範圍中的立體相機系統。

us7,139,412公開了一種用於拼接多個圖像的方法以及一種用於基於車輛的相機的裝置，沿拼合線拼接該相機的圖像。

us6,476,855公開了一種用於顯示行進工具的周圍環境圖像的裝置。

wo1999/015360a1描述了一種用於車輛的具有相機的視覺裝置。在此，至少一個相機設置在車輛的一側上。該視覺裝置通過使用圖像拍攝傳感器能夠實現例如目前車輛中車外後視鏡和車內後視鏡的替代物，並例如用作停車輔助裝置。

儘管相機能記錄徑向的三維(3d)區域，但在監視器上的展示在平坦的四邊形平面中失真。因此，在死角中與物體的距離特別不能輕易估計。在三個視野(反光鏡)的聚焦顯示中必要的是，通過相應的顯示方案實現本體車輛的關聯性亦或相對位置。

技術實現要素：

為了使後視鏡能夠不僅適合客戶地而且可允許地被取消，即使且尤其是在經拼接的局部圖片的拼合線區域中依然提供無法由現有技術保證的規定圖像質量。因此，本發明的目的在於滿足上述需要。

按照本發明，上述目的通過一種用於將行進工具的連續周圍環境區域的局部圖像拼接成一個圖像的方法得以實現。因此，在第一步驟中，藉助周圍環境傳感器檢測周圍環境區域的第一局部區域。周圍環境區域可以例如是行進工具的後向區域，其大致是行進工具的前保險槓後面的區域以及車輛左邊或右邊的區域。第一周圍環境傳感器可以例如是二維(2d)光學相機。該相機可設置在行進工具的翼子板和/或外後視鏡的區域中。附加地，藉助第二周圍環境傳感器檢測同一周圍環境區域的第二局部區域(該第二局部區域至少不完全與第一局部區域相同)。第二環境傳感器同樣可以是光學傳感器。然而，不同於第一周圍環境傳感器，第二周圍環境傳感器可以接收附加的信息，由此第二周圍環境傳感器例如能夠實現第二局部區域的三維圖像。在第二步驟中，在第一周圍環境傳感器的信號的基礎上產生周圍環境區域的圖像的第一局部圖像，以及在第二周圍環境傳感器的信號的基礎上產生周圍環境區域的圖像的第二局部圖像。此外，第二局部圖像基於多個用於檢測第二局部區域的虛擬傳感器。多個虛擬傳感器也可以看作在該第二局部區域上的多個備選視角，其在藉助真實傳感器檢測的信號的基礎上形成(例如被計算出)。以這種方式，在第二局部區域上存在多個視角。按照本發明，虛擬傳感器設置在基本上垂直於拼合線的垂直線的位置上，沿所述拼合線拼接第一局部圖像和第二局部圖像。以這種方式，每個虛擬傳感器具有距第一拼合線的不同距離。尤其是，每個虛擬傳感器具有特定虛擬傳感器距拼合線的基本距離的整數倍，所述特定虛擬傳感器相對接近地設置在拼合線上。拼合線通常垂直地設置在兩個指向不同方位角的空間區域中的傳感器之間，而對於三維圖像區域也可以標識出如下拼合面：該拼合面定義在拼接過程中不同周圍環境圖像的空間邊界面。關於這樣的拼合面，虛擬傳感器也可以設置在大致垂直線上。通過使至少一個虛擬傳感器關於第一周圍環境傳感器的檢測角度邊界線與關於第二周圍環境傳感器的檢測角度邊界線具有類似的視角，提供如下可能性：通過上述虛擬傳感器的信號在拼接第一局部圖像和第二局部圖像時產生較小的失真。尤其是在產生車輛環境的圖像過程中產生這樣小的失真，使得可以省去例如內後視鏡/外後視鏡的光學輔助工具。以這種方式減小了行進工具的阻力，這降低了其行進的能量消耗。此外存在如下可能性：利用附加信息擴充合成圖像並且將相機設置在更廣泛的且因此更夠格的車輛周圍環境圖像所展示的位置上。例如，該第一局部區域可以包含所謂的「死角」，否則行進工具的駕駛員僅可以在舒適性喪失的情況下以及在損失其餘周圍環境區域景象的情況下檢測該死角。

優選地，一個虛擬傳感器可以設置在緊鄰第一拼合線的附近。其在拼合線的區域上的視角因此幾乎與第一周圍環境傳感器的視角相同。以這種方式，在該區域中的失真可以以至今不可能的水平減小，由此滿足有關的標準(例如ece-r46)。

尤其是，各個虛擬傳感器水平地彼此間隔開地設置，以便其各核心檢測區域複製第二局部區域的緊密並排設置的垂直條帶(「區段」)。以這種方式，第二局部區域的極低失真的復現也可以實現：第二局部圖像的隨後轉換(例如從三維資料庫到二維資料庫)可以低失真地進行。

虛擬傳感器的核心檢測區域可以用於產生垂直的圖像區段，所述圖像區段沿第二拼合線彼此拼合地得出該第二局部圖像。該第二拼合線例如可以平行於第一拼合線設置。越多地使用虛擬傳感器，第二局部圖像內的失真越少。如果拼合線或拼合面基本上在直線行駛時對應於藉助行進工具駛過的行駛帶(或軌跡)的左側和右側，則行進工具後方的區域因此由多個區段拼接而成。在該區域中，例如可以使用已知的方法(例如α混合)。另一種方法稱為「視線插值」並且在公開物「megastereo:contructinghigh-resolutionstereopanoramas」中詳細說明。該插值藉助淨流量(net-flow)法實現。在該方法中，像素麵上的運動(「流量」)在兩個視圖之間構成。藉助於該信息，各中間位置可以插值到兩個不同的視圖之間。因此這導致在距投影面的距離中具有較大偏差的物體的展示問題顯著減少。

第一周圍環境傳感器例如可以是二維傳感器。第一周圍環境傳感器可以作為(單)外部相機構造在行進工具的翼子板、外後視鏡、門的區域中或在頂蓋邊緣/頂部行李架的區域中。第二周圍環境傳感器例如可以包括兩個光學傳感器或構造為立體相機。第二周圍環境傳感器可以設置在車輛尾部、尤其是相對於車輛寬度中間的區域中。以這種方式檢測行進工具的後向區域的多個圖像信息，並且將其準備好用於後續處理。對於圖像處理，本領域技術人員應理解的是：按照本發明不僅可以使用光學傳感器，而且可以使用任何產生或能夠實現周圍環境的二維或三維圖像的傳感器。如果第一局部區域與車輛右側面關聯且第二局部區域與行進工具的中央後向周圍環境區域關聯，有利的是，也為車輛左側設置周圍環境傳感器，該周圍環境傳感器在本發明的範圍中稱為第三周圍環境傳感器。該第三周圍環境傳感器根據以上關於第一周圍環境傳感器的實施方式用於基本上鏡像對稱地擴大周圍環境區域。換句話說，檢測周圍環境區域的第三局部區域，隨後在第三周圍環境傳感器的信號的基礎上產生第三局部區域的第三局部圖像，並且沿直線形的第三拼合線拼接第三局部圖像和第二局部圖像。在此，第一拼合線和第三拼合線尤其可以構成第二局部圖像的彼此對置的邊界線。優選地，第一拼合線和第三拼合線在此彼此平行地定向。按照本發明也減小了在第三拼合線的區域中的失真。

為了避免例如在所謂的「α混合」中可能出現的偽像，可以在拼接前沿相應的拼合線剪切局部圖像。按照本發明可以省去如對於已知算法在拼接不同圖像時所需的大量疊加。按照本發明的拼合方法對於已知算法通常在其邊界處出現的圖像內容的易受影響性也越小。換句話說，第一局部圖像沿第一拼合線、第三局部圖像沿第三拼合線且第二局部圖像沿第一和第三拼合線可以分別消除位於拼合線對側的圖像部分。如果所使用的傳感器的視角在拼合區域中幾乎相同，則與圖像內容或成像的物體無關的失真明顯小於根據現有技術的失真。

優選地，由第一局部圖像可以產生第一二維數據集，該第一二維數據集在二維顯示單元上呈現二維數據集時提供對於使用者合適的視角。在此，第一局部圖像的內容在虛擬的第一投影面上「換算」，以結合周圍環境傳感器的不同視角。相應地，第二局部圖像的各個區段和第三局部圖像也可以換算成相應的二維數據集，其方式為將它們置於相應合適的虛擬投影面上。如果第二局部圖像至今包含三維數據，則可以首先動態地確定距投影面的視角或合適距離(相對於行進工具的相對位置)。為此，被證實有利的是，包含在拼合線區域中的周圍環境物體的當前位置考慮用於定位投影面。尤其是，投影面距行進工具的距離與周圍環境物體距行進工具的距離基本上相同。通過這種關係可以再次減少失真。

同樣有利於進一步減少失真的是，對與第一虛擬投影面對應的第二虛擬投影面產生作用。換句話說，投影面在拼合線的區域中具有距行進工具相同的距離。

第一虛擬投影面可以具有凹形的圓柱區段形的輪廓，其中，使用者停止在圓柱體內側上。這對應地適用於第二虛擬投影面以及適用於必要時用於藉助第三周圍環境傳感器形成的二維數據集的第三虛擬投影面。尤其是，各個圓柱區段形的投影面設置在一個共同的圓柱面上，而使用者或行進工具基本上位於圓柱體中心點處。

為了可以藉助前述的方法替代內後視鏡/外後視鏡，需要在行進工具內的顯示單元上顯示所產生的周圍環境區域圖像的至少一部分。尤其是，顯示單元可以是二維顯示單元，該顯示單元設置在儀錶盤中和/或設置在行進工具的組合儀表中。為了一方面將通過圖像監控的區域以及另一方面將圖像解析度彼此置於合適的關係中，要在二維顯示單元上展示的空間角度範圍證明有利的是在180°至45°的值之間，尤其在120°至60°之間且優選在100°至80°之間。在78°至90°的範圍內，消除了對於駕駛員來說的行進工具的死角，由此提高了周圍環境區域的按照本發明的成像可接受性並且明顯提高了多數的道路交通安全性。

優選地，響應於相應的行駛狀況改變圖像的顯示部分的位置。對於外後視鏡已知的是，在對掛入倒擋作出的響應中展示靠近路邊石的區域，這按照本發明通過修改圖像的顯示部分的角度範圍也是可能的，在尤其優選的實施方案中提出：激活行駛方向顯示器，以便修改地展示圖像。例如可以擴大相應在拐彎時重要的側向區域，其方式為相應的周圍環境傳感器信號的附加分量保持進入到按照本發明的圖像中。

按照本發明的第二方面提出一種駕駛員輔助系統，其包括第一周圍環境傳感器、第二周圍環境傳感器、分析單元以及二維顯示單元。該分析單元例如可以包括以微控制器或毫微控制器形式的可編程處理器。在汽車領域中，這種分析單元也被稱為電子控制器(ecu)。該二維顯示單元可以例如作為矩陣顯示器設置用於裝配在行進工具的儀錶盤中和/或在行進工具的組合儀表中。對於第一周圍環境傳感器、第二周圍環境傳感器以及可選使用的第三周圍環境傳感器，結合最先提到的發明方面的描述也對應地適用。以這種方式，該駕駛員輔助系統設計為用於實現對應於最先提到的發明方面的特徵、特徵組合以及由此產生的優點。

按照本發明的第三方面提出一種行進工具，該行進工具例如可以構造為客車、運輸車、載重汽車、水上交通工具和/或空中交通工具。按照本發明，該行進工具具有如前所述的駕駛員輔助系統。通過使行進工具以這種方式實現相同的特徵、特徵組合以及由此產生的優點，提高了對於使用者的使用舒適性以及對於所有位於行進工具區域中的交通參與者的交通安全性。

附圖說明

本發明的其他細節、特徵和優點由後面的說明書和附圖給出。其中：

圖1示出行駛狀況的具有偽像的圖像；

圖2示出按照本發明的行進工具的一種實施例的組件；

圖3示出周圍環境區域的按照本發明形成的局部圖像；

圖4示出在圖3中示出的局部圖像的按照本發明的合成；以及

圖5示出按照本發明的方法的一種實施例的說明步驟的流程圖。

具體實施方式

圖1示出行駛狀況的根據現有技術拼接的圖像，所述行駛情況例如可以通過本體車輛的後視鏡觀察到。在道路上在本體車輛後面行駛有一輛外部車輛13作為周圍環境物體。此外，房子19圍在路邊。由於所使用的相機的不同位置，在圖像區域18中無可供使用的圖像數據。由於所使用的拼合方法出現導致圖像內部失真的偽像17。

圖2示出按照本發明構成的作為本體行進工具的客車10的一種實施例的行駛狀況的示意性俯視圖。客車10沿行駛方向p運動。在其右側翼子板的區域中設置作為第一周圍環境傳感器的外部相機1，該第一周圍環境傳感器檢測呈65°方位角的角度範圍。相應地，在客車10的左側上，在翼子板區域中設置作為第三周圍環境傳感器的外部相機9。在車輛尾部的中央設置立體相機2，該立體相機通過一個另外的二維外部相機20補充。全部的相機1、2、9、20與作為分析單元的電子控制裝置16按照信息技術連接。此外，屏幕14作為二維顯示單元連接到該電子控制裝置16上。為了將藉助相機1、2、9、20檢測的信息低失真地拼接成周圍環境iv的圖像，由立體相機2和二維外部相機20的圖像計算出大量的數據包，其視角對應於多個虛擬傳感器3，所述多個虛擬傳感器設置在基本上沿客車10的後側保險槓的一條線上。為了更好地識別而標繪一條垂直線6，該垂直線垂直於拼合線4、5或拼合面(沿垂直於圖面的方向)。所述多個虛擬傳感器3的各自的圓錐形檢測範圍由虛線標出。各個檢測範圍的核心區域7構成多個區段，所述區段沿第二拼合線8拼接成局部區域ii的圖像ii』。通過使在最外部置於第一拼合線4和第三拼合線5上的虛擬傳感器3的相應視角與外部相機1和9的視角相同，在拼合局部區域i、ii、iii的圖像i』、ii』和iii』時實現僅減少的不一致性。為了進一步增強該效果而標繪虛擬投影面11、12，這些投影面設置在一個共同的圓柱形表面上。在此，這樣選擇距圓柱形投影面12的距離，使得該距離基本上與距作為周圍環境物體的外部車輛13的距離一致。周圍環境區域iv的在屏幕14上示出的圖像iv』根據行駛方向顯示器15的運行狀態來選擇，以便優選示出對於客車10的駕駛員來說特別重要的周圍環境區域。因為在外部相機1、9和虛擬傳感器3之間的區域中不存在圖像數據(本體車輛位於該區域中)，所以這裡也可以沒有內容地生成圖像信號(參見圖1中的附圖標記18)。

圖3示出三個局部圖像i』、ii』、iii』，在這些局部圖像中作為周圍環境物體的外部車輛13設置在第一拼合線4的區域中。外部車輛13的分別位於第一局部圖像i』或第二局部圖像ii』中的部分基本上彼此對應地構造。因此，可以毫無問題地進行拼接並且預期最小的不一致性。可看出：在局部圖像i』、ii』、iii』內目前無數據的區域18提供插入本體行進工具的部分和/或插入對其使用者的附加提示的場所。

圖4示出使用在圖3中示出的局部圖像i』、ii』、iii』按照本發明實施拼合過程的結果。周圍環境區域的經拼接的圖像iv』具有多個經由虛擬傳感器3拍攝的圖像區段7，這些圖像區段僅可能出現關於圖像亮度的輕微變形(在附圖中未示出)。在外部車輛13的不同區域上的輪廓和視角都相應彼此明顯好於在根據圖1的視圖中的輪廓和視角。以這種方式提供對於客戶來說更可接受的且更符合標準的外後視鏡/內後視鏡的替代物。

圖5示出按照本發明的方法的一種實施例的方法步驟。在此，在步驟100中，相應的周圍環境傳感器包圍行進工具的周圍環境區域的第一局部區域、第二局部區域以及第三局部區域。所述周圍環境傳感器可以例如包括光學相機。尤其是，用於檢測第二局部區域的第二周圍環境傳感器可以包括立體相機或以其他方式設計為用於形成第二局部區域的三維圖像。在步驟200中，在周圍環境傳感器的信號的基礎上產生第一局部圖像、第二局部圖像以及第三局部圖像。隨後適當剪切局部圖像，以便按照本發明在第一和第三拼合線的區域中避免不需要的重疊。在經適當剪切的局部圖像的基礎上，在步驟400中由局部圖像生成第一、第二以及第三二維數據集。為此，使用第一、第二以及第三投影面，這些投影面位於一個共同的圓柱體表面上(也就是同一圓柱體的內側上)。在此，該圓柱體的半徑藉助在第二局部區域中包含的周圍環境物體規定。在步驟500中，分別沿直線形的拼合線拼接第一和第二局部圖像以及第二和第三局部圖像，其中所述拼合線彼此平行地設置。在周圍環境區域的現在已拼接的圖像中，拼合線豎直地定向。在步驟600中，選擇圖像的一部分用於在二維顯示單元上顯示，該部分對應於呈81°方位角的角度範圍。以這種方式，對於該方法的使用者來說除其行進工具外不再存在死角。在步驟700中，由於企圖轉彎行駛而操縱行駛方向顯示器，在對此情況作出的響應中在周圍環境區域的圖像內改變該部分的位置，以使將要轉彎行駛的彎道內側更好地在二維顯示單元上繪出。為此，顯示的角度範圍擴大或這樣偏轉，使得目前示出的在對置的邊緣區域上的區域在短時間內不再顯示。

按照本發明，所有對於駕駛員來說必要的側向和(或後向)視野通過經由周圍環境傳感器生成的全景圖像覆蓋。由此也遵守如尤其是在ece-r46標準中規定的法定最小視野以及最大允許失真。全景圖像通過相機模型的有利定位產生並且優選替代按照本發明構造的行進工具的全部反光鏡。

在本發明的一種優選的實施例中，以如下方式剪切由車輛前側的視角構成的第一和第三局部圖像：車輛輪廓不再包含在相應圖像的組成部分中。後部相機構造為產生深度地圖(視差圖)的立體相機。當然，視差圖的信息也可能通過附加的(例如非光學的)傳感器獲得。二維圖像信息的原始圖像置於三維信息上。現在，在立體相機的檢測範圍內產生多個虛擬相機，所述虛擬相機非常緊密地僅應檢測位於車後的車輛寬度中的相應區域。通過三維信息的剪切造成在本體車輛後的車輛寬度中的「行駛帶」(在假想的直線形的行駛方向的情況下)。作為最後的步驟，側向的相機投影到圓柱形表面上並且無縫地附加到中間行駛帶上。

通過按照本發明產生的全景圖像可以擴大駕駛員的視野。按照本發明不存在由於車輛部分的視野遮蓋。由於按照本發明剪切局部圖像，在單獨的視野之間也沒有多餘的圖像內容。全景圖像能夠顯著較好地展示用於駕駛員輔助的周圍環境信息。全景展示能夠實現：在同樣絕對的視野中使用單獨較小的監視器，這對自身帶來成本優勢、重量優勢以及體積優勢，或者給定尺寸的單獨監視器展示更大的視野。此外，通過使用呈至少78°的大方位角的視角可能的是，減少或消除死角區域。

附圖標記列表

1外部相機

2立體相機

3虛擬傳感器

4第一拼合線

5第三拼合線

6拼合線4、5的垂直線

7區段

8第二拼合線

9外部相機

10客車

11、12投影面

13外部車輛

14屏幕

15行駛方向顯示器

16電子控制裝置(分析單元)

17偽像

18無數據的圖像區域

19房子

20二維外部相機

100-700方法步驟

i第一局部區域

i』第一局部圖像

ii第二局部區域

ii』第二局部圖像

iii第三局部區域

iii』第三局部圖像

iv周圍環境區域

iv』周圍環境區域的圖像

p箭頭(行駛方向)