車道線識別系統的製作方法
2023-10-08 01:01:49 1
車道線識別系統的製作方法
【專利摘要】車道線識別系統包括：檢測部，其識別並獲取車輛行駛的道路的信息；以及影像處理部，其處理利用檢測部獲取的道路信息。影像處理部包括：車道線識別模塊，其識別並檢測通過利用檢測部獲取的道路信息；車道線追蹤模塊，其追蹤從車道線識別模塊檢測並累積的積蓄車道線信息，並取得推斷出的車道線追蹤信息；以及車道線識別履歷管理模塊，其通過從車道線識別模塊取得的車道線信息和從車道線追蹤模塊取得的車道線追蹤信息的插值結果判斷車道線信息的有效性。本發明利用追蹤累積的車道線信息推斷出車道線追蹤信息，使檢測出的車道線信息得到插值結果，從而提高檢測出的車道線信息的穩定性和可靠性。
【專利說明】車道線識別系統
【技術領域】
[0001]本發明涉及車道線識別系統。尤其涉及一種以根據車道線識別結果得出的車道線的履歷信息為基礎追蹤車道線，且判斷車道線信息的有效性時以追蹤結果為基礎，提高識別到的車道線信息的可靠性的車道線識別系統。
【背景技術】
[0002]車道線保持控制系統(Lane Keeping Assist System,以下簡稱LKAS)為確保駕駛員安全所必須的系統。通常，這種系統檢測車道線，感知車輛的行駛狀態，並且為使車輛不偏離檢測出的車道線而執行車道線保持控制，或對車道線偏離進行警告。
[0003]通過安裝在車輛的擋風玻璃和後視鏡之間的攝像頭傳感器獲取前方道路的圖像，在車道線保持控制系統(LKAS)的攝像頭系統中對獲取的道路圖像進行影像處理，從而能夠檢測出車道線。並且，通過從安裝在車輛的各種傳感器及電子控制單元(EOT: ElectronicControl Unit)取得的信息能夠感知車輛的行駛狀態。
[0004]同時，為進行車輛的車道線保持控制，可以利用車輛相對於檢測出的車道線的橫向偏移量(lateral offset)、道路的曲率(curvature)、航向角(heading angle)等信息。
[0005]車輛將要偏離車道線的情況下，車道線保持控制系統(LKAS)通過車輛的電動助力轉向系統(MDPS:Motor Driven Power System)控制轉向，為使相應車輛保持車道線行駛而進行控制。
[0006]另外，車道線偏離警報系統(LDWS:Lane Departure Warning System,以下簡稱LDffS)是可對車道線偏離發出警告的安全裝置，其通過安裝在車輛的攝像頭感知道路影像，掌握當前行駛中的車道線，當駕駛員因不注意或打盹駕駛將要脫離出道線時，發出警報音。
[0007]並且，在所述道路的車道線識別中，能夠使用(I)檢測具有車道線明暗度對應的特定值的區域的方法(2) 二值化(binarization)後檢測特定明暗度的高斯(GAUSSIAN)檢測法(3)等高線追蹤法(4)比較預先輸入的車道線模式影像與當前輸入的車道線影像，根據模式一致程度來判斷車道線有無等方法。
[0008]可以說這些算法，對於利用從攝像頭傳送的影像信息的車道線偏離判斷或車道線位置追蹤系統，是能夠根據車道線信息進行判斷的核心要素。
[0009]一方面，現有的韓國公開專利公報第10-2001-0069603號的『為提高車道線偏離警報裝置的車道線警戒線提取的方法』涉及為進行車道線偏離警報裝置的車道線識別，在由攝像頭輸入的道路行駛影像中提取車道線區域的警戒線的算法。
[0010]然而，利用影像傳感器識別前方物體(車道線、車輛等)時，很難區分由於存在物體而識別出的正常情況與即使不存在物體卻識別出物體的誤識別情況。
[0011]不僅如此，車道線模糊或受雨/雪天氣等環境因素影響，車道線識別會不穩定，這種情況下車道線識別系統也會變得不穩定。
[0012]因此，為防止識別車道線的傳感器的不穩定性導致車道線識別系統的不穩定性，即，即使傳感器不穩定地獲取車道線的信息，車道線識別系統也能夠穩定地運轉，提出了邏輯形態的保險槓。
[0013]這種情況下，要穩定地驅動車道線識別系統，還是使車道線識別系統靈敏地應對周邊環境變化，這兩種互相衝突的問題間的權衡(trade-off)自然需要解決。
[0014]因此,如圖1所示,提供時序圖(Timing Diagram),並且觀察顯示是否識別出車道線的『車道線識別(RECOGNITION OF LANE MARKING)』。
[0015]其中，「是」表示識別出車道線的情況，「否」表示沒有識別出車道線的情況。並且，車道線識別系統的觀察周期tl是觀察從識別到車道線信息至識別不到車道線信息的情況(以下降邊緣表示，意為從肯定到否定的變化的瞬間)的周期。
[0016]在觀察周期tl內出現下降邊緣時，如圖1所示，計數器(COUNTER)變數(反變量)增加，若下降邊緣出現次數超過特定值(圖1中以3次為例)，則關閉表示車道線識別系統驅動與否的自動轉向控制(AUTOMATED STEERING CONTROL)。
[0017]即使再次檢測出車道線，但是由於車道線識別的不穩定性，車道線識別系統的驅動停止了，因此以系統有可能再一次變得不穩定為前提，不立即驅動系統，而是延遲驅動一個驅動延遲周期to，後，在觀察周期tl內顯示穩定的車道線檢測性能的情況下，啟動自動轉向控制(AUTOMATED STEERING CONTROL)。這種保險槓即使在識別車道線的傳感器不得已只能不穩定地工作的情況下，也能夠穩定地關閉自動轉向控制(AUTOMATED STEERINGCONTROL)，從而即使在傳感器層面中發生震蕩跳躍(chattering)的情況下，也不讓震蕩跳躍產生的影像波及到轉向車輛。
[0018]然而，現有許多控制領域中，在驅動系統方面有要求周期性的趨勢，並且具有周期性的工作能夠產生穩定的控制性能，因此利用車道線識別的系統驅動方面最重要的要素之一就是周期性。但如前述現有的技術，利用影像傳感器的系統，就其而言其問題點是很難保障這種周期性。
[0019]因此，若不判斷車道線識別的可靠性，單純將是否識別出車道線作為車道線識別系統的驅動條件，則在利用影像傳感器來識別車道線等的過程中發生的誤識別，會直接導致車道線識別系統的錯誤工作。
[0020]當然，獨立來看車道線識別性能與車道線識別系統驅動，現有技術具有能夠簡潔地構成車道線識別系統邏輯的優勢。然而，從影像傳感器的特徵上多樣的後處理邏輯(logic)能夠降低影像傳感器固有的不穩定性的觀點來看，現有技術應用影像傳感器時，對界限情況的應對能力並不足。
【發明內容】
[0021]技術問題
[0022]為解決所述現有技術的問題，本發明的目的在於提供一種在不穩定地獲取車道線識別的道路情況下，通過諸如攝像頭等的影像輸入傳感器取得道路的影像框架，並追蹤(tracking)和推斷由此獲取的車道線信息，從而提高車道線信息的識別結果的穩定性和可靠性的車道線識別系統。
[0023]本發明的另一目的在於提供一種以根據車道線信息的有效性判斷而發送的系統激活(system activation)信號為基礎，判斷在車輛行駛中用於保持車道線的車道線保持控制信號是否有效，並據此向車道線保持控制系統或車道線偏離警報系統發送最終車道線保持控制信號的車道線識別系統。
[0024]技術方案
[0025]為達到所述目的，根據本發明的車道線識別系統包括:檢測部，其識別並獲取車輛行駛的道路的信息；以及影像處理部，其處理利用所述檢測部獲取的道路信息。其中，所述影像處理部包括:車道線識別模塊，其識別並檢測通過利用所述檢測部獲取的所述道路信息；車道線追蹤模塊，其在檢測出所述車道線信息之前，追蹤(tracking)從所述車道線識別模塊檢測並累積的積蓄車道線信息，並取得推斷出的車道線追蹤信息；及車道線識別履歷管理模塊，其在識別出從所述車道線識別模塊取得的所述車道線信息為非周期性不穩定狀態的情況下，通過從所述車道線識別模塊取得的所述車道線信息和從所述車道線追蹤模塊取得的車道線追蹤信息的插值結果(interpolated result)判斷所述車道線信息的有效性。
[0026]其中，所述車道線識別履歷管理模塊，累積通過從所述車道線識別模塊取得的所述車道線信息和從所述車道線追蹤模塊取得的車道線追蹤信息的插值結果(interpolatedresult)來累積取得的車道線履歷信息。
[0027]其中，本發明的特徵在於，所述車道線識別模塊中的所述車道線信息僅在預先設定的區域(以下稱為關注區域)內被檢測，所述關注區域是通過所述車道線追蹤模塊的所述車道線追蹤信息確定的。
[0028]另外，本發明的特徵在於，所述車道線追蹤模塊以從所述車道線識別模塊檢測出的所述車道線信息和與所述車道線信息相對應的所述車道線追蹤信息為基礎，在所述車道線信息與所述車輛間的距離進入預先設定的距離內的情況下，發送用於使行駛中的所述車輛保持車道線的車道線保持控制信號。
[0029]另外，本發明的特徵在於，所述的車道線識別系統還包括:控制部，其以依據所述車道線識別履歷管理模塊的所述車道線信息的有效性判斷、從所述車道線識別履歷管理模塊接收到的車道線保持控制系統激活(Lane Keeping Assist System Activation)信號為基礎，判斷從所述車道線追蹤模塊接收到的所述車道線保持控制信號是否有效，並發送最終車道線保持控制信號。
[0030]技術效果
[0031]具有所述構成的本發明的車道線識別系統，與測定不穩定的車道線信息的頻率，且車道線保持控制系統採用延遲時間的現有技術不同，其利用追蹤累積的車道線信息推斷出車道線追蹤信息，使檢測出的車道線信息得到插值結果(interpolated result),從而提高檢測出的車道線信息的穩定性和可靠性。
【專利附圖】
【附圖說明】
[0032]圖1為顯示現有技術的時序圖(Timing Diagram)；
[0033]圖2為顯示根據本發明的車道線識別系統的框圖。
[0034]附圖標記說明
[0035]1:根據本發明的車道線識別系統
[0036]100:檢測部200:影像處理部
[0037]300:控制部【具體實施方式】
[0038]為使關於本發明的技術課題的解決方案更加明確，以下將參考附圖，具體說明本發明的優選實施例。只是，在對本發明進行說明時，認為對於相關公知的構成或功能的具體說明有損於本發明的要旨時，將省略對其的具體說明。另外，後述用語為考慮到本發明功能而定義的用語，根據設計者、製造者等的意圖或慣例等會有所不同。因此應當根據本說明書全部的內容為基礎進行定義。另外，對各個附圖的組成要素添加附圖標記時，通過整個附圖對同一或者類似的組成要素儘量使用了同一附圖標記。
[0039]以下，將具體說明根據本發明的車道線識別系統I。
[0040]參照圖2，根據本發明的車道線識別系統I包括檢測部100、影像處理部200以及控制部300。
[0041]檢測部100識別並獲取車輛行駛的道路的信息。
[0042]舉一例說明，檢測部100可以利用通過安裝在車輛的擋風玻璃與車內的後視鏡之間的攝像頭傳感器之類的影像輸入傳感器而獲取車輛行駛的前方道路圖像的車道線識別算法。此處，作為影像輸入傳感器可以使用具有能夠識別前方情況的視角和120dB以上的寬動態範圍(Wide Dynamic Range;WDR)的傳感器。
[0043]影像處理部200處理由檢測部100取得的道路信息。並且，影像處理部200可以使用包括支持浮點(floating point)運算的晶片組的信號處理專用處理器。
[0044]如圖2所示，影像處理部200可以包括車道線識別模塊210，車道線追蹤模塊230以及車道線識別履歷管理模塊250。
[0045]車道線識別模塊210從檢測部100取得的道路信息識別並檢測車道線信息。
[0046]車道線識別模塊210中的所述車道線信息也可能僅在預先設定的區域(以下稱為關注區域(R0I;Region Of Interest))內被檢測。
[0047]這裡，關注區域(ROI)是指通過檢測部100取得的下一段道路的影像中車道線出現的可能性大的區域。另外，通過設定關注區域，車道線識別模塊210優先對所述關注區域檢測到車道線信息，即限定車道線信息的識別範圍，因此在識別所述車道線信息時受周圍環境因素影響小，能夠迅速地高效檢測可靠性高的車道線信息。
[0048]並且，車道線識別模塊210在識別車道線信息方面可以利用識別/檢測所述關注區域內存在的車道線的車道線識別算法。
[0049]一方面，車道線追蹤模塊230在由車道線識別模塊210檢測出車道線信息之前，追蹤從車道線識別模塊210檢測並累積的積蓄車道線信息，取得推斷出的車道線追蹤信息。
[0050]並且，車道線追蹤模塊230為取得所述車道線追蹤信息可以利用車道線追蹤算法。
[0051]即，車道線追蹤模塊230利用車道線追蹤算法，以當前道路影像輸入之前積蓄的道路影像的車道線信息為基礎，推定車道線的移動方向，即移動矢量(moving vector)，並確定下一段道路影像中將要輸出的車道線的位移量。另外，除了利用移動矢量(movingvector)進行推斷,確定所述車道線的位移方面還可以利用卡爾曼濾波(kalman filter)
坐寸ο
[0052]並且，車道線追蹤模塊230以車道線的位移量為基礎，指定下一段道路影像中車道線出現頻率高的區域為關注區域，並且向車道線識別模塊210提供關注區域的信息，使得車道線識別模塊210能夠利用關注區域。並且，在指定所述關注區域方面，除了所述的以移動方向為基礎的算法外，還可以利用預測(prediction)等技法。
[0053]並且，車道線追蹤模塊230的所述車道線追蹤算法在當前檢測出的車道線信息脫離車道線追蹤信息的有效位移量的情況下，提供能夠判斷為因外部雜音而錯誤工作的依據。
[0054]另外，車道線追蹤模塊230以從車道線識別模塊210檢測的車道線信息和與所述車道線信息相應的車道線追蹤模塊230的車道線追蹤信息為基礎，在車道線與車輛間的距離進入預先設定的距離內的情況下，為使行駛中的車輛保持車道線而發送車道線保持控制信號。並且，與車道線保持控制信號發送相關的判斷，可以通過在車道線追蹤模塊230中利用的車道線偏離警報算法構成。
[0055]另外，所述車道線信息為以像素(pixel)單位提取的值，為確定實際車輛與車道線間的物理距離，所述車道線偏離信息算法可以定義攝像頭坐標系和道路坐標系的關係。
[0056]所述關係的確定可以以安裝在車輛上的攝像頭的位置信息、攝像頭鏡頭和傳感器等固有要素信息(factor)為基礎,這種過程稱為攝像頭校準(calibration)。
[0057]通過所述攝像頭校準確定的攝像頭坐標系和道路坐標系來確定道路影像內檢測出的車道線存在於與實際車輛在何種方向、以何種程度偏離的位置上，以此為基礎判斷車輛是否偏離車道線。
[0058]另外，車道線識別履歷管理模塊在識別從車道線識別模塊210取得的車道線信息為非周期性不穩定狀態的情況下，利用車道線追蹤信息，對於車道線識別模塊210的車道線信息取得插值結果(interpolated result)。
[0059]此處，車道線信息非周期性不穩定狀態是指車道線受周圍環境影響變得模糊或消失而非周期性地識別出車道線的狀態、受雨或雪等環境影響非周期性地識別出車道線的狀態、由於周圍雜音或惡劣環境等發生突發異常檢測(Impulsive false detection)而非周期性地識別出車道線的狀態、或受其他車輛的影子等的影響而無法清晰地識別出車道線的狀態等。
[0060]因此，識別車道線信息為局部不穩定狀態的情況下，車道線追蹤模塊230首先追蹤累積的車道線信息，並算出推斷出的車道線追蹤信息。並且，車道線識別履歷管理模塊250利用所述車道線追蹤信息來取得由車道線識別模塊210檢測出的車道線信息的插值結果(interpolated result),從而能夠提高檢測出的車道線信息的穩定性和可靠性。
[0061]另外，車道線識別履歷管理模塊250識別從車道線識別模塊210取得的車道線信息為局部不穩定狀態的情況下，通過從車道線識別模塊210取得的所述車道線信息與從車道線追蹤模塊230取得的車道線追蹤信息的插值結果(interpolated result)來最終判斷車道線信息的有效性。
[0062]並且，車道線識別履歷管理模塊250累積從車道線識別模塊210檢測出的車道線信息和車道線追蹤模塊230的車道線追蹤信息。
[0063]車道線識別履歷管理模塊250中可以利用車道線履歷管理算法。
[0064]車道線識別履歷模塊250的所述車道線履歷管理算法累積實時檢測出的車道線識別模塊210的車道線信息和通過追蹤檢測出的車道線追蹤模塊230的車道線追蹤信息。[0065]累積的所述車道線信息在可預測的範圍內，S卩，可作為預先設定的位移單位。然而，由於外部雜音或惡劣環境等而發生錯誤檢測的情況下，車道線識別模塊210的車道線信息會脫離所述預先設定的位移。這種情況下，車道線識別履歷管理模塊250判斷實時檢測出的車道線信息為無效。
[0066]並且，判斷實時檢測出的車道線信息為無效的情況下，將利用車道線追蹤模塊230的車道線追蹤信息。此處，車道線追蹤模塊230的車道線追蹤信息的精確度根據輸入的有效的車道線信息的積蓄量的多少而不同。
[0067]因此，車道線識別履歷管理模塊250的所述車道線履歷管理算法，如上所述利用車道線追蹤模塊230的車道線追蹤信息，判斷確定的車道線信息的有效性，若判斷所述車道線信息有效則發送車道線保持控制系統激活(Lane Keeping Assist SystemActivation)信號。另外，本發明的車道線識別系統I與車道線偏離警報系統有相互關聯的情況下，能夠為車道線偏離警報系統發送系統激活(System Activation)信號。
[0068]若判斷為無效，則停止使用車道線追蹤模塊230的車道線追蹤信息，且進行初始化。並且一定時間內，車道線信息由車道線識別模塊210正常地被檢測，利用由此獲取的車道線追蹤模塊230的車道線追蹤信息重新判斷車道線信息的有效性。
[0069]此處，若進行所述初始化，則清除之前檢測出的有關車道線的信息，如同根據本發明的車道線識別系統I初始驅動那樣，更新(reset)關注區域和車道線初始位置。
[0070]控制部300依據車道線識別履歷管理模塊250的車道線信息的有效性判斷，以從車道線識別履歷管理模塊250接收到的車道線保持控制系統激活(Lane Keeping AssistSystem Activation)信號為基礎，判斷從車道線追蹤模塊230接收到的車道線保持控制信號是否有效，並發送最終車道線保持控制信號。
[0071]因此，車道線保持控制系統(LKAS)或車道線偏離警報系統接收到最終車道線保持控制信號，控制車輛或發送車道線偏離警報信號。
[0072]其中，控制部300可以使用系統驅動控制t旲塊310，並且系統驅動控制t旲塊310可以利用包括控制器區域網路(CAN:Controller Area Network)、通用異步收發傳輸器(UART:Universal Asynchronous Receiver/Transmitter)等外部輸入輸出埠(I/0:1nput/Output)和定時器(timer)等在內的控制用處理器。
[0073]綜合來看，根據本發明的車道線識別控制系統I比較車道線信息與預先設定的框架數(在此設定的方法/系統中為5)，在所述預先設定的框架數(在此設定的方法/系統中為5)內，檢測出車道線的框架數超過預定的限制框架數(在此設定的方法/系統中為3)的情況下，驅動車道線保持控制系統(LKAS)。並且，沒有超過預定的限制框架數(在此設定的方法/系統中為3)的情況下，所述預先設定的框架期間車道線追蹤模塊230執行上述功能，從而能夠提高根據本發明的車道線識別系統I的穩定性和可靠性。
[0074]根據本發明的多樣的實施例，在本【技術領域】及相關【技術領域】也能夠解決除本說明書涉及內容之外的其他多種技術課題。
[0075]儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解:其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍。
【權利要求】
1.一種車道線識別系統，其特徵在於，包括: 檢測部，其識別並獲取車輛行駛的道路的信息；以及 影像處理部，其處理利用所述檢測部獲取的道路信息， 其中，所述影像處理部包括: 車道線識別模塊，其識別並檢測通過利用所述檢測部獲取的所述道路信息； 車道線追蹤模塊，其在檢測出所述車道線信息之前，追蹤從所述車道線識別模塊檢測並累積的積蓄車道線信息，並取得推斷出的車道線追蹤信息 '及 車道線識別履歷管理模塊，其在識別出從所述車道線識別模塊取得的所述車道線信息為非周期性不穩定狀態的情況下，通過從所述車道線識別模塊取得的所述車道線信息和從所述車道線追蹤模塊取得的車道線追蹤信息的插值結果判斷所述車道線信息的有效性。
2.根據權利要求1所述的車道線識別系統，其特徵在於: 所述車道線識別履歷管理模塊，累積通過從所述車道線識別模塊取得的所述車道線信息和從所述車道線追蹤模塊取得的車道線追蹤信息的插值結果來取得的車道線履歷信息。
3.根據權利要求1或2所述的車道線識別系統，其特徵在於: 所述車道線識別模塊中的所述車道線信息僅在預先設定的區域(以下稱為關注區域)內被檢測，所述關注區域是通過所述車道線追蹤模塊的所述車道線追蹤信息確定的。
4.根據權利要求3所述的車道線識別系統，其特徵在於: 所述車道線追蹤模塊以從所述車道線識別模塊檢測出的所述車道線信息和與所述車道線信息相對應的所述車道線追蹤信息為基礎，在所述車道線信息與所述車輛間的距離進入預先設定的距離內的情況下，發送用於使行駛中的所述車輛保持車道線的車道線保持控制信號。
5.根據權利要求4所述的車道線識別系統，其特徵在於，還包括: 控制部，其以依據所述車道線識別履歷管理模塊的所述車道線信息的有效性判斷、從所述車道線識別履歷管理模塊接收到的車道線保持控制系統激活信號為基礎，判斷從所述車道線追蹤模塊接收到的所述車道線保持控制信號是否有效，並發送最終車道線保持控制信號。
【文檔編號】E01F9/08GK103847736SQ201310430573
【公開日】2014年6月11日 申請日期:2013年9月18日 優先權日:2012年11月28日
【發明者】樸相汎 申請人:現代摩比斯株式會社