用於在平視顯示器上顯示信息的方法和系統與流程

2023-09-15 03:46:00

本公開一般涉及平視顯示器（HUD），並且更具體地涉及在飛行器中的HUD和頭盔式顯示器（HMD）上顯示信息。

背景技術：

平視顯示器（HUD）是用於幫助和擴充飛行員的決策制定能力的現代飛行器座艙的固有部分。HUD、擋風玻璃投影顯示器和頭盔式顯示器（HMD）典型地在其疊加於背景圖像或透視組合器上的前向視場中向飛行員提供主要飛行、導航和/或引導信息，由此允許同時掃描儀器數據和窗外場景二者。這通過在飛行員不必向下看儀器面板的情況下向飛行員提供信息而改進飛行員決策制定。

儘管HUD已經部署成改進飛行性能和更好的情況意識，但是存在與HUD相關聯的感知和認知問題。通過研究，已經標識了涉及向附近細節（HUD符號表示（symbology））和遠處細節（窗外場景）的飛行員注意力分布的數個問題，一般地稱為視覺或認知捕獲。研究還清楚地示出HUD符號表示顯示特性（亮度、對比率）與背景照明條件之間的關係以及對飛行員的注意力捕獲的影響。

例如，如果符號表示的對比率太高，則飛行員往往關注於HUD符號表示並且丟失對背景圖像細節的關注。類似地，如果符號表示的對比度太低，則飛行員可能往往關注於背景圖像並且沒注意到通過符號表示所傳達的信息。因此將有益的是，基於背景圖像來調節顯示在HUD上的符號表示的屬性。因此，期望的是提供用於顯示信息的方法和系統。其它期望的特徵和特性將從結合附圖和前述的技術領域及背景技術所考慮的之後的具體實施方式和隨附權利要求而變得顯而易見。

技術實現要素：

本文公開了用於在平視顯示器上顯示信息的方法、用於在顯示器上顯示信息的方法以及用於顯示信息的系統的各種實施例。

在一個實施例中，用於在平視顯示器（HUD）上顯示信息的方法。利用相機捕獲背景圖像。分析背景圖像的多個分區（region）以確定針對多個分區中的每一個的按分區圖像屬性。生成具有符號表示屬性的符號表示並且將其覆蓋在背景圖像的覆蓋分區上以生成平視顯示圖像。覆蓋分區是背景圖像的多個分區中的一個。符號表示屬性基於覆蓋分區的按分區圖像屬性來調節以生成經調節的平視顯示圖像。經調節的平視顯示圖像顯示在HUD上。

在另一實施例中，利用相機捕獲背景圖像。生成具有符號表示屬性和符號表示分區的符號表示。背景圖像基於被分析以確定針對多個分區中的每一個的按分區圖像屬性的符號表示分區而分段成多個分區。符號表示覆蓋在背景圖像的覆蓋分區上以生成顯示圖像。覆蓋分區是對應於符號表示分區的背景圖像的多個分區中的一個。符號表示屬性基於覆蓋分區的按分區圖像屬性來調節以生成經調節的顯示圖像。經調節的顯示圖像顯示在顯示器上。

在另一實施例中，用於顯示信息的系統包括配置成顯示具有多個覆蓋分區的圖像的顯示器。系統包括具有處理器和存儲器的顯示模塊。顯示模塊配置為生成符號表示並且在覆蓋分區上覆蓋符號表示。符號表示具有符號表示分區和符號表示屬性。系統還包括與顯示模塊進行通信的相機，其配置成捕獲具有至少對應於覆蓋分區的多個分區的背景圖像。顯示模塊配置成基於符號表示分區而對背景圖像分段以生成針對多個分區中的每一個的按分區圖像屬性並且基於按分區圖像屬性來調節符號表示屬性以生成圖像。

附圖說明

在此之後將結合以下繪圖描述示例性實施例，其中相同參考標號表示相同元件，並且其中：

圖1圖示了具有依照示例性實施例所顯示的信息的平視顯示器；

圖2A是圖示了依照示例性實施例的用於在平視顯示器上顯示信息的方法的流程圖；

圖2B是圖示了依照另一示例性實施例的用於在顯示器上顯示信息的方法的流程圖；

圖3A-3B圖示了具有依照示例性實施例所顯示的信息的平視顯示器；

圖4A-C圖示了具有依照示例性實施例所顯示的增強背景圖像和信息的平視顯示器；以及

圖5是依照示例性實施例的用於顯示信息的系統的示意圖。

具體實施方式

以下具體實施方式在性質上僅僅是示例性的並且不意圖限制本發明或者本發明的應用和使用。如本文中使用的，詞語「示例性」意味著「充當示例、實例或說明」。因而，本文描述為「示例性」的任何實施例未必構造為相對於其它實施例是優選或有利的。本文描述的所有實施例是示例性實施例，其提供成使得本領域技術人員能夠做出或使用本發明並且不限制由權利要求限定的本發明的範圍。此外，不意圖通過在之前的技術領域、背景技術、發明內容或以下的具體實施方式中呈現的任何明示或暗示的理論來約束。

應當理解到，貫穿附圖，對應的參考標號指示相同或對應的部分和特徵。如本文中使用的，術語模塊單獨地或者以任何組合指代任何硬體、軟體、固件、電子控制組件、處理邏輯和/或處理器設備，包括但不限於：專用集成電路（ASIC）、電子電路、處理器模塊（共享、專用或分組）和存儲器模塊（其執行一個或多個軟體或固件程序）、組合邏輯電路和/或提供所描述的功能性的其它適合的組件。

參照附圖，在本文中示出了用於在平視顯示器（HUD）10上顯示信息的方法100。圖1是依照由圖2A中的流程圖所圖示的方法100來顯示平視圖像12的平視顯示器10。HUD 10包括具有多個分區22a-c的背景圖像20。符號表示30覆蓋在背景圖像20的覆蓋分區上以在HUD 10上生成平視顯示圖像12。

現在參照圖2A和3A-B，並且繼續參照圖1，流程圖圖示了依照本公開的方法100。如根據本公開而可以領會的，方法100內的操作次序不限於如在圖2A中圖示的順序執行，而是可以如所適用的並且依照給定應用的要求以一個或多個變化次序執行。

方法100在利用相機捕獲背景圖像20的框110處開始，如本領域技術人員所已知的。在框120處，分析背景圖像20的多個分區22a-c以確定針對多個分區22a-c中的每一個的按分區屬性。在框120的優選實施例中，分析背景圖像20的對比率。在非限制性實施例中，分析使用基於強度的圖像閾值化或者基於高斯混合模型的圖像分析而執行，然而，本領域技術人員將領會到，可以採用附加圖像處理算法來分析背景圖像20的對比率而不脫離本發明的精神。

在框130處，生成具有符號表示屬性的符號表示30。如在圖中示出並且在上文詳述的，符號表示30包括由HUD 10顯示的相關信息。儘管許多符號表示30顯示在HUD 10上，但是將出於簡單性而使用方法100關於一個符號表示30的操作。

在框140處，符號表示30覆蓋在背景圖像20的覆蓋分區上以生成平視顯示圖像12。覆蓋分區是背景圖像20的多個分區22a-c中的一個。在框150處，符號表示屬性基於覆蓋分區的按分區圖像屬性來調節以生成經調節的平視顯示圖像14。在框160處，經調節的平視顯示圖像14顯示在HUD 10上。

以此方式，方法100通過調節符號表示屬性以生成經調節的平視顯示圖像14來在HUD 10上顯示信息。這繼而改進跨背景圖像20的顯示在HUD 10上的符號表示30的可讀性。如相對於圖3A而在圖3B中所示，調節符號表示屬性改進顯示在HUD 10上的符號表示30的可讀性。

在一個實施例中，在框150處，調節符號表示屬性使得一個或多個符號表示屬性相對相關聯的覆蓋分區屬性實際相同或被感知為相同，由此提供統一的（uniform）符號表示可讀性水平。在非限制性示例中，調節符號表示屬性使得針對每一個符號表示30的實際或所感知的對比率相對於其相關聯的覆蓋分區遍及HUD 10是統一的。在另一非限制性示例中，調節符號表示屬性使得針對每一個符號表示30的實際或所感知的亮度相對於其相關聯的覆蓋分區遍及HUD 10是統一的。在另外的非限制性示例中，調節符號表示屬性使得針對每一個符號表示30的實際或所感知的強度相對於其相關聯的覆蓋分區遍及HUD 10是統一的。如上文所指示，多個符號表示屬性可以相對於相關聯覆蓋分區屬性來調節，使得它們實際上相同或者被感知為相同，由此提供統一的符號表示可讀性水平。

在一個實施例中，在框150處，調節符號表示屬性以增強一些符號表示30相對於其它符號表示30在HUD 10上的可讀性水平。在非限制性示例中，調節符號表示屬性使得特定符號表示30的實際或所感知的對比率、亮度和/或強度大於顯示在HUD 10上的其它符號表示的實際或所感知的對比率、亮度和/或強度。

在一個實施例中，在框150處，調節符號表示屬性以減少一些符號表示30相對於其它符號表示30在HUD 10上的可讀性水平。在非限制性示例中，調節符號表示屬性使得特定符號表示30的實際或所感知的對比率、亮度和/或強度小於顯示在HUD 10上的其它符號表示的實際或所感知的對比率、亮度和/或強度。

以此方式，符號表示30可以統一地顯示在HUD 10上，或者符號表示30可以相對於彼此可變化地調節以優先化某些符號表示30。例如，某些符號表示30可以基於諸如起飛、降落、緊急情況、或者以將有關信息帶到飛行員的注意之類的條件而優先化。

在一個實施例中，按分區圖像屬性可以包括強度、對比率和亮度中的至少一個。諸如明亮度、顏色、振動和/或飽和度之類的其它圖像屬性可以是按分區屬性。本領域技術人員將領會到，這些屬性可以用作分析背景圖像20時的因素。

在一個實施例中，符號表示屬性可以包括對比率、亮度和/或強度中的至少一個。諸如明亮度、顏色、振動和/或飽和度之類的其它顯示屬性可以是符號表示屬性。因而，在框150處，這些符號表示屬性中的一個或多個可以基於覆蓋分區的按分區圖像屬性中的一個或多個來調節以生成經調節的顯示圖像18。本領域技術人員將領會到，這些屬性可以用於調節HUD 10上的符號表示30相對於HUD上的其它符號表示30和背景圖像20的實際或所感知的外觀。

在一個實施例中並且參照圖4A-C，方法100還包括其中在HUD 10上顯示增強背景圖像40的框170。在框180處，基於增強按分區圖像屬性來確定背景圖像調節因素。增強按分區圖像屬性包括強度、對比率和亮度中的至少一個。在框190處，增強背景圖像40基於背景圖像調節因素來調節。在框190之後，方法100進行到框120並且分析增強背景圖像40。

在一個實施例中，增強背景圖像40包括紅外圖像、熱圖像和增強飛行視景系統圖像中的至少一個。如本領域技術人員所已知的，增強背景圖像40可以使用在其中正常可見度受損或者要改進飛行員的視野的條件下。非限制性條件包括黑暗、惡劣天氣、或者其中增強背景圖像40的使用可以改進飛行員的可見度的任何情況。在這些情況下，方法100基於增強背景圖像40調節符號表示屬性。

在一個實施例中，增強按分區圖像屬性包括強度、對比率和亮度中的至少一個。本領域技術人員將領會到，這些屬性可以用作分析和調節增強背景圖像40時的因素。

現在參照圖2B和3A-B，並且繼續參照圖1和2A，流程圖圖示了依照本公開的另一方法200。如根據本公開而可以領會的，方法200內的操作次序不限於如在圖2B中所圖示的順序執行，而是可以如所適用的並且依照給定應用的要求以一個或多個變化次序執行。

相對於方法100，方法200在顯示器11上顯示信息。在非限制性實施例中，顯示器11包括HUD 10、頭盔式顯示器和顯示屏幕。

方法200在利用相機捕獲背景圖像20的框210處開始，如本領域技術人員所已知的。在框220處，生成具有符號表示屬性和符號表示分區的符號表示30。符號表示分區是符號表示30將覆蓋於其中的顯示器11上的預確定位置。符號表示分區相對於符號表示30的大小和形狀至少像符號表示30那麼大並且可以更大以便包含比符號表示30的總體大小更大的顯示器11上的區域。

如在附圖中示出並且上文詳述的，符號表示30包括由顯示器11顯示的相關信息。儘管許多符號表示30顯示在顯示器11上，但是將出於簡單性而使用關於一個符號表示30的方法100的操作。

在框230處，基於符號表示分區而將背景圖像20分段成多個分區22a-c。在框240處，分析多個分區22a-c以確定針對多個分區22a-c中的每一個的按分區屬性。在框240的優選實施例中，分析背景圖像20的對比率。在非限制性示例中，使用基於強度的圖像閾值化或者基於高斯混合模型的圖像分析來執行分析，然而，本領域技術人員將領會到，可以採用附加圖像處理算法來分析背景圖像20的對比率而不脫離本發明的精神。

在框250處，符號表示130覆蓋在背景圖像20的覆蓋分區上以生成顯示圖像16。覆蓋分區是對應於符號表示分區的背景圖像20的多個分區22a-c中的一個。在框260處，基於覆蓋分區的按分區圖像屬性來調節符號表示屬性以生成經調節的顯示圖像18。在框270處，經調節的顯示圖像18顯示在顯示器11上。

以此方式，方法200通過調節符號表示屬性以生成經調節的顯示圖像18來在顯示器11上顯示信息。這繼而改進跨背景圖像20的顯示在顯示器11上的符號表示30的可讀性。如相對於圖3A在圖3B中所示，調節符號表示屬性改進顯示在顯示器11上的符號表示30的可讀性。

在一個實施例中，在框260處，調節符號表示屬性使得一個或多個符號表示屬性相對相關聯的覆蓋分區屬性實際上相同或者被感知為相同，由此提供統一的符號表示可讀性水平。在非限制性示例中，調節符號表示屬性使得針對每一個符號表示30的實際或所感知的對比率相對於其相關聯的覆蓋分區遍及顯示器11是統一的。在另一非限制性示例中，調節符號表示屬性使得針對每一個符號表示30的實際或所感知的亮度相對於其相關聯的覆蓋分區遍及顯示器11是統一的。在另外的非限制性示例中，調節符號表示屬性使得針對每一個符號表示30的實際或所感知的強度相對於其相關聯的覆蓋分區遍及顯示器11是統一的。再次，如上文所指示的，多個符號表示屬性可以相對於相關聯的覆蓋分區屬性而調節，使得它們實際上相同或者被感知為相同，由此提供統一的符號表示可讀性水平。

在一個實施例中，在框260處，調節符號表示屬性以增強一些符號表示30相對於顯示器11上的其它符號表示30的可讀性水平。在非限制性實施例中，調節符號表示屬性使得特定符號表示30的實際或所感知的對比率、亮度和/或強度大於針對顯示在顯示器11上的其它符號表示的實際或所感知的對比率、亮度和/或強度。

在一個實施例中，在框260處，調節符號表示屬性以減少一些符號表示相對於顯示器11上的其它符號表示30的可讀性水平。在非限制性實施例中，調節符號表示屬性使得特定符號表示30的實際或所感知的對比率、亮度和/或強度小於顯示在顯示器11上的其它符號表示的實際或所感知的對比率、亮度和/或強度。

以此方式，符號表示30可以統一地顯示在顯示器11上，或者符號表示30可以相對於彼此可變化地調節以優先化某些符號表示30。例如，某些符號表示30可以基於諸如起飛、降落、緊急情況、或者以將有關信息帶到飛行員的注意之類的條件而優先化。

在一個實施例中，按分區圖像屬性可以包括對比率、亮度和/或強度中的至少一個。諸如明亮度、顏色、振動和/或飽和度之類的其它圖像屬性可以是按分區圖像屬性。本領域技術人員將領會到，這些屬性可以用作分析背景圖像20時的因素。

在一個實施例中，符號表示屬性可以包括強度、對比率和亮度中的至少一個。諸如明亮度、顏色、振動和/或飽和度之類的其它顯示屬性可以是符號表示屬性。因而，在框260處，可以基於覆蓋分區的按分區圖像屬性中的一個或多個來調節這些符號表示屬性中的一個或多個以生成經調節的顯示圖像18。本領域技術人員將領會到，這些屬性可以用於調節顯示器11上的符號表示30相對於顯示器11上的其它符號表示30和背景圖像20的實際或所感知的外觀。

在一個實施例中並且參照圖4A-C，方法200還包括其中在顯示器11上顯示增強背景圖像40的框280。在框290處，基於增強按分區圖像屬性來確定背景圖像調節因素。增強按分區圖像屬性包括強度、對比率和亮度中的至少一個。在框300處，基於背景圖像調節因素來調節增強背景圖像40。在框300之後，方法200進行到框240並且分析增強背景圖像40。

在一個實施例中，增強背景圖像40包括紅外圖像、熱圖像和增強飛行視景系統圖像中的至少一個。如本領域技術人員所已知的，增強背景圖像40可以使用在其中正常可見度受損或者要改進飛行員的視野的條件下。非限制性條件包括黑暗、惡劣天氣、或者其中增強背景圖像40的使用可以改進飛行員的可見度的任何情況。在這些情況下，方法200基於增強背景圖像40來調節符號表示屬性。

在一個實施例中，增強按分區圖像屬性可以包括對比率、亮度和/或強度中的至少一個。諸如明亮度、顏色、振動和/或飽和度之類的其它圖像顯示屬性可以是按分區圖像屬性。本領域技術人員將領會到，這些屬性可以用作分析和調節增強背景圖像40時的因素。

參照圖5並且繼續參照圖1-4，提供了用於根據之前描述的方法100、200來顯示信息的系統500。系統500包括配置成顯示具有多個覆蓋分區的圖像511的顯示器510。系統500包括具有處理器514和存儲器516的顯示模塊512。顯示模塊512與顯示器510通信並且配置為生成符號表示530並且將符號表示530覆蓋在圖像511的覆蓋分區上。符號表示530具有符號表示分區和符號表示屬性。

系統500包括與顯示模塊512通信的相機518。相機518配置成捕獲具有至少與圖像511的覆蓋分區對應的多個分區522a-c的背景圖像520。系統500基於符號表示分區對背景圖像520分段以生成針對多個分區522a-c中的每一個的按分區圖像屬性。基於按分區圖像屬性來調節符號表示屬性以生成圖像511。

以此方式，方法500通過使用以上描述的方法100、200調節符號表示屬性以生成圖像511來在顯示器510上顯示信息。這繼而改進跨背景圖像520的顯示在顯示器511上的符號表示30的可讀性。如相對於圖3A在圖3B中所示，調節符號表示屬性改進顯示在顯示器511上的符號表示30的可讀性。

本領域技術人員將領會到，系統500和各種組件的描繪僅僅是示例性的並且不關於組件的大小或在系統500內的位置進行限制。因而，本公開不限於任何具體布局，並且系統500可以包括未在其實現中示出的附加電子組件。

類似於之前描述的實施例，顯示模塊512配置成將符號表示屬性調節成統一的符號表示可讀性水平。在一個實施例中，調節符號表示屬性以增強一些符號表示30相對於顯示器510上的其它符號表示30的可讀性水平。在一個實施例中，調節符號表示屬性以減少一些符號表示30相對於顯示器510上的其它符號表示30的可讀性水平。以此方式，符號表示30可以統一地顯示在顯示器510上，或者符號表示30可以相對於彼此可變化地調節以優先化某些符號表示30。例如，某些符號表示30可以基於諸如起飛、降落、緊急情況、或者以將有關信息帶到飛行員的注意之類的條件而優先化。

在一個實施例中，按分區圖像屬性可以包括對比率、亮度和/或強度中的至少一個。諸如明亮度、顏色、振動和/或飽和度之類的其它圖像屬性可以是按分區圖像屬性。本領域技術人員將領會到，這些屬性可以用作分析背景圖像520時的因素。

在一個實施例中，符號表示屬性可以包括對比率、亮度和/或強度中的至少一個。諸如明亮度、顏色、振動和/或飽和度之類的其它顯示屬性可以是符號表示屬性。本領域技術人員將領會到，這些屬性可以用於調節顯示器510上的符號表示30相對於顯示器510上的其它符號表示30和背景圖像520的實際或所感知的外觀。

在一個實施例中並且參照圖4A-C，系統500還包括具有處理器542和存儲器544的增強視景模塊540。增強視景模塊540與相機518和顯示模塊512通信，並且配置成在顯示器510上顯示增強圖像513。類似於之前描述的實施例，增強視景模塊配置成基於增強按分區圖像屬性來確定背景圖像調節因素，並且基於背景圖像調節因素來調節增強圖像513。顯示模塊512然後基於來自增強視景模塊540的增強圖像513來調節符號表示屬性。

在一個實施例中，增強圖像513包括紅外圖像、熱圖像和增強飛行視景系統圖像中的至少一個。如本領域技術人員所已知的，增強圖像513可以使用在其中正常可見度受損或者要改進飛行員的視野的條件下。非限制性條件包括黑暗、惡劣天氣、或者其中增強圖像513的使用可以改進飛行員的可見度的任何情況。在這些情況下，系統500基於增強圖像513來調節符號表示屬性。

在一個實施例中，增強按分區圖像屬性包括強度、對比率和亮度中的至少一個。本領域技術人員將領會到，這些屬性可以用作分析和調節增強圖像513時的因素。

儘管已經在前述的具體實施方式中呈現了至少一個示例性實施例，但是應當領會到，存在大量的變形。還應當領會到，一個或多個示例性實施例僅是示例，並且不意圖以任何方式限制本發明的範圍、適用性或配置。相反，前述的具體實施方式將為本領域技術人員提供用於實現本發明的示例性實施例的方便路線圖。要理解到，可以在示例性實施例中所描述的元件的功能和布置方面做出各種改變而不脫離如在隨附權利要求中闡述的本發明的範圍。