感知無損失的顯示功率降低的製作方法

2023-11-06 01:10:02 2

感知無損失的顯示功率降低的製作方法
【專利摘要】用於視頻的片段在有效負載單元中與擴展的網絡抽象層單元(NALU)頭或補充增強信息(SEI)消息一起被發送，其中在擴展的NALU頭或SEI消息之內嵌入了顯示適配信息，顯示適配信息可以在顯示各個片段的期間被用來控制顯示亮度從而降低功耗。所述顯示適配信息至少包括最大像素亮度，其可以用於針對液晶顯示器縮放像素亮度並且相應地降低背光，或用於針對OLED顯示器調整電源電壓。M像素亮度被設置為使像素直方圖的一部分飽和而不給觀看者帶來感知損失的等級，導致進一步減少功耗。
【專利說明】感知無損失的顯示功率降低

【技術領域】
[0001] 本公開一般涉及無線移動通信設備中的能耗的降低，並且更具體地，涉及用於顯 示在無線移動通信設備上的視頻內容的基於內容的顯示適配控制。

【背景技術】
[0002] 近年來，行動裝置上的顯示解析度已經顯著地提高，達到720p或甚至更高的超級 液晶顯示器（LCD)或OLED有機發光二極體（OLED)顯示器正成為或者不久將成為用於智能 電話和平板的主流的程度。然而，這樣的高顯示解析度要求多得多的能量用於渲染，特別是 對於高頻幀緩衝和顯示面板刷新必不可少的視頻。
[0003] 對於IXD顯示器，功耗是用於OLED顯示器的背光亮度等級的單調函數，功耗被電 源電壓和顯示內容本身所控制。雖然已經在一些行動裝置上實現了亮度控制，但是那些控 制一般必須在發出新任務以前被調整，即，在開始視頻的重放之前。例如，亮度可以在觀看 視頻之前被設置為100%、50%或甚至25%，但是不能在不中斷視頻的重放的情況下被動 態地改變。此外，因為功耗是由用於OLED顯示器的電源電壓和輸入圖像來確定，所以當前 的實施方式不提供用於適配電壓的機制。


【發明內容】

[0004] 技術問題
[0005] 因此，本領域中需要通過允許根據正在顯示的內容來適配IXD顯示器背光亮度或 OLED電源電壓、節省顯著的顯示能量，以改進行動裝置顯示器。技術方案
[0006] 本發明提供一種方法，包括：接收用於視頻片段的數據，所接收到的數據包括用於 適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一個或多個 顯示參數的顯示適配信息，以及在視頻片段的顯示期間，基於來自擴展頭的顯示適配信息 來適配用於顯示器的至少一個顯示參數。
[0007] 本發明提供一種系統，包括：接收器，被配置為接收用於視頻片段的數據，所述接 收到的數據包括用於適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度 和功耗的一個或多個顯示參數的顯示適配信息；以及處理器，被配置為在視頻片段的顯示 期間，基於來自擴展頭的顯示適配信息來適配用於顯示器的至少一個顯示參數。
[0008] 本發明提供一種方法，包括：格式化用於視頻片段的數據以用於發送，所述格式化 的數據包括用於適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功 耗的一個或多個顯示參數的顯示適配信息，以及一個或多個有效負載單元，其包含用於顯 示視頻片段的數據。
[0009] 本發明提供一種系統，包括：視頻伺服器，被配置為格式化用於視頻片段的數據以 用於發送，所述格式化的數據包括用於適配在無感知損失地使顯示像素的一部分飽和的同 時影響顯示亮度和功耗的一個或多個顯示參數的顯示適配信息，以及一個或多個有效負載 單元，其包含用於顯示視頻片段的數據。
[0010] 本發明提供一種方法，包括：接收用於視頻片段的數據以用於發送，所述數據包括 用於適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一個或 多個顯示參數的顯示適配信息，以及一個或多個有效負載單元，其包含用於顯示視頻片段 的數據；以及向其上將顯示視頻片段的設備發送所述數據。

【專利附圖】

【附圖說明】
[0011] 為了更全面地理解本公開及其優點，現結合附圖參考以下描述，附圖中相同的附 圖標記代表相同的部件：
[0012] 圖Ia是示出根據本公開的一個或多個實施例的網絡的高級圖，在該網絡中，設備 可以實現動態的、基於內容的顯示功率降低。
[0013] 圖Ib是根據本公開一個實施例的來自圖1的網絡的無線設備的前視圖，在該無線 設備中，可以實現動態的、基於內容的顯示功率降低。
[0014] 圖Ic是圖Ib中示出的無線設備的功能組件的高級框圖。
[0015] 圖2是示出根據本公開的一個實施例的NALU頭的示圖，在該NALU頭之內可以嵌 入用於動態的、基於內容的顯示功率降低的顯示適配信息；
[0016] 圖3a、圖3b和圖3c不出根據本公開一個實施例的，使用用於動態的、基於內容的 顯示功率降低的嵌入在擴展的NALU頭或SEI消息之內的顯示適配信息的感知無損失、飽和 的、保持亮度的顯示適配；
[0017] 圖4是示出根據本公開一個實施例的，動態的、基於內容的、感知無損失的、飽和 的顯示適配以及相應的功率降低的多個顯示幀；
[0018] 圖5a、圖5b、圖5c和圖5d示出根據本公開一個實施例的，用於動態的、基於內容 的、感知無損失的、飽和的顯示適配以及相應的功率降低的，在視頻數據比特流之內的擴展 的NALU頭或SEI消息的插入；
[0019] 圖6是根據本公開一個實施例的，用於動態的、基於內容的、感知無損失的、飽和 的顯示適配以及相應的功率降低的，使用擴展的NALU頭或SEI消息插入來編碼視頻的過程 的高級流程圖；以及
[0020] 圖7是根據本公開一個實施例的、基於為了動態的、基於內容的、感知無損失的、 飽和的顯示適配以及相應的功率降低而被插入的擴展的NALU頭或SEI消息的視頻解碼和 顯示的過程的高級流程圖。

【具體實施方式】
[0021] 用於視頻的片段在有效負載單元中與擴展的網絡抽象層單元（NALU)頭或補充增 強信息（SEI)消息一起被發送，其中在擴展的NALU頭或SEI消息之內嵌入了顯示適配信 息（display adaptation information),顯示適配信息可以在顯示各個片段的期間被用 來控制顯示亮度從而降低功耗。所述顯示適配信息至少包括最大像素亮度，其可以用於 針對液晶顯示器縮放像素亮度並且相應地降低背光，或用於針對OLED顯示器調整電源電 壓。最大像素亮度被設置為使像素直方圖的一部分飽和而不給觀看者帶來感知損失的等級 (level)，導致進一步減少功耗。
[0022]在下面做出詳細說明之前，有益的是闡明遍及此專利文件使用的特定詞彙和短 語的定義：術語"包括"和"包含"以及其派生詞指的是包含而不限制；術語"或"是包括性 的，指的是和/或；短語"與...相關聯"和"與之相關聯"以及其派生詞，可以指包括、包括 在...之內、與...互連、包含、被包含在...之內、連接到或與...連接、耦接到或與...耦 接、可與...通信、與...合作、交織、並列、鄰近於、綁定到或與...綁定、具有、具有...的 性質、等等；並且術語"控制器"指的是控制至少一個操作的任一設備、系統或其部分，其中 這種設備、系統或部分可以實現在可通過固件或軟體編程的硬體中。應該注意到，與任一特 定控制器相關聯的功能可以是集中式或分布式的，無論是在本地還是遠程地。貫穿這個專 利文檔提供了特定詞彙和短語的定義，本領域普通技術人員應當理解，即便不是在大多數 情況下，那麼在許多情況下，這些定義也適用於現有的以及將來的對這些所定義的詞彙和 短語的使用。
[0023] 下面討論的圖1到圖7以及在本專利文檔中用來描述本公開原理的各種實施例僅 僅是示例性的，不應以任何方式被解釋為限制本公開範圍。本領域技術人員將理解，可以在 任何適當布置的無線通信系統中實現本公開的原理。
[0024] 用於顯示適配的元數據可以作為擴展的NALU (網絡抽象層單元）頭被嵌入到視頻 流中。
[0025] 在本公開中，使用擴展的網絡抽象層（NAL)單元（NALU)頭或補充增強信息（SEI) 消息將顯示適配嵌入在視頻內容信息之內，然後擴展的NALU頭或SEI消息在解碼器中被解 析以便幫助顯示功率降低。對於LCD顯示器，調整顯示亮度，而對於OLED顯示器，適配顯示 器電源電壓。可以在視頻編碼期間在編碼器中得到此擴展的NALU頭或SEI消息中的元素。
[0026] 根據下層的應用和硬體能力，通過使能可以被逐幀、逐圖像組（GOP)、逐場景、以至 逐時間間隔插入到流中的NALU頭或SEI消息來定義顯示適配。通過和幀級別解決方案比 較，基於G0P、場景、或時間間隔的方法要求更少的用於消息插入的開銷。對於不支持高頻顯 示適配（例如，對於30赫茲（Hz)的視頻，每33毫秒（ms))的處理器，基於G0P、場景、或時 間間隔的方案比基於幀的解決方案更好。但是，本文主要使用幀級別解決方案來說明構思。
[0027] 圖Ia是示出根據本公開的一個或多個實施例的網絡的高級圖，在該網絡之內設 備可以實現動態的、基於內容的顯示適配和相應的功率降低。網絡1〇〇包括內容編碼器數 據處理系統101，其包括編碼器控制器，編碼控制器被配置為根據現有的程序、但是如下面 進一步詳細描述地那樣利用嵌入在（多個）NALU頭之內的顯示適配信息來編碼視頻內容。 內容編碼器101可通信地耦接到（或者可替換地結合到）向用戶設備傳遞視頻內容的內容 伺服器數據處理系統102。內容伺服器102通過諸如網際網路103和包括基站（BS) 104的無線 通信系統的通信網耦接，用於將視頻內容傳遞到還可被稱為用戶設備（UE)或移動站（MS) 的用戶設備105。如上所述，用戶設備105可以是具有除了無線語音通信之外、至少包括播 放視頻內容的功能的"智能"電話或平板設備。可替換地，用戶設備105可以是膝上型計算 機、或具有LCD或OLED顯示器並且在視頻的重放期間受益於動態的、基於內容的顯示功率 降低的其他無線設備，諸如至少在典型操作的時段期間主要是電池供電的任一設備。
[0028] 圖Ib是根據本公開一個實施例的、來自圖1的網絡的無線設備的前視圖，在該無 線設備之內可以實現動態的、基於內容的顯示適配和相應的功率降低，並且圖Ib是該無線 設備的功能組件的高級框圖。用戶設備105是行動電話並且包括背光式LCD(其包括圖IB 中描繪的可選的照度源）或OLED顯示器106。耦接到顯示器106的處理器107控制顯示在 顯示器上的內容。用戶設備105之內的處理器107及其他組件通過可以由外部電源（未示 出）再充電的電池（也未示出）供電，或者可替換地可以通過外部電源供電。耦接到處理 器107的存儲器108可以存儲或緩衝用於通過處理器107的重放和顯示器106上的顯示的 視頻內容，並且還可以存儲用於執行這樣的視頻重放的視頻播放器應用（或"應用"）109。 可以經由連接到天線111的收發器110在視頻內容的重放的同時（例如，在時間上重疊） 或在重放之前接收正在播放的視頻內容。如上所述，可以在無線通信中從基站104接收視 頻內容。在示例性實施例中，由行動裝置105接收以用於在其中的重放和顯示器106上的 顯示的視頻內容包括嵌入在（多個）NALU頭或（多個）SEI消息之內的顯示適配信息。顯 示適配信息被處理器107用來設置用於可選的照度源和顯示器106的顯示控制項112。
[0029] 圖2是示出根據本公開的一個實施例的NALU頭的示圖，在該NALU頭之內可以嵌 入用於動態的、基於內容的顯示適配以及相應的功率降低的顯示適配信息。典型地，數據位 流200之內的NALU 201、202由兩個部分組成，包括NALU頭203和有效負載204。NALU頭 203將在解碼器中被解析以用於適當的解碼操作。例如，如果NALU頭203指示當前的NALU 201是序列參數集（SPS)，則SPS解析和初始化將被激活可替換地，如果NALU 203頭指示當 前的NALU 202是片NALU，則片解碼被啟動。
[0030] 在H. 264高級視頻編碼（AVC，也稱為運動圖像專家組4部分10或"MPEG-4部分 10"）及其擴展中，每個NALU 210、202是字節對齊的。NALU頭202是1位元組或4位元組，這取 決於NALU是常規單層分組還是可伸縮分組（scalable packet)。如下面的表I中所示，通過 擴展到支持嵌入與顯示適配有關的信息來修改NALU頭的當前定義。表I示出用於H. 264/ AVC及其擴展的擴展的NALU語法和相應的解析過程（在表I中以斜體字示出的修改）：
[0031] 表 1
[0032] [表 1]
[0033]

【權利要求】
1. 一種方法，包括： 接收用於視頻片段的數據，所接收到的數據包括用於適配在無感知損失地使顯示像素 的一部分飽和的同時影響顯示亮度和功耗的一個或多個顯示參數的顯示適配信息，以及 在視頻片段的顯示期間，基於來自擴展頭的顯示適配信息來適配用於顯示器的至少一 個顯示參數。
2. 如權利要求1所述的方法，其中所述顯示適配信息包括以下各項中的一個或多個： 與顯示像素的一部分的無感知損失的飽和相對應的最大像素亮度值、最小像素亮度值、以 及像素亮度直方圖步長值。
3. 如權利要求2所述的方法，還包括： 在視頻片段在背光式液晶顯示器（LCD)上的顯示期間，基於來自顯示適配信息的最大 像素亮度值縮放用於像素的像素亮度和背光亮度。
4. 如權利要求3所述的方法，還包括： 在視頻片段在背光式IXD上的顯示期間，基於來自顯示適配信息的最大像素亮度值和 最小像素亮度值縮放像素亮度和背光亮度。
5. 如權利要求4所述的方法，還包括： 在視頻片段在IXD上的顯示期間，基於來自顯示適配信息的最大像素亮度值、最小像 素亮度值、和像素直方圖步長值縮放像素亮度和背光亮度。
6. 如權利要求2所述的方法，還包括： 在視頻片段在有機發光二極體（OLED)顯示器上的顯示期間，基於來自顯示適配信息 的最大像素亮度值縮放用於像素的像素亮度和電源電壓。
7. 一種系統，包括： 接收器，被配置為接收用於視頻片段的數據，所接收到的數據包括用於適配在無感知 損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一個或多個顯示參數的顯 示適配信息；以及 處理器，被配置為在視頻片段的顯示期間，基於來自擴展頭的顯示適配信息來適配用 於顯示器的至少一個顯示參數。
8. 如權利要求7所述的系統，其中所述顯示適配信息包括以下各項中的一個或多個： 與顯示像素的一部分的無感知損失的飽和相對應的最大像素亮度值、最小像素亮度值、以 及像素亮度直方圖步長值。
9. 如權利要求8所述的系統，其中所述處理器被配置為在視頻片段在背光式液晶顯示 器（LCD)上的顯示期間，基於來自顯示適配信息的最大像素亮度值縮放用於像素的像素亮 度和背光亮度。
10. 如權利要求9所述的系統，其中所述處理器被配置為在視頻片段在背光式LCD上的 顯示期間，基於來自顯示適配信息的最大像素亮度值和最小像素亮度值縮放像素亮度和背 光亮度。
11. 如權利要求10所述的系統，其中所述處理器被配置為在視頻片段在IXD上的顯示 期間，基於來自顯示適配信息的最大像素亮度值、最小像素亮度值、和像素直方圖步長值來 縮放像素亮度和背光亮度。
12. 如權利要求8所述的系統，其中所述處理器被配置為在視頻片段在有機發光二極 管（OLED)顯示器上的顯示期間，基於來自顯示適配信息的最大像素亮度值縮放用於像素 的像素亮度和電源電壓。
13. -種包括如權利要求7所述的系統的移動通信設備，其中所述系統被配置為在無 線通信中從基站接收用於視頻片段的數據。
14. 一種包括如權利要求7所述的系統的平板，其中所述系統被配置為在無線通信中 從網絡接收用於視頻片段的數據。
15. -種方法，包括： 格式化用於視頻片段的數據以用於發送，所述格式化的數據包括 用於適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一 個或多個顯示參數的顯示適配信息，以及 一個或多個有效負載單元，包含用於顯示視頻片段的數據。
16. -種系統，包括： 視頻伺服器，被配置為格式化用於視頻片段的數據以用於發送，所述格式化的數據包 括 用於適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一 個或多個顯示參數的顯示適配信息，以及 一個或多個有效負載單元，包含用於顯示視頻片段的數據。
17. -種方法，包括： 接收用於視頻片段的數據以用於發送，所述數據包括 用於適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一 個或多個顯示參數的顯示適配信息，和一個或多個有效負載單元，其包含用於顯示視頻片 段的數據；以及 向其上將顯示視頻片段的設備發送該數據。
18. 如權利要求1所述的方法、權利要求7所述的系統、權利要求15所述的方法、權利 要求16所述的系統、或權利要求17所述的方法，其中所述顯示適配信息包括以下各項中的 一個或多個：與顯示像素的一部分的無感知損失的飽和相對應的最大像素亮度值、最小像 素亮度值、以及像素亮度直方圖步長值。
19. 如權利要求1所述的方法、權利要求7所述的系統、權利要求15所述的方法、權利 要求16所述的系統、或權利要求17所述的方法，其中所述顯示適配信息包括指示從保持亮 度的縮放方法、保持對比度的縮放方法、以及感知無損失的縮放方法中選擇的縮放方法的 標識符。
【文檔編號】G06F1/32GK104246867SQ201380020842
【公開日】2014年12月24日 申請日期:2013年4月19日 優先權日:2012年4月20日
【發明者】董勉, 馬展, F.C.A.費爾南德斯, 黃承吾 申請人:三星電子株式會社