基於動態記錄控制圖形用戶接口元素轉變行為的方法和裝置的製作方法

2023-06-24 23:32:36

專利名稱：基於動態記錄控制圖形用戶接口元素轉變行為的方法和裝置的製作方法
技術領域：
本發明涉及諸如移動終端的電子設備的圖形用戶接口，並且更具體
地，涉及對圖形用戶接口元素的轉變行為(transition behavior)的控制。
背景技術：
移動終端(例如蜂窩電話)和其他電子設備正在許多人的日常生活 中扮演越來越重要的角色。例如，這些設備正被日益用於通過諸如聊天 室、即時消息以及網絡日誌的機制來支持社交網絡，例如在藝術、政治、 科學等方面分享特殊興趣的群體。這樣，許多用戶現在可將他們的個人 電子設備視為其個性的延伸，使得例如移動終端或其他電子設備可以充 當時尚配飾、用戶情緒的反映、或者特定親合群體的會員標誌。
製造商和用戶已經開發了各種用於使這些設備個性化的技術。例如， 移動終端製造商已經開發了具有大量不同美學特徵(包括時尚殼體和面 板)的移動終端，以及能夠定義用戶定義菜單調色板和其他圖形用戶接 口 (GUI)特徵的終端。例如，2005年10月20日遞交的標題為"Theme Creator"的美國臨時申請No.60/728,795描述了使用移動終端中的照相機 來支持GUI的用戶定義"主題"(例如顏色和圖案)。

發明內容
本發明的一些實施方式提供了操作電子設備的方法。提供了包括轉 變信息的動態記錄。響應於所述動態記錄來定義所述電子設備的顯示器 上圖形用戶接口 (GUI)元素的轉變行為。例如，在本發明的一些實施方 式中，可以響應於所述電子設備的傳感器，諸如音頻傳感器、視頻傳感 器和/或運動傳感器，來生成所述動態記錄。所述GUI轉變行為可包括例 如窗口轉變行為、菜單轉變行為和/或對話框轉變行為。定義所述GUI元素的轉變行為可包括定義所述GUI元素的移動和/或變型。所述定義還可 包括響應於所述動態記錄，定義所述GUI元素的形狀和/或顏色轉變行為。
在一些實施方式中，定義所述GUI元素的移動和/或變型包括響應於 第一動態記錄，定義所述GUI元素的移動和/或變型。所述GUI元素的形 狀和/或顏色轉變行為可響應於第二動態記錄來定義。所述第一動態記錄 可以是運動記錄，例如響應於諸如加速度計或速率傳感器的運動檢測器 生成的記錄。所述第二動態記錄可以是視頻記錄，例如響應於諸如照相 機的視頻傳感器生成的記錄。
本發明的另一些實施方式提供了被配置為執行上述操作的電子設備 和電腦程式產 品。
本發明的又一些實施方式提供了操作可攜式電子設備的方法，其中， 使用所述可攜式電子設備的照相機生成視頻記錄，並且響應於所述視頻 記錄定義所述可攜式電子設備的顯示器上GUI元素的轉變行為。響應於 所述視頻記錄定義所述可攜式電子設備的顯示器上GUI元素的轉變行為 可包括響應於所述視頻記錄來控制所述GUI元素的移動和/或變型，和 /或響應於所述視頻記錄來控制所述GUI元素的形狀和/或顏色。
在本發明的附加實施方式中， 一種移動終端包括顯示器和控制器， 所述控制器被配置為響應於包括至少一種轉變的動態記錄，控制所述顯 示器上GUI元素的轉變行為。在一些實施方式中，所述移動終端還包括 照相機，並且所述控制器被配置為響應於所述照相機生成的視頻記錄， 來控制所述顯示器上GUI元素的轉變行為。在一些實施方式中，所述移 動終端還包括運動傳感器，並且所述控制器被配置為響應於所述運動傳 感器生成的動態記錄，來控制所述顯示器上GUI元素的轉變行為。


圖1-3例示了根據本發明的一些實施方式的移動終端及其操作。 圖4-6例示了根據本發明的一些實施方式的用於捕獲視頻記錄並基 於此控制電子設備的GUI轉變行為的操作。
圖7例示了根據本發明另外的實施方式的用於控制電子設備的GUI
5轉變行為的操作。
具體實施例方式
現在將參照附圖描述本發明的具體示例性實施方式。然而，本發明 也能夠以很多不同的形式來實現，並且不應該被釋義為限於本文所闡述 的實施方式；相反，提供這些實施方式是為了使該公開全面而完整，並 且向本領域技術人員全面傳達本發明的範圍。在對附圖所例示的特定示 例性實施方式的詳細描述中所使用的術語並非旨在對本發明進行限制。 在附圖中，相同的標記指示相同的元件。
當在此使用時，除非做出相反的明確陳述，否則單數形式"一"和"所 述"意圖也包括複數形式。應該進一步理解，當在本說明書中使用時，術 語"包括"指示所述特徵、整體、步驟、操作、元件和/或組件的存在，但 是並不排除一個或更多個其他特徵、整體、步驟、操作、元件、組件、 和/或上述的群組的存在或附加。應該理解，當提及一元件"連接"或"耦合" 到另一元件時，其可以直接連接或耦合到該另一元件，或者可以存在中 間元件。此外，在此使用的"連接"或"耦合"可包括無線連接或耦合。當在 此使用時，術語"和/或"包括一個或更多個相關聯列舉項中的任何及其全 部組合。
除非另有定義，否則在此使用的所有術語(包括技術術語和科技術 語)具有與本發明所屬領域的普通技術人員普遍理解的含義相同的含義。 還應該理解，除非在本文中明確定義，否則術語(諸如普遍使用的辭典 中所定義的那些術語)應該被釋義為具有與其在相關技術背景下的含義 相一致的含義，並且不應按照理想化或者過度形式的意義進行解釋。當 在此使用時，"電子設備"包括但不限於可攜式電子設備，諸如移動終端、
音樂播放器、視頻播放器、個人通信系統(PCS)終端、個人數字助理 (PDA)、膝上型計算機、筆記本計算機以及手持式計算機，和固定使用 的電子設備，諸如桌上型計算機。在此使用時，"圖形用戶接口 (GUI) 元素"包括任何用於支持用戶與電子設備交互的圖形元素，包括但不限於 視窗、彈出菜單、圖標、窗口構件(widget)、對話框等等。本發明的一些實施方式基於如下實現，即在電子設備(諸如移動終
端、PDA或其他可攜式電子設備)顯示器上產生的GUI元素的轉變行為 可根據提供轉變信息的視頻或其他動態記錄來定義，所述轉變信息能夠 用作GUI轉變行為的模型。根據本發明的一些實施方式，可以響應於例 如由電子設備的照相機製作的視頻記錄來定義GUI轉變行為。在其他實 施方式中，這種轉變信息可從另一種傳感器(諸如加速度計或速率傳感 器)獲得。在另外的實施方式中，用於定義GUI元素轉變的轉變信息可 以來自於不同類型的動態記錄的組合，諸如視頻記錄和來自運動傳感器 (諸如加速度計)的運動記錄的組合。還可以從視頻記錄獲得用於GUI 元素轉變的附加形狀和顏色轉變信息。
圖1-3例示了根據本發明的一些實施方式配置的移動終端100。參照 圖1 ，終端100包括顯示器110，所述顯示器110被配置為顯示GUI元素， 例如菜單、視窗、圖標、窗口構件等。終端100還包括用戶輸入電路120， 在此被示為包括鍵盤122和操縱杆124。應該意識到，用戶輸入設備120 可包括多種其他類型的輸入設備中的任何一種。如圖2中所示，終端100 還可以包括被配置來生成視頻記錄的照相機130。
參照圖3，終端150還可以包括無線電收發器150，所述無線電收發 器150被配置為支持終端100的無線電通信。無線電收發器150可操作 地與處理器140 (例如微處理器、微控制器或其他計算設備)及相關聯的 存儲器(例如RAM和/或EEPROM)相關聯。處理器140還可操作地與 顯示器110、用戶輸入電路120及照相機130相關聯。如圖3中另外所示， 終端100還可以包括運動傳感器160，諸如加速度計和/或速率傳感器， 所述運動傳感器160可操作地與處理器140相關聯。
如圖3中進一步所示，處理器140可被配置用於實現GUI轉變控制 器145，該GUI轉變控制器145可操作地響應於包括轉變信息的動態記 錄來控制顯示於顯示器110上的GUI元素的轉變行為，所述轉變信息可 以用作定義GUI轉變行為的參考。例如，在一些實施方式中，處理器140 可被配置用於存儲並執行電腦程式代碼，從而響應於照相機130所生 成的視頻信息和/或運動傳感器160所生成的運動信息來控制GUI元素轉
7變行為。在另外的實施方式中，動態記錄(例如視頻記錄)可通過其他 方式獲得，諸如通過經由無線電收發器150下載而獲得。應該理解，可
按照這種方式控制GUI元素轉變行為的各個方面，所述各個方面包括但 不限於移動、排序、顏色轉變、紋理轉變、形狀轉變以及GUI元素變型 的其他形式。
根據本發明的一些實施方式，諸如視窗、菜單、圖標、窗口構件、 對話框等的GUI元素的轉變行為，可以使用移動終端的照相機所生成的 視頻記錄來定義。參照圖4，移動終端100可生成其中所記錄場景中的運 動被用來定義GUI元素的轉變行為的視頻記錄。例如，如圖4中所示， 移動終端100可支持照相機操作的用戶可選擇"轉變採樣"模式，其中用 戶進行菜單選擇或以其他方式開始要被用作定義GUI轉變行為的基礎的 視頻記錄的生成。例如，如圖4中所示，在視頻記錄基本上固定的場景 時，照相機可從位置A通過位置B和C朝向位置D向右搖攝，此處在結 束位置E處的記錄之前，用戶可以進行快速的前後移動，由此定義如下 轉變序列，該序列包括在一個方向上連續的移動，其後跟隨短暫的"抖動 (shudder)，，。
如圖5中所示，圖4中記錄的移動隨後可以用來例如定義彈出菜單 500的轉變行為。例如，從其中選擇一菜單選擇窗口構件510的狀態A， 菜單500可從顯示器110的底部升起，通過狀態B和C (例如對應於圖4 中所示照相機位置B和C)，轉變到狀態D，在該點菜單以與參照圖4描 述的照相機前後移動相對應的上下方式抖動或振動，最後菜單穩定在狀 態E，由此從視頻記錄模仿轉變行為。應該意識到，上述移動僅為示例， 並且在本發明的其他實施方式中可提供寬泛的視頻運動到GUI元素轉變 的其他映射。
例如，根據本發明的另外的實施方式，可以針對GUI元素的從一種 形式到另一種形式的變型提供類似控制。例如，如圖6中所示，諸如上 文參照圖4所描述的視頻記錄可用於控制GUI元素600的從窗口到圖標 的變型。具體來說，從狀態A處的窗口形式開始，GUI元素600可以通 過狀態B、 C"收縮"，然後在狀態D處變型為"抖動的"圖標，對應於上文參照圖4描述的記錄的移動狀態A-D，該序列以在狀態E處顯示靜止圖 標結束。
應該理解，在本發明的一些實施方式中，取代移動照相機來生成視 頻記錄中的運動信息(如上所述)或者組合上述操作，將視頻被記錄的 場景內的物體的移動和其他特性(例如雲的移動和紋理、賽道周圍的汽 車等)用作GUI轉變行為的模型的來源。還應意識到，在本發明的其他 實施方式中可按類似的方式使用其他類型的視頻記錄(諸如下載的視頻 剪輯)來定義動態行為。可以利用多種不同方式中的任意方式(諸如模 式識別技術和/或涉及視頻源中的特定對象的用戶識別的技術)從視頻記 錄中提取信息。在一些實施方式中，諸如顏色轉變、紋理轉變、陰影轉 變、亮度轉變以及形狀轉變的附加視頻特徵也可被提取並用於定義GUI 轉變行為。例如，視頻源中的顏色轉變可以被用來定義菜單、窗口、窗 口構件以及其他GUI元素的顏色轉變(例如，開始和結束的顏色)。
在另外的實施方式中，來自另一信息源的轉變信息，例如來自諸如 加速度計或速率傳感器的運動傳感器的運動信息，可以替代來自視頻源 的轉變信息或者與之結合使用。在本發明的又一些實施方式中，可以根 據如下動態記錄來定義GUI轉變行為，所述動態記錄提供聲音轉變形式 的轉變信息，諸如來自歌曲或其他音頻的記錄的節奏。設備還可以被配 置為存儲多種GUI轉變行為定義，使得用戶可以定製和域選擇特定定義， 和/或可以將各個GUI轉變行為定義與各個主題、用戶、用戶環境等相關 聯。
圖7是例示了根據本發明一些實施方式的用於控制GUI轉變行為的 示例性操作的流程圖。提供，例如生成、下載或以其他方式獲得包括轉 變信息的視頻和/或其他類型的動態記錄(框710)。基於所述動態記錄定 義GUI元素的轉變行為(框720)。根據定義的轉變行為對GUI元素進行 移動和/或變型(框730)。
上面已經參照框圖和/或操作圖(例如，流程圖)描述了本發明的各 種實施方式，所述框圖和/或操作圖例示了根據本發明的各種實施方式的 方法、裝置以及電腦程式產品。應該理解，可通過模擬和/或數字硬體，和/或電腦程式指令來實現框圖和/或操作圖中的每個框，以及框圖和/ 或操作圖中框的組合。這些電腦程式指令可被提供給通用計算機、專
用計算機、ASIC和/或其他可編程數據處理裝置的處理器，從而使得通過 計算機和/或其他可編程數據處理裝置的處理器執行的這些指令創建用於 實現框圖和/或操作圖中指定的功能/動作的方式。
因此，應該意識到，這些框圖和操作圖支持裝置、方法以及計算機 程序產品。例如，在此參照圖l-7描述的實施方式中，這些電腦程式指 令可被提供給被配置為控制電子設備的處理器，因此尤其支持被配置為 提供所描述的操作的設備、包括這種操作的方法、以及用於執行這種操 作的電腦程式產品。
在附圖和說明書中，已經公開了本發明的示例性實施方式。儘管採 用了特定術語，但是它們僅用於一般和描述的意義，而不是出於限制的 目的，本發明的範圍通過所附權利要求來限定。
權利要求
1、一種操作電子設備的方法，所述方法包括以下步驟提供包括轉變信息的動態記錄；以及響應於所述動態記錄，定義所述電子設備的顯示器上圖形用戶接口(GUI)元素的轉變行為。
2、 根據權利要求1所述的方法，其中，提供動態記錄包括響應於所 述電子設備的傳感器來生成所述動態記錄。
3、 根據權利要求2所述的方法，其中，所述傳感器包括音頻傳感器、 視覺傳感器和/或運動傳感器。
4、 根據權利要求1到3中的任一權利要求所述的方法，其中，響應 於所述動態記錄來定義所述電子設備的顯示器上GUI元素的轉變行為包 括定義所述GUI元素的移動和/或變型。
5、 根據權利要求4所述的方法，所述方法進一步響應於所述動態記 錄，定義所述GUI元素的形狀和/或顏色轉變行為。
6、 根據權利要求4到5中的任一權利要求所述的方法，其中，定義 所述GUI元素的移動和/或變型包括響應於第一動態記錄來定義所述GUI 元素的移動和/或變型，並且還包括響應於第二動態記錄來定義所述GUI 元素的形狀和/或顏色轉變行為。
7、 根據權利要求6所述的方法，其中所述第一動態記錄包括非視頻 記錄，而其中所述第二動態記錄包括視頻記錄。
8、 根據權利要求6到7中的任一權利要求所述的方法，所述方法還 包括響應於所述第二動態記錄來定義所述GUI元素的移動和/或變型。
9、 根據權利要求1到8中的任一權利要求所述的方法，其中，響應 於所述動態記錄來定義所述電子設備的顯示器上GUI元素的轉變行為包 括定義窗口轉變行為、菜單轉變行為和/或對話框轉變行為。
10、 一種電子設備，所述電子設備被配置為執行根據權利要求1到 9中的任一權利要求所述的方法。
11、 一種包括在存儲介質中實現的電腦程式代碼的電腦程式產品，所述電腦程式代碼包括被配置為執行根據權利要求1到10中的任 一權利要求所述的方法的程序代碼。
12、 一種操作可攜式電子設備的方法，所述方法包括以下步驟 使用所述可攜式電子設備的照相機來生成視頻記錄；以及響應於所述視頻記錄，定義所述可攜式電子設備的顯示器上GUI元素的轉變行為。
13、 根據權利要求12所述的方法，其中，響應於所述視頻記錄定義 所述可攜式電子設備的顯示器上GUI元素的轉變行為包括響應於所述視頻記錄控制所述GUI元素的移動和/或變型。
14、 根據權利要求13所述的方法，所述方法還包括響應於所述視頻 記錄，控制所述GUI元素的形狀和/或顏色。
15、 一種可攜式電子設備，所述可攜式電子設備被配置為執行根據 權利要求12到14中的任一權利要求所述的方法。
16、 一種包括在存儲介質中實現的電腦程式代碼的電腦程式產 品，所述電腦程式代碼包括被配置為執行根據權利要求12到15中的 任一權利要求所述的方法的程序代碼。
17、 一種移動終端，所述移動終端包括 顯示器；以及控制器，所述控制器被配置為響應於包括至少一種轉變的動態記錄， 來控制所述顯示器上GUI元素的轉變行為。
18、 根據權利要求17所述的移動終端，所述移動終端還包括照相機， 其中，所述控制器被配置為響應於由所述照相機生成的視頻記錄，來控 制所述顯示器上GUI元素的轉變行為。
19、 根據權利要求17到18中的任一權利要求所述的移動終端，所 述移動終端還包括運動傳感器，並且其中，所述控制器被配置為響應於 由所述運動傳感器生成的動態記錄，來控制所述顯示器上GUI元素的轉 變行為。
全文摘要
提供了包括轉變信息的動態記錄。響應於所述動態記錄定義諸如移動終端的電子設備的顯示器上圖形用戶接口(GUI)元素的轉變行為。例如，在本發明的一些實施方式中，可以響應於所述電子設備的諸如音頻傳感器、視頻傳感器和/或運動傳感器的傳感器，來生成所述動態記錄。所述GUI轉變行為例如可包括窗口轉變行為、菜單轉變行為和/或對話框轉變行為。定義的GUI轉變行為例如可包括移動、變型、形狀轉變行為和/或顏色轉變行為。提供了被配置為執行這種操作的裝置和電腦程式產品。
文檔編號G06F3/048GK101558630SQ200780043834
公開日2009年10月14日 申請日期2007年5月22日 優先權日2006年11月27日
發明者大衛·德利昂, 斯塔凡·約爾特, 西蒙·溫特 申請人:索尼愛立信移動通訊有限公司