用於響應於非離散定向輸入動作和智能內容分析而選擇顯示區的計算裝置和方法

2023-06-12 11:10:01

專利名稱：用於響應於非離散定向輸入動作和智能內容分析而選擇顯示區的計算裝置和方法
技術領域：
所揭示的實施例涉及用於計算裝置的顯示接口。更明確地說，所揭示的實施例涉及一種用於響應於非離散輸入動作和/或智能內容分析而選擇顯示區的計算裝置和方法。
背景技術：
計算裝置(特別是手持式和可攜式裝置)已演化為包含大量類型的人機接口特徵。其中，裝置現在併入有觸敏顯示器和傳感器，以便增強與所述裝置的人機互動。傳感器的實例包含加速計和近程傳感器，其檢測關於移動或計算裝置正被留於何處的信息。裝置日益變小，且更加智能。因此，雖然顯示器大小是有限的，但可在相對較小的顯示屏上顯示的東西卻正日益複雜。舉例來說，移動計算裝置可例行地從一個顯示器顯示網絡內容、視頻和實況電視內容。除較小的大小和增加的處理之外，計算裝置還允許更多種類的用戶輸入和動作。 舉例來說，手勢輸入是在併入有觸敏顯示屏的移動計算裝置上允許的一種類型的輸入。存在其它裝置，其可檢測用戶的移動，例如通過手臂或手的運動。


圖1說明根據一實施例的用於允許在計算裝置上智能滾動或導航顯示對象的特徵的簡化框圖架構。圖2說明根據實施例的用於使用非離散輸入動作來選擇所顯示的內容以供重新顯示的方法。圖3A到圖3C說明用戶的非離散定向輸入動作到向量的變換。圖4A和圖4B說明在其上實施用於響應於非離散定向輸入動作來選擇其若干部分的實施例的用戶接口面板。圖5說明在其上實施用於響應於定向輸入動作來選擇顯示對象的另一實施例的另一用戶接口面板。圖6說明在其上實施用於響應於定向輸入動作來選擇顯示對象的另一實施例的又一用戶接口面板。圖7說明根據一實施例的用於重新顯示併入有超過指定準則的可選數據項目的顯示器的區的方法。圖8A和圖8B表示作為圖7所描繪的實施例的實施方案的用戶接口面板。圖9說明經配置以實施一個或一個以上實施例的計算裝置的硬體圖。
具體實施例方式本文所描述的實施例通過使用來自用戶的非離散輸入而增強了用戶在計算裝置上滾動或導航所顯示的內容的能力。明確地說，一個或一個以上實施例使用邏輯或智能來增強用戶使用非離散定向輸入動作來作出對所顯示內容的選擇的能力。如所描述，實施例通過允許響應於用戶的非離散輸入動作而選擇內容，來增強用戶與計算裝置的交互。本文所述的實施例包含一種計算裝置，其具有顯示表面、人機接口特徵和處理資源。所述人機接口特徵使得所述計算裝置的用戶能夠錄入非離散定向輸入動作。所述處理資源執行以(i)在顯示表面上提供內容；(ii)檢測用戶執行的動作；(ii)根據輸入動作確定向量；以及(iv)基於所述向量選擇顯示表面的區。在另一實施例中，計算裝置包含顯示區和處理資源，所述處理資源經配置以在顯示表面上呈現內容，包含顯示表面的子區上的多個可選數據項目。所述處理資源進一步經配置以分析顯示器上的內容的包含所述多個可選數據項目的至少一部分，以確定所述多個數據項目中的至少一些項目之間的間距。響應於確定可選數據項目之間的間距小於預定閾值，處理資源執行以重新顯示所述內容的至少一部分，以增強用戶選擇所要數據項目且不會無意中選擇非所要數據項目的能力。舉例來說，可重新顯示觸敏顯示表面上含有緊密排列的連結的內容以在所述連結上放大，從而使用戶可區分出所述連結以用於觸摸選擇。本文所描述的一個或一個以上實施例規定在程序中或作為計算機實施的方法而執行計算裝置所執行的方法、技術和動作。在程序中表示通過使用代碼或計算機可執行指令。在程序中執行的步驟可為自動的或可不為自動的。可使用模塊來實施本文所描述的一個或一個以上實施例。模塊可包含能夠執行一個或一個以上所陳述任務或功能的程序、子例程、程序的一部分或軟體組件或硬體組件。如本文所使用，模塊可獨立於其它模塊而存在於硬體組件上，或模塊可為其它模塊、程序或機器的共享元件或進程。此外，可通過使用可由一個或一個以上處理器執行的指令來實施本文所述的一個或一個以上實施例。這些指令可在計算機可讀媒體上運載。以下圖中所展示的機器提供可在其上運載和/或執行用於實施本發明的實施例的指令的處理資源和計算機可讀媒體的實例。明確地說，與本發明的實施例一起展示的眾多機器包含處理器和用於保持數據和指令的各種形式的存儲器。計算機可讀媒體的實例包含永久存儲器存儲裝置，例如個人計算機或伺服器上的硬碟驅動器。計算機存儲媒體的其它實例包含可攜式存儲單元(例如CD 或DVD單元)、快閃記憶體(例如運載於許多手機和個人數字助理(PDA)上)，以及磁性存儲器。計算機、終端、具有網絡功能的裝置(例如移動裝置，例如手機)是利用處理器、存儲器和存儲在計算機可讀媒體上的指令的機器和裝置的所有實例。系統架構圖1說明根據一實施例的用於允許在計算裝置上智能滾動或導航顯示對象的特徵的簡化框圖架構。在一實施例中，系統100在計算裝置上實施，且包含一個或一個以上模塊或組件，其操作以提供選擇器110、人機接口組件104、呈現組件120以及到從其產生內容以供顯示的應用程式136的接口 128。如結合圖9的實施例所描述，可在各種裝置(包含無線消息接發和電話裝置，或無線/蜂窩式多功能裝置)上實施系統100。還可跨多種類型的裝置實施系統100。因此，可在運行應用程式136以在裝置的顯示器上產生內容的計算裝置 900(圖9)上實施系統100。在圖1所示的實施例中，應用程式136對應於網絡瀏覽器，且在顯示裝置上產生的內容為網絡內容。然而，應用程式136可對應於其它種類的應用程式， 使得可呈現其它形式的內容供系統100使用。舉例來說，應用程式136可對應於地圖繪製應用程式(例如谷歌地球(GOOGLE EARTH)，或通常與GPS —起顯示的地圖)、PDF瀏覽器、 圖像瀏覽器或文檔顯示應用程式。人機接口組件104可採取各種形式。在實施例中，人機接口組件104由併入計算裝置900(圖9)的顯示組合件920中的觸摸傳感器提供。觸摸傳感器檢測對應於非離散輸入動作125的手指運動或手勢。然而，可使用其它裝置或接口類型來檢測此些定向輸入動作。如下文所提供，非離散動作可對應於用戶要求取樣或類似處理以便由計算機解譯或處理的動作。此些動作可與(例如)致動開關的按鈕按壓或動作區分開來，因為按鈕和開關是離散輸入機構，且不要求計算機理解取樣。人機接口組件104可進一步包含或使用邏輯 (例如，由集成電路或由CPU提供)來根據定向輸入動作125計算向量123。向量123可提供輸入的線性化版本，其使得能夠將用戶的定向動作125外推到計算裝置900(見圖9)的顯示表面上的區。在一實施例中，接口 128向選擇器110提供內容顯示信息127。在其中應用程式 136為網絡瀏覽器的實施例中，內容顯示信息127對應於文檔對象模型(DOM)信息，其識別 (例如)各種顯示對象和內容項目在給定網頁或資源上的存在和相對位置。可使用各種其它形式的內容顯示信息127，尤其是針對其它類型的應用程式。選擇器110使用向量123來導航或滾動顯示器上呈現的內容。明確地說，一實施例規定選擇器110使用向量123來導航或滾動到計算裝置的顯示表面上當前正顯示的顯示對象或內容區。明確地說，系統100的模塊處理動作125以確定向量123，且接著使用向量 123來作出內容選擇121。內容選擇121可對應於(i)顯示器上的內容區，或(ii)作為顯示器上的內容的一部分而出現的顯示對象或對象集合。對於內容選擇121，呈現組件120執行動作以重新顯示內容選擇121。在一個實施例中，選擇器110通過使用向量123根據所顯示內容上的焦點的當前位置外推到新的位置來處理輸入動作125。向量123指定外推的方向，以及任選地指定將線性外推延伸到什麼程度的量值。可根據輸入動作125(例如手指滑動)的速度或此移動或動作的力/加速度來確定量值。因此，向量123可帶有方向信息以及量值信息(例如，力、 速度或其組合)。在一實施例中，選擇器110根據向量123來識別顯示器上的內容子區。所述子區可對應於(例如)屏幕顯示器的象限或區段，例如所再現網頁的頂部部分。作為替代或添加，選擇器110基於向量123識別待重新顯示的顯示對象。顯示對象的實例包含圖像、文本框或連結。在確定待重新顯示的顯示對象或子區時，實施例規定選擇器110使得計算裝置的顯示過程能夠從顯示器上的內容的一個聚焦區導航或滾動到選定區或顯示對象。可通過以下方式來識別現有聚焦區，例如根據默認值(例如從顯示區的中心開始)、根據指針或導航裝置的位置，或根據選定顯示對象或區的先前位置(如例如根據先前向量輸入確定而確定)。因此，例如，響應於確定向量123，選擇器110可致使裝置的處理資源將其顯示焦點從網頁的一部分橫越到網頁上現有的顯示對象。呈現組件120使用選擇確定121來加以更改後重新顯示現有的內容，且/或聚焦在選定子區或顯示內容上(如由選擇器110確定)。在一實施例中，呈現組件120增強所顯示內容的提供選定子區或顯示對象的部分。所述增強可採取放大選定部分的形式。作為替代或添加，所述增強可包含(例如)加亮、背照或增亮選定部分處的所顯示內容，從而更改所述部分處的粒度或焦距，使選定內容居中，且/或呈現對焦的選定子部分。呈現組件120可直接或間接地與應用程式和/或其它顯示組件介接。在一個實施方案中，呈現組件120發送數據131，用於向應用程式136的接口 1 產生選定子區或顯示對象的增強顯示。舉例來說，當應用程式136對應於網絡瀏覽器時，呈現組件120將呈現數據131發送到其接口 128。接口 1 可接著重新顯示選定子區或顯示對象，來代替已經在顯示器上的內容的現有部分。舉例來說，可放大選定內容以覆蓋顯示屏上的其它內容。或者， 呈現組件120可將呈現數據131直接傳送到應用程式，或傳送到創建顯示內容以覆蓋或替代已經在顯示器上的內容的另一應用程式。在一實施例中，系統100包含反饋組件140，其用信號向輸出機構142通知觸覺和 /或可聽反饋129，以與重新顯示或以其它方式呈現選定內容的呈現組件120 —致。在選擇器110識別顯示對象的實施例中，呈現組件120可立即橫越到選定對象，以便抓取和重新顯示選定對象。為了增強抓取效果，反饋組件140使反饋信號129同步或以其它方式對反饋信號1 進行計時，以與選定顯示對象的選擇和重新顯示一致。在其它實施例中，機構140 及其反饋信號1 可經配置以用在顯示器上重新顯示內容區(而不是選定對象，或增強抓取效果)的動作來觸發。輸出機構142可對應於在接收信號1 時產生振動或移動的組件。 作為變體，輸出機構142可產生可聽聲音以模擬物理效果，例如「滴答」或「咔噠」聲。輸出機構142可與顯示器集成，或與接觸或以其它方式與用戶交互的裝置表面集成。舉例來說， 輸出機構140可與在用戶作出手勢輸入時接納用戶的手指的顯示表面集成。作為變體，輸出機構140可集成到由用戶握持的計算裝置(其上實施系統100)的外殼中。方法圖2說明根據實施例的用於使用非離散輸入動作來選擇所顯示的內容以供重新顯示的方法。可使用例如圖1所述的組件或例如圖9所述的硬體元件來實施例如圖2所述的實施例。因此，圖1或圖9所述的對元件作出的任何參考意在說明用於執行正描述的步驟或子步驟的合適元件或組件。在步驟210中，以非離散輸入動作的形式接收輸入。非離散輸入動作可對應於用戶的自由形式動作，例如手指(即，放置為與表面接觸)或肢體的移動，其可與例如按鈕按壓或用戶操縱的開關等離散輸入動作區分開來。在一個實施例中，以模擬形式檢測非離散輸入動作。取樣可用於處理輸入。根據一實施例，可分析非離散輸入動作以推斷用戶的方向意圖。此輸入動作可稱為是定向的。輸入動作可由人機接口組件104接收。接口組件104可對應於可監視(例如)某些類型的用戶活動的傳感器與邏輯的組合(例如以集成電路的形式)。舉例來說，在顯示器的表面上，傳感器可經定位以檢測人類皮膚的接觸，且進一步檢測關於在給定時刻或隨著時間的過去皮膚的接觸位置的信息。另一形式的輸入可併入有光學傳感器的使用， 所述光學傳感器可用於檢測(例如)手指或物體在計算裝置的區上的移動。其它傳感器可包含加速計，其可放置於條形碼讀入器或其它裝置上，以在用戶將條形碼讀入器丟棄在周圍時報告條形碼讀入器的位置。還存在針對可如何實施非離散輸入動作的大量其它實施方案。舉例來說，滾輪球輸入機構(或有時稱為跟蹤球)可帶有呈量值和/或方向形式的非離散輸入。甚至開關式輸入機構也可經結構化以檢測和使用與動作的量值有關的信息。量值的檢測可藉助於檢測與(例如)開關事件相關聯的非離散動作或特性。任選子步驟212到218說明可對應於與一個或一個以上實施例一起使用的定向輸入的各種種類的非離散輸入動作。在子步驟212中，輸入動作可對應於通過用戶的手指或用戶引導的物體(例如觸控筆或筆)與計算裝置的接口組件交互而作出的手勢輸入。接口組件可對應於(例如)計算裝置的觸摸板或觸控螢幕。子步驟214規定非離散定向動作可對應於用戶的移動。舉例來說，用戶可移動手或肢體或頭。接口組件可對應於併入用戶在移動肢體或其它身體部位時所使用的裝置中的傳感器。舉例來說，加速計和/或位置傳感器的組合可用於使裝置能夠移動條形碼讀入器。可在計算裝置上接收來自條形碼讀入器的傳感器信息，且接著將其解譯成手勢或移動輸入。子步驟216規定非離散輸入動作對應於用戶的眼睛移動。可使用(例如)眼睛掃描儀/檢測器來監視用戶的眼睛移動。在一個實施方案中，跟蹤用戶的眼睛以解譯類似手勢的輸入。用戶可將其視線引導到所顯示內容的區域，或顯示屏區，以便使其眼睛移動被記錄為定向輸入動作。更進一步，任選子步驟218規定非離散輸入動作對應於話音命令和/或音調變化 (inflection) 0用戶可說出某些指示方向的詞語(例如，「向上」、「北」、「東北」、「距中心30 度」等)。還可使用音調變化來指示量值。計算裝置的接口組件可對應於麥克風，其使用語音辨識邏輯來將說出的詞語轉換成定向輸入。為了檢測音調變化，麥克風可分析音量，如與基線(例如，用戶的正常語音閒聊、背景噪聲等)相比，以確定命令是被響亮地還是輕柔地說出的(可能依據相對程度)。在步驟220中，根據用戶的非離散輸入動作來確定向量(例如，使用輸入動作125 來產生向量123)。向量是非離散輸入的線性化。由此，向量帶有對應於方向的信息。任選的是，子步驟222規定產生向量以帶有包含對用戶的定向動作(如可由人機接口組件104 檢測)中的量值的指示的信息。可使用(例如)測量例如手勢/移動中的速度或力或話音命令中的音調變化等特性的傳感器或其它組件來確定此量值。在步驟230中，使用向量來選擇在顯示器上或用於顯示器的內容區。可使用向量來基於向量的現有假定位置或原點而外推或確定內容的一部分。此位置可對應於(例如) 用戶對內容的先前選擇、指針裝置或特徵的位置(例如，停留或聚焦在特定內容項目上、滑鼠指針(或等效位置))，或默認原點(例如，顯示器的中心、停留在特定內容上等)。子步驟232描述一個實施方案，其中選定區對應於正顯示或以其它方式準備顯示的現有內容的子區。可將子區選擇為面板，對所述面板內的(例如)特定內容項目的邊界不加選擇。舉例來說，內容可以地圖或所再現網頁的形式顯示。響應於用戶的手勢輸入，選擇器110選擇地圖的象限或其它區段，其可或可不在所述時刻離開顯示器(地圖的在顯示器的邊界上看不見的部分)。在地圖的情況下，可選擇地圖內容上表現的地理區或粒度，例如平方英裡或城市街區。更進一步，選定區可帶有相對於周圍內容的其它部分勾畫出區的特性。舉例來說，選定區可為可與周圍區中所顯示的數據區分開來的一組經結構化數據的一部分。在子步驟232的變體中，子步驟234規定根據向量來選擇顯示對象。顯示對象的實例是圖像、文本框或其它條目。不是選擇(例如)面板的區段或由區段再現的內容，而是執行分析以識別特定內容項目。在一個實施例中，顯示器上的內容為網頁或其它網絡內容。 選擇器110使用(例如)DOM信息來識別網頁上的顯示對象(例如文本框、圖像)。在其它實施方案中，可使用其它形式的內容分析來檢測其它內容項目。舉例來說，在文檔中，圖形或媒體的插入和位置是可容易檢測的。還可執行陰影或色彩分析來檢測圖像的存在。舉例來說，接口組件1 可與瀏覽器或網頁介接，以將DOM信息提供給選擇器110。在選擇顯示對象的變化形式中，可如下執行作出選擇的方式。作為子步驟234的一部分，在子步驟235中識別選定顯示對象的邊界。可根據(例如)(i)DOM信息(當正顯示的內容為網頁時)或其等效物(對於其它形式的再現內容)、(ii)圖像分析，例如圖像文件的發現或對陰影或色彩的變化的檢測，(iii)網格/地圖信息識別此類邊界。一旦確定選定內容，步驟240就規定對選定內容執行動作。如果內容已經在顯示， 那麼此動作可對應於加以更改後重新顯示所述內容，例如加以放大(子步驟對幻、色化更改、增強或相對於內容的其餘部分劃界(使用色彩或其它視覺效果來將內容的其餘部分呈現為背景)。在選定內容為顯示對象的實施方案中，實施例規定在步驟對4中，抓取且接著重新顯示選定顯示對象。抓取是指一種圖形用戶接口感覺，其中對於用戶來說，作為一個整體來選擇選定顯示對象。在一個實施方案中，執行抓取，使得原點與選定對象之間的對象或顯示表面不被選擇，而是自動將選定顯示對象置於預選定或重新顯示狀態。選定顯示對象的重新顯示可呈放大或其它增大/更改的形式，例如上文所述。更進一步，可執行抓取以確定被認為經結構化且與其它內容分離(但由動作的向量指示)的內容邊緣的邊界。可在顯示器上抓住或對準此內容。對準可包含(例如)在顯示器上呈現所有有界物，使有界內容居中或僅將其重新定位在呈現中。以下提供例如圖2和本文其它地方描述的實施例的實例。實例網絡瀏覽器可在使用觸敏顯示器的移動計算裝置上再現來自新聞站點的內容。當顯示來自所述站點的頁時，顯示器上的內容包含通過圖像和其它區塊而分離的文章。 當用戶希望將計算裝置的焦點引導到在給定時刻出現在顯示屏的角落中的特定文章時，用戶可將呈線條形式的手勢輸入到屏幕上。視實施方案而定，可遠離或朝向所要內容引導線條手勢。計算裝置可接著向量化所述輸入以確定向量。在計算裝置上運行的選擇器識別所要文章，且顯示器抓取所述文章。在抓取文章時，選定文章可根據位置(居中)、對準(例如與顯示屏的邊緣)且/或根據大小(放大)而重新顯示。可在選擇內容時提供觸覺反饋以提供物理選中指示(physical tick)。還可使用可聽聲音(例如滴答聲)。實例在使用GPS信息顯示地圖的裝置上，用戶可錄入指示方向的話音命令。實例包含「下一街區向上」或「東北」或「向北的下一城市」。使用戶的輸入向量化，接著選擇顯示器上的地圖的選定地理區，且向用戶重新顯示。非離散定向動作的線性化圖3A到圖3C說明用戶的非離散定向輸入動作到向量的變換。在一實施例中，非離散定向輸入由手勢302(例如，手指敲擊顯示器區域或表面)或移動(用戶在空中移動手指或肢體)提供。如所提及，非離散動作可與較傳統的輸入動作(例如按鈕按壓或開關操作)區分開來，因為(i)非離散動作可能要求處理器對輸入進行取樣以解譯或理解所述輸入，且/或(ii)使用戶的動作能夠為自由形式，前提是其以可由傳感器檢測的方式執行。非離散輸入動作最初可作為模擬輸入而接收。如所描繪的圖3A到圖3C的實施例說明向量310與用戶手勢的移動在同一方向上。在其它實施方案中，可確定向量處於用戶手勢或運動的相反方向上。差異在感知和實施的方式上。當向量對準在手勢或移動的相反方向上時，用戶的動作可等效於拉動所要內容，而不是移動到所要內容。如所提及，可利用任一實施方案。根據手勢302，計算裝置的處理資源確定樣本點。實施例規定使用適當算法來使樣本點線性化，以確定所得向量。在圖3B的實施方案中，通過使用併入有所有經取樣點的線條擬合算法來執行線性化。接著可將線條外推到向量310中。可使用許多可能技術中的任一者來確定向量310，例如線性曲線擬合、繪製第一點和最後點、選擇特定經取樣點且接著繪製穿過其中的線條，或確定多個向量，且接著平均化或取樣多個向量。在從觸控螢幕幕或表面的用戶取樣若干個手勢的實施例中，可將重點放在經取樣點的尾端，作為用戶意圖的最準確反映。在圖3C中，將手勢的最後一組經取樣點308(例如五個)用於線性化過程，以確定輸入的向量310。作為變體，實施例可假定當輸入手勢輸入時， 用戶的手指可自然地逐漸變弱而消失。通過此假定，一個實施例可丟棄最後取樣的點，同時依靠樣本點的尾端來確定向量310。取樣用戶接口面板和實例圖4A和圖4B說明在其上實施用於響應於非離散定向輸入動作來選擇其若干部分的實施例的用戶接口面板。在圖4A中，面板400是計算機產生的，且提供於計算裝置的顯示表面上。面板400顯示來自(例如)網絡瀏覽器、地圖應用程式(例如從GPS輸出)、 文檔應用程式(例如PDF瀏覽器、文字處理器、圖像瀏覽器)或其它應用程式的內容。如圖4A中所描繪，面板400的狀態對應於剛接收到用戶的非離散定向輸入且將其處理成向量 410(即，圖2的步驟220)的狀態。雖然以視覺方式展示向量410，但應理解，其僅為由提供面板的計算裝置的處理資源貫徹的用程序確定的表示。可任選地向用戶顯示向量410。可相對原點432來參考向量410，原點432可默認確定，或對應於確定向量410時的當前焦點。圖4A進一步描繪至少部分地基於向量410的定向分量來選擇面板400的區412。 在一個實施方案中，向量410是程序外推工具。向量410的量值分量可(i)為假定的或不在使用中，(ii)根據定向動作的非定向特性而確定。具體參考手勢輸入，非定向特性包含 (例如)手勢的持續時間、手勢的總長度或向量的速度或加速度。如圖4B中所指示，使用向量來選擇區412。在選擇區412時，可使用區的一個或一個以上特性來識別所述區。在一實施例中，根據所述區而分析的特性而相對於內容的周圍部分勾畫出所述區。舉例來說，顯示區412可包含可見邊界或標記，其指示顯示區的至少一實質部分為同一結構化數據集合(例如顯示對象)的一部分。如圖4B所示，選定區412以經更改形式重新顯示。在一實施例中，放大選定區412 以配合面板的至少一實質部分。因此，例如，可放大地圖或所顯示文檔，以描繪基於所確定向量而被確定為用戶感興趣的區。圖5說明在其上實施用於響應於定向輸入動作來選擇顯示對象的另一實施例的另一用戶接口面板。舉例來說，面板500可對應於帶有文本/視覺內容的所再現網頁，所述文本/視覺內容可包含多個顯示對象，包含文本項目(例如文章)和圖像項目。舉例來說， 面板500可對應於所再現的新聞文章頁或包含如顯示對象、多篇文章、圖像和標題的頁。用戶可通過使用常規滾動或導航來起始瀏覽，以遍歷文章(例如在線報紙的文章)。面板500 可從對象導航到對象(例如從一篇文本文章導航到另一篇文本文章)。
根據一實施例，將呈來自用戶的手勢506的形式的非離散定向動作產生為向量 510，其用於選擇作為正呈現的內容的一部分的顯示對象520。顯示對象510可對應於由結構化數據集合形成的呈現。可使用任何一個或一個以上參數組合來作出顯示對象520的選擇。舉例來說，選定顯示對象520可對應於(i)與所確定向量510成一直線的最近顯示對象；(ii)與所確定向量成一直線的特定種類的最近顯示對象。在確定最近顯示對象520時， 向量510可從原點外推。在所示的實施方案中，原點可與對焦的文章508的中心或區重合， 或與指針特徵的一部分重合。如(例如)圖6的實施例所述，可任選地確定其它手勢特性， 且將其併入到(例如)向量510的量值中。圖6說明在其上實施用於響應於定向輸入動作來選擇顯示對象的另一實施例的又一用戶接口面板。如同本文所述的其它實例一樣，面板600可包含一起出現在一個面板上的文本項目、圖像或其它形式的顯示對象的組合。在所示的實施方案中，根據手勢606確定向量610。圖6的實施例描繪將向量610用於選擇面板600上的顯示對象620，其中顯示對象由向量的方向指示，但通過一個或一個以上中間顯示對象而與原點612分離。因此，當正確定選定顯示對象(或顯示部分)的確定時，跳過中間顯示對象608。在一個實施例中， 使用以向量610帶有的量值信息來跳過中間顯示對象。可根據手勢(或其它定向動作)確定量值信息。可(例如)根據輸入手勢的速度或加速度、手勢的持續時間或手勢的長度來確定量值信息。 顯示密集連結散布和其它可選對象作為對產生向量以選擇待顯示內容的實施例的補充或替代，其它實施例可用於分析內容，以便響應於某些條件的存在而選擇性地放大或以其它方式增強其特定內容或部分。在一實施例中，分析顯示器上(或可用於顯示器)的內容，以檢測可選數據項目的存在。 可選數據項目對應於連結、圖標或其它活動數據項目，其在被選定時，將用戶導航或滾動到另一內容目的地，或調用用戶的計算機終端上的程序動作。根據一實施例，分析顯示器上的內容，以確定可選數據項目是否在空間上可區分， 以可容易由用戶通過觸摸接口而選擇。明確地說，在小形狀因子計算裝置的情況下，顯示屏幕的尺寸是有限的。此外，此些計算裝置使用戶能夠與顯示屏交互以提供輸入，包含用於使用戶能夠選擇連結或其它可選數據項目的輸入。當內容適合此類小形狀因子計算裝置時， 可選數據項目特別可能變得難以使用。在因小形狀因子計算裝置而導致的問題當中，當過多可選數據項目(例如，連結)存在於給定區中時，無法容易地從其它連結選擇數據項目， 尤其是通過觸摸。舉例來說，用戶可能不容易能夠通過觸摸正顯示個別連結的顯示屏來選擇一個連結而不選擇另一連結，因為用戶手指的尺寸橫跨兩個或兩個以上連結。圖7說明根據一實施例的用於重新顯示併入有超過指定準則的可選數據項目的顯示器的區的方法。作為替代或補充，可使用(例如)圖1所述的系統的組件來實施例如所述的實施例。因此，可參考圖1的元件，以說明用於執行正描述的步驟或子步驟的合適元件。在步驟710中，分析供顯示的內容，以確定(i)出現(或將要出現)在所顯示內容的至少給定區中的個別可選數據項目的相對位置，以及(ii)個別數據項目的總計數。作為使用向量的替代或變化，選擇器110(圖1)可分析所顯示的內容或其若干部分，以識別連結數目或其它活動數據項目，包含個別數據項目相對於所顯示內容上的其它數據項目的相對位置。內容顯示信息127(圖1)可由選擇器110用來檢測個別可選顯示對象的存在和位置。 舉例來說，在一個實施方案中，所再現的內容是網頁，且選擇器110使用DOM信息來確定可選連結或其它顯示項目在網頁上的存在和位置。步驟720規定進行密度或接近度計算，以用於確定出現在所顯示內容中的可選顯示對象之中或之間的間距。可使用任何一種或一種以上技術來進行密度/接近度計算，例如(i)對所顯示內容的給定區中的可選顯示項目的數目進行計數，以確定此類項目在所述區中的密度，和/或(ii)計算如顯示於計算裝置的顯示屏上的可選顯示項目之間的接近度或空間距離。在一個實施方案中，選擇器Iio可分析DOM信息或其它內容顯示信息720，以便作出確定。可針對變焦和文本大小來調整所述確定。在步驟725中，作出是否觸發關於得出連結在顯示器上散布過密的結論的預定閾值的確定。所述閾值可對應於(例如)(i)所顯示區的至少一部分中的可選顯示項目之間的最小間距，和/或(ii)所顯示內容的給定區中的可選顯示項目的數目。在一個實施例中， 確定可為設計參數，且受顯示屏大小以及用戶使用觸摸來區分和選擇鄰近連結或數據項目的能力影響。作為變體，還可使用試探法來設置關於連結或其它可選數據項目何時間隔過密的閾值。舉例來說，所述裝置可跟蹤用戶選擇連結接著立即命中返回以返回到前一頁時的情況。此類事件可被認為是無意中選擇了錯誤的連結。可監視此連結選擇的情形(例如網頁上的變焦因子)，且可將其再次出現用作閾值的一部分。可響應於以下事件來執行步驟710到725中的任一者例如(i)正產生內容以供顯示(例如正再現網頁以供顯示)，(ii)用戶選擇導航、滾動或以其它方式選擇顯示器上的內容的顯示區(例如與先前實施例一起描述，響應於非離散輸入動作)。因此，例如，用戶可再現網頁，輸入手勢或其它非離散定向輸入動作以滾動到網頁的不同部分，且接著在運行中或響應於動作而執行步驟720/725中所描述的分析。如果確定是滿足密度確定的閾值，那麼步驟730規定被視為所確定密度的一部分的可選數據項目中的至少一些以使所述項目分離的方式重新顯示。通過使數據項目分離， 用戶更容易地能夠通過在重新顯示的連結或數據項目的位置處接觸裝置的顯示屏來選擇個別連結。否則，如果連結的間距或散布不是太密集，那麼步驟740規定不對所顯示的內容以及如何顯示可選顯示項目進行任何更改。圖8A和圖8B表示用戶接口面板，其為圖7中所描繪的實施例的實施方案。在圖 8A中，面板部分810顯示於(例如)具有相對緊湊或較小形狀因子的顯示屏的移動計算裝置上。所顯示的面板部分810可呈(例如)具有呈連結或活動圖標形式的可選顯示項目 812的再現網頁的形式。如在其它實施例中提及，可用其它形式的內容(例如圖像、地圖、文檔等的表示)來實施實施例。在例如圖8A所示的實施例中，針對存在和位置而識別可選連結812或其它數據項目的群集。如圖所示，連結是緊密排列的，以致被認為緊密度超過閾值 (例如圖7所述)。當緊密呈現時，所述連結可能不容易區分以通過觸摸或基於內容的輸入來選擇。作為特定實例，小形狀因子裝置有時使用對觸摸或接觸敏感的顯示器作為用於使用戶能夠錄入輸入的機構，特別是在作出可選數據項目(例如網頁上所顯示的連結)的選擇的情況下。當連結在此些裝置上過密地呈現時，人的手指可能不能夠容易地在連結之間進行區分。密度閾值可為預定的，以與連結被視為過密呈現時一致。
圖8B說明可選連結群集以放大形式822重新顯示，使得個別連結在呈現時是分開的。在重新顯示形式中，用戶更能夠通過在對應於重新顯示的連結的位置處觸摸顯示屏來選擇群集中的個別連結。根據一實施例，可響應於指定顯示器的某一區以用於分析連結或其它可選顯示項目的某一用戶動作來執行例如所描述的方法。舉例來說，如圖1和圖2以及其它地方的實施例所描述，可響應於識別⑴特定數據項目或緊密群集的數據項目集合，或(ii)顯示器上含有經群集數據項目的內容區的非離散定向輸入動作來執行例如所描述的密度或接近度分析。關於圖7、圖8A和圖8B的實施例，將可選顯示項目的接近度視為過近或過密的閾值可部分地基於所選的變焦因子。舉例來說，在給定網頁上，如果用戶已選擇過小的變焦因子，那麼可將所有連結視為密集呈現。因此，可在所述變焦因子下重新顯示網頁的含有連結的任何部分。相反，較大變焦因子可不要求實施將頁的一部分中的連結重新顯示為放大或分離的實施例。硬體9說明經配置以實施本文所述的一個或一個以上實施例的計算裝置的硬體圖。 計算裝置900可經配置以實施(例如)圖1所述的系統，或例如圖2和圖7所述的計算機實施的方法。根據一個或一個以上實施例，計算裝置900對應於具有越過話音或數據信道的話音電話和消息接發能力的移動和/或多功能裝置。此些計算裝置的實例為蜂窩式電話 /消息接發裝置。此些裝置常配備有輔助功能性，例如圖像/視頻捕捉、媒體重放和全球定位系統(例如用於導航)。通常，此些裝置使用支持(例如)GSM、CDMA、Edge、3G網絡的蜂窩式發射協議和網絡來實現呈蜂窩式發射中的一者的形式的無線通信。更進一步，此些裝置常具有使用其它形式的無線通信媒體進行通信的能力，例如經由(i)無線保真度(即， "WiFi 」 或 802. 11(b)、(g)或 802. 11 (n)), (ii)全球微波互聯接入(WiMAX), (iii)或例如無線USB或藍牙等本地無線通信來提供。併入此些話音電話裝置中的典型功能性包含消息接發，例如文本(例如由短消息服務(SMS)或即時消息接發提供)、媒體消息接發(例如多媒體消息接發服務(MMS))或電子郵件應用程式和服務。其它形式的無線或有線通信是可能的。舉例來說，在一個實施例中，可在計算裝置與另一裝置之間實現專有感應數據交換。作為另一實例，裝置可配備有聲學電路，以使其能夠與另一電路或元件通信。在移動計算裝置背景中，電話服務可由蜂窩式載波和網絡或網際網路協議話音(VoIP)連接(例如，其可通過WiFi或其它網絡連接性實現) 提供。本文所述的實施例也可在其它類型的計算裝置上實施。實例包含桌上型或個人計算機，或具有網絡功能的平板電腦或計算機。其它形式的計算裝置包含定向為媒體播放器、 全球定位裝置或汽車計算機系統的裝置。計算裝置的形狀因子可改變。典型實例包含桌上型計算機、膝上型或摺疊計算機、 超移動計算機、平板計算機、可攜式或手持式裝置、手指大小的計算裝置或集成環境(家庭、汽車)下的計算裝置。作為單個計算裝置的替代，所描述的系統本身可實施和分布在裝置集合上，其中的至少一些裝置包含處理能力。因此，在一實施例中，裝置900包含處理資源(包含至少一處理器910)，以及存儲器資源915、顯示組合件920、一個或一個以上無線通信子系統930，以及機械輸入特徵940。 計算裝置900包含各種輸入機構，包含(例如)按鈕或開關908。所述輸入機構中的一者可包含用於檢測非離散定向輸入動作(例如手勢)的接口組件905。在一實施例中，接口組件使用或對應於一個或一個以上傳感器922，其檢測用戶對計算裝置表面的觸摸，以形成手勢或其它觸摸輸入。在一個實施方案中，接口組件905的至少一部分(例如傳感器922)與顯示組合件920集成或耦合，以便形成觸敏顯示組合件。手勢可對應於用戶在計算裝置的顯示表面上形成形狀或線條。作為變體，一個或一個以上傳感器922可集成到計算裝置的另一表面中，例如在集成到計算裝置中的前面板或觸摸板上。因此，人機接口組件104(見圖 1)可集成或嵌入到計算裝置的其它組件中，例如計算裝置的顯示器或外表面。在一實施例中，無線通信子系統930中的至少一者經由數據信道902和話音信道 904發送和接收蜂窩式數據。經由SMS和匪S輸送的消息經由話音信道904而傳送。電子郵件和即時消息經由數據信道902而傳送。通常，電子郵件和即時消息接發可由蜂窩式媒體或替代媒體(例如，WiFi、WiMAX、有線線路)而傳送，但無需為此情況。為適應一個以上輸送媒體，裝置900可包含一個以上無線子系統。處理器910配置有軟體和/或其它邏輯，以執行例如圖2或圖7所述的實施例所描述的一個或一個以上進程、步驟和其它功能。另外，處理器910可產生由各種所描述面板 (例如由圖4A、圖4B、圖5、圖6以及圖8A和圖8B提供)表示的面板和功能性。因此，處理器910可配置有存儲在存儲器資源915中的指令和數據，以實施例如圖2和圖7所述的系統100(如圖1所述)或計算機實施的方法。在一個實施方案中，接口組件905接收非離散輸入動作911，其由接口組件或處理器910的邏輯向量化。根據確定，選擇器110(在處理器 910上執行)選擇顯示對象921或區，其接著在顯示器920上再現。雖然針對移動計算裝置而說明圖9，但可在其它類型的裝置上實施一個或一個以上實施例，包含多功能裝置(例如具有相機或GPS功能的裝置，其使得能夠在不同輸送器上進行消息接發)或全功能計算機，例如膝上型計算機。儘管本文已參考附圖詳細描述了本發明的說明性實施例，但將理解，本發明不限於那些精確實施例。由此，所屬領域的技術人員將明白許多修改和變化。因此，希望本發明的範圍由所附權利要求書及其等效物界定。此外，預期個別地或作為實施例的一部分而描述的特定特徵可與其它個別描述的特徵或其它實施例的部分組合，即使其它特徵和實施例未提到所述特定特徵也是如此。因此，即使不存在描述的組合，也不應妨礙發明人主張對此些組合的權利。
權利要求
1.一種計算裝置，其包括顯示表面；人機接口特徵，其使得所述計算裝置的用戶能夠錄入非離散定向輸入動作；處理資源，其執行以在所述顯示表面上提供內容；檢測所述用戶執行所述輸入動作；根據所述輸入動作來確定向量；且基於(i)所述向量和(ii)所述顯示表面的區的相對於所述內容的周圍部分勾畫出所述區的一個或一個以上特性而選擇所述區。
2.根據權利要求1所述的計算裝置，其中所述處理資源執行以重新顯示所述顯示表面的所述選定區。
3.根據權利要求1所述的計算裝置，其中所述處理資源執行以通過在所述顯示表面上顯示多個顯示對象來提供所述內容；通過使用所述向量選擇由所述向量的至少一方向指示的所述多個顯示對象中的一者來選擇所述顯示表面的區。
4.根據權利要求3所述的計算裝置，其中所述處理資源執行以在確定所述選定顯示對象由所述向量指示後即刻抓取所述多個顯示對象中的所述選定一者。
5.根據權利要求3所述的計算裝置，其中所述處理資源執行以更改所述選定顯示對象以增強其在所述顯示表面上的檢視。
6.根據權利要求1所述的計算裝置，其中所述人機接口特徵包含一個或一個以上傳感器，其經定位以將在所述計算裝置的表面上作出的手勢檢測為所述輸入動作。
7.根據權利要求5所述的計算裝置，其中所述人機接口特徵與所述顯示表面組合成為觸敏顯示組合件的一部分。
8.根據權利要求5所述的計算裝置，其中所述人機接口特徵包含滾輪球。
9.根據權利要求5所述的計算裝置，其中所述處理資源執行以通過在所述顯示表面上放大選定對象的至少一部分來更改所述選定對象。
10.根據權利要求1所述的計算裝置，其中所述處理資源執行以檢測用以確定所述向量的所述輸入動作的速度，且其中所述處理資源部分地使用從所述輸入動作檢測到的所述速度來選擇所述對象。
11.根據權利要求1所述的計算裝置，其中所述人機接口特徵經配置以檢測對應於(i) 眼睛移動，(ii)話音輸入或(iii)手指、手或身體移動中的一者的所述輸入動作。
12.根據權利要求1所述的計算裝置，其中所述處理資源經配置以在顯示網絡內容時執行網絡瀏覽器，所述網絡內容對應於提供於所述顯示表面上的所述內容。
13.根據權利要求12所述的計算裝置，其中所述處理資源通過使用作為所述網絡內容的一部分而提供的文檔對象模型信息識別所述多個顯示對象中的至少所述選定一者的邊界來選擇再現為所述網絡內容的一部分的所述多個顯示對象中的一者。
14.根據權利要求13所述的計算裝置，其中所述人機接口特徵包含一個或一個以上傳感器，其經定位以將在所述顯示表面上作出的手勢檢測為所述輸入動作，所述處理資源(i) 根據所述手勢來確定所述向量，且(ii)基於且響應於檢測到所述手勢而選擇所述顯示對象中的所述一者。
15.根據權利要求3所述的計算裝置，其進一步包括反饋機構，所述反饋機構響應於所述處理器執行抓取所述選定顯示對象中的一者而提供觸覺或可聽反饋。
16.一種計算裝置，其包括顯示區；處理資源，其經配置以在顯示表面上呈現內容，包含在所述顯示表面的子區上的多個可選數據項目；分析顯示器上的內容的包含所述多個可選數據項目的至少一部分，以確定所述多個數據項目中的至少一些之間的間距；響應於確定所述可選數據項目之間的所述間距小於預定閾值，重新顯示所述內容的至少一部分，以增強用戶選擇所要數據項目且不會無意中選擇非所要數據項目的能力。
17.根據權利要求16所述的計算裝置，其中所述處理資源經配置以在確定個別數據項目之間的所述間距時確定所述多個可選數據項目的密度。
18.根據權利要求16所述的計算裝置，其中所述處理資源經配置以在確定個別數據項目之間的所述間距時針對個別可選數據項目確定最近可選數據項目的接近度。
19.根據權利要求16所述的計算裝置，其中所述可選數據項目對應於個別連結。
20.根據權利要求16所述的計算裝置，其中所述處理資源使用由在所述計算裝置上運行的瀏覽器提供的文檔對象模型信息來作出所述確定。
全文摘要
本發明提供一種計算裝置，其包含顯示表面、人機接口特徵和處理資源。所述人機接口特徵使得所述計算裝置的用戶能夠錄入非離散定向輸入動作。所述處理資源執行以(i)在所述顯示表面上提供內容；(ii)檢測所述用戶執行所述輸入動作；(ii)根據所述輸入動作來確定向量；以及(iv)基於所述向量來選擇所述顯示表面的區。
文檔編號G06F3/03GK102272697SQ200980153507
公開日2011年12月7日 申請日期2009年12月18日 優先權日2008年12月31日
發明者丹尼爾·希普拉科夫, 倫基·拉朱, 格雷戈裡·西蒙, 馬蒂亞斯·杜阿爾特 申請人:惠普開發有限公司