信息處理裝置和方法

2023-09-17 22:48:20 2

專利名稱：信息處理裝置和方法
技術領域：
本發明涉及信息處理裝置、信息處理方法和信息處理程序，特別是，涉及為多個應用程式提供公共輸入和輸出接口的信息處理裝置、方法和程序。
背景技術：
用於將計算機顯示屏上顯示的文本作為語音輸出的屏幕閱讀器已為人們所熟知。有視覺障礙的用戶通過屏幕閱讀器和鍵盤使用應用程式。
用於提高計算機訪問可用性的技術已知例如為在專利文獻1至3中非專利文獻1和2中描述的技術。專利文獻1描述了用於根據包含用戶信息的簡檔信息生成用戶接口的信息處理裝置。專利文獻2描述了如果所選信息比較複雜則用於從所選信息連結到信息子集的方法。專利文獻3描述用於響應作為觸發器的屏幕變化來確定屏幕中的感興趣部件，並基於感興趣部件生成新的、轉換的屏幕。
非專利文獻1描述了在通過屏幕閱讀器發聲閱讀現有應用程式中的文本時使用自適應接口的優點。非專利文獻2提出了通過將頁變換成樹結構的接口訪問Web頁。
日本公開未審專利申請No.2005-92504[專利文獻2]日本公開未審專利申請No.2002-229843[專利文獻3]日本公開未審專利申請No.10-83269[非專利文獻1]Paul Blenknorn，CarethEvans，「Augmenting theuser interface of microsoft outlook and internet explorer forscreenreader」，International Technology and Persons with DisabilitiesConference 2002[非專利文獻2]Esmond Walshe，Barry McMullin，「AccessingWeb Based Documents Through a Tree Structural Interface」，International Conference on Computers Helping People with SpecialNeeds 2004發明內容[本發明要解決的問題]傳統應用程式在顯示屏上顯示出主要由文本組成的信息。因此傳統屏幕閱讀器能夠將應用程式在顯示屏上新顯示的文本作為語音依次輸出，以便將顯示屏上顯示的信息以可理解的方式提供給有視覺障礙的用戶。然而，如今的應用程式使用高級圖形功能提供複雜顯示。從而，通過傳統屏幕閱讀器向有視覺障礙的用戶清楚明白地提供在顯示屏上顯示的信息變得困難。
不同的應用程式使用不同的特定用戶接口，因此使用不同的鍵盤操作。如果用戶使用許多應用程式，對用戶而言，熟悉這些操作成為負擔。為了確保語音輸出的準確性和可操作性，對每個單獨的應用程式設計屏幕閱讀器。隨著應用程式功能變得複雜，增大了與應用程式修改相關的屏幕閱讀器修改的工作量。
非專利文獻1沒有提及為不同應用提供相同自適應接口。非專利文獻1也沒有提及通過自適應接口和應用彼此同步地進行編輯。非專利文獻2僅涉及Web頁，因此沒有提及提供對不同應用公共的接口。非專利文獻2未提及編輯文檔。

發明內容
因此，本發明的目的在於提供能夠解決這些問題的信息處理裝置、方法和程序。通過本發明的獨立權利要求中給出的特徵的組合，可實現該目的。從屬權利要求限定了本發明的其他有益的具體實施例。
根據本發明的第一方面，提供了一種為多個應用程式提供公共輸入/輸出接口的信息處理裝置，信息處理方法和程序，信息處理裝置包括文檔轉換部件，用於將該多個應用程式的每個所生成的並以特定於該應用程式的數據結構表示的專用文檔轉換成以公共數據結構表示的公共文檔；輸出部件，用於向用戶提供公共文檔；輸入部件，用於輸入由用戶對公共文檔執行的操作；接口適配器部件，用於將公共文檔中包含的對象轉換成輸出部件中使用的對象；修改部件，用於根據用戶的操作修改公共文檔；和修改反映部件，用於在專用文檔中反映出對於公共文檔的修改。
以上給出的關於本發明的概括性描述並不意在列舉出本發明的所有主要特徵。這些特徵的子組合也構成本發明。
根據本發明，可提供這樣的用戶接口，其使得能夠以公共方式操作多個應用程式，以便提高有視覺障礙的用戶對應用程式的可訪問性。


圖1表示根據本發明實施例的信息處理裝置10的功能框圖；圖2(A)顯示出演示(presentation)程序生成的專用文檔100的示例；圖2(B)顯示出作為對圖2(A)中專用文檔100的轉換的結果而生成的採用公共數據結構的公共文檔200的示例；圖3(A)顯示出在專用文檔100中包含的文本對象的示例性描述；圖3(B)顯示出在公共文檔200中包含的文本對象的示例性描述；圖3(C)顯示出在文檔轉換規則存儲部件24中存儲的根據本實施例的示例性對象轉換模式；圖4顯示出用於轉換公共文檔200的數據結構的流程圖；圖5顯示出用於檢測表格對象的操作示例(圖4的步驟S21)；圖6顯示出用於重組的操作示例(圖4的步驟S22)；圖7顯示出用於對文本形成提綱(outlining)的操作示例(圖4的步驟S23)；圖8顯示出用於排除非文本圖形的操作示例(圖4的步驟S24)；圖9顯示出用於顯示可取代非文本對象的取代文本的操作示例(圖4的步驟S25)；
圖10顯示出用於提取標籤的操作示例(圖4的步驟S26)；圖11顯示出用於提取標題的操作示例(圖4的步驟S27)；圖12顯示出用於提取列表結構的操作示例(圖4的步驟S28)；圖13顯示出用於檢測電子表格區域的操作示例(圖4所示步驟S29)；圖14顯示出用於將對象進行分類的操作示例(圖4的S30)；圖15顯示出根據本發明實施例的輸入/輸出部件28和接口適配器部件30以及修改反映部件32的示例性配置；圖16顯示出由輸入/輸出部件28和接口適配器部件30執行的處理的示例性流程圖；圖17顯示出應用程式生成的專用文檔100的示例性顯示；圖18顯示出由輸入/輸出接口單元20提供的與如圖17所顯示的專用文檔100相對應的公共文檔200的示例性顯示；圖19顯示出一次使用單個輸入/輸出接口單元20對多個應用程式生成的專用文檔100進行編輯的示例；以及圖20顯示出根據本發明實施例的計算機1900的示例性硬體配置。
10信息處理裝置12應用程式執行單元14輔助程序執行單元16API20輸入/輸出接口單元22文檔轉換部件24文檔轉換規則存儲部件26結構轉換部件28輸入/輸出部件30接口適配器部件32修改反映部件34接口轉換規則存儲部件
100專用文檔102頁對象104圖形對象106，108文本對象200公共文檔282樹顯示子部件284文本編輯器子部件286表格顯示子部件302樹視圖接口適配器304文本編輯器接口適配器306表格視圖接口適配器402專用窗口404公共窗口1900計算機2000CPU2010ROM2020RAM2030通信接口2040硬碟驅動器2050軟盤驅動器2060CD-ROM驅動器2070輸入/輸出晶片2075圖形控制器2080顯示設備2082主控制器2084輸入/輸出控制器2090軟盤2095CD-ROM
具體實施例方式
儘管下面將根據本發明的實施例對本發明進行描述，但這些實施例並不意在限制權利要求所聲明的本發明範圍。並非實施例中描述的特徵的所有組合都是本發明技術方案所必需的。
圖1表示根據本發明實施例的信息處理裝置10的功能框圖。信息處理裝置10包括一個或多個應用程式執行單元12、輔助程序執行單元14和輸入/輸出接口單元20。應用程式執行單元12執行應用程式，以使得信息處理裝置10實現應用程式的功能。例如，每個應用程式執行單元12執行諸如字處理程序、電子表格程序和演示程序之類的應用程式，以使得信息處理裝置10充當字處理器、電子表格裝置和演示裝置。
每個應用程式執行單元12具有採用專用數據結構的專用文檔100，其包含由應用程式執行單元12所執行的應用程式生成的對象。每個應用程式執行單元12具有API(應用程式接口)16。API 16對於從執行另一程序的功能塊對專用文檔100的訪問起中介作用。通過API 16的幹預，執行不同程序的功能塊能夠讀出和修改在應用程式生成的專用文檔100中包含的對象。例如，通過由標準設定組織W3C開發的DOM(文檔對象模型)，應用程式能夠訪問由另一應用程式生成的XML(可擴展標記語言)文檔。
輔助程序執行單元14執行輔助程序，其用於幫助用戶訪問應用程式，以使信息處理裝置10為該應用程式實現輸入/輸出設備的功能。如果信息處理裝置10提供諸如揚聲器和耳機之類的音頻輸出接口，則輔助程序執行單元14可執行文本閱讀器程序，以使信息處理裝置10充當用於發聲讀出應用程式生成的文本的文本閱讀器。輔助程序執行單元14還可執行例如編輯應用程式，以使信息處理裝置10充當編輯設備，其用於從應用程式外部對專用文檔100進行編輯。
輸入/輸出接口單元20提供到多個應用程式的公共輸入/輸出接口。特別是，輸入/輸出接口單元20充當使用戶訪問多個應用程式的公共用戶接口。輸入/輸出接口單元20可為諸如字處理程序、電子表格程序和演示程序之類的程序提供公共操作環境。輸入/輸出接口單元20還充當在多個應用程式與它們所共享的公共輔助程序之間的輸入/輸出接口。例如，輸入/輸出接口單元20將諸如字處理程序、電子表格程序和演示程序之類的多個應用程式所共享的輔助設備(例如，文本閱讀器)與這些程序相連接。
輸入/輸出接口單元20包括文檔轉換部件22、文檔轉換規則存儲部件24、結構轉換部件26、輸入/輸出部件28、接口適配器部件30、修改反映部件32和接口轉換規則存儲部件34。文檔轉換部件22將多個應用程式的每個所生成的、使用特定於該應用程式的數據結構表示的專用文檔100轉換成採用公共數據結構表示的公共文檔200。也就是，文檔轉換部件22讀出具有特定於不同應用程式的不同數據結構的專用文檔100的每一個，並將讀出的專用文檔100轉換成預定的公共數據結構。例如，文檔轉換部件22將專用文檔100中包含的對象轉換到公共文檔200，公共文檔200具有將對象表示成樹結構的節點的數據結構。
文檔轉換部件22可通過API 16訪問應用程式生成的專用文檔，以獲得和修改在專用文檔100中包含的對象。如果應用程式對專用文檔100中包含的對象進行修改，則文檔轉換部件22可在相應公共文檔200中包含的相應對象中反映該修改。
文檔轉換規則存儲部件24存儲用於將專用文檔100中包含的對象轉換到採用公共數據結構的對象的轉換規則。如果在文檔轉換規則存儲部件24中存儲用於專用文檔100中包含的對象的轉換規則，則文檔轉換部件22可根據轉換規則將專用文檔100中包含的對象轉換到採用公共數據結構的對象。
結構轉換部件26按照有視覺障礙的用戶能夠容易地識別由文本閱讀器作為語音輸出的公共文檔200中的信息的方式，對公共文檔200的數據結構進行轉換。特別是，結構轉換部件26檢測這樣的情況，即對於從由公共文檔200中包含的多個對象中的每個對象的位置、大小、顏色和字體類型組成的組中選出的至少一個屬性，其中該對象將由相關應用程式利用所述屬性進行顯示，所選出的屬性是否滿足針對在預定表結構與預定列表數據結構之間選出的至少一個預定數據結構而預先確定的條件。如果滿足該條件，則結構轉換部件26將多個對象的每個指派給滿足條件的預定數據結構的節點，以便轉換公共文檔200的數據結構。
根據本發明，輸入/輸出部件28具有輸出部件和輸入部件的功能，將公共文檔200中包含的對象呈現給用戶，並輸入針對公共文檔200中包含的對象的用戶操作。例如，輸入/輸出部件28在顯示設備上顯示公共文檔200，並輸入通過輸入設備執行的用戶操作。輸入/輸出部件28為公共文檔200生成用戶接口。輸入/輸出部件28也在顯示設備上以分層樹結構顯示出在公共文檔200中包含的對象。
輸入/輸出部件28也可將公共文檔200中包含的對象輸出到輔助程序執行單元14，並可從輔助程序執行單元14輸入對公共文檔200中包含的對象的修改。也就是，輸入/輸出部件28生成針對輔助程序執行單元14的公共文檔200的輸入/輸出接口。例如，如果信息處理裝置10對多個應用程式提供公共音頻輸入接口，輸入/輸出部件28可將公共文檔200中包含的文本輸出到具有發聲讀出文本的功能的文本閱讀器，以使公共文檔200閱讀器發聲讀出文本。
接口適配器部件30將公共文檔200中包含的對象轉換到在輸入/輸出部件28中使用的對象。接口適配器部件30也充當根據本發明的修改部件的例子，並且根據通過輸入/輸出部件28輸入的用戶操作修改公共文檔200。接口適配器部件30可通過輔助程序執行單元14根據輸入/輸出部件28輸入的用戶操作修改公共文檔200。接口適配器部件30從公共文檔200中提取應在顯示設備上顯示出的對象，並使輸入/輸出部件28將它們進行顯示。接口適配器部件30從公共文檔200中提取出應輸出到輔助程序執行單元14的對象，並使輸入/輸出部件28將它們輸出。
接口轉換規則存儲部件34存儲用於將採用公共數據結構的公共文檔200中包含的對象轉換到採用在輸入/輸出部件28中使用的數據結構的對象的轉換規則。如果在接口轉換規則存儲部件34中存儲針對在輸入/輸出部件28中使用的對象的轉換規則，則接口適配器部件30可根據轉換規則，將在採用公共數據結構的公共文檔200中包含的對象轉換成採用在輸入/輸出部件28中使用的數據結構的對象。
修改反映部件32在專用文檔100中反映出對公共文檔200中包含的對象的修改。也就是，如果通過輸入/輸出部件28將公共文檔200中包含的對象進行修改，則修改反映部件32可通過API 16訪問應用程式生成的專用文檔100，以便修改專用文檔100中的相應對象。
由於上述輸入/輸出接口單元20將應用程式生成的專用文檔100的格式轉換到採用公共數據結構的公共文檔200，輸入/輸出接口單元20能夠向多個應用程式提供公共用戶接口。從而，輸入/輸出接口單元20能夠為不同的應用程式提供公共操作環境，從而能夠緩解有視覺障礙的用戶操作應用程式的困難。
輸入/輸出接口單元20在公共文檔200和專用文檔100中反映出用戶對對象的修改。從而，能夠將應用程式的顯示與輸入/輸出接口單元20的顯示同步。因此，輸入/輸出接口單元20能夠提供例如有視覺障礙的用戶藉助無視覺障礙的人的幫助對應用程式進行操作的環境。此外，輸入/輸出接口單元20能夠在提供給無視覺障礙的人的顯示與提供給有視覺障礙的人的顯示之間無縫地進行切換。
圖2(A)顯示出演示程序生成的專用文檔100的示例；圖2(B)顯示出從圖2(A)中專用文檔100轉換而來的採用公共數據結構的公共文檔200的示例。演示程序生成可視化表示出對象之間層次關係的專用文檔100。例如，演示程序生成包括有頁對象102的專用文檔100，在頁對象102上，如圖2(A)所示提供圖形對象104和文本對象106，108。演示程序也生成其中根據顯示位置、字體類型和大小分層排列文本對象106，108的專用文檔100。
文檔轉換部件22將專用文檔100中包含的對象102至108轉換為將對象表示成如圖2(B)所示樹結構的節點的公共文檔200。例如，文檔轉換部件22將專用文檔100轉換成其中將每個頁對象102設置在頂層並且將該頁對象102上顯示的文本對象106，108設置在更低層節點的公共文檔200。
以此方式，輸入/輸出接口單元20能夠將可視化表示的文檔轉換成文本形式的文檔。從而，輸入/輸出接口單元20能夠生成當通過文本閱讀器讀出語音時有視覺障礙的用戶可以很容易理解的文檔。此外，由於輸入/輸出接口單元20將對象排列成樹結構，當通過文本閱讀器將對象作為語音輸出時，有視覺障礙的用戶能夠很容易地理解對象之間的層次關係。
圖3(A)顯示出在專用文檔100中包含的文本對象的示例性描述；圖3(B)顯示出在公共文檔200中包含的文本對象的示例性描述；以及圖3(C)顯示出在文檔轉換規則存儲部件24中存儲的根據本實施例用於轉換文本對象的字體顏色的示例性轉換模式。
文檔轉換規則存儲部件24可為每個應用程式存儲轉換模式，該轉換模式表示出用於將獲得的按照API 16中指定的描述格式描述的對象轉換成採用公共數據結構的描述格式。當從專用文檔100獲得採用專用描述格式的對象時，文檔轉換部件22可引用文檔轉換規則存儲部件24中存儲的轉換模式，以將獲得的對象轉換成採用公共數據結構的描述格式。
轉換模式具有這樣的結構，其中，彼此相關聯地描述對於每個對象而言惟一的ID、關於在專用文檔100中的對象的描述定義和關於公共文檔200中的對象的描述定義。例如，在圖3(C)所示的轉換模式中描述了標識用於指定字體顏色的對象的ID。此外，在轉換模式中也描述了可從在元素text下面的元素style中描述的屬性「fontColor」獲得專用文檔100(圖3(A))中的字體顏色。在轉換模式中也描述了可從在元素text下面的屬性fontColor獲得公共文檔200(圖3(B))中的字體顏色。
通過輸入/輸出接口單元20，為新應用程式提供輸入/輸出接口只需要為新應用程式創建轉換模式，而無需對應用進行任何修改。從而，輸入/輸出接口單元20能夠減輕支持文本閱讀器的開發工作量。
圖4顯示出由結構轉換部件26執行的用於轉換公共文檔200的數據結構的流程圖示例。結構轉換部件26從公共文檔200提取出頁(在演示程序中的幻燈片單元或字處理器中的頁單元)中包含的對象，並逐頁執行步驟S21至S30(步驟S20，S31)。結構轉換部件26對於每個頁執行表對象檢測(步驟S21)、重組(步驟S22)、對文本形成提綱(outlining)(步驟S23)、非文本圖形排除(步驟S24)、顯示出可取代無文本對象的取代文本(步驟S25)、標籤提取(步驟S26)、標題提取(步驟S27)、列表結構提取(步驟S28)、電子表格區域檢測(步驟S29)和對象分類(步驟S30)。對最後頁進行處理後，結構轉換處理將結束(步驟S31)。
參看圖5至14，下面將描述這些操作。圖5至14中的符號(A)表示從結構轉換前應用上的顯示圖像到結構轉換後樹結構的顯示圖像的改變，符號(B)表示從結構轉換前的樹結構到結構轉換後的樹結構的改變。
圖5顯示出用於檢測表對象的操作示例(圖4的步驟S21)。如果在矩形表中排列有多個文本對象，則結構轉換部件26檢測出頁中每個文本對象的位置，以便檢測出文本對象在矩形排列中行和列。然後，結構轉換部件26將表示所檢測的表的虛擬表對象和表示所檢測的表的行(或列)的虛擬行(或列)添加到公共文檔200。結構轉換部件26將每個文本對象定位在相應虛擬行(或列)對象之下的層次。從而，結構轉換部件26能夠呈現按照有視覺障礙的用戶可理解的表形式排列的文本對象。
圖6顯示出將對象重組的操作示例(圖4的步驟S22)。如果多個圖形對象發生重疊，則結構轉換部件26檢測重疊圖形對象的組，並且也檢測在每個組中的圖形對象間的層次關係。然後，結構轉換部件26為每個檢測的組生成樹結構，並根據每個組中的對象間檢測出的層次關係形成每個組中的樹結構的各分層。結構轉換部件26可根據例如圖形對象之間重疊面積比確定組中的層次關係。從而，結構轉換部件26能夠以有視覺障礙的用戶可理解的方式提供圖形對象組以及在該組的對象之間的層次關係。
圖7顯示用於對文本形成提綱的操作示例(圖4的步驟S23)。如果提供多個文本對象，包括設置了縮進(indentation)的文本對象，則結構轉換部件26將不縮進的文本對象設置在樹結構中的上層處，以及將縮進文本對象設置在下層處。從而，結構轉換部件26可使得文本對象之間的縮進位置為視覺障礙用戶所理解。
圖8顯示出用於排除非文本圖形的操作示例(圖4的步驟S24)。如果包含文本信息的圖形對象與不包含文本信息的圖形對象混合在一起，則結構轉換部件26將不包含文本信息的圖形對象從樹結構中排除。以此方式，結構轉換部件26排除不相關的信息，以便使文本對象可容易地被視覺障礙用戶理解。
圖9顯示出用於顯示可取代非文本對象的取代文本的操作示例(圖4的步驟S25)。如果提供添加有取代文本的對象，則結構轉換部件26放置取代文本，以取代或補充那些對象。如果未添加取代文本，則結構轉換部件26可放置通過字符識別生成的文本對象。從而，通過取代文本，結構轉換部件26能夠使得對象內容可被難以識別對象形狀和位置的視覺障礙用戶識別。
圖10顯示出用於提取標籤的操作示例(圖4的步驟S26)。如果文檔包含與其他對象相比突出顯示的文本對象(例如，更大字號或加粗顯示的對象)，則結構轉換部件26確定突出顯示的文本對象為「標籤」，並將它們設置在樹結構中的上層。從而，結構轉換部件26生成反映出在文本中包含的標籤信息的樹結構，從而使文本更易於為視覺障礙用戶所理解。
圖11顯示出用於提取標題(heading)的操作示例(圖4的步驟S27)。如果平行排列的文本對象包括與其他對象字體不同的文本對象，則結構轉換部件26確定具有不同字體的文本對象為標題，並將其定位在樹結構中與其他文本對象相比更高層的位置處。從而，結構轉換部件26能夠生成準確表示文本的結構的樹結構，從而使視覺障礙用戶更容易理解文本。
圖12顯示出用於提取列表結構的操作示例(圖4的步驟S28)。如果文本數據通過特殊符號或縮進符隔開，則結構轉換部件26在各特殊符號或縮進符處將文本數據分成不同文本對象。結構轉換部件26根據特殊符號或縮進符的位置對分隔開的文本對象分層。從而，結構轉換部件26能夠生成準確表示文本結構的樹結構，從而使文本更容易為視覺障礙用戶所理解。
圖13顯示出用於檢測電子表格區域的操作示例(圖4所示步驟S29)。如果電子表格對象(電子表格應用等生成的對象)包含空白，則結構轉換部件26切出最小矩形區域，其覆蓋一個表中含有數據的所有單元，並將切割出的矩形區域中包含的表格轉換成樹結構。從而，結構轉換部件26能夠排除不相關的信息，從而使電子表格對象更易於為視覺障礙用戶所理解。
圖14顯示出用於將對象進行分類的操作示例(圖4的S30)。如果為按照二維矩形形式排列的圖形對象預置的制表順序(tab order)不同於沿X坐標或Y坐標方向排列的圖形對象的順序，則結構轉換部件26將預置制表順序改變成在矩形布置中沿X坐標或Y坐標排列對象的順序。從而，當將對象作為語音按照制表順序輸出時，結構轉換部件26能夠使視覺障礙用戶正確識別出多個圖形對象之間的關係。
圖15顯示出根據本實施例的輸入/輸出部件28和接口適配器部件30以及修改反映部件32的示例性配置。接口適配器部件30從公共文檔200中提取出適於由輸入/輸出部件28提供給用戶的用戶接口的對象，並將它們提供給輸入/輸出部件28。也就是，接口適配器部件30將公共文檔200變換成適於用戶接口的格式，並將其提供給輸入/輸出部件28。當輸入/輸出部件28接收對對象執行的用戶操作時，接口適配器部件30提交響應該操作的行動(action)，並且根據該操作修改包含在公共文檔200中的其相應對象。
接口適配器部件30可具有與通過輸入/輸出部件28向用戶提供的多個用戶接口相關聯的適配器。例如，如果輸入/輸出部件28具有樹顯示子部件282、文本編輯器子部件284和表格顯示子部件286，則接口適配器部件30可包括與它們相關聯的樹視圖接口適配器302、文本編輯器接口適配器304和表格視圖接口適配器306。在該情形中，樹視圖接口適配器302從公共文檔200提取出樹視圖中使用的對象，並將它們提供給以樹形式顯示對象的樹顯示子部件282。文本編輯器適配器304從公共文檔200提取出用於編輯文本的對象，並將它們提供給提供文本編輯器的文本編輯器子部件284。表格視圖接口適配器306從公共文檔200提取出用於顯示表格的對象，並將它們提供給以表格形式顯示對象的表格顯示子部件286。
輸入/輸出部件28能夠將任何應用程式生成的對象提供給用戶，並對對象進行修改，而與特定於應用程式的處理無關，這是由於從接口適配器部件30向輸入/輸出部件28隻提供用於生成用戶接口的對象。
如果在輸入/輸出部件28中包含的每個子部件(例如，樹顯示子部件282、文本編輯器子部件284和表格顯示子部件286)具有API，則接口適配器部件30可通過API訪問子部件。在接口適配器部件30中包含的每個適配器可檢索存儲在接口轉換規則存儲部件34中的轉換模式。轉換模式表示出按照每個API中指定的格式描述的對象與按照公共數據結構描述的對象之間的轉換規則。轉換模式可具有這樣的結構，其中將例如對於每個對象惟一的ID、在公共文檔200中的對象的描述定義和在輸入/輸出部件28的每個子部件中的對象的描述定義關聯在一起。從而，接口適配器部件30能夠將採用公共數據結構的公共文檔200中包含的對象轉換成適於合適顯示格式的數據結構。
接口適配器部件30可將公共文檔200轉換成採用一種數據結構表示的編輯文檔，該數據結構特定於用於編輯公共文檔200的預指定編輯應用程式。在該情形中，輸入/輸出部件28將轉換的編輯文檔輸出到編輯應用程式，以使得用戶能夠使用編輯應用程式來修改編輯文檔，並將修改的編輯文檔作為公共文檔200的修改版本輸入。從而，接口適配器30使得能夠通過使用外部應用程式來編輯公共文檔200。以此方式，接口適配器部件30使得用戶能夠通過使用用戶經常使用的編輯器對多個應用程式的每個所生成的專用文檔100進行編輯。
圖16顯示出由輸入/輸出部件28和接口適配器部件30執行的處理的示例性流程圖。當要通過接口適配器部件30將公共文檔200提供給用戶時，在最初步驟(S111)，接口適配器部件30首先生成文檔菜單，且輸入/輸出部件28顯示出文檔菜單。然後，接口適配器部件30檢測用戶輸入的操作(S112)，識別操作輸入(S121至S125)，然後，根據操作輸入執行行動(S131至S134)。
例如，當選中文檔列表上的一個文檔時(對於S121的回答為「是」)，則接口適配器部件30從公共文檔200中提取出所選文檔中包含的對象，並將提取的對象提供給輸入/輸出部件28。輸入/輸出部件28以樹格式顯示出所提供的對象(S131)。輸入/輸出部件28可對不同應用程式顯示出不同的樹視圖。例如，當顯示演示程序的文檔時，輸入/輸出部件28可顯示出這樣的分層樹，其中，頁對象被定位在樹的上層節點，每個頁對象中包含的圖形對象被定位在頁對象之下。當顯示文本文檔時，輸入/輸出部件28可顯示出這樣的分層樹，其中，標題被定位在樹的上層節點，而其他文本對象被定位在標題之下。當顯示業務應用程式時，輸入/輸出部件28可顯示出對應於可用功能菜單的對象分層樹。
如果選中樹視圖中的一個對象(S122的回答為「是」)，則接口適配器部件30將選中的對象提供給輸入/輸出部件28。輸入/輸出部件28選擇和顯示適於該對象的顯示屏(S132)。在該情形中，輸入/輸出部件28可請求用戶選擇對象，並可顯示出適於所選對象的顯示屏。例如，如果選擇包含可編輯文本的對象，則輸入/輸出部件28可顯示文本編輯控制屏幕。如果選擇諸如圖形對象之類的不可編輯對象，則輸入/輸出部件28可顯示出只讀控制屏幕。此外，輸入/輸出部件28可向用戶詢問用於顯示要編輯的對象的預設值，以便完成屏幕顯示。例如，在文本的情形中，輸入/輸出部件28可向用戶詢問用於繪製要編輯的字符串的字體。對於圖形對象來說，輸入/輸出部件28可向用戶詢問關於圖形對象的描述。
如果已對對象進行了編輯(步驟S123的回答為「是」)，則接口適配器部件30根據通過輸入/輸出部件28輸入的用戶修改對公共文檔200中包含的相應對象進行修改(S133)。如果對正顯示的對象進行修改，則輸入/輸出部件28改變顯示。
如果執行了諸如按下按鈕之類的行動操作(步驟S124的回答為「是」)，則接口適配器部件30根據通過輸入/輸出部件28輸入的操作執行行動(S134)。例如，接口適配器部件30執行演示過程中的幻燈片放映，搜索文檔，等等。在該情形中，修改反映部件32可向應用程式執行單元12通知接口適配器部件30執行的行動，以使應用程式執行同樣的行動。從而，修改反映部件32能夠將輸入/輸出接口單元20中執行的行動操作反映在應用程式中，以便確保行動的同步。
當根據輸入完成處理後(S131至S134)，修改反映部件32確定接口適配器部件30是否修改了包含在公共文檔200中的對象(S135)。如果接口適配器部件30修改了對象(S135的回答為「是」)，則修改反映部件32訪問合適的應用程式執行單元12，以修改在專用文檔100中的相應對象(S136)。以此方式，即便修改了在公共文檔200中包含的對象，修改反映部件32也能在應用程式所生成的專用文檔100中反映修改。從而，修改反映部件32能夠確保在專用文檔100與公共文檔200之間的同步。
如果未修改任何對象(S135的回答為「否」)或完成在步驟S136處的修改後，修改反映部件32返回到步驟S112，並等待其他輸入。如果執行退出操作(步驟S125的回答為「是」)，則輸入/輸出部件28和接口適配器部件30將結束處理。
如所述的，輸入/輸出接口單元20能夠在應用程式中反映出由輸入/輸出部件28輸入的操作。從而，輸入/輸出接口單元20能夠使得通過輸入/輸出部件28提供給用戶的信息與通過應用程式執行單元12提供給用戶的信息同步。
修改反映部件32可在輸入/輸出單元部件28中提供的顯示中反映出用戶對應用程式執行的操作。例如，如果應用程式執行行動，則修改反映部件32可從應用程式執行單元12接收執行行動的通知。當修改反映部件32接收執行行動的通知時，接口適配器部件30執行同樣的行動。
響應於在應用程式中輸入的操作，修改反映部件32可在公共文檔200中反映出對專用文檔100中包含的對象進行的修改。例如，如果已對專用文檔100中包含的對象進行了修改，則可由應用程式執行單元12向修改反映部件32通知修改。當修改反映部件32接收關於修改的通知時，文檔轉換部件22獲得在專用文檔100中包含的被修改的對象，以便在公共文檔200中反映出修改。
從而，即便當對應用程式執行用於移動焦點的行動時，修改反映部件32也能夠實時反映在輸入/輸出部件28中的行動。此外，即使當在應用程式中修改文檔時，修改反映部件32也能在公共文檔200中反映出修改。從而，修改反映部件32能夠確保在專用文檔100與公共文檔200之間的同步。應該注意，即便當應用程式未通知修改反映部件32時，修改反映部件32也可響應用戶操作或按照定期間隔檢索專用文檔100，以保持專用文檔100與公共文檔200之間的同步。
圖17顯示出演示程序生成的專用文檔100的示例性顯示。圖18顯示出由輸入/輸出接口單元20顯示的與如圖17所示專用文檔100相對應的公共文檔200的示例性顯示。應用程式在顯示設備上顯示出專用窗口402，其中顯示出專用文檔100，如圖17所示。輸入/輸出接口單元20的輸入/輸出部件28在顯示設備上顯示出公共窗口404，其中顯示出公共文檔200，如圖18所示。
與專用窗口402相分立地提供公共窗口404，並將公共窗口404與專用窗口402一道顯示。當在公共窗口404中輸入對公共文檔200的修改操作時，輸入/輸出接口單元20在專用文檔100中反映出修改。從而，輸入/輸出接口單元20能夠修改專用窗口402中的顯示。如果輸入對多個應用程式的每個在顯示出專用文檔100的專用窗口402中顯示的專用文檔100的修改操作，則文檔轉換部件22在公共文檔200中反映出對專用文檔100進行的修改。例如，在該情形中，文檔轉換部件22可通過從應用程式接收修改操作的通知，或通過按照定期間隔檢索專用文檔100，在公共文檔200中反映出對專用文檔100的修改。通過輸入/輸出接口單元20，能夠確保在應用程式生成的專用文檔100與公共文檔200之間的同步。
圖19顯示出其中由單個輸入/輸出接口單元20同時處理多個應用程式生成的專用文檔100的示例。多個應用程式的每個可顯示出用於在顯示設備上顯示出專用文檔100的專用窗口402。在該情形中，輸入/輸出接口單元20的輸入/輸出部件28可在與多個專用窗口402分立的公共窗口404中顯示公共文檔200。輸入/輸出接口單元20可通過單個樹結構顯示多個應用程式的每個所顯示的專用文檔100。從而，輸入/輸出接口單元20能夠允許通過相同用戶接口對多個應用程式進行編輯。例如，輸入/輸出接口單元20可允許通過相同用戶接口對諸如演示應用程式和電子表格程序之類的不同應用進行編輯。此外，輸入/輸出接口單元20可允許用戶通過相同用戶接口對多個應用程式執行任務。
圖20顯示出根據本發明實施例的計算機1900的示例性硬體配置。根據本實施例的計算機1900包括CPU外圍部件，具有通過主控制器2082互連的CPU 2000、RAM 2020、圖形控制器2075和顯示設備2080；輸入/輸出部件，具有通過輸入/輸出控制器2084與主控制器2082相連的通信接口2030、硬碟驅動器2040和CD-ROM驅動器2060；傳統輸入/輸出部件，具有與輸入/輸出控制器2084相連的ROM 2010、軟盤驅動器2050和輸入/輸出晶片2070。
主控制器2082將RAM 2020與以高傳輸速率訪問RAM 2020的CPU 2000和圖形控制器2075相連。CPU 2000根據存儲在ROM 2010和RAM 2020中的程序操作，以便對計算機1900的部件進行控制。圖形控制器2075獲得由CPU 2000在設置於RAM 2020上的幀緩衝器上生成的圖像數據，並將圖像數據顯示在顯示設備2080上。或者，圖形控制器2075可包括用於存儲由CPU 2000或其他部件生成的圖像數據的幀緩衝器。
輸入/輸出控制器2084將主控制器2082與作為相對高速輸入/輸出設備的通信接口2030、硬碟驅動器2040和CD-ROM驅動器2060相連。通信接口2030通過網絡與另一裝置相連。硬碟驅動器2040存儲由在計算機1900中的CPU 2000所使用的程序和數據。CD-ROM驅動器2060從CD-ROM 2095讀取程序或數據，並將其通過RAM 2020提供給硬碟驅動器2040。
與輸入/輸出控制器2084相連的還有作為相對低速輸入/輸出設備的ROM 2010、軟盤驅動器2050和輸入/輸出晶片2070。ROM 2010存儲有在計算機1900啟動期間執行的引導程序和取決於計算機1900的硬體的程序。軟盤驅動器2050從軟盤2090讀出程序或數據，並將其通過RAM 2020提供給硬碟驅動器2040。輸入/輸出晶片2070通過例如並行埠、串行埠、鍵盤埠和滑鼠埠連接軟盤驅動器2050和各種輸入/輸出設備。
通過RAM 2020提供給硬碟驅動器2040的程序存儲在諸如軟盤2090、CD-ROM 2095，或IC卡之類的記錄介質中，並由用戶提供給硬碟驅動器2040。程序從記錄介質讀出，通過RAM 2020安裝在計算機1900中的硬碟驅動器2040中，並在CPU 2000中執行。
安裝在計算機1900中並使計算機1900起到輸入/輸出接口單元20的作用的程序包括文檔轉換模塊、轉換規則存儲模塊、結構轉換模塊、輸入/輸出模塊、用戶接口模塊、修改反映模塊和接口轉換規則存儲模塊。程序或模塊對CPU 2000和其他部件進行控制，以使計算機1900起到文檔轉換部件22、文檔轉換規則存儲部件24、結構轉換部件26、輸入/輸出部件28、接口適配器部件30、修改反映部件32和接口轉換規則存儲部件34的作用。
可將上述程序或模塊存儲在外部存儲介質中。存儲介質可為軟盤2090、CD-ROM 2095或其他光記錄介質，如DVD或CD，諸如MO之類的磁光碟、磁帶介質，或半導體存儲器，如IC卡。或者，可將與專用通信網絡或Internet相連的伺服器系統中設置的諸如硬碟或RAM之類的存儲設備用作為記錄介質，可將程序通過網絡設置到計算機1900。
儘管參照此處的實施例描述了本發明，不過，本發明的技術範圍並不限於上述實施例。本領域技術人員顯然知道可對這些實施例進行各種修改或改進。從權利要求可知，進行這樣修改和改進的實施例也被涵蓋於本發明的技術範圍中。
權利要求
1.一種為多個應用程式提供公共輸入/輸出接口的信息處理裝置，所述信息處理裝置包括文檔轉換部件，用於將該多個應用程式的每個所生成的並以特定於該應用程式的數據結構表示的專用文檔轉換成以公共數據結構表示的公共文檔；輸出部件，用於向用戶提供公共文檔；輸入部件，用於輸入由用戶對公共文檔執行的操作；接口適配器部件，用於將公共文檔中包含的對象轉換成輸出部件中使用的對象；修改部件，用於根據用戶的操作修改公共文檔；和修改反映部件，用於在專用文檔中反映出對於公共文檔的修改。
2.根據權利要求1的信息處理裝置，其中，信息處理裝置為該多個應用程式提供公共語音輸出接口；以及輸出部件將公共文檔中包含的文本輸出到具有出聲讀出文本的功能的文本閱讀器。
3.根據權利要求1的信息處理裝置，其中，文檔轉換部件將專用文檔中包含的對象轉換成將對象表示成樹結構的節點的公共文檔；以及輸出部件採用分層樹結構顯示公共文檔中包含的對象。
4.根據權利要求1的信息處理裝置，還包括文檔轉換規則存儲部件，在所述文檔轉換規則存儲部件中，描述用於將專用文檔中包含的每個對象轉換成採用公共數據結構的對象的轉換規則，其中，如果在文檔轉換規則存儲部件中存儲用於專用文檔中所包含的對象的轉換規則，則文檔轉換部件根據轉換規則將專用文檔中包含的對象轉換為採用公共數據結構的對象。
5.根據權利要求1的信息處理裝置，還包括接口轉換規則存儲部件，在接口轉換規則存儲部件中描述用於將公共文檔中包含的採用公共數據結構的每個對象轉換為具有輸出部件中使用的數據結構的對象的轉換規則，其中，如果在接口轉換規則存儲部件中存儲用於在輸出部件中使用的對象的轉換規則，則接口適配器部件根據轉換規則，將在公共文檔中包含的採用公共數據結構的對象轉換成在輸出部件中使用的對象。
6.根據權利要求1的信息處理裝置，其中，輸出部件在顯示設備上的不同於專用窗口的公共窗口中顯示公共文檔，在該專用窗口中由多個應用程式的每個來顯示專用文檔；以及輸入部件輸入由用戶在公共窗口中執行的操作。
7.根據權利要求1的信息處理裝置，還包括結構轉換部件，對於從由公共文檔中包含的多個對象中的每個對象的位置、大小、顏色和字體類型組成的組中選出的至少一個屬性，其中該對象將由相關應用程式利用所述屬性進行顯示，如果所述屬性滿足針對在預定表結構與預定列表數據結構之間選出的至少一個預定數據結構而預先確定的條件，則該結構轉換部件將該多個對象的每個對象指派給滿足所述條件的預定數據結構的節點，以轉換公共文檔的數據結構。
8.根據權利要求1的信息處理裝置，其中輸出部件將公共文檔轉換成以特定於用於編輯公共文檔的編輯應用程式的數據結構表示的編輯文檔，並將結果編輯文檔輸出到編輯應用程式；以及輸入部件將用戶通過使用編輯應用程式修改的編輯文檔作為修改公共文檔輸入。
9.根據權利要求1的信息處理裝置，其中輸出部件在顯示設備上不同於專用窗口的公共窗口中顯示公共文檔，在該專用窗口中由多個應用程式的每個顯示專用文檔；以及當在應用程式正顯示專用文檔的窗口中輸入用於修改專用文檔的操作時，文檔轉換部件在公共文檔中反映出對專用文檔的修改；以及當在公共窗口中通過輸入部件輸入用於修改公共文檔的操作時，修改部件修改公共文檔。
10.一種使用信息處理裝置為多個應用程式提供公共輸入/輸出接口的信息處理方法，所述方法包括將多個應用程式的每個所生成的並以特定於應用程式的數據結構表示的專用文檔轉換成以公共數據結構表示的公共文檔；向用戶輸出公共文檔；輸入用戶對公共文檔執行的操作；將公共文檔中包含的對象轉換成輸出部件中使用的對象；根據用戶的操作修改公共文檔；和在專用文檔中反映出對於公共文檔的修改。
全文摘要
公開了一種信息處理裝置和方法。本發明的目的在於提供一種可公共操作多個應用程式的用戶接口。為多個應用程式提供公共輸入/輸出接口的信息處理裝置包括文檔轉換部件，用於將多個應用程式的每個所生成的並以特定於應用程式的數據結構表示的專用文檔轉換成以公共數據結構表示的公共文檔；輸出部件，用於向用戶提供公共文檔；輸入部件，用於輸入用戶對公共文檔執行的操作；接口適配器部件，用於將公共文檔中包含的對象轉換成輸出部件中使用的對象；修改部件，根據用戶的操作對公共文檔進行修改；和修改反映部件，用於在專用文檔中反映出對於公共文檔的修改。
文檔編號G06F17/30GK101038550SQ200710088580
公開日2007年9月19日 申請日期2007年3月16日 優先權日2006年3月17日
發明者淺川智惠子, 伊藤隆, 高木啟伸, 石原辰也 申請人:國際商業機器公司