圖像處理系統及圖像處理方法

2023-05-06 21:43:06

專利名稱：圖像處理系統及圖像處理方法
技術領域：
本發明涉及利用通用的文檔生成應用軟體等將輸入的圖像信息變換為可以再利用的矢量數據的圖像處理系統及圖像處理方法。
背景技術：
近年來，對環境問題的關心正在日益高漲，辦公室等之中的無紙化正在急速進展。與此同時，公知的有將以往來的以活頁夾等形式累積的紙文檔利用掃描儀讀出變換為可移植文檔格式(以下稱其為「PDF」)，在圖像存儲裝置中作為資料庫累積的文檔管理系統。
此外，已經開發出可以利用掃描儀讀出紙文檔，通過實施OCR(光學字符識別)技術及邊緣提取等圖像處理來提取在原稿中記載的文字、表、插圖等對象，生成矢量數據，對其進行再利用的圖像處理系統(比如，參照日本專利特開平5-342408號公報)。
然而，在生成上述矢量數據的現有的圖像處理系統中，未對多個圖像匯總進行處理的場合進行研討。比如，在讀出在各紙頁上粘貼有公司徽標的原稿的場合，在多個圖像中多次出現同樣的對象。在將這種圖像作為矢量數據存儲之際，將多次出現的徽標這樣的對象分別個別地矢量化並全部存儲於存儲器這一點，從有限的硬體資源存儲器的利用上的觀點來看，不能說是有效率。另外，在對存儲於存儲器的這些數據進行再利用之際，即使是相似的對象，也要對其個別地進行編輯，不僅存在操作麻煩，而且會由於變換錯誤重構成為不同的對象的問題。

發明內容
本發明係為了解決這些通常問題而完成的，其目的在於提供一種對於代表性的對象將全部數據組化，對於與其相同或類似的對象，通過參照矢量化的代表性的對象並利用該差分數據，在促進有效利用存儲器的同時，通過對代表對象進行編輯，可以將與其相同或類似的對象進行一攬子變換的圖像處理系統及圖像處理方法。
為解決上述課題，本發明的圖像處理系統的特徵在於包括輸入圖像信息的輸入裝置；將上述圖像信息進行矢量化的矢量化裝置；將包含於上述圖像信息中的第1對象的矢量數據進行存儲的第1存儲裝置；判定包含於上述圖像信息中的第2對象和上述第1對象的同一性的判定裝置；以及在上述第1及第2對象中存在同一性時，代替該第2對象的矢量數據，將包含有關對上述第1對象的矢量數據的參照目標的信息的屬性信息進行存儲的第2存儲裝置。
另外，上述圖像處理系統的特徵在於其中上述第2存儲裝置還將上述第1及第2對象的差分信息與上述屬性信息相關聯地進行存儲。
此外，為解決上述課題，本發明的圖像處理系統的特徵在於包括對於存在具有同一性的多個對象的圖像信息，存儲成為代表的第1對象的矢量數據的第1存儲裝置；作為在和上述第1對象之間具有同一性的第2對象的數據，將包含有關對上述第1對象的矢量數據的參照目標的信息的屬性信息和與上述第1對象的差分信息進行存儲的第2存儲裝置；在重構上述圖像信息之際，從存儲於上述第1存儲裝置中的上述矢量數據重構上述第1對象的第1重構裝置；以及在重構上述圖像信息之際，從存儲於上述第2存儲裝置中所存儲的上述屬性信息參照第1對象，利用關於該第1對象的矢量數據和上述差分信息，重構上述第2對象的第2重構裝置。
此外還有，上述圖像處理系統的特徵在於其中上述第2重構裝置，在不能從作為參照目標的上述第1對象的矢量數據重構上述第2對象時，使用代替對象的矢量數據重構該第2對象。
此外還有，本發明的圖像處理方法的特徵在於包括輸入圖像信息的輸入工序；將上述圖像信息進行矢量化的矢量化工序；將包含於上述圖像信息中的第1對象的矢量數據存儲於存儲裝置的第1存儲工序；判定包含於上述圖像信息中的第2對象和上述第1對象的同一性的判定工序；以及在上述第1及第2對象中存在同一性時，代替該第2對象的矢量數據，將包含有關對上述第1對象的矢量數據的參照目標的信息的屬性信息進行存儲的第2存儲工序。
此外還有，本發明是其構成包括對於存在具有同一性的多個對象的圖像信息，存儲成為代表的第1對象的矢量數據的第1存儲裝置；作為在和上述第1對象之間具有同一性的第2對象的數據，將包含有關對上述第1對象的矢量數據的參照目標的信息的屬性信息和與上述第1對象的差分信息進行存儲的第2存儲裝置的圖像處理系統的圖像處理方法；其特徵在於在重構上述圖像信息之際，從存儲於上述第1存儲裝置中的上述矢量數據重構上述第1對象的第1重構工序；在重構上述圖像信息之際，從存儲於上述第2存儲裝置中所存儲的上述屬性信息參照第1對象，利用關於該第1對象的矢量數據和上述差分信息，重構上述第2對象的第2重構工序。
本發明的其他特點和優點可從參考下面的附圖的描述而了解，附圖各圖中同樣或類似的部件賦予同樣的標號。


包含在本說明書中並構成其一部分的附圖示出本發明的具體實施方式
，並且與本說明書中一起用來對本發明的原理予以說明。
圖1為示出本發明的一個實施方式的圖像處理系統的構成的框圖。
圖2為示出本發明的一個實施方式的MFP100的構成的框圖。
圖3為用來說明本發明的一個實施方式的圖像處理系統的圖像處理步驟的流程圖。
圖4為示出對利用塊選處理讀出的一張圖像數據進行屬性判定並分割為多個塊的情況的圖。
圖5為示出對利用步驟S1201的塊選處理所得到的各塊的塊信息的一個例子的圖。
圖6為用來說明對附加在原稿圖像中的二維條碼(QR碼符號)進行解碼而輸出數據文字串的步驟的流程圖。
圖7為示出附加有二維條碼的原稿310的一個例子的圖。
圖8為用來說明從檢出的指針信息檢索電子文件的處理步驟的流程圖。
圖9為用來說明從包含文件訪問權的指針信息檢索存儲電子文件的伺服器的處理步驟的流程圖。
圖10A、B為用來說明從資料庫中進行與輸入圖像文件類似的電子文件的布局檢索的步驟的流程圖。
圖11為用來說明曲率成為極大的點的示圖。
圖12為用來對外輪廓與內輪廓或別的外輪廓接近時表現為具有粗度的線的示例進行說明的圖。
圖13為用來說明將矢量數據對每個圖形對象一直到組化為止的處理步驟的流程圖。
圖14為用來說明檢測圖形要素的處理步驟的流程圖。
圖15為示出DOAF的數據結構的圖。
圖16為用來說明變換處理為應用數據的整體的概略步驟的流程圖。
圖17為用來說明文檔結構樹生成處理(步驟S802)的詳細處理步驟的流程圖。
圖18為用來說明文檔結構樹的概要圖。
圖19為用來說明利用二維條碼(QR碼符號JIS X0510)311對作為指針信息的數據文字串進行編碼並附加到圖像中的步驟的流程圖。
圖20為示出矢量化的代表對象的屬性信息的一個例圖。
圖21為示出作為參照代表對象的對象的列表的文字信息連結表的一個例圖。
圖22為示出用來進行複製操作的基本畫面的圖。
圖23為示出列舉顯示在應用模式中包含的功能的應用模式顯示畫面的示圖。
圖24為示出用來執行矢量化處理功能的矢量化處理畫面的圖。
圖25為示出讀出原稿生成的XML基準的SVG文件的一個例子的圖。
圖26為用於應用顯示讀出文件的本發明的特徵畫面。
圖27為示出要從代表對象改變為原始對象之際顯示的畫面的一個例圖。
圖28為示出在利用與圖26相同的作業讀入原稿的圖像之中顯示5/9頁的部分的例圖。
圖29為示出顯示從圖28的畫面之中改變代表對象的方向和大小時的狀態的畫面的圖。
圖30為示出代表對象選擇鍵及對象關聯鍵的全部鍵為非選擇狀態的畫面的圖。
圖31為示出解除與代表對象的關聯而與其他代表對象進行關聯的場合的畫面的一個例圖。
圖32為示出用來在圖31示出的畫面顯示中進一步改變大小的畫面的一個例圖。
圖33為從圖31的畫面顯示中操作員拖放箭頭圖標後的狀態的畫面顯示的圖。
圖34為利用箭頭圖標的拖放按照定出的矩形的大小代表對象被確定的圖像顯示的圖。
圖35為用來說明由矢量數據重構對象的場合的處理的流程圖。
圖36為示出用來進行發送/傳真的基本畫面的圖。
圖37為示出用來進行發送/傳真的詳細操作的畫面的圖。
圖38為示出讀入設定詳細畫面的一個例圖。
圖39為示出箱框的基本畫面的示圖。
圖40為示出用來顯示存儲於特定的用戶箱框中的文檔的畫面的圖。
圖41為示出選擇了圖40的行402時的畫面的圖。
圖42為示出用來進行印刷設定的畫面的圖。
圖43為示出利用其他對象進行參照的代表對象要解除代表對象時顯示的警告的畫面的圖。
具體實施例方式
下面參照附圖對本發明的優選實施方式的圖像處理系統的構成及使用此系統的各種圖像處理的內容進行說明。
圖1為示出本發明的一實施方式的圖像處理系統的構成的框圖。圖1示出的圖像處理系統，作為一個示例，是在通過網際網路等網絡104將辦公室10和辦公室20連接的環境中實現的。
在辦公室10內構建的LAN107與數字一體機(MFP)100、控制MFP100的管理PC101、客戶PC102、文檔管理伺服器106a、其資料庫105a及代理伺服器103a相連接。另外，MFP100，比如，可以由具有一體機功能的複印機及傳真機裝置等實現。另外，在辦公室20內構建的LAN108與文檔管理伺服器106b、其資料庫105b及代理伺服器103b相連接。另外，客戶PC102具有外部存儲單元、檢索圖像輸入單元及檢索結果輸出單元。另外，LAN107及辦公室20內的LAN108，經代理伺服器103a、103b與網際網路等網絡104相連接。
MFP100，在本實施方式中擔負以光學方式讀出紙文檔並變換為圖像信號的圖像讀出處理和針對讀出的圖像信號的圖像處理的一部分，圖像信號利用LAN109輸入到管理PC101。另外，管理PC101，也可以使用通常的PC來實現，其內部設置有圖像存儲單元、圖像處理單元、顯示單元及輸入單元。另外，管理PC101也可以是其一部分或全部與MFP100一體化的結構。
圖2為示出本發明的一個實施方式的MFP100的構成的框圖。在圖2中，包含自動文檔送進器(以下稱其為「ADF」)的圖像讀出單元110，以內部設置的光源對冊狀(束狀)或一張原稿圖像進行照射，利用透鏡使原稿反射像在固體攝像元件上成像，從固體攝像元件得到光柵形狀的圖像讀出信號，比如，作為600dpi的密度的圖像信息。於是，在使用通常的複印功能的場合，由數據處理單元115對此圖像信號進行圖像處理使其成為記錄信號，在每次多張複印的場合，在存儲裝置111上臨時保持1頁大小的記錄數據之後，順序輸出到印刷裝置112而在紙上形成圖像。
另一方面，從客戶PC102輸出的印刷數據，從LAN107輸入到MFP100，經網絡IF114由數據處理裝置115變換為可以記錄的光柵數據之後，輸出到印刷裝置112在紙上形成記錄圖像。
對MFP100的操作員的指示可利用MFP100上裝備的按鍵等輸入裝置113或管理PC101的鍵盤及滑鼠等構成的輸入裝置進行，這一系列的動作，由數據處理裝置115內的控制單元進行控制。
另一方面，操作輸入的狀態顯示及處理中的圖像數據的顯示，由MFP100的顯示裝置116或管理PC101、客戶PC102的監視器等進行。另外，存儲裝置111，也可由管理PC101進行控制，MFP100和管理PC101的數據交換及控制，利用網絡IF117及直接連接的LAN109進行。
下面對本發明的一個實施方式的圖像處理系統進行的圖像處理整體的概要予以說明。圖3為用來說明本發明的一個實施方式的圖像處理系統的圖像處理步驟的流程圖。下面，對利用圖3的流程圖讀出紙原稿而取得圖像信息的處理予以說明。
首先，使MFP100的圖像讀出單元110動作對一張原稿進行光柵掃描，比如，得到600dpi、8位的圖像信號(圖像信息輸入處理步驟S1200)。另外，該圖像信號，由數據處理裝置115實施前處理並作為一頁大小的圖像數據保存到存儲裝置111。
之後，利用管理PC101的CPU，從存儲於存儲裝置111的圖像信號中，首先將區域分離為文字/線條畫部分和中間色調的圖像部分。然後，再將文字部分以段落匯集成塊的每個塊或分離為由線構成的表、圖形而分別進行分段化。另一方面，為使對象化單位可以被了解將中間色調表現的圖像部分分離為矩形的每個塊的圖像部分、背景部分等的所謂的塊分割為獨立的對象(BS處理步驟S1201)。
此時，通過檢出作為原稿圖像附加信息所記錄的二維條碼或與URL相當的對象，URL在OCR處理(光學方式文字識別處理)中進行文字識別，解讀二維條碼或對象(步驟S1202)。於是，從解讀的結果，檢出原稿的矢量化控制信息(步驟S1203)。另外，作為附加指針信息的裝置，另外也可以使用在文字和文字的間隔處嵌入信息的方法、在中間色調的圖像中嵌入的方法等非直接可視化的電子水印的方法。在以這種方式嵌入附加信息作為電子水印的場合，可以在步驟S1202中檢出水印信息進行解讀。
之後，在步驟S1203中判定是否檢出指針信息(步驟S1204)。其結果，在檢出指針信息的場合(Yes)，就轉入分支步驟S1205，從由檢出的指針信息表示的地址檢索是否存儲有原來的電子文件(即代表性對象的矢量數據)。
在本實施方式中，電子文件，存儲於圖1所示的客戶PC102中的硬碟內，或與辦公室10、20的各個LAN107、108相連接的資料庫105a、105b內，或MFP100本身具有的存儲裝置111等之中，按照在步驟S1203中檢出的地址在這些存儲裝置內進行檢索。
其結果，在步驟S1205中未發現電子文件的場合(No)，或雖然被發現但是是以PDF及tiff為代表的所謂的圖像文件時，或在步驟S1204中指針信息本身不存在的場合(No)，就轉入分支步驟S1206。
步驟S1206是文檔文件檢索處理例程。就是說，根據在上述步驟S1202中對各文字塊進行的OCR處理的結果提取單詞進行全文檢索或根據各對象的排列和各對象的屬性進行布局檢索(步驟S1206)。於是，在根據檢索結果發現類似度高的電子文件時，在將其作為候選進行縮略顯示等的同時，在需要操作員從多個之中進行選擇時就再由操作員通過輸入操作進行文件確定(步驟S1207)。另外，在通過步驟S1206的檢索處理只檢索出一個文件作為候選的場合，自動地從步驟S1208轉入分支步驟S1213並通知其存儲地址。
於是，在步驟S1206中的檢索處理中未發現電子文件的場合(No)或者發現但是是以PDF及tiff為代表的所謂的圖像文件時，就轉入分支步驟S1209。
步驟S1209的處理是從圖像信息到矢量數據的變換處理，是變換為接近原始電子文件的電子文件的處理。
比如，對經過步驟S1202中的OCR處理的文字塊，再進行文字大小、字形、字體等的識別，將對原稿掃描所得到的文字變換為可視性的忠實的字體數據。另外，對於由線構成的表及圖像塊，將其形狀輪廓化。此外，對圖像塊，如是圖像數據，就作為個別的JPEG處理。另外，這些矢量化處理，在針對各對象分別進行的同時，還保存各對象的版面信息，比如，變換為rtf文件等的應用數據(步驟S1210)。於是，將變換後的應用數據作為電子文件存儲於存儲裝置111(步驟S1211)。
在步驟S1211中存儲的電子文件，在進行以下的同樣的處理之際，為了可以直接作為電子文件進行檢索，生成檢索用的索引信息，添加到檢索用索引文件(步驟S1212)。於是，將該電子文件的存儲地址通知操作員(步驟S1213)。另外，在步驟S1208及步驟S1205的文件檢索處理中電子文件已經確定的場合(Yes)也同樣下面就直接轉向用於確定電子文件的分支步驟S1213，將存儲地址通知操作員。
之後，操作員判斷現在要進行的處理是否是記錄(印刷)處理(步驟S1214)。其結果，在判斷為是記錄處理的場合(Yes)，就轉向分支步驟S1215，將表示存儲地址的指針信息作為圖像數據附加到該文件。
另外，在步驟S1215中附加指針信息之後，以及在步驟S1214中操作員判斷現在要進行的處理不是記錄處理的場合(No)，就可以使用由上述處理得到的電子文件本身，比如，進行文檔的記錄、編輯、傳送、累積(步驟S1216)。這些處理，與使用圖像數據的場合比較信息量可以削減，可以提高向存儲器等的累積效率，縮短傳送時間，並且在進行記錄(印刷)和顯示之際，作為高品質的數據是非常優異的。
下面對各處理塊進行詳細說明。
首先，對在步驟S1201中示出的塊選(BS)處理進行說明。
圖4為示出對利用塊選處理讀出的一張圖像數據進行屬性判定而分割為多個塊的情況的圖。就是說，所謂的塊選處理，是將在標號41所示的在步驟S1200中讀出的一頁的圖像數據作為標號42所示的每個對象塊進行識別，將各個塊判斷為具有文字(TEXT)、照片(PHOTO)、線(LINE)、表(TABLE)等屬性並分割為具有不同屬性的區域(塊)的處理。
下面對塊選處理的一個實施方式進行說明。
首先，將輸入圖像進行黑白二值化，進行輪廓線跟蹤提取以黑像素輪廓包圍的像素塊。於是，針對面積大的黑像素塊，對位於內部的白像素同樣進行輪廓線跟蹤提取白像素塊。此外，從大於等於一定面積的白像素的塊的內部重複提取黑像素的塊。另外，上述處理，是在以白地黑字等記載的原稿的場合的處理，在這以外的情況下，通過使與背景相當的色為「白」，與對象相當的色為「黑」，可以進行同樣的處理。
將這樣得到的黑像素的塊按照大小及形狀等進行分類，分類為具有不同屬性的區域。比如，將縱橫比接近1、大小在一定範圍的塊作為與文字相當的像素塊，並且將接近的文字排列整齊的可以組化的部分作為文字區域。另外，將扁平的像素塊作為線區域，將大於等於一定大小的並且內包排列整齊的四角形的白像素塊的黑像素塊所佔據的範圍作為表區域，將形狀不定的像素塊散在的區域作為照片區域，將這些以外的任意形狀的像素塊作為圖片區域。結果，就可以對讀出一張原稿而生成的電子數據的再利用設置更高度的限制。
圖5為示出對利用塊選處理所得到的各塊的塊信息的一個例子的圖。圖5所示的每個塊的信息，可以用作後述的矢量化或檢索的信息。
下面對用來從圖像信息中提取在步驟S1202中示出的文件的存儲位置的OCR/CMR處理予以說明。
圖6為用來說明對附加到原稿圖像中的二維條碼(QR碼符號)進行解碼而輸出數據文字串的步驟的流程圖。圖7為示出附加有二維條碼的原稿310的一個例圖。
首先，利用內部的CPU對讀出存儲於數據處理裝置115內的原稿310所得到的圖像數據進行掃描，從上述塊選處理的結果檢出規定的二維條碼符號311的位置。QR碼的位置檢出圖形，由配置在符號的四角內的三角上的同一的位置檢出要素圖形311a～311c構成(步驟S300)。
之後，將與位置檢出圖形相鄰的形式信息復原，得到可應用於符號的糾錯級別及掩碼圖形(步驟S301)。此外，在決定符號的型號之後(步驟S302)，使用由形式信息得到的掩碼圖形通過對編碼區域位圖形進行XOR運算解除掩碼處理(步驟S303)。
於是，按照與模型對應的配置規則，讀出符號字符，將消息的數據及糾錯碼字復原(步驟S304)。之後，對在復原的代碼上有無錯誤進行檢出(步驟S305)。其結果，在檢出錯誤的場合(Yes)，就對該錯誤進行糾正(步驟S306)。於是，根據經過糾錯的數據，基於模式指示符及文字數指示符，將數據碼字分割為分段(步驟S307)。最後，基於規範模式對數據文字進行解碼，並將結果輸出(步驟S308)。另外，在步驟S305中未檢出錯誤時(No)，就進入到上述步驟S307。
另外，插入到二維條碼中的數據，表示矢量化控制信息。
在本實施方式中，如上所述，是利用二維條碼賦予了矢量化控制信息的原稿310為例進行說明的，但在直接以文字串記錄矢量化控制信息的場合，在上述的塊選處理檢出按照規定的規則的文字串的塊，可以直接得到矢量化控制信息。
另外，對於圖7的文檔(原稿)310的文字塊312及文字塊313的文字串，也可以在相鄰的文字和文字的間隔等施加達到難以辨別程度的調製，通過嵌入利用了該文字間隔的水印信息也可以賦予矢量化控制信息。這種水印信息，通過在進行後述的文字識別處理之際檢出各文字的間隔，可以得到矢量化控制信息。另外，也可以在自然圖片塊314中附加矢量化控制信息作為電子水印。
下面對利用圖3說明的在步驟S1205、S1208的處理中所進行的根據指針信息的電子文件檢索處理予以詳細說明。圖8為用來說明從檢出的指針信息檢索電子文件的處理步驟的流程圖。
首先，基於包含於指針信息中的伺服器地址，確定存儲該電子文件的文件伺服器(步驟S400)。此處所謂的文件伺服器，指的是客戶PC102及內置資料庫105a、b的文檔管理伺服器106a、b及內置存儲裝置111的MFP100本身。另外，所謂的地址是由URL及伺服器名構成的路徑信息。
於是，在確定文件伺服器之後，將地址傳送給在利用圖3說明的步驟S1203中檢出的指針信息示出的伺服器(文件伺服器)(步驟S401)。文件伺服器，按照步驟S1206的文件檢索處理，檢索相當的電子文件(步驟S402)。接著，判定電子文件是否存在(步驟S403)。
此結果，在電子文件不存在的場合(No)，將這一點通知MFP100而結束。另一方面，在電子文件存在的場合(Yes)，利用圖3，如前所述，為進行差分處理而進行候選顯示，之後，在通知相當的電子文件的地址的同時，將相當的電子文件向用戶(即MFP100)傳送(步驟S408)。

下面對考慮到文件訪問權的實施方式予以說明。在通常處理的文檔文件中，存在希望限制第三者再利用的文件。在利用上述圖8的檢索處理中，是以累積於文件伺服器中的電子文件全部都是可以自由訪問，文件整體或其一部分的對象全部是可以再利用為前提進行說明的。下面在從指針信息檢索電子文件之際，對從檢索結果存在確定的電子文件中具有訪問權的限制的情況予以說明。
圖9為用來說明從包含文件訪問權的指針信息檢索存儲電子文件的伺服器的處理步驟的流程圖。在圖9中，步驟S400～403的處理，因為與圖8的處理步驟一樣，其說明省略。於是，在步驟S403中，在確定了電子文件的場合(Yes)，文件伺服器檢查該文件的訪問權信息(步驟S404)。其結果，在存在訪問限制的情況下(Yes)，就要求MFP100發送口令(步驟S405)。
於是，MFP100，促使操作員輸入口令等鑑別信息，並將輸入的口令等發送到文件伺服器(步驟S406)。文件伺服器對所發送的口令等進行比對(步驟S407)，在一致時(Yes)，如利用圖3所說明的，在通知電子文件的地址的同時，如果用戶希望處理的是取得圖像數據，則向MFP100傳送電子文件(步驟S408)。
另外，用來進行訪問權的控制的鑑別的方法並不限定於步驟S405、S406所示的利用口令的方法，比如，可以使用指紋鑑別等一般廣泛使用的生體鑑別、持卡鑑別等所有鑑別手段。
另一方面，當在步驟S403中不能從文件伺服器內確定文件的情況下，對於圖3的步驟S1209中說明的矢量化處理也可以施加限制。就是說，在檢出對紙文檔掃描所得到的圖像數據中的原始電子文件存在訪問權限制的場合，通過只在能夠取得鑑別確認的場合進行矢量化處理，可以對機密性高的文檔的使用施加限制。
下面利用圖5及圖10A、B對在圖3的步驟S1206中示出的文件檢索處理的詳細情況進行說明。步驟S1206的處理，如前所述，是當在步驟S1204中輸入原稿(輸入文件)中不存在的指針信息的場合，或存在指針信息但找不到電子文件，或電子文件是圖像文件的場合進行的。此處，在步驟S1202的OCR/OMR處理的結果、所提取的各塊及輸入文件具有圖5所示的信息(塊信息、輸入文件信息)。在本實施方式中，作為信息內容，如圖5所示，使用屬性、坐標位置、寬度及高度的大小、OCR信息的有無。
屬性還可分類為文字、線、照片、繪圖、表等。另外，在圖5中為了使說明簡單起見，塊是按照坐標X從小到大的順序(比如，X1＜X2＜X3＜X4＜X5＜X6)列出塊1、塊2、塊3、塊4、塊5、塊6。另外，塊的總數，是輸入文件中的全部塊數，在圖5所示的示例中塊的總數是6。以下，對使用這些信息從資料庫內進行與輸入圖像文件類似的電子文件的布局檢索的步驟進行說明。圖10A、B為用來說明從資料庫中進行與輸入圖像文件類似的電子文件的布局檢索的步驟的流程圖。另外，資料庫文件也以具有和圖5所示的信息同樣的信息為前提。圖1OA、B的流程圖的流程是將從輸入的原稿讀出的電子文件和資料庫中的電子文件順序地進行比較的流程圖。
首先，進行下述的類似率等的初始化來設定初始值(步驟S510)。之後，進行塊總數的比較(步驟S511)，在為真的場合(Yes)，再順序比較文件內的塊的信息(步驟S512)。就是說，檢查資料庫的文件的塊數n是否在輸入文件數N的誤差ΔN的範圍內，並且如果在誤差範圍內時則為真(Yes)，如果在範圍外時則為偽(NO)。另外，在步驟S512中，對輸入文件和資料庫文件的塊屬性進行比較，如果一致時，就進入到步驟S513以下的比較處理，如果在不一致時，則進入到步驟S521。
在塊的信息比較中，在步驟S513、S515、S518中，分別計算出各個屬性類似率、大小類似率、OCR類似率，在步驟S522中基於這些計算出綜合類似率。關於各類似率的算出方法，因為可以使用公知的技術，其說明省略。
在步驟S523中，判定綜合類似率是否高於預先設定的閾值Th，在高的場合(Yes)，可以推舉出該電子文件作為類似候選保存(步驟S524)。另外，圖中的N、W、H是輸入文件的塊總數、各塊寬度、各塊高度，ΔN、ΔW、ΔH是以輸入文件的塊信息作為基準考慮誤差的量。另外，n、w、h是資料庫文件的塊總數、各塊寬度、各塊高度。另外，在步驟S514的大小比較時，也可以進行位置信息(X、Y)的比較等。
以上，因為檢索的結果、綜合類似率比閾值Th高，所以可將作為候選保存的資料庫文件以縮略圖像顯示(步驟S1207)。結果，在需要操作員從多個之中進行選擇時就由操作員通過輸入操作進行文件確定。
下面對在圖3的步驟S1209中所示的矢量化處理予以說明。如前所述，在步驟S1208中判斷不存在電子文件時，對輸入的圖像信息逐塊地進行矢量化。
《文字識別》對於文字塊，對於各文字進行文字識別處理。為進行文字識別處理，在本實施方式中，對於以文字單位切出的圖像，採用模式匹配的一種方法進行識別而得到對應的文字代碼。這一識別處理，是在將從文字圖像得到的特徵變換為數十維的數值串的觀測特徵矢量和預先對每一字種求得的辭典特徵矢量相比較，以距離最近的字種作為識別結果的處理。另外，在特徵矢量的提取中有各種公知的方法，比如，可以採用將文字分割為篩網狀，將各篩網內的文字線作為按方向區分的線素進行計數的篩網數的維數矢量為特徵的方法。
在對塊選處理(步驟S1201)中提取的文字區域進行文字識別的場合，首先對該區域進行橫寫、豎寫的判定，在各個對應方向上切出行，其後切出文字而得到文字圖像。橫寫、豎寫的判定，可以在該區域內取相對像素值的水平/垂直的射影進行，在水平射影的分散大的場合判斷為橫寫區域，在垂直射影大的場合判斷為豎寫的區域。
另外，分解為文字串及文字，在橫寫的場合是利用水平方向的射影將行切出，並且從相對切出的行的垂直方向的射影切出文字。另一方面，對於豎寫的文字區域，將水平和垂直逆轉即可。另外，文字的大小可以基於切出的大小檢測。
《字體識別》在文字識別之際所使用的字種數種類的辭典特徵矢量針對文字形狀種類，即字體種類準備多種，通過在匹配之際與文字編碼一起輸出字體種類，可以識別文字的字體。
《文字的矢量化》利用上述文字識別及字體識別所得到的文字編碼及字體信息，利用各個預先準備的輪廓數據，將文字部分的信息變換為矢量數據。另外，在輸入的原稿圖像是彩色的場合，從彩色圖像提取各文字的顏色與矢量數據一起記錄。
通過以上的處理，可以將屬於文字塊的圖像信息變換為形狀、大小、顏色都大致忠實的矢量數據。
《文字以外的部分的矢量化》在步驟S1201的塊選處理中，以作為圖片或線、表區域的區域作為對象，將分別提取的像素塊的輪廓變換為矢量數據。具體言之，將構成輪廓的像素的點串以看作是角的點進行分切，將各區間以部分的直線或曲線近似。此處，所謂的「角」是曲率極大的點。
圖11為用來說明曲率成為極大的點的圖。如圖11所示，在對於任意點Pi左右的k個分離的點Pi-k～Pi+k之間畫出一根弦時，求出此弦和Pi的距離成為最大的點。此外，以Pi-k～Pi+k之間的弦的長度/弧的長度作為R，可以將R的值小於等於閾值的點看作是角。由角所分割後的各區間，直線可利用針對點串的最小二乘法，曲線可利用3次樣條函數等進行矢量化。
另外，在對象具有內輪廓的場合，利用通過塊選處理提取的白像素輪廓的點串，同樣以部分的直線或曲線近似。
如上所述，通過使用輪廓的區分線近似，可以將任意形狀的圖形的輪廓矢量化。另外，在輸入的原稿是彩色的場合，彩色圖像提取圖形的顏色與矢量數據一起記錄。
圖12為用來對外輪廓與內輪廓或別的外輪廓接近時表現為具有粗度的線的例子進行說明的示圖。如圖12所示，在某一區間中，在外輪廓與內輪廓或別的外輪廓接近時，可以將兩個輪廓線合二為一表現為具有粗度的線。具體言之，從某一輪廓的各點Pi到另一輪廓上的成為最短距離的點Qi引一根線，在各距離PQi平均小於等於一定長時，注目區間以PQi中點作為點串以直線或曲線近似，其粗度為PQi的平均值。作為線和線的集合體的表格線，可以作為具有上述粗度的線的集合，高效率地以矢量表現。
另外，對於利用對於文字塊的文字識別處理的矢量化，如前所述，該文字識別處理的結果，是將與辭典距離最近的文字作為識別結果。此處，在這一距離大於等於規定值時，並不一定限定於與本來的文字一致，誤識別形狀類似的文字的時候很多。所以，在本實施方式中，對於這種文字，如上所述，與一般的線條畫同樣對待將該文字輪廓化。就是說，過去在文字識別處理中，即使引起誤識別那樣的文字，對於錯誤的文字也可以不進行矢量化，而是對以可視方式進行的忠實於圖像數據的輪廓化進行矢量化。另外，對於判定為是照片的塊，在本發明中不進行矢量化，而是保留圖像數據原樣不變。
下面，在對上述任意形狀的圖形的輪廓進行矢量化之後，對每個圖形對象，對這些矢量化的區分線進行組化的處理予以說明。
圖13為用來說明將矢量數據對每個圖形對象一直到組化為止的處理步驟的流程圖。首先，計算出各矢量數據的始點、終點(步驟S700)。之後，利用各矢量的始點、終點信息檢測測圖形要素(步驟S701)。此處所謂的圖形要素的檢測，是檢測區分線構成的封閉圖形。在檢測時，應用構成封閉形狀的各矢量的兩端分別具有連接的矢量這一原理進行檢測。
其次，對在圖形要素內存在的其他圖形要素或區分線進行組化，構成一個圖形對象(步驟S702)。另外，在圖形要素內不存在其他圖形要素或區分線的場合，以圖形要素作為圖形對象。
圖14為用來說明檢測圖形要素的處理步驟的流程圖。首先，從矢量數據中去掉兩端未連接的不需要的矢量，提取封閉圖形構成矢量(步驟S710)。之後，從封閉圖形構成矢量之中將矢量的始點作為開始點，按照順時鐘方向追蹤矢量。於是，追蹤一直進行到返回開始點，將通過的矢量全部作為構成一個圖形要素的封閉圖形進行組化(步驟S711)。另外，此時，將處於封閉圖形內部的封閉圖形構成矢量也全部組化。此外，將尚未組化的矢量的始點作為開始點，重複同樣的處理。最後，在步驟S710中去掉的不需要的矢量之中，檢出與在步驟S711中作為封閉圖形組化的矢量接合的矢量並作為一個圖形要素組化(步驟S712)。
通過以上的處理，就可以將圖形塊作為可個別再利用的個別的圖形對象進行處理。
圖15為示出作為將一頁大小的圖像數據通過塊選處理(步驟S1201)及矢量化處理(步驟S1209)變換的結果所得到的中間數據形式的文件的數據結構的圖。如圖15所示的數據形式，稱為文檔分析輸出格式(DAOF)。就是說，圖15是示出DAOF的數據結構的圖。
在圖15中，791是Header(首部)，保持有關處理對象的文檔圖像數據的信息。792是布局記述數據部，保持對文檔圖像數據中的TEXT(文字)、TITLE(標題)、CAPTION(圖注)、LINEART(線條畫)、PICTURE(自然圖片)、FRAME(框)、TABLE(表)等的每個屬性所識別的各塊的屬性信息和其矩形地址信息。
793是文字識別記述數據部，保持對TEXT、TITLE、CAPTION等TEXT塊進行文字識別而得到的文字識別結果。794是表記述數據部，存儲TABLE塊的結構的詳細情況。795是圖像記述數據部，將PICTURE及LINEART等的塊的圖像數據從文檔圖像數據切出進行保持。
這種DAOF，不但保存中間數據，而且也有其本身進行文件化後被保存的情況，在這種文件的狀態中，不能利用一般的文檔生成應用程式對各個對象進行再利用。因此，下面從DAOF對變換為應用數據的變換處理(步驟S1210)進行詳細說明。
圖16為用來說明變換處理為應用數據的整體的概略步驟的流程圖。首先，輸入DAOF數據(步驟S800)。之後，進行成為應用數據的基礎的文檔結構樹生成(步驟S802)。於是，基於生成的文檔結構樹，灌注DAOF的實數據，生成實際的應用數據(步驟S804)。
圖17為用來說明文檔結構樹生成處理(步驟S802)的詳細處理步驟的流程圖。另外，圖18為用來說明文檔結構樹的概要的示圖。此外，作為整體控制的基本規則，處理的流程可以從微塊(單一塊)向宏塊(塊的聚合體)轉移。另外，在以後的說明中，所謂的塊，指的是微塊及宏塊全部。
首先，利用塊單位以縱向的關聯性為基礎進行再組化(步驟S802a)。另外，緊接著起始後成為微塊單位中的判定。此處，所謂的關聯性，可以以定義為距離近、塊寬度(在橫向的場合為高度)大致相同。另外，距離、寬度、高度等的信息參照DAOF提取。
在圖18中，18A表示實際的頁結構，18B表示該文檔結構樹。步驟S802a的組化的結果，T3、T4、T5作為一個組V1，T6、T7作為一個組V2分別作為同一階層的組生成。
之後檢查有無縱向的隔離器生成(步驟S802b)。隔離器，比如，是在物理上在DOAF中保持行屬性的對象。另外，作為理論上的意義，是在應用中以明示方式對塊進行分割的要素。此處，在檢出隔離器的場合，在同一階層進行再分割。
之後，利用組長度判定在此之上分割是否不能存在(步驟S802c)。比如，判定縱向的分組長度是否是頁高度。其結果，在縱向的組長度成為頁高度的場合(Yes)，文檔結構樹生成結束。比如，在如圖13所示的結構的場合，因為沒有隔離器，組高度不是頁高度，判定為No，就進入到步驟S802d。
在步驟S802d中，利用塊單位以橫向的關聯性為基礎進行再組化。但是，在這一再組化中緊接著起始後的第1個是以微塊單位進行判定。並且，關聯性及其判定信息的定義，與縱向的場合相同。比如，在圖18的結構的場合，由T1和T2生成H1，由V1和V2生成H2，H1是作為在T1、T2的一個之上，H2是作為在V1、V2的一個之上的同一階層的組生成。
之後檢查有無橫向的隔離器生成(步驟S802e)。在圖18中，因為有S1，將其在樹上登錄，生成稱為H1、S1、H2的階層。於是，利用組長度判定在此之上分割是否不能存在(步驟S802f)。比如，判定橫向的分組長度是否是頁寬度。其結果，在橫向的組長度成為頁寬度的場合(Yes)，文檔結構樹生成結束。另一方面，在不是頁寬度的場合(No)，就返回到步驟S802b，再次在上一階層上，從縱向的關聯性檢查起重複進行。比如，在圖18的結構中，因為分割寬度為頁寬度，就在此結束，最後，將表示整個頁的最上位階層的V0附加到文檔結構樹。
在文檔結構樹完成之後，基於該信息，在步驟S804中，進行應用數據的生成。在圖18的結構的場合，具體如下。
就是說，因為H1是在橫向上有兩個塊T1、T2，是為兩列，在輸出T1的內部信息(參照DOAF的文字識別結果的文章及圖像等)之後，改變列，輸出T2的內部信息，之後輸出S1。另外，因為H2是在橫向上有兩個塊V1、V2，作為兩列輸出，V1按照T3、T4、T5的順序輸出其內部信息，之後改變列，輸出V2的T6、T7的內部信息。利用以上的處理，就可以進行變換到應用數據的變換處理。
下面對在步驟S1215中示出的指針信息附加處理予以說明。在應該處理的文檔是由檢索處理確定的場合，或在利用矢量化原來的文件進行了再生的情況下，在將該文檔進行記錄處理的場合，通過在向紙張進行記錄之際賦予指針信息，可以利用此文檔在再次進行各種處理的場合簡單地取得原來的文件數據。
圖19為用來說明利用二維條碼(QR碼符號JIS X0510)311對作為指針信息的數據文字串進行編碼並附加到圖像中的步驟的流程圖。
插入到二維條碼內的數據，表示存儲對應文件的伺服器地址信息，比如，由文件伺服器名組成的路徑信息構成，或者由對應伺服器的URL及用來管理存儲對應的文件的資料庫105a、b內或MFP100本身具有的存儲裝置111的用戶ID等構成。
首先，為了識別編碼的各種不同的文字，對輸入的數據串進行分析。另外，選擇檢錯及糾錯級別，選擇可以收容輸入數據的最小型號(步驟S900)。之後，將輸入數據串變換為規定的位串，根據需要附加表示數據的模式(數字、英數字、8位字節、漢字等)的指示符及終端模式。此外，通過變換為規定的位碼字進行數據的編碼(步驟S901)。
此時，為進行糾錯，將碼字串根據型號及糾錯級別分割為規定的塊數，對每塊分別生成糾錯碼字，附加於數據碼字串之後(步驟S902)。此外，將在步驟S902中得到的各塊的數據碼字進行連接，將各塊的糾錯碼字，並且根據需要，連接剩餘碼字來構築消息(步驟S903)。
之後，在矩陣上與位置檢出圖形、分離圖形、定時圖形以及位置重合圖形等一起配置碼字模塊(步驟S904)。此外，選擇針對符號的編碼區域為最優的掩碼圖形，針對步驟S904中得到的模塊通過XOR運算進行掩碼處理圖形的變換(步驟S905)。最後，在步驟S905所得到的模塊中生成形式信息及型號信息而使二維編碼符號完成(步驟S906)。
上述插入伺服器地址信息的二維條碼，比如，在從客戶PC102將電子文件作為印刷數據利用印刷裝置112在紙張上形成記錄圖像時，在數據處理裝置115內變換為可以記錄的光柵數據之後，附加在光柵數據上的規定地點而形成圖像。此處，分發形成圖像的紙張的用戶，通過由圖像讀出單元110讀出，可以在上述步驟S1206中從指針信息適當檢出存儲原始電子文件的伺服器的地點。
另外，以同樣的目的賦予附加信息的方法，除了在本實施方式中說明的二維條碼之外，比如，也可以應用將指針信息直接以文字串方式附加到文檔的方法、對文檔內的文字串，特別是文字和文字的間隔進行調製嵌入信息的方法、在文檔中的中間色調圖像中嵌入的方法等一般稱為電子水印的方法。
有關文件確定的另一實施例
在上述實施例中，作為從掃描原稿得到的圖像信息確定原來文件數據的方法，如利用圖3的流程圖所說明的，可以利用按文檔中的指針信息的方法或按照文檔中記載的各對象信息進行檢索的方法中的任何一個，但為了更正確地確定原來的文件，可以同時使用兩種方法。
就是說，從原稿中得到的指針信息檢出原來文件的存在的情況下，還可以利用該文檔中的原始信息對文件進行收縮檢索。比如，在對於檢出的文件進行按照布局信息的布局檢索及經過文字識別的關鍵詞的全文檢索得到很高一致度的情況下，可以將檢出的文件正式確定為原來的文件。因此，比如，對於指針信息的下位的部分含糊不清或即使是糾錯也不能糾正的場合，由於可以通過收縮檢索範圍確定文件，就可以更高速地確定準確度更高的文件。
在上述實施方式中，在通過檢索處理不能確定原來的文件的場合，對整個圖像進行矢量化處理。然而，在一般文檔的場合，文檔中的對象，不僅有全新生成的場合，也有一部分對象從其他文件挪用而生成的場合。比如，一般是背景對象(壁紙)由文檔生成軟體預先準備幾個圖形，使用者從其中選擇某一個使用。所以，這種對象，在文檔文件資料庫中的其他文檔文件中存在的可能性很高，並且作為可以再利用的矢量數據存在的可能性很高。
所以，根據這種背景，作為圖3的流程圖的矢量化處理(步驟S1209)的另外的實施方式，對利用塊選處理(步驟S1201)分割為個別的對象的各對象，以對象單位從資料庫中檢索部分地包含一致的對象的文件，從對於一致的對象檢索的文件個別地以對象單位取得矢量數據。結果，不需要對整個文檔矢量化，可以更高速地矢量化的同時，防止由於矢量化引起的畫質劣化。
另一方面，在圖3的流程圖的檢索處理(步驟S1206～S1208)中原來的文件作為PDF確定後，有時該PDF具有對該文檔的文字對象將已經進行了文字識別的文字編碼作為附加文件。在將這種PDF文件進行矢量化之際，通過使用文字編碼，可以將步驟S1209以下的矢量化處理之中的文字識別處理省略。就是說，可以使矢量化處理更高速地執行。
這一處理，每當對每頁生成對象時，應該對與以前生成的對象的同一性進行比較。另外，在進行該比較處理之際，也可以是將由以前生成的(即矢量數據化的)對象(object)再現的對象(object)和對象的對象(object)進行比較的方法或將矢量數據化的對象(object)和對象的對象(object)矢量數據化的結果進行比較的方法中的某一個。
其結果，在判斷為同一的場合，在屬性信息中存儲判斷為同一的對象的ID。比如，在對象為PDL等的圖像數據的場合，為使相同對象成為完全相同的數據，可以很簡單地判定兩者是否為同一。然而，通過對原稿進行掃描而得到的圖像數據，即在接受的操作是接受外部的噪聲及環境的變動的操作的圖像數據的場合，即使是按照原樣對兩者進行比較的場合，也不一定將同一對象確實識別為同一對象。所以，在對各對象進行比較之際，要對顏色及大小等差分分量是否在某一程度的容許範圍內等的同一性設定規定的範圍。因此，對於成為比較對象的兩個數據，比如，在進行過濾之後，將兩者進行比較。
圖20為示出矢量化的代表對象的屬性信息的一個例圖。在圖20中，由編號1及編號2表示的對象是矢量化的代表對象。圖21為示出作為參照代表對象的對象的列表的文字信息連結表的一個例圖。就是說，在圖21中，示出對象21a～21c的對象參照以圖20的編號1表示的代表對象。就是說，在文字信息重構處理中，在全部圖像數據進行矢量化的時刻，圖20所示的屬性信息，連結文字信息的內容，生成圖21所示的文字信息連結表。
在尋求某一頁的重構的場合，在圖20所示的屬性信息中提取所要求的頁編號的列表。於是，對於屬性信息是圖像信息的數據的情況下，沒有參照時從存儲位置讀出數據顯示在從媒體讀出的位置信息上，參照時從參照目標的對象ID的存儲地址讀出數據顯示在從媒體讀出的位置信息上。之後，讀出具有文字信息的屬性信息的對象，在從媒體讀出的位置信息中顯示進行重構。
比如，設想輸入的原稿是公司內文檔這樣的一系列的文檔，在各頁上有公司的徽標的場合。於是，為了使這一文檔為公司外的確定人員閱覽，下面對在公司的徽標的後部添加「機密(CONFIDENTIAL)」這樣的文字的處理的場合予以說明。
此處，成為對象的公司的徽標，通過上述的「同一對象比較判斷」的處理，將一個代表對象矢量化，登錄該數據使其在各頁中反覆參照。
因而，進行改變處理的操作員，只要將該存儲地址中的徽標的代表對象改變為在該徽標的後部添加「機密(CONFIDENTIAL)」這樣的文字的對象進行如上述[重構信息生成處理]中說明的重構就可以。
另外，在改變代表對象本身的場合，由於使原來的數據受損，只要新生成在代表對象徽標的後部添加「機密(CONFIDENTIAL)」這樣的文字的對象，複製圖20所示的屬性信息改變參照目標就可以。這樣，根據本發明，可以非常簡單地進行上述的作業。
以下，以利用W3C勸告的XML基準的SVG為例，對利用上述的圖像處理系統的具體的實施例予以說明，但本發明的應用並不特別限定於這一格式。
實施例1
最初的示例，是一個在對經過由輸入的一張原稿或多張原稿組成的圖像信息中所包含的同一對象或屬性(變倍、顏色、取向、位置等等)變換而可以看作是同一的對象進行矢量數據化的過程中進行逐次檢索，在操作畫面上顯示與代表對象的關聯的示例。於是，在對每個對象指定代表對象的同時，對於與代表對象無關聯的對象將該對象作為新的代表對象進行登錄。
另外，此時，在需要進行屬性變換時就進行指定。另外，對已經與代表對象建立關聯的對象的關聯進行改變。於是，將上述結果進行存儲，將存儲的結果進行印刷，在萬一不能從參照的代表矢量化數據重構對象的場合，可將代表對象變倍使用。
《操作畫面規範》操作畫面由顯示裝置和可以指定畫面內的位置的輸入裝置構成，在以下所述的示例中，是由LCD及觸控螢幕構成的，但此外也可以由CRT和滑鼠指針構成的裝置構成。
《複製操作規範》圖22為示出用來進行複製操作的基本畫面的圖。另外，因為在本發明中實現的功能，通常多是設定在一層裡面的操作，在本實施方式的操作畫面的示例中，是匯總成為「應用模式」的一個操作。於是，在操作員按下在圖22的所示的基本畫面上顯示的「應用模式」鍵221時，就顯示圖23所示的畫面。
圖23為示出列舉顯示在應用模式中包含的功能的應用模式顯示畫面的圖。在示於圖23的應用模式顯示畫面中，在操作員按下矢量化(Vectorize)鍵231時，就顯示圖24所示的畫面。圖24為示出用來執行矢量化處理功能的矢量化處理畫面的示圖。
於是，操作員通過按下在圖24中所示的矢量化處理畫面上顯示的「讀入開始」鍵241，使MFP100讀出設置於圖像讀出單元110上的原稿。另外，在讀出原稿後，生成XML基準的SVG文件，並將該文件存儲於未圖示的存儲器區域。此處，圖25為示出讀出原稿生成的XML基準的SVG文件的一個例圖。另外，與上述處理同時，根據操作單元的解析度，讀出這一文件，顯示圖26所示的畫面。
圖26為用於應用顯示讀出文件的本發明的特徵畫面，下面對該畫面予以詳細說明。
在圖26中，作為讀出的圖像及其矢量化的結果，構成畫面的要素(以後稱其為「對象」)及其位置以矩形261表示。圖像顯示單元是壓板圖像。另外，使用擴大鍵262可以將顯示圖像擴大，在這種情況下，超過顯示區域的部分的滾動可以通過點擊滾動鍵263等使圖像在上下方向上或左右方向上移動。
此外，通過操作頁選擇鍵264可以選擇頁，在選擇了某一頁時，顯示該頁的圖像及矢量化結果。比如，在圖26的例子中，顯示使用ADF讀入的9頁原稿內的第1頁。另外，作為顯示的對象只是以矩形261顯示的「Grap！」這一個徽標，剩餘的部分作為背景顯示。另外，關於背景，因為是提取構成圖像的對象之後的剩餘圖像，不特別以矩形顯示。
此處，對象的選擇可以通過直接觸摸矩形261內的對象等方式進行指定來選擇。於是，比如，也可以改變將所選擇的對象的矩形261以實線表示，非選擇的對象以虛線表示等顯示方法。由此，操作員對於對象是否被選擇可以一目了然。此外，不僅以實線表示所選擇的對象的矩形，而且對代表對象分配特定的顏色(比如，紅色)。
另一方面，265是代表對象選擇鍵，在矩形261內指定的對象與一些代表對象相關聯時，表示與該對象的關聯。具體言之，該代表對象選擇鍵265在成為選擇的選擇狀態的同時，該鍵內的中心的矩形顯示也成為分配給代表對象的顏色(比如，紅色)。此外，在對象關聯鍵260之中，對所與選擇的對象相關聯的鍵(比如，「New Original」鍵266)進行選擇顯示。
下面對所選擇的對象已經是代表對象的場合予以說明。在圖26中，由於利用矩形261選擇的「Grap！」這一徽標已經成為代表對象，只有「New Original」鍵266變成選擇狀態。
下面對所選擇的對象還未成為與代表對象相關聯的場合予以說明。就是說，在利用矩形261選擇的「Grap！」這一徽標還未成為代表對象的場合，對於代表對象選擇鍵265，在中心的矩形顯示成為非選擇狀態的同時，矩形顯示本身也成為通常的顏色(比如，黑色)。另外，與此同時，表示代表對象的矩形261也成為同色(比如黑色)。另外，對象關聯鍵260也全部成為非選擇顯示。
下面對用來使不是代表對象的對象成為代表對象的操作進行說明。在圖26顯示的畫面狀態中，在操作員按下「New Original」鍵266時，就將現在選擇的對象作為代表對象登錄。由此，對登錄的代表對象分配與各個代表對象相對應的顏色(比如，紅色)，代表對象選擇鍵265變成選擇狀態，該鍵內的矩形顯示部分也變成與表示登錄的代表對象的矩形261同色(比如，紅色)。
下面，對於作為代表對象登錄的對象，改變為不是代表對象的對象的處理予以說明。在圖26所示的畫面顯示狀態中，當再次按下「NewOriginal」鍵266時，「New Original」鍵266就變成非選擇狀態。由此，在對象關聯鍵260全部變成非選擇顯示時，與代表對象的關聯解除，代表對象選擇鍵265的矩形顯示變成非選擇狀態，將表示對象的矩形261作為原始對象對待，顯示表示原始對象的通常的顏色(比如，黑色)的矩形。
另外，在要從代表對象改變為原始對象之際存在與該代表對象相關聯的其他對象的場合，就顯示圖27所示的警告消息271，詢問操作員是否繼續操作。就是說，圖27為示出在要從代表對象改變為原始對象之際顯示的畫面的一個例圖。其中，在操作員按下「Cancel」鍵272時，就返回到圖26所示的原來的畫面狀態。另一方面，在操作員按下「OK」鍵273時，就將該代表對象從代表對象列表中刪除。
下面對在圖26所示的狀態的畫面中可執行的其他處理予以說明。在圖26所示的狀態的畫面中，當操作員按下「預覽確認」鍵267時，就可以在預覽區域中反映出包含與代表對象的關聯，通過此前進行的操作圖像成為了什麼狀態。另外，在預覽顯示中，選擇顯示「預覽確認」鍵267。於是，操作員通過再次按下該鍵就可以返回到原來的對象顯示，而「預覽確認」鍵267變成為非選擇狀態。
下面對編輯結果的保存和取消予以說明。在圖26所示的狀態的畫面顯示中，當操作員按下「OK」鍵268時，該狀態的結果作為文檔保存。另一方面，當操作員按下「設定取消」鍵269時，就將該設定廢棄而返回到圖22所示的複製基本畫面。
下面對與代表對象的關聯顯示予以說明。圖28為示出在利用與圖26相同的作業讀入原稿的圖像之中顯示5/9頁的部分的例圖。在圖26所示出的畫面上顯示的頁中，包含四個對象的矩形281～284和一個背景。其中，對象的矩形281與圖26所示的代表對象的矩形261相關聯。於是，反映這一點，使代表對象選擇鍵265的中心的矩形和矩形281的矩形，以分配給代表對象261的顏色(比如，紅色)進行顯示。另外，在對象關聯鍵260中，「Change Size」、「Change Location」、「Change Direction」變成選擇狀態。
下面對在圖28的畫面中對改變與代表對象的關聯的場合予以說明。首先，因為從圖28所示的畫面的狀態，當操作員按下成為選擇狀態的「Change Location」鍵285改變為非選擇狀態，在按下「預覽確認」鍵286時，雖然方向和尺寸改變，但位置還是代表對象的原狀態，轉移到圖29所示的畫面顯示。就是說，圖29是顯示從圖28的畫面改變了代表對象的方向和尺寸時的狀態的畫面的圖。
另外，當操作員同樣按下成為選擇狀態的「Change Color」鍵287時，則可以顯示未圖示的彩色表，指定顏色。另外，在改變顏色的場合，「Change Color」鍵變成選擇狀態。
下面，對在圖28的畫面中，改變代表對象的場合予以說明。在圖28所示的畫面狀態中，操作員，即使是利用代表對象選擇鍵265改變關聯代表對象，與由矩形261表示的與代表對象關聯不改變，如圖30所示，代表對象選擇鍵301、對象關聯鍵302的全部的鍵變成非選擇狀態。另外，代表對象選擇鍵301的中心的矩形，變成分配給所選擇的代表對象的顏色。就是說，圖30為示出代表對象選擇鍵及對象關聯鍵的全部鍵為非選擇狀態的畫面的圖。
下面，在圖30中，對解除與代表對象的關聯並與其他代表對象建立關聯的場合予以說明。在圖30所示的畫面的狀態中，在已經於其中分配其他代表對象的場合，「New Original」鍵305成為不可選擇的狀態。在此狀態下，在操作員按下對象選擇鍵301的中心的矩形時，就解除與以圖26的矩形261示出的代表對象的關聯而建立與該代表對象的關聯，並且代表對象的矩形303變更為分配給該代表對象的顏色，即對象選擇鍵301的中心的顏色。與此同時，作為初始值「Just Same」鍵304成為選擇狀態。於是，在操作員在此狀態下按下「預覽確認」鍵時，就轉移到圖31所示的畫面顯示。就是說，圖31為示出解除與代表對象的關聯而與其他代表對象進行關聯的場合的畫面的一個例圖。
下面對指定與新的代表對象的關聯的場合予以說明。在圖31所示的畫面顯示中，還想要改變大小時，操作員可按下「Change Size」鍵311。結果，轉移到圖32所示的畫面。就是說，圖32為示出用來在圖31示出的畫面顯示中進一步改變大小的畫面的一個例圖。於是，在操作員利用與滑鼠等連動的箭頭圖標321將矩形322拖放成為所要求的大小後，矩形322在實時狀態下改變為圖33所示的畫面的矩形332，並且通過操作員在箭頭圖標331的位置停止拖放，如圖34示出的畫面的矩形341所示，可確定與矩形341的大小相應的大小的代表對象。就是說，圖33為從圖31的畫面顯示中操作員拖放箭頭圖標的狀態的畫面顯示的圖。另外，圖34為利用箭頭圖標的拖放按照定出的矩形的大小代表對象被確定的圖像顯示的圖。
下面對解除與代表對象的關聯而產生新代表對象的場合予以說明。在圖30所示的畫面的狀態下，在代表對象不能登錄到該區域的場合，「NeW Original」鍵305為可按下狀態。在該狀態下，在操作員選擇(按下)「New Original」鍵302時，登錄新的代表對象，表示該代表對象的矩形303改變為對象選擇鍵301的中心的顏色。
下面對解除與代表對象的關聯的場合予以說明。在圖28所示的畫面的狀態下，在按下處於對象選擇鍵265的中心的選擇狀態的代表對象鍵時，此鍵變成非選擇狀態。由此，以矩形281表示的對象，解除與代表對象的關聯，可以作為原始的對象對待。在此場合，包圍該對象的矩形281改變為表示原始對象的顏色。
下面對由矢量數據重構對象的處理予以說明。圖35為用來說明由矢量數據重構對象的場合的處理的流程圖。
首先，從以描述語言描述的圖像數據，讀入有關對象的數據(步驟S3501)。於是，在該對象是原始對象的場合，由該矢量數據重構對象。就是說，判斷該對象是否是原始對象(步驟S3502)，並且在不是原始對象，而是參照某個其他代表對象的場合(No)，就讀入參照目標的矢量數據(步驟S3503)。
於是，通過讀入參照目標的矢量數據判斷是否存在參照目標的矢量數據(步驟S3504)，並且在存在的場合(Yes)，按照其屬性描述，由該矢量數據重構對象(步驟S3505)。另一方面，在步驟S3505中判斷為不能讀入參照目標的矢量數據的場合(No)，準備代替對象的矢量數據(步驟S3507)。
在對在步驟S3505中讀出的矢量數據進行重構之後，判斷可否由參照目標的矢量數據重構對象(步驟S3506)。其結果為可以由代表矢量數據按照屬性描述重構的場合(Yes)，就從該矢量數據重構對象(步驟S3508)。另一方面，在不能由參照目標的矢量數據按照屬性描述重構的場合(No)，就準備代替對象的矢量數據(步驟S3507)，從該矢量數據重構對象(步驟S3508)。
發送/傳真操作規範
圖36為示出用來進行發送/傳真的基本畫面的示圖。為利用本發明的功能，需要進行讀入設定，可利用讀入設定下拉工具進行設定。在操作員在圖36所示的畫面上按下讀入設定下拉工具361時，如圖37所示的畫面，顯示下拉工具371。就是說，圖37為示出用來進行發送/傳真的詳細操作的畫面的圖。通過按下其中的詳細設定鍵372，顯示圖38所示的輸入設定詳細畫面。就是說，圖38為示出讀入設定詳細畫面的一個例圖。於是，在操作員再在圖38的畫面上按下應用模式鍵381時，就顯示圖26所示的畫面，以下可以進行與複製的操作規範同樣的處理。
箱框操作規範
圖39為示出箱框的基本畫面的示圖。在操作員在圖39示出的畫面中按下表示箱框00的鍵371後，顯示圖40所示畫面。就是說，圖40為示出用來顯示存儲於特定的用戶箱框中的文檔的畫面的示圖。當操作員按下圖40示出的畫面的原稿讀入鍵401時，就顯示原稿讀入設定畫面。另外，原稿讀入設定畫面，顯示與發送/傳真的操作規範同樣的圖38所示的畫面。
在本實施例中，如圖40所示，已經存儲一個文檔，當按下此文檔的行402時，可以選擇該文檔。圖41為示出選擇圖40的行402的場合的畫面的示圖。在圖41中，行411示出選擇圖40的行402反轉的情況。於是，在操作員選擇行411的文檔時，可以確認文檔。另外，在操作員按下圖像顯示鍵412時，顯示圖26所示的畫面，以下可以進行與複製的操作規範同樣的處理。
同樣地，在圖41所示的狀態中，在操作員按下印刷鍵413後，就顯示圖42所示的畫面，可以進行印刷設定。就是說，圖42為示出用來進行印刷設定的畫面的示圖。於是，在操作員於此處按下應用模式鍵421時，顯示圖26，以下可以進行與複製的操作規範同樣的處理。
實施例2
下面對第2個實施例予以說明。另外，下面只對與上述實施例1的不同之處予以說明。另外，在本實施例中，根據從其他取得參照的代表對象不能不是代表對象的這一條件，對進行停止代表對象的這一操作的場合予以說明。
在圖26示出的畫面的狀態中，在操作員按下「New Original」鍵266後，「New Original」鍵266就變成非選擇狀態。這樣，在對象關聯鍵260全部變成非選擇顯示後，與代表對象的關聯解除，代表對象選擇鍵265中心的矩形顯示變成非選擇狀態。由此，在矩形261中表示的對象作為原始對象處理，該矩形261顯示表示原始對象的黑色。另外，與此同時表示原始選擇鍵266的中心選擇的對象的矩形也變成同色(黑色)。
但是，在與該代表對象相關聯的對象存在的場合，顯示如圖43所示的消息。就是說，圖43為示出利用其他對象進行參照的代表對象要解除代表對象時顯示的警告的畫面的圖。此處，在操作員按下「OK」鍵431時，在返回到圖26的畫面的狀態的同時，不從代表對象列表中刪除。
其他實施方式
以上對實施方式進行了詳細描述，本發明，比如，可以是採用由系統、裝置、方法、程序或存儲媒體等構成的實施方式，具體言之，既可以適用於由多個機器構成的系統，並且也可以適用於由一個機器構成的裝置。
另外，本發明也包含將實現上述實施方式功能的軟體的程序(在實施方式中與圖示的流程圖相對應的程序)直接或遠距供給系統或裝置，並由該系統或裝置的計算機將該供給的程序代碼讀出執行而達成的場合。
所以，由於本發明的功能處理利用計算機來實現，所以安裝於該計算機中的程序代碼本身也是實現本發明的工具。就是說，本發明，也包含用於實現本發明的功能處理的電腦程式本身。
在此場合，只要具有程序的功能，即使是目標代碼、利用解釋程序執行的程序、供給OS的腳本數據等形式也可以。
作為用來供給程序的記錄媒體，比如，有軟盤(註冊商標)、硬碟、光碟、磁光碟、MO、CD-ROM、CD-R、CD-RW、磁帶、非易失性存儲卡、ROM、DVD(DVD-ROM、DVD-R)等等。
此外，作為程序供給方法，也可以利用客戶計算機的瀏覽器連接到網際網路的主頁，從該主頁將本發明的電腦程式本身或包含壓縮的自動安裝功能的文件下載到硬碟等記錄媒體上而供給。另外，將構成本發明的程序的程序代碼分割為多個文件，通過從不同的主頁下載各個程序也可以實現。就是說，使用於利用計算機實現本發明的功能處理的程序文件對多個用戶下載的WWW伺服器也包含於本發明之中。
另外，將本發明的程序加密存儲於CD-ROM等存儲媒體中分送給用戶，對於通過規定的條件的用戶，也可以經網際網路從主頁下載解密的密鑰信息，使用該密鑰信息執行經過加密的程序而安裝於計算機中。
另外，計算機，通過執行讀出的程序，除了實現上述實施方式的功能之外，還可以根據該程序的指示，使在計算機系統上運行的OS等進行實際處理的一部分或全部，利用該處理也可以實現上述實施方式的功能。
此外，從記錄媒體讀出的程序，在寫入到插入到計算機中的功能擴展板及與計算機相連接的功能擴展單元中設置的存儲器之後，根據該程序的指示，由設置於該功能擴展板及功能擴展單元中的CPU等進行實際的處理的一部分或全部，藉助該處理也可實現上述的實施方式的功能。
根據本發明，通過對代表性的對象將全部數據矢量化，對與其同一或類似的對象參照矢量化的代表性的對象及利用其差分數據，可以在促進利用存儲器的效率的同時，通過對代表對象進行編輯，可以將與其同一或類似的對象進行一攬子變換。
就是說，在將原稿作為圖像信息保持之際，通過對圖像內的全部對象以一定的基準進行比對而判定是否是同一，對可能判定為同一的對象只存儲代表性的對象的矢量數據，對其他對象示出對該對象的參照，在存在與代表性的對象的差別的場合，以描述語言表現該差分。由此，在改善存儲器效率的同時，也可以通過在編輯之際本質上同一的對象對代表性的對象進行編輯將全部對象進行一攬子變換。
權利要求
1.一種圖像處理系統，其特徵在於包括輸入圖像信息的輸入裝置；將上述圖像信息進行矢量化的矢量化裝置；將包含於上述圖像信息中的第1對象的矢量數據進行存儲的第1存儲裝置；判定包含於上述圖像信息中的第2對象和上述第1對象的同一性的判定裝置；以及在上述第1及第2對象中存在同一性時，代替該第2對象的矢量數據，將包含有關對上述第1對象的矢量數據的參照目標的信息的屬性信息進行存儲的第2存儲裝置。
2.如權利要求1所述的圖像處理系統，其特徵在於上述第2存儲裝置還將上述第1及第2對象的差分信息與上述屬性信息相關聯地進行存儲。
3.如權利要求1所述的圖像處理系統，其特徵在於上述判定裝置基於由存儲於上述第1存儲裝置中的上述第1對象的矢量數據再現的對象和上述第2對象的比較結果判定上述第1及第2對象的同一性。
4.如權利要求3所述的圖像處理系統，其特徵在於上述判定裝置基於上述再現的對象和上述第2對象的比較結果判定兩者的差分分量是否在規定的範圍內。
5.如權利要求1所述的圖像處理系統，其特徵在於上述判定裝置基於存儲於上述第1存儲裝置中的上述第1對象的矢量數據和上述第2對象的矢量數據的比較結果判定上述第1及第2對象的同一性。
6.如權利要求5所述的圖像處理系統，其特徵在於上述判定裝置基於上述第1對象的矢量數據和上述第2對象的矢量數據的比較結果判定兩者的差分分量是否在規定的範圍內。
7.如權利要求4所述的圖像處理系統，其特徵在於還包括將上述第2對象在畫面上顯示的顯示裝置；從上述畫面上接受操作員的指示的接受裝置，其中上述判定裝置基於由上述接受裝置所接受的上述操作員的指示，判定上述第2對象和上述再現的對象的同一性。
8.如權利要求7所述的圖像處理系統，其特徵在於上述顯示裝置，將作為一對象化單位的上述第2對象用矩形圖形包圍並顯示於上述畫面上。
9.如權利要求7所述的圖像處理系統，其特徵在於上述顯示裝置可以將上述第2對象和上述再現的對象進行置換顯示於上述畫面上。
10.如權利要求8所述的圖像處理系統，其特徵在於還包括將利用上述顯示裝置在上述畫面上以矩形進行顯示的上述第2對象作為新對象進行登錄的登錄裝置。
11.如權利要求4所述的圖像處理系統，其特徵在於上述判定裝置在上述再現的對象和上述第2對象進行比較之際將兩數據進行過濾之後進行比較。
12.如權利要求2所述的圖像處理系統，其特徵在於上述差分信息是涉及為了成為與上述第1對象同一的上述第2對象的變倍率、顏色種類、取向或位置中的至少任意一個屬性的信息。
13.如權利要求1所述的圖像處理系統，其特徵在於上述判定裝置在由上述矢量化裝置對上述圖像信息進行矢量數據化的過程中，判定上述第2對象與上述第1對象是否同一對象。
14.如權利要求1所述的圖像處理系統，其特徵在於還包括為了使對象化單位得以了解將矢量數據化的圖像信息進行畫面顯示的顯示裝置；以及指定利用上述顯示裝置進行畫面顯示的對象而判斷為同一對象，並將其一個作為代表矢量數據的指定裝置。
15.如權利要求4所述的圖像處理系統，其特徵在於還包括指定上述再現的對象和上述第2對象為滿足同一性的上述差分分量的範圍的指定裝置。
16.如權利要求1所述的圖像處理系統，其特徵在於還包括變更存儲於上述第2存儲裝置中的參照目標的變更裝置。
17.如權利要求15所述的圖像處理系統，其特徵在於上述變更裝置在解除對上述第1對象的參照時，上述第2存儲裝置存儲上述第2對象的矢量數據。
18.一種圖像處理系統，其特徵在於包括對於存在具有同一性的多個對象的圖像信息，存儲成為代表的第1對象的矢量數據的第1存儲裝置；作為在和上述第1對象之間具有同一性的第2對象的數據，將包含有關對上述第1對象的矢量數據的參照目標的信息的屬性信息和與上述第1對象的差分信息進行存儲的第2存儲裝置；在重構上述圖像信息之際，從存儲於上述第1存儲裝置中的上述矢量數據重構上述第1對象的第1重構裝置；以及在重構上述圖像信息之際，從存儲於上述第2存儲裝置中所存儲的上述屬性信息參照第1對象，利用關於該第1對象的矢量數據和上述差分信息，重構上述第2對象的第2重構裝置。
19.如權利要求18所述的圖像處理系統，其特徵在於上述第2重構裝置，在不能從作為參照目標的上述第1對象的矢量數據重構上述第2對象時，使用代替對象的矢量數據重構該第2對象。
20.如權利要求19所述的圖像處理系統，其特徵在於將使用代替對象的意思的通知進行彈出顯示。
21.如權利要求18所述的圖像處理系統，其特徵在於還包括對於從其他對象所參照的對象進行解除參照的解除裝置；以及在利用上述解除裝置解除參照目標之際，提示警告消息的提示裝置。
22.如權利要求21所述的圖像處理系統，其特徵在於還包括對於從其他對象所參照的對象進行禁止解除參照的解除的禁止裝置。
23.一種圖像處理方法，其特徵在於包括輸入圖像信息的輸入工序；將上述圖像信息進行矢量化的矢量化工序；將包含於上述圖像信息中的第1對象的矢量數據存儲於存儲裝置的第1存儲工序；判定包含於上述圖像信息中的第2對象和上述第1對象的同一性的判定工序；以及在上述第1及第2對象中存在同一性時，代替該第2對象的矢量數據，將包含有關對上述第1對象的矢量數據的參照目標的信息的屬性信息進行存儲的第2存儲工序。
24.一種圖像處理方法，是一種對於存在具有同一性的多個對象的圖像信息，存儲成為代表的第1對象的矢量數據的第1存儲裝置；作為在和上述第1對象之間具有同一性的第2對象的數據，將包含有關對上述第1對象的矢量數據的參照目標的信息的屬性信息和與上述第1對象的差分信息進行存儲的第2存儲裝置的圖像處理系統的圖像處理方法；其特徵在於包括在重構上述圖像信息之際，從存儲於上述第1存儲裝置中的上述矢量數據重構上述第1對象的第1重構工序；在重構上述圖像信息之際，從存儲於上述第2存儲裝置中所存儲的上述屬性信息參照第1對象，利用關於該第1對象的矢量數據和上述差分信息，重構上述第2對象的第2重構工序。
全文摘要
本發明提供圖像處理系統及圖像處理方法。可提供一種通過對代表性的對象將全部數據矢量化，對與其同一或類似的對象參照矢量化的代表性的對象及利用其差分數據，可以在促進利用存儲器的效率的同時，通過對代表對象進行編輯，可以將與其同一或類似的對象匯總進行變換的圖像處理系統及圖像處理方法。首先，將輸入的圖像信息矢量化，存儲代表對象的矢量數據。於是，對於成為對象的對象(object)判定與代表對象的同一性，在存在同一性的場合，代替對象對象(對象object)的矢量數據，存儲包含有關對代表對象的矢量數據的參照目標的信息的屬性信息。
文檔編號H04N1/32GK1719864SQ20051008325
公開日2006年1月11日 申請日期2005年7月7日 優先權日2004年7月7日
發明者吉田廣義, 加藤進一, 關口賢三, 辻博之, 西川英一, 矢口博之, 木虎正和, 松久保勇志 申請人:佳能株式會社