圖像處理器、圖像處理方法和程序的製作方法

2023-04-26 11:22:31

專利名稱：圖像處理器、圖像處理方法和程序的製作方法
技術領域：
本發明涉及圖像處理器、圖像處理方法和程序。具體而言，本技術便於生成圖像失真已被校正的廣角合成圖像。
背景技術：
在相關技術中，在擺動或平移成像裝置並且連接所捕獲的圖像以生成全景圖像，即合成圖像的同時，執行多個成像操作，其中該合成圖像與通過單個成像操作獲得的圖像相比，覆蓋了更寬的視角。例如，在日本未審查專利申請公報No. 8-116490中，為了生成全景圖像，當合成圖像吋，對由攝影透鏡像差、視差等等所引起的幾何移位進行校正。在日本未審查專利申請公報No. 8-116490中，通過使用其中視差已經基於通過到主題的距離的距離信息所計算的視 差大小校正的圖像來生成圖像。在日本未審查專利申請公報No. 2009-260567中，失真根據攝影條件或圖像的使用來校正。為了通過將多個所捕獲的圖像數據連接在一起來產生全景圖像，例如，根據成像時透鏡的焦距來校正失真，並且將失真已被校正的圖像連接在一起。當通過使用廣角透鏡來捕獲廣角圖像時，進行了遺留了邊緣失真的校正，這是因為具有邊緣失真的圖像比沒有邊緣失真的圖像看起來更自然。

發明內容
當採用圓柱投影法來生成全景圖像時，在固定的位置處旋轉成像裝置以生成多個所捕獲圖像，並接著將所生成的圖像連接在一起。圖IA至ID示出了圓柱投影法。該圓柱投影法假設成像裝置到主題的距離總是恆定的。如圖IA所示，當成像裝置90到主題91的距離恆定且主題91的尺寸相同，則圖IB所示的所捕獲圖像中的主題圖像91p的尺寸似乎相等。另ー方面，當成像裝置到主題的距離發生了改變，則會根據到主題的距離而發生圖像失真。例如，假定從成像裝置90延伸到圓柱表面93上的第一捕獲圖像94的一個端點Pl的分段LNl與平面96相交於交點Pl，處，如圖IC所示。從成像裝置90的位置延伸到第一捕獲圖像94的另一端點P2的分段LN2與平面96相交於交點P2'處。類似地，假定從成像裝置90的位置延伸到圓柱表面93上的第二捕獲圖像95的一個端點P3的分段LN3與平面96相交於交點P3'處。從成像裝置90的位置延伸到第二捕獲圖像95的另一端點P4的分段LN4與平面96相交於交點P4'處。在此情況下，第一捕獲圖像94代表在平面96上的交點Pli與P2'之間延伸的範圍。類似地，第二捕獲圖像95代表在平面96上的交點P3與P4'之間延伸的範圍。從成像裝置90的位置到交點PP的距離大於從成像裝置90的位置到交點P2'的距離，並且從成像裝置90的位置到交點P4'的距離大於從成像裝置90的位置到交點P3'的距離。結果，平面96上的主題92成了如圖ID所示的鼓狀失真主題圖像92p。由於圓柱投影法是假設了成像裝置到主題的距離總是恆定的成像方法，所以位於距成像裝置的不同的距離處的主題似乎根據其距離在所捕獲圖像上發生失真。但是，很難通過校正由成像透鏡像差和視差所引起的幾何移位(如在日本未審查專利申請公報No. 8-116490中)或通過根據透鏡焦距校正失真(如在日本未審查專利申請公報No. 2009-260567中)來校正由到成像裝置的不同的距離所引起的這些失真。期望提供能夠方便生成其中由到成像裝置的不同的距離所引起的圖像失真已被校正的廣角合成圖像的圖像處理器、圖像處理方法和程序。本發明的實施例涉及圖像處理器，該圖像處理器包括合成處理單元，該成處理單元通過從多個所捕獲圖像中剪輯圖像並且將所剪輯的圖像連接在一起來生成全景圖 像；以及處理單元，該處理単元適於通過基於通過測量到主題的多個位置的距離所獲得的距離信息修飾該全景圖像來校正由到該主題的不同距離所引起的全景圖像中主題的圖像失真。在本技術的實施例中，通過採用圓柱投影法來捕獲多個圖像。通過從多個所捕獲圖像中剪輯圖像並且將所剪輯的圖像連接在一起來生成廣角合成圖像。通過基於在主題的多個位置處，例如在將所剪輯圖像連接在一起的方向上的多個位置處所測量的到主題的距離的距離信息來校正由不同的距離所引起的全景圖像中主題的圖像失真。當合成圖像被縮小吋，當距離信息從最長距離開始變短時，合成圖像的縮小率増大。因合成圖像的縮小所產生的沒有圖像信息的區域被轉換成預定的圖像。此外，通過去除沒有圖像信息的區域來從所縮小的合成圖像中剪輯矩形圖像。當合成圖像被放大時，當距離信息從最短距離開始變長時，合成圖像的放大率増大。在顯示了圖像的顯示單元上，顯示合成圖像和失真已被校正的合成圖像，使得可以選擇合成圖像的任一者。本技術的另一實施例涉及圖像處理方法，該圖像處理方法包括通過從多個所捕獲圖像中剪輯圖像並且將所剪輯的圖像連接在一起來生成全景圖像；以及通過基於通過測量到主題的多個位置的距離所獲得的距離信息修飾該全景圖像來校正由到該主題不同的距離所引起的全景圖像中主題的圖像失真。本技術的另一實施例涉及用於使計算機執行圖像處理以通過多個所捕獲圖像來生成廣角全景圖像的程序，該程序包括通過從多個所捕獲圖像中剪輯圖像並且將所剪輯的圖像連接在一起來生成全景圖像；以及通過基於通過測量到主題的多個位置的距離所獲得的距離信息修飾該全景圖像來校正由到該主題不同的距離所引起的全景圖像中主題的圖
像失真。根據本技術實施例的程序是可以諸如光碟、磁碟、半導體存儲器或任何其他記錄介質中的計算機可讀形式設置到能夠執行各種程序的通用計算機，或通過諸如網絡之類的通信介質設置的程序。一旦這樣的程序以計算機可讀形式設置，則根據該程序在計算機系統上執行處理。根據本技術的實施例，通過從多個所捕獲圖像中剪輯圖像並將所剪輯的圖像連接在一起來生成合成圖像。通過基於通過測量到主題的多個位置的距離所得到的距離信息來校正由不同的距離所引起的合成圖像中主題的圖像失真。因此，本技術的實施例使得能夠生成其中由到成像裝置的不同的距離所引起的圖像失真已被校正的廣角合成圖像。


圖IA至圖ID闡明了圓柱投影法；
圖2示出了其中採用了圖像處理器的成像裝置的構造；圖3示出了具有相位差像素的CMOS固態成像設備的構造；圖4闡明了偏移量與散焦(defocus)量之間的關係；圖5是闡明其中採用了圖像處理器的成像裝置的操作的流程；
圖6A及圖6B闡明了當採用圓柱投影法時成像裝置與主題之間的關係；圖7示出了成像裝置與主題之間愛你的示例性距離；圖8示出了基於距離信息進行圖像縮小的示例性縮小率；圖9A及圖9B闡明了在處理單元中所執行的失真校正處理；圖IOA至圖IOE闡明了在完成失真校正處理之後由處理單元所執行的圖像處理；以及圖11是闡明其中採用了圖像處理器的成像裝置的其它操作的流程。
具體實施例方式現在，將描述本技術的實施例。將按照下列次序給出描述。I.其中採用了圖像處理器的成像裝置的構造2.其中採用了圖像處理器的成像裝置的操作3.其中採用了圖像處理器的成像裝置的其它操作〈I.其中採用了圖像處理器的成像裝置的構造〉圖2闡明了其中採用了根據本技術實施例的圖像處理器的成像裝置10的構造。成像裝置10包括成像透鏡單元11、成像設備12、成像設備驅動單元13、預處理單元14、相機DSP (數位訊號處理)部20、存儲器単元41、顯示單元42、記錄介質43、系統控制単元50和操作單元51。成像透鏡單元11充當成像光學系統，用以將來自主題的光導向成像設備12。成像透鏡單元11包括用於調整形成在成像設備12的成像表面上的光學圖像的焦點的聚焦透鏡和用於縮放光學圖像的變焦透鏡。成像設備12被構造為具有諸如CMOS (互補金屬氧化物半導體)或CXD (電荷耦合設備)等等之類的固態成像設備。成像設備12根據通過成像透鏡單元11形成在受光表面上的光學圖像來生成成像信號，並且將所生成的成像信號輸出到預處理単元14。成像設備驅動單元13生成驅動信號並將該驅動信號供給成像設備12，以使成像設備12生成並輸出成像信號。預處理単元14通過對成像設備12所供給的成像信號執行校正雙向採樣(⑶S)、模擬放大、模數(Α/D)轉換等等來生成圖像數據，並將所生成的圖像數據輸出到相機DSP部20。在下述系統控制單元50的控制下，相機DSP部20執行以下處理，包括記錄並再現從預處理單元14輸出的圖像數據，基於該圖像數據顯示圖像，並且生成廣角合成圖像，SP全景圖像。存儲器單元41被連接到相機DSP部20，並充當執行各種處理的相機DSP部20的工作空間。相機DSP部20包括相機信號處理單元21、存儲器控制單元22、透鏡控制単元23、解析度轉換單元24、顯示控制単元25、編解碼器単元26、介質控制単元27、主題距離測量單元28、合成處理單元29和處理單元30。相機DSP部20中的這些單元通過內部線31彼此連接。相機信號處理單元21對預處理單元14所供給的圖像數據執行白平衡調整、Y校正和其它處理。相機信號處理單元21從該圖像數據中檢測孔徑校正和自動對焦調整所必需的信息，並將所檢測到的信息輸出到透鏡控制単元23。存儲器控制單元22控制數據寫入存儲器単元41或從存儲器単元41讀取數據。存儲器控制單元22將相機DSP部20的各単元所供給的圖像數據和編碼數據寫入存儲器單元41，並且從存儲器単元41中讀取圖像數據和編碼數據，並且將所讀取的數據輸出到相機DSP部20的各單元。基於從相機信號處理單元21所獲得的信息和來自下述系統控制單元50的控制信號，透鏡控制單元23驅動成像透鏡單元11控制自動對焦、變焦、孔徑等等。解析度轉換單元24使存儲在存儲器単元41中的圖像數據或從相機信號處理單元21輸出的圖像數據的解析度發生轉換。例如，解析度轉換單元24將經受了相機信號處理的圖像數據轉換成與顯示單元42的顯示解析度相對應的圖像數據。解析度轉換單元24也將圖像數據轉換成由用戶所標識的解析度，使得該數據能夠被記錄在記錄介質43中。此外，解析度轉換單元24修剪所捕獲圖像的區域，並且執行與其解析度轉換有關的處理，以生成經受了電子變焦或再現變焦的圖像數據。顯示控制単元25利用解析度轉換單元24所供給的圖像數據和/或存儲在存儲器単元41中的圖像數據來驅動顯示単元42，以在成像操作過程中顯示監控器圖像、記錄在存儲器單元41中的圖像和/或記錄在記錄介質43中的圖像。顯示控制單元25也使顯示單元42顯示菜單，用以選擇安裝在成像裝置10上的功能和成像裝置10的設定狀態。編解碼器26壓縮圖像數據並將所得到的被編碼數據輸出到存儲器控制單元22和/或介質控制単元27以將被編碼數據記錄在存儲器単元41和/或記錄介質43中。編解碼器26也對從存儲器單元41和/或記錄介質43中所讀取的被編碼數據進行解壓，並且將所得到的圖像數據輸出到存儲器控制單元22、顯示控制単元25等等。為了對靜止圖像進行數據壓縮和解壓，應用了 JPEG (joint photographic coding experts group,聯合圖像專家組)方案。為了對運動圖像進行數據壓縮和解壓，應用了使用諸如IS0/IEC JTC1/SC29WG11的MPEGl (motion picture experts group 1，運動圖像專家組I)、MPEG2 (運動圖像專家組2)或 MPEG 4 (運動圖像專家組 4)、ITU-T 的 H. 263 或 H. 264/MPEG4-AVC (advanced videocoding，高級視頻編碼)等等之類的運動向量的數據壓縮方案。存儲器控制單元22控制數據寫入存儲器単元41或從存儲器単元41讀取數據。存儲器控制単元22將相機DSP部20的各単元所供給的圖像數據和編碼數據寫入存儲器単元41，並且相對於相機DSP部20的各單元讀取並輸出在存儲器単元41中存儲的圖像數據和編碼數據。介質控制単元27控制數據寫入記錄介質43或從記錄介質43中讀取數據。介質控制單元27將相機DSP部20的各単元所供給的圖像數據和編碼數據寫入記錄介質43，並且讀取並將存儲在記錄介質43中的圖像數據和編碼數據輸出到相機DSP部20的各単元。主題距離測量單元28通過測量到主題的多個位置的距離來生成距離信息。主題 距離測量単元28將所生成的距離信息供給存儲器単元41和/或記錄介質43。只要主題距離測量単元28能夠生成指示到主題的距離的距離信息，它就可以具備任何構造。例如，主題距離測量單元28可以通過基於來自使用了紅外光或超聲波等的距離傳感器的傳感器信號測量到主題的多個位置的距離來生成距離信息。主題距離測量單元28也可以通過使用成像裝置的自動對焦功能來生成到聚焦透鏡的焦點的距離信息。主題的多個位置的距離信息也可通過旋轉成像裝置10來生成。如在日本未審查專利申請公報No. 2010-169709中所公開的，所捕獲圖像中的主題的多個位置的距離信息也可通過使用CMOS固態成像設備來生成，其中該CMOS固態成像設備具有用於通過瞳分割(pupil-dividing)來自主題的光來檢測焦點的相位差像素。成像設備並不限於CMOS設備，並且可以具有具備相位差像素的任何構造。圖3示出了 CMOS固態成像設備的構造，其中該CMOS固態成像設備具有用於通過瞳分割來自主題的光來檢測焦點的相位差像素。成像設備12具有被構造為具有ニ極管的多個像素的ニ維矩陣。紅色(R)像素121、緑色(G)像素122和藍色(B)像素123被形成為具有不同光譜特性的濾色鏡，諸如在各個像素的受光表面上以I : 2 I的比率配置的紅色(R)、緑色(G)和藍色(B)濾色鏡。相位差像素對(以下被稱作自動對焦(AF)像素 對)12f也被設置為通過瞳分割來自主題的光來見檢測焦點。在圖3中，R像素121、G像素122、B像素123和AF像素對12f中的虛線表示充當聚光鏡的微透鏡。不具備瞳分割功能的R像素121和G像素122沿水平方向交替配置，形成了水平線LI，而B像素123和G像素122沿水平方向交替配置，形成了水平線L2。水平線LI和L2沿垂直方向交替配置，形成了 Brayer陣列。AF像素對12f沿水平方向重複配置，形成了 AF線Lf。陰影區域為遮光部LS。多個如此構造的AF線Lf沿垂直方向配置在該線的預定數目的間隔處。在AF像素對12f中的第一 AF像素12f-a處所獲得的受光數據被稱作A-系列數據，而在AF像素對12f中的第ニ AF像素12f-b處所獲取的受光數據被稱作B-系列數據。當對A-和B-系列圖像進行比較時，A-與B-系列圖像沿AF線Lf (水平方向)的偏移(位移)量隨散焦量的增加而増大。圖4闡明了 A-和B-系列圖像之間的散焦量與偏移量之間的關係。在圖4中，橫軸表示B系列圖像的重心位置相對於A系列圖像的重心位置的差值(像素間距)，而縱軸表示散焦量(Pm)。重心Xg的位置通過下列等式(I)來確定。在等式(I)中，例如，X1-Xn表示AF線Lf左端的像素位置，而Y1-Yn表示第一和第二 AF像素12f-a和12f-b在各個位置X1-Xn處的輸出值。
權利要求
1.ー種圖像處理器，所述圖像處理器包括 合成處理單元，所述合成處理單元通過從多個所捕獲圖像中剪輯圖像並且將所剪輯的圖像連接在一起來生成全景圖像；以及 處理單元，所述處理単元適於通過基於通過測量到主題的多個位置的距離所獲得的距離信息修飾所述全景圖像來校正由到所述主題的距離的不同所引起的全景圖像中主題的圖像失真。
2.根據權利要求I所述的圖像處理器，其中通過採用圓柱投影法使所述主題成像來生成所述多個所捕獲圖像。
3.根據權利要求I所述的圖像處理器，其中所述多個位置沿將所剪輯圖像連接在一起的方向布置。
4.根據權利要求I所述的圖像處理器，其中所述處理単元基於所述距離信息，根據到所述主題的距離，通過縮小或放大所述全景圖像來校正所述圖像失真。
5.根據權利要求4所述的圖像處理器，其中當所述距離信息從最長距離變短時，所述處理單元増加所述全景圖像的縮小率。
6.根據權利要求5所述的圖像處理器，其中所述處理單元將因所述全景圖像的縮小所產生的沒有圖像信息的區域轉換成預定的圖像。
7.根據權利要求5所述的圖像處理器，其中所述處理単元從所縮小的全景圖像中剪輯除了因所述全景圖像的縮小所產生的沒有圖像信息的區域之外的矩形圖像。
8.根據權利要求4所述的圖像處理器，其中當所述距離信息從最短距離變長時，所述處理單元増加所述全景圖像的放大率。
9.根據權利要求I所述的圖像處理器，包括 顯示單元，所述顯示單元適於顯示圖像； 其中所述全景圖像和所述失真已被校正的全景圖像被顯示在所述顯示単元上以使得能夠對全景圖像的ー者進行選擇。
10.ー種圖像處理方法，所述圖像處理方法包括 通過從多個所捕獲圖像中剪輯圖像並且將所剪輯的圖像連接在一起來生成全景圖像；並且 通過基於通過測量到主題的多個位置的距離所獲得的距離信息修飾所述全景圖像來校正由到所述主題的距離的不同所引起的全景圖像中主題的圖像失真。
11.一種用於使計算機執行圖像處理以通過從多個所捕獲圖像來生成廣角全景圖像的程序，所述程序包括以下步驟 通過從多個所捕獲圖像中剪輯圖像並且將所剪輯的圖像連接在一起來生成全景圖像；並且 通過基於通過測量到主題的多個位置的距離所獲得的距離信息修飾所述全景圖像來校正由到所述主題的距離的不同所引起的全景圖像中主題的圖像失真。
全文摘要
本發明涉及圖像處理器、圖像處理方法和程序。該圖像處理器包括合成處理單元，該合成處理單元通過從多個所捕獲圖像中剪輯圖像並且將所剪輯的圖像連接在一起來生成全景圖像；以及處理單元，該處理單元適於通過基於通過測量到主題的多個位置的距離所獲得的距離信息修飾該全景圖像來校正由到該主題不同的距離所引起的全景圖像中主題的圖像失真。
文檔編號H04N5/217GK102694993SQ201210073580
公開日2012年9月26日 申請日期2012年3月15日 優先權日2011年3月22日
發明者東本貴武 申請人:索尼公司