在三維室內獲取圖像的製作方法

2023-05-28 17:08:01

專利名稱：在三維室內獲取圖像的製作方法
技術領域：
本專利申請涉及一種被布置在三維室內獲取圖像的系統。本申請還涉及一種用於 在三維室內獲取圖像的方法，一種用於在三維室內獲取圖像的電腦程式產品以及一種計 算機程序，以及能夠在三維室內獲取圖像的遊戲控制臺。
背景技術：
在當前遊戲控制臺應用中，例如在視頻遊戲中，攝像機可以用於觀察視頻遊戲內 的一個玩家(一個用戶)或多個玩家(多個用戶)。玩家可以通過從攝像機中獲取的他們 的運動和姿態來操作視頻遊戲。同樣，在個人計算機應用程式中，可以獲取實體(例如人) 的姿態來操作程序。例如，根據US 6，901，561B1,已知一種識別用戶的動作並使那些動作與 特定計算機功能相對應的方法和設備。根據該現有技術，能夠在屏幕上的窗口內顯示用戶 的圖像。窗口可以包括目標區域。該方法還可以包括將第一計算機事件與顯示在目標區 域中的第一用戶動作相關聯，並且在存儲設備中存儲信息，使得第一用戶動作與第一計算 機事件相關聯。該系統可以識別特定用戶動作，並可以將特定用戶動作與特定計算機解釋 相關聯 。
然而，多玩家視頻遊戲以及更高級攝像機應用發展為使用多個攝像機。當使用多 個攝像機時，可以使這些攝像機從不同角度粗略對準三維室內中的相同點。攝像機的視角 可以在中間交疊，並存在所有攝像機可以查看的三維室內區域(交疊區域；交疊框)。該區 域是用戶執行任何動作的理想位置。應用多個攝像機可以防止用戶的遮擋的可能性。然而，用戶會發現很難估計交疊 區域的體積和精確位置，具體地，設想用戶察覺不到每個攝像機的視角有多寬。

發明內容
因此，本申請的目的是提供一種能夠使用戶易於操縱的使用多個圖像獲取單元 (例如，攝像機)的方法、系統、電腦程式以及遊戲控制臺。本申請的另一目的是提供在使 用多於一個攝像機操作電腦程式時最小化遮擋。本專利申請的另一目的是增加多攝像機 系統的可用性。本申請的這些和其他目的可以由包括至少兩個成像單元在內的系統來解決，至少 兩個成像單元被布置用於在三維室內獲取圖像。在三維室內，至少兩個成像單元的圖像獲 取區域可以在至少一個三維交疊框內交疊。可以提供被布置用於獲得來自至少兩個成像單 元的獲取圖像的至少一個圖像處理單元。圖像處理單元可以確定與至少一個三維交疊框有 關的信息。圖像處理單元還可以被布置用於輸出與三維交疊框有關的信息，以供信息輸出 單元(12)輸出。獲得與交疊框有關信息可以允許圖像處理單元輸出該信息。輸出該信息可以允許 向用戶給出在交疊框內如何定位自己使得防止遮擋的信息。此外，可以指示用戶移動到交 疊框中，以便提供通過例如三維姿態在三維室內操作電腦程式或視頻遊戲或視頻控制臺或其上的事件。可以通過計算圖像獲得單元的位置和視角來提供與至少一個三維交疊框有關的確定信息。圖像獲得單元例如可以是攝像機。攝像機能夠相互檢測彼此位置。能夠在圖像 處理單元內預定義和存儲攝像機位置。攝像機還能夠相互檢測彼此視角，並將該信息提供 給圖像處理單元。圖像處理單元還可以得知攝像機視角，並可以根據已知位置計算至少一 個三維交疊框。在信息輸出單元內提供與三維交疊框有關的信息可以允許用戶估計交疊區域的 精確位置。具體地，用戶不必關心攝像機的視角。可視化攝像機束截取彼此的空間可以允 許用戶在對所有攝像機適當可見的三維室內走來走去(當用戶在交疊框中走來走去時)。根據實施例，提供了布置圖像處理單元用於輸出與室內的區域有關的信息，在該 室內至少兩個成像單元的圖像獲取區域不交疊。通過提供與交疊框有關的信息以及與不存 在攝像機束交疊的區域有關的信息，允許指示用戶精確移動到交疊框中。具體地，能夠通過 提供與至少兩個成像單元的圖像獲取區域沒有交疊的區域有關的信息來指示用戶其在交 疊框外部。根據另一實施例，可以提供至少三個成像單元。在室內，至少三個成像單元的圖像 獲取區域能夠在至少一個第一三維交疊框內交疊。第一三維交疊框可以是所有攝像機的攝 像機束彼此交疊的交疊框。例如，在室內中具有三個攝像機，存在一個框，其中攝像機的視 角使得所有的圖像獲取區域(即，攝像機束)交疊。該第一三維交疊框提供最佳用戶視野 以及最佳遮擋防止。此外，在具有至少三個成像單元的實施例中，在室內，兩個成像單元的 圖像獲取區域可以在至少一個第二三維交疊框內交疊。在第二三維交疊框內，剛好兩個攝 像機束可以交疊。該區域可以被理解為中等質量區域，在該中等質量區域中，可以利用良好 精確度來獲得用戶姿態，然而，該精確度小於第一三維交疊框中的精確度。此外，對於第一和第二交疊框，在三維室內還可以存在成像單元的獲取區域不交 疊的區域。圖像處理單元可以被布置用於確定與第一三維交疊框、第二三維交疊框、以及不 交疊的區域有關的信息。圖像處理單元還可以被布置用於輸出由信息輸出單元輸出的與第 一三維交疊框、第二三維交疊框、以及不交疊的區域有關的信息。通過輸出該信息，用戶可 以獲知他在哪被三個攝像機看到、他在哪被兩個攝像機看到、他在哪僅被一個攝像機看到。 這可以允許用戶精確移動到該位置中，在該位置中可以最佳地防止遮擋，該位置可以是第 一三維交疊框。根據實施例，信息輸出單元包括顯示單元，被布置用於在三維顯示屏幕內投影室 內，以及在投影室內顯示至少一個三維交疊框。在屏幕內顯示交疊框允許用戶自己移動到 該區域中。例如，在屏幕上可以顯示用戶的位置以及交疊框的位置，並且用戶自己可以移動 到交疊框的位置。根據攝像機的實際角度，室內和交疊框的投影不需限制於室內的視野。相 反，例如在屏幕上顯示的室內的視野和交疊框的視野可以旋轉6個或小於6個自由度，使得 用戶能夠將室內的視野與屏幕上或室內的其自身視角對準。為了可能顯示第一和第二交疊框和不交疊的區域，根據實施例，能夠布置顯示單 元，來至少區別第一三維交疊框和不交疊框的區域，以及不交疊框的區域是通過在屏幕內 提供不同光學信息獲得的。
例如，不同區域和交疊框可以通過不同顏色、不同陰影、不同紋理、不同對比度、不同亮度等來可視化。根據實施例，能夠布置成像單元用於獲取室內實體和/或實體的姿態的信息。能 夠獲得實體的圖像。還能夠僅獲得實體的輪廓，並根據其輪廓獲得實體的姿態和位置。根據實施例，成像單元被布置用於獲取實體的空間位置。根據實施例，通過獲取實 體的空間位置，能夠使該位置與交疊框有關。這可以允許指示用戶其是否在交疊框內，並且 指示用戶移動到特定方向以進入到交疊框中。根據實施例，成像單元被布置用於確定室內彼此的位置。成像單元還被布置用於 相互檢測彼此視角。例如，每個成像單元可以提供照明單元(例如，LED)，該照明單元允許 其他成像單元發現該位置。成像單元還可以通過有線或無線通信彼此通信，並且彼此通信 它們的視角和/或它們的位置。然而，圖像處理單元還能夠確定成像單元的位置和視角。實施例提供在圖像處理單元中至少根據成像單元的位置信息來計算至少一個三 維交疊框。根據實施例，圖像處理單元可以被布置用於，至少根據與成像單元的視角有關的 信息來計算至少一個三維交疊框。根據實施例，顯示單元可以被布置用於操縱投影的三維 室內的至少一個三維交疊框的顯示。為了向用戶給出關於他們相對於交疊框的位置的信息，還能夠產生聲音信息。例 如，信息輸出單元可以被布置用於，根據至少一個交疊框和至少一個實體的相對空間位置 提供聲音信息。根據實施例，信息輸出單元可以形成遊戲控制臺的一部分。本申請的另一方面是一種方法，包括在三維室內獲取至少兩個圖像，其中，在室 內，至少兩個成像單元的圖像獲取區域在至少一個三維交疊框內交疊；獲得獲取的圖像； 確定與至少一個三維交疊框有關的信息；以及輸出與三維交疊框有關的信息。本申請的另一方面是一種電腦程式產品，包括指令，操作處理器在三維室內獲 取至少兩個圖像。在室內，至少兩個成像單元的圖像獲取區域可以在至少一個三維交疊框 內交疊。可以獲得獲取的圖像。可以確定與至少一個三維交疊框有關的信息。可以輸出與 三維交疊框有關的信息。本申請的另一方面是一種電腦程式，包括指令，操作處理器在三維室內獲取至 少兩個圖像。在室內，至少兩個成像單元的圖像獲取區域可以在至少一個三維交疊框內交 疊。可以獲得獲取的圖像。可以確定與至少一個三維交疊框有關的信息。可以輸出與三維 交疊框有關的信息。本申請的另一方面是一種遊戲控制臺。遊戲控制臺可以包括被布置用於獲得來 自至少兩個成像單元的獲取圖像的至少一個圖像處理單元。圖像處理單元還可以被布置用 於確定與至少一個三維交疊框有關的信息。在室內，至少兩個成像單元的圖像獲取區域交 疊。圖像處理單元還可以被布置用於輸出與三維交疊框有關的信息，以供信息輸出單元輸 出。可以提供處理器用於處理實體相對於交疊框的信息。參照以下附圖，本申請的這些和其他方面將變得顯而易見並進行闡述。


圖1示出了具有兩個攝像機的室內；
圖2示出了具有三個攝像機的室內的頂視圖；圖3示出了用於獲得圖像的系統；圖4示出了用於獲取圖像的攝像機。
具體實施例方式圖1示意性示出了三維室內4。在三維室內4內，布置兩個成像單元2a、2b，可以 是諸如CCD攝像機之類的攝像機。示意性示出了圖像獲取區域6a、6b。圖像獲取區域6a是 成像單元2能夠從中獲得圖像的區域。圖像獲取區域6a的大小由成像單元2a的視角來限 定。成像區域6b由成像單元2b的視角來限定。成像區域6a、6b在示意為點區域的交疊框 8內相交。圖像獲取區域6a、6b的交疊是交疊框8，在該交疊框8內，兩個成像單元2a、2b 獲取室內4內的圖像。還示出了區域14，在區域14內，圖像獲取區域6a、6b不交疊，並且在區域14內，僅 一個成像單元2a、2b獲得圖像。例如，當從成像單元2b中提取出交疊框8的視野時，例如，當對象位於交疊框8之 前時，靜 態成像單元2a還可以獲得交疊框8內實體的圖像。因此，在交疊框8內，可以最小 化或防止遮擋。圖2示出了室內4的頂視圖，在室內4中，除了成像單元2a、2b以外，還提供了成 像單元2c。如所見，在第一交疊框8a內，圖像獲取區域6a、6b和6c (成像單元2c的圖像獲 取區域6c)在室內4的中間交疊。在該第一交疊框8a內，所有三個成像單元2a_c可以獲 取圖像。除了交疊框8a以外，還存在以直線示意的交疊框8b，在交疊框8b中，兩個成像單 元2a、2b、2c分別獲得圖像。這可以理解為第二交疊框Sb。除了交疊框8以外，還存在區域 14，在區域14內，僅一個成像單元2可以獲得圖像。圖3示出了如圖1、2所示具有成像單元2的具有室內4的系統。此外，示出了圖 像處理單元10、處理器24、遊戲控制臺20、輸出單元12a、12b、以及電腦程式產品22。此 夕卜，輸出單元12a包括屏幕18，輸出單元12b包括揚聲器。圖像處理單元10可以從成像單元2獲得室內4的獲取的圖像。此外，成像單元2 可以彼此進行通信，並且通信它們的視角和它們在室內4的位置。有關成像單元2的位置 和視角的信息還可以通信至圖像處理單元10。通過具有與成像單元2的視角和位置有關的信息，圖像處理單元10可以處理和計 算與如2所示的第一交疊框8a、第二交疊框Sb、以及區域14有關的信息。計算該信息之後，圖像處理單元10可以將該信息提供給處理器24。在處理器24 內，接口 24a可以接收與從成像單元2獲取的圖像有關的信息、以及與交疊框8和區域14 有關的信息。在控制器24b中處理與交疊框8和區域14有關的信息、以及來自成像單元2 的圖像信息。將圖像信息提供給接口 24c。除了來自成像單元2的圖像信息以外，將與交疊框8和區域14有關的信息提供給 接口 24c。接口 24c將信息提供給輸出單元12a。根據提供的信息，在屏幕18內，存在將室 內4投影為投影室16的區域。在投影室16內，以圖形方式示出室內4。除了示出室內4以 夕卜，在投影室內6中示意了室內4內的至少一個交疊框8。此外，可以在投影室內16中示意攝像機的位置。此外，可以在投影室內16中示意成像單元2的視角和圖像獲取區域6。此 夕卜，可以在投影室內16中示意區域14。投影室內16可以與屏幕18—起自由地被移動、傾 斜、滾動、搖動等6個自由度，使得允許調整與室內4內的實體的位置對準的投影室內16上 的視野。在投影室16內，還能夠顯示在室內4內的實體。通過在投影室16內顯示實體以 及交疊框8，允許室內4中的實體在交疊框8內定位自己。因此，實體可以確定其被至少兩 個或甚至更多成像單元2看到。除了以圖形輸出交疊框18和區域14以外，接口 24d可以向揚聲器12b輸出與交 疊框8和區域14有關的信息。此外，可以對到揚聲器12b的關於實體的信息進行處理。接 口 24d還能夠計算室內4內的實體和交疊框8之間的相對位置。在實體在交疊框8外部的 情況下，接口 24d可以指示揚聲器12b向實體發出信息使其移動到框中。這可以是上下、左 右信息、以及不同聲音或能夠指示實體在交疊框8內移動的其他指令。圖4示出了成像單元2。成像單元2可以包括物鏡2a以及用於獲得由物鏡2a獲 取的圖像的圖像傳感器2b。此外，成像單元2可以包括LED2c和光傳感器2d。處理器2f 可以指示LED 2c閃爍。處理器2e可以從傳感器2d獲得與其他成像單元2的閃爍LED的 相對位置有關的信息，從而允許獲得與其他攝像機的位置有關的信息。通過指示LED 2c閃 爍，其他攝像機可以獲得所示成像單元2的位置。除了圖像信息2b以外，另一處理器2g可 以處理與由傳感器2e獲得的位置有關的信息。此外，可以通過處理器2g從成像單元2輸 出圖像信息和位置信息以及視角信息。通過提供與交疊框有關的信息，本申請允許降低遮擋並指示實體容易地移動到交 疊框中。這 可以提高受視頻控制臺控制的攝像機的操作性。
權利要求
一種系統，包括-至少兩個成像單元(2)，用於在三維室內(4)獲取圖像，-其中，在室內(4)，至少兩個成像單元(2)的圖像獲取區域(6)在至少一個三維交疊框(8)內交疊，-至少一個圖像處理單元(10)，用於獲得來自至少兩個成像單元(2)的獲取的圖像，並且用於確定與至少一個三維交疊框(8)有關的信息，-其中，所述圖像處理單元(10)還用於輸出與三維交疊框(8)有關的信息，以供信息輸出單元(12)輸出。
2.根據權利要求1所述的系統，其中，所述圖像處理單元(10)還用於輸出與室內(4) 的區域(14)有關的信息，在所述區域(14)中，至少兩個成像單元⑵的圖像獲取區域(6) 不交疊。
3.根據權利要求1所述的系統，其中，提供至少三個成像單元(2)，-其中，在室內(4)，至少三個成像單元(2)的圖像獲取區域(6)在至少一個第一三維 交疊框(8a)內交疊，-其中，在室內(4)，兩個成像單元(2)的圖像獲取區域(6)在至少一個第二三維交疊 框(8b)內交疊，-其中，成像單元(2)的獲取區域(14)不交疊，_其中，圖像處理單元(10)確定與第一三維交疊框(8a)、第二三維交疊框(8b)、以及不 交疊的區域(14)有關的信息，以及-其中，圖像處理單元(10)還用於輸出與第一三維交疊框(8a)、第二三維交疊框(8b)、 以及不交疊的區域(14)有關的信息，以供信息輸出單元(12)輸出。
4.根據權利要求1所述的系統，其中，信息輸出單元(12)包括顯示單元(12a)，用於 在二維顯示屏幕(8)內投影(16)室內(4)，並在投影的室內(16)內顯示至少一個三維交疊 框。
5.根據權利要求4所述的系統，其中，顯示單元(12a)通過在屏幕(18)內提供不同光 學信息來區分至少第一三維交疊框(8a)與不交疊的區域(14)。
6.根據權利要求1所述的系統，其中，成像單元⑵獲取室內⑷的實體和/或實體的 姿態的信息。
7.根據權利要求6所述的系統，其中，成像單元(2)獲取實體的空間位置。
8.根據權利要求6所述的系統，其中，信息輸出單元(12)輸出與至少一個交疊框(8) 有關的實體的信息。
9.根據權利要求1所述的系統，其中，成像單元(2)獲得彼此在室內(4)的位置。
10.根據權利要求9所述的系統，其中，圖像處理單元(10)至少根據成像單元(2)的位 置信息計算至少一個三維交疊框(8)。
11.根據權利要求1所述的系統，其中，圖像處理單元(10)至少根據與成像單元(2)的 視角有關的信息計算至少一個三維交疊框(8)。
12.根據權利要求4所述的系統，其中，顯示單元(12a)操縱投影的三維室內(16)內的 至少一個三維交疊框(8)的顯示。
13.根據權利要求6所述的系統，其中，信息輸出單元(12)根據至少一個交疊框(8)和至少一個實體的相對空間位置提供聲音信息。
14.根據權利要求1所述的系統，其中，圖像處理單元(10)和信息輸出單元(12)形成 遊戲控制臺(20)的一部分。
15.一種方法，包括-在三維室內(4)獲取至少兩個圖像，-其中，在室內(4)，至少兩個成像單元(2)的圖像獲取區域(6)在至少一個三維交疊 框(8)內交疊，-獲得獲取的圖像，-確定與至少一個三維交疊框(8)有關的信息，以及 -輸出與三維交疊框(8)有關的信息。
16.一種電腦程式產品，包括操作處理器(24)進行以下操作的指令 -在三維室內(4)獲取至少兩個圖像，-其中，在室內(4)，至少兩個成像單元(2)的圖像獲取區域(6)在至少一個三維交疊 框⑶內交疊，-獲得獲取的圖像，-確定與至少一個三維交疊框(8)有關的信息， -輸出與三維交疊框(8)有關的信息。
17.一種電腦程式，包括操作處理器(24)進行以下操作的指令 -在三維室內(4)獲取至少兩個圖像，-其中，在室內(4)，至少兩個成像單元(2)的圖像獲取區域(6)在至少一個三維交疊 框⑶內交疊，-獲得獲取的圖像，-確定與至少一個三維交疊框(8)有關的信息， -輸出與三維交疊框(8)有關的信息。
18.一種遊戲控制臺，包括-至少一個圖像處理單元(10)，用於獲得來自至少兩個成像單元(2)的獲取的圖像，並 且用於確定與至少一個三維交疊框(8)有關的信息，在所述至少一個三維交疊框(8)中，至 少兩個成像單元的圖像獲取區域在室內(4)交疊，-其中，所述圖像處理單元(16)還輸出與三維交疊框(8)有關的信息，以供信息輸出單 元(12)輸出，以及-處理器(24)，用於處理與交疊框有關的實體的信息。
全文摘要
本申請涉及在三維室內(4)獲取圖像。在室內(4)，至少兩個成像單元(2)的圖像獲取區域(6)在至少一個三維交疊框(8)內交疊。為了降低遮擋，提供了至少一個圖像處理單元(10)，被布置用於獲得來自至少兩個成像單元(2)的獲取的圖像，並用於確定與至少一個三維交疊框(8)有關的信息，其中，所述圖像處理單元(10)還被布置用於輸出與至少一個三維交疊框(8)有關的信息，以供信息輸出單元(12)輸出。
文檔編號H04N13/00GK101843104SQ200880113766
公開日2010年9月22日 申請日期2008年10月28日 優先權日2007年11月2日
發明者理察·P·克萊赫斯特, 皮姆·科爾溫, 約瑞·戈伊肯斯 申請人:Nxp股份有限公司