特許 6235022 複数デバイスを使用した周辺環境の多次元データキャプチャ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6235022

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】複数デバイスを使用した周辺環境の多次元データキャプチャ

(51)【国際特許分類】

   H04N 13/02 20060101AFI20171113BHJP

   H04N 13/00 20060101ALI20171113BHJP

   H04N 15/00 20060101ALI20171113BHJP

   G06T 19/00 20110101ALI20171113BHJP

   G06K 9/32 20060101ALI20171113BHJP

   H04N 5/262 20060101ALI20171113BHJP

   H04N 7/00 20110101ALI20171113BHJP

【ＦＩ】

   H04N13/02 420

   H04N13/02 710

   H04N13/00 550

   H04N15/00

   G06T19/00 A

   G06K9/32

   H04N5/262

   H04N7/00

【請求項の数】24

【全頁数】27

(21)【出願番号】特願2015-531327(P2015-531327)

(86)(22)【出願日】2013年9月10日

(65)【公表番号】特表2015-535400(P2015-535400A)

(43)【公表日】2015年12月10日

(86)【国際出願番号】US2013059089

(87)【国際公開番号】WO2014040081

(87)【国際公開日】20140313

【審査請求日】2016年9月8日

(31)【優先権主張番号】61/699,223

(32)【優先日】2012年9月10日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】515066003

【氏名又は名称】アエマス，インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ミレー，マーシャル リード

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０００−７８６１４（ＪＰ，Ａ）

【文献】 特開２０１２−５４８６２（ＪＰ，Ａ）

【文献】 特開２００９−２１３１６１（ＪＰ，Ａ）

【文献】 特開２０１２−１５１８５１（ＪＰ，Ａ）

【文献】 特開２０１２−３９３３１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１８５０９４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／０２

Ｈ０４Ｎ １５／００

Ｇ０６Ｔ １９／００

Ｇ０６Ｋ ９／３２

Ｈ０４Ｎ ５／２６２

Ｈ０４Ｎ ７／００

(57)【特許請求の範囲】

【請求項1】

インストラクションの一つまたはそれ以上のシーケンスを運搬するマシンで読取り可能なストレージ媒体であって、一つまたはそれ以上のプロセッサによって実行された場合に、周辺環境および環境の中の対象物の深度データと画像データを収集する方法を、前記一つまたはそれ以上のプロセッサに実行させ、
前記方法は、
第１の深度カメラを含む第１のデータキャプチャデバイスから第１の時間インデックス付き深度データを受信するステップであり、前記第１の時間インデックス付き深度データは、時間期間にわたる前記第１の深度カメラから対象物の第１の表面までの第１の一連の距離測定値を含む、ステップと、
第２の深度カメラを含む第２のデータキャプチャデバイスから第２の時間インデックス付き深度データを受信するステップであり、前記第２の時間インデックス付き深度データは、前記時間期間にわたる前記第２の深度カメラから対象物の第２の表面までの第２の一連の距離測定値を含む、ステップと、
前記時間期間の最中に、前記第１のデータキャプチャデバイスの第１の場所データを受信するステップと、
前記時間期間の最中に、前記第２のデータキャプチャデバイスの第２の場所データを受信するステップと、
前記第１のデータキャプチャデバイスと前記第２のデータキャプチャデバイスが、お互いに関してどのように位置しているかを示す、相対的な場所データを受信するステップと、
前記第１の場所データ、前記第２の場所データ、および、前記相対的な場所データに基づいて、前記第１の時間インデックス付き深度データおよび前記第２の時間インデックス付き深度データを、座標システムにおける座標と関連付けるステップと、
電子的メモリに、前記第１の時間インデックス付き深度データと、前記関連付けされた座標を用いた前記第２の時間インデックス付き深度データとを含んでいる、時間インデックス付き３次元（３Ｄ）深度データを保管するステップと、
を含む、マシンで読取り可能なストレージ媒体。

【請求項2】

インストラクションの前記一つまたはそれ以上のシーケンスは、前記一つまたはそれ以上のプロセッサに方法を実行させ、
前記方法は、さらに、
対象物の前記第１の表面の前記第１のデータキャプチャデバイスから、第１の色データを受信するステップと、
対象物の前記第２の表面の前記第２のデータキャプチャデバイスから、第２の色データを受信するステップと、
前記第１および第２の色データを、前記第１および第２の時間インデックス付き深度データと、前記座標システムにおける前記座標とに関連付けるステップと、
前記電子的メモリに、前記時間インデックス付き３次元深度データと、前記関連付けされた座標と共に、前記第１および第２の色データを保管するステップと、
を含む、請求項１に記載のマシンで読取り可能なストレージ媒体。

【請求項3】

前記第１および第２の時間インデックス付き深度データは、複数の深度カメラによってキャプチャされた４πステラジアンの中の表面までの距離測定値をそれぞれ含む、
請求項１に記載のマシンで読取り可能なストレージ媒体。

【請求項4】

前記第１および第２の時間インデックス付き深度データは、複数の加速度計からの平均化された動作データをそれぞれ含む、
請求項１に記載のマシンで読取り可能なストレージ媒体。

【請求項5】

前記相対的な場所データは、
前記第１のデータキャプチャデバイスの第１の地理空間的な場所を示している第１のＧＰＳからの第１の地理空間的データと、
前記第２のデータキャプチャデバイスの第２の地理空間的な場所を示している第２のＧＰＳからの第２の地理空間的データと、を含む、
請求項１に記載のマシンで読取り可能なストレージ媒体。

【請求項6】

前記第１のデータキャプチャデバイスの前記相対的な場所データは、前記第２のデータキャプチャデバイスの形状の認識に基づいている、
請求項１に記載のマシンで読取り可能なストレージ媒体。

【請求項7】

インストラクションの前記一つまたはそれ以上のシーケンスは、前記一つまたはそれ以上のプロセッサに方法を実行させ、
前記方法は、さらに、
前記時間期間の最中に前記第１のデータキャプチャデバイスの第１の方向データを受信するステップであり、前記第１の場所データと前記第１の方向データは、前記第１のデータキャプチャデバイスに係る第１の定義された部位と方向の検出された動きに基づいている、ステップと、
前記時間期間の最中に前記第２のデータキャプチャデバイスの第２の方向データを受信するステップであり、前記第２の場所データと前記第２の方向データは、前記第２のデータキャプチャデバイスに係る第２の定義された部位と方向の検出された動きに基づいている、ステップと、を含み、
前記第１の時間インデックス付き深度データおよび前記第２の時間インデックス付き深度データを座標系における座標と関連付けることは、さらに、前記第１および第２の方向データに基づいている、
請求項１に記載のマシンで読取り可能なストレージ媒体。

【請求項8】

インストラクションの前記一つまたはそれ以上のシーケンスは、前記一つまたはそれ以上のプロセッサに方法を実行させ、
前記方法は、さらに、
前記第１および第２の時間インデックス付き深度データの領域における空間的オーバーラップを認識するステップと、
前記第１および第２の時間インデックス付き深度データのうち一方からオーバーラップ領域を除去するステップと、
前記電子的メモリに、前記第１および第２の時間インデックス付き深度データのうち他方からの前記オーバーラップ領域を前記関連付けされた座標と共に保管するステップと、
を含む、請求項１に記載のマシンで読取り可能なストレージ媒体。

【請求項9】

一つまたはそれ以上の深度カメラであり、前記一つまたはそれ以上の深度カメラそれぞれは、時間期間にわたる対象物の表面までの一連の距離測定値を含む時間インデックス付き深度データをキャプチャする、カメラと、
前記対象物の前記表面の画像データを検出する、一つまたはそれ以上のデジタル画像センサと、
前記時間期間にわたり装置の定義された部位の場所を検出する、一つまたはそれ以上のセンサと、
前記一つまたはそれ以上のセンサから場所データを受信し、かつ、前記時間期間にわたり座標系における前記一つまたはそれ以上の深度カメラの場所を含む地理空間的データを生成する、自己定位モジュールと、
前記時間インデックス付き深度データ、前記画像データ、および、前記地理空間的データをコンピューティングデバイスに対して送信する、通信インターフェイスと、
を含む、装置であって、
前記コンピューティングデバイスは、第２のインデックス付き深度データ、第２の画像データ、および、第２の地理的データを第２の装置から受信し、かつ、第１および第２の時間インデックス付き深度データと第１および第２の地理空間的データを含む、時間インデックス付き３次元（３Ｄ）深度データを生成する、
装置。

【請求項10】

前記一つまたはそれ以上の深度カメラは、前記時間インデックス付き深度データのフレーム毎に４πステラジアンの深度データをキャプチャする複数の深度カメラを含む、
請求項９に記載の装置。

【請求項11】

前記コンピューティングデバイスは、前記装置から離れたところにあるデバイスである、
請求項９に記載の装置。

【請求項12】

前記装置は、
前記第１および第２の時間インデックス付き深度データ、第１および第２の色データ、および、前記第１および第２の地理空間的データが前記装置の中に含まれる前記コンピューティングデバイスを含み、かつ、
前記第１および第２の時間インデックス付き深度データ、第１および第２の色データ、および、前記第１および第２の地理空間的データを含んでいる前記時間インデックス付き３次元（３Ｄ）深度データを生成する、
請求項９に記載の装置。

【請求項13】

場所を検出する前記一つまたはそれ以上のセンサは、動きを検出するための複数の加速度計を含み、
前記自己定位モジュールは、前記複数の加速度計から動作データを受信し、前記複数の加速度計からの前記動作データを平均化し、かつ、平均化された動作に基づいて前記地理空間的データを生成する、
請求項９に記載の装置。

【請求項14】

前記一つまたはそれ以上のセンサは、さらに、振動センサを含み、
前記複数の加速度計は、少なくとも３つの加速度計を含む、
請求項１３に記載の装置。

【請求項15】

環境における対象物の深度データおよび画像データを、時間にわたり、キャプチャするためのデータキャプチャシステムであって、
第１のデータキャプチャデバイスであり、
第１の深度カメラであり、前記第１の深度カメラから前記環境における一つまたはそれ以上の対象物の第１の表面までの第１の距離データを記録する、第１の深度カメラと、
前記環境の第１の画像データと前記環境における前記対象物を記録する第１の画像カメラと、
第１の場所データを検出する第１のセンサと、
を含む、第１のデータキャプチャデバイスと、
第２のデータキャプチャデバイスであり、
第２の深度カメラであり、前記第２の深度カメラから前記環境における一つまたはそれ以上の対象物の第２の表面までの第２の距離データを記録する、第２の深度カメラと、
前記環境の第２の画像データと前記環境における前記対象物を記録する第２の画像カメラと、
第２の場所データを検出する第２のセンサと、
を含む、第２のデータキャプチャデバイスと、
データプロセッサであり、
前記第１および第２の距離データ、前記第１および第２の画像データ、および、前記第１および第２の場所データを受信し、かつ、
前記環境と前記環境における前記対象物の統合されたデータクラウドを作成するように、データを処理する、
データプロセッサと、
を含む、データキャプチャシステム。

【請求項16】

前記第１および第２の画像データは、グレースケール画像データである、
請求項１５に記載のデータキャプチャシステム。

【請求項17】

前記第１および第２の画像データは、カラー画像データである、
請求項１５に記載のデータキャプチャシステム。

【請求項18】

前記第１の距離データと前記第１の画像データは、第１の視点（ＰＯＶ）から記録され、
前記第２の距離データと前記第２の画像データは、第２のＰＯＶから記録され、かつ、
前記データプロセッサは、前記データがフォーマットされて観察される場合に、前記環境と前記環境における前記対象物が複数のＰＯＶから観察されるように、前記統合されたデータクラウドを作成する、
請求項１５に記載のデータキャプチャシステム。

【請求項19】

前記データプロセッサは、
前記第１および第２の画像データが、前記環境における同一の対象物を記録しているかを判断し、かつ、
画像データがオーバーラップしているところのデータ圧縮を実行する、
請求項１５に記載のデータキャプチャシステム。

【請求項20】

前記第１および第２のセンサは、相対的な動きをトラックする動作センサを含む、
請求項１５に記載のデータキャプチャシステム。

【請求項21】

前記第１および第２のセンサそれぞれが、複数の動作センサを含み、かつ、
データキャプチャデバイスそれぞれにおける前記複数の動作センサからの場所データは、より正確な場所データを提供するように平均化される、
請求項２０に記載のデータキャプチャシステム。

【請求項22】

前記第１および第２のセンサは、さらに、データキャプチャデバイスそれぞれの方向を検出する、
請求項１５に記載のデータキャプチャシステム。

【請求項23】

前記第１の深度カメラおよび前記第２の深度カメラは、連続的な第１の深度データおよび第２の深度データを異なる時間においてそれぞれに記録し、
それにより、前記データキャプチャシステムは、前記第１の深度カメラまたは前記第２の深度カメラの単独での最大データキャプチャレートよりも大きなデータキャプチャレートにおいて、データを記録することができる、
請求項１５に記載のデータキャプチャシステム。

【請求項24】

前記第１のデータキャプチャデバイスは、さらに、第３の深度カメラを含み、
前記第１の深度カメラおよび前記第３の深度カメラは、連続的な第１の深度データおよび第３の深度データを異なる時間においてそれぞれに記録し、
それにより、前記第１のデータキャプチャデバイスは、前記第１の深度カメラまたは前記第３の深度カメラの単独での最大データキャプチャレートよりも大きなデータキャプチャレートにおいて、データを記録することができる、
請求項１５に記載のデータキャプチャシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明開示は、一般的に、周辺環境またはオブジェクトのデータキャプチャに係る分野に関する。より特定的には、真の３次元（３Ｄ）深度ビデオに関する。

【背景技術】

【0002】

オブジェクトまたは周辺環境のデータキャプチャは数多くの状況において使用されており、オブジェクト及び/又は周辺環境の画像を作成するために、プロセッサによって、キャプチャされたデータを使用し、決定し、または操作することができる。例えば、カメラはシーン（ｓｃｅｎｅ）の静止２次元（２Ｄ）画像をキャプチャすることがで、ビデオカメラは、後の編集および表示のためにビデオデータ（つまり、時間にわたる２次元データ）をキャプチャすることができる。加えて、オブジェクトの周りにフォーカスされた複数の立体２次元画像ビュー（ｖｉｅｗ）が、オブジェクトの３次元画像をシミュレーションするために使用され得る。３次元映像をシミュレーションするために使用され得るデータキャプチャの別の実施例は、光検出と測距（ＬｉＤＡＲ）（レーザー光検出と測距（ＬＡＤＡＲ）としても知られているもの）センサの使用を含んでおり、地勢または建物のマッピングのために一般的に使用されている。ＬｉＤＡＲシステムは、次に、光のラウンドトリップタイム（ｒｏｕｎｄ−ｔｒｉｐ ｔｉｍｅ）（「飛行時間（”ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ”）」（ＴＯＦ）データとして知られているもの）に基づいて、光源からの距離を算出する。このように、周辺環境におけるオブジェクトの距離または深度に関するデータが、ＬｉＤＡＲシステムを用いてキャプチャされ得る。ＬｉＤＡＲシステムは、多数のデータポイントを収集する。光ビームを周辺環境にわたり開扇（ｆａｎｎｉｎｇ）または脈動（ｐｕｌｓｉｎｇ）させて、それぞれのオブジェクトに対して、反射した光がＬｉＤＡＲシステムの受信器に戻ってくる飛行時間を測定することによるものである。ＬｉＤＡＲは、光を反射して受信器に戻すそれぞれのオブジェクトの深度を決定することだけができて、色に関する画像データを検出することはできない。ＬｉＤＡＲおよび他のタイプのＴＯＦカメラは、ここにおいて「深度カメラ（”ｄｅｐｔｈ ｃａｍｅｒａ”）」として参照されるカメラ分類のものである。深度カメラの等の実施例は、深度情報を決定することができるあらゆるデバイスを含んでいる。立体カメラ、立体照明スキャナ、または、電磁（ＥＭ）放射して反射して戻る放射の飛行時間をキャプチャする他のデバイス、といったものである。

【0003】

画像データをキャプチャするための既存の技術には、制限また欠点がある。例えば、フィルム、デジタル写真、および、パノラマ２次元写真（つまり、円柱または立方体のインタラクティブパノラマ）を含む２次元ドキュメンテーションメディアに係る現在の手段は、ユーザまたは観察者によってアクセスされた場合に、実生活の経験またはイベントの全てとコミュニケーションすることに制限がある。２次元画像は、優れた解像度とカラーを彩有し得るが、画像に関する深度情報を有していない。

【0004】

シミュレーションされた３次元画像は、種々の方法で作成され得る。典型的に、画像は、間隔を空けて配置された２つのレンズを使用して記録される。僅かに異なる角度からのシーンを記録するものである。そして、これらの画像は、それぞれの眼に対して異なって情報が表示されるように、人間に対して提供される。カラーフィルタまたは異なる極性を有するメガネの使用による、といったものである。２次元画像を使用すると、カラーと解像度が優れているので、これらの立体画像の３次元効果は説得力がある。しかしながら、そうしたシステムは、いまだに、シーンの深度情報を収集する機能を欠いている。

【0005】

深度カメラによってキャプチャされた情報は、２次元カメラの映像データと組合わされて、３次元をシミュレーションし、かつ、深度情報を含む画像を提供することができる。例えば、ＬｉＤＡＲ画像は、深度データを伴う３次元画像をシミュレーションするために、オーバーラップしている２次元画像からのデータと組合わされ得る。つまり、画像データは、画像におけるオブジェクトの距離の情報を含んでおり、かつ、画像におけるオブジェクトのサイズおよび相対的な間隔を算出する機能を有している。

【0006】

現行の３次元画像システムは、立体カメラまたは２次元カメラと組合わされた深度カメラのいずれでも、所定の時間において単一視点（ＰＯＶ）を記録する一つのカメラを使用して、一つの静的瞬間を表現しているデータを収集する。例えば、単一の視点から木を伴うシーンをキャプチャする一つのカメラは、木の後ろにあるものをキャプチャすることができない。一つのカメラを用いてシーンをキャプチャしている場合にデータギャップを低減するための現行の方法は、一つのカメラ視点を記録して、カメラを複数回再配置するという冗長なプロセスを必要とする。一つのカメラを用いた再配置とキャプチャの複数セッションを通じてシーンがキャプチャされると、複数のスキャンを記録し、キャプチャされたデータを整理するために、広大な２次的なポスト処理が必要である。大量の時間が必要とされるのに加えて（例えば、使用されたアルゴリズムと大量のデータのせいである）、そうしたポスト処理は、一般的に、広大なユーザ入力とユーザの技術的知識を必要とする。

【0007】

これらの３次元カメラを用いてキャプチャされたデータを整理するために必要な広大なポスト処理に加えて、データをレンダリングするために追加のポスト処理が必要とされる。デジタルモデル、ベクトル化、及び/又は、画像モデル作成に係る構成を通じたデジタルグラフィック補間を含むものである。

【0008】

深度カメラが移動する場合に周辺環境を表現するためのデータクラウド（ｃｌｏｕｄ）の作成には、その移動をトレースする、または、カメラの移動をトレースするための離れた手段と通信する、ための手段をカメラが有することが必要である。このことは、ロボットが周辺環境をナビゲーションできるように、周辺環境がマッピングされる必要があるモバイルロボットにおいて、共通の問題である。同様に、データがイマーシブ（ｉｍｍｅｒｓｉｖｅ）環境を作成するために使用される場合に、カメラは、その位置を記録し、その情報を画像データに対してタグ付けする必要がある。この技術は、一般的に、同時ローカル化とマッピング（ＳＬＡＭ）として知られている。

【発明の概要】

【発明が解決しようとする課題】

【0009】

複数デバイスを使用した周辺環境の多次元データキャプチャである。

【課題を解決するための手段】

【0010】

本発明の実施例は、対象物及び/又は周辺環境のデータキャプチャに関する装置、システムおよび方法を示している。一つの実施例において、ユーザは、一つまたはそれ以上のポータブルデータキャプチャデバイスを使用して時間インデックス付き３次元（３Ｄ）深度データをキャプチャすることができる。デバイスは、深度情報、および、場所と方向データ、を伴うシーンの時間インデックス付きカラー画像をキャプチャできる。加えて、データキャプチャデバイスは、データキャプチャデバイスの周辺環境の球形ビューをキャプチャするように構成され得る。

【図面の簡単な説明】

【0011】

本発明に係る非限定的で、包括的でない実施例が、以降の図面を参照して説明される。別段の定めがない限り、種々のビュー全体にわたり、類似の参照番号は類似のパーツを参照している。以降の図面は、縮尺して描かれたものでないことが正しく理解されるべきである。

【図1】図１は、本発明の一つの実施例に従った、システムのブロックダイヤグラムおよびシーンである。

【図2】図２は、本発明の一つの実施例に従った、データキャプチャデバイスのアイソメ図である。

【図3】図３は、本発明の一つの実施例に従った、複数の深度カメラを伴うプラットフォームの平面図である。

【図4a】図４ａは、ＬｉＤＡＲを使用する本発明の一つの実施例に従った、深度カメラの典型的なダイヤグラムを示している。

【図4b】図４ｂは、ＬｉＤＡＲを使用する本発明の一つの実施例に従った、深度カメラの典型的なダイヤグラムを示している。

【図4c】図４ｃは、ＬｉＤＡＲを使用する本発明の一つの実施例に従った、深度カメラの典型的なダイヤグラムを示している。

【図4d】図４ｄは、ＬｉＤＡＲを使用する本発明の一つの実施例に従った、深度カメラの典型的なダイヤグラムを示している。

【図4e】図４ｅは、ＬｉＤＡＲを使用する本発明の一つの実施例に従った、深度カメラの典型的なダイヤグラムを示している。

【図5】図５は、本発明の一つの実施例に従った、深度カメラと画像カメラの組合せの典型的なダイヤグラムである。

【図6】図６は、本発明の一つの実施例に従った、システムダイヤグラムである。

【図7】図７は、本発明の一つの実施例に従った、周辺環境と環境におけるオブジェクトの深度および画像データを収集するための方法に係るフローチャートである。

【図8】図８は、本発明の一つの実施例に従った、典型的なコンピュータシステム形式におけるマシンのブロックダイヤグラムである。

【0012】

所定の詳細および実施に係る説明が、図面の説明を含んで、以降に続き、以下に示されるいくつか、又は全ての実施例を示している。ここにおいて説明された本発明に係る概念の他の可能性のある実施または実行の検討も同様である。本発明の実施例の概要が以下に提供され、図面に関してより詳細な説明が以降に続く。

【発明を実施するための形態】

【0013】

オブジェクト及び/又は周辺環境のデータキャプチャに関する装置、システムおよび方法の実施例が、ここにおいて説明される。本発明の一つの実施例において、ユーザは、容易に、迅速に、そして、システムの最低限の知識をもって、真の３次元深度ビデオデータをキャプチャすることができる。ここで、３次元ビデオデータは、時間インデックス化された３次元深度データ、または、４次元（４Ｄ）の時間インデックス化された空間データとして理解される。３次元深度データをキャプチャすることで、イマーシブでダイナミックな３次元デジタル環境が可能となり、ユーザは、時間で変化するように３次元環境を探検することができる。３次元深度ビデオデータをキャプチャすることができるデータキャプチャデバイスは、また、真の３次元深度ビデオカメラとしても参照される。

【0014】

３次元深度ビデオデータをキャプチャすること及び視覚化することは、逆行性の仮想タイムトラベル、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）、または、増大するリアリティを可能にし得る。キャプチャされたイベント、周辺環境、または、他のリアルタイムな経験（例えば、電話会議または他のリアルタイムインタラクション）、もしくは、保管されたデータを通じて、ユーザが、経験およびインタラクションできるといったものである。一つの実施例に従えば、周辺環境をキャプチャするために使用される３次元深度ビデオカメラシステムは、ポスト処理のモデリング及び/又はレンダリングを必要としないで表示可能な生ファイル（ｒａｗ ｆｉｌｅ）を作成する。ユーザは、再現または分析目的のためにイベントをキャプチャすることができる。これらに限定されるわけではないが、以下を含むものである。スポーツイベント、音楽コンサート、会議、パーティー、教育上の実演、歴史的イベント、考古学的または文化的遺産、ハイキングの道、機械的または物理的故障、監督下のサイト、または、他のあらゆる環境またはイベント、である。例えば、部屋の異なる部分において、同時に複数のプレゼンテーションが起きている会議をユーザがキャプチャする場合、３次元環境の一部分における一つのプレゼンテーションをユーザが経験できるように、かつ、別のプレゼンテーションを経験するために仮想的に部屋の反対側に移動することによって自由に３次元環境を探索することができるように、会議がデジタルに表示され得る。第２の実施例は、音楽パフォーマンスであり、ユーザは、聴衆の位置、ステージ上の位置、または、ミュージシャン自身の一つまたはそれ以上の視点から、キャプチャされたシーンの中でイベントを経験することができる。

【0015】

以降の説明においては、実施例の完全な理解を提供するために、数多くの所定の詳細が明らかにされる。当業者であれば、しかしながら、ここにおいて説明される技術は、一つまたはそれ以上の所定の詳細が無くても、または、他の方法、コンポーネント、材料、等を使用しても、実行され得ることを認識するであろう。他の例においては、所定の態様を不明瞭にしないように、よく知られた構成、材料、または、オペレーションは、詳細に示されない、もしくは、説明されない。

【0016】

この明細書の全体を通じて、「一つの実施例（”ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ”または”ａｎ ｅｍｂｏｄｉｍｅｎｔ”）」への言及は、実施例に関して説明された所定の機能、構成、または、特性が、本発明に係る少なくとも一つの実施例に含まれていることを意味するものである。従って、この明細書の全体の種々の場所におけるフレーズ「一つの実施例」の登場は、必ずしも全てが同一の実施例について言及するものではない。さらに、所定の機能、構成、または、特性は、一つまたはそれ以上の実施例においてあらゆる好適な方法で組合わされてよい。

【0017】

図１は、本発明の一つの実施例に従った、キャプチャされたシーンおよびシステムのブロックダイヤグラムである。図１に示されるように、システム１００は、複数のポータブルデータキャプチャデバイス１０２ａ−１０２ｎを含んでおり、それらは既定の配置に置かれることなく、データキャプチャの最中に移動することができる。他の実施例では、一つのポータブルデータキャプチャデバイスを含んでよい。一つまたはそれ以上のポータブルデータキャプチャデバイス１０２ａ−１０２ｎは、３次元モーションをキャプチャすることができる。３次元深度ビデオデータをキャプチャすることは、周辺環境および環境の中のオブジェクトに係る一連の３次元測定と画像を迅速にキャプチャすることを含んでいる。例えば、図示された実施例において、複数のデータキャプチャデバイス１０２ａ−１０２ｎは、３次元環境シーン１０４に対する一連の３次元深度データおよびカラー画像データフレームを、時間ｔ＝１、ｔ＝２、・・・およびｔ＝ｎにおいてキャプチャする。

【0018】

シーン１０４は、静止及び/又は移動しているオブジェクトを伴う周辺環境を含み得る。例えば、シーン１０６ａ−１０６ｎは、移動している人間を含んでいる。３次元データをキャプチャすることができる既存の技術は、シーンを、単に時間における静的な瞬間において存在するものとしてキャプチャする。例えば、ユーザがシーン１０６ａ−１０６ｎを既存の技術を用いてキャプチャしようと試みる場合、シーンにおける静的なエレメントだけがキャプチャされ（例えば、木の眺望、または、佇んでいる人間がキャプチャされ得る）、かつ、データキャプチャのときに存在するあらゆる動いているオブジェクトは、データエラー、アーチファクトまたは「ゴースト（”ｇｈｏｓｔ”）」画像、及び/又は、不完全なデータ「シルバー（”ｓｉｌｖｅｒ”）」を結果として生じるだろう。システム１００は、シーン１０６ａ−１０６ｎを３次元深度ビデオデータとしてキャプチャすることができ、３次元フレームとして収集された一連の時間インデックス付きデータを含んでいる。そうした収集された３次元ビデオデータのデジタル的視覚化は、時間における真にイマーシブな３次元経験を可能にし得る。ユーザが、時間にわたり変化する３次元環境を経験し、かつ、探検できるようにである。

【0019】

一つの実施例に従えば、複数のデータキャプチャデバイス１０２ａ−１０２ｎによって、データギャップのない又は最小化された量のデータギャプの正確な時間インデックス付き３次元フレームのキャプチャを可能にする。部分的に、複数のデータキャプチャデバイス１０２ａ−１０２ｎのおかげで、データギャップのない３次元モーションをキャプチャすることができる。デバイスは、シーン１０４を取り囲むように配置され、かつ、複数の視点から同時に３次元データをキャプチャすることができる。以下に、より詳細に説明されるように、複数のデータキャプチャデバイス１０２ａ−１０２ｎは、シーン１０４に係る３次元モーションおよび対応するカラーをキャプチャするのに十分迅速に、真の３次元空間データおよびカラー画像を集合的にキャプチャすることができる。

【0020】

そうした一つの実施例において、複数のデータキャプチャデバイス１０２ａ−１０２ｎは、地理空間的（ｇｅｏｓｐａｔｉａｌ）データセンシング（ｓｅｎｓｉｎｇ）機能を有しており、改善され、かつ、リアルタイムなデータ処理ができる（例えば、リアルタイム３次元ポイントクラウド生成）。地理空間的データは、データキャプチャデバイスの方向、位置、及び/又は、場所に関連するデータである。一つの実施例において、複数のデータキャプチャデバイス１０２ａ−１０２ｎは、お互いに、及び/又は、外部のコンピューティングデバイス１１０と通信することができ、改善され、かつ、リアルタイムなデータ処理を可能にする。一つの実施例において、複数のデータキャプチャデバイスに係るデータをキャプチャしている間に通信できる機能は、リアルタイムのデータ識別および圧縮を促進し、従って、より効率的で協同的なデータキャプチャを可能にする。

【0021】

所与の時間において３次元データをキャプチャするために、複数のデータキャプチャデバイス１０２ａ−１０２ｎは、深度センシングが可能なあらゆる３次元キャプチャ技術を利用することができる。例えば、複数のデータキャプチャデバイスは、以下の一つまたはそれ以上を実施することができる。ＬｉＤＡＲ／ＬＡＤＡＲ、立体照明、フラッシュＬｉＤＡＲ、マルチビュー立体デジタルイメージ、パノラママルチ立体デジタルイメージ、写真測量、または、深度および解像度に係る種々のフィールドにおいて３次元データをキャプチャする他のあらゆる手段、である。ユーザは、複数のデータキャプチャデバイス１０２ａ−１０２ｎを持ち運んで、または、固定配置においてオペレーションすることができる。例えば、ユーザは、複数のデータキャプチャデバイス１０２ａ−１０２ｎの一つまたはそれ以上を、例えば、三脚を使用して静止するように配置することができ、もしくは、一時的または永久的にキャプチャデバイスを表面上（例えば、壁、天井、木、または、デバイスを固定できるあらゆる他の表面）に固定することができる。一つの実施例において、複数のデータキャプチャデバイス１０２ａ−１０２ｎは、持ち運びできる。例えば、ユーザは、デバイスがデータをキャプチャしている間に、複数のデータキャプチャデバイス１０２ａ−１０２ｎのうち一つまたはそれ以上を移動することによってデータをキャプチャすることができる。持ち運びできるデータのキャプチャにより、ユーザが興味のあるシーンをキャプチャするためのデータキャプチャデバイスをもって歩く柔軟性を可能にする。

【0022】

複数のデータキャプチャデバイス１０２ａ−１０２ｎのうち一つまたはそれ以上は、自律的モバイルエンティティ（例えば、電気ヘリコプター、または他の乗り物）、または、ユーザコントロールのモバイルエンティティ（例えば、手動またはリモートコントロールの乗り物、オートバイ、ビデオドーリー、または、他のユーザコントロールのエンティティ）に取付けられ得る。一つのそうした実施例において、システムは、収集されたデータに従って自律的モバイルエンティティの移動をコントロールするためのフィードバックメカニズムを含んでおり、データキャプチャデバイスは、データギャップを自律的に埋め、及び/又は、障害物を避けることができる。別の実施例において、ユーザは、静的および動的コンフィグレーションの組合せを使用して、複数のデータキャプチャデバイス１０２ａ−１０２ｎをオペレーションすることができる。例えば、ユーザは、一つまたはそれ以上のデータキャプチャデバイスを静的に配置して、データをキャプチャする間に、一つまたはそれ以上のキャプチャデバイスを用いてシーンの周りを移動することができる。

【0023】

一つの実施例に従えば、データキャプチャデバイスは、損傷からデバイスを守るために、データキャプチャデバイスの一部分または全部の上に保護カバーまたは他のパッドを含むことができる。例えば、データキャプチャデバイスの外側には、ゴム、プラスチック、または、フォームといった耐損傷パッドを含み得る。データキャプチャデバイスのダイナミックな使用のための耐久性を増加するものである。

【0024】

一つの実施例において、複数のデータキャプチャデバイス１０２ａ−１０２ｎそれぞれは、動作をキャプチャするために適切なフレームレート（ｆｒａｍｅ ｒａｔｅ）で３次元フレームを収集することができる。例えば、そうした一つの実施例においては、複数のデータキャプチャデバイス１０２ａ−１０２ｎそれぞれが、毎秒２４個又はそれ以上の３次元フレームをキャプチャする。しかしながら、他の実施例は、毎秒２４個より少ない３次元フレームをキャプチャするデータキャプチャデバイスを含み得る。３次元環境における変化をキャプチャするために必要とされる毎秒のフレーム数量は、所定の環境に応じたものでよい。例えば、動作または変化がほとんど生じていない環境においては、毎秒に、より少ないフレームで、環境における動作をキャプチャするためには十分であり得る。頻繁に又は素早い変化（例えば、動いている人間または対象物）を伴う他の環境においては、現実的なレンダリングまたはシーンの再現ができるように十分な３次元深度ビデオデータをキャプチャするために、毎秒または毎分に、より多いフレームが必要とされ得る。

【0025】

一つの実施例においては、毎秒または毎分に十分な数量のフレームをキャプチャするために、３次元深度ビデオキャプチャデバイスが、複数の３次元データキャプチャモジュールを含むことができる。一つの実施例において、データキャプチャデバイスは、毎秒に十分な数の３次元フレームをキャプチャするために、パルススタイルＴＯＰまたはフラッシュＬｉＤＡＲを含み得る。そうした一つの実施例において、一つまたはそれ以上のフラッシュＬｉＤＡＲモジュールは、発光素子のアレイを含み得る。アレイは、ターゲット表面で反射され、対応する受信器のアレイに戻るように、同時に発光する。ＬｉＤＡＲを使用する別の実施例において、データキャプチャデバイスは、複数のモジュールを含むことができ、素早く、かつ、同期して、データを連続してキャプチャすることができる。例えば、お互いに重なり合って直接的に隣りに配置されたモジュールは、非干渉光を交互に発光して、３次元シーンのオーバーラップ動作キャプチャを生成する。別の実施例において、デジタルカメラからの複数の立体ビューが、サプリメントＬｉＤＡＲまたは立体照明データを使用して、又は一緒に、３次元測定データを算出するために使用される。

【0026】

図２は、一つの実施例に従った、データキャプチャデバイス２００（例えば、図１に係る複数のデータキャプチャデバイス１０２ａ−１０２ｎのうちの一つ）のアイソメ図であり、複数の深度カメラ２０２ａ−２０２ｎを含んでいる。データキャプチャデバイス２００は、図示されるように、実質的に球形であってよい。しかし、他の実施例は、真の３次元ビデオデータを収集することができる他の対称的または非対称的な形状を含んでいる。デバイス２００は、デバイス２００の中心を通って配置された水平プラットフォーム２０１を含んでおり、複数の深度カメラ２０２ａ−２０２ｎを支持している。図２は、３個の深度カメラを図示しているが、データキャプチャデバイス２００は、あらゆる数量の深度カメラ（例えば、１、４、３６、１２０個、等）を含み得る。一つの実施例に従えば、深度カメラの数量がより多いと、交互動作またはデータキャプチャのレート変調をすることが可能であり、毎分または毎秒により多くの３次元フレームを収集することができる。そうした実施例の一つにおいて、深度カメラは、同期された「シャッター（”ｓｈｕｔｔｅｒｅｄ”）」ＲＯＦにおいてキャプチャすることができる。例えば、一つの深度カメラが毎秒３０フレーム（ｆｐｓ）のレートでシーンのデータをキャプチャする場合、次に、画像キャプチャを連続して行うことによって９０ｆｐｓの実効フレームレートでシーンをキャプチャするように、３個の深度カメラが構成され得る。つまり、第１のカメラがシーンを時間ｔ＝０秒においてキャプチャし、第２のカメラがシーンを時間ｔ＝１／９０秒においてキャプチャし、そして、第３のカメラがシーンを時間ｔ＝２／９０秒においてキャプチャする、等。それぞれのカメラはシーンを３０ｆｐｓのフレームレートでキャプチャし、かつ、それぞれが他のカメラから時間的にシフトされているようにであり、それぞれのカメラのデータセットを組合せることによって、９０ｆｐｓの連続したシーンのキャプチャが達成される。

【0027】

プラットフォーム２０１は、軸２０４まわりに回転することができ、深度カメラ２０２ａ−２０２ｎは、３次元データの３６０平方度（４πステラジアン）球形立体角の一部分または全部をキャプチャすることができる。そうした一つの実施例において、データキャプチャデバイス２００は、また、シーンをカバーするために、垂直方向の上側及び/又は下側に旋回及び/又は移動することができ、それぞれのデータキャプチャデバイスの移動（例えば、３次元空間における１自由度以上のもの）および方向（例えば、ティルト、ピッチ、及び/又は、ヨー）をトラックするためのセンサを含んでいる。以下に、より詳細に説明される別の実施例において、複数の深度カメラ２０２ａ−２０２ｎそれぞれは、移動（例えば、旋回及び/又は回転）することができ、データキャプチャデバイスを移動することなくシーンをキャプチャすることができる。データキャプチャデバイス２００は、また、デバイス２００を三脚または他の表面に取付けるための一つまたはそれ以上のメカニズム２０６ａと２０６ｂを含み得る。

【0028】

データキャプチャデバイス２００の上側セクション２０８ａおよび下側セクション２０８ｂは、周辺環境の写真撮影のための手段および電子コントロールとデータ処理を収容するための手段を含み得る。一つの実施例に従って、上側および下側セクション２０８ａ−２０８ｂそれぞれの一つまたはそれ以上の画像キャプチャモジュール（図示なし）は、１８０平方度までの画像をキャプチャすることが可能であり、周辺環境全体を画像キャプチャすることができる。他の実施例において、上側および下側セクション２０８ａ−２０８ｂの画像キャプチャモジュールのうち一つまたは両方は、１８０平方度以上または以下をキャプチャすることができる。

【0029】

画像キャプチャモジュールは、従来技術において既知のあらゆる画像キャプチャ手段を含んでよい。例えば、上側および下側セクション２０８ａ−２０８ｂは、複数のデジタルカメラを含み得る。別の例において、上側および下側セクション２０８ａ−２０８ｂは、パノラマレンズを有する一つまたはそれ以上のデジタルカメラを含み得る。さらに別の例において、上側および下側セクション２０８ａ−２０８ｂは、一つのカメラを用いて広い領域をキャプチャすることができる魚眼ドームレンズを有する一つまたはそれ以上のデジタルカメラ、及び/又は、高解像度（ＨＤ）ビデオカメラを含み得る。

【0030】

データキャプチャデバイス２００は、あらゆる数量（例えば、０、１、２、３６、１２８個、等）の画像カメラ、および、カメラのタイプのあらゆる組合せを含み得る。データキャプチャデバイスが有するカメラの数量は、キャプチャされた環境の単一画像を作成するための必要な処理に影響し得る。例えば、数多くの別個の画像を生成する数多くのカメラは、典型的に、より少ない数量のカメラに対するよりも、より多くの処理を結果として生じる。組合されるべき個々の画像の数量のおかげである。一つの実施例において、上側および下側セクション２０８ａ−２０８ｂは、静止している。別の実施例において、上側および下側セクション２０８ａ−２０８ｂのうち一つまたは両方は、回転することができる。

【0031】

上側および下側セクション２０８ａ−２０８ｂは、また、一つまたはそれ以上の深度カメラ、または、他のセンサを含み得る。プラットフォーム２０１上の深度カメラの存在または構成に応じて、一つまたはそれ以上の深度カメラは、一つまたはそれ以上の他の深度カメラが故障した場合に冗長性を提供することができる。または、一般的な画像の整列目的のためである。上側および下側セクション２０８ａ−２０８ｂ、または、データキャプチャデバイス２００のあらゆる他のセクションは、他のセンサを含み得る。例えば、臭気を判断するために空気のにおいをかぐセンサ、湿度センサ、温度センサ、風センサ、または、環境をキャプチャするためのあらゆる他の多くのセンサ、である。一つの実施例に従って、データキャプチャデバイス２００は、一つまたはそれ以上のスペクトル入力スキャナを含んでおり、キャプチャされた対象物またはシーンの化学的スペクトルに関する情報を提供することができる。

【0032】

図３は、本発明の一つの実施例に従った、複数の深度カメラ３０２ａ−３０２ｎを支持しているプラットフォーム３００の平面図である。示されるように、プラットフォーム３００は、円板形状であり、中心軸３０１まわりに回転する。しかしながら、データキャプチャデバイスは、他の形状、または、同様に３次元フレームを迅速にキャプチャできる全く異なる構成、を有するプラットフォームを含み得る。例えば、他の実施例は、種々の方向における一つまたはそれ以上の回転プラットフォーム（例えば、垂直軸または非垂直軸まわりの回転）、または、静止プラットフォームを含み得る。中心回転プラットフォームを含む一つの実施例において、プラットフォームは中心軸に関して対称であり、デバイスが水平位置に在る場合、回転最中のバランスを改善する利点を有し得る。

【0033】

データキャプチャデバイスは、３次元データをキャプチャするためのあらゆるタイプまたは構成の深度カメラを含み得る。ＬｉＤＡＲが深度カメラとして使用される場合、ＬｉＤＡＲモジュール３０２ａ−３０２ｎは、データキャプチャデバイスに関する種々の角度においてレーザビームを発光するように構成されてよい。４個の深度カメラが図示されているが、あらゆる数量の深度カメラ（ＬｉＤＡＲモジュールといったもの）が含まれ得る。図３に、示されるように、深度カメラ３０２ａ−３０２ｎそれぞれは、光ビーム３０５ａ−３０５ｎを発射するためのレーザ３０６ａ−３０６ｎ、および、所望の方向において発光されたビームを反射するためのミラー３０３ａ−３０３ｎを含んでいる。深度カメラ３０２ａ−３０２ｎは、所望の角度において迅速に光ビームを発射するための回転ミラー、または、利用され得る他のミラー構成、を含み得る。深度カメラ３０２ａ−３０２ｎそれぞれは、光検出器３０８ａ−３０８ｎを含み、表面から反射されて、データキャプチャデバイスに戻る入射光３０４ａ−３０４ｎ（例えば、レーザビーム）を検出する。

【0034】

深度カメラ３０２ａ−３０２ｎは、データキャプチャデバイスの表面と同一平面にあってよく、または、デバイスの表面から凹んでも、もしくは、外側に拡張してもよい。深度カメラ３０２ａ−３０２ｎは、プラットフォーム３００に関して静止していてよく、または、プラットフォーム３００に関して回転又は他の移動をする手段を含んでよい。例えば、図４は、ＬｉＤＡＲを示しており、一つまたはそれ以上のコンポーネントが、回転及び/又は旋回アセンブリに取付けられている。

【0035】

図４ａ−図４ｅは、本発明の一つの実施例に従った、典型的なＬｉＤＡＲモジュール４００を示している。ＬｉＤＡＲモジュール４００は、発光器４０３、ミラー４０２、および、光受信器４０６を含んでいる。一つの実施例においては、示されるように、一つまたはそれ以上のミラーは、二軸のクレビス留め具（ｃｌｅｖｉｓ ｆａｓｔｅｎｅｒ）４０１に取付けられており、これにより、一つまたはそれ以上のミラー４０２が、旋回及び/又は回転することができる。そうした一つの実施例において、ＬｉＡＤＲモジュールは、一つまたはそれ以上のミラー４０２がそのまわりに旋回及び/又は回転するポイントに軸をもつ開扇アレイを生成する。データキャプチャデバイス２００が、レーザーファン（ｆａｎ）のように構成された複数のＬｉＤＡＲモジュールを含む場合、モジュールそれぞれは、他のモジュールから発射された光と干渉しない光を発射するように位置決めされ得る。例えば、図３に係るＬｉＡＤＲモジュール３０２ａ−３０２ｎそれぞれが、図４に示されるように、レーザーファンとして構成されている場合、ＬｉＡＤＲモジュール３０２ａ−３０２ｎそれぞれは、データキャプチャデバイスに対する接線に沿って、外側に、扇状のレーザービームを発射するだろう。別のそうした実施例は、データキャプチャデバイスに対する接線ではなく、外側に向かう、扇状のレーザービームを含んでいる。クレビス留め具といったメカニズムは、図３におけるような回転プラットフォームと一緒に使用され得る、もしくは、回転プラットフォームとは独立して使用され得る。回転プラットフォームのない一つの実施例において、データキャプチャデバイスは、データキャプチャデバイスの表面にわたり配置された複数のＬｉＡＤＲモジュール４０４を含み得る。ＬｉＡＤＲモジュールは、隣接するＬｉＡＤＲモジュール４０４の信号または受信器と干渉しないようなやり方で、掃引光（ｓｗｅｅｐｉｎｇ ｌｉｇｈｔ）ファンまたはパルスを生成することができる。一つの実施例においては、複数のＬｉＤＡＲモジュールからの反射光が、一つまたはそれ以上のＬｉＤＡＲモジュールによって検出される。システムは、ＬｉＤＡＲモジュールから検出された光を決定して、それぞれのモジュールからの信号を特定し、かつ、フィルタすることができる。

【0036】

図５は、本発明の一つの実施例に従った、深度カメラと画像カメラの組合せの典型的なダイヤグラムである。装置５００は、３次元データをキャプチャするための深度カメラを含んでいる。深度カメラの実施例は、発光器５０３、ミラー５０４、および、光受信器５０６を含んでいる。発光器５０３は、光５１７を発射し、ミラー５０４と５１０から反射する。発射された光は環境または対象物の表面で反射し、深度カメラと画像カメラの組合せに入光する光５１６として戻り、ミラー５１０と５０４から反射して、光検出器５０６によって受光される。装置５００は、また、カラー画像をキャプチャするための光学デバイス５０８とミラー５０５を含んでいる。光学デバイス５０８は、例えば、デジタルカメラ又はシーンの色をキャプチャする他のあらゆる手段を含み得る。図示されるように、光５１６は、深度カメラと画像カメラの組合せに入光し、ミラー５１０と５０５から反射して、光検出器５０８によって受光される。

【0037】

装置５００は、また、回転両面ミラー５１０および回転両面ミラー５１０を回転させるためのモータ５１２を含んでいる。一つの実施例に従って、回転両面ミラーによって、色データと３次元データの両方を実質的に同時にキャプチャすることができる。例えば、回転ミラー５１０が示されている位置に在る場合、回転ミラー５１０は、光学デバイス５０８に対して光を反射する。回転ミラー５１０が位置５１４（点線で表されているもの）に在る場合、回転ミラーは、発光器５０３と受光器５０６に対して光を反射する。説明されるように、モータ５１２はミラー５１０をあるレート（固定または調整可能なもの）で回転させる。レートは、キャプチャされたデータの品質の実質的な損失を結果として生じないように（例えば、デジタルカメラ画像のブラー（ｂｌｕｒｒ）が結果として生じない）、２次元カラー画像および深度データを実質的に同時にキャプチャできるものである。

【0038】

図６は、本発明の一つの実施例に従った、システムダイヤグラムである。システム６００は、複数のデータキャプチャデバイス６０２ａ−６０２ｎを含んでいる。複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれは、一つまたはそれ以上の深度カメラ６１４ａ−６１４ｎを含んでいる。一つの実施例において、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれは、また、オーディオマッピングモジュール６１６を含んでおり、３次元データおよび画像データと共に音響を同時に記録するための一つまたはそれ以上のマイクロフォン６１８ａ−６１８ｎを含んでいる。

【0039】

一つの実施例において、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれは、定義された中心（例えば、測地原点（ｇｅｏｄｅｔｉｃ ｄａｔｕｍ））と前方方向を用いて構成されており、地理空間的な場所トラッキングを有している。測地的データは、正確な地理的位置（つまり、空間における場所）および方向データとして定義される。例えば、システム６００は、３次元空間において（例えば、６自由度）、データキャプチャデバイスそれぞれの場所と動きをモニタすることができる。そうした一つの実施例において、システムは、マイクロメータスケール、ナノメータスケール、または、データキャプチャデバイスの測地的データのより高い解像度の正確性を伴って、トラッキングを成し遂げる。複数のデータキャプチャデバイスが使用される場合、システム６００は、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれに対する場所と移動（例えば、直線的移動、円弧状移動、および、回転）をモニタすることができる。

【0040】

そうした一つの実施例において、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれは、３次元空間における移動をトラッキングするための測地原点と動作トラッキングモジュール６０４を含んでいる。例えば、モジュール６０４は、一つまたはそれ以上の加速度計を含み得る。そうした一つの実施例は、３つ又は複数のスタックされた加速度計を含み得る。複数の加速度計は、それぞれの加速度計からのデータおよび構成エラーを平均、または、そうでなければ組合せることによって、精度を改善するために使用することができる。３次元空間における移動をトラッキングするための手段は、あらゆるタイプの加速度計または測定機器を含み得る。レーザーリングジャイロスコープ加速度計、高解像度の磁気センサ、傾斜計、及び/又は、高精度な動作検出のための他のあらゆるメカニズムのうち一つまたはそれ以上を含むものである。他の実施例は、一つまたはそれ以上の加速度計の代わりに、または加えて、正確な動作トラッキングの他の手段を使用し得る。例えば、デバイスは、ＳＬＡＭの使用を通じて自己定位を行うために、画像モジュールを利用する。別の実施例において、データキャプチャデバイスは、磁場変動のトラッキング、及び/又は、デバイス動作の正確なトラッキングのための慣性計測装置（ＩＭＵ）を含み得る。複数のデータキャプチャデバイス６０２ａ−６０２ｎのうちの一つが動くと、そのデバイスの定義された中心は、動作センサから収集されたデータに従って、デバイスと共に移動する。従って、データキャプチャデバイスは、記録している一方で、場所から場所へ移動することができる（例えば、ユーザによって運搬される）。

【0041】

システム６００は、データキャプチャデバイス６０２ａ−６０２ｎの中心（また、他の既定の部位）の動きを記録し、それぞれのデバイスの動きが、キャプチャされたデータの場所と方向にどのように影響するかを計算する。一つの実施例において、モジュール６４０は、また、振動と他のタイプの動きとを正確に区別するために、振動センサを含んでいる。一つの実施例においては、デバイスの測地原点に係る正確なオンボードトラッキングが、ＧＰＳ及び/又はキャリア位相トラッキングモジュール６０６と組合わされ、地理的座標系の中で場所データをトラックする。ＧＰＳ及び/又はキャリア位相トラッキングモジュール６０６からのデータは、一つまたはそれ以上の加速度計または他の動作センサからのデータに追加され得る。例えば、ＧＰＳ及び/又はキャリア位相トラッキングデータが、一つまたはそれ以上の動作センサによってトラックされた際に、ログされたデバイスの中心位置が正しくないことを示している場合、デバイスの中心位置は、ＧＰＳ及び/又はキャリア位相トラッキングデータに基づいて更新され得る。一つの実施例に従って、一つまたはそれ以上の振動センサ、一つまたはそれ以上の加速度計、および、一つまたはそれ以上のＧＰＳ及び/又はキャリア位相センサを含んでいる。複数のセンサからのデータが集められて分析され、エラーを低減し、かつ、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれの動きを正確にトラックする。

【0042】

測地データと動作トラッキングを用いた一つの実施例において、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれは、基地局の中に居る間に、動作トラッキングを開始する。基地局は、デバイス初期化の手段を提供し、データキャプチャデバイス６０２ａ−６０２ｎそれぞれ及び/又はコンピューティングデバイス６０８を充電するためのメカニズムを含んでいる。一つの実施例において、基地局は、また、中央処理装置を収容し、データキャプチャデバイス６０２ａ−６０２ｎ及び/又はデータキャプチャデバイス６０２ａ−６０２ｎから受信したデータに対するステータス情報を表示するためのディスプレイを含んでいる。そうした一つの実施例において、ディスプレイはタッチスクリーンであり、情報の表示とユーザ入力の受け入れ、両方を行う。複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれが、基地局からオペレーションを開始する場合、それぞれのデバイスは、お互いに関して他のデバイスの場所を把握することができる。基地局からの複数のデータキャプチャデバイス６０２ａ−６０２ｎのあらゆる動作は、モジュール６０４によって検出され、及び/又は、記録され得る。

【0043】

別の実施例において、複数のデータキャプチャデバイス６０２ａ−６０２ｎは、自身の地理記録をなし得る。例えば、複数のデータキャプチャデバイス６０２ａ−６０２ｎが任意の場所において（例えば、基地局の中ではなく）トラッキングを開始する場合、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれは、３次元データの収集を開始し、一旦他のデータキャプチャデバイスの形状を記録すると、お互いに関して場所を特定することができる。別の実施例は、それぞれのデバイスから発信され、受信された無線信号を用いて、他のデータキャプチャデバイスの記録された形状を組み入れる。一旦複数のデータキャプチャデバイス６０２ａ−６０２ｎがお互いの関係を特定すると、モジュール６０４による動作トラッキングのおけげで、ポスト処理においてさらなる記録は不要となる。

【0044】

データキャプチャデバイスが空間を通って移動する間のデバイスの測地的モニタリングによって、数多くのアプリケーションが可能になる。一つの実施例においては、データキャプチャデバイスが、従来の測定技術に依存することなく、対象物または領域の寸法を測定するために使用され得る。例えば、サイズ、構成、または、介在するオブジェクトのせいで測定するのが難しい対象物または領域が、測定され得る。ユーザは、一つのポイントにおいてデータキャプチャデバイスを用いて対象物または領域の測定を開始することができ、次に、ユーザが測定したい第２のポイントまでデバイスを持って歩いていくことができる。例えば、ユーザは、部屋の一つの壁から、他の壁までの直接的または間接的なパスを通って、その部屋の別の壁まで歩くことができる。システムは、データキャプチャデバイスの場所をモニタし、従って、空間におけるお互いの壁の位置関係を理解する。そうした寸法測定アプリケーションにおいて、一つまたはそれ以上のデータキャプチャデバイスが使用され得る。

【0045】

別の実施例においては、データキャプチャデバイスそれぞれの測地的データのモニタリングによって、簡素化されたデータ処理アルゴリズムが可能となる。システムは、どの場所および視点からデータ（例えば、３次元フレームまたはデジタル画像）のそれぞれのアイテムがキャプチャされたかを理解することができ、従って、登録またはユーザ入力といったポスト処理技術に依存することなく、別個のデータキャプチャデバイスからキャプチャされたデータを組合せることができる。システムは、それぞれのデータキャプチャデバイスからのデータを正確に単一の座標系上に置くことができる。環境に係る単一のカラー３次元フレームを生成するようにデータがキャプチャされた場合に、それぞれのデバイスの測地的中心を分析することによるものである。以下に、より詳細に説明されるように、データキャプチャデバイスそれぞれが、お互いに、及び/又は、セントラルコンピュータ（例えば、コンピューティングデバイス６０８）と通信することができる場合、セントラルコンピュータ、もしくは、一つまたはそれ以上のデータキャプチャデバイスは、データがキャプチャされると、同時に単一の３次元データを生成することができ、ポスト処理を必要としない。

【0046】

一つの実施例に従って、データキャプチャデバイスそれぞれによってキャプチャされたデータは、モデリングまたはレンダリングといった実質的な処理をさらに行うことなく即座の視覚化を可能にするフォーマットにおいて保管される。例えば、ｘ、ｙ、ｚ、ｒ、ｇ、および、ｔというカラム形式（ｃｏｌｕｍｎ ｆｏｒｍａｔ）において保管され、データポイントの地理空間的場所、カラー値、および、時間を示す。カラム形式データは、次に、最小限のデータ操作を用いて視覚化することができるポイントクラウドフレームを生成するために、空間的に編成される。

【0047】

別の実施例においては、複数のデータキャプチャデバイスの地理空間的な認識（ａｗａｒｅｎｅｓｓ）により、可能性のあるデータギャップに関するリアルタイムのフィードバックができる。可能性のあるデータギャップは、複数のデータキャプチャデバイスが移動している場合のシナリオ（例えば、ユーザがデバイスを運搬し、そうでなければコントロールしているため、または、自律的車両上に取付けらていることによるもの）に対して利用することができる。ユーザがデータキャプチャデバイスを運搬している場合、フィードバックは、デバイス上のディスプレイ、及び/又は、別のコンピューティングデバイス（例えば、スマートフォン、タブレット、他の外部コンピューティングデバイス）を介して提供され得る。データギャップに関するフィードバックは、リアルタイムレンダリング、または、他の視覚的、文字的、及び/又は、他の指標（例えば、所定のデータギャップを収集するようにユーザに知らせるモバイル機器の音響または振動）によって達成されるような、シーンの視覚的表現であってよい。データキャプチャデバイスが自律的車両上に取付けられている場合、フィードバックは、データギャップを除去または削減する場所に車両を方向付けるように提供され得る。

【0048】

一つの実施例において、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれは、通信インターフェイス６１０を含んでおり、お互い、及び/又は、コンピューティングデバイス６０８と無線通信することができる。複数のデータキャプチャデバイス６０２ａ−６０２ｎは、また、お互い、及び/又は、コンピューティングデバイス６０８と有線で通信する手段を含み得る（例えば、上述のように、デバイスが基地局の中に在る場合）。通信インターフェイス６１０は、例えば、ハードウェア及び/又はソフトウェアを含み得る。Ｗｉ−Ｆｉ（例えば、８０２．１１規格）、ブルートゥース、モバイルデータサービス（例えば、３Ｇ、４Ｇ、または、他の通信規格を使用するサービス）、衛星、または、電子デバイス間の通信のための他の手段、を介した通信のためのものである。

【0049】

一つまたはそれ以上のデータキャプチャデバイスは、無線信号を通じて、それらの収集したデータ及び/又は正確な場所を通信し、かつ、同期化することができる。複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれの無線データ信号６１０により、通信インターフェイスを介して、お互い、コンピューティングデバイス６０８、及び/又は、クラウドストレージロケーションに対してデータがアップロードされ得る。一つの実施例に従えば、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれによる場所に係る通信は、お互いを地理空間に認識しているデータキャプチャデバイスのシステムを作成することができ、及び/又は、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれの場所を認識している外部コンピューティングデバイス（例えば、コンピューティングデバイス６０８）を含むことができる。そうした地理空間的な認識によって、一つの実施例に従えば、簡素で、より速く、リアルタイムで、かつ、より少ないユーザ入力を要する、データ処理ができる。加えて、データキャプチャデバイスが、コンピューティングデバイス６０８または他のサーバーと無線通信できる場合、データキャプチャデバイスは、キャプチャしたデータを、記録セッションの最中に、データキャプチャデバイスの開放されたストレージ空間に対して転送することができ、そして、記録を継続することができる。記録セッションの最中にデータを無線で転送する機能により、また、容易に携帯できるようにより小さなフォームファクタが可能である。

【0050】

上述のように、３次元データキャプチャ手段に加えて、データキャプチャデバイス６０２ａ−６０２ｎそれぞれは、一つの実施例において、画像センサ６１２ａ−６１２ｎを含むことができ、シーンの色をキャプチャする。従来技術と比較して、システム６００は、データが、キャプチャデバイスがもたらしたどこの、かつ、どの視点又はビューフレームから生じているかを高精度に理解することができ、かつ、キャプチャされた画像からのカラー値または立体３次元計算を、最小限の処理を用いて、３次元データ及び/又は追加の３次元データをカラー化するために適用する。

【0051】

一つの実施例に従えば、画像は３次元データと同時にキャプチャされ、カラー３次元深度ビデオデータを生成することができる。別の実施例において、３次元データキャプチャおよびカラー画像キャプチャは、異なるスケジュールで生じ得る。例えば、システム６００は、初期の３次元およびカラー映像スキャンを完遂して、次に、所与の環境における所望のシーンをキャプチャするのに必要なため、カラー映像及び/又は３次元データのキャプチャを継続することができる。そうした一つの実施例において、カラー画像は、３次元よりも頻繁にキャプチャされ得る。例えば、３次元環境が静止していることによるものである。例えば、壁または表面の深度データは静的であり、一方、移動する影といった、色データに影響する照明条件は時間にわたり変化する。

【0052】

一つの実施例において、システム６００は、リアルタイムなデータ識別を実行し、キャプチャしたデータのストレージと処理を劇的に削減することができる。３次元深度ビデオデータのキャプチャは、テラバイトオーダーの大量の記録されたデータを生じ得る（キャプチャされる領域のサイズ、毎秒のフレーム数、キャプチャ時間の量に応じたものである）。既存の技術は、例えば、圧縮アルゴリズムを使用して、データが記録された後でストレージ要求を削減することができる。しかしながら、そうした大量のデータを、ポスト処理の前に保管しておくことは、費用がかかり、時間がかかり、キャプチャデバイスの機能を制限し、かつ、データのための過大な物理的ストレージを要求し得るものである。

【0053】

一つの実施例において、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれは、センサから収集されたデータが静的データであるか、動的データであるかを判断するための電子コントロールを含むソフトウェア及び/又はハードウェアを含み得る。静的データは、フレーム間で変化しないデータ、または、フレーム間で閾値以下で変化するデータである。例えば、以降に続く３次元データフレームと実質的に同様な３次元データフレーム（例えば、１．０から０．００２ｃｍといった既定の解像度の中にあるもの）について、データは静的であると判断され得る。データが、フレーム間で変化している場合、または、フレーム間で閾値より大きく変化する場合、データは動的データである。一つの実施例において、システム（データキャプチャデバイスにオンボードのもの及び/又はデバイスの外部のもの）は、静的データと動的データとを識別するための範囲閾値を決定する。システムは、ノイズ範囲の外側に在るデータにおいて変化を検出した場合、動的データであると特定する。別の実施例において、システムは、静的データと動的データを判断するために、動作検出またはカメラ画像を使用する。一旦データが静的または動的データであると特定されると、選択的に、後に続く静的データを除去して、リアルタイムに動的データを記録するためのアルゴリズム（例えば、圧縮アルゴリズム）を使用することができ、ポスト処理のためのリソースを必要としない。リアルタイムのデータ識別は、データキャプチャデバイス上のプログラムにより、または、データキャプチャデバイスがキャプチャしたデータを転送する先のセントラルコンピュータ（例えば、コンピューティングデバイス６０８）によって、行われ得る。

【0054】

複数のデータキャプチャデバイスが使用される別の実施例において、システムは、２つまたはそれ以上のカメラが所定のデータポイントをキャプチャしているオーバーラップ領域を特定するためにデータ識別を利用することができる。そうした一つの実施例において、複数のデータキャプチャデバイス６０２ａ−６０２ｎそれぞれは、お互いに、及び/又は、コンピューティングデバイス６０８と通信することができ、システムに、どの地理空間的な場所がどのデータキャプチャデバイスによって記録されているかをリアルタイムで認識させている。一旦、システムがオーバーラップ領域を特定すると、システム（データキャプチャデバイスまたは外部コンピューティングデバイスのいずれか）は、一つのデータキャプチャデバイスにデータを記録させ、かつ、残りのデータキャプチャデバイスに、他のカメラによってキャプチャされた領域に対するデータを破棄させることができる。

【0055】

複数のデータキャプチャデバイスが使用される別の実施例において、システムは、収集された３次元データの密度を特定し、データが均一な密度を有するように、または、収集されたシーンにわたり所与の条件に従って配分されるようにデータを「希薄化（”ｔｈｉｎ”）」するアルゴリズムを実行することができる。例えば、より少ないフォーカス領域に対してより低い密度を結果として生じるように（例えば、キャプチャされた環境の端におけるデータといったデータキャプチャの主要なフォーカスではない領域）、そして、より高いフォーカスの領域に対してより高い密度を生じるように、システムはデータの密度を変更することができる。キャプチャされたシーンの領域のフォーカスは、多くの方法で判断され得る。それらの領域を収集するための一つまたはそれ以上のデータキャプチャデバイスの配置に基づく高フォーカス領域の特定、領域におけるレートの変化、ユーザ入力、これらの組合せ、または、領域のフォーカスを判断する他のあらゆる方法、を含むものである。

【0056】

上記のデータ識別方法の一つまたはそれ以上は、ここにおいて説明されるように、データキャプチャにおいて実施され得る。そうしたリアルタイムの識別により、カラーの真の３次元深度ビデオフレームを生成するために、最小限のストレージでより速いデータ処理が可能となる。

【0057】

図７は、本発明の一つの実施例に従った、周辺環境と環境におけるオブジェクトの深度および画像データを収集するための方法に係るフローチャートである。

【0058】

方法７００は、オペレーション７０２で開始され、システムは、それぞれが一つまたはそれ以上の深度カメラを含んでいる複数のデータキャプチャデバイスから時間インデックス付き深度データを受信する。オペレーション７０４において、システムは、複数のデータキャプチャデバイスから場所と方向データを受信する。オペレーション７０６において、システムは、複数のデータキャプチャデバイスがお互いに関してどのような場所と方向に在るかを示す相対的な場所と方向データを受信する。オペレーション７０８において、システムは、複数のデータキャプチャデバイスからの時間インデックス付き深度データを座標系における座標と関連付ける。オペレーション７１０において、システムは、座標と関連付けされた時間インデックス付き深度データをメモリに保管する。

【0059】

図８は、本発明の一つの実施例に従った、コンピュータシステムの典型的な形式におけるマシン８００のブロックダイヤグラムである。例えば、コンピューティングデバイス６０８のプロセッサは、一式のインストラクションの中で、ここにおいて説明された一つまたはそれ以上のあらゆる方法をマシン８００に実施させるように実行され得る。代替的な実施例において、マシン８００は、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、エクストラネット、または、インターネットにおいて、他のマシンと接続されてよい（例えば、ネットワーク化）。マシンは、クライアント−サーバーネットワーク環境におけるサーバーまたはクライアントマシンとして、ピアツーピア（または、分散）ネットワーク環境におけるピアマシンとして、オンデマンドサービス環境の中のサーバー又は一連のサーバーとして、動作し得る。マシンの所定の実施例は、以下の形式であってよい。パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブ装置、サーバー、ネットワークルータ、スイッチまたはブリッジ、コンピューティングシステム、または、マシンによって行われるべき動作を特定する一式のインストラクション（シーケンシャル又はそうでないもの）を実行することができるあらゆるマシン、である。さらに、単一のマシンだけが示されているが、用語「マシン（”ｍａｃｈｉｎｅ”）」は、また、ここにおいて説明された一つまたはそれ以上のあらゆる方法を実施するための一式（または、複数セット）のインストラクションを個別または一緒に実行するマシン（例えば、コンピュータ）のあらゆる集合を含むものと理解されるべきである。

【0060】

典型的なマシン８００は、以下のものを含んでいる。プロセッサ８０２、メインメモリ８０４（例えば、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）またはランバスＤＲＡＭ（ＲＤＲＡＭ）等といったダイナミックランダムアクセスメモリ（ＤＲＡＭ）、フラッシュメモリといったスタティックメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）、揮発性だが高データレートのＲＡＭ、等）、および、セカンダリメモリ８１８（例えば、ハードディスクドライブを含む固定ストレージデバイス）であり、バス８３０を介してお互いに通信する。メインメモリ８０４は、オペレーティングシステム（ＯＳ）８２４を含んでいる。一つの実施例に従って、メインメモリ８０４とＯＳ８２４は、処理ロジック８２６およびプロセッサ８０２と協同して動作し、ここにおいて説明された方法を実行する。

【0061】

プロセッサ８０２は、マイクロプロセッサ、中央処理装置、グラフィック処理装置、または類似のものといった、一つまたはそれ以上の汎用処理装置を表している。プロセッサ８０２は、また、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィックプロセッサ、または類似のものといった、一つまたはそれ以上の専用処理装置であってよい。プロセッサ８０２は、ここにおいて説明されたオペレーションおよび機能を実施するための処理ロジック８２６を実行するように構成されている。

【0062】

マシン８００は、さらに、ネットワークインターフェイスカード８０８を含んでいる。マシン８００は、また、ユーザインターフェイス８１０を含んでよい。ビデオディスプレイユニット、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）、英数字入力デバイス（例えば、キーボード）、カーソルコントロールデバイス８１４（例えば、マウス）、および、信号生成デバイス８１６（例えば、組込まれたスピーカ）、といったものである。ユーザインターフェイス８１０は、ユーザがマシン８００とインターフェイスするためのタッチスクリーン、または、他の手段を含んでよい。マシン８００は、さらに、周辺機器８３６を含んでよい（例えば、プリンタ、無線または有線通信機器、メモリデバイス、ストレージデバイス、オーディオ処理デバイス、ビデオ処理デバイス、等）。

【0063】

セカンダリメモリ８１８は、固定のマシンで読取り可能、またはコンピュータで読取り可能なストレージ媒体８３１を含んでよい。媒体上には、ここにおいて説明された一つまたはそれ以上のあらゆる方法または機能を実現させる一つまたはそれ以上のインストラクションのセット（例えば、ソフトウェア８２２）が保管されている。ソフトウェア８２２は、また、メインメモリ８０４の中、及び/又は、マシン８００によって実行される最中にプロセッサ８０２の中に、全部または少なくとも部分的に存在してよい。メインメモリ８０４とプロセッサ８０２は、また、マシンで読取り可能なストレージ媒体も構成している。ソフトウェア８２２は、さらに、ネットワークインターフェイスカード８０８を介してネットワーク８２０にわたり送信または受信されてよい。

【0064】

このように、上記は、環境の多次元データキャプチャについて説明している。実施例は、周辺環境および環境における対象物の深度データと画像データの収集する方法を含んでいる。本方法は、第１の深度カメラを含む第１のデータキャプチャデバイスから第１の時間インデックス付き深度データを受信するステップを含んでいる。第１の時間インデックス付き深度データは、第１の深度カメラから対象物の第１の表面までの時間期間にわたる第１の一連の距離測定を含んでいる。本方法は、また、第２の深度カメラを含む第２のデータキャプチャデバイスから第２の時間インデックス付き深度データを受信するステップを含んでいる。第２の時間インデックス付き深度データは、第２の深度カメラから対象物の第２の表面までの時間期間にわたる第２の一連の距離測定を含んでいる。本方法は、また、時間期間の最中に第１のデータキャプチャデバイスに係る第１の場所と方向データを受信するステップを含んでいる。第１の場所と方向データは、第１のデータキャプチャデバイスに係る第１の部位と方向の検出された動きに基づくものである。本方法は、また、時間期間の最中に第２のデータキャプチャデバイスに係る第２の場所と方向データを受信するステップを含んでいる。第２の場所と方向データは、第２のデータキャプチャデバイスに係る第２の部位と方向の検出された動きに基づくものである。本方法は、また、第１のデータキャプチャデバイスと第２のデータキャプチャデバイスがお互いに関してどのような場所と方向に在るかを示す相対的な場所と方向データを受信するステップを含んでいる。本方法は、また、第１の場所と方向データ、第２の場所と方向データ、および、相対的な場所と方向データ基づいて、第１の時間インデックス付き深度データと第２の時間インデックス付き深度データを座標システムにおける座標と関連付けるステップを含んでいる。本方法は、さらに、電子メモリに対して、関連付けされた座標と共に、第１の時間インデックス付き深度データと第２時間インデックス付き深度データを含む時間インデックス付き３次元（３Ｄ）深度データを保管するステップを含む。

【0065】

そうした一つの実施例において、本方法は、さらに、対象物の第１の表面の第１のデータキャプチャデバイスから、第１の色データを受信するステップと、対象物の第２の表面の第２のデータキャプチャデバイスから、第２の色データを受信するステップと、第１および第２の色データを、第１および第２の時間インデックス付き深度データと、座標システムにおける座標とに関連付けるステップと、電子的メモリに、時間インデックス付き３次元深度データと、関連付けされた座標と共に、第１および第２の色データを保管するステップと、を含む。

【0066】

そうした一つの実施例において、第１および第２の時間インデックス付き深度データは、複数の深度カメラによってキャプチャされた４πステラジアンの中の表面までの距離測定値をそれぞれ含む。一つの実施例において、第１および第２の時間インデックス付き深度データは、複数の加速度計からの平均化された動作データをそれぞれ含む。一つの実施例において、相対的な場所データは、第１のデータキャプチャデバイスの第１の地理空間的な場所を示している第１のＧＰＳからの第１の地理空間的データと、第２のデータキャプチャデバイスの第２の地理空間的な場所を示している第２のＧＰＳからの第２の地理空間的データと、を含む。一つの実施例において、第１のデータキャプチャデバイスの相対的な場所データは、第２のデータキャプチャデバイスの形状の認識に基づいている。一つの実施例において、本方法は、さらに、第１および第２の時間インデックス付き深度データの領域における空間的オーバーラップを認識するステップと、第１および第２の時間インデックス付き深度データのうち一方からオーバーラップ領域を除去するステップと、記電子的メモリに第１および第２の時間インデックス付き深度データのうち他方からのオーバーラップ領域を関連付けされた座標と共に保管するステップと、を含む。

【0067】

本発明の一つの実施例は、装置を含む。本装置は、一つまたはそれ以上の深度カメラを含む。一つまたはそれ以上の深度カメラそれぞれは、時間期間にわたる対象物の表面までの一連の距離測定値を含む時間インデックス付き深度データをキャプチャする。本装置は、対象物の表面の画像データを検出する一つまたはそれ以上のデジタル画像センサを含む。本装置は、さらに、時間期間にわたり装置の定義された部位の場所を検出する一つまたはそれ以上のセンサを含む。本装置は、また、一つまたはそれ以上のセンサから場所データを受信し、かつ、時間期間にわたり座標系における一つまたはそれ以上の深度カメラの場所を含む地理空間的データを生成する自己定位モジュールを含む。本装置は、また、時間インデックス付き深度データ、画像データ、および、地理空間的データをコンピューティングデバイスに対して送信する通信インターフェイスを含む。コンピューティングデバイスは、第２のインデックス付き深度データ、第２の画像データ、および、第２の地理的データを第２の装置から受信し、かつ、第１および第２の時間インデックス付き深度データと第１および第２の地理空間的データを含む時間インデックス付き３次元（３Ｄ）深度データを生成する。

【0068】

一つの実施例において、本装置は、時間インデックス付き深度データのフレーム毎に４πステラジアンの深度データをキャプチャする複数の深度カメラを含む。一つの実施例において、コンピューティングデバイスは、装置から離れたところにあるデバイスである。一つの実施例において、本装置は、第１および第２の時間インデックス付き深度データ、第１および第２の色データ、および、第１および第２の地理空間的データが装置の中に含まれるコンピューティングデバイスを含み、かつ、第１および第２の時間インデックス付き深度データ、第１および第２の色データ、および、第１および第２の地理空間的データを含んでいる時間インデックス付き３次元（３Ｄ）深度データを生成する。一つの実施例において、場所を検出する一つまたはそれ以上のセンサは、動きを検出するための複数の加速度計を含む。そうした一つの実施例において、自己定位モジュールは、複数の加速度計から動作データを受信し、複数の加速度計からの動作データを平均化し、かつ、平均化された動作に基づいて地理空間的データを生成する。一つの実施例において、複数の加速度計は、少なくとも３つの加速度計を含む。一つの実施例において、一つまたはそれ以上のセンサは、振動センサを含む。

【0069】

本発明の一つの実施例は、環境における対象物の深度データおよび画像データを、時間にわたり、キャプチャするためのデータキャプチャシステムを含む。データキャプチャシステムは、第１のデータキャプチャデバイスおよび第２のデータキャプチャデバイスを含む。第１のデータキャプチャデバイスは、第１の深度カメラであり、第１の深度カメラから環境における一つまたはそれ以上の対象物の第１の表面までの第１の距離データを記録する第１の深度カメラと、環境の第１の画像データと環境における対象物を記録する第１の画像カメラと、第１の場所データを検出する第１のセンサと、を含む。第２のデータキャプチャデバイスは、第２の深度カメラであり、第２の深度カメラから環境における一つまたはそれ以上の対象物の第２の表面までの第２の距離データを記録する第２の深度カメラと、環境の第２の画像データと前記環境における前記対象物を記録する第２の画像カメラと、第２の場所データを検出する第２のセンサと、を含む。データキャプチャシステムは、さらに、第１および第２の距離データ、第１および第２の画像データ、および、第１および第２の場所データを受信し、かつ、環境と環境における対象物の統合されたデータクラウドを作成するように、データを処理するデータプロセッサと、を含む。

【0070】

一つの実施例において、第１および第２の画像データは、グレースケール画像データである。一つの実施例において、第１および第２の画像データは、カラー画像データである。一つの実施例において、第１の距離データと第１の画像データは第１の視点（ＰＯＶ）から記録され、第２の距離データと第２の画像データは第２のＰＯＶから記録され、かつ、データプロセッサは、データがフォーマットされて観察される場合に、環境と環境における対象物が複数のＰＯＶから観察されるように統合されたデータクラウドを作成する。

【0071】

一つの実施例に従って、データプロセッサは、第１および第２の画像データが環境における同一の対象物を記録しているかを判断し、かつ、画像データがオーバーラップしているところのデータ圧縮を実行する。一つの実施例において、第１および第２のセンサは、相対的な動きをトラックする動作センサを含む。一つの実施例において、第１および第２のセンサそれぞれが、複数の動作センサを含み、かつ、データキャプチャデバイスそれぞれにおける複数の動作センサからの場所データは、より正確な場所データを提供するように平均化される。一つの実施例において、第１および第２のセンサは、さらに、データキャプチャデバイスそれぞれの方向を検出する。一つの実施例において、第１の深度カメラおよび第２の深度カメラは、連続的な第１の深度データおよび第２の深度データを異なる時間においてそれぞれに記録し、それにより、システムは、第１の深度カメラまたは第２の深度カメラの単独での最大データキャプチャレートよりも大きなデータキャプチャレートにおいてデータを記録することができる。一つの実施例において、第１のデータキャプチャデバイスは、さらに、第３の深度カメラを含み、かつ、第２のデータキャプチャデバイスは、さらに、第４の深度カメラを含む。一つの実施例において、第１の深度カメラおよび第３の深度カメラは、連続的な第１の深度データおよび第３の深度データを異なる時間においてそれぞれに記録し、それにより、第１のデータキャプチャデバイスは、第１の深度カメラまたは第３の深度カメラの単独での最大データキャプチャレートよりも大きなデータキャプチャレートにおいてデータを記録することができる。

【0072】

別の実施例において、システムは、第１の深度カメラを含む第１のデータキャプチャデバイスから第１の時間インデックス付き深度データを受信する通信インターフェイスを含む。第１の時間インデックス付き深度データは、時間期間にわたる第１の深度カメラから対象物の第１の表面までの第１の一連の距離測定値を含む。通信インターフェイスは、さらに、第２の深度カメラを含む第２のデータキャプチャデバイスから第２の時間インデックス付き深度データを受信し、第２の時間インデックス付き深度データは、時間期間にわたる第２の深度カメラから対象物の第２の表面までの第２の一連の距離測定値を含む。通信インターフェイスは、さらに、時間期間の最中に、第１のデータキャプチャデバイスの第１の場所と方向データを受信し、第１の場所と方向データは、第１のデータキャプチャデバイスの第１の定義された中心と方向に係る検出された動きに基づいている。通信インターフェイスは、さらに、時間期間の最中に、第２のデータキャプチャデバイスの第２の場所と方向データを受信し、第２の場所と方向データは、データキャプチャデバイスの第２の定義された中心と方向に係る検出された動きに基づいている。システムは、さらに、データプロセッサを含み、第１のデータキャプチャデバイスと第２のデータキャプチャデバイスが、お互いに関してどのように位置し、向いているかを示す相対的な場所と方向データを計算する。そして、第１の場所と方向データ、第２の場所と方向データ、および、相対的な場所と方向データに基づいて、第１の時間インデックス付き深度データおよび第２の時間インデックス付き深度データを座標システムにおける座標と関連付ける。システムは、また、第１の時間インデックス付き深度データと関連付けされた座標を用いた第２の時間インデックス付き深度データとを含んでいる時間インデックス付き３次元（３Ｄ）深度データを保管する電子的メモリを含む。

【0073】

本発明の図示された実施例に係る上記の説明は、要約の中に記載されたものも含めて、網羅的であること、または、本発明を開示されたまさにその形式に限定することを意図するものではない。本発明の係る所定の実施例、または例示が、ここにおいて説明目的のために記載されている一方で、当業者であれば認識するように、本発明の範囲内において種々の変更が可能である。

【0074】

これらの変更は、上記の詳細な説明を考慮すれば、本発明となり得る。以降の特許請求の範囲において使用される用語は、本発明を明細書において開示された所定の実施例に限定するように解釈されるべきではない。むしろ、本発明の範囲は、以降の特許請求の範囲によって完全に決定されるべきものであり、請求項の解釈について確立された方針に従って解釈されるべきものである。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図4d】

【図4e】

【図5】

【図6】

【図7】

【図8】