特表 2024-521708 個々の点群データ点におけるデプスキーを生成及び適用するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-04

(54)【発明の名称】個々の点群データ点におけるデプスキーを生成及び適用するためのシステム及び方法

(51)【国際特許分類】

   G06T 17/00 20060101AFI20240528BHJP

【ＦＩ】

G06T17/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023571811

(86)(22)【出願日】2022-05-10

(85)【翻訳文提出日】2024-01-15

(86)【国際出願番号】 US2022028558

(87)【国際公開番号】W WO2022245596

(87)【国際公開日】2022-11-24

(31)【優先権主張番号】17/326,638

(32)【優先日】2021-05-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523436023

【氏名又は名称】イラシオ、インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】モナハン、ロバート

(72)【発明者】

【氏名】ボガッツ、ジョセフ

(57)【要約】

抽出された特徴の極めて微細な詳細の損失無しに、及び、グリーンスクリーン又は他のクロマキーイング技法の利用無しに、点群データ点デプス値及び／又は位置データを使用して、３次元（３Ｄ）環境の点群表現から特徴を正確に区別及び抽出するイメージングシステムが開示される。イメージングシステムは、データ点のセットの位置データが特徴抽出について指定されたデプス値内にあることに基づいて、３Ｄ環境における特定の特徴を表すデータ点のセットを、第１点群の他のデータ点から区別及び抽出する。イメージングシステムは、データ点のセットを、第１点群のデータ点とは異なる第２点群の１又は複数のデータ点を有する第２点群に挿入することによって、少なくとも１つの視覚効果を用いて３Ｄ環境を生成し得る。

【特許請求の範囲】

【請求項1】

３Ｄ環境を表す、３次元（３Ｄ）空間に非均一的に分布する複数のデータ点を含む第１点群を受信する段階、前記複数のデータ点の各データ点は、前記３Ｄ空間における前記データ点の特定の位置を定義する位置データ、及び、前記特定の位置において検出された前記３Ｄ環境の表面、特徴、又はオブジェクトの特性を定義する記述的特徴を含む；
ユーザによる前記複数のデータ点からの特定のデータ点の選択を受信する段階；
選択された前記特定のデータ点の前記位置データに基づいて、前記複数のデータ点の第２セットから前記複数のデータ点の第１セットを区別する段階、ここで、前記データ点の第１セットは、前記特定のデータ点を含む前記３Ｄ環境の特定の連続的な表面、特徴、又はオブジェクトを集合的に表し、ここで、前記データ点の第２セットは、前記特定のデータ点を含まない前記３Ｄ環境の異なる表面、特徴、又はオブジェクトを集合的に表し、ここで、前記データ点の第１セットを区別する段階は、
前記ユーザによって選択される前記特定のデータ点の前記位置データから外向きに拡大する段階；
少なくとも第１データ点を、（ｉ）前記第１データ点の前記位置データが、前記特定のデータ点の前記特定の位置から指定の距離より小さいこと、及び、（ｉｉ）前記第１データ点の前記記述的特徴が、前記特定のデータ点の前記記述的特徴から閾値量より大きく異なることに基づいて、前記データ点の第１セットに追加する段階；及び
少なくとも第２データ点を、前記第２データ点の前記位置データが、前記特定のデータ点の前記特定の位置から前記指定の距離より大きく、前記第１データ点の前記位置データから前記指定の距離より小さいことに基づいて、前記データ点の第１セットに追加する段階、ここで、前記データ点の第２セットからの各データ点の前記位置データは、前記データ点の第１セットにおける各データ点から指定の距離より大きい；
を含む、
前記データ点の第１セットを前記第１点群から抽出する段階、ここで、前記データ点の第１セットは、前記第１点群における前記３Ｄ環境からの前記特定の連続的な表面、特徴、又はオブジェクトを表し；及び
少なくとも１つの視覚効果を用いて前記３Ｄ環境を生成する段階、ここで、前記３Ｄ環境の生成は：
前記第１点群の前記複数のデータ点とは異なる１又は複数のデータ点を有する第２点群に前記データ点の第１セットを挿入する段階；及び
前記第２点群をレンダリングする段階
を含む、
を備える方法。

【請求項2】

前記３Ｄ環境を生成する前に、前記少なくとも１つの視覚効果を、前記特定の連続的な表面、特徴、又はオブジェクトに適用する段階、ここで、前記少なくとも１つの視覚効果を適用する段階は、前記データ点の第１セットの前記位置データ又は前記記述的特徴を修正することによって、前記特定の連続的な表面、特徴、又はオブジェクトの視覚表現を調節する段階を含む；
を更に備え、
ここで、前記データ点の第１セットを挿入する段階は、前記データ点の第２セットの前記位置データ又は前記記述的特徴を修正することなく、前記第２点群に、（ｉ）前記データ点の第１セットの前記位置データ又は前記記述的特徴の前記修正の後の結果である、修正されたデータ点の第１セット、及び、（ｉｉ）前記第１点群からの前記データ点の第２セットを追加する段階を含む、
請求項１に記載の方法。

【請求項3】

背景、又は、前記３Ｄ環境の前記異なる表面、特徴、又はオブジェクトに前記少なくとも１つの視覚効果を適用する段階、ここで、前記少なくとも１つの視覚効果を適用する段階は、前記データ点の第２セットを修正することによって、前記背景、又は、前記３Ｄ環境の異なる表面、特徴、又はオブジェクトを変更する段階を含む、
を更に備え、
ここで、前記データ点の第１セットを前記第２点群に挿入する段階は、前記データ点の第２セットの前記修正の結果である異なる複数のデータ点に前記データ点の第１セットを統合する段階を含む、
請求項１に記載の方法。

【請求項4】

前記第２データ点の前記記述的特徴を、前記第２データ点の前記位置データから前記指定の距離より小さい前記データ点の第１セットからの第３データ点の前記記述的特徴と比較する段階；及び
前記第２データ点の前記記述的特徴が、前記第３データ点の前記記述的特徴の閾値内でないことに応じて、前記データ点の第１セットから前記第３データ点を除外する段階
を更に備える、請求項１に記載の方法。

【請求項5】

前記選択を受信する段階は：
ディスプレイ上に前記第１点群の前記複数のデータ点をレンダリングする段階；及び
前記レンダリングから前記特定のデータ点を選択するユーザ入力を検出する段階
を備える、請求項１に記載の方法。

【請求項6】

前記第１点群内の特定の領域の第２選択を受信する段階、ここで、前記特定の領域は、前記３Ｄ空間内の体積を含む；
前記特定の領域内にある、ｘ、ｙ、及びｚ座標を含む前記データ点の第１グループの前記位置データに基づいて、前記複数のデータ点の第１グループを分離する段階；及び
前記データ点の第２グループの前記記述的特徴から閾値量より大きく異なる記述的特徴を有する前記データ点の第１グループから１又は複数のデータ点を除去することによって、前記データ点の第１グループを、より小さいデータ点の第２グループにフィルタリングする段階
を更に備える、請求項１に記載の方法。

【請求項7】

前記少なくとも１つの視覚効果に基づいて、前記抽出の後に前記データ点の第１セットを操作する段階を更に備え、ここで、前記データ点の第１セットを操作する段階は、前記３Ｄ環境における第１形状及び形態を有する前記特定の連続的な表面、特徴、又はオブジェクトを表す前記データ点の第１セットを、前記第１形状及び形態と異なる第２形状及び形態を有する異なる表面、特徴、又はオブジェクトを表す、異なるデータ点の第３セットで置換する段階を含む、請求項１に記載の方法。

【請求項8】

前記第１点群とは異なる時間又は状態における前記３Ｄ環境を表す第３点群を受信する段階；
前記第１点群から抽出された前記データ点の第１セットとの、前記位置データ又は前記記述的特徴のうちの１又は複数における連続性を有する前記第３点群からデータ点の第３セットを抽出する段階；及び
前記第３点群から抽出された前記データ点の第３セットに少なくとも１つの視覚効果を適用することによって、前記３Ｄ環境の異なる時間又は状態にわたって前記少なくとも１つの視覚効果を保持する段階
を更に備える、請求項１に記載の方法。

【請求項9】

第３データ点の前記記述的特徴が、前記第３データ点に最も近い前記データ点の第１セットにおける少なくとも１つのデータ点の前記記述的特徴の範囲にあることに応じて、前記データ点の第２セットからの前記第３データ点を前記データ点の第１セットに追加することによって、前記第１点群から抽出された前記特定の連続的な表面、特徴、又はオブジェクトの詳細又は正確度を強化する段階を更に備える、請求項１に記載の方法。

【請求項10】

前記詳細又は正確度の強化は：
第４データ点の前記位置データが、前記第４データ点に近接又は隣接する前記データ点の第１セットにおける少なくとも１つのデータ点の前記指定の距離内にあること、及び、前記第４データ点の前記記述的特徴が、前記データ点の第１セットにおける前記少なくとも１つのデータ点の前記記述的特徴から閾値量より大きく異なることに応じて、前記データ点の第１セットから前記第４データ点を除去する段階
を含む、請求項９に記載の方法。

【請求項11】

前記特定の連続的な表面、特徴、又はオブジェクトの異なる記述的特徴を含むモデルを生成する段階；
前記第１データ点の前記記述的特徴を前記モデルと比較する段階
を更に備え、
ここで、前記第１データ点を前記データ点の第１セットに追加することは、
前記第１データ点の前記記述的特徴は、前記モデル内の前記異なる記述的特徴のうちの１又は複数に合致すると判定することを含む、
請求項１に記載の方法。

【請求項12】

前記複数のデータ点の前記記述的特徴をスキャンする段階；
前記スキャンに基づいて、前記３Ｄ環境の各表面、特徴、又はオブジェクトにわたる異なる記述的特徴をモデリングする段階
を更に備え、
ここで、前記第１データ点を前記データ点の第１セットに追加することは：
（ｉ）前記第１データ点の前記位置データが、前記特定のデータ点の前記特定の位置から前記指定の距離より小さいこと、及び、（ｉｉ）前記第１データ点の前記記述的特徴が、前記特定の連続的な表面、特徴、又はオブジェクトにわたってモデリングされた記述的特徴と合致することに応じて、前記第１データ点を前記データ点の第１セットに入力することを含む、
請求項１に記載の方法。

【請求項13】

３Ｄ環境を表す、３次元（３Ｄ）空間に非均一的に分布する複数のデータ点を含む第１点群を受信すること、前記複数のデータ点の各データ点は、前記３Ｄ空間における前記データ点の特定の位置を定義する位置データ、及び、前記特定の位置で検出された前記３Ｄ環境の表面、特徴、又はオブジェクトの特性を定義する記述的特徴を含む；
ユーザによる前記複数のデータ点からの特定のデータ点の選択を受信すること；
選択された前記特定のデータ点の前記位置データに基づいて、前記複数のデータ点の第２セットから前記複数のデータ点の第１セットを区別すること、ここで、前記データ点の第１セットは、前記特定のデータ点を含む前記３Ｄ環境の特定の連続的な表面、特徴、又はオブジェクトを集合的に表し、ここで、前記データ点の第２セットは、前記３Ｄ環境の異なる表面、特徴、又はオブジェクトを集合的に表し、ここで、前記データ点の第１セットを区別することは：
前記ユーザによって選択された前記特定のデータ点の前記位置データから外向きに拡大すること；
（ｉ）第１データ点の前記位置データが、前記特定のデータ点の前記特定の位置から指定の距離より小さいこと、及び、（ｉｉ）前記第１データ点の記述的特徴が、前記特定のデータ点の前記記述的特徴から閾値量より大きく異なることに基づいて、少なくとも前記第１データ点を前記データ点の第１セットに追加すること；及び
少なくとも第２データ点を、前記第２データ点の前記位置データが、前記特定のデータ点の前記特定の位置から前記指定の距離より大きく、前記第１データ点の前記位置データから前記指定の距離より小さいことに基づいて、前記データ点の第１セットに追加すること、ここで、前記データ点の第２セットからの各データ点の前記位置データは、前記データ点の第１セットにおける各データ点から前記指定の距離より大きい、
を含み；
前記第１点群から前記データ点の第１セットを抽出すること、ここで、前記データ点の第１セットは、前記第１点群における前記３Ｄ環境からの前記特定の連続的な表面、特徴、又はオブジェクトを表す；及び
少なくとも１つの視覚効果を用いて前記３Ｄ環境を生成すること、ここで、前記３Ｄ環境の生成は：
前記第１点群の前記複数のデータ点と異なる１又は複数のデータ点を有する第２点群に前記データ点の第１セットを挿入すること；及び
前記第２点群をレンダリングすること
を含む、
を行うよう構成されている１又は複数のプロセッサを備えるシステム。

【請求項14】

前記１又は複数のプロセッサは更に：
前記３Ｄ環境の生成前に、前記少なくとも１つの視覚効果を前記特定の連続的な表面、特徴、又はオブジェクトに適用すること、ここで、前記少なくとも１つの視覚効果を適用することは、前記データ点の第１セットの前記位置データ又は前記記述的特徴を修正することによって、前記特定の連続的な表面、特徴、又はオブジェクトの視覚表現を調節することを含む、を行うよう構成され；
ここで、前記データ点の第１セットを挿入することは、前記データ点の第２セットの前記位置データ又は前記記述的特徴を修正することなく、前記第２点群に、（ｉ）前記データ点の第１セットの前記位置データ又は前記記述的特徴の前記修正の後の結果である、修正されたデータ点の第１セット、及び、（ｉｉ）前記第１点群からの前記データ点の第２セットを追加すること含む、
請求項１３に記載のシステム。

【請求項15】

前記１又は複数のプロセッサは更に：
背景、又は、前記３Ｄ環境の前記異なる表面、特徴、又はオブジェクトに前記少なくとも１つの視覚効果を適用すること、ここで、前記少なくとも１つの視覚効果を適用することは、前記データ点の第２セットを修正することによって、前記背景、又は、前記３Ｄ環境の前記異なる表面、特徴、又はオブジェクトを変更することを含む、を行うよう構成され；
前記データ点の第１セットを前記第２点群に挿入することは、前記データ点の第２セットの前記修正の結果である異なる複数のデータ点に前記データ点の第１セットを統合することを含む、
請求項１３に記載のシステム。

【請求項16】

前記１又は複数のプロセッサは更に：
前記第２データ点の前記記述的特徴を、前記第２データ点の前記位置データから前記指定の距離より小さい前記データ点の第１セットからの第３データ点の前記記述的特徴と比較すること；及び
前記第２データ点の前記記述的特徴が前記第３データ点の前記記述的特徴の閾値内にないことに応じて、前記データ点の第１セットから前記第３データ点を除外すること
を行うよう構成されている、請求項１３に記載のシステム。

【請求項17】

前記選択の受信は：
ディスプレイ上に前記第１点群の前記複数のデータ点をレンダリングすること；及び
前記レンダリングから前記特定のデータ点を選択するユーザ入力を検出すること
を含む、請求項１３に記載のシステム。

【請求項18】

前記１又は複数のプロセッサは更に：
前記データ点の第２セットからの第３データ点の前記記述的特徴が、前記第３データ点に最も近い前記データ点の第１セットにおける少なくとも１つのデータ点の前記記述的特徴の範囲にあることに応じて、前記第３データ点を前記データ点の第１セットに追加することによって、前記第１点群から抽出された前記特定の連続的な表面、特徴、又はオブジェクトの詳細又は正確度を強化することを行うよう構成されている、請求項１３に記載のシステム。

【請求項19】

プロセッサに、
３Ｄ環境を表す、３次元（３Ｄ）空間に非均一的に分布する複数のデータ点を含む第１点群を受信する手順、前記複数のデータ点の各データ点は、前記３Ｄ空間における前記データ点の特定の位置を定義する位置データ、及び、前記特定の位置において検出された前記３Ｄ環境の表面、特徴、又はオブジェクトの特性を定義する記述的特徴を含む；
ユーザによる前記複数のデータ点からの特定のデータ点の選択を受信する手順；
選択された前記特定のデータ点の前記位置データに基づいて、前記複数のデータ点の第２セットから前記複数のデータ点の第１セットを区別する手順、ここで、前記データ点の第１セットは、前記特定のデータ点を含む前記３Ｄ環境の特定の連続的な表面、特徴、又はオブジェクトを集合的に表す、ここで、前記データ点の第２セットは、前記特定のデータ点を含まない前記３Ｄ環境の異なる表面、特徴、又はオブジェクトを集合的に表し、ここで、前記データ点の第１セットを区別する手順は：
前記ユーザによって選択された前記特定のデータ点の前記位置データから外向きに拡大する手順；
（ｉ）第１データ点の前記位置データが、前記特定のデータ点の前記特定の位置から指定の距離より小さいこと、及び、（ｉｉ）前記第１データ点の前記記述的特徴が、前記特定のデータ点の前記記述的特徴から閾値量より大きく異なることに基づいて、少なくとも前記第１データ点を前記データ点の第１セットに追加する手順；及び
第２データ点の前記位置データが、前記特定のデータ点の前記特定の位置から前記指定の距離より大きく、前記第１データ点の前記位置データから前記指定の距離より小さいことに基づいて、少なくとも前記第２データ点を前記データ点の第１セットに追加する手順、ここで、前記データ点の第２セットからの各データ点の前記位置データは、前記データ点の第１セットにおける各データ点から前記指定の距離より大きい；
を含む；
前記第１点群から前記データ点の第１セットを抽出する手順、ここで、前記データ点の第１セットは、前記第１点群における前記３Ｄ環境からの前記特定の連続的な表面、特徴、又はオブジェクトを表す；及び
少なくとも１つの視覚効果を用いて前記３Ｄ環境を生成する手順、ここで、前記３Ｄ環境を生成する手順は：
前記第１点群の前記複数のデータ点と異なる１又は複数のデータ点を有する第２点群に前記データ点の第１セットを挿入する手順；及び
前記第２点群をレンダリングする手順
を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

クロマキー合成又はクロマキーイングは、色を使用して、前景内のオブジェクトを均一な色の背景から区別し、オブジェクトを別々に抽出及び／又は編集し得る。グリーンスクリーンはクロマキーイングのアプリケーションである。

【0002】

しかしながら、クロマキーイングは、抽出及び／又は区別し得る詳細のレベルにおいて制限される。個々の髪の毛、ギザギザ又は粗い輪郭又は縁部、及び／又は、薄い又は僅かな逸脱を有する表面に関連する詳細は、それらの髪の毛の輪郭、縁部、及び／又は表面が背景と共にぼやける、及び／又は、捕捉されたイメージにおけるそれらの厚さ、分解能、又はサイズに起因して背景から区別できない場合、クロマキーイングで失われ得る。

【0003】

詳細の損失は、現実感を低減し、又は、合成イメージにおける他のオブジェクト、背景、又は要素とは別の抽出されたオブジェクトを挿入、置換、又はそうでない場合、編集する結果生じる視覚効果の品質を劣化させ得る。

【図面の簡単な説明】

【0004】

【図1】本明細書において提示されるいくつかの実施形態による、３次元（３Ｄ）環境の異なる表面、特徴、及び／又は点についての記述的特徴及び位置データを点群の複数のデータ点に融合する例を示す。

【0005】

【図2】本明細書において提示されるいくつかの実施形態による点群デプスベース特徴抽出についてのプロセスを提示する。

【0006】

【図3】本明細書において提示されるいくつかの実施形態による点群デプスベース特徴抽出の例を示す。

【0007】

【図4】本明細書において提示されるいくつかの実施形態による、デプスベース及び記述的特徴ベースの特徴抽出を使用して、３Ｄ環境内の任意の場所における非均一的にカラーリングされた特徴及び／又はオブジェクトを区別及び抽出する例を示す。

【0008】

【図5】いくつかの実施形態による、点群内の抽出されたオブジェクトの位置をセットするプロセスを提示する。

【0009】

【図6】本明細書において提示されるいくつかの実施形態による、デプスベース及び記述的特徴ベースの特徴抽出の組み合わせに基づく、異なる点群間の一貫した特徴抽出のためのプロセスを提示する。

【0010】

【図7】本明細書において提示されるいくつかの実施形態による、補助の点群処理の例を示す。

【0011】

【図8】本明細書において提示されるいくつかの実施形態による、異なる点群データ点の位置データに基づいて測定を生成する例を示す。

【0012】

【図9】本明細書において記載される１又は複数の実施形態による１又は複数のデバイスの例示的コンポーネントを示す。

【発明を実施するための形態】

【0013】

以下の詳細な説明では、添付図面を参照する。複数の異なる図面における複数の同一の参照番号は、複数の同一又は同様の構成要素を識別し得る。

【0014】

詳細な３次元（３Ｄ）イメージ及び／又はビデオ処理のために個々の点群データ点におけるデプス値を生成及び使用するためのシステム及び方法が提供される。システム及び方法は、光検出及び測距（ＬｉＤＡＲ）、ストラクチャードライト、及び／又は、他のデプス検出技術及び／又はセンサを使用して、３Ｄ環境の検出された各特徴、表面、及び／又は他の点の３Ｄポジショニングをマッピングし、３Ｄ環境から取得される記述的特徴及び位置データの融合に基づいて複数のデータ点に点群を追加する、３次元（３Ｄ）環境における視覚的及び非視覚的記述的特徴を捕捉する点群イメージングシステムを含み得る。

【0015】

いくつかの実施形態において、イメージングシステムは、ＬｉＤＡＲ、ストラクチャードライト、及び／又は、他のデプス検出技術及び／又はセンサを使用して、結果として生じる点群においてミリメートルの精度で、検出された各特徴、表面、及び／又は他の点のデプス及び３Ｄポジショニングを測定及び記録し得る。いくつかの実施形態において、イメージングシステムは、第１カメラ又はセンサを使用して、第１セットの位置データ又は２次元（２Ｄ）位置データを有する記述的特徴を捕捉し得、第２カメラ又はセンサ（例えば、ＬｉＤＡＲ、ストラクチャードライト、及び／又は他のデプス検出技術及び／又はセンサ）を使用して、点群の３Ｄ空間における第１カメラ又はセンサから取得された記述的特徴を強化し、補足し、又は、そうでない場合、より正確にポジショニングするデプス値及び／又は３Ｄ位置データを追加し得、その結果、点群データ点は、厳密なポジショニングで、３Ｄ環境内の細かい詳細を反映する。いくつかの実施形態において、イメージングシステムは、３Ｄ環境の記述的特徴の捕捉、及び、デプス検出の実行の間で交互に切り替えて、代表的な３Ｄ空間に位置する点群データ点として、捕捉された記述的特徴を正確にマッピングし得る。

【0016】

イメージングシステムは、デプス値及び／又は位置データを使用して、抽出された特徴及び／又はオブジェクトの極めて微細な詳細の損失無しに、及び、グリーンスクリーン又は他のクロマキーイング技法の利用無しに、点群から特徴及び／又はオブジェクトを正確に区別及び抽出し得る。具体的には、イメージングシステムは、点群内の特定の特徴を表すデータ点のセット全体を抽出し得、抽出中に、個々の髪の毛、ギザギザ又は粗い輪郭、又は縁部、及び／又は、薄い又は僅かな逸脱を有する、抽出された特徴及び／又はオブジェクトの表面を表す点群データ点のセットのサブセットを保持及び／又は維持し得る。なぜなら、特定の特徴のこれらの部分は、割り当てられたデプス値によって、他の要素（例えば、背景）から区別されるからである。

【0017】

したがって、イメージングシステムは、デプス値をクロマキーイングについての代理として使用し得、グリーンスクリーン又はクロマキーイングされた背景が使用されないときでも、特徴及び／又はオブジェクト抽出を可能にし得る。また、本明細書に記載されたイメージングシステムによって実行される特徴及び／又はオブジェクト抽出は、グリーンスクリーン及び／又はクロマキーイング技法と比べてより正確であり得る。なぜなら、イメージングシステムは、３Ｄ環境を捕捉するために使用されるイメージ又はカメラ分解能に関わらず、詳細が非常に小さい、薄い、溶け込んでいる、及び／又は、そうでない場合、グリーンスクリーン又はクロマキーイングされた背景と区別がつかないときに失われることが多い、抽出された特徴及び／又はオブジェクトにおける細かい詳細を維持することが可能であるからである。

【0018】

イメージングシステムによって抽出されるオブジェクト及び／又は特徴は、クロマキーイングを用いて現在作成される同一の視覚効果を作成するために使用され得る。例えば、抽出されたオブジェクト及び／又は特徴は、デジタル方式で、他の３Ｄ環境又はシーンの点群に再挿入され（例えば、背景、又は、元の３Ｄ環境からの他のオブジェクトを置換する）、元の３Ｄ環境の他のオブジェクト又は視覚的要素とは別に編集され、２Ｄイメージ又はシーンに挿入され得、及び／又は、導入されたオブジェクト、新しい背景、及び／又は、元の３Ｄ環境に存在しなかった他の視覚効果によって影響され得る。

【0019】

いくつかの実施形態において、イメージングシステムは、点群データ点の記述的特徴と併せてデプス値を使用して、ビデオの異なるフレーム間の特定のオブジェクトの移動、及び／又は、３Ｄ環境の異なる状態をトラッキングし、異なるフレーム又は状態間の特定のオブジェクトについての同一の詳細を抽出し得る。例えば、特定の髪の毛を形成するデータ点についてのデプス値は、フレームとフレームとの間で大きく変動し得るが、特定の髪の毛の色を表す記述的特徴は、ほぼ同一のままである。したがって、イメージングシステムが、データ点デプス値を使用して、第１点群によって表される第１フレームにおける特定の髪の毛を分離すると、イメージングシステムは、その特定の髪の毛を形成する点群データ点のデプス値、カラーリングデータ、及び／又は、他の記述的特徴の組み合わせに基づいて、他の点群によって表される後続フレームから同一の特定の髪の毛を分離及び抽出することを続け得る。

【0020】

視覚効果処理に加えて、点群データ点デプス値は、科学、地図作成、工学、及び／又は、他の用途に使用され得る。例えば、ユーザは、点群とインタラクトして、１又は複数の観点から３Ｄ環境を見ることがあり得、及び／又は、点群内の異なるデータ点を選択して、選択されたデータ点を隔てる距離の厳密な測定値を取得し得る。３Ｄ環境内の異なる位置間の距離は、異なる位置における点群データ点の位置データから直接計算され得る。また、点群データ点から取得される測定は、ユーザが、実際の３Ｄ環境において物理的にアクセスできない場所からの測定値を取得することを可能にし得る。例えば、イメージングシステムは、ユーザが、壁、中実構造、及び／又は、閉鎖された又はアクセスできない空間内にあるデータ点を選択することを可能にし、イメージングシステムはなお、それらのデータ点との間で正確な測定を生成し得る。

【0021】

図１は、本明細書において提示されるいくつかの実施形態による、３Ｄ環境の異なる表面、特徴、及び／又は点についての記述的特徴及び位置データを点群の複数のデータ点に融合する例を示す。特に、図１は、少なくとも第１センサ１０２及び第２センサ１０４からの出力を融合して、３Ｄ環境の表面、特徴、及び／又は点からの記述的特徴を、３Ｄ空間において定義される点群データ点に正確にマッピングして、３Ｄ環境の表面、特徴、及び／又は点のポジショニングを反映する点群を生成するイメージングシステム１００を示す。

【0022】

第１センサ１０２は、電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化膜半導体（ＣＭＯＳ）センサなどのイメージングセンサ及び／又はデバイスに対応し得る。イメージングシステム１００は、（１０１において）第１センサ１０２をアクティブ化し、（１０３において）３Ｄ環境の記述的特徴を捕捉し得る。記述的特徴は、３Ｄ環境内の表面、特徴、及び／又は他の点にわたる、色、クロミナンス、ルミナンス、及び／又は、可視特性などの３Ｄ環境の視覚的特徴を含み得る。記述的特徴はまた、３Ｄ環境内の表面、特徴、及び／又は他の点にわたる、温度、磁気特性、密度、及び／又は、他の非可視的特性などの３Ｄ環境の非視覚的特徴を含み得る。いくつかの実施形態において、第１センサ１０２は、３Ｄ環境の記述的特性を捕捉する１又は複数の２Ｄイメージを生成し得る。

【0023】

第２センサ１０４は、３Ｄ又はデプス感知カメラ、ＬｉＤＡＲ、磁気共鳴イメージング（ＭＲＩ）デバイス、陽電子放出断層撮影（ＰＥＴ）スキャンデバイス、コンピュータ断層撮影（ＣＴ）スキャンデバイス、タイムオブフライトデバイス、及び／又は、他のデプス検出技術及び／又はセンサを含み得る。したがって、第２センサ１０４は、レーザ、音、電波、可視光パターン、非可視光パターン（例えば、赤外線）、磁場、及び／又は、他の信号を使用して、３Ｄ環境における様々な表面、特徴及び／又は他の点にわたる形状、形態、及び／又はポジショニングにおける僅かな及び／又は微視的な変動を検出及び測定し得る。

【0024】

第２センサ１０４は、第１センサ１０２と同一又は同様の位置に位置し得、イメージングシステム１００は、第２センサ１０４をアクティブ化し（１０５に）、３Ｄ環境の各表面、特徴、及び／又は他の点の検出された詳細を、点群の３Ｄ空間内に位置する複数の点群データ点に粒状にマッピングし得る（１０７）。特に、第２センサ１０４は、３Ｄ環境の検出された各表面、特徴及び／又は点の位置を測定し得、検出された表面、特徴、又は他の点の測定された位置に対応する点群における位置においてデータ点を生成し得る。

【0025】

いくつかの実施形態において、第１センサ１０２及び第２センサ１０４は、３Ｄ環境の周りで回転され、３Ｄ環境の３６０度捕捉を実行し得る。いくつかの他の実施形態において、イメージングシステム１００は、３Ｄ環境の３６０度捕捉を実行するために、３Ｄ環境全体に分布する複数の第１センサ１０２及び第２センサ１０４を有し得る。

【0026】

いくつかの実施形態において、第２センサ１０４は、第１センサ１０２の部分として統合又は組み込まれ得る。例えば、組み合わされたセンサは、赤外線及び／又は他の非可視光測定を介して、赤、緑、青（ＲＧＢ）色情報及びデプス情報を各々捕捉するフォトサイトを含み得る。

【0027】

任意の場合において、イメージングシステム１００は、第１センサ１０２及び第２センサ１０４の出力を組み合わせて３Ｄ環境の点群表現を生成し得る。特に、イメージングシステム１００は、（１０９において）第１センサ１０２を用いる３Ｄ環境のイメージングから取得された記述的特徴を、第２センサ１０４を用いる３Ｄ環境のデプスベースのスキャンから生成された個々のデータ点にマッピングし得る。

【0028】

マッピング（１０９）は、３Ｄ空間における各データ点の位置、及び、３Ｄ環境内の記述的特徴が捕捉された場所の間の対応関係に基づき得る。いくつかの実施形態において、イメージングシステム１００は、第１センサ１０２によって生成された２Ｄイメージのピクセルからの記述的特徴を、第２センサ１０４によって検出された３Ｄ環境の表面、特徴、及び／又は他の点についての３Ｄ空間においてプロットされたデータ点にマッピングし得る（１０９）。いくつかのそのような実施形態において、第１センサ１０２から出力されたイメージは、捕捉された記述的特徴についてのｘ座標及びｙ座標値を本質的又は明示的に定義し得るが、ｚ座標値又はデプス値を省略し得る。イメージングシステム１００は、各ｘ－ｙ座標ペアにおける記述的特徴データを、同一のｘ－ｙ座標ペアを有するデータ点のデプス値に追加し得る。いくつかの実施形態において、マッピング（１０９）は、記述的特徴に基づいて３Ｄ表現を生成すること、及び、記述的特徴をラッピングする、又はそうでない場合、３Ｄ空間に位置するデータ点に適用することを含み得る。

【0029】

マッピング（１０９）の結果として、点群の各データ点は、ｘ座標、ｙ座標、及びｚ座標位置などの位置データを含み得、記述的特徴を含み得る。換言すると、各データ点は、位置データ及び記述的特徴を格納するデータの要素のアレイを含み得る。記述的特徴データ要素は、点群におけるその特定のデータ点の位置に直接マッピングする３Ｄ環境内の位置における特徴、表面、及び／又は他の点の色を含み得る。色の特徴は、ＲＧＢ及び／又は他の値を使用して表され得る。いくつかの実施形態において、記述的特徴はまた、クロミナンス及び／又はルミナンス値を含み得る。記述的特徴はまた、３Ｄ環境の非視覚的特徴を含み得る。例えば、非視覚的特徴は、３Ｄ環境の表面、特徴、及び／又は他の点を検出及び／又はイメージングすることに使用された磁場の強度を定量化するテスラ強度値を含み得る。非視覚的特徴はまた、３Ｄ環境の検出された表面、特徴、及び／又は他の点のエネルギー、音、及び／又は他の非視覚特性を測定及び／又は記録し得る。

【0030】

結果として、生成された点群の結果として生じるデータ点は、任意の２Ｄイメージのピクセルと異なり得る。なぜなら、点群の特定の領域は、それらの領域において検出された視覚情報の量の変動に基づいて、データ点を有しない、より低密度のデータ点、より高密度のデータ点、及び／又は、異なるデプスのデータ点を有することがあり得るからである。対照的に、２Ｄイメージのピクセルは、２Ｄイメージの分解能によって定義される、均一な密度及び固定の２Ｄ配列を有する。また、点群データ点は、非均一な配置又はポジショニングを有し得、一方、２Ｄイメージは、定義された分解能（例えば、６４０×４８０、８００×６００など）の各ピクセルについてのピクセルデータを有する。

【0031】

イメージングシステム１００はまた、時間と共に変化する３Ｄ環境の状態を捕捉する複数の点群を生成するために使用され得る。したがって、複数の点群は、ビデオの異なるフレームに対応し得る。３Ｄ環境の変化する状態を捕捉することは、３Ｄ環境における変化する表面、特徴、及び／又は点を表す異なる数のデータ点、経時的な表面、特徴、及び／又は点の移動を捕捉するための異なる位置におけるデータ点、及び／又は、表面、特徴、及び／又は点にわたる変化するカラーリング、ライティング、及び／又は他の視覚的又は非視覚的特徴を捕捉するための異なる記述的特徴を有する各点群を生成することを含み得る。

【0032】

変化する３Ｄ環境の記述的特徴及び位置データを別々に捕捉するために、イメージングシステム１００は、第１センサ１０２及び第２センサ１０４の間でアクティブ化を周期的に切り替え得る。例えば、変化する３Ｄ環境の３０フレーム毎秒（ｆｐｓ）ビデオを生成するために、イメージングシステム１００は、６０ｆｐｓで第１センサ１０２及び第２センサ１０４を操作し得、５フレーム、１０フレーム、１５フレームなどごとに第１センサ１０２及び第２センサ１０４の間でアクティブ化を切り替え得る。いくつかの実施形態において、第１センサ１０２は、各センサ１０２及び１０４が対応するデータを捕捉、測定、及び／又は記録するために必要な時間に依存して、第２センサ１０４より長い時間長にわたってアクティブ化され得（例えば、１０フレームについて第１センサ１０２を、５フレームについて第２センサ１０４をアクティブ化する）、又はその逆も同様である。例えば、第２センサ１０４は、ストラクチャードライトパターンを使用して、点群データ点についてのデプスを測定し位置データを捕捉し得る。第２センサ１０４は、３Ｄ環境をストラクチャードライトパターンで照明するために少なくとも１０ミリ秒（ｍｓ）、及び、３Ｄ環境の１又は複数のデプス測定値を取得するために別の５ｍｓを必要とし得る。したがって、３Ｄ環境の表面を検出し、それらの表面を点群におけるデータ点としてプロットするための時間は、３Ｄ環境の記述的特徴を有するイメージを取得するための時間より長くかかり得る。イメージングシステム１００は次に、３Ｄ環境の特定の状態について取得された記述的特徴（例えば、第１センサ１０２を用いて捕捉されたフレーム１－５）を、記述的特徴が捕捉された時間に、又は、それに最も近い時間に第２センサ１０４によって生成された位置データ（例えば、フレーム６－１５）に組み合わせ、及び／又は、融合し得る。

【0033】

いくつかの他の実施形態において、第２センサ１０４は、第１センサ１０２と同時にアクティブ化され得、それにより、第１センサ１０２が３Ｄ環境の記述的特徴を、同時に、及び／又は、第２センサ１０４が点群データ点についての位置データを取得するレートで連続的に捕捉する。例えば、ＬｉＤＡＲは、３Ｄ環境のイメージングに対して効果を有しないことがあり得る。したがって、第１センサ１０２が３Ｄ環境の記述的特徴についてのイメージを取得するのと同時にデプス測定値を取得するために、ＬｉＤＡＲはアクティブ化され得る。同様に、第２センサ１０４は、赤外線を使用して、第１センサ１０２による記述的特徴の捕捉に影響しない非可視ストラクチャードライトパターンで３Ｄ環境に照明し得る。したがって、第２センサ１０４は、位置データを取得し得、第１センサ１０２を使用して記述的特徴が捕捉されたのと同時に非可視ストラクチャードライトパターンを使用して測定されたデプス値に基づいて点群データ点を生成し得る。

【0034】

いくつかの実施形態において、イメージングシステム１００は、結果として生じる点群からの位置データ及び／又はデプス情報を使用して、視覚効果、ビデオ編集、及び／又は、イメージ処理用途のために、３Ｄ環境から３Ｄ特徴及び／又はオブジェクトを正確に抽出し得る。具体的には、イメージングシステム１００は、位置データ及び／又はデプス情報を、クロマキーイングの代理として使用し得、より正確であり、グリーンスクリーン又はクロマキーイングされた背景の使用無しに従来のクロマキーイング技法より詳細を捕捉する、３Ｄ環境からの所望のオブジェクトの抽出を実行し得る。

【0035】

位置データ及び／又はデプス情報に基づく本明細書に記載された点群ベースの特徴抽出は、そうでない場合にクロマキーイング特徴抽出で失われる、抽出されたオブジェクトの微細な詳細を維持し得る。例えば、動作主体の頭部又は顔から延びる微細な毛（例えば、顎鬚）は、クロマキーイングされた背景と区別がつかないことがあり得、クロマキーイングされた特徴抽出で失われるが、本明細書に記載された点群ベースの特徴抽出によって維持又は保持される。

【0036】

イメージングシステム１００はまた、１又は複数の特徴を抽出する、又は、１又は複数の特徴を他の特徴又は背景イメージから区別する、特定のデプス値を選択することによって、特徴抽出に対するより大きい制御を提供し得る。例えば、クロマキーイングは、クロマキーイングに合致する、背景におけるすべてのものを除去することを伴い得る。反対に、イメージングシステム１００は、点群の異なデプスで異なる特徴を抽出し得、それにより、いくつかの前景及び背景の特徴が抽出又は保持される一方で、他の前景及び背景の特徴が除去され得ることを可能にする。

【0037】

図２は、本明細書において提示されるいくつかの実施形態による点群デプスベース特徴抽出についてのプロセス２００を提示する。プロセス２００はイメージングシステム１００によって実装され得る。

【0038】

プロセス２００は、３Ｄ環境の点群表現にアクセスすること（２０２）を含み得る。点群表現にアクセスすること（２０２）は、ファイル、データベース、又は他のソースからの点群表現を開き、検索し、及び／又は取得することを含み得る。点群表現は、図１を参照して上で記載された技法を使用して生成され得、３Ｄ空間に非均一的に位置する複数のデータ点、及び、３Ｄ空間におけるそのデータ点のポジショニングを定義する位置データを有する各データ点、及び、そのデータ点が３Ｄ環境の３Ｄイメージの生成においてどのようにレンダリング又は提示されるかを定義する記述的特徴を含み得る。

【0039】

プロセス２００は、特徴抽出のために点群における領域及び／又はデプスを指定する入力を受信すること（２０４）を含み得る。いくつかの実施形態において、イメージングシステム１００は、点群データ点の位置データ及び記述的特徴に基づいて、３Ｄ環境の点群表現をディスプレイ上にレンダリングし得る。ユーザは、レンダリングされた３Ｄ環境内を移動し得、特徴抽出のために所望のデプスにおけるデータ点のうちの１又は複数に関連する１又は複数の選択を行い得る。例えば、ユーザは、所望のオブジェクトの最前部のデータ点、及び、所望のオブジェクトの最後部のデータ点を選択し得、イメージングシステム１００は、ユーザ選択に基づいて抽出を実行する最大及び最小デプス値を自動的に判定し得る。追加的又は代替的に、ユーザは、特徴抽出が実行されるデータ点の領域又は体積を選択し得る。いくつかの他の実施形態において、入力は、イメージングシステム１００が特徴抽出を実行する（例えば、第１のｚ座標値及び第２のｚ座標値の間の任意の特徴を抽出する）最小のデプス及び最大のデプスについての値を含み得る。ユーザは、指定のデプスにおける特徴抽出が発生する最小及び最大のｘ座標及び／又はｙ座標を追加的に提供することによって、特徴抽出を特定の領域に制限し得る。いくつかの実施形態において、ユーザ入力は、点群内の異なる場所における抽出デプス値を調節するためのベクトルとして及び／又は角度で指定され得る。例えば、抽出のための所望のオブジェクトは、上部で前方へ延び得、下部で後方へ延び得る。この場合、ユーザ入力は、所望のオブジェクトの上部に対応する点群の領域におけるデータ点を抽出するために、より小さい又はより近いｚデプス値を指定し得、所望のオブジェクトの下部に対応する点群の領域におけるデータ点を抽出するために、より大きい又はより遠いｚデプス値を指定し得る。

【0040】

プロセス２００は、受信された（２０４）入力の指定領域及び／又はデプス内にある点群内のデータ点のセットを抽出すること（２０６）を含み得る。データ点のセットを抽出すること（２０６）は、点群を形成する複数のデータ点を特定し、ソートし、及び／又はフィルタリングして、受信された（２０４）入力の指定領域及び／又はデプスにおけるポジショニングに合致する又はそれを満たす位置データを有するデータ点のより小さいセットを分離することを含み得る。例えば、入力は、点群において特定の動作主体が現れるデプス範囲（例えば、第１のｚ座標値及び第２のｚ座標値）を指定し得、イメージングシステム１００は、動作主体のすべての特徴、観察可能な点、及び／又は、他の部分を表すそのデプス範囲におけるデータ点のセット（例えば、第１のｚ座標値及び第２のｚ座標値の間におけるｚ座標値を有するデータ点のセット）を分離し得る。抽出（２０６）は、イメージ内に現れるカラーリングデータ内ではなく、点群データ点内に含まれるデプス情報に基づくので、イメージングシステム１００は、クロマキーイング技法を使用するときより詳細に特定の動作主体を抽出することが可能である。なぜなら、そうでない場合に背景のカラーリングと溶け込み得る特定の動作主体の個々の髪の毛、縁部、輪郭、及び／又は部分は、それらの部分について捕捉されたデプス情報によって、データ点の抽出された（２０６）セット内において区別及び保持され得るからである。

【0041】

プロセス２００は、新しい点群、３Ｄ環境、２Ｄイメージ、又は２Ｄ環境内のデータ点のセットを格納すること（２０８）を含み得、及び／又は、元の点群の他の特徴又はデータ点とは別に、データ点のセットによって表される抽出された特徴を編集、調節、及び／又は、そうでない場合、操作すること（２１０）を含み得る。いくつかの実施形態において、操作（２１０）は、新しい背景又はオブジェクトを、抽出された特徴のデータ点のセットに対する所望のデプスで、新しい点群にデジタル方式で挿入することを含み得る。この方式において、イメージングシステム１００は、グリーンスクリーン又はクロマキーイングされた背景を使用することなく、及び、１つの特徴を他の特徴又は背景から区別するためにカラーリング情報に専ら依存することなく、グリーンスクリーン又はクロマキー効果を提供し得る。いくつかの他の実施形態において、操作（２１０）は、２Ｄイメージ又は２Ｄシーン内の２Ｄのレンダリングされたオブジェクトとしてデータ点のセットをデジタル方式で挿入することを含み得、ここで、データ点のセットをデジタル方式で挿入することは、データ点をフラット化すること、又は、最前部のデータ点を保持すること、フラット化された又は保持されたデータ点によって表される２Ｄオブジェクト又は２Ｄ特徴をレンダリングすること、２Ｄイメージ又は２Ｄシーン内のオブジェクト又は特徴の配置に従って、レンダリングされたオブジェクト又は特徴をサイズ変更すること、及び／又は、２Ｄイメージ又は２Ｄシーンのライティングに合致するように、デジタル方式で挿入されたオブジェクトのライティングを調節することを含み得る。

【0042】

図３は、本明細書において提示されるいくつかの実施形態による点群デプスベース特徴抽出の例を示す。図は、剣を保持する動作主体を伴う３Ｄ環境を表す点群３０２を含む。点群３０２は、検出された３Ｄ環境の特徴、表面及び／又は他のオブジェクトからマッピングされた位置データ及び記述的特徴を有する複数のデータ点で定義され得る。

【0043】

イメージングシステム１００は、体積３０４を入力として受信し得る（３０１）。体積３０４は、特徴抽出を実行する最小及び最大のデプス値（例えば、ｚ座標値）を指定し得、特徴抽出を実行する点群３０２内の領域（例えば、抽出の対象となる最小及び最大ｘ座標及びｙ座標値）を指定し得る。

【0044】

イメージングシステム１００は、デプス値範囲を満たし、及び／又は、ユーザ入力によって定義される体積内にあるデータ点の第１セットを抽出し得る（３０３）。この例では、データ点の第１セットは、動作主体の身体の前方にある剣の刃に対応し、したがって、デプス値に基づいて動作主体の身体及び／又は３Ｄ環境における他のオブジェクトから区別可能であり得る。

【0045】

データ点の第１セットは、抽出（３０３）の結果としての点群３０２の他のデータ点とは別々に編集され得る（３０５）。図３に示されるように、編集（３０５）は、剣の刃を表すデータ点の第１セットを、斧の刃を表すデータ点の第２セット３０６で置換することを含み得る。データ点の第２セット３０６は、データ点の第１セットと同一のデプス値を有し得るが、ｘ及び／又はｙ座標平面についてのより多くの又は異なるように配置されたデータ点を含み得る。いくつかの実施形態において、編集（３０５）は更に、点群３０２のカラーリング及びライティングと合致するように、データ点の第２セット３０６の視覚的特徴及び／又はライティングを調節することを含み得る。編集（３０５）は更に、抽出された（３０３）データ点の第１セットのサイジング及び／又は向きと合致するように、データ点の第２セット３０６をサイジング及び／又は向き調整することを含み得る。

【0046】

イメージングシステム１００は、抽出されたデータ点の第１セットの代わりに、データ点の第２セット３０６を点群３０２に挿入し得る（３０７）。それを行うとき、イメージングシステム１００は、グリーンスクリーン又はクロマキーイングの使用無しに、動作主体によって物理的に保持された元のオブジェクトを別のオブジェクトに置換する視覚効果を生じさせ得る。また、元のオブジェクト（例えば、剣の刃）の選択及び置換は主に、点群データ点のデプス値に基づき、剣の刃の全体を表すデータ点をユーザが手動で選択又はアウトラインすること、又は、グリーンスクリーン又はクロマキーイング技法を介して抽出され得る均一にカラーリングされたオブジェクトをユーザが保持することを伴わなかった。

【0047】

イメージングシステム１００は、データ点の第２セット３０６を点群３０２に挿入（３０７）した後に、３Ｄ又は２Ｄイメージを点群３０２から生成し得る。生成されたイメージは、アニメーション又はビデオ内のフレーム、デジタル方式で構築された３Ｄ又は２Ｄアプリケーション内のシーン、ゲーム、及び／又は、他の環境を含み得、及び／又は、他の目的のための編集されたイメージを含み得る。生成されたイメージは、データ点の第２セット３０６及び点群３０２の他のデータ点からレンダリングされた粗い又は連続的な表面、オブジェクト、及び／又は特徴を含み得るか、又は、編集（３０５）後の点群データ点の直接的な可視化を含み得、ここで、データ点は、ディスプレイ上の個々のピクセルに対応するように密にパッキングされ得るか、又は、連続的な表面、オブジェクト、及び／又は特徴として現れ得る。

【0048】

いくつかの事例において、点群は、同一デプス平面における異なるオブジェクトについてのデータ点を含み得る。そのような例において、デプスベースの特徴抽出は、正確であるが、望ましくないオブジェクトのデータ点を抽出し得る。例えば、動作主体の手についてのデータ点は、剣の柄又は剣の他の部分についてのデータ点と同一のデプス値を有し、これにより、デプスベースの抽出は、剣だけを抽出しようとしているときに、動作主体の手を含め得る。

【0049】

したがって、いくつかの実施形態において、イメージングシステム１００は、位置データを有する記述的特徴を使用して、抽出の対象である同一の特徴の部分であるデータ点のセット、及び、背景又は抽出の対象でない他の特徴の部分である他の近接データ点をより良く区別することによって、特徴抽出の正確度を改善し得る。具体的には、所望の特徴の部分として近接データ点を抽出のために選択するとき、イメージングシステム１００は、近接データ点のデプス値を比較して、それらのデプス値が所望の特徴の既に選択されたデータ点のデプス値の閾値内にあると判定し得、また、同一の近接データ点の記述的特徴を比較して、それらの記述的特徴についての値がまた、所望の特徴の既に選択されたデータ点の記述的特徴値の閾値内にあると判定し得る。結果として、イメージングシステム１００は、デプス値の連続性及び記述的特徴の連続性を有するデータ点のセットに基づいて、抽出の対象である特徴を表すデータ点のセットを判定することによって、特徴抽出正確度を改善し得る。特定のデータ点がデプス連続性を有するが、抽出のために選択された特徴についての既に選択されたデータ点とは全体的に異なるカラーリングを有する場合、イメージングシステム１００は、抽出のために選択された特徴を形成するデータ点のセットの部分として含まれないように特定のデータ点を除外し得る。

【0050】

いくつかの実施形態において、イメージングシステム１００は、人工知能及び／又は機械学習（ＡＩ／ＭＬ）を使用して、近接データ点の間にデプス値の連続性及び／又は記述的特徴の連続性があるかどうかを判定し得る。ＡＩ／ＭＬは、点群から抽出される異なる特徴の近接データについての期待されるデプス変化及び／又は記述的特徴変化の予測モデルで閾値を置換し得る。例えば、点群から木を抽出するとき、ＡＩ／ＭＬは、近接データ点が、茶色のカラーリングを有する木の枝及び緑色のカラーリングを有する木の枝の葉を考慮するために記述的特徴の変動を有すること、及び、これらの近接データ点を、閾値を満たさない近接データ点の記述的特徴における変化に関わらず同一の抽出された特徴の部分として含むことを可能にし得る。

【0051】

図４は、本明細書において提示されるいくつかの実施形態による、デプスベース及び記述的特徴ベースの特徴抽出を使用して、３Ｄ環境内の任意の場所における非均一的にカラーリングされた特徴及び／又はオブジェクトを区別及び抽出する例を示す。図４に示すように、３Ｄ環境の点群表現は、特定の非均一的にカラーリングされたオブジェクト（例えば、剣）を自分の手に保持している動作主体を提示し得、イメージングシステム１００は、オブジェクトを握る動作主体の手のデータ点、及び／又は、他のオブジェクト又は特徴を形成する他のデータ点を含めることなく、特定の非均一的にカラーリングされたオブジェクトを形成するデータ点を自動的に選択及び抽出することを担い得、イメージングシステム１００は、点群データ点のデプス値及び記述的特徴を使用して選択及び抽出を実行し得る。この例では、クロマキーイングは、３Ｄ環境における色の非均一性に起因して、動作主体の手からオブジェクトを区別及び／又は抽出するために使用されないことがあり得る。

【0052】

イメージングシステム１００は、３Ｄ環境の点群表現を受信及び／又は生成し得（４０１）、オブジェクト及び／又は特徴抽出を実行するデプス値又はデプス範囲についてのユーザ入力を受信し得る（４０３）。いくつかの実施形態において、ユーザ入力は、特定のオブジェクトの１つのデータ点の選択を含み得る。イメージングシステム１００は、選択されたデータ点のデプス値を判定することによって、特徴抽出についてのデプス値又はデプス範囲を判定し得る。換言すると、ユーザは、点群における剣の任意の１つのデータ点をクリックし得、イメージングシステム１００は、他の特徴又はオブジェクト（例えば、剣を握る動作主体の手）のデータ点を除外しながら、点群における剣を形成するすべてのデータ点を識別及び抽出することに自動的に進み得る。いくつかの実施形態において、ユーザ入力は、ユーザによって入力され、かつ、特定のオブジェクトの１又は複数のデータ点を包含する１又は複数のデプス値（例えば、デプス範囲）を含み得る。

【0053】

イメージングシステム１００は、ユーザ入力及び点群データ点の位置データ及び／又はデプス値に基づいて、点群からデータ点の第１セット４０２を選択し得る（４０５）。データ点の第１セット４０２を選択することは、ユーザによって選択される、又は、指定されたデプス値の範囲におけるデプス値を有する第１データ点を分離すること、第１データ点から近接データ点へ外向きに延ばすこと、及び、第１データ点及び近接データ点のサブセットの間のデプス連続性に基づいて、近接データ点のサブセットを選択してデータ点の第１セット４０２に含めることを含み得る。具体的には、近接データ点のデプス値が第１データ点デプス値の閾値範囲内にあるとき、イメージングシステム１００は、データ点の第１セット４０２に近接データ点を含め得る。イメージングシステム１００は次に、選択されたデータ点及びその近接データ点の間のデプス連続性の欠如に起因して、新しい近接データ点がデータ点の第１セット４０２に追加されなくなるまで、選択された近接データ点のサブセットからの第２データ点のデプス値を、第２データ点の近接データ点のデプス値と比較することによって、外向き選択を続け得る。

【0054】

図４に示されるように、データ点の第１セット４０２は、特定の範囲における位置データ及び／又はデプス値を有するデータ点を含み、位置データ及び／又はデプス値を有する点群の他のデータ点を特定の範囲の外に除外し得る。より具体的には、データ点の第１セット４０２は、動作主体の前方に保持される剣を形成するデータ点、また、動作主体の前方に同様に位置し、剣を保持するために使用され、したがって、指定されたユーザ入力デプス値範囲内にある、動作主体の手の様々なデータ点を含み得る。

【0055】

イメージングシステム１００は、記述的特徴の連続性に基づいて、データ点の第１セット４０２をフィルタリングし得る（４０７）。フィルタリング（４０７）は、データ点の第１セット４０２にわたるユーザ又は記述的特徴の共通性によって選択された第１データ点の記述的特徴を判定すること、及び、データ点の第２セットを生成して、データ点の第１セット４０２の近接データ点との記述的特徴の共通性を有するデータ点を追加又は保持すること、及び、データ点の第１セット４０２の近接データ点との記述的特徴の共通性を有しないデータ点の第２セットからデータ点の第１セット４０２のデータ点を除外することを含み得る。

【0056】

いくつかの実施形態において、フィルタリング（４０７）は、１又は複数の閾値に基づき得る。例えば、データ点の第１セット４０２における近接データ点が、特定の割合より小さく異なるＲＧＢ値を有する場合、近接データ点はデータ点の第２セットの部分として保持される。しかしながら、データ点の第１セット４０２の特定のデータ点のＲＧＢ値が、特定の割合より大きく異なる場合、イメージングシステム１００は、特定のデータ点をデータ点の第２セットから除去し得る。

【0057】

図４に示されるように、フィルタリング（４０７）は、データ点の第２セットから、データ点の第１セット４０２に含まれていた動作主体の手のデータ点のサブセット４０４を区別及び除外することを含み得る。なぜなら、データ点４０４のサブセットは、動作主体の手における剣を形成するデータ点の第１セット４０２の他のデータ点とのデプス連続性を有するからである。特に、動作主体の手を形成するデータ点のサブセット４０４は、剣を形成するデータ点についてのＲＧＢ、クロミナンス、ルミナンス、密度、及び／又は他の記述的特徴の指定の閾値内にないＲＧＢ、クロミナンス、ルミナンス、密度、及び／又は他の記述的特徴を有し得、結果としてデータ点の第２セットから除去され得る。

【0058】

いくつかの実施形態において、イメージングシステム１００はまた、データ点の第１セット４０２に近接するがデータ点の第１セット４０２の部分として含まれない（例えば、データ点の第１セット４０２の縁部又は境界データ点から特定距離内にある位置データを有する）辺縁データ点の記述的特徴を比較し得、辺縁データ点の記述的特徴が、データ点の第１セット４０２における近接データ点の記述的特徴の閾値内にある場合、イメージングシステム１００は、辺縁データ点をデータ点の第２セットに追加し得る。辺縁データ点は、デプス不連続性に起因して、データ点の第１セット４０２に含まれなかったが、記述的特徴の連続性に起因して、データ点の第２セットに追加された所望の特徴の追加の詳細を含み得る。例えば、反射又はライティング効果は、剣のデータ点についてのデプス値の範囲から外に延び得、データ点の第１セット４０２のうちの１又は複数から、データ点の第１セット４０２の外にある追加のデータ点への、反射又はライティング効果についての記述的特徴の連続性をトラッキングすることによって、データ点の第２セットに追加され得る。

【0059】

いくつかの実施形態において、イメージングシステム１００は、ＡＩ／ＭＬを使用してフィルタリング（４０７）を実行し得る。イメージングシステム１００は、ＡＩ／ＭＬを使用して、所望の特徴についての記述的特徴のモデルを生成し得る。モデルは、特定の記述的特徴の不連続性を許可するが、他の不連続性を許可しないことがあり得る。例えば、近接データ点における茶色から緑色へのカラーリングの変化は、記述的特徴の連続性を満たし得るが、近接データ点における茶色から青色へのカラーリングの変化は、記述的特徴の連続性を満たさないことがあり得る。

【0060】

図４において、ＡＩ／ＭＬは、すべての点群データ点の記述的特徴をスキャンして、動作主体が記述的特徴（例えば、肌の色合い、第１の量の反射性を有する鎧など）の１つのセットを有すると、及び、剣は、記述的特徴の異なるセット（例えば、金属の色合い、第２の量の反射性など）を有すると判定し得る。イメージングシステム１００は、データ点の第１セット４０２をフィルタリングする（４０７）とき、ＡＩ／ＭＬ由来モデルを適用して、動作主体の手を形成するデータ点のサブセット４０４を、剣（例えば、抽出の対象となる所望のオブジェクト）のデータ点だけを表すデータ点の第２セットから区別及び除去し得る。

【0061】

いくつかの実施形態において、フィルタリング（４０７）は、追加のユーザ入力に基づき得る。追加のユーザ入力は、動作主体の手についての１又は複数のデータ点を選択することを含み得、イメージングシステム１００は、動作主体の手から延びる、選択された動作主体の手の１又は複数のデータ点との視覚的特徴の連続性を有する任意のデータ点を除去し得る。

【0062】

イメージングシステム１００は、点群の他のデータ点とは別にデータ点の第２セットを調節及び／又は編集し得る（４０９）。調節は、異なる視覚効果をデータ点の第２セットに適用すること、データ点のうちの１又は複数の記述的特徴を変更すること、又は、データ点のうちの１又は複数のサイズ及び／又はポジショニングを変更することを含み得る。編集は、データ点の第２セットを、異なる特徴又はオブジェクトについてのデータ点と置換すること、又は、新しい背景又は他の特徴及び／又はオブジェクトと共に、新しい点群又はイメージにおけるデータ点の第２セットをレンダリングすることを含み得る。図４に示すように、抽出された剣を表すデータ点の第２セットは、デジタル方式で作成されたアバタ又はキャラクタの手に配置され得、それにより、元の３Ｄ環境における剣を保持する元の動作主体を置換する。抽出された剣を保持する、デジタル方式で作成されたアバタ又はキャラクタは、次に、ビデオのフレーム、デジタル方式で作成された環境（例えば、ビデオゲーム、仮想現実環境など）のシーン、及び／又は、他の３Ｄ又は２Ｄシーン又はイメージに挿入され得る。

【0063】

図５は、いくつかの実施形態による、点群内の抽出されたオブジェクトの位置をセットするプロセス５００を提示する。プロセス５００はイメージングシステム１００によって実装され得る。

【0064】

プロセス５００は、データ点の抽出されたサブセットを受信すること（５０２）を含み得る。データ点のサブセットは、データ点のサブセットが再配置される同一の点群から抽出され得る。例えば、データ点のサブセットは、特定の車両を表し得、イメージングシステム１００は、特定の車両を表すデータ点のサブセットを、点群全体によって表される３Ｄ環境内の１つの場所から抽出し得、３Ｄ環境及び／又は点群内の別の場所における適切なサイズ、寸法、及び／又は向きを有するデータ点のサブセットを再挿入する。代替的に、データ点のサブセットは、デジタル方式で作成されたオブジェクト、又は、第１点群から抽出されたオブジェクトであり得、イメージングシステム１００は、第２点群内の場所における適切なサイズ、寸法、及び／又は向きを有するデータ点のサブセットを挿入し得る。

【0065】

プロセス５００は、データ点の抽出されたサブセットを点群に挿入する場所及び／又は向きを指定する入力を受信すること（５０４）を含み得る。例えば、ユーザは、点群によって表される３Ｄ環境内で回転する、及び／又は、特定の位置にズームインし得、特定の位置におけるデータ点の抽出されたサブセットについての所望の向きを定義し得る。

【0066】

プロセス５００は、ユーザ入力に従って、データ点の抽出されたサブセットの向きを調節すること（５０６）を含み得る。向きの調節（５０６）は、ユーザによって指定される向きに適合するように、データ点の抽出されたサブセットを回転させ、傾かせ、斜めにし、角度をつけ、及び／又は、そうでない場合、移動させることを含み得る。

【0067】

プロセス５００は、データ点の抽出されたサブセットのデプス値を、データ点の抽出されたサブセットの挿入について選択された特定の位置における点群内の他のデータ点についてのデプス値と比較すること（５０８）を含み得る。デプス値は、データ点のサイズ、又は、特定の視点から点群をレンダリングするときにデータ点が提示されるサイズを定義し得る。

【0068】

プロセス５００は、デプス値の間の差の比較（５０８）に基づいて、データ点の抽出されたサブセットをサイズ変更すること（５１０）を含み得る。特に、イメージングシステム１００は、データ点の抽出されたサブセット、及び、データ点の抽出されたサブセットの挿入のために選択された特定の位置における又はその周りの点群データ点のデプス値の間の差に基づいて、データ点の抽出されたサブセットがレンダリングされるサイズを自動的にスケーリングし得る。

【0069】

プロセス５００は、点群における特定の位置のサイズ変更及び向き調節されたデータ点のサブセットを挿入すること（５１２）を含み得る。ユーザは、挿入（５１２）の前又は後に、データ点の抽出されたサブセットのライティング、シェーディング、カラーリング、及び／又は、他の視覚的特徴に対する追加の調節を実行し、点群における特定の位置にデータ点のサブセットをよりシームレスに統合し得る。

【0070】

プロセス５００は、点群における特定の位置において、サイズ変更された、及び、向き調節されたデータ点のサブセットを含む点群データ点をレンダリングすることによって、３Ｄイメージ又は２Ｄイメージを提示することを含み得る（５１４）。いくつかの実施形態において、イメージングシステム１００は、特定の位置が異なる点群内の異なる位置にあるにもからわらず、同一の特定の位置におけるデータ点の抽出されたサブセットを自動的に向き変更、サイズ変更、及び挿入し得、ここで、異なる点群は、ビデオの異なるフレーム、又は、特定の３Ｄ環境の異なる状態を表し得る。

【0071】

デプスベース及び記述的特徴ベースの特徴抽出はまた、フレーム、状態、又は点群のうちの１又は複数における指定されたデプス抽出範囲の外に抽出された特徴が移動するときでも、変化する３Ｄ環境の異なるフレーム、状態、又は点群にわたる一貫した特徴抽出を実行するために使用され得る。図６は、本明細書において提示されるいくつかの実施形態による、デプスベース及び記述的特徴ベースの特徴抽出の組み合わせに基づく、異なる点群間の一貫した特徴抽出のためのプロセス６００を提示する。プロセス６００は、イメージングシステム１００によって実行され得る。

【0072】

プロセス６００は、３Ｄ環境における経時的な変化をトラッキングする１又は複数の点群を受信すること（６０２）を含み得る。１又は複数の点群は、３Ｄ環境の点群ビデオ表現に対応し得る。１又は複数の点群の各点群は、３Ｄ空間内に位置する複数のデータ点としてビデオの異なるフレームを提供し得、ビデオのそのフレームによって捕捉される３Ｄ環境の状態を再作成する方式でそれを行う。

【0073】

プロセス６００は、１又は複数の点群の第１点群を抽出するために、特徴の選択を受信すること（６０４）を含み得る。いくつかの実施形態において、選択は、特徴抽出を実行する第１点群内の領域及び／又は１又は複数のデプスを識別するユーザ入力に基づき得る。いくつかの他の実施形態において、選択は、抽出のために、第１点群からの所望の特徴の１又は複数のデータ点を選択するユーザ入力に基づき得る。

【0074】

プロセス６００は、抽出のために選択された特徴の領域及び／又はデプス範囲内にある第１点群からの少なくとも第１データ点を判定すること（６０６）を含み得る。プロセス６００は、第１データ点及び／又は他の選択された近接データ点との連続性があるデプス値及び／又は記述的特徴を有する近接データ点を含むように、第１データ点から拡大すること（６０８）を含み得る。

【0075】

第１データ点を拡大すること（６０８）は、近接データ点の各サブセット間のデプス値及び記述的特徴の共通性に基づいて、抽出のために選択された特徴を表すデータ点の第１セットを選択することを含み得る。例えば、デプス値の連続性を有する近接データ点を含むように選択を拡大すること（６０８）は、第１データ点から指定の距離より大きくない、すべての方向における近接データ点（例えば、第１データ点を中心とする体積内に属する近接データ点）を検索すること、及び、抽出のための特徴を表すデータ点の選択に、第１データ点のデプス値の閾値内にあるデプス値を有する１又は複数の近接データ点を追加することを含み得る。イメージングシステム１００は、選択された各データ点（例えば、選択された各近接データ点）からの外向き検索を継続して、同一又は同様のデプス平面内に属する他のデータ点を、最後に選択された近接データ点として識別し得る。選択されたデータ点が、選択されたデータ点のデプス値の閾値内のデプス値を有する任意の近接データ点を有しないとき、外向き検索は停止する。

【0076】

抽出のために選択された所望の特徴を表す、データ点の拡大（６０８）及び／又は選択は、所望の特徴を形成するデータ点が、所望の特徴の形状にかかわらず、背景又は他の特徴から所望の特徴のデータ点を区別するそれらのデプス値の漸進的な変化を有するという理解に基づく。例えば、任意の連続的な特徴又はオブジェクトは、同一の特徴又はオブジェクトの近接データ点から２より大きい値だけ逸脱していないｚ座標値を有するデータ点を有し得る。特定のデータ点が、所望の特徴又はオブジェクトの近接データ点から３又はより大きい値だけ逸脱するｚ座標値を有する場合、イメージングシステム１００は、特定のデータ点が、所望の特徴又はオブジェクトとのデプス連続性を欠如した、及び／又は、それから離れ過ぎた、異なるオブジェクトの部分であると判定し得る。近接データ点のデプス値における連続性を判定するための閾値は、ＬｉＤＡＲ、ストラクチャードライト、及び／又は他のデプス検出技術、及び／又は、点群データ点についての位置データを生成するセンサの正確度、分解能、及び／又は測定精度に基づき得る。

【0077】

記述的特徴における連続性を有する近接データ点を含むように選択を拡大すること（６０８）は同様のアプローチを伴う。この場合、イメージングシステム１００は、所望の特徴の選択された第１データ点から指定の距離より大きくないすべての方向における近接データ点を検索し得、選択された第１データ点の記述的特徴データ要素の閾値内にある記述的特徴データ要素（例えば、ＲＧＢ値、クロミナンス値、ルミナンス値、テスラ値など）を有する近接データ点のサブセットを追加し得る。イメージングシステム１００は、外向き検索を継続し、最も近い選択された近接データ点と同様のカラーリング、ルミナンス、クロミナンス、及び／又は他の記述的特徴を有する他のデータ点を識別し、最も近い選択された近接データ点についての記述的特徴の閾値内にないカラーリング、ルミナンス、クロミナンス、及び／又は他の記述的特徴を有する他の近接データ点を除外し得る。

【0078】

いくつかの実施形態において、位置データ及び／又は記述的特徴の連続性についての選択を拡大すること（６０８）は、ＡＩ／ＭＬを使用して実行され得る。ＡＩ／ＭＬは、抽出される特徴の近接データ点間の位置データ及び／又は記述的特徴における許容可能な相違又は範囲の第１セット、及び、抽出される特徴の近接データ点間の位置データ及び／又は記述的特徴の許容不可能な相違又は範囲の第２セットを動的に判定し得る。特に、ＡＩ／ＭＬは、点群データ点の位置データ及び／又は記述的特徴を分析して、点群内の異なる特徴及び／又はオブジェクトについてのパターンを判定し得、判定されたパターンからの許容可能な相違又は範囲の第１セットを取得し得る。

【0079】

プロセス６００は、デプス及び／又は記述的特徴の連続性に基づいて所望の特徴を形成する選択されたデータ点の第１セットを抽出すること（６１０）を含み得る。いくつかの実施形態において、イメージングシステム１００は、データ点の第１セットを識別するために、デプス値だけを使用し得、記述的特徴だけを使用し得、又は、両方の組み合わせを使用し得る。データ点の第１セットを抽出すること（６１０）は、データ点の第１セットが抽出された第１点群のすべての他のデータ点を除外する新しい点群においてデータ点の第１セットを格納することを含み得る。

【0080】

抽出された特徴のデータ点の第１セットが第１点群内において識別されると、イメージングシステム１００は、データ点の第１セットの位置データ及び記述的特徴を使用して、他の点群における同一の特徴への移動及び／又は変化をトラッキングし、他の点群における移動又は変化した特徴についての修正されたデータ点の第２セットを効率的に抽出し得る。したがって、プロセス６００は、イメージングされた３Ｄ環境の次の状態又は次のフレームを表す１又は複数の点群内の次の／第２点群を選択すること（６１２）を含み得る。

【0081】

プロセス６００は、データ点の第２セットの位置データがデータ点の第１セットの位置データの閾値範囲内にあること、及び／又は、ユーザ入力における所望の特徴について指定されたデプス範囲を満たすことに基づいて、第２点群内の所望の特徴を形成する修正されたデータ点の第２セットを抽出すること（６１４）を含み得る。換言すると、イメージングシステム１００は、データ点が第１点群における抽出された特徴を表すデータ点の第１セットとの位置的共通性又は連続性を有することに基づいて、第２点群におけるデータ点の第２セットを特定し得る。イメージングシステム１００は、ユーザ入力デプス範囲の第２点群における特徴の抽出、及び／又は、第１点群における第１データ点の選択から移行し得る。なぜなら、特徴についてのデプス範囲及び／又はデータ点位置は、第１点群から第２点群に変化し得るからである。

【0082】

プロセス６００は、記述的特徴の共通性に基づいてデータ点の第２セットの選択を修正すること（６１６）を含み得る。例えば、イメージングシステム１００は、データ点の第２セットの記述的特徴をデータ点の第１セットの記述的特徴と比較して、データ点の第２セット内に、無関係のデータ点又は他の特徴のデータ点が含まれていないことを検証し、更に、位置データに基づいて、修正されたデータ点の第２セットを抽出する（６１４）ときに、所望の特徴のデータ点が省略されなかったことを検証し得る。例えば、イメージングシステム１００は、保持されたデータ点と同様の位置データを有するデータ点の第１セットのうちの１又は複数のカラーリング、ルミナンス、クロミナンス、及び／又は他の属性の閾値範囲内に、カラーリング、ルミナンス、クロミナンス、及び／又は他の属性を有するデータ点の第２セット内のデータ点を保持し得、データ点の第１セットの同様に位置するデータ点のカラーリング、ルミナンス、クロミナンス、及び／又は、他の属性の閾値範囲内にないカラーリング、ルミナンス、クロミナンス、及び／又は、他の属性を有するデータ点の第２セットからデータ点を除外し得る。閾値は、データ点の３Ｄ空間ポジショニング、カラーリング、及び／又は、ライティング（例えば、影、ハイライトなど）のいくらかの量の相違を可能にするが、全体的に新しいカラーリング及び／又はライティングを有するデータ点が、異なる点群から抽出される特徴の部分として含まれることを防止する。追加的に、イメージングシステム１００は、データ点の第１セットの記述的特徴を使用して、データ点の第１セットとのデプス不連続性に起因して、又は、データ点が元のユーザ入力範囲の外のデプス値を有したことに起因して、第２点群に元々含まれていなかった、又はそれから抽出されなかったデータ点の第２セットにデータ点を追加し得る。例えば、所望の特徴は、第２点群における所望の特徴の先端又は末端を表すデータ点のサブセットがデータ点の第１セットの閾値範囲にないように、第１点群及び第２点群の捕捉された状態の間で移動され得るか、又は、移動によって、データ点のサブセットは、特徴抽出のユーザ定義範囲の外に属し得る。そのような例において、イメージングシステム１００は、データ点の第２セットにおける他のデータ点、及び／又は、データ点の第１セットにおける他のデータ点とのデータ点のサブセットの記述的特徴の連続性に基づいて、データ点のサブセットを識別して、第２点群における所望の特徴を表すデータ点の第２セットに追加し得る。

【0083】

いくつかの実施形態において、データ点の第２セットの選択を修正すること（６１４）は、データ点の第２セットの各特定のデータ点からの外向き検索を実行して、特定のデータ点が、データ点の第２セットにおける各近接データ点とのデプス連続性及び／又は記述的特徴の連続性を有することを確実にし、データ点の第２セットに含まれる他の近接データ点とのデプス連続性及び／又は記述的特徴の連続性を有しないデータ点の第２セットからデータ点を除去し、データ点の第２セットに含まれないが、データ点の第２セットに含まれる近接データ点とのデプス連続性及び／又は記述的特徴の連続性を有するデータ点を追加することを含み得る。

【0084】

いくつかの実施形態において、プロセス６００は、データ点の第２セットの抽出が最初にデータ点の第１セットとの記述的特徴の共通性又は連続性に基づくように、及び、データ点の第２セットの修正が、位置データ共通性又は連続性に基づくように、操作６１４及び６１６を反転することを伴い得る。いずれの場合でも、第１点群におけるデータ点の第１セットに対する第２点群におけるデータ点の第２セットの結果的な類似性は、特徴が移動したとき、特徴のカラーリング又はライティングが変化したとき、又は、そうでない場合、特徴が点群間で変化したときでも、同一の特徴及び／又は同一の特徴の部分が異なる点群から抽出されることを確実にし得る。

【0085】

プロセス６００は、次の点群を選択し得（６１２）、追加の点群が無くなるまで、又は、次の点群において特徴がもはや見られなくなるもで、次の点群から特徴を抽出することを続け得る。イメージングシステム１００は次に、異なる点群から抽出された特徴に対して集合的な編集又は調節を実行し得る。したがって、プロセス６００は、３Ｄ環境の異なる状態又は時間における特徴を表すデータ点の異なるセットに対して、編集又は変更の共通セットを適用すること（６１８）を含み得る。イメージングシステム１００は、３Ｄ環境の異なるフレーム又は異なる状態における特徴についての共通の外観を生成するために、１又は複数の点群における抽出された特徴を表すデータ点に対して、編集又は変更の共通セットを適用し得る（６１８）。

【0086】

いくつかの実施形態において、イメージングシステム１００は、点群データ点からの位置データ及び／又は特徴データを使用して、３Ｄ環境又は点群の編集、視覚効果、及び／又は、他の処理を支援し得る。図７は、本明細書において提示されるいくつかの実施形態による、補助の点群処理の例を示す。

【0087】

イメージングシステム１００は、ユーザデバイス上の個人の頭部の点群表現を受信及び提示し得る（７０１）。したがって、点群は、個人の髪を表すデータ点を含み得る。ユーザは、髪を編集又は調節することを望み得るが、髪の毛、又は、髪を表すデータ点の集合的セットの選択は、髪の毛のサイズ又は必要な選択の数を考慮すると、困難であり得る。

【0088】

髪を表すデータ点の選択を支援するために、イメージングシステム１００は、点群における髪の特定のクラスタからの１又は複数のデータ点のユーザ選択を受信し得る（７０３）。イメージングシステム１００は、デプスに基づく、及び、特徴に基づく特徴抽出を実行して、点群における髪のその特定のクラスタから他のデータ点を自動的に検出及び選択し得る。イメージングシステム１００は、点群における他のデータ点に対して、自動的に選択されたデータ点を拡大し得（７０５）、髪の特定のクラスタについてのデータ点のセットの拡大表示を提供し得る。

【0089】

データ点の拡大されたサブセットは、ユーザが選択をより良く識別することを支援し得る。追加的に、イメージングシステム１００は、データ点の拡大されたサブセットを、ユーザがそれらのデータ点に適用する編集又は変更に基づいて、リアルタイムに更新し得る。例えば、ユーザが髪の特定のクラスタについてのカラーリングを変更する場合、イメージングシステム１００は、データ点の拡大されたサブセット内のカラーリングを更新し得、その結果、ユーザは、点群データ点の残りに対する変更をより良く視覚化することが可能となる。

【0090】

イメージングシステム１００は、ユーザがデータ点のサブセットを選択解除すること又は他のデータ点を選択することに応じて、対応する変化を有する点群におけるそれらの元のサイズ及び位置にデータ点のサブセットを返し得る。イメージングシステム１００はまた、点群内の抽出されたオブジェクト又は特徴を位置変更するとき、データ点をサイズ変更し得る。

【0091】

いくつかの実施形態において、イメージングシステム１００は、点群データ点デプス値を、科学、地図作成、工学、及び／又は、他の用途に使用し得る。具体的には、データ点位置データ（例えば、ｘ座標、ｙ座標、及びｚ座標）は、特定の測定単位又は距離（例えば、メートル、フィート、ミリメートル、インチなど）に従って定義され得る。イメージングシステム１００は、２つのデータ点の位置データ間の差に基づいて、点群の任意の２つのデータ点間の厳密な測定を提供し得る。

【0092】

図８は、本明細書において提示されるいくつかの実施形態による、異なる点群データ点の位置データに基づいて測定を生成する例を示す。図８に示されるように、イメージングシステム１００は、３Ｄ環境の３Ｄモデリングを提供する点群を受信、生成、及び／又は提示し得る（８０１）。イメージングシステム１００は、ユーザデバイス上で点群をレンダリングし得、３Ｄ環境の視覚表現（例えば、点群のレンダリング）内でユーザが自由に移動することを可能にする制御を提供し得る。

【0093】

点群は、ユーザが、実際の３Ｄ環境においてアクセスが困難であり得る、又はそうでない場合、不可能であり得る位置から３Ｄ環境を見ることを可能にする。例えば、点群は、ユーザが、中実の壁の中、又は、密閉又は閉鎖された部屋の中におけるデータ点を見る又は選択することを可能にし得る。

【0094】

イメージングシステム１００は、２又はより多くの点群データ点のユーザ選択を受信し得る（８０３）、及び／又は検出し得る。ユーザは、マウスを使用し得、２又はより多くの点群データ点をクリックし得、又は、選択のためのタッチ入力を提供し得る。

【0095】

選択に応じて、イメージングシステム１００は、２又はより多くの選択されたデータ点の各々の位置データを取得し得る（８０５）。イメージングシステム１００は、位置データにおける差に基づいて、選択されたデータ点の間の距離を計算し得る（８０７）。いくつかの実施形態において、イメージングシステム１００は、計算された差を、所望の測定にスケーリングし得る。例えば、各データ点と共に格納された位置データは、メートル単位で定義され得、イメージングシステム１００は、メートル単位でデータ点間の距離を計算し得る。

【0096】

イメージングシステム１００は、３Ｄ環境の点群表現を生成し、位置データ、及び、点群データ点について生成された特徴データを使用して点群から特徴及び／又はオブジェクトを抽出し、点群、抽出された特徴、及び／又は、抽出されたオブジェクトを操作し、元の操作された点群をレンダリングし、測定を提供し、及び／又は、他の点群の用途を提供するための、１又は複数のデバイス及び／又はセンサを含み得る。１又は複数のデバイス及び／又はセンサは、データネットワーク内のローカルで及び／又はリモートで実行する統合された又は別個のコンポーネントであり得る。いくつかの実施形態において、イメージングシステム１００は、１又は複数のユーザデバイスの部分として統合され得るか、又は、リモートでインタフェースし得、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、スマートフォン、視覚効果システム、ビデオ編集システム、コンピュータ支援設計（ＣＡＤ）システム、及び／又は、点群ファイルをレンダリングする又はそれと連携する他のデバイスを含む。

【0097】

図９は、デバイス９００の例示的コンポーネントの図である。デバイス９００は、上に記載されたデバイス又はシステム（例えば、イメージングシステム１００、ユーザデバイス、センサなど）のうちの１又は複数を実装するために使用され得る。デバイス９００は、バス９１０、プロセッサ９２０、メモリ９３０、入力コンポーネント９４０、出力コンポーネント９５０、及び通信インタフェース９６０を含み得る。別の実装において、デバイス９００は、より多い、より少ない、異なる、又は、異なるように配列されたコンポーネントを含み得る。

【0098】

バス９１０は、デバイス９００のコンポーネント間で、通信を許可する１又は複数の通信パスを含み得る。プロセッサ９２０は、命令を解釈して実行し得るプロセッサ、マイクロプロセッサ、又は、処理ロジックを含み得る。メモリ９３０は、プロセッサ９２０による実行のための情報及び命令を格納し得る任意の種類の動的格納デバイス、及び／又は、プロセッサ９２０による使用のための情報を格納し得る任意の種類の不揮発性格納デバイスを含み得る。

【0099】

入力コンポーネント９４０は、キーボード、キーパッド、ボタン、スイッチ等といった、デバイス９００に情報を入力するオペレータを許可するメカニズムを含み得る。出力コンポーネント９５０は、ディスプレイ、スピーカ、１又は複数のＬＥＤなどの、オペレータに情報を出力する機構を含み得る。

【0100】

通信インタフェース９６０は、デバイス９００が複数の他のデバイス及び／又はシステムと通信することを可能にする任意の送受信機のようなメカニズムを含み得る。例えば、通信インタフェース９６０は、イーサネット（登録商標）インタフェース、光インタフェース、同軸インタフェース等を含み得る。通信インタフェース９６０は、赤外線（ＩＲ）受信機、ブルートゥース（登録商標）無線、又は同様のものなどのワイヤレス通信デバイスを含み得る。ワイヤレス通信デバイスは、遠隔制御、ワイヤレスキーボード、携帯電話等といった、外部のデバイスに結合され得る。いくつかの実施形態において、デバイス９００は１より多い通信インタフェース９６０を含み得る。例えば、デバイス９００は、光インタフェース及びイーサネットインタフェースを含み得る。

【0101】

デバイス９００は、上に記載された１又は複数のプロセスに関する特定の操作を実行し得る。デバイス９００は、プロセッサ９２０がメモリ９３０等のコンピュータ可読媒体において格納されるソフトウェア命令を実行することに応答して、これらの動作を実行し得る。コンピュータ可読媒体は、非一時的メモリデバイスとして定義され得る。メモリデバイスは、単一の物理メモリデバイス内に空間を含み得、又は複数の物理メモリデバイスにわたって分散し得る。複数のソフトウェア命令は、別のコンピュータ可読媒体から、又は別のデバイスから、メモリ９３０に読み込まれ得る。メモリ９３０に格納されるソフトウェア命令は、プロセッサ９２０に対して、本明細書において説明された複数のプロセスを実行させ得る。代替的に、ハードワイヤードの回路は、本明細書において説明されたプロセスを実装すべく、複数のソフトウェア命令の代わりに、又は複数のソフトウェア命令を組み合わせて用いられ得る。したがって、本明細書に記載された実装は、ハードウェア回路及びソフトウェアの任意の特定の組み合わせに限定されない。

【0102】

実装の上記の説明は、例示及び説明を提供するが、網羅的であること、又は、可能な実装を、開示される厳密な形態に限定することを意図しない。修正及び変動が、上の開示に鑑みて可能であり、又は、実装の実践から実現され得る。

【0103】

実施形態を実装するために使用される実際のソフトウェアコード又は専門の制御ハードウェアは、実施形態の限定ではない。したがって、実施形態の操作及び挙動は、特定のソフトウェアコードに対する言及無しで記載され、ソフトウェア及び制御ハードウェアは、本明細書の説明に基づいて設計され得ることが理解される。

【0104】

例えば、上のいくつかの図に関連して一連のメッセージ、ブロック、及び／又は、信号が記載されるが、メッセージ、ブロック、及び／又は信号の順序は、他の実装において修正され得る。更に、非依存的なブロック及び／又は信号が並列に実行され得る。追加的に、特定の作用を実行する特定のデバイスの文脈において図が記載されたが、実際には、１又は複数の他のデバイスが、上で言及されたデバイスの代わりに、又は、それに加えて、これらの作用の一部又は全部を実行し得る。

【0105】

特徴の特定の組み合わせが請求項において列挙され、及び／又は、明細書において開示されるが、これらの組み合わせは、可能な実装の開示を限定することは意図されていない。実際、これらの特徴の多くが、複数の請求項において具体的に記載されない、及び／又は明細書において具体的に開示されていない方法で組み合わせられ得る。下に列挙される各従属請求項は、１つの他の請求項だけに直接従属し得るが、可能な実装の開示は、請求項のセットにおけるすべての他の請求項との組み合わせにおける各従属請求項を含む。

【0106】

更に、特定の接続又はデバイスが示されているが、実際には、より多くの又はより少ない、又は、異なる接続又はデバイスが使用され得る。更に、様々なデバイス及びネットワークが別々に示されているが、実際には、複数のデバイスの機能性は、単一のデバイスによって実行され得るか、又は、１つのデバイスの機能性は、複数のデバイスによって実行され得る。更に、いくつかのデバイスが、ネットワークと通信するように示されているが、いくつかのそのようなデバイスは、全体として又は部分的に、ネットワークの部分として組み込まれ得る。

【0107】

上記の実施形態が、個人によって提供される個人情報を収集、格納、又は採用する限り、そのような情報は、個人情報の保護に関する該当する法律すべてに従って使用されるものと理解されるべきである。追加的に、そのような情報の収集、格納及び使用は、情報の状況及び種類について適切であり得るように、例えば、既知の「オプトイン」又は「オプトアウト」プロセスを通じて、そのようなアクティビティに対する個人の同意の対象であり得る。個人情報の格納及び使用は、例えば、特に機密の情報についての様々な暗号化及び匿名化技法を通じた、情報の種類を反映する適切にセキュアな方式であり得る。

【0108】

本明細書に記載されるいくつかの実装は、閾値と併せて記載され得る。「より大きい」という用語（又は同様の用語）は、閾値に対する値の関係を説明するために本明細書において使用される場合、「より大きい又はそれに等しい」という用語（又は同様の用語）と互換的に使用され得る。同様に、「より小さい」という用語（又は同様の用語）は、閾値に対する値の関係を説明するために本明細書において使用される場合、「より小さい又はそれに等しい」という用語（又は同様の用語）と互換的に使用され得る。閾値を「超える」（又は同様の用語）は、本明細書において使用される場合、閾値が使用される文脈に応じて、「閾値より大きい」、「閾値より大きい又はそれに等しい)」、「閾値より小さい」、「閾値より小さい又はそれに等しい」、又は、他の同様の用語と互換的に使用され得る。

【0109】

本願で用いられる構成要素、作用、又は命令は、明示的にそのように説明されていない限り、重大又は不可欠と解釈されるべきではない。「及び」という用語の使用の事例は、本明細書において使用される場合、必ずしも、「及び／又は」という語句がこの事例において意図されるという解釈を除外しない。同様に、「又は」という用語の使用の事例は、本明細書において使用される場合、必ずしも、「及び／又は」という語句がこの事例において意図されるという解釈を除外しない。また、冠詞「ａ」は、本明細書において使用される場合、１又は複数の品目を含むことが意図され、「１又は複数」という語句と互換的に使用され得る。１つの品目だけが意図される場合、用語「１」、「単一」、「だけ」又は同様の文言が使用される。更に、「に基づく」という語句は、別段の明示的な定めが無い限り、「少なくとも部分的に基づいて」を意味することが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】