特許 7235875 リアルタイムの３Ｄ可視化を備えた点群カラー化システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-28

(45)【発行日】2023-03-08

(54)【発明の名称】リアルタイムの３Ｄ可視化を備えた点群カラー化システム

(51)【国際特許分類】

   G06T 19/20 20110101AFI20230301BHJP

【ＦＩ】

G06T19/20

【請求項の数】 12

(21)【出願番号】P 2021540239

(86)(22)【出願日】2020-01-09

(65)【公表番号】

(43)【公表日】2022-03-04

(86)【国際出願番号】 US2020012972

(87)【国際公開番号】W WO2020146664

(87)【国際公開日】2020-07-16

【審査請求日】2021-07-09

(31)【優先権主張番号】16/246,178

(32)【優先日】2019-01-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(73)【特許権者】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100151987

【弁理士】

【氏名又は名称】谷口 信行

(72)【発明者】

【氏名】アンダーバーグ トビアス

【審査官】村松 貴士

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１９３６８８（ＵＳ，Ａ１）

【文献】特開２０１１－２１５９５６（ＪＰ，Ａ）

【文献】国際公開第２０１８／１３０４９１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１５／０３４１５５２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００ － １９／２０

(57)【特許請求の範囲】

【請求項1】

リアルタイムの３Ｄ可視化を備えた点群カラー化システムであって、
プロセッサと、
前記プロセッサに結合されたメモリと、
前記プロセッサ及び前記メモリに結合されたディスプレイと、
を備え、
前記プロセッサは、
複数の３Ｄ点を備えた３Ｄ点群を取得し、
ユーザにより変更可能である視点からの前記３Ｄ点群のビューに対応する３Ｄビューウィンドウを前記ディスプレイ上に表示し、
前記３Ｄ点群の２Ｄ平面上への投影を実行して、各々が前記複数の３Ｄ点の各３Ｄ点に対応する複数の投影点を備える投影３Ｄ点群を形成し、
前記投影３Ｄ点群を前記ディスプレイ上の２Ｄビューウィンドウに表示し、
前記ユーザによって前記２Ｄビューウィンドウ上に描かれた領域を受け入れ、
前記ユーザによって選択された色を受け入れて、前記領域に付与し、
前記２Ｄビューウィンドウを変更して、前記領域を前記色で表し、
前記３Ｄビューウィンドウを更新して、前記複数の３Ｄ点の各３Ｄ点が前記領域内に対応する投影点を有し、且つ前記各３Ｄ点が前記視点から可視である場合に、前記色を前記各３Ｄ点と関係付けるために前記３Ｄ点群を更新することなく、前記各３Ｄ点を前記色で表示する、
ように構成されている、システム。

【請求項2】

前記２Ｄ平面上への前記３Ｄ点群の前記投影は、正距円筒図法を含む、請求項１に記載のシステム。

【請求項3】

前記２Ｄ平面上への前記３Ｄ点群の前記投影は、前記３Ｄ点群の水平方向範囲を前記２Ｄビューウィンドウの水平方向幅と一致させ、前記３Ｄ点群の垂直方向範囲を前記２Ｄビューウィンドウの垂直方向高さと一致させるスケーリング変換を含む、請求項１に記載のシステム。

【請求項4】

前記プロセッサは更に、
対応する投影点のない、前記２Ｄビューウィンドウ内の各画素に画素色を割り当てるために、前記２Ｄビューウィンドウにフィルタを適用する、
ように構成され、
前記画素色は、投影点を含む隣接画素の色に基づく、請求項１に記載のシステム。

【請求項5】

前記フィルタは、平均化畳み込みフィルタを含む、請求項４に記載のシステム。

【請求項6】

前記プロセッサは、ＣＰＵ及びＧＰＵを含み、
前記ＣＰＵは、前記領域及び前記色を前記ＧＰＵに送信するように構成され、
前記ＧＰＵは、前記３Ｄビューウィンドウを生成するように構成され、
前記３Ｄビューウィンドウを前記生成することは、
前記３Ｄビューウィンドウ内の画素が、対応する投影点が前記領域内に入る１又は２以上の３Ｄ点に対応する場合に、前記画素の画素色を前記色に設定することを含む、請求項１に記載のシステム。

【請求項7】

前記領域は多角形であり、
前記プロセッサは、前記各３Ｄ点に対応する前記各投影点が前記領域内にあるかどうかを、多角形の内点テストで判定するように構成される、請求項１に記載のシステム。

【請求項8】

前記プロセッサは更に、
前記２Ｄビューウィンドウ上に前記ユーザが描いた混合色領域を受け入れて、
前記ユーザが選択した複数の色を受け入れて、前記混合色領域に付与し、
前記２Ｄビューウィンドウを変更して、前記混合色領域の各画素を前記複数の色の混合物で表し、
前記３Ｄビューウィンドウを更新して、
前記複数の３Ｄ点の各３Ｄ点が前記領域内に対応する投影点を有し、且つ前記各３Ｄ点が前記視点から可視である場合に、前記複数の色の前記混合物を前記各３Ｄ点と関係付けるために前記３Ｄ点群を更新することなく、前記各３Ｄ点を前記複数の色の前記混合物で表示する、
ように構成される請求項１に記載のシステム。

【請求項9】

前記混合色領域は三角形を含み、
前記複数の色は、前記三角形の各頂点に対する頂点色を含み、
前記複数の色の前記混合物は前記頂点色の重み付き組み合わせを含み、
前記重み付き組み合わせの重みは、前記混合色領域の前記各画素の重心座標に対応する、請求項８に記載のシステム。

【請求項10】

前記プロセッサは更に、
前記２Ｄビューウィンドウからテクスチャ画像を生成し、前記２Ｄビューウィンドウ内の前記領域に対応する前記テクスチャ画像の区域が前記色を有する、
ように構成され、
前記３Ｄビューウィンドウを前記更新することは、
前記３Ｄビューウィンドウ内の画素が、対応する投影点が前記領域内に入る１又は２以上の３Ｄ点に対応する場合に、前記テクスチャ画像と前記対応する投影点のテクスチャ座標とに基づいて、前記画素の画素色を前記色に設定することを含む、
請求項１に記載のシステム。

【請求項11】

前記プロセッサは、ＣＰＵ及びＧＰＵを含み、
前記領域は多角形であり、
前記ＣＰＵは、
前記多角形を１又は２以上の三角形に分割し、
前記１又は２以上の三角形の頂点と前記色とを前記ＧＰＵに送信する、
ように構成され、
前記ＧＰＵは、
前記テクスチャ画像の前記区域を、前記頂点に基づいて前記色で生成する、
ように構成される、
請求項１０に記載のシステム。

【請求項12】

リアルタイムの３Ｄ可視化を備えた点群カラー化システムであって、
ＣＰＵ及びＧＰＵを備えるプロセッサと、
前記プロセッサに結合されたメモリと、
前記プロセッサ及び前記メモリに結合されたディスプレイと、
を備え、
前記プロセッサは、
複数の３Ｄ点を備えた３Ｄ点群を取得し、
ユーザにより変更可能である視点からの前記３Ｄ点群のビューに対応する３Ｄビューウィンドウを前記ディスプレイ上に表示し、
前記３Ｄ点群の２Ｄ平面上への正距円筒図法を実行して、各々が前記複数の３Ｄ点の各３Ｄ点に対応する複数の投影点を備える投影３Ｄ点群を形成し、
前記３Ｄ点群の水平方向範囲を２Ｄビューウィンドウの水平方向幅と一致させ、且つ前記３Ｄ点群の垂直方向範囲を前記２Ｄビューウィンドウの垂直方向高さと一致させる、前記２Ｄ平面のスケーリング変換を実行し、
前記投影３Ｄ点群を前記ディスプレイ上の２Ｄビューウィンドウに表示し、
前記ユーザによって前記２Ｄビューウィンドウ上に描かれた多角形である領域を受け入れ、
前記ユーザによって選択された色を受け入れて、前記領域に付与し、
前記２Ｄビューウィンドウを変更して、前記領域を前記色で表し、
対応する投影点のない、前記２Ｄビューウィンドウ内の各画素に画素色を割り当てるために、前記２Ｄビューウィンドウに畳み込み平均化フィルタを適用し、
前記多角形を１又は２以上の三角形に分割し、
前記１又は２以上の三角形の頂点と前記色とを前記ＧＰＵに送信し、
前記ＧＰＵを用いて、テクスチャ画像の区域を、前記頂点に基づいて前記色で生成し、
前記ＧＰＵで前記３Ｄビューウィンドウを更新して、前記３Ｄビューウィンドウ内の画素が、対応する投影点が前記領域内に入る１又は２以上の３Ｄ点に対応する場合に、前記色を前記各３Ｄ点と関係付けるために前記３Ｄ点群を更新することなく、前記テクスチャ画像と前記対応する投影点のテクスチャ座標とに基づいて、前記画素の前記画素色を前記色に設定する、
ように構成されている、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の１又は２以上の実施形態は、コンピュータグラフィックス及びバーチャルリアリティの分野に関するものである。より詳細には、限定するものではないが、本発明の１又は２以上の実施形態は、リアルタイムの３Ｄ可視化を備えた点群カラー化システムを可能にする。

【背景技術】

【0002】

点群データから環境の３Ｄモデルを構築するためのシステムは、本技術分野で公知である。しかしながら、ＬＩＤＡＲシステムなどの３Ｄスキャナは一般的に、表面の幾何学的情報と、場合によってグレースケールの強度を捉えるに過ぎず、色は捉えない。リアルな３Ｄ環境の構築には、例えばカラーの２Ｄ写真からの色情報で、３Ｄ点群を強化することが必要とされる。例えば、写真での照明条件の変化を補正するために、或いは芸術的効果のために、色は手動での調整を必要とする場合がある。

【0003】

点群をカラー化するための既存のシステムは、２Ｄビューから色調整を行い（例えば、Ｐｈｏｔｏｓｈｏｐ（登録商標）でのカラー調整など）、次いでバッチ処理によって３Ｄ点群に色を焼き付けるが、これには手間の掛かる場合がある。点群に色を焼き付けることで、点群内の全ての点に色値が付けられる。数百万又は数十億の点を含む可能性のある点群の場合、点群内の全点の色を更新するのに、何分又は何時間も掛かる可能性がある。３Ｄ点群が更新された後、ユーザは３Ｄ点群を検査して、（２Ｄにおける）色選択が３Ｄ点群における所望の対象物、構造、又は境界と整列していることを確かめる。３Ｄ点群と２Ｄビュー間のマッピング時に生じる歪みのため、ユーザは、２Ｄビューで適切な領域を選択して３Ｄ点群に所望の色変更を加えることが困難な場合がある。その結果、多くの場合、これらの色変更を何度も反復する必要がある。各反復処理には、２Ｄでの色変更を行うこと、時間が掛かる可能性のある、これらの変更の３Ｄ内への焼付けを待ち受けること、並びに３Ｄでの変更を再吟味することが必要とされる。３Ｄ点群に適用される２Ｄ画像の色を手動で調整し、これらの変更の効果をリアルタイム又はほぼリアルタイムに３Ｄでプレビューする簡単な方法を提供する公知のシステムは存在しない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

２Ｄで行われた色変更を３Ｄ点群でリアルタイムにプレビューできるシステムがあれば、色調整プロセスの効率が劇的に改善されよう。

【0005】

少なくとも前述の制限のため、リアルタイムの３Ｄ可視化を備えた点群カラー化システムが必要とされている。

【課題を解決するための手段】

【0006】

本明細書に記載する１又は２以上の実施形態は、リアルタイムの３Ｄ可視化を備えた点群カラー化システムに関する。３Ｄ点群データは、点群の２Ｄ投影図上に描くことにより、色情報で強化することができ、結果として得られる色付きの３Ｄ点は、３Ｄビューでプレビューすることができる。３Ｄプレビューは、リアルタイム又はほぼリアルタイムに利用可能であり、カラー化プロセスの効率を高めることができる。

【0007】

１又は２以上の実施形態は、例えば１又は２以上のプロセッサ、メモリ、及びディスプレイを収容することのできるコンピューティングシステムを含む又はそれを使用する。プロセッサ（複数可）は、ＣＰＵ、ＧＰＵ、又はそれらの組み合わせを含むことができる。プロセッサは３Ｄ点群を取得し、その点群の３Ｄビューウィンドウをディスプレイに表示することができる。３Ｄ点群を見る視点は、システムのユーザによって変更可能とすることができる。プロセッサは、３Ｄ点群を２Ｄ平面に投影して、これもまたディスプレイに表示される２Ｄビューウィンドウを形成することができる。投影は、点群の各３Ｄ点を、２Ｄにおける対応する投影点と関係付けることができる。ユーザは２Ｄビュー上に領域を描き、その領域に色を付与することができる。次にプロセッサは、３Ｄビューウィンドウを更新して、領域に対応する３Ｄ点をその色で示すことができる。或る３Ｄ点が、領域内にある対応する投影点を有し、その３Ｄ点が、ユーザが選択した視点から見える場合に、その３Ｄ点を領域の色で表示することができる。領域に対応する各３Ｄ点と色を関係付けるために、点群を更新することなく、３Ｄビューウィンドウを更新することができる。従って、３Ｄビューへの更新は、大きな点群の場合でも、リアルタイム又はほぼリアルタイムに行われ、例えば、１又は２以上の実施形態において更新された３Ｄビューを生成するための典型的な遅延時間は、ミリ秒のオーダーとすることができる。

【0008】

１又は２以上の実施形態では、３Ｄ点群の２Ｄ平面への投影法は、正距円筒図法とすることができる。１又は２以上の実施形態では、投影は、投影された点群の２Ｄサイズを伸縮するためのスケーリング変換を含むことができ、或いはそれを伴うことができる。例えば、スケーリングを用いて、投影された点群が２Ｄウィンドウ全体を埋めるようにすることができる。スケーリング変換は、点群の水平方向範囲を２Ｄビューウィンドウの水平方向幅と一致させることができ、点群の垂直方向範囲を２Ｄビューウィンドウの垂直方向高さと一致させることができる。

【0009】

１又は２以上の実施形態は、２Ｄビューウィンドウを更にフィルタ処理して、例えば、点群から投影された点が存在しない画素でのアーティファクトを除去又は低減することができる。これらの画素に画素色を割り当てるために、フィルタは隣接画素の色を使用することができる。例えば、１又は２以上の実施形態では、平均化畳み込みフィルタを使用することができる。

【0010】

１又は２以上の実施形態では、プロセッサは、ＣＰＵとＧＰＵの両方を含むことができる。ＣＰＵは、２Ｄビューにおいてユーザが選択した領域及び色をＧＰＵに送信することができ、ＧＰＵは、３Ｄビューのウィンドウを生成することができる。ＧＰＵは、２Ｄ領域内に投影された３Ｄ点に対応する画素の色を、ユーザが選択した色に設定することができる。

【0011】

１又は２以上の実施形態では、ユーザが選択した領域は、多角形とすることができ、プロセッサは、多角形の内点テストを用いて、投影された点が領域の内部にあるかどうかを判定することができる。

【0012】

１又は２以上の実施形態では、ユーザは、領域に複数の色を割り当てることができる。例えば領域の内部で、色を混合することができる。プロセッサは、２Ｄ領域内の各画素に、並びに２Ｄ領域内の投影点に対応する３Ｄビュー内の各可視３Ｄ点に、色の混合物を割り当てることができる。単色領域の場合と同様に、混色を３Ｄポイントと関係付けるために、３Ｄ点群を更新せずに３Ｄビューを更新することができる。混色領域が三角形の場合、ユーザが割り当てる色は、例えば、三角形の各頂点に対する頂点色と対応することができる。三角形内の点の色は、頂点色の重み付き組み合わせとすることができ、重みは各点の重心座標に対応する。

【0013】

１又は２以上の実施形態では、プロセッサは、２Ｄビューウィンドウからテクスチャ画像を生成することができ、テクスチャ画像内の区域は、ユーザが選択した領域に対応する。テクスチャ画像内のこの区域には、その領域の色を割り当てることができる。投影点が領域内に入る１又は２以上の３Ｄ点に対応する３Ｄビュー内の各画素は、テクスチャ画像と、投影点のテクスチャ座標とに基づいて色付けすることができる。多角形領域の場合、ＣＰＵは領域を三角形に分割し、テクスチャ画像をレンダリングするために、各三角形の頂点と色とをＧＰＵに送信することができる。

【0014】

特許又は出願ファイルには、カラーで作成された少なくとも１つの図面が含まれている。カラー図面（複数可）を備えた本特許又は本特許出願公開の複写は、請求並びに必要な手数料の支払いに応じて事務局から提供されよう。

【0015】

本発明の上記並びに他の態様、特徴、及び利点は、以下の図面と併せて提示される、以下のより具体的な説明からより明らかとなろう。

【図面の簡単な説明】

【0016】

【図1】部屋からの点群データを処理し、その点群の２Ｄビュー及び３Ｄビューを表示する本発明の一実施形態を示す図である。

【図2】図１に示した例の続きであり、点群の２Ｄビューに色を付けるステップと、これらの色変更を３Ｄビューでプレビューするステップとを示す図である。

【図3】パノラマ投影を用いて、３Ｄ点群を２Ｄビューの上に投影するための例示的な方法を示す図である。

【図3A】投影された３Ｄ点群をリスケーリングして、投影された点群が３６０度×１８０度の画像全体を埋めるようにする例示的な方法を示す図である。

【図3B】点群内のどの点も或る２Ｄ画素には対応しない場合に発生する可能性のあるアーティファクトを除去するために、２Ｄ画像をフィルタ処理する例示的な方法を示す図である。

【図4A】点群に色を焼き付けてからレンダリングするステップを伴う、点群のカラー化を表示する従来技術の方法を示す図である（このプロセスは反復的で時間が掛かる可能性がある）。

【図4B】点群のジオメトリデータと、２Ｄビューへのユーザ変更による色データとを組み合わせて、色付けされた３Ｄプレビューを、ＧＰＵを用いてリアルタイムにレンダリングするための例示的なアーキテクチャを示す図である。

【図5】点が２Ｄビューにおいて色付けされた領域内にあるかどうかをテストすることによって画素の色を決定するために、１又は２以上の実施形態で使用できる例示的な方法を示す図である。

【図6】色付けされた２Ｄ領域を三角測量して頂点色をＧＰＵに渡すことで画素を色付けし、テクスチャ画像をレンダリングするようにするために、１又は２以上の実施形態で使用できる別の方法を示す図である。

【図7】三角形の頂点間で色を補間することによって、領域に色勾配を付与する例を示す図である。

【図8】オフィス環境から取り込まれ、正距円筒図法で２Ｄビューに変換された点群の例を示す図である。

【図9】領域が２Ｄビューで色付けされ、３Ｄビューでプレビューされた図８の点群を示す図である。

【図10】図８の点群をカラー化した別の例を示し、２Ｄの多角形領域が３Ｄビューでは著しく変形する場合があることを例証する図である。

【図11】写真を点群に適用し、写真の一部の色を変更する例を示す図である

【図12】領域又は領域の一部で色を混合する例を示す図である（例えば、これを用いて領域のエッジにソフトな減衰区域を作り出すことができる）。

【発明を実施するための形態】

【0017】

ここで、リアルタイムの３Ｄ可視化を備えた点群カラー化システムを説明する。以下の例示的な説明では、本発明の実施形態についてのより完全な理解を提供するため、多数の具体的な詳細を述べる。しかしながら、本明細書に記載する具体的な詳細の全態様を組み入れずに本発明を実施できることは、当業者には明らかであろう。他の例では、当業者によく知られた特定の特徴、量、又は測定値は、本発明を不明瞭にしないように詳細には記載していない。読者は、本発明の例が本明細書に明らかにされるが、特許請求の範囲、並びにあらゆる等価物の全範囲が本発明の範囲を規定するものであるということに留意すべきである。

【0018】

図１は、３Ｄ点群データを取得し、そのデータを２Ｄビューと３Ｄビューの両方で表示する本発明の一実施形態を示す。シーン１０１は、例えばＬＩＤＡＲ又は類似の３Ｄスキャナ１０５でスキャンすることができる。１又は２以上の実施形態は、ＬＩＤＡＲスキャンを含むがこれに限定されない、何れかのタイプのスキャナ又は何れかのソースから得られた点群データを取得して使用することができる。説明を容易にするため、例示的なシーン１０１は、天井１０２、前壁１０３、及び左壁１０４の３つの対象物だけを有する。本発明の実施形態によって処理される現実のシーンは、あらゆる程度の詳細さ及び複雑さを有することができる。シーンには、例えば、限定することなく、部屋、建物、アリーナ、ホール、劇場、市場、店舗、自然の風景、街路、都市、又は田舎を含めることができる。１又は２以上の実施形態では、シーンを完全に又は部分的に、人工的に生成することができる。

【0019】

スキャナ１０５は、３Ｄ点群データ１１０を生成する。１又は２以上の実施形態では、何れかの形式の点群データを取得し、処理することができる。点群の各点は、３Ｄ位置と関係付けることができる。一部の点群は、スキャナ１０５で取得された又は他のソースから付加された、輝度強度又は他の属性などの付加的なデータを含むことができる。実施形態は点群１１０を直接取り扱うことができ、或いは、１又は２以上の実施形態では、点群データを、例えばメッシュなどの他の形式に変換することができる。３Ｄ点群１１０は、コンピュータ１２０に送信され、コンピュータ１２０は、以下に説明するように、表示のため、並びに色変更のためにデータを処理することができる。１又は２以上の実施形態において、コンピュータ１２０は、例えばデスクトップコンピュータ、ラップトップ、ノートブック、サーバ、携帯電話、スマートフォン、スマートウォッチ、スマートグラス、バーチャルリアリティ・ヘッドセット、組込みシステム、又はそれらの何れかの組み合わせなど、処理能力を備えた何れかのデバイス（複数可）とすることができる。１又は２以上の実施形態では、コンピュータ１２０は、データをまとめて処理、保存、又は表示する複数のコンピュータ又はデバイスのネットワークとすることができる。コンピュータ（複数可）１２０は、例えば、１又は２以上のＣＰＵ１２１、１又は２以上のＧＰＵ１２２、並びに１又は２以上のタイプのメモリ１２３を収容することができる。データの処理は、ＣＰＵ、ＧＰＵ、又はその両方で行うことができる。

【0020】

説明を容易にするために、点群１１０を比較的少数の点で示す。典型的な適用例では、数百万又は数十億の点からなる点群が処理される場合がある。非常に大きな場合のある点群サイズは、点群に対する更新に極めて時間が掛かる可能性があるため、これらの点群を処理する作業フローに課題を提起する。以下で説明するように、本発明は、時間の掛かる点群の更新を必要としない、色変更の効率的な３Ｄプレビューを提供することにより、点群をカラー化する作業フローに関するこの課題に対処するものである。

【0021】

コンピュータ１２０は、３Ｄ点群１１０を処理し、点群情報を表示するために１又は２以上のウィンドウを生成することができる。これらのウィンドウは、例えばディスプレイ（複数可）１２４上に表示することができる。図１に示す例では、コンピュータ１２０は、点群１１０の２Ｄビュー１３１と３Ｄビュー１３２とを生成する。これらのウィンドウは、例えば単一のディスプレイ上に、或いは何れかの望ましい態様で配置可能な別々のディスプレイに表示することができる。ウィンドウ１３１及び１３２は、左右に、上下に、重ねて、又はピクチャインピクチャなど、何れかのやり方で配置することができる。３Ｄビュー１３２は、例えば、何れか所望の視点からの点群１１０の透視投影図又は正射投影図を表示することができる。視点は、ユーザによって制御可能とすることができるので、ユーザは、３Ｄ環境内でパン、回転、及びズームして、あらゆる所望の角度から、あらゆる所望のスケールで点群の異なる部分を見ることができる。２Ｄビュー１３１は、例えば、点群１１０全体の２Ｄパノラマ投影図を含むことができる。１又は２以上の実施形態では、ユーザは、点群の異なる部分に注目するために、２Ｄビュー１３１内でパン及びズームすることができる。

【0022】

１又は２以上の実施形態では、点群１１０は色情報を含まないとすることができる。一部の適用例では、例えば、スキャンされたシーンに基づいて色付きの３Ｄバーチャルリアリティ環境を生成するために、点群に色情報を付加することが望ましい場合がある。例えば、シーンのカラー写真を点群の上に重ねて、色を与えることができる。しかしながら、カラー写真を用いてカラー化のベースラインを提供するとしても、多くの状況で色の手動調整が望ましい場合がある。例えば、複数の写真を用いてシーンを色付けした場合、写真ごとに照明及び色のバランスが異なる可能性があるため、これらの写真を混ぜ合わせて一貫した色付きの３Ｄ環境にするには、手動の色調整が必要になることがある。また、アーティストは、選択した対象物を強調するなどの特定の効果を達成するために、シーン内の特定対象物の色を変えたいと望む場合がある。

【0023】

図２は、図１に示した例を続けて、３Ｄ点群内で選択された点のカラー化を示す。ディスプレイ（複数可）１２４に示されるユーザインタフェースは、例えば、ユーザが点群の２Ｄビュー上に色を描写できるようにする１又は２以上のカラーツール２０１を含むことができる。例えば、カラーセレクタ、ペイントブラシ、シェイプパレット、及びフリーハンドの描画ツールを含むがこれらに限定されない、何れかのタイプのカラーツールを使用することができる。図示の実施形態では、ユーザは、カラーツール２０１を使用して、２Ｄビュー１３１上の領域２０４を描画し色付けする。ユーザは、描画する領域のタイプを選択し、その領域に対して色２０３を選択する。説明を容易にするために、ツール２０１には領域の形状及び色に関して少数の選択肢だけが示されているが、１又は２以上の実施形態では、多くのタイプの領域が選択可能であるとすることができ、色選択ツールは、例えばアルファチャネルを備えた色を含めて、あらゆる所望の色をユーザが選択できるようにすることができる。

【0024】

ユーザは画面上で領域２０４を描き、それを色２０３で塗りつぶす。１又は２以上の実施形態では、ユーザは、例えば勾配、ぼかし、又はテクスチャを含めて、複数の色で領域を塗りつぶすことができる。２Ｄビュー１３１は、特に投影図の極で歪んでいる可能性があるので、２Ｄビューにおける領域２０４の外観は、３Ｄ点群にマップバックした時に領域の３Ｄ形状を反映しない場合がある。それゆえ、１又は２以上の実施形態では、３Ｄビュー１３２は、３Ｄにおける色変更のプレビューを提供することができる。１又は２以上の実施形態では、３Ｄビュー１３２の色に対する更新は、リアルタイム又はほぼリアルタイムとすることができるので、ユーザは、３Ｄ点群上の色変更の効果に関する即時又はほぼ即時のフィードバックを得ることができる。結果として、３Ｄビュー１３２内の点２０５は、領域２０４内部の投影された点に対応するので、色２０３で示される。１又は２以上の実施形態では、ユーザは、３Ｄウィンドウ１３２の視点をパン、回転、ズーム、又は別の方法で変更可能であるとすることができる。例えば、ユーザは、前壁にズームインしてこの視点からのビュー２０６を見る、或いは天井にズームインしてこの視点からのビュー２０７を見ることができる。

【0025】

図３は、１又は２以上の実施形態において、２Ｄビューウィンドウがどのように生成されるかについての詳細を提供する。図３に示す方法は例示であり、１又は２以上の実施形態は、何れか所望の投影又は方法を用いて点群の２Ｄビューを生成することができる。３Ｄ点群１１０の点は、まず、球体３１１上に投影することができる。球体の中心は、例えば、シーンの３Ｄ点群を取り込むために使用されるＬＩＤＡＲ又は他のスキャナの中心と一致することができ、或いは、ユーザがシーンを見たいと望む注目点を表すとすることができる。例えば、点群内の３Ｄ点３０２を球体３１１上の点３１２に投影することができ、３Ｄ点３０３を球体３１１上の点３１３に投影することができる。第２のステップとして、球体３１１を平坦な２Ｄ空間３２１上に展開することができる。何れかのタイプの投影を用いて、球体３１１から平坦な空間３２１にマッピングすることができる。例えば、限定することなく、パノラマ正距円筒図法を使用することができ、これは、各点の経度及び緯度を２Ｄのデカルト座標にマッピングする。この投影法により、球体上の点３１２を２Ｄ空間３２１の点３２２にマッピングすることができ、球体上の点３１３を２Ｄ空間３２１の点３２３にマッピングすることができる。３Ｄ点を球体３１１上に投影するステップと、球体３１１を２Ｄ空間３２１に投影するステップとの組み合わせにより、３Ｄ基準系３０５における３Ｄ（「ｘｙｚ」）座標と、２Ｄ基準系３２５における２Ｄ（「ｕｖ」）座標との間に対応関係が確立される。例えば、３Ｄ座標３０４の点３０３は、２Ｄ座標３２４の点３２３に対応する。この対応関係を逆にして、２Ｄ空間３２１の点を３Ｄ点群１１０の点に関係付けるようにすることができる。

【0026】

一部のシナリオでは、点群、又は注目する点群の一部は、３６０度の方位角又は１８０度の仰角の全体を覆わない可能性がある。１又は２以上の実施形態では、点群の広がりが限定される場合でも、点群が２Ｄビューウィンドウ全体を埋めるように、点群の２Ｄビューを修正して２Ｄビューをリスケーリングすることができる。このシナリオは図３Ａに示され、球体３１１の中心にいる観察者の地点からは、点群１１０ａは、３３１の水平方向範囲と３３２の垂直方向範囲に及ぶだけである。２Ｄビュー３２１ａにマッピングされた場合、点群１１０ａは区域３３３を占める。可能な限り詳細な点群の２Ｄビューを提供するために、１又は２以上の実施形態では、２Ｄ投影図をスケーリング操作３３４で変換して、２Ｄビュー３２１ｂを取得することができる。スケーリングは、例えば、水平方向範囲３３１を２Ｄビューウィンドウ３２１ｂの幅と一致させ、垂直方向範囲３３２を２Ｄビューウィンドウ３２１ｂの垂直方向高さと一致させるために使用することができる。この変換されたビューでは、点群１１０ａは、全１８０度の仰角と全３６０度の方位角とを有する領域３３５を占める。垂直軸及び水平軸のスケーリング係数は、水平方向広がり角３３１及び垂直方向広がり角３３２に応じて異なることができ、結果として、領域３３５は、元の投影区域３３３に比べて歪んでいる場合がある。

【0027】

３Ｄから２Ｄへの投影と軸の可能なリスケーリングとによって導入された歪みと共に、元の点群における離散的なサンプリングは、点群の２Ｄビューがラスタ化された時にアーティファクトを発生させる可能性がある。この状況を図３Ｂに示す。点群１１０ａは、図３Ａに関して説明したように、２Ｄビュー３２１ｂ上に投影され、区域３３５を占めるようにリスケーリングされる。次にこのビュー３２１ｂは、２Ｄ画像にラスタ化される。グリッド３４２は、ラスタ化された画像の領域３４１内の個々の画素を示す。グリッド３４２内の点は、３Ｄ点群１１０ａに由来する点の投影位置である。画素３４３など、グリッド３４２内の一部の画素は、投影された点を含まないので、ラスタ化画像セグメント３４４における黒画素などのアーティファクトが現れる可能性がある。例えば、グリッド３４２内の画素３４３は、画像セグメント３４４内の画素３４５として現れる。これらのアーティファクトは、３６０×１８０画像全体に適合するように２Ｄ画像をリスケーリングした場合に、より広く認められるとすることができ、それは、一部の画素が３Ｄ点群からの何れの投影点にも対応しない可能性が高くなるからである。

【0028】

１又は２以上の実施形態では、画像３４４内の画素３４５などのアーティファクトは、対応する投影点のない画素を識別し、それらの画素の値を隣接画素に対応した値に設定することによって低減することができる。１又は２以上の実施形態で使用できる一技法は、フィルタを画像と畳み込むことである。図３Ｂに示す説明例では、画像３４４は、アーティファクト画素を取り囲む画素を平均化するフィルタ３４７を用いて、操作３４６で畳み込まれる。この操作３４８により、アーティファクトのない画像３４８が得られる。この平均化フィルタ３４７は例示的なものであり、１又は２以上の実施形態では、アーティファクトを含む画素を識別し、それらを除去又は低減するために、何れかのタイプのフィルタ又は他の操作を適用することができる。

【0029】

ここで、２Ｄビューに加えられた色変更から得られるカラー３Ｄビューの生成に目を向けると、図４Ａは、３Ｄ点群をカラー化するために本技術分野で使用できる典型的な方法を示している。３Ｄ点群の一部の特定ビュー４２０が生成され、ユーザはこのビューの特定領域４２２に色を付与する。この色変更の３Ｄ効果を観察するために、プロセス４１１を実行して、３Ｄ点群１１０の上に色を「焼き付ける」。この焼付けプロセスは、色変更によって影響を受ける３Ｄ点の全てを識別し、更新４２１などの一連の更新を適用して、影響を受ける点の色属性を変更する、或いは別の方法で点群内の点と色を関係付ける。点群は、潜在的に数百万又は数十億の点を含む、大きいものである場合があるので、これらの更新４２１には非常に時間が掛かる可能性がある。色を点群に焼き付けるプロセス全体には、例えば１５分以上掛かる場合がある。例示的なプロセスでは、各点ごとにジオメトリ及び色情報を備えたデータ構造４３０として点群を表現する。影響を受ける点にアクセスし、その色属性を更新するには、大きな点群の場合、ギガバイト単位のデータを扱うことが必要となる可能性がある。焼付けプロセス４１１の後、更新された点群はプロセス４１２でレンダリングされて、３Ｄビュー４２３を生成する。次にユーザは、ステップ４１３でこのレンダリングを再吟味することができ、３Ｄにおける変更の効果を確かめてしまえば、必要に応じて色を補正することができる。このプロセスには非常に時間が掛かる可能性があるので、点群の色を正確に変更するために、数回の反復処理４１４が必要となる可能性がある。

【0030】

図４Ｂは、１又は２以上の実施形態で使用できる、３Ｄビューをレンダリングするための一般的な枠組みを示す。図４Ａに示したプロセスとは対照的に、この枠組みは、リアルタイム又はほぼリアルタイムでの３Ｄビューの生成を提供し、それによって、図４Ａの作業フローについて複数回の反復処理が排除又は低減される可能性がある。色データ４０１は、領域２０４など、２Ｄビュー１３１の色付き領域から取得される。この色データは、例えば、領域２０４の境界の記述とすることができ、境界は、頂点、エッジ、又はその両方を含むことができる。境界はまた、領域又は領域境界のパラメータ表示でもよい。代わりにそれは、領域に含まれる全ての画素又は点のリストでもよい。色データは、領域の色、又は領域内の異なる点又は区域と関係付けられた色を含むことができる。ジオメトリデータ４０２は、３Ｄ点群１１０から取得される。このデータは、例えば、各点の３次元座標でもよいし、点群から導出されたメッシュでもよい。ユーザは、３Ｄビューをレンダリングすべき視点４０３を選択する。データ４０１、４０２、及び４０３は、ＧＰＵ１２２によって、或いは何れか他のプロセッサ（複数可）によって使用され、領域２０４に対応する３Ｄ点に色が付与された３Ｄビュー１３２をレンダリングすることができる。また、３Ｄビュー１３２のレンダリングは、ＣＰＵ処理とＧＰＵ処理を組み合わせて実行することができる。

【0031】

図４Ａに示すプロセスとは異なり、本発明の１又は２以上の実施形態で使用される図４Ｂのプロセスは、点群データ４３０を更新せず、色は、３Ｄプレビュープロセスの一部として点群内に「焼付け」られない。その代わりに、領域２０４からの色データは、ＧＰＵによって（又は他のプロセッサによって）変換され、正しい位置、向き、及び形状に色が重ねられた点群を表示する。この技法により、色変更の３Ｄプレビューをほぼ即時に行うことができる。適用例によっては、編集後に更に最終的な色を点群内に焼き付けることもあるが、これは、編集及びプレビューの間は必要とされない。

【0032】

図５及び図６は、１又は２以上の実施形態において３Ｄビュー１３２をレンダリングするために使用できる方法を示す。図５は、点群１１０内の各３Ｄ点が、色付き領域２０４の中に入る２Ｄ投影を有するかどうかをテストする方法を示している。各３Ｄ点について、ステップ彩色で２Ｄ投影１３１における座標が取り出される又は生成される。例えば、１又は２以上の実施形態では、投影の２Ｄ（「ｕｖ」）座標は、各点の属性として点群と共に保存されるとすることができる。代わりに、２Ｄ座標を作り出すために必要とされる場合に投影を行うことができる。投影後、投影された各点に対してテスト５０１を行って、その点が色付け又は彩色された領域の内部にあるかどうかを判定することができる。領域２０４が例えば多角形である場合、点が多角形の内部にあるかどうかをテストする何れかのアルゴリズムを使用することができる。いくつかのそのようなアルゴリズムが本技術分野で公知であり、１又は２以上の実施形態で使用できる。例えば、多角形の内点テストには、点からの光線が多角形の境界を横切る回数を計数するアルゴリズムと、多角形表面（境界）が点の周りを回る数を計算するアルゴリズムとが含まれる。３Ｄ点と関係付けられた投影点が領域２０４の内部にある場合、ステップ５０２は、領域色を点に付与し、そうでない場合、ステップ５０３は、デフォルト色又は背景色、或いは点群に適用された背景画像の色を付与する。

【0033】

図５は、３Ｄ点群１１０内の２つの点５１１、５１２の色を決定するプロセスを示している。点５１１は、関係する投影点５２１を有し、点５１２は、関係する投影点５２２を有する。テスト５０１は、点５２１が領域２０４の内部にあり、点５２２が領域２０４の外部にあることを示し、従って、点５１１は３Ｄビュー１３２で青色に色付けされ、点５１２はデフォルト色に設定される。

【0034】

１又は２以上の実施形態では、図５に示すステップの何れか又は全てをＧＰＵ上で実行することができる。各点のテストは互いに独立して行うことができるので、領域の内点テストは、容易に並列化される。１又は２以上の実施形態では、テストに対して付加的な最適化を行うことができる。例えば、領域２０４の周りでバウンディングボックスを算定することができ、簡単なテストで、投影点がバウンディングボックスの内部にあるかどうかを判定することができる；その場合、より完全な、領域の内点テストは、点がバウンディングボックスの内部にある場合にのみ行うことができる。１又は２以上の実施形態で使用できる別の最適化は、２Ｄ空間１３１をタイルに分割し、各タイルについて、それが領域２０４と交差するかどうかを判定することである。その場合、領域２０４と交差しないタイル内への投影を伴う３Ｄ点は、点が領域の内部にあるかどうかに関するより複雑なテストをせずに、ステップ５０３で色付けすることができる。

【0035】

図６は、１又は２以上の実施形態で使用できる、３Ｄビュー内の点を色付けするための別の方法を示す。領域２０４を三角形に分割することができ、三角形の頂点及び色は、テクスチャ画像をレンダリングするために、例えばＧＰＵに送信することができる。例えば、領域２０４を分割して三角形６０１と６０２にすることができ、三角形データ６０３をＧＰＵに送信することができる。データ６０３は、例えば、各三角形の頂点の座標と、各頂点の色とを含むことができる。この例では、全ての頂点は同じ色を有するが、図７に関して後述するように、例えばブレンディング又はフェザリングの効果を達成するために、異なる頂点色を使用することができる。次にＧＰＵは、２Ｄテクスチャ画像のレンダリング６０４と、色付き３Ｄビュー１３２のレンダリング６０５とを実行することができる。ＧＰＵは、三角形の頂点データによるレンダリングのために最適化されているので、これらのステップを非常に効率的に実行することができる。

【0036】

１又は２以上の実施形態では、領域色は、領域に亘って不均一にすることができる。この機能は、例えば、領域にソフトなエッジを提供するために用いることができて、１又は２以上のカラー写真又は他の手動の色変更など、２Ｄビューに付与された他の色と滑らかに混合するようにする。図７は、領域２０４ａの三角形６０２ａに色勾配を設けた例を示す。三角形６０２ａの２つの頂点７０１、７０２には青色が割り当てられ、３つ目の頂点７０３には白色が割り当てられている。ＧＰＵは、陰影付け操作７０４を行い、三角形内の各点の色を決定する。この陰影付けアルゴリズムは、例えば、各点の重心座標に基づくブレンディングを用いることができる。例えば、点７０５の重心座標を用いて、この点の色を計算することができる。このタイプの三角形陰影付けは、一般にＧＰＵで実行されるので、非常に効率的に行うことができる。

【0037】

図８～１２は、現実のシーンから取り込まれた３Ｄ点群に対する、本発明の実施形態の適用例を示す。図８は、部屋を全方向にスキャンして取得された３Ｄ点群の一部８０１を示している。この点群は、各点に対して強度及び位置を有するが、色はない。上述したように、点群８０１は球体８０２にマッピングされ、次いでその球体は、パノラマ正距円筒図法を用いて２Ｄビュー８０３に投影される。図９は、点群の領域を色付けするために使用される例示的なユーザインタフェースを示す。メインウィンドウ８０３ａは、特定の壁に注目するためにユーザがズームインした２Ｄビューである。色付けツール９０１がユーザに提示されている。ユーザは、２Ｄビュー８０３ａで領域９０２を選択し、それに色を割り当てる。３Ｄビューウィンドウ８０１ａは、対応する領域９０３が同じ色を備えた点群を表示する。

【0038】

図１０は、図８の点群の２Ｄビューで領域を色付けする別の例を示す。この例では、３Ｄから２Ｄへのマッピングの歪みがより明らかであり、３Ｄプレビューの重要性が示されている。ユーザは、２Ｄビュー８０３ｂで領域１００２を描き、色を割り当てる。３Ｄビュー８０１ｂ内の対応領域１００３は、著しく異なる形状を有し、領域１００２内の直線が、３Ｄビューの領域１００３内の直線に対応していない。

【0039】

図１１は、領域に色を付与する別の例を示す。この例では、点群データの上に２Ｄカラー画像が付与されており、ユーザがこれらの色に調整を加える。看板１１０３は２Ｄカラー画像では黒であるが、ユーザは２Ｄビュー１１０１で看板の周りに領域境界を描き、色を青の色相に変更する。この色変更は、３Ｄビュー１１０２に反映される。

【0040】

図１２は、領域にソフトなエッジを達成するための色混合の例を示す。ユーザは、２Ｄビュー８０３ｃ内の領域１２０１を色で塗りつぶし、別の領域１２０２を色勾配で規定して、領域１２０２の右エッジに向かって１２０１の色を徐々に減衰させる。

【0041】

特定の実施形態及びその適用例を用いて、本明細書に開示する本発明を説明してきたが、当業者は、特許請求の範囲に記載される本発明の範囲から逸脱することなく、数多くの変更形態及び変形形態を作成することができよう。

【符号の説明】

【0042】

１０１ シーン
１０２ 天井
１０３ 前壁
１０４ 左壁
１０５ ＬＩＤＡＲ又は類似の３Ｄスキャナ
１１０ ３Ｄ点群データ
１２０ コンピュータ
１２１ ＣＰＵ
１２２ ＧＰＵ
１２３ メモリ
１２４ ディスプレイ
１３１ ２Ｄビュー
１３２ ３Ｄビュー

【図1】

【図2】

【図3】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】