2022-554410 視覚的忠実度を保持しながらのボリュームデータの低減

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-28

(54)【発明の名称】視覚的忠実度を保持しながらのボリュームデータの低減

(51)【国際特許分類】

   G06T 15/00 20110101AFI20221221BHJP

【ＦＩ】

G06T15/00 501

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022526781

(86)(22)【出願日】2020-12-11

(85)【翻訳文提出日】2022-05-10

(86)【国際出願番号】 US2020064468

(87)【国際公開番号】W WO2021119405

(87)【国際公開日】2021-06-17

(31)【優先権主張番号】62/947,715

(32)【優先日】2019-12-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/874,859

(32)【優先日】2020-05-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】ハント ブラッド

(72)【発明者】

【氏名】アンダーバーグ トビアス

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080AA00

5B080AA17

5B080DA06

5B080FA02

5B080FA09

5B080GA00

(57)【要約】

ボリュームデータの管理は、空間のボリューム内のビューボリュームを定義するステップであって、前記ボリュームデータは、前記空間のボリューム内の複数のポイントを有し、少なくとも１つのポイントは前記ビューボリューム内に存在し、少なくとも１つのポイントは前記ビューボリューム内に存在しない、ステップと、前記空間のボリューム内のグリッドを定義するステップであって、前記グリッドは複数のセルを有し、前記空間のボリュームをそれぞれのセルに分割し、各ポイントは、前記グリッド内の対応するセルを有し、前記グリッド内の各セルは、０又は１以上の対応するポイントを有する、ステップと、セルが前記ビューボリュームの外側に存在する前記グリッド内のそのセルに対するポイントの数を低減するステップと、を含む。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

ボリュームデータを管理するための方法であって、
空間のボリューム内のビューボリュームを定義するステップであって、前記ボリュームデータは、前記空間のボリューム内の複数のポイントを有し、少なくとも１つのポイントは前記ビューボリューム内に存在し、少なくとも１つのポイントは前記ビューボリューム内に存在しない、ステップと、
前記空間のボリューム内のグリッドを定義するステップであって、前記グリッドは複数のセルを有し、前記空間のボリュームをそれぞれのセルに分割し、各ポイントは、前記グリッド内の対応するセルを有し、前記グリッド内の各セルは、０又は１以上の対応するポイントを有する、ステップと、
セルが前記ビューボリュームの外側に存在する前記グリッド内のそのセルに対するポイントの数を低減するステップと、
を含むことを特徴とする方法。

【請求項2】

前記ビューボリュームの内側に存在する前記セルに対してポイントの数を一定に保つステップ、
を更に含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記ビューボリュームは、３次元（３－Ｄ）ボックスであることを特徴とする、請求項１に記載の方法。

【請求項4】

セルに対するポイントの数を低減するステップは、
前記ボリュームデータをマージ及び空間フィルタリングして、第１の数のポイントを第２の数のポイントに置き換えるステップであって、前記第１の数は前記第２の数よりも大きい、ステップ、
を含むことを特徴とする、請求項１に記載の方法。

【請求項5】

前記第２の数のポイントの各ポイントは、局所的に平均化された位置、色、及びサイズを使用することを特徴とする、請求項４に記載の方法。

【請求項6】

前記グリッド内のセルに対して２又は３以上のサブセルを定義するステップであって、各サブセルは前記セル内に存在する、ステップ、
を更に含むことを特徴とする、請求項１に記載の方法。

【請求項7】

ボリュームデータを管理するためのシステムであって、前記システムは、
空間のボリューム内のビューボリュームを定義するためのビューボリューム定義部であって、前記ボリュームデータは、前記空間のボリューム内の複数のポイントを有し、少なくとも１つのポイントは前記ビューボリューム内に存在し、少なくとも１つのポイントは前記ビューボリューム内に存在しない、ビューボリューム定義部と、
前記空間のボリューム内のグリッドを定義するためのグリッド定義部であって、前記グリッドは複数のセルを有し、
前記空間のボリュームをそれぞれのセルに分割し、
各ポイントは、前記グリッド内の対応するセルを有し、
前記グリッド内の各セルは、０又は１以上の対応するポイントを有する、グリッド定義部と、
前記ビューボリューム定義部からの前記ビューボリュームと、前記グリッド定義部からの前記グリッドとを受け取るためのプロセッサと、
前記プロセッサから前記ビューボリューム及び前記グリッドを受け取り、セルが前記ビューボリュームの外側に存在する時に、前記ボリュームデータの前記グリッド内のそのセルに対するポイントの数を低減するためのポイント低減部であって、前記ポイント低減部がその動作を終了すると、前記プロセッサは、ポイントが低減された前記ボリュームデータを表示する、ポイント低減部と、
を含むことを特徴とするシステム。

【請求項8】

前記システムは、ユーザによって装着されるヘッドマウント仮想現実（ＶＲ）セットであり、前記ＶＲセットは、前記ユーザによって見るために、前記ボリュームデータを処理して表示するように構成されることを特徴とする、請求項７に記載のシステム。

【請求項9】

前記ビューボリュームは、３－Ｄボックスであることを特徴とする、請求項７に記載のシステム。

【請求項10】

前記ボリュームデータをマージ及び空間フィルタリングして、第１の数のポイントを第２の数のポイントに置き換えるためのマージ部及び空間フィルタであって、前記第１の数は前記第２の数よりも大きい、マージ部及び空間フィルタ、
を更に含むことを特徴とする、請求項７に記載のシステム。

【請求項11】

前記マージ部及び空間フィルタは、前記第２の数のポイントの各ポイントの位置、色、及びサイズの局所平均化も実行することを特徴とする、請求項１０に記載のシステム。

【請求項12】

前記グリッド内のセルに対して２又は３以上のサブセルを定義するためのサブセル定義部であって、各サブセルは前記セル内に存在する、サブセル定義部、
を更に含むことを特徴とする、請求項７に記載のシステム。

【請求項13】

前記サブセル定義部は、３次元のボックスフィルタを使用して、各ポイントの位置、色、及びサイズを定義することを特徴とする、請求項１２に記載のシステム。

【請求項14】

前記サブセル定義部は、３次元のガウスフィルタを使用して、各ポイントの位置、色、及びサイズを定義することを特徴とする、請求項１２に記載のシステム。

【請求項15】

ボリュームデータを管理するためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
空間のボリューム内のビューボリュームを定義することであって、前記ボリュームデータは、前記空間のボリューム内の複数のポイントを有し、少なくとも１つのポイントは前記ビューボリューム内に存在し、少なくとも１つのポイントは前記ビューボリューム内に存在しない、ことと、
前記空間のボリューム内のグリッドを定義することであって、前記グリッドは複数のセルを有し、前記空間のボリュームをそれぞれのセルに分割し、各ポイントは、前記グリッド内の対応するセルを有し、前記グリッド内の各セルは、０又は１以上の対応するポイントを有する、ことと、
セルが前記ビューボリュームの外側に存在する前記グリッド内のそのセルに対するポイントの数を低減することと、
を行わせる、
ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項16】

前記ビューボリュームの内側に存在する前記セルに対してポイントの数を一定に保つこと、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項17】

前記ビューボリュームは、３次元（３－Ｄ）ボックスであることを特徴とする、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項18】

セルに対するポイントの数を低減することを前記コンピュータに行わせる前記実行可能命令は、
前記ボリュームデータをマージ及び空間フィルタリングして、第１の数のポイントを第２の数のポイントに置き換えることであって、前記第１の数は前記第２の数よりも大きい、こと、
を前記コンピュータに行わせる実行可能命令を含む、
ことを特徴とする、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

前記第２の数のポイントの各ポイントは、局所的に平均化された位置、色、及びサイズを使用することを特徴とする、請求項１８に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記グリッド内のセルに対して２又は３以上のサブセルを定義することであって、各サブセルは前記セル内に存在する、こと、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、ボリュームデータに関し、具体的には、視覚的忠実度を保持しながら、ボリュームデータを低減することに関する。

【背景技術】

【0002】

[0002] ボリュームデータは、非常に大きく、場合によっては、数百ギガバイト程度のメモリ及び数十億個の固有のポイントである可能性がある。このような膨大な量のデータのロード及びレンダリングは、リアルタイム性能にとって、特に、映画及びＴＶ、ゲーム、及び仮想現実体験及び拡張現実体験におけるバーチャルプロダクションにとって、非常に問題のある可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

[0003] 本開示は、視覚的忠実度を保持しながら、ボリュームデータを低減することを提供する。

【課題を解決するための手段】

【0004】

[0004] １つの実装では、ボリュームデータを管理するための方法を開示する。前記方法は、空間のボリューム内のビューボリュームを定義するステップであって、前記ボリュームデータは、前記空間のボリューム内の複数のポイントを有し、少なくとも１つのポイントは前記ビューボリューム内に存在し、少なくとも１つのポイントは前記ビューボリューム内に存在しない、ステップと、前記空間のボリューム内のグリッドを定義するステップであって、前記グリッドは複数のセルを有し、前記空間のボリュームをそれぞれのセルに分割し、各ポイントは、前記グリッド内の対応するセルを有し、前記グリッド内の各セルは、０又は１以上の対応するポイントを有する、ステップと、セルが前記ビューボリュームの外側に存在する前記グリッド内のそのセルに対するポイントの数を低減するステップと、を含む。

【0005】

[0005] １つの実装では、前記方法は、前記ビューボリュームの内側に存在する前記セルに対してポイントの数を一定に保つステップ、を更に含む。１つの実装では、前記ビューボリュームは、３次元（３－Ｄ）ボックスである。１つの実装では、セルに対するポイントの数を低減するステップは、前記ボリュームデータをマージ及び空間フィルタリングして、第１の数のポイントを第２の数のポイントに置き換えるステップであって、前記第１の数は前記第２の数よりも大きい、ステップ、を含む。１つの実装では、前記第２の数のポイントの各ポイントは、局所的に平均化された位置、色、及びサイズを使用する。１つの実装では、前記方法は、前記グリッド内のセルに対して２又は３以上のサブセルを定義するステップであって、各サブセルは前記セル内に存在する、ステップ、を更に含む。

【0006】

[0006] 別の実装では、ボリュームデータを管理するためのシステムを開示する。前記システムは、空間のボリューム内のビューボリュームを定義するためのビューボリューム定義部であって、前記ボリュームデータは、前記空間のボリューム内の複数のポイントを有し、少なくとも１つのポイントは前記ビューボリューム内に存在し、少なくとも１つのポイントは前記ビューボリューム内に存在しない、ビューボリューム定義部と、前記空間のボリューム内のグリッドを定義するためのグリッド定義部であって、前記グリッドは複数のセルを有し、前記空間のボリュームをそれぞれのセルに分割し、各ポイントは、前記グリッド内の対応するセルを有し、前記グリッド内の各セルは、０又は１以上の対応するポイントを有する、グリッド定義部と、前記ビューボリューム定義部からの前記ビューボリュームと、前記グリッド定義部からの前記グリッドとを受け取るためのプロセッサと、前記プロセッサから前記ビューボリューム及び前記グリッドを受け取り、セルが前記ビューボリュームの外側に存在する時に、前記ボリュームデータの前記グリッド内のそのセルに対するポイントの数を低減するためのポイント低減部であって、前記ポイント低減部がその動作を終了すると、前記プロセッサは、ポイントが低減された前記ボリュームデータを表示する、ポイント低減部と、を含む。

【0007】

[0007] １つの実装では、前記システムは、ユーザによって装着されるヘッドマウント仮想現実（ＶＲ）セットであり、前記ＶＲセットは、前記ユーザによって見るために、前記ボリュームデータを処理して表示するように構成される。１つの実装では、前記ビューボリュームは、３－Ｄボックスである。１つの実装では、前記システムは、前記ボリュームデータをマージ及び空間フィルタリングして、第１の数のポイントを第２の数のポイントに置き換えるためのマージ部及び空間フィルタであって、前記第１の数は前記第２の数よりも大きい、マージ部及び空間フィルタ、を更に含む。１つの実装では、前記マージ部及び空間フィルタは、前記第２の数のポイントの各ポイントの位置、色、及びサイズの局所平均化も実行する。１つの実装では、前記システムは、前記グリッド内のセルに対して２又は３以上のサブセルを定義するためのサブセル定義部であって、各サブセルは前記セル内に存在する、サブセル定義部、を更に含む。１つの実装では、前記サブセル定義部は、３次元のボックスフィルタを使用して、各ポイントの位置、色、及びサイズを定義する。１つの実装では、前記サブセル定義部は、３次元のガウスフィルタを使用して、各ポイントの位置、色、及びサイズを定義する。

【0008】

[0008] 別の実装では、ボリュームデータを管理するためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、空間のボリューム内のビューボリュームを定義することであって、前記ボリュームデータは、前記空間のボリューム内の複数のポイントを有し、少なくとも１つのポイントは前記ビューボリューム内に存在し、少なくとも１つのポイントは前記ビューボリューム内に存在しない、ことと、前記空間のボリューム内のグリッドを定義することであって、前記グリッドは複数のセルを有し、前記空間のボリュームをそれぞれのセルに分割し、各ポイントは、前記グリッド内の対応するセルを有し、前記グリッド内の各セルは、０又は１以上の対応するポイントを有する、ことと、セルが前記ビューボリュームの外側に存在する前記グリッド内のそのセルに対するポイントの数を低減することと、を行わせる。

【0009】

[0009] １つの実装では、前記コンピュータプログラムは、前記ビューボリュームの内側に存在する前記セルに対してポイントの数を一定に保つこと、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記ビューボリュームは、３次元（３－Ｄ）ボックスである。１つの実装では、セルに対するポイントの数を低減することを前記コンピュータに行わせる前記実行可能命令は、前記ボリュームデータをマージ及び空間フィルタリングして、第１の数のポイントを第２の数のポイントに置き換えることであって、前記第１の数は前記第２の数よりも大きい、こと、を前記コンピュータに行わせる実行可能命令を含む。１つの実装では、前記第２の数のポイントの各ポイントは、局所的に平均化された位置、色、及びサイズを使用する。１つの実装では、前記コンピュータプログラムは、前記グリッド内のセルに対して２又は３以上のサブセルを定義することであって、各サブセルは前記セル内に存在する、こと、を前記コンピュータに行わせる実行可能命令を更に含む。

【0010】

[0010] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0011】

[0011] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0012】

【図1A】本開示の１つの実装による、ボリュームデータを管理するための方法のフロー図である。

【図1B】グリッド内のセルに対するポイントの数を低減するステップの図である。

【図2】本開示の１つの実装による、ボリュームデータを管理するためのシステムのブロック図である。

【図3A】本開示の実装による、コンピュータシステム及びユーザの図である。

【図3B】本開示の実装による、ビデオアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【発明を実施するための形態】

【0013】

[0017] 上記のように、ボリュームデータは、非常に大きい可能性がある。したがって、このような膨大な量のデータのロード及びレンダリングは、リアルタイム性能にとって、特に、映画及びＴＶ、ゲーム、及び仮想現実体験及び拡張現実体験におけるバーチャルプロダクションにとって、非常に問題のある可能性がある。

【0014】

[0018] 本開示の特定の実装は、ビデオデータを処理するための技術を実装するためのシステム及び方法を提供する。１つの実装では、ビデオシステムは、ボリュームデータを作成して管理する。システムは、ボリュームデータの限定的なビューイングボリュームを特定する。システムは、限定的なビューイングボリュームを使用して、内部ビューイングボリュームの内側のいずれの位置及び方向からもレンダリングされた視覚的忠実度／品質を損失することなく、データの全ボリュームポイント数を低減する。この低減によって、データロード時間の低減及びデータのストリーミングの高速化が可能になり、また、処理するポイントの数が減ることによりレンダリング（視覚表示）の高速化も可能になる。これらの速度の向上は、ヘッドマウントディスプレイの性能要件に起因する仮想現実（ＶＲ）アプリケーションや、映画及びＴＶ、ゲーム、及び仮想現実体験及び拡張現実体験におけるバーチャルプロダクションに有用である。

【0015】

[0019] 以下の説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0016】

[0020] １つの実装では、特定のビューイングボリュームが、内部ビューイングボリュームから空間のボリューム内の任意の位置（例えば映画又はゲーム内のシーン）までの距離が増加するにつれて視覚的忠実度が低下する潜在的な可視関心領域を定義する。この実装では、入力特性「最小ポイントサイズ」を使用して、内部ビューイングボリュームの内側の全てのポイントに対して、一定のレベルのディテールを設定することができ、一方、ボリュームから外部位置までの距離に基づいて、ボリューム境界から遠ざかる方向に最小内部ポイントサイズを投影することによって、内部ビューイングボリュームの外側の位置（すなわち外部ビューイングボリューム）に対して、種々のレベルのディテールを設定することができる。したがって、ユーザがデータを観察する位置を限定する特定の空間のボリュームを定義することによって、様々な方法を使用して、視覚的忠実度への影響が最小であるようにデータを結合して低減することができる。

【0017】

[0021] １つの実装では、ボリュームデータをマージ及び空間フィルタリングして、多数のポイントを、局所的に平均化された位置、色、及びサイズの少数のポイントに置き換える。他の実装では、空間内の任意の位置において、ポイントに関連する任意の特性をフィルタリングすることができる。

【0018】

[0022] ボリュームデータを管理するためのシステムの１つの実装では、空間の特定のビューボリュームを、空間内においてボリュームデータが見られることが予想される任意の位置、サイズ及び向きにおいて、３－Ｄボックスとして特定する。別の実装では、特定のビューボリュームを、半球又は３－Ｄビュー四角錐台などの他の形状として特定する。そのボリュームの内部データ及び外部データの両方に対して任意選択的な設定が可能である。例えば、内部データのための最小ポイントサイズ及び外部データのためのサンプルグリッドの解像度である。

【0019】

[0023] １つの実装では、空間データ構造を使用して、処理を高速化し、ボリュームを空間的に細分して、空間内の特定の位置において局所的に隣接するポイントを収集する。空間データ構造は、ポイント位置の特性又はより深い空間細分を含むポイントを含み、限られたメモリを含む種々の量の非常に詳細なポイントクラウドを効率的に処理することができる。

【0020】

[0024] 例えば、空間データ構造としてユニフォームグリッド（Ｕｎｉｆｏｒｍ Ｇｒｉｄ）を使用するビデオシステムでは、システムは、多数のポイントを「グリッドセル」に細分して、高速サーチを行う。１つの実装では、これを使用して、隣接するポイントの３－Ｄフィルタリングを行う。この実装では、各３－Ｄポイント位置は、単一の乗算及び加算演算を使用して、セルに迅速にマッピングし、各セルは、細分された場合、ポイント又はサブグリッドのリストを有することができる。更に、単一のセル内の大きいポイントリストを回避するために、セルを反復的に細分及びプリソートして、性能を向上させることができる。１つの実装では、システムは、特定されたグリッド解像度を定義して、セル毎に最大数のポイントを効率的に管理する。システムは、特定されたグリッド解像度に基づいて、各セルを細分する。したがって、１つの実装では、フィルタリングのために、隣接するセルのみを考慮する。一方で、他の実装では、システムは、複数のセル及びグリッドにわたって任意のフィルタサイズを可能にして、例えば品質を向上させることができる。フィルタリングされたデータの出力は、単一の大きいポイントのリストであり、これは、より低い解像度で最終ユニフォームグリッドによって体積測定的に分割される。次に、その結果を使用して、ポイントを連続するディテールレベル（ＬＯＤ）データ構造に分割して、レンダリングを行う。

【0021】

[0025] したがって、１つの実装では、ビデオシステムは、以下のプロセスを使用して、ボリュームデータを管理する。各ポイントに対して、以下のステップ、すなわち、（１）最小、最大、中心などのポイントにおいてセル特性を計算するステップ、（２）ポイントから最も近いビューイングボリュームの矩形ボックスの境界までの距離を計算するステップ、（３）ポイントがボックスの内側に存在する場合、サブセルを最小セルサイズとして設定し、そうでない場合には、投影されたサイズになる距離において境界からサブセルを投影するステップ、（４）主グリッドからのデータを含むサブセルをロードするステップ、（５）各サブセル内のポイントのリストを計算するステップ、（６）ボックスフィルタを使用して、最終サブセル内のポイントのリストから最終的なポイントの色及びサイズを計算するステップ、（７）各サブセル内のポイントのリストを計算するステップ、を行う。

【0022】

[0026] 代替の実装では、ソーティングのためにユニフォームグリッドを使用する代わりに、ランタイム性能及びメモリ制約の要件に応じて、任意の空間データ構造（例えば、ＫＤツリー、ＢＳＴ、オクツリーなど）を使用することができる。更に、異なる空間ソーティングシステムを一緒に使用すると、多くの場合、単一のタイプのソーティングのみを使用するよりも効率の向上をもたらす。例えば、まず「粗い」ソートとしてＫＤツリーを使用してポイントをソートし、次に「精細な」ソートとしてユニフォームグリッドを使用することは、多くの場合に有益である。しかしながら、一般に、ユニフォームグリッドは、マルチスレッド環境内でストールする最小限のＣＰＵ実行のための良好なＣＰＵキャッシュコヒーレンシを有するので、高速で動作する。

【0023】

[0027] サブセル内の最終的なポイントのサイズ及び色の計算において、システムは、３次元のボックスフィルタ又はガウスフィルタを含む任意のフィルタタイプを使用する。ガウス分布フィルタカーネルのような不均一フィルタは、最終的な単一の出力ポイント特性のための位置、サイズ、及び色のような局所特性を強調して、これにより、ノイズを追加するコストでシャープネスを向上させることができる。３次元フィルタカーネルを使用して、ポイントの色及びサイズをブレンドして、視覚的忠実度及び外観を保持する。したがって、様々なフィルタリングカーネル及びサイズを使用して、３ｘ３ｘ３ボックス、ガウス等などの３次元空間内の任意の位置においてポイントクラウドデータセットの正確な特性を解像することができる。

【0024】

[0028] 更なる実装は、内部ビューイングボリューム及び外部ビューイングボリュームの両方のためのカスタマイズ可能なサンプリングレート及びデータフィルタリング及び設定を含む。この実装では、内部ビューイングボリュームに対して最小ポイントサイズを設定し、最小ポイントサイズは、ユニフォームグリッド解像度に基づいてサンプルレートを定義する。ポイントの局所クラスタの平均位置を使用して、サンプリングされた各サブセルに対してサブボクセル位置を保持する。各サブセル内のフィルタリングされた出力ポイントに対してサブボクセル位置を保持することによって、位置のユニフォームグリッド上のサンプリングデータに関連する視覚ノイズアーチファクトを低減する。これは、動きが遅いアニメーション化されたデータセットを含む視覚品質を向上させる。

【0025】

[0029] 図１Ａは、本開示の１つの実装による、ボリュームデータを管理するための方法１００のフロー図である。図１Ａに示す実装では、方法は、ステップ１１０において、空間のボリューム内のビューボリュームを定義するステップを含む。したがって、１つの実装では、ビューボリュームは、ゲーム又は映画においてプレイヤが位置する場所の周囲の空間のボリュームを定義する。１つの実装では、ビューボリュームはボックスである。別の実装では、ビューボリュームは半球である。更に、ボリュームデータは、空間のボリューム内の複数のポイントを有し、少なくとも１つのポイントはビューボリューム内に存在し、少なくとも１つのポイントはビューボリューム内に存在しない。

【0026】

[0030] ステップ１２０において、空間のボリューム内において複数のセルを有するものとしてグリッドを定義する。空間のボリュームをそれぞれのセルに分割し、各ポイントは、グリッド内の対応するセルを有する。グリッド内の各セルは、０又は１以上の対応するポイントを有する。次に、ステップ１３０において、セルがビューボリュームの外側に存在する時に、グリッド内のそのセルに対するポイントの数を低減する。したがって、この実装では、ビューボリュームの内側のボリュームポイント数を一定に保ち、一方、ビューボリュームの外側のボリュームポイント数を低減する。グリッド内のセルに対するポイントの数を低減するステップの図１５０については、図１Ｂを参照されたい。

【0027】

[0031] １つの実装では、データをマージ及び空間フィルタリングして、第１の数のポイントを第２の数のポイントに置き換えることによって、セルに対するポイントの数を低減し、第１の数は第２の数よりも大きい。第２の数のポイントの各ポイントは、局所的に平均化された位置、色、及びサイズを使用する。１つの実装では、ステップ１４０において、グリッド内のセルに対して２又は３以上のサブセルを定義し、各サブセルはセル内に存在する。

【0028】

[0032] 上記のように、サブセル内の最終的なポイントのサイズ及び色の計算において、システムは、３次元のボックスフィルタ又はガウスフィルタを含む任意のフィルタタイプを使用する。ガウス分布フィルタカーネルのような不均一フィルタは、最終的な単一の出力ポイント特性のための位置、サイズ、及び色のような局所特性を強調して、これにより、ノイズを追加するコストでシャープネスを向上させることができる。３次元フィルタカーネルを使用して、ポイントの色及びサイズをブレンドして、視覚的忠実度及び外観を保持する。したがって、様々なフィルタリングカーネル及びサイズを使用して、３ｘ３ｘ３ボックス、ガウス等などの３次元空間内の任意の位置においてポイントクラウドデータセットの正確な特性を解像することができる。

【0029】

[0033] 図２は、本開示の１つの実装による、ボリュームデータを管理するためのシステム２００のブロック図である。１つの実装では、システム２００は、ユーザによって装着されるヘッドマウント仮想現実（ＶＲ）セットであり、ＶＲセットは、ユーザによって見るために、ボリュームデータを処理して表示するように構成される。図２に示す実装では、システム２００は、ビューボリューム定義部２２０、グリッド定義部２３０、ポイント低減部２４０、ディスプレイ２５０、及びサブセル定義部２６０と通信するプロセッサ２１０を含む。１つの実装では、サブセル定義部２６０は、グリッド内のセルに対して２又は３以上のサブセルを定義し、各サブセルはセル内に存在する。

【0030】

[0034] １つの実装では、ビューボリューム定義部２２０は、空間のボリューム内のビューボリュームを定義するように構成される。定義されたビューボリュームをプロセッサ２１０に通信する。１つの実装では、ビューボリュームはボックスである。別の実装では、ビューボリュームは半球である。更に、ボリュームデータは、空間のボリューム内の複数のポイントを有し、少なくとも１つのポイントはビューボリューム内に存在し、少なくとも１つのポイントはビューボリューム内に存在しない。

【0031】

[0035] １つの実装では、グリッド定義部２３０は、空間のボリューム内において複数のセルを有するものとしてグリッドを定義するように構成される。空間のボリュームをそれぞれのセルに分割し、各ポイントは、グリッド内の対応するセルを有する。グリッド内の各セルは、０又は１以上の対応するポイントを有する。定義されたグリッドをプロセッサ２１０に通信する。

【0032】

[0036] １つの実装では、ポイント低減部２４０は、セルがビューボリュームの外側に存在する時に、グリッド内のそのセルに対するポイントの数を低減するように構成される。したがって、上記のように、ビューボリュームの内側のボリュームポイント数を一定に保ち、一方、ビューボリュームの外側のボリュームポイント数を低減する。したがって、圧縮とは対照的に、この実装の選択的な「量低減」は不可逆的であるが、（サイズ及び色を含む）視覚的忠実度を保持する。ポイント低減部２４０は、グリッド内のセルに対するポイントの数を低減した結果を、プロセッサ２１０に通信する。

【0033】

[0037] １つの実装では、ポイント低減部２４０は、データをマージ及び空間フィルタリングして第１の数のポイントを第２の数のポイントに置き換えるためのマージ部２４２及び空間フィルタ２４４を使用して、セルに対するポイントの数を低減し、第１の数は第２の数よりも大きい。第２の数のポイントの各ポイントは、局所的に平均化された位置、色、及びサイズを使用する。

【0034】

[0038] １つの実装では、フィルタリングのために、隣接するセルのみを考慮する。一方で、他の実装では、システム２００は、複数のセル及びグリッドにわたって任意のフィルタサイズを可能にして、例えば品質を向上させることができる。フィルタリングされたデータの出力は、単一の大きいポイントのリストであり、これは、より低い解像度で最終ユニフォームグリッドによって体積測定的に分割される。次に、その結果を使用して、ポイントを連続するディテールレベル（ＬＯＤ）データ構造に分割して、レンダリングを行う。

【0035】

[0039] 上記のように、サブセル内の最終的なポイントのサイズ及び色の計算において、システム２００は、３次元のボックスフィルタ又はガウスフィルタを含む任意のフィルタタイプを使用する。ガウス分布フィルタカーネルのような不均一フィルタは、最終的な単一の出力ポイント特性のための位置、サイズ、及び色のような局所特性を強調して、これにより、ノイズを追加するコストでシャープネスを向上させることができる。３次元フィルタカーネルを使用して、ポイントの色及びサイズをブレンドして、視覚的忠実度及び外観を保持する。したがって、様々なフィルタリングカーネル及びサイズを使用して、３ｘ３ｘ３ボックス、ガウス等などの３次元空間内の任意の位置においてポイントクラウドデータセットの正確な特性を解像することができる。

【0036】

[0040] ポイント低減部２４０がその動作を終了すると、プロセッサ２１０は、ポイントが低減されたボリュームデータをディスプレイ２５０上に表示する。

【0037】

[0041] 図３Ａは、本開示の実装による、コンピュータシステム３００及びユーザ３０２の図である。ユーザ３０２は、コンピュータシステム３００を使用して、図１Ａ及び図２の方法１００及びシステム２００に関して図示及び説明されるような、ボリュームデータを管理するためのビデオアプリケーション３９０を実装する。

【0038】

[0042] コンピュータシステム３００は、図３Ｂのビデオアプリケーション３９０を記憶して実行する。更に、コンピュータシステム３００は、ソフトウェアプログラム３０４と通信することができる。ソフトウェアプログラム３０４は、ビデオアプリケーション３９０のためのソフトウェアコードを含むことができる。ソフトウェアプログラム３０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0039】

[0043] 更に、コンピュータシステム３００は、ネットワーク３８０に接続することができる。ネットワーク３８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク３８０は、ビデオアプリケーション３９０内で使用されるエンジン及びデータを協調させるサーバ３８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク３８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。

【0040】

[0044] 図３Ｂは、本開示の実装による、ビデオアプリケーション３９０をホストするコンピュータシステム３００を示す機能ブロック図である。コントローラ３１０はプログラマブルプロセッサであり、コンピュータシステム３００及びそのコンポーネントの動作を制御する。コントローラ３１０は、メモリ３２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御する。その実行において、コントローラ３１０は、ビデオアプリケーション３９０にソフトウェアシステムを提供して、例えば、装置のグループを作成して、タスクキューを使用して装置設定データを並列に送信することを可能にする。代替的に、このサービスは、コントローラ３１０又はコンピュータシステム３００において別個のハードウェアコンポーネントとして実装することができる。

【0041】

[0045] メモリ３２０は、コンピュータシステム３００の他のコンポーネントによって使用するためにデータを一時的に記憶する。１つの実装では、メモリ３２０はＲＡＭとして実装される。１つの実装では、メモリ３２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。

【0042】

[0046] ストレージ３３０は、コンピュータシステム３００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ３３０は、ビデオアプリケーション３９０によって使用されるデータを記憶する。１つの実装では、ストレージ３３０は、ハードディスクドライブである。

【0043】

[0047] メディアデバイス３４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。１つの実装では、例えば、メディアデバイス３４０は、光ディスクドライブである。

【0044】

[0048] ユーザインターフェイス３５０は、コンピュータシステム３００のユーザからユーザ入力を受け取ってユーザ３０２に情報を提示するためのコンポーネントを含む。１つの実装では、ユーザインターフェイス３５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ３１０は、ユーザ３０２からの入力を使用して、コンピュータシステム３００の動作を調整する。

【0045】

[0049] Ｉ／Ｏインターフェイス３６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。１つの実装では、Ｉ／Ｏインターフェイス３６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス３６０は、外部装置と無線で通信するための無線インターフェイスを含む。

【0046】

[0050] ネットワークインターフェイス３７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。

【0047】

[0051] コンピュータシステム３００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図３Ｂに具体的に示されていない。他の実装では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。

【0048】

[0052] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。

【0049】

[0053] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0050】

１００ ボリュームデータを管理するための方法
１１０ 複数のポイントを有する空間のボリューム内のビューボリュームを定義し、少なくとも１つのポイントはビューボリューム内に存在し、少なくとも１つのポイントはビューボリューム内に存在しない
１２０ 空間のボリューム内において複数のセルを有するものとしてグリッドを定義し、空間のボリュームをそれぞれのセルに分割し、各ポイントはグリッド内の対応するセルを有し、グリッド内の各セルは０又は１以上の対応するポイントを有する
１３０ セルがビューボリュームの外側に存在する時に、グリッド内のそのセルに対するポイントの数を低減
１４０ グリッド内のセルに対して２又は３以上のサブセルを定義し、各サブセルはセル内に存在する
１５０ グリッド内のセルに対するポイントの数を低減するステップの図
２００ ボリュームデータを管理するためのシステム
２１０ プロセッサ
２２０ ビューボリューム定義部
２３０ グリッド定義部
２４０ ポイント低減部
２４２ マージ部
２４４ 空間フィルタ
２５０ ディスプレイ
２６０ サブセル定義部
３００ コンピュータシステム
３０２ ユーザ
３０４ ソフトウェアプログラム
３１０ コントローラ
３２０ メモリ
３３０ ストレージ
３４０ メディアデバイス
３５０ ユーザインターフェイス
３６０ Ｉ／Ｏインターフェイス
３７０ ネットワークインターフェイス
３８０ ネットワーク
３８５ サーバ
３９０ ビデオアプリケーション

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【国際調査報告】