特表 2024-541049 大規模なＮｅＲＦに向けた不確実性を考慮した融合

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-06

(54)【発明の名称】大規模なＮｅＲＦに向けた不確実性を考慮した融合

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241029BHJP

【ＦＩ】

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525800

(86)(22)【出願日】2022-10-20

(85)【翻訳文提出日】2024-05-01

(86)【国際出願番号】 US2022047232

(87)【国際公開番号】W WO2023086192

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】63/278,529

(32)【優先日】2021-11-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/963,471

(32)【優先日】2022-10-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】504080663

【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク

【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】ズオン、 ビンビン

(72)【発明者】

【氏名】シュルター、 サミュエル

(72)【発明者】

【氏名】ツァイ、 イ－シューアン

(72)【発明者】

【氏名】リウ、 ブユ

(72)【発明者】

【氏名】リ、 ナンボ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA08

5L096BA20

5L096CA02

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

大規模なシーンの高忠実度の新規の視点合成と３Ｄ再構成を実現する方法が開示される。この方法には、複数のビデオ画像キャプチャ装置から受信したビデオストリームから画像を取得すること、大規模な３Ｄシーンを表す別々の画像クラスタに画像をグループ化すること、ニューラルラディアンスフィールド（ＮｅＲＦ）および不確実性多層パーセプトロン（ＭＬＰ）を訓練することが含まれる。画像クラスタのそれぞれに対して、大規模な３Ｄシーンについての複数のＮｅＲＦおよび複数の不確実性ＭＬＰを生成し、複数のＮｅＲＦにレンダリング損失とエントロピー損失とを適用し、複数のＮｅＲＦに不確実性に基づく融合を実行する。融合されたＮｅＲＦを定義し、複数のＮｅＲＦと複数の不確実性ＭＬＰとを共同で微調整し、推論中に大規模な３Ｄシーンの新規の視点合成に融合ＮｅＲＦを適用する。
【選択図】図１

【特許請求の範囲】

【請求項1】

大規模なシーンのための高忠実度の新規の視点合成と３Ｄ再構成とを実現するための方法であって、
複数のビデオ画像キャプチャ装置から受信したビデオストリームから画像を取得することと、
大規模な３Ｄシーンを表す別々の画像クラスタに前記画像をグループ化することと、
前記画像クラスタの各々に対してニューラルラディアンスフィールド（ＮｅＲＦ）および不確実性多層パーセプトロン（ＭＬＰ）を訓練して、前記大規模な３Ｄシーンについての複数のＮｅＲＦおよび複数の不確実性ＭＬＰを生成することと、
前記複数のＮｅＲＦにレンダリング損失とエントロピー損失とを適用することと、
前記複数のＮｅＲＦに対して不確実性に基づく融合を実行して融合されたＮｅＲＦを定義し、前記複数のＮｅＲＦと前記複数の不確実性ＭＬＰとを共同で微調整することと、
推論中に、前記大規模な３Ｄシーンの新規の視点合成に前記融合されたＮｅＲＦを適用することとを含む、方法。

【請求項2】

前記複数の不確実性ＭＬＰは共同で訓練され、前記複数のＮｅＲＦは並行して訓練される、請求項１に記載の方法。

【請求項3】

各３Ｄの点における前記複数のＮｅＲＦの各々についての密度予測の幾何学的不確実性が、前記レンダリング損失のヤコビアンに基づいて導出され、各密度予測に対する近似ガウス分布が得られる、請求項１に記載の方法。

【請求項4】

ＮｅＲＦスティッチングが、不確実性ネットワークの暗黙的な不確実性フィールドを６Ｄ連続関数として回帰することによって学習される、請求項１に記載の方法。

【請求項5】

前記不確実性ネットワークは、前記大規模な３Ｄシーン内の３Ｄの点について、前記３Ｄ点の空間的位置、視認方向、および距離を入力とし、前記複数のＮｅＲＦの各ＮｅＲＦに対して、不確かさの定量化を出力する、請求項４に記載の方法。

【請求項6】

前記３Ｄの点に関連付けられた６Ｄの座標が、前記複数の不確実性ＭＬＰのうちの１つの不確実性ＭＬＰを照会するために適用される、請求項５に記載の方法。

【請求項7】

前記複数のＮｅＲＦの各々の訓練画像にアクセスすることなく、訓練画像のカメラポーズのみを使用する投票戦略を採用することにより、不確実性フィールドを学習する、請求項１に記載の方法。

【請求項8】

大規模なシーンのための高忠実度の新規の視点合成と３Ｄ再構成とを実現するためのコンピュータ可読プログラムを含む非一過性コンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムは、コンピュータ上で実行されると、前記コンピュータに、
複数のビデオ画像キャプチャ装置から受信したビデオストリームから画像を取得するステップと、
大規模な３Ｄシーンを表す別々の画像クラスタに前記画像をグループ化するステップと、
前記画像クラスタの各々に対してニューラルラディアンスフィールド（ＮｅＲＦ）および不確実性多層パーセプトロン（ＭＬＰ）を訓練して、前記大規模な３Ｄシーンについての複数のＮｅＲＦおよび複数の不確実性ＭＬＰを生成するステップと、
前記複数のＮｅＲＦにレンダリング損失とエントロピー損失とを適用するステップと、
前記複数のＮｅＲＦに対して不確実性に基づく融合を実行して融合されたＮｅＲＦを定義し、前記複数のＮｅＲＦと前記複数の不確実性ＭＬＰとを共同で微調整するステップと、
推論中に、前記大規模な３Ｄシーンの新規の視点合成に前記融合されたＮｅＲＦを適用するステップとを実行させる、非一過性コンピュータ可読記憶媒体。

【請求項9】

前記複数の不確実性ＭＬＰは共同で訓練され、前記複数のＮｅＲＦは並行して訓練される、請求項８に記載の非一過性コンピュータ可読記憶媒体。

【請求項10】

各３Ｄの点における前記複数のＮｅＲＦの各々についての密度予測の幾何学的不確実性が、前記レンダリング損失のヤコビアンに基づいて導出され、各密度予測に対する近似ガウス分布が得られる、請求項８に記載の非一過性コンピュータ可読記憶媒体。

【請求項11】

ＮｅＲＦスティッチングが、不確実性ネットワークの暗黙的な不確実性フィールドを６Ｄ連続関数として回帰することによって学習される、請求項８に記載の非一過性コンピュータ可読記憶媒体。

【請求項12】

前記不確実性ネットワークは、前記大規模な３Ｄシーン内の３Ｄの点について、前記３Ｄ点の空間的位置、視認方向、および距離を入力とし、前記複数のＮｅＲＦの各ＮｅＲＦに対して、不確かさの定量化を出力する、請求項１１に記載の非一過性コンピュータ可読記憶媒体。

【請求項13】

前記３Ｄの点に関連付けられた６Ｄの座標が、前記複数の不確実性ＭＬＰのうちの１つの不確実性ＭＬＰを照会するために適用される、請求項１２に記載の非一過性コンピュータ可読記憶媒体。

【請求項14】

前記複数のＮｅＲＦの各々の訓練画像にアクセスすることなく、訓練画像のカメラポーズのみを使用する投票戦略を採用することにより、不確実性フィールドを学習する、請求項８に記載の非一過性コンピュータ可読記憶媒体。

【請求項15】

大規模なシーンのための高忠実度の新規の視点合成と３Ｄ再構成とを実現するためのシステムであって、
メモリと、
前記メモリと通信する１つ以上のプロセッサとを含み、該プロセッサは、
複数のビデオ画像キャプチャ装置から受信したビデオストリームから画像を取得し、
大規模な３Ｄシーンを表す別々の画像クラスタに前記画像をグループ化し、
前記画像クラスタの各々に対してニューラルラディアンスフィールド（ＮｅＲＦ）および不確実性多層パーセプトロン（ＭＬＰ）を訓練して、前記大規模な３Ｄシーンについての複数のＮｅＲＦおよび複数の不確実性ＭＬＰを生成し、
前記複数のＮｅＲＦにレンダリング損失とエントロピー損失とを適用し、
前記複数のＮｅＲＦに対して不確実性に基づく融合を実行して融合されたＮｅＲＦを定義し、前記複数のＮｅＲＦと前記複数の不確実性ＭＬＰとを共同で微調整し、
推論中に、前記大規模な３Ｄシーンの新規の視点合成に前記融合されたＮｅＲＦを適用するように構成されているシステム。

【請求項16】

前記複数の不確実性ＭＬＰは共同で訓練され、前記複数のＮｅＲＦは並行して訓練される、請求項１５に記載のシステム。

【請求項17】

各３Ｄの点における前記複数のＮｅＲＦの各々についての密度予測の幾何学的不確実性が、前記レンダリング損失のヤコビアンに基づいて導出され、各密度予測に対する近似ガウス分布が得られる、請求項１５に記載のシステム。

【請求項18】

ＮｅＲＦスティッチングが、不確実性ネットワークの暗黙的な不確実性フィールドを６Ｄ連続関数として回帰することによって学習される、請求項１５に記載のシステム。

【請求項19】

前記不確実性ネットワークは、前記大規模な３Ｄシーン内の３Ｄの点について、前記３Ｄ点の空間的位置、視認方向、および距離を入力とし、前記複数のＮｅＲＦの各ＮｅＲＦに対して、不確かさの定量化を出力する、請求項１８に記載のシステム。

【請求項20】

前記３Ｄの点に関連付けられた６Ｄの座標が、前記複数の不確実性ＭＬＰのうちの１つの不確実性ＭＬＰを照会するために適用される、請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄシーン再構成に関し、より詳細には、大規模なＮｅｕｒａｌ Ｒａｄｉａｎｃｅ Ｆｉｅｌｄ（ＮｅＲＦ）に向けた不確実性を考慮した融合に関する。

【背景技術】

【0002】

関連技術の説明
ニューラル陰関数は、３Ｄシーン表現を実現する効果的な方法であることが証明されている。Ｎｅｕｒａｌ Ｒａｄｉａｎｃｅ Ｆｉｅｌｄ（ＮｅＲＦ）は、３Ｄ空間の形状と放射輝度とを連続関数として表現する強力なツールとして登場した。これにより、新規の視点の合成において前例のないレベルの忠実度が実現する。ＮｅＲＦの核心は、多層パーセプトロン（ＭＬＰ）を利用して、様々な方向から見た各３Ｄ点の色と密度とを符号化することである。ＮｅＲＦはその有効性にもかかわらず、ＭＬＰの容量が限られているため、これまでは小規模なシーンに限られていた。言い換えれば、ＮｅＲＦは一定の容量でスケールと解像度とをトレードオフしなければならない。

【発明の概要】

【0003】

大規模なシーンのための高忠実度の新規の視点合成と３Ｄ再構成とを実現するための方法が提示される。この方法は、複数のビデオ画像キャプチャ装置から受信したビデオストリームから画像を取得することと、大規模な３Ｄシーンを表す別々の画像クラスタに前記画像をグループ化することと、前記画像クラスタの各々に対してニューラルラディアンスフィールド（ＮｅＲＦ）および不確実性多層パーセプトロン（ＭＬＰ）を訓練して、前記大規模な３Ｄシーンについての複数のＮｅＲＦおよび複数の不確実性ＭＬＰを生成することと、前記複数のＮｅＲＦにレンダリング損失とエントロピー損失とを適用することと、前記複数のＮｅＲＦに対して不確実性に基づく融合を実行して融合されたＮｅＲＦを定義し、前記複数のＮｅＲＦと前記複数の不確実性ＭＬＰとを共同で微調整することと、推論中に、前記大規模な３Ｄシーンの新規の視点合成に前記融合されたＮｅＲＦを適用することとを含む。

【0004】

大規模なシーンのための高忠実度の新規の視点合成と３Ｄ再構成とを実現するためのコンピュータ可読プログラムを含む非一過性コンピュータ可読記憶媒体が提示される。前記コンピュータ可読プログラムは、コンピュータ上で実行されると、前記コンピュータに、複数のビデオ画像キャプチャ装置から受信したビデオストリームから画像を取得するステップと、大規模な３Ｄシーンを表す別々の画像クラスタに前記画像をグループ化するステップと、前記画像クラスタの各々に対してニューラルラディアンスフィールド（ＮｅＲＦ）および不確実性多層パーセプトロン（ＭＬＰ）を訓練して、前記大規模な３Ｄシーンについての複数のＮｅＲＦおよび複数の不確実性ＭＬＰを生成するステップと、前記複数のＮｅＲＦにレンダリング損失とエントロピー損失とを適用するステップと、前記複数のＮｅＲＦに対して不確実性に基づく融合を実行して融合されたＮｅＲＦを定義し、前記複数のＮｅＲＦと前記複数の不確実性ＭＬＰとを共同で微調整するステップと、推論中に、前記大規模な３Ｄシーンの新規の視点合成に前記融合されたＮｅＲＦを適用するステップとを実行させる。

【0005】

大規模なシーンのための高忠実度の新規の視点合成と３Ｄ再構成とを実現するためのシステムが提示される。このシステムは、メモリと、前記メモリと通信する１つ以上のプロセッサとを含み、該プロセッサは、複数のビデオ画像キャプチャ装置から受信したビデオストリームから画像を取得し、大規模な３Ｄシーンを表す別々の画像クラスタに前記画像をグループ化し、前記画像クラスタの各々に対してニューラルラディアンスフィールド（ＮｅＲＦ）および不確実性多層パーセプトロン（ＭＬＰ）を訓練して、前記大規模な３Ｄシーンについての複数のＮｅＲＦおよび複数の不確実性ＭＬＰを生成し、前記複数のＮｅＲＦにレンダリング損失とエントロピー損失とを適用し、前記複数のＮｅＲＦに対して不確実性に基づく融合を実行して融合されたＮｅＲＦを定義し、前記複数のＮｅＲＦと前記複数の不確実性ＭＬＰとを共同で微調整し、推論中に、前記大規模な３Ｄシーンの新規の視点合成に前記融合されたＮｅＲＦを適用するように構成されている。

【0006】

これらおよび他の特徴および利点は、添付の図面と関連して読まれる、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0007】

本開示は、以下の図を参照して、好ましい実施形態の以下の説明において詳細を提供する。

【0008】

【図1】本発明の実施形態による、大規模な３Ｄシーン表現のためのＮｅＲＦの例示的な不確実性に基づく融合のブロック／フロー図である。

【0009】

【図2】本発明の実施形態による、例示的な大規模な３Ｄシーン表現のブロック／フロー図である。

【0010】

【図3】本発明の実施形態による、大規模なシーンのための高忠実度の新規の視点合成および３Ｄ再構成を実現するための実用的なアプリケーションのブロック／フロー図である。

【0011】

【図4】本発明の実施形態による、大規模なシーンのための高忠実度の新規の視点合成および３Ｄ再構成を達成するための例示的な処理システムを示す図である。

【0012】

【図5】本発明の実施形態による、大規模なシーンのための高忠実度の新規の視点合成および３Ｄ再構成を達成するための例示的な方法のブロック／フロー図である。

【発明を実施するための形態】

【0013】

３Ｄシーンの暗黙的なニューラル表現は、近年、新規の視点合成（自由な視点レンダリング）を大きく進化させている。特に、Ｎｅｕｒａｌ Ｒａｄｉａｎｃｅ Ｆｉｅｌｄ（ＮｅＲＦ）は強力な表現として際立っている。古典的な体積レンダリングに基づいて構築されたＮｅＲＦは、多層パーセプトロン（ＭＬＰ）を使用して３Ｄ体積内の体積密度と色とを回帰し、視点に依存する効果を持つ複雑なシーンのレンダリングで前例のないレベルの忠実度を達成する。

【0014】

印象的ではあるが、単一のＭＬＰとして表現されるＮｅＲＦには欠点もある。第１に、ＮｅＲＦは、単一のＭＬＰの容量が限られているため、固有のスケール解像度のトレードオフに苦しんでおり、それゆえ小規模なシーンに制限されている。第２に、シーン全体を単一のＭＬＰとして表現することは、外観の複雑さに応じてシーンのそれぞれの部分にそれぞれの能力を柔軟に割り当てたり、実用的な必要性に応じて空間全体の表現の粒度を変化させたりするのに適していない。例示的な実施形態は、複数のＮｅＲＦを融合するロバストな方法が利用可能であれば、これらの問題が軽減されることを示し、この目標に向けて暗黙的な不確実性フィールドを回帰することを提案する。

【0015】

スケーラビリティの問題は、ＮｅＲＦでは比較的あまり研究されてこなかった。存在するのは、体積（または空間）分解戦略である。これらの手法では、空間を一定の方法で分割し、各構成領域を別々のＮｅＲＦで表現することで、学習速度の高速化を実現している。この戦略は、点群から３Ｄ形状フィッティングをスケールアップするために適用されてきたが、画像のみから暗黙的な表現を学習する場合には、それほど便利ではない。すなわち、カメラ光線に沿ってレンダリングが行われるとすぐに、３Ｄ空間内の点に緊密に結合される。空間クラスタリングまたは分解の代わりに、例示的な実施形態は、代替的な観点、すなわち画像クラスタリングに基づく合成ＮｅＲＦからスケーラビリティ問題に取り組む。これは、画像クラスタリングによって局所性を確立する、古典的な大規模なマルチ視点ステレオシステムであるＣＭＶＳに奮起させられている。ここでは、画像がクラスタを形成し、それぞれが空間の一部に焦点を当て、それぞれの部分間で重なりが存在するように、画像が意図的に撮影されると仮定する。画像レベル分解には、個々のＮｅＲＦを別々に並行して訓練できるという利点がある。この分離により、各ＮｅＲＦが画像クラスタでカバーされる領域に完全に集中するため、より高い忠実度が得られることが観察される。

【0016】

このような画像クラスタリングに基づく合成ＮｅＲＦは、空間全体の表現容量や粒度を自在に変化させる便利な手段でもある。解像度の異なるレベルで対象となる画像クラスタごとに、別々のＮｅＲＦを訓練することもできる。

【0017】

品質と柔軟性において有利であるにもかかわらず、個別の訓練では、異なるＮｅＲＦの領域をまたいでも、あたかも１つのＮｅＲＦであるかのように自由な視点レンダリングを可能にするために、個々のＮｅＲＦをすべてマージする追加ステップが必要になる。この目的のために、例示的な実施形態は、ＭＬＰを使用して、不確実性フィールドを６Ｄ連続関数として回帰する。不確実性ネットワークは、空間位置、視線方向、距離を含む６Ｄ座標を入力とし、個々のＮｅＲＦの不確かさを出力する。こうして得られた不確かさの定量化は、ＮｅＲＦの融合に採用される。さらに、例示的な実施形態は、訓練画像にアクセスしなくても、ＮｅＲＦスティッチングのための効果的な戦略を導入している。また、この例示的な方法は、クラウドソーシングされたＮｅＲＦを融合し、補強するアプリケーションへの扉を開くものであることも言及しておく価値がある。

【0018】

少なくとも、画像クラスタリングに基づく合成ＮｅＲＦによって、ＮｅＲＦのスケーラビリティと粒度の柔軟性とを高めることに貢献する。例示的な実施形態は、ＭＬＰを使用して６Ｄの不確実性フィールドを回帰することによるＮｅＲＦ融合スキームを提示し、実世界の部屋レベルの屋内シーンにおける自由な視点レンダリングの最先端の品質を実証する。

【0019】

ＮｅＲＦは、体積密度ｏと指向性放射輝度ｃとを含む暗黙的なニューラル放射輝度フィールドとしてシーンを表現する。ＭＬＰによって実現される放射輝度フィールドは、体積レンダリングとそれに続く画像再構成損失とによって最適化される。具体的には、カメラ中心ｏから視線方向ｄに沿って撮影されたピクセルが与えられると、体積レンダリングカラーＣは次のようになる。

【数1】

【0020】

ここで、ｒ（ｔ）＝ｏ＋ｔｄであり、［ｔ_n，ｔ_f］および

【数2】

で囲まれた距離ｔを変化させながら光線に沿って点をトレースする。

【0021】

画像クラスタリングに基づく合成ＮｅＲＦに関して、例示的な実施形態は、画像が意図的に、各々がシーンの領域に焦点を当て、互いに重なり合う多数の画像クラスタを含むようにキャプチャされる問題設定を研究する。特に、以下の２つの構成について説明する。

【0022】

ローカル－ローカルＮｅＲＦは、個々のＮｅＲＦのすべてが対等な立場にある単純なシナリオである。各画像クラスタは、同じ所望の解像度でシーンの部分空間に均等に焦点を合わせる。

【0023】

グローバル－ローカルＮｅＲＦでは、シーン全体を同じ粒度レベルで再構成することは望まれず、好みが分かれる。例えば、屋内環境では、ＮｅＲＦが部屋全体の全体的な構造だけをとらえ、その一方で、関心のある領域のより詳細な部分を検査するためのズームイン機能を備えていることが望まれるかもしれない。例示的な実施形態では、グローバルなＮｅＲＦとローカルなＮｅＲＦとを別々に活用して、それぞれの粒度でシーンをキャプチャする。

【0024】

このフレームワークは、重要な観察によって動機付けられている。つまり、個々の画像クラスタによって十分にカバーされている画素では、対応する個々のＮｅＲＦは、すべての画像で訓練された単一のＮｅＲＦよりも忠実度が高い。これは、前者の密度が高いためである。しかし、カメラの視点が個々の異なるＮｅＲＦの領域をまたぐと、すぐにアーチファクトが現れる。これは、自由な視点レンダリングでは避けられないシナリオである。したがって、個々のＮｅＲＦをシームレスにつなぎ合わせて自由な視点レンダリングを行うにはどうすればよいかは、依然として重要な問題である。この例示的なフレームワークは、最近の空間クラスタリングに基づく合成ＮｅＲＦ、例えばＤｅｃｏｍｐｏｓｅｄ Ｒａｄｉａｎｃｅ Ｆｉｅｌｄｓ（ＤｅＲＦ）とも密接に関連している。

【0025】

ＮｅＲＦスティッチングの学習に関して、それぞれのＮｅＲＦをつなぎ合わせる最初のヒューリスティックな方法は、視認性に基づいたワンショット選択である。すなわち、レンダリングされている光線に沿った各点について、その点を表示する訓練画像の最大数を持つＮｅＲＦのみを照会することを選択できる。さらに、このようなパイプラインにおけるＮｅＲＦの選択は、視線方向および距離も考慮すべきであると主張する。直感的には、視認性のカウントは、レンダリングされる視点から遠い点を観察する画像を軽視するはずであり、逆もまた然りである。さらに、このアプローチはある程度は機能するが、主に原理的な学習と最適化の欠如が原因で、満足のいくものにはほど遠いことが観察される。

【0026】

暗黙的な不確実性フィールドに関して、例示的な方法は、暗黙的な不確実性フィールドを６Ｄ連続関数として回帰することにより、ＮｅＲＦスティッチングを学習することを提案している。ＭＬＰとして実装されたこの不確実性ネットワークは、点の空間位置（ｘ，ｙ，ｚ）、視線方向ｄ、距離ｔを入力とし、

【数3】

を出力する。各要素ｗ_iは、ＮｅＲＦ_iの予測信頼度に対応する。学習中、ポーズされた訓練画像からランダムにサンプリングされた画素（ｃ，ｄ）が与えられると、逆伝搬された光線に沿った点ｒ（ｔ）が、視線方向ｄとともに各ＮｅＲＦに渡され、体積密度と色とを照会する。さらに、その点に関連付けられた前述の６Ｄ座標は、不確実性ＭＬＰを照会するために適用される。

【0027】

その後、個々のＮｅＲＦは以下のようにつなぎ合わされ、体積レンダリングされる。

【数4】

【数5】

【0028】

ネットワークは画像再構成の損失によって訓練される。

【数6】

【0029】

なお、個々のＮｅＲＦは画像クラスタごとにあらかじめ並列に訓練され、不確実性ＭＬＰのみが最適化される。さらに、位置エンコーディングと直交位相とが適用される。

【0030】

画像なしの暗黙の不確実性フィールドに関しても、例示的な方法は、２つの理由から、個々のＮｅＲＦの訓練画像にアクセスしなくても、不確実性フィールドを学習する。第１に、このことは、後に詳述するように、画像を用いた先のフレームワークの根底にある行動を理解する上で光明となる。第２に、ＮｅＲＦの軽量さがシーン圧縮の目的に適していることから、ストレージが心配な場合は、訓練後に画像が保存されなくなる可能性がある。訓練画像のカメラポーズのみを使用する、シンプルで効果的な視点投票戦略を採用する。各訓練反復において、例示的な実施形態は、画像とその中の画素とをランダムに選択し、６Ｄ座標が関連付けられている不確実性ＭＬＰに、光線に沿った点を入力する。

【0031】

選択された画像が画像クラスタｋに属するとすると、ネットワーク出力は次のような損失で直接教師される。

【数7】

【0032】

ここで、ｗ_voteはｗ_k＝ｌのワンホットベクタである。要するに、各反復は、特定の方向と距離とから見た空間点に対して、画像クラスタから１票を投じる。訓練が進むにつれて、不確実性ネットワークは、それぞれの力のソース間の競争のバランスをとり、視点分布を最もよく説明する滑らかな関数を見つけなければならない。

【0033】

空間クラスタリングに基づくアプローチＤｅＲＦとの関係に関しては、提案された画像クラスタリングに基づく分解にはいくつかの利点があり、分散コンピューティングにも適していることが主張される。確かに、模範的な方法は逐次的な性質を持っているため、原理的には、すべての画像を使った共同訓練に比べて最適とは言えない。しかし、個々のＮｅＲＦの忠実度の高さがもたらす利点は、逐次的な手順や縫合の不完全さから生じる潜在的な欠陥を上回ることが経験的に観察されている。

【0034】

この食い違いにもかかわらず、ＤｅＲＦのような空間クラスタリングに基づく手法を排除することが目的ではないことを述べておく。むしろ、ＤｅＲＦの強みは、個々のＮｅＲＦの内部にも適用できるという点で、実際、例示的な方法と互換性がある。

【0035】

図１は、本発明の実施形態による、大規模な３Ｄシーン表現のためのＮｅＲＦの例示的な不確実性に基づく融合のブロック／フロー図である。

【0036】

図１は、大規模な３Ｄシーン表現のために提案されたＮｅＲＦの不確実性に基づく融合のパイプライン１００（または画像クラスタリングに基づく合成ＮｅＲＦスキーム１００）を示している。カメラ１１０は、シーン（例えばアパート）を完全にカバーする画像１２０のセットをキャプチャする。画像１２０はそれぞれのクラスタ１３０にグループ化され、それぞれがシーンの小さな部分に焦点を当てる。各画像クラスタ１３０について、例示的な方法は、標準的なＮｅＲＦフレームワークと同様に、並列に個々のＮｅＲＦを訓練する。次に、訓練された個々のＮｅＲＦが固定された状態で、不確実性１５０に基づいてＮｅＲＦを融合することにより、すべてのＮｅＲＦの不確実性ＭＬＰ１４０が一緒に訓練される。

【0037】

図２は、本発明の実施形態による、例示的な大規模な３Ｄシーン表現のブロック／フロー図である。

【0038】

単一のＮｅＲＦがモデル化できる範囲を超える大規模なシーン２００については、例示的な実施形態は、画像コレクションを４つのグループにクラスタリングし、例示的な実施形態は、不確実性を伴う各クラスタについて個別のＮｅＲＦを訓練する。例示的な３Ｄ点に対して、例示的な実施形態は、この点におけるそれぞれの不確実性に基づいてＮｅＲＦ１とＮｅＲＦ２とを融合し、融合された密度と色との予測を得る。例示的な実施形態では、個々のＮｅＲＦを個別に並列に訓練し、その後に不確実性予測ネットワークを訓練する。訓練中、例示的な実施形態は、視点１７０を合成し、レンダリング損失とエントロピー損失１６０とを適用して、不確実性ネットワークを最適化する。例示的な実施形態では、各サブＮｅＲＦを訓練した後、すべての不確実性ネットワークを共同で訓練する。推論中、訓練されたＮｅＲＦと不確実性とは、新規の視点１７０をレンダリングするために適用される。

【0039】

図１および図２に関して、例示的な実施形態は、前例のない大規模なシーンにおいて、高忠実度の新規の視点合成および３Ｄ再構成を達成するＮｅＲＦを開発することを目的としている。この目的のために、画像をより小さな個別のグループにクラスタリングし、各グループのＮｅＲＦを個別に学習する分割統治戦略、ＮｅＲＦの不確かさの定量化と、シーン全体で機能する合成ＮｅＲＦを得るための個々のＮｅＲＦの不確かさを考慮した融合、ＮｅＲＦのより正確な３Ｄ形状につながる新たなエントロピー損失などの新たな技術が提案されている。

【0040】

第１に、ＭＬＰの容量が限られているため、例示的な実施形態は、それぞれがシーンの比較的小さな部分に焦点を当てた複数のＭＬＰを訓練し、したがって、各ＭＬＰは、シーンの形状および放射輝度の高品質の符号化を達成することができる。この戦略の利点は、分散コンピューティングソースを使って複数のＭＬＰの並列訓練を容易に行える点にあり、それによって大規模なシーンを効率的に処理することができる。次に、例示的な実施形態では、大規模な新規の視点合成および３Ｄ再構成のために、すべての個々のＮｅＲＦを組み合わせて、シーン全体を全体的な方法で符号化する必要がある。このため、例示的な実施形態では、個々のＮｅＲＦを融合し、原理的な確率論的手法で重複領域のつなぎ合わせを処理する。

【0041】

特に、レンダリング損失関数のヤコビアンに基づいて、各３Ｄの点の各ＮｅＲＦについて密度予測の幾何学的不確実性を導出し、各密度予測の近似ガウス分布を求める。この分布は、ベイズの法則に従ってそれぞれのＮｅＲＦを融合するために活用される。幾何学的不確実性は計算コストが高いため、軽量なＭＬＰを訓練して不確実性を予測する。新規の視点合成のための推論では、３Ｄの点が見えるすべてのＮｅＲＦが照会され、不確実性に基づいて融合される。最後に、オリジナルのＮｅＲＦは、３Ｄ形状に対する正則化を行わずに、レンダリング損失のみを最適化するため、低品質の３Ｄ再構成を生成することが多い。この問題に対処するために、例示的な実施形態では、密度がゼロか非常に大きくなるように強制するエントロピー損失を導入し、空の空間と空でない空間とを明確に区別する。これにより、ＮｅＲＦの形状推定が大幅に改善されることが確認された。

【0042】

図３は、本発明の実施形態による、大規模なシーンのための高忠実度の新規の視点合成および３Ｄ再構成を実現するための実用的なアプリケーション３００のブロック／フロー図である。

【0043】

大規模な３Ｄシーン３１０を再構築する必要がある。ＮｅＲＦ１は、大規模な３Ｄシーン３１０の小セクションに適用され、画像視点３２０を抽出する。同様に、大規模な３Ｄシーン３１０の別の小セクションにＮｅＲＦ２を適用し、画像視点３３０を抽出する。ＮｅＲＦ３、ＮｅＲＦ４、ＮｅＲＦ５などは、大規模な３Ｄシーン３１０のすべての部分またはセクションまたは領域がカバーされるまで、大規模な３Ｄシーン３１０の他のセクションにも適用することができる。各ＮｅＲＦに対して不確実性ＭＬＰ３４０が訓練される。すべてのＮｅＲＦは不確実性に基づいて融合され、融合されたＮｅＲＦは新規の視点合成３５０に適用される。

【0044】

したがって、図１～３によれば、画像をより小さな個別のグループにクラスタリングし、各グループのＮｅＲＦを個別に学習する分割統治戦略が採用され、シーン全体で機能する合成ＮｅＲＦを得るために、ＮｅＲＦの不確かさの定量化と個々のＮｅＲＦの不確かさとを考慮した融合が採用され、ＮｅＲＦにおいてより正確な３Ｄ形状を導く新規のエントロピー損失が利用される。分割統治戦略により、容量の限られた各ＮｅＲＦはシーンのごく一部のみをエンコードすることができ、それによってシーン表現の高い忠実度が保たれる。その後、すべてのＮｅＲＦを融合させ、あたかも１つのＮｅＲＦから得られたものであるかのように新規の視点をレンダリングできるようにすることも重要である。この目的のための原則的な方法として、不確実性に基づく融合が利用される。例示的な方法は、ヤコビアンに基づく幾何学的不確実性を導出し、計算コストを大幅に削減するために、そのような値を回帰するために追加の不確実性ＭＬＰを適用する。最後に、例示的な方法は、新規のエントロピー損失を提案することによって、ＮｅＲＦの幾何学学習を改善する。

【0045】

結論として、ＮｅＲＦは新規の視点合成において前例のないレベルの忠実度を達成するが、単一のＭＬＰの限られた容量が解像度とスケールの間のトレードオフにつながるため、小規模なシーンに制限される。この問題を軽減するために、例示的な実施形態では、新規の画像クラスタリングに基づく合成ＮｅＲＦ方式で局所性を活用することを提案する。この方式では、画像をクラスタにグループ分けし、それぞれがシーンの部分集合に焦点を当て、クラスタごとに個別のＮｅＲＦを学習する。このような画像レベルのシーン分解は、一般的なボリューム分解戦略とは異なり、それ以上の利点があることが示されている。シーン全体をレンダリングするために、すべてのＮｅＲＦをマージするＮｅＲＦスティッチングフレームワークが導入される。具体的には、例示的な実施形態は、ＭＬＰを使用して、６Ｄ連続関数としての暗黙的の不確実性フィールドを回帰する。不確実性ネットワークは、３Ｄの点について、その空間的位置、視線方向、および距離を入力とし、個々のＮｅＲＦに対してその不確かさの定量化を出力する。これは、個々のＮｅＲＦから照会された体積密度と色とを融合するためにさらに利用される。ＮｅＲＦをスケールアップするだけでなく、例示的なフレームワークは、それぞれの粒度でのＮｅＲＦの柔軟な構成も可能にする。ＮｅＲＦスティッチングは、室内シーンにおいて最先端のレンダリング品質を実証している。

【0046】

図４は、本発明の実施形態による、大規模なシーンのための高忠実度の新規の視点合成および３Ｄ再構成を達成するための例示的な処理システムである。

【0047】

処理システムは、システムバス９０２を介して他の構成要素と動作可能に結合された少なくとも１つのプロセッサ（ＣＰＵ）９０４を含む。グラフィカルプロセッシングユニット（ＧＰＵ）９０５、キャッシュ９０６、リードオンリーメモリ（ＲＯＭ）９０８、ランダムアクセスメモリ（ＲＡＭ）９１０、入力／出力（Ｉ／Ｏ）アダプタ９２０、ネットワークアダプタ９３０、ユーザインタフェースアダプタ９４０、およびディスプレイアダプタ９５０は、システムバス９０２に動作可能に結合される。さらに、画像クラスタリングに基づく合成ＮｅＲＦ方式１００がバス９０２に電気的に接続されている。

【0048】

記憶装置９２２は、Ｉ／Ｏアダプタ９２０によってシステムバス９０２に動作可能に結合される。記憶装置９２２は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、ソリッドステート磁気装置などのいずれであっても良い。

【0049】

トランシーバ９３２は、ネットワークアダプタ９３０によってシステムバス９０２と動作可能に結合される。

【0050】

ユーザ入力装置９４２は、ユーザインタフェースアダプタ９４０によってシステムバス９０２と動作可能に結合される。ユーザ入力装置９４２は、キーボード、マウス、キーパッド、画像捕捉装置、動き感知装置、マイクロフォン、前述の装置のうちの少なくとも２つの機能を組み込んだ装置などのいずれかとすることができる。もちろん、本発明の精神を維持しながら、他のタイプの入力装置を使用することもできる。ユーザ入力装置９４２は、同じタイプのユーザ入力装置または異なるタイプのユーザ入力装置とすることができる。ユーザ入力装置９４２は、処理システムとの間で情報を入出力するために使用される。

【0051】

ディスプレイ装置９５２は、ディスプレイアダプタ９５０によってシステムバス９０２と動作可能に結合される。

【0052】

もちろん、処理システムは、当業者によって容易に企図されるように、他の要素（図示せず）を含むこともでき、また、特定の要素を省略することもできる。例えば、当業者によって容易に理解されるように、他の様々な入力装置および／または出力装置を、その特定の実装に応じて、システムに含めることができる。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、様々な構成の追加のプロセッサ、コントローラ、メモリなども、当業者には容易に理解されるように利用することができる。処理システムのこれらおよび他の変形は、本明細書で提供される本発明の教示を与えられれば、当業者によって容易に企図される。

【0053】

図５は、本発明の実施形態による、大規模なシーンのための高忠実度の新規の視点合成および３Ｄ再構成を達成するための例示的な方法のブロック／フロー図である。

【0054】

ブロック１００１では、複数のビデオ画像キャプチャ装置から受信したビデオストリームから画像を取得する。

【0055】

ブロック１００３では、画像を大規模な３Ｄシーンを表す別々の画像クラスタにグループ化する。

【0056】

ブロック１００５では、画像クラスタの各々についてニューラルラディアンスフィールド（ＮｅＲＦ）と不確実性多層パーセプトロン（ＭＬＰ）とを訓練して、大規模な３Ｄシーンについて複数のＮｅＲＦと複数の不確実性ＭＬＰとを生成する。

【0057】

ブロック１００７では、複数のＮｅＲＦにレンダリング損失とエントロピー損失とを適用する。

【0058】

ブロック１００９では、複数のＮｅＲＦに対して不確実性に基づく融合を実行して融合ＮｅＲＦを定義し、複数のＮｅＲＦと複数の不確実性ＭＬＰとを共同で微調整する。

【0059】

ブロック１０１１では、推論中に、大規模な３Ｄシーンの新規の視点合成のための融合ＮｅＲＦを適用する。

【0060】

その結果、例示的な実施形態に従って、シーン表現学習のためのシーン、例えばアパートや建物を選択するためにデータ取得が行われ、その後、シーンの画像がキャプチャされる。画像は、新規の視点合成を実行するために必要なシーンのすべての部分をカバーしている。その後、動きから構造を求めるアルゴリズムが実行され、各画像のカメラポーズが求められる。画像は視点によって別々のクラスタに分類され、レンダリング損失とエントロピー損失とを用いて、個々の画像クラスタに対するＮｅＲＦと不確実性ＭＬＰとが学習される。不確実性に基づくＮｅＲＦの融合が実行され、すべてのＮｅＲＦと不確実性ＭＬＰとが共同で微調整される。最後に、推論の間、融合されたＮｅＲＦは、大規模なシーンの新規の視点合成のために活用される。

【0061】

本明細書で使用される場合、「データ」、「コンテンツ」、「情報」、および同様の用語は、様々な例示的実施形態に従って捕捉、送信、受信、表示、および／または保存することができるデータを指すために互換的に使用することができる。したがって、このような用語の使用は、本開示の精神と範囲を制限するものと解釈すべきではない。さらに、演算装置が他の演算装置からデータを受信するように本明細書で説明される場合、データは、他の演算装置から直接受信することができ、または、例えば、１つまたは複数のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局、および／またはそのようなもののような、１つまたは複数の仲介演算装置を介して間接的に受信することができる。

【0062】

当業者には理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本発明の態様は、完全なハードウェアの実施形態、完全なソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をとることができ、これらはすべて、本明細書では一般に「回路」、「モジュール」、「計算機」、「装置」、または「システム」と呼ぶことができる。さらに、本発明の態様は、その上に具現化されたコンピュータ可読プログラムコードを有する１つまたは複数のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとることができる。

【0063】

１つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体は、例えば、電子式、磁気式、光学式、電磁式、赤外線式、半導体式のシステム、装置、デバイス、またはこれらの任意の適切な組み合わせであるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）としては、１本以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルＣＤ－ＲＯＭ、光データ記憶装置、磁気データ記憶装置、または前述の任意の適切な組み合わせが挙げられる。本明細書において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを含むことができる、または格納することができる任意の有形媒体である。

【0064】

コンピュータ可読信号媒体は、例えばベースバンドまたは搬送波の一部として、その中にコンピュータ可読プログラムコードが具現化された伝搬データ信号を含むことができる。このような伝搬信号は、電磁波、光学、またはそれらの適切な組み合わせを含むが、これらに限定されない様々な形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを通信、伝搬、または伝送することができる任意のコンピュータ可読媒体であっても良い。

【0065】

コンピュータ可読媒体に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、または前述の任意の適切な組み合わせを含むがこれらに限定されない、任意の適切な媒体を使用して伝送することができる。

【0066】

本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードは、完全にユーザのコンピュータ上で実行しても良いし、一部はユーザのコンピュータ上で実行しても良いし、スタンドアロンソフトウェアパッケージとして実行しても良いし、一部はユーザのコンピュータ上で実行し、一部はリモートコンピュータ上で実行しても良いし、完全にリモートコンピュータまたはサーバ上で実行しても良い。後者のシナリオでは、リモートコンピュータは、ＬＡＮやＷＡＮを含むあらゆるタイプのネットワークを介してユーザのコンピュータに接続されても良いし、（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部のコンピュータに接続されても良い。

【0067】

本発明の態様を、本発明の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して以下に説明する。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図ブロックまたはモジュールで指定された機能／動作を実施するための手段を作成するように、機械を製造することができる。

【0068】

これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶され、コンピュータ可読媒体に記憶された命令が、フローチャート及び／又はブロック図のブロック又はブロック又はモジュールで指定された機能／動作を実施する命令を含む製造品を製造するように、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置に特定の方法で機能するように指示することができるコンピュータ可読媒体に記憶され得る。

【0069】

また、コンピュータプログラム命令をコンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードして、コンピュータ、他のプログラマブル装置、または他の装置上で一連の動作ステップを実行させ、コンピュータまたは他のプログラマブル装置上で実行される命令が、フローチャートおよび／またはブロック図ブロックまたはブロックまたはモジュールで指定された機能／動作を実施するためのプロセスを提供するように、コンピュータ実装プロセスを生成することもできる。

【0070】

本明細書で使用される「プロセッサ」という用語は、例えば、ＣＰＵおよび／または他の処理回路を含むものなど、あらゆる処理装置を含むことが意図されていることを理解されたい。また、「プロセッサ」という用語は複数の処理装置を指す場合があり、処理装置に関連する様々な要素が他の処理装置によって共有される場合があることも理解されたい。

【0071】

本明細書で使用される「メモリ」という用語は、例えば、ＲＡＭ、ＲＯＭ、固定メモリ装置（例えば、ハードドライブ）、リムーバブルメモリ装置（例えば、ディスケット）、フラッシュメモリなどのプロセッサまたはＣＰＵに関連するメモリを含むことを意図している。このようなメモリは、コンピュータ読み取り可能な記憶媒体と考えられる。

【0072】

さらに、本明細書で使用される「入力／出力装置」または「Ｉ／Ｏ装置」という語句は、例えば、処理ユニットにデータを入力するための１つまたは複数の入力装置（例えば、キーボード、マウス、スキャナなど）、および／または処理ユニットに関連する結果を提示するための１つまたは複数の出力装置（例えば、スピーカ、ディスプレイ、プリンタなど）を含むことを意図している。

【0073】

上記は、あらゆる点で例示的かつ例示的であるが、制限的なものではないと理解され、ここに開示された発明の範囲は、詳細な説明からではなく、特許法によって許される全幅に従って解釈された請求項から決定されるものである。本明細書に示され説明された実施形態は、本発明の原理を例示するものに過ぎず、当業者は、本発明の範囲及び精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者であれば、本発明の範囲と精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、特許法が要求する詳細さと特殊性をもって本発明の側面を説明したが、特許状によって請求され、保護されることを望むものは、添付の特許請求の範囲に記載されている通りである。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】