特開 2024-121786 アバター制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024121786

(43)【公開日】2024-09-06

(54)【発明の名称】アバター制御

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240830BHJP

【ＦＩ】

G06T19/00 A

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024006941

(22)【出願日】2024-01-19

(31)【優先権主張番号】18/114975

(32)【優先日】2023-02-27

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(71)【出願人】

【識別番号】591236068

【氏名又は名称】カーネギー－メロン ユニバーシティ

【氏名又は名称原語表記】ＣＡＲＮＥＧＩＥ－ＭＥＬＬＯＮ ＵＮＩＶＥＲＳＩＴＹ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ユー・ヘン

(72)【発明者】

【氏名】ジュリン・ジョエル

(72)【発明者】

【氏名】ミラツキー・ゾルタン アダム

(72)【発明者】

【氏名】新沼 厚一郎

(72)【発明者】

【氏名】ジェニ・ラズロ

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050EA09

5B050EA27

(57)【要約】

【課題】２Ｄ表現の動的オブジェクトから生成された３Ｄオブジェクトに基づくアバターの表示及び制御を提供する。
【解決手段】一例で、方法は、変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させることを含む。方法はまた、第１光線、第１時間、及び潜在コードを第２ニューラルネットワークに入力することによって、第１光線に関連したハイパースペースコードを取得することを含む。方法は更に、変形光線から１つ以上のポイントをサンプリングすることを含む。方法はまた、サンプリングされたポイント及びハイパースペースコードをネットワーク入力にまとめることを含む。方法は更に、第２時間における動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るようネットワーク入力を第３ニューラルネットワークに入力することを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させることと、
前記第１光線、前記第１時間、及び前記潜在コードを第２ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペースコードを取得することと、
前記変形光線から１つ以上のポイントをサンプリングすることと、
前記サンプリングされたポイント及び前記ハイパースペースコードをネットワーク入力にまとめることと、
第２時間における前記動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るよう前記ネットワーク入力を第３ニューラルネットワークに入力することと
を有する方法。

【請求項2】

前記第１光線、前記第１時間、及び属性値を第１属性ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペース属性値を取得することと、
前記ハイパースペース属性値、前記変形光線、及び前記ハイパースペースコードを第２属性ニューラルネットワークに入力することによって前記属性値に関連したスカラーマスクを決定することと、
前記スカラーマスク及び前記ハイパースペース属性値を属性ベクトルにまとめることと、
前記属性ベクトルを前記サンプリングされたポイント及び前記ハイパースペースコードと結合して、前記第３ニューラルネットワークへ入力される前記ネットワーク入力にまとめることと
を更に有する、請求項１に記載の方法。

【請求項3】

前記ハイパースペースコードは、前記ハイパースペースコードが前記ハイパースペース属性値によって影響されないように前記スカラーマスクに対して調整される、
請求項２に記載の方法。

【請求項4】

前記動的オブジェクトに関連したビデオデータ及び訓練データを用いて教師ニューラルネットワークを訓練することと、
知識蒸留を用いて前記教師ニューラルネットワークから前記第３ニューラルネットワークを訓練することと、
前記ビデオデータを用いて前記第３ニューラルネットワークを調整することと
を更に有する、請求項１に記載の方法。

【請求項5】

前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、又は前記第３ニューラルネットワークのうちの１つ以上は、知識蒸留により訓練される、
請求項１に記載の方法。

【請求項6】

前記動的オブジェクトを表す前記３次元シーンの前記画像が表示されるように前記ＲＧＢ値を表示デバイスに表示することを更に有する、
請求項１に記載の方法。

【請求項7】

前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、フィードフォワード人工ニューラルネットワークである、
請求項１に記載の方法。

【請求項8】

前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、浅い多層パーセプトロンネットワークである、
請求項７に記載の方法。

【請求項9】

前記第３ニューラルネットワークは、深い残差色多層パーセプトロンリグレッサである、
請求項１に記載の方法。

【請求項10】

前記変形光線は、時間の関数としての正準光線空間への前記第１ニューラルネットワークによる前記第１光線のマッピングである、
請求項１に記載の方法。

【請求項11】

命令を記憶するよう構成される１つ以上のコンピュータ可読記憶媒体と、前記１つ以上のコンピュータ可読記憶媒体に通信可能に結合される１つ以上のプロセッサとを有するシステムであって、
前記１つ以上のプロセッサは、前記命令の実行に応答して、当該システムに、
変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させることと、
前記第１光線、前記第１時間、及び前記潜在コードを第２ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペースコードを取得することと、
前記変形光線から１つ以上のポイントをサンプリングすることと、
前記サンプリングされたポイント及び前記ハイパースペースコードをネットワーク入力にまとめることと、
第２時間における前記動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るよう前記ネットワーク入力を第３ニューラルネットワークに入力することと
を有する動作を実行させるよう構成される、
システム。

【請求項12】

前記動作は、
前記第１光線、前記第１時間、及び属性値を第１属性ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペース属性値を取得することと、
前記ハイパースペース属性値、前記変形光線、及び前記ハイパースペースコードを第２属性ニューラルネットワークに入力することによって前記属性値に関連したスカラーマスクを決定することと、
前記スカラーマスク及び前記ハイパースペース属性値を属性ベクトルにまとめることと、
前記属性ベクトルを前記サンプリングされたポイント及び前記ハイパースペースコードと結合して、前記第３ニューラルネットワークへ入力される前記ネットワーク入力にまとめることと
を更に有する、
請求項１１に記載のシステム。

【請求項13】

前記ハイパースペースコードは、前記ハイパースペースコードが前記ハイパースペース属性値によって影響されないように前記スカラーマスクに対して調整される、
請求項１２に記載のシステム。

【請求項14】

前記動作は、
前記動的オブジェクトに関連したビデオデータ及び訓練データを用いて教師ニューラルネットワークを訓練することと、
知識蒸留を用いて前記教師ニューラルネットワークから前記第３ニューラルネットワークを訓練することと、
前記ビデオデータを用いて前記第３ニューラルネットワークを調整することと
を更に有する、
請求項１１に記載のシステム。

【請求項15】

前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、又は前記第３ニューラルネットワークのうちの１つ以上は、知識蒸留により訓練される、
請求項１１に記載のシステム。

【請求項16】

前記動作は、前記動的オブジェクトを表す前記３次元シーンの前記画像が表示されるように前記ＲＧＢ値を表示デバイスに表示することを更に有する、
請求項１１に記載のシステム。

【請求項17】

前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、フィードフォワード人工ニューラルネットワークである、
請求項１１に記載のシステム。

【請求項18】

前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、浅い多層パーセプトロンネットワークである、
請求項１７に記載のシステム。

【請求項19】

前記第３ニューラルネットワークは、深い残差色多層パーセプトロンリグレッサである、
請求項１１に記載のシステム。

【請求項20】

変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させる手段と、
前記第１光線、前記第１時間、及び前記潜在コードを第２ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペースコードを取得する手段と、
前記変形光線から１つ以上のポイントをサンプリングする手段と、
前記サンプリングされたポイント及び前記ハイパースペースコードをネットワーク入力にまとめる手段と、
第２時間における前記動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るよう前記ネットワーク入力を第３ニューラルネットワークに入力する手段と
を有するシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示で議論される実施形態は、アバター制御に関係がある。

【背景技術】

【0002】

マシンビジョンは、機能及び精度において、２Ｄ観察を使用して３Ｄオブジェクトに関する決定を行うことに対するものを含め、進歩し続けている。様々なニューラルネットワークのいくつかの実施は計算が複雑である場合があり、その結果、３Ｄオブジェクトのレンダリングに時間が長くなったり、及び／又は３Ｄオブジェクトの表現が不十分であったりすることがある。例えば、いくつかのニューラルネットワークは、２Ｄオブジェクトを３Ｄ表現に変換するために２Ｄオブジェクトからピクセルごとに決定を行う場合がある。

【0003】

ここで請求される対象は、上述されたような環境でしか動作しない実施形態や、上述された如何なる欠点も解消する実施形態に制限されない。むしろ、この背景は、ここで記載されるいくつかの実施形態が実施される可能性がある技術分野の一例を説明するためにのみ設けられている。

【発明の概要】

【0004】

実施形態の側面に従って、方法は、変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させることを含んでよい。方法はまた、第１光線、第１時間、及び潜在コードを第２ニューラルネットワークに入力することによって、第１光線に関連したハイパースペースコードを取得することを含んでよい。方法は更に、変形光線から１つ以上のポイントをサンプリングすることを含んでよい。方法はまた、サンプリングされたポイント及びハイパースペースコードをネットワーク入力にまとめることを含んでよい。方法は更に、第２時間における動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るようネットワーク入力を第３ニューラルネットワークに入力することを含んでよい。

【0005】

実施形態の目的及び利点は、少なくとも、特許請求の範囲で特に指し示されている要素、特徴、及び組み合わせによって、実現され達成されるであろう。

【0006】

上記の概要及び下記の詳細な説明はいずれも、例として与えられている実例であり、請求されている発明を限定するものではない。

【0007】

例となる実施形態は、添付の図面の使用を通じて更なる特定及び詳細を用いて記載され説明であろう。

【図面の簡単な説明】

【0008】

【図1】アバター制御をサポートするよう構成される環境の例のブロック図である。

【図2】アバター制御をサポートするよう構成される環境の他の例のブロック図である。

【図3】アバター制御とともに使用され得るニューラルネットワークを訓練することをサポートするよう構成される環境の例のブロック図である。

【図4】アバター制御の方法の例のフローチャートである。

【図5】アバター制御に関連した制御可能な属性入力の方法の例のフローチャートである。

【図6】アバター制御のために使用され得るコンピューティングシステムの例を表す。

【発明を実施するための形態】

【0009】

マシンビジョン、及び／又はマシンビジョンを使用したオブジェクトの表現は、近年大幅に進歩している。例えば、３次元（３Ｄ）オブジェクト及び／又はシーン（明示的に別なふうに言及されない限り、「オブジェクト」と総称される。）は、マシンビジョンシステムがオブジェクトの２次元（２Ｄ）画像を観察し解釈することを通じてモデル化及び／又は表現され得る。いくつかの状況で、マシンビジョンシステムは、２Ｄでオブジェクトを観察して、その３Ｄ表現を生成するために、１つ以上の機械学習システムを実装する。２Ｄオブジェクトの多くの３Ｄ表現は静止オブジェクトに基づく可能性があり、そのため、３Ｄ表現も静止している。静止オブジェクトに対するマシンビジョンシステムの機能性及び／又は計算時間の向上のために改善が導入されてきたが、動的オブジェクト（例えば、動く可能性がある又は動作中であり得るオブジェクト）のマシンビジョン処理は静止オブジェクト（例えば、動いていないオブジェクト）と比べて付加的な計算複雑性を含む場合がある。

【0010】

いくつかの状況で、光場ネットワーク（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｎｅｔｗｏｒｋ，ＬＦＮ）が、２Ｄ観察から３Ｄオブジェクトを表現するためにマシンビジョンシステムで使用されることがある。例えば、ＬＦＮは、暗黙的なニューラル表現によりパラメータ化される３６０度の４次元光場での基礎となる３Ｄシーンのジオメトリ及び外観の両方の表現を含むことができる。更に、ＬＦＮは、好ましくは、剛体変形を含む可能性のある静止オブジェクト物体とともに使用され得る。例えば、時間とともに動的に変化する３Ｄオブジェクト、及び／又はオブジェクトに対して変化する画像キャプチャデバイスの関連する視点は、ＬＦＮによって表現され得ない及び／又は不正確に表現される可能性がある非剛体変形を導入する可能性がある。

【0011】

いくつかの従来アプローチでは、ＬＦＮを動的オブジェクトに適用し、３Ｄ表現で動的オブジェクトを表現することに関連した方法は、２Ｄ表現から複数のポイント（例えば、ピクセル）をサンプリングし、複数のポイントから個々の光線を決定し、多層パーセプトロンを用いて光線の少なくとも一部にわたって統合して３Ｄ表現のピクセル色を近似することを含んでいることがある。他の従来の方法は、ＬＦＮを使用し、統合ステップを直接的な光線－色回帰（ray-to-color regression）で置換することを含んでいる。一般に、そのような従来アプローチは、動的オブジェクトの表現を処理しようとしばしば四苦八苦し、動的オブジェクトが表現された事例では、システムの関連する処理時間は、静止オブジェクトの表現に関連した処理時間と比べて非常に長くなる。

【0012】

本開示の少なくとも１つの実施形態で、３Ｄオブジェクトの表現をその２Ｄ表現を用いて決定する方法は、３Ｄオブジェクトに関連した１つ以上の光線を取得し、それらの光線を変形させることを含んでよい。変形された光線からは１つ以上のポイントがサンプリングされ、ハイパースペースコードと結合されて入力ネットワークに入力されることで、３Ｄオブジェクトを表すＲＧＢ値が得られる。いくつかの実施形態で、ハイパースペースコードは多次元ベクトルであってもよい。いくつかの実施形態で、変形された光線からサンプリングされたポイント（例えば、光線の予変形からの、又はオブジェクトの２Ｄ表現からのサンプリングされたポイントとは対照的に）は、マシンビジョンシステムの積分及び／又は他の計算の数を減らし得る。そのような計算を減らすことによって、マシンビジョンシステムは、記載されるように、マシンビジョンシステムの従来の実施よりも最大で１桁速くなることを含め、３Ｄオブジェクトを含み得る３Ｄシーンの画像をレンダリングするためのＲＧＢ値の取得に関連した処理時間を改善し得る。代替的に、又は追加的に、本開示のマシンビジョンシステムは動的オブジェクト及び／又はトポロジの変化を捕捉するよう構成されてよく、これには、ポイントサンプルの数やサンプリングされたポイントに関連した積分の数の削減、及び／又はオブジェクトの表現に関連した処理時間の全体的な改善が付随し得る。

【0013】

これらの及び他の実施形態で、３Ｄオブジェクトを表す取得されたＲＧＢ値は、アバターの表示及び／又は制御で使用されてよい（なお、アバターは、ここで記載されるシステム及び／又は方法を使用する３Ｄオブジェクトのレンダリングであってよい。）。例えば、取得されたＲＧＢ値を使用して、３Ｄオブジェクトに関連したアバターは、表示デバイスに表示されても、及び／又はユーザ入力を介して異なるビュー、表情、動き、など（人の顔又は動作中のオブジェクトなどの３Ｄオブジェクトのタイプと相関されてもよい。）に操作されてもよく、アバターの表示及び制御は３Ｄオブジェクトに基づき得る。

【0014】

本開示において、ハイパースペース（hyperspace）は、少なくとも時間次元及び／又は放射輝度（radiance）次元を含み得る多数の次元場の表現を指し得る。例えば、３Ｄは、３Ｄ光線に関連した３Ｄポイント及び２つの軸角度光線方向を持つ５Ｄ表現に変換され得る。いくつかの実施形態で、ハイパースペース表現は、本開示で記載されるように、表現及び／又は捕捉される動的オブジェクトのトポロジカルな変化をサポートし得る。いくつかの実施形態で、ハイパースペースは、入力画像の（例えば、２Ｄでの）トポロジカルな変化を表すことができ、このとき、トポロジカルな変化は、入力画像の特徴／属性の変化を含んでもよく、及び／又はハイパースペースのトポロジカルな変化は、入力画像のより現実的なレンダリングを生成するために使用されてもよい。例えば、人の顔のハイパースペースのトポロジカルな変化は顔の特徴の変化（例えば、上がった眉、開いた口、すぼめた唇、など）を含んでもよく、それにより、ハイパースペースは、トポロジカルな変化の多数の繰り返しを含むことができ、これらは、その後に、トポロジカルな変化の顔の特徴に基づいて現実的な表情を持った合成の人の顔をレンダリングするために使用され得る。

【0015】

本開示の実施形態は、添付の図面を参照して説明される。

【0016】

図１は、本開示の少なくとも１つの実施形態に従って、アバター制御をサポートするよう構成される例示的な環境１００のブロック図である。環境１００は、第１ニューラルネットワーク１１０、第２ニューラルネットワーク１２０、及び第３ニューラルネットワーク１３０を含み得る。

【0017】

いくつかの実施形態で、第１ニューラルネットワーク１１０及び／又は第２ニューラルネットワーク１２０はフィードフォワード人工ニューラルネットワークであってよく、第１ニューラルネットワーク１１０及び／又は第２ニューラルネットワーク１２０に含まれるノードは非巡回的であってよい。例えば、第１ニューラルネットワーク１１０及び／又は第２ニューラルネットワーク１２０は、単層パーセプトロンネットワーク、多層パーセプトロンネットワーク、有向非巡回グラフネットワーク、及び／又は任意の他のフィードフォワード人工ニューラルネットワークを含み得る。

【0018】

いくつかの実施形態で、第１ニューラルネットワーク１１０及び／又は第２ニューラルネットワーク１２０は浅い（shallow）ニューラルネットワークであってもよい。本開示において、浅い（例えば、ニューラルネットワークに対する。）とは、ニューラルネットワークに含まれる層の数及び／又は層ごとのユニットの数を記述し得る。例えば、第１ニューラルネットワーク１１０及び／又は第２ニューラルネットワーク１２０などの浅いニューラルネットワークは、３つの層、４つの層、５つの層、７つの層、８つの層、１０個の層、など、及び／又は層ごとに１０個のユニット、層ごとに１６個のユニット、層ごとに３０個のユニット、層ごとに６４個のユニット、層ごとに１２８個のユニット、などを含んでもよい。例えば、第１ニューラルネットワーク１１０は、７つの層及び層ごとに１２８個のユニットを含んでよく、第２ニューラルネットワーク１２０は、６つの層及び層ごとに６４個のユニットを含んでもよい。一般に、浅いニューラルネットワークは、近似的に２から１０の層の間の任意の層数、及び近似的に４から１２８の間の層ごとの任意のユニット数を含み得る。

【0019】

いくつかの実施形態で、第３ニューラルネットワーク１３０はフィードフォワード人工ニューラルネットワークであってよく、このとき、第３ニューラルネットワーク１３０に含まれるノードは非巡回的であってよい。例えば、第３ニューラルネットワーク１３０は単層パーセプトロンネットワーク、多層パーセプトロンネットワーク、有向非巡回グラフネットワーク、及び／又は任意の他のフィードフォワード人工ニューラルネットワークを含んでもよい。

【0020】

いくつかの実施形態で、第３ニューラルネットワーク１３０は深い（deep）残差色（residual color）多層パーセプトロンリグレッサネットワークであってよい。本開示において、深い（例えば、ニューラルネットワークに対する。）とは、ニューラルネットワークに含まれる層の数及び／又は層ごとのユニットの数を記述し得る。例えば、第３ニューラルネットワーク１３０などの深いニューラルネットワークは、２０個の層、３０個の層、５５個の層、８４個の層、などを含んでもよく、及び／又は層ごとに１００個のユニット、層ごとに１６０個のユニット、層ごとに２５６個のユニット、などを含んでもよい。例えば、第３ニューラルネットワーク１３０は、８８個の層及び層ごとに２５６個のユニットを含んでよい。一般に、深いニューラルネットワークは、近似的に１０層よりも多い任意の層数、及び近似的に４から３００の間の層ごとの任意のユニット数を含み得る。

【0021】

いくつかの実施形態で、第１ニューラルネットワーク１１０及び／又は第２ニューラルネットワーク１２０は、ここで記載されるように、１つ以上の入力を取得するよう、及び／又は１つ以上の出力を生成するよう構成されてよい。例えば、第１ニューラルネットワーク１１０及び／又は第２ニューラルネットワーク１２０は、第１光線（原点及び方向を持っている。）、第１光線に関連した時間、及び／又は第１光線に関連した潜在コード（latent code）の入力を取得し得る。第１ニューラルネットワーク１１０は変形光線を出力してもよく、及び／又は第２ニューラルネットワーク１２０は第１光線に関連したハイパースペースコードを出力してもよい。代替的に、又は追加的に、第３ニューラルネットワーク１３０は、ここで記載されるように、１つ以上の入力を取得するよう、及び／又は１つ以上の出力を生成するよう構成されてよい。例えば、第３ニューラルネットワーク１３０は、変形光線からのサンプリングされたポイントとハイパースペースコードとの結合を取得してよく、第３ニューラルネットワーク１３０は、第１光線に関連した動的オブジェクトを表し得る３Ｄシーンの画像をレンダリングするために使用され得るＲＧＢ値を出力してもよい。

【0022】

いくつかの実施形態で動的オブジェクト１０２は、動いている状態で観察及び／又は記録され得る。動的オブジェクト１０２は、少なくともその一部が時間において変化し得る任意のオブジェクトを含んでよい。例えば、動的オブジェクト１０２は、ある期間にわたって表情（例えば、唇、目、眉毛、額の変化、など）を変える人の顔を含んでよい。動的オブジェクト１０２の他の例には、動いているシーンの少なくとも一部が含まれ得る。例えば、飲み物を注ぐこと（例えば、少なくとも注がれる液体は動いている状態にあり得る。）、バナナの皮をむくこと、運動をする人（例えば、挙手跳躍運動）、及び／又は他のアニメーション化されたオブジェクトが挙げられる。

【0023】

これらの及び他の実施形態で、動的オブジェクト１０２は、合成のシーン、現実のシーン、及び／又は現実の制御可能なシーンから取得され得る。合成のシーンは、アニメーション及び／又は動きを含むようコンピュータにより生成され得る動的オブジェクト１０２を含んでよい。現実のシーンは、動作中の３Ｄプリンタ、バナナの皮をむくこと、運動している人、などの、リアルタイムで捕捉される動作中のオブジェクトを含んでよい。現実の制御可能なシーンは、指示された方法又は日常的な方法で表情を変える人物などの、意図的に制御されたアニメーションを含んでよい。これらの及び他の実施形態で、動的オブジェクト１０２は、ビデオデータを捕捉するために使用される１つ以上のデバイスを介してデータとして捕捉されてもよい。例えば、動的オブジェクト１０２は、携帯電話のカメラ、デジタルカメラ、及び／又は他の画像／ビデオ捕捉デバイスを用いて取得され得る。これらの及び他の実施形態で、ビデオデータは、２Ｄ画像で捕捉されたシーンの連続的な変化を表す複数の連続的な２Ｄ画像を含み得る。

【0024】

いくつかの実施形態で、第１光線１０４などの１つ以上の光線は、様々な時点で動的オブジェクト１０２から取得されても、及び／又は動的オブジェクト１０２の様々な部分と関連付けられてもよい。いくつかの実施形態で、第１光線１０４（及び／又は動的オブジェクト１０２と関連付けられ得る他の光線）は原点及び方向を含み得る。原点は、動的オブジェクト１０２のピクセル又は他のポイントと関連付けられ得る。代替的に、又は追加的に、原点及び方向に加えて、第１光線１０４は、第１光線１０４が取得された可能性がある時点を含む第１時間を含んでもよい。

【0025】

いくつかの実施形態で、第１光線１０４に関連した潜在コードが動的オブジェクト１０２から取得されてもよい。潜在コードは、動的オブジェクト１０２に関して取得されたデータを用いて動的オブジェクト１０２の少なくとも一部を再現するために使用され得る。例えば、潜在コードは、動的オブジェクト１０２に関連したデータから動的オブジェクト１０２の一般化された部分を表現及び／又は再構成するために使用され得る。いくつかの実施形態で、潜在コードは、動的オブジェクト１０２のビデオ捕捉に関連したフレーム番号に関係があり得る。例えば、潜在コードは、動的オブジェクト１０２のビデオのフレーム番号であってよい。他の例では、潜在コードは、動的オブジェクト１０２のビデオの個々のフレームのタイムスタンプであってもよい。

【0026】

いくつかの実施形態で、第１ニューラルネットワーク１１０は、少なくとも第１光線１０４、潜在コード、及び第１時間（例えば、第１光線１０４に関連した時点）の入力を取得するよう構成されてよい。いくつかの実施形態で、第１光線１０４、潜在コード、及び第１時間は一緒に連結されてもよく、それらの結合が第１ニューラルネットワーク１１０に入力されてもよい。第１ニューラルネットワーク１１０は、正準（canonical）光線空間での第１光線１０４の表現であることができる変形光線１１２を出力するよう構成されてよい。いくつかの実施形態で、変形光線１１２は屈曲光線（bent ray）でなくてもよく、屈曲光線は、第１光線１０４から１つ以上のポイントをサンプリングし、サンプリングされたポイントに対して変形を取得することにより生じ得る。別の言い方をすれば、第１ニューラルネットワーク１１０は、入力として光線を受け入れてよく、そして、出力として光線を生成してよく（例えば、第１光線１０４の点ごとの変形とは異なり得る。）、出力光線（例えば、変形光線１１２）は、観測基準フレームにおける入力光線（例えば、第１光線１０４）の表現であってもよく、観測基準フレームは、正準光線空間と同じであっても又は類似していてもよい。第１ニューラルネットワーク１１０は、動的オブジェクト１０２に関連した動きと一致するように１つ以上の入力光線を変形させるよう構成されてよい。代替的に、又は追加的に、第１ニューラルネットワーク１１０は、変形光線が１つ以上の任意の視点からの動的オブジェクト１０２の表現を提供し得るように、１つ以上の入力光線を変形させるよう構成されてもよい。

【0027】

いくつかの実施形態で、１つ以上のサンプリングされたポイント１１４は変形光線１１２から取得されてよく、第３ニューラルネットワーク１３０への入力として使用され得る。いくつかの実施形態で、サンプリングされたポイント１１４は、変形光線１１２からランダムに取得されてもよく、このとき、サンプリングされたポイント１１４は、時間インターバルにわたって一様にランダムにサンプリングされてよい。いくつかの実施形態で、サンプリングされたポイント１１４の数は、第１ニューラルネットワーク１１０の機能に基づいて変化し得る。例えば、（ここで記載される）第１ニューラルネットワーク１１０の訓練の間、サンプリングされたポイント１１４の数は数千又は数万（例えば、１０，０００個のサンプリングされたポイント）であることができ、第１ニューラルネットワーク１１０の動作の間（例えば、第１ニューラルネットワーク１１０の訓練後）、サンプリングされたポイント１１４の数は、訓練中のサンプリングされたポイント１１４の数よりも桁違いに少なくてもよく、例えば、数十個のサンプリングされたポイント１１４（例えば、１６個のサンプリングされたポイント）であることができる。これらの及び他の実施形態で、第１ニューラルネットワーク１１０の訓練は、第１光線１０４で表現される動的オブジェクト１０２の動きに伴う変形光線１１２の精度を改善することに向けられてもよい。代替的に、又は追加的に、第１ニューラルネットワーク１１０の訓練は、動的オブジェクト１０２に関連した１つ以上の様々な及び／又は任意の視点に対する変形光線１１２による動的オブジェクト１０２の表現を改善することに向けられてもよい。

【0028】

いくつかの実施形態で、第１ニューラルネットワーク１１０と同様に、第２ニューラルネットワーク１２０は、少なくとも第１光線１０４、潜在コード、及び第１時間（例えば、第１光線１０４に関連した時点）を入力として取得するよう構成されてよい。いくつかの実施形態で、第１光線１０４、潜在コード、及び第１時間は一緒に連結されてもよく、それらの結合が第２ニューラルネットワーク１２０に入力され得る。第２ニューラルネットワーク１２０は、ハイパースペースでの第１光線１０４と関連付けられ得るハイパースペースコード１２２を出力するよう構成されてよい。いくつかの実施形態で、ハイパースペースコード１２２は、動的オブジェクト１０２の個々のポイント及び／又は第１光線１０４に関連した個々のポイントについて予測されなくてもよく、むしろハイパースペースコード１２２は、第１光線１０４の全体について計算され得る（及び／又は、その後に、動的オブジェクト１０２に関して取得された任意の他の光線について計算されてもよい）。別の言い方をすれば、第２ニューラルネットワーク１２０は、入力の少なくとも一部として光線を受け入れてよく、そして、出力としてハイパースペースコード１２２を生成してよく（例えば、第１光線１０４に関連した点ごとのハイパーコードとは異なり得る。）、出力されたハイパースペースコード（例えば、ハイパースペースコード１２２）は、入力光線の多次元表現であることができる。出力されたハイパースペースコードは、入力光線の原点の物理的位置に関連した少なくとも３つの次元、及び／又は時間、原点に関連した方向、入力光線に関連した放射輝度、などのような、入力光線に関連した付加的な次元特性を含み得る。いくつかの実施形態で、ハイパースペースコード１２２は多次元ベクトルであってもよい。いくつかの実施形態で、ハイパースペースコード１２２は、入力として第１光線１０４を受け取ることに応答して、第２ニューラルネットワーク１２０から取得されてもよい。例えば、ハイパースペースコード１２２は、式：

ｗ＝Ｈ_ψ（ｏ，ｄ，ｔ）

を用いて取得され得る。ここで、ｗはハイパースペースコード１２２であってよく、Ｈ_ψは第２ニューラルネットワーク１２０（例えば、多層パーセプトロンネットワーク）であってよく、ψは第２ニューラルネットワーク１２０に関連したモデルパラメータであってよく、ｏは第１光線１０４に関連した原点であってよく、ｄは第１光線１０４に関連した方向であってよく、ｔは、第１光線１０４が取得された時点などの第１光線１０４に関連した時間であってよい。

【0029】

いくつかの実施形態で、サンプリングされたポイント１１４は、ハイパースペースコード１２２と結合されてネットワーク入力１２４になり得る。いくつかの実施形態で、ネットワーク入力１２４は、サンプリングされたポイント１１４とハイパースペースコードとの連結であってよい。いくつかの実施形態で、第３ニューラルネットワーク１３０はネットワーク入力１２４を取得し得る。いくつかの実施形態で、第３ニューラルネットワーク１３０は、１つ以上のＲＧＢ値１３２を決定するよう構成されてよい。ＲＧＢ値１３２は、第１光線１０４が取得された第１時間とは異なる時間における動的オブジェクト１０２を表し得る３Ｄオブジェクトの１つ以上の画像をレンダリングするために使用されてよい。例えば、動的オブジェクト１０２が表情の変化を含む人の顔である場合に、第３ニューラルネットワーク１３０から出力されるＲＧＢ値１３２は、合成の人の顔及び／又は関連する合成表情が表示され得るように表示されてよく、これは動的オブジェクト１０２（人の顔及び／又は関連する表情）とは異なり得る。

【0030】

第１光線１０４（例えば、単一光線）に関して例示及び記載されてきたが、上記のプロセスは、動的オブジェクト１０２に関して取得された如何なる追加の光線についても繰り返されてよい。例えば、動的オブジェクト１０２から第１光線１０４を取得すること、第１ニューラルネットワーク１１０から変形光線１１２を、そして変形光線１１２からサンプリングされたポイント１１４を取得すること、第２ニューラルネットワーク１２０からハイパースペースコード１２２を取得すること、サンプリングされたポイント１１４とハイパースペースコード１２２とをネットワーク入力１２４にまとめること、ネットワーク入力１２４を第３ニューラルネットワーク１３０に入力すること、及びＲＧＢ値１３２を取得することは、動的オブジェクト１０２に関して取得された追加の光線に対して実行されてもよい。例えば、上記のプロセスは、動的オブジェクト１０２に関連した数百、数千、又は数百万の光線について実行されてもよい。

【0031】

いくつかの実施形態で、第３ニューラルネットワーク１３０は、動作の実行及び／又はＲＧＢ値１３２の生成の前に訓練されてよい。図３に表されるように、第３ニューラルネットワーク１３０の訓練は、教師ニューラルネットワーク３０５及び生徒ニューラルネットワーク３１０を含んでよい。いくつかの実施形態で、第３ニューラルネットワーク１３０は多数のフェーズを用いて訓練されてもよい。

【0032】

第１フェーズで、教師ニューラルネットワーク３０５は、訓練データ３１５及び／又はビデオデータ３２０から時間及び入力光線をランダムにサンプリングすることによって訓練され得る。代替的に、又は追加的に、教師ニューラルネットワーク３０５の訓練は、教師ニューラルネットワーク３０５と、関連する対象ビデオのビデオデータ３２０の対応するＲＧＢ色との間の平均平方誤差を最小化することを含んでもよい。いくつかの実施形態で、教師ニューラルネットワーク３０５は、動的ニューラル放射輝度場（neural radiance field）ネットワーク（ＮｅＲＦ）（例えば、Ｄ－ＮｅＲＦ又はＨｙｐｅｒＮｅＲＦ）であってもよい。いくつかの実施形態で、ビデオデータ３２０は、単眼であることができる（例えば、単一視点から捕捉された）対象ビデオから取得されてよい。いくつかの実施形態で、教師ニューラルネットワーク３０５は、教師ニューラルネットワーク３０５が入力光線に関連した多数のポイントにわたって数値積分を行い得るということで、低速ネットワークであってもよい。

【0033】

第２フェーズで、第１フェーズからの教師ニューラルネットワーク３０５は、生徒ニューラルネットワーク３１０を訓練するよう構成されてよく、生徒ニューラルネットワーク３１０は、環境１００に表されている第３ニューラルネットワーク１３０（例えば、動的光場ネットワーク（dynamic light field network）（ＤｙＬｉＮ））であってもよい。いくつかの実施形態で、教師ニューラルネットワーク３０５は知識蒸留（knowledge distillation）を介して生徒ニューラルネットワーク３１０を教育してもよい。知識蒸留は、大規模なニューラルネットワーク（例えば、教師ニューラルネットワーク３０５又は訓練された動的ＮｅＲＦ）からより小さいニューラルネットワーク（例えば、生徒ニューラルネットワーク３１０又はＤｙＬｉＮ）へ知識を伝える機械学習に関連したプロセスであることができる。いくつかの実施形態で、平均平方誤差は、生徒ニューラルネットワーク３１０と、１つ以上の光線にわたる教師ニューラルネットワーク３０５に関連した疑似グラウンドトゥルースＲＧＢ値との間で最小化され得、このとき、光線の数は数十、数百、数千、及び／又は数百万の光線であってよい。

【0034】

第３フェーズで、生徒ニューラルネットワーク３１０は、教師ニューラルネットワーク３０５から知識蒸留により得られたパラメータを用いて初期化されてよい。代替的に、又は追加的に、生徒ニューラルネットワーク３１０の初期化は、教師ニューラルネットワーク３０５を訓練するために使用された可能性があるビデオデータ３２０（例えば、第１フェーズからの関連する対象ビデオ）を用いて調整されてもよい。例えば、平均平方誤差は、生徒ニューラルネットワーク３１０とビデオデータ３２０との間で最小化され得る。第３フェーズは、図１の第３ニューラルネットワーク１３０及び／又は図２の第３ニューラルネットワーク２３０などの生徒ニューラルネットワーク３１０の精度及び／又は効率を高めるよう生徒ニューラルネットワーク３１０のファインチューニングを提供し得る。

【0035】

いくつかの例で、環境１００（例えば、動的光場ネットワーク又はＤｙＬｉＮ）に関連したアバター制御方法は、アバター制御に対する従来のアプローチに相当し得る様々なニューラル放射輝度場（ＮｅＲＦ）と比較して改善された結果をもたらす。例えば、以下の表で表されるように、様々なＮｅＲＦ実施とのＤｙＬｉＮの比較は、類似したピーク信号対雑音比（ＰＳＮＲ）が達成され得る一方で、ＤｙＬｉＮが構造的類似性指数（structural similarity index）（ＳＳＩＭ）及び／又はマルチスケール構造的類似性指数（ＭＳ－ＳＳＩＭ）、学習済み知覚画像パッチ類似性（learned perceptual image patch similarity）（ＬＰＩＰＳ）の改善、及び／又はほとんどの場合（例えば、決定されたＲＧＢ値を用いて画像をレンダリンスルするのにかかる時間の量）に実時間で１桁以上の改善を示し得る、ことを示している。更には、太字の値は、種々のアバターコトロール方法の中でもカテゴリ内で最良のものを表している。

【表1】

【表2】

【表3】

【0036】

注意すべき点として、上の表に表されているように、Ｐｌｅｎｏｘｅｌｓ及びＮＶは、ＤｙＬｉＮと比べて実時間が短いが、Ｐｌｅｎｏｘｅｌｓ及びＮＶの関連する品質はＤｙＬｉＮよりも著しく低い。

【0037】

本開示の範囲から外れずに、変更、追加、又は削除が環境１００に行われてもよい。例えば、いくつかの実施形態で、表示デバイスは、それにＲＧＢ値が表示され得るように含まれてもよい。そのようなものとして、動的オブジェクト１０２を表す３Ｄシーンの画像は、ＲＧＢ値により表示デバイス上に表示され得る。更には、いくつかの実施形態で、環境１００は、明示的に例示又は記載されていないことがある他のコンポーネントをいくつでも含んでよい。

【0038】

図２は、本開示の少なくとも１つの実施形態に従って、アバター制御をサポートするよう構成される例示的な環境２００のブロック図である。環境２００は、第１ニューラルネットワーク２１０、第２ニューラルネットワーク２２０、第３ニューラルネットワーク２３０、第１属性ニューラルネットワーク２４０、及び第２属性ニューラルネットワーク２５０を含み得る。

【0039】

いくつかの実施形態で、環境２００の１つ以上のコンポーネントは、図１の環境１００のコンポーネントと同じであっても又は類似していてもよい。例えば、第１ニューラルネットワーク２１０、第２ニューラルネットワーク２２０、及び第３ニューラルネットワーク２３０は、図１の第１ニューラルネットワーク１１０、第２ニューラルネットワーク１２０、及び第３ニューラルネットワーク１３０と夫々同じであっても又は類似していてもよい。

【0040】

代替的に、又は追加的に、環境２００のコンポーネントの入力及び／又は出力は、図１の環境１００のコンポーネントの入力及び／又は出力と同じであっても又は類似していてもよい。例えば、動的オブジェクト２０２、第１光線２０４、変形光線２１２、サンプリングされたポイント２１４、ハイパースペースコード２２２、及びＲＧＢ値２３２は、図１の動的オブジェクト１０２、第１光線１０４、変形光線１１２、サンプリングされたポイント１１４、ハイパースペースコード１２２、及びＲＧＢ値１３２と夫々同じであっても又は類似していてもよい。

【0041】

環境２００に含まれるコンポーネント、入力、及び／又は出力が環境１００に含まれるコンポーネント、入力、及び／又は出力とは異なる場合に、図２に関してここでは差違が更に詳述され得る。例えば、ハイパースペースコード２２２は、第２ニューラルネットワーク１２０から出力されるハイパースペースコード１２２と同様に、第２ニューラルネットワーク２２０から出力され得るが、ハイパースペースコード２２２は、ここで記載されるように、属性値２３８を考慮するなど、１つ以上の変更を含み得る。

【0042】

いくつかの実施形態で、第１属性ニューラルネットワーク２４０及び／又は第２属性ニューラルネットワーク２５０はフィードフォワード人工ニューラルネットワークであってよく、このとき、第１属性ニューラルネットワーク２４０及び／又は第２属性ニューラルネットワーク２５０に含まれるノードは非巡回的であってよい。例えば、第１属性ニューラルネットワーク２４０及び／又は第２属性ニューラルネットワーク２５０は、単層パーセプトロンネットワーク、多層パーセプトロンネットワーク、有向非巡回グラフネットワーク、及び／又は任意の他のフィードフォワード人工ニューラルネットワークを含んでよい。いくつかの実施形態で、第１属性ニューラルネットワーク２４０及び／又は第２属性ニューラルネットワーク２５０は、ここで記載されるように、浅いニューラルネットワークであってよい。

【0043】

いくつかの実施形態で、第１属性ニューラルネットワーク２４０及び／又は第２属性ニューラルネットワーク２５０は、第１ニューラルネットワーク２１０及び／又は第２ニューラルネットワーク２２０に類似した機能及び／又は動作を実行するよう構成されてよい。例えば、第１属性ニューラルネットワーク２４０及び／又は第２属性ニューラルネットワーク２５０は、ここで記載されるように、１つ以上の入力を取得するよう、及び／又は１つ以上の出力を生成するよう構成されてよい。例えば、第１属性ニューラルネットワーク２４０は、第１光線２０４、属性値２３８、及び第１時間を含む入力を取得してよく、第１属性ニューラルネットワーク２４０は、ハイパースペース属性値を出力してよい。ハイパースペース属性値は、属性値２３８に関して、ハイパースペースコード２２２と同じであっても又は類似していてもよい。すなわち、ハイパースペース属性値は、属性値２３８を考慮した入力光線の多次元表現であってよい。ハイパースペース属性値は、入力光線の原点の物理的位置に関連した少なくとも３つの次元、及び／又は時間、原点に関連した方向、入力光線に関連した放射輝度、などのような、入力光線に関連した付加的な次元特性を含み得る。他の例では、第２属性ニューラルネットワーク２５０は、ハイパースペース属性値、変形光線２１２、及びハイパースペースコード２２２を含む入力を取得してよく、そして、スカラーマスク２５２を出力してよい。スカラーマスク２５２は、属性値２３８の包含によって引き起こされる第１光線２０４への影響を局部にとどめるために使用され得る。例えば、１つよりも多い属性値２３８が環境２００に含まれる場合、スカラーマスク２５２（１つ以上の属性値２３８と個々に関連付けられる。）は、第２属性値が第１属性値に関連した第１ハイパースペース属性値に対して引き起こす可能性がある影響を低減及び／又は相殺するよう構成されてよい。そのようなものとして、スカラーマスク２５２は、属性値２３８及び／又はハイパースペース属性値に対する更なる属性値の影響を空間的に解きほぐすことができる。

【0044】

いくつかの実施形態で、第１属性ニューラルネットワーク２４０及び／又は第２属性ニューラルネットワーク２５０によって実行される動作及び／又は機能は、第１ニューラルネットワーク２１０及び／又は第２ニューラルネットワーク２２０によって実行される動作及び／又は機能と並行して実行されてもよい。代替的に、又は追加的に、第１属性ニューラルネットワーク２４０及び／又は第２属性ニューラルネットワーク２５０によって実行される動作及び／又は機能は、第１ニューラルネットワーク２１０及び／又は第２ニューラルネットワーク２２０によって実行される動作及び／又は機能に対して部分的に順次に又は完全に順次に実行されてもよい。例えば、第１属性ニューラルネットワーク２４０の動作は、第１ニューラルネットワーク２１０及び／又は第２ニューラルネットワーク２２０の動作と並行して実行されてよく、第２属性ニューラルネットワーク２５０の動作は、第１属性ニューラルネットワーク２４０の動作の後に実行されてよい（例えば、このとき、第２属性ニューラルネットワーク２５０への入力は第１属性ニューラルネットワーク２４０からの出力であってもよい。）。

【0045】

いくつかの実施形態で、第１属性ニューラルネットワーク２４０は、少なくとも属性値２３８、第１光線２０４、及び第１時間（例えば、第１光線２０４に関連した時点）の入力を取得するよう構成されてよい。いくつかの実施形態で、第１光線２０４、属性値２３８、及び第１時間は一緒に連結されてもよく、それらの結合が第１属性ニューラルネットワーク２４０に入力され得る。いくつかの実施形態で、第１属性ニューラルネットワーク２４０は、ハイパースペースコード２２２と第１光線２０４との間の関連付けと同様に、属性値２３８と関連付けられ得る第１ハイパースペース属性値を出力するよう構成されてよい。いくつかの実施形態で、ハイパースペース属性値は、動的オブジェクト２０２の個々のポイント及び／又は第１光線２０４に関連した個々のポイントについて予測されなくてもよく、むしろハイパースペース属性値は、第１光線２０４の全体及び属性値２３８について計算され得る（及び／又は、その後に、動的オブジェクト２０２に関して取得された任意の他の光線及び／又は属性値について計算されてもよい。）。一般に、第１属性ニューラルネットワーク２４０は、入力の少なくとも一部として光線及び属性値を受け入れてよく、そして、出力としてハイパースペース属性値を生成してよい（例えば、第１光線２０４に関連した点ごとのハイパースペースコードとは異なり得る。）。

【0046】

いくつかの実施形態で、属性値２３８は、ここで記載されるアバター制御方法に可制御性を提供し得るスカラー入力であってよい。いくつかの実施形態で、属性値２３８は、－１から１の間の値を含んでよく、アバター制御方法に様々な制御を提供するよう調整可能であることができる。属性値２３８（及び／又は更なる属性値）は、ＲＧＢ値２３２の１つ以上の側面及び／又はＲＧＢ値２３２に関連したアバターの側面を調整するよう構成されてよい。例えば、属性値２３８は、動的オブジェクト２０２に関連しアバターにおいて表示される変形の量、動的オブジェクト２０２の一部に関係がありアバターにおいて表示される個々の変形、アバターの色及び／又は色変化、第１光線２０４に関連した時間の長さ、及び／又はそれらの組み合わせ（例えば、更なる属性値を含めることによる。）に対する制御を提供し得る。

【0047】

いくつかの実施形態で、属性値２３８は、動的オブジェクト２０２に関連した局所属性と関連付けられ得る強度値であってもよい。環境２００に含まれる１つの属性として表されているが、環境２００に関して記載されるアバター制御方法は属性値をいくつでも含んでよい。環境２００がＮ個の属性値を含む場合に、環境２００は、対応する数の第１属性ニューラルネットワーク（例えば、Ｎ個の第１属性ニューラルネットワーク）及び第２属性ニューラルネットワーク（例えば、Ｎ個の第２属性ニューラルネットワーク）を含んでよく、Ｎ個の第１属性ニューラルネットワーク及び／又はＮ個の第２属性ニューラルネットワークはＮ個の属性値と個別的に関連付けられてよい。

【0048】

いくつかの実施形態で、第２属性ニューラルネットワーク２５０は、少なくともハイパースペース属性値（例えば、第１光線２０４からの出力）、変形光線２１２、及びハイパースペースコード２２２の入力を取得するよう構成されてよい。いくつかの実施形態で、第２属性ニューラルネットワーク２５０はスカラーマスク２５２を出力するよう構成されてよく、スカラーマスク２５２は属性値２３８と関連付けられ得る。

【0049】

いくつかの実施形態で、スカラーマスク２５２は、ハイパースペース属性値（例えば、第１属性ニューラルネットワーク２４０からの出力）と結合された属性ベクトル２５４となり得る。いくつかの実施形態で、スカラーマスク２５２は、ピクセル単位の乗算によりハイパースペース属性値と結合され得る。例えば、属性ベクトル２５４は、スカラーマスク２５２とハイパースペース属性値との間のドット積の結果であってよい。これらの及び他の実施形態で、スカラーマスク２５２及び／又は属性ベクトル２５４は、ここで記載されるように属性値２３８によって引き起こされる影響の解きほぐしに寄与し得る（例えば、ＲＧＢ値２３２に対する属性値２３８の影響を局部にとどめる）。代替的に、又は追加的に、ハイパースペースコード２２２は、以下で記載されるように、属性値２３８によって影響を及ぼされ得ない空間と見なされてもよい。

【0050】

いくつかの実施形態で、ハイパースペースコード２２２及び／又はハイパースペースコード２２２の計算は、属性値２３８の包含により、図１のハイパースペースコード１２２とは異なる場合がある。例えば、属性値２３８を考慮した調整がないと、ハイパースペースコード２２２は、ハイパースペース属性値及び／又は属性値２３８によって影響を及ぼされる場合がある。第２ニューラルネットワーク２２０からの出力（例えば、第２ニューラルネットワーク１２０の出力、又はハイパースペースコード１２２と同様）は、ハイパースペースコード２２２を取得するようスカラーマスク２５２の変形と結合されてもよい。例えば、第２ニューラルネットワーク２２０からの出力は、１からスカラーマスク２５２をマイナスしたもの（例えば、ｍがスカラーマスク２５２であるとして、１－ｍ）などの、スカラーマスク２５２に関連した量と結合されてよい。１つよりも多い属性値２３８が環境２００に含まれる場合に、ハイパースペースコード２２２は、第２ニューラルネットワーク２２０からの出力を、１からスカラーマスクの和をマイナスしたもの（例えば、ｍ_ｉが最大ｎ個の属性値までのスカラーマスクであるとして、１－Σ_ｉ ^ｎｍ_ｉ）などの、複数のスカラーマスクに関連した量と結合することによって、取得されてもよい。これらの及び他の実施形態で、第２ニューラルネットワーク２２０からの出力とスカラーマスク２５２との結合は、第２ニューラルネットワーク２２０からの出力とスカラーマスク２５２とのピクセル単位の乗算であってよく、その結果がハイパースペースコード２２２であることができる。

【0051】

いくつかの実施形態で、サンプリングされたポイント２１４、ハイパースペースコード２２２、及び属性ベクトル２５４はネットワーク入力２２４にまとめられてもよい。いくつかの実施形態で、ネットワーク入力２２４は、サンプリングされたポイント２１４、ハイパースペースコード２２２、及び属性ベクトル２５４の連結であってもよい。いくつかの実施形態で、第３ニューラルネットワーク２３０は、図１の第３ニューラルネットワーク１３０と同様に、ネットワーク入力２２４を取得し、及び／又は出力としてＲＧＢ値２３２を生成してよい。ＲＧＢ値２３２は、第１時間（例えば、第１光線２０４に関連した時点）とは異なる時間における動的オブジェクト２０２を表し得る３Ｄシーンの１つ以上の画像をレンダリングするために使用されてよい。例えば、動的オブジェクト２０２が表情の変化を含む人の顔である場合に、第３ニューラルネットワーク２３０から出力されるＲＧＢ値２３２は、合成の人の顔及び／又は関連する合成表情が表示され得るように表示されてよく、これは動的オブジェクト２０２（人の顔及び／又は関連する表情）とは異なり得る。

【0052】

第１光線２０４（例えば、単一光線）に関して例示及び記載されてきたが、上記のプロセスは、動的オブジェクト２０２に関して取得された如何なる追加の光線についても繰り返されてよい。例えば、動的オブジェクト２０２から第１光線２０４を取得すること、第１ニューラルネットワーク２１０から変形光線２１２を、そして変形光線２１２からサンプリングされたポイント２１４を取得すること、第２ニューラルネットワーク２２０からハイパースペースコード２２２を取得すること、属性値２３８を取得すること、第１属性ニューラルネットワーク２４０からハイパースペース属性値を取得すること、第２属性ニューラルネットワーク２５０からスカラーマスク２５２を決定すること、スカラーマスク２５２をハイパースペース属性値と結合して属性ベクトル２５４にまとめること、サンプリングされたポイント２１４、ハイパースペースコード２２２、及び属性ベクトル２５４をネットワーク入力２２４にまとめること、ネットワーク入力２２４を第３ニューラルネットワーク２３０に入力すること、及びＲＧＢ値２３２を取得することは、動的オブジェクト２０２に関して取得された追加の光線に対して実行されてもよい。例えば、上記のプロセスは、動的オブジェクト２０２に関連した数百、数千、又は数百万の光線について実行されてもよい。

【0053】

いくつかの実施形態で、第３ニューラルネットワーク２３０は、図１の第３ニューラルネットワーク１３０に関して記載された訓練と同様に訓練されてもよい。代替的に、又は追加的に、第３ニューラルネットワーク２３０の訓練は、ここで記載されるように、第３ニューラルネットワーク２３０が属性値２３８及び関連するコンポーネントにより制御可能な側面を含み得るということで、１つ以上の相違点を含む場合がある。

【0054】

図３を参照すると、第３ニューラルネットワーク２３０に関連した教師ニューラルネットワーク３０５は、光線からのサンプリングされたポイントを入力として使用することができ、更には、環境２００に含まれる属性値２３８と同様の制御可能な入力を含み得る制御可能なニューラル放射輝度場ネットワーク（ＣｏＮｅＲＦ）を含んでもよい。いくつかの実施形態で、訓練データ３１５は、光線色からのランダムなサンプル、属性値、及び／又は属性値と個別的に関連付けられたマスクを含んでもよい。教師ニューラルネットワーク３０５は、ビデオデータ３２０からの１つ以上の２Ｄマスク及び／又は１つ以上の光線色に関連した疑似グラウンドトゥルース値を生成するために訓練データ３１５を使用してもよい。

【0055】

いくつかの実施形態で、教師ニューラルネットワーク３０５は、図１の第３ニューラルネットワーク１３０に関連した訓練と同様に、知識蒸留により生徒ニューラルネットワーク３１０を訓練してもよい。例えば、知識蒸留は、光線、関連する時間、及び属性値のランダムサンプリングと、生徒ニューラルネットワーク３１０の光線色と教師ニューラルネットワーク３０５の光線色との間の平均平方誤差の最小化とを含み得る。代替的に、又は追加的に、知識蒸留は、生徒ニューラルネットワーク３１０の２Ｄマスクと教師ニューラルネットワーク３０５の２Ｄマスクとの間の平均平方誤差を最小化することを含んでもよい。これらの及び他の実施形態で、教師ニューラルネットワーク３０５及び／又は生徒ニューラルネットワーク３１０のうちの１つ以上は、制御可能なニューラルネットワークであってもよい。

【0056】

いくつかの実施形態で、環境２００（例えば、制御可能な動的光場ネットワーク、又はＣｏＤｙＬｉＮ）に関連したアバター制御方法は、アバター制御に対する従来のアプローチに相当し得る制御可能なニューラル放射輝度場（ＣｏＮｅＲＦ）と比較した場合に改善された結果をもたらす。例えば、以下の表に表されるように、ＣｏＮｅＲＦとのＣｏＤｙＬｉＮの比較は、類似したピーク信号対雑音比（ＰＳＮＲ）が達成され得る一方で、ＣｏＤｙＬｉＮが構造的類似性指数（structural similarity index）（ＳＳＩＭ）及び／又はマルチスケール構造的類似性指数（ＭＳ－ＳＳＩＭ）の改善、及び／又は実時間で１桁以上の改善（例えば、決定されたＲＧＢ値を用いて画像をレンダリンスルするのにかかる時間の量）を示し得る、ことを示している。更には、太字の値は、種々のアバターコトロール方法の中でもカテゴリ内で最良のものを表している。

【表4】

【表5】

【0057】

本開示の範囲から外れずに、変更、追加、又は削除が環境２００に行われてもよい。例えば、いくつかの実施形態で、１つ以上の更なる属性値が環境２００に含まれてもよい。更なる属性値が含まれる場合、対応する第１属性ニューラルネットワーク及び／又は対応する第２属性ニューラルネットワークが環境２００に含まれ得る。代替的に、又は追加的に、更なる属性値及び／又は対応する第１属性ニューラルネットワーク及び／又は対応する第２属性ニューラルネットワークは、ハイパースペース属性値、スカラーマスク２５２、及び属性ベクトル２５４と夫々同様に、ハイパースペース属性値、スカラーマスク、及び／又は属性ベクトルを出力するよう構成されてよい。代替的に、又は追加的に、更なる属性ベクトルが、属性ベクトル２５４、サンプリングされたポイント２１４、及びハイパースペースコード２２２と結合されて、第３ニューラルネットワーク２３０に入力されるネットワーク入力２２４にまとめられてもよい。更には、いくつかの実施形態で、環境２００は、明示的に例示又は記載されていないことがある他のコンポーネントをいくつでも含んでよい。

【0058】

図４は、本開示の少なくとも１つの実施形態に従って、アバター制御の例示的な方法４００のフローチャートである。方法４００の１つ以上の動作は、いくつかの実施形態では、デバイス若しくはシステム、又はデバイス若しくはシステムの組み合わせによって実行されてよい。これらの及び他の実施形態で、方法４００は、１つ以上の非一時的なコンピュータ可読媒体に記憶されている命令の実行に基づき実行されてよい。別個のブロックとして表されているが、所望の実施に応じて、様々なブロックは追加のブロックに分けられても、より少ないブロックにまとめられても、又は削除されてもよい。

【0059】

方法４００はブロック４０２から開始してよく、ブロック４０２で、動的オブジェクト（例えば、図１の動的オブジェクト１０２）に関連した第１光線（例えば、図１の第１光線１０４）は第１時間で変形され得る。いくつかの実施形態で、第１光線は、変形光線（例えば、図１の変形光線１１２）を取得するよう第１ニューラルネットワーク（例えば、図１の第１ニューラルネットワーク１１０）及び潜在コードを用いて変形されてよい。いくつかの実施形態で、変形光線は、時間の関数として正準光線空間への第１ニューラルネットワークによる第１光線のマッピングであってもよい。いくつかの実施形態で、第１光線は第１ニューラルネットワークによって変形されてもよく、第１ニューラルネットワークは、ここで記載されるように、多層パーセプトロンネットワークなどのフィードフォワード人工ニューラルネットワークであってもよい。

【0060】

ブロック４０４で、第１光線に関連したハイパースペースコード（例えば、図１のハイパースペースコード１２２）は、第１光線、第１時間、及び潜在コードを第２ニューラルネットワーク（例えば、図１の第２ニューラルネットワーク１２０）に入力することによって取得され得る。いくつかの実施形態で、ハイパースペースコードは第２ニューラルネットワークによって取得されてよく、第２ニューラルネットワークは、ここで記載されるように、多層パーセプトロンネットワークなどのフィードフォワード人工ニューラルネットワークであってもよい。代替的に、又は追加的に、第１ニューラルネットワーク及び／又は第２ニューラルネットワークは浅い多層パーセプトロンネットワークであってもよい。

【0061】

ブロック４０６で、１つ以上のポイントが変形光線からサンプリングされてよい。いくつかの実施形態で、サンプリングされたポイント（例えば、図１のサンプリングされたポイント１１４）は、変形光線からランダムに及び／又は一様にサンプリングされてよい。いくつかの実施形態で、サンプリングされたポイントは、ここで記載されるように、第１ニューラルネットワーク、第２ニューラルネットワーク、又は第３ニューラルネットワークによって取得されてよい。代替的に、又は追加的に、サンプリングされたポイントは、光線からランダムに及び／又は一様にポイントをサンプリングし得る任意のコンピューティングデバイスによって取得されてもよい。

【0062】

ブロック４０８で、サンプリングされたポイント及びハイパースペースコードはネットワーク入力（例えば、図１のネットワーク入力１２４）にまとめられてよい。いくつかの実施形態で、ネットワーク入力は、ここで記載されるように、第１ニューラルネットワーク、第２ニューラルネットワーク、又は第３ニューラルネットワークによって取得されてよい。代替的に、又は追加的に、ネットワーク入力は、連結などによって、サンプリングされたポイントとハイパースペースコードとを結合し得る任意のコンピューティングデバイスによって取得されてもよい。

【0063】

ブロック４１０で、ネットワーク入力は、３次元シーンの画像をレンダリングするためのＲＧＢ値（例えば、図１のＲＧＢ値１３２）を取得するよう第３ニューラルネットワーク（例えば、図１の第３ニューラルネットワーク１３０）に入力されてよい。３Ｄシーンの画像は、第２時間における動的オブジェクトを表し得る。いくつかの実施形態で、第３ニューラルネットワークは深い残差色多層パーセプトロンリグレッサであってよい。いくつかの実施形態で、ＲＧＢ値は表示デバイスで表示されてよい。いくつかの実施形態で、ＲＧＢ値の表示は、動的オブジェクトを表し得る３次元シーンの画像を含んでもよい。いくつかの実施形態で、ＲＧＢ値は第３ニューラルネットワークから取得されてよく、第３ニューラルネットワークは、ここで記載されるように、深い残差色多層パーセプトロンリグレッサネットワークなどのフィードフォワード人工ニューラルネットワークであってよい。

【0064】

いくつかの実施形態で、３Ｄオブジェクトを表す取得されたＲＧＢ値は、アバターの表示及び／又は制御で使用されてよい（なお、アバターは、ここで記載されるシステム及び／又は方法を使用する３Ｄオブジェクトのレンダリングであってよい。）。例えば、取得されたＲＧＢ値を用いて、３Ｄオブジェクトに関連したアバターは、表示デバイスで表示されても、及び／又はユーザ入力により異なるビュー、表情、動き、などに操作されてもよく、このとき、アバターの表示及び制御は３Ｄオブジェクトに基づき得る。

【0065】

いくつかの実施形態で、方法４００のニューラルネットワークの１つ以上は、第１ニューラルネットワーク、第２ニューラルネットワーク、及び／又は第３ニューラルネットワークなどの教師ニューラルネットワークからの知識蒸留により訓練されてもよい。いくつかの実施形態で、教師ニューラルネットワークは、動的オブジェクトに関連したビデオデータ及び／又は訓練データを用いて訓練されてもよい。いくつかの実施形態で、教師ニューラルネットワークから生徒ニューラルネットワーク（例えば、第３ニューラルネットワーク）への知識蒸留の後、生徒ニューラルネットワークは、動的オブジェクトに関連したビデオデータを用いて調整されてもよい。

【0066】

本開示の範囲から外れずに、方法４００に対して変更、追加、又は省略が行われてもよい。例えば、いくつかの実施形態で、方法４００は、明示的に例示又は記載されていないことがある他のコンポーネントをいくつでも含んでよい。

【0067】

図５は、本開示の少なくとも１つの実施形態に従って、アバター制御に関連した制御可能な属性入力の例示的な方法５００のフローチャートである。方法５００の１つ以上の動作は、いくつかの実施形態では、デバイス若しくはシステム、又はデバイス若しくはシステムの組み合わせによって実行されてよい。これらの及び他の実施形態で、方法５００は、１つ以上の非一時的なコンピュータ可読媒体に記憶されている命令の実行に基づいて実行されてもよい。別個のブロックとして表されているが、所望の実施に応じて、様々なブロックは追加のブロックに分割されても、より少ないブロックにまとめられても、又は削除されてもよい。

【0068】

方法５００は、図４の方法４００などの他の方法の部分であっても、又はそれに対する追加であってもよい。例えば、方法５００は１つ以上の動作、入力、方法、などを導入してもよく、これらのいずれかはアバター制御の他の方法の部分として含まれてもよい。例えば、方法４００は、動的光場ネットワークを使用するアバター制御の方法について記載することができ、方法５００のブロックは、動的光場ネットワークに制御要素を導入してもよい。

【0069】

方法５００はブロック５０２から開始してよく、ブロック５０２で、第１光線に関連したハイパースペース属性値が取得され得る。ハイパースペース属性値は、第１光線、第１時間、及び属性値（例えば、図２の属性値２３８）を第１属性ニューラルネットワーク（例えば、図２の第１属性ニューラルネットワーク２４０）に入力することによって取得され得る。

【0070】

ブロック５０４で、属性値に関連したスカラーマスク（例えば、図２のスカラーマスク２５２）は決定され得る。スカラーマスクは、ハイパースペース属性値、変形光線、及びハイパースペースコードを第２属性ニューラルネットワーク（例えば、図２の第２属性ニューラルネットワーク２５０）に入力することによって決定され得る。１つよりも多い属性値が方法５００に含まれる場合、第２属性ニューラルネットワークは、スカラーマスクを決定し、スカラーマスクをハイパースペース属性値に適用し、属性ベクトルを取得することによって、各々のハイパースペース属性値を互いに解きほぐすよう構成されてよい。例えば、スカラーマスクは、属性値の包含によって引き起こされる第１光線に対する影響を局部にとどめるために使用されてよい。例えば、１つよりも多い属性値が存在する場合、スカラーマスク（１つ以上の属性値と個別的に関連付けられる。）は、第１属性値に関連した第１ハイパースペース属性値に対して第２属性値が引き起こす可能性がある影響を低減及び／又は相殺するよう構成されてもよい。そのようなものとして、スカラーマスクは、属性値及び／又はハイパースペース属性値に対する更なる属性値の影響を空間的に解きほぐし得る。

【0071】

ブロック５０６で、スカラーマスク及びハイパースペース属性値は属性ベクトル（例えば、図２の属性ベクトル２５４）にまとめられてよい。いくつかの実施形態で、スカラーマスクとハイパースペース属性値との結合はピクセル単位の乗算であってもよい。

【0072】

ブロック５０８で、属性ベクトルは、サンプリングされたポイント及びハイパースペースコードと結合されて、第３ニューラルネットワークに入力されるネットワーク入力にまとめられてもよい。いくつかの実施形態で、ハイパースペースコードは、ハイパースペースコードがハイパースペース属性値によって影響を及ぼされ得ないように、スカラーマスクに対して調整されてもよい。例えば、ハイパースペースコードは、属性値によって引き起こされ、及び／又は存在する場合がある更なる属性値によって引き起こされる可能性がある如何なる影響も取り除くために、スカラーマスクを使用してよい。

【0073】

本開示の範囲から外れずに、方法５００に対して変更、追加、又は削除が行われてもよい。例えば、いくつかの実施形態で、方法５００は、ブロック５０２、５０４、５０６、及び／又は５０８が、方法５００に含まれ得る更なる属性値ごとに繰り返され得るように、複数の属性値を含んでもよい。代替的に、又は追加的に、方法５００は、明示的に例示又は記載されていないことがある他のコンポーネントをいくつでも含んでよい。

【0074】

図６は、本開示の少なくとも１つの実施形態に従って、アバター制御のために使用され得る例示的なコンピューティングシステム６００を表す。コンピューティングシステム６００は、第１ニューラルネットワーク１１０／２１０、第２ニューラルネットワーク１２０／２２０、第３ニューラルネットワーク１３０／２３０、第１属性ニューラルネットワーク２４０、及び／又は第２属性ニューラルネットワーク２５０などの、図１の環境１００及び／又は図２の環境２００に含まれる１つ以上のコンポーネントの動作、図４の方法４００の実行、及び／又は図５の方法５００の実行を含み得る、アバター制御に関連した１つ以上の動作を実装又は指示するよう構成されてよい。コンピューティングシステム６００は、プロセッサ６０２、メモリ６０４、データストレージ６０６、及び通信ユニット６０８を含んでよく、これらは全て通信可能に結合され得る。いくつかの実施形態で、コンピューティングシステム６００は、本開示で記載されるシステム又はデバイスのいずれかの部分であってよい。

【0075】

プロセッサ６０２は、様々なコンピュータハードウェア又はソフトウェアモジュールを含む任意のコンピューティングエンティティ、又はプロセッシングデバイスを含んでよく、任意の適用可能なコンピュータ可読記憶媒体に記憶されている命令を実行するよう構成されてよい。例えば、プロセッサ６０２は、マイクロプロセッサ、マイクロコントローラ、パラレルプロセッサ、例えば、グラフィクス処理ユニット（ＧＰＵ）又はテンソル処理ユニット（ＴＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは、プログラム命令を解釈及び／又は実行するよう及び／又はデータを処理するよう構成された任意の他のデジタル又はアナログ回路を含んでよい。

【0076】

図６では単一のプロセッサとして表されているが、プロセッサ６０２は、ここで記載される任意の数の動作を個別的又は集合的に実行するよう構成される任意の数のネットワーク又は物理的位置にわたって分散した任意の数のプロセッサを含んでもよいことが理解される。

【0077】

いくつかの実施形態で、プロセッサ６０２は、メモリ６０４、データストレージ６０６、又はメモリ６０４とデータストレージ６０６に記憶されているプログラム命令を解釈及び／又は実行するよう及び／又は記憶されているデータを処理するよう構成されてよい。いくつかの実施形態で、プロセッサ６０２は、データストレージ６０６からプログラム命令をフェッチし、プログラム命令をメモリ６０４にロードしてもよい。プログラム命令がメモリ６０４にロードされた後、プロセッサ６０２はプログラム命令を実行してよい。

【0078】

例えば、いくつかの実施形態で、プロセッサ６０２は、メモリ６０４、データストレージ６０６、又はメモリ６０４とデータストレージ６０６に記憶されているプログラム命令を解釈及び／又は実行するよう及び／又は記憶されているデータを処理するよう構成されてよい。プログラム命令及び／又はデータは、コンピューティングシステム６００がアバター制御に関連した動作の実行を命令によって指示されるように実行又は指示し得るようにアバター制御に関係があることができる。これらの及び他の実施形態で、命令は、図４の方法４００及び／又は図５の方法５００を実行するために使用されてもよい。

【0079】

メモリ６０４及びデータストレージ６０６は、コンピュータ実行可能命令又はデータ構造を搬送又は記憶しているコンピュータ可読記憶媒体又は１つ以上のコンピュータ可読記憶媒体を含んでもよい。そのようなコンピュータ可読媒体は、プロセッサ６０２などのコンピュータがアクセスできる如何なる利用可能な媒体であってもよい。

【0080】

一例として、限定としてではなく、そのようなコンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）、又はコンピュータ実行可能命令若しくはデータ構造の形で特定のプログラムコードを搬送又は記憶するために使用されてよくかつコンピュータがアクセスできる任意の他の記憶媒体を含む非一時的なコンピュータ可読記憶媒体を含んでもよい。上記のものの組み合わせもコンピュータ可読記憶媒体の範囲内に含まれてよい。

【0081】

コンピュータ実行可能命令は、例えば、プロセッサ６０２に、本開示で記載されている特定の動作又は動作のグループを実行させるよう構成される命令及びデータを含んでよい。これらの及び他の実施形態で、本開示で説明される「非一時的」（non-transitory）という用語は、In re Nuijten, 500 F.3d 1346 (Fed. Cir. 2007)のFederal Circuit判決で特許可能な対象の範囲外にあると判断されたような一時的な媒体のみを除くと見なされるべきである。上記のものの組み合わせも、コンピュータ可読媒体の範囲に含まれてもよい。

【0082】

通信ユニット６０８は、ネットワーク上で情報を送信又は受信するよう構成される任意のコンポーネント、デバイス、システム、又はそれらの組み合わせを含んでよい。いくつかの実施形態において、通信ユニット６０８は、他の場所若しくは同じ場所にある他のデバイス、又は同じシステム内の他のコンポーネントと通信し得る。例えば、通信ユニット６０８は、モデム、ネットワークカード（無線又は有線）、赤外線通信デバイス、無線通信デバイス（例えば、４Ｇ（ＬＴＥ）、４．５Ｇ（ＬＴＥ－Ａ）、及び／又は５Ｇ（ｍｍＷａｖｅ）電気通信を実装するアンテナ、など）、及び／又はチップセット（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス（例えば、Ｂｌｕｅｔｏｏｔｈ ５（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ））、８０２．６デバイス（例えば、メトロポリタンエリアネットワーク（ＭＡＮ））、ＷｉＦｉデバイス（例えば、ＩＥＥＥ８０２．１１ａｘ、ＷｉＭＡＸデバイス、セルラー通信設備、など）、及び／又は同様のものを含んでもよい。通信ユニット６０８は、本開示で記載されるネットワーク及び／又は任意の他のデバイス若しくはシステムとデータが交換されることを可能にし得る。

【0083】

本開示の範囲から外れずに、コンピューティングシステム６００に対して変更、追加、又は削除が行われてもよい。例えば、いくつかの実施形態において、コンピューティングシステム６００は、明示的に図示又は記載されていない場合がある他のコンポーネントをいくつでも含んでもよい。更に、特定の実施に応じて、コンピューティングシステム６００は、図示及び記載されているコンポーネントの１つ以上を含まなくてもよい。

【0084】

上述されたように、本明細書で記載される実施形態は、様々なコンピュータハードウェア又はソフトウェアモジュールを含むコンピューティングシステム（例えば、図６のプロセッサ６０２）の使用を含んでよい。更に、上述されたように、本明細書で記載される実施形態は、コンピュータ実行可能命令又はデータ構造を搬送又は記憶しているコンピュータ可読媒体（例えば、図６のメモリ６０４）を用いて実施されてもよい。

【0085】

いくつかの実施形態で、本明細書で記載されている種々のコンポーネント、モジュール、エンジン、及びサービスは、コンピューティングシステムで（例えば、別個のスレッドとして）実行されるオブジェクト又はプロセスとして実装されてもよい。本明細書で記載されているシステム及びプロセスのいくつかは、一般に、（汎用ハードウェアによって記憶及び／又は実行される）ソフトウェアで実装されるものとして記載されているが、特定のハードウェア実装又はソフトウェアと特定のハードウェア実装との組み合わせも可能であり、企図される。

【0086】

本開示で、特に添付の特許請求の範囲（例えば、添付の特許請求の本文）で使用される用語は、一般的に、“非限定的な（open）”用語として意図されている（例えば、語「含んでいる（including）」は、“～を含んでいるが、～に限定されない”との意に解釈されるべきであり、「持っている（having）」は、“少なくとも持っている”との意に解釈されるべきであり、「含む（includes）」は、”～を含むが、～に限定されない”との意に解釈されるべきである、など）。

【0087】

更に、導入されたクレーム記載（introduced claim recitation）において特定の数が意図される場合、そのような意図は当該クレーム中に明確に記載され、そのような記載がない場合は、そのような意図も存在しない。例えば、理解を促すために、後続の添付された特許請求の範囲では、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」といった導入句を使用し、クレーム記載を導入することがある。しかし、このような句を使用するからといって、「a」又は「an」といった不定冠詞によりクレーム記載を導入した場合に、たとえ同一のクレーム内に、「１つ以上の」又は「少なくとも１つの」といった導入句と「a」又は「an」といった不定冠詞との両方が含まれるとしても、当該導入されたクレーム記載を含む特定のクレームが、当該記載事項を１しか含まない例に限定されるということが示唆されると解釈されるべきではない（例えば、「a」及び／又は「an」は、「少なくとも１つの」又は「１つ以上の」を意味すると解釈されるべきである。）。定冠詞を使用してクレーム記載を導入する場合にも同様のことが当てはまる。

【0088】

更には、導入されたクレーム記載において特定の数が明示されている場合であっても、そのような記載は、通常、少なくとも記載された数を意味するように解釈されるべきであることは、当業者には理解されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、この記載は、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する。）。更に、「Ａ、Ｂ及びＣなどのうち少なくとも１つ」又は「Ａ、Ｂ及びＣなどのうちの１つ以上」に類する表記が使用される場合、一般的に、そのような構造は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、及び／又はＡとＢとＣの全て、などを含むよう意図される。更に、「及び／又は」という用語の使用はこのように解釈されるよう意図される。

【0089】

更に、２つ以上の選択可能な用語を表す如何なる離接語及び／又は離接句も、明細書、特許請求の範囲、又は図面のいずれであろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、あるいは、それらの用語の両方を含む可能性を意図すると理解されるべきである。例えば、「及び／又は」という用語が別な場所に使用されるとしても、「Ａ又はＢ」という句は、「Ａ又はＢ」、あるいは、「Ａ及びＢ」の可能性を含むことが理解されるべきである。

【0090】

本開示で挙げられている全ての例及び条件付き言語は、当該技術の促進に本発明者によって寄与される概念及び本発明を読者が理解するのを助ける教育上の目的を意図され、そのような具体的に挙げられている例及び条件に制限されないと解釈されるべきである。本開示の実施形態が詳細に記載されてきたが、様々な変更、置換、及び代替が、本開示の主旨及び適用範囲から逸脱することなしに行われてよい。

【0091】

上記の実施形態に加えて、以下の付記を開示する。
（付記１）
変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させることと、
前記第１光線、前記第１時間、及び前記潜在コードを第２ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペースコードを取得することと、
前記変形光線から１つ以上のポイントをサンプリングすることと、
前記サンプリングされたポイント及び前記ハイパースペースコードをネットワーク入力にまとめることと、
第２時間における前記動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るよう前記ネットワーク入力を第３ニューラルネットワークに入力することと
を有する方法。
（付記２）
前記第１光線、前記第１時間、及び属性値を第１属性ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペース属性値を取得することと、
前記ハイパースペース属性値、前記変形光線、及び前記ハイパースペースコードを第２属性ニューラルネットワークに入力することによって前記属性値に関連したスカラーマスクを決定することと、
前記スカラーマスク及び前記ハイパースペース属性値を属性ベクトルにまとめることと、
前記属性ベクトルを前記サンプリングされたポイント及び前記ハイパースペースコードと結合して、前記第３ニューラルネットワークへ入力される前記ネットワーク入力にまとめることと
を更に有する、付記１に記載の方法。
（付記３）
前記ハイパースペースコードは、前記ハイパースペースコードが前記ハイパースペース属性値によって影響されないように前記スカラーマスクに対して調整される、
付記２に記載の方法。
（付記４）
前記動的オブジェクトに関連したビデオデータ及び訓練データを用いて教師ニューラルネットワークを訓練することと、
知識蒸留を用いて前記教師ニューラルネットワークから前記第３ニューラルネットワークを訓練することと、
前記ビデオデータを用いて前記第３ニューラルネットワークを調整することと
を更に有する、付記１に記載の方法。
（付記５）
前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、又は前記第３ニューラルネットワークのうちの１つ以上は、知識蒸留により訓練される、
付記１に記載の方法。
（付記６）
前記動的オブジェクトを表す前記３次元シーンの前記画像が表示されるように前記ＲＧＢ値を表示デバイスに表示することを更に有する、
付記１に記載の方法。
（付記７）
前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、フィードフォワード人工ニューラルネットワークである、
付記１に記載の方法。
（付記８）
前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、浅い多層パーセプトロンネットワークである、
付記７に記載の方法。
（付記９）
前記第３ニューラルネットワークは、深い残差色多層パーセプトロンリグレッサである、
付記１に記載の方法。
（付記１０）
前記変形光線は、時間の関数としての正準光線空間への前記第１ニューラルネットワークによる前記第１光線のマッピングである、
付記１に記載の方法。
（付記１１）
命令を記憶するよう構成される１つ以上のコンピュータ可読記憶媒体と、前記１つ以上のコンピュータ可読記憶媒体に通信可能に結合される１つ以上のプロセッサとを有するシステムであって、
前記１つ以上のプロセッサは、前記命令の実行に応答して、当該システムに、
変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させることと、
前記第１光線、前記第１時間、及び前記潜在コードを第２ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペースコードを取得することと、
前記変形光線から１つ以上のポイントをサンプリングすることと、
前記サンプリングされたポイント及び前記ハイパースペースコードをネットワーク入力にまとめることと、
第２時間における前記動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るよう前記ネットワーク入力を第３ニューラルネットワークに入力することと
を有する動作を実行させるよう構成される、
システム。
（付記１２）
前記動作は、
前記第１光線、前記第１時間、及び属性値を第１属性ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペース属性値を取得することと、
前記ハイパースペース属性値、前記変形光線、及び前記ハイパースペースコードを第２属性ニューラルネットワークに入力することによって前記属性値に関連したスカラーマスクを決定することと、
前記スカラーマスク及び前記ハイパースペース属性値を属性ベクトルにまとめることと、
前記属性ベクトルを前記サンプリングされたポイント及び前記ハイパースペースコードと結合して、前記第３ニューラルネットワークへ入力される前記ネットワーク入力にまとめることと
を更に有する、
付記１１に記載のシステム。
（付記１３）
前記ハイパースペースコードは、前記ハイパースペースコードが前記ハイパースペース属性値によって影響されないように前記スカラーマスクに対して調整される、
付記１２に記載のシステム。
（付記１４）
前記動作は、
前記動的オブジェクトに関連したビデオデータ及び訓練データを用いて教師ニューラルネットワークを訓練することと、
知識蒸留を用いて前記教師ニューラルネットワークから前記第３ニューラルネットワークを訓練することと、
前記ビデオデータを用いて前記第３ニューラルネットワークを調整することと
を更に有する、
付記１１に記載のシステム。
（付記１５）
前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、又は前記第３ニューラルネットワークのうちの１つ以上は、知識蒸留により訓練される、
付記１１に記載のシステム。
（付記１６）
前記動作は、前記動的オブジェクトを表す前記３次元シーンの前記画像が表示されるように前記ＲＧＢ値を表示デバイスに表示することを更に有する、
付記１１に記載のシステム。
（付記１７）
前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、フィードフォワード人工ニューラルネットワークである、
付記１１に記載のシステム。
（付記１８）
前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、浅い多層パーセプトロンネットワークである、
付記１７に記載のシステム。
（付記１９）
前記第３ニューラルネットワークは、深い残差色多層パーセプトロンリグレッサである、
付記１１に記載のシステム。
（付記２０）
変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させる手段と、
前記第１光線、前記第１時間、及び前記潜在コードを第２ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペースコードを取得する手段と、
前記変形光線から１つ以上のポイントをサンプリングする手段と、
前記サンプリングされたポイント及び前記ハイパースペースコードをネットワーク入力にまとめる手段と、
第２時間における前記動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るよう前記ネットワーク入力を第３ニューラルネットワークに入力する手段と
を有するシステム。

【符号の説明】

【0092】

１００，２００ 環境
１０２，２０２ 動的オブジェクト
１０４，２０４ 第１光線
１１０，２１０ 第１ニューラルネットワーク
１１２，２１２ 変形光線
１１４，２１４ サンプリングされたポイント
１２０，２２０ 第２ニューラルネットワーク
１２２，２２２ ハイパースペースコード
１２４，２２４ ネットワーク入力
１３０，２３０ 第３ニューラルネットワーク
１３２，２３２ ＲＧＢ値
２３８ 属性値
２４０ 第１属性ニューラルネットワーク
２５０ 第２属性ニューラルネットワーク
２５２ スカラーマスク
２５４ 属性ベクトル
３０５ 教師ニューラルネットワーク
３１０ 生徒ニューラルネットワーク
３１５ 訓練データ
３２０ ビデオデータ
６００ コンピューティングシステム
６０２ プロセッサ
６０４ メモリ
６０６ データストレージ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】