特開 2024-86694 ユーザコンテキストを意識したレンダリングデータセットの選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024086694

(43)【公開日】2024-06-27

(54)【発明の名称】ユーザコンテキストを意識したレンダリングデータセットの選択

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20240620BHJP

   G06F 16/535 20190101ALI20240620BHJP

   G06F 16/538 20190101ALI20240620BHJP

   G06F 3/01 20060101ALI20240620BHJP

   G06T 19/00 20110101ALI20240620BHJP

【ＦＩ】

G06F3/04815

G06F16/535

G06F16/538

G06F3/01 510

G06T19/00 600

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023212188

(22)【出願日】2023-12-15

(11)【特許番号】

(45)【特許公報発行日】2024-05-20

(31)【優先権主張番号】63/433,111

(32)【優先日】2022-12-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/172,631

(32)【優先日】2023-02-22

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】イーゴル・ボナチ

【テーマコード（参考）】

5B050

5B175

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050CA07

5B050CA08

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B175DA02

5B175HA01

5B175JA02

5E555AA27

5E555AA64

5E555BA38

5E555BB38

5E555BE16

5E555BE17

5E555CA42

5E555CA44

5E555DA11

5E555DC09

5E555DC43

5E555FA00

(57)【要約】

【課題】拡張仮想環境を生成および提供するためのシステムおよび方法を提供すること。
【解決手段】拡張仮想環境を生成および提供するためのシステムおよび方法が、ユーザデータを取得することと、ユーザデータに関連する複数の対象物を決定するためにユーザデータを処理することと、環境内の対象物の1つまたは複数のレンダリングを生成することとを含み得る。レンダリングは、ユーザによって利用可能であると判定された複数の決定された対象物に基づいて取得された複数のレンダリングデータセットに基づいて生成され得る。複数のレンダリングデータセットは、複数の3次元メッシュおよび/または複数のニューラル輝度場データセットを含み得る。1つまたは複数のレンダリングは、ユーザが異なるポジションおよび視線方向からの環境内の対象物の異なるビューのレンダリングを見ることを可能にすることができるインタラクティブなユーザインターフェースを介して提供され得る。
【選択図】図1

【特許請求の範囲】

【請求項1】

環境の提案を提供するためのコンピューティングシステムであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行されるときに前記コンピューティングシステムに動作を実行させる命令を共に記憶する1つまたは複数の非一時的コンピュータ可読媒体とを含み、前記動作が、
ユーザデータを取得することであって、前記ユーザデータが、特定のユーザに関連付けられ、前記ユーザデータが、前記特定のユーザに関連するコンテキスト情報を記述するコンテキストデータを含む、取得すること、
前記ユーザデータに関連する複数の対象物を決定することであって、前記複数の対象物が、1つまたは複数の製品タイプに関連する複数の製品を含む、決定すること、
前記複数の対象物および前記コンテキストデータに基づいて複数のレンダリングデータセットを取得することであって、前記複数の対象物の各対象物が、前記複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられる、取得すること、
前記複数のレンダリングデータセットに基づいて仮想環境を生成することであって、前記仮想環境が、例示的な環境内の前記複数の対象物を描写する、生成すること、ならびに
インタラクティブなユーザインターフェースに表示するために前記仮想環境を提供することであって、前記インタラクティブなユーザインターフェースが、前記仮想環境の複数の異なるビューを提供するように構成される、提供することを含む、コンピューティングシステム。

【請求項2】

前記インタラクティブなユーザインターフェースに表示するために前記仮想環境を提供することが、
前記複数のレンダリングデータセットのうちの1つまたは複数に基づいて第1のビューレンダリングを生成することであって、前記第1のビューレンダリングが、第1のポジションおよび第1の方向から前記仮想環境の少なくとも第1の部分を描写する第1の画像を含む、生成することと、
表示するために前記第1のビューレンダリングを提供することとを含む請求項1に記載のシステム。

【請求項3】

前記インタラクティブなユーザインターフェースに表示するために前記仮想環境を提供することが、
ユーザインターフェース入力を取得することであって、前記ユーザインターフェース入力が、前記インタラクティブなユーザインターフェースとのナビゲーションインタラクションを含む、取得することと、
前記複数のレンダリングデータセットのうちの1つまたは複数に基づいて第2のビューレンダリングを生成することであって、前記第2のビューレンダリングが、第2のポジションおよび第2の方向から前記仮想環境の少なくとも第2の部分を描写する第2の画像を含む、生成することと、
表示するために前記第2のビューレンダリングを提供することとをさらに含む請求項2に記載のシステム。

【請求項4】

前記複数のレンダリングデータセットが、複数のメッシュおよび複数のニューラル輝度場モデルを含む請求項1に記載のシステム。

【請求項5】

各ニューラル輝度場モデルが、前記複数の対象物の異なるそれぞれの対象物の1つまたは複数のビューレンダリングを生成するように訓練された請求項4に記載のシステム。

【請求項6】

前記複数のメッシュが、前記特定のユーザが前記仮想環境内で視点および視線方向を動かすときに、前記複数の対象物をレンダリングするために利用される請求項4に記載のシステム。

【請求項7】

前記複数の対象物のうちの1つまたは複数の対象物が、前記1つまたは複数の対象物が前記コンテキスト情報に関連する1つまたは複数の特性を含むことに基づいて決定され、1つまたは複数の知られている特性が、前記特定のユーザによる利用可能性に関連付けられる請求項1に記載のシステム。

【請求項8】

前記ユーザデータが、前記特定のユーザに関連する1つまたは複数の以前の検索クエリに関連する検索履歴データを含む請求項1に記載のシステム。

【請求項9】

前記ユーザデータが、ブラウザデータを含み、前記ブラウザデータが、1つまたは複数の以前に閲覧されたウェブページに関連付けられる請求項1に記載のシステム。

【請求項10】

前記ユーザデータが、検索クエリを含み、前記ユーザデータに関連する前記複数の対象物を決定することが、
レンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットが前記検索クエリの少なくとも一部に関連付けられると判定することを含む請求項1に記載のシステム。

【請求項11】

前記検索クエリが、1つまたは複数のクエリ画像を含み、前記ユーザデータに関連する前記複数の対象物を決定することが、
1つまたは複数の描かれた対象物を決定するために前記1つまたは複数のクエリ画像を処理することと、
前記1つまたは複数の描かれた対象物に基づいて前記レンダリングアセットデータベースに問い合わせることとをさらに含む請求項10に記載のシステム。

【請求項12】

前記ユーザデータが、1つまたは複数の保存されたデータセットを記述するデータを含み、前記1つまたは複数の保存されたデータセットが、1つまたは複数の以前のユーザインタラクションに応答して記憶された請求項1に記載のシステム。

【請求項13】

拡張現実のプレビューを提供するためのコンピュータによって実施される方法であって、
1つまたは複数のプロセッサを含むコンピューティングシステムによって、ユーザデータおよび画像データを取得するステップであって、前記ユーザデータが、特定のユーザに関連付けられ、前記画像データが、ユーザ環境を描写する、ステップと、
前記コンピューティングシステムによって、前記ユーザデータに関連する複数の対象物を決定するステップであって、前記複数の対象物が、1つまたは複数の製品タイプに関連する複数の製品を含む、ステップと、
前記コンピューティングシステムによって、前記複数の対象物に基づいて複数のレンダリングデータセットを取得するステップであって、前記複数の対象物の各対象物が、前記複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられる、ステップと、
前記コンピューティングシステムによって、前記複数のレンダリングデータセットに基づいて拡張画像データを生成するステップであって、前記拡張画像データが、前記ユーザ環境内の前記複数の対象物を描写する、ステップと、
前記コンピューティングシステムによって、インタラクティブなユーザインターフェースを介して表示するために前記拡張画像データを提供するステップであって、前記インタラクティブなユーザインターフェースが、前記ユーザ環境内の前記複数の対象物の複数の異なるビューを提供するように構成される、ステップとを含む、方法。

【請求項14】

前記拡張画像データが、1つまたは複数の拡張画像を含み、前記1つまたは複数の拡張画像が、1つまたは複数のニューラル輝度場モデルによって生成された複数の予測された色値および複数の予測された密度値に基づいて生成される請求項13に記載の方法。

【請求項15】

前記複数の対象物が、複数の異なる家具を含む請求項13に記載の方法。

【請求項16】

前記複数の異なる家具が、第1の製品に関連する特定の座席を含み、前記複数の異なる家具が、第2の製品に関連する特定のテーブルを含む請求項15に記載の方法。

【請求項17】

前記複数の製品のうちの特定の製品に関連する特定のレンダリングに関連するユーザ入力データを取得するステップと、
前記特定のレンダリングを異なるレンダリングで置き換えるために、前記拡張画像データを調整するステップであって、前記異なるレンダリングが、前記複数の製品の各々と異なる製品に関連付けられる、ステップとをさらに含む請求項13に記載の方法。

【請求項18】

1つまたは複数のコンピューティングデバイスによって実行されるときに前記1つまたは複数のコンピューティングデバイスに動作を実行させる命令を共に記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記動作が、
検索クエリを取得することと、
1つまたは複数の検索結果を決定するために前記検索クエリを処理することであって、前記1つまたは複数の検索結果が、1つまたは複数の特定の対象物に関連付けられる、処理することと、
前記1つまたは複数の検索結果がレンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットに関連付けられると判定することであって、前記レンダリングアセットデータベースが、複数の異なる対象物に関連する複数の記憶されたレンダリングデータセットを含む、判定することと、
前記レンダリングアセットデータベースから前記1つまたは複数のレンダリングデータセットを取得することであって、前記1つまたは複数のレンダリングデータセットが、前記1つまたは複数の特定の対象物に関連する1つまたは複数のメッシュおよび1つまたは複数のニューラル輝度場モデルを含む、取得することと、
画像データを取得することであって、前記画像データが、1つまたは複数のイメージセンサーを用いて生成され、前記画像データが、ユーザ環境を描写する、取得することと、
前記1つまたは複数のレンダリングデータセットに基づいて拡張画像データを生成することであって、前記拡張画像データが、前記ユーザ環境内の前記1つまたは複数の対象物を描写する、生成することと、
インタラクティブなユーザインターフェースを介して表示するために前記拡張画像データを提供することであって、前記インタラクティブなユーザインターフェースが、前記ユーザ環境内の前記1つまたは複数の対象物の複数の異なるビューを提供するように構成される、提供することとを含む、1つまたは複数の非一時的コンピュータ可読媒体。

【請求項19】

前記動作が、
特定の製品に関連する特定のレンダリングを選択するユーザ入力データを取得することであって、前記特定の製品が、前記1つまたは複数の対象物に関連付けられる、取得することと、
前記特定の製品に関連する製品情報を取得することと、
表示するために前記製品情報を提供することとをさらに含む請求項18に記載の1つまたは複数の非一時的コンピュータ可読媒体。

【請求項20】

前記動作が、
特定の製品に関連する特定のレンダリングを選択するユーザ入力データを取得することであって、前記特定の製品が、前記1つまたは複数の対象物に関連付けられる、取得することと、
前記特定の製品に関連する製品リンクを取得することと、
前記製品リンクをユーザコンピューティングシステムに提供することとをさらに含む請求項18に記載の1つまたは複数の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、2022年12月16日に出願した米国特許仮出願第63/433,111号および2022年12月19日に出願した米国特許仮出願第63/433,559号の優先権および利益を主張するものである。米国特許仮出願第63/433,111号および米国特許仮出願第63/433,559号は、参照によりその全体が本明細書に組み込まれる。

【0002】

本開示は、概して、拡張仮想環境を生成し、提供することに関する。より詳細には、本開示は、ユーザデータを取得し、ユーザデータに関連する1つまたは複数の対象物(object)を決定し、選択された対象物がユーザによって利用可能であると判定された対象物である環境内で1つまたは複数の対象物を描く1つまたは複数のレンダリングを生成することに関する。

【背景技術】

【0003】

検索クエリに応答する検索結果は、ユーザにとって関心のある対象物を含み得るが、検索結果は、ユーザによって利用可能でない対象物を含む場合があり、および/または対象物の正確な視覚表現を提供しない場合がある。たとえば、検索結果に関連する対象物の画像は、ユーザの環境に類似した表現を提供しない場合がある。さらに、ユーザによって利用可能でない検索結果が、表面に出される場合があり、それは、ユーザの困惑およびフラストレーションを引き起こし得る。

【0004】

部屋の装飾、自動車のカスタマイズ、パーソナルコンピュータの構築、および/または庭の造園の際に、ユーザは、手動測定に基づいて環境のサイズレイアウトを決定することができる可能性があるが、環境の合成の外観を見ることは、各ビュー(view)のための退屈な写真操作に依存する場合がある。特定の姿勢の画像にアクセスすることができないこと、適切なスケーリングが難しいこと、および均一な照明が難しいことが原因で、合成の生成は困難であり得る。対象物の相補的な外観が、ユーザによって望まれる場合があり、そのような厄介な問題が、ユーザがアイテムを購入し、アイテムが合わないと判定し、相補的でない性質に基づいてアイテムの1つまたは複数を返品する原因となり得る。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の実施形態の態様および利点は、以下の説明に部分的に記載されるか、または説明から知られ得るか、または実施形態の実施を通じて知られ得る。

【0006】

本開示の1つの例示的な態様は、環境の提案を提供するためのコンピューティングシステムを対象とする。システムは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されるときにコンピューティングシステムに動作を実行させる命令を共に記憶する1つまたは複数の非一時的コンピュータ可読媒体とを含み得る。動作は、ユーザデータを取得することを含み得る。ユーザデータは、特定のユーザに関連付けられ得る。ユーザデータは、特定のユーザに関連するコンテキスト情報を記述するコンテキストデータを含み得る。動作は、ユーザデータに関連する複数の対象物を決定することを含み得る。複数の対象物は、1つまたは複数の製品タイプに関連する複数の製品を含み得る。動作は、複数の対象物およびコンテキストデータに基づいて複数のレンダリングデータセットを取得することを含み得る。複数の対象物の各対象物は、複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられ得る。動作は、複数のレンダリングデータセットに基づいて仮想環境を生成することを含み得る。仮想環境は、例示的な環境内の複数の対象物を描写し得る。動作は、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することを含み得る。インタラクティブなユーザインターフェースは、仮想環境の複数の異なるビューを提供するように構成され得る。

【0007】

一部の実装において、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、複数のレンダリングデータセットのうちの1つまたは複数に基づいて第1のビューレンダリングを生成することを含み得る。第1のビューレンダリングは、第1のポジションおよび第1の方向から仮想環境の少なくとも第1の部分を描写する第1の画像を含み得る。インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、表示するために第1のビューレンダリングを提供することを含み得る。インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、ユーザインターフェース入力を取得することをさらに含み得る。ユーザインターフェース入力は、インタラクティブなユーザインターフェースとのナビゲーションインタラクションを含み得る。インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、複数のレンダリングデータセットのうちの1つまたは複数に基づいて第2のビューレンダリングを生成することをさらに含み得る。第2のビューレンダリングは、第2のポジションおよび第2の方向から仮想環境の少なくとも第2の部分を描写する第2の画像を含み得る。インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、表示するために第2のビューレンダリングを提供することをさらに含み得る。

【0008】

一部の実装において、複数のレンダリングデータセットは、複数のメッシュおよび複数のニューラル輝度場(neural radiance field)モデルを含み得る。各ニューラル輝度場モデルは、複数の対象物の異なるそれぞれの対象物の1つまたは複数のビューレンダリングを生成するように訓練された可能性がある。複数のメッシュは、特定のユーザが仮想環境内で視点および視線方向(view direction)を動かすときに、複数の対象物をレンダリングするために利用され得る。複数のニューラル輝度場モデルは、仮想環境における視点および視線方向が停滞しているときに、複数の対象物をレンダリングするために利用され得る。一部の実装において、ユーザデータは、特定のユーザに関連する1つまたは複数の以前の検索クエリに関連する検索履歴データを含み得る。ユーザデータは、ブラウザデータを含み得る。ブラウザデータは、1つまたは複数の以前に閲覧されたウェブページに関連付けられ得る。

【0009】

一部の実装において、ユーザデータは、検索クエリを含み得る。ユーザデータに関連する複数の対象物を決定することは、レンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットが検索クエリの少なくとも一部に関連付けられると判定することを含み得る。検索クエリは、1つまたは複数のクエリ画像を含み得る。ユーザデータに関連する複数の対象物を決定することは、1つまたは複数の描かれた対象物を決定するために1つまたは複数のクエリ画像を処理することと、1つまたは複数の描かれた対象物に基づいてレンダリングアセットデータベースに問い合わせることとを含み得る。ユーザデータは、1つまたは複数の保存されたデータセットを記述するデータを含むことができ、1つまたは複数の保存されたデータセットは、1つまたは複数の以前のユーザインタラクションに応答して記憶された。

【0010】

本開示の別の例示的な態様は、拡張現実のプレビューを提供するためのコンピュータによって実施される方法を対象とする。方法は、1つまたは複数のプロセッサを含むコンピューティングシステムによって、ユーザデータおよび画像データを取得するステップを含み得る。ユーザデータは、特定のユーザに関連付けられ得る。一部の実装において、画像データは、ユーザ環境を描写し得る。方法は、コンピューティングシステムによって、ユーザデータに関連する複数の対象物を決定するステップを含み得る。複数の対象物は、1つまたは複数の製品タイプに関連する複数の製品を含み得る。方法は、コンピューティングシステムによって、複数の対象物に基づいて複数のレンダリングデータセットを取得するステップを含み得る。複数の対象物の各対象物は、複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられ得る。方法は、コンピューティングシステムによって、複数のレンダリングデータセットに基づいて拡張画像データを生成するステップを含み得る。拡張画像データは、ユーザ環境内の複数の対象物を描写し得る。方法は、コンピューティングシステムによって、インタラクティブなユーザインターフェースを介して表示するために拡張画像データを提供するステップを含み得る。インタラクティブなユーザインターフェースは、ユーザ環境内の複数の対象物の複数の異なるビューを提供するように構成され得る。

【0011】

一部の実装において、拡張画像データは、1つまたは複数の拡張画像を含み得る。1つまたは複数の拡張画像は、1つまたは複数のニューラル輝度場モデルによって生成された複数の予測された色値および複数の予測された密度値に基づいて生成され得る。複数の対象物は、複数の異なる家具を含み得る。複数の異なる家具は、第1の製品に関連する特定の座席を含み得る。複数の異なる家具は、第2の製品に関連する特定のテーブルを含み得る。一部の実装において、方法は、複数の製品のうちの特定の製品に関連する特定のレンダリングに関連するユーザ入力データを取得するステップと、特定のレンダリングを異なるレンダリングで置き換えるために拡張画像データを調整するステップとを含み得る。異なるレンダリングは、複数の製品の各々と異なる製品に関連付けられ得る。

【0012】

本開示の別の例示的な態様は、1つまたは複数のコンピューティングデバイスによって実行されるときに1つまたは複数のコンピューティングデバイスに動作を実行させる命令を共に記憶する1つまたは複数の非一時的コンピュータ可読媒体を対象とする。動作は、検索クエリを取得することを含み得る。動作は、1つまたは複数の検索結果を決定するために検索クエリを処理することを含み得る。1つまたは複数の検索結果は、1つまたは複数の特定の対象物に関連付けられ得る。動作は、1つまたは複数の検索結果がレンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットに関連付けられると判定することを含み得る。レンダリングアセットデータベースは、複数の異なる対象物に関連する複数の記憶されたレンダリングデータセットを含み得る。動作は、レンダリングアセットデータベースから1つまたは複数のレンダリングデータセットを取得することを含み得る。1つまたは複数のレンダリングデータセットは、1つまたは複数の特定の対象物に関連する1つまたは複数のメッシュおよび1つまたは複数のニューラル輝度場モデルを含み得る。動作は、画像データを取得することを含み得る。画像データは、1つまたは複数のイメージセンサーを用いて生成され得る。一部の実装において、画像データは、ユーザ環境を描写し得る。動作は、1つまたは複数のレンダリングデータセットに基づいて拡張画像データを生成することを含み得る。拡張画像データは、ユーザ環境内の1つまたは複数の対象物を描写し得る。動作は、インタラクティブなユーザインターフェースを介して表示するために拡張画像データを提供することを含み得る。インタラクティブなユーザインターフェースは、ユーザ環境内の1つまたは複数の対象物の複数の異なるビューを提供するように構成され得る。

【0013】

一部の実装において、動作は、特定の製品に関連する特定のレンダリングを選択するユーザ入力データを取得することを含み得る。特定の製品は、1つまたは複数の対象物に関連付けられ得る。動作は、特定の製品に関連する製品情報を取得することと、表示するために製品情報を提供することとを含み得る。一部の実装において、動作は、特定の製品に関連する特定のレンダリングを選択するユーザ入力データを取得することを含み得る。特定の製品は、1つまたは複数の対象物に関連付けられ得る。動作は、特定の製品に関連する製品リンクを取得することと、製品リンクをユーザコンピューティングシステムに提供することとを含み得る。

【0014】

本開示のその他の態様は、様々なシステム、装置、非一時的コンピュータ可読媒体、ユーザインターフェース、および電子デバイスを対象とする。

【0015】

本開示の様々な実施形態のこれらのおよびその他の特徴、態様、および利点は、以下の説明および添付の請求項を参照するとより深く理解されるであろう。本明細書の一部に組み込まれ、本明細書の一部をなす添付の図面は、本開示の例示的な実施形態を示し、説明とともに、関連する原理を説明する働きをする。

【0016】

添付の図面を参照する当業者に向けた実施形態の詳細な検討が、本明細書に記載されている。

【図面の簡単な説明】

【0017】

【図1】本開示の例示的な実施形態による例示的な十分な情報に基づく対象物選択システムのブロック図である。

【図2】本開示の例示的な実施形態による例示的な仮想環境生成のブロック図である。

【図3】本開示の例示的な実施形態による例示的な拡張画像データ生成のブロック図である。

【図4】本開示の例示的な実施形態による、仮想環境生成を実行するための例示的な方法の流れ図である。

【図5】本開示の例示的な実施形態による例示的なユーザデータ処理システムのブロック図である。

【図6】本開示の例示的な実施形態による例示的な検索クエリ処理システムのブロック図である。

【図7】本開示の例示的な実施形態による、拡張画像データ生成を実行するための例示的な方法の流れ図である。

【図8】本開示の例示的な実施形態による、検索クエリの処理を実行するための例示的な方法の流れ図である。

【図9】本開示の例示的な実施形態による例示的なレンダリングフローシステムのブロック図である。

【図10】本開示の例示的な実施形態による例示的なニューラル輝度場モデルの訓練のブロック図である。

【図11】本開示の例示的な実施形態による例示的な十分な情報に基づく対象物選択およびレンダリングシステムのブロック図である。

【図12】本開示の例示的な実施形態による例示的な拡張環境生成システムのブロック図である。

【図13A】本開示の例示的な実施形態による、仮想環境生成を実行する例示的なコンピューティングシステムのブロック図である。

【図13B】本開示の例示的な実施形態による、仮想環境生成を実行する例示的なコンピューティングデバイスのブロック図である。

【図13C】本開示の例示的な実施形態による、仮想環境生成を実行する例示的なコンピューティングデバイスのブロック図である。

【図14】本開示の例示的な実施形態による、コンテキストベースのレンダリングデータセット選択を実行するための例示的な方法の流れ図である。

【図15】本開示の例示的な実施形態による例示的なビュー合成画像生成システムのブロック図である。

【発明を実施するための形態】

【0018】

複数の図にわたって繰り返される参照番号は、様々な実装の同じ特徴を特定するように意図される。

【0019】

概して、本開示は、取得されたデータに基づいて拡張仮想環境を生成し、提供するためのシステムおよび方法を対象とする。特に、本明細書において開示されるシステムおよび方法は、ユーザデータに基づいて取得するレンダリングアセットを決定することができ、取得されたレンダリングアセットに基づいて仮想環境を生成することができる。本明細書において開示されるシステムおよび方法は、ユーザが環境(たとえば、テンプレートルームおよび/またはユーザの部屋のレンダリング)内で1つまたは複数の対象物をプレビューするための媒体を提供することができる。プレビューは、ユーザが様々なポジションおよび視線方向から拡張環境(たとえば、新しいドレッサー付きのユーザの寝室の複数のビュー)を見ることを可能にするインタラクティブなユーザインターフェースを介して提供され得る。インタラクティブなユーザインターフェースは、3次元表現およびモデリングを利用して、3次元を意識したプレビューを提供することができ、これは、より幾何学を意識したレンダリングで、ビューのより幅広い選択を可能にすることができる(たとえば、ユーザは、新しい対象物が複数の角度からどのように見えるかを確かめるために、仮想的な部屋中をナビゲートすることができる)。追加的および/または代替的に、レンダリングおよび対象物の選択は、ユーザの学習された好みに基づき得る、および/または1つもしくは複数の入力に基づき得る。入力は、個々のアイテムまたはアイテムのコレクション(collection)の価格帯を記述することができ、これは、事前に定義された予算基準を満たす対象物のみを提案することを含み得る。拡張環境の2次元レンダリングは、可能なビューのスナップショットを提供することができるが、単一のスナップショットは、提案された環境の全体的な見た目に関する限られた量の情報のみ提供し得る。環境の3次元モデリングを利用することによって、ユーザは、環境中をスクロールして、自分のペースで自分の経路でウォークスルーをシミュレートすることができる。そのようなインタラクティブ性は、1つまたは複数の新しい対象物が含まれる部屋をナビゲートする際に、ユーザが通る場合がある経路(たとえば、寝室から玄関までの経路)のシミュレーションを提供することができる。したがって、システムおよび方法は、1つまたは複数の新しい候補対象物(たとえば、新しいソファ、新しいテーブル、および/または新しいランプ)によって自分の居間がどのように見える可能性があるかをユーザがプレビューすることを可能にすることができる。

【0020】

一部の実装において、プレビューは、テンプレート環境および/またはユーザによって提供された環境(たとえば、1つもしくは複数のユーザ画像の処理によって生成されたユーザ環境)にレンダリングする対象物の1つまたは複数の選択に基づき得る。特に、ユーザは、製品をショッピングカートに入れることができ、それから、その商品は、購入の前にプレビューされ得る。代替的および/または追加的に、1つまたは複数の対象物は、プライスポイント(price point)、スタイル、対象物のタイプ、および/またはスペースの量に基づく提案される対象物である場合がある。提案は、学習されたユーザの好み(たとえば、閲覧履歴、検索履歴、および/もしくは購入履歴に基づく学習された好み)、ユーザのクエリ、ならびに/または1つもしくは複数の検索パラメータの選択に基づき得る。プレビューは、部屋の装飾(または家具)の不確実性の一部を軽減することができる動的な視覚的表示を提供することができる。追加的および/または代替的に、提案は、ユーザコンテキスト情報に基づき得る。たとえば、1つまたは複数の対象物は、ユーザによる利用可能性、価格が価格帯内であること、サイズの基準に基づいて、および/または対象物の1つもしくは複数の知られている特性がユーザコンテキストに関連付けられることに基づいて選択される場合がある。

【0021】

製品に関する検索結果が、ウェブから取り出され得るが、検索結果は、ユーザによって利用可能でないかまたはユーザの価格帯外であるかのどちらかである製品を描く場合がある。さらに、ユーザによって利用可能な有形の製品が、製品がユーザによって利用されるように製品を正確に描く媒体において表示するために提供されない場合がある。

【0022】

本明細書において開示されるシステムおよび方法は、ユーザの好み(たとえば、価格帯)に一致し、ユーザによって利用可能な製品を使用して「心を動かす」画像を生成することができる。たとえば、NERFデータベースが、テンプレート環境および/またはユーザの環境においてユーザによって利用可能な製品のレンダリングを提供するために利用され得る。NERFおよびその他の3次元表現技術が、見るためのインタラクティブなユーザインターフェースを生成するために利用され得る。

【0023】

たとえば、システムおよび方法は、ユーザデータ(たとえば、検索クエリ、好み、履歴的データ、および/またはユーザプロファイルデータ)を取得することを含み得る。ユーザデータは、特定のユーザに関連付けられ得る。ユーザデータは、特定のユーザのコンテキスト情報(たとえば、ユーザの位置、ユーザの価格帯、ユーザが対象物を配置するために利用可能なスペースの量など)を記述するコンテキストデータを含み得る。システムおよび方法は、ユーザデータに関連する1つまたは複数の対象物(たとえば、検索クエリの1つまたは複数の検索語に関連する複数の対象物)を決定することを含み得る。一部の実装において、1つまたは複数の対象物は、1つまたは複数の製品タイプに関連する1つまたは複数の製品を含み得る。システムおよび方法は、1つまたは複数の対象物に基づいて1つまたは複数のレンダリングデータセットを取得することを含み得る。1つまたは複数の対象物の各対象物は、1つまたは複数のレンダリングデータセットのレンダリングデータセットに関連付けられ得る。1つもしくは複数の対象物および/または1つもしくは複数のレンダリングデータセットは、コンテキストデータに基づいて取得および/または決定されてよい。たとえば、1つまたは複数のレンダリングデータセットは、アクセス可能性(accessibility)および価格に基づく、対象物がユーザによって利用可能であるという判定に基づいて取得されてよい。選択は、対象物の1つまたは複数の知られている特性に基づいてよい。システムおよび方法は、1つまたは複数のレンダリングデータセットに基づいて仮想環境を生成することを含み得る。一部の実装において、仮想環境は、例示的な環境内の1つまたは複数の対象物を描写し得る。システムおよび方法は、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することを含み得る。インタラクティブなユーザインターフェースは、仮想環境の複数の異なるビューを提供するように構成され得る。

【0024】

システムおよび方法は、ユーザデータを取得することができる。ユーザデータは、特定のユーザに関連付けられ得る。ユーザデータは、特定のユーザに関連するコンテキスト情報を記述するコンテキストデータを含み得る。一部の実装において、ユーザデータは、特定のユーザに関連する1つまたは複数の以前の検索クエリに関連する検索履歴データを含み得る。ユーザデータは、ブラウザデータを含み得る。ブラウザデータは、1つまたは複数の以前に閲覧されたウェブページに関連付けられ得る。一部の実装において、ユーザデータは、1つまたは複数の保存されたデータセット記述するデータを含み得る。1つまたは複数の保存されたデータセットは、1つまたは複数の以前のユーザインタラクションに応答して記憶された可能性がある。ユーザデータは、ユーザによって選択されたデータを含んでよい。コンテキストデータは、位置、アクセス可能性の制約、部屋のサイズの制約、ユーザにとって適した価格帯、および/またはその他のコンテキスト情報を記述し得る。

【0025】

複数の対象物が、ユーザデータに関連付けられると判定され得る。複数の対象物は、1つまたは複数の製品タイプに関連する複数の製品を含み得る。複数の対象物は、複数の異なる家具、複数の異なる衣類、複数の異なるカスタマイズの特徴、複数の異なる景観アイテム、および/または複数の異なる装飾を含み得る。複数の対象物は、ユーザの検索履歴、ユーザの閲覧履歴、ユーザプロファイル、ユーザの写真データベース、ユーザの購入履歴、ユーザの位置データ、および/またはユーザの好みデータに基づいて取得され得る。

【0026】

一部の実装において、ユーザデータは、検索クエリを含み得る。ユーザデータに関連する複数の対象物を決定することは、レンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットが検索クエリの少なくとも一部に関連付けられると判定することを含み得る。判定は、インデックス付けされたエンティティ(entity)、インデックス付けされたリンク、インデックス付けされたラベル、および/または1つもしくは複数のその他の識別子に基づき得る。

【0027】

追加的におよび/または代替的に、検索クエリは、1つまたは複数のクエリ画像を含み得る。ユーザデータに関連する複数の対象物を決定することは、1つまたは複数の描かれた対象物を決定するために1つまたは複数のクエリ画像を処理することと、1つまたは複数の決定された対象物に基づいてレンダリングアセットデータベースに問い合わせることとをさらに含み得る。決定は、埋め込み最近傍判定(embedding nearest neighbor determination)、特徴マッチング、および/またはラベルマッチングに基づいてよい。

【0028】

システムおよび方法は、複数の対象物および/またはコンテキストデータに基づいて複数のレンダリングデータセットを取得することができる。複数の対象物の各対象物は、複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられ得る。一部の実装において、複数のレンダリングデータセットは、複数のメッシュおよび複数のニューラル輝度場モデルを含み得る。各ニューラル輝度場モデルは、複数の対象物の異なるそれぞれの対象物の1つまたは複数のビューレンダリングを生成するように訓練された可能性がある。複数のメッシュは、特定のユーザが仮想環境内で視点および視線方向を動かすときに、複数の対象物をレンダリングするために利用され得る。一部の実装において、複数のニューラル輝度場モデルは、仮想環境における視点および視線方向が停滞しているときに、複数の対象物をレンダリングするために利用され得る。一部の実装において、1つまたは複数のレンダリングデータセットは、1つまたは複数のレンダリングデータセットに対応する1つまたは複数の対象物に関連する知られている特性がユーザデータのコンテキストデータに関連する基準に応じる(たとえば、満たすおよび/または一致する)ことに基づいて取得され得る。たとえば、1つまたは複数のレンダリングデータセットは、購入しやすさ(purchase accessibility)(たとえば、購入の位置、発送の位置(location of sending)、および/または価格帯)を含み得る、レンダリングデータセットに関連する対象物がユーザによって利用可能であることに基づいて取得され得る。

【0029】

仮想環境が、複数のレンダリングデータセットに基づいて生成され得る。仮想環境は、例示的な環境内の複数の対象物を描写し得る。仮想環境は、複数の3次元表現に基づいて生成され得る。3次元表現のうちの1つまたは複数は、機械学習されてよい。仮想環境は、テンプレート3次元環境内の1つまたは複数のレンダリングアセットのアンカリング(anchoring)に関連付けられ得る。テンプレートは、ユーザによって選択される、決定的に(deterministically)提供される、ランダムに決定される、および/または履歴的なユーザデータに基づいて決定される場合がある。

【0030】

仮想環境は、インタラクティブなユーザインターフェースに表示するために提供され得る。インタラクティブなユーザインターフェースは、仮想環境の複数の異なるビューを提供するように構成され得る。仮想環境は、拡張現実体験、仮想現実体験、複合現実体験、および/または1つもしくは複数のその他のユーザインターフェース要素を介して表示するために提供され得る。

【0031】

一部の実装において、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、複数のレンダリングデータセットのうちの1つまたは複数に基づいて第1のビューレンダリングを生成することを含み得る。第1のビューレンダリングは、第1のポジションおよび第1の方向から仮想環境の少なくとも第1の部分を描写する第1の画像を含み得る。インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、表示するために第1のビューレンダリングを提供することを含み得る。

【0032】

追加的および/または代替的に、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、ユーザインターフェース入力を取得することをさらに含み得る。ユーザインターフェース入力は、インタラクティブなユーザインターフェースとのナビゲーションインタラクションを含み得る。インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、複数のレンダリングデータセットのうちの1つまたは複数に基づいて第2のビューレンダリングを生成することをさらに含み得る。第2のビューレンダリングは、第2のポジションおよび第2の方向から仮想環境の少なくとも第2の部分を描写する第2の画像を含み得る。一部の実装において、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、表示するために第2のビューレンダリングを提供することをさらに含み得る。

【0033】

追加的および/または代替的に、システムおよび方法は、取得された画像データに基づいて生成されたユーザ環境においてレンダリングされた決定された対象物を描く拡張画像データを生成するために利用され得る。たとえば、システムおよび方法は、ユーザデータおよび画像データを取得することを含み得る。ユーザデータは、特定のユーザに関連付けられ得る。一部の実装において、画像データは、ユーザ環境を描写し得る。システムおよび方法は、ユーザデータに関連する複数の対象物を決定することを含み得る。複数の対象物は、1つまたは複数の製品タイプに関連する複数の製品を含み得る。システムおよび方法は、複数の対象物に基づいて複数のレンダリングデータセットを取得することを含み得る。複数の対象物の各対象物は、複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられ得る。システムおよび方法は、複数のレンダリングデータセットに基づいて拡張画像データを生成することを含み得る。一部の実装において、拡張画像データは、ユーザ環境内の複数の対象物を描写し得る。システムおよび方法は、インタラクティブなユーザインターフェースを介して表示するために拡張画像データを提供することを含み得る。インタラクティブなユーザインターフェースは、ユーザ環境内の複数の対象物の複数の異なるビューを提供するように構成され得る。

【0034】

システムおよび方法は、ユーザデータおよび画像データを取得することができる。ユーザデータは、特定のユーザに関連付けられ得る。ユーザデータは、ユーザに関連する履歴的データ、ユーザに関連するユーザ入力データ、および/またはユーザに関連するセンサーデータを記述し得る。画像データは、ユーザ環境を描写し得る。たとえば、ユーザ環境は、ユーザの寝室、ユーザの居間、ユーザの庭、ユーザの車、および/またはユーザのオフィスであることが可能である。

【0035】

複数の対象物が、ユーザデータに関連付けられると判定され得る。複数の対象物は、1つまたは複数の製品タイプに関連する複数の製品を含み得る。一部の実装において、複数の対象物は、複数の異なる家具を含み得る。複数の異なる家具は、第1の製品に関連する特定の座席を含み得る。一部の実装において、複数の異なる家具は、第2の製品に関連する特定のテーブルを含み得る。

【0036】

複数のレンダリングデータセットが、複数の対象物に基づいて取得され得る。複数の対象物の各対象物は、複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられ得る。各レンダリングデータセットは、拡張現実レンダリングデータセット、仮想現実レンダリングデータセット、および/または別のレンダリングデータセットタイプを含み得る。一部の実装において、各レンダリングデータセットは、学習された3次元表現に関連する1つまたは複数の学習されたパラメータを有する1つもしくは複数のメッシュおよび/または1つもしくは複数のニューラル輝度場モデルを含み得る。

【0037】

そのとき、拡張画像データが、複数のレンダリングデータセットに基づいて生成され得る。拡張画像データは、ユーザ環境内の複数の対象物を描写し得る。一部の実装において、拡張画像データは、1つまたは複数の拡張画像を含み得る。1つまたは複数の拡張画像は、1つまたは複数のニューラル輝度場モデルによって生成された複数の予測された色値および複数の予測された密度値に基づいて生成され得る。

【0038】

拡張画像データは、インタラクティブなユーザインターフェースを介して表示するために提供され得る。インタラクティブなユーザインターフェースは、ユーザ環境内の複数の対象物の複数の異なるビューを提供するように構成され得る。インタラクティブなユーザインターフェースは、拡張現実体験、仮想現実体験、および/または複合現実体験を含み得る。一部の実装において、インタラクティブなユーザインターフェースは、対象物が環境にレンダリングされたユーザ環境の1つまたは複数の角度を見るように構成され得る。

【0039】

一部の実装において、システムおよび方法は、複数の製品のうちの特定の製品に関連する特定のレンダリングに関連するユーザ入力データを取得し、特定のレンダリングを異なるレンダリングで置き換えるように拡張画像データを調整することができる。異なるレンダリングは、複数の製品の各々と異なる製品に関連付けられ得る。

【0040】

一部の実装において、取得されるユーザデータは、1つまたは複数の検索クエリを含み得る。1つまたは複数の検索クエリは、取得し、ユーザ環境にレンダリングする1つまたは複数の対象物を決定するために利用され得る。たとえば、システムおよび方法は、検索クエリを取得することを含み得る。システムおよび方法は、1つまたは複数の検索結果を決定するために検索クエリを処理することを含み得る。1つまたは複数の検索結果は、1つまたは複数の特定の対象物に関連付けられ得る。システムおよび方法は、1つまたは複数の検索結果がレンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットに関連付けられると判定することを含み得る。レンダリングアセットデータベースは、複数の異なる対象物に関連する複数の記憶されたレンダリングデータセットを含み得る。一部の実装において、システムおよび方法は、レンダリングアセットデータベースから1つまたは複数のレンダリングデータセットを取得することを含み得る。1つまたは複数のレンダリングデータセットは、1つまたは複数の特定の対象物に関連する1つまたは複数のメッシュおよび1つまたは複数のニューラル輝度場モデルを含み得る。システムおよび方法は、画像データを取得することを含み得る。画像データは、1つまたは複数のイメージセンサーを用いて生成され得る。一部の実装において、画像データは、ユーザ環境を描写し得る。システムおよび方法は、1つまたは複数のレンダリングデータセットに基づいて拡張画像データを生成することを含み得る。拡張画像データは、ユーザ環境内の1つまたは複数の対象物を描写し得る。システムおよび方法は、インタラクティブなユーザインターフェースを介して表示するために拡張画像データを提供することを含み得る。インタラクティブなユーザインターフェースは、ユーザ環境内の1つまたは複数の対象物の複数の異なるビューを提供するように構成され得る。

【0041】

検索クエリが、ユーザから取得され得る。検索クエリは、複数の文字を含み得る。代替的および/または追加的に、検索クエリは、1つまたは複数のクエリ画像を含み得る。検索クエリは、ユーザインターフェースのクエリ入力ボックスによって受け取られる入力を介して取得され得る。検索クエリは、検索アプリケーションおよび/またはブラウザアプリケーションを介して取得される場合がある。

【0042】

検索クエリは、1つまたは複数の検索結果を決定するために処理され得る。1つまたは複数の検索結果は、1つまたは複数の特定の対象物に関連付けられ得る。1つまたは複数の検索結果は、検索クエリ、ユーザプロファイルデータ、位置データ、履歴的データ、トレンドデータ、および/または好みデータに基づいて決定され得る。

【0043】

1つまたは複数の検索結果は、レンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットに関連付けられると判定され得る。レンダリングアセットデータベースは、複数の異なる対象物に関連する複数の記憶されたレンダリングデータセットを含み得る。各レンダリングデータセットは、1つもしくは複数のメッシュ、1つもしくは複数の3次元表現、1つもしくは複数の機械学習モデル(machine-learned model)(たとえば、1つもしくは複数のニューラル輝度場モデル)、ニューラル輝度場データ、画像データ、動画データ、および/または1つもしくは複数のその他のデータファイルを含み得る。

【0044】

1つまたは複数のレンダリングデータセットは、レンダリングアセットデータベースから取得され得る。1つまたは複数のレンダリングデータセットは、1つまたは複数の特定の対象物に関連する1つまたは複数のメッシュおよび1つまたは複数のニューラル輝度場モデルを含み得る。1つまたは複数のメッシュは、ニューラル輝度場モデルがポジションおよび視線方向を処理して新規のビューレンダリングを生成するとき、3次元視覚化として利用され得る。

【0045】

それから、画像データが、ユーザから取得され得る。画像データは、1つまたは複数のイメージセンサーを用いて生成され得る。一部の実装において、画像データは、ユーザ環境を描写し得る。画像データは、モバイルコンピューティングデバイスから取得される場合があり、モバイルコンピューティングデバイスの1つまたは複数のイメージセンサーによって生成される場合がある。画像データは、寝室、居間、キッチン、浴室、ガレージ、芝生、公園、および/または別の環境を含み得るユーザ環境を描写することが可能である。

【0046】

拡張画像データが、1つまたは複数のレンダリングデータセットに基づいて生成され得る。拡張画像データは、ユーザ環境内の1つまたは複数の対象物を描写し得る。拡張画像データは、1つまたは複数のレンダリングデータセットおよび画像データを拡張モデルで処理することによって生成され得る。1つまたは複数のレンダリングデータセットは、1つまたは複数の対象物の1つまたは複数のレンダリングを生成するために利用されることが可能であり、拡張モデルは、1つまたは複数のレンダリングを含むように画像データを拡張することが可能である。

【0047】

拡張画像データは、インタラクティブなユーザインターフェースを介して表示するために提供され得る。インタラクティブなユーザインターフェースは、ユーザ環境内の1つまたは複数の対象物の複数の異なるビューを提供するように構成され得る。インタラクティブなユーザインターフェースは、レンダリングされた環境の視点、視線方向、およびスケーリングをユーザが変更することを可能にし得る。ユーザは、環境の一部を選択してよく、環境を傾けるためにセレクタを新しいポジションに動かしてよい。代替的および/または追加的に、環境内のポジションが、その視点から環境を見るために選択されてよい。一部の実装において、インタラクティブなユーザインターフェースは、拡張環境の閲覧体験を調整するためのユーザインターフェース要素を含み得る。

【0048】

一部の実装においては、特定の製品に関連する特定のレンダリングを選択するユーザ入力データが、取得され得る。特定の製品は、1つまたは複数の対象物に関連付けられ得る。そして、特定の製品に関連する製品情報が、取得され得る。それから、製品情報は、表示するために提供され得る。

【0049】

代替的および/または追加的に、特定の製品に関連する特定のレンダリングを選択するユーザ入力データが、ユーザから取得され得る。特定の製品は、1つまたは複数の対象物に関連付けられ得る。そして、特定の製品に関連する製品リンクが、取得され得る。それから、製品リンクは、ユーザコンピューティングシステムに提供され得る。

【0050】

一部の実装において、1つまたは複数の対象物は、画像データの1つまたは複数の画像にレンダリングされてよい1つまたは複数の製品を含み得る。1つまたは複数の製品は、1つまたは複数のレンダリングデータセットに関連付けられ得る。レンダリングデータセットは、製品に関連する1つまたは複数のエンティティ(たとえば、製造業者、小売業者、および/または製品所有者)によって生成される場合がある。1つまたは複数のレンダリングデータセットは、製品の1つまたは複数の画像に基づいて1つまたは複数のパラメータを訓練することを含み得る。訓練は、1つもしくは複数のポジションおよび/または1つもしくは複数の視線方向の処理に応答して1つもしくは複数の予測された色値および/または1つもしくは複数の密度値を生成するために、ニューラル輝度場モデルの1つまたは複数のパラメータを調整することを含み得る。一部の実装において、1つまたは複数の学習されたパラメータは、1つもしくは複数の拡張モデル、1つもしくは複数のレンダリングモデル、1つもしくは複数の分類モデル、1つもしくは複数のセグメンテーションモデル、1つもしくは複数の検出モデル、1つもしくは複数の認識モデル、1つもしくは複数のメッシュモデル、および/または1つもしくは複数の予測モデルに関連付けられ得る。代替的および/または追加的に、レンダリングデータセットは、手動で構成される場合がある。

【0051】

システムおよび方法は、1つまたは複数のレンダリングデータセットを生成するために、1人または複数のユーザにソフトウェア開発キット(SDK)および/またはアプリケーションを提供することを含み得る。たとえば、1人または複数のユーザは、レンダリングデータセットを生成するために1つまたは複数の入力を受け取ることができるアプリケーションを提供される場合がある。そして、レンダリングデータセットは、レンダリングデータベースに記憶するためにサーバコンピューティングシステムに提供され得る。1つまたは複数の入力は、レンダリング生成インターフェースにおける1つもしくは複数の選択、1つもしくは複数の画像、1つもしくは複数のポジションデータセット、ウェブページもしくはウェブデータベースから引き出された1つもしくは複数の詳細、1つもしくは複数の視点データセット、および/または1つもしくは複数の慣性センサーデータセットを含み得る。代替的および/または追加的に、システムおよび方法は、1人または複数のユーザが1つまたは複数のアプリケーションおよび/またはプラットフォームにおいてレンダリングデータセットを生成することを可能にするように構成され得るソフトウェア開発キットを提供することを含み得る。

【0052】

インタラクティブなユーザインターフェースは、検索アプリケーション、ブラウザアプリケーション、地図サービスアプリケーション、マーケットプレイスアプリケーション、発見アプリケーション(discover application)、および/または1つもしくは複数のその他のエントリポイント(entry point)において提供され得る。

【0053】

追加的および/または代替的に、インタラクティブなユーザインターフェースは、環境内の対象物の異なる合成を見るために、対象物のレンダリングを追加および削除する1つまたは複数のオプションを含み得る。たとえば、ユーザは、第1の特定のカウチ(たとえば、特定の生地、色、デザイン、および/または製造業者の特定のカウチ)、第2の特定のカウチ(たとえば、特定の生地、色、デザイン、および/または製造業者の特定のカウチ)、第1のテーブル(たとえば、特定の仕上げ、特定の形状、特定のサイズ、特定の材料、特定の製造業者、特定のブランド、および/または特定の機能を有する特定のテーブル)、第1の椅子(たとえば、特定の仕上げ、特定の形状、特定のサイズ、特定の材料、特定の製造業者、特定のブランド、および/または特定の機能を有する特定の椅子)、第2の椅子、第1の絵画(たとえば、特定の装飾画)、ならびに第1の電子デバイス(たとえば、特定のテレビ)のある居間を描写する仮想環境を生成するために処理され得るユーザデータを提供する場合がある。システムおよび方法は、第1の特定のカウチ、第2の特定のカウチ、第1のテーブル、第1の椅子、第2の椅子、第1の絵画、および第1の電子デバイスのうちの1つまたは複数を削除および/または交換するためのユーザ入力を取得してよい。たとえば、第3のカウチ、第2のテーブル、第3の椅子、第2の絵画、および/または第2の電子デバイスが、1つもしくは複数の元のレンダリングの代わりに、および/または1つもしくは複数の元のレンダリングに加えて、仮想環境にレンダリングされてよい。代替的および/または追加的に、インタラクティブなユーザインターフェースは、1つまたは複数の入力を受け取り、拡張された色、拡張されたサイズ、拡張された向き、拡張された位置、拡張された生地、および/または拡張された構成を含むように対象物のレンダリングを拡張するように構成されてよい。ユーザは、環境にレンダリングする1つまたは複数の代替対象物および/または追加対象物を決定するために、追加の検索クエリを提供してよい。

【0054】

1つまたは複数の対象物は、価格帯、ブランド、サイズ、製品の品質、位置、1つもしくは複数の学習された好み、1つもしくは複数の以前の検索クエリもしくはインタラクション、材料のタイプ、小売業者、利用可能性、および/または特定のスタイルに基づいて決定されてよい。1つまたは複数の対象物は、1つあるいは複数のその他の対象物(たとえば、1つまたは複数のその他の決定された対象物、ならびに/あるいは1つまたは複数の既存の対象物(たとえば、1つもしくは複数の事前に購入された対象物、ユーザによって示された1つもしくは複数の対象物、ショッピングカート内の1つもしくは複数の対象物、1つもしくは複数のストレージサービス(たとえば、ウィッシュリスト、保存された写真、保存されたウェブページ、および/もしくは保存されたメモ)によって保存された1つもしくは複数の対象物、ならびに/または1つもしくは複数のユーザ入力画像に基づいて決定された1つもしくは複数の対象物))との決定された相補的なスタイルに基づいて決定される場合がある。

【0055】

1つまたは複数の対象物は、環境の決定されたサイズおよび決定された照明に基づき得る予測されたサイズおよび予測された照明で環境にレンダリングされることが可能である。たとえば、対象物がレンダリングされてよく、そのとき、レンダリングは、環境に比例するようにレンダリングをスケーリングするために調整され得る。追加的および/または代替的に、レンダリングの色は、環境のより写実的なレンダリングを提供するために、決定された照明に基づいて調整されることが可能であり、これは、様々な照明パラメータを考慮し得る。

【0056】

本明細書において開示されるシステムおよび方法は、ユーザから画像データを取得することと、ユーザによって提供された画像データでニューラル輝度場モデルを訓練することと、訓練されたニューラル輝度場モデルを利用して、画像データに描かれた1つまたは複数の対象物(たとえば、ユーザによってキャプチャされた画像に描かれた1つまたは複数の椅子)の1つまたは複数のレンダリングを生成することとを含み得る。ユーザによって提供された画像データで訓練されたニューラル輝度場モデルは、ユーザ、エンティティ、および/または対象物に関連して1つまたは複数のデータベースに記憶され得る。たとえば、ユーザは、ユーザが服装を計画するのに役立ち得る、均一な姿勢および照明で異なる衣類を見るための仮想クローゼットを提供するために、ユーザの衣類の複数の3次元表現を学習するために、ニューラル輝度場モデルおよびユーザによって提供された画像データを利用してよい。追加的および/または代替的に、ユーザは、訓練されたニューラル輝度場モデルを活用してユーザに商品のレンダリングを提供する小売業者である場合がある。

【0057】

3次元モデリング、対象物のセグメンテーション、および新規のビューレンダリングは、ユーザにはアクセス不可能であることがあり得る。そのような特徴は、検索、再配置された環境を視覚化すること、対象物を理解すること、および対象物を物理的に並べる必要なしに対象物を比較することに役立ち得る。

【0058】

本明細書において開示されるシステムおよび方法は、ニューラル輝度場モデル(NERF)の大衆化を活用して、ユーザが高品質の3Dコンテンツを広範なレベルで作成し、記憶し、共有し、閲覧することを可能にすることができる。これは、リフォーム、服のデザイン、対象物の比較、およびカタログの生成に役立ち得る(たとえば、商業者が、製品の高品質な3Dコンテンツを構築し、自分のウェブサイトに追加することができる)。

【0059】

追加的および/または代替的に、製品に関する検索結果が、ウェブから取り出され得るが、検索結果は、ユーザによって利用可能でないかまたはユーザの価格帯外であるかのどちらかである製品を描く場合がある。さらに、ユーザによって利用可能な有形の製品が、製品がユーザによって利用されるように製品を正確に描く媒体において表示するために提供されない場合がある。

【0060】

本明細書において開示されるシステムおよび方法は、ユーザの好み(たとえば、価格帯)に一致し、ユーザによって利用可能な製品を使用して「心を動かす」画像をレンダリングすることができる。たとえば、NERFデータベースが、テンプレート環境および/またはユーザの環境においてユーザによって利用可能な製品のレンダリングを提供するために利用され得る。NERFおよびその他の3次元表現技術が、見るためのインタラクティブなユーザインターフェースを生成するために利用され得る。追加的および/または代替的に、NERFデータベースに記憶された、知られている利用可能性および特性を持つデータセットの使用は、取得されたレンダリングデータセットに関連するナレッジグラフが利用され得るので、より正確な検索を提供することができる。

【0061】

製品の視覚化の一部の既存の技術は、可能な環境の変更の視覚化を提供するために拡張現実を利用するが、拡張現実技術は、ユーザが所望の位置にいることに制限され得る。さらに、環境における複数の拡張現実レンダリングのレンダリングは、計算コストが高くなり得、対象物のアンカリングおよびスケーリングの困難を引き起こす場合がある。環境内の対象物の2次元レンダリングは、可能な環境のスナップショットを提供することができるが、単一のスナップショットは、3次元を意識しない限られた情報を提供する場合がある。さらに、既存の方法は、サイズの決定および照明の補正を提供することができない場合がある。

【0062】

本開示のシステムおよび方法は、いくつかの技術的効果および利点を提供する。一例として、システムおよび方法は、1つまたは複数の対象物とともに環境を描くことができるインタラクティブなユーザインターフェースを提供し得る。特に、本明細書において開示されるシステムおよび方法は、対象物の予測/提案、1つもしくは複数の拡張モデル、および/または1つもしくは複数のユーザインターフェース要素を活用して、提案された対象物をともなう環境のプレビューを見るためのインタラクティブなユーザインターフェースを提供することができる。たとえば、システムおよび方法は、ユーザ入力、ユーザの好み、および/またはユーザの履歴的データに関連付けられてよい対象物を予測することができる。決定された対象物は、テンプレート環境および/またはユーザ環境(たとえば、1つもしくは複数のユーザ入力画像に基づいてレンダリングされたユーザ環境)にレンダリングされ得る。インターフェースは、1つまたは複数の対象物が一緒におよび/または特定の環境においてどのように見えるかをユーザに知らせることができるレンダリングを提供し得る。インターフェースは、瞬時のレンダリングのために対象物のメッシュを利用することができ、それらの瞬時のレンダリングは、その後、リアルなニューラル輝度場ベースのレンダリングによって置き換えられ得る。レンダリングは、幾何学を意識し、シーンのために照明を調整され、生成された環境に対して寸法的に正確であることが可能である。

【0063】

本開示のシステムおよび方法の別の技術的利点は、ユーザによって利用可能な対象物のビュー合成画像を生成するためにコンテキストデータおよびレンダリングデータセットを活用する能力である。たとえば、通常の検索結果は、ユーザのクエリに応答するが、1つまたは複数の利用可能性の基準に基づいてユーザによって利用可能でない可能性がある検索結果を表面に出す場合がある。本明細書において開示されるシステムおよび方法は、コンテキストデータおよび1つまたは複数の対象物の知られている特性を処理して、ユーザによって利用可能な1つまたは複数の対象物を決定することができる。それから、1つまたは複数の決定された対象物のレンダリングデータセットが、利用可能な対象物の1つまたは複数のビュー合成画像を生成するために取得され得る。したがって、ユーザは、ユーザによって実際に利用可能な製品の画像を見ることができる。さらに、ユーザは、購入リンク、対象物の仕様などを含み得る、対象物に関連する追加のリンクおよび/または詳細を提供する検索結果を取得するために利用され得る視覚的クエリとして、1つまたは複数のビュー合成画像を利用することができる。

【0064】

特に、本明細書において開示されるシステムおよび方法は、コンテキスト的に関連する対象物のあるユニークな画像をユーザに提供することができる。追加的および/または代替的に、知られている特性を持つ対象物が、ユーザの環境および/またはユーザの環境に類似したテンプレート環境の画像にレンダリングされ得る。一部の実装において、ビュー合成画像を用いる視覚的検索(visual search)は、クエリ画像が知られている対象物を含むので、より良いおよび/またはより関連性の高い結果を提供することが可能であり得る。たとえば、視覚的検索結果は、ビュー合成画像内の対象物が、1つまたは複数の視覚的検索技術で認識可能である場合がある知られている特性を持つ知られている対象物であることに基づいて改善される場合がある。一部の実装において、本明細書で開示されるシステムおよび方法の1つの利点は、ユーザの好みを暗黙的に満たす、および/またはユーザの検索クエリに明示的に応答する特性を有する買い物の結果を含み得る(たとえば、買い物の結果は、ユーザの位置においてユーザの好ましいプライスポイントで購入するために利用可能である)。

【0065】

本開示のシステムおよび方法の別の技術的利点は、レンダリングデータセットを生成するために1つまたは複数の機械学習モデルを活用する能力である。たとえば、システムおよび方法は、訓練画像データ、訓練テキストデータ、訓練潜在符号化データ(latent encoding data)、訓練ラベル、および/または訓練メッシュデータに基づいて、対象物および/または環境のレンダリングを生成するために1つまたは複数の機械学習モデルを訓練することができる。訓練データは、1人または複数のユーザによって提供される場合がある。一部の実装においては、複数の訓練データセットが、レンダリングデータベースに記憶される複数のレンダリングデータセットを生成するために複数のユーザから取得され得る。

【0066】

技術的効果および利点の別の例は、改善された計算効率およびコンピューティングシステムの機能の改善に関連する。たとえば、本明細書において開示されるシステムおよび方法は、環境の移動中に利用されるレンダリングを生成するためにメッシュデータを活用することができる。ユーザが環境を動かすのを止めると、1つまたは複数のニューラル輝度場モデルが、対象物および/または環境のより写実的なレンダリングを生成するために利用され得る。メッシュデータの利用は、計算コストがより低くなり得、ユーザが視点および/または視線方向の間をナビゲートするときに、環境の流れるようなレンダリングをもたらすことができる。

【0067】

ここで図を参照して、本開示の例示的な実施形態が、より詳細に検討される。

【0068】

図1は、本開示の例示的な実施形態による例示的な十分な情報に基づく対象物選択システム100のブロック図を描く。特に、十分な情報に基づく対象物選択システム100は、ユーザのコンテキスト情報114および/またはユーザによる利用可能性に基づく、1つまたは複数の対象物に関連するレンダリングデータセット112の選択を含むことができる。十分な情報に基づく対象物選択システム100は、コンテキスト情報114および/またはその他のユーザデータを活用して、獲得するために(たとえば、購入するために)ユーザによって利用可能な対象物に関連するレンダリングデータセット112を決定することができる。

【0069】

たとえば、コンテキスト情報114は、ユーザコンピューティングシステムから取得される場合がある。コンテキスト情報114は、1つもしくは複数の検索クエリ、ユーザの位置、価格帯、ユーザのその他の利用可能性の基準、好み、履歴的データ(たとえば、検索履歴データ、閲覧履歴データ、および/もしくは購入履歴データ)、ならびに/またはユーザプロファイルデータを含み得る。検索クエリは、1つもしくは複数の対象物、1つもしくは複数のスタイル、および/または1つもしくは複数のその他の詳細に関連付けられてよい。

【0070】

コンテキスト情報114は、対象物選択116のために処理され得る。対象物選択116は、コンテキスト情報114に関連付けられるレンダリングデータセットに関連する対象物を決定することを含み得る。選択されたレンダリングデータセット130は、複数のレンダリングデータセット112からのレンダリングデータセットであることが可能である。複数のレンダリングデータセット112は、知られている特性を持つ複数の対象物に関連する複数の記憶されたニューラル輝度場(NeRF)モデルを含み得る。複数のレンダリングデータセット112は、レンダリングデータセットライブラリに記憶されてよく、位置、価格、アクションリンク(たとえば、ウェブサイト上の詳細へのリンク、対象物に関連する製品を購入するためのリンク、および/もしくはトラッキングリンク(tracking link))、ならびに/または追加の知られている特性に関連するメタデータとともに記憶されてよい。

【0071】

対象物選択116は、コンテキスト情報114に基づいてユーザに関連する位置および/または価格帯を決定することを含むことができ、対象物がユーザの位置および/またはユーザの価格帯内で利用可能であることに基づいて特定の対象物を選択してよい。対象物選択116は、検索クエリに応答する検索結果を決定するために利用される場合があり、および/またはユーザに提案を提供するために利用される場合がある。一部の実装において、選択されたレンダリングデータセット130は、検索結果インターフェースおよび/または提案インターフェース(たとえば、発見インターフェース)に表示されてよい1つまたは複数のレンダリングを生成するために利用される場合がある。レンダリングは、ユーザ環境および/またはテンプレート環境内の対象物を描写することができる。したがって、十分な情報に基づく対象物選択システム100は、ライブ試着体験、ならびに/またはレンダリングデータセットが位置、サイズ、および/もしくは価格帯に基づいてユーザによって利用可能な対象物を記述するその他のレンダリングタスクのためのレンダリングデータセットを用いて検索結果および/または提案を提供するために利用され得る。

【0072】

図2は、本開示の例示的な実施形態による例示的な仮想環境生成200のブロック図を描く。特に、図2は、インタラクティブなユーザインターフェース218を介して表示するために提供され得る仮想環境216を生成するためにユーザデータ202が処理されるところを描く。

【0073】

ユーザデータ202は、ユーザコンピューティングシステムから取得され得る。ユーザデータ202は、検索クエリ、履歴的データ(たとえば、検索履歴、閲覧履歴、購入履歴、および/もしくはインタラクション履歴)、好みデータ、ならびに/またはユーザプロファイルデータを含み得る。ユーザデータ202は、ユーザデータ202に関連する1つまたは複数の対象物206を決定するために提案ブロック204によって処理され得る。1つまたは複数の対象物206は、購入するための1つまたは複数の製品に関連付けられ得る。それから、1つまたは複数のレンダリングデータセット210が、1つまたは複数の対象物206に基づいてレンダリングアセットデータベース208から取得され得る。1つまたは複数のレンダリングデータセット210は、1つまたは複数の対象物206に関連するデータを用いてレンダリングアセットデータベース208に問い合わせることによって取得され得る。一部の実装において、1つまたは複数のレンダリングデータセット210は、(たとえば、1つまたは複数のラベルによって)1つまたは複数の対象物206に予め関連付けられ得る。

【0074】

それから、1つまたは複数のテンプレート212が、取得され得る。1つまたは複数のテンプレート212は、1つまたは複数の例示的な環境(たとえば、例示的な部屋、例示的な芝生、および/または例示的な車)に関連付けられ得る。1つまたは複数のテンプレート212は、ユーザデータ202に基づいておよび/または1つもしくは複数の対象物206に基づいて決定されてよい。テンプレート212は、画像データ、メッシュデータ、訓練されたニューラル輝度場モデル、3次元表現、および/または仮想現実体験を含み得る。

【0075】

1つまたは複数のテンプレート212および1つまたは複数のレンダリングデータセット210が、仮想環境216を生成するためにレンダリングモデル214で処理され得る。レンダリングモデル214は、1つもしくは複数のニューラル輝度場モデル、1つもしくは複数の拡張モデル、および/または1つもしくは複数のメッシュモデルを含み得る。

【0076】

仮想環境216は、テンプレート環境にレンダリングされた1つまたは複数の対象物206を描写し得る。仮想環境216は、1つまたは複数のテンプレート212および1つまたは複数のレンダリングデータセット210に基づいて生成され得る。仮想環境216は、インタラクティブなユーザインターフェース218に表示するために提供されてよい。一部の実装において、ユーザは、異なる角度からおよび/または異なるスケーリングで仮想環境216を見るために、インタラクティブなユーザインターフェース218とインタラクションすることができる場合がある。

【0077】

図3は、本開示の例示的な実施形態による例示的な拡張画像データ生成300のブロック図を描く。特に、図3は、インタラクティブなユーザインターフェース318を介して表示するために提供され得る拡張画像データ316を生成するためにユーザデータ302および画像データ312が処理されるところを描く。

【0078】

ユーザデータ302は、ユーザコンピューティングシステムから取得され得る。ユーザデータ302は、検索クエリ、履歴的データ(たとえば、検索履歴、閲覧履歴、購入履歴、および/もしくはインタラクション履歴)、好みデータ、ならびに/またはユーザプロファイルデータを含み得る。ユーザデータ302は、ユーザデータ302に関連する1つまたは複数の対象物306を決定するために提案ブロック304によって処理され得る。1つまたは複数の対象物306は、購入するための1つまたは複数の製品に関連付けられ得る。それから、1つまたは複数のレンダリングデータセット310が、1つまたは複数の対象物306に基づいてレンダリングアセットデータベース308から取得され得る。1つまたは複数のレンダリングデータセット310は、1つまたは複数の対象物306に関連するデータを用いてレンダリングアセットデータベース308に問い合わせることによって取得され得る。一部の実装において、1つまたは複数のレンダリングデータセット310は、(たとえば、1つまたは複数のラベルによって)1つまたは複数の対象物306に予め関連付けられ得る。

【0079】

それから、画像データ312が、取得され得る。画像データ312は、1つまたは複数のユーザ環境(たとえば、ユーザの居間、ユーザの寝室、ユーザがいる現在の環境、ユーザの芝生、および/またはユーザに関連する特定の車)に関連付けられ得る。画像データ312は、ユーザによる1つまたは複数の選択に応答して取得される場合がある。画像データ312は、環境の1つまたは複数の画像を含み得る。一部の実装において、画像データ312は、1つまたは複数の機械学習モデル(たとえば、1つまたは複数のニューラル輝度場モデル)を訓練するために利用され得る。

【0080】

画像データ312および1つまたは複数のレンダリングデータセット310が、拡張画像データ316を生成するためにレンダリングモデル314で処理され得る。レンダリングモデル314は、1つもしくは複数のニューラル輝度場モデル、1つもしくは複数の拡張モデル、および/または1つもしくは複数のメッシュモデルを含み得る。

【0081】

拡張画像データ316は、ユーザ環境にレンダリングされた1つまたは複数の対象物306を描写し得る。拡張画像データ316は、画像データ312および1つまたは複数のレンダリングデータセット310に基づいて生成され得る。拡張画像データ316は、インタラクティブなユーザインターフェース318に表示するために提供されてよい。一部の実装において、ユーザは、拡張ユーザ環境のための異なる角度および/または異なるスケーリングを描写する拡張画像データ316の1つまたは複数の様々なレンダリングを見るために、インタラクティブなユーザインターフェース318とインタラクションすることができてよい。

【0082】

図4は、本開示の例示的な実施形態に従って働く例示的な方法の流れ図を描く。図4は、説明および検討を目的として特定の順序で実行されるステップを描くが、本開示の方法は、特に示される順序または配列に限定されない。方法400の様々なステップは、本開示の範囲を逸脱することなく様々な方法で省略され、再配列され、組み合わされ、および/または適合され得る。

【0083】

402において、コンピューティングシステムが、ユーザデータを取得することができる。ユーザデータは、特定のユーザに関連付けられ得る。一部の実装において、ユーザデータは、特定のユーザに関連する1つまたは複数の以前の検索クエリに関連する検索履歴データを含み得る。ユーザデータは、ブラウザデータを含み得る。ブラウザデータは、1つまたは複数の以前に閲覧されたウェブページに関連付けられ得る。一部の実装において、ユーザデータは、1つまたは複数の保存されたデータセット記述するデータを含み得る。1つまたは複数の保存されたデータセットは、1つまたは複数の以前のユーザインタラクションに応答して記憶された可能性がある。ユーザデータは、特定のユーザに関連するコンテキスト情報を記述するコンテキストデータを含み得る。

【0084】

404において、コンピューティングシステムが、ユーザデータに関連する複数の対象物を決定することができる。複数の対象物は、1つまたは複数の製品タイプに関連する複数の製品を含み得る。複数の対象物は、複数の異なる家具、複数の異なる衣類、複数の異なるカスタマイズの特徴、複数の異なる景観アイテム、および/または複数の異なる装飾を含み得る。複数の対象物は、ユーザの検索履歴、ユーザの閲覧履歴、ユーザプロファイル、ユーザの写真データベース、ユーザの購入履歴、ユーザの位置データ、および/またはユーザの好みデータに基づいて取得され得る。

【0085】

一部の実装において、ユーザデータは、検索クエリを含み得る。ユーザデータに関連する複数の対象物を決定することは、レンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットが検索クエリの少なくとも一部に関連付けられると判定することを含み得る。判定は、インデックス付けされたエンティティ、インデックス付けされたリンク、インデックス付けされたラベル、および/または1つもしくは複数のその他の識別子に基づき得る。

【0086】

追加的におよび/または代替的に、検索クエリは、1つまたは複数のクエリ画像を含み得る。ユーザデータに関連する複数の対象物を決定することは、1つまたは複数の描かれた対象物を決定するために1つまたは複数のクエリ画像を処理することと、1つまたは複数の決定された対象物に基づいてレンダリングアセットデータベースに問い合わせることとをさらに含み得る。決定は、埋め込み最近傍判定、特徴マッチング、および/またはラベルマッチングに基づいてよい。

【0087】

406において、コンピューティングシステムが、複数の対象物に基づいて複数のレンダリングデータセットを取得することができる。一部の実装において、複数のレンダリングデータセットは、コンテキストデータに基づいて取得され得る(たとえば、利用可能性の基準、価格の基準、および/またはサイズの基準を満たす対象物に関連するデータセットを取得する)。複数の対象物の各対象物は、複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられ得る。一部の実装において、複数のレンダリングデータセットは、複数のメッシュおよび複数のニューラル輝度場モデルを含み得る。各ニューラル輝度場モデルは、複数の対象物の異なるそれぞれの対象物の1つまたは複数のビューレンダリングを生成するように訓練された可能性がある。複数のメッシュは、特定のユーザが仮想環境内で視点および視線方向を動かすときに、複数の対象物をレンダリングするために利用され得る。一部の実装において、複数のニューラル輝度場モデルは、仮想環境における視点および視線方向が停滞しているときに、複数の対象物をレンダリングするために利用され得る。

【0088】

408において、コンピューティングシステムが、複数のレンダリングデータセットに基づいて仮想環境を生成することができる。仮想環境は、例示的な環境内の複数の対象物を描写し得る。仮想環境は、複数の3次元表現に基づいて生成され得る。3次元表現のうちの1つまたは複数は、機械学習されてよい。仮想環境は、テンプレート3次元環境内の1つまたは複数のレンダリングアセットのアンカリングに関連付けられ得る。テンプレートは、ユーザによって選択される、決定的に提供される、ランダムに決定される、および/または履歴的なユーザデータに基づいて決定される場合がある。

【0089】

410において、コンピューティングシステムが、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することができる。インタラクティブなユーザインターフェースは、仮想環境の複数の異なるビューを提供するように構成され得る。仮想環境は、拡張現実体験、仮想現実体験、複合現実体験、および/または1つもしくは複数のその他のユーザインターフェース要素を介して表示するために提供され得る。

【0090】

一部の実装において、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、複数のレンダリングデータセットのうちの1つまたは複数に基づいて第1のビューレンダリングを生成することを含み得る。第1のビューレンダリングは、第1のポジションおよび第1の方向から仮想環境の少なくとも第1の部分を描写する第1の画像を含み得る。インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、表示するために第1のビューレンダリングを提供することを含み得る。

【0091】

追加的および/または代替的に、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、ユーザインターフェース入力を取得することをさらに含み得る。ユーザインターフェース入力は、インタラクティブなユーザインターフェースとのナビゲーションインタラクションを含み得る。インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、複数のレンダリングデータセットのうちの1つまたは複数に基づいて第2のビューレンダリングを生成することをさらに含み得る。第2のビューレンダリングは、第2のポジションおよび第2の方向から仮想環境の少なくとも第2の部分を描写する第2の画像を含み得る。一部の実装において、インタラクティブなユーザインターフェースに表示するために仮想環境を提供することは、表示するために第2のビューレンダリングを提供することをさらに含み得る。

【0092】

図5は、本開示の例示的な実施形態による例示的なユーザデータ処理システム500のブロック図を描く。特に、図5は、インタラクティブなユーザインターフェース506を介して提供される仮想環境を生成するための、生成ブロック504によるユーザデータ502の処理を描く。

【0093】

ユーザデータ502は、検索履歴データ(たとえば、特定のユーザおよび/もしくはユーザのグループによる以前に入力された検索クエリ、以前に選択された検索結果、および/または以前に入力された検索パラメータ)、1つまたは複数の検索クエリ(たとえば、1つもしくは複数の検索語、1つもしくは複数のクエリ画像、および/または1つもしくは複数の音声クエリ)、購入履歴データ(以前購入された製品、以前ユーザのショッピングカートに入れられた製品、および/またはウィッシュリスト対象物)、画像データ(たとえば、環境の1つもしくは複数の画像および/または1つもしくは複数の対象物の1つもしくは複数の画像)、プロファイルデータ(たとえば、1人または複数のユーザに関連付けられる1つまたは複数のプロファイルに関連するデータ)、好みデータ(たとえば、手動で入力されたおよび/または1つもしくは複数のユーザインタラクションに基づいて推測された1つまたは複数の好み)、ならびに/あるいはその他のデータを含み得る。

【0094】

ユーザデータ502は、1つもしくは複数のレンダリングブロック(たとえば、1つもしくは複数のニューラル輝度場モデル)、1つもしくは複数のセグメンテーションモデル、1つもしくは複数の物体検出モデル、1つもしくは複数の物体認識モデル、1つもしくは複数の自然言語処理モデル、1つもしくは複数の拡張モデル、および/または1つもしくは複数の意味理解モデルを含み得る生成ブロック504によって処理されることが可能である。

【0095】

インタラクティブなユーザインターフェース506は、生成ブロック504によって生成された1つまたは複数の仮想環境を活用して、提案された拡張環境を見るためのインタラクティブな体験を提供することができる。インタラクティブなユーザインターフェース506は、1つもしくは複数のメッシュおよび/または1つもしくは複数のニューラル輝度場モデルを利用して、環境内の1つまたは複数の対象物の1つまたは複数のビューレンダリングを生成することができる。代替的および/または追加的に、インタラクティブなユーザインターフェース506は、拡張現実体験および/または仮想現実体験を利用して、表示するための仮想環境を提供することができる。たとえば、対象物がレンダリングされた環境の3次元表現が、拡張現実および/または仮想現実によって表示するために提供され得る。

【0096】

追加的および/または代替的に、インタラクティブなユーザインターフェース506は、1つまたは複数のユーザインターフェース要素を利用して、表示するために情報を提供するおよび/または入力を受け取ることができる。たとえば、ユーザインターフェース要素は、1つまたは複数の対象物に関するより多くの情報を自動的におよび/または1つもしくは複数の選択に基づいて提供する場合がある。1つまたは複数のユーザインターフェース要素は、仮想環境の1つまたは複数の異なる角度および/またはポジションを見るために仮想環境をナビゲートするために利用され得る。追加的および/または代替的に、ユーザインターフェース要素は、ユーザが仮想環境を異なるサイズで見るために仮想環境をスケーリングすることを可能にし得る。一部の実装において、1つまたは複数のユーザインターフェース要素は、環境内の1つもしくは複数の対象物を再配置する、1つもしくは複数の対象物を削除する、1つもしくは複数の対象物を追加する、および/または1つもしくは複数の対象物を置き換えるために利用され得る。

【0097】

図6は、本開示の例示的な実施形態による例示的な検索クエリ処理システム600のブロック図を描く。特に、図6は、インタラクティブなユーザインターフェース618を介して表示するために提供され得る拡張画像データ616を生成するために検索クエリ602および/または画像データ612が処理されるところを描く。

【0098】

検索クエリ602は、ユーザコンピューティングシステムから取得され得る。検索クエリ602は、1つまたは複数の文字(たとえば、1つまたは複数の単語)、画像データ(たとえば、対象物の1つもしくは複数の画像、あるスタイルの1つもしくは複数の画像、および/または動画)、音声データ(たとえば、スピーチデータ)、ならびに/あるいはジェスチャデータを含み得る。検索クエリ602は、検索クエリ602に関連する1つまたは複数の検索結果606(たとえば、検索クエリ602に応答する1つまたは複数の対象物)を決定するために検索エンジン604によって処理され得る。1つまたは複数の検索結果606は、購入するための1つまたは複数の製品に関連付けられ得る。1つまたは複数の検索結果606は、検索クエリ602に応答する1つまたは複数の対象物を記述し得る。1つまたは複数の対象物は、購入するための製品を含み得る。たとえば、検索クエリ602は、価格帯、スタイル、環境のタイプ、製品のタイプ、および/または1つもしくは複数の品質を記述し得る。そのとき、1つまたは複数の検索結果606は、検索クエリ602の記述的な特徴に応答する1つまたは複数の製品であることが可能である。それから、1つまたは複数のレンダリングデータセット610が、1つまたは複数の検索結果606に基づいてレンダリングアセットデータベース608から取得され得る。1つまたは複数のレンダリングデータセット610は、1つまたは複数の検索結果606および/または検索クエリ602に関連するデータを用いてレンダリングアセットデータベース608に問い合わせることによって取得され得る。一部の実装において、1つまたは複数のレンダリングデータセット610は、(たとえば、1つまたは複数のラベルによって)1つまたは複数の検索結果606に関連する1つまたは複数の対象物に予め関連付けられ得る。

【0099】

それから、画像データ612Aが、取得され得る。画像データ612Aは、1つまたは複数のユーザ環境(たとえば、ユーザの居間、ユーザの寝室、ユーザがいる現在の環境、ユーザの芝生、および/またはユーザに関連する特定の車)に関連付けられ得る。画像データ612Aは、ユーザによる1つまたは複数の選択に応答して取得される場合がある。画像データ612Aは、環境の1つまたは複数の画像を含み得る。一部の実装において、画像データ612Aは、1つまたは複数の機械学習モデル(たとえば、1つまたは複数のニューラル輝度場モデル)を訓練するために利用され得る。

【0100】

代替的および/または追加的に、1つまたは複数のテンプレート612Bが取得され得る。1つまたは複数のテンプレート612Bは、1つまたは複数の例示的な環境(たとえば、例示的な部屋、例示的な芝生、および/または例示的な車)に関連付けられ得る。1つまたは複数のテンプレート612Bは、検索クエリ602に基づいておよび/または1つもしくは複数の検索結果606に基づいて決定されてよい。テンプレート612Bは、画像データ、メッシュデータ、訓練されたニューラル輝度場モデル、3次元表現、および/または仮想現実体験を含み得る。

【0101】

画像データ612A、1つもしくは複数のテンプレート612B、および/または1つもしくは複数のレンダリングデータセット610が、拡張画像データ616を生成するためにレンダリングモデル614で処理され得る。レンダリングモデル614は、1つもしくは複数のニューラル輝度場モデル、1つもしくは複数の拡張モデル、および/または1つもしくは複数のメッシュモデルを含み得る。

【0102】

拡張画像データ616は、ユーザ環境にレンダリングされた1つまたは複数の検索結果606に関連する1つまたは複数の対象物を描写し得る。拡張画像データ616は、画像データ612A、1つもしくは複数のテンプレート612B、および/または1つもしくは複数のレンダリングデータセット610に基づいて生成され得る。拡張画像データ616は、インタラクティブなユーザインターフェース618に表示するために提供されてよい。一部の実装において、ユーザは、拡張ユーザ環境および/または拡張テンプレート環境のための異なる角度および/または異なるスケーリングを描写する拡張画像データ616の1つまたは複数の様々なレンダリングを見るために、インタラクティブなユーザインターフェース618とインタラクションすることができてよい。

【0103】

図7は、本開示の例示的な実施形態に従って働く例示的な方法の流れ図を描く。図7は、説明および検討を目的として特定の順序で実行されるステップを描くが、本開示の方法は、特に示される順序または配列に限定されない。方法700の様々なステップは、本開示の範囲を逸脱することなく様々な方法で省略され、再配列され、組み合わされ、および/または適合され得る。

【0104】

702において、コンピューティングシステムが、ユーザデータおよび画像データを取得することができる。ユーザデータは、特定のユーザに関連付けられ得る。ユーザデータは、ユーザに関連する履歴的データ、ユーザに関連するユーザ入力データ、および/またはユーザに関連するセンサーデータを記述し得る。画像データは、ユーザ環境を描写し得る。たとえば、ユーザ環境は、ユーザの寝室、ユーザの居間、ユーザの庭、ユーザの車、および/またはユーザのオフィスであることが可能である。

【0105】

704において、コンピューティングシステムが、ユーザデータに関連する複数の対象物を決定することができる。複数の対象物は、1つまたは複数の製品タイプに関連する複数の製品を含み得る。一部の実装において、複数の対象物は、複数の異なる家具を含み得る。複数の異なる家具は、第1の製品に関連する特定の座席を含み得る。一部の実装において、複数の異なる家具は、第2の製品に関連する特定のテーブルを含み得る。

【0106】

706において、コンピューティングシステムが、複数の対象物に基づいて複数のレンダリングデータセットを取得することができる。複数の対象物の各対象物は、複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられ得る。各レンダリングデータセットは、拡張現実レンダリングデータセット、仮想現実レンダリングデータセット、および/または別のレンダリングデータセットタイプを含み得る。一部の実装において、各レンダリングデータセットは、学習された3次元表現に関連する1つまたは複数の学習されたパラメータを有する1つもしくは複数のメッシュおよび/または1つもしくは複数のニューラル輝度場モデルを含み得る。

【0107】

708において、コンピューティングシステムが、複数のレンダリングデータセットに基づいて拡張画像データを生成することができる。拡張画像データは、ユーザ環境内の複数の対象物を描写し得る。一部の実装において、拡張画像データは、1つまたは複数の拡張画像を含み得る。1つまたは複数の拡張画像は、1つまたは複数のニューラル輝度場モデルによって生成された複数の予測された色値および複数の予測された密度値に基づいて生成され得る。

【0108】

710において、コンピューティングシステムが、インタラクティブなユーザインターフェースを介して表示するために拡張画像データを提供することができる。インタラクティブなユーザインターフェースは、ユーザ環境内の複数の対象物の複数の異なるビューを提供するように構成され得る。インタラクティブなユーザインターフェースは、拡張現実体験、仮想現実体験、および/または複合現実体験を含み得る。一部の実装において、インタラクティブなユーザインターフェースは、対象物が環境にレンダリングされたユーザ環境の1つまたは複数の角度を見るように構成され得る。

【0109】

一部の実装において、コンピューティングシステムは、複数の製品のうちの特定の製品に関連する特定のレンダリングに関連するユーザ入力データを取得し、特定のレンダリングを異なるレンダリングで置き換えるように拡張画像データを調整することができる。異なるレンダリングは、複数の製品の各々と異なる製品に関連付けられ得る。

【0110】

図8は、本開示の例示的な実施形態に従って働く例示的な方法の流れ図を描く。図8は、説明および検討を目的として特定の順序で実行されるステップを描くが、本開示の方法は、特に示される順序または配列に限定されない。方法800の様々なステップは、本開示の範囲を逸脱することなく様々な方法で省略され、再配列され、組み合わされ、および/または適合され得る。

【0111】

802において、コンピューティングシステムが、検索クエリを取得し、検索クエリを処理して1つまたは複数の検索結果を決定することができる。検索クエリは、複数の文字を含み得る。代替的および/または追加的に、検索クエリは、1つまたは複数のクエリ画像を含み得る。検索クエリは、ユーザインターフェースのクエリ入力ボックスによって受け取られる入力を介して取得され得る。検索クエリは、検索アプリケーションおよび/またはブラウザアプリケーションを介して取得される場合がある。

【0112】

1つまたは複数の検索結果は、1つまたは複数の特定の対象物に関連付けられ得る。1つまたは複数の検索結果は、検索クエリ、ユーザプロファイルデータ、位置データ、履歴的データ、トレンドデータ、および/または好みデータに基づいて決定され得る。

【0113】

804において、コンピューティングシステムが、1つまたは複数の検索結果がレンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットに関連付けられると判定することができる。レンダリングアセットデータベースは、複数の異なる対象物に関連する複数の記憶されたレンダリングデータセットを含み得る。各レンダリングデータセットは、1つもしくは複数のメッシュ、1つもしくは複数の3次元表現、1つもしくは複数の機械学習モデル(たとえば、1つもしくは複数のニューラル輝度場モデル)、ニューラル輝度場データ、画像データ、動画データ、および/または1つもしくは複数のその他のデータファイルを含み得る。

【0114】

806において、コンピューティングシステムが、レンダリングアセットデータベースから1つまたは複数のレンダリングデータセットを取得することができる。1つまたは複数のレンダリングデータセットは、1つまたは複数の特定の対象物に関連する1つまたは複数のメッシュおよび1つまたは複数のニューラル輝度場モデルを含み得る。1つまたは複数のメッシュは、ニューラル輝度場モデルがポジションおよび視線方向を処理して新規のビューレンダリングを生成するとき、3次元視覚化として利用され得る。

【0115】

808において、コンピューティングシステムが、画像データを取得することができる。画像データは、1つまたは複数のイメージセンサーを用いて生成され得る。一部の実装において、画像データは、ユーザ環境を描写し得る。画像データは、モバイルコンピューティングデバイスから取得される場合があり、モバイルコンピューティングデバイスの1つまたは複数のイメージセンサーによって生成される場合がある。画像データは、寝室、居間、キッチン、浴室、ガレージ、芝生、公園、および/または別の環境を含み得るユーザ環境を描写することが可能である。

【0116】

810において、コンピューティングシステムが、1つまたは複数のレンダリングデータセットに基づいて拡張画像データを生成することができる。拡張画像データは、ユーザ環境内の1つまたは複数の対象物を描写し得る。拡張画像データは、1つまたは複数のレンダリングデータセットおよび画像データを拡張モデルで処理することによって生成され得る。1つまたは複数のレンダリングデータセットは、1つまたは複数の対象物の1つまたは複数のレンダリングを生成するために利用されることが可能であり、拡張モデルは、1つまたは複数のレンダリングを含むように画像データを拡張することが可能である。

【0117】

812において、コンピューティングシステムが、インタラクティブなユーザインターフェースを介して表示するために拡張画像データを提供することができる。インタラクティブなユーザインターフェースは、ユーザ環境内の1つまたは複数の対象物の複数の異なるビューを提供するように構成され得る。インタラクティブなユーザインターフェースは、レンダリングされた環境の視点、視線方向、およびスケーリングをユーザが変更することを可能にし得る。ユーザは、環境の一部を選択してよく、環境を傾けるためにセレクタを新しいポジションに動かしてよい。代替的および/または追加的に、環境内のポジションが、その視点から環境を見るために選択されてよい。一部の実装において、インタラクティブなユーザインターフェースは、拡張環境の閲覧体験を調整するためのユーザインターフェース要素を含み得る。

【0118】

一部の実装においては、特定の製品に関連する特定のレンダリングを選択するユーザ入力データが、取得され得る。特定の製品は、1つまたは複数の対象物に関連付けられ得る。そして、特定の製品に関連する製品情報が、取得され得る。それから、製品情報は、表示するために提供され得る。

【0119】

代替的および/または追加的に、特定の製品に関連する特定のレンダリングを選択するユーザ入力データが、ユーザから取得され得る。特定の製品は、1つまたは複数の対象物に関連付けられ得る。そして、特定の製品に関連する製品リンクが、取得され得る。それから、製品リンクは、ユーザコンピューティングシステムに提供され得る。

【0120】

図9は、本開示の例示的な実施形態による例示的なレンダリングフローシステム900のブロック図を描く。図5と同様に、図9は、インタラクティブなユーザインターフェース906を介して表示するために提供され得る仮想環境を生成するための、生成ブロック904によるユーザデータ902の処理を描く。さらに、図9は、仮想環境の初期レンダリング910の表示を描く。初期レンダリング910は、ビューレンダリングを生成するために1つまたは複数のニューラル輝度場モデルでポジションおよび視線方向を処理することに基づいて生成され得る。代替的および/または追加的に、初期レンダリング910は、1つまたは複数の対象物を含むように1つまたは複数の画像を拡張することによって生成され得る。

【0121】

ユーザは、1つまたは複数の追加の入力を与えることによって、仮想環境とさらにインタラクションする場合がある。たとえば、ユーザは、ナビゲーション入力920を与える場合がある。ナビゲーション入力920は、異なる角度および/または異なるポジションから仮想環境を見るために仮想環境中をナビゲートするための1つまたは複数の入力を記述する場合がある。一部の実装において、インタラクティブなユーザインターフェース906は、表示が第1のポジションおよび/または第1の視線方向から第2のポジションおよび/または第2の視線方向に遷移するときに移動パイプライン(movement pipeline)を利用することができ、インタラクティブなユーザインターフェース906は、少なくとも閾値の期間表示される視点ポジションおよび視線方向のために停滞パイプライン(stagnant pipeline)を利用してよい。

【0122】

移動パイプラインは、表示が第1のポジションおよび/または第1の視線方向から第2のポジションおよび/または第2の視線方向に遷移するときに表示される1つまたは複数のナビゲーションレンダリング924を生成するために、メッシュモデル922でナビゲーション入力920を処理することを含み得る。メッシュモデル922は、対象物および/または環境の形状および/または色をレンダリングするために、1つまたは複数の3次元メッシュを利用することができる。

【0123】

停滞パイプラインは、ナビゲーション入力920に関連する最終的なポジションおよび最終的な視線方向を決定するために、ポジション/方向決定ブロック926でナビゲーション入力920を処理することができる。決定されたポジションおよび決定された視線方向は、改善されたレンダリング930を生成するために1つまたは複数のニューラル輝度場モデル928によって処理され得る。改善されたレンダリング930は、1つまたは複数のナビゲーションレンダリング924を置き換える場合がある。追加的および/または代替的に、1つまたは複数のナビゲーションレンダリングが、改善されたレンダリング930の表示の直前に表示するために提供される場合がある。

【0124】

代替的および/または追加的に、1つまたは複数の追加の入力は、情報入力940を含み得る。たとえば、特定の対象物および/または複数の対象物についてのより多くの情報を取得する要求を記述してよい情報入力940が、取得され得る。取り出しブロック942(たとえば、検索エンジンおよび/または意味理解モデル)が、情報入力940を処理して、情報出力944を生成してよい。情報出力944は、1つもしくは複数の対象物についての追加の情報を含むことが可能であり、追加の情報は、価格(もしくは価格帯)、スタイル、材料、カラーオプション、重量、サイズ、出荷時期、その他のオプション、対象物に関連するエンティティ、対象物の名前、対象物に関連するウェブサイト、小売業者、および/または説明を含み得る。そして、情報出力944は、1つまたは複数のユーザインターフェース要素(たとえば、ポップアップウィンドウ、情報オーバーレイ、音声通知、別ウィンドウなど)を介して表示するために提供されてよい。

【0125】

一部の実装において、追加の入力は、置換/削除入力950を含み得る。置換/削除入力950は、1つまたは複数の対象物のレンダリングの置き換えおよび/または削除を記述し得る。置換/削除入力950は、処理されることが可能であり、1つまたは複数のユーザインターフェース要素が、置き換えまたは削除を完了するための1つまたは複数のオプションをユーザに提供するために提供されてよい。たとえば、選択された対象物を置き換えるために利用されることが可能な特定の対象物クラスのその他の対象物に関する1つまたは複数の代替的なオプションが、表示するために提供され得る。その他の対象物は、同じ価格帯、同じ材料、同じ色であることが可能であり、および/または1つもしくは複数の点で異なる場合がある。それから、置換/削除入力950は、調整されたレンダリング954を生成するためにレンダリングブロック950によって処理されてよい。調整されたレンダリング954は、1つまたは複数の選択された対象物が置き換えられたおよび/または削除された仮想環境を描写し得る。

【0126】

図10は、本開示の例示的な実施形態による例示的なニューラル輝度場モデルの訓練1000のブロック図を描く。ニューラル輝度場モデル1006を訓練することは、1つまたは複数の訓練データセットを処理することを含み得る。1つまたは複数の訓練データセットは、1つもしくは複数の対象物および/または1つもしくは複数の環境に固有であり得る。たとえば、ニューラル輝度場モデル1006は、訓練ポジション1002(たとえば、3次元ポジション)ならびに訓練視線方向1004(たとえば、2次元視線方向および/またはベクトル)を処理して、1つもしくは複数の予測された色値1008および/または1つもしくは複数の予測された密度値1010を生成することができる。1つまたは複数の予測された色値1008および1つまたは複数の予測された密度値1010は、ビューレンダリング1012を生成するために利用され得る。

【0127】

訓練ポジション1002および訓練視線方向1004に関連する訓練画像1014が、取得され得る。訓練画像1014およびビューレンダリング1012は、損失関数1016を評価するために利用され得る。それから、評価は、ニューラル輝度場モデル1006の1つまたは複数のパラメータを調整するために利用され得る。たとえば、訓練画像1014およびビューレンダリング1012は、勾配降下を生成するために損失関数1016を評価するために利用されることが可能であり、勾配降下は、1つまたは複数のパラメータを調整するために逆伝播され得る。損失関数1016は、L2損失関数、知覚損失関数(perceptual loss function)、平均二乗損失関数、交差エントロピー損失関数、および/またはヒンジ損失関数を含み得る。

【0128】

図11は、本開示の例示的な実施形態による例示的な十分な情報に基づく対象物選択およびレンダリングシステム1100のブロック図を描く。特に、十分な情報に基づく対象物選択およびレンダリングシステム1100は、ユーザのコンテキスト情報1114および/またはユーザによる利用可能性に基づく、1つまたは複数の対象物に関連するレンダリングデータセット1112の選択を含むことができる。十分な情報に基づく対象物選択システム1100は、コンテキスト情報1114および/またはその他のユーザデータを活用して、獲得するために(たとえば、購入するために)ユーザによって利用可能な対象物に関連するレンダリングデータセット1112を決定することができる。

【0129】

たとえば、コンテキスト情報1114は、ユーザコンピューティングシステムから取得される場合がある。コンテキスト情報1114は、1つもしくは複数の検索クエリ、ユーザの位置、価格帯、ユーザのその他の利用可能性の基準、好み、履歴的データ(たとえば、検索履歴データ、閲覧履歴データ、および/もしくは購入履歴データ)、ならびに/またはユーザプロファイルデータを含み得る。検索クエリは、1つもしくは複数の対象物、1つもしくは複数のスタイル、および/または1つもしくは複数のその他の詳細に関連付けられてよい。

【0130】

コンテキスト情報1114は、対象物選択1116のために処理され得る。対象物選択1116は、コンテキスト情報1114に関連付けられるレンダリングデータセットに関連する対象物を決定することを含み得る。選択されたレンダリングデータセットは、複数のレンダリングデータセット1112からのレンダリングデータセットであることが可能である。複数のレンダリングデータセット1112は、知られている特性を持つ複数の対象物に関連する複数の記憶されたニューラル輝度場(NeRF)モデルを含み得る。複数のレンダリングデータセット1112は、レンダリングデータセットライブラリに記憶されてよく、位置、価格、アクションリンク(たとえば、ウェブサイト上の詳細へのリンク、対象物に関連する製品を購入するためのリンク、および/もしくはトラッキングリンク)、ならびに/または追加の知られている特性に関連するメタデータとともに記憶されてよい。

【0131】

対象物選択1116は、コンテキスト情報1114に基づいてユーザに関連する位置および/または価格帯を決定することを含むことができ、対象物がユーザの位置および/またはユーザの価格帯内で利用可能であることに基づいて特定の対象物を選択してよい。対象物選択1116は、検索クエリに応答する検索結果を決定するために利用される場合があり、および/またはユーザに提案を提供するために利用される場合がある。一部の実装において、選択されたレンダリングデータセット1130は、検索結果インターフェースおよび/または提案インターフェース(たとえば、発見インターフェース)に表示されてよい1つまたは複数のレンダリングを生成するために利用される場合がある。レンダリングは、ユーザ環境および/またはテンプレート環境内の対象物を描写することができる。したがって、十分な情報に基づく対象物選択およびレンダリングシステム1100は、ライブ試着体験、ならびに/またはレンダリングデータセットが位置、サイズ、および/もしくは価格帯に基づいてユーザによって利用可能な対象物を記述するその他のレンダリングタスクのためのレンダリングデータセットを用いて検索結果および/または提案を提供するために利用され得る。

【0132】

たとえば、選択されたレンダリングデータセットは、1つまたは複数のビュー合成画像1120を生成するためにレンダリングブロック1118で処理され得る。1つまたは複数のビュー合成画像1120は、インタラクティブなユーザインターフェース1122に表示するために提供され得る。1つまたは複数のビュー合成画像1120は、レンダリングされてよい対象物の新規のビューならびに/または環境(たとえば、ユーザ環境および/もしくはテンプレート環境)にレンダリングされてよい対象物を描写し得る。インタラクティブなユーザインターフェース1122は、選択されたレンダリングデータセットおよびレンダリングブロック1118を利用して、対象物が環境にレンダリングされた環境の仮想ウォークスルーを生成および/または提供してよい。たとえば、インタラクティブなユーザインターフェース1122は、ユーザが対象物があるレンダリングされた環境内をナビゲートすることを可能にしてよく、これは、1つまたは複数のナビゲーションの選択に応答して更新されたビューレンダリングを生成することを含み得る。

【0133】

追加的および/または代替的に、インタラクティブなユーザインターフェース1122は、複数のレンダリングされた対象物を一度に見るための更新された選択および/または追加の選択を含み得る、追加のレンダリングデータセットを取得し、利用するために利用され得る1つまたは複数のカスタマイズオプションを含むことが可能である。一部の実装において、レンダリングされた環境は、ユーザ画像データで訓練された訓練されたニューラル輝度場モデルを含み得る、ユーザに関連する1つまたは複数のレンダリングデータセットを含むことが可能である。カスタマイズは、対象物の移動、対象物の置き換え、対象物の追加、および/または対象物の削除を含み得る。

【0134】

一部の実装において、1つもしくは複数のビュー合成画像1120および/または選択されたレンダリングデータセットに関連するデータは、1つまたは複数の視覚的検索結果1126を取得するための視覚的検索クエリ1124として利用されてよい。1つまたは複数の視覚的検索結果1126は、1つまたは複数の好みの基準を満たす知られている利用可能性を有する知られている対象物に関連付けられ得る。1つまたは複数の視覚的検索結果1126は、選択されたレンダリングデータセットに予め関連付けられる場合がある。代替的および/または追加的に、1つまたは複数の視覚的検索結果1126は、1つまたは複数のビュー合成画像1120との視覚的類似性に基づく場合がある。一部の実装において、検索エンジンは、1つまたは複数のビュー合成画像1120およびコンテキスト情報1114を処理して、1つまたは複数の視覚的検索結果1126を決定してよい。

【0135】

視覚的検索クエリ1124は、特定のビュー合成画像を含んでよく、ビュー合成画像のクロッピングされた部分、および/または選択されたレンダリングデータセットに関連する1つもしくは複数の訓練画像を含んでよい。たとえば、視覚的検索クエリ1124は、特定のビュー合成画像のセグメンテーションされた部分を含む場合がある。ユーザは、画像から対象物を、視覚的検索クエリ1124としてその後利用されるようにセグメンテーションするために、1つまたは複数のビュー合成画像1120内の対象物を選択してよい。

【0136】

図12は、本開示の例示的な実施形態による例示的な拡張環境生成システム1200のブロック図を描く。拡張環境生成システム1200。特に、図12は、ユーザデータ1202(たとえば、検索クエリ、検索パラメータ、好みデータ、履歴的なユーザデータ、および/または画像データ)を取得することと、環境1206にレンダリングされた複数の対象物1204を含む拡張環境1208の3次元表現を描写するインタラクティブなユーザインターフェース1210をユーザに出力することとを含む拡張環境生成システム1200を描く。

【0137】

たとえば、ユーザに関連するユーザデータ1202が、取得され得る。ユーザデータ1202は、検索クエリ(たとえば、1つもしくは複数のキーワードおよび/または1つもしくは複数のクエリ画像)、履歴的データ(たとえば、ユーザの検索履歴、ユーザのブラウザ履歴、および/またはユーザの購入履歴)、好みデータ(たとえば、明示的に入力された好み、学習された好み、および/または好みの重み付けされた調整)、絞り込みパラメータ(たとえば、価格帯、位置、ブランド、格付け、および/またはサイズ)、ならびに/あるいは生成されたコレクション(たとえば、ショッピングカートおよび/または仮想興味ボード(virtual interest board)を含み得るユーザによって生成されたコレクション)を含み得る。

【0138】

ユーザデータ1202は、1つまたは複数の対象物1204を決定するために利用され得る。1つまたは複数の対象物1204は、ユーザデータ1202に応じることができる。たとえば、1つまたは複数の対象物1204は、検索クエリおよび/または1つもしくは複数の絞り込みパラメータに応答する検索結果に関連付けられ得る。一部の実装において、1つまたは複数の対象物1204は、対象物を提案するように訓練された1つまたは複数の機械学習モデルでユーザデータ1202を処理することによって決定され得る。

【0139】

1つまたは複数の対象物1204に関連する1つまたは複数のレンダリングデータセットが、インタラクティブなユーザインターフェース1210において提供され得る拡張環境1208を生成するために環境1206を拡張するために取得され得る。1つまたは複数のレンダリングデータセットは、それぞれの特定の対象物のための1つまたは複数のメッシュおよび1つまたは複数のニューラル輝度場データセット(たとえば、対象物に関連する1つまたは複数の学習されたパラメータを持つ1つまたは複数のニューラル輝度場モデル)を含み得る。

【0140】

拡張環境1208は、環境ナビゲーションのインスタンス(instance)の間は環境1206においてレンダリングされるメッシュとして提供されることが可能であり、特定のポジションおよび視線方向から拡張環境1208を見ている間に取得されている閾値の時間のインスタンスの間は環境1206においてニューラル輝度場レンダリングによって提供されることが可能である。

【0141】

ナビゲーションおよび停滞が、インタラクティブなユーザインターフェース1210とのインタラクションに応答して起こり得る。インタラクティブなユーザインターフェース1210は、1つもしくは複数の対象物1204に関する追加の情報を提供するためのポップアップ要素を含むことができ、および/または対象物1204を置換/追加/削除するために利用される場合がある。

【0142】

環境1206は、テンプレート環境であることが可能であり、ならびに/あるいは1つまたは複数のユーザ入力(たとえば、仮想モデル生成および/または1つもしくは複数の入力画像)に基づいて生成されたユーザ環境である場合がある。

【0143】

図13Aは、本開示の例示的な実施形態による、仮想環境生成を実行する例示的なコンピューティングシステム1300のブロック図を描く。システム1300は、ネットワーク1380を介して通信可能なように結合されるユーザコンピューティングデバイス1302、サーバコンピューティングシステム1330、および訓練コンピューティングシステム1350を含む。

【0144】

ユーザコンピューティングデバイス1302は、たとえば、パーソナルコンピューティングデバイス(たとえば、ラップトップもしくはデスクトップ)、モバイルコンピューティングデバイス(たとえば、スマートフォンもしくはタブレット)、ゲームコンソールもしくはコントローラ、ウェアラブルコンピューティングデバイス、組み込みコンピューティングデバイス、または任意のその他のタイプのコンピューティングデバイスなどの任意のタイプのコンピューティングデバイスであることが可能である。

【0145】

ユーザコンピューティングデバイス1302は、1つまたは複数のプロセッサ1312およびメモリ1314を含む。1つまたは複数のプロセッサ1312は、任意の好適な処理デバイス(たとえば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラなど)であることが可能であり、1つのプロセッサまたは動作可能なように接続される複数のプロセッサであることが可能である。メモリ1314は、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、およびこれらの組合せなどの1つまたは複数の非一時的コンピュータ可読ストレージ媒体を含み得る。メモリ1314は、データ1316と、ユーザコンピューティングデバイス1302に動作を実行させるためにプロセッサ1312によって実行される命令1318とを記憶することができる。

【0146】

一部の実装において、ユーザコンピューティングデバイス1302は、1つまたは複数の機械学習モデル1320(たとえば、1つまたは複数のニューラル輝度場モデル)を記憶するかまたは含むことができる。たとえば、機械学習モデル1320は、ニューラルネットワーク(たとえば、ディープニューラルネットワーク)、または非線形モデルおよび/もしくは線形モデルを含むその他のタイプの機械学習モデルなどの様々な機械学習モデルであることが可能であるかまたはそうでなければそのような機械学習モデルを含むことが可能である。ニューラルネットワークは、順伝播型ニューラルネットワーク、リカレントニューラルネットワーク(たとえば、長期短期記憶リカレントニューラルネットワーク)、畳み込みニューラルネットワーク、またはその他の形態のニューラルネットワークを含み得る。例示的な機械学習モデル1320が、図2～図5および図9～図10を参照して検討される。

【0147】

一部の実装において、1つまたは複数の機械学習モデル1320は、ネットワーク1380を介してサーバコンピューティングシステム1330から受け取られ、ユーザコンピューティングデバイスのメモリ1314に記憶され、それから、1つまたは複数のプロセッサ1312によって使用されるかまたはそうでなければ実施されることが可能である。一部の実装において、ユーザコンピューティングデバイス1302は、(たとえば、視点ポジションおよび/または視線方向の要求の複数のインスタンスにまたがって並列的なビューレンダリング合成を実行するために)単一の機械学習モデル1320の複数の並列的なインスタンスを実施することができる。

【0148】

より詳細には、1つまたは複数の機械学習モデル1320が、ポジションおよび視線方向を処理し、1つまたは複数のレンダリングを出力するように訓練され得る1つまたは複数のニューラル輝度場モデルを含むことができる。1つまたは複数のレンダリングは、ビューレンダリングを生成するために画像データと連結され得る1つまたは複数の対象物を描写することができる。代替的および/または追加的に、1つまたは複数のレンダリングは、対象物のある環境を描写することができる。一部の実装において、1つまたは複数の機械学習モデル1320は、物体検出モデル、物体認識モデル、および/またはセグメンテーションモデルを含み得る。モデルは、テンプレート環境および/またはユーザ環境内の対象物をレンダリングするための1つまたは複数のレンダリングデータセットを生成するために利用され得る。たとえば、1つまたは複数の画像が取得され得る。物体検出モデルは、1つまたは複数の画像を処理して、画像内の1つまたは複数の検出された対象物に関連する1つまたは複数のバウンディングボックスを生成することができる。1つまたは複数のバウンディングボックスに関連するデータは、1つまたは複数の分類を生成するために物体認識モデルで処理され得る。追加的および/または代替的に、1つまたは複数のバウンディングボックスに関連するデータは、セグメンテーションされた対象物データを生成するためにセグメンテーションモデルで処理され得る。そして、セグメンテーションされた対象物データおよび1つまたは複数の分類は、ニューラル輝度場モデルを訓練するため、および/または拡張画像データを生成するために利用されるために記憶され得る。

【0149】

一部の実装において、1つまたは複数の機械学習モデル1320は、1つまたは複数の対象物の提案および/またはテンプレートの提案を生成するためにユーザデータを処理するための1つまたは複数の提案モデルを含み得る。追加的および/または代替的に、1つまたは複数の提案モデルは、決定されたテンプレート、取得された画像、および/または1つもしくは複数のその他の対象物の提案に基づいて提案を調整するように訓練され得る。

【0150】

追加的にまたは代替的に、1つまたは複数の機械学習モデル1340(たとえば、1つまたは複数のニューラル輝度場モデル)は、クライアント-サーバの関係によりユーザコンピューティングデバイス1302と通信するサーバコンピューティングシステム1330に含まれるかまたはそうでなければ記憶され、実施されることが可能である。たとえば、機械学習モデル1340は、ウェブサービス(たとえば、仮想環境生成サービス)の一部としてサーバコンピューティングシステム1330によって実施され得る。したがって、1つもしくは複数のモデル1320が、ユーザコンピューティングデバイス1302に記憶され、実施されることが可能であり、および/または1つもしくは複数のモデル1340が、サーバコンピューティングシステム1330に記憶され、実施されることが可能である。

【0151】

ユーザコンピューティングデバイス1302は、ユーザ入力を受け取る1つまたは複数のユーザ入力コンポーネント1322も含み得る。たとえば、ユーザ入力コンポーネント1322は、ユーザ入力オブジェクト(たとえば、指またはスタイラス)のタッチを感知可能であるタッチ感知式コンポーネント(たとえば、タッチ式ディスプレイスクリーンまたはタッチパッド)であることが可能である。タッチ感知式コンポーネントは、仮想キーボードを実施するように働き得る。その他の例示的なユーザ入力コンポーネントは、マイクロフォン、通常のキーボード、またはユーザがユーザ入力を与えることができるその他の手段を含む。

【0152】

サーバコンピューティングシステム1330は、1つまたは複数のプロセッサ1332およびメモリ1334を含む。1つまたは複数のプロセッサ1332は、任意の好適な処理デバイス(たとえば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラなど)であることが可能であり、1つのプロセッサまたは動作可能なように接続される複数のプロセッサであることが可能である。メモリ1334は、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、およびこれらの組合せなどの1つまたは複数の非一時的コンピュータ可読ストレージ媒体を含み得る。メモリ1334は、データ1336と、サーバコンピューティングシステム1330に動作を実行させるプロセッサ1332によって実行される命令1338とを記憶することができる。

【0153】

一部の実装において、サーバコンピューティングシステム1330は、1つもしくは複数のサーバコンピューティングデバイスを含むか、またはそうでなければ1つもしくは複数のサーバコンピューティングデバイスによって実装される。サーバコンピューティングシステム1330が複数のサーバコンピューティングデバイスを含む場合、そのようなサーバコンピューティングデバイスは、逐次コンピューティングアーキテクチャ、並列コンピューティングアーキテクチャ、またはこれらの何らかの組合せによって動作し得る。

【0154】

上述のように、サーバコンピューティングシステム1330は、1つまたは複数の機械学習モデル1340を記憶するかまたはそうでなければ含むことが可能である。たとえば、モデル1340は、様々な機械学習モデルであることが可能であるか、またはそうでなければ様々な機械学習モデルを含むことが可能である。例示的な機械学習モデルは、ニューラルネットワークまたはその他の多層非線形モデルを含む。例示的なニューラルネットワークは、順伝播型ニューラルネットワーク、ディープニューラルネットワーク、リカレントニューラルネットワーク、および畳み込みニューラルネットワークを含む。例示的なモデル1340が、図2～図5および図9～図10を参照して検討される。

【0155】

ユーザコンピューティングデバイス1302および/またはサーバコンピューティングシステム1330は、ネットワーク1380を介して通信可能なように結合される訓練コンピューティングシステム1350とのインタラクションによってモデル1320および/または1340を訓練することができる。訓練コンピューティングシステム1350は、サーバコンピューティングシステム1330と別れていることが可能であり、またはサーバコンピューティングシステム1330の一部であることが可能である。

【0156】

訓練コンピューティングシステム1350は、1つまたは複数のプロセッサ1352およびメモリ1354を含む。1つまたは複数のプロセッサ1352は、任意の好適な処理デバイス(たとえば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラなど)であることが可能であり、1つのプロセッサまたは動作可能なように接続される複数のプロセッサであることが可能である。メモリ1354は、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、およびこれらの組合せなどの1つまたは複数の非一時的コンピュータ可読ストレージ媒体を含み得る。メモリ1354は、データ1356と、訓練コンピューティングシステム1350に動作を実行させるためにプロセッサ1352によって実行される命令1358とを記憶することができる。一部の実装において、訓練コンピューティングシステム1350は、1つもしくは複数のサーバコンピューティングデバイスを含むか、またはそうでなければ1つもしくは複数のサーバコンピューティングデバイスによって実装される。

【0157】

訓練コンピューティングシステム1350は、たとえば、誤差逆伝播法などの様々な訓練または学習技術を使用してユーザコンピューティングデバイス1302および/またはサーバコンピューティングシステム1330に記憶された機械学習モデル1320および/または1340を訓練するモデルトレーナ1360を含み得る。たとえば、損失関数が、(たとえば、損失関数の勾配に基づいて)モデルの1つまたは複数のパラメータを更新するためにモデルを通して逆伝播され得る。平均二乗誤差、尤度損失、交差エントロピー損失、ヒンジ損失、および/または様々なその他の損失関数などの様々な損失関数が、使用され得る。勾配降下法が、多数の訓練の反復でパラメータを反復的に更新するために使用され得る。

【0158】

一部の実装において、誤差逆伝播法を実行することは、打ち切り型通時的逆伝播(truncated backpropagation through time)を実行することを含み得る。モデルトレーナ1360は、訓練されているモデルの汎化能力を高めるためにいくつかの汎化技術(たとえば、重み減衰、ドロップアウトなど)を実行することができる。

【0159】

特に、モデルトレーナ1360は、訓練データ1362のセットに基づいて機械学習モデル1320および/または1340を訓練することができる。訓練データ1362は、たとえば、訓練画像データ、訓練テキストデータ、訓練潜在符号化データ、訓練ラベルデータ、訓練拡張データ、訓練セグメンテーションマスクデータ、訓練バウンディングボックス、訓練統計予測、および/またはその他の訓練データを含み得る。一部の実装において、訓練データ1362は、グラウンドトゥルース(ground truth)データを含み得る。

【0160】

一部の実装において、ユーザが同意を与えた場合、訓練例は、ユーザコンピューティングデバイス1302によって提供され得る。したがって、そのような実装において、ユーザコンピューティングデバイス1302に提供されるモデル1320は、ユーザコンピューティングデバイス1302から受け取られたユーザに固有のデータで訓練コンピューティングシステム1350によって訓練され得る。場合によっては、このプロセスは、モデルのパーソナライズと呼ばれ得る。

【0161】

モデルトレーナ1360は、所望の機能を提供するために利用されるコンピュータ論理を含む。モデルトレーナ1360は、ハードウェア、ファームウェア、および/または汎用プロセッサを制御するソフトウェアに実装され得る。たとえば、一部の実装において、モデルトレーナ1360は、ストレージデバイスに記憶され、メモリにロードされ、1つまたは複数のプロセッサによって実行されるプログラムファイルを含む。その他の実装において、モデルトレーナ1360は、RAM、ハードディスク、または光学式もしくは磁気式媒体などの有形のコンピュータ可読ストレージ媒体に記憶されるコンピュータが実行可能な命令の1つまたは複数のセットを含む。

【0162】

ネットワーク1380は、ローカルエリアネットワーク(たとえば、イントラネット)、広域ネットワーク(たとえば、インターネット)、またはこれらの何らかの組合せなどの任意のタイプの通信ネットワークであることが可能であり、任意の数の有線またはワイヤレスリンクを含むことが可能である。概して、ネットワーク1380を介した通信は、多種多様な通信プロトコル(たとえば、TCP/IP、HTTP、SMTP、FTP)、符号化もしくはフォーマット(たとえば、HTML、XML)、および/または保護方式(たとえば、VPN、セキュアHTTP、SSL)を使用して任意のタイプの有線および/またはワイヤレス接続を介して運ばれ得る。

【0163】

本明細書に記載の機械学習モデルは、様々なタスク、アプリケーション、および/またはユースケースで使用されてよい。

【0164】

一部の実装において、本開示の機械学習モデルへの入力は、画像データであり得る。機械学習モデルは、出力を生成するために画像データを処理することができる。例として、機械学習モデルは、画像認識出力(たとえば、画像データの認識、画像データの潜在埋め込み、画像データの符号化された表現、画像データのハッシュなど)を生成するために画像データを処理することができる。別の例として、機械学習モデルは、画像セグメンテーション出力を生成するために画像データを処理することができる。別の例として、機械学習モデルは、画像分類出力を生成するために画像データを処理することができる。別の例として、機械学習モデルは、画像データ修正出力(たとえば、画像データの変更など)を生成するために画像データを処理することができる。別の例として、機械学習モデルは、符号化された画像データ出力(たとえば、画像データの符号化されたおよび/または圧縮された表現など)を生成するために画像データを処理することができる。別の例として、機械学習モデルは、アップスケールされた画像データ出力を生成するために画像データを処理することができる。別の例として、機械学習モデルは、予測出力を生成するために画像データを処理することができる。

【0165】

一部の実装において、本開示の機械学習モデルへの入力は、テキストまたは自然言語データであり得る。機械学習モデルは、出力を生成するためにテキストまたは自然言語データを処理することができる。例として、機械学習モデルは、言語符号化出力を生成するために自然言語データを処理することができる。別の例として、機械学習モデルは、潜在テキスト埋め込み出力を生成するためにテキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、翻訳出力を生成するためにテキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、分類出力を生成するためにテキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、テキストセグメンテーション出力を生成するためにテキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、意味的意図(semantic intent)出力を生成するためにテキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、アップスケールされたテキストまたは自然言語出力(たとえば、入力テキストまたは自然言語よりも高品質なテキストまたは自然言語データなど)を生成するためにテキストまたは自然言語データを処理することができる。別の例として、機械学習モデルは、予測出力を生成するためにテキストまたは自然言語データを処理することができる。

【0166】

一部の実装において、本開示の機械学習モデルへの入力は、スピーチデータ(たとえば、音声入力によって与えられるユーザの要求)であり得る。機械学習モデルは、出力を生成するためにスピーチデータを処理することができる。例として、機械学習モデルは、音声認識出力を生成するためにスピーチデータを処理することができる。別の例として、機械学習モデルは、スピーチ翻訳出力を生成するためにスピーチデータを処理することができる。別の例として、機械学習モデルは、潜在埋め込み出力を生成するためにスピーチデータを処理することができる。別の例として、機械学習モデルは、符号化されたスピーチ出力(たとえば、スピーチデータの符号化されたおよび/または圧縮された表現など)を生成するためにスピーチデータを処理することができる。別の例として、機械学習モデルは、アップスケールされたスピーチ出力(たとえば、入力スピーチデータよりも高品質なスピーチデータなど)を生成するためにスピーチデータを処理することができる。別の例として、機械学習モデルは、テキスト表現出力(たとえば、入力スピーチデータのテキスト表現など)を生成するためにスピーチデータを処理することができる。別の例として、機械学習モデルは、予測出力を生成するためにスピーチデータを処理することができる。

【0167】

一部の実装において、本開示の機械学習モデルへの入力は、潜在符号化データ(たとえば、入力の潜在空間表現など)であり得る。機械学習モデルは、出力を生成するために潜在符号化データを処理することができる。例として、機械学習モデルは、認識出力を生成するために潜在符号化データを処理することができる。別の例として、機械学習モデルは、再構築出力を生成するために潜在符号化データを処理することができる。別の例として、機械学習モデルは、検索出力を生成するために潜在符号化データを処理することができる。別の例として、機械学習モデルは、再クラスタリング出力を生成するために潜在符号化データを処理することができる。別の例として、機械学習モデルは、予測出力を生成するために潜在符号化データを処理することができる。

【0168】

一部の実装において、本開示の機械学習モデルへの入力は、統計データ(たとえば、統計的光子信号データ(statistical photon signal data)、トレンドデータ、時間ログ(time log)など)であり得る。機械学習モデルは、出力を生成するために統計データを処理することができる。例として、機械学習モデルは、認識出力を生成するために統計データを処理することができる。別の例として、機械学習モデルは、予測出力を生成するために統計データを処理することができる。別の例として、機械学習モデルは、分類出力を生成するために統計データを処理することができる。別の例として、機械学習モデルは、セグメンテーション出力を生成するために統計データを処理することができる。別の例として、機械学習モデルは、セグメンテーション出力を生成するために統計データを処理することができる。別の例として、機械学習モデルは、視覚化出力を生成するために統計データを処理することができる。別の例として、機械学習モデルは、診断出力を生成するために統計データを処理することができる。

【0169】

一部の実装において、本開示の機械学習モデルへの入力は、センサーデータであり得る。機械学習モデルは、出力を生成するためにセンサーデータを処理することができる。例として、機械学習モデルは、認識出力を生成するためにセンサーデータを処理することができる。別の例として、機械学習モデルは、予測出力を生成するためにセンサーデータを処理することができる。別の例として、機械学習モデルは、分類出力を生成するためにセンサーデータを処理することができる。別の例として、機械学習モデルは、セグメンテーション出力を生成するためにセンサーデータを処理することができる。別の例として、機械学習モデルは、セグメンテーション出力を生成するためにセンサーデータを処理することができる。別の例として、機械学習モデルは、視覚化出力を生成するためにセンサーデータを処理することができる。別の例として、機械学習モデルは、診断出力を生成するためにセンサーデータを処理することができる。別の例として、機械学習モデルは、検出出力を生成するためにセンサーデータを処理することができる。

【0170】

場合によっては、機械学習モデルは、信頼性の高いおよび/もしくは効率的な送信または記憶のための入力データの符号化(ならびに/または対応する復号)を含むタスクを実行するように構成され得る。たとえば、タスクは、音声圧縮タスクである場合がある。入力は、音声データを含む場合があり、出力は、圧縮された音声データを含む場合がある。別の例において、入力は、視覚データ(たとえば、1つまたは複数の画像または動画)を含み、出力は、圧縮された視覚データを含み、タスクは、視覚データの圧縮タスクである。別の例において、タスクは、入力データ(たとえば、入力音声または視覚データ)に関する埋め込みを生成することを含む場合がある。

【0171】

場合によっては、入力は、視覚データを含み、タスクは、コンピュータビジョンタスクである。場合によっては、入力は、1つまたは複数の画像のピクセルデータを含み、タスクは、画像処理タスクである。たとえば、画像処理タスクは、画像分類であることが可能であり、出力は、スコアのセットであり、各スコアは、異なる対象物クラスに対応し、1つまたは複数の画像が対象物クラスに属する対象物を描く見込み(likelihood)を表す。画像処理タスクは、物体検出である場合があり、画像処理出力は、1つまたは複数の画像内の1つまたは複数の領域と、各領域に関して、その領域が関心のある対象物を描く見込みとを特定する。別の例として、画像処理タスクは、画像セグメンテーションであることが可能であり、画像処理出力は、1つまたは複数の画像内の各ピクセルに関して、カテゴリの所定のセットの各カテゴリに関するそれぞれの見込みを定義する。たとえば、カテゴリのセットは、前景および背景であることが可能である。別の例として、カテゴリのセットは、対象物クラスであることが可能である。別の例として、画像処理タスクは、深度推定であることが可能であり、画像処理出力は、1つまたは複数の画像内の各ピクセルに関して、それぞれの深度値を定義する。別の例として、画像処理タスクは、動き推定であることが可能であり、ネットワーク入力は、複数の画像を含み、画像処理出力は、入力画像のうちの1つの各ピクセルに関して、ネットワーク入力の画像間のピクセルに描かれたシーンの動きを定義する。

【0172】

場合によっては、入力は、口頭の発話を表す音声データを含み、タスクは、音声認識タスクである。出力は、口頭の発話にマッピングされるテキスト出力を含む場合がある。場合によっては、タスクは、入力データを暗号化することまたは復号することを含む。場合によっては、タスクは、分岐予測またはメモリアドレス変換などのマイクロプロセッサ実行タスクを含む。

【0173】

図13Aは、本開示を実施するために使用され得る1つの例示的なコンピューティングシステムを示す。その他のコンピューティングシステムも、使用され得る。たとえば、一部の実装においては、ユーザコンピューティングデバイス1302が、モデルトレーナ1360および訓練データセット1362を含み得る。そのような実装において、モデル1320は、ユーザコンピューティングデバイス1302のローカルで訓練されかつ使用されることが可能である。そのような実装の一部において、ユーザコンピューティングデバイス1302は、ユーザに固有のデータに基づいてモデル1320をパーソナライズするためにモデルトレーナ1360を実装し得る。

【0174】

追加的および/または代替的に、ユーザコンピューティングデバイス1302は、1つまたは複数のユーザ入力コンポーネント1322を含み得る。1つまたは複数のユーザ入力コンポーネント1322は、1つまたは複数のユーザ入力を取得および/または生成するために利用されることが可能であり、そして、1つまたは複数のユーザ入力は、1つまたは複数の出力を生成するために1つまたは複数のブロックによって処理されることが可能である。1つまたは複数のユーザ入力コンポーネント1322は、キーボード、マウス、タッチディスプレイ、マイクロフォン、1つもしくは複数の導電性センサー、1つもしくは複数の物理センサー、および/または1つもしくは複数の赤外線センサーを含み得る、ならびに/あるいはこれらに関連付けられ得る。

【0175】

ユーザコンピューティングデバイス1302は、ユーザ環境の1つまたは複数の画像をキャプチャするために利用され得る1つまたは複数のイメージセンサー1324を含むことができる。1つまたは複数のキャプチャされた画像は、ユーザ環境の1つまたは複数の表現を生成するために処理され得る。代替的および/または追加的に、1つまたは複数のキャプチャされた画像は、1つまたは複数のレンダリングデータセットを生成するために利用され得る。たとえば、1つまたは複数のキャプチャされた画像は、1つまたは複数のニューラル輝度場モデルを訓練するために利用され得る。

【0176】

追加的および/または代替的に、サーバコンピューティングシステム1330は、1つもしくは複数のテンプレートデータベース1342、1つもしくは複数のレンダリングデータベース1344、および/または1つもしくは複数のソフトウェア開発キット1346を記憶し得るおよび/または含み得る。1つまたは複数のテンプレートデータベース1342は、複数のテンプレート環境に関連する複数のテンプレート画像、機械学習モデル、表現、および/またはその他のデータセットを記憶することができる。1つまたは複数のレンダリングデータベース1344は、複数の異なる対象物タイプ、複数の異なる価格帯、および/または複数の異なるサイズに関連する複数の対象物に関連する複数のレンダリングデータセットを記憶することができる。1つもしくは複数のテンプレートデータベース1342および/または1つもしくは複数のレンダリングデータベース1344は、1つまたは複数のクエリを受け取ると、1つまたは複数の特定のデータセットを取得するために検索可能であってよい。

【0177】

1つまたは複数のソフトウェア開発キット1346は、1人もしくは複数の第三者および/または1人もしくは複数のユーザが本明細書において開示されるシステムおよび方法によって利用されるレンダリングデータセットを生成することを可能にするために、1つまたは複数のコンピューティングシステムに送られ得る。

【0178】

図13Bは、本開示の例示的な実施形態に従って働く例示的なコンピューティングデバイス10のブロック図を描く。コンピューティングデバイス10は、ユーザコンピューティングデバイスまたはサーバコンピューティングデバイスであることが可能である。

【0179】

コンピューティングデバイス10は、いくつかのアプリケーション(たとえば、アプリケーション1からN)を含む。各アプリケーションは、独自の機械学習ライブラリおよび機械学習モデルを含む。たとえば、各アプリケーションは、機械学習モデルを含み得る。例示的なアプリケーションは、テキストメッセージングアプリケーション、電子メールアプリケーション、ディクテーションアプリケーション、仮想キーボードアプリケーション、ブラウザアプリケーションなどを含む。

【0180】

図13Bに示されるように、各アプリケーションは、たとえば、1つもしくは複数のセンサー、コンテキストマネージャ、デバイス状態コンポーネント、および/または追加的なコンポーネントなどのコンピューティングデバイスのいくつかのその他のコンポーネントと通信することができる。一部の実装において、各アプリケーションは、API(たとえば、パブリックAPI)を使用してそれぞれのデバイスのコンポーネントと通信することができる。一部の実装において、各アプリケーションによって使用されるAPIは、そのアプリケーションに固有である。

【0181】

図13Cは、本開示の例示的な実施形態に従って働く例示的なコンピューティングデバイス50のブロック図を描く。コンピューティングデバイス50は、ユーザコンピューティングデバイスまたはサーバコンピューティングデバイスであることが可能である。

【0182】

コンピューティングデバイス50は、いくつかのアプリケーション(たとえば、アプリケーション1からN)を含む。各アプリケーションは、中央インテリジェンス層(central intelligence layer)と通信する。例示的なアプリケーションは、テキストメッセージングアプリケーション、電子メールアプリケーション、ディクテーションアプリケーション、仮想キーボードアプリケーション、ブラウザアプリケーションなどを含む。一部の実装において、各アプリケーションは、API(たとえば、すべてのアプリケーションにまたがる共通のAPI)を使用して中央インテリジェンス層(およびそこに記憶されたモデル)と通信し得る。

【0183】

中央インテリジェンス層は、いくつかの機械学習モデルを含む。たとえば、図13Cに示されるように、それぞれの機械学習モデル(たとえば、モデル)が、各アプリケーションのために提供され、中央インテリジェンス層によって管理され得る。その他の実装においては、2つ以上のアプリケーションが、単一の機械学習モデルを共有し得る。たとえば、一部の実装において、中央インテリジェンス層は、アプリケーションのすべてのために単一のモデル(たとえば、単一のモデル)を提供し得る。一部の実装において、中央インテリジェンス層は、コンピューティングデバイス50のオペレーティングシステムに含まれるかまたはそうでなければオペレーティングシステムによって実装される。

【0184】

中央インテリジェンス層は、中央デバイスデータ層(central device data layer)と通信することができる。中央デバイスデータ層は、コンピューティングデバイス50のためのデータの集中化されたリポジトリであることが可能である。図13Cに示されるように、中央デバイスデータ層は、たとえば、1つもしくは複数のセンサー、コンテキストマネージャ、デバイス状態コンポーネント、および/または追加的なコンポーネントなどのコンピューティングデバイスのいくつかのその他のコンポーネントと通信することができる。一部の実装において、中央デバイスデータ層は、API(たとえば、プライベートAPI)を使用してそれぞれのデバイスのコンポーネントと通信することができる。

【0185】

図14は、本開示の例示的な実施形態に従って働く例示的な方法の流れ図を描く。図14は、説明および検討を目的として特定の順序で実行されるステップを描くが、本開示の方法は、特に示される順序または配列に限定されない。方法1400の様々なステップは、本開示の範囲を逸脱することなく様々な方法で省略され、再配列され、組み合わされ、および/または適合され得る。

【0186】

1402において、コンピューティングシステムが、コンテキストデータを取得することができる。コンテキストデータは、特定のユーザに関連するユーザコンピューティングシステムから取得され得る。コンテキストデータは、ユーザによる対象物の利用可能性を決定するために利用されてよい1つまたは複数のコンテキストに関連付けられることが可能であり、1つまたは複数のコンテキストは、ユーザの位置、ユーザによって利用可能な配送オプション、ユーザの予算(たとえば、価格帯)、サイズの制約(たとえば、部屋で利用可能なサイズおよび/もしくは対象物を所望の位置に届けるための通り道のサイズ)、ならびに/または1つもしくは複数のその他のコンテキストを含み得る。コンテキストデータは、1つもしくは複数の好み、履歴的データ(たとえば、ユーザの検索履歴、ユーザの閲覧履歴、および/もしくはユーザの購入履歴)、ならびに/またはユーザプロファイルデータを含み得る。コンテキストデータは、好ましいスタイルおよび/または好ましい美的価値観を記述するデータを含む場合がある。

【0187】

1404において、コンピューティングシステムが、コンテキストデータに関連する知られている特性を含む、1つまたは複数の対象物に関連する1つまたは複数のレンダリングデータセットを決定することができる。特に、コンピューティングシステムは、ユーザの位置および/またはユーザの配送オプションに基づいて、ユーザによってアクセスされるために利用可能な1つまたは複数の対象物を決定することができる。追加的および/または代替的に、決定は、対象物の価格に基づく、および/または対象物が購入のために提供されるかどうかに基づく場合がある(たとえば、価格帯から外れたおよび/または製造中止の対象物は、知られている特性を含むと決定されない場合がある)。一部の実装において、1つまたは複数のレンダリングデータセットは、1つまたは複数の対象物が、ユーザによって好まれると判定された(たとえば、履歴的データおよび/または好みデータに基づいて決定された)スタイルおよび/または美的価値観に関連付けられることに基づいて選択される場合がある。

【0188】

1406において、コンピューティングシステムが、1つまたは複数のレンダリングデータセットに基づいて1つまたは複数のビュー合成画像を生成することができる。1つまたは複数のビュー合成画像は、単体のおよび/または環境内の対象物の1つまたは複数のレンダリングを含み得る。一部の実装において、1つまたは複数のビュー合成画像は、ユーザ環境内(たとえば、ユーザによって提供される画像(たとえば、ユーザのカメラからのライブフィード)内)および/またはテンプレート環境内の対象物を描写し得る。

【0189】

1408において、コンピューティングシステムが、1つまたは複数のビュー合成画像をユーザコンピューティングシステムに提供することができる。1つまたは複数のビュー合成画像は、ユーザインターフェースを介して提供され得る。ユーザインターフェースは、対象物を拡張現実アセットとしてレンダリングするビューファインダインターフェースを含む場合がある。一部の実装において、1つまたは複数のビュー合成画像は、カルーセルインターフェースにおいて提供される場合がある。

【0190】

1410において、コンピューティングシステムが、1つまたは複数のビュー合成画像を検索エンジンに提供することができる。1つまたは複数のビュー合成画像は、生成されると検索エンジンに提供される場合があり、および/または1つもしくは複数のユーザ入力(たとえば、ユーザ選択)に応答して検索エンジンに提供される場合がある。検索エンジンは、1つまたは複数のデータベースに関連付けられる場合がある。一部の実装において、検索エンジンは、レンダリングデータセットに関連するコンテキストデータおよび/またはメタデータを提供される場合がある。

【0191】

1412において、コンピューティングシステムが、検索エンジンから1つまたは複数の検索結果を取得することができる。1つまたは複数の検索結果は、1つまたは複数の視覚的検索技術に基づいて決定される場合がある。1つまたは複数の検索結果は、レンダリングデータセットの対象物に関連するリンク、画像、および/または詳細を記述する場合がある。1つまたは複数の検索結果は、対象物を獲得するための1つまたは複数のアクションユーザインターフェース要素を含む場合がある。

【0192】

一部の実装において、1つまたは複数のレンダリングデータセットは、1人または複数のその他のユーザ(たとえば、ピアユーザ、小売業者、対象物の製造業者など)によって生成された1つまたは複数のレンダリングデータセットを含む場合がある。そして、生成されたレンダリングデータセットは、第一者(first party)ユーザおよび/または第三者ユーザに関連する要求データに基づいてレンダリングするために利用され得る。

【0193】

図15は、本開示の例示的な実施形態による例示的なビュー合成画像生成システム1500のブロック図を描く。特に、ビュー合成画像生成システム1500は、ユーザ1502から(たとえば、ユーザコンピューティングシステムから)ユーザ画像データ1504および/または要求データ1508を取得することができる。ユーザ画像データ1504および/または要求データ1508は、時間イベント(time event)、1つもしくは複数のユーザ入力、アプリケーションのダウンロードおよびプロファイル設定、ならびに/またはトリガイベントの決定に応答して取得され得る。ユーザ画像データ1504および/または要求データ1508は、プラットフォーム(たとえば、ウェブプラットフォーム)との1つまたは複数のインタラクションを介して取得されてよい。一部の実装においては、プラットフォームに関連するアプリケーションプログラミングインターフェースが、1つまたは複数の入力に応答して、ユーザ画像データ1504および/または要求データ1508を取得および/または生成することができる。ユーザ1502は、個人、小売業者、製造業者、サービスプロバイダ、および/または別のエンティティであることが可能である。

【0194】

ユーザ画像データ1504は、ユーザ画像データに描かれているユーザ対象物16の3次元モデルを生成するために利用され得る(1506)。3次元モデルを生成すること1506は、ユーザ画像データ1504で1つまたは複数のニューラル輝度場モデルを訓練することによって、それぞれの対象物の3次元表現を学習することを含み得る。

【0195】

レンダリングブロック1510は、要求データ1508を処理することができ、生成された3次元モデルを利用して、対象物の1つまたは複数のビュー合成画像1512をレンダリングすることができる。要求データ1508は、ユーザの環境におけるビュー合成レンダリング(たとえば、拡張現実レンダリング)を生成する明示的なユーザの要求、および/または1つもしくは複数の対象物を1つもしくは複数の追加の対象物もしくは特徴と組み合わせてレンダリングするユーザの要求を記述し得る。要求データ1508は、対象物がどのようにレンダリングされるかに影響を与える場合があるコンテキストおよび/またはパラメータ(たとえば、照明、環境対象物のサイズ、時刻、環境内のその他の対象物のポジションおよび方向、ならびに/または生成に関連するその他のコンテキスト)を記述してよい。要求データ1508は、ユーザのコンテキストに応じて生成および/または取得される場合がある。

【0196】

対象物のビュー合成画像1512は、ビューファインダ、静止画像、カタログユーザインターフェース、および/または仮想現実体験を介して提供され得る。生成されたビュー合成画像1512は、ユーザプロファイルに関連してローカルにおよび/またはサーバに記憶されてよい。一部の実装において、対象物のビュー合成画像1512は、プラットフォームに関連する1つまたは複数のサーバコンピューティングシステムを介してプラットフォームによって記憶され得る。追加的および/または代替的に、対象物のビュー合成画像1512は、プラットフォームに関連するユーザインターフェースを介して表示するために提供されるおよび/またはインタラクションされる場合がある。ユーザは、対象物のビュー合成画像1512を、ユーザに関連する1つまたは複数のコレクションに追加してよく、そして、1つまたは複数のコレクションは、コレクションユーザインターフェースを介して集合体(collective)として見られてよい。

【0197】

本明細書において検討されたテクノロジーは、サーバ、データベース、ソフトウェアアプリケーション、およびその他のコンピュータベースのシステム、ならびに行われるアクション、およびそのようなシステムに送信され、そのようなシステムから送信される情報に言及する。コンピュータベースのシステムの固有の柔軟性が、コンポーネントの間のタスクおよび機能の非常に多様な可能な構成、組合せ、および分割を可能にする。たとえば、本明細書において検討されたプロセスは、単一のデバイスもしくはコンポーネント、または組合せで働く複数のデバイスもしくはコンポーネントを使用して実装され得る。データベースおよびアプリケーションは、単一のシステム上に実装され得るかまたは複数のシステムに分散され得る。分散されたコンポーネントは、逐次的にまたは並列的に動作し得る。

【0198】

本主題がその様々な特定の例示的な実施形態に関連して詳細に説明されたが、各例は、本開示の限定ではなく説明の目的で提供されている。当業者は、以上のことを理解すると、そのような実施形態に対する改変、そのような実施形態の変更、およびそのような実施形態の均等物を容易に生み出し得る。したがって、主題の開示は、当業者に容易に分かるように、本主題に対するそのような修正、変更、および/または追加を包含することを除外しない。たとえば、1つの実施形態の一部として示されたかまたは説明された特徴は、さらなる実施形態を生み出すために別の実施形態によって使用され得る。したがって、本開示は、そのような改変、変更、および均等物を包含することが意図される。

【符号の説明】

【0199】

10 コンピューティングデバイス
16 ユーザ対象物
50 コンピューティングデバイス
100 十分な情報に基づく対象物選択システム
112 レンダリングデータセット
114 コンテキスト情報
116 対象物選択
130 選択されたレンダリングデータセット
200 仮想環境生成
202 ユーザデータ
204 提案ブロック
206 対象物
208 レンダリングアセットデータベース
210 レンダリングデータセット
212 テンプレート
214 レンダリングモデル
216 仮想環境
218 インタラクティブなユーザインターフェース
300 拡張画像データ生成
302 ユーザデータ
304 提案ブロック
306 対象物
308 レンダリングアセットデータベース
310 レンダリングデータセット
312 画像データ
314 レンダリングモデル
316 拡張画像データ
318 インタラクティブなユーザインターフェース
400 方法
500 ユーザデータ処理システム
502 ユーザデータ
504 生成ブロック
506 インタラクティブなユーザインターフェース
600 検索クエリ処理システム
602 検索クエリ
604 検索エンジン
606 検索結果
608 レンダリングアセットデータベース
610 レンダリングデータセット
612 画像データ
612A 画像データ
612B テンプレート
614 レンダリングモデル
616 拡張画像データ
618 インタラクティブなユーザインターフェース
700 方法
800 方法
900 レンダリングフローシステム
902 ユーザデータ
904 生成ブロック
906 インタラクティブなユーザインターフェース
910 初期レンダリング
920 ナビゲーション入力
922 メッシュモデル
924 ナビゲーションレンダリング
926 ポジション/方向決定ブロック
928 ニューラル輝度場モデル
930 改善されたレンダリング
940 情報入力
942 取り出しブロック
944 情報出力
950 置換/削除入力
954 調整されたレンダリング
1000 ニューラル輝度場モデルの訓練
1002 訓練ポジション
1004 訓練視線方向
1006 ニューラル輝度場モデル
1008 予測された色値
1010 予測された密度値
1012 ビューレンダリング
1014 訓練画像
1016 損失関数
1100 十分な情報に基づく対象物選択およびレンダリングシステム
1112 レンダリングデータセット
1114 コンテキスト情報
1116 対象物選択
1118 レンダリングブロック
1120 ビュー合成画像
1122 インタラクティブなユーザインターフェース
1124 視覚的検索クエリ
1126 視覚的検索結果
1130 選択されたレンダリングデータセット
1200 拡張環境生成システム
1202 ユーザデータ
1204 対象物
1206 環境
1208 拡張環境
1210 インタラクティブなユーザインターフェース
1300 コンピューティングシステム
1302 ユーザコンピューティングデバイス
1312 プロセッサ
1314 メモリ
1316 データ
1318 命令
1320 機械学習モデル
1322 ユーザ入力コンポーネント
1324 イメージセンサー
1330 サーバコンピューティングシステム
1332 プロセッサ
1334 メモリ
1336 データ
1338 命令
1340 機械学習モデル
1342 テンプレートデータベース
1344 レンダリングデータベース
1346 ソフトウェア開発キット
1350 訓練コンピューティングシステム
1352 プロセッサ
1354 メモリ
1356 データ
1358 命令
1360 モデルトレーナ
1362 訓練データ
1380 ネットワーク
1400 方法
1500 ビュー合成画像生成システム
1502 ユーザ
1504 ユーザ画像データ
1506 3次元モデルを生成すること
1508 要求データ
1510 レンダリングブロック
1512 ビュー合成画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図14】

【図15】

【手続補正書】

【提出日】2024-02-14

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

環境の提案を提供するためのコンピューティングシステムであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行されるときに前記コンピューティングシステムに動作を実行させる命令を共に記憶する1つまたは複数の非一時的コンピュータ可読媒体とを含み、前記動作が、
ユーザデータを取得することであって、前記ユーザデータが、特定のユーザに関連付けられ、前記ユーザデータが、前記特定のユーザに関連するコンテキスト情報を記述するコンテキストデータを含む、取得すること、
前記ユーザデータに基づいて、複数のレンダリングデータセットを取得するためにレンダリングデータセットライブラリにアクセスすることであって、前記レンダリングデータセットライブラリが、レンダリングデータセットと、前記レンダリングデータセットのそれぞれに対するメタデータとを記憶し、前記複数のレンダリングデータセットを取得することが、
前記ユーザデータに関連する複数の対象物を決定することであって、前記複数の対象物が、1つまたは複数の製品タイプに関連する複数の製品を含む、決定すること、および
前記複数の対象物および前記コンテキストデータに基づいて前記複数のレンダリングデータセットを取得することであって、前記複数の対象物の各対象物が、前記複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられ、前記複数のレンダリングデータセットの各々が、前記レンダリングデータセットのそれぞれに関連付けられるそれぞれの製品について知られている特性に少なくとも部分的に基づいて決定され、前記それぞれの製品が、1つまたは複数の利用可能性の基準に基づいて、前記特定のユーザにより利用可能であると決定され、前記1つまたは複数の利用可能性の基準が、前記特定のユーザに関連付けられるコンテキスト情報と前記知られている特性に基づいて決定される、取得すること
を含む、アクセスすること、
前記複数のレンダリングデータセットに基づいて仮想環境を生成することであって、前記仮想環境が、例示的な環境内の前記複数の対象物を描写する、生成すること、ならびに
インタラクティブなユーザインターフェースに表示するために前記仮想環境を提供することであって、前記インタラクティブなユーザインターフェースが、前記仮想環境の複数の異なるビューを提供するように構成される、提供することを含む、コンピューティングシステム。

【請求項2】

前記インタラクティブなユーザインターフェースに表示するために前記仮想環境を提供することが、
前記複数のレンダリングデータセットのうちの1つまたは複数に基づいて第1のビューレンダリングを生成することであって、前記第1のビューレンダリングが、第1のポジションおよび第1の方向から前記仮想環境の少なくとも第1の部分を描写する第1の画像を含む、生成することと、
表示するために前記第1のビューレンダリングを提供することとを含む請求項1に記載のシステム。

【請求項3】

前記インタラクティブなユーザインターフェースに表示するために前記仮想環境を提供することが、
ユーザインターフェース入力を取得することであって、前記ユーザインターフェース入力が、前記インタラクティブなユーザインターフェースとのナビゲーションインタラクションを含む、取得することと、
前記複数のレンダリングデータセットのうちの1つまたは複数に基づいて第2のビューレンダリングを生成することであって、前記第2のビューレンダリングが、第2のポジションおよび第2の方向から前記仮想環境の少なくとも第2の部分を描写する第2の画像を含む、生成することと、
表示するために前記第2のビューレンダリングを提供することとをさらに含む請求項2に記載のシステム。

【請求項4】

前記複数のレンダリングデータセットが、複数のメッシュおよび複数のニューラル輝度場モデルを含む請求項1に記載のシステム。

【請求項5】

各ニューラル輝度場モデルが、前記複数の対象物の異なるそれぞれの対象物の1つまたは複数のビューレンダリングを生成するように訓練された請求項4に記載のシステム。

【請求項6】

前記複数のメッシュが、前記特定のユーザが前記仮想環境内で視点および視線方向を動かすときに、前記複数の対象物をレンダリングするために利用される請求項4に記載のシステム。

【請求項7】

前記ユーザデータが、前記特定のユーザに関連する1つまたは複数の以前の検索クエリに関連する検索履歴データを含む請求項1に記載のシステム。

【請求項8】

前記ユーザデータが、ブラウザデータを含み、前記ブラウザデータが、1つまたは複数の以前に閲覧されたウェブページに関連付けられる請求項1に記載のシステム。

【請求項9】

前記ユーザデータが、検索クエリを含み、前記ユーザデータに関連する前記複数の対象物を決定することが、
レンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットが前記検索クエリの少なくとも一部に関連付けられると判定することを含む請求項1に記載のシステム。

【請求項10】

前記検索クエリが、1つまたは複数のクエリ画像を含み、前記ユーザデータに関連する前記複数の対象物を決定することが、
1つまたは複数の描かれた対象物を決定するために前記1つまたは複数のクエリ画像を処理することと、
前記1つまたは複数の描かれた対象物に基づいて前記レンダリングアセットデータベースに問い合わせることとをさらに含む請求項9に記載のシステム。

【請求項11】

前記ユーザデータが、1つまたは複数の保存されたデータセットを記述するデータを含み、前記1つまたは複数の保存されたデータセットが、1つまたは複数の以前のユーザインタラクションに応答して記憶された請求項1に記載のシステム。

【請求項12】

拡張現実のプレビューを提供するためのコンピュータによって実施される方法であって、
1つまたは複数のプロセッサを含むコンピューティングシステムによって、ユーザデータおよび画像データを取得するステップであって、前記ユーザデータが、特定のユーザに関連付けられ、前記ユーザデータが、前記特定のユーザに関連するコンテキスト情報を記述するコンテキストデータを含み、前記画像データが、ユーザ環境を描写する、ステップと、
前記コンピューティングシステムによって、前記ユーザデータに基づいて、複数のレンダリングデータセットを取得するためにレンダリングデータセットライブラリにアクセスするステップであって、前記レンダリングデータセットライブラリが、レンダリングデータセットと、前記レンダリングデータセットのそれぞれに対するメタデータとを記憶し、前記複数のレンダリングデータセットを取得することが、
前記コンピューティングシステムによって、前記ユーザデータに関連する複数の対象物を決定することであって、前記複数の対象物が、1つまたは複数の製品タイプに関連する複数の製品を含む、決定すること、および
前記コンピューティングシステムによって、前記複数の対象物および前記コンテキストデータに基づいて前記複数のレンダリングデータセットを取得することであって、前記複数の対象物の各対象物が、前記複数のレンダリングデータセットのうちの1つまたは複数のレンダリングデータセットに関連付けられ、前記複数のレンダリングデータセットの各々が、前記レンダリングデータセットのそれぞれに関連付けられるそれぞれの製品について知られている特性に少なくとも部分的に基づいて決定され、前記それぞれの製品が、1つまたは複数の利用可能性の基準に基づいて、前記特定のユーザにより利用可能であると決定され、前記1つまたは複数の利用可能性の基準が、前記特定のユーザに関連付けられるコンテキスト情報と前記知られている特性に基づいて決定される、取得すること
を含む、アクセスするステップと、
前記コンピューティングシステムによって、前記複数のレンダリングデータセットに基づいて拡張画像データを生成するステップであって、前記拡張画像データが、前記ユーザ環境内の前記複数の対象物を描写する、ステップと、
前記コンピューティングシステムによって、インタラクティブなユーザインターフェースを介して表示するために前記拡張画像データを提供するステップであって、前記インタラクティブなユーザインターフェースが、前記ユーザ環境内の前記複数の対象物の複数の異なるビューを提供するように構成される、ステップとを含む、方法。

【請求項13】

前記拡張画像データが、1つまたは複数の拡張画像を含み、前記1つまたは複数の拡張画像が、1つまたは複数のニューラル輝度場モデルによって生成された複数の予測された色値および複数の予測された密度値に基づいて生成される請求項12に記載の方法。

【請求項14】

前記複数の対象物が、複数の異なる家具を含む請求項12に記載の方法。

【請求項15】

前記複数の異なる家具が、第1の製品に関連する特定の座席を含み、前記複数の異なる家具が、第2の製品に関連する特定のテーブルを含む請求項14に記載の方法。

【請求項16】

前記複数の製品のうちの特定の製品に関連する特定のレンダリングに関連するユーザ入力データを取得するステップと、
前記特定のレンダリングを異なるレンダリングで置き換えるために、前記拡張画像データを調整するステップであって、前記異なるレンダリングが、前記複数の製品の各々と異なる製品に関連付けられる、ステップとをさらに含む請求項12に記載の方法。

【請求項17】

1つまたは複数のコンピューティングデバイスによって実行されるときに前記1つまたは複数のコンピューティングデバイスに動作を実行させる命令を共に記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記動作が、
検索クエリと特定のユーザに関連するコンテキスト情報を記述するコンテキストデータを取得することと、
1つまたは複数の検索結果を決定するために前記検索クエリを処理することであって、前記1つまたは複数の検索結果が、1つまたは複数の特定の対象物に関連付けられる、処理することと、
前記1つまたは複数の検索結果がレンダリングアセットデータベース内の1つまたは複数のレンダリングデータセットに関連付けられると判定することであって、前記レンダリングアセットデータベースが、複数の異なる対象物に関連する複数の記憶されたレンダリングデータセットを含み、前記複数の記憶されたレンダリングデータセットの各々は、前記記憶されたレンダリングデータセットのそれぞれと共にレンダリングされるそれぞれの製品に関連付けられるそれぞれのメタデータと共に記憶される、判定することと、
前記レンダリングアセットデータベースから前記1つまたは複数のレンダリングデータセットを取得することであって、前記1つまたは複数のレンダリングデータセットが、前記1つまたは複数の特定の対象物に関連する1つまたは複数のメッシュおよび1つまたは複数のニューラル輝度場モデルを含み、前記1つまたは複数のレンダリングデータセットの各々が、前記レンダリングデータセットのそれぞれに関連付けられるそれぞれの製品について知られている特性に少なくとも部分的に基づいて決定され、前記それぞれの製品が、1つまたは複数の利用可能性の基準に基づいて、前記特定のユーザにより利用可能であると決定され、前記1つまたは複数の利用可能性の基準が、前記特定のユーザに関連付けられるコンテキスト情報と前記知られている特性に基づいて決定される、取得することと、
画像データを取得することであって、前記画像データが、1つまたは複数のイメージセンサーを用いて生成され、前記画像データが、ユーザ環境を描写する、取得することと、
前記1つまたは複数のレンダリングデータセットに基づいて拡張画像データを生成することであって、前記拡張画像データが、前記ユーザ環境内の前記1つまたは複数の対象物を描写する、生成することと、
インタラクティブなユーザインターフェースを介して表示するために前記拡張画像データを提供することであって、前記インタラクティブなユーザインターフェースが、前記ユーザ環境内の前記1つまたは複数の対象物の複数の異なるビューを提供するように構成される、提供することとを含む、1つまたは複数の非一時的コンピュータ可読媒体。

【請求項18】

前記動作が、
特定の製品に関連する特定のレンダリングを選択するユーザ入力データを取得することであって、前記特定の製品が、前記1つまたは複数の対象物に関連付けられる、取得することと、
前記特定の製品に関連する製品情報を取得することと、
表示するために前記製品情報を提供することとをさらに含む請求項17に記載の1つまたは複数の非一時的コンピュータ可読媒体。

【請求項19】

前記動作が、
特定の製品に関連する特定のレンダリングを選択するユーザ入力データを取得することであって、前記特定の製品が、前記1つまたは複数の対象物に関連付けられる、取得することと、
前記特定の製品に関連する製品リンクを取得することと、
前記製品リンクをユーザコンピューティングシステムに提供することとをさらに含む請求項17に記載の1つまたは複数の非一時的コンピュータ可読媒体。

【外国語明細書】