(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-10
(45)【発行日】2024-09-19
(54)【発明の名称】明視野を使用する仮想および拡張現実
(51)【国際特許分類】
G06F 3/01 20060101AFI20240911BHJP
G09G 5/00 20060101ALI20240911BHJP
H04N 21/4728 20110101ALI20240911BHJP
H04N 21/2668 20110101ALI20240911BHJP
G06T 19/00 20110101ALI20240911BHJP
【FI】
G06F3/01 510
G09G5/00 555D
G09G5/00 550C
G09G5/00 510A
H04N21/4728
H04N21/2668
G06T19/00 A
【外国語出願】
(21)【出願番号】P 2020131411
(22)【出願日】2020-08-03
【審査請求日】2023-07-27
(32)【優先日】2019-08-30
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-07-13
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】520289589
【氏名又は名称】ショッピファイ インコーポレイテッド
(74)【代理人】
【識別番号】100107456
【氏名又は名称】池田 成人
(74)【代理人】
【識別番号】100162352
【氏名又は名称】酒巻 順一郎
(74)【代理人】
【識別番号】100123995
【氏名又は名称】野田 雅一
(72)【発明者】
【氏名】ジョナサン ウェイド
【審査官】伊藤 昭治
(56)【参考文献】
【文献】国際公開第2018/163637(WO,A1)
【文献】特開2015-095802(JP,A)
【文献】特表2016-522463(JP,A)
【文献】米国特許出願公開第2019/0094981(US,A1)
【文献】米国特許出願公開第2018/0096494(US,A1)
【文献】米国特許出願公開第2015/0208060(US,A1)
【文献】米国特許出願公開第2004/0017473(US,A1)
【文献】英国特許出願公告第02574882(GB,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048- 3/04895
G09G 5/00
H04N 21/4728
H04N 21/2668
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって、前記方法は、
明視野データに基づくコンテンツを表示しているユーザデバイスの現在の状態を示すデータをコンピューティングデバイスにおいて受信することであって、前記データは、ディスプレイのディスプレイ視野を示すデータおよび前記ユーザデバイスに関連付けられたセンサデータを含み、前記明視野データは、第1の3次元体積を定義する明視野データ点を含む、ことと、
前記コンピューティングデバイスが、前記受信されたセンサデータに少なくとも部分的に基づいて、
ユーザ挙動を予測することと、
前記コンピューティングデバイスが、前記予測された
ユーザ挙動に少なくとも部分的に基づいて、前記ユーザデバイスにおいてコンテンツを表示することにおける使用のためのさらなる明視野データを生成することであって、前記さらなる明視野データは、前記ユーザデバイスの前記ディスプレイ視野より大きい視覚コンテンツに対応する第2の3次元体積を定義する明視野データ点を含む、ことと、
前記さらなる明視野データを前記ユーザデバイスに送信することと
を含む、方法。
【請求項2】
前記ユーザデバイスは、頭部搭載型デバイスを含み、前記センサデータは、前記頭部搭載型デバイスの移動を表す、請求項1に記載の方法。
【請求項3】
前記ユーザデバイスは、ウェアラブルデバイスを含み、前記センサデータは、前記ウェアラブルデバイスの移動を表す、請求項1に記載の方法。
【請求項4】
前記ユーザデバイスは、ハンドヘルドデバイスを含み、前記センサデータは、前記ハンドヘルドデバイスの移動を表す、請求項1に記載の方法。
【請求項5】
前記ユーザデバイスの前記現在の状態を示す前記データを受信することに先立って、第1の明視野データを前記ユーザデバイスに提供することをさらに含み、前記第1の明視野データは、第1の明視野空間体積を含み、
第2の明視野空間体積が、前記ユーザデバイスに関連付けられた前記センサデータに基づいてサイズにおいて調節されている、請求項1に記載の方法。
【請求項6】
前記さらなる明視野データは、
第1の視認視点におけるユーザのための第1の視野と、前記第1の視認視点と異なる第2の視認視点における前記ユーザのための第2の視野とを前記ユーザデバイスが表示することを可能にするためのデータを含む、請求項1に記載の方法。
【請求項7】
前記明視野データ点の第1の3次元体積および前記明視野データ点の第2の3次元体積のうちの少なくとも1つは、複数の明視野データ点を通る複数の方向に流動する光を表す、請求項1に記載の方法。
【請求項8】
前記明視野データ点の第1の3次元体積および前記明視野データ点の第2の3次元体積のうちの少なくとも1つは、前記ユーザデバイスの運動の決定された方向に対する部分体積である、請求項1に記載の方法。
【請求項9】
前記明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づく、請求項1に記載の方法。
【請求項10】
プロセッサと、
命令を記憶するメモリと
を備えるコンピュータシステムであって、前記命令は、前記プロセッサによって実行されると、
明視野データに基づくコンテンツを表示しているユーザデバイスの現在の状態を示すデータを受信することであって、前記データは、ディスプレイのディスプレイ視野を示すデータおよび前記ユーザデバイスに関連付けられたセンサデータを含み、前記明視野データは、第1の3次元体積を定義する明視野データ点を含む、ことと、
前記受信されたセンサデータに少なくとも部分的に基づいて、
ユーザ挙動を予測することと、
前記予測された
ユーザ挙動に少なくとも部分的に基づいて、前記ユーザデバイスにおいてコンテンツを表示することにおける使用のためのさらなる明視野データを生成することであって、前記さらなる明視野データは、前記ユーザデバイスの前記ディスプレイ視野より大きい視覚コンテンツに対応する第2の3次元体積を定義する明視野データ点を含む、ことと、
前記さらなる明視野データを前記ユーザデバイスに送信することと
を前記コンピュータシステムに行わせる、コンピュータシステム。
【請求項11】
前記センサデータは、前記ユーザデバイスに関連付けられた少なくとも1つの頭部搭載型デバイス、ウェアラブルデバイス、またはハンドヘルドデバイスの移動を表す、請求項10に記載のコンピュータシステム。
【請求項12】
前記メモリに記憶された前記命令は、前記プロセッサによって実行されると、
前記ユーザデバイスの前記現在の状態を示す前記データを受信することに先立って、第1の明視野データを前記ユーザデバイスに提供すること
を前記コンピュータシステムにさらに行わせ、
前記第1の明視野データは、第1の明視野空間体積を含み、
第2の明視野空間体積が、前記ユーザデバイスに関連付けられた前記センサデータに基づいてサイズにおいて調節されている、請求項10に記載のコンピュータシステム。
【請求項13】
前記さらなる明視野データは、
第1の視認視点におけるユーザのための第1の視野と、前記第1の視認視点と異なる第2の視認視点における前記ユーザのための第2の視野とを前記ユーザデバイスが表示することを可能にするためのデータを含む、請求項10に記載のコンピュータシステム。
【請求項14】
前記明視野データ点の第1の3次元体積および前記明視野データ点の第2の3次元体積のうちの少なくとも1つは、複数の明視野データ点を通る複数の方向に流動する光を表す、請求項10に記載のコンピュータシステム。
【請求項15】
前記明視野データ点の第1の3次元体積および前記明視野データ点の第2の3次元体積のうちの少なくとも1つは、前記ユーザデバイスの運動の決定された方向に対する部分体積である、請求項10に記載のコンピュータシステム。
【請求項16】
前記明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づく、請求項10に記載のコンピュータシステム。
【請求項17】
命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、コンピュータシステムのプロセッサによって実行されると、
明視野データに基づくコンテンツを表示しているユーザデバイスの現在の状態を示すデータを受信することであって、前記データは、ディスプレイのディスプレイ視野を示すデータおよび前記ユーザデバイスに関連付けられたセンサデータを含み、前記明視野データは、第1の3次元体積を定義する明視野データ点を含む、ことと、
前記受信されたセンサデータに少なくとも部分的に基づいて、
ユーザ挙動を予測することと、
前記予測された
ユーザ挙動に少なくとも部分的に基づいて、前記ユーザデバイスにおいてコンテンツを表示することにおける使用のためのさらなる明視野データを生成することであって、前記さらなる明視野データは、前記ユーザデバイスの前記ディスプレイ視野より大きい視覚コンテンツに対応する第2の3次元体積を定義する明視野データ点を含む、ことと、
前記さらなる明視野データを前記ユーザデバイスに送信することと
を前記コンピュータシステムに行わせる、非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項18】
前記センサデータは、前記ユーザデバイスに関連付けられた少なくとも1つの頭部搭載型デバイス、ウェアラブルデバイス、またはハンドヘルドデバイスの移動を表す、請求項17に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項19】
前記命令は、実行されると、
前記ユーザデバイスの前記現在の状態を示す前記データを受信することに先立って、第1の明視野データを前記ユーザデバイスに提供すること
を前記コンピュータシステムにさらに行わせ、
前記第1の明視野データは、第1の明視野空間体積を含み、
第2の明視野空間体積が、前記ユーザデバイスに関連付けられた前記センサデータに基づいてサイズにおいて調節されている、請求項17に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項20】
前記さらなる明視野データは、
第1の視認視点におけるユーザのための第1の視野と、前記第1の視認視点と異なる第2の視認視点における前記ユーザのための第2の視野とを前記ユーザデバイスが表示することを可能にするためのデータを含む、請求項17に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、ユーザデバイスへの視覚コンテンツの通信に関し、より具体的に、ユーザデバイスに関連するアクションに応答した視覚コンテンツの通信に関する。
【背景技術】
【0002】
視覚コンテンツを含む双方向システムは、多くの場合、ユーザデバイスから遠隔で果たされる、いくつかの画像処理機能を伴って実装される。結果として、リアルタイムアプリケーションに関して、連続視覚コンテンツ(例えば、場面が変化している視覚コンテンツのストリーミング)の配信において、または、ユーザデバイス入力への応答において遅延が存在する(例えば、第1の視覚コンテンツの表現へのユーザ応答に起因するデータ入力と、データ入力に応答する第2の視覚コンテンツの表現との間におけるようなユーザデバイスから受信される入力に起因する場面変化)。この遅延は、ユーザデバイスと遠隔画像処理設備との間の通信時間、第2の視覚コンテンツを生成するための画像処理時間等に起因し得る。この遅延は、ユーザが遅延を意識的に感知する場合(例えば、ユーザが、画像コンテンツ更新が遅い、または不連続的であることを感知する場合)、または、遅延を無意識に感知する場合(例えば、乗り物酔いを引き起こす場合)等、ユーザ体験に関して意図しない結果を引き起こし得る。視覚ベースの双方向システム内の視覚コンテンツの連続した表示間の知覚される遅延を低減させる方法およびシステムの必要性がある。
【発明の概要】
【課題を解決するための手段】
【0003】
ある側面において、方法は、コンピューティングデバイスによって、明視野データをユーザデバイスに通信することを含み得、明視野データは、ユーザデバイスのディスプレイ視野より大きい視覚コンテンツを備えている。実施形態において、ユーザデバイスのディスプレイ視野より大きい視覚コンテンツは、明視野データの通信時点のものであり得る。ユーザデバイスのディスプレイ視野より大きい視覚コンテンツは、明視野データの予期される受信時点のものであり得る。明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして表示するために、ユーザデバイスに通信され得る。明視野データを処理するように適合されたプロセッサは、明視野データからディスプレイデータを生成し得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。明視野データは、明視野データ点の3次元体積を含み得る。3次元体積は、原点としてのユーザデバイスに対して全方向性であり得る。3次元体積は、原点としてのユーザデバイスに対して部分体積であり得る。部分体積は、視野特性を有し得る。3次元体積は、ユーザデバイスの運動の決定された方向に対する部分体積であり得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0004】
ある側面において、システムは、画像プロセッサに関連付けられたコンピューティングデバイスを含み得、コンピューティングデバイスは、実行されると、コンピューティングデバイスに、明視野データをユーザデバイスに通信させる命令の組を記憶するように構成され、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備え、明視野データは、ユーザデバイスのディスプレイ視野より大きい視覚コンテンツを備えている。実施形態において、ユーザデバイスのディスプレイ視野より大きい視覚コンテンツは、明視野データの通信時点のものであり得る。ユーザデバイスのディスプレイ視野より大きい視覚コンテンツは、明視野データの予期される受信時点のものであり得る。明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして表示するために、ユーザデバイスに通信され得る。明視野データを処理するように適合されたプロセッサは、明視野データからディスプレイデータを生成し得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。明視野データは、明視野データ点の3次元体積を含み得る。3次元体積は、原点としてのユーザデバイスに対して全方向性であり得る。3次元体積は、原点としてのユーザデバイスに対して部分体積であり得る。部分体積は、視野特性を有し得る。3次元体積は、ユーザデバイスの運動の決定された方向に対する部分体積であり得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0005】
ある側面において、方法は、コンピューティングデバイスによって、第1の明視野データをユーザデバイスに通信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、コンピューティングデバイスによって、ユーザデバイスに関連付けられたセンサデータを受信することと、コンピューティングデバイスによって、センサデータに少なくとも部分的に基づく第2の明視野データをユーザデバイスに通信することとを含み得る。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。第1の明視野データは、ユーザデバイスに対する周辺環境における第1の表面体積(surface volume)を含み得、第2の明視野データは、ユーザデバイスに対する周辺環境における第2の表面体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして表示するために、ユーザデバイスに通信され得る。センサデータは、仮想現実、拡張現実、または複合現実コンテンツに対する視認視点の変化を表し得る。ユーザデバイスは、頭部搭載型デバイスであり得、センサデータは、頭部搭載型デバイスの運動を表し得る。ユーザデバイスは、ウェアラブルデバイスであり得、センサデータは、ウェアラブルデバイスの運動を表し得る。ユーザデバイスは、ハンドヘルドデバイスであり得、センサデータは、ハンドヘルドデバイスの運動を表し得る。センサデータは、頭部搭載型デバイスの運動をさらに表し得る。明視野データを処理するように適合されたプロセッサは、明視野データからディスプレイデータを生成し得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。センサデータは、位置センサデータまたは運動センサデータを含み得る。明視野データは、明視野データ点の3次元体積を含み得る。3次元体積は、第1の明視野データから第2の明視野データに変化し得る。3次元体積は、原点としてのユーザデバイスに対して全方向性であり得る。3次元体積は、原点としてのユーザデバイスに対して部分体積であり得る。部分体積は、視野特性を有し得る。3次元体積は、ユーザデバイスの運動の決定された方向に対する部分体積であり得る。第1の明視野データは、第1の明視野空間体積を含み得、第2の明視野データは、受信されたセンサデータに基づいてサイズにおいて調節された第2の明視野空間体積を含み得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0006】
ある側面において、システムは、画像プロセッサに関連付けられたコンピューティングデバイスを含み得、コンピューティングデバイスは、命令の組を記憶するように構成され、命令は、実行されると、第1の明視野データをユーザデバイスに通信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、ユーザデバイスに関連付けられたセンサデータを受信することと、センサデータに少なくとも部分的に基づく第2の明視野データをユーザデバイスに通信することとをコンピューティングデバイスに行わせる。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。第1の明視野データは、ユーザデバイスに対する周辺環境における第1の表面体積を含み得、第2の明視野データは、ユーザデバイスに対する周辺環境における第2の表面体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして表示するために、ユーザデバイスに通信され得る。センサデータは、仮想現実、拡張現実、または複合現実コンテンツに対する視認視点の変化を表し得る。ユーザデバイスは、頭部搭載型デバイスであり得、センサデータは、頭部搭載型デバイスの運動を表し得る。ユーザデバイスは、ウェアラブルデバイスであり得、センサデータは、ウェアラブルデバイスの運動を表し得る。ユーザデバイスは、ハンドヘルドデバイスであり得、センサデータは、ハンドヘルドデバイスの運動を表し得る。センサデータは、頭部搭載型デバイスの運動をさらに表し得る。明視野データを処理するように適合されたプロセッサは、明視野データからディスプレイデータを生成し得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。センサデータは、位置センサデータまたは運動センサデータを含み得る。明視野データは、明視野データ点の3次元体積を含み得る。3次元体積は、第1の明視野データから第2の明視野データに変化し得る。3次元体積は、原点としてのユーザデバイスに対して全方向性であり得る。3次元体積は、原点としてのユーザデバイスに対して部分体積であり得る。部分体積は、視野特性を有し得る。3次元体積は、ユーザデバイスの運動の決定された方向に対する部分体積であり得る。第1の明視野データは、第1の明視野空間体積を含み得、第2の明視野データは、受信されたセンサデータに基づいてサイズにおいて調節された第2の明視野空間体積を含み得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0007】
ある側面において、方法は、コンピューティングデバイスにおいて、ユーザデバイスに関連付けられたセンサデータを受信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、センサデータに少なくとも部分的に基づく明視野データをユーザデバイスに通信することとを含み得る。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして表示するために、ユーザデバイスに通信され得る。センサデータは、仮想現実、拡張現実、または複合現実コンテンツに対する視認視点を表し得る。ユーザデバイスは、頭部搭載型デバイスであり得、センサデータは、頭部搭載型デバイスの運動を表し得る。ユーザデバイスは、ウェアラブルデバイスであり得、センサデータは、ウェアラブルデバイスの運動を表し得る。ユーザデバイスは、ハンドヘルドデバイスであり得、センサデータは、ハンドヘルドデバイスの運動を表し得る。センサデータは、頭部搭載型デバイスの運動をさらに表し得る。明視野データを処理するように適合されたプロセッサは、明視野データからディスプレイデータを生成し得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。センサデータは、位置センサデータを含み得る。センサデータは、運動センサデータを含み得る。明視野データは、明視野データ点の3次元体積を含み得る。3次元体積は、原点としてのユーザデバイスに対して全方向性であり得る。3次元体積は、原点としてのユーザデバイスに対して部分体積であり得る。部分体積は、視野特性を有し得る。3次元体積は、ユーザデバイスの運動の決定された方向に対する部分体積であり得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0008】
ある側面において、システムは、画像プロセッサに関連付けられたコンピューティングデバイスを含み得、コンピューティングデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、ユーザデバイスに関連付けられたセンサデータを受信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、センサデータに少なくとも部分的に基づく明視野データをユーザデバイスに通信することとをコンピューティングデバイスに行わせる。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして表示するために、ユーザデバイスに通信され得る。センサデータは、仮想現実、拡張現実、または複合現実コンテンツに対する視認視点を表し得る。ユーザデバイスは、頭部搭載型デバイスであり得、センサデータは、頭部搭載型デバイスの運動を表し得る。ユーザデバイスは、ウェアラブルデバイスであり得、センサデータは、ウェアラブルデバイスの運動を表し得る。ユーザデバイスは、ハンドヘルドデバイスであり得、センサデータは、ハンドヘルドデバイスの運動を表し得る。センサデータは、頭部搭載型デバイスの運動をさらに表し得る。明視野データを処理するように適合されたプロセッサは、明視野データからディスプレイデータを生成し得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。センサデータは、位置センサデータを含み得る。センサデータは、運動センサデータを含み得る。明視野データは、明視野データ点の3次元体積を含み得る。3次元体積は、原点としてのユーザデバイスに対して全方向性であり得る。3次元体積は、原点としてのユーザデバイスに対して部分体積であり得る。部分体積は、視野特性を有し得る。3次元体積は、ユーザデバイスの運動の決定された方向に対する部分体積であり得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0009】
ある側面において、方法は、ユーザデバイスによって、明視野データを受信することを含み得、明視野データは、ユーザデバイスのディスプレイ視野より大きい視覚コンテンツを備えている。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして表示するために、ユーザデバイス上に表示され得る。ユーザデバイスは、明視野データを処理し、明視野データからディスプレイデータを生成するように適合され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。明視野データは、明視野データ点の3次元体積を含み得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0010】
ある側面において、システムは、ユーザデバイスを含み得、ユーザデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、ユーザデバイスに明視野データを受信させ、明視野データは、ユーザデバイスのディスプレイ視野より大きい視覚コンテンツを含み得る。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして表示するために、ユーザデバイス上に表示され得る。ユーザデバイスは、明視野データを処理し、明視野データからディスプレイデータを生成するように適合され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。明視野データは、明視野データ点の3次元体積を含み得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0011】
ある側面において、方法は、ユーザデバイスによって、第1の明視野データを受信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、ユーザデバイスに関連付けられたセンサデータを通信することと、ユーザデバイスによって、センサデータに少なくとも部分的に基づく第2の明視野データを受信することとを含み得る。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして、ユーザデバイスによって表示され得る。センサデータは、位置センサデータまたは運動センサデータを含み得る。第1の明視野データは、第1の明視野空間体積を含み得、第2の明視野データは、通信されたセンサデータに基づいてサイズにおいて調節された第2の明視野空間体積を含み得る。
【0012】
ある側面において、システムは、ユーザデバイスを含み得、ユーザデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、ユーザデバイスによって第1の明視野データを受信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、ユーザデバイスに関連付けられたセンサデータを通信することと、ユーザデバイスによって、センサデータに少なくとも部分的に基づく第2の明視野データを受信することとをユーザデバイスに行わせる。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして、ユーザデバイスによって表示され得る。センサデータは、位置センサデータまたは運動センサデータを含み得る。第1の明視野データは、第1の明視野空間体積を含み得、第2の明視野データは、通信されたセンサデータに基づいてサイズにおいて調節された第2の明視野空間体積を含み得る。
【0013】
ある側面において、方法は、ユーザデバイスによって、センサデータを通信することと、ユーザデバイスによって、センサデータに少なくとも部分的に基づく明視野データを受信することとを含み得る。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして、ユーザデバイスによって表示され得る。ユーザデバイスは、頭部搭載型デバイスを含み得、センサデータは、頭部搭載型デバイスの運動を表し得る。ユーザデバイスは、ウェアラブルデバイスを含み得、センサデータは、ウェアラブルデバイスの運動を表し得る。ユーザデバイスは、ハンドヘルドデバイスを含み得、センサデータは、ハンドヘルドデバイスの運動を表し得る。ユーザデバイスは、明視野データを処理し、明視野データからディスプレイデータを生成するように適合され得る。センサデータは、位置センサデータを含み得る。センサデータは、運動センサデータを含み得る。明視野データは、明視野データ点の3次元体積を含み得る。3次元体積は、ユーザデバイスの運動の決定された方向に対する部分体積であり得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0014】
ある側面において、システムは、ユーザデバイスを含み得、ユーザデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、ユーザデバイスによってセンサデータを通信することと、ユーザデバイスによって、センサデータに少なくとも部分的に基づく明視野データを受信することとをユーザデバイスに行わせる。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。明視野データは、仮想現実、拡張現実、または複合現実コンテンツとして、ユーザデバイスによって表示され得る。ユーザデバイスは、頭部搭載型デバイスを含み得、センサデータは、頭部搭載型デバイスの運動を表し得る。ユーザデバイスは、ウェアラブルデバイスを含み得、センサデータは、ウェアラブルデバイスの運動を表し得る。ユーザデバイスは、ハンドヘルドデバイスを含み得、センサデータは、ハンドヘルドデバイスの運動を表し得る。ユーザデバイスは、明視野データを処理し、明視野データからディスプレイデータを生成するように適合され得る。センサデータは、位置センサデータを含み得る。センサデータは、運動センサデータを含み得る。明視野データは、明視野データ点の3次元体積を含み得る。3次元体積は、ユーザデバイスの運動の決定された方向に対する部分体積であり得る。明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づき得る。
【0015】
ある側面において、方法は、ユーザデバイスに関連付けられたセンサデータを通信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、ユーザデバイスによって、センサデータに少なくとも部分的に基づく明視野データを受信することとを含み得る。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。
【0016】
ある側面において、システムは、命令の組を記憶するように構成されたユーザデバイスを含み得、命令の組は、実行されると、ユーザデバイスに関連付けられたセンサデータを通信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、ユーザデバイスによって、センサデータに少なくとも部分的に基づく明視野データを受信さすることとをユーザデバイスに行わせる。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。
【0017】
ある側面において、ユーザデバイスのための方法は、コンピューティングデバイスから、コンピューティングデバイスによって生成される明視野データを受信することを含み得、明視野データは、ユーザデバイスによって視認された場面の一部を表し、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を備えている。実施形態において、ユーザデバイスは、拡張現実または複合現実コンテンツを表示するように構成され得、視認された場面の一部は、ユーザデバイス上で視認される周辺環境に対して提示される。視認された場面の一部は、周辺環境に関連して固定されたままであり得る。視認された場面の一部は、オブジェクトに対して向けられ得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境に対して提示される仮想オブジェクトであり得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境における実際のオブジェクトであり得る。明視野データは、解像度制約に関して生成され得る。解像度制約は、複数の明視野データ点の各々のためのいくつかの明視野ベクトルに関するものであり得る。解像度制約は、複数の明視野データ点の密度関数に関するものであり得る。密度関数は、視認された場面の一部の視野に関するものであり得る。解像度制約は、視認された場面の一部内の明視野ベクトルの方向関数に関するものであり得る。明視野データは、視認された場面の一部を表す低解像度明視野および高解像度明視野を伴って生成され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。
【0018】
ある側面において、システムは、ユーザデバイスを含み得、ユーザデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、コンピューティングデバイスから、コンピューティングデバイスによって生成される明視野データを受信することをユーザデバイスに行わせ、明視野データは、ユーザデバイスによって視認された場面の一部を表し、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を備えている。実施形態において、ユーザデバイスは、視認された場面の一部が、ユーザデバイス上で視認される周辺環境に対して提示される拡張現実または複合現実コンテンツを表示するように構成され得る。視認された場面の一部は、周辺環境に関連して固定されたままであり得る。視認された場面の一部は、オブジェクトに対して向けられ得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境に対して提示される仮想オブジェクトであり得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境における実際のオブジェクトであり得る。明視野データは、解像度制約に関して生成され得る。解像度制約は、複数の明視野データ点の各々のためのいくつかの明視野ベクトルに関するものであり得る。解像度制約は、複数の明視野データ点の密度関数に関するものであり得る。密度関数は、視認された場面の一部の視野に関するものであり得る。解像度制約は、視認された場面の一部内の明視野ベクトルの方向関数に関するものであり得る。明視野データは、低解像度明視野および高解像度明視野を伴って生成され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。
【0019】
ある側面において、方法は、コンピューティングデバイスから、ユーザデバイスによって視認された場面の一部を表す明視野データを受信することを含み得、視認された場面の一部は、ユーザデバイスの周辺環境における3次元体積の場所ベースの一部を表す。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。ユーザデバイスは、拡張現実または複合現実コンテンツを提示するように構成され得る。視認された場面の一部は、周辺環境に関連して固定されたままであり得、視認された場面の一部が、ユーザデバイス上で視認される周辺環境に対して表示される。視認された場面の一部は、オブジェクトに対して向けられ得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境に対して提示される仮想オブジェクトであり得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境における実際のオブジェクトであり得る。明視野データは、解像度制約に関して生成され得る。解像度制約は、複数の明視野データ点の各々のためのいくつかの明視野ベクトルに関するものであり得る。解像度制約は、複数の明視野データ点の密度関数に関するものであり得る。密度関数は、視認された場面の一部の視野に関するものであり得る。解像度制約は、視認された場面の一部内の明視野ベクトルの方向関数に関するものであり得る。明視野データは、低解像度明視野および高解像度明視野を伴って生成され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。
【0020】
ある側面において、システムは、ユーザデバイスを含み得、ユーザデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、コンピューティングデバイスから、ユーザデバイスによって視認された場面の一部を表す明視野データをユーザデバイスに受信させ、視認された場面の一部は、ユーザデバイスの周辺環境における3次元体積の場所ベースの一部を表す。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。ユーザデバイスは、拡張現実または複合現実コンテンツを提示するように構成され得、視認された場面の一部が、ユーザデバイス上で視認される周辺環境に対して表示される。視認された場面の一部は、周辺環境に関連して固定されたままであり得る。視認された場面の一部は、オブジェクトに対して向けられ得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境に対して提示される仮想オブジェクトであり得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境における実際のオブジェクトであり得る。明視野データは、解像度制約に関して生成され得る。解像度制約は、複数の明視野データ点の各々のためのいくつかの明視野ベクトルに関するものであり得る。解像度制約は、複数の明視野データ点の密度関数に関するものであり得る。密度関数は、視認された場面の一部の視野に関するものであり得る。解像度制約は、視認された場面の一部内の明視野ベクトルの方向関数に関するものであり得る。明視野データは、低解像度明視野および高解像度明視野を伴って生成され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。
【0021】
ある側面において、方法は、コンピューティングデバイスによって、明視野データを生成することであって、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を備えている、ことと、コンピューティングデバイスによって、明視野データおよび場所情報をユーザデバイスに通信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備え、場所情報は、ユーザデバイスの周辺環境における3次元体積の場所ベースの一部を表す、こととを含み得る。実施形態において、ユーザデバイスは、拡張現実または複合現実コンテンツを提示するように構成され得、場所情報が、ユーザデバイスによって視認される周辺環境に対して提示されるようなディスプレイデータの処理のために周辺環境の領域を識別する。周辺環境の領域は、周辺環境に関連して固定されたままであり得る。周辺環境の領域は、ユーザデバイスに関連して固定されたままであり得る。周辺環境の領域は、オブジェクトに対して向けられ得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境に対して提示される仮想オブジェクトであり得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境における実際のオブジェクトであり得る。明視野データは、解像度制約に関して生成され得る。解像度制約は、複数の明視野データ点の各々のためのいくつかの明視野ベクトルに関するものであり得る。解像度制約は、複数の明視野データ点の密度関数に関するものであり得る。密度関数は、視認された場面の一部の視野に関するものであり得る。解像度制約は、視認された場面の一部内の明視野ベクトルの方向関数に関するものであり得る。明視野データは、低解像度明視野および高解像度明視野を伴う解像度スティッチを伴って生成され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。
【0022】
ある側面において、システムは、画像プロセッサに関連付けられたコンピューティングデバイスを含み得、コンピューティングデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、明視野データを生成することであって、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を備えている、ことと、明視野データおよび場所情報をユーザデバイスに通信することとをコンピューティングデバイスに行わせ、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備え、場所情報は、ユーザデバイスの周辺環境における3次元体積の場所ベースの一部を表す。実施形態において、ユーザデバイスは、拡張現実または複合現実コンテンツを提示するように構成され得、場所情報が、ユーザデバイスによって視認される周辺環境に対して提示されるようなディスプレイデータの処理のために周辺環境の領域を識別する。周辺環境の領域は、周辺環境に関連して固定されたままであり得る。周辺環境の領域は、ユーザデバイスに関連して固定されたままであり得る。周辺環境の領域は、オブジェクトに対して向けられ得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境に対して提示される仮想オブジェクトであり得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境における実際のオブジェクトであり得る。明視野データは、解像度制約に関して生成され得る。解像度制約は、複数の明視野データ点の各々のためのいくつかの明視野ベクトルに関するものであり得る。解像度制約は、複数の明視野データ点の密度関数に関するものであり得る。密度関数は、視認された場面の一部の視野に関するものであり得る。解像度制約は、視認された場面の一部内の明視野ベクトルの方向関数に関するものであり得る。明視野データは、低解像度明視野および高解像度明視野を伴う解像度スティッチを伴って生成され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。
【0023】
ある側面において、方法は、明視野データおよび場所情報をユーザデバイスに通信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、ユーザデバイスによって、明視野データを処理し、場所情報に基づいて、ユーザデバイスによって視認された場面の一部を表すことであって、視認された場面の一部は、ユーザデバイスの周辺環境における3次元体積の場所ベースの一部を表す、こととを含み得る。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。ユーザデバイスは、拡張現実または複合現実コンテンツを提示するように構成され得、視認された場面の一部が、ユーザデバイスによって視認される周辺環境に対して提示される。視認された場面の一部は、周辺環境に関連して固定されたままであり得る。視認された場面の一部は、オブジェクトに対して向けられ得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境に対して提示される仮想オブジェクトであり得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境における実際のオブジェクトであり得る。明視野データは、解像度制約に関して生成され得る。解像度制約は、複数の明視野データ点の各々のためのいくつかの明視野ベクトルに関するものであり得る。解像度制約は、複数の明視野データ点の密度関数に関するものであり得る。密度関数は、視認された場面の一部の視野に関するものであり得る。解像度制約は、視認された場面の一部内の明視野ベクトルの方向関数に関するものであり得る。明視野データは、視認された場面の一部を表す低解像度明視野および高解像度明視野を伴う解像度スティッチを伴って生成され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。
【0024】
ある側面において、システムは、画像プロセッサに関連付けられたコンピューティングデバイスを含み得、コンピューティングデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、明視野データおよび場所情報をユーザデバイスに通信することであって、ユーザデバイスは、明視野データを処理するように適合されたプロセッサを備えている、ことと、明視野データを処理し、場所情報に基づいて、ユーザデバイスによって視認された場面の一部を表することとをコンピューティングデバイスに行わせ視認された場面の一部は、ユーザデバイスの周辺環境における3次元体積の場所ベースの一部を表す。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。ユーザデバイスは、拡張現実または複合現実コンテンツを提示するように構成され得、視認された場面の一部が、ユーザデバイスによって視認される周辺環境に対して提示される。視認された場面の一部は、周辺環境に関連して固定されたままであり得る。視認された場面の一部は、オブジェクトに対して向けられ得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境に対して提示される仮想オブジェクトであり得る。オブジェクトは、ユーザデバイスを通して視認されるような周辺環境における実際のオブジェクトであり得る。明視野データは、解像度制約に関して生成され得る。解像度制約は、複数の明視野データ点の各々のためのいくつかの明視野ベクトルに関するものであり得る。解像度制約は、複数の明視野データ点の密度関数に関するものであり得る。密度関数は、視認された場面の一部の視野に関するものであり得る。解像度制約は、視認された場面の一部内の明視野ベクトルの方向関数に関するものであり得る。明視野データは、視認された場面の一部を表す低解像度明視野および高解像度明視野を伴う解像度スティッチを伴って生成され得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。
【0025】
ある側面において、方法は、コンピューティングデバイスによって、第1の明視野データをユーザデバイスに通信することと、コンピューティングデバイスによって、ユーザデバイスに関連付けられたセンサデータを受信することと、受信されたセンサデータから少なくとも部分的に基づいて挙動を予測することと、コンピューティングデバイスを用いて、予測される挙動に少なくとも部分的に基づいて第2の明視野データを生成することと、コンピューティングデバイスによって、第2の明視野データをユーザデバイスに通信することとを含み得る。実施形態において、挙動は、ユーザデバイスの挙動であり得る。ユーザデバイスの挙動は、ユーザ挙動を表すとコンピューティングデバイスによって決定され得る。明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。第1の明視野データは、ユーザデバイスに対する周辺環境における第1の表面体積を含み得、第2の明視野データは、ユーザデバイスに対する周辺環境における第2の表面体積を備えている。予測される挙動は、予測される将来の位置であり得る。センサデータは、センサデータから決定される速度ベクトルまたは加速度ベクトルに基づいて、予測される将来の位置を表し得る。第2の明視野データは、第1の明視野データに対して周辺環境における異なる場所に関連付けられ得る。予測される挙動は、予測される視認角であり得る。予測される視認角は、センサデータから決定される視線ベクトルに基づき得る。第2の明視野データは、第1の明視野データに対して周辺環境における異なる場所に関連付けられ得る。予測される挙動は、事前のアクションに基づき得る。事前のアクションは、現在のアクションと類似する挙動特性を有すると決定され得る。予測される挙動は、第2のユーザデバイスのアクションに基づき得る。第2のユーザデバイスは、センサデータを通して周辺環境内にあると決定され得る。第1の明視野データは、ユーザデバイスに近接する空間の体積を含み得、第2の明視野データに関連付けられた空間の体積は、予測される挙動によって決定され得る。第1の明視野データは、明視野解像度を含み得、第2の明視野データに関連付けられた明視野解像度は、予測される挙動によって決定され得る。第1の明視野データは、ユーザデバイス視点に対する方向性を含み得、第2の明視野データに関連付けられる方向性は、予測される挙動によって決定され得る。第1の明視野データの方向性は、ユーザデバイス視点に対する視野に関連付けられ得、第2の明視野データに関連付けられる視野は、予測される挙動によって決定され得る。第1の明視野データは、明視野点密度を含み得、第2の明視野データに関連付けられる明視野点密度は、予測される挙動によって決定され得る。第1の明視野データは、ユーザデバイスの第1の頭部位置に関連付けられ得、第2の明視野データに関連付けられる頭部位置は、予測される挙動によって決定され得る。第2の明視野に関連付けられる頭部位置は、以前の頭部位置に基づく可能な頭部位置の確率勾配によって、少なくとも部分的に決定され得る。予測される挙動は、以前のユーザ挙動に関連付けられる機械学習を少なくとも部分的に通して、決定され得る。挙動は、オブジェクトとのユーザ接触であると決定され得、第2の明視野データは、オブジェクトの場所と同時であるように位置し得る。オブジェクトは、周辺環境における物理的オブジェクトであり得る。オブジェクトは、周辺仮想環境における仮想オブジェクトであり得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。センサデータは、位置センサデータを含み得る。センサデータは、運動センサデータを含み得る。
【0026】
ある側面において、システムは、画像プロセッサに関連付けられたコンピューティングデバイスを含み得、コンピューティングデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、コンピューティングデバイスによって、第1の明視野データをユーザデバイスに通信することと、コンピューティングデバイスによって、ユーザデバイスに関連付けられたセンサデータを受信することと、受信されたセンサデータから少なくとも部分的に基づいて挙動を予測することと、コンピューティングデバイスを用いて、予測される挙動に少なくとも部分的に基づいて第2の明視野データを生成することと、コンピューティングデバイスによって、第2の明視野データをユーザデバイスに通信することとをコンピューティングデバイスに行わせる。実施形態において、挙動は、ユーザデバイスの挙動であり得る。ユーザデバイスの挙動は、ユーザ挙動を表すとコンピューティングデバイスによって決定され得る。明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。第1の明視野データは、ユーザデバイスに対する周辺環境における第1の表面体積を含み得、第2の明視野データは、ユーザデバイスに対する周辺環境における第2の表面体積を備えている。予測される挙動は、予測される将来の位置であり得る。センサデータは、センサデータから決定される速度ベクトルまたは加速度ベクトルに基づいて、予測される将来の位置を表し得る。第2の明視野データは、第1の明視野データに対して周辺環境における異なる場所に関連付けられ得る。予測される挙動は、予測される視認角であり得る。予測される視認角は、センサデータから決定される視線ベクトルに基づき得る。第2の明視野データは、第1の明視野データに対して周辺環境における異なる場所に関連付けられ得る。予測される挙動は、事前のアクションに基づき得る。事前のアクションは、現在のアクションと類似する挙動特性を有すると決定され得る。予測される挙動は、第2のユーザデバイスのアクションに基づき得る。第2のユーザデバイスは、センサデータを通して周辺環境内にあると決定され得る。第1の明視野データは、ユーザデバイスに近接する空間の体積を含み得、第2の明視野データに関連付けられた空間の体積は、予測される挙動によって決定され得る。第1の明視野データは、明視野解像度を含み得、第2の明視野データに関連付けられた明視野解像度は、予測される挙動によって決定され得る。第1の明視野データは、ユーザデバイス視点に対する方向性を含み得、第2の明視野データに関連付けられる方向性は、予測される挙動によって決定され得る。第1の明視野データの方向性は、ユーザデバイス視点に対する視野に関連付けられ得、第2の明視野データに関連付けられる視野は、予測される挙動によって決定され得る。第1の明視野データは、明視野点密度を含み得、第2の明視野データに関連付けられる明視野点密度は、予測される挙動によって決定され得る。第1の明視野データは、ユーザデバイスの第1の頭部位置に関連付けられ得、第2の明視野データに関連付けられる頭部位置は、予測される挙動によって決定され得る。第2の明視野に関連付けられる頭部位置は、以前の頭部位置に基づく可能な頭部位置の確率勾配によって、少なくとも部分的に決定され得る。予測される挙動は、以前のユーザ挙動に関連付けられる機械学習を少なくとも部分的に通して、決定され得る。挙動は、オブジェクトとのユーザ接触であると決定され得、第2の明視野データは、オブジェクトの場所と同時であるように位置し得る。オブジェクトは、周辺環境における物理的オブジェクトであり得る。オブジェクトは、周辺仮想環境における仮想オブジェクトであり得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。センサデータは、位置センサデータを含み得る。センサデータは、運動センサデータを含み得る。
【0027】
ある側面において、方法は、画像プロセッサに関連付けられたコンピューティングデバイスによって、ユーザデバイスに関連付けられたセンサデータを受信することと、コンピューティングデバイスによって、受信されたセンサデータによって少なくとも部分的に決定される予測される挙動に基づいて、明視野データを生成することと、コンピューティングデバイスによって、明視野データをユーザデバイスに通信することとを含み得る。実施形態において、明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。予測される挙動は、ユーザデバイスの予測される将来の位置であり得る。センサデータは、センサデータから決定される速度ベクトルまたは加速度ベクトルに基づいて、ユーザデバイスの予測される将来の位置を表し得る。予測される挙動は、ユーザデバイスの予測される視認角であり得る。予測される視認角は、センサデータから決定される視線ベクトルに基づき得る。予測される挙動は、事前のアクションに基づき得る。事前のアクションは、現在の挙動と類似する挙動特性を有すると決定され得る。予測される挙動は、第2のユーザデバイスのアクションにさらに基づき得る。第2のユーザデバイスは、センサデータを通して周辺環境内にあると決定され得る。第2のユーザデバイスは、仮想ユーザに関連付けられ得る。明視野データは、ユーザデバイスに近接する空間の体積を含み得、空間の体積は、予測される挙動によって決定され得る。明視野データは、明視野解像度を含み得、明視野解像度は、予測される挙動によって決定され得る。明視野データは、ユーザデバイス視点に対する方向性を含み得、方向性は、予測される挙動によって決定され得る。明視野データは、明視野点密度を含み得、明視野点密度は、予測される挙動によって決定され得る。ユーザデバイスは、頭部装着型デバイスであり得、予測される挙動は、ユーザデバイスの頭部位置に関連付けられ得る。予測される挙動は、以前の挙動に関連付けられる機械学習を少なくとも部分的に通して、決定され得る。予測される挙動は、オブジェクトとのユーザ接触に関連付けられると決定され得る。オブジェクトは、周辺環境における物理的オブジェクトであり得る。オブジェクトは、周辺仮想環境における仮想オブジェクトであり得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。センサデータは、位置センサデータまたは運動センサデータを含み得る。
【0028】
ある側面において、システムは、画像プロセッサに関連付けられたコンピューティングデバイスを含み得、コンピューティングデバイスは、命令の組を記憶するように構成され、命令の組は、実行されると、ユーザデバイスに関連付けられたセンサデータを受信することと、コンピューティングデバイスによって、受信されたセンサデータによって少なくとも部分的に決定される予測される挙動に基づいて、明視野データを生成することと、コンピューティングデバイスによって、明視野データをユーザデバイスに通信することとをコンピューティングデバイスに行わせる。実施形態において、予測される挙動は、ユーザデバイスの挙動であり得る。予測される挙動は、予測される将来の位置であり得る。予測される挙動は、予測される視認角であり得る。予測される挙動は、事前のアクションに基づき得る。明視野データは、複数の明視野データ点を通る複数の方向に流動する光を表す3次元体積を含み得る。予測される挙動は、ユーザデバイスの予測される将来の位置であり得る。センサデータは、センサデータから決定される速度ベクトルまたは加速度ベクトルに基づいて、ユーザデバイスの予測される将来の位置を表し得る。予測される挙動は、ユーザデバイスの予測される視認角であり得る。予測される視認角は、センサデータから決定される視線ベクトルに基づき得る。予測される挙動は、事前のアクションに基づき得る。事前のアクションは、現在の挙動と類似する挙動特性を有すると決定され得る。予測される挙動は、第2のユーザデバイスのアクションにさらに基づき得る。第2のユーザデバイスは、センサデータを通して周辺環境内にあると決定され得る。第2のユーザデバイスは、仮想ユーザに関連付けられ得る。明視野データは、ユーザデバイスに近接する空間の体積を含み得、空間の体積は、予測される挙動によって決定され得る。明視野データは、明視野解像度を含み得、明視野解像度は、予測される挙動によって決定され得る。明視野データは、ユーザデバイス視点に対する方向性を含み得、方向性は、予測される挙動によって決定され得る。明視野データは、明視野点密度を含み得、明視野点密度は、予測される挙動によって決定され得る。ユーザデバイスは、頭部装着型デバイスであり得、予測される挙動は、ユーザデバイスの頭部位置に関連付けられ得る。予測される挙動は、以前の挙動に関連付けられる機械学習を少なくとも部分的に通して、決定され得る。予測される挙動は、オブジェクトとのユーザ接触に関連付けられると決定され得る。オブジェクトは、周辺環境における物理的オブジェクトであり得る。オブジェクトは、周辺仮想環境における仮想オブジェクトであり得る。ユーザデバイスは、ディスプレイデータの提示のためにディスプレイに通信可能に結合され得る。センサデータは、位置センサデータまたは運動センサデータを含み得る。
【0029】
故に、以下に続く請求項に詳述されるような方法、システム、およびコンピュータプログラムが、提供されている。
例えば、本願発明は、以下の項目を提供する。
(項目1)
仮想現実、拡張現実、または複合現実コンテンツを表示するための明視野データを提供するコンピュータ実装方法であって、前記方法は、
プロセッサとディスプレイとを備えているユーザデバイスから、前記ユーザデバイスの現在の状態を示すデータをコンピューティングデバイスにおいて受信することであって、前記ユーザデバイスは、前記ディスプレイを使用して、明視野データに基づく仮想現実、拡張現実、または複合現実コンテンツを表示しており、前記ユーザデバイスの前記現在の状態を示す前記データは、前記ディスプレイのディスプレイ視野を示すデータを含む、ことと、
前記ユーザデバイスの前記現在の状態を示す前記データに基づいて、前記ユーザデバイスにおいて前記仮想現実、拡張現実、または複合現実コンテンツを表示することにおける使用のためのさらなる明視野データを生成することであって、前記さらなる明視野データは、前記ユーザデバイスの前記ディスプレイ視野より大きい視覚コンテンツを備えている、ことと、
前記さらなる明視野データを前記ユーザデバイスに送信することと
を含む、方法。
(項目2)
前記ユーザデバイスの前記現在の状態を示す前記データは、前記ユーザデバイスに関連付けられたセンサデータをさらに含む、前記項目に記載の方法。
(項目3)
前記センサデータは、位置センサデータまたは運動センサデータを備えている、前記項目のいずれか1項に記載の方法。
(項目4)
前記ユーザデバイスは、
頭部搭載型デバイスおよび前記頭部搭載型デバイスの運動を表す前記センサデータ、または、
ウェアラブルデバイスおよび前記ウェアラブルデバイスの運動を表す前記センサデータ、または、
ハンドヘルドデバイスおよび前記ハンドヘルドデバイスの運動を表す前記センサデータ
を備えている、前記項目のいずれか1項に記載の方法。
(項目5)
前記ユーザデバイスの前記現在の状態を示す前記データを受信することに先立って、第1の明視野データを前記ユーザデバイスに提供することをさらに含み、前記第1の明視野データは、第1の明視野空間体積を含み、
前記さらなる明視野データは、第2の明視野空間体積を含み、前記第2の明視野空間体積は、前記ユーザデバイスに関連付けられた前記センサデータに基づいてサイズにおいて調節されている、前記項目のいずれか1項に記載の方法。
(項目6)
前記さらなる明視野データは、
第1の視認視点におけるユーザのための第1の視野と、前記第1の視認視点と異なる第2の視認視点における前記ユーザのための第2の視野とを前記ユーザデバイスが表示することを可能にするためのデータを備えている、前記項目のいずれか1項に記載の方法。
(項目7)
前記明視野データは、明視野データ点の3次元体積を備えている、前記項目のいずれか1項に記載の方法。
(項目8)
前記明視野データ点の3次元体積は、複数の明視野データ点を通る複数の方向に流動する光を表す、前記項目のいずれか1項に記載の方法。
(項目9)
前記明視野データ点の3次元体積は、前記ユーザデバイスの運動の決定された方向に対する部分体積である、前記項目のいずれか1項に記載の方法。
(項目10)
前記明視野データは、空間の体積内の光の特性評価のためのデータモデルに基づく、前記項目のいずれか1項に記載の方法。
(項目11)
仮想現実、拡張現実、または複合現実コンテンツを表示するための明視野データを提供するためのシステムであって、前記システムは、
命令の組を記憶するように構成されたコンピューティングデバイスを備え、前記命令の組は、実行されると、前記項目のいずれか1項に記載の方法をコンピューティングデバイスに実施させる、システム。
(項目12)
コンピュータによって実行されると、前記項目のいずれか1項に記載の方法のステップを前記コンピュータに実施させるコンピュータプログラム。
(摘要)
コンピュータ実装方法およびシステムは、コンピューティングデバイスによって、明視野データをユーザデバイスに通信することを含み得、明視野データは、ユーザデバイスのディスプレイ視野より大きい視覚コンテンツを備えている。
【図面の簡単な説明】
【0030】
【
図1】
図1は、電子商取引プラットフォームの実施形態を描写する。
【0031】
【
図2】
図2は、アドミニストレータのホームページの実施形態を描写する。
【0032】
【
図3】
図3は、従来技術の視覚ベースの双方向システムを描写する。
【0033】
【
図4】
図4は、実施形態の視覚ベースの双方向システムを描写する。
【0034】
【
図5】
図5は、明視野データを使用する実施形態の視覚ベースの双方向システムを描写する。
【0035】
【
図6】
図6A-6Bは、明視野データに関する光線追跡の側面および上面図を描写する。
【0036】
【
図7】
図7A-7Bは、明視野データに関する光線追跡の側面および上面図を描写する。
【0037】
【
図8】
図8は、周辺の部分視界において明視野データを使用する実施形態の視覚ベースの双方向システムを描写する。
【0038】
【
図9】
図9は、周辺の部分視界において明視野データを使用する実施形態の視覚ベースの双方向システムを描写し、ある部分視界処理が、ユーザデバイス上で実施される。
【0039】
【
図10】
図10は、明視野データおよび予測される挙動を使用する実施形態の視覚ベースの双方向システムを描写する。
【発明を実施するための形態】
【0040】
本開示は、ここで、付随する図面および添付書類を参照して、その種々の例証的な非限定的実施形態を説明することによって、詳細に説明されるであろう。しかしながら、本開示は、多くの異なる形態で具現化され得、本明細書に記載される例証的実施形態に限定されるものとして解釈されるべきではない。むしろ、実施形態は、本開示が徹底的であり、本開示の概念を当業者に完全に伝えるであろうように、提供される。
【0041】
図1を参照すると、実施形態の電子商取引プラットフォーム100が、商業製品および商業サービスを顧客に提供するために描写される。本開示は、全体を通して、製品およびサービスを購入するために開示される装置、システム、およびプロセスを使用することを想定するが、簡単にするために、本明細書の説明は、製品を参照するであろう。本開示の全体を通した製品への全ての言及は、物理的製品、デジタルコンテンツ、チケット、サブスクリプション、提供されるべきサービス等を含む製品および/またはサービスへの言及でもあると理解されるべきである。
【0042】
本開示は、全体を通して、「商業者」および「顧客」が、単に個人にとどまらないこともあることを想定するが、簡単にするために、本明細書の説明は、概して、そのようなものとして商業者および顧客を参照し得る。本開示の全体を通した商業者および顧客への全ての言及は、個人、会社、企業、コンピューティングエンティティ等の群への言及でもあると理解されるべきであり、製品の営利目的または非営利目的の交換を表し得る。さらに、本開示は、全体を通して、「商業者」および「顧客」を参照し、そのようなものとしてそれらの役割を説明するが、電子商取引プラットフォーム100が、電子商取引環境におけるユーザをより一般的にサポートするためと理解されるべきであり、本開示の全体を通した商業者および顧客への全ての言及も、ユーザが、商業者ユーザ(例えば、製品の販売者、小売業者、卸売業者、または提供者)、顧客ユーザ(例えば、製品の購入者、購入エージェント、またはユーザ)、見込みユーザ(例えば、ブラウズしているがまだ購入を確約していないユーザ、製品を市場に出して販売することにおける潜在的使用のために電子商取引プラットフォーム100を評価するユーザ等)、サービスプロバイダユーザ(例えば、発送プロバイダ112、金融プロバイダ等)、会社または企業ユーザ(例えば、製品の購入、販売、または使用に関する会社の代表者、企業ユーザ、顧客関係または顧客管理エージェント等)、情報技術ユーザ、コンピューティングエンティティユーザ(例えば、製品の購入、販売、または使用のためのコンピューティングボット)等である場合等のユーザへの言及であると理解されるべきである。
【0043】
電子商取引プラットフォーム100は、商業者にその事業を管理するためのオンラインリソースおよび設備を提供するための集中型システムを提供し得る。本明細書に説明される設備は、プラットフォーム100の一部であるか、またはその外部であり得る1つ以上のプロセッサ上で、コンピュータソフトウェア、モジュール、プログラムコード、および/または命令を実行するマシンを通して、部分的または完全に展開され得る。商業者は、オンラインストア138を通して、チャネル110A-Bを通して、物理的場所(例えば、キオスク、端末、リーダ、プリンタ、3Dプリンタ等を通して等、物理的店頭または他の場所)におけるPOSデバイス152を通して、顧客との電子商取引体験を実装することによって;電子商取引プラットフォーム100を通してその事業を管理することによって;および、電子商取引プラットフォーム100の通信設備129を通して顧客と相互作用することによって;または、それらの任意の組み合わせによって等、顧客との商取引を管理するために電子商取引プラットフォーム100を利用し得る。商業者は、顧客との唯一の商取引存在として、または、他の商業者商取引設備と併せて(物理的店舗(例えば、「実店舗」小売店)、商業者オフプラットフォームウェブサイト104(例えば、電子商取引プラットフォームと別個に商業者によって、または商業者の代わりにサポートされる、商取引インターネットウェブサイト、または他のインターネットもしくはウェブプロパティまたはアセット)等を通して等)、電子商取引プラットフォーム100を利用し得る。しかしながら、これらの「他の」商業者商取引設備でさえ、電子商取引プラットフォームの中に組み込まれ得る(商業者の物理的店舗内のPOSデバイス152が、電子商取引プラットフォーム100の中にリンクされる場合;商業者オフプラットフォームウェブサイト104が、商業者オフプラットフォームウェブサイト104からオンラインストア138にコンテンツをリンクする「購入ボタン」を通して等、電子商取引プラットフォーム100に結び付けられる場合等)。
【0044】
オンラインストア138は、複数の仮想店頭を備えているマルチテナント設備を表し得る。実施形態において、商業者は、商業者デバイス102(例えば、コンピュータ、ラップトップコンピュータ、モバイルコンピューティングデバイス等)を通して等、オンラインストア138における1つ以上の店頭を管理し、いくつかの異なるチャネル110A-B(例えば、オンラインストア138;POSデバイス152を通した物理的店頭;ソーシャルネットワーク、ソーシャルメディアページ、ソーシャルメッセージングシステム等のウェブサイトまたはソーシャルメディアチャネルの中に組み込まれた電子購入ボタンを通した電子市場等)を通して製品を顧客に提供し得る。商業者は、チャネル110A-Bを横断して販売し、次いで、電子商取引プラットフォーム100を通してその販売を管理し得、チャネル110Aは、電子商取引プラットフォーム100の内部に、または電子商取引チャネル110Bの外側から提供され得る。商業者は、それらの物理的小売店で、ポップアップで、卸売を通して、電話を経由して等で販売し、次いで、電子商取引プラットフォーム100を通してそれらの販売を管理し得る。商業者は、POSデバイス152を利用して、物理的店頭を通して事業を維持すること、オンラインストア138を通して仮想店頭を維持すること、および、顧客相互作用を活用するための通信設備129と販売の確率を改良するための分析132を利用すること等のこれらの全てまたは任意の組み合わせを採用し得る。本開示の全体を通して、用語「オンラインストア138」および「店頭」は、電子商取引プラットフォーム100を通した商業者のオンライン電子商取引提供存在を指すために同義的に使用され得、オンラインストア138は、(例えば、複数の商業者のために)電子商取引プラットフォーム100によってサポートされる店頭のマルチテナント集合、または個々の商業者の店頭(例えば、商業者のオンラインストア)を指し得る。
【0045】
実施形態において、顧客は、顧客デバイス150(例えば、コンピュータ、ラップトップコンピュータ、モバイルコンピューティングデバイス等)、POSデバイス152(例えば、小売デバイス、キオスク、自動精算システム等)、または当技術分野で公知である任意の他の商取引インターフェースデバイスを通して、相互作用し得る。電子商取引プラットフォーム100は、商業者が、オンラインストア138を通して、物理的場所(例えば、商業者の店頭または他の場所)におけるPOSデバイス152を通して、顧客に到達し、電子通信設備129を介したダイアログを通して顧客との商取引を促進することを可能にし、顧客に到達して顧客と相互作用するために利用可能な実際または仮想経路のために、顧客に到達し、商業者サービスを促進するためのシステムを提供し得る。
【0046】
実施形態において、本明細書にさらに説明されるように、電子商取引プラットフォーム100は、プロセッサと、メモリとを含む処理設備を通して実装され得、処理設備は、実行されると、電子商取引プラットフォーム100に電子商取引を実施させ、本明細書に説明されるような機能をサポートさせる命令の組を記憶する。処理設備は、サーバ、クライアント、ネットワークインフラストラクチャ、モバイルコンピューティングプラットフォーム、クラウドコンピューティングプラットフォーム、定置コンピューティングプラットフォーム、または他のコンピューティングプラットフォームの一部であり、電子商取引プラットフォーム100、商業者デバイス102、支払ゲートウェイ106、アプリケーション開発者、チャネル110A-B、発送プロバイダ112、顧客デバイス150、販売時点デバイス152等の電子コンポーネント間での電子接続性および通信を提供し得る。電子商取引プラットフォーム100は、ソフトウェアが、サブスクリプション基準で認可され、中央でホストされる(例えば、ウェブブラウザまたは他のアプリケーションを介して、クライアント(例えば、シンクライアント)を使用してユーザによってアクセスされる、POSデバイスを通してアクセスされる等)ソフトウェアおよび配信モデル等で、クラウドコンピューティングサービス、サービスとしてのソフトウェア(SaaS)、サービスとしてのインフラストラクチャ(IaaS)、サービスとしてのプラットフォーム(PaaS)、サービスとしてのデスクトップ(DaaS)、サービスとしての管理されたソフトウェア(MSaaS)、サービスとしてのモバイルバックエンド(MBaaS)、サービスとしての情報技術管理(ITMaaS)等として実装され得る。実施形態において、電子商取引プラットフォーム100の要素は、種々のプラットフォームおよびオペレーティングシステム(iOS、Android)上で、ウェブ上等で動作するように実装され得る(例えば、アドミニストレータ114は、iOS、Androidのための所与のオンラインストア、およびウェブのための複数の実例で実装され、各々は、類似した機能性を伴う)。
【0047】
実施形態において、オンラインストア138は、電子商取引プラットフォーム100のサーバによって提供されるウェブページを通して顧客デバイス150にサービス提供され得る。サーバは、顧客デバイス150上にインストールされたブラウザまたは他のアプリケーションからウェブページのための要求を受信し得、ブラウザ(または他のアプリケーション)は、IPアドレスを通してサーバに接続し、IPアドレスは、ドメイン名を変換することによって取得される。引き換えに、サーバは、要求されたウェブページを返送する。ウェブページは、ハイパーテキストマークアップ言語(HTML)、テンプレート言語、Java(登録商標)Script等、またはそれらの任意の組み合わせで書かれ、または、それを含み得る。例えば、HTMLは、ウェブページのレイアウト、形式、およびコンテンツ等のウェブページに関する静的情報を記述する、コンピュータ言語である。ウェブサイト設計者および開発者は、テンプレート言語を使用し、複数のページ上で同じである静的コンテンツと1つのページから次のページに変化する動的コンテンツとを組み合わせるウェブページを構築し得る。テンプレート言語は、オンラインストアからのデータをページに動的に投入しながら、ウェブページのレイアウトを定義する静的要素を再利用することを可能にし得る。静的要素は、HTMLで書かれ得、動的要素は、テンプレート言語で書かれ得る。ファイル内のテンプレート言語要素は、ファイル内のコードがコンパイルされ、顧客デバイス150に送信され、次いで、テーマがインストールされるとき等、テンプレート言語がオンラインストア138からのデータによって置換されるように、プレースホルダとしての機能を果たし得る。テンプレートおよびテーマは、タグ、オブジェクト、およびフィルタを考慮し得る。クライアントデバイスウェブブラウザ(または他のアプリケーション)は、次いで、それに応じてページをレンダリングする。
【0048】
実施形態において、オンラインストア138は、電子商取引プラットフォーム100によって顧客にサービス提供され得、顧客は、利用可能な種々の製品をブラウズし、購入する(例えば、それらをカートに追加する、購入ボタンを通して即時に購入する等)ことができる。オンラインストア138は、それが(商業者から直接ではなく)電子商取引プラットフォーム100を通して提供されていることを必ずしも意識することなく、透過様式で顧客にサービス提供され得る。商業者は、商業者構成可能ドメイン名、カスタマイズ可能なHTMLテーマ等を使用し、商業者のオンラインストア138をカスタマイズし得る。商業者は、オンラインストアの製品階層に示される同じ基本的製品および事業データを有しながら、それらのテーマを変更することによって、商業者がそれらのオンラインストア138の外観と雰囲気を選択および変更し得る場合等、テーマシステムを通してそのウェブサイトの外観と雰囲気をカスタマイズし得る。テーマは、ユーザがフレキシブルにそのウェブサイトの設計をカスタマイズすることを可能にする設計インターフェースである、テーマエディタを通してさらにカスタマイズされ得る。テーマは、具体的な色、フォント、および事前構築されたレイアウトスキーム等の側面を変更するテーマ特定の設定も使用して、カスタマイズされ得る。オンラインストアは、ウェブサイトコンテンツのためのコンテンツ管理システムを実装し得る。商業者は、ブログ投稿または静的ページを作成し、ブログ、記事等を通して等、それらを商業者のオンラインストア138に公開するとともに、ナビゲーションメニューを構成し得る。商業者は、(例えば、データ134としての)システムによる記録のため等に、(例えば、製品のための)画像、ビデオ、コンテンツ、データ等を電子商取引プラットフォーム100にアップロードし得る。実施形態において、電子商取引プラットフォーム100は、画像のサイズを変更すること、画像を製品に関連付けること、テキストを追加し、画像に関連付けること、新しい製品変種のための画像を追加すること、画像を保護すること等を行うための機能を提供し得る。
【0049】
本明細書に説明されるように、電子商取引プラットフォーム100は、オンラインストア138を含むいくつかの異なるチャネル110A-Bを通して、電話を経由して、および、本明細書に説明されるような物理的POSデバイス152を通して、製品のための取引設備を商業者に提供し得る。電子商取引プラットフォーム100は、事業サポートサービス116と、アドミニストレータ114と、オンライン事業を経営することに関連付けられたこと(それらのオンラインストアに関連付けられるドメインサービス118、顧客との取引を促進するための支払サービス120、購入された製品のための顧客発送オプションを提供するための発送サービス122、および製品保護および責任、商業者請求等に関連付けられるリスクおよび保険サービス124を提供すること等)とを含み得る。サービス116は、電子商取引プラットフォーム100を介して、または支払処理のための支払ゲートウェイ106、製品の発送を促進するための発送プロバイダ112等を通して等、外部設備と関連して提供され得る。
【0050】
実施形態において、電子商取引プラットフォーム100は、リアルタイム更新、追跡、自動料金計算、大量注文準備、ラベル印刷等を商業者に提供すること等の(例えば、電子商取引プラットフォーム発送設備を通した、または第三者発送キャリアを通した)統合型発送サービス122を提供し得る。
【0051】
図2は、アドミニストレータ114のホームページの非限定的実施形態を描写し、それは、毎日のタスク、店の最近のアクティビティ、商業者がその事業を構築するために講じ得る次のことについての情報を示し得る。実施形態において、商業者は、デスクトップコンピュータまたはモバイルデバイスから等、商業者デバイス102を介してアドミニストレータ114にログインし、オンラインストア138の最近のアクティビティを閲覧すること、オンラインストア138のカタログを更新すること、注文、最近の訪問アクティビティ、全注文アクティビティを管理すること等のそれらのオンラインストア138の側面を管理し得る。実施形態において、商業者は、
図2上に示されるようなサイドバーを使用することによって、アドミニストレータ114の異なるセクションにアクセスすることが可能であり得る。アドミニストレータ114のセクションは、注文、製品、顧客、利用可能なレポートおよび割引を含む商業者の事業のコア側面にアクセスし、管理するための種々のインターフェースを含み得る。アドミニストレータ114は、オンラインストア、店にアクセスするために顧客に利用可能にされるモバイルアプリケーション(モバイルアプリ)、POSデバイス、および/または購入ボタンを含む店のための販売チャネルを管理するためのインターフェースも含み得る。アドミニストレータ114は、商業者のアカウント上にインストールされるアプリケーション(アプリ)、商業者のオンラインストア138およびアカウントに適用される設定を管理するためのインターフェースも含み得る。商業者は、検索バーを使用し、製品、ページ、または他の情報を見出し得る。商業者が使用しているデバイス102またはソフトウェアアプリケーションに応じて、商業者は、アドミニストレータ114を通して異なる機能性に関して有効にされ得る。例えば、商業者が、ブラウザからアドミニストレータ114にログインする場合、それらのオンラインストア138の全ての側面を管理することが可能であり得る。商業者が、(例えば、モバイルアプリケーションを介して)それらのモバイルデバイスからログインする場合、オンラインストア138の最近のアクティビティを閲覧すること、オンラインストア138のカタログを更新すること、注文を管理すること等のそのオンラインストア138の側面の全てまたは一部を閲覧することが可能であり得る。
【0052】
商取引および商業者のオンラインストア138への訪問者についてのより詳細な情報は、商業者の全体的事業に関する販売概要、アクティブな販売チャネルに関する具体的販売および契約データ等を表示すること等の獲得レポートまたはメトリクスを通して、閲覧され得る。レポートは、獲得レポート、挙動レポート、顧客レポート、金融レポート、マーケティングレポート、販売レポート、カスタムレポート等を含み得る。商業者は、ドロップダウンメニューを使用することによって等、異なる期間(例えば、数日、数週間、数ヶ月等)から異なるチャネル110A-Bに関する販売データを閲覧することが可能であり得る。概観ダッシュボードが、店の販売および契約データのより詳細な閲覧を所望する商業者のために提供され得る。ホームメトリクスセクション内のアクティビティフィードが、商業者のアカウント上のアクティビティの概観を例証するように提供され得る。例えば、「全ての最近のアクティビティを閲覧する」ダッシュボードボタンをクリックすることによって、商業者は、そのアカウント上の最近のアクティビティのより長いフィードを見ることが可能であり得る。ホームページは、アカウントステータス、成長率、最近の顧客アクティビティ等に基づいて等、商業者のオンラインストア138についての通知を示し得る。通知が、支払を捕捉すること、履行されたものとして注文をマークすること、完了した注文を保管すること等のプロセスを通して、商業者がナビゲートすることを支援するように提供され得る。
【0053】
電子商取引プラットフォーム100は、商業者、顧客、商業者デバイス102、顧客デバイス150、POSデバイス152等の間の通信相互作用を収集および分析し、製品の販売等を提供するための可能性を増加させるため等に通信を集約および分析するための電子メッセージング集約設備を利用すること等の電子通信およびマーケティングを提供するための通信設備129および関連付けられる商業者インターフェースを提供し得る。例えば、顧客は、顧客と商業者(または商業者を表す自動プロセッサベースのエージェント)との間のダイアログを生成し得る製品に関連する質問を有し得、通信設備129は、相互作用を分析し、販売の確率を改良する方法について分析を商業者に提供する。
【0054】
電子商取引プラットフォーム100は、セキュアカードサーバ環境を通して等、顧客とのセキュアな金融取引のための金融設備120を提供し得る。電子商取引プラットフォーム100は、支払カード業界データ(PCI)環境(例えば、カードサーバ)内等にクレジットカード情報を記憶すること、資金面を照合すること、商業者に請求すること、(例えば、資本金を使用するときに)電子商取引プラットフォーム100金融機関口座と商業者の銀行口座との間の自動決済機関(ACH)送金を実施すること等を行い得る。これらのシステムは、サーベンス・オクスリー法(SOX)の順守と、それらの発展および運用において要求される高レベルのデューデリジェンスとを有し得る。金融設備120は、資本金の融資(例えば、融資資金、現金前貸し等)および保険の提供を通して等、商業者に金融支援も提供し得る。加えて、電子商取引プラットフォーム100は、マーケティングおよびパートナーサービスの組を提供し、電子商取引プラットフォーム100とパートナーとの間の関係を制御し得る。それらは、新しい商業者を電子商取引プラットフォーム100と接続し、それに搭載し得る。これらのサービスは、商業者が電子商取引プラットフォーム100を横断して作業することをより容易にすることによって、商業成長を可能にし得る。これらのサービスを通して、商業者は、電子商取引プラットフォーム100を介して、ヘルプ設備を提供され得る。
【0055】
実施形態において、オンラインストア138は、多数の独立して管理された店頭をサポートし、種々の製品に関して日常的に大量の取引データを処理し得る。取引データは、顧客連絡先情報、請求情報、発送情報、購入される製品についての情報、提供されるサービスについての情報、および電子商取引プラットフォーム100を通して事業に関連付けられる任意の他の情報を含み得る。実施形態において、電子商取引プラットフォーム100は、データ設備134内にデータを記憶し得る。取引データは、分析132を生成するように処理され得、それは、次に、消費者傾向、マーケティングおよび販売洞察、販売を改良するための推奨、顧客挙動の評価、マーケティングおよび販売モデリング、詐欺の傾向等を提供すること、オンライン商取引に関連すること、およびダッシュボードインターフェースを通して、レポートを通して等を通して提供されること等の商業者または第三者商取引エンティティに提供され得る。電子商取引プラットフォーム100は、事業および商業者取引についての情報を記憶し得、データ設備134は、データを向上させ、寄与し、精緻化し、抽出する多くの方法を有し得、経時的に、収集されたデータは、電子商取引プラットフォーム100の側面の改良を可能にし得る。
【0056】
図1を再度参照すると、実施形態において、電子商取引プラットフォーム100は、(例えば、製品、在庫、顧客、注文、提携、供給業者、レポート、資金面、リスクおよび詐欺等に関連する)複数のオンラインストア138へのサポートおよびサービスを可能にするように、コンテンツ管理、タスク自動化、およびデータ管理のための商取引管理エンジン136で構成され得るが、ますます増加する種々の商業者オンラインストア、POSデバイス、製品、およびサービスに適応するために要求される、さらなるフレキシビティおよびカスタムプロセスを可能にするアプリケーション142A-Bを通して拡張可能であり得、アプリケーション142Aは、電子商取引プラットフォーム100の内部に提供されるか、または、アプリケーション142Bは、電子商取引プラットフォーム100の外側から提供され得る。実施形態において、アプリケーション142Aは、プラットフォーム100を提供する同じ関係者によって、または異なる関係者によって提供され得る。実施形態において、アプリケーション142Bは、プラットフォーム100を提供する同じ関係者によって、または異なる関係者によって提供され得る。商取引管理エンジン136は、顧客識別子、注文識別子、オンラインストア識別子等別等の機能およびデータの分割(例えば、シャーディング)を通して、フレキシビティおよびスケーラビリティのために構成され得る。商取引管理エンジン136は、店特定のビジネス論理に適応し得、いくつかの実施形態において、アドミニストレータ114および/またはオンラインストア138を組み込み得る。
【0057】
商取引管理エンジン136は、電子商取引プラットフォーム100の基礎または「コア」機能を含み、したがって、本明細書に説明されるように、オンラインストア138をサポートする全ての機能が、含むために適切とは限らないこともある。例えば、商取引管理エンジン136に含むための機能は、コア機能性閾値を超える必要があり得、それを通して、機能が、商取引体験にコア的である(例えば、チャネル、アドミニストレータインターフェース、商業場所、業界、製品タイプ等を横断して等、オンラインストアアクティビティの大部分に共通する)こと、オンラインストア138を横断して再利用可能であること(例えば、コア機能を横断して再利用/修正され得る機能)、一度に単一のオンラインストア138のコンテキストに限定されること(例えば、オンラインストア138が相互のデータにアクセスできないことを確実にし、コードが一度に複数のオンラインストア138と相互作用することができるべきではない、オンラインストア「隔離原則」を実装する)、取引作業負荷を提供すること等が決定され得る。実装される機能の内容の制御を維持することは、多くの要求される特徴が、商取引管理エンジン136によって直接サービス提供されるか、またはアプリケーション142A-Bおよびチャネル110A-Bへのアプリケーションプログラミングインターフェース(API)接続を通したその拡張によって等、インターフェース140A-Bを通して有効にされるかのいずれかであるので、商取引管理エンジン136が応答性のままであることを可能にし得、インターフェース140Aは、電子商取引プラットフォーム100の内側に、または電子商取引プラットフォーム100の外側のアプリケーション142Bおよび/またはチャネル110Bに提供されるインターフェース140Bを通して、アプリケーション142Aおよび/またはチャネル110Aに提供され得る。概して、プラットフォーム100は、他のプラットフォーム、システム、ソフトウェア、データソース、コード等への接続、およびそれとの通信を促進するインターフェース140A-B(拡張、コネクタ、API等であり得る)を含み得る。そのようなインターフェース140A-Bは、商取引管理エンジン136のインターフェース140Aまたはより一般的にはプラットフォーム100のインターフェース140Bであり得る。商取引管理エンジン136内の制限機能性が配慮されない場合、遅いデータベースまたは重要でないバックエンド不具合を通したインフラストラクチャ劣化を通して、データセンタがオフラインになることを伴う等の壊滅的なインフラストラクチャ不具合を通して、予期されるよりも実行するために長い時間がかかる、展開されている新しいコードを通して等を通して等、応答性が侵害され得る。これらの状況を防止または軽減するために、商取引管理エンジン136は、タイムアウト、待ち行列、劣化を防止するためのバックプレッシャ等を利用する構成を通して等、応答性を維持するように構成され得る。
【0058】
オンラインストアデータを隔離することが、オンラインストア138と商業者との間のデータプライバシーを維持するために重要であるが、例えば、注文リスク査定システムまたはプラットフォーム支払設備(それらの両方は、うまく機能するための複数のオンラインストア138からの情報を要求する)に関して等、店舗を跨いだデータを収集および使用するための理由が存在し得る。実施形態において、隔離原則に違反するのではなく、これらのコンポーネントを商取引管理エンジン136の外に移動させ、電子商取引プラットフォーム100内のそれらの独自のインフラストラクチャの中に移動させることが好ましくあり得る。
【0059】
実施形態において、電子商取引プラットフォーム100は、プラットフォーム支払設備120を提供し得、プラットフォーム支払設備120は、商取引管理エンジン136からのデータを利用するが、隔離原則に違反しないように外側に位置し得るコンポーネントの別の例である。プラットフォーム支払設備120は、オンラインストア138と相互作用する顧客が、商取引管理エンジン136によって安全に記憶されたそれらの支払情報を有することを可能にし得、それによって、顧客は、それらの支払情報を一度だけ入力する必要がある。顧客が異なるオンラインストア138を訪問した場合、顧客が以前にそれを訪れたことがなくとも、プラットフォーム支払設備120は、顧客の情報を呼び起こし、より迅速かつ正しい精算を可能にし得る。これは、プラットフォームを跨いだネットワーク効果を提供し得、電子商取引プラットフォーム100は、より多くの商業者が参入するにつれて、その商業者により有用になる(顧客購入に関する使用の容易性により、より頻繁に精算するより多くの顧客がいるため等)。本ネットワークの効果を最大化するために、所与の顧客に関する支払情報は、オンラインストアの精算から読み出し可能であり、情報がオンラインストア138を横断して世界的に利用可能にされることを可能にし得る。各オンラインストア138が任意の他のオンラインストア138に接続し、それに記憶された支払情報を読み出すことが可能であることは、困難でエラーを起こしやすいであろう。結果として、プラットフォーム支払設備は、商取引管理エンジン136の外部に実装され得る。
【0060】
商取引管理エンジン136内に含まれないそれらの機能に関して、アプリケーション142A-Bは、特徴を電子商取引プラットフォーム100に追加する方法を提供する。アプリケーション142A-Bは、商業者のオンラインストア138についてのデータにアクセスして修正すること、アドミニストレータ114を通してタスクを実施すること、ユーザインターフェース(例えば、拡張/APIを通して表面化される)を通して商業者のための新しいフローを作成すること等を行うことが可能であり得る。商業者は、アプリケーション検索、推奨、およびサポート128を通して、アプリケーション142A-Bを発見およびインストールすることを可能にされ得る。実施形態において、コア製品、コア拡張点、アプリケーション、およびアドミニストレータ114は、協働するように開発され得る。例えば、アプリケーション拡張点は、アドミニストレータ114の内側に構築され得、それによって、コア特徴は、拡張を通してアプリケーションによって拡張され得、それは、機能性を商業者に配信し得る。
【0061】
実施形態において、アプリケーション142A-Bは、アプリケーション142A-Bが商業者への取引データを表面化することができる場合(例えば、アプリ:「エンジン、組み込みアプリSDKを使用して、モバイルおよびウェブ管理内のアプリデータを表面化して」)、および/または、商取引管理エンジン136が要求に応じて作業を実施するようにアプリケーションに求めることができる場合(エンジン:「アプリ、この精算に関する地方税計算を出して」)等、インターフェース140A-Bを通して機能性を商業者に配信し得る。
【0062】
アプリケーション142A-Bは、オンラインストア138およびチャネル110A-Bをサポートすること、商業者サポートを提供すること、他のサービスと相互作用すること等を行い得る。商取引管理エンジン136がサービスの基礎をオンラインストア138に提供し得る場合、アプリケーション142A-Bは、特定の必要性、時として独特の必要性を商業者が満たす方法を提供し得る。異なる商業者は、異なる必要性を有し、したがって、異なるアプリケーション142A-Bから恩恵を受け得る。アプリケーション142A-Bは、アプリケーションが商業者のためにそれが果たす機能のタイプに従ってタグ付けされることを可能にするアプリケーション分類(カテゴリ)の開発を通した電子商取引プラットフォーム100を通して;検索、ランク付け、および推奨モデルをサポートするアプリケーションデータサービスを通して;アプリケーションストア、ホーム情報カード、アプリケーション設定ページ等のアプリケーション発見インターフェースを通して等、より良好に発見され得る。
【0063】
アプリケーション142A-Bは、インターフェース140A-Bを通して(商取引管理エンジン136を通して、かつその内側で利用可能な機能性およびデータを(例えば、REST、GraphQL等を通して)アプリケーションの機能性にエクスポーズするためにAPIを利用すること等)商取引管理エンジン136に接続され得る。例えば、電子商取引プラットフォーム100は、アプリケーション拡張、プロセスフローサービス、開発者側リソース等を含む等の商業者およびパートナー側製品およびサービスへのAPIインターフェース140A-Bを提供し得る。買物のためにモバイルデバイスをより頻繁に使用する顧客に関して、モバイル使用に関連するアプリケーション142A-Bは、関連する増加する商取引トラフィックをサポートするためのAPIのより広範な使用から恩恵を受け得る。(例えば、アプリケーション開発のために提供されるような)アプリケーションおよびAPIの使用を通して提供されるフレキシビティは、電子商取引プラットフォーム100が、商取引管理エンジン136に絶え間ない変化を要求することなく、商業者(および内部APIを通した内部開発者)の新しい独特の必要性により良好に適応することを可能にし、したがって、商業者に必要とするときに必要とするものを提供する。例えば、発送サービス122は、発送またはキャリアサービスAPIを通して商取引管理エンジン136と統合され得、したがって、電子商取引プラットフォーム100が、商取引管理エンジン136内で起動するコードに直接影響を及ぼすことなく、発送サービス機能性を提供することを可能にする。
【0064】
バックオフィス運営(商業者側アプリケーション142A-B)に関連付けられる問題およびオンラインストア138(顧客側アプリケーション142A-B)内の問題等の多くの商業問題が、アプリケーション開発を通して、パートナーに商業ワークフローを改良および拡張させることによって、解決され得る。事業を行うことの一部として、多くの商業者は、バックオフィスタスク(例えば、商品化、在庫、割引、履行等)およびオンラインストアタスク(例えば、そのオンラインショップに関連するフラッシュセール、新しい製品提供等のためのアプリケーション)のために、日常的にモバイルおよびウェブ関連アプリケーションを使用し、アプリケーション142A-Bは、拡張/API 140A-Bを通して、急成長している市場で製品を視認および購入しやすくすることに役立つ。実施形態において、パートナー、アプリケーション開発者、内部アプリケーション設備等は、アプリケーションインターフェースをサンドボックスするアドミニストレータ114内のフレームを作成することを通して、ソフトウェア開発キット(SDK)を提供され得る。実施形態において、アドミニストレータ114は、フレーム内で起こることを制御することも意識することもないこともある。SDKは、商取引管理エンジン136の拡張としての機能を果たす等、電子商取引プラットフォーム100の外観と雰囲気を模倣するインターフェースを生成するために、ユーザインターフェースと併せて使用され得る。
【0065】
APIを利用するアプリケーション142A-Bは、要求に応じてデータをプルし得るが、多くの場合、それらは、更新が起きたときにデータをプッシュしてもらう必要もある。例えば、顧客作成、製品変更、または注文取消等の更新イベントは、サブスクリプションモデルで実装され得る。更新イベントは、ローカルデータベースを同期させること、外部統合パートナーに通知すること等のため等、商取引管理エンジン136の変更された状態に関して必要とされる更新を商業者に提供し得る。更新イベントは、常に商取引管理エンジン136にポーリングし、更新をチェックする必要なく、この機能性を有効にし得る(更新イベントサブスクリプションを通して等)。実施形態において、更新イベントサブスクリプションに関連する変更が起こると、商取引管理エンジン136は、要求を所定のコールバックURL等に投稿し得る。この要求の本体は、オブジェクトの新しい状態とアクションまたはイベントの説明とを含み得る。更新イベントサブスクリプションは、アドミニストレータ設備114内で手動で、または自動的に(例えば、API 140A-Bを介して)作成され得る。実施形態において、更新イベントは、待ち行列に入れられ、それらをトリガした状態変化から非同期的に処理され得、それは、リアルタイムで配信されない更新イベント通知を生成し得る。
【0066】
実施形態において、電子商取引プラットフォーム100は、アプリケーション検索、推奨、およびサポート128を提供し得る。アプリケーション検索、推奨、およびサポート128は、アプリケーションの開発において補助するための開発者製品およびツール;
アプリケーションダッシュボード(例えば、開発者に開発インターフェースを提供するための、アプリケーションの管理のためのアドミニストレータへの、アプリケーションのカスタマイズのための商業者への等);アプリケーション142A-Bへのアクセス(例えば、インストールされる前に基準が満たされなければならない場合等の公的アクセスのために、または商業者による私的使用のために)を提供することに関する許可をインストールおよび提供するための設備;商業者がそのオンラインストア138の必要性を満たすアプリケーション142A-Bを検索することを容易にするためのアプリケーション検索;そのオンラインストア138を通したユーザ体験を改良し得る方法についての提案を商業者に提供するためのアプリケーション推奨、商取引管理エンジン136内のコアアプリケーション能力の説明;等を含み得る。これらのサポート設備は、任意のエンティティによって実施されるアプリケーション開発によって利用され得、任意のエンティティは、それら自身のアプリケーション142A-Bを開発する商業者;アプリケーション142A-Bを開発する第三者開発者(例えば、商業者によって契約された、公衆に提供するために自発的に開発された、電子商取引プラットフォーム100に関連して使用するために契約された等);または、電子商取引プラットフォーム100に関連付けられた内部個人用リソースによって開発されているアプリケーション142Aまたは142Bを含む。実施形態において、アプリケーション142A-Bは、(例えば、APIを通して)アプリケーションにリンクすること、アプリケーションを検索すること、アプリケーション推奨を行うこと等のために等、アプリケーション識別子(ID)を割り当てられ得る。
【0067】
商取引管理エンジン136は、電子商取引プラットフォーム100の基礎機能を含み、API 140A-Bを通してこれらの機能をアプリケーション142A-Bにエクスポーズし得る。API 140A-Bは、アプリケーション開発を通して構築される異なるタイプのアプリケーションを有効にし得る。アプリケーション142A-Bは、商業者の多種多様な必要性を満たすことが可能であり得るが、3つのカテゴリに大まかにグループ化され得る:顧客側アプリケーション、商業者側アプリケーション、統合アプリケーション等。顧客側アプリケーション142A-Bは、商業者が製品をリストアップし、それらを購入してもらう場所を設置するオンラインストア138またはチャネル110A-Bを含み得る(例えば、オンラインストア、(例えば、商品、または第三者ソースからの日和見的販売機会からの)フラッシュセールのためのアプリケーション、モバイルストアアプリケーション、ソーシャルメディアチャネル、卸売購入を提供するためのアプリケーション等)。商業者側アプリケーション142A-Bは、商業者が、(例えば、ウェブまたはウェブサイトもしくはモバイルデバイスに関連するアプリケーションを通して)そのオンラインストア138を管理すること、(例えば、POSデバイスに関連するアプリケーションを通して)その事業を運営すること、(例えば、発送(例えば、直送)、自動エージェントの使用、プロセスフロー開発および改良の使用に関連するアプリケーションを通して)その事業を成長させること等を行うことを可能にするアプリケーションを含み得る。統合アプリケーションは、発送プロバイダ112および支払ゲートウェイ等の事業の運営に関与する有用な統合を提供するアプリケーションを含み得る。
【0068】
実施形態において、アプリケーション開発者は、アプリケーションプロキシを使用し、外側の場所からデータをフェッチし、それをオンラインストア138のページ上に表示し得る。これらのプロキシページ上のコンテンツは、例えば、動的であり得、更新されることが可能であり得る。アプリケーションプロキシは、画像ギャラリ、統計、カスタムフォーム、および他の種類の動的コンテンツを表示するために有用であり得る。電子商取引プラットフォーム100のコアアプリケーション構造は、ますます増加する商業者体験がアプリケーション142A-Bで構築されることを可能し得、それによって、商取引管理エンジン136は、商取引のより一般的に利用されているビジネス論理に焦点を当てたままであり得る。
【0069】
電子商取引プラットフォーム100は、商業者がフレキシブルかつ透過的様式で顧客と接続することを可能にする監督されたシステムアーキテクチャを通してオンラインショッピング体験を提供する。典型的顧客体験は、顧客が、チャネル110A-B上で商業者の製品をブラウズし、購入する意図があるものをそのカートに追加し、精算に進み、そのカートのコンテンツの代金を支払い、商業者のために注文の作成をもたらす実施形態の例示的購入ワークフローを通して、より理解され得る。商業者は、次いで、注文を精査および履行(またはキャンセル)し得る。製品は、次いで、顧客に配送される。顧客が満足していない場合、製品を商業者に返品し得る。
【0070】
例示的実施形態において、顧客は、チャネル110A-B上で商業者の製品をブラウズし得る。チャネル110A-Bが、顧客が製品を閲覧し、購入し得る場所を設置する。実施形態において、チャネル110A-Bは、アプリケーション142A-Bとしてモデル化され得る(可能な例外は、商取引管理エンジン136内に統合されるオンラインストア138である)。商品化コンポーネントは、商業者が販売することを欲するもの、およびそれを販売する場所を説明することを可能にし得る。製品とチャネルとの間の関連性は、製品公開としてモデル化され、製品リストアップAPIを介して等、チャネルアプリケーションによってアクセスされ得る。製品は、サイズおよび色のような多くのオプション、および、極小かつ緑色である変種または大型サイズかつ青色である変種のような全てのオプションの具体的組み合わせに利用可能なオプションを拡張する多くの変種を有し得る。製品は、少なくとも1つの変種を有し得る(例えば、「デフォルト変種」が、いずれのオプションも伴わない製品のために作成される)。ブラウズおよび管理を促進するために、例えば、製品は、集合にグループ化され、製品識別子(例えば、最小在庫管理単位(SKU))を提供され得る。製品の集合は、製品を1つに手動で分類すること(例えば、カスタム収集)によって、自動分類のためのルールセットを構築すること(例えば、スマート収集)によって等のいずれかで、構築され得る。製品は、仮想または拡張現実インターフェースを通した2D画像、3D画像、回転視界画像等として視認され得る。
【0071】
実施形態において、顧客は、購入する意図があるものをそのショッピングカートに追加し得る(代替実施形態において、製品が、本明細書に説明されるような購入ボタンを通して等、直接購入され得る)。顧客は、製品変種をそのショッピングカートに追加し得る。ショッピングカートモデルは、チャネル特定であり得る。オンラインストア138カートは、複数のカートラインアイテムから成り得、各カートラインアイテムは、製品変種に関して数量を追跡する。商業者は、カートスクリプトを使用し、そのカートのコンテンツに基づいて特別な販売促進を顧客に提供し得る。製品をカートに追加することが、顧客または商業者からのいずれの確約も含意せず、カートの平均寿命が、(数日ではなく)数分であり得るので、カートは、短命なデータ記憶に存続させられ得る。
【0072】
顧客は、次いで、精算に進む。精算コンポーネントが、顧客側注文作成プロセスとしてウェブ精算を実装し得る。精算APIが、顧客の代わりに(例えば、販売時点のために)注文を作成するためにいくつかのチャネルアプリケーションによって使用されるコンピュータ側注文作成プロセスとして提供され得る。精算は、カートから作成され、Eメールアドレス、請求、および発送詳細等の顧客の情報を記録し得る。精算時、商業者は、価格決定を確約する。顧客が、それらの連絡先情報を入力するが、支払に進まない場合、電子商取引プラットフォーム100は、(例えば、破棄された精算特徴に)顧客を再従事させる機会を提供し得る。これらの理由により、精算は、カートよりもはるかに長い寿命(数時間またはさらに数日)を有することができ、したがって、存続させられる。精算は、顧客の発送住所に基づいて、税および発送費用を計算し得る。精算は、税の計算を税コンポーネントに、発送費用の計算を配送コンポーネントに委託し得る。価格決定コンポーネントは、商業者が割引コード(例えば、精算に応じて入力されたときに精算において新しい価格をアイテムに適用する、「秘密」の文字列)を作成することを可能にし得る。割引は、顧客を引き付け、マーケティングキャンペーンの実施を査定するために商業者によって使用され得る。割引および他のカスタム価格システムが、価格ルール(例えば、満たされたときに権利の組を含意する必須条件の組)を通して等、同じプラットフォーム部品の上に実装され得る。例えば、必須条件は、「注文小計が100ドルを上回る」または「発送費用が10ドル未満である」等の項目であり得、権利は、「注文全体に20%割引」または「10ドルオフ製品X、Y、Z」等の項目であり得る。
【0073】
顧客は、次いで、そのカートのコンテンツの代金を支払い、商業者のために注文の作成をもたらす。チャネル110A-Bは、商取引管理エンジン136を使用し、顧客および商業者から、およびそれらへ、金銭、通貨、または価値の保存(ドルもしくは暗号通貨等)を移動させ得る。種々の支払プロバイダ(例えば、オンライン支払システム、モバイル支払システム、デジタルウォレット、クレジットカードゲートウェイ等)との通信が、支払処理コンポーネント内で実装され得る。支払ゲートウェイ106との実際の相互作用は、カードサーバ環境を通して提供され得る。実施形態において、支払ゲートウェイ106は、主要な国際クレジットカードプロセッサを統合すること等、国際支払を受け入れ得る。カードサーバ環境は、カードサーバアプリケーション、カードシンク、ホストされたフィールド等を含み得る。この環境は、機密クレジットカード情報のセキュアゲートキーパとしての機能を果たし得る。実施形態において、プロセスの殆どが、支払処理ジョブによって調整され得る。商取引管理エンジン136は、オフサイト支払ゲートウェイ106(例えば、顧客が別のウェブサイトに向け直される)、手動で(例えば、現金)、オンライン支払方法(例えば、オンライン支払システム、モバイル支払システム、デジタルウォレット、クレジットカードゲートウェイ等)、ギフトカード等を通して等、多くの他の支払方法をサポートし得る。精算プロセスの終了時、注文が作成される。注文は、商業者が注文上にリストアップされる品物およびサービス(例えば、注文ラインアイテム、発送ラインアイテム等)を提供することに合意し、顧客が支払(税を含む)を提供することに合意する商業者と顧客との間の販売の契約である。このプロセスは、販売コンポーネント内でモデル化され得る。商取引管理エンジン136精算に依拠しないチャネル110A-Bは、注文APIを使用し、注文を作成し得る。注文が作成されると、通知コンポーネントを介して、注文確認通知が、顧客に送信され得、発注通知が、商業者に送信され得る。在庫が、支払処理ジョブが過剰販売を回避し始めるときに引き当てられ得る(例えば、商業者が、各変種の在庫ポリシからこの挙動を制御し得る)。在庫引当は、短い期間(数分)を有し得、フラッシュセール(例えば、衝動買いを標的化すること等の短い時間にわたって提供される割引または販売促進)をサポートするために非常に高速かつ拡張可能である必要があり得る。引当は、支払が失敗した場合に解放される。支払が成功し、注文が作成されるとき、引当は、具体的場所に配分される長期在庫確約に変換される。在庫コンポーネントが、変種が蓄えられる場所を記録し得、在庫追跡を可能にさせる変種の数量を追跡する。これは、在庫アイテム(その数量および場所が管理されるアイテムを表す、商業者側概念)から製品変種(製品一覧のテンプレートを表す、顧客側概念)を分断し得る。在庫レベルコンポーネントが、販売のために利用可能である、注文を確約された、または在庫移送コンポーネントから(例えば、ベンダから)入ってくる数量を追跡し得る。
【0074】
商業者は、次いで、注文を精査し、履行(またはキャンセル)し得る。精査コンポーネントが、ビジネスプロセス商業者の使用を実装し、注文を実際に履行する前、それらが履行のために好適であることを確実にし得る。注文は、不正であり得、検証(例えば、IDチェック)を要求し得、商業者がそれらの資金等を受領するであろうことを確認するまで待つことを要求する支払方法を有し得る。リスクおよび推奨が、注文リスクモデル内で存続させられ得る。注文リスクが、詐欺検出ツールから生成される注文リスクAPIを通して第三者によって提出される等であり得る。履行に進む前、商業者は、支払情報(例えば、クレジットカード情報)を捕捉するか、または、(例えば、銀行振替、小切手等を介して)それを受領し、支払済として注文をマークするまで待ち得る。商業者は、ここで、配送のために製品を準備し得る。実施形態において、このビジネスプロセスは、履行コンポーネントによって実装され得る。履行コンポーネントは、在庫場所および履行サービスに基づいて、注文のラインアイテムを作業の論理履行単位にグループ化し得る。商業者は、精査し、作業単位を調節し、商業者が製品を選んで箱の中に梱包するときに使用される(例えば、商業者管理場所における)手動履行サービスを通して等、関連性がある履行サービスをトリガし、発送ラベルを購入してその追跡番号を入力するか、または、単に履行済としてアイテムをマークし得る。カスタム履行サービスが、Eメール(例えば、API接続を提供しない場所)を送信し得る。API履行サービスが、第三者をトリガし得、第三者アプリケーションが、履行記録を作成する。旧来の履行サービスが、商取引管理エンジン136から第三者へのカスタムAPIコール(例えば、Amazonによる履行)をトリガし得る。ギフトカード履行サービスが、ギフトカードをプロビジョニングし(例えば、番号を生成し)、アクティブにし得る。商業者は、注文プリンタアプリケーションを使用し、梱包票を印刷し得る。履行プロセスは、アイテムが箱の中に梱包され、発送の準備ができているとき、発送されるとき、追跡されるとき、配送されるとき、顧客によって受領されたとして検証されるとき等、実行され得る。
【0075】
顧客が満足していない場合、製品を商業者に返品することが可能であり得る。ビジネスプロセス商業者は、返品コンポーネントによって実装され得るアイテムを「販売しない」を経てもよい。返品は、実際に販売された製品が事業に戻り、再び販売可能である再補充;顧客から収集された金銭が部分的または完全に返される返金;返金された金銭の額(例えば、何らかの返品手数料が存在したかどうか、または返品されず、顧客の手元に残っている品物を含む)を記録する会計調節等の種々の異なるアクションから成り得る。返品は、販売の契約(例えば、注文)の変更、および電子商取引プラットフォーム100が法的義務に関する(例えば、税に関する)コンプライアンス問題を商業者に意識させる場合を表し得る。実施形態において、電子商取引プラットフォーム100は、販売モデルコンポーネント(例えば、アイテムに起こった販売関連イベントを記録する、アペンド専用日付ベースの帳簿)を通して実装される等、商業者が経時的に販売の契約の変更を追跡することを可能にし得る。
【0076】
実施形態において、電子商取引プラットフォーム100は、ユーザデバイスが、仮想現実(VR)デバイス、拡張現実(AR)デバイス、複合現実(MR)デバイス(例えば、頭部装着型、身体装着型、またはハンドヘルド)、もしくは視覚コンテンツを解釈/処理し得る任意のデバイス(例えば、スマートフォンまたはモバイルコンピューティングデバイス)である場合、電子商取引プラットフォーム100が、画像処理機能を提供し、可視化コンテキストの変化に応答してユーザデバイスに配信されるべき視覚コンテンツを生成する場合等、ユーザデバイスに配信されている双方向視覚コンテンツをサポートして、ユーザデバイスとインターフェースをとり得る。実施形態において、電子商取引プラットフォーム100は、ユーザデバイスの遠隔にある任意のプラットフォームまたはコンピューティングデバイスであり得る。実施形態において、ユーザデバイスは、ビデオデータを処理し、かつ(例えば、位置センサ、運動センサ、カメラ等のセンサを通して)ユーザ位置および視認方向を検出する能力も有し得る。実施形態において、ユーザデバイスは、スマートフォンが、VR、AR、またはMRデバイスとインターフェースをとるか、または、装着されたセンサまたはデバイス(例えば、(例えば、Bluetooth(登録商標)を介して)頭部装着型センサとインターフェースをとり、ユーザの頭部の位置および/または運動を検出するスマートフォン)と併せて、VR、AR、またはMRデバイスとしての機能を果たす等である場合等、スマートフォン、センサアレイ、およびVR、AR、またはMRデバイスの組み合わせであり得る。
【0077】
視覚コンテンツの処理に関連付けられる画像処理機能は、電子商取引プラットフォーム100に関連する画像プロセッサによって提供され得るが、当業者は、任意の通信可能に結合されたハードウェアまたはソフトウェア画像処理コンピューティング設備が、WiFiまたは他の無線もしくは有線接続を使用するインターネット等を経由して等、クラウドプラットフォーム、ネットワーク、サーバ、コンピューティングデバイス、画像処理能力を提供するアプリケーション等を通して提供される等、この機能を提供し得ることを理解するであろう。例えば、画像処理は、電子商取引プラットフォーム100によって、電子商取引プラットフォーム100から遠隔で、または当技術分野で公知である任意の複合もしくはネットワーク化構成で、提供され得る。
【0078】
図3を参照すると、画像処理304は、ユーザデバイス306から遠隔で実施され得、したがって、(例えば、画像処理時間、伝送時間等に起因する)ビデオデータの遠隔生成とユーザデバイス306上のビデオデータの表示との間の遅延をもたらし得る。ビデオデータを更新および/または送信することは、概して、仮想環境変化(例えば、風に起因して葉が近傍の木の上で動くこと、および動く葉の場面を更新するためにビデオデータをユーザデバイスに送信する必要性)、別の仮想ユーザまたはオブジェクトが場面に進入すること(例えば、ユーザの視野内の第2のユーザ)に起因する等、ユーザデバイス306に配信されるユーザ体験における場面変化、ユーザデバイスを通してユーザによって講じられるアクションに起因する環境変化(例えば、ユーザがユーザデバイスから仮想ファンをアクティブ化することに起因して木の上の葉が動くこと)、ユーザデバイス306の移動を感知する、受信されるユーザデバイス入力(例えば、ユーザが平行移動している(例えば、ユーザが前方に移動し、場面を変化させている)、または回転している(例えば、ユーザがその頭部を旋回させ、場面の視野を変化させている)ことを感知する頭部搭載型センサ)等に関連付けられ得る。本明細書の実施形態は、概して、新しいビデオデータをユーザデバイス306に伝送する必要性の双方向原因としてユーザ入力302を説明するが、当業者は、非双方向原因(例えば、環境の動的移動(例えば、木の上の葉が風に吹かれること)等のユーザアクションの直接結果ではない場面変化)も、ビデオデータ更新および/または伝送をもたらし得ることを理解するであろう。
【0079】
実施形態において、ユーザ入力302(例えば、ユーザデバイスに関連付けられたセンサデータ)は、画像処理304(または他の画像処理)のための電子商取引プラットフォーム100によって受信され得、視覚コンテンツが、生成され、ユーザデバイス306に通信される。例えば、ユーザは、VRユーザデバイスを使用していることもあり、ユーザは、表示されている視覚コンテンツ(または全体を通した実施形態において、視覚表現が、独立して、または並行して処理され得る対応する聴覚信号を有するオーディオコンテンツ)に応答し、ユーザ応答は、(例えば、ユーザデバイス上の)センサによって検出され、画像処理のために電子商取引プラットフォーム100に戻るように通信される。電子商取引プラットフォーム100は、次いで、結果として生じる場面変化に応答して、新しい視覚コンテンツを生成する。例において、ユーザは、仮想環境内でVRデバイスによって表示されるような仮想ドアを左側に見ることもあり、ユーザは、場面変化に起因して運動を行う。VRユーザデバイスは、この移動(例えば、頭部運動または身体運動)を感知し、関連センサデータを電子商取引プラットフォーム100に返送する。電子商取引プラットフォーム100の画像処理リソースは、場面に関する情報を算出し、ビデオデータが、(例えば、WiFi接続を使用するインターネットを経由して)VRデバイスに伝送される。ビデオデータは、次いで、ユーザのための表示を作成するために、VRデバイス上でさらに処理される。
【0080】
実施形態において、画像コンテンツの処理は、(例えば、クラウドプラットフォーム上の)遠隔画像処理コンピューティングデバイスとユーザデバイスにローカルで(例えば、ユーザデバイス自体の上で)処理することとの間で分割され得る。実施形態において、ユーザデバイス上で要求されるリソースを最小化するために、画像処理機能性の大部分は、遠隔画像処理コンピューティングデバイス上で提供され得、ユーザデバイスは、伝送された画像コンテンツをディスプレイデータに変換するために要求されるあらゆる処理を含む。しかしながら、このプロセスのための時間は、ユーザデバイスにおいて最小限の処理を伴ってでも、VR、AR、またはMRユーザ体験のため等、(例えば、ユーザ入力の時間から結果として生じる視覚コンテンツがユーザデバイスに提供される時間までの)待ち時間をもたらし得る。
【0081】
結果として、双方向視覚コンテンツシステムは、拡張モバイルブロードバンド(eMBB)、超高信頼および低遅延通信(URLLC)等の無線技術でサービスを使用する待ち時間の短縮、および短縮された待ち時間(例えば、<15ミリ秒の往復)において視覚コンテンツを配信するための高度に特殊化されたネットワークプロトコルの使用を追求してきた。仮想現実酔いに対抗するための技法は、仮想環境移動と前庭系への影響とを同期させるための高品質追跡システムを含む。仮想現実酔いに対抗するための別の方法は、短縮またはユーザデバイスディスプレイ内の視野(FOV)を変化させ、知覚される運動を変化させることのいずれかによる、FOVの操作を活用する。3次元双方向要素は、クラウドレンダリング原理に従い、ローカルユーザデバイス上とは対照的により多くの処理をクラウドに移行させることによって利用可能な大規模処理リソースを活用し得る。クラウドレンダリングシステムにおいてゼロではない待ち時間が存在し得る。双方向ヘッドセットは、レンダリング処理をクラウドに引き継ぎ、完全にレンダリングされた場面のビデオストリームのみを表示し得る。ビデオストリームアプローチは、H.264、H.265、AV1、および他のコーデックの効率を活用し、性能メトリクスを改良し得る。加えて、ビデオストリーミング技術の進歩が、伝送待ち時間を短縮することに役立ち得る。
【0082】
しかしながら、処理されたビデオストリームは、低下したユーザ体験(例えば、遅延およびジッタの自覚している意識)につながるビデオストリームのジッタおよびフリーズにつながり得るネットワークジッタおよび中断(および、一般的待ち時間)の影響を受けやすい。加えて、場面変化をレンダリングすることにおける任意の遅延が、(例えば、多くの場合、どれほど小さくても待ち時間に気付き得る集団の一部が存在し得る無意識の遅延にも起因して)仮想現実酔いをもたらし得る。
【0083】
図4を参照すると、ビデオストリームデータを伝送することに関連付けられる待ち時間の結果を解決することに役立つために、画像プロセッサ408を含む、またはそれに関連する等のコンピューティングデバイス402は、場面変化(例えば、環境の変化、またはセンサデータ406等のユーザ入力404に起因して)に応答して等、明視野データ410をユーザデバイス412に伝送し得る。例えば、明視野データ410は、明視野データ410が明視野データの通信時のより広い視野に関するものである場合、明視野データの予期される受信時間において等で、位置(例えば、ディスプレイは、現在の位置のための視野を視認するが、明視野データは、現在の位置の前、後、または側方の位置から視認するためのデータを含む)、視認角(例えば、ディスプレイは、45度視野を視認するが、明視野データは、90度、180度、または全360度まで外を視認するためのデータを含む)等に対するユーザデバイスのディスプレイ視野より大きい視覚コンテンツを含み得る。例えば、明視野データ410は、現在の位置および視認角におけるユーザに関して、また、ユーザが頭部を動かす、振り向く等を行う場合の将来または予測される位置に関して、視野を表示するためのデータを含み得る。実施形態において、明視野データ410は、現在の視野、および、ある確率(現在または過去の挙動に基づいて、おそらくユーザが前方に移動し、左に曲がるであろう)を伴って予測される将来の視野を表示するためのデータを含み得る。明視野データは、現在の位置でユーザに見え得るものに関して、また、(一歩前進してユーザに見えるものが、ユーザが後退したときからユーザの視野外にあり得るため)ユーザが一歩前進する場合にユーザに見え得るものに関して、データを含み得る。したがって、ユーザデバイスは、追加のデータをユーザデバイスに送信する必要なく、場面変化(例えば、現在の位置および視認角からの平行移動および回転)に適応するように周辺環境からの明視野データを有するであろう。
【0084】
本説明は、概して、明視野データ410の処理で画像プロセッサ408を利用し得るが、実用的用途において、画像プロセッサ408とユーザデバイス412との間の通信は、
コンピューティングデバイス402によって、またはそれを通して仲介され(コンピューティングデバイス402が通信を管理し、明視野データ410を使用する(例えば、電子商取引プラットフォーム100を伴うまたはそれに関する等の画像プロセッサ408を利用する視覚ベースの双方向システムに関連付けられるデータを処理している場合等)、および/または、処理機能を提供するためのユーザデバイスにローカルであるコンピューティングデバイス(例えば、ユーザデバイスと通信するローカルコンソール、スマートフォン等)によって、またはそれを通して仲介され得る。したがって、簡単にするために、本説明は、概して、コンピューティングデバイス402を通すように画像処理およびユーザデバイス412との通信を描写する。しかしながら、これは、いかようにも限定的であるように意図されておらず、当業者は、画像処理および/またはユーザデバイス412との通信が、ユーザデバイスから遠隔にある、またはユーザデバイスにローカルであるコンピューティングデバイス402、ローカルコンピューティングデバイス、画像プロセッサ408(例えば、クラウド、電子商取引プラットフォーム、ローカルコンピューティングデバイス内に提供される)によって、または組み合わせて提供され得、コンピューティングデバイス402は、当技術分野で公知である任意のコンピュータ構成において、画像プロセッサ408を備えている画像プロセッサ408と通信する等であり得ることを理解するであろう。
【0085】
明視野は、空間内の全ての点を通り全ての方向に流動する光の量を表し得る。実施形態において、明視野データ410は、決定または構成された空間の体積、または所与の体積のための光の量に限定され得、例えば、空間内の所与の点を通して流動する光の量は、点を通過する光線の数に限定され得、および/または、空間の単位あたりの点の数は、点密度によって限定され得る。しかしながら、明視野データ410をユーザデバイス412に提供することによって、ユーザデバイスは、より多くの視覚コンテンツをユーザデバイスに伝送する必要なく、それが空間の体積内で動き回っているようなユーザデバイスが空間を視覚化するために要求される全ての視覚情報を有するであろう。すなわち、(ユーザデバイスを動作させる)ユーザが設定された体積内に留まる限り、比較的に変化しない視覚場面内で、より多くのデータをユーザデバイス412に伝送する必要がないこともある。したがって、コンピューティングデバイス402において画像処理ステップを実施するための時間およびコンピューティングデバイス402とユーザデバイス412との間で伝送するための時間は、変化していないこともあるが、ユーザによって知覚される場面遅延は、ユーザデバイス412に提供される明視野データ410の量を制御することによって、低減または排除され得る。ユーザデバイス412上の記憶および処理が無制限であった場合、コンピューティングデバイス402は、場面あたり1つの広い明視野をユーザデバイス412に送信する必要のみあり得る。実際に、コンピューティングデバイス402は、ユーザデバイス412の視認視点、ユーザデバイス412の速度および/または加速度ベクトル、(例えば、ユーザデバイスを動作させるユーザの挙動に関連付けられる)ユーザデバイス412の挙動、近傍の他のユーザデバイス等に関する等、現在および/または予測される将来のユーザデバイス位置および移動に関するある基準に基づいて、体積または一連の体積をユーザデバイス412に提供し得る。したがって、明視野データ410を使用することは、ユーザデバイス412の比較的に小さいまたは微細な移動(例えば、VRまたはARデバイスの頭部移動)に合わせられるセンサ(例えば、加速度計等)に基づく等、明視野レンダリングを通して、より高速の全体的処理を有効にし、知覚される待ち時間を短縮することに役立ち得る。明視野データ410を伝送することは、全てのユーザデバイス移動に関する従来的な視覚データ(例えば、ビデオストリームデータ)の伝送に関連付けられるネットワークジッタまたは中断の不快な環境効果を伴うことなく、ローカルで記憶された明視野を通して提供される連続仮想環境を有効にすることによって、仮想現実酔いの実例も低減させ得る。
【0086】
実施形態において、明視野のストリーム内の明視野データ410(または一連の明視野データ)は、明視野データ410の立方体または円筒、または、部分表面形態等の任意の形状の明視野表面体積によって表され得、明視野データ410点は、明視野表面体積上に存在する。すなわち、明視野の「点」は、この表面体積上にあるが、表面体積を充填しない。したがって、明視野表面体積は、明視野表面体積内の複数の視界からのユーザデバイス412のための潜在的ディスプレイエリアを表す(例えば、ユーザは、その頭部を振り向かせ、ユーザデバイスを包囲する全表面体積から3次元で視認する、表面体積内で移動する等であり得る)。例えば、コンピューティングデバイス402は、1メートル外に全ての方向においてユーザデバイス412を包囲する明視野体積を備えている明視野データ410をユーザデバイス412に送信し得る。代替として、コンピューティングデバイス402は、ユーザデバイス412によって提示される現在の視認方向に中心を置かれたユーザデバイス412を包囲する空間の体積表面または半球に関して等、ユーザデバイス412を包囲する全明視野体積の一部に関して、明視野データ410を選択的に送信し得る(例えば、ユーザデバイスは、VRヘッドセットであり、明視野データ410は、VRヘッドセットの視野に中心を置かれた半球に関するものである)。
【0087】
図5を参照すると、コンピューティングデバイス402は、ユーザデバイス412への通信のために明視野データ410を処理するために画像プロセッサ408を利用し得る。
図5は、本明細書に説明されるようなコンピューティングデバイス402内の画像プロセッサを描写するが、画像プロセッサ408は、コンピューティングデバイス402の一部として含まれるか、コンピューティングデバイス402の外部に提供されるか、または、組み合わせであり得る。実施形態のプロセスフロー例において、実施形態では随意であり得る第1のステップ510において、コンピューティングデバイス402は、第1の明視野データをユーザデバイス412に通信し得る。例えば、第1の明視野データは、第1の視界(例えば、ユーザデバイスのユーザが見ている方向を表すユーザデバイスのディスプレイ視点)に集中されるユーザデバイス412の第1の場所(例えば、ユーザデバイスのユーザが実際または仮想空間のいずれかの中で立っている)に関する視界を含み得る。第2のステップ512において、コンピューティングデバイス402は、ユーザデバイス412に関連付けられるセンサデータ406を受信し得る。例えば、センサデータ406は、(例えば、ユーザデバイス412の移動を測定するような方法で搭載される、またはユーザ(例えば、ユーザの頭部)の移動を測定するようにユーザ上に装着される加速度計からの)位置または運動センサデータであり得る。実施形態において、センサデータ406は、将来の処理(例えば、過去のセンサデータから将来のセンサデータを予測すること)のため等、センサデータ記憶508内に記憶され得る。第3のステップ514において、コンピューティングデバイス402は、受信されたセンサデータ406に少なくとも部分的に基づいて、第2の明視野データを生成し得る。例えば、センサデータ406は、ユーザデバイス412の視認角(例えば、ユーザの頭部が回った)または位置(例えば、ユーザデバイスが前方に移動した)の変化を表すように処理および決定されていることもある。結果として、コンピューティングデバイス402は、センサデータ406に基づいて、異なる視認角、空間内の異なる位置等に関する明視野体積を含むように、第2の明視野データを生成していることもある。第4のステップ516において、コンピューティングデバイス402は、第2の明視野データをユーザデバイス412に通信し得る。実施形態において、ユーザデバイス412は、明視野データ410を処理すること、明視野データ410をディスプレイ520上に提示するためのディスプレイデータに変換すること、センサ522に関連付けられるセンサデータ406を収集すること等を行うためのプロセッサを含み得る。
【0088】
実施形態において、明視野データ410は、ARまたはMRアプリケーション内等で、明視野の一部または部分に制限され得、明視野データ410は、着目場面(例えば、全明視野体積の一部)に制限される。実施形態において、明視野の一部または部分の決定は、(例えば、明視野データの生成における)前処理ステップであり、伝送する明視野データの一部を決定するように伝送時に行われる等であり得、決定は、順序、解像度等を決定することも含み得る。例えば、ARまたはMRユースケースに関して、コンピューティングデバイス402は、環境全体ではなく、ユーザのための場面に関して明視野の一部を選択的に作成し得る。したがって、必要とされる明視野データ410の量は、場面の一部に関連性がある明視野データのみに制限され、生成される明視野データ410の量は、低減させられ、伝送される明視野データ410の量は、低減させられる等。例えば、ARアプリケーションにおいて、実際の場面は、背景内に提供され得、明視野データ410は、実際の場面内のエリア(例えば、ユーザの家庭)内の仮想製品設置等の着目エリアを増強するように生成される。
【0089】
実施形態において、明視野データ410は、周辺場面または環境に関するもの、および着目オブジェクトまたはエリアに関するもの等の明視野データの複数の体積または体積表面を備え得る。実施形態において、複数の体積または体積表面は、ユーザデバイスに対して異なる解像度、異なるサイズ、異なる設置等を有し得る。例えば、第1の明視野体積は、ユーザデバイスを包囲する場面(例えば、小売店場面)のものであり、着目オブジェクトに関する第2の明視野体積のものよりも比較的に低い解像度を有し得る(例えば、より高い解像度の製品がユーザデバイスのユーザによって視認されている)。実施形態において、第2の体積は、第1の体積内に位置し得る。例えば、第1の体積は、第1の体積が、周辺環境であり、第2の体積が、第1の体積の内側に設置され、ユーザデバイスが、第1の体積の内側にあるが第2の体積の外側にある場合等、ユーザデバイスのユーザが、第1の体積の中に外向きに視認しているように、ユーザデバイスを包囲する体積を有し得る。このように、ユーザデバイスのユーザは、第1の体積の中に外向きに視認しているが、第2の体積の中に内向きに視認しているであろう。例において、ユーザおよびユーザデバイスは、仮想小売店を表す第1の体積の内側に設置され得、製品を表す第2の体積は、第1の体積の内側に、かつユーザおよびユーザデバイスの隣に設置される。ユーザデバイスのユーザは、次いで、周囲を見回し(すなわち、ユーザデバイスが表示している)、周辺仮想小売店の中に外向きに視認するとともに、第2の体積の中を視認して製品を視認し得る。この場合、ユーザのための焦点のオブジェクトである製品は、小売店よりも高い解像度でレンダリングされ得る。実施形態において、解像度は、ユーザデバイスが指し示している、過去に指し示した、近い将来に指し示すことが予測される等である方向に基づいて、より高い解像度を提供する等、ユーザデバイスのための視認方向に依存し得る(例えば、明視野は、異なる方向に異なる解像度および異なるエリア内に異なる点密度を有し得る)。実施形態において、解像度は、ユーザデバイスが静止している、移動中に平行移動している、移動中に回転している、迅速に、またはゆっくりと移動している等であるかどうかに基づき得る。
【0090】
図6A-6Bおよび7A-7Bを参照すると、着目エリア(ここでは木の周囲のエリア)に関連付けられる光線のみが、明視野データ410を生成するために使用される。したがって、明視野データ410は、着目エリアに関連性がある明視野データのみを含み得る。光線は、限定された着目エリアを含むが、(例えば、ユーザが現在立って見ている)現在の場所または視認角および(例えば、ユーザが将来見る可能性が高い)潜在的に現在の場所の近位にあるユーザデバイス412の場所の周囲のエリアから追跡される光線を含むようにも制限され得る。伝送される明視野体積(または表面体積)は、ユーザデバイス視界の各近位位置のための光線追跡の各潜在的組によって生成され得る。明視野体積のサイズは、追加の明視野データ410を必要とすることなく、ユーザデバイス412によって許容可能である平行移動および/または回転の量を決定し得る。実施形態において、明視野体積は、ユーザデバイス412への利用可能な視認可能仮想オブジェクトまたは環境のサイズ、および、後続の体積のための伝送の順序、明視野の解像度等の他の考慮事項に基づいて、決定性であり得る。
【0091】
図6A-6Bを参照すると、ユーザデバイス606は、明視野体積の内側に設置され得、明視野体積は、複数の明視野点604が位置する明視野表面602を有する。
図7A-7Bを参照すると、各明視野データ点604は、ユーザデバイスが位置606Aにある場合は1つの視界、およびユーザデバイスが位置606Bにある場合は第2の視界等のユーザデバイスが周辺環境を視認するための複数の視認角を提供することが、分かり得る。このように、ユーザデバイスは、明視野体積(例えば、明視野表面602の範囲によって定義されるような)内で動き回りながら、周辺環境の視界を維持し得る。ユーザデバイスが、明視野体積の外側に(例えば、明視野表面602を越えて)移動した場合、ユーザデバイスは、周辺場面の少なくとも一部を視認することを止め得る。したがって、閾値702に対して等、明視野表面602へのユーザデバイス606の近接性に対してユーザデバイスの移動を監視することが望ましくあり得、それは、次いで、新しい明視野データが伝送または要求されるべきであるかどうかを決定するためのバッファゾーンを提供し得る。例えば、閾値702は、ユーザデバイスが閾値以内に留まる(例えば、閾値を超えない)場合、新しい明視野データをユーザデバイスに送信する必要がないこともあるように、明視野表面602に関して設定され得る。すなわち、ユーザデバイスが明視野体積内に良好に留まっている限り、ユーザデバイスに提供される(例えば、その中に記憶される)現在の明視野データは、いずれの追加の明視野データもコンピューティングデバイスによって伝送されることなく、周辺環境の視界を提供し得る。しかしながら、ユーザデバイス606が閾値702を超える場合、コンピューティングデバイスは、追加の明視野データを伝送し得る。例において、ユーザデバイスが場所606Aから場所606Cまで移動する(例えば、閾値内に留まる)場合、追加の明視野データをユーザデバイスに伝送する必要がないこともある。しかしながら、ユーザデバイスが場所606Aから場所606Bまで移動する(例えば、閾値を超える)場合、コンピューティングデバイスは、新しい明視野データを伝送し得、および/または、ユーザデバイスは、新しい明視野データを要求し得る。実施形態において、追加の明視野データを伝送する必要性は、閾値に対するユーザデバイスの挙動(例えば、閾値に対する位置、速度、加速度)に基づいて決定され得る。実施形態において、閾値は、コンピューティングデバイス、ユーザデバイスによって、またはコンピューティングデバイスとユーザデバイスとの間の組み合わせで、決定され得る。非限定的例において、コンピューティングデバイスは、明視野データとともに閾値を伝送し得、コンピューティングデバイスは、ユーザデバイスからコンピューティングデバイスに送信されるセンサデータ(例えば、場所情報、速度情報、加速度情報等を提供するセンサ)を監視することを通して、閾値に対するユーザデバイスの場所を監視する。別の非限定的例において、ユーザデバイスは、閾値に対するその場所を監視し、ユーザデバイスの移動特性(例えば、速度、加速度等)に基づいて、コンピューティングデバイスから新しい明視野データを要求し得る。他の実施形態において、新しい明視野データが、ユーザデバイスが閾値を超えるであろうという予測に基づいて、送信および/または要求され得る。他の実施形態において、閾値の場所およびサイズは、ユーザデバイスの挙動(例えば、ユーザデバイスの速度および加速度)、および/またはユーザデバイスとコンピューティングデバイスとの間の接続の特性およびステータスに基づいて、変更され得る(例えば、閾値は、デバイスが迅速に進行している、または接続が不良であるとき、デバイスのより近くに設置され、新しい明視野データを提供するためのバッファのより多くを可能にし得る)。
【0092】
実施形態において、明視野データ410の一部の処理が、コンピューティングデバイス402によって、ユーザデバイス412によって、または組み合わせて提供され得る。例えば、コンピューティングデバイス402は、明視野データ410を生成し、次いで、生成される視野データ410の一部のみを伝送し得るか、または、コンピューティングデバイス402は、明視野データ410を生成および伝送し、ユーザデバイス412に場所情報を提供し得、次いで、ユーザデバイス412は、場所情報(例えば、場所情報は、周辺環境における場所を識別する)に基づいて、受信される明視野データの一部のみを少なくとも部分的に処理し、次いで、ユーザデバイス412は、場所情報に基づいて、表示するための変化する視界を処理する必要のみがある。
【0093】
図8を参照すると、コンピューティングデバイス402は、コンピューティングデバイス402がユーザデバイス412によって視認された場面の一部を表す明視野データ410を生成する第1のステップ810において、および、コンピューティングデバイス402が明視野データ410をユーザデバイス412に通信する第2のステップ812において等、明視野データの一部を生成するための処理を提供し得る。例えば、前の明視野データは、ユーザデバイスのユーザがその方向への視界を維持しながら、ある方向に移動する可能性が最も高いことを示していることもある。この場合、コンピューティングデバイス402は、(例えば、ユーザが若干前後に見ることを可能にするためのあるFOVを伴って)その方向への空間に関する明視野体積を備えている明視野データのみを通信し得る。実施形態において、ユーザデバイスに送信される明視野データの空間的範囲を限定することによって、コンピューティングデバイス402は、(例えば、ユーザが起動し始め、運動の方向により多くの明視野データを提供するときに)ユーザアクションへのより応答性のプロセス、減少した待ち時間(例えば、ディスプレイへのより高いリフレッシュ率)等を提供するため等、明視野データに関する体積を増加させること(例えば、体積は、3メートルから4メートルに拡張される)、より頻繁に明視野データをリフレッシュすること(例えば、明視野データの伝送率を増加させる)、ユーザデバイスによって要求される処理を減少させること等を行うことが可能であり得る。
【0094】
図9を参照すると、ユーザデバイス412は、コンピューティングデバイス402が明視野データ410を生成する第1のステップ910において、コンピューティングデバイス402が明視野データ410および場所情報を通信する第2のステップ912において、および、ユーザデバイス412が場所情報に基づいて明視野データ410を処理する(例えば、明視野データ410が、場所情報に基づいて視認された場面の一部を表すために作られる)、第3のステップ914において等、明視野データ410の一部のための処理を提供し得る。この場合、コンピューティングデバイス412が明視野データの限定された部分を決定および送信するのではなく、コンピューティングデバイス402は、使用に関するより高い確率、または場面の着目位置または一部を有する視認方向を表す場所情報とともに、明視野体積の完全またはより大きい部分(例えば、データの部分半球ではなく、例えば、完全半球)を送信し得る。例えば、ユーザが、ある場所および視認角におけるオブジェクトと相互作用していることもあるので、コンピューティングデバイス402は、オブジェクトの位置に関する明視野データの半球を通信する。加えて、コンピューティングデバイス402は、オブジェクトの位置を示す場所情報を通信し、この情報を用いて、ユーザデバイスは、ディスプレイデータをレンダリングするために要求される処理を低減させることが可能であり得る。例えば、通常、ユーザデバイスは、コンピューティングデバイス402が通信する明視野データの全てに基づいて、ディスプレイデータを生成し得るが、ここで、ユーザデバイスは、場所情報に基づいて処理を低減させることが可能であり得る。
【0095】
実施形態において、コンピューティングデバイス402は、ユーザデバイス412に通信されるべき次の明視野データ410の生成または選択において、ユーザデバイス場所または挙動の予測を利用し得る。仮想または実際の空間内のユーザデバイス412の将来の位置(例えば、必要とされる場合、視界の向きを含む)、またはユーザデバイス412のユーザが仮想オブジェクトに関連して見得る場所、および、ユーザが仮想オブジェクトまたは仮想空間と相互作用し得る方法等のユーザの将来の挙動を予測することが可能であり得る。実施形態において、挙動が、ユーザデバイス内に搭載されるセンサまたはセンサの組み合わせを通して、またはユーザデバイスに通信可能に結合されるセンサ(例えば、ユーザデバイスと通信するウェアラブルセンサ)から検出される場合等、挙動は、場所の変化(例えば、前方に移動する)、視認視点の変化(例えば、視認角のシフト)、微細な移動(例えば、振動またはシフト)等であり得る。予測は、ユーザ、別のユーザ、またはオブジェクトの速度および/または加速度ベクトルに基づくか、または、ユーザの以前のアクション(例えば、空間内で、またはオブジェクトを用いて、もしくは類似空間内で、または類似オブジェクトを用いて、ユーザが過去に訪れたこと)にさらに基づくか、または他のユーザ(例えば、仮想ゲームアプリケーション内、所与のキャラクタまたはオブジェクトが空間に進入するとき、殆どのユーザは、キャラクタまたはオブジェクトから離れるように移動する)にさらに基づき得る。予測が、次いで、次の明視野データ410のコンテンツを決定し、ユーザデバイス412に通信するために使用され得る。
図10を参照すると、コンピューティングデバイス402は、コンピューティングデバイス402が第1の明視野データをユーザデバイス412に通信する第1のステップ1010において、コンピューティングデバイス402がユーザデバイス412に関連付けられるセンサデータ406を受信する(または前の相互作用から等、記憶されるような挙動データ1002を読み出す)第2のステップ1012において、コンピューティングデバイス402が受信されたセンサデータ406に基づいて挙動(例えば、ユーザデバイス412の挙動および/またはユーザ挙動を表す)を予測する第3のステップ1014において等、明視野の生成において予測情報を利用し得る。代替として、コンピューティングデバイス402は、周辺環境における他のエンティティまたはオブジェクト等の他の要因に基づいて、挙動を予測し得る。例えば、予測される挙動は、場面に進入するオブジェクトに基づき得る。第4のステップ1016において、コンピューティングデバイス402は、予測される挙動に基づいて、第2の明視野データを生成する。代替として、第2の明視野は、生成されないこともあり、むしろ、予測される挙動に基づいて選択され得る。例えば、明視野データは、すでに生成されていることもあり、予測は、ユーザデバイス412に通信する明視野データを決定する。第5のステップ1018において、コンピューティングデバイス402は、第2の明視野をユーザデバイス412に通信する。
【0096】
実施形態において、予測は、次にユーザデバイス412に送信する明視野データ410を決定することを支援し、送信する明視野体積のサイズまたは一連の体積の順序を決定し得る(例えば、ユーザの位置の起こり得る順序に基づいて、ユーザの頭部が速く移動している場合、より大きい体積または箱を送信すること、および、静止している、または比較的に静止して立っていると知覚されるとき、より小さい箱を送信すること等)。
【0097】
実施形態において、予測は、明視野データ410の解像度(または品質)を決定することを支援し得る。例えば、コンピューティングデバイス402は、ユーザが調査する可能性が高いオブジェクトの周囲のエリアに関して高解像度明視野データ410を提供するが、ユーザが視認する可能性が低いオブジェクトの周囲のエリアに関して低解像度データ(または可能性としてデータなし、もしくはゼロ解像度)を提供し得る。予測は、明視野データ410の作成に影響を及ぼし得る(例えば、ユーザが視認する可能性が低いであろうエリア、または迅速に移動するときのみ視認するであろうエリアに関して、低解像度明視野データを作成しないか、または低解像度明視野データのみを作成するので、より低い解像度のみが必要とされる)、または、伝送に影響を及ぼし得る(例えば、明視野データが必要とされるよりも高い解像度ですでに存在しているので、解像度を低減させ、次いで、伝送する)。
【0098】
実施形態において、予測は、円筒、球体、または立方体のような全体積を生成しないが、代わりに、ユーザが面している方向、または移動している方向、またはそのように予測される方向に対する立方体または球体の半分で、または、体積がある領域内により多くのデータを含む場合、または他の方向よりもある方向への視界に対して等、より方向性である体積を生成することによって等、体積最適化を可能にし得る。この場合、ユーザが予測される以外の方向に振り向いた場合、または移動した場合、ユーザは、暗闇を見得、明視野の範囲が、明らかになるであろう。しかしながら、コンピューティングデバイス402が、1秒あたり多くの明視野を通信している可能性が高いので、それは、頭部運動およびユーザの向きを常に把握し得る。実施形態において、これは、ネットワーク接続が中断された場合、および、ユーザが振り向いた場合、問題になり得る。
【0099】
実施形態において、予測が、明視野点の密度を設定するために使用され得、明視野点の密度は、一様であるように要求されないこともある。例えば、これは、予測される視認ベクトルの近傍の明視野表面体積上で点の高い密度、および完全に封入された体積が提供されない場合にユーザの背後等の定位置で点のより低い密度を可能にし得る。
【0100】
実施形態において、予測が、解像度を設定することと組み合わせてFOVを設定するために使用され得る。例えば、ユーザの頭部が動いている場合、コンピューティングデバイス402は、運動方向に向かってFOVを平行移動させ、現在の明視野に隣接する明視野データ410を送信し、その方向でより高いように解像度を調節し得る。
【0101】
実施形態において、予測は、前の頭部または他の位置、および頭部または他の位置に関する任意の平行移動ベクトルに基づいて、可能な頭部または他の位置の確率勾配に対して複数の頭部または視認位置に関する明視野データ410を生成することを支援し得る。例えば、確率的補間が、頭部または他の位置の確率的場所に比例して伝送される光線の数を削減するために使用され得る。実施形態において、コンピューティングデバイス402は、環境更新を伴わずに、仮想環境が平行移動更新を可能にすることを可能にすることによって、ネットワーク中断またはジッタに対処し得る。
【0102】
実施形態において、予測が、リアルタイム光追跡技術の使用を通して等、ユーザが環境場面またはオブジェクトと相互作用するとき、明視野データ410の必要性を予測するように機械学習を通して向上され得る。
【0103】
実施形態において、予測が、(ユーザデバイス412を通して等)ユーザが握っている、または触れているオブジェクトに対するレンダリングまたは光線追跡に関連して等、オブジェクトの近傍にいるユーザ、オブジェクトを保持するユーザ、またはオブジェクトと接触しているユーザに関連付けられ得る。すなわち、明視野の使用は、ユーザまたはユーザデバイスの運動に関連付けられる待ち時間を解決するだけでなく、手または四肢の運動に対して、ユーザが相互作用しているオブジェクトとの待ち時間を防止または短縮することにも役立ち得る(例えば、オブジェクトは、ユーザの手の運動とともに円滑に移動しない)。手の運動の待ち時間は、ユーザを酔わせないこともあるが、ユーザの没入体験を低減させ得る。実施形態において、コンピュータデバイスは、ユーザがユーザデバイス412を通して直接操作しているオブジェクトに対してユーザデバイス412の平行移動および回転をレンダリングすることを最適化し、少ない知覚待ち時間を生成し得る。例えば、コンピューティングデバイスは、(例えば、ユーザデバイス場所または視野に基づいて)ユーザがオブジェクトと相互作用する可能性が高いことを予測し、それに基づいて、手の平行移動またはオブジェクトの回転に適応するために十分に大きいそのオブジェクトを包囲する明視野データの体積を伝送するように構成され得る。実施形態において、コンピューティングデバイスは、オブジェクトを包囲する体積に関して明視野を生成し得、ユーザデバイスは、ローカルでオブジェクトをレンダリングする。実施形態において、コンピューティングデバイス402は、複数のオブジェクトに関する明視野の(並列)処理および性能要件、相互作用のために複数の明視野を単一の明視野にスティッチすること等を通して、オブジェクト関連明視野データ生成を提供し得る。例えば、コンピューティングデバイス402は、周辺場面のため並列処理、および特定のオブジェクトのための並列処理を維持し得る。他の実施形態において、コンピューティングデバイスが、代わりに、オブジェクトを包囲する体積環境または場面に関する明視野体積(すなわち、オブジェクトを除外するために十分に大きい明視野体積)を生成し、ユーザデバイスに伝送し得る一方で、ユーザデバイスは、ローカルで(例えば、それ自身の手段によって)オブジェクトをレンダリングするように構成される。
【0104】
本明細書に説明されるように、明視野は、空間の体積内の光環境を記憶するためのデータモデルにおいて等、その空間の体積内の空間内の全ての点を通り全ての方向に流動する光の量を表すベクトル関数である。全ての可能な光線の空間は、5次元プレノプティック関数によって求められ、各光線の規模は、放射輝度によって求められる。幾何学的光学系に(例えば、インコヒーレント光および光の波長よりも大きいオブジェクトに)関して、光の基本的キャリアは、光線追跡を通して描写されるような(
図6および7に描写されるような)光線である。光線に沿って進行する光の量の尺度は、例えば、1平方メートル(m
2)あたりのステラジアンあたりのワットで測定される放射輝度である。ステラジアンは、立体角の尺度であり、4πステラジアンは、「全視界」体積(例えば、全視界明視野表面体積が、ユーザ/ユーザデバイスから全ての方向に関する視覚情報を提供するであろう)を表す。光の不変配列によって照射される3次元空間の領域内の全ての光線に沿った放射輝度は、プレノプティック関数と呼ばれる。プレノプティック照射関数は、任意の時点で任意の視認角における任意の可能な視認位置から場面の画像を表現するために、コンピュータビジョンおよびコンピュータグラフィックスで使用される、理想的関数である。空間内の光線が、3つの座標x、y、およびz、および、2つの角度θおよびφによってパラメータ化され得るので、プレノプティック関数は、5次元関数である。しかしながら、プレノプティック関数は、光線に沿った放射輝度がその長さに沿った点によって一定のままであるので、冗長情報を含む。冗長情報の除去後、明視野は、4次元関数になる。明視野は、画像データをレンダリングすること、または(例えば、マイクロレンズアレイおよびカメラ/レンズの間の補間を使用して)実際の場面を撮影し、多数の視点に関して明視野視界を生成することによって、生成され得る。明視野内の画像の数および配列は、各画像の解像度とともに、4D明視野のサンプリングを決定し得る。実施形態において、明視野は、ヘッダセクション(例えば、スラブの数および空間幾何学形状に関する情報を伴う)およびバイナリセクション(明視野データを伴う)を含む明視野を表すための単一のファイルであり得る「.lif」ファイル形式を用いて等、ファイル内に記憶され得る。
【0105】
実施形態において、本明細書に説明されるように、コンピューティングデバイス402は、表面体積上のデータの量を変動させる等、明視野データ410を通信するときの明視野の解像度または品質を設定し得る。理論上、(例えば、最大解像度において)明視野内の点を通して進行する無数の光線が存在し、次いで、より低い解像度に関して、コンピューティングデバイス402は、光線の数を、例えば、1,000のこれらの光線に、またはさらに低い解像度に関して、例えば、100の光線に限定し得る。実施形態において、この解像度の低減は、高解像度に関する方向性選好を設定することにおいて等、他の方向よりもある方向に適用され得る。例えば、より高い解像度が、ユーザデバイス412が面している、または面すると予測される方向に関して、設定され、ユーザデバイス412の視界の側方でより低く、背後でさらに低く設定され得る。実施形態において、別の解像度パラメータは、表面積あたり、または明視野内の明視野体積に含まれる点の数(例えば、所与の表面体積に関する明視野点密度)であり得る。このように、明視野点密度は、解像度パラメータとして規定および調節され得る。したがって、点あたりの光線は、視認方向等の場所パラメータに対して同様に調節され得る密度に対して最適化され得る(例えば、再度、ユーザデバイス412が現在面している、面すると予想される方向に関して、より高い密度を設定する)。さらに、解像度は、方向性最適化において等、視界の一部に関して規定され得る。
図6に示されるように、方向性最適化は、ユーザデバイス412がオブジェクトの2つの側面のうちの1つからしか点を視認していないので、ユーザデバイス412の視認視点に基づいて明視野に適用され得、ユーザデバイス412に関する明視野データ410の生成は、対象に対する方向への光線ではなく、視界の対象から退出し、ユーザデバイス412に来る光線に関係してのみ必要があり得る。すなわち、明視野データ410の生成は、体積から退出するのではなく、それに進入する光線に焦点を当てる必要があり得る。
【0106】
実施形態において、解像度調節は、実世界に存在する無限光線および無限点よりも低い解像度の明視野を有するように、明視野内の追跡された光線のダウンサンプリングまたは選択を通して実装され得る。しかしながら、光線の数および/または明視野点の数が、理論的最大値(すなわち、無限大)を下回るようなものである場合、間隙が、可能性として、光線の間に、および/または混成および/または補間が必要とされ得る点の間に存在し得る。実施形態において、混成および/または補間は、明視野が(例えば、光トランジスタを利用して)生成されるとき、明視野が(例えば、受光器を利用して)視覚化される等であるとき、実施され得る。実施形態において、動的解像度スティッチが、同じ明視野内に存在し、したがって、低解像度明視野が高解像度明視野と同じFOV内に存在することを可能にする。
【0107】
図4、5、および8-10を参照すると、画像プロセッサ408に関連するコンピューティングデバイス402は、ユーザデバイス412に配信されている双方向視覚コンテンツを視聴するユーザ体験に利益を提供し得、明視野データ410は、ビデオストリームデータ等を伝送するのではなく、ユーザデバイス412に提供される。この利益は、少なくとも部分的に、明視野データ410が他の方法を使用する場合より迅速にディスプレイ視界をユーザデバイス412に提供するように処理され得るので、実現される。例えば、仮想現実ユーザデバイスは、ユーザデバイス412の視認位置および方向に基づいて等、ユーザデバイス412のディスプレイ520ための画像を作成するために、明視野データ410のみを必要とする。所与の位置に関して、コンピューティングデバイス402は、明視点のグリッドによって、かつ、そのグリッド内の全ての明視野点(補間を通した等の全ての点の近似)に関して説明されるような、明視野データ410の明視野表面体積に関連付けられるデータを算出および提供し得、グリッドは、明視野点の数に関する解像度および全ての光線がその明視野点を通過する方法を決定する。加えて、コンピューティングデバイス402は、ユーザデバイス場所の周囲の位置に関して明視野データ410が存在するであろうように、各ユーザデバイス位置(例えば、+または-1メートル)のために体積サイズを設定し得る。結果は、ユーザデバイス412の異なる位置に対応するユーザデバイス412への経時的な明視野データ410の一連の明視野体積の(ストリーミング)伝送である。したがって、いくつかの実施形態において、コンピューティングデバイス402は、全ての必要とされる角度および方向(方向性選好を通して優先順位を付けられるような)が、ユーザデバイス412の所与の位置に関する明視野データ410に含まれ得るので、明視野データ410を生成するとき、ユーザデバイス412の視認角および方向を考慮に入れる必要はない。これは、次に、ユーザデバイスによって受信される明視野データ410が、明視野体積内の移動に関する等の複数の視界に関する情報を含むので、ユーザデバイスへの伝送される更新の必要性を低減させることによって、ユーザ体験を改良し得る。
【0108】
実施形態において、明視野データ410は、静止またはビデオ形式でカメラまたは一連のカメラから、事前録画されたビデオファイルファイルから、またはリアルタイムカメラから等から捕捉されるような、画像コンテンツに対して生成され得る。画像コンテンツは、単一の明視野表面体積、複数の明視野表面体積等内で、単一の視界、複数の視界、全360度視界、全4πステラジアン視界等から明視野データ410を生成するために使用され得る。実施形態において、リアルタイム画像データは、カメラまたは一連のカメラによって捕捉され、カメラがユーザデバイス412上に搭載される場合、ユーザデバイス412に通信可能に結合される場合(例えば、ユーザデバイスに近接して位置する)等、明視野データ410を生成するためにコンピューティングデバイス402によって使用されるようにセンサデータ406に含まれ得る。例えば、カメラが、周辺環境を視認するためにVR、AR、またはMRユーザデバイスの中に統合され得、カメラは、VR、AR、またはMR双方向ビデオ体験で使用するための明視野データ410を生成することにおいて使用するために、カメラからコンピューティングデバイス402に画像コンテンツを送信する。実施形態において、カメラは、周辺環境の部分(例えば、単一または複数のカメラ)または全視界(例えば、カメラのアレイ)を捕捉し、コンピューティングデバイス402が対応する明視野データ410を生成することを可能にし得る。例えば、全360度カメラ視界において、コンピューティングデバイス402は、ユーザデバイス412に通信するための全360度明視野の視界を生成し、コンピューティングデバイス402が追加の明視野データ410を送信する必要なく、ユーザデバイス412が、回転し、明視野データ410を通して表示されるような周辺場面を表示することを可能にし得る。別の例において、周辺環境内に位置するが、ユーザデバイス412から離れた一連のカメラまたはカメラのアレイが、画像コンテンツがユーザデバイス412を通してコンピューティングデバイス402に転送される場合、ネットワーク接続を通してコンピューティングデバイス402に転送される場合等、明視野データ410の生成のためにコンピューティングデバイス402に通信するための画像コンテンツを生成するために使用され得る。
【0109】
実施形態において、明視野データが、3D環境に基づいて光線追跡から生成され得るか、または、リアルタイムビデオ画像コンテンツが、第2の環境におけるユーザデバイス412に通信するための明視野データ410を生成し、ユーザデバイス412のユーザに第1の環境の視界を提供するために、1つの環境におけるカメラから捕捉され得る。例えば、顧客は、動的リアルタイム体験において、ユーザは、遠隔店舗環境に完全に没入し、物理的店内体験を複製するために(店舗内にユーザを設置するために等)VRヘッドセットを装着し得、ユーザは、販売員と相互作用し、店舗の変化、販売員のアクション等を考慮に入れることができる。別の場合、顧客は、ARまたはMRデバイスを装着し、製品および製品実演をユーザに示す等、販売員を仮想的にユーザの「家に招いき」得る。実施形態において、ユーザおよび販売員は、ウェアラブルユーザデバイスを利用し、一緒に相互作用し得る。実施形態において、ユーザデバイス412は、ユーザがスマートフォンディスプレイを通して店舗の中への双方向視認ウィンドウを体験する場合、およびスマートフォン上、ユーザ上、またはユーザの環境内に搭載されるセンサが、明視野データ410を生成するためにセンサデータ406をコンピューティングデバイス402に提供する場合等、第2の環境への仮想「ウィンドウ」を提供するハンドヘルドスマートフォンまたは他のモバイルデバイスであり得る。
【0110】
実施形態において、明視野データ410は、製品相互作用をシミュレートするために使用され得る。例えば、ユーザデバイス412を使用する顧客は、(例えば、店舗内の)製品の実際の視界または(例えば、コンピュータ生成された)仮想製品のいずれか等の製品と相互作用することが可能であり得る。例えば、明視野データ410は、製品に関して高解像度および製品を包囲するエリアに関して低解像度、ユーザが視認している製品のエリアまたはユーザが製品と接触している場所に関して高解像度等で、製品に関して生成され得る。例において、ユーザは、ARまたはMRユーザデバイスを装着しており、ユーザの周辺上へのオーバーレイとして製品を視認し得、明視野データ410は、ユーザデバイス412上のカメラを通して視認されるようなユーザのアクションへの解像度を調節するように、動的に生成される(例えば、ユーザデバイスカメラは、製品に差し伸べるユーザの手を視認し、明視野解像度は、ユーザの手の近傍の製品エリアに関して増加する)。別の例において、ユーザデバイス412は、(例えば、電話上のアプリケーションを通して)MRモードで動作するように適合されるスマートフォンまたは他のモバイルデバイスであり得、明視野データ解像度は、ユーザが製品との仮想相互作用において「製品のより近くに」電話を移動させるにつれて動的に増加し、スマートフォン内のセンサは、位置および/または運動センサデータを(例えば、全てスマートフォンが平行移動および回転するにつれて変化する視界を伴って、ユーザが、製品に近づくように電話を前方に移動させ、また、製品の近傍に手を置いて手を伸ばす場合等、ユーザデバイスカメラによって視認されるユーザの任意の部分に関する任意のカメラ生成画像コンテンツとともに)コンピューティングデバイス402に送信する。
【0111】
実施形態において、明視野データ410は、仮想サービス体験を提供するために使用され得、明視野データ410は、より連続的な没入仮想体験を通して改良されたリアルタイムユーザ体験を提供する。例えば、ユーザは、AR、VR、またはMRユーザデバイスを通して外国の博物館を仮想的に訪問し得、ユーザは、博物館を通して仮想的に歩き、周辺および展示物を視認し、博物館職員および訪問者と相互作用し等であり、明視野データ410は、挙動(例えば、カメラを通して視認されるようなユーザの挙動、位置および/または運動センサデータを通して検出されるユーザデバイス412の挙動等)、視認FOV(例えば、ユーザデバイスの検出された運動に基づいて、明視野体積のサイズおよび/または解像度を調節する)、オブジェクトおよび/または人との相互作用(例えば、ユーザがユーザデバイスカメラを通して着目オブジェクトまたはエリアに近づいていると見なされるとき、解像度を増加させる)等に基づいて、生成される。
【0112】
実施形態において、明視野データ410は、ユーザデバイス412の場所における製品および/またはサービスを視認するために使用され得る。例えば、ARまたはMRユーザデバイス製品に関して、製品が家庭内に入る場所で製品を視認する(例えば、リビングルーム内の椅子またはテーブル上の花瓶を見る)、販売員に家庭内でサービスを提供してもらう(例えば、ユーザの作業場等内でテーブルを構築する方法についての教室を指導してもらう)等、人、場所等が、ユーザの家庭内に仮想的に運び込まれ得、明視野データ410の使用は、一貫した没入型ユーザ体験を提供する。例において、ユーザは、頭部装着型ARユーザデバイスを装着し、明視野レンダリングを通して、実際のリビングルームの背景上の新しい仮想長椅子のオーバーレイを視認し得、デバイスのユーザが、リビングルームを歩き回り、任意の角度から仮想長椅子を視認することを可能にし、それがリビングルーム内で異なる視点から見える様子が見え、コンピューティングデバイス402は、ユーザデバイス412の移動および斜視図に基づいて明視野データ410を調節する。例えば、ユーザは、かがみこみ、長椅子の背部分を慎重に見ることもあり、コンピューティングデバイス402は、長椅子上の着目エリアの周囲の解像度を増加させる。この場合、ユーザデバイス412が、長椅子の反対の方向に振り向く低い確率を有するので、コンピューティングデバイス402は、ユーザデバイス412の現在の視界の背後に明視野データ410を提供しないこともある(例えば、ユーザが部屋の他の部分ではなく長椅子に焦点を当てたままであろう確率が高い)。実施形態において、第2のユーザ(例えば、配偶者)が、第2のユーザデバイス412を動作させ得、2つのユーザのデバイスが、相互作用し得る。さらに、コンピューティングデバイス402は、2つのユーザデバイスに関してセンサデータ406を生成するとき、2つのユーザデバイスに関して重複視界を利用し得る。
【0113】
本明細書に説明される方法およびシステムは、部分的または全体的に、プロセッサ上でコンピュータソフトウェア、プログラムコード、および/または命令を実行するマシンを通して展開され得る。プロセッサは、サーバ、クラウドサーバ、クライアント、ネットワークインフラストラクチャ、モバイルコンピューティングプラットフォーム、静止コンピューティングプラットフォーム、または他のコンピューティングプラットフォームの一部であり得る。プロセッサは、プログラム命令、コード、バイナリ命令等を実行することが可能な任意の種類の計算または処理デバイスであり得る。プロセッサは、その上に記憶されたプログラムコードまたはプログラム命令の実行を直接または間接的に促進し得る信号プロセッサ、デジタルプロセッサ、組み込みプロセッサ、マイクロプロセッサ、またはコプロセッサ(演算コプロセッサ、グラフィックコプロセッサ、通信コプロセッサ等)等の任意の変種であり得るか、または、それを含み得る。加えて、プロセッサは、複数のプログラム、スレッド、およびコードの実行を可能にし得る。スレッドは、プロセッサの性能を向上させるように、かつアプリケーションの同時動作を促進するように、同時に実行され得る。実装によって、本明細書に説明される方法、プログラムコード、プログラム命令等は、1つ以上のスレッドで実装され得る。スレッドは、それらに関連付けられる割り当てられた特性を有し得る他のスレッドを生成させ得、プロセッサは、プログラムコード内で提供される命令に基づく優先順位または任意の他の順序に基づいて、これらのスレッドを実行し得る。プロセッサは、本明細書および他の場所に説明されるような方法、コード、命令、およびプログラムを記憶する、メモリを含み得る。プロセッサは、インターフェースを通して、本明細書および他の場所に説明されるような方法、コード、および命令を記憶し得る記憶媒体にアクセスし得る。コンピューティングまたは処理デバイスによって実行されることが可能である、方法、プログラム、コード、プログラム命令、または他のタイプの命令を記憶するためのプロセッサに関連付けられる記憶媒体は、CD-ROM、DVD、メモリ、ハードディスク、フラッシュドライブ、RAM、ROM、キャッシュ等のうちの1つ以上のものを含み得るが、それに限定されないこともある。
【0114】
プロセッサは、マルチプロセッサの速度および性能を向上させ得る1つ以上のコアを含み得る。実施形態において、プロセスは、2つ以上の独立したコア(ダイと呼ばれる)を組み合わせる、デュアルコアプロセッサ、クアッドコアプロセッサ、他のチップレベルマルチプロセッサ等であり得る。
【0115】
本明細書に説明される方法およびシステムは、部分的または全体的に、サーバ、クラウドサーバ、クライアント、ファイアウォール、ゲートウェイ、ハブ、ルータ、もしくは他のそのようなコンピュータおよび/またはネットワーキングハードウェア上でコンピュータソフトウェアを実行するマシンを通して、展開され得る。ソフトウェアプログラムは、ファイルサーバ、プリントサーバ、ドメインサーバ、インターネットサーバ、イントラネットサーバ、および二次サーバ、ホストサーバ、分散サーバ等の他の変種を含み得るサーバに関連付けられ得る。サーバは、有線または無線媒体等を通して、他のサーバ、クライアント、マシン、およびデバイスにアクセスすることが可能なメモリ、プロセッサ、コンピュータ読み取り可能な媒体、記憶媒体、ポート(物理的および仮想)、通信デバイス、およびインターフェースのうちの1つ以上のものを含み得る。本明細書および他の場所に説明されるような方法、プログラム、またはコードは、サーバによって実行され得る。加えて、本願に説明されるような方法の実行のために要求される他のデバイスは、サーバに関連付けられるインフラストラクチャの一部と見なされ得る。
【0116】
サーバは、限定ではないが、クライアント、他のサーバ、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバ等を含む他のデバイスへのインターフェースを提供し得る。加えて、この結合および/または接続は、ネットワークを横断してプログラムの遠隔実行を促進し得る。これらのデバイスのうちのいくつかまたは全てのネットワーキングは、本開示の範囲から逸脱することなく、1つ以上の場所におけるプログラムまたは方法の並列処理を促進し得る。加えて、インターフェースを通してサーバにアタッチされるデバイスのうちのいずれかは、方法、プログラム、コード、および/または命令を記憶することが可能な少なくとも1つの記憶媒体を含み得る。中央リポジトリが、異なるデバイス上で実行されるべきプログラム命令を提供し得る。この実装において、遠隔リポジトリが、プログラムコード、命令、およびプログラムのための記憶媒体としての機能を果たし得る。
【0117】
ソフトウェアプログラムは、ファイルクライアント、プリントクライアント、ドメインクライアント、インターネットクライアント、イントラネットクライアント、および二次クライアント、ホストクライアント、分散クライアント等の他の変種を含み得るクライアントに関連付けられ得る。クライアントは、有線または無線媒体等を通して、他のクライアント、サーバ、マシン、およびデバイスにアクセスすることが可能なメモリ、プロセッサ、コンピュータ読み取り可能な媒体、記憶媒体、ポート(物理的および仮想)、通信デバイス、およびインターフェースのうちの1つ以上のものを含み得る。本明細書および他の場所に説明されるような方法、プログラム、またはコードは、クライアントによって実行され得る。加えて、本願に説明されるような方法の実行のために要求される他のデバイスは、クライアントに関連付けられるインフラストラクチャの一部と見なされ得る。
【0118】
クライアントは、限定ではないが、サーバ、他のクライアント、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバ等を含む他のデバイスへのインターフェースを提供し得る。加えて、この結合および/または接続は、ネットワークを横断してプログラムの遠隔実行を促進し得る。これらのデバイスのうちのいくつかまたは全てのネットワーキングは、本開示の範囲から逸脱することなく、1つ以上の場所におけるプログラムまたは方法の並列処理を促進し得る。加えて、インターフェースを通してクライアントにアタッチされるデバイスのうちのいずれかは、方法、プログラム、アプリケーション、コード、および/または命令を記憶することが可能な少なくとも1つの記憶媒体を含み得る。中央リポジトリが、異なるデバイス上で実行されるべきプログラム命令を提供し得る。この実装において、遠隔リポジトリが、プログラムコード、命令、およびプログラムのための記憶媒体としての機能を果たし得る。
【0119】
本明細書に説明される方法およびシステムは、部分的または全体的に、ネットワークインフラストラクチャを通して、展開され得る。ネットワークインフラストラクチャは、コンピューティングデバイス、サーバ、ルータ、ハブ、ファイアウォール、クライアント、パーソナルコンピュータ、通信デバイス、ルーティングデバイス、および当技術分野で公知であるような他の能動および、受動デバイス、モジュール、および/またはコンポーネント等の要素を含み得る。ネットワークインフラストラクチャに関連付けられるコンピューティングおよび/または非コンピューティングデバイスは、他のコンポーネントを別として、フラッシュメモリ、バッファ、スタック、RAM、ROM等の記憶媒体を含み得る。本明細書および他の場所に説明されるプロセス、方法、プログラムコード、命令は、ネットワークインフラストラクチャ要素のうちの1つ以上のものによって実行され得る。
【0120】
本明細書および他の場所に説明される方法、プログラムコード、および命令は、有線または無線ネットワーク内で動作し得る異なるデバイスで実装され得る。無線ネットワークの例は、第4世代(4G)ネットワーク(例えば、ロングタームエボリューション(LTE))または第5世代(5G)ネットワーク、および、無線ローカルエリアネットワーク(WLAN)等の非セルラーネットワークを含む。しかしながら、本明細書に説明される原理は、他のタイプのネットワークに同等に適用され得る。
【0121】
本明細書および他の場所に説明される動作、方法、プログラムコード、および命令は、モバイルデバイス上に、またはそれを通して実装され得る。モバイルデバイスは、ナビゲーションデバイス、セル方式携帯電話、携帯電話、携帯情報端末、ラップトップ、パームトップ、ネットブック、ポケットベル、電子書籍リーダ、音楽プレーヤ等を含み得る。これらのデバイスは、他のコンポーネントを別として、フラッシュメモリ、バッファ、RAM、ROM、および1つ以上のコンピューティングデバイス等の記憶媒体を含み得る。モバイルデバイスに関連付けられるコンピューティングデバイスは、その上に記憶されたプログラムコード、方法、および命令を実行することを可能にされ得る。代替として、モバイルデバイスは、他のデバイスと協力して命令を実行するように構成され得る。モバイルデバイスは、サーバとインターフェースをとられ、プログラムコードを実行するように構成される、基地局と通信し得る。モバイルデバイスは、ピアツーピアネットワーク、メッシュネットワーク、または他の通信ネットワーク上で通信し得る。プログラムコードは、サーバに関連付けられる記憶媒体上に記憶され、サーバ内に組み込まれるコンピューティングデバイスによって実行され得る。基地局は、コンピューティングデバイスと、記憶媒体とを含み得る。記憶デバイスは、基地局に関連付けられるコンピューティングデバイスによって実行されるプログラムコードおよび命令を記憶し得る。
【0122】
コンピュータソフトウェア、プログラムコード、および/または命令は、コンピュータコンポーネント、デバイス、およびある時間間隔にわたって計算に使用されるデジタルデータを留保する記録媒体、ランダムアクセスメモリ(RAM)として公知である半導体媒体、光ディスク、ハードディスク、テープ、ドラム、カード、および他のタイプのような磁気記憶の形態等の典型的にはより恒久的な記憶のための大容量記憶装置、プロセッサレジスタ、キャッシュメモリ、揮発性メモリ、不揮発性メモリ、CD、DVD等の光学記憶装置、フラッシュメモリ(例えば、USBスティックまたはキー)、フロッピー(登録商標)ディスク、磁気テープ、紙テープ、パンチカード、独立型RAMディスク、Zipドライブ、取り外し可能大容量記憶装置、オフライン等のような取り外し可能媒体、ダイナミックメモリ、スタティックメモリ、読み取り/書き込み媒体、可変記憶装置、読み取り専用、ランダムアクセス、順次アクセス、場所アドレス指定可能、ファイルアドレス指定可能、コンテンツアドレス指定可能、ネットワークアタッチト記憶装置、記憶領域ネットワーク、バーコード、磁気インク等の他のコンピュータメモリを含み得る機械読み取り可能な媒体上に記憶および/またはアクセスされ得る。
【0123】
本明細書に説明される方法およびシステムは、物理的および/または無形アイテムを1つの状態から別の状態に変換し得る。本明細書に説明される方法およびシステムはまた、物理的および/または無形アイテムを表すデータを、使用データから正規化された使用データセットに等、1つの状態から別の状態に変換し得る。
【0124】
図の全体を通してフローチャートおよびブロック図内を含む本明細書に説明および描写される要素は、要素の間の論理的境界を含意する。しかしながら、ソフトウェアまたはハードウェア工学実践によると、描写される要素およびその機能は、モノリシックなソフトウェア構造として、独立型ソフトウェアモジュールとして、または外部ルーチン、コード、サービス等を採用するモジュールとして、もしくはこれらの任意の組み合わせとして、その上に記憶されたプログラム命令を実行することが可能なプロセッサを有するコンピュータ実行可能媒体を通して、マシン上で実装され得、全てのそのような実装は、本開示の範囲内であり得る。そのようなマシンの例は、携帯情報端末、ラップトップ、パーソナルコンピュータ、携帯電話、他のハンドヘルドコンピューティングデバイス、医療機器、有線または無線通信デバイス、トランスデューサ、チップ、計算機、衛星、タブレットPC、電子書籍、ガジェット、電子デバイス、人工知能を有するデバイス、コンピューティングデバイス、ネットワーキング機器、サーバ、ルータ等を含み得るが、それに限定されないこともある。さらに、フローチャートおよびブロック図に描写される要素、または任意の他の論理コンポーネントは、プログラム命令を実行することが可能なマシン上に実装され得る。したがって、前述の図面および説明は、開示されるシステムの機能的側面を記載するが、これらの機能的側面を実装するためのソフトウェアのいかなる特定の配列も、明示的に記述されない、または別様に文脈から明確ではない限り、これらの説明から推測されるべきではない。同様に、上で識別および説明される種々のステップは、変動され得、ステップの順序は、本明細書に開示される技法の特定の用途に適合され得ることを理解されたい。全てのそのような変形例および修正は、本開示の範囲内であることを意図している。したがって、種々のステップのための順序の描写および/または説明は、特定の用途によって要求されない、または明示的に記述されない、もしくは別様に文脈から明確ではない限り、これらのステップのための特定の実行の順序を要求すると理解されるべきではない。
【0125】
上で説明される方法および/またはプロセス、および、そのステップは、ハードウェア、ソフトウェア、または特定の用途のために好適なハードウェアおよびソフトウェアの任意の組み合わせで実現され得る。ハードウェアは、汎用コンピュータおよび/または専用コンピューティングデバイス、または具体的コンピューティングデバイス、または具体的コンピューティングデバイスの特定の側面またはコンポーネントを含み得る。プロセスは、内部および/または外部メモリとともに、1つ以上のマイクロプロセッサ、マイクロコントローラ、組み込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ、もしくは他のプログラマブルデバイスで実現され得る。プロセスはまた、または代わりに、特定用途向け集積回路、プログラマブルゲートアレイ、プログラマブルアレイ論理、または電子信号を処理するように構成され得る任意の他のデバイスもしくはデバイスの組み合わせで具現化され得る。さらに、プロセスのうちの1つ以上のものは、機械読み取り可能な媒体上に実行されることが可能なコンピュータ実行可能コードとして実現され得ることを理解されたい。
【0126】
コンピュータ実行可能コードは、上記のデバイスのうちの1つ、および、プロセッサの異種の組み合わせ、プロセッサアーキテクチャ、または異なるハードウェアおよびソフトウェアの組み合わせ、またはプログラム命令を実行することが可能な任意の他のマシン上で起動するように記憶、コンパイル、または解釈され得るC等の構造化プログラミング言語、C++等のオブジェクト指向プログラミング言語、または任意の他の高水準もしくは低水準プログラミング言語(アセンブリ言語、ハードウェア記述言語、およびデータベースプログラミング言語および技術を含む)を使用して、作成され得る。
【0127】
したがって、一側面において、上で説明される各方法およびそれらの組み合わせは、1つ以上のコンピューティングデバイス上で実行されると、そのステップを実施する、コンピュータ実行可能コードで具現化され得る。別の側面において、方法は、そのステップを実施するシステムで具現化され得、いくつかの方法でデバイスを横断して分散され得るか、または、機能性の全ては、専用の独立型デバイスもしくは他のハードウェアの中に統合され得る。別の側面において、上で説明されるプロセスに関連付けられるステップを実施するための手段は、上で説明されるハードウェアおよび/またはソフトウェアのうちのいずれかを含み得る。全てのそのような順列および組み合わせは、本開示の範囲内に入ることを意図している。