知財求人 - 知財ポータルサイト「IP Force」
特表2023-541000エクステンデッドリアリティ環境において補完的コンテンツを発生させるためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-27
(54)【発明の名称】エクステンデッドリアリティ環境において補完的コンテンツを発生させるためのシステムおよび方法
(51)【国際特許分類】
G06Q 30/02 20230101AFI20230920BHJP
G06F 3/0481 20220101ALI20230920BHJP
【ＦＩ】
G06Q30/02
G06F3/0481
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023515128
(86)(22)【出願日】2020-12-28
(85)【翻訳文提出日】2023-04-27
(86)【国際出願番号】 US2020067204
(87)【国際公開番号】W WO2022055536
(87)【国際公開日】2022-03-17
(31)【優先権主張番号】17/014,309
(32)【優先日】2020-09-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518345664
【氏名又は名称】ロヴィ ガイズ， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ミシュラ， アジャイ クマール
(72)【発明者】
【氏名】ロバート ジョゼ， ジェフリー コップス
【テーマコード（参考）】
5E555
5L049
【Ｆターム（参考）】
5E555AA25
5E555AA26
5E555BA01
5E555BB01
5E555BC04
5E555BE17
5E555CB76
5E555DB53
5E555DC09
5E555DC13
5E555DC19
5E555DC59
5E555DC60
5E555DD07
5E555EA04
5E555EA07
5E555FA00
5L049BB01
(57)【要約】
エクステンデッドリアリティ（ＸＲ）環境内に補完的コンテンツを提示するためのシステムおよび方法が、本明細書に開示される。システムは、ＸＲ環境の視野を受信し、視野を表すデータストリームを発生させ得、データストリームは、各視野に関して、それぞれの視野上に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子を備え、視野座標は、ＸＲ環境における視野の位置を表す。システムは、オブジェクト識別子の発生数を使用して重要度スコアを計算し得、視野座標を使用して視野変化率を計算し得る。重要度閾値を超過する重要度スコアに応答して、システムは、ＸＲ環境において視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させる。
【特許請求の範囲】
【請求項1】
エクステンデッドリアリティ環境において補完的コンテンツを提示する方法であって、方法は、前記方法は、デバイスによって、前記エクステンデッドリアリティ環境の複数の視野を受信することであって、前記複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
前記複数の視野を表すデータストリームを発生させることであって、前記データストリームは、前記視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
前記複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
前記エクステンデッドリアリティ環境における前記それぞれの視野の位置を表す視野座標と
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現する前記データストリーム内のデータ構造の数を計算することと、
前記候補オブジェクト識別子が出現する前記データ構造に関する視野座標の相違の尺度を計算することと、
（ａ）前記候補オブジェクト識別子が出現する前記データストリーム内の前記データ構造の計算された数、および、（ｂ）前記候補オブジェクト識別子が出現する前記データ構造に関する座標の相違の前記計算された尺度に基づいて、前記候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する前記重要度スコアに応答して、前記エクステンデッドリアリティ環境において、前記候補オブジェクト識別子に対応する前記視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を含む、方法。
【請求項2】
前記データストリームを発生させることは、前記それぞれの視野内の視覚アイテムを識別することと、
前記識別された視覚アイテムにオブジェクト識別子を割り当てることと
を含み、
異なるそれぞれの視野内に出現する同じ視覚アイテムは、同じオブジェクト識別子に割り当てられる、請求項１に記載の方法。
【請求項3】
前記重要度スコアは、前記候補オブジェクト識別子が発生閾値より高く出現する前記データストリーム内の前記データ構造の数に基づく、請求項１－２のいずれかに記載の方法。
【請求項4】
前記重要度スコア尺度は、前記視野座標の相違の尺度と正に相関する、請求項１－３のいずれかに記載の方法。
【請求項5】
前記データストリームの各それぞれのデータ構造は、前記視野内の前記視覚アイテムの位置を表すオブジェクト座標をさらに備え、前記視覚アイテムは、前記オブジェクト識別子に対応し、前記方法は、
前記候補オブジェクト識別子が出現する前記データ構造に関するオブジェクト座標の相違の尺度を計算することをさらに含み、
前記重要度スコアは、オブジェクト座標の相違の前記計算された尺度にさらに基づく、請求項１－４のいずれかに記載の方法。
【請求項6】
視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく前記重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく前記重要度スコアより低い、請求項５に記載の方法。
【請求項7】
前記データストリームは、各データ構造に関して、前記視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
前記重要度スコアは、前記オブジェクト特徴にさらに基づく、請求項１－６のいずれかに記載の方法。
【請求項8】
前記候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、前記第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、前記第２の候補オブジェクト識別子の前記重要度スコアは、前記重要度閾値を超過し、
前記方法は、
前記第１の複数のものと前記第２の複数のものとの間の共有されるデータ構造の数を計算することと、
前記数が類似性閾値より高いことを決定することに応答して、前記２つのうちのより高い重要度スコアを有する前記候補オブジェクト識別子を選択することと、
前記エクステンデッドリアリティ環境において、前記選択された候補オブジェクト識別子に対応する前記視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
をさらに含む、請求項１－７のいずれかに記載の方法。
【請求項9】
前記補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、前記複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
前記競争入札に対する勝者を決定することと
をさらに含み、
前記補完的コンテンツは、前記競争入札の前記勝者によって提供される、請求項１－８のいずれかに記載の方法。
【請求項10】
前記データストリームは、各データ構造に関して、前記オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
前記オブジェクトに関連するコンテンツを読み出すことは、前記オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、請求項１－９のいずれかに記載の方法。
【請求項11】
エクステンデッドリアリティ環境において補完的コンテンツを提示するためのシステムであって、前記システムは、制御回路網を備え、前記制御回路網は、
デバイスによって、前記エクステンデッドリアリティ環境の複数の視野を受信することであって、前記複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
前記複数の視野を表すデータストリームを発生させることであって、前記データストリームは、前記視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
前記複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
前記エクステンデッドリアリティ環境における前記それぞれの視野の位置を表す視野座標と
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現する前記データストリーム内のデータ構造の数を計算することと、
前記候補オブジェクト識別子が出現する前記データ構造に関する視野座標の相違の尺度を計算することと、
（ａ）前記候補オブジェクト識別子が出現する前記データストリーム内の前記データ構造の計算された数、および、（ｂ）前記候補オブジェクト識別子が出現する前記データ構造に関する座標の相違の前記計算された尺度に基づいて、前記候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する前記重要度スコアに応答して、前記エクステンデッドリアリティ環境において、前記候補オブジェクト識別子に対応する前記視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を実施するように構成されている、システム。
【請求項12】
非一過性コンピュータ読み取り可能な媒体であって、前記媒体は、その上にエンコードされた命令を有し、前記命令は、制御回路網によって実行されると、請求項１－１０のいずれかに記載の方法を前記制御回路網に実施させる、非一過性コンピュータ読み取り可能な媒体。
【請求項13】
エクステンデッドリアリティ環境において補完的コンテンツを提示するためのシステムであって、前記システムは、請求項１－１０のいずれかに記載の方法を実施するための手段を備えている、システム。
【請求項14】
命令を備えているコンピュータプログラムであって、前記命令は、コンピュータによって実行されると、請求項１－１０のいずれかに記載の方法を前記コンピュータに行わせる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、エクステンデッドリアリティ環境内での補完的コンテンツの改良された発生のための技法を対象とし、より具体的に、エクステンデッドリアリティ環境の視野内で、ユーザのための着目オブジェクトに対応し得る視覚アイテムを識別することによって、補完的コンテンツを提供するための改良された技法を対象とする。
【発明の概要】
【課題を解決するための手段】
【0002】
エクステンデッドリアリティ（ＸＲ）環境は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、およびそれらの間の任意の他の現実を含む全ての現実と仮想との組み合わせられた環境を含む。ＸＲシステムは、例えば、立体視ディスプレイまたはスマートグラスを含むＸＲ頭部搭載型デバイス等のウェアラブルを含み得る。
【0003】
１つのアプローチでは、補完的コンテンツプロバイダは、ＸＲ環境において補完的コンテンツを表示するためのいくつかの技術およびアルゴリズムを使用し得る。例えば、ＸＲ現実システムは、平均ユーザ（または視認者）が属する人口統計カテゴリを識別し得、その人口統計カテゴリに関して関連のある補完的コンテンツを表示し得る。より個人化されたコンテンツを提供するために、ＸＲ現実システムは、ユーザ視聴履歴および／または視聴パターンを考慮するアルゴリズムを使用し得る。例えば、フットボールの試合中、（あるタイプの補完的コンテンツである）バナーが、スクリーン上に、スコアの隣または所定の位置（例えば、左下角）に出現し得る。
【0004】
しかしながら、バナーとユーザの関連性およびそのようなバナーとユーザとの間の相互作用は、異なる理由によって低くあり得、例えば、ユーザは、ボールまたは特定の選手に注目し得、バナーを見過ごし得る。別の例では、ユーザは、スコアには全く興味がないこともあり、しがたって、スコアの隣のバナーは、完全に無関係であり得る。この理由によって、前述のアプローチは、補完的コンテンツが関連する可能性、または効果的である可能性が高い着目オブジェクトを正確に識別し損ない得る。
【0005】
ＸＲ環境における非効果的場所に補完的コンテンツを表示することは、したがって、スクリーンを不必要な画像で乱雑にし、ＸＲ環境の関連のある部分を不明瞭にし、補完的コンテンツをレンダリングおよび表示するために必要とされる計算リソースを浪費し得る。さらに、非効果的場所におけるそのような補完的コンテンツは、補完的コンテンツプロバイダにとって殆ど利益にならないこともあり、ユーザインターフェースを劣化させ、体験に悪影響を及ぼし得る。補完的コンテンツが不適切な場所に表示されるいくつかの状況では、ユーザは、関連のない補完的コンテンツを回避または削除するように能動的に試みることもし得る。
【0006】
故に、これらの問題を解決するために、ＸＲ環境内での補完的コンテンツの提示を改良するための技法が、本明細書に開示される。例えば、ＸＲシステムは、それぞれの時間位置において、ＸＲ環境内でのユーザの消費に関して表示されるものに対応する視野の集合を受信する。この点について、ＸＲ環境は、３６０度の環境を備え得、各視野は、ＸＲ環境全体の一部のみを表す。
【0007】
それらの視野に基づいてＸＲシステムは、データストリームを発生させる。データストリームは、各視野に関して、オブジェクト識別子のリストを含む、それぞれのデータ構造を備え、各オブジェクト識別子は、視野内に出現する視覚アイテムに対応する。データ構造は、ＸＲ環境における視野の位置（例えば、視野座標）（例えば、完全な３６０°の球状環境内のある立体角を切り出す３Ｄ円錐体、またはより単純に、単純な３６０度の環境における「－２５度、＋４５度」）も含む。データ構造は、各オブジェクトが、オブジェクト識別子と、視覚アイテムに関連する情報の他の要素とを含むオブジェクトのリストを含み得る。そのデータストリームを使用して、ＸＲシステムは、データストリーム内での全てのオブジェクトＩＤの発生数を計算する。例えば、ＸＲ現実システムは、同じオブジェクトＩＤが出現するデータ構造の数（つまり、同じ視覚アイテムが出現する視野の数）を計算し得る。加えて、ＸＲシステムは、ＸＲ環境において、同じオブジェクトＩＤが出現するデータ構造の全て、つまり、同じ視覚アイテムが出現する視野の全てに関する視野の視野座標の視野変化率（例えば、視野座標の相違の尺度）を計算する。
【0008】
このように、ＸＲシステムは、データストリームを使用し、視覚アイテムがＸＲ環境において出現する頻度または長さ、およびユーザが視覚アイテムに追随するように試みている量に対応する情報を取得する。例えば、ＸＲ環境が、第１の時間においてユーザの視野内に移動する車アイテムを含み、ＸＲ環境が、第２の時間において異なる視野内に同じ移動する車アイテムを含む状況では、ＸＲ現実システムは、ユーザが、振り向き、車アイテムに追随したと推測し得る。ＸＲシステムの車アイテムの重要度の評価は、同じ車アイテムが異なる時間においてユーザの視野内に出現する回数が多くなり、ユーザの視野がより急速に変化するほど、増加し得る。
【0009】
この場合、発生数は、車が、両方の視野上で見出され得、視野変化率の値が、高い（２つの画像間で１８０度）ことを例証する。発生数および視野変化率に基づいて、ＸＲシステムは、重要度スコアを計算し、ユーザにとっての視覚アイテムの重要度を捕捉する。例えば、発生数が高く、視野変化率の値も高い場合、ＸＲシステムは、ユーザが、実質的な時間量にわたってアイテムを能動的に見ていると推測し得、ＸＲシステムは、それに応じて、高い重要度スコアを計算するであろう。逆に、発生数が低い場合、ＸＲシステムは、ユーザがアイテムを偶発的に見たか、またはアイテムがユーザの注目を捉えなったと推測し得る。ＸＲシステムは、それに応じて、低い重要度スコアを計算するであろう。補完的コンテンツが効率的にリソースを使用することを確実にするために、ＸＲシステムは、補完的コンテンツの表示のための（着目アイテムに関連付けられる）着目オブジェクトとして見えるオブジェクトのみを考慮し得る。例えば、着目アイテムが、車であるとき、補完的コンテンツは、情報的コンテンツまたは商業的コンテンツ等、車に関連するデータ（例えば、「ｗｗｗ．ｂｕｙｔｈａｔｃａｒ．ｃｏｍ上で車を買おう」）であり得る。着目オブジェクトを残りのものから選別するために、ＸＲシステムは、重要度スコアを閾値と比較する。重要度スコアが、閾値を上回るとき、ＸＲシステムは、ＸＲ環境において補完的コンテンツを表示するための命令を発生させる。補完的コンテンツは、着目オブジェクトのオブジェクト識別子に対応する着目視覚アイテムに関連し得るか、または、それは、独立的であり得る。そのスコアが閾値を下回るオブジェクトは、ユーザから十分な注目を引き付けていない（または、現在引き付けていない、または今後引き付けることもないであろう）。
【0010】
そのような技法を用いることで、補完的コンテンツプロバイダは、ＸＲシステムを用いて、ユーザが視聴しているアイテムについてのさらなる情報にアクセスし得る。これは、ＸＲシステムが非効果的な時間および／または非効果的な場所において補完的コンテンツを表示することを回避し、したがって、コンピューティングリソースの浪費を回避することを可能にすることができる。スコアの計算も、パラメータ的アプローチを可能にし、いくつかの着目オブジェクトを等級付けすることを可能にする。補完的コンテンツプロバイダは、したがって、（環境上の占有面積および財務コストの観点からの）コンピューティングリソースおよび可視性およびユーザと補完的コンテンツとの間の相互作用を最適化するためのコンテンツ方略を構築し得る。さらに、着目オブジェクトの識別は、より少ないがより関連のある補完的コンテンツが表示され得るので、補完的コンテンツとユーザとの間の相互作用の余地を増加させる。全体として、ＸＲ環境は、ユーザのために改良され、ＸＲシステムの性能は、最適化される。
【0011】
加えて、さらなる計算および計算に関して関連のある情報を全て含むデータストリームの発生は、有効かつ容易に取り扱われるツールである。データストリームは、データストリームを発生させるために使用されるコンピューティングデバイスが、計算タスクのうちの一部を別のコンピューティングデバイスに委任することを可能にする。データストリームは、文字列と、数のみとを包含し得るので、そのサイズは、自動転送および操作されることを容易にする。
【0012】
いくつかの実施形態では、視覚アイテムが視野とともに移動するが、ユーザからは視覚アイテムに追従するようないかなる意図もない状態等の誤検出を得ることを回避するために、スコアは、アイテムが、少なくとも所定の数の視野に出現する場合に限り、計算され得る。
【0013】
いくつかの実施形態では、同じアイテムが出現する視野の視野座標が、より多く変動するほど、重要度スコアが、より高くなる。ユーザが、アイテムに積極的に追従していることが、推論され得、それは、その人が実質的にそのアイテムに注目していることを意味する。関連付けられるオブジェクトは、したがって、補完的コンテンツにとって有用な着目オブジェクトである。
【0014】
いくつかの実施形態では、補完的コンテンツの関連性、故に、ユーザとのその相互作用を改良し、補完的データプロバイダからのデータストリームおよび補完コンテンツ方略の両方の付加価値を増加させるために、データストリームは、重要度スコアの計算において使用されるアイテムおよび特徴に対応するオブジェクトの１つ以上の特徴を備え得る。例えば、車と牽引車との間で、ユーザは、車に関連する可能性がより高い。重要度スコアは、したがって、オブジェクトの発生数、視野変化率、および特徴を考慮し得る。例えば、異なる特徴（例えば、オブジェクトを説明するデータ構造内に列挙される特徴）は、重要度スコアに良いまたは悪い影響を及ぼし得る。それらが重要度スコアに影響を及ぼす方法は、ユーザのプロファイルの関数において定義され得る。会計士にとっての牽引車等、一般的ユーザにとっての低関心特徴を伴うオブジェクトは、依然として、ユーザが、ＸＲ環境内である長さにわたって視認している、および／または能動的にそれに追従している場合、閾値を上回るスコアにつながり得る。逆に、衣服等、一般的ユーザにとっての高関心特徴を伴うオブジェクトは、ユーザがそれを一時的に見たにすぎない場合でも、同様に、閾値を上回るスコアにつながり得る。
【0015】
いくつかの実施形態では、ユーザが能動的に観察している視覚アイテムに対応するオブジェクトの識別を改良するために、データストリームは、ＸＲ環境における視野内に視覚アイテムの座標を含み得る。それらのデータに基づいて、ＸＲシステムは、視野内の視覚アイテムの座標の変化率を例証する、オブジェクト移動率を計算し得る。例えば、視野が、車を含み、ユーザが振り向いた後に捕捉された別の視野が、依然として、同じ車を含む前述の状況では、車の視野変化率は、ユーザからの注目のレベルを示し得る。オブジェクト移動率が、ゼロに近接している場合、これは、車が、２つの異なる視野内の同じ場所（例えば、視野の中心）に留まったことを意味する。ＸＲシステムは、ユーザが、アイテムをその眼の中心視野内に保持したこと、およびそのアイテムに関連付けられたオブジェクトが、（高）着目オブジェクトであると推測し得る。
【0016】
いくつかの実施形態では、ＸＲシステムは、視野のある数のもの（例えば、半分）を共有する視野の２つの集合において少なくとも２つのオブジェクトを処理する（例えば、第１の集合が、２５個の視野を有し、第２の集合が、３５個の視野を有し、その中の１３個はまた、第１の集合内にある）。これは、したがって、競合が存在し得る状況であり、両方のオブジェクトに関する補完的コンテンツを表示することは、逆効果であり得る（ユーザが、補完的コンテンツの量によって圧倒されるか、または苛立つこと、ユーザの注目が半分に分割されること、計算リソースの欠如等）。したがって、ＸＲは、両方の重要度スコアを比較し、２つのもののうち、より高いスコアを伴うオブジェクトのみを選定し、補完的コンテンツを発生させ得る。
【図面の簡単な説明】
【0017】
本開示の下記および他のオブジェクトおよび利点が、付随の図面と併せた以下の詳細な説明の考察の結果、明白となるであろう。
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【発明を実施するための形態】
【0028】
故に、ユーザのエクステンデッドリアリティ（ＸＲ）体験に補完的コンテンツを提示するためのシステムおよび方法が、本明細書に説明される。特に、拡張現実（ＡＲ）デバイスにおける視野内に視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させるためのシステムおよび方法が、本明細書に提示される。
【0029】
ＸＲセット（ＡＲまたは仮想現実（ＶＲ）ヘッドセット、スマートグラス、またはカメラを伴うポータブルデバイス等）、およびＡＲアプリケーション（モバイルフォン、スマートフォン、またはタブレット等）が、ＸＲ環境をユーザ（視認者とも呼ばれる）に表示するために使用され得る。視野は、ＸＲセットによって所与の時間においてユーザに提示されるＸＲ環境の一部である（例えば、完全な３６０°の球状環境における立体的な角度）。ＶＲセットの場合、視野は、典型的に、立体視ビューを生成するための一対の２Ｄ画像にあり、ＡＲセット（例えば、スマートグラス）の場合、視野は、典型的に、３Ｄまたは２Ｄ画像内にあり、３Ｄまたは２Ｄ画像は、実オブジェクトと、ＡＲセットを使用して上に重ねられた仮想オブジェクトとの混合物を含み得る（例えば、スマートグラスに関して、カメラを用いて捕捉された写真、およびスマートグラスによって追加されたコンテンツ）。ＸＲ環境が単一の自由度、すなわち、３６０度の回転を有する場合、任意の視野は、縁角度座標（例えば、＋１３５度、＋２２５度）によって、または、視野の既知の角度開口部と組み合わせられた単一の角度座標（例えば、－５５度）によって定義され得る。ＸＲ環境が、６自由度、すなわち、３６０度の３つの回転と、３つの空間位置とを有する場合、任意の視野が、３つの角度座標および３つの空間座標によって定義され得る。視野は、したがって、ユーザがＸＲ環境における特定の場所に存在し、ＸＲセットを特定の方向に向けているとき、ＸＲセットが表示するＸＲ環境の一部である。
【0030】
図１は、本開示のいくつかの実施形態による重要度スコアに基づいて補完的コンテンツ１０２を提示するための例証図１００を示す。データストリームエンジンが、ＸＲセットによって表示、または表示および捕捉されているＸＲ環境の複数の視野１０４ａ、１０４ｂ、１０４ｃを受信し得る。データストリームエンジンは、ＸＲシステム上で起動し得る。視野１０４ａ、１０４ｂ、１０４ｃの各々は、異なる時間位置Ｔ１、Ｔ２、Ｔ３に捕捉されており、より少ないデータを処理するために、（捕捉または発生させられた）連続するフレームまたは一連のフレームに対応し得る。フレームは、ＸＲ環境と関連して定義され、したがって、フレームは、２Ｄ環境または完全な３Ｄ環境を指し得る。視野１０４ａ、１０４ｂ、１０４ｃの各々は、例えば、少なくとも１つの視覚アイテム１０６、すなわち、飛行機１０６ａ、草１０６ｂ、タワー１０６ｃ、ウシ１０６ｄ、ＵＦＯ１０６ｅ、太陽１０６ｆを含む。データストリームエンジンは、複数の視野１０４ａ、１０４ｂ、１０４ｃを表すデータストリーム１０８を発生させる。データストリーム１０８は、各視野１０４ａ、１０４ｂ、１０４ｃに関して、それぞれのデータ構造１１０ａ、１１０ｂ、１１０ｃを含み得る。データ構造１１０ａ、１１０ｂ、１１０ｃは、それぞれの視野１０４ａ、１０４ｂ、１０４ｃ内に出現する視覚アイテム１０６に関連付けられた少なくとも１つのオブジェクト識別子（ＩＤ）１１２を含み得る。図１に図示されるように、オブジェクト識別子１１２は、視覚アイテム１０６または番号または英数字の任意の組み合わせを説明する標識であり得る。全ての視覚アイテム１０６に関して、データストリームエンジンは、単一の識別子１１２をそれに割り当て、いかなる混乱も回避し、すなわち、同じ視覚アイテム１０６が、２つの視野１０４ａ、１０４ｂ上に出現する場合、データストリームエンジンは、同じオブジェクト識別子１１２を割り当て得る（例えば、そのオブジェクト識別子がデータ構造１１０ａ、１１０ｂ、１１０ｃ内の「飛行機」である視野１０４ａ、１０４ｂ、１０４ｃ内の視覚アイテム１０６ａ参照）。データ構造１１０ａ、１１０ｂ、１１０ｃは、それぞれのデータ構造１１０ａ、１１０ｂ、１１０ｃに関連付けられたＸＲ環境におけるそれぞれの視野１０４ａ、１０４ｂ、１０４ｃの位置を表す視野座標１１４をさらに含み得る。図１の簡略図では、視野座標１１４は、一対の角度座標（図１では「視認角」と呼ばれる）である。完全な３Ｄ ＸＲ環境におけるより複雑な角度定義が、図５に関連して下で説明されるであろう。視野座標１１４は、視野１０４ａ、１０４ｂ、１０４ｃによって含まれているＸＲ環境の部分を表す略図１１６を用いて図示される。１０４ａ、１０４ｂ、１０４ｃのうちの２つの視野間で変化する視野座標１１４は、通常、ユーザが、ＸＲヘッドセットが取り付けられているその頭部を少なくとも移動させている（歩いているか、移動させているか、またはその頭部を回転させているかのいずれか）、または（例えば、物理的に、またはコントローラを用いてＸＲ環境内でのいずれかで）移動していることを意味する。データストリーム１０８は、したがって、複数のデータ構造１１０ａ、１１０ｂ、１１０ｃを含み得、それらは、オブジェクト識別子１１２を用いて、視野１０４ａ、１０４ｂ、１０４ｃおよび視野１０４ａ、１０４ｂ、１０４ｃの視野座標１１４上で可視である、視覚アイテム１０６ａ、１０６ｂ、１０６ｃ、１０６ｄを参照する。典型的に、データストリーム１０８は、データストリームエンジンによって、ＸＲシステムを使用して発生させられるファイルである。データストリームエンジンは、ＸＲシステムを使用して、次いで、メモリ内にそのファイルを記憶する。
【0031】
データストリーム１０８内に記憶されたデータを使用して、発生エンジンは、各オブジェクト識別子１１２に関して、同じオブジェクト識別子１１２が出現するデータストリーム１０８のデータ構造１１０ａ、１１０ｂ、１１０ｃの数を計算し得る。計算の結果は、発生数（ＯｃｃＮｕｍ）と呼ばれ、オブジェクト識別子は、候補オブジェクト識別子と呼ばれる。これは、したがって、異なる視野上に出現する同じ視覚アイテムに対応する。例えば、視覚アイテム１０６ａに対応するオブジェクト識別子１１２「飛行機」に関して、発生数は、視覚アイテム１０６ａが視野１０４ａ、１０４ｂ、１０４ｃ上に出現するので、３であり、視覚アイテム１０６ｄに割り当てられるオブジェクト識別子「ウシ」に関して、発生数は、視覚アイテム１０６ｄが視野１０４ｂ上のみに出現するので、１である。さらに、データストリーム１０８内に記憶されたデータを使用して、位置エンジンが、各候補オブジェクト識別子１１２に関して、候補オブジェクトが出現するデータ構造に関する視野座標の相違の尺度を計算し得る。計算の結果は、視野変化率（ＶｉＣｈ）と呼ばれる。視野変化率ＶｉＣｈは、同じ視覚アイテム１０６が出現する１０４ａ、１０４ｂ、１０４ｃのうちの２つの視野間の位置の進展を定量化する。視野変化率ＶｉＣｈは、複数の視野間で変動し得、したがって、視野変化率ＶｉＣｈは、１つの値または値の間隔の代わりに、値の組であり得る。視野変化は、代替として、平均値であり得る。
【0032】
発生数ＯｃｃＮｕｍおよび視野変化率ＶｉＣｈに基づいて、スコアエンジンが、重要度スコア（ＩｍｐＳｃ）を計算し得る。重要度スコアＩｍｐＳｃは、発生数ＯｃｃＮｕｍおよび／または視野変化率ＶｉＣｈと正に相関し得る。重要度スコアＩｍｐＳｃは、以下の式を使用して計算され得る：ＩｍｐＳｃ＝Ａ．ＯｃｃＮｕｍ＋Ｂ．ＶｉＣｈ（式中、ＡおよびＢは、演算器が異なるパラメータに与えることを所望する重要度の関数において決定される加重係数（例えば、正の整数）である）。
【0033】
比較エンジンは、次いで、重要度スコアＩｍｐＳｃを重要度閾値（ＩｍｐＴｈ）と呼ばれる閾値（例えば、８０、９０、または１００等の正の整数）を比較する。比較エンジンが、重要度スコアＩｍｐＳｃが、重要度閾値ＩｍｐＴｈを超過することを決定した場合、命令エンジンは、ＸＲ現実環境内に補完的コンテンツを表示するための命令を発生させ得る。補完的コンテンツは、候補オブジェクト識別子に対応する視覚アイテムに関連し得る。代替として、補完的コンテンツは、その視覚アイテムから完全に独立的であり得る。命令の発生に続いて、表示エンジンが、命令の受信時、次いで、ＸＲセットを使用してＸＲ環境において補完的コンテンツを表示する。例えば、図１では、候補オブジェクト識別子１１２「飛行機」の重要度スコアＩｍｐＳｃが、閾値（例えば、８０の重要度閾値ＩｍｐＴｈ）を上回り、時間Ｔ４における第４の視野１０４ｄにおいて、補完的コンテンツ１０２が、ＸＲセットを用いてＸＲ環境において表示される。補完的コンテンツ１０２は、視覚アイテムがもはや視野上に存在しなくなるまで、表示され得る。代替として、補完的コンテンツ１０２は、視覚アイテムが視野から消失した後にも残留して表示され得る。最小限の持続時間が、ユーザが、補完的コンテンツを確認し、理解するための余地を有するように、表示エンジンによって定義され得る。例えば、最小限の持続時間は、２秒であり得る。
【0034】
ある実施形態では、表示エンジンは、候補オブジェクト識別子が対応する視覚アイテムの上を覆って、またはその隣に補完的コンテンツを表示し得る。視覚アイテムが、視野内で移動している場合、表示エンジンは、それに応じて補完的コンテンツを移動させ得る。別の実施形態では、表示エンジンは、補完的コンテンツを視野内の固定された場所（例えば、左下角）に表示し得る。さらに別の実施形態では、表示エンジンは、視野の空きエリア、つまり、いかなる視覚アイテムも検出されないエリア内に補完的コンテンツを表示し得る。方法は、ライブ視野を用いてリアルタイムで行われることができる。時間的に、複数の視野の受信と表示との間の期間は、Ｘ秒～Ｙ秒であり得る（Ｘは、１秒～５秒であり、Ｙは、１０秒～３０秒を含む）。
【0035】
図２は、図１と関連して使用される例証的なシステム図２００を示す。システム２００は、ユーザ機器２０２を含み、ユーザ機器２０２は、（有線または無線で）一緒に連結されるＸＲセット２０４と、コンピューティングデバイス２０６とを含む。ＸＲセット２０４およびコンピューティングデバイス２０６は、単一のデバイスであり得る。システム２００は、コンピューティングサーバ２０８と、補完的コンテンツプロバイダサーバ２１０とをさらに含む。コンピューティングサーバ２０８および補完的コンテンツプロバイダサーバ２１０は、同じサーバであり得る。ＸＲ環境が発生させられる方法に応じて、ＸＲ環境プロバイダサーバ２１２は、システム２００（例えば、クラウドゲーム用）の一部であり得る。ユーザ機器２０２、コンピューティングサーバ２０８、補完的コンテンツプロバイダサーバ２１０、および、適用可能である場合、ＸＲ環境プロバイダサーバ２１２が、インターネット等の通信ネットワーク２１４を用いて互いに通信する。ＸＲセット２０４は、（例えば、ＶＲに関して）視野を表示するために、または（例えば、ＡＲに関して）視野を捕捉および表示するために使用される。この目標を達成するために、ＸＲセット２０４は、典型的に、視野を表示するためのスクリーン２１６と、音を発するためのスピーカ２１８とを含む。システム２００は、より多くの要素を含み得るが、図２は、関略図を図示する。
【0036】
データストリームエンジン、発生エンジン、位置エンジン、スコアエンジン、比較エンジン、命令エンジン、および表示エンジン（および説明において定義される任意の他のエンジン）は、ユーザ機器のコンピューティングデバイス２０６内またはコンピューティングサーバ２０８内に実装されるソフトウェアツールであり得る。それらのエンジンは、プロセッサが非一過性メモリ内に記憶された命令を実行すると実施される単一のアプリケーションであり得る。代替として、エンジンは、システム２００の異なる要素にわたって相違させられ得る。例えば、データストリームエンジンは、ユーザ機器２０２のコンピューティングデバイス２０６上に実装され得、発生エンジン、位置エンジン、スコアエンジン、比較エンジン、命令エンジンは、コンピューティングサーバ２０８上に実装され得、表示エンジンは、ユーザ機器２０２のコンピューティングデバイス２０６上に実装され得る。命令エンジンは、表示されるべき補完的コンテンツを提供するように補完的コンテンツプロバイダサーバ２１０に要請し得る。代替として、補完的コンテンツプロバイダサーバ２１０は、命令エンジン自体が補完的コンテンツを選択し得るように、以前に要請されていることもあり、補完的コンテンツは、そのように記憶されていることもある。
【0037】
図３は、通信ネットワーク２１４に接続されるコンピューティングシステム３０２の例証的なブロック図３００を示す。コンピューティングシステム３０２は、本開示のいくつかの実施形態によるユーザ機器２０２（またはコンピューティングデバイス２０６のみ）、コンピューティングサーバ２０８、補完的コンテンツプロバイダサーバ２１０、またはＸＲ環境プロバイダサーバ２１２であり得る。いくつかの実施形態では、コンピューティングシステム３０２は、ユーザインターフェースに通信可能に接続され得る。いくつかの実施形態では、コンピューティングシステム３０２は、制御回路網３０４と、入力／出力（Ｉ／Ｏ）経路３０６とを含み得る。制御回路網３０４は、処理回路網３０８と、記憶装置３１０（例えば、ＲＡＭ、ＲＯＭ、ハードディスク、リムーバブルディスク等）とを含み得る。Ｉ／Ｏ経路３０６は、デバイス情報または他のデータをローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を介して、および／または、処理回路網３０８と記憶装置３１０とを含む制御回路網３０４に他のコンテンツおよびデータを提供し得る。制御回路網３０４は、Ｉ／Ｏ経路３０６を使用して、コマンド、要求、信号（デジタルおよびアナログ）、および他の好適なデータを送信および受信するために使用され得る。Ｉ／Ｏ経路３０６は、制御回路網３０４（具体的に、処理回路網３０８）を１つ以上の通信経路に接続し得る。
【0038】
制御回路網３０４は、処理回路網３０８等の任意の好適な処理回路網に基づき得る。本明細書で言及されるように、処理回路網は、１つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）等に基づく、回路網を意味するように理解されるべきであり、マルチコアプロセッサ（例えば、デュアルコア、クアドコア、ヘキサコア、または任意の好適な数のコア）またはスーパコンピュータを含み得る。いくつかの実施形態では、処理回路網は、複数の別個のプロセッサまたは処理ユニット、例えば、処理ユニットの同じタイプの複数のもの（例えば、２つのＩｎｔｅｌ Ｃｏｒｅ ｉ７プロセッサ）または複数の異なるプロセッサ（例えば、Ｉｎｔｅｌ Ｃｏｒｅ ｉ５プロセッサおよびＩｎｔｅｌ Ｃｏｒｅ ｉ７プロセッサ）にわたって相違させられ得る。いくつかの実施形態では、制御回路網３０４は、メモリ（例えば、記憶装置３１０）内に記憶されたコンテンツ改良エンジンのための命令を実行する。
【0039】
メモリは、制御回路網３０４の一部である記憶装置３１０として提供される電子記憶デバイスであり得る。記憶装置３１０は、処理回路網３０８によって実行されると、本説明内に定義されるエンジンの機能性を実施する命令を記憶し得る。本明細書で言及されるように、語句「電子記憶デバイス」または「記憶デバイス」は、ランダムアクセスメモリ、読み取り専用メモリ、ハードドライブ、固体デバイス、量子記憶デバイス、または任意の他の好適な固定またはリムーバブル記憶デバイス、および／またはそれらの任意の組み合わせ等、電子データ、コンピュータソフトウェア、またはファームウェアを記憶するための任意のデバイスを意味すると理解されるべきである。不揮発性メモリも、（例えば、起動ルーチンおよび他の命令を立ち上げるために）使用され得る。
【0040】
コンピューティングシステム３０２は、通信ネットワーク２１４に結合され得る。通信ネットワークは、インターネット、モバイルフォンネットワーク、モバイル音声またはデータネットワーク（例えば、５Ｇ、４Ｇ、またはＬＴＥネットワーク）、網目状ネットワーク、ピアツーピアネットワーク、ケーブルネットワーク、または他のタイプの通信ネットワーク、または通信ネットワークの組み合わせを含む１つ以上のネットワークであり得る。コンテンツ改良エンジンは、再生のための発生のために選択されたデバイスへの二次通信ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、サービスプロバイダ固有ネットワーク、または有線接続）に結合され得る。経路が、インターネット通信、（例えば、ブロードキャストまたは他の無線信号のための）自由空間接続、または任意の他の好適な有線または無線通信経路、またはそのような経路の組み合わせをサポートする経路である衛星経路、光ファイバ経路、ケーブル経路等の１つ以上の通信経路を別個に、または一緒に含み得る。
【0041】
図４は、本開示のいくつかの実施形態による補完的コンテンツの表示を改良するためのプロセスの例証的フローチャートである。プロセス４００および以下のプロセスのうちのいずれかが、制御回路網３０４によって、（例えば、本明細書に説明されるエンジンのうちのいずれかによって制御回路網３０４に命令される様式において）実行され得る。制御回路網３０４は、ユーザ機器２０２、コンピューティングサーバ２０８、ＸＲ環境プロバイダサーバ２１２の一部であり得る、または通信ネットワーク２１４を介して通信するそれらのエンティティ間に散り散りにされ得る。
【0042】
４０２において、制御回路網３０４は、データストリームエンジンを実行すると、ＸＲ環境の複数の視野を受信し、複数の視野のうちの各視野が異なる時間位置において捕捉されている。制御回路網３０４は、ユーザ機器２０２のコンピューティングデバイス２０６および／またはＸＲ環境プロバイダサーバ２１２（例えば、クラウドゲーム用）であり得るＸＲ環境ソースから、Ｉ／Ｏ経路３０６を介して視野を読み出す。ソースは、ＸＲセット２０４によって捕捉された画像を読み出すコンピューティングデバイス２０６と、およびコンピューティングデバイス２０６またはＸＲ環境プロバイダサーバ２１２（特に、ＡＲ環境に関して）との組み合わせでもあり得る。
【0043】
４０４において、制御回路網３０４は、データストリームエンジンを実行すると、データストリームを発生させる。データストリームは、複数の視野を表すことを狙いとしている。データストリーム５００が、図５に図示される。データストリーム５００は、視野５０４の各々に関してそれぞれのデータ構造５０２を含む。各それぞれのデータ構造５０２は、複数の視野のうちのそれぞれの視野５０４内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子５０６（Ｏｂｊ１、Ｏｂｊ２等）を含む。各それぞれのデータ構造５０２は、ＸＲ環境内でのそれぞれの視野５０４の位置を表す視野座標５０８も含む。視野座標５０８は、（ユーザをＸＲ環境において空間的に位置特定するための）固定基準フレームＲｏにおける空間座標Ｘ１、Ｙ１、Ｚ１と、（視野をＸＲ環境において角度的に位置特定するための）固定基準フレームＲｏにおける角度座標α１、β１、γ１とを含み得る。視野座標は、例えば、ＸＲ環境の本質に応じて、それらの６つの座標の一部またはそれらの組み合わせであり得る。制御回路網３０４は、データストリームエンジンを実行すると、ＸＲ環境プロバイダサーバ２１２またはユーザ機器２０２から視野座標５０８を読み出し得る。代替として、加速度計、位置特定デバイス等、ＸＲセット２０４上に搭載されたセンサが、視野座標を決定することを可能にするデータを取得し得る。加えて、制御回路網３０４は、データストリームエンジンを実行すると、データ構造５０２を独特の方法において識別するための番号５１０を各データ構造５０２に割り当て得る。データ構造は、それぞれの視野５０４の時間位置またはタイムスタンプ５１２（Ｔ１、Ｔ２、Ｔ３等）も含み得る。タイムスタンプ５１２は、絶対時間（例えば、ＧＭＴ時間）または相対時間（例えば、時間、分、秒）であり得る。代替として、タイムスタンプは、視野の数についての情報を与える単位のない数である（例えば、２つの連続する番号は、視野が、連続的に、またはそれらの間で所定のステップにおいて捕捉されたことを示す（例えば、視野の５つごと、または１０個ごと等））。制御回路網３０４は、データストリームエンジンを実行すると、データストリーム５００およびそのデータを記憶装置３１０内に記憶し得る。
【0044】
より正確に、４０４において、データストリームを発生させる制御回路網３０４は、４０６において、視野５０４内の視覚アイテムを識別し、４０８において、識別された各視覚アイテムに関連付けられたオブジェクト５１４を生成する制御回路網３０４を含み得る。制御回路網３０４は、４０６において、画像認識技法を使用して視覚アイテムを識別し得る：制御回路網３０４は、データストリームエンジンを実行すると、画像を受信し、その上の視覚アイテムを識別する。代替として、制御回路網３０４は、４０６において、ＸＲ環境ソースから受信されたＸＲ環境のシミュレートされた部分についてのデータを使用して視覚アイテムを識別し得、すなわち、制御回路網３０４は、各視野５０４内に表示されている視覚アイテムのリストを受信し得る。ある実施形態では、各視野５０４に関して、制御回路網３０４は、視覚アイテムが存在するのと同程度に多くのオブジェクト５１４を識別する。サイズ閾値が、多すぎるオブジェクトを識別することを回避するために定義され得る。制御回路網３０４が４０８においてオブジェクト５１４を生成すると、制御回路網３０４は、４１０において、オブジェクト５１４のためのオブジェクト識別子（ＩＤ）５０６を視覚アイテムに対応するように割り当てる。オブジェクト識別子５０６の割り当ては、少なくともこれら２つの規則に従って実施される：いくつかの視野上に出現する同じ視覚アイテムは、同じオブジェクト識別子を有すること、および、２つの異なる視覚アイテムは、２つの異なるオブジェクト識別子を有すること。視覚アイテムが、異なる視野上で同じであることを決定するために、制御回路網３０４は、画像認識技法も使用し得る。ある実施形態では、各オブジェクトに関して、制御回路網３０４が、４１２において、視野５０４内の視覚アイテムの位置に対応するオブジェクト座標５１６を読み出し得る。オブジェクト座標５１６は、視野内に取り付けられる、基準フレームＲにおける空間座標Ｘ１、Ｙ１、Ｚ１、および、また、同じ基準フレームＲにおける同じ角度座標であり得る。しかしながら、図５に図示されるデータストリームの実施形態では、角度座標は、無視される（つまり、ＸＲ環境における視覚アイテムの回転は、考慮されない）。制御回路網３０４は、４０６において、視覚アイテムの識別に基づいて、オブジェクト座標５１６（例えば、３つの空間座標のうちの２つのみが使用されるような、３Ｄ ＸＲ環境の投影である２Ｄ画像における視覚アイテムの位置）を計算し得る。代替として、制御回路網３０４は、例えば、以前に開示されたように、視覚アイテムのリストに加えて、ＸＲ環境ソースから直接オブジェクト座標５１６を取得し得る。ある実施形態では、制御回路網３０４は、４１４において、各オブジェクトに関して、少なくとも１つのオブジェクト特徴５１８を割り当てる。オブジェクト特徴５１８は、視覚アイテムの特徴またはその本質を表す。これは、典型的に、視野内に出現する視覚アイテムを説明する、メタデータである。例えば、オブジェクト特徴は、「車」、「動物」、「エッフェル塔」、「ビッグベン」、「飛行機」、「未定義」等であり得る。オブジェクト５１４は、オブジェクトＩＤ５０６、オブジェクト座標５１６、およびオブジェクト特徴５１８を記憶する、コンピュータファイルであり得る。代替として、オブジェクト５１４は、ファイル内に記憶されるそれらの以前のデータの集約物である。
【0045】
４１６において、制御回路網３０４は、選択エンジンを実行すると、データストリーム５００のオブジェクト識別子５０６を選択する。４１８において、制御回路網３０４は、発生エンジンを実行すると、候補オブジェクト識別子と呼ばれる同じオブジェクト識別子５０６が出現するデータストリーム５００のデータ構造５０２の数（発生数ＯｃｃＮｕｍと呼ばれる）を計算する。ある実施形態では、オブジェクト識別子５０６が出現する連続するデータ構造５０２のみが、そのような計算のために考慮される。別の実施形態では、そのタイムスタンプ５１２が互いに近接している（例えば、全てが５秒または１０秒の周期内に入る）データ構造５０２のみが、考慮される。発生数ＯｃｃＮｕｍの計算は、典型的に、データ構造５０２が候補オブジェクト識別子５０６を含む度にボックスを増分させることを伴う。４２０において、制御回路網３０４は、位置エンジンを実行すると、候補オブジェクト識別子５０６が出現するデータ構造５０２のための視野座標５０８の相違の尺度（視野変化率ＶｉＣｈと呼ばれる）を計算する。この計算は、視野座標の時間導関数であり得る。制御回路網３０４は、したがって、適切なデータ構造５０２の視野座標５０８およびタイムスタンプ５１２を使用し、そのような計算を実施し得る。視野は全て、連続的（または準連続的）な視野変化率ＶｉＣｈを発生させるために、考慮され得る。代替として、処理するためのデータ量を限定するために、ある視野のみが、使用され得る（Ｆ個の視野ごとに１つの視野（Ｆは、２以上の正の整数である））。ある視野座標５０８のみが、角度座標等の視野変化率ＶｉＣｈを計算するために使用され得る。すでに議論されたように、視野変化率ＶｉＣｈは、視野の移動についての指示（ＸＲ環境内で歩いているか、走っているユーザ、またはヘッドセットが搭載されるその頭部を移動させているユーザのいずれか）を与える。加えて、ある実施形態では、４２２において、制御回路網３０４は、位置エンジンを実行すると、オブジェクト座標５１６、つまり、視野内の視覚アイテムの座標の相違の尺度（オブジェクト移動率ＯｂＭｏｖと呼ばれる）を計算し得る。オブジェクト移動率ＯｂＭｏｖは、オブジェクトが視野内で移動する速度を表す。この値は、視野の移動から独立している。ＸＲセット２０４が、ＸＲ環境内で移動する視覚アイテムに追従している場合、視野変化率ＶｉＣｈは、非ゼロであろう一方、オブジェクト移動率ＯｂＭｏｖは、ゼロであろう。
【0046】
ステップ４１８、４２０、４２２は、順次または並行して実施され得る。
【0047】
４２４において、制御回路網３０４は、スコアエンジンを実行すると、候補オブジェクト識別子に関する重要度スコアＩｍｐＳｃを計算し、候補オブジェクト識別子は、４１６において選択されており、その発生数ＯｃｃＮｕｍおよび視野変化率ＶｉＣｈ（および、適用可能である場合、オブジェクト移動率ＯｂＭｏｖ）は、計算されている。重要度スコアは、以下の式によって定義され得る：ＩｍｐＳｃ＝Ａ．ＯｃｃＮｕｍ＋Ｂ．ＶｉＣｈ（式中、ＡおよびＢは、加重係数（例えば、正の整数または正の実数）である）。例えば、ＩｍｐＳｃ（単位なし）は、計算されたＯｃｃＮｕｍは、２５（２５個の視野）であり得、計算されたＶｉＣｈは、３（３ラジアン／秒）であり得、Ａは、２（２／１視野）として選定され得、Ｂは、１５（１５／１ラジアン）として選定され得、それによって、ＩｍｐＳｃ＝２５×２＋３×１５＝９５となる。ＡおよびＢの値は、したがって、演算器が、発生数ＯｃｃＮｕｍと視野変化率ＶｉＣｈとの間で裁定することを可能にする。ある実施形態では、ＯｃｃＮｕｍが高く、重要度スコアが高く、および／または、ＶｉＣｈが高いほど、重要度スコアが、高くなる。高重要度スコアは、ユーザに対して強力な魅力を提示する視覚アイテム（およびその関連するオブジェクト）を示す。
【0048】
ある実施形態では、重要度スコアＩｍｐＳｃは、視野変化率ＶｉＣｈが上限を上回ると、視野変化率ＶｉＣｈと負に相関し得る。言い換えると、重要度スコアＩｍｐＳｃは、ＶｉＣｈが、上限を上回るように増加した場合、減少し得る（他のものは全て、等しい）。これは、ＸＲセットが、急激に移動しすぎる状況、すなわち、ユーザが補完的コンテンツと相互作用することが可能ではないであろう状況を考慮することを可能にする。
【0049】
オブジェクト移動率ＯｂＭｏｖ、つまり、視野内のオブジェクト座標の変化率を考慮する、ある実施形態では、重要度スコアＩｍｐＳｃは、以下のようであり得る：ＩｍｐＳｃ＝Ａ．ＯｃｃＮｕｍ＋Ｂ．ＶｉＣｈ＋Ｃ．ＯｂＭｏｖ（式中、Ａ、Ｂ、およびＣは、加重係数（例えば、整数）である）。重要度スコアＩｍｐＳｃは、オブジェクト移動率ＯｂＭｏｖと正または負に相関し得る（例えば、下で説明されるＯｂＭｏｖとＶｉＣｈの組み合わせ参照）。ＯｃｃＮｕｍ、ＶｉＣｈ、およびＯｂＭｏｖの任意の組み合わせが、それらが候補オブジェクト識別子の判別を可能にすることを前提として、使用され得る。高重要度スコアは、ユーザに強力な魅力を提示する、視覚アイテム（およびその関連付けられるオブジェクト）を示す。いくつかの例が、図７ａ、７ｂ、８ａ、および８ｂに詳述されるであろう。
【0050】
ある実施形態では、算術式の代わりに、ＩｍｐＳｃ＝（ＯｃｃＮｕｍ．ＶｉＣｈ．）１／２またはＩｍｐＳｃ＝（ＯｃｃＮｕｍ．ＶｉＣｈ．ＯｂＭｏｖ）１／３等の幾何学式が、使用され得る。
【0051】
オブジェクト移動率ＯｂＭｏｖは、特に、視野変化率ＶｉＣｈとの組み合わせにおいて関連があり得る。ほぼゼロのＯｂＭｏｖと結合された非ゼロのＶｉＣｈは、ユーザが、ＸＲ環境内で視覚アイテムに能動的に追従していることを意味する。したがって、重要度スコアは、それらの２つの値を結合し得、例えば、重要度スコアＩｍｐＳｃは、ＩｍｐＳｃ＝Ａ．ＯｃｃＮｕｍ＋（Ｂ．ＶｉＣｈ）／（Ｃ．ＯｂＭｏｖ）またはＩｍｐＳｃ＝Ａ．ＯｃｃＮｕｍ．Ｂ（ＶｉＣｈ）／（Ｃ．ＯｂＭｏｖ）（式中、Ａ、Ｂ、およびＣは、加重係数である）として定義され得る。
【0052】
重要度スコアＩｍｐＳｃは、多くの視野内に出現する視覚アイテムから少数の視野上に出現する視覚アイテムを区別するために、発生閾値（ＯｃｃＴｈｒ）と比較された発生数ＯｃｃＮｕｍに基づき得る。発生閾値は、例えば、５～３００または１，０００の整数であり得る。例えば、発生数と発生閾値との間の差異を強めるＩｍｐＳｃ＝Ａ．（ＯｃｃＮｕｍ－ＯｃｃＴｈｒ）３＋Ｂ．ＶｉＣｈ＋Ｃ．ＯｂＭｏｖ等の式が、使用され得る。差異を不均質に累乗することは、差異ＯｃｃＮｕｍ－ＯＣｃＴｈｒの符号を容易に考慮することを可能にし、それによって、発生数が発生閾値ＯｃｃＴｈｒをはるかに下回る候補オブジェクト識別子は、高重要度スコアＩｍｐＳｃを有する可能性が低くなる。代替として、発生閾値ＯｃｃＴｈｒとの比較が、ステップ４２０、４２２、および４２４の前で、または、４２４の前のみで実施され得る。その場合、ステップ４２０、４２２、および／または４２４は、発生数が発生閾値より高いことを決定することに応答して実施される。これは、その重要度スコアＩｍｐＳｃが低くなると思ったオブジェクト識別子のための計算を実施することを回避する。
【0053】
ある実施形態では、重要度スコアＩｍｐＳｃは、オブジェクト特徴５１８にも基づき得る。例えば、制御回路網３０４は、スコアエンジンを実行すると、記憶装置３１０内に記憶されたテーブルを使用し得、それによって、値ＯｂｊＴｙが、あるオブジェクト特徴に割り当てられ得、例えば、車は、草より高いオブジェクト特徴値ＯｂｊＴｙを有し得る。重要度スコアＩｍｐＳｃは、次いで、ＩｍｐＳｃ＝Ａ．ＯｃｃＮｕｍ＋Ｂ．ＶｉＣｈ＋Ｄ．ＯｂｊＴｙ（式中、Ａ、Ｂ、およびＤは、加重係数（例えば、正の整数）である）として計算され得る。さらなる実施形態では、テーブルは、ユーザのプロファイルまたは視聴パターンに依存し得、例えば、車を非難する多くのメディアコンテンツおよび自転車を賞賛する多くのメディアコンテンツをブラウズするユーザに関して、オブジェクト特徴値ＯｂｊＴｙは、車に関して低く、自転車に関して高くあり得る。
【0054】
重要度スコア式は、上で詳述される全ての実施形態を組み合わせ、より複雑であるが、より精緻化された重要度スコアを取得し、増加された判別力を可能にし得る。
【0055】
異なる式によって例証されるように、重要度スコアは、いくつかのパラメータを単一の数に分類するスカラーとして定義され得る。しかしながら、前述に開示された１つまたはいくつかのパラメータを別個に考慮するために、または異なる方式におけるパラメータをまとめるために、重要度スコアをｎ－ｕｐｌｅｔの値（例えば、２つの値）として定義することも、可能である。例えば、重要度は、ＩｍｐＳｃ＝（Ａ．（ＯｃｃＮｕｍ－ＯｃｃＴｈｒ）３，Ｂ．ＶｉＣｈ，Ｃ．ＯｂＭｏｖ，Ｄ．ＯｂｊＴｙ）等、ベクトルとして定義され得る。その場合、重要度スコアとのいかなる比較も、適切な順序関係を使用することを伴う。
【0056】
４２６において、制御回路網３０４は、比較エンジンを実行すると、重要度スコアＩｍｐＳｃと重要度閾値ＩｍｐＴｈｒを比較する。重要度閾値は、ユーザにとって着目に値する候補オブジェクト識別子を他の候補オブジェクト識別子から区別することを可能にする。重要度閾値ＩｍｐＴｈｒに等しい、またはそれを上回る重要度スコアＩｍｐＳｃは、候補オブジェクト識別子に関連付けられた視覚アイテムが、ユーザの注目を引き付けている可能性が高いことを意味する。重要度スコアが高いほど、引き付けることの可能性が、より高い。重要度閾値ＩｍｐＴｈｒは、８０、９０、または１００等の正の整数であり得る。典型的に、重要度閾値ＩｍｐＴｈｒは、（上記の重要度スコアを用いて例示されるように）単位がない。ある実施形態では、発生閾値ＯｃｃＴｈｒは、最高重要度スコアを伴うオブジェクト識別子のみが、重要度閾値に適合するような、複数のオブジェクト識別子の中での発生数の最高値である（例えば、複数の視野内に全てが出現するオブジェクト識別子に関して）。重要度閾値ＩｍｐＴｈｒは、重要度スコアと同じ本質を有し、すなわち、スカラーとしての重要度スコアは、スカラーとしての閾値と比較される必要があり、ｎ－ｕｐｌｅｔとしての重要度スコアは、ｎ－ｕｐｌｅｔとしての閾値と比較され得る。ｎ－ｕｐｌｅｔを用いると、各パラメータは、重要度閾値ＩｍｐＴｈｒの所定の値と直接比較され得る。
【0057】
制御回路網３０４が、比較エンジンを実行すると、重要度スコアＩｍｐＳｃが重要度閾値ＩｍｐＴｈｒを下回ることを決定すると、プロセスは、ステップ４１６に戻り、制御回路網３０４は、選択エンジンを実行すると、別のオブジェクト識別子５０６を選択する。制御回路網３０４が、比較エンジンを実行すると、重要度スコアＩｍｐＳｃが重要度閾値ＩｍｐＴｈｒ以上であることを決定すると、プロセスは、４２８に進行する。
【0058】
４２８において、制御回路網３０４は、命令エンジンを実行すると、ＸＲ環境において補完的コンテンツを表示するための命令を発生させる。ある実施形態では、命令は、補完的コンテンツが、その関連付けられる重要度スコアが重要度閾値を上回った候補オブジェクト識別子に対応する視覚アイテムに関連するように、発生させられる。例えば、オブジェクト５１４の特徴５１８が、適切な補完的コンテンツを選択するために、補完的コンテンツプロバイダサーバ２１０上のメタデータのリストと比較され得る。代替として、補完的コンテンツは、視覚アイテムの特徴に関連しない。
【0059】
制御回路網３０４が、４２８において命令エンジンを実行するときに発生させることに応答して、制御回路網３０４は、表示エンジンを実行すると、４３０において、補完的コンテンツプロバイダ２１０から補完的コンテンツを読み出し得る。典型的に、命令は、命令エンジンを実行すると、制御回路網３０４によって補完的コンテンツプロバイダサーバ２１０に送信され得、補完的コンテンツは、表示エンジンを実行すると、制御回路網３０４によって受信される。代替として、システム２００の反応時間を改良するために、制御回路網３０４が、表示エンジンを実行するときに補完的コンテンツプロバイダ２１０を参照することなく基準に基づいて補完的コンテンツを選定得るように、複数の補完的コンテンツアイテムが、補完的コンテンツプロバイダサーバ２１０によって、命令エンジンを実行すると、制御回路網３０４に前もって提供され、記憶装置３１０内に記憶されていることもある。例えば、上で議論されるように、補完的コンテンツは、オブジェクト特徴に基づいて、例えば、オブジェクトのメタデータのリストからのメタデータ（例えば、特徴自体のうちの１つまたは特徴から導出されたメタデータ）を補完的コンテンツの視覚アイテムのメタデータのリストからのメタデータに合致させることによって選定され得る。ある実施形態では、競争入札が、補完的コンテンツに関して異なる潜在的な補完的コンテンツプロバイダ間で行われ得る。競争入札は、該潜在的プロバイダに通知することと、競争入札を立ち上げることと、勝者を決定することと、勝利サーバから補完的コンテンツを読み出すこととを含み得る。再び、競争入札は、制御回路網３０４によって、補完的コンテンツプロバイダサーバを参照することなく、表示エンジンを実行するときに行われ得る。競争入札は、図１０に関連してより詳細に説明されるであろう。
【0060】
最後に、制御回路網３０４は、表示エンジンを実行すると、４３２において、ユーザ機器２０２、より具体的に、ＸＲセット２０４を用いて補完的コンテンツを表示する。図９ａおよび９ｂは、補完的コンテンツを表示するためのいくつかの例を提供する。
【0061】
プロセス５００は、異なるオブジェクト識別子に関して並行して実行され得る。対立が存在し得る（例えば、２つの視覚アイテムが、同じ視野上に出現する）場合が、図６に関連して対処される。
【0062】
図６は、複数の視野内の２つの視覚アイテムが競合し得る状況に対処するフローチャートを図示する。ある実施形態では、制御回路網３０４は、選択エンジンを実行すると、６０２において、第１の候補オブジェクト識別子を選択し、制御回路網３０４は、スコアエンジンを実行すると、６０４において、重要度スコアを計算し、制御回路網３０４は、比較エンジンを実行すると、６０６において、重要度スコアが重要度閾値より高いことを決定する（全てのステップが、ここに図示されているわけではない）。第１の候補オブジェクト識別子が、第１の複数のデータ構造内に出現する。同様に、６０８、６１０、６１２において、制御回路網３０４は、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子を処理する。６１４において、制御回路網３０４は、（例えば、コンピューティングデバイス２０６またはコンピューティングサーバ２０８上に実装される）類似性エンジンを実行すると、第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算する。６１６において、制御回路網３０４は、比較エンジンを実行すると、その数を類似性閾値と比較する。制御回路網３０４が、その数が類似性閾値より低いと決定した場合、２つの視覚アイテム間に競合は存在せず、プロセスは、図４に説明されるように、６１８において、各オブジェクト識別子に関して独立して進行し得る。制御回路網３０４が、共有されるデータ構造の数が、類似性閾値以上であると決定した場合、競合のリスクが、存在し、１つのみの補完的コンテンツを表示することが、好ましい。類似性閾値は、例えば、第１の候補オブジェクト識別子および第２の候補オブジェクト識別子の最低発生数（つまり、第１の候補オブジェクトが出現するか、または第２の候補オブジェクトが出現する視野の最低数）の半分であり得る。共有されるデータ構造の数が閾値以上であることを決定することに応答して、６２０において、制御回路網３０４は、比較エンジンを実行すると、第１のオブジェクト識別子の重要度スコアと第２のオブジェクト識別子の重要度スコアとを比較する。６２２において、制御回路網３０４は、（例えば、コンピューティングデバイス２０６またはコンピューティングサーバ２０８上に実装される）選択エンジンを実行すると、２つのもののうちのより高い重要度スコアを伴うオブジェクト識別子を選択し、６２４において、プロセスは、図４に説明されるように、その選択された候補オブジェクト識別子を用いて進行する。他の候補オブジェクト識別子は、破棄され得る。
【0063】
図７ａ、７ｂ、８ａ、８ｂは、前述に述べられた異なる状況を例証することを狙いとしている。図７ａでは、視野７０２は、視覚アイテム７０４（特徴：飛行機）と、７０６（特徴：エッフェル塔）とを含む。図７ｂでは、視野７０８は、同じ視覚アイテム７０４および７０６を含む。２つの視覚アイテムに関連付けられた各オブジェクト識別子に関する発生数ＯｃｃＮｕｍは、２である。略図１１６によって表される２つの視野の視野座標は、同じである。したがって、視野変化率ＶｉＣｈは、ゼロであるか、または、ゼロに近接する（ごくわずかな移動を考慮するために）。視覚アイテム７０６は、視野７０２と視野７０８との間の同じ位置に留まり、したがって、視覚アイテム７０６（エッフェル塔）に関連付けられたオブジェクト移動率ＯｂＭｏｖは、ゼロであるか、または、ゼロに近接し、視覚アイテム７０４（飛行機）に関連付けられたオブジェクト移動率ＯｂＭｏｖは、ゼロではない。図７ａおよび７ｂは、ユーザがＸＲ環境内で静止しており、ＸＲ環境内を移動する視覚アイテムが存在する状況を図示する。典型的に、視覚アイテム７０４に関連付けられたオブジェクト識別子の重要度スコアは、ＯｂＭｏｖの値により、視覚アイテム７０６のそれより高くあり得る。逆に、特徴「エッフェル塔」が、高値を有し得ることを前提として、視覚アイテム７０６に関連付けられたオブジェクト識別子の重要度スコアは、視覚アイテム７０４のそれより高くあり得る。
【0064】
図８ａでは、視野８０２は、視覚アイテム８０４（特徴：飛行機）と、８０６（特徴：エッフェル塔）とを含む。図８ｂでは、視野８０８は、同じ視覚アイテム８０４と、新しい視覚アイテム８１０（特徴：ビッグベン）とを含む。３つの視覚アイテムに関連付けられた各オブジェクト識別子に関する発生数ＯｃｃＮｕｍは、それぞれ、２（視覚アイテム８０４）、１（視覚アイテム８０６）、および１（視覚アイテム８１０）である。２つの視野の視野座標１１６は、今回は同じではない。したがって、視野変化率ＶｉＣｈは、ゼロではない。しかしながら、視覚アイテム８０４は、視野８０２と視野８０８との間（視野の中心における）の同じ位置に留まり、したがって、視覚アイテム８０６に関連付けられたオブジェクト移動率ＯｂＭｏｖは、ゼロであるか、または、ゼロに近接する（再び、ごくわずかな移動を考慮するために）。図８ａおよび８ｂは、ユーザがＸＲ環境における視覚アイテム８０４に能動的に追従している状況を図示する。視覚アイテム７０６および７１０に関連するオブジェクトに関する発生数ＯｃｃＮｕｍが、１に等しいので、それは、発生閾値ＯｃｃＴｈｒ（例えば、２）を上回らないと考えられ得る。したがって、そのオブジェクトは、着目オブジェクトと見なされることはできない。逆に、視覚アイテム８０４に関連するオブジェクトのための発生数ＯｃｃＮｕｍが、閾値を上回るので、アイテム８０４は、候補オブジェクト識別子に関連付けられている。
【0065】
図９ａ、９ｂは、補完的コンテンツを表示するための異なる実施形態を図示する。例えば、補完的コンテンツ９０２は、視野９０４、９０６において、視覚アイテム９０８に追従し得る（略図１１６は、視野９０４、９０６に関して異なる視野座標を図示する）。例えば、補完的コンテンツ９１０は、視野９０４の空エリア内に位置し得る。例えば、補完的コンテンツ９１２は、視覚アイテム９１４（透明度の有無にかかわらず）の上に置かれ得るか、または、底部または角等の任意の視野内の固定場所に存在し得る。
【0066】
図１０は、補完的コンテンツが表示されるように要請されるべき、補完的コンテンツプロバイダを決定するための競争入札（またはオークション）を図示する。制御回路網３０４が、１００２において、オブジェクト識別子に関する重要度スコアを計算し、重要度スコアが重要度閾値を上回ることを決定した後、制御回路網３０４は、１００４において、例えば、それぞれの補完的コンテンツプロバイダサーバ２１０への通知の発出によって、複数の補完的コンテンツプロバイダ（例えば、コンテンツプロバイダ１、コンテンツプロバイダ２、コンテンツプロバイダ３）に通知する。通知は、補完的コンテンツプロバイダが通知に対して応答すべきかどうかを決定し得るように、オブジェクト５１４、特に、オブジェクト特徴５１８のデータ全てを含み得る。通知は、オブジェクト識別子の重要度スコアも含み得る。１００６において、制御回路網３０４は、それぞれの補完的コンテンツプロバイダサーバからのそれぞれの要求の受信により、異なる補完的コンテンツプロバイダからオファーを受信する。オファーは、補完的コンテンツ（「ＸＸ航空会社で空の旅をしましょう」、「ＹＹ航空会社で空の旅をしましょう」等）と、技術仕様（データのサイズ、ディスプレイのサイズ、表示の持続時間等）と、財務的側面とを含み得る。１００８において、制御回路網３０４は、最良のオファーを選択する。最良のオファーは、オファーの任意の要素および他の基準、すなわち、補完的コンテンツの（データの観点からの）サイズ、補完的コンテンツの（ディスプレイの観点からの）サイズ、表示の持続時間、（ＸＲ環境に応じた）表示ポリシへの準拠、財務的補償等に基づいて決定され得る。１０１０において、制御回路網は、選択された補完的コンテンツ１２１２が表示されるようにする。
【0067】
上で議論されるプロセスは、例証的であり、限定的であることを意図していない。当業者は、本明細書に議論されるプロセスのステップが、省略、修正、組み合わせ、および／または再配列され得ること、および任意の追加のステップが、本発明の範囲から逸脱することなく実施され得ることを理解するであろう。より一般的に、上記の開示は、例示的であり、限定的ではないことを意図する。後に続く請求項のみが、本発明が含むものに関するものに関する境界を設定することを意図する。さらに、任意の一実施形態内に説明される特徴および限界が、本明細書における任意の他の実施形態にも適用され得ること、および一実施形態に関連するフローチャートまたは例が、異なる順序で行われる、または並行して行われる、好適な様式において、任意の他の実施形態組み合わせられ得ることにも留意されたい。加えて、本明細書に説明されるシステムおよび方法は、リアルタイムで実施され得る。また、上記に説明されるシステムおよび／または方法が、他のシステムおよび／または方法に適用される、またはそれに従って使用され得ることにも留意されたい。
本明細書は、限定ではないが、以下を含む、実施形態を開示する。
１．エクステンデッドリアリティ環境において補完的コンテンツを提示する方法であって、方法は、
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を含む、方法。
２．データストリームを発生させることは、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることであって、異なるそれぞれの視野内に出現する同じ視覚アイテムは、同じオブジェクト識別子に割り当てられる、ことと
を含む、項目１に記載の方法。
３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目１に記載の方法。
４．重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目１に記載の方法。
５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
方法は、
候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算することをさらに含み、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目１に記載の方法。
６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目５に記載の方法。
７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさらに基づく、項目１に記載の方法。
８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
方法は、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
をさらに含む、項目１に記載の方法。
９．補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することであって、補完的コンテンツは、競争入札の勝者によって提供される、ことと
をさらに含む、項目１に記載の方法。
１０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目１に記載の方法。
１１．エクステンデッドリアリティ環境において補完的コンテンツを提示するためのシステムであって、システムは、制御回路網を備え、制御回路網は、
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と、
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を実施するように構成されている、システム。
１２．データストリームを発生させるように構成された制御回路網は、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることと
を実施するように構成され、
異なるそれぞれの視野内に出現する同じ視覚アイテムは、同じオブジェクト識別子に割り当てられる、項目１１に記載のシステム。
１３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目１１に記載のシステム。
１４．重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目１１に記載のシステム。
１５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
制御回路網は、候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算するようにさらに構成され、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目１１に記載のシステム。
１６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目１５に記載のシステム。
１７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさら基づく、項目１１に記載のシステム。
１８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
制御回路網は、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を行うようにさらに構成されている、項目１１に記載のシステム。
１９．制御回路網は、
補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することであって、補完的コンテンツは、競争入札の勝者によって提供される、ことと
を実施するようにさらに構成されている、項目１１に記載のシステム。
２０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目１１に記載のシステム。
２１．その上にエンコードされた命令を有する非一過性コンピュータ読み取り可能な媒体であって、命令、制御回路網によって実行されると、
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと、
を制御回路網に実施させる、非一過性コンピュータ読み取り可能な媒体。
２２．データストリームを発生させることは、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることであって、異なるそれぞれの視野内に出現する同じ視覚アイテムは、同じオブジェクト識別子に割り当てられる、ことと
を含む、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２４．重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
命令は、
候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算することを制御回路網に行わせるようにさらに構成され、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目２５に記載の非一過性コンピュータ読み取り可能な媒体。
２７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさらに基づく、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
命令は、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
制御回路網に行わせるようにさらに構成されている、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２９．命令は、
補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することと
を制御回路網にさらに実施させるように構成され、
補完的コンテンツは、競争入札の勝者によって提供される、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
３０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
３１．エクステンデッドリアリティ環境において補完的コンテンツを提示するためのシステムであって、システムは、
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と、
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を行う手段を備えている、システム。
３２．データストリームを発生させるための手段は、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることであって、異なるそれぞれの視野内に出現する同じ視覚アイテムが、同じオブジェクト識別子に割り当てられる、ことと
行う手段を備えている、項目３１に記載のシステム。
３３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目３１－３２のいずれかに記載のシステム。
３４． 重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目３１－３３のいずれかに記載のシステム。
３５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
システムは、
候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算する手段をさらに備え、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目３１－３４のいずれかに記載のシステム。
３６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目３５に記載のシステム。
３７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさらに基づく、項目３１－３６のいずれかに記載のシステム。
３８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
システムは、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を行う手段をさらに備えている、項目３１－３７のいずれかに記載のシステム。
３９．補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することであって、補完的コンテンツは、競争入札の勝者によって提供される、ことと
を行う手段をさらに備えている、項目３１－３８のいずれかに記載のシステム。
４０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目３１－３９のいずれかに記載のシステム。
４１．命令を備えているコンピュータプログラムであって、命令は、コンピュータによって実行されると
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と、
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
をコンピュータに行わせる、コンピュータプログラム。
４２．データストリームを発生させることは、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることと
を含み、
異なるそれぞれの視野内に出現する同じ視覚アイテムは、同じオブジェクト識別子に割り当てられる、項目４１に記載のコンピュータプログラム。
４３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目４１－４２のいずれかに記載のコンピュータプログラム。
４４．重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目４１－４３のいずれかに記載のコンピュータプログラム。
４５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
命令は、
候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算することをコンピュータにさらに行わせ、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目４１－４４のいずれかに記載のコンピュータプログラム。
４６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目４５に記載のコンピュータプログラム。
４７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさらに基づく、項目４１－４６のいずれかに記載のコンピュータプログラム。
４８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
命令は、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
をコンピュータにさらに行わせる、項目４１－４７のいずれかに記載のコンピュータプログラム。
４９．命令をさらに含み、
命令は、補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することと
をコンピュータに行わせ、
補完的コンテンツは、競争入札の勝者によって提供される、項目４１－４８のいずれかに記載のコンピュータプログラム。
５０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目４１－４９のいずれかに記載のコンピュータプログラム。
本明細書は、限定ではないが、以下を含む、実施形態を開示する。
１．エクステンデッドリアリティ環境において補完的コンテンツを提示する方法であって、方法は、
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を含む、方法。
２．データストリームを発生させることは、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることであって、異なるそれぞれの視野内に出現する同じ視覚アイテムは、同じオブジェクト識別子に割り当てられる、ことと
を含む、項目１に記載の方法。
３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目１に記載の方法。
４．重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目１に記載の方法。
５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
方法は、
候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算することをさらに含み、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目１に記載の方法。
６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目５に記載の方法。
７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさらに基づく、項目１に記載の方法。
８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
方法は、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
をさらに含む、項目１に記載の方法。
９．補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することであって、補完的コンテンツは、競争入札の勝者によって提供される、ことと
をさらに含む、項目１に記載の方法。
１０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目１に記載の方法。
１１．エクステンデッドリアリティ環境において補完的コンテンツを提示するためのシステムであって、システムは、制御回路網を備え、制御回路網は、
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と、
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を実施するように構成されている、システム。
１２．データストリームを発生させるように構成された制御回路網は、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることと
を実施するように構成され、
異なるそれぞれの視野内に出現する同じ視覚アイテムは、同じオブジェクト識別子に割り当てられる、項目１１に記載のシステム。
１３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目１１に記載のシステム。
１４．重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目１１に記載のシステム。
１５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
制御回路網は、候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算するようにさらに構成され、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目１１に記載のシステム。
１６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目１５に記載のシステム。
１７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさら基づく、項目１１に記載のシステム。
１８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
制御回路網は、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を行うようにさらに構成されている、項目１１に記載のシステム。
１９．制御回路網は、
補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することであって、補完的コンテンツは、競争入札の勝者によって提供される、ことと
を実施するようにさらに構成されている、項目１１に記載のシステム。
２０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目１１に記載のシステム。
２１．その上にエンコードされた命令を有する非一過性コンピュータ読み取り可能な媒体であって、命令、制御回路網によって実行されると、
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと、
を制御回路網に実施させる、非一過性コンピュータ読み取り可能な媒体。
２２．データストリームを発生させることは、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることであって、異なるそれぞれの視野内に出現する同じ視覚アイテムは、同じオブジェクト識別子に割り当てられる、ことと
を含む、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２４．重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
命令は、
候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算することを制御回路網に行わせるようにさらに構成され、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目２５に記載の非一過性コンピュータ読み取り可能な媒体。
２７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさらに基づく、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
命令は、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
制御回路網に行わせるようにさらに構成されている、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
２９．命令は、
補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することと
を制御回路網にさらに実施させるように構成され、
補完的コンテンツは、競争入札の勝者によって提供される、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
３０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目２１に記載の非一過性コンピュータ読み取り可能な媒体。
３１．エクステンデッドリアリティ環境において補完的コンテンツを提示するためのシステムであって、システムは、
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と、
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を行う手段を備えている、システム。
３２．データストリームを発生させるための手段は、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることであって、異なるそれぞれの視野内に出現する同じ視覚アイテムが、同じオブジェクト識別子に割り当てられる、ことと
行う手段を備えている、項目３１に記載のシステム。
３３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目３１－３２のいずれかに記載のシステム。
３４． 重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目３１－３３のいずれかに記載のシステム。
３５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
システムは、
候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算する手段をさらに備え、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目３１－３４のいずれかに記載のシステム。
３６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目３５に記載のシステム。
３７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさらに基づく、項目３１－３６のいずれかに記載のシステム。
３８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
システムは、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
を行う手段をさらに備えている、項目３１－３７のいずれかに記載のシステム。
３９．補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することであって、補完的コンテンツは、競争入札の勝者によって提供される、ことと
を行う手段をさらに備えている、項目３１－３８のいずれかに記載のシステム。
４０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目３１－３９のいずれかに記載のシステム。
４１．命令を備えているコンピュータプログラムであって、命令は、コンピュータによって実行されると
デバイスによって、エクステンデッドリアリティ環境の複数の視野を受信することであって、複数の視野のうちの各視野は、異なる時間位置において捕捉されている、ことと、
複数の視野を表すデータストリームを発生させることであって、データストリームは、視野の各々に関するそれぞれのデータ構造を備え、各それぞれのデータ構造は、
複数の視野のうちのそれぞれの視野内に出現する視覚アイテムに対応する少なくとも１つのオブジェクト識別子と、
エクステンデッドリアリティ環境におけるそれぞれの視野の位置を表す視野座標と、
を備えている、ことと、
候補オブジェクト識別子と呼ばれる同じオブジェクト識別子が出現するデータストリーム内のデータ構造の数を計算することと、
候補オブジェクト識別子が出現するデータ構造に関する視野座標の相違の尺度を計算することと、
（ａ）候補オブジェクト識別子が出現するデータストリーム内のデータ構造の計算された数、および、（ｂ）候補オブジェクト識別子が出現するデータ構造に関する座標の相違の計算された尺度に基づいて、候補オブジェクト識別子に関する重要度スコアを計算することと、
重要度閾値を超過する重要度スコアに応答して、エクステンデッドリアリティ環境において、候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
をコンピュータに行わせる、コンピュータプログラム。
４２．データストリームを発生させることは、
それぞれの視野内の視覚アイテムを識別することと、
オブジェクト識別子を識別された視覚アイテムに割り当てることと
を含み、
異なるそれぞれの視野内に出現する同じ視覚アイテムは、同じオブジェクト識別子に割り当てられる、項目４１に記載のコンピュータプログラム。
４３．重要度スコアは、発生閾値より高い候補オブジェクト識別子が出現するデータストリーム内のデータ構造の数に基づく、項目４１－４２のいずれかに記載のコンピュータプログラム。
４４．重要度スコア尺度は、視野座標の相違の尺度と正に相関する、項目４１－４３のいずれかに記載のコンピュータプログラム。
４５．データストリームの各それぞれのデータ構造は、視野内の視覚アイテムの位置を表すオブジェクト座標をさらに備え、視覚アイテムは、オブジェクト識別子に対応し、
命令は、
候補オブジェクト識別子が出現するデータ構造に関するオブジェクト座標の相違の尺度を計算することをコンピュータにさらに行わせ、
重要度スコアは、オブジェクト座標の相違の計算された尺度にさらに基づく、項目４１－４４のいずれかに記載のコンピュータプログラム。
４６．視野座標の相違の尺度とオブジェクト座標の相違の尺度とに基づく重要度スコアは、視野座標の相違のより高い尺度とオブジェクト座標の相違のより低い尺度とに基づく重要度スコアより低い、項目４５に記載のコンピュータプログラム。
４７．データストリームは、各データ構造に関して、
視覚アイテムの特徴を表すオブジェクト特徴をさらに備え、
重要度スコアは、オブジェクト特徴にさらに基づく、項目４１－４６のいずれかに記載のコンピュータプログラム。
４８．候補オブジェクト識別子は、第１の候補オブジェクト識別子であり、第１の候補オブジェクト識別子は、第１の複数のデータ構造内に出現し、
重要度スコアが、第２の複数のデータ構造内に出現する第２の候補オブジェクト識別子のために計算されており、第２の候補オブジェクト識別子の重要度スコアは、重要度閾値を超過し、
命令は、
第１の複数のものと第２の複数のものとの間の共有されるデータ構造の数を計算することと、
数が類似性閾値より高いことを決定することに応答して、２つのうちのより高い重要度スコアを有する候補オブジェクト識別子を選択することと、
エクステンデッドリアリティ環境において、選択された候補オブジェクト識別子に対応する視覚アイテムに関連する補完的コンテンツを表示するための命令を発生させることと
をコンピュータにさらに行わせる、項目４１－４７のいずれかに記載のコンピュータプログラム。
４９．命令をさらに含み、
命令は、補完的コンテンツに関して複数の潜在的コンテンツプロバイダに通知することと、
複数のコンテンツプロバイダ間の競争入札を立ち上げることと、
競争入札に対する勝者を決定することと
をコンピュータに行わせ、
補完的コンテンツは、競争入札の勝者によって提供される、項目４１－４８のいずれかに記載のコンピュータプログラム。
５０．データストリームは、各データ構造に関して、
オブジェクトに関連付けられたオブジェクトメタデータをさらに備え、
オブジェクトに関連するコンテンツを読み出すことは、オブジェクトメタデータに関連付けられたコンテンツを読み出すことを含む、項目４１－４９のいずれかに記載のコンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7a】
【図7b】
【図8a】
【図8b】
【図9】
【図10】
【国際調査報告】