特許 7054545 デジタルリアリティ内でのインタラクションレベルに基づく遠隔測定および追跡のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-06

(45)【発行日】2022-04-14

(54)【発明の名称】デジタルリアリティ内でのインタラクションレベルに基づく遠隔測定および追跡のためのシステムおよび方法

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20220407BHJP

【ＦＩ】

G06Q30/02 300

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2020138031

(22)【出願日】2020-08-18

(65)【公開番号】P2021036424

(43)【公開日】2021-03-04

【審査請求日】2020-11-26

(31)【優先権主張番号】16/545,914

(32)【優先日】2019-08-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519186347

【氏名又は名称】ザ カラニー ホールディング エスエーアールエル

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】セヴァト，イエルリ

【審査官】大野 朋也

(56)【参考文献】

【文献】特表２０１５－５０３１４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００９３１８６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２６７５９８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０１７２５７０（ＵＳ，Ａ１）

【文献】国際公開第２０１５／０３０２６４（ＷＯ，Ａ１）

【文献】特開２０１９－１０６１９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

１つ以上のサーバコンピュータを備えたサーバコンピュータシステムであって、
１つ以上のホログラフィックアプリケーションを提供するパブリックデジタルゾーンの境界を定め、
デジタルリアリティ装置のインタラクションデータおよび遠隔測定メタデータを追跡および取得し、
前記パブリックデジタルゾーンにアクセスしているデジタルリアリティ装置を検出して前記１つ以上のホログラフィックアプリケーションのデジタルコンテンツとのユーザインタラクションの追跡を開始し、
前記デジタルコンテンツを取り出してレンダリングすると共に前記デジタルコンテンツを前記デジタルリアリティ装置に送信し、かつ
前記デジタルリアリティ装置を介してユーザの入力データを受信すると共に、前記１つ以上のホログラフィックアプリケーションを更新するために前記入力データを前記１つ以上のホログラフィックアプリケーションに送信する
ようにプログラムされているサーバコンピュータシステムを含む、インタラクション遠隔測定および追跡システム。

【請求項2】

前記サーバコンピュータシステムは少なくとも第１のクラウドサーバおよび第２のクラウドサーバを備え、
前記第１のクラウドサーバは、前記パブリックデジタルゾーンの境界を定める工程、前記パブリックデジタルゾーンにアクセスしているデジタルリアリティ装置を検出する工程、前記第２のクラウドサーバに前記ユーザインタラクションの追跡を開始するように信号を送る工程、前記デジタルコンテンツを取り出してレンダリングする工程、前記デジタルコンテンツを前記デジタルリアリティ装置に送信する工程、前記デジタルリアリティ装置を介して前記入力データを受信する工程、および前記入力データを前記１つ以上のホログラフィックアプリケーションに送信する工程を行うようにプログラムされており、かつ
前記第２のクラウドサーバは、前記デジタルリアリティ装置のインタラクションデータおよび遠隔測定メタデータを追跡および取得する工程を行うようにプログラムされている、
請求項１に記載のシステム。

【請求項3】

前記第１のクラウドサーバは別のパブリックデジタルゾーンのクラウドサーバにネットワークを介して通信接続されているため、前記デジタルリアリティ装置が別のパブリックデジタルゾーンに移動した場合、前記第２のクラウドサーバは前記第１のクラウドサーバによってユーザインタラクションの追跡を続けるように促される、請求項２に記載のシステム。

【請求項4】

前記第２のクラウドサーバは、前記別のパブリックデジタルゾーン内の対応するクラウドサーバに前記パブリックデジタルゾーンにおいて前記１つ以上のホログラフィックアプリケーションから前記デジタルコンテンツを取り出すように指示するようにさらにプログラムされている、請求項３に記載のシステム。

【請求項5】

前記第２のクラウドサーバは、前記インタラクションデータおよび遠隔測定メタデータに基づいて前記デジタルリアリティ装置の全てのインタラクションを記憶してその分析を実施するようにさらに構成されている、請求項２に記載のシステム。

【請求項6】

前記インタラクションの分析は、デジタルメディアバイイングモデル、市場調査またはビジネス分析あるいはそれらの組み合わせを支援するために行う、請求項５に記載のシステム。

【請求項7】

前記インタラクションデータおよびメタデータは、ブロックチェーンまたは分散型台帳に基づくデータベースの形態のストレージを支配し、かつそこへのインタフェースとして機能するスマートコントラクトの使用により記録される、請求項６に記載のシステム。

【請求項8】

前記パブリックデジタルゾーンは拡張現実ゾーンまたは仮想現実ゾーンを含む、請求項１に記載のシステム。

【請求項9】

前記サーバコンピュータシステムは、前記デジタルリアリティ装置の拡張現実ゾーン間での切り替え、仮想現実ゾーン間での切り替え、拡張現実ゾーンから仮想現実ゾーンへの切り替えまたは仮想現実ゾーンから拡張現実ゾーンへの切り替えなどのパブリックデジタルゾーン間での切り替えを可能にするようにさらにプログラムされている、請求項１に記載のシステム。

【請求項10】

第１のクラウドサーバによって、ネットワークに接続されたデジタルリアリティ装置が前記第１のクラウドサーバに記憶されているホログラフィックアプリケーションに関連づけられたパブリックデジタルゾーンにアクセスしていることを検出する工程と、
前記第１のクラウドサーバによって、第２のクラウドサーバに前記ホログラフィックアプリケーションのデジタルコンテンツとの前記デジタルリアリティ装置を介したインタラクションの追跡を開始するように信号を送る工程と、
前記第１のクラウドサーバによって、前記ホログラフィックアプリケーションからコンテンツを取り出してレンダリングすると共に前記デジタルコンテンツを前記デジタルリアリティ装置に送信する工程と、
前記第１のクラウドサーバによって前記デジタルリアリティ装置を介してユーザ入力を受信すると共に、前記ホログラフィックアプリケーションを更新するために前記入力を前記ホログラフィックアプリケーションに送信する工程と
を含む、インタラクション遠隔測定および追跡を可能にする方法。

【請求項11】

前記デジタルリアリティ装置が別のパブリックゾーンに移動した場合に、前記第１のクラウドサーバによって、前記第２のクラウドサーバに前記別のパブリックゾーンにおけるインタラクションの追跡を続けるように信号を送る工程をさらに含む、請求項１０に記載の方法。

【請求項12】

前記第２のクラウドサーバによって、別のパブリックデジタルゾーン内の対応するクラウドサーバに前記第１のパブリックデジタルゾーンにおいて前記第１のクラウドサーバに記憶されている前記ホログラフィックアプリケーションからデジタルコンテンツを取り出すように指示する工程と、
前記別のパブリックデジタルゾーン内の前記対応するクラウドサーバによって前記デジタルコンテンツを前記デジタルリアリティ装置に提供する工程と
をさらに含む、請求項１０に記載の方法。

【請求項13】

前記第１のクラウドサーバは、前記デジタルリアリティ装置が
複数のレベルのインタラクションを行い、かつ
前記第１のクラウドサーバからユーザへの可能な出力を取り出す
ことを可能にする、請求項１０に記載の方法。

【請求項14】

前記複数のレベルのインタラクションは、
パブリックデジタルゾーンにおいて第１のサーバによって提供されるホログラフィックアプリケーションからのデジタルコンテンツを見ること、
前記ホログラフィックアプリケーションからの前記デジタルコンテンツに目を向けること、
前記ホログラフィックアプリケーションからの前記デジタルコンテンツをクリックすること、
前記ホログラフィックアプリケーションからの前記デジタルコンテンツに関わること、および
前記ホログラフィックアプリケーションからの前記デジタルコンテンツに没頭すること
を含む、請求項１３に記載の方法。

【請求項15】

前記ユーザへの可能な出力は、前記ホログラフィックアプリケーションから出ること、１つ以上の商業的もしくは社会的取引を行うこと、および別のホログラフィックアプリケーションにアクセスすることを含む、請求項１３に記載の方法。

【請求項16】

１つ以上の取引を行うという選択または別のホログラフィックアプリケーションにアクセスするという選択に応答して、本方法は、
最初もしくは別のアプリケーションに戻るのを可能にする工程、
ユーザの前記最初もしくは別のアプリケーションとの関わりの間に、前記ホログラフィックアプリケーションまたは別のホログラフィックアプリケーションからのデジタルコンテンツへの没入体験を提供する工程、および
前記ホログラフィックアプリケーションまたは前記別のホログラフィックアプリケーションに関連する可能な出力を生成する工程
を行うことにより継続する、請求項１５に記載の方法。

【請求項17】

別のホログラフィックアプリケーションにアクセスすることは、現在のパブリックデジタルゾーンまたは別のパブリックデジタルゾーン内に位置するホログラフィックアプリケーションにアクセスすることを含む、請求項１５に記載の方法。

【請求項18】

前記第１のクラウドサーバは、前記デジタルリアリティ装置の拡張現実ゾーン間での切り替え、仮想現実ゾーン間での切り替え、拡張現実ゾーンから仮想現実ゾーンへの切り替え、および仮想現実ゾーンから拡張現実ゾーンへの切り替えによりパブリックデジタルゾーン間での切り替えを可能にする、請求項１０に記載の方法。

【請求項19】

前記デジタルリアリティ装置から取得および追跡されたインタラクションデータおよびメタデータを記憶する工程と、
デジタルリアリティメディアバイイングモデル、市場調査またはビジネス分析あるいはそれらの組み合わせを支援するために前記記憶されているインタラクションデータおよびメタデータを分析する工程と
をさらに含む、請求項１０に記載の方法。

【請求項20】

メモリおよび少なくとも１つのプロセッサを備えたサーバコンピュータシステムに、
第１のクラウドサーバによって、ネットワークに接続されたデジタルリアリティ装置が第１のクラウドサーバに記憶されているホログラフィックアプリケーションに関連づけられたパブリックデジタルゾーンにアクセスしていることを検出する工程と、
前記第１のクラウドサーバによって、第２のクラウドサーバに前記ホログラフィックアプリケーションのデジタルコンテンツとの前記デジタルリアリティ装置を介したユーザインタラクションの追跡を開始するように信号を送る工程と、
前記第１のクラウドサーバによって、前記ホログラフィックアプリケーションからコンテンツを取り出してレンダリングすると共に前記デジタルコンテンツを前記デジタルリアリティ装置に送信する工程と、
前記第１のクラウドサーバによって前記デジタルリアリティ装置を介してユーザ入力を受信すると共に、前記ホログラフィックアプリケーションを更新するために前記入力を前記ホログラフィックアプリケーションに送信する工程と
を含むインタラクション遠隔測定および追跡を可能にする方法を行わせるように構成された命令をその上に記憶している、１つ以上の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【背景技術】

【0001】

オンライン広告は広告主にとって、パブリッシャーのウェブサイトで自身の製品を販売促進するための好ましい方法のうちに１つになっている。広告主およびパブリッシャーは、特に定額支払い、インプレッション課金（ＣＰＭ）、クリック課金（ＣＰＣ）、エンゲージメント課金（ＣＰＥ）、視聴課金（ＣＰＶ）、インストール課金（ＣＰＩ）、顧客獲得単価（ＣＰＡ）および成果報酬型（ＰＰＰ）などの様々なメディアバイイングモデルを使用する。典型的には、パブリッシャーによるこれらのインタラクションの測定は、ユーザがパブリッシャーのウェブサイトを離れると停止する。故にパブリッシャーのウェブサイトの外で行われるインタラクションはその大部分がパブリッシャーには知られず、ユーザがパブリッシャーのそのウェブサイトを離れる前に行われたインタラクションのみを含めるように広告支払い戦略を制限する。

【0002】

ユーザにデジタルコンテンツを提供するための技術開発は最近では、ユーザが過去には可能でなかった方法でコンテンツとインタラクトするのを可能にしている。特に拡張現実（ＡＲ）、仮想現実（ＶＲ）および複合現実（ＭＲ）はユーザが何を見て聞いて感じているか、および実世界がどれだけこれらの体験の中に入り込んでいるかに関してユーザの知覚を変化させ、ユーザに実世界または想像世界の中の場所に物理的に存在しているという感覚を与える。特に新しい技術を用いた全てのインタラクションは従来の方法の「平坦な世界」すなわち２Ｄ世界ではなく３次元世界で行われるので、これらの新しいデジタルコンテンツ提供技術は従来の方法とは大きく異なる。広告主はこれらの３次元世界にデジタルコンテンツを配置して、コンテンツとのユーザインタラクションを駆り立てることができる。

【0003】

新しい形態のインタラクションは、これらのより進歩した種類のデジタルコンテンツにより可能になり、それらは追跡、測定および分析される可能性がある。従って必要とされているものは、最終的に新規なデジタルメディア収益化戦略を支持するためのデジタルリアリティ内でのインタラクションの連続的な遠隔測定および追跡を可能にするシステムおよび方法である。

【発明の概要】

【0004】

本概要は、発明を実施するための形態において以下にさらに説明されている単純化された形態での選択された概念を紹介するために提供されている。本概要は特許請求されている主題の重要な特徴を特定するためのものでもなければ、特許請求されている主題の範囲を決定するのを助けるものとして使用されるものでもない。

【0005】

本開示は一般にコンピュータシステムに関し、より具体的にはデジタルリアリティ内でのインタラクションレベルに基づく遠隔測定および追跡のためのシステムおよび方法に関する。

【0006】

背景技術に記載されている欠点は、ユーザとデジタルコンテンツとのインタラクションの連続的な（または時折のネットワーク遅延時間問題またはサービス中断を考慮した実質的に連続的な）遠隔測定および追跡のためのシステムおよび方法により本開示によって対処される。記載されている実施形態では、各インタラクションに対して遠隔測定および追跡を行い、最も低レベルのインタラクション（例えば、見ることまたは目を向けること）から最も高レベルのインタラクション（例えば没頭すること）の遠隔測定データを追跡および取得する。次いでこのデータをさらなる分析のために使用することができる。インタラクションの連続的な遠隔測定および追跡は、パブリッシャーおよび広告主のデジタルプラットフォームを統合するシステムアーキテクチャによって可能になる。本システムおよび方法は現在の技術よりも複雑なレベルのインタラクションの追跡まで拡張したものである。さらに本システムおよび方法は、ユーザとデジタルコンテンツとの最大可能なインタラクションの連続的な追跡から導出することができるデジタル取引を支援する。

【0007】

一実施形態によれば、インタラクション遠隔測定および追跡システムは、１つ以上のサーバコンピュータを備えたサーバコンピュータシステムを含み、サーバコンピュータシステムは、ユーザが１つ以上のホログラフィックアプリケーションからデジタルコンテンツを取得することができるパブリックデジタルゾーンの境界を定め、デジタルリアリティ装置を介して１つ以上のホログラフィックアプリケーションを提供し、デジタルリアリティ装置のインタラクションデータおよび遠隔測定メタデータを連続的に追跡および取得し、パブリックデジタルゾーンにアクセスしているデジタルリアリティ装置を検出して１つ以上のホログラフィックアプリケーションのデジタルコンテンツとのユーザインタラクションの追跡を開始し、デジタルコンテンツを取り出してレンダリングすると共にデジタルコンテンツをデジタルリアリティ装置に送信し、デジタルリアリティ装置を介してユーザ入力を受信すると共に、１つ以上のホログラフィックアプリケーションを更新するために当該入力データを当該アプリケーションに送信するようにプログラムされている。

【0008】

サーバコンピュータシステムは、少なくとも第１のクラウドサーバおよび第２のクラウドサーバを備えていてもよい。一実施形態では、第１のクラウドサーバは、パブリックデジタルゾーンの境界を定める工程、パブリックデジタルゾーンにアクセスしているデジタルリアリティ装置を検出する工程、第２のクラウドサーバにユーザインタラクションの追跡を開始するように信号を送る工程、デジタルコンテンツを取り出してレンダリングする工程、デジタルコンテンツをデジタルリアリティ装置に送信する工程、デジタルリアリティ装置を介してユーザ入力を受信する工程、および入力データを１つ以上のホログラフィックアプリケーションに送信する工程を行うようにプログラムされており、かつ第２のクラウドサーバは、デジタルリアリティ装置のインタラクションデータおよび遠隔測定メタデータを追跡および取得する工程を行うようにプログラムされている。

【0009】

一実施形態では、ユーザがパブリックデジタルゾーンに入った場合に、第１のクラウドサーバは第２のクラウドサーバにユーザと１つ以上のホログラフィックアプリケーションから取り出されたデジタルコンテンツとのインタラクションのそれぞれの遠隔測定メタデータの連続的な追跡および取得を開始するように促す。１人以上のユーザが別のパブリックデジタルゾーンに物理的または仮想的に移動した場合、ユーザはその別のパブリックデジタルゾーンに位置しているデジタルコンテンツを見てインタラクトすることができる。この目的のために、第１のクラウドサーバは別のパブリックデジタルゾーンのクラウドサーバにも接続されている。ユーザが別のパブリックデジタルゾーンからの別のホログラフィックアプリケーションに切り替えることを決めた場合、第２のクラウドサーバはその別のパブリックデジタルゾーンに位置している別のホログラフィックアプリケーションからのデジタルコンテンツとのユーザインタラクションも追跡し、かつ対応するクラウドサーバにホログラフィックアプリケーションのデジタルコンテンツをデジタルリアリティ装置を介してレンダリングし、ユーザに提供するように指示する。

【0010】

一実施形態によれば、現在のユーザインタラクションおよびユーザ嗜好に応じて、パブリック拡張現実（ＡＲ）ゾーンまたはパブリック仮想現実（ＶＲ）ゾーンとしてのパブリックデジタルゾーンにアクセスすることができる。ユーザは同じ種類のパブリックデジタルゾーンの間または異なる種類のゾーンの間で切り替えることができる。従ってサーバコンピュータシステムは、ユーザのデジタルリアリティ装置のＡＲゾーンから別のＡＲゾーン、ＡＲゾーンからＶＲゾーン、ＶＲゾーンからＡＲゾーンおよびＶＲゾーンから別のＶＲゾーンへの切り替えなどのパブリックデジタルゾーン間での切り替えを可能にするようにさらにプログラムされていてもよい。故にパブリックデジタルゾーン内の少なくとも１人のユーザに提供されるデジタルコンテンツの１つ以上の部分は、ＡＲもしくはＶＲデジタルコンテンツを含んでいてもよい。ユーザがＡＲデジタルコンテンツとしてのデジタルコンテンツを見る場合、ＡＲデジタルコンテンツは音、ビデオ、グラフィックスまたはＧＰＳデータなどのコンピュータによって生成された感知入力によって拡張された物理的な実世界環境要素を含む。実世界における追加情報または仮想物体をオーバーレイするなどの拡張技術は典型的に、リアルタイムで環境要素に関するセマンティックコンテキストにおいて行われる。ＡＲデジタルコンテンツにより、ユーザの周囲実世界に関する情報または実世界における仮想物体オーバーレイをインタラクティブかつデジタル操作可能になるようにすることができる。ユーザがＶＲデジタルコンテンツとしてのデジタルコンテンツを見る場合、ＶＲデジタルコンテンツは実世界をシミュレートしたものと置き換えるために使用される仮想要素を含んでいてもよい。

【0011】

一実施形態によれば、第１のクラウドサーバは、１つ以上のホログラフィックアプリケーションなどの１つ以上のソースからのデジタルコンテンツのレンダリングなどの重負荷アプリケーションを実行するのに十分な計算リソースを有するリモートサーバであってもよい。さらに第１のクラウドサーバは、１つにまとめられた単一のデータストリームを少なくとも１つのデジタルリアリティ装置に提供するように構成されていてもよい。

【0012】

いくつかの実施形態では、デジタルリアリティ装置は例えば、特にモバイルデバイス、パーソナルコンピュータ、ゲームコンソール、スマートコンタクトレンズ、メディアセンターおよびヘッドマウントディスプレイであってもよい。

【0013】

いくつかの実施形態では、１つ以上のホログラフィックアプリケーションによって提供されるデジタルコンテンツは、特に３Ｄ画像データ、３Ｄジオメトリ、３Ｄ実体、３Ｄ感知データ、３Ｄ動的オブジェクト、ビデオデータ、音声データ、テキストデータ、時間データ、位置データ、向きデータ、触覚データおよび照明データまたはそのようなコンテンツの組み合わせを含んでいてもよい。

【0014】

一実施形態によれば、インタラクション遠隔測定および追跡を可能にする方法は、第１のクラウドサーバによって、ネットワークに接続され、かつ第１のクラウドサーバに記憶されている１つ以上のホログラフィックアプリケーションに関連づけられたパブリックデジタルゾーンにアクセスしているデジタルリアリティ装置を検出する工程と、第１のクラウドサーバによって、第２のクラウドサーバに第１のクラウドサーバによりホストおよび提供されているホログラフィックアプリケーションのデジタルコンテンツとのデジタルリアリティ装置を介したユーザインタラクションの追跡を開始するように信号を送る工程と、第１のクラウドサーバによって、ホログラフィックアプリケーションからコンテンツを取り出してレンダリングすると共に当該コンテンツをデジタルリアリティ装置に送信する工程と、第１のクラウドサーバによってデジタルリアリティ装置を介してユーザ入力を受信すると共に、ホログラフィックアプリケーションを更新するために当該入力を当該アプリケーションに送信する工程とを含む。

【0015】

ユーザとデジタルコンテンツとのインタラクション中に、ユーザは別のパブリックデジタルゾーンに位置している別のホログラフィックアプリケーションに変更するためのオプションを有していてもよい。ユーザが同じパブリックデジタルゾーン内の同じホログラフィックアプリケーションまたは別のホログラフィックアプリケーションとインタラクトし続けることを決めた場合、本方法は、コンテンツを取り出してレンダリングすると共にそれぞれのコンテンツをデジタルリアリティ装置に送信する第１のクラウドサーバに戻ってもよい。しかし、ユーザが別のパブリックデジタルゾーンに位置している別のホログラフィックアプリケーションからのデジタルコンテンツとインタラクトすることを決めた場合、第２のクラウドサーバはそれぞれのクラウドサーバに、デジタルリアリティ装置を介してユーザにコンテンツを提供するために第１のクラウドサーバからデジタルコンテンツを取り出すように指示する。ユーザがパブリックデジタルゾーンに入るか別のパブリックデジタルゾーンに切り替えた後の本方法の全ての工程を通して、第２のクラウドサーバはユーザとデジタルコンテンツとの間で行われる最大可能な量のインタラクションを追跡する。前記追跡はデジタルリアリティ装置の地理位置情報追跡およびユーザインタラクションのメタデータ追跡を含んでもよい。

【0016】

一実施形態によれば、第１のクラウドサーバは、デジタルリアリティ装置が複数の可能なレベルのインタラクションのいずれかを行い、かつ第１のクラウドサーバからユーザへの可能な出力を取り出すのを可能にする。可能なレベルのインタラクションとしては、ユーザがホログラフィックアプリケーションからのデジタルコンテンツを見ること、ホログラフィックアプリケーションからのデジタルコンテンツに目を向けること、ホログラフィックアプリケーションからのデジタルコンテンツをクリックすること、ホログラフィックアプリケーションからのデジタルコンテンツに関わること、およびホログラフィックアプリケーションからのデジタルコンテンツに没頭することが挙げられる。インタラクションからの可能な出力としては、ホログラフィックアプリケーションから完全に出ること、取引を行うこと、または現在のパブリックデジタルゾーンの中または外のいずれかで別のホログラフィックアプリケーションにアクセスすることが挙げられる。

【0017】

一実施形態によれば、別のホログラフィックアプリケーションと取引するかそれにアクセスすることを選択した場合、本方法は、最初もしくは別のアプリケーションに戻るのを可能にする工程、最初もしくは別のアプリケーションとのユーザインタラクション中に最初もしくは別のホログラフィックアプリケーションからのデジタルコンテンツへの没入体験を提供し、かつ最初もしくは別のホログラフィックアプリケーションに関する可能な出力を生成する工程を行うことにより継続する。当該取引は商業的もしくは社会的取引を含んでもよい。

【0018】

取引を行った後に、ユーザはホログラフィックアプリケーションからのデジタルコンテンツとインタラクトし続け、かつホログラフィックアプリケーションから出るまで当該プロセスを継続してもよい。ユーザが別のホログラフィックアプリケーションにアクセスした場合、ユーザは最初のホログラフィックアプリケーションに戻ってもよく、あるいはそこから出ることを決めるまで別のホログラフィックアプリケーションとインタラクトし続けてもよい。

【0019】

一実施形態によれば、本方法は第２のクラウドサーバによって、デジタルメディアバイイングモデル、市場調査、ビジネス品質管理および他の目的を支援するためにデジタルリアリティ装置から取得および追跡されたインタラクションデータおよびメタデータからの全てのインタラクションを記憶および分析する工程をさらに含む。なおさらなる実施形態では、ストレージへの経路を支配してインタフェースを提供するスマートコントラクトの使用によりインタラクションデータおよびメタデータを記録する。そのような実施形態では、ストレージデータベースはブロックチェーンまたは分散型台帳に基づくデータベースの形態である。

【0020】

上記概要は本開示の全ての態様の包括的なリストを含んでいない。本開示は、上に要約されている様々な態様の全ての好適な組み合わせならびに以下の発明を実施するための形態に開示されているものおよび特に本出願と共に提出されている特許請求の範囲の箇所に示されているものから実施することができる全てのシステムおよび方法を含むことが企図される。そのような組み合わせは上記概要に具体的に記載されていない特定の利点を有する。本開示の他の特徴および利点は、添付の図面および以下に続く発明を実施するための形態から明らかになるであろう。

【0021】

本開示は、本開示の趣旨および範囲から逸脱することなく本開示の実施形態を限定するものとしてではなく例として示すために使用されている以下の説明および添付の図面を参照することにより最も良く理解することができる。図面では、同様の符号は同様の要素を示す。

【図面の簡単な説明】

【0022】

【図1A】一実施形態に係る連続的インタラクション遠隔測定および追跡システムを示す。

【図1B】一実施形態に係る連続的インタラクション遠隔測定および追跡システムを示す。

【図1C】一実施形態に係る連続的インタラクション遠隔測定および追跡システムを示す。

【図2】一実施形態に係るインタラクション遠隔測定および追跡方法を示す。

【図3】一実施形態に係る連続的インタラクション遠隔測定および追跡方法を示す。

【図4】一実施形態に係るインタラクション遠隔測定および追跡方法の例を示す。

【発明を実施するための形態】

【0023】

以下の説明では、様々な実施形態を例示として示す図面を参照する。また様々な実施形態をいくつかの例を参照することによって以下に説明する。当然のことながら、当該実施形態は特許請求されている主題の範囲から逸脱することなく設計および構造における変化を含んでもよい。

【0024】

図１Ａ～図１Ｃは、一実施形態に係るユーザインタラクション遠隔測定および追跡を可能にするシステム１００を示す。システム１００は、ユーザ１０２が１つ以上のホログラフィックアプリケーション１０４などの１つ以上のソースから取り出されたデジタルコンテンツを体験することができるインタラクションのそれぞれの遠隔測定メタデータを連続的に（または時折のネットワーク遅延時間問題またはサービス中断を考慮した実質的に連続的に）追跡および取得するために使用することができる。本システムはサーバコンピュータシステムを含む。これらの例に示すように、サーバコンピュータシステムは第１のクラウドサーバ１０６および第２のクラウドサーバ１１２を備えているが、当然のことながら他の構成のサーバコンピュータシステムが可能であり、かつ第１のクラウドサーバ１０６および第２のクラウドサーバ１１２にそれぞれ割り当てられている本明細書に記載されている機能は、代わりに２つのサーバ間で異なって分散されていてもよく、あるいは単一のサーバまたはあらゆる好適な配置の３つ以上のサーバによって行われてもよい。但しこれらの例は、以下にさらに詳細に記載されているように、図示されている配置で第１のクラウドサーバ１０６と第２のクラウドサーバ１１２との間で機能を分散させるための特に有効な戦略を含む。

【0025】

図１Ａ～図１Ｃに示されている例では、デジタルコンテンツは第１のクラウドサーバ１０６によってレンダリングされ、かつネットワークに接続されたデジタルリアリティ装置１０８を介してユーザ１０２によって見られる。デジタルリアリティ装置１０８は例えば、特にモバイルデバイス、パーソナルコンピュータ、ゲームコンソール、メディアセンターおよびヘッドマウントディスプレイであってもよい。

【0026】

いくつかの実施形態では、ホログラフィックアプリケーション１０４は第１のクラウドサーバ１０６のメモリに記憶されている１つ以上のアプリケーションライブラリから、外部プラットフォームから、あるいはブロックチェーンまたは分散型台帳に基づく分散型データベースを介して利用可能であってもよい。ホログラフィックアプリケーション１０６は１つ以上の従来のアプリケーション、分散型アプリケーションまたは非分散型アプリケーションであってもよい。各ホログラフィックアプリケーション１０４のインタラクションの機械的仕組みは、コンピュータスクリプトおよびコンピュータプログラムに含められているコンピュータコードの使用により定義されており、かつ第１のクラウドサーバ１０６に提供されるホログラフィックアプリケーション１０４、スマートコントラクトまたはそれらの組み合わせにより可能にしてもよい。従ってホログラフィックアプリケーション１０４、スマートコントラクトまたはそれらの組み合わせは、ユーザとホログラフィックアプリケーション１０４との間の可能かつ所望のインタラクションおよびインタラクションインタフェースをデジタルで体系化および表示するのを可能にする。インタラクションは、インタラクティブゲームのようなアプリケーションの形態で、あるいはゲームのようなインタラクションの機械的仕組みを介してユーザによって体験することができる。

【0027】

本開示のシステム１００は、その全てがネットワークを介して接続することができるパブリックもしくはプライベートクラウド、フォグサーバならびに企業システム、モバイルプラットフォームおよびユーザ装置などのエッジ装置およびシステムを用いて分散された計算能力を表示することができるクラウド・エッジ間インフラに実装されていてもよい。クラウド・エッジ間コンピューティングネットワークを用いた計算能力、コンピュータインフラ（例えば、いわゆるサービスとしてのインフラすなわちＩａａＳを介して）、アプリケーションおよびビジネスプロセスへのアクセスは、要求に応じてクライアント装置を介してユーザへのサービスとして提供することができる。このように、物理的なサーバおよびネットワーク機器を含むリソースは、ユーザのリソースまでの距離ならびにユーザからのネットワークおよび計算要求などの因子に応じて動的に割り当てることができる共有される記憶および計算を可能にする。

【0028】

一実施形態によれば、１つ以上のホログラフィックアプリケーション１０４によって提供されるデジタルコンテンツは、特に３Ｄ画像データ、３Ｄジオメトリ、３Ｄ実体、３Ｄ感知データ、３Ｄ動的オブジェクト、ビデオデータ、音声データ、テキストデータ、時間データ、位置データ、向きデータ、触覚データおよび照明データを含んでいてもよい。少なくとも１人のユーザ１０２に提供されるデジタルコンテンツの１つ以上の部分は、拡張現実（ＡＲ）または仮想現実（ＶＲ）デジタルコンテンツを含んでいてもよい。ユーザ１０２がＡＲデジタルコンテンツとしてのデジタルコンテンツを見る場合、ＡＲデジタルコンテンツは音、ビデオ、グラフィックスまたはＧＰＳデータなどのコンピュータによって生成された感知入力によって拡張された物理的な実世界環境要素を含む。実世界における追加情報または仮想物体をオーバーレイするなどの拡張技術は典型的に、リアルタイムで環境要素に関するセマンティックコンテキストにおいて行われる。ＡＲデジタルコンテンツにより、ユーザ１０２の周囲実世界に関する情報または実世界における仮想物体オーバーレイをインタラクティブかつデジタル操作可能になるようにすることができる。ユーザ１０２がＶＲデジタルコンテンツとしてのデジタルコンテンツを見る場合、ＶＲデジタルコンテンツは実世界をシミュレートされたものと置き換えるために使用される仮想要素を含んでいてもよく、かつ実世界からの要素も含んでいてもよい。

【0029】

一実施形態によれば、第１のクラウドサーバ１０６は、１つ以上のホログラフィックアプリケーション１０４などの１つ以上のソースからのデジタルコンテンツのレンダリングなどの重負荷アプリケーションを実行するのに十分な計算リソースを有するリモートサーバであってもよい。第１のクラウドサーバ１０６は、１つにまとめられた単一のデータストリームを少なくとも１つのデジタルリアリティ装置１０８に提供するように構成されていてもよい。デジタルリアリティ装置１０８は、ミリ波（ｍｍＷ）または第５世代無線システム通信（５Ｇ）などのｍｍＷとサブ６ＧＨｚ通信システムとの組み合わせを含む異なる無線システムを介して第１のクラウドサーバ１０６に通信接続してもよい。他の実施形態では、本システムは好ましくは１６ＧＨｚでデータを提供する無線ローカルエリアネットワーキング（Ｗｉ－Ｆｉ）を介して接続してもよい。提供される通信システムは、典型的には高インタラクティブな実世界プロジェクトを実行するために必要なパラメータに準拠する低い（例えば約１～約５ミリ秒のエンドツーエンド（Ｅ２Ｅ）の）遅延時間およびその現場内のエンドポイントまでの高い（例えば１～１０Ｇｂｐｓの）ダウンリンク速度を可能にしてもよい。これにより高品質、低遅延時間、リアルタイムのデジタルアプリケーションコンテンツストリーミングが得られる。他の実施形態では、システム１００は第４世代無線システム通信（４Ｇ）を介して通信接続してもよく、４Ｇ通信システムによってサポートされていてもよく、あるいは他の有線もしくは無線通信システムを備えていてもよい。

【0030】

デジタルコンテンツとのユーザインタラクションはジェスチャ可能であってもよく、この場合ユーザ１０２はインタラクションのために１つ以上のジェスチャを用いる。例えばジェスチャはナチュラルユーザインタフェース（ＮＵＩ）ジェスチャであってもよい。ＮＵＩは、ユーザ１０２がマウス、キーボードおよび遠隔制御などの入力装置によって課される人工拘束なしに装置と自然にインタラクトするのを可能にする任意のインタフェース技術として定めることができる。ＮＵＩ方法の例としては、音声認識、タッチ認識、顔認識、スタイラス認識、エアジェスチャ（例えば、手のポーズや動きおよび他の体／手足の動き／ポーズ）、頭および眼追跡、発声および発話などの触覚型および非触覚型インタフェースなどのジェスチャを用いる方法、ならびに少なくとも例えば視覚、音声、声、ポーズおよびタッチデータに関する機械学習が挙げられる。ＮＵＩ技術としては、タッチセンサ式ディスプレイ、声および音声認識、意図および目標の理解、深度計測カメラ（例えば、立体カメラシステム、赤外線カメラシステム、カラーカメラシステムおよびそれらの組み合わせ）を用いるモーションジェスチャ検出、加速度計／ジャイロスコープを用いるモーションジェスチャ検出、顔認識、３Ｄディスプレイ、頭、目および視線追跡、ナチュラルユーザインタフェースを備えた没入型の拡張現実および仮想現実システム、ならびに電界センシング電極を用いて脳活動をセンシングするための技術（例えば脳波計（ＥＥＧ））および他のニューロバイオフィードバック法が挙げられる。

【0031】

一実施形態によれば、各デジタルリアリティ装置１０８は、慣性追跡センシング機構と送受信機との組み合わせを備えたその上に装着されたセンシング機構を備える。慣性追跡センシング機構は加速度計やジャイロスコープなどの装置を利用することができ、これらは慣性測定ユニット（ＩＭＵ）に一体化されていてもよい。送受信機は、アンテナへ／から無線通信信号を送信および受信するように実装されていてもよい。好ましくは、送受信機はｍｍＷ送受信機である。ｍｍＷアンテナが用いられる実施形態では、ｍｍＷ送受信機はアンテナからｍｍＷ信号を受信し、かつそのデータをアンテナに送り戻すように構成されている。ｍｍＷ送受信機によって提供される慣性センサおよび位置追跡ならびにｍｍＷを利用するアンテナによって提供される正確な追跡、低遅延時間および高サービス品質（ＱｏＳ）機能は、サブセンチメートルまたはサブミリメートルでの位置および向きの追跡を可能にしてもよく、これによりデジタルリアリティ装置１０８のリアルタイムな位置および向きを追跡する場合の正確性を高めてもよい。いくつかの実施形態では、第２のサーバによる追跡は、到着時間（ＴＯＡ）、到着角度（ＡＯＡ）または当該技術分野で知られている他の追跡技術（例えば視覚的イメージング、レーダ技術など）などの当該技術分野で知られているいくつかの技術を用いて実行してもよい。他の実施形態では、センシング機構および送受信機は単一の追跡モジュール装置として互いに結合されていてもよい。デジタルリアリティ装置１０８の正確な追跡を提供することは、ユーザが見ている位置および向きに適合するビュー内にデジタルコンテンツを示すために関連し得るユーザの信頼できる位置および向きを表示するのに有用になり得る。

【0032】

他の実施形態では、ＧＰＳ、ＢＤＳ、グロナス（Ｇｌｏｎａｓｓ）、ＱＺＳＳ、ガリレオ（Ｇａｌｉｌｅｏ）およびＩＲＮＳＳのような複数の衛星利用航法システムをまとめて指す全地球的航法衛星システム（ＧＮＳＳ）を装置の位置決めを可能にするために使用してもよい。十分な数の衛星からの信号ならびに三角形分割および三辺測量などの技術を用いて、ＧＮＳＳは装置の位置、速度、高度および時間を計算することができる。好ましい実施形態では、外部位置決めシステムは、既存のセルラー通信ネットワークのアーキテクチャ（既存のアーキテクチャは５Ｇを含む）を介して支援型ＧＮＳＳ（ＡＧＮＳＳ：ａｓｓｉｓｔｅｄ ＧＮＳＳ）によって増強される。他の実施形態では、ＡＧＮＳＳ追跡システムは４Ｇセルラー通信ネットワークによってさらにサポートされる。屋内実施形態では、ＧＮＳＳは好ましくは限定されるものではないがデータを１６ＧＨｚで提供するＷｉ－Ｆｉなどの無線ローカルエリアネットワークによってさらに増強される。他の実施形態では、ＧＮＳＳはディファレンシャルＧＰＳ（ＤＧＰＳ）、静止衛星型衛星航法補強システム（ＳＢＡＳ）、リアルタイムキネマティック（ＲＴＫ）システムなどの当該技術分野で知られている他の技術によって増強される。いくつかの実施形態では、装置の追跡はＡＧＮＳＳと当該装置内の慣性センサとの組み合わせによって実行する。

【0033】

図１Ａに見られるように、１人以上のユーザ１０２が最初にパブリックデジタルゾーンＡ１１０などのパブリックデジタルゾーンに位置している場合がある。各パブリックデジタルゾーンは、１つ以上のホログラフィックアプリケーション１０４の周りのそれぞれのクラウドサーバによってサービスが提供されるエリアによって境界が定められていてもよく、ここでは全てのユーザがパブリックデジタルゾーン内に構成されたホログラフィックアプリケーション１０４にアクセスすることができる。パブリックデジタルゾーンＡ１１０では、１人以上のユーザ１０２がデジタルリアリティ装置１０８を介して、１つ以上のホログラフィックアプリケーション１０４から第１のクラウドサーバ１０６によって取り出されたデジタルコンテンツを見てそれとインタラクトすることができる。このデジタルコンテンツはパブリックデジタルゾーンＡ１１０などのパブリックデジタルゾーンに存在する全てのユーザ１０２に利用可能であってもよい。１人以上のユーザ１０２がパブリックデジタルゾーンＡ１１０に入るとすぐに、第２のクラウドサーバ１１２は、１人以上のユーザ１０２と１つ以上のホログラフィックアプリケーション１０４からのデジタルコンテンツとのインタラクションのそれぞれの遠隔測定メタデータを連続的に追跡および取得し始め、これはそのパブリックデジタルゾーンＡ１１０のための１つ以上のホログラフィックアプリケーション１０４およびそれぞれの第１のクラウドサーバ１０６を監視することにより行われる。

【0034】

いくつかの実施形態では、第１のクラウドサーバ１０６は、デジタルリアリティ装置が所定の地理的座標内に位置したときにのみデジタルリアリティ装置を介してホログラフィックアプリケーションにアクセスすることができるように、地理的座標を１つ以上のホログラフィックアプリケーションの周りの所定の値に構成することによりパブリックデジタルゾーンの境界を定める。前記境界を定めることは、対応するホログラフィックアプリケーション１０４の開発段階の間に構成されてもよい。なおさらなる実施形態では、パブリックデジタルゾーンはホログラフィックアプリケーションにおけるユーザからの達成に基づいて変化してもよく、従って１人以上の特定のユーザ１０２ごとに変化してもよい。例えば、宝探しアプリケーションを含むパブリックデジタルゾーンは前記アプリケーションの第１のレベルで開始する全てのユーザ１０２のために起動させてもよいが、１人以上のユーザ１０２がパブリックデジタルゾーン内で宝物を見つけたら、パブリックデジタルゾーンはそれらの特定の１人以上のユーザ１０２のためにのみ別の地理的位置に移動してもよい。

【0035】

１人以上のユーザ１０２はパブリックデジタルゾーンＡ１１０に位置している１つ以上のホログラフィックアプリケーション１０４からの全ての利用可能デジタルコンテンツを見ることができる。但し、１人以上のユーザ１０２が物理的に（すなわちＡＲにおいて）または仮想的に（すなわちＶＲにおいて）別のパブリックデジタルゾーン１１４に移動した場合、１人以上のユーザ１０２はその別のパブリックデジタルゾーン１１４に位置しているデジタルコンテンツを見てインタラクトすることができる。この目的のために、第１のクラウドサーバ１０６は別のパブリックデジタルゾーン１１４のクラウドサーバにも接続されている。従って、図１Ｂにおいて理解されるように、ユーザ１０２が別のパブリックデジタルゾーン１１４に位置している別のアプリケーションに切り替えることを決めた場合、第２のクラウドサーバ１１２は、別のパブリックデジタルゾーン１１４に位置している別のホログラフィックアプリケーション１０４からのデジタルコンテンツとのユーザインタラクションを追跡する。第２のクラウドサーバ１１２による異なるパブリックデジタルゾーン間でのこの追跡は、１つ以上のホログラフィックアプリケーション１０４が位置しているパブリックデジタルゾーンＡ１１０に関わらず、ユーザ１０２とコンテンツとの可能なインタラクションの大部分を追跡するのを可能にする。

【0036】

図１Ｃにおいて理解されるように、ユーザ１０２がパブリックデジタルゾーンＢ１１６などの別のパブリックデジタルゾーン１１４からのコンテンツを選択すると、ユーザ１０２はデジタルリアリティ装置１０８を介してパブリックデジタルゾーンＢ１１６に位置している第３のクラウドサーバ１１８に接続してもよく、かつ利用可能なその中のそれぞれのデジタルコンテンツを見てインタラクトし始めてもよい。同時に、第２のクラウドサーバ１１２は、１つ以上のホログラフィックアプリケーション１０４およびそれぞれの第３のクラウドサーバ１１８を監視することにより各インタラクションの遠隔測定メタデータを追跡する。

【0037】

一実施形態によれば、現在のユーザインタラクションおよびユーザ嗜好に応じて、パブリックＡＲゾーンまたはパブリックＶＲゾーンとしてのパブリックデジタルゾーンにアクセスすることができる。ユーザ１０２があるゾーンと別のゾーンとを切り替える場合、ユーザ１０２はＡＲからＡＲパブリックデジタルゾーン、ＡＲからＶＲパブリックデジタルゾーン、ＶＲからＡＲパブリックデジタルゾーン、およびＶＲからＶＲパブリックデジタルゾーンに移動することにより切り替えを行ってもよい。

【0038】

一実施形態によれば、第１および／または第２のクラウドサーバは、パーシステント仮想世界システムを形成する複数の仮想物体となるパブリックデジタルゾーン内に含まれている世界の少なくとも一部を表しているデータ構造をメモリに記憶し、ここでは仮想物体および仮想レプリカの少なくともいくつかは実世界要素およびそれぞれのホログラフィックアプリケーションに対応している。いくつかの実施形態では、仮想物体は純粋に仮想の物体をさらに含む。ユーザが拡張もしくは仮想現実においてパブリックデジタルゾーンにアクセスしているか否かに応じて、第１および／または第２のサーバは、ユーザのビューにパーシステント仮想世界システムの１つ以上の仮想物体を起動させてもよい。例えば、ユーザが仮想現実においてパブリックデジタルゾーンにアクセスしている場合、第１および／または第２のサーバは、ユーザが仮想現実においてパブリックデジタルゾーンを完全に見るようにパブリックデジタルゾーンの全ての仮想レプリカを起動させてもよい。

【0039】

本開示では「パーシステント」という用語は、プロセスまたはネットワーク接続を連続的に実行することなく存在し続けることができるシステムの状態を特徴づけるために使用される。例えば「パーシステント」という用語は、仮想世界システムおよびその中に含まれている仮想物体の全てが、仮想物体を作成するために使用されるプロセスが停止した後にユーザが仮想世界システムに接続されているかに関わらず存在し続ける仮想世界システムを特徴づけるために使用することができる。従って仮想世界システムはサーバ内の不揮発性記憶位置に保存されている。このように仮想物体はユーザがサーバに接続されていない場合であっても存在し続けることができる。

【0040】

図２は、一実施形態に係るユーザインタラクション遠隔測定および追跡を可能にする方法２００のブロック図を示す。方法２００は、図１Ａ～図１Ｃに示されているシステムなどの本明細書に記載されているシステムまたはいくつか他のシステムによって実行してもよい。

【0041】

工程２０２では、デジタルリアリティ装置がパブリックデジタルゾーンに入り、ここでは第１のクラウドサーバがデジタルリアリティ装置を検出する。その後に工程２０４に見られるように、第１のクラウドサーバは第２のクラウドサーバに１つ以上のホログラフィックアプリケーションからのデジタルコンテンツとのユーザインタラクションの遠隔測定および追跡を開始するように信号を送る。工程２０６では、第１のクラウドサーバはホログラフィックアプリケーションからデジタルコンテンツを取り出してレンダリングすると共に当該デジタルコンテンツをデジタルリアリティ装置を介してユーザに送信する。その後に工程２０８では、第１のクラウドサーバはデジタルリアリティ装置を介してユーザから入力を受信すると共に、１つ以上のホログラフィックアプリケーションを更新するために当該入力を当該アプリケーションに送信する。工程２１０では、１つ以上のホログラフィックアプリケーションは当該入力データを受信してアプリケーション実行を制御するか現在のアプリケーション動作状態を更新する。

【0042】

工程２１２に見られるように、ユーザとデジタルコンテンツとのインタラクション中に、ユーザは別のパブリックデジタルゾーンに位置している別のホログラフィックアプリケーションに切り替えるためのオプションを有していてもよい。ユーザが同じパブリックデジタルゾーン内の同じホログラフィックアプリケーションまたは別のホログラフィックアプリケーションとインタラクトし続けることを決めた場合、方法２００は、工程２０６に戻って当該プロセスを継続してもよい。しかし工程２１４に見られるように、ユーザが別のパブリックデジタルゾーンに位置している別のホログラフィックアプリケーションからのデジタルコンテンツとインタラクトすることを決めた場合、第２のクラウドサーバはそれぞれのクラウドサーバに、デジタルリアリティ装置を介してユーザにコンテンツを提供するために第１のクラウドサーバからコンテンツを取り出すように指示する。

【0043】

ユーザがパブリックデジタルゾーンに入るか別のパブリックデジタルゾーンに切り替えた後の全ての工程を通して、第２のクラウドサーバは、ユーザとデジタルコンテンツとの間で行われる最大可能な量のインタラクションを追跡する。

【0044】

図３はインタラクション遠隔測定および追跡を可能にする方法３００を示す。方法３００は図１Ａ～図１Ｃに示されているシステムなどの本明細書に記載されているシステムまたはいくつか他のシステムによって実行してもよい。

【0045】

方法３００は、工程３０２に見られるようにホログラフィックアプリケーションからのデジタルコンテンツを見ている１人以上のユーザにより開始してもよい。ホログラフィックアプリケーションからのデジタルコンテンツはスポンサー付きまたはスポンサー付きでないデジタルコンテンツであってもよい。本開示で使用される「見る」という用語は、ホログラフィックアプリケーションからのデジタルコンテンツの方向に人の目を限られた秒数（すなわち時間成分を含む）で、あるいは限られた数の特徴点（すなわち空間成分を含む）に向かって方向づけるという行為を指す。その後に工程３０４では、ホログラフィックアプリケーションからのデジタルコンテンツに目を向けているユーザによって本方法を継続してもよい。本開示で使用される「目を向ける」という用語は、時間成分および／または空間成分も含んでもよく、かつ「見る」よりも長い秒数で、あるいは「見る」よりも多くの特定の数の特徴点を凝視するという行為を指す。

【0046】

その後に工程３０６では、当該プロセスをホログラフィックアプリケーションからのデジタルコンテンツをクリックしている１人以上のユーザによって継続してもよい。「～をクリックする」という用語はデジタルコンテンツをマウスでクリックするという行為を含むように使用してもよいが、特定のデジタルコンテンツを選択するために使用することができる他の入力装置（例えばトラックパッドおよびタッチスクリーン）に適した他の形態の入力（例えばタップすること）も含んでもよい。次いで工程３０８では、ユーザはホログラフィックアプリケーションからのデジタルコンテンツに関わることができる。本開示で使用される「関わる」という用語は、ジェスチャ、表情、音声、体、手または指の動き（例えば、任意の角度での水平もしくは垂直の動き、軸の周りでの回転など）、ズームインもしくはアウト、スタイラスの動き、エアジェスチャ、脳活動および頭や眼の動きを含むが、見ること、目を向けることおよびクリックすることなどのより単純な形態のインタラクションを除外するより深いインタラクションレベルを指す。工程３１０に進んで、１人以上のユーザはホログラフィックアプリケーションからのデジタルコンテンツに没頭することにより継続することができる。本開示で使用される「没頭すること」という用語は最も深いレベルのインタラクションを指し、パブリックＡＲからプライベートＡＲ、パブリックＡＲからプライベートＶＲ、パブリックＶＲからプライベートＡＲ、およびパブリックＶＲからプライベートＶＲへのビューの切り替えを含んでもよい。没頭することは、１人以上のユーザがプライベートＡＲビューまたはプライベートＶＲビューにいる場合に行われるあらゆるインタラクションを含む。プライベートＡＲビューまたはプライベートＶＲビューでは、ホログラフィックアプリケーションはユーザにプライベートセッションを提供し、デジタルコンテンツをそれらのプライベートビュー内の特定のユーザのみに利用可能にさせる。

【0047】

工程３１２は、ホログラフィックアプリケーションからのデジタルコンテンツに没頭している１人以上のユーザから生じ得る異なる出力を示す。これらの出力としては、工程３１４、３１６および３１８にそれぞれ見られるように、当該アプリケーションから出ること、取引を行うこと、または別のホログラフィックアプリケーションにアクセスすることが挙げられる。工程３１４すなわち当該アプリケーションから出ることは、ホログラフィックアプリケーションからのデジタルコンテンツに没頭しているユーザからの可能な出力として示されているが、ユーザは当該プロセス中のあらゆる他の段階でホログラフィックアプリケーションから出ることができることに留意することが重要である。工程３１６の取引は商業的もしくは社会的取引を含む。「商業的取引」という用語は本明細書では、１つ以上のアイテムをダウンロードすること、購入すること、販売すること、譲渡すること、および交換することを指す。「社会的取引」という用語は本明細書では、１つ以上のアイテムを評価すること、お気に入り登録すること、またはレビューすることを指す。工程３１８すなわちホログラフィックアプリケーションにアクセスすることは、現在のパブリックデジタルゾーン内または別のパブリックデジタルゾーンに位置している別のホログラフィックアプリケーションを指してもよい。

【0048】

ユーザが取引を行った後またはユーザが別のホログラフィックアプリケーションにアクセスした後に、本方法は工程３２０に示すように、ユーザに最初のホログラフィックアプリケーションに戻るためのオプションを提供する。ユーザが最初のホログラフィックアプリケーションに戻ることを決めた場合、ユーザは工程３０８に示すように最初のホログラフィックアプリケーションからのデジタルコンテンツに関わり続けてもよい。その後に当該プロセスは、工程３１４に示されているようにユーザがホログラフィックアプリケーションから出るまで継続する。ユーザが最初のホログラフィックアプリケーションに戻ることを望まない場合、ユーザは、工程３２２、３２４および３２６にそれぞれ示されているように、別のホログラフィックアプリケーションからのコンテンツに関わること、別のホログラフィックアプリケーションからのデジタルコンテンツに没頭すること、および別のホログラフィックアプリケーションに関連する可能な出力を生成することにより継続してもよい。

【0049】

一実施形態によれば、本方法は、デジタルリアリティ装置から取得および追跡されたインタラクションデータおよびメタデータを第２のクラウドサーバによって記憶および分析する工程をさらに含む。経時的な１人以上のユーザのインタラクションデータおよびメタデータによりインタラクション履歴を形成してもよい。なおさらなる実施形態では、スマートコントラクトの使用によりインタラクションデータおよびメタデータを記録する。そのような実施形態では、スマートコントラクトはユーザ（スマートコントラクトのプログラマまたは管理者など）とストレージまたはメモリとの間のインタフェースとして機能する。このように、スマートコントラクトはストレージへのインタフェースを支配および提供する。そのような実施形態では、ストレージデータベースはブロックチェーンまたは分散型台帳に基づくデータベースの形態である。ブロックチェーンまたは分散型台帳に基づくデータベースによりインタラクションデータおよびメタデータを記録するためのスマートコントラクトの使用は、ビジネス取引の証拠として役立ち得る信頼できる透明性かつ不変のインタラクション履歴の実装を支援してもよい。例えばビジネス関連の商業的論理の取り扱いを自動化して、デジタルメディアバイイングモデル、市場調査、ならびに例えばインプレッションの蓄積、インタラクション関連の支払い（例えば、凝視時間の評価および付随する支払い）および収益分割の分析などによるビジネス分析を支援するために、インタラクション履歴に関するデータを分析してもよい。

【0050】

図４は、一実施形態に係る、ユーザに表示される最初のホログラフィックアプリケーションデジタルコンテンツがホログラフィック靴の形態である靴アプリケーションインタラクション遠隔測定および追跡のために用いられているインタラクション遠隔測定および追跡方法の例４００を示す。工程４０２では、パブリックデジタルゾーンに入ったユーザはその特定のパブリックデジタルゾーンに位置しているホログラフィックアプリケーションによって展開されているホログラフィック靴を見る。パブリックデジタルゾーンに表示されているホログラフィック靴はスポンサー付きまたはスポンサー付きでないホログラフィック靴であってもよい。次いでユーザは工程４０４においてホログラフィック靴に目を向け、その後に工程４０６および４０８にそれぞれ示されているようにホログラフィック靴をクリックしてホログラフィック靴に関わり始める。ホログラフィック靴との関わりの例としては、手の動きにより靴をサンプリングすること、靴を回転させること、靴の細部をよく見るために靴をズームインまたはアウトすることなどが挙げられる。

【0051】

その後にユーザは、工程４１０においてホログラフィック靴に対応するデジタルコンテンツに自身を没頭させることができる。プライベートＡＲビューでは、例えばユーザはホログラフィックアプリケーションによって提供されるような利用可能性に応じ、かつユーザがその瞬間にいる実世界位置の背景を見て、ホログラフィック靴の色、サイズまたは設計を変えることができる。プライベートＶＲビューではユーザは仮想的に靴屋に移動されてもよく、そこでユーザは利用可能なその中の全ての靴を見て関わることができ、それにより当該要素のいくつかを実世界の中で見つけることができる。工程４１２の得られる可能な出力としては、工程４１４、４１６および４１８にそれぞれ見られるように、ユーザがホログラフィックアプリケーションから出ること、ユーザが１足以上の靴に関連する取引を行うこと、またはユーザがその靴に関連していても関連しなくてもよい目的の別のアイテムとのインタラクションを開始することが挙げられる。１足以上の靴に関連する取引としては例えば、特に１足以上の靴を購入すること、お気に入り登録すること、共有すること、評価すること、またはレビューすることが挙げられる。ユーザはさらに、当該プロセスのあらゆる段階でホログラフィックアプリケーションから出ることができる。

【0052】

ユーザが１足以上の靴に関連する取引を完了した後、またはユーザが目的の別のホログラフィックアプリケーションにアクセスした後に、本方法は、工程４２０に見られるようにユーザに靴ホログラフィックアプリケーションに戻るためのオプションを提供する。ユーザが靴ホログラフィックアプリケーションに戻ることを決めた場合、ユーザは工程４０８に示されているようにホログラフィック靴に関わってもよく、かつその後に当該プロセスは、ユーザがホログラフィック靴アプリケーションから出るまで工程４０８に示されているように継続してもよい。ユーザがホログラフィック靴アプリケーションに戻ることを望まない場合、ユーザは、工程４２２、４２４および４２６にそれぞれ見られるように別のホログラフィックアプリケーションからのデジタルコンテンツに関わり、自身を別のホログラフィックアプリケーションからのデジタルコンテンツに没頭させ、かつ別のホログラフィックアプリケーションに関連する可能な出力を生成し続けてもよい。

【0053】

１足以上の靴に関連する取引を含む全てのインタラクションデータおよびメタデータは、デジタルメディアバイイングモデル、市場調査、ビジネス分析および他の目的を支援するためにデジタルリアリティ装置から追跡される。例えば靴会社は、異なるレベルのインタラクションのそれぞれにおけるインタラクション時間（例えば、目を向けている時間または関わっている時間）を使用して特定のコンピュータアルゴリズム、例えば人工知能アルゴリズムにより靴に関するユーザ嗜好を分析してもよい。例えば靴会社は、好ましい種類の靴に関連する、ユーザのために特に調整された広告の形態で関連するホログラフィックアプリケーションを提供するために、どの種類の靴にユーザがより長い時間にわたって目を向け、かつ／またはインタラクトする可能性があるかをソートすることができる。他の例では、靴会社はインタラクションデータおよびメタデータから靴へのユーザの凝視時間および付随する支払いを計算してもよい。

【0054】

なおさらなる実施形態では、ストレージへの経路を支配してインタフェースを提供するスマートコントラクトの使用によりインタラクションデータおよびメタデータを記録する。そのような実施形態では、ストレージデータベースは、ビジネス取引の証拠として役立ち得る信頼できる透明性かつ不変のインタラクション履歴を支援するブロックチェーンまたは分散型台帳に基づくデータベースの形態である。

【0055】

図３および図４は、特定の使用事例を例示するために特定の線形順序で行われる各種レベルのインタラクションを示しているが、当然のことながら、インタラクションの多くの他の組み合わせが可能である。例えば図３および図４は、見る工程３０２／４０２、その後に目を向ける工程３０４／４０４、クリックする工程３０６／４０６、関わる工程３０８／４０８、および没頭する工程３１０／４１０を示しているが、当然のことながらこれらの工程の１つ以上を省略してもよく、繰り返してもよく、あるいはインタラクションセッション中に異なる順序で行ってもよい。一例として、ユーザはデジタルコンテンツに関わる工程３０８／４０８または没頭する工程３１０／４１０の前の中間工程としてのデジタルコンテンツをクリックする工程３０６／４０６を省略してもよい。別の例として、ユーザはデジタルコンテンツに没頭する工程３１０／４１０を伴わずにデジタルコンテンツに関わる工程３０８／４０８を選択してもよい。別の例として、ユーザはデジタルコンテンツに関わる工程３０８／４０８の後であって、デジタルコンテンツに没頭する工程３１０／４１０に進む前に、デジタルコンテンツに目を向ける工程３０４／４０４に戻ってもよい。

【0056】

特定の実施形態について説明し、かつ添付の図面に図示してきたが、当然のことながらそのような実施形態は広範な本開示の単に例示であってそれを限定するものではなく、様々な他の修正が当業者に思い付く場合があるため、本開示は図示および説明されている特定の構成および配置に限定されない。従って上記説明は、本発明を限定するものではなく例示とみなされるべきである。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】