特許 7542280 エクステンデッドリアリティ対話用の機器および方法ならびにそのコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-22

(45)【発行日】2024-08-30

(54)【発明の名称】エクステンデッドリアリティ対話用の機器および方法ならびにそのコンピュータ可読媒体

(51)【国際特許分類】

   H04L 67/131 20220101AFI20240823BHJP

   G06T 19/00 20110101ALI20240823BHJP

【ＦＩ】

H04L67/131

G06T19/00 A

【請求項の数】 30

(21)【出願番号】P 2023072344

(22)【出願日】2023-04-26

(65)【公開番号】P2024018939

(43)【公開日】2024-02-08

【審査請求日】2023-04-27

(31)【優先権主張番号】63/393,302

(32)【優先日】2022-07-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520178021

【氏名又は名称】萬達人工智慧科技股▲分▼有限公司

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】林均達

【審査官】木村 雅也

(56)【参考文献】

【文献】特表２０２０－５２２７６３（ＪＰ，Ａ）

【文献】特開２０１６－１２６５００（ＪＰ，Ａ）

【文献】国際公開第２０２２／０９１８３２（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１３９７１２３０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ６７／１３１

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

エクステンデッドリアリティ（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ、ＸＲ）対話用の電子計算機器であって、
仮想対象物に対応する活動データを記憶するように構成された記憶領域と、
前記記憶領域と電気的に接続され、前記活動データに基づきデータブロックを生成するように構成されたプロセッサであって、前記データブロックは、前記活動データを生成した機器を示すためのタグ情報、前記仮想対象物に対応する対象物情報、および第１のＸＲ環境で前記仮想対象物の動きを記述するための動き情報を備えるプロセッサと、
前記記憶領域および前記プロセッサと電気的に接続され、受信者機器に前記データブロックを伝送するように構成された送受信機であって、その結果、前記受信者機器は前記タグ情報、前記対象物情報、および前記動き情報に従って第２のＸＲ環境で前記仮想対象物の前記動きを提示する送受信機と
を備える電子計算機器。

【請求項2】

前記データブロックは補正情報をさらに備え、
前記受信者機器は前記タグ情報、前記対象物情報、前記動き情報、および前記補正情報に従って前記仮想対象物の前記動きを提示し、前記受信者機器は、前記補正情報に従って視野補正を遂行する
ことを特徴とする、請求項１に記載の電子計算機器。

【請求項3】

前記送受信機は、前記第１のＸＲ環境を維持するサーバを介して前記受信者機器に前記データブロックを伝送することを特徴とする、請求項１に記載の電子計算機器。

【請求項4】

前記仮想対象物に対応する実行者の動きを取り込むことによって前記活動データを生成するように構成された、前記記憶領域および前記プロセッサと電気的に接続された少なくとも１つのモーションキャプチャ構成要素をさらに備える、請求項１に記載の電子計算機器。

【請求項5】

前記記憶領域は、少なくとも１つのＡＩモデルを記憶するようにさらに構成され、前記プロセッサは、前記少なくとも１つのＡＩモデルを介して前記活動データを生成するようにさらに構成されることを特徴とする、請求項１に記載の電子計算機器。

【請求項6】

エクステンデッドリアリティ（ＸＲ）対話用の電子計算機器であって、
送信者機器からデータブロックを受信するように構成された送受信機であって、前記データブロックは、前記データブロックを生成するために使用する活動データを生成した機器を示すためのタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で前記仮想対象物の動きを記述するための動き情報を備える送受信機と、
前記送受信機と電気的に接続され、前記タグ情報、前記対象物情報、および前記動き情報に従って第２のＸＲ環境で前記仮想対象物の前記動きを提示するように構成されたプロセッサと
を備える電子計算機器。

【請求項7】

前記プロセッサは、前記第２のＸＲ環境を維持するようにさらに構成され、
前記電子計算機器は、前記プロセッサおよび前記送受信機と電気的に接続された記憶領域をさらに備え、前記記憶領域は、前記第２のＸＲ環境に従ってＡＲ処理モジュール、ＶＲ処理モジュール、および３Ｄ処理モジュールのうち少なくとも１つを記憶するように構成され、
前記プロセッサは、前記ＡＲ処理モジュール、前記ＶＲ処理モジュール、または３Ｄ処理モジュールを介して前記第２のＸＲ環境で前記仮想対象物の前記動きを提示するようにさらに構成される
ことを特徴とする、請求項６に記載の電子計算機器。

【請求項8】

前記データブロックは補正情報をさらに備え、
前記プロセッサは前記タグ情報、前記対象物情報、前記動き情報、および前記補正情報に従って前記仮想対象物の前記動きを提示し、前記補正情報に従って視野補正を遂行するようにさらに構成される
ことを特徴とする、請求項６に記載の電子計算機器。

【請求項9】

前記送受信機は、前記第１のＸＲ環境を維持するサーバを介して前記送信者機器から前記データブロックを受信し、
前記プロセッサは、前記第２のＸＲ環境を維持するようにさらに構成される
ことを特徴とする、請求項６に記載の電子計算機器。

【請求項10】

前記データブロックは、前記送信者機器の少なくとも１つのＡＩモデルにより生成されることを特徴とする、請求項６に記載の電子計算機器。

【請求項11】

エクステンデッドリアリティ（ＸＲ）対話用の方法であって、
電子計算機器により、仮想対象物に対応する活動データに基づきデータブロックを生成するステップであって、前記データブロックは、前記活動データを生成した機器を示すためのタグ情報、前記仮想対象物に対応する対象物情報、および第１のＸＲ環境で前記仮想対象物の動きを記述するための動き情報を備えるステップと、
前記電子計算機器により、受信者機器に前記データブロックを伝送するステップであって、その結果、前記受信者機器は前記タグ情報、前記対象物情報、および前記動き情報に従って第２のＸＲ環境で前記仮想対象物の前記動きを提示するステップと
を備える方法。

【請求項12】

前記データブロックは補正情報をさらに備え、
前記受信者機器は前記タグ情報、前記対象物情報、前記動き情報、および前記補正情報に従って前記仮想対象物の前記動きを提示し、前記補正情報に従って視野補正を提示する
ことを特徴とする、請求項１１に記載の方法。

【請求項13】

前記電子計算機器は、前記第１のＸＲ環境を維持するサーバを介して前記受信者機器に前記データブロックを伝送することを特徴とする、請求項１１に記載の方法。

【請求項14】

前記電子計算機器は少なくとも１つのモーションキャプチャ構成要素を備え、前記方法は、
前記電子計算機器により、前記少なくとも１つのモーションキャプチャ構成要素を用いて前記仮想対象物に対応する実行者の動きを取り込むことによって前記活動データを生成するステップ
をさらに備えることを特徴とする、請求項１１に記載の方法。

【請求項15】

前記電子計算機器により、前記電子計算機器に記憶された少なくとも１つのＡＩモデルを介して前記活動データを生成するステップ
をさらに備える、請求項１１に記載の方法。

【請求項16】

エクステンデッドリアリティ（ＸＲ）対話用の方法であって、
電子計算機器により、送信者機器からデータブロックを受信するステップであって、前記データブロックは、前記データブロックを生成するために使用する活動データを生成した機器を示すためのタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で前記仮想対象物の動きを記述するための動き情報を備えるステップと、
前記電子計算機器により前記タグ情報、前記対象物情報、および前記動き情報に従って第２のＸＲ環境で前記仮想対象物の前記動きを提示するステップと
を備える方法。

【請求項17】

前記電子計算機器は、前記第２のＸＲ環境を維持し、前記第２のＸＲ環境に対応するＡＲ処理モジュール、ＶＲ処理モジュール、および３Ｄ処理モジュールのうち少なくとも１つを記憶し、前記方法は、
前記電子計算機器により、前記ＡＲ処理モジュール、前記ＶＲ処理モジュール、または３Ｄ処理モジュールを介して前記第２のＸＲ環境で前記仮想対象物の前記動きを提示するステップ
をさらに備えることを特徴とする、請求項１６に記載の方法。

【請求項18】

前記データブロックは補正情報をさらに備え、
前記電子計算機器は前記タグ情報、前記対象物情報、前記動き情報、および前記補正情報に従って前記仮想対象物の前記動きを提示し、前記方法は、前記電子計算機器により、前記補正情報に従って視野補正を遂行するステップをさらに備える
ことを特徴とする、請求項１６に記載の方法。

【請求項19】

前記電子計算機器は、前記第１のＸＲ環境を維持するサーバを介して前記送信者機器から前記データブロックを受信し、
前記電子計算機器は前記第２のＸＲ環境を維持する
ことを特徴とする、請求項１６に記載の方法。

【請求項20】

前記データブロックは、前記送信者機器の少なくとも１つのＡＩモデルにより生成されることを特徴とする、請求項１６に記載の方法。

【請求項21】

非一時的コンピュータ可読媒体であって、
仮想対象物に対応する活動データに基づきデータブロックを生成するステップであって、前記データブロックは、前記活動データを生成した機器を示すためのタグ情報、前記仮想対象物に対応する対象物情報、および第１のＸＲ環境で前記仮想対象物の動きを記述するための動き情報を備えるステップ、ならびに
受信者機器にデータブロックを伝送するステップであって、その結果、前記受信者機器は前記タグ情報、前記対象物情報、および前記動き情報に従って第２のＸＲ環境で前記仮想対象物の前記動きを提示するステップ
として電子計算機器がエクステンデッドリアリティ（ＸＲ）対話用の方法を実行する複数のプログラム命令を記憶する非一時的コンピュータ可読媒体。

【請求項22】

前記データブロックは補正情報をさらに備え、
前記受信者機器は前記タグ情報、前記対象物情報、前記動き情報、および前記補正情報に従って前記仮想対象物の前記動きを提示し、前記補正情報に従って視野補正を遂行する
ことを特徴とする、請求項２１に記載の非一時的コンピュータ可読媒体。

【請求項23】

前記電子計算機器は、前記第１のＸＲ環境を維持するサーバを介して前記受信者機器に前記データブロックを伝送することを特徴とする、請求項２１に記載の非一時的コンピュータ可読媒体。

【請求項24】

前記電子計算機器は少なくとも１つのモーションキャプチャ構成要素を備え、前記方法は、
前記少なくとも１つのモーションキャプチャ構成要素を用いて前記仮想対象物に対応する実行者の動きを取り込むことによって前記活動データを生成するステップ
をさらに備えることを特徴とする、請求項２１に記載の非一時的コンピュータ可読媒体。

【請求項25】

前記方法は、
前記電子計算機器に記憶された少なくとも１つのＡＩモデルを介して前記活動データを生成するステップ
をさらに備えることを特徴とする、請求項２１に記載の非一時的コンピュータ可読媒体。

【請求項26】

非一時的コンピュータ可読媒体であって、
送信者機器からデータブロックを受信するステップであって、前記データブロックはタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で前記仮想対象物の動きを記述するための動き情報を備えるステップ、および
前記タグ情報、前記対象物情報、および前記動き情報に従って第２のＸＲ環境で前記仮想対象物の前記動きを提示するステップ
として電子計算機器がエクステンデッドリアリティ（ＸＲ）対話用の方法を実行する複数のプログラム命令を記憶する非一時的コンピュータ可読媒体。

【請求項27】

前記電子計算機器は前記第２のＸＲ環境を維持し、前記第２のＸＲ環境に対応するＡＲ処理モジュール、ＶＲ処理モジュール、および３Ｄ処理モジュールのうち少なくとも１つを記憶し、前記方法は、
前記ＡＲ処理モジュール、前記ＶＲ処理モジュール、または３Ｄ処理モジュールを介して前記第２のＸＲ環境で前記仮想対象物の前記動きを提示するステップ
をさらに備えることを特徴とする、請求項２６に記載の非一時的コンピュータ可読媒体。

【請求項28】

前記データブロックは補正情報をさらに備え、
前記電子計算機器は前記タグ情報、前記対象物情報、前記動き情報、および前記補正情報に従って前記仮想対象物の前記動きを提示し、前記方法は、
データ供給源に対応する視野補正を遂行するステップ
をさらに備える
ことを特徴とする、請求項２６に記載の非一時的コンピュータ可読媒体。

【請求項29】

送受信機は、前記第１のＸＲ環境を維持するサーバを介して前記送信者機器から前記データブロックを受信し、
前記電子計算機器は前記第２のＸＲ環境を維持する
ことを特徴とする、請求項２６に記載の非一時的コンピュータ可読媒体。

【請求項30】

前記データブロックは、前記送信者機器の少なくとも１つのＡＩモデルにより生成されることを特徴とする、請求項２６に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、全体が本明細書に援用される、２０２２年７月２９日に出願された米国仮特許出願第６３／３９３，３０２号明細書の優先権を主張する。

【背景技術】

【0002】

ユーザに没入体験を提供するために仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）、複合現実（ｍｉｘｅｄ ｒｅａｌｉｔｙ、ＭＲ）、３Ｄ現実などのようなさまざまなエクステンデッドリアリティ（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ、ＸＲ）技術が利用可能である。周知のＡＲ技術は、Ａｐｐｌｅ Ｉｎｃ．によるＡＲＫｉｔ、Ｇｏｏｇｌｅ Ｉｎｃ．によるＡＲＣｏｒｅ、ＭｉｃｒｏｓｏｆｔによるＨｏｌｏＬｅｎｓ ２、Ｍａｇｉｃ Ｌｅａｐなどを含んでよい。周知のＶＲ技術は、ＨＴＣ Ｉｎｃ．によるＶｉｖｅ、Ｍｅｔａ Ｉｎｃ．によるＱｕｅｓｔ ２などを含んでよい。

【先行技術文献】

【特許文献】

【0003】

【文献】米国仮特許出願第６３／３９３，３０２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

モーションキャプチャ技術、放送技術、およびＸＲ技術を組み合わせることにより、ユーザは、前記ＸＲ技術に対応する同じタイプのＸＲ環境で互いに対話できるようになる。たとえば、ＡＲ機器（たとえば、スマートホン）のユーザはＡＲ環境で互いに対話できる。しかしながら、異なるＸＲ技術（たとえば、ＡＲおよび３Ｄ現実）で作動している機器のユーザが、自身の機器を介して互いに対話しようと試みるとき、各種のＸＲ技術／機器はそれ自身の構成およびデータフォーマットを有するので、異なるＸＲ技術で作動している機器は理想的に動作できるわけではない、すなわち、一方の種類のＸＲ技術を採用する機器は、異なるＸＲ技術を採用する別の末端機器が生成しその末端機器から受信したデータを処理（すなわち、理解）できない。したがって、異なるプラットフォームに対応したＸＲ対話の新しい方法が当技術分野で緊急に必要である。

【課題を解決するための手段】

【0005】

少なくとも上述の問題を解決するために、本開示は、ＸＲ対話用の電子計算機器を提供する。電子計算機器は記憶領域と、記憶領域と電気的に接続されたプロセッサと、記憶領域およびプロセッサと電気的に接続された送受信機とを備えてよい。記憶領域は、仮想対象物に対応する活動データを記憶するように構成されてよい。プロセッサは、活動データに基づきデータブロックを生成するように構成されてよい。データブロックは、活動データを生成した機器を示すためのタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で仮想対象物の動きを記述するための動き情報を備えてよい。送受信機は、受信者機器にデータブロックを伝送するように構成されてよく、その結果、受信者機器はタグ情報、対象物情報、および動き情報に従って第２のＸＲ環境で仮想対象物の動きを提示する。

【0006】

少なくとも上述の問題を解決するために、本開示は、ＸＲ対話用の別の電子計算機器をさらに提供する。電子計算機器はプロセッサと、プロセッサに電気的に接続された送受信機とを備えてよい。送受信機は、送信者機器からデータブロックを受信するように構成されてよい。データブロックは、データブロックを生成するために使用する活動データを生成した機器を示すためのタグ情報と、仮想対象物に対応する対象物情報と、第１のＸＲ環境で仮想対象物の動きを記述するための動き情報とを備えてよい。プロセッサはタグ情報、対象物情報、および動き情報に従って第２のＸＲ環境で仮想対象物の動きを提示するように構成されてよい。

【0007】

少なくとも上述の問題を解決するために、本開示は、ＸＲ対話用の方法をさらに提供する。方法は、
電子計算機器により、仮想対象物に対応する活動データに基づきデータブロックを生成するステップであって、データブロックは、活動データを生成した機器を示すためのタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で仮想対象物の動きを記述するための動き情報を備えるステップと、
電子計算機器により、受信者機器にデータブロックを伝送するステップであって、その結果、受信者機器はタグ情報、対象物情報、および動き情報に従って第２のＸＲ環境で仮想対象物の動きを提示するステップと
を備えてよい。

【0008】

少なくとも上述の問題を解決するために、本開示は、ＸＲ対話用の別の方法をさらに提供する。方法は、
電子計算機器により、送信者機器からデータブロックを受信するステップであって、データブロックは、データブロックを生成するために使用する活動データを生成した機器を示すためのタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で仮想対象物の動きを記述するための動き情報を備えるステップと、
電子計算機器により、タグ情報、対象物情報、および動き情報に従って第２のＸＲ環境で仮想対象物の動きを提示するステップと
を備えてよい。

【0009】

少なくとも上述の問題を解決するために、本開示は非一時的コンピュータ可読媒体をさらに提供する。電子計算機器は、非一時的コンピュータ可読媒体の中に備わった複数のプログラム命令が電子計算機器の中にロードされた後、ＸＲ対話用の方法を実行してよい。方法は、
仮想対象物に対応する活動データに基づきデータブロックを生成するステップであって、データブロックは、活動データを生成した機器を示すためのタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で仮想対象物の動きを記述するための動き情報を備えるステップと、
受信者機器にデータブロックを伝送するステップであって、その結果、受信者機器はタグ情報、対象物情報、および動き情報に従って第２のＸＲ環境で仮想対象物の動きを提示するステップと
を備えてよい。

【0010】

少なくとも上述の問題の解決するために、本開示は別の非一時的コンピュータ可読媒体をさらに提供する。電子計算機器は、非一時的コンピュータ可読媒体の中に備わった複数のプログラム命令が電子計算機器の中にロードされた後、ＸＲ対話用の別の方法を実行してよい。方法は、
送信者機器からデータブロックを受信するステップであって、データブロックはタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で仮想対象物の動きを記述するための動き情報を備えるステップと、
タグ情報、対象物情報、および動き情報に従って第２のＸＲ環境で仮想対象物の動きを提示するステップと
を備えてよい。

【0011】

本開示は上述のタグ情報、対象物情報、および動き情報などの情報を少なくとも備えるデータブロックを実装することによってさまざまなＸＲ技術のデータ論理を統合する解決機構を提供する。本開示の機構を実装することにより、異なるＸＲプラットフォームの機器は、データブロックを介して通信を遂行することにより同じＸＲ環境について言及してよい。これにより、各ＸＲ機器は、ローカルデータおよびデータブロックの伝送だけに集中できるようになる。すなわち、データブロックは、同じＸＲシステムであらゆるＸＲ機器が話す一種の「共通言語」の役割を果たす。したがって、開示する機構は、多数のユーザ自身の機器が、異なるＸＲ環境をサポートする場合でさえ、それらの機器を介して多数のユーザ間でＸＲ対話を可能にし、その結果、実際に上述のような現在のＸＲ技術の技術的問題を解決する。

【0012】

開示する機構はまた、場所および空間の制約など、現在のＡＲ技術の限界を克服する。データ処理技術と通信プロトコルの組合せを使用することにより、開示する機構は、より高速なデータ伝送を確実にし、ユーザが互いにリアルタイムで対話可能にする。

【0013】

開示する機構を用いて、ユーザは今では、ユーザが使用しているＸＲ技術のタイプと無関係に、互いにシームレスに参加できる。これは、より没入的な対話型仮想環境を作成する方向に向けた意義深い一歩である。換言すれば、開示する機構は、ＸＲ対話の分野で意義深い打開策を提示する。

【0014】

この概要は全体で、開示する機構の基本概念について記述し、解決すべき問題、問題を解決するための手段、および達成される効果を扱う。したがって、この概要は、以下の詳細な記述への導入部としてだけ提供されることを認識されたい。好ましい実装形態について、添付図面と共に以下の段落で詳細に記述する。

【図面の簡単な説明】

【0015】

【図1】本開示の１つまたは複数の実施形態によるＸＲシステムの概略図を示す。

【図2】図１に示すようなＸＲシステム内の送信者機器および受信者機器の概略図を示す。

【図3】図１に示すＸＲシステム内の電子計算機器のスクリーンショットの概略図を示す。

【図4】本開示の１つまたは複数の実施形態によるＸＲ対話用の方法を示す。

【図5】本開示の１つまたは複数の実施形態によるＸＲ対話用の別の方法を示す。

【発明を実施するための形態】

【0016】

図１～図５に示す内容は、本開示の範囲を限定するのではなく、実施形態を容易に例示するためだけにある。

【0017】

以下の記述で述べる実施形態は、開示する内容をどんな特有の環境、用途、または実装形態にも限定することを意図するものではない。以下の実施形態および添付図面では、実施形態に関係のない要素は描写から省略されていることを認識されたい。それに加えて、添付図面では個々の要素間の寸法および寸法のスケールは、限定するのではなく例示するためだけに提供される。その上、同じ（または類似する）参照番号は、特に指定のない限り、適切な場合、同じ（または類似する）要素に対応してよい。

【0018】

本明細書で使用する用語は、特定の実施形態だけを説明するためのものであり、本発明を限定することを意図するものではない。単数形「a」は、文脈が明らかにそうではないと示さない限り複数形も同様に含むことが意図される。用語「備える（ｃｏｍｐｒｉｓｅ）」、「含む（ｉｎｃｌｕｄｅ）」などは役割、整数、ステップ、動作、および／または要素の存在を示すが、１つまたは複数の他の役割、整数、ステップ、動作、要素、および／またはそれらの組合せの存在および追加を排除しない。用語「および／または」は、関連する列挙項目の１つまたは複数の任意の組合せおよびすべての組合せを含む。用語「第１の」、「第２の」、「第３の」などは、本明細書でさまざまな要素を記述するために使用されてよいが、これらの要素はこれらの用語により限定されるべきではない。これらの用語は、一方の要素を別の要素と区別するためにだけに使用される。その結果、たとえば以下で記述する第１の要素はまた、本発明の精神および範囲を逸脱することなく第２の要素を指す可能性がある。

【0019】

図１は、本開示の１つまたは複数の実施形態によるＸＲシステムの概略図を示す。図２は、図１に示すようなＸＲシステム１内の送信者機器および受信者機器の概略図を示す。
最初に図１を参照されたい。提案する解決機構を実装する第１の方法は、一般にＡＲ、ＶＲ、３Ｄなどのような異なるＸＲ環境で仮想対象物（たとえば、ＸＲシステム１の実世界ユーザに対応するアバタ／仮想人物、風景、装飾対象物、対話対象物など）のリアルタイム表現を提供できるＸＲシステム１を伴う。
ＸＲシステム１はまた、ユーザが自身の末端機器上で互いに、または他の仮想対象物と遠隔で対話できるようにする。前記対話は、たとえば音声、手ぶり、姿勢、顔の表情などを介して遂行されてよい。

【0020】

前述の結果を達成するために、ＸＲシステム１は、多数の電子計算機器、たとえば図１に示すような電子計算機器Ｄ１～Ｄ４を備えてよい。各電子計算機器は、それ自身のＸＲ環境（たとえば、ＡＲ、ＶＲ、３Ｄなど）を維持してよい。具体的には、電子計算機器Ｄ１～Ｄ４は、それぞれＸＲ環境Ｅ１～Ｅ４を維持してよい。

【0021】

各電子計算機器は、基本的に送受信機を備えてよい。各電子計算機器の送受信機は、外側にある他の機器と有線または無線の接続を遂行するように構成されてよい。例として無線通信を取り上げると、送受信機はアンテナ、増幅器、変調器、復調器、検出器、ＡＤ変換器、ＤＡ変換器、または他の通信要素を備えてよいがそれらに限定されない。例として、有線通信を取り上げると、送受信機は、たとえばギガビットイーサネット送受信機、ギガビット・イーサネット・インタフェース・コンバータ（ｇｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔ ｉｎｔｅｒｆａｃｅ ｃｏｎｖｅｒｔｅｒ、ＧＢＩＣ）、小さなフォームファクタのプラグ式（ｓｍａｌｌ ｆｏｒｍ－ｆａｃｔｏｒ ｐｌｕｇｇａｂｌｅ、ＳＦＰ）送受信機、１０ギガビットの小さなフォームファクタのプラグ式（ｔｅｎ－ｇｉｇａｂｉｔ ｓｍａｌｌ ｆｏｒｍ－ｆａｃｔｏｒ ｐｌｕｇｇａｂｌｅ、ＸＦＰ）送受信機などであってよいがそれらに限定されなくてよい。電子計算機器Ｄ１～Ｄ４は、図１に示すようにチャネルＰ１２、Ｐ１３、Ｐ１４、Ｐ２３、Ｐ２４、およびＰ３４で自身の送受信機を介して互いに通信してよい。

【0022】

各電子計算機器は、送受信機と電気的に接続されたプロセッサをさらに備えてよい。各電子計算機器のプロセッサは、信号処理できるさまざまなマイクロプロセッサまたはマイクロコントローラのいずれかであってよい。マイクロプロセッサまたはマイクロコントローラは動作、記憶、出力／入力などの機能を有する、一種のプログラム可能な特殊な集積回路である。その上、マイクロプロセッサまたはマイクロコントローラは、符号化されたさまざまな命令を受け入れて処理することができ、それにより、さまざまな論理演算および算術演算を遂行し、対応する動作結果を出力する。プロセッサは、電子計算機器でデータを処理し、さまざまな動作プログラムまたはアプリケーションを実行するために、さまざまな命令を解釈するようプログラムされてよい。

【0023】

いくつかの実施形態では、ＸＲシステム１内の各電子計算機器は、プロセッサおよび送受信機に電気的に接続された記憶領域をさらに備えてよい。記憶領域は、一般に電子計算機器が生成したデータ、外部機器が伝送したデータ、および／またはユーザが入力したデータを記憶するように構成されてよい。記憶領域は、第１レベルのメモリ（さらにまた主記憶または内部メモリとも呼ばれる）を備えてよく、プロセッサは、第１レベルのメモリに記憶した命令セットを直接に読み出して、必要に応じてこれらの命令セットを実行してよい。記憶領域は、任意選択で第２レベルのメモリ（さらにまた外部メモリまたは補助記憶とも呼ばれる）を備えてよく、第２レベルのメモリは、データバッファを使用して、第１レベルのメモリに記憶したデータを伝送してよい。たとえば、第２レベルのメモリは、ハードディスク、光ディスクなどであってよいがそれらに限定されない。記憶領域は、任意選択でプラグ・アンド・プレイ記憶領域またはクラウド記憶領域などの第３レベルのメモリを備えてよい。

【0024】

いくつかの実施形態では、記憶領域に加えて、ＸＲシステム１内の電子計算機器は、プロセッサおよび記憶領域と電気的に接続された少なくとも１つのモーションキャプチャ構成要素をさらに備えてよい。モーションキャプチャ構成要素は、人間／動物の身体または前記身体の一定部分の輪郭、形状、および／または動きを取り込むように、または取り込むために外部モーションキャプチャ機器と協働するように構成されてよい。たとえば顔の表情もしくは形状、空間位置、ならびに人（または、「実行者」と呼ばれる）の手、足、耳、胸、腰、脊椎、胸骨、肢、および／または他の部分は、モーションキャプチャ構成要素自身により、またはさらに外部モーションキャプチャ機器と協働して取り込まれてよい。翼、尾などのような動物の姿勢もまた、モーションキャプチャ構成要素自身により、またはさらに外部モーションキャプチャ機器と協働して取り込まれてよい。
モーションキャプチャ構成要素が生成したデータは、たとえばＭｏｔｉｏｎ Ｖｉｓｉｏｎ Ｎｅｕｒｏｓｃｉｅｎｃｅ（ＭＶＮ）、Ｂｉｏｖｉｓｉｏｎ Ｈｉｅｒａｒｃｈｙ（ＢＶＨ）、Ｆｉｌｍｂｏｘ（ＦＢＸ）、ＪＳＯＮ、ＣＳＶ、ＴＳＶ、ＸＭＬ、Ｐｒｏｔｏｂｕｆのフォーマット、または他の類似データフォーマットであってよい、またはプロセッサにより前記フォーマットに変換されてよい。

【0025】

モーションキャプチャ構成要素はＸｓｅｎｓ、Ｎｅｕｒｏｎ、Ｒｏｋｏｋｏ、Ｖｉｃｏｎ、Ｏｐｔｉｔｒａｃｋ、ＲｅａｌｌｕｓｉｏｎによるｉＣｌｏｎｅ、ＦａｃｅＲｉｇ、ＡＲＫｉｔ顔追跡、ＡＲＣｏｒｅ顔追跡、Ｖｕｆｏｒｉａ顔追跡などのような、会社が提供する機器および／またはソフトウェアをサポートする集積回路として実装されてよい。モーションキャプチャ構成要素はまた、上述のこれらの有名な既存製品以外の深さカメラ、モーショントラッカ、またはモーションキャプチャ機器をサポートしてよい、またはメディアパイプ（ｍｅｄｉａｐｉｐｅ）、ブレーズポーズ（ｂｌａｚｅｐｏｓｅ）などのような、画像またはビデオを通して身体の動きを検出するＡＩモデルをサポートしてよい。いくつかの実施形態では、モーションキャプチャ構成要素はＴｅｎｓｏｒＦｌｏｗ、ＰｙＴｏｒｃｈ、ＪＡＸ、Ｋａｌｄｉ、前述のＡＩ検出特徴を達成するフレームワークまたは他の類似フレームワークなどのＡＩライブラリ／ツールキットを採用してよい。いくつかの実施形態では、モーションキャプチャ構成要素は、上述の製品のうちの少なくとも１つとして実装されてよく、電子計算機器のデータ伝送インタフェースを介してプロセッサと電気的に接続される。

【0026】

いくつかの実施形態では、モーションキャプチャ構成要素は、集積回路として実装されたとき、対応する電子計算機器のプロセッサの中にさらに集積されてよい。

【0027】

図２を参照されたい。図１に示すような電子計算機器Ｄ１～Ｄ４の各々は、異なるシナリオ／使用事例に応じて送信者機器１１または受信者機器１２の役割を果たしてよい。送信者および受信者の定義は、基本的には以下でさらに説明するデータブロックＫ１を送信および受信する機器を指す。

【0028】

送信者機器１１は基本的にプロセッサ１１１と、プロセッサ１１１と電気的に接続された送受信機１１２と、プロセッサ１１１および送受信機１１２と電気的に接続された記憶領域１１３とを備えてよい。いくつかの実施形態では、送信者機器１１は、プロセッサ１１１および記憶領域１１３と電気的に接続された少なくとも１つのモーションキャプチャ構成要素１１４をさらに備えてよい。他方では、受信者機器１２は基本的にプロセッサ１２１と、プロセッサ１２１と電気的に接続された送受信機１２２とを備えてよい。いくつかの実施形態では、受信者機器１２は、プロセッサ１２１および送受信機１２２と電気的に接続された記憶領域１２３をさらに備えてよい。

【0029】

図２に示し以下で言及するような送信者機器１１のプロセッサ１１１、送受信機１１２、記憶領域１２３、および少なくとも１つのモーションキャプチャ構成要素１１４はそれぞれ、上記ですでに徹底的に記述し、その結果、本明細書で繰り返さない送信者機器１１、可能な／実現可能な構造、実装形態、アプリケーションの役割を果たす、電子計算機器Ｄ１～Ｄ４の中の電子計算機器のプロセッサ、送受信機、記憶領域、およびモーションキャプチャ構成要素を指すことがあることに留意されたい。同様に、図２に示し以下で言及するような受信者機器１２のプロセッサ１２１、送受信機１２２、および記憶領域１２３はそれぞれ、同じく上記で徹底的に記述した受信者機器１２、可能な／実現可能な構造、実装形態、アプリケーションの役割を果たす、電子計算機器Ｄ１～Ｄ４の中の電子計算機器のプロセッサ、送受信機、および記憶領域を指すことがある。

【0030】

ユーザ間でＸＲ対話を達成するために、ある種のユーザを表す、または前記ユーザが操作する１つまたは複数の仮想対象物は、他のユーザの電子計算機器上で実行される他のユーザのＸＲ環境で提示されるべきである。したがって、前記ユーザの電子計算機器（本明細書で以後、送信者機器１１と呼ぶ）はその記憶領域１１３を介して仮想対象物に対応する活動データＡ１を記憶してよい。

【0031】

仮想対象物はたとえば人間、動物、植物、静止対象物、視覚効果などの形をとるアバタであってよいがそれに限定されなくてよい。活動データＡ１は標的の存在、外観、動きなどを記述してよい。前記標的は、送信者機器１１のユーザなど、実行者と呼ばれることがある。活動データＡ１はたとえばＢＶＨ、ＦＢＸ、ＪＳＯＮ、ＣＳＶ、ＴＳＶ、ＸＭＬ、Ｐｒｏｔｏｂｕｆのフォーマット、または他の類似データフォーマットの形をとってよいがそれらに限定されなくてよい。

【0032】

いくつかの実施形態では、活動データＡ１はユーザの姿勢、手ぶり、顔の表情などを取り込む、送信者機器１１のモーションキャプチャ構成要素１１４を介して、送信者機器１１により生成されてよい。

【0033】

送信者機器１１は、活動データＡ１に基づき自身のプロセッサ１１を介してデータブロックＫ１をさらに生成してよい。データブロックＫ１は、少なくともタグ情報、対象物情報、および動き情報を備えてよい。データブロックＫ１は全体で、共通ＸＲ環境で仮想対象物の存在、外観、および／または動きを記述してよい。

【0034】

タグ情報は、活動データＡ１を生成した機器（この場合、送信者機器１１の役割を果たす電子計算機器）を示してよい。タグ情報は、データの供給源を識別するのに有用であり、さらにそれに応じてデータブロックＫ１を処理するのに有用である。たとえば、タグ情報は、活動データＡ１がＸｓｅｎｓのモーションキャプチャ機器により生成された、またはｉＰｈｏｎｅ（登録商標）のＡＲＫｉｔ、ＡｎｄｒｏｉｄスマートホンのＡＲＣｏｒｅなどにより生成されたことを示してよい。

【0035】

対象物情報は、仮想対象物の詳細を記述するために使用されてよい。具体的には、対象物情報は仮想対象物の存在、外観、動きなどを記述するために利用できる、仮想対象物の属性を備えてよい。たとえば、活動データＡ１がユーザの手に対応するとき（すなわち、提示すべき仮想対象物は仮想の手である）、対象物情報は、モーションキャプチャ構成要素／外部モーションキャプチャ機器に対する手の関節の位置に対応する属性を備えてよい。

【0036】

動き情報は、その名称が示唆するように、共通ＸＲ環境で仮想対象物の動きを記述するために使用されてよい。具体的には、動き情報は、共通ＸＲ環境で仮想対象物を提示するとき、対象物情報で記述したような属性の値変化を備えてよい。共通ＸＲ環境はＶＲ環境、ＡＲ環境、または３Ｄ現実環境のうち１つであってよく、送信者機器１１と受信者機器１２の両方により維持されてよい。

【0037】

共通ＸＲ環境は、「維持される」送信者機器１１および受信者機器１２で必ずしも実行されるわけではない。その代わりに、共通ＸＲ環境は、共通ＸＲ環境とＶＲ環境、ＡＲ環境、または３Ｄ現実環境との間で仮想対象物を変換するための論理を記憶することによって送信者機器１１および受信者機器１２により維持されてよく、その結果、仮想対象物は、データブロックＫ１に従って共通ＸＲ環境でうまく提示されてよい。

【0038】

データブロックＫ１は、送受信機１１２および１２２を介して送信者機器１１から受信者機器１２に提供されてよい。プロセッサ１２１はタグ情報、対象物情報、および動き情報に従って受信者ＸＲ環境で仮想対象物の動きを提示してよい。受信者ＸＲ環境は、受信者機器１２で維持および実行されるＸＲ環境であってよい。

【0039】

具体的には、プロセッサ１２１は、供給源がタグ情報（たとえば、ｉＰｈｏｎｅのＡＲＫｉｔ）、および共通ＸＲ環境および受信者ＸＲ環境において動きを提示すべき対象物（たとえば、実行者の手がポーズをとるワシ）に従って活動データＡ１を生成したことを識別してよい。プロセッサ１２１は、次いで動き情報（たとえば、仮想対象物の翼を羽ばたかせる）に従って共通ＸＲ環境で前記仮想対象物の指定された動きを認識してよく、その結果、前記動きを受信者ＸＲ環境に変換してよい。なぜなら、受信者ＸＲ環境もまた共通ＸＲ環境を維持するためである。したがって、データブロックＫ１を伝送することにより、送信者機器１１で取り込んだ／生成した動きは、異なるＸＲ技術（たとえば、ＡＲおよび３Ｄ ＶＲ）を２つの機器が採用する場合でさえ受信者機器１２で提示可能になる。

【0040】

いくつかの実施形態では、記憶領域１２３は、受信者ＸＲ環境に対応するＡＲ処理モジュールＭＤ１、ＶＲ処理モジュールＭＤ２、および３Ｄ処理モジュールＭＤ３のうち少なくとも１つを記憶してよい。プロセッサ１２１は、ＡＲ処理モジュールＭＤ１、ＶＲ処理モジュールＭＤ２、または３Ｄ処理モジュールＭＤ３を介して第２のＸＲ環境で仮想対象物の動きをさらに提示してよい。

【0041】

いくつかの実施形態では、データブロックＫ１は補正情報をさらに備えてよい。異なるＸＲプラットフォームおよび／またはモーションキャプチャ技術は異なる視野基準（たとえば、角度、取り込む、記録する、見る、および／または提示するための距離）を採用するので、受信者機器１２での視野は、好ましくは良好なユーザ体験を得るために補正される。

【0042】

プロセッサ１１１は、活動データＡ１の供給源に従って共通ＸＲ環境で提示するために必要とされる視野補正情報を算出してよい。プロセッサ１２１は、次いで共通ＸＲ環境と自分自身のＸＲ環境（すなわち、受信者ＸＲ環境）の間で補正情報に従って視野補正を遂行してよい。

【0043】

いくつかの実施形態では、記憶領域１１３は、少なくとも１つのＡＩモデルをさらに記憶してよく、プロセッサ１１１は、少なくとも１つのＡＩモデルを介して活動データＡ１を生成してよい。すなわち、活動データＡ１は、これらの実施形態では、実行者の実世界の姿勢、手ぶり、および／または他の実演に従って必ずしも生成されるわけではない。プロセッサ１１１は、ある種の仮想対象物に動きを割り当ててよい、またはＡＩを介して前記活動データＡ１を生成することにより新しい仮想対象物を作成してよい。

【0044】

それに加えて、送信者機器１１の中に記憶されたＡＩモデルは、さまざまなタイプのＸＲ環境でアニメーション、対象物、画像、音楽、音響、ビデオ、対話、仮想人物対話、仮想人物アニメーション、仮想人物活動、および仮想人物表現を直ちに生成してよい。ＡＩモデルは、ＴｅｎｓｏｒＦｌｏｗ、ＰｙＴｏｒｃｈ、ＪＡＸ、Ｋａｌｄｉ、フレームワーク、または他の類似フレームワークなどのＡＩライブラリ／ツールキットと協働するＣＮＮ、ＲＮＮ、ＬＳＴＭ、Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ ＴＴＳ、Ｔａｃｏｔｒｏｎ、ＥＳＰＮｅｔ、ＧｌｏｗＴＴＳ、ＦａｓｔＳｐｅｅｃｈ、Ｖｏｃｏｄｅｒ、ＭｅｌＧＡＮ、ＨｉＦｉ－ＧＡＮ、Ｔｒａｎｓｆｏｒｍｅｒ、ＧＡＮ、ＳｔｙｌｅＧＡＮ、ＧＰＴなどであってよい。モデルは画像認識、対象物認識、挙動認識、手追跡、身体追跡、顔認識、画像感情認識、音声感情認識、声紋認識、空間認識、音声認識、２Ｄ／３Ｄ画像生成、文章生成、音響生成、音響合成、発話認識、音声チャットシステム、音楽作成、２Ｄ／３Ｄ対象物モデル作成、人物作成、またはＡＩモデルの他の類似用途などの機能を含んでよい。

【0045】

図１および図２を参照されたい。図１に示すＸＲシステム１について、図２と共にさらに説明する。いくつかの実施形態では、ＸＲシステム１は、電子計算機器Ｄ２がサーバの役割を果たしてよく、かつ電子計算機器Ｄ１、Ｄ３、およびＤ４がクライアント機器の役割を果たしてよい集中型システムとして実装されてよい。クライアント機器のユーザＵ１～Ｕ３は、前述のデータブロックＫ１（本明細書で以後、「Ｗｏｎｄｅｒデータブロック」と呼ぶ）と同じ構造を有するデータブロックを伝送することによって自分自身の機器で互いに対話してよい。

【0046】

サーバはＡｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅ（ＡＷＳ）、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｐｌａｔｆｏｒｍ（ＧＣＰ）、Ｍｉｃｒｏｓｏｆｔ Ｃｌｏｕｄなどのクラウドサーバ、またはｈｔｔｐ、ｆｔｐ、ＷｅｂＳｏｃｋｅｔ、もしくはローカルコンピュータにインストールされたソケットであってよい。クライアントはスマートホン、ラップトップ、タブレットコンピュータ、モバイル計算機器などであってよい。クライアントはまた、ＶＲゴーグルと計算機器の組合せ、またはモーションキャプチャ機器と計算機器の組合せであってよい。

【0047】

クライアント機器のいずれも送信者機器１１、たとえば電子計算機器Ｄ１の役割を果たしてよい。電子計算機器Ｄ１は、自身のモーションキャプチャ構成要素を介してユーザＵ１の姿勢、ジェスチャ、顔の表情などを取り込んで、対応する活動データＡ１を生成しても、上記で記述されたようにＡＩモデルにより活動データＡ１を生成してもよい。電子計算機器Ｄ１は、次いでデータブロックＫ１の生成に関して上記で記述したのと同じ方法で、対応するＷｏｎｄｅｒデータブロックを生成してよく、その結果、人間に似た仮想対象物Ｊ１は、他のクライアント機器（たとえば、電子計算機器Ｄ３、Ｄ４）のＸＲ環境で提示されてよい。送信者機器１１としての電子計算機器Ｄ１はまた、自身のＸＲ環境Ｅ１で仮想対象物Ｊ１を提示してよい。

【0048】

いくつかの実施形態では、電子計算機器Ｄ１は、チャネルＰ１２を介してサーバに、すなわち電子計算機器Ｄ２にＷｏｎｄｅｒデータブロックを伝送してよい。サーバ／電子計算機器Ｄ２は次いで、それぞれチャネルＰ２３およびＰ２４を介してその他のクライアント、すなわち電子計算機器Ｄ３およびＤ４にＷｏｎｄｅｒデータブロックを転送してよい。この場合、サーバ／電子計算機器Ｄ２は、最初に図２に記述するように受信者機器１２の役割を果たしてよく（電子計算機器Ｄ１は送信者機器１１である）、次いでその他のクライアント機器にＷｏｎｄｅｒデータブロックを転送するための送信者機器１１の役割を果たしてよい（電子計算機器Ｄ３およびＤ４の各々は受信者機器１２である）。それに加えて、サーバ／電子計算機器Ｄ２のＸＲ環境Ｅ２は、図２に関して記述するように共通ＸＲ環境であり、電子計算機器Ｄ３およびＤ４は、Ｗｏｎｄｅｒデータブロックに含まれる少なくともタグ情報、対象物情報、および動き情報に従って自分自身のＸＲ環境Ｅ３およびＥ４で仮想対象物Ｊ１の動きを提示してよい。

【0049】

いくつかの実施形態では、サーバ／電子計算機器Ｄ２のプロセッサは、送信者機器１１（たとえば、電子計算機器Ｄ１）の役割を果たすクライアントからＷｏｎｄｅｒデータブロックを受信した時間に基づき、提示すべきフレームを自分のＸＲ環境Ｅ２（すなわち、共通ＸＲ環境）の中に配列して、それに応じて受信者機器１２の役割を果たすクライアントにＷｏｎｄｅｒデータブロックを転送してよい。この機構は、各機器に提示される内容のなめらかさおよび合理性を確実にする。

【0050】

いくつかの実施形態では、電子計算機器Ｄ１は、受信者機器１２の役割を果たすその他のクライアント機器に、たとえばそれぞれチャネルＰ１３およびＰ１４を介して電子計算機器Ｄ３およびＤ４にＷｏｎｄｅｒデータブロックを直接に伝送してよい。

【0051】

同様に、電子計算機器Ｄ３およびＤ４もまた、間にあるサーバ／電子計算機器Ｄ２を用いて、または用いずに他のクライアント（たとえば、電子計算機器Ｄ１）に自分自身のＷｏｎｄｅｒデータブロックを提供してよく、その結果、自身の対応する仮想対象物（たとえばユーザＵ２に対応する人間に似た形の）Ｊ２および（たとえば、扇子の形の）Ｊ３の動きは、Ｗｏｎｄｅｒデータブロックを処理することによって他のクライアントのＸＲ環境で提示されてよい。

【0052】

各仮想対象物は、対応する電子計算機器により生成されるにもかかわらず、前記電子計算機器のユーザと同じ外観または類似する外観では必ずしもないことに留意されたい。たとえば、仮想対象物Ｊ２は、人間に似たアバタであってよいが、ユーザＵ２と異なる性別、容姿、身長、および／または他の属性を有する。

【0053】

その上、いくつかの実施形態では、１人のユーザ／１つの電子計算機器は、Ｗｏｎｄｅｒデータブロックを介して他のクライアントのＸＲ環境で２つ以上の仮想対象物を提示させ、同期させてよい。そのような場合、ある種の仮想対象物の動きは、モーションキャプチャ構成要素および／またはモーションキャプチャ構成要素と協働する外部モーションキャプチャ機器に対してポーズをとる、および／または演じることによってユーザにより決定および制御されてよく、同じ電子計算機器に対応する他の仮想対象物の動きは、たとえば機器のプログラムまたはＡＩモデルにより（Ｗｏｎｄｅｒデータブロックを介して）自動的に決定および制御されてよい、または送受信機またはＩ／Ｏインタフェース（たとえば、タッチディスプレイ、（自動音声認識処理と協働する）マイクロホン、マウス、キーボードなど）を介してユーザが提供する命令に従って（Ｗｏｎｄｅｒデータブロックを介して）決定および制御されてよい。ユーザに対応する仮想対象物がプログラムまたはＡＩモデルにより制御されてよいという事実は、仮想対象物がユーザから独立した人物または対象物であってよく、その結果、独立した性格、気分、挙動などを有してよいことを意味する。

【0054】

図３を参照すると、図３は、図１に示すようなＸＲシステム内の電子計算機器のスクリーンショットの概略図を示す。いくつかの実施形態では、図１に示す電子計算機器Ｄ４などのクライアントは、そのユーザＵ３が他のユーザの仮想対象物と対話できるようにする対話手段を提供してよい。

【0055】

たとえば、仮想ボタンＢ１は、電子計算機器Ｄ４のユーザインタフェースの中に提供されてよい。ユーザＵ３はボタンＢ１を押してよく、ユーザＵ２の仮想対象物Ｊ２に対して仮想対象物Ｊ３を振る活動に対応するＷｏｎｄｅｒデータブロックを電子計算機器Ｄ４に生成させる。いくつかの実施形態では、そのようなＷｏｎｄｅｒデータブロックはまた、電子計算機器Ｄ４のモーションキャプチャ構成要素により（または外部モーションキャプチャ機器と協働して）生成されてよい。

【0056】

他のクライアントに前記Ｗｏｎｄｅｒデータブロックを伝送することにより、振る活動の存在をあらゆるＸＲ環境で引き起こしてよく、その結果、ＸＲシステム１のユーザは、仮想対象物Ｊ２が自分自身の機器が提供するＸＲ環境で仮想対象物Ｊ３により打たれたことに気づいてよい。

【0057】

いくつかの実施形態では、サーバ／電子計算機器Ｄ２は、他のクライアント機器から受信したＷｏｎｄｅｒデータブロックを転送することによるのではなく、任意の既存の仮想対象物またはさらにまた新しい仮想対象物の動きに対応するＷｏｎｄｅｒデータブロックを生成することにより、送信者機器１１の役割を果たしてよい。すなわち、サーバ／電子計算機器Ｄ２は、Ｗｏｎｄｅｒデータブロックを介してＸＲシステム１においてＸＲ環境に状態変更を発行してよい。

【0058】

いくつかの実施形態では、クライアント機器がその空間情報（たとえば、ユーザと仮想対象物の間のリアルタイム距離、絶対距離、クライアント機器間の距離、仮想対象物間の距離）を更新するとき、新しい仮想対象物の３Ｄ、ＡＲ、ＶＲの空間場所の結びつき、ＡＲ、ＶＲ、３Ｄ現実の空間情報などは、異なるクライアント機器で同期して更新するために（壁、表面、隅などの空間関連要素、または対象物情報および動き情報が記述する標的対象物である他の仮想対象物と共に）Ｗｏｎｄｅｒデータブロックに変換されてよい。

【0059】

いくつかの実施形態では、Ｗｏｎｄｅｒデータブロックの伝送は、より高速でより信頼性のあるデータ伝送を確実にするためにＲＵＤＰ（ｒｅｌｉａｂｌｅ ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ）を介して遂行されてよい。

【0060】

いくつかの実施形態では、Ｗｏｎｄｅｒデータブロックの伝送は、最下層を通して送信者機器１１のプロセッサ１１１が遂行するデータの圧縮、暗号化、および直列化を伴ってよい。たとえば、データブロックをマージした後、ＡＥＳ－２５６暗号化、Ｒｉｊｎｄａｅｌ暗号化、Ｂｌｏｗｆｉｓｈ、ＩＤＥＡ、ＲＣ４、ＲＣ５、ＲＣ６、および暗号化用の他の暗号化フォーマットなどのデータ暗号化を遂行してよい。さらにまた７ｚａおよびＬＺＭＡ２、ｔａｒ、ｂｚ２、ｘｚ、ｒａｒ、ｚｓｔなどのフォーマット、または圧縮用の他の圧縮フォーマットへのデータ圧縮を遂行してよい。それに加えて、同じくバイト、Ｐｒｏｔｏｂｕｆへの変換、またはＢＶＨ、ＦＢＸ、ＪＳＯＮ、ＣＳＶ、ＴＳＶ、ＸＭＬなどの形で保存するなど、データ直列化を遂行してよい。

【0061】

いくつかの実施形態では、ＸＲシステム１内のチャネルＰ１２、Ｐ２３、Ｐ３４、Ｐ１４、Ｐ１３、およびＰ２４は、クラウドアクセラレーションおよび／または高速放送局を使用してより高速なデータ伝送を達成してよい。

【0062】

いくつかの実施形態では、ユーザにはＸＲ環境で、ある種の内容を隠す選択肢があってよい（たとえば、ユーザＵ４は、ＸＲ環境Ｅ４で仮想対象物Ｊ１を提示しないことを選択する。そのような活動は、チャネルＰ１４を介してサーバ／電子計算機器Ｄ２と電子計算機器Ｄ４の間の通信を介して行われてよい）。追加的に、いくつかの実施形態では、ある種の仮想対象物の存在は投票、会員レベル（たとえば、他の当事者よりも高い会員レベルを有するユーザは、ある種の対象物の存在を決定する、より強い権力を有してよい）などのような機構を介してＸＲシステム１のオンライン当事者すべてにより決定されてよい。

【0063】

いくつかの実施形態では、ＸＲシステム１の各ＸＲ環境での内容はＯＢＳ、Ｓｔｒｅａｍｌａｂｓ、Ｔｗｉｔｃｈ、ＹｏｕＴｕｂｅ（登録商標）、Ｍｉｘｅｒ、Ｔｗｉｔｔｅｒ、Ｆａｃｅｂｏｏｋ、モバイルアプリケーションなどのようなライブ・ストリーミング・プラットフォームを通して同時にストリーミングされてよい。

【0064】

上記によれば、ＸＲシステム１は、本明細書のＷｏｎｄｅｒデータブロックの高速かつ大容量の交換のおかげで、自分自身のＸＲ機器を通して異なるＸＲ環境でユーザ間のリアルタイム対話を容易にし、その結果、クロスプラットフォームＸＲ対話を可能にする。それに加えて、Ｗｏｎｄｅｒデータブロックのモジュール化構造はまた開発効率を改善できる。

【0065】

提案する解決機構の第２の方法は、ＸＲ対話のための方法４および５を伴う。方法４は、
電子計算機器により、仮想対象物に対応する活動データに基づきデータブロックを生成するステップであって、データブロックは、活動データを生成した機器を示すためのタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で仮想対象物の動きを記述するための動き情報を備えるステップ（ステップ４０１の符号付き）と、
電子計算機器により、受信者機器にデータブロックを伝送するステップであって、その結果、受信者機器はタグ情報、対象物情報、および動き情報に従って第２のＸＲ環境で仮想対象物の動きを提示するステップ（ステップ４０２の符号付き）と
を備えてよい。

【0066】

いくつかの実施形態では、方法４に関して、データブロックは補正情報をさらに備えてよく、受信者機器はタグ情報、対象物情報、動き情報、および補正情報に従って仮想対象物の動きを提示してよく、補正情報に従って視野補正を提示する。

【0067】

いくつかの実施形態では、方法４に関して、電子計算機器は、第１のＸＲ環境を維持するサーバを介して受信者機器にデータブロックを伝送してよい。

【0068】

いくつかの実施形態では、方法４に関して、電子計算機器は、少なくとも１つのモーションキャプチャ構成要素を備えてよい。その上、方法４は、電子計算機器により、少なくとも１つのモーションキャプチャ構成要素を用いて仮想対象物に対応する実行者の動きを取り込むことによって活動データを生成するステップをさらに備えてよい。

【0069】

いくつかの実施形態では、方法４は、電子計算機器により、電子計算機器に記憶した少なくとも１つのＡＩモデルを介して活動データを生成するステップをさらに備えてよい。

【0070】

方法５については、方法５は、
電子計算機器により、送信者機器からデータブロックを受信するステップであって、データブロックは、データブロックを生成するために使用する活動データを生成した機器を示すためのタグ情報、仮想対象物に対応する対象物情報、および第１のＸＲ環境で仮想対象物の動きを記述するための動き情報を備えるステップ（ステップ５０１の符号付き）と、
電子計算機器により、タグ情報、対象物情報、および動き情報に従って第２のＸＲ環境で仮想対象物の動きを提示するステップ（ステップ５０２の符号付き）と
を備えてよい。

【0071】

いくつかの実施形態では、方法５に関して、電子計算機器は、第２のＸＲ環境を維持して、第２のＸＲ環境に対応するＡＲ処理モジュール、ＶＲ処理モジュール、および３Ｄ処理モジュールのうち少なくとも１つを記憶してよい。それに加えて、方法５は、電子計算機器により、ＡＲ処理モジュール、ＶＲ処理モジュール、または３Ｄ処理モジュールを介して第２のＸＲ環境で対象物の動きを提示するステップをさらに備えてよい。

【0072】

いくつかの実施形態では、方法５に関して、データブロックは補正情報をさらに備えてよく、電子計算機器はタグ情報、対象物情報、動き情報、および補正情報に従って仮想対象物の動きを提示してよい。それに加えて、方法５は、電子計算機器により、補正情報に従って視野補正を遂行するステップをさらに備えてよい。

【0073】

いくつかの実施形態では、方法５に関して、電子計算機器は、第１のＸＲ環境を維持するサーバを介して送信者機器からデータブロックを受信してよく、第２のＸＲ環境を維持してよい。

【0074】

いくつかの実施形態では、方法５に関して、データブロックは、送信者機器の少なくとも１つのＡＩモデルにより生成されてよい。

【0075】

いくつかの実施形態では、方法４および方法５は、それぞれコンピュータプログラム製品として実装されてよい。コンピュータプログラム製品が電子計算機器の中にロードされたとき、複数のプログラム命令は、上記で記述するように方法４または方法５を実行するように適合される。コンピュータプログラム製品は、読出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、フラッシュメモリ、フロッピーディスク、携帯型ハードディスク、磁気テープ、ネットワークにアクセスできるデータベース、または同じ機能を有する、当業者に周知の任意の他の記憶媒体であってよいがそれらに限定されなくてよい非一時的で有形の機械可読媒体／コンピュータ可読媒体に記憶されてよい。

【0076】

方法４または方法５の各実施形態は、基本的にはＸＲシステム１のある種の実施形態に対応する。したがって、当業者は、方法４および方法５の実施形態のすべてが上記で詳細に記述されているわけではないとしても、ＸＲシステム１についての上記の記述について単に参照することにより方法４または方法５の対応する実施形態すべてを完全に理解および実装できる。

【0077】

本明細書でさまざまな実施形態を開示するが、本発明はこれらの実施形態に限定されない。上記で記述する実施形態の均等の対象物または方法（たとえば、上記で記述された実施形態の修正形態および／または組合せ）もまた本開示の精神および範囲を逸脱することなく本発明の一部である。本発明の保護範囲は、添付の以下の特許請求の範囲により画定される内容に従う。

【図1】

【図2】

【図3】

【図4】

【図5】