(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-05
(45)【発行日】2023-12-13
(54)【発明の名称】環境に基づく通信データの提示
(51)【国際特許分類】
G06F 3/01 20060101AFI20231206BHJP
G06F 3/04815 20220101ALI20231206BHJP
G06F 3/16 20060101ALI20231206BHJP
【FI】
G06F3/01 510
G06F3/04815
G06F3/16 540
G06F3/16 620
(21)【出願番号】P 2021564638
(86)(22)【出願日】2020-05-28
(86)【国際出願番号】 US2020034771
(87)【国際公開番号】W WO2020243212
(87)【国際公開日】2020-12-03
【審査請求日】2021-10-29
(32)【優先日】2019-05-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503260918
【氏名又は名称】アップル インコーポレイテッド
【氏名又は名称原語表記】Apple Inc.
【住所又は居所原語表記】One Apple Park Way,Cupertino, California 95014, U.S.A.
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100139712
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】ソマー ブルース エム
(72)【発明者】
【氏名】ヴォーク リーニッド
(72)【発明者】
【氏名】デリツ センテーノ ルイス ラファエル
【審査官】塩屋 雅弘
(56)【参考文献】
【文献】米国特許出願公開第2017/0326457(US,A1)
【文献】米国特許出願公開第2019/0088016(US,A1)
【文献】米国特許出願公開第2017/0243403(US,A1)
【文献】米国特許出願公開第2019/0150875(US,A1)
【文献】米国特許出願公開第2018/0341618(US,A1)
【文献】国際公開第2018/155052(WO,A1)
【文献】米国特許出願公開第2013/0141456(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/04815
G06F 3/16
(57)【特許請求の範囲】
【請求項1】
第1の人に関連付けられた第1のデバイスであって、ディスプレイと、非一時的メモリと、前記ディスプレイ及び前記非一時的メモリに結合された1つ以上のプロセッサと、を含む、第1のデバイスにおいて、
第2の人に対応する第2のデバイスと関連付けられた通信データを取得することと、
前記第1のデバイスと前記第2のデバイスとが共有環境内にあるかどうかを判定することと、
前記第1のデバイスと前記第2のデバイスとが共有環境内にないと判定したことに応じて、前記第2のデバイスに関連付けられた前記通信データに基づいて、前記第2の人に対応する前記第2のデバイスのデバイスタイプに基づいて生成される前記第2の人の仮想表現を表示することと、を含む、方法。
【請求項2】
前記第2のデバイスのデバイスタイプを判定すること、を更に含む、請求項1に記載の方法。
【請求項3】
前記デバイスタイプが第1のデバイスタイプであることに応じて、前記第2のデバイスに関連付けられた前記通信データに基づいて、前記第2の人の第1のタイプの前記仮想表現を生成することを更に含む、請求項2に記載の方法。
【請求項4】
前記第2の人の前記第1のタイプの前記仮想表現を生成することが、前記第2の人を表す3次元(3D)仮想オブジェクトを生成することを含む、請求項3に記載の方法。
【請求項5】
前記第1のデバイスタイプが、ヘッドマウントデバイス(HMD)を含む、請求項3又は4に記載の方法。
【請求項6】
前記デバイスタイプが第2のデバイスタイプであることに応じて、前記第2のデバイスに関連付けられた前記通信データに基づいて、前記第2の人の第2のタイプの前記仮想表現を生成することを更に含む、請求項2に記載の方法。
【請求項7】
前記第2の人の前記第2のタイプの前記仮想表現を生成することは、前記第2の人を表す2次元(2D)仮想オブジェクトを生成することを含む、請求項6に記載の方法。
【請求項8】
前記第2のタイプの前記仮想表現は、前記第2の人のビデオを含み、前記ビデオは、前記第2のデバイスに関連付けられた前記通信データ内に符号化される、請求項6に記載の方法。
【請求項9】
前記第2のデバイスタイプは、ハンドヘルドデバイスを含む、請求項6から8のいずれか一項に記載の方法。
【請求項10】
前記第2のデバイスタイプは、ヘッドマウントデバイスではないデバイスを含む、請求項6から9のいずれか一項に記載の方法。
【請求項11】
カードの類似性閾値内であるグラフィカルユーザインタフェース(GUI)要素内に、前記第2の人の前記第2のタイプの前記仮想表現を表示することを更に含む、請求項6から10のいずれか一項に記載の方法。
【請求項12】
前記第1のデバイスが1つ以上のスピーカを含み、
前記方法は、前記第2の人に対応する音声を、前記1つ以上のスピーカを介して出力することを更に含み、
前記第2の人の前記仮想表現から前記音声が発せられているかのような状況を提供するために、前記音声が空間化される、
請求項1から11のいずれか一項に記載の方法。
【請求項13】
前記第2のデバイスに関連付けられた前記通信データに基づいて、前記音声を生成することを更に含む、請求項12に記載の方法。
【請求項14】
前記音声が表面に反射しているかのような状況を提供するために、初期反射音を生成することを更に含む、請求項12又は13に記載の方法。
【請求項15】
前記音声が反響を有するかのような状況を提供するために、後期残響音を生成することを更に含む、請求項12から14のいずれか一項に記載の方法。
【請求項16】
前記第1のデバイスと前記第2のデバイスとが共有環境内にあると判定したことに応じて、前記第2の人の前記仮想表現の表示を取りやめることを更に含む、請求項1から15のいずれか一項に記載の方法。
【請求項17】
前記共有環境のパススルーを提示することを更に含む、請求項16に記載の方法。
【請求項18】
前記パススルーを提示することが、前記共有環境の光学パススルーを提示することを含む、請求項17に記載の方法。
【請求項19】
前記パススルーを提示することが、前記共有環境のビデオパススルーを表示することを含む、請求項17に記載の方法。
【請求項20】
前記パススルーを提示することが、ウィンドウを表示することと、前記パススルーを前記ウィンドウ内に表示することと、を含む、請求項17から19のいずれか一項に記載の方法。
【請求項21】
前記共有環境が、物理的共有設定を含む、請求項1から20のいずれか一項に記載の方法。
【請求項22】
前記共有環境が、共有の強化現実(ER)設定を含む、請求項1から20のいずれか一項に記載の方法。
【請求項23】
前記第1のデバイスと前記第2のデバイスとが前記共有環境内にあるかどうかを判定することは、前記第2のデバイスに関連付けられた識別子が、短距離通信を介して検出可能かどうかを判定することを含む、請求項1から22のいずれか一項に記載の方法。
【請求項24】
前記第1のデバイスと前記第2のデバイスとが前記共有環境内にあるかどうかを判定することは、前記第1のデバイスのマイクロフォンを介して受信した音声が、前記第2のデバイスに関連付けられた前記通信データ内に符号化された音声の類似性閾値内にあるかどうかを判定することを含む、請求項1から23のいずれか一項に記載の方法。
【請求項25】
前記第1のデバイスと前記第2のデバイスとが前記共有環境内にあるかどうかを判定することは、前記第2の人が前記共有環境内にいるかどうかを、前記第1のデバイスの画像センサを介してキャプチャされた画像に基づいて判定することを含む、請求項1から24のいずれか一項に記載の方法。
【請求項26】
1つ以上のプロセッサと、
ディスプレイと、
非一時的メモリと、
前記非一時的メモリに記憶された1つ以上のプログラムと、を備えるデバイスであって、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されたときに、前記デバイスに請求項1から25のいずれか一項に記載の方法を実行させる、デバイス。
【請求項27】
1つ以上のプログラムを記憶する非一時的メモリであって、前記1つ以上のプログラムが、ディスプレイを有するデバイスの1つ以上のプロセッサによって実行されたときに、前記デバイスに請求項1から25のいずれか一項に記載の方法を実行させる、非一時的メモリ。
【請求項28】
デバイスであって、
1つ以上のプロセッサと、
ディスプレイと、
非一時的メモリと、
前記デバイスに請求項1から25のいずれか一項に記載の方法を実行させる手段と、を備える、デバイス。
【請求項29】
出力デバイスと、非一時的メモリと、前記出力デバイス及び前記非一時的メモリと結合された1つ以上のプロセッサと、を含む第1のデバイスにおいて、
前記第1のデバイスが第2のデバイス及び第3のデバイスとの通信セッションにある間に、
前記第2のデバイス及び前記第3のデバイスと関連付けられた通信データを取得することと、
前記第1のデバイス及び前記第2のデバイスが物理的共有設定にあると判定したことに応じて、前記出力デバイスが前記第2のデバイスに関連付けられた前記通信データの一部分を出力することを防止するために、前記第2のデバイスに関連付けられた前記通信データの前記一部分をマスクすることと、
前記第3のデバイスが前記物理的共有設定にないと判定したことに応じて、前記出力
デバイスを介して、前記第3のデバイスに関連付けられた前記通信データの一部を出力することと、
を含む、方法。
【請求項30】
前記出力デバイスが、スピーカを含み、前記通信データの前記一部分をマスクすることは、前記スピーカが前記通信データの音声部分を再生することを防止するために、前記通信データの前記音声部分をマスクすることを含む、請求項29に記載の方法。
【請求項31】
前記出力デバイスが、ディスプレイを含み、前記通信データの前記一部分をマスクすることは、前記ディスプレイが前記通信データのビデオ部分を表示することを防止するために、前記通信データの前記ビデオ部分をマスクすることを含む、請求項29又は30に記載の方法。
【請求項32】
前記通信データは、前記第2のデバイスに関連付けられた人の仮想表現を符号化し、前記通信データの前記一部分をマスクすることは、前記人の前記仮想表現の表示を取りやめることを含む、請求項29から31のいずれか一項に記載の方法。
【請求項33】
前記物理的共有設定のパススルーを提示することを更に含む、請求項29から32のいずれか一項に記載の方法。
【請求項34】
前記パススルーを提示することが、前記物理的共有設定の光学パススルーを提示することを含む、請求項33に記載の方法。
【請求項35】
前記パススルーを提示することが、前記物理的共有設定のビデオパススルーを表示することを含む、請求項33に記載の方法。
【請求項36】
前記第1のデバイスと前記第2のデバイスとが前記物理的共有設定にあると判定することは、前記第2のデバイスに関連付けられた識別子を、短距離通信を介して検出することを含む、請求項29から35のいずれか一項に記載の方法。
【請求項37】
前記第1のデバイスと前記第2のデバイスとが前記物理的共有設定にあると判定することは、前記通信データ内に符号化された第2の音声の類似性閾値内にある第1の音声を、前記第1のデバイスのマイクロフォンを介して検出することを含む、請求項29から36のいずれか一項に記載の方法。
【請求項38】
前記第1のデバイス及び前記第2のデバイスが前記物理的共有設定にあると判定することは、前記第2のデバイスに関連付けられた人を、前記第1のデバイスの画像センサを介して検出することを含む、請求項29から37のいずれか一項に記載の方法。
【請求項39】
前記物理的共有設定から離れる前記第2のデバイスの動きを検出することと、
前記出力デバイスが前記通信データの前記一部分を出力することを可能とするために、前記通信データの前記一部分をマスクすることを取りやめることと、を更に含む、請求項29から38のいずれか一項に記載の方法。
【請求項40】
前記物理的共有設定から離れる前記第2のデバイスの前記動きを検出することは、前記第2のデバイスに関連付けられた識別子が、短距離通信を介して検出できないと判定することを含む、請求項39に記載の方法。
【請求項41】
前記物理的共有設定から離れる前記第2のデバイスの前記動きを検出することは、前記第1のデバイスのマイクロフォンを介して検出された第1の音声が、前記通信データ内に符号化された第2の音声の類似性閾値内にないと判定することを含む、請求項39又は40に記載の方法。
【請求項42】
前記物理的共有設定から離れる前記第2のデバイスの前記動きを検出することは、前記第1のデバイスの環境センサによってキャプチャされた環境データが、前記第2のデバイスに関連付けられた人が前記物理的共有設定から立ち去ったことを示すと判定することを含む、請求項39から41のいずれか一項に記載の方法。
【請求項43】
前記出力デバイスが、スピーカを含み、前記通信データの前記一部分をマスクすることを取りやめることは、前記通信データの音声部分を、前記スピーカを介して出力することを含む、請求項39から42のいずれか一項に記載の方法。
【請求項44】
前記音声部分を出力することは、前記第2のデバイスに関連付けられた人の仮想表現から前記音声部分が発せられているかのような状況を提供するために、前記音声部分を空間化することを含む、請求項43に記載の方法。
【請求項45】
前記出力デバイスが、ディスプレイを含み、前記通信データの前記一部分をマスクすることを取りやめることは、前記通信データのビデオ部分を前記ディスプレイ上に表示することを含む、請求項39から44のいずれか一項に記載の方法。
【請求項46】
前記通信データは、前記第2のデバイスに関連付けられた人の仮想表現を符号化し、前記通信データの前記一部分をマスクすることを取りやめることは、前記人の前記仮想表現を表示することを含む、請求項39から45のいずれか一項に記載の方法。
【請求項47】
1つ以上のプロセッサと、
ディスプレイと、
非一時的メモリと、
前記非一時的メモリに記憶された1つ以上のプログラムと、
を備える、デバイスであって、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されたときに、前記デバイスに請求項29から46のいずれか一項に記載の方法を実行させる、デバイス。
【請求項48】
1つ以上のプログラムを記憶する非一時的メモリであって、前記1つ以上のプログラムが、ディスプレイを有するデバイスの1つ以上のプロセッサによって実行されたときに、前記デバイスに請求項29から46のいずれか一項に記載の方法を実行させる、非一時的メモリ。
【請求項49】
デバイスであって、
1つ以上のプロセッサと、
ディスプレイと、
非一時的メモリと、
前記デバイスに請求項29から46のいずれか一項に記載の方法を実行させる手段と、を備える、デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2019年5月31日出願の米国特許仮出願第62/855,155号の利益を主張し、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、概して、環境に基づいて通信データを提示することに関する。
【背景技術】
【0003】
いくつかのデバイスは、強化現実(ER;enhanced reality)設定を生成し、提示することができる。一部のER設定は、物理的設定のシミュレートされた置換である仮想設定を含む。一部のER設定は、物理的設定の修正されたバージョンである拡張設定を含む。ER設定を提示するいくつかのデバイスとしては、スマートフォン、ヘッドマウントディスプレイ(HMD;head-mountable display)、眼鏡、ヘッドアップディスプレイ(HUD;heads-up display)、及び光学投影システムなどのモバイル通信デバイスが挙げられる。以前から利用可能な、ER設定を提示するデバイスのほとんどは、通信データを提示するのに有用ではない。
【0004】
本開示は、当業者によって理解され得るように、いくつかの例示的な実装形態の態様を参照することによって、より詳細な説明を有してもよく、そのいくつかは添付図面に示されている。
【図面の簡単な説明】
【0005】
【
図1A】いくつかの実装形態に係る、例示的な動作環境の図である。
【
図1B】いくつかの実装形態に係る、例示的な動作環境の図である。
【
図1C】いくつかの実装形態に係る、例示的な動作環境の図である。
【
図1D】いくつかの実装形態に係る、例示的な動作環境の図である。
【
図1E】いくつかの実装形態に係る、例示的な動作環境の図である。
【
図1F】いくつかの実装形態に係る、例示的な動作環境の図である。
【
図1G】いくつかの実装形態に係る、例示的な動作環境の図である。
【
図2A】いくつかの実装形態に係る、通信データを提示する方法のフローチャート表現である。
【
図2B】いくつかの実装形態に係る、通信データを提示する方法のフローチャート表現である。
【
図2C】いくつかの実装形態に係る、通信データを提示する方法のフローチャート表現である。
【
図2D】いくつかの実装形態に係る、通信データを提示する方法のフローチャート表現である。
【
図3A】いくつかの実装形態に係る、通信データをマスクする方法のフローチャート表現である。
【
図3B】いくつかの実装形態に係る、通信データをマスクする方法のフローチャート表現である。
【
図3C】いくつかの実装形態に係る、通信データをマスクする方法のフローチャート表現である。
【
図4】いくつかの実装形態に係る、通信データを提示するデバイスのブロック図である。
【0006】
慣行により、図面に示される様々な特徴は縮尺どおりに描かれていない場合がある。したがって、様々な特徴部の寸法は明確化のために、任意に拡大又は縮小されている場合がある。加えて、いくつかの図面は、所与のシステム、方法、又はデバイスの構成要素の全てを描いていない場合がある。最後に、本明細書及び図の全体を通して、同様の特徴を有することを示すために、同様の参照番号が使用される場合がある。
【発明の概要】
【0007】
本明細書に開示される様々な実装形態は、通信データを提示するためのデバイス、システム、及び方法を含む。様々な実装形態では、第1の人に関連付けられた第1のデバイスは、ディスプレイと、非一時的メモリと、ディスプレイ及び非一時的メモリに結合された1つ以上のプロセッサと、を含む。いくつかの実装形態では、方法は、第2の人に対応する第2のデバイスに関連付けられた通信データを取得することを含む。いくつかの実装形態では、方法は、第1のデバイス及び第2のデバイスが共有環境内にあるかどうかを判定することを含む。いくつかの実装形態では、方法は、第1のデバイスと第2のデバイスとが共有環境内にないと判定したことに応じて、第2のデバイスに関連付けられた通信データに基づいて、第2の人の強化現実(ER;enhanced reality)の表現を表示することを含む。
【0008】
本明細書に開示された様々な実装形態は、通信データをマスクするためのデバイス、システム、及び方法を含む。様々な実装形態では、第1のデバイスは、出力デバイスと、非一時的メモリと、出力デバイス及び非一時的メモリと結合された1つ以上のプロセッサと、を含む。いくつかの実装形態では、方法は、第1のデバイスが第2のデバイスとの通信セッションにある間に、第2のデバイスに関連付けられた通信データを取得することを含む。いくつかの実装形態では、方法は、第1のデバイスと第2のデバイスとが物理的共有設定にあることを判定することを含む。いくつかの実装形態では、方法は、出力デバイスが通信データの一部分を出力することを防止するために、通信データの一部分をマスクすることを含む。
【0009】
いくつかの実装形態によれば、デバイスは、1つ以上のプロセッサと、非一時的メモリと、1つ以上のプログラムと、を含む。いくつかの実装形態では、1つ以上のプログラムは、非一時的メモリ内に記憶されており、1つ以上のプロセッサによって実行される。いくつかの実装形態では、1つ以上のプログラムは、本明細書に記載のいずれかの方法を実行する、又は実行させるための命令を含む。いくつかの実装形態によれば、非一時的コンピュータ可読記憶媒体は、内部に命令を記憶しており、この命令は、デバイスの1つ以上のプロセッサによって実行されたときに、本明細書内で説明する方法のうちのいずれかの動作をデバイスに実行させる、又は動作の実行を行わせる。いくつかの実装形態によれば、デバイスは、1つ以上のプロセッサと、非一時的メモリと、本明細書に記載される方法のいずれかを実行する、又は実行させる手段と、を含む。
【発明を実施するための形態】
【0010】
図面に示される例示的な実装形態の十分な理解を提供するために、数多くの詳細が記載されている。しかしながら、図面は単に本開示のいくつかの例示的な態様を示すものであり、したがって、限定的であると考慮されるべきではない。当業者であれば、他の有効な態様及び/又は変形が本明細書に記載される特定の詳細全てを含むものではないと理解するであろう。更に、本明細書に記載される例示的な実装形態のより適切な態様を不明瞭にしないよう、周知のシステム、方法、構成要素、デバイス及び回路は、網羅的に詳細を記載していない。
【0011】
そのようなシステムを、様々な強化現実の技術に関連して使用するための電子システム及び技術の様々な例が記載されている。
【0012】
物理的設定とは、様々な人が電子システムの使用なしに検知し、かつ/又は対話することができる世界を指す。物理的公園などの物理的設定は、例えば、物理的な野生生物、物理的な樹木、及び物理的な植物などの物理的要素を含む。人は、例えば、視覚、嗅覚、触覚、味覚、及び聴覚を含む1つ以上の感覚を用いて、物理的設定を直接感知し、かつ/又は別の方法で物理的設定と対話することができる。
【0013】
強化現実(ER)設定は、物理的設定とは対照的に、電子システムを用いて様々な人が感知し、かつ/又は他の方法で対話することができる、完全に(又は部分的に)コンピュータ生成された設定を指す。ERにおいて、人の動きは部分的に監視され、それに応じて、ER設定において少なくとも1つの仮想オブジェクトに対応する少なくとも1つの属性が、1つ以上の物理的法則と一致するように変更される。例えば、上方を見ている人をERシステムが検出することに応じて、ERシステムは、その人に提示される様々な音声及びグラフィックを、そのような音と外観の物理的設定における変化の仕方と一致するように、調整することができる。例えば、また、動きの表現(例えば、ボイスコマンド)に応じて、ER設定における仮想オブジェクト(単数又は複数)の属性(単数又は複数)に対する調整が行われてもよい。
【0014】
人は、視覚、嗅覚、味覚、触覚、及び音などの1つ以上の感覚を用いて、ERオブジェクトを感知し、かつ/又はERオブジェクトと対話し得る。例えば、人は、多次元の又は空間的な音響設定を生成するオブジェクトを感知し、かつ/又はオブジェクトと対話し得る。多次元の又は空間的な音響設定は、多次元空間内の個別の音響源の知覚を人に提供する。このようなオブジェクトはまた、音響透過性を可能にすることができ、これは、コンピュータ生成された音声を用いて又は用いずに、物理的設定から音声を選択的に組み込むことができる。一部のER設定では、人は、音響オブジェクトのみを感知し、かつ/又は音響オブジェクトのみと対話することができる。
【0015】
仮想現実(VR;Virtual reality)は、ERの一例である。VR設定とは、1つ以上の感覚について、コンピュータ生成された感覚入力のみを含むように構成された強化設定を指す。VR設定は、人が感知し、かつ/又は対話することができる複数の仮想オブジェクトを含む。人は、コンピュータ生成された設定内での人のアクションのうちの少なくとも一部のシミュレーションを通じて、かつ/又は、コンピュータ生成された設定内での人若しくは人の存在のシミュレーションを通じて、VR設定内において仮想オブジェクトを感知し、かつ/又は仮想オブジェクトと対話することができる。
【0016】
複合現実(MR;Mixed reality)は、ERの別の例である。MR設定とは、コンピュータ生成された感覚入力(例えば、仮想オブジェクト)を、物理的設定からの感覚入力、又は物理的設定からの感覚入力の表現と統合するように構成された、強化設定を指す。現実スペクトルでは、MR設定は、一端における完全な物理的設定と、他端におけるVR設定との間にあり、両端は含まない。
【0017】
一部のMR設定において、コンピュータ生成された感覚入力は、物理的設定からの感覚入力の変化に基づいて調整され得る。また、MR設定を提示するためのいくつかの電子システムは、物理的設定に対する位置及び/又は向きを検出して、現実のオブジェクト(すなわち、物理的設定からの物理的要素、又はその表現)と仮想オブジェクトとの対話を可能とすることができる。例えば、システムは動きを検出し、それに応じてコンピュータ生成された感覚入力を調整することができ、それにより、例えば、仮想の木が物理的構造に対して固定されて見える。
【0018】
拡張現実(AR;Augmented reality)は、MRの例である。AR設定は、1つ以上の仮想オブジェクトが物理的設定(又はその表現)の上に重ね合わされた、強化設定を指す。一例として、電子システムは、不透明ディスプレイと、物理的設定のビデオ及び/又は画像をキャプチャするための1つ以上の撮像センサとを含み得る。このようなビデオ及び/又は画像は、例えば、物理的設定の表現であってもよい。ビデオ及び/又は画像は、仮想オブジェクトと組み合わされ、次いで、それらの組み合わせが不透明ディスプレイ上に表示される。人は、物理的設定の画像及び/又はビデオを介して、物理的設定を間接的に見ることができる。人は、こうして物理的設定の上に重ね合わされた仮想オブジェクトを観察することができる。システムが物理的設定の画像をキャプチャし、キャプチャした画像を用いてAR設定を不透明なディスプレイ上に表示する場合、表示された画像はビデオパススルーと呼ばれる。あるいは、透明又は半透明ディスプレイがAR設定を表示するための電子システムに含まれてもよく、それにより、人は、透明又は半透明ディスプレイを通して物理的設定を直接見ることができる。仮想オブジェクトは、半透明又は透明なディスプレイ上に表示され得、それにより、人は、物理的設定上に重ね合わされた仮想オブジェクトを観察することができる。更に別の実施例では、仮想オブジェクトを物理的設定上に投影するために、投影システムを利用することができる。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され得、それにより、人は、物理的設定の上に重ね合わされた仮想オブジェクトを観察することができる。
【0019】
AR設定はまた、物理的設定の表現が、コンピュータ生成された感覚データによって修正された強化設定を指してもよい。例として、修正された部分が(完全に再現されたバージョンではないが)、依然として元のキャプチャされた画像(単数又は複数)の表現であり得るように、物理的設定の表現の少なくとも一部分が視覚的に修正(例えば、拡大)されてもよい。あるいは、ビデオパススルーを提供する際に、画像センサ(単数又は複数)によってキャプチャされた視点とは異なる特定の視点を適用するために、1つ以上のセンサ画像を修正することができる。別の実施例として、物理的設定の表現の一部分が、その一部分を視覚的に不明瞭にするか、又は除外することによって変更されてもよい。
【0020】
拡張仮想感(AV;augmented virtuality)は、MRの別の例である。AV設定は、仮想的な又はコンピュータ生成された設定が、物理的設定からの1つ以上の感覚入力を統合した、強化設定を指す。そのような感覚入力(単数又は複数)は、物理的設定の1つ以上の特性の表現を含み得る。仮想オブジェクトは、例えば、撮像センサ(単数又は複数)によってキャプチャされた物理的要素に関連付けられた色を組み込んでもよい。あるいは、仮想オブジェクトは、例えば、撮像、オンライン気象情報、及び/又は気象関連センサを介して識別される気象条件などの物理的設定に対応する現在の気象条件と一致する特性を採用してもよい。別の例として、ARの公園は、仮想の構造物、植物、及び樹木を含み得るが、ARの公園の設定内の動物は、物理的な動物の画像から正確に再現される特徴を含んでもよい。
【0021】
様々なシステムが、人がER設定を感知し、かつ/又はER設定と対話することを可能にする。例えば、ヘッドマウントシステムは、1つ以上のスピーカ及び不透明ディスプレイを含んでもよい。別の例として、外部ディスプレイ(例えば、スマートフォン)をヘッドマウントシステム内に組み込むことができる。ヘッドマウントシステムは、物理的設定の音声をキャプチャするためのマイクロフォン、及び/又は物理的設定の画像/ビデオをキャプチャするための画像センサを含んでもよい。ヘッドマウントシステムには、透明又は半透明のディスプレイが含まれてもよい。透明又は半透明のディスプレイは、例えば、基板を含んでもよく、この基板を通って(画像を表す)光が人の眼に向けられる。ディスプレイはまた、LED、OLED、液晶オンシリコン、レーザ走査光源、デジタル光プロジェクタ(DLP;digital light projector)、又はこれらの任意の組み合わせを組み込んでもよい。光が透過される基板は、光学反射体、ホログラフィック基板、光導波路、光結合器、又はこれらの任意の組み合わせであってもよい。透明又は半透明のディスプレイは、例えば、透明/半透明の状態と不透明な状態との間で選択的に遷移することができる。別の実施例では、電子システムは、投影ベースシステムであってもよい。投影ベースシステムでは、網膜投影を使用して、人の網膜上に画像を投影することができる。あるいは、投影ベースシステムはまた、例えば、仮想オブジェクトをホログラムとして又は物理的表面上に投影するなど、仮想オブジェクトを物理的設定に投影してもよい。ERシステムの他の例としては、グラフィックを表示するように構成されたウィンドウ、ヘッドホン、イヤフォン、スピーカ構成、グラフィックを表示するように構成されたレンズ、ヘッドアップディスプレイ、グラフィックを表示するように構成された自動車ウィンドシールド、入力機構(例えば、触覚機能を有する又は有さないコントローラ)、デスクトップ又はラップトップコンピュータ、タブレット、又はスマートフォンが挙げられる。
【0022】
第1の人に関連付けられた第1のデバイスが、第2の人に関連付けられた第2のデバイスと通信するとき、第1のデバイス上に第2の人のビデオ又はER表現を提示することは、意味がない場合があり得る。例えば、第1のデバイスと第2のデバイスとが同じ環境内にある場合、第2の人のビデオ又はER表現を第1のデバイス上に提示することは、第1の人が第2の人を見ることができるため、意味がない場合がある。いくつかのシナリオでは、第2のデバイスのタイプを示すことは、第1の人が第2の人とどのように対話するかが分かるため有益であり得る。例えば、第2のデバイスが第2の人に第1のデバイスの周囲環境の限定されたビューを提供する場合、第1の人は、第2の人には見えない周囲環境の領域に注意を向ける必要はない。
【0023】
本開示は、第1のデバイスが、第2のデバイスのプレゼンス状態に基づいて、第2のデバイスに関連付けられた通信データを提示することを可能にする、方法、デバイス及び/又はシステムを提供する。第1のデバイスが第2のデバイスに関連付けられた通信データを取得すると、第1のデバイスは、第2のデバイスが第1のデバイスと同じ環境内にない場合には、第2の人のビデオ又はER表現を提示する。第2のデバイスが第1のデバイスと同じ環境内にある場合、第1のデバイスは、環境のパススルーを提示し、通信データ内に符号化されたビデオ又はER表現の提示を取りやめる。いくつかのシナリオでは、第1のデバイスは、第2のデバイスがHMDを含むときに、第2の人のER表現を提示し、第1のデバイスは、第2のデバイスが非HMDデバイス(例えば、タブレット又はスマートフォンなどのハンドヘルドデバイス、ラップトップ及び/又はデスクトップ)を含むときに、ビデオを提示する。
【0024】
第1の人に関連付けられた第1のデバイスが、第2の人に関連付けられた第2のデバイスと通信するときに、ネットワーク音声及びビデオを提示することは、発話が聞き取れずビデオが無意味なため、エクスペリエンスが損なわれる結果となり得る。例えば、第1のデバイスと第2のデバイスとが同じ物理的設定にある場合、第1の人には、ネットワーク音声が第1のデバイスを介して聞こえ、かつ直接音声が第2の人から聞こえる可能性が高い。ネットワーク音声と直接音声との間の干渉により、発話が聞き取れない結果となり得る。同様に、第2のデバイスが第1のデバイスと同じ物理的設定にある間に、第1のデバイスが第2の人のER表現を表示すると、第1の人は、第2の人の代わりに第2の人のER表現を見る可能性があり、通信エクスペリエンスが損なわれる結果となり得る。
【0025】
本開示は、第1のデバイスと第2のデバイスとが同じ物理的設定にあるときに、通信データをマスクするための方法、デバイス及び/又はシステムを提供する。第2のデバイスが第1のデバイスと同じ物理的設定にある場合、第1のデバイスは、ネットワーク音声と直接音声との間の干渉を低減するために、ネットワーク音声をマスクする。第2のデバイスが第1のデバイスと同じ物理的設定にあるときに、ネットワーク音声をマスクすることにより、第1の人が直接音声を聞くことを可能とする。第2のデバイスが第1のデバイスと同じ物理的設定にある場合、第1のデバイスは、通信データによって示される第2の人のビデオ又はER表現をマスクする。第2の人のビデオ又はER表現の表示を取りやめることにより、第1の人が第2の人を見ることが可能となり、第1の人のユーザエクスペリエンスが改善する。いくつかのシナリオでは、第1のデバイスは、物理的設定のパススルーを提示し、第1の人は、パススルーを介して第2の人を見る。
【0026】
図1Aは、いくつかの実装形態に係る、例示的な動作環境1のブロック図である。関連する特徴が示されているが、当業者であれば、本明細書に開示される例示的な実装形態のより適切な態様を曖昧にしないように簡潔化するために、様々な他の特徴が示されていないことを、本開示から理解するであろう。そのため、非限定的な例として、動作環境1は、第1の環境10(例えば、第1の設定)及び第2の環境40(例えば、第2の設定)を含む。いくつかの実装形態では、第1の環境10は、第1の物理的設定(例えば、第1の物理的環境)を含み、第2の環境40は、第2の物理的設定(例えば、第2の物理的環境)を含む。いくつかの実装形態では、第1の環境10は、第1のER設定を含み、第2の環境40は、第2のER設定を含む。
【0027】
図1Aに示すように、第1の環境10は、第1の電子デバイス14に関連付けられた(例えば、第1の電子デバイス14を操作する)第1の人12を含み、第2の環境40は、第2の電子デバイス44に関連付けられた(例えば、第2の電子デバイス44を操作する)第2の人42を含む。
図1Aの例では、第1の人12は、第1の電子デバイス14を保持しており、第2の人42は、第2の電子デバイス44を保持している。様々な実装形態では、第1の電子デバイス14及び第2の電子デバイス44は、ハンドヘルドデバイス(例えば、タブレット、スマートフォン、又はラップトップ)を含む。いくつかの実装形態では、第1の電子デバイス14及び第2の電子デバイス44は、ヘッドマウントデバイスではない(例えば、ハンドヘルドデバイス、デスクトップコンピュータ、又は腕時計などの非HMDデバイスである)。
【0028】
様々な実装形態では、第1の電子デバイス14及び第2の電子デバイス44は、ネットワーク70(例えば、インターネットの一部分、ワイドエリアネットワーク(WAN)、ローカルエリアネットワーク(LAN)など)を介して互いに通信する。第1の電子デバイス14と第2の電子デバイス44とが互いに通信している間に、第1の電子デバイス14は、第1の通信データ16を送信し、第2の電子デバイス44は、第2の通信データ46を送信する。第1の通信データ16は、第1の電子デバイス14のマイクロフォンによってキャプチャされた第1の音声データ18と、第1の電子デバイス14の画像センサ(例えば、カメラ、例えば、前向きカメラ)によってキャプチャされた第1のビデオデータ20とを含む。同様に、第2の通信データ46は、第2の電子デバイス44のマイクロフォンによってキャプチャされた第2の音声データ48と、第2の電子デバイス44の画像センサによってキャプチャされた第2のビデオデータ50とを含む。
【0029】
第1の電子デバイス14は、第2の通信データ46を受信し、第2の電子デバイス44は、第1の通信データ16を受信する。
図1Aに示すように、第1の電子デバイス14は、第2の通信データ46を提示し、第2の電子デバイス44は、第1の通信データ16を提示する。例えば、第1の電子デバイス14は、第1の電子デバイス14のスピーカを介して、第2の音声データ48を出力し(例えば、再生し)、第1の電子デバイス14のディスプレイ上に、第2のビデオデータ50を表示する。同様に、第2の電子デバイス44は、第2の電子デバイス14のスピーカを介して第1の音声データ18を出力し、第2の電子デバイス14のディスプレイ上に第1のビデオデータ20を表示する。様々な実装形態では、第1の音声データ18は、第1の人12によって提供される音声入力を符号化し、第1のビデオデータ20は、第1の人12のビデオストリームを符号化する。同様に、第2の音声データ48は、第2の人42によって提供される音声入力を符号化し、第2のビデオデータ50は、第2の人42のビデオストリームを符号化する。
【0030】
様々な実装形態では、第1の電子デバイス14は、第2の電子デバイス42が第1の環境10内にあるかどうかを判定する。第1の電子デバイス14は、第2の電子デバイス44が第1の環境10内にあると判定すると、第2の電子デバイス44をローカルとみなす。様々な実装形態では、第1の電子デバイス14は、第2の電子デバイス44がローカルであると判定すると、第2の通信データ46の提示を変更する。様々な実装形態では、第1の電子デバイス14は、第2の電子デバイス44がローカルであると判定したことに応じて、第2の通信データ46の一部分をマスクする。例えば、いくつかの実装形態では、第1の電子デバイス14は、第2の電子デバイス44がローカルであると判定したことに応じて、第2の音声データ48を出力することを、かつ/又は第2のビデオデータ50を表示することを取りやめる。
【0031】
図1Aの例では、第1の電子デバイス14は、第2の電子デバイス44が第1の環境10内にないと判定する。第1の電子デバイス14は、第2の電子デバイス44が第1の環境10内にないと判定すると、第2の電子デバイス44をリモートとみなす。
図1Aに示すように、第1の電子デバイス14は、第2の電子デバイス44がリモートであると判定したことに応じて、第2の通信データ46を提示する。例えば、第1の電子デバイス14は、第2の電子デバイス44がリモートであることに応じて、第2の音声データ48を出力し、かつ/又は第2のビデオデータ50を表示する。いくつかの実装形態では、第1の電子デバイス14は、第2の電子デバイス44がリモートであると判定したことに応じて、第2の通信データ46をマスクすることを取りやめる。
【0032】
図1Bを参照すると、第1の人12によって装着されている第1のヘッドマウントデバイス(HMD)24は、様々な実装形態による第1のER設定26を提示する(例えば、表示する)。
図1Bは、第1の人12が、第1のHMD24を保持しているのを示しているが、様々な実装形態において、第1の人12は、第1の人12の頭部に第1のHMD24を装着する。いくつかの実装形態では、第1のHMD24は、第1のER設定26を表示する一体型ディスプレイ(例えば、内蔵ディスプレイ)を含む。いくつかの実装形態では、第1のHMD24は、ヘッドマウントエンクロージャを含む。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを有する別のデバイスを取り付けることができる取り付け領域を含む。例えば、いくつかの実装形態では、第1の電子デバイス14をヘッドマウントエンクロージャに取り付けることができる。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを含む別のデバイス(例えば、第1の電子デバイス14)を受容するためのレセプタクルを形成するように成形される。例えば、いくつかの実装形態では、第1の電子デバイス14は、ヘッドマウントエンクロージャにスライド/スナップ嵌めされる、又は別の方法で取り付けられる。いくつかの実装形態では、ヘッドマウントエンクロージャに取り付けられたデバイスのディスプレイは、第1のER設定26を提示する(例えば、表示する)。様々な実装形態では、第1の電子デバイス14の例として、スマートフォン、タブレット、メディアプレーヤ、ラップトップなどが挙げられる。
【0033】
図1Bの例では、第1のER設定26は、第2のビデオデータ50を、カードグラフィカルユーザインタフェース(カードGUI)要素28内に提示する(例えば、表示する)。いくつかの実装形態では、カードGUI要素28はカードの類似性閾値内にある(例えば、カードGUI要素28の視覚的見掛けは、カードの視覚的見掛けに似ている)。いくつかの実装形態では、カードGUI要素28は、ビデオカードと呼ばれる。いくつかの実装形態では、第1のHMD24は、第2のビデオデータ50を、第2の電子デバイス44のタイプに基づいて、カードGUI要素28内に提示する。例えば、第1のHMD24は、第2の電子デバイス44が非HMD(例えば、タブレット、スマートフォン、若しくはラップトップなどのハンドヘルドデバイス、デスクトップコンピュータ、又は腕時計)であると判定したことに応じて、第2のビデオデータ50をカードGUI要素28内に提示する。いくつかの実装形態では、第1のHMD24は、第1のHMD24のスピーカを介して第2の音声データ48を出力する(例えば、再生する)。いくつかの実装形態では、第1のHMD24は、第2の音声データ48がカードGUI要素28から発信されているかのような状況を提供するために、第2の音声データ48を空間化する。いくつかの実装形態では、第1のHMD24は、第1のER設定26内のカードGUI要素28の位置を、第2の環境40内の第2の人42及び/又は第2の電子デバイス44の動きに基づいて変更する。例えば、第1のHMD24は、カードGUI要素28を、第2の人42及び/又は第2の電子デバイス44と同じ方向に動かす。
【0034】
図1Cを参照すると、第2の人42によって装着されている第2のHMD54は、様々な実装形態による第2のER設定56を提示する(例えば、表示する)。
図1Cは、第2の人42が、第2のHMD54を保持しているのを示しているが、様々な実装形態において、第2の人42は、第2の人42の頭部に第2のHMD54を装着する。いくつかの実装形態では、第2のHMD54は、第2のER設定56を表示する一体型ディスプレイ(例えば、内蔵ディスプレイ)を含む。いくつかの実装形態では、第2のHMD54は、ヘッドマウントエンクロージャを含む。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを有する別のデバイスを取り付けることができる取り付け領域を含む。例えば、いくつかの実装形態では、第2の電子デバイス44をヘッドマウントエンクロージャに取り付けることができる。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを含む別のデバイス(例えば、第2の電子デバイス44)を受容するためのレセプタクルを形成するように成形される。例えば、いくつかの実装形態では、第2の電子デバイス44は、ヘッドマウントエンクロージャにスライド/スナップ嵌めされる、又は別の方法で取り付けられる。いくつかの実装形態では、ヘッドマウントエンクロージャに取り付けられたデバイスのディスプレイは、第2のER設定56を提示する(例えば、表示する)。様々な実装形態では、第2の電子デバイス44の例としては、スマートフォン、タブレット、メディアプレーヤ、ラップトップなどが挙げられる。
【0035】
図1Cに示すように、いくつかの実装形態では、第1の通信データ16は、第1の環境データ22を含み、第2の通信データ46は、第2の環境データ52を含む。いくつかの実装形態では、第1の環境データ22は、第1の環境10の様々な性質及び/又は特性を示し、第2の環境データ52は、第2の環境40の様々な性質及び/又は特性を示す。いくつかの実装形態では、第1の環境データ22は、第1の環境10内に位置する物理的要素を示し、第2の環境データ52は、第2の環境40内において配置された物理的要素を示す。いくつかの実装形態では、第1の環境データ22は、第1の環境10のメッシュマップを含み、第2の環境データ52は、第2の環境40のメッシュマップを含む。いくつかの実装形態では、第1の環境データ22は、第1の人12の身体ポーズを示し、第2の環境データ52は、第2の人42の身体ポーズを示す。いくつかの実装形態では、第1の環境データ22は、第1の人12の顔面表情を示し、第2の環境データ52は、第2の人42の顔面表情を示す。いくつかの実装形態では、第1の環境データ22は、第1の人12の顔のメッシュマップを含み、第2の環境データ52は、第2の人の顔のメッシュマップ42を含む。
【0036】
様々な実装形態では、第1のHMD24は、第2の人42を表すERオブジェクト30を提示する。いくつかの実装形態では、第1のHMD24は、第2の環境データ52に基づいてERオブジェクト30を生成する。例えば、いくつかの実装形態では、第2の環境データ52は、第2の人42を表すERオブジェクト30を符号化する。様々な実装形態において、ERオブジェクト30は、第2の人42のER表現を含む。例えば、いくつかの実装形態では、ERオブジェクト30は、第2の人42のアバターを含む。いくつかの実装形態では、第2の環境データ52は、第2の人42の身体ポーズを示し、ERオブジェクト30は、第2の人42の身体ポーズとの類似度が一定範囲内にあるポーズを有する。いくつかの実装形態では、第2の環境データ52は、第2の人42の物理的な顔面表情を示し、ERオブジェクト30のERの顔は、第2の人42の物理的な顔面表情との類似度が一定範囲内にあるER表情を有する。様々な実装形態では、第2の環境データ52は、第2の人42の動きを示し、ERオブジェクト30は、第2の人42の動きを模倣する。
【0037】
様々な実装形態では、第2のHMD54は、第1の人12を表すERオブジェクト60を提示する。いくつかの実装形態では、第2のHMD54は、第1の環境データ22に基づいてERオブジェクト60を生成する。例えば、いくつかの実装形態では、第1の環境データ22は、第1の人12を表すERオブジェクト60を符号化する。様々な実装形態において、ERオブジェクト60は、第1の人12のER表現を含む。例えば、いくつかの実装形態では、ERオブジェクト60は、第1の人12のアバターを含む。いくつかの実装形態では、第1の環境データ22は、第1の人12の身体ポーズを示し、ERオブジェクト60は、第1の人12の身体ポーズとの類似度が一定範囲内(例えば、類似性閾値内)にあるポーズを有する。いくつかの実装形態では、第1の環境データ22は、第1の人12の物理的な顔面表情を示し、ERオブジェクト60のERの顔は、第1の人12の物理的な顔面表情との類似度が一定範囲内(例えば、類似性閾値内)であるER表情を有する。様々な実装形態では、第1の環境データ22は、第1の人12の動きを示し、ERオブジェクト60は、第1の人12の動きを模倣する。
【0038】
様々な実装形態において、第1のHMD24は、第2の人42に関連付けられたデバイスのタイプに基づいて、ERオブジェクト30を提示する。いくつかの実装形態では、第1のHMD24は、第2の人42が非HMDでなくHMDを利用していると判定したことに応じて、ERオブジェクト30を生成し、提示する。いくつかの実装形態では、第1のHMD24は、第2の環境データ52を含む第2の通信データ46を取得したことに応じて、第2の人42が第2のHMD54を利用していると判定する。いくつかの実装形態では、第1のHMD24は、第2の音声データ48がERオブジェクト30から発せられているかのような状況を提供するために、第2の音声データ48を空間化する。ERオブジェクト30を提示することは、第1のHMD24のユーザエクスペリエンスを向上させる。例えば、ERオブジェクト30を提示することは、第2の人42が実際にはリモートであっても、第2の人42が第1の環境10内にいるかのような状況を提供する。
【0039】
図1Dの実施例では、第1の人12と第2の人42とが、第1の環境10内にいる。その結果、第1の電子デバイス14と第2の電子デバイス44とが、第1の環境10内にある。
図1Dの実施例では、第1の電子デバイス14は、第2の電子デバイス44が第1の環境10内にあると判定する。第1の電子デバイス14と第2の電子デバイス44とが同じ環境内にあるとき、環境は、共有環境(例えば、物理的共有設定)と呼ばれ得る。第1の電子デバイス14は、第2の電子デバイス44が第1の電子デバイス14と同じ環境内にあることを検出すると、第2の電子デバイス44を(例えば、リモートではなく)ローカルであるとみなす。
【0040】
様々な実装形態では、第1の電子デバイス14は、第2の電子デバイス44がローカルであると判定したことに応じて、第2の通信データ46の一部分をマスクする。例えば、いくつかの実装形態では、第1の電子デバイス14は、第1の電子デバイス14のディスプレイ上に、第2のビデオデータ50を表示することを取りやめる。第1の電子デバイス14が第2のビデオデータ50を表示しないため、第1の電子デバイス14は、第1の人12が、第2のビデオデータ50の提示によって邪魔されることなく、第2の人42を見ることを可能にする。いくつかの実装形態では、第1の電子デバイス14は、第1の電子デバイス14のスピーカを介して第2の音声データ48を再生することを取りやめる。いくつかの実装形態では、第2の音声データ48を再生しないことにより、第1の人12は、第2の人42の発話80を聞くことができる。第1の電子デバイス14は第2の音声データ48を再生しないため、第2の音声データ48は第2の人42の発話80と干渉せず、それにより、第1の人12が発話80を聞くことが可能となる。同様に、いくつかの実装形態では、第2の電子デバイス44は、第1の電子デバイス14がローカルであると判定したことに応じて、第1の通信データ16の一部分をマスクする(例えば、第2の電子デバイス44は、第1のビデオデータ20の表示を取りやめる、かつ/又は第1の音声データ18の再生を取りやめる)。本明細書に記載されるように、いくつかの実装形態では、第1の通信データ16は、第1の環境データ22(
図1Cに示される)を含み、第2の通信データ46は、第2の環境データ52(
図1Cに示される)を含む。このような実装形態では、第1の電子デバイス14と第2の電子デバイス44とがローカルであるとき、第1の電子デバイス14は、第2の環境データ52の一部分をマスクし、第2の電子デバイス44は、第1の環境データ22の一部分をマスクする。
【0041】
いくつかの実装形態では、第1の電子デバイス14は、第1の環境10の第1のビデオパススルー74を表示する。いくつかの実装形態では、第1の電子デバイス14は、第1の視野72を有する画像センサ(例えば、後ろ向きカメラ)を含む。第1のビデオパススルー74は、第1の電子デバイス14の画像センサによってキャプチャされているビデオフィードを表す。第2の人42が第1の視野72内にいるため、第1のビデオパススルー74は、第2の人42の表現(例えば、第2の人42のビデオフィード)を含む。同様に、いくつかの実装形態では、第2の電子デバイス44は、第1の環境10の第2のビデオパススルー78を表示する。いくつかの実装形態では、第2の電子デバイス44は、第2の視野76を有する画像センサを含む。第2のビデオパススルー78は、第2の電子デバイス44の画像センサによってキャプチャされているビデオフィードを表す。第1の人12は第1の視野76内にいるため、第2のビデオパススルー78は、第1の人12の表現(例えば、第1の人12のビデオフィード)を含む。
【0042】
図1Eを参照すると、第1のHMD24は、第2の電子デバイス44がローカルであると判定したことに応じて、第2の通信データ46の一部分をマスクする。例えば、いくつかの実装形態では、第1のHMD24は、第2のビデオデータ50及び/又は第2の人42を表すERオブジェクト30(
図1Cに示す)を、第1のER設定26内に表示することを取りやめる。いくつかの実装形態では、第1のHMD24は、第1のHMD24のスピーカを介して第2の音声データ48を再生することを取りやめる。いくつかの実装形態では、第2の音声データ48を再生しないことにより、第1の人12は、第2の人42の発話80を聞くことができる。第1のHMD24は第2の音声データ48を再生しないため、第2の音声データ48は第2の人42の発話80と干渉せず、それにより、第1の人12が発話80を聞くことが可能となる。
【0043】
いくつかの実装形態では、第1のHMD24は、第1の環境10の第1のパススルー84を提示する。いくつかの実装形態では、第1のHMD24は、第1の検出視野82を有する環境センサ(例えば、深度カメラなどの深度センサ、及び/又は後向きカメラなどの画像センサ)を含む。いくつかの実装形態では、第1のパススルー84は、
図1Dに示される第1のビデオパススルー74と類似のビデオパススルーを含む。いくつかの実装形態では、第1のパススルー84は、第1の環境10からの光(例えば、天然光又は人工光)が第1の人12の眼に入ることが可能な光学パススルーを含む。第2の人42が第1の検出視野82内にいるため、第1のパススルー84は、第2の人42の表現(例えば、第2の人42のビデオフィード、又は第2の人42から反射される光)を含む。第1のパススルー84は、第2の環境データ52に基づいて第2のビデオデータ50を表示すること、又はERオブジェクト30を生成することよりも、低いレイテンシを有する傾向があるため、第1のパススルー84を提示することは、第1のHMD24が提供するユーザエクスペリエンスを向上させる。
【0044】
図1Fを参照すると、第2のHMD54は、第1のHMD24がローカルであると判定したことに応じて、第1の通信データ16の一部分をマスクする。例えば、いくつかの実装形態では、第2のHMD54は、第1のビデオデータ20又は第2のER設定56内において第1の人12を表すERオブジェクト60(
図1Cに示す)の表示を取りやめる。いくつかの実装形態では、第2のHMD54は、第2のHMD54のスピーカを介して第1の音声データ18を再生することを取りやめる。いくつかの実装形態では、第1の音声データ18を再生しないことにより、第2の人42は、第1の人12の発話(例えば、第1の人12からの直接音声)を聞くことが可能となる。第2のHMD54は第1の音声データ18を再生しないため、第1の音声データ18は第1の人12の発話と干渉せず、それにより、第2の人42が発話を聞くことが可能となる。
【0045】
いくつかの実装形態では、第2のHMD54は、第1の環境10の第2のパススルー88を提示する。いくつかの実装形態では、第2のHMD54は、第2の検出視野86を有する環境センサ(例えば、深度カメラなどの深度センサ、及び/又は後向きカメラなどの画像センサ)を含む。いくつかの実装形態では、第2パススルー88は、
図1Dに示される第2のビデオパススルー78と類似のビデオパススルーを含む。いくつかの実装形態では、第2のパススルー88は、第1の環境10からの光(例えば、天然光又は人工光)が第2の人42の眼に入ることが可能である光学パススルーを含む。第1の人12は第2の検出視野86内にいるため、第2のパススルー88は、第1の人12の表現(例えば、第1の人12のビデオフィード、又は第1の人12から反射される光)を含む。第2のパススルー88は、第1の環境データ22に基づいて第1のビデオデータ20を表示すること、又はERオブジェクト60を生成することよりも、低いレイテンシを有する傾向があるため、第2のパススルー88を提示することは、第2のHMD54が提供するユーザエクスペリエンスを向上させる。
【0046】
図1Gに示すように、いくつかの実装形態では、第1のHMD24は、複数のデバイスと通信する。
図1Gは、第3の電子デバイス94に関連付けられた第3の人92を含む第3の環境90を示す。
図1Gはまた、第3のHMD104に関連付けられた第4の人102を含む第4の環境100を示す(例えば、第4の人102は、第3のHMD104を第4の人102の頭部に装着している)。
図1Gの例では、第1のHMD24は、第2のHMD54、第3の電子デバイス94、及び第3のHMD104と通信している。いくつかの実装形態では、第1のHMD24、第2のHMD54、第3の電子デバイス94、及び第3のHMD104は、遠隔会議(例えば、遠隔会議セッション)中である。
【0047】
いくつかの実装形態では、第1のHMD24は、第2のHMD54が第1のHMD24と同じ環境内にあるため、第2のHMD54がローカルであると判定する。したがって、本明細書に記載されるように、いくつかの実装形態では、第1のHMD24は、第2のHMD24に関連付けられた通信データの一部分をマスクする。更に、本明細書に記載されるように、いくつかの実装形態では、第1のHMD24は、第1の環境10の第1のパススルー84を提示する。
図1Gに示すように、第1のHMD24は、第1のER設定26内に第1のパススルー84を提示する。
【0048】
いくつかの実装形態では、第1のHMD24は、第3の電子デバイス94が第1のHMD24と同じ環境内にないため、第3の電子デバイス94がリモートであると判定する。いくつかの実装形態では、第1のHMD24は、第3の電子デバイス94が非HMD(例えば、タブレット、スマートフォン、メディアプレーヤ、ラップトップ又はデスクトップコンピュータ)であると判定する。
図1Gの例では、第1のHMD24は、第3の電子デバイス94に関連付けられた(例えば、第3の電子デバイス94から発生した)ビデオデータ98を含むカードGUI要素96を表示する。
【0049】
いくつかの実装形態では、第1のHMD24は、第3のHMD104が第1のHMD24と同じ環境内にないため、第3のHMD104はリモートであると判定する。いくつかの実装形態では、第1のHMD24は、第4の人102がHMD型のデバイスを利用していると判定する。したがって、
図1Gに示すように、第1のHMD24は、第4の人102を表すERオブジェクト106を表示する。いくつかの実装形態では、ERオブジェクト106は、第4の人102のER表現を含む。いくつかの実装形態では、ERオブジェクト106は、第4の人102のアバターを含む。
【0050】
図2Aは、通信データを提示する方法200のフローチャート表現である。様々な実装形態では、方法200は、第1の人に関連付けられた第1のデバイスによって実行される。いくつかの実装形態では、第1のデバイスは、ディスプレイと、非一時的メモリと、ディスプレイ及び非一時的メモリに結合された1つ以上のプロセッサと、を含む。いくつかの実装形態では、方法200は、第1の電子デバイス14、第2の電子デバイス44、第1のHMD24及び/又は第2のHMD54によって実行される。いくつかの実装形態では、方法200は、処理ロジックによって実行され、処理ロジックは、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。いくつかの実装形態において、方法200は、非一時的コンピュータ可読媒体(例えば、メモリ)に記憶されたコードを実行するプロセッサによって実行される。
【0051】
様々な実装形態において、ブロック210によって表されるように、方法200は、第2の人に対応する第2のデバイスに関連付けられた(例えば、第2のデバイスから発生した、又は第2のデバイスによって生成された)通信データを取得することを含む。例えば、
図1Aに示すように、第1の電子デバイス14は、第2の電子デバイス44に関連付けられた第2の通信データ46を取得する。いくつかの実装形態では、方法200は、ネットワークを介して通信データを受信することを含む。いくつかの実装形態では、通信データは、音声データ(例えば、ネットワーク音声、例えば、
図1A~
図1Fに示す第2の音声データ48)を含む。いくつかの実装形態では、通信データは、ビデオデータ(例えば、
図1A~
図1Fに示す第2のビデオデータ50)を含む。いくつかの実装形態では、通信データは、環境データ(例えば、
図1Cに示される第2の環境データ52)を含む。いくつかの実装形態では、通信データ(例えば、ビデオデータ及び/又は環境データ)は、第2の人を表すERオブジェクト(例えば、アバター)を符号化する。
【0052】
様々な実装形態において、ブロック220によって表されるように、方法200は、第1のデバイスと第2のデバイスとが共有環境内にあるか否かを判定することを含む。いくつかの実装形態では、方法200は、第2のデバイスが第1のデバイスと同じ環境内にあるか否かを、第1のデバイスによって判定することを含む。例えば、第1の電子デバイス14は、第2の電子デバイス44が第1の環境10内にあるか否かを判定する。いくつかの実装形態では、方法200は、第2のデバイスがローカル又はリモートであるか否かを、第1のデバイスによって判定することを含む。
【0053】
様々な実装形態において、ブロック230によって表されるように、方法200は、第1のデバイスと第2のデバイスとが共有環境内にないと判定したことに応じて、第2のデバイスに関連付けられた通信データに基づいて、第2の人のER表現を表示することを含む。いくつかの実装形態では、ER表現を表示することは、通信データに含まれるビデオデータを表示することを含む。例えば、
図1Aに示すように、第1の電子デバイス14は、第2の電子デバイス44が第1の環境10内にないと判定したことに応じて、第2のビデオデータ50を表示する。いくつかの実装形態では、ER表現を表示することは、ER設定を表示することと、ER設定内にカードGUI要素を表示することと、カードGUI要素内に第2のデバイスに関連付けられたビデオデータを表示することと、を含む。例えば、
図1Bに示すように、第1のHMD24は、第1のER設定26及び第1のER設定26内にカードGUI要素28を表示し、カードGUI要素28内に第2のビデオデータ50を表示する。いくつかの実装形態では、ER表現を表示することは、第2のデバイスに関連付けられたビデオデータ及び/又は環境データに基づいてERオブジェクトを生成することと、ER設定でERオブジェクトを表示することと、を含む。例えば、
図1Cに示すように、第1のHMD24は、第2の人42を表すERオブジェクト30を生成し、表示する。
【0054】
図2Bを参照すると、ブロック240によって表されるように、いくつかの実装形態では、方法200は、第2のデバイスのデバイスタイプを判定することと、デバイスタイプに基づいて第2の人のER表現を生成することと、を含む。例えば、
図1B及び
図1Cに示されるように、第1のHMD24は、第2の人42に関連付けられたデバイスのデバイスタイプを判定し、デバイスのタイプに基づいて第2の人のER表現を生成する。
図1Bの例では、第1のHMD24は、第2の人42が非HMDを用いていると判定し、第1のHMD24は、第2のビデオデータ50を復号してカードGUI要素28内に表示する。
図1Cの例では、第1のHMD24は、第2の人42がHMDを用いていると判定し、第1のHMD24は、第2の人42を表すERオブジェクト30を生成して表示する。
【0055】
いくつかの実装形態では、ブロック242によって表されるように、方法200は、デバイスのタイプが第1のデバイスタイプであることに応じて、第2のデバイスに関連付けられた通信データに基づいて、第2の人の第1のタイプのER表現を生成することを含む。いくつかの実装形態では、ブロック242aによって表されるように、第2の人の第1のタイプのER表現を生成することは、第2の人を表す3次元(3D)ERオブジェクト(例えば、アバター)を生成することを含む。いくつかの実装形態では、ブロック242bによって表されるように、第1のデバイスタイプはHMDを含む。例えば、
図1Cに示すように、第1のHMD24は、第2の人42がHMDを用いていると判定したことに応じて、第2の人42を表すERオブジェクト30を生成する。
【0056】
いくつかの実装形態では、ブロック244によって表されるように、方法200は、デバイスのタイプが第2のデバイスタイプであることに応じて、第2のデバイスに関連付けられた通信データに基づいて、第2の人の第2のタイプのER表現を生成することを含む。いくつかの実装形態では、ブロック244aによって表されるように、第2の人の第2のタイプのER表現を生成することは、第2の人を表す2次元(2D)ERオブジェクトを生成することを含む。いくつかの実装形態では、ブロック244bによって表されるように、第2のタイプのER表現は、第2の人のビデオを含む。いくつかの実装形態では、ビデオは、第2のデバイスに関連付けられた通信データ内に符号化される。いくつかの実装形態では、ブロック244cによって表されるように、第2のデバイスタイプは、ハンドヘルドデバイス(例えば、スマートフォン、タブレット、ラップトップ、メディアプレーヤ、及び/又は腕時計)を含む。いくつかの実装形態では、ブロック244dによって表されるように、第2のデバイスタイプは、HMDではないデバイス(例えば、ハンドヘルドデバイス、デスクトップコンピュータ、テレビ、及び/又はプロジェクタなどの非HMD)を含む。いくつかの実装形態においてブロック244eによって表されるように、方法200は、カードとの類似度が一定範囲内であるGUI要素(例えば、カードGUI要素、例えば、
図1Bに示されるカードGUI要素28)内に、第2の人の第2のタイプのER表現を表示することを含む。例えば、
図1Bに示すように、第1のHMD24は、第2の人42が非HMDに関連付けられていると判定したことに応じて、第2のビデオデータ50を表示する。いくつかの実装形態では、方法200は、第2の環境内の第2の人及び/又は第2の電子デバイスの動きに基づいて、第1のER設定内のGUI要素(例えば、カードGUI要素28)の位置を変更することを含む。例えば、方法200は、GUI要素を第2の人及び/又は第2の電子デバイスと同じ方向に動かすことを含む。
【0057】
図2Cを参照すると、いくつかの実装形態では、ブロック250によって表されるように、第1のデバイスは、1つ以上のスピーカを含み、方法200は、1つ以上のスピーカを介して、第2の人に対応する音声を出力することを含む。いくつかの実装形態では、音声が第2の人のER表現から発せられているかのような状況を提供するために、音声が空間化される。例えば、
図1Bに関して説明したように、第1のHMD24は、第2の音声データ48がカードGUI要素28から発せられているかのような状況を提供するために、第2の音声データ48を空間化する。同様に、
図1Cに関して説明したように、第1のHMD24は、第2の音声データ48が第2の人42を表すERオブジェクト30から発せられているかのような状況を提供するために、第2の音声データ48を空間化する。
【0058】
いくつかの実装形態では、ブロック252によって表されるように、方法200は、第2のデバイスに関連付けられた通信データに基づいて、音声を生成することを含む。例えば、
図1Aに示すように、第1の電子デバイス14は、第2の通信データ46から第2の音声データ48を抽出する。いくつかの実装形態では、方法200は、音声を識別するために、通信データを復号することを含む(例えば、第1の電子デバイス14は、第2の音声データ48を識別するために、第2の通信データ46を復号する)。
【0059】
いくつかの実装形態では、ブロック254によって表されるように、方法200は、音声が表面に反射しているかのような状況を提供するために、初期反射音を生成することを含む。例えば、第1のHMD24は、第2の音声データ48に対応する音が第1の環境10の表面に反射しているかのような状況を提供するために、第2の音声データ48に対する初期反射音を生成する。いくつかの実装形態では、方法200は、音声を出力する前に、初期反射音を出力することを含む(例えば、第1のHMD24は、第2の音声データ48を再生する前に、初期反射音を出力する)。いくつかの実装形態では、方法200は、初期反射音と音声とを同時に出力することを含む(例えば、第1のHMD24は、第2の音声データ48の初期反射音と第2の音声データ48とを同時に再生する)。いくつかの実装形態では、方法200は、第1の環境の種類に基づいて、初期反射音を生成することを含む。いくつかの実装形態では、第1の環境は物理的設定であり、初期反射音は、音声が物理的設定の物理的表面に反射しているかのような状況を提供する。いくつかの実装形態では、第1の環境はER設定(例えば、仮想環境)であり、初期反射音は、音声がER設定のER表面(例えば、仮想表面)に反射しているかのような状況を提供する。
【0060】
いくつかの実装形態では、ブロック256によって表されるように、方法200は、音声が反響を有しているかのような状況を提供するために、後期残響音を生成することを含む。例えば、第1のHMD24は、第2の音声データ48に対応する音が第1の環境10で反響しているかのような状況を提供するために、第2の音声データ48の後期残響音を生成する。いくつかの実装形態では、方法200は、音声を出力した後に、後期残響音を出力することを含む(例えば、第1のHMD24は、第2の音声データ48を再生した後に、後期残響音を出力する)。いくつかの実装形態では、方法200は、第1の環境の種類に基づいて、後期残響音を生成することを含む。いくつかの実装形態では、第1の環境は、物理的設定であり、後期残響音は、物理的設定において音声が反響しているかのような状況を提供する。いくつかの実装形態では、第1の環境はER設定(例えば、仮想環境)であり、初期反射音は、音声がER設定のER表面(例えば、仮想表面)に反射しているかのような状況を提供する。
【0061】
いくつかの実装形態では、ブロック260によって表されるように、方法200は、第1のデバイスと第2のデバイスとが共有環境にあると判定したことに応じて、第2の人のER表現の表示を取りやめることを含む。いくつかの実装形態では、方法200は、第2のデバイスに関連付けられた通信データに含まれるビデオデータの表示を取りやめることを含む。例えば、
図1Dに示すように、第1の電子デバイス14は、第2の電子デバイス44が第1の電子デバイス14と同じ環境内にあると判定したことに応じて、第2のビデオデータ50の表示を取りやめる。同様に、
図1Eに示すように、第1のHMD24は、第2の電子デバイス44が第1の電子デバイス14と同じ環境内にあると判定したことに応じて、第2のビデオデータ50の表示を取りやめる。いくつかの実装形態では、方法200は、第2の人に関連付けられた通信データに基づいて生成される第2の人のER表現の表示を取りやめること(例えば、第2の人がローカルであるときに、第2の人のアバターの表示を取りやめること)を含む。例えば、
図1Fに示されるように、第1のHMD24は、第2のHMD54が第1のHMD24と同じ環境内にあると判定したことに応じて、第2の人を表すERオブジェクト30の表示を取りやめる。
【0062】
いくつかの実装形態では、ブロック262によって表されるように、方法200は、共有環境のパススルーを提示することを含む。例えば、
図1E及び
図1Fに示すように、第1のHMD24は、第1の環境10の第1のパススルー84を提示する。いくつかの実装形態では、ブロック262aによって表されるように、方法200は、共有環境の光学パススルーを提示することを含む。例えば、
図1E及び
図1Fに関連して説明されるように、いくつかの実装形態では、第1のパススルー84は、光学パススルーを含む。いくつかの実装形態では、ブロック262bによって表されるように、方法200は、共有環境のビデオパススルーを表示することを含む。例えば、
図1Dに示す第1のビデオパススルー74を表示すること。例えば、
図1E及び
図1Fに関連して説明されるように、いくつかの実装形態では、第1のパススルー84は、ビデオパススルーを含む。いくつかの実装形態では、ブロック262cによって表されるように、方法200は、ウィンドウを表示することと、ウィンドウ内にパススルーを提示することと、を含む。例えば、
図1E及び
図1Fに示されるように、第1のパススルー84は、
図1Bに示されるカードGUI要素28と類似のカードGUI要素内に示される。
【0063】
図2Dを参照すると、いくつかの実装形態では、ブロック220aによって表されるように、共有環境は、物理的共有設定を含む。例えば、
図1Aに関連して説明されるように、いくつかの実装形態では、第1の環境10は、第1の物理的設定を含む。いくつかの実装形態では、ブロック220bによって表されるように、共有環境は共有ER設定を含む。例えば、
図1Aに関連して説明されるように、いくつかの実装形態では、第1の環境10は、第1のER設定を含む。
【0064】
いくつかの実装形態では、ブロック220cによって表されるように、第1のデバイスと第2のデバイスとが共有環境内にあるかどうかを判定することは、第2のデバイスに関連付けられた識別子(ID)が、短距離通信を介して検出可能かどうかを判定することを含む。短距離通信の例としては、Bluetooth、Wi-Fi、近距離通信(NFC)、ZigBeeなどが挙げられる。例えば、
図1Aに関して、第1の電子デバイス14は、第1の電子デバイス14が第2の電子デバイス44に関連付けられたIDを検出できるかどうかを判定する。
図1Aの例では、第1の電子デバイス14は、短距離通信を介して、第2の電子デバイス44に関連付けられたIDを検出しない。したがって、第1の電子デバイス14は、第2の電子デバイス44がリモートであると判定する。別の例として、
図1Cに関して、いくつかの実装形態では、第1のHMD24は、短距離通信を介して第2のHMD54のIDを検出できないため、第2のHMD54がリモートであると判定する。更に別の例として、
図1Fに関して、第1のHMD24は、短距離通信を介して第2のHMD54のIDを検出するため、第2のHMD54がローカルであると判定する。
【0065】
ブロック220dによって表されるように、いくつかの実装形態では、第1のデバイスと第2のデバイスとが共有環境内にあるかどうかを判定することは、第1のデバイスのマイクロフォンを介して受信した音声が、第2のデバイスに関連付けられた通信データ内に符号化された音声と一定範囲内の類似度にあるかどうかを判定することを含む。例えば、いくつかの実装形態では、方法200は、第2の人からの直接音声が、第2のデバイスに関連付けられたネットワーク音声と、一定範囲内の類似度にあるかどうかを判定することを含む。一例として、
図1Dに関して、いくつかの実装形態では、第1の電子デバイス14は、第2の人42の発話80が、第2の通信データ46内に符号化された第2の音声データ48と、一定範囲内の類似度にあるため、第2の電子デバイス44がローカルであると判定する。
【0066】
ブロック220eによって表されるように、いくつかの実装形態では、第1のデバイスと第2のデバイスとが共有環境内にあるかどうかを判定することは、第2の人が共有環境内にいるかどうかを、第1のデバイスの画像センサを介してキャプチャされた画像に基づいて判定することを含む。一例として、
図1Dに関して、いくつかの実装形態では、第1の電子デバイス14は、第1の視野72に対応する画像をキャプチャし、第2の人42が第1の環境10内にいるかどうかを判定するために、画像に対し顔検出/顔認識を実行する。第1の電子デバイス14は、第2の人42が第1の視野72内にいるため、画像に対し顔検出/顔認識を実行した後に、第2の人42がローカルであると判定する。
【0067】
図3Aは、通信データをマスクする方法300のフローチャート表現である。様々な実装形態では、方法300は、出力デバイスと、非一時的メモリと、出力デバイス及び非一時的メモリに結合された1つ以上のプロセッサと、を含む第1のデバイスによって実行される。いくつかの実装形態では、方法300は、第1の電子デバイス14、第2の電子デバイス44、第1のHMD24及び/又は第2のHMD54によって実行される。いくつかの実装形態では、方法300は、処理ロジックによって実行され、処理ロジックは、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。いくつかの実装形態では、方法300は、非一時的コンピュータ可読媒体(例えば、メモリ)に記憶されたコードを実行するプロセッサによって実行される。
【0068】
様々な実装形態において、ブロック310によって表されるように、方法300は、第1のデバイスが第2のデバイスとの通信セッションにある間に、第2のデバイスに関連付けられた(例えば、第2のデバイスから発生した、又は第2のデバイスによって生成された)通信データを取得することを含む。例えば、
図1Dに示すように、第1の電子デバイス14は、第2の電子デバイス44に関連付けられた第2の通信データ46を取得する。いくつかの実装形態では、方法300は、ネットワークを介して通信データを受信することを含む。いくつかの実装形態では、通信データは、音声データ(例えば、ネットワーク音声、例えば、
図1A~
図1Fに示す第2の音声データ48)を含む。いくつかの実装形態では、通信データは、ビデオデータ(例えば、
図1A~
図1Fに示す第2のビデオデータ50)を含む。いくつかの実装形態では、通信データは、環境データ(例えば、
図1Cに示される第2の環境データ52)を含む。いくつかの実装形態では、通信データ(例えば、ビデオデータ及び/又は環境データ)は、第2の人を表すERオブジェクト(例えば、アバター)を符号化する。
【0069】
様々な実装形態において、ブロック320によって表されるように、方法300は、第1のデバイスと第2のデバイスとが共有環境内にあることを判定することを含む。いくつかの実装形態では、方法300は、第1のデバイスによって、第2のデバイスが第1のデバイスと同じ環境内にあることを判定することを含む。例えば、
図1Dに関して、第1の電子デバイス14は、第2の電子デバイス44が第1の環境10内にあると判定する。いくつかの実装形態では、方法300は、第1のデバイスによって、第2のデバイスがローカルであると判定することを含む。
【0070】
様々な実装形態において、ブロック330によって表されるように、方法300は、出力デバイスが通信データの一部分を出力することを防止するために、通信データの一部分をマスクすることを含む。いくつかの実装形態では、通信データの一部分をマスクすることは、通信データの一部分の提示を取りやめることを含む。例えば、
図1Dに関して、第1の電子デバイス14は、第2の電子デバイス44がローカルであると判定したことに応じて、第2の通信データ46の提示を取りやめる。様々な実装形態では、第2のデバイスがローカルであるときに通信データの一部分をマスクすることは、ネットワーク通信に関連付けられたレイテンシを伴わずに第1の人が第2の人を直接聞く、かつ/又は見ることを可能にすることによって、第1のデバイスのユーザエクスペリエンスを向上させる。
【0071】
図3Bを参照すると、いくつかの実装形態では、ブロック320aによって表されるように、第1のデバイスと第2のデバイスとが物理的共有設定にあるかどうかを判定することは、短距離通信を介して、第2のデバイスに関連付けられた識別子を検出することを含む。短距離通信の例としては、Bluetooth、Wi-Fi、近距離通信(NFC)、ZigBeeなどが挙げられる。例えば、
図1Dに関して、いくつかの実装形態では、第1の電子デバイス14は、短距離通信を介して、第2の電子デバイス44に関連付けられたIDを検出したことに応じて、第2の電子デバイス44がローカルであると判定する。別の例として、
図1Fに関して、いくつかの実装形態では、第1のHMD24は、短距離通信を介して第2のHMD54のIDを検出したことに応じて、第2のHMD54がローカルであると判定する。
【0072】
いくつかの実装形態では、ブロック320bによって表されるように、第1のデバイスと第2のデバイスとが物理的共有設定にあると判定することは、第1のデバイスのマイクロフォンを介して、通信データ内に符号化された第2の音声との類似度が一定範囲内である(例えば、類似性閾値内である)第1の音声を検出することを含む。いくつかの実装形態では、方法300は、通信データ内に符号化されたネットワーク音声との類似度が一定範囲内である直接音声を検出したことに応じて、第2のデバイスがローカルであると判定することを含む。例えば、
図1Eに関して、いくつかの実装形態では、第1のHMD24は、第1のHMD24のマイクロフォンを介して発話80を検出し、かつ発話80が第2の通信データ46内に符号化された第2の音声データ48と一定範囲内の類似度にあると判定したことに応じて、第2の電子デバイス44がローカルであると判定する。
【0073】
いくつかの実装形態では、ブロック320cによって表されるように、第1のデバイスと第2のデバイスとが物理的共有設定にあると判定することは、第2のデバイスに関連付けられた人を、第1のデバイスの画像センサを介して検出することを含む。一例として、
図1Dに関して、いくつかの実装形態では、第1の電子デバイス14は、第1の視野72に対応する画像をキャプチャし、第2の人42が第1の環境10内にいるかどうかを判定するために、画像に対し顔検出/顔認識を実行する。第1の電子デバイス14は、第2の人42が第1の視野72内にいるため、画像に対し顔検出/顔認識を実行した後に、第2のデバイス44がローカルであると判定する。
【0074】
いくつかの実装形態では、ブロック330aによって表されるように、出力デバイスはスピーカを含み、通信データの一部分をマスクすることは、スピーカが通信データの音声部分を再生することを防止するために、通信データの音声部分をマスクすることを含む。
図1Dに関して説明したように、いくつかの実装形態では、第1の電子デバイス14は、第1の電子デバイス14のスピーカが第2の音声データ48を再生することを防止するために、第2の音声データ48をマスクする。本明細書で説明するように、第1の電子デバイス14で第2の音声データ48を再生することを取りやめることは、第1の人12が、第2の人42によって発っせられている発話80を、第2の音声データ48からの干渉なしに聞くことを可能にすることによって、第1の電子デバイス14のユーザエクスペリエンスを向上させる。
【0075】
いくつかの実装形態では、ブロック330bによって表されるように、出力デバイスはディスプレイを含み、通信データの一部分をマスクすることは、ディスプレイが通信データのビデオ部分を表示することを防止するために、通信データのビデオ部分をマスクすることを含む。
図1Eに関して説明したように、いくつかの実装形態では、第1のHMD24は、第1のHMD24のディスプレイが第2のビデオデータ50を表示することを防止するために、第2のビデオデータ50をマスクする。本明細書に記載されるように、第1のHMD24における第2のビデオデータ50の表示を取りやめることは、第1の人12が第2のビデオデータ50によって邪魔されないようにし、第1の人12が第1の環境10の第1のパススルー84を見ることを可能にすることによって、第1のHMD24のユーザエクスペリエンスを向上させる。
【0076】
いくつかの実装形態では、ブロック330cによって表されるように、通信データは、第2のデバイスに関連付けられた人のER表現を符号化し、通信データの一部分をマスクすることは、人のER表現の表示を取りやめることを含む。例えば、
図1Fに関して説明したように、いくつかの実装形態では、第1のHMD24は、第2の人42が第1のHMD24と同じ環境内にあると判定したことに応じて、第2の人42を表すERオブジェクト30の表示を取りやめる。本明細書に記載されるように、第1のHMD24におけるERオブジェクト30の表示を取りやめることは、第1の人12が、ERオブジェクト30を生成し、表示するよりも短いレイテンシに関連付けられた第1のパススルー84を見ることを可能にすることによって、第1のHMD24のユーザエクスペリエンスを向上させる。
【0077】
いくつかの実装形態では、ブロック340によって表されるように、方法300は、物理的共有設定のパススルーを提示することを含む。例えば、
図1E及び
図1Fに示すように、第1のHMD24は、第1の環境10の第1のパススルー84を提示する。いくつかの実装形態では、ブロック340aによって表されるように、パススルーを提示することは、物理的共有設定の光学パススルーを提示することを含む。例えば、
図1E及び
図1Fに関して説明したように、いくつかの実装形態では、第1のパススルー84は、第1のHMD24が、第1の環境10からの光を第1の人12の眼に到達させる光学パススルーを含む。いくつかの実装形態では、ブロック340bによって表されるように、パススルーを提示することは、物理的共有設定のビデオパススルーを表示することを含む。例えば、
図1E及び
図1Fに関して説明したように、いくつかの実装形態では、第1のパススルー84は、第1のHMD24のディスプレイが、第1の検出視野82に対応するビデオストリームを表示するビデオパススルーを含む。
【0078】
図3Cを参照すると、ブロック350によって表されるように、いくつかの実装形態では、方法300は、物理的共有設定から離れる第2のデバイスの動きを検出することと、出力デバイスが通信データの一部分を出力することを可能にするために、通信データの一部分をマスクすることを取りやめることとを含む。例えば、いくつかの実装形態では、第1の電子デバイス14は、第2の電子デバイス44が第1の環境10を去ったことを検出し、第1の電子デバイス14は、第2の電子デバイス44が第1の環境10を去ったことを検出したことに応じて、第2の通信データ46をマスクすることを取りやめる。
【0079】
いくつかの実装形態では、ブロック350aによって表されるように、物理的共有設定から離れる第2のデバイスの動きを検出することは、第2のデバイスに関連付けられた識別子が、短距離通信を介して検出できないと判定することを含む。例えば、いくつかの実装形態では、第1の電子デバイス14及び/又は第1のHMD24は、第2の電子デバイス44及び/又は第2のHMD54に関連付けられたIDが、短距離通信を介して検出できないと判定する。
【0080】
いくつかの実装形態では、ブロック350bによって表されるように、物理的共有設定から離れる第2のデバイスの動きを検出することは、第1のデバイスのマイクロフォンを介して検出された第1の音声が、通信データ内に符号化された第2の音声と一定範囲内の類似度にないと判定することを含む。例えば、いくつかのが実装形態では、第1の電子デバイス14及び/又は第1のHMD24は、第1の電子デバイス14及び/又は第1のHMD24のマイクロフォンを介して検出された音声が、第2の音声データ48に一致しないと判定する。
【0081】
いくつかの実装形態では、ブロック350cによって表されるように、物理的共有設定から離れる第2のデバイスの動きを検出することは、第1のデバイスの環境センサによってキャプチャされた環境データが、第2のデバイスに関連付けられた人が物理的共有設定から立ち去ったことを示していると判定することを含む。例えば、いくつかの実装形態では、第1の電子デバイス14及び/又は第1のHMD24は、第1の電子デバイス14及び/又は第1のHMD24の環境センサによってキャプチャされた環境データ(例えば、カメラによってキャプチャされた画像及び/又は深度センサによってキャプチャされた深度データ)が、第2の人42が第1の環境10内にいないことを示すと判定する。
【0082】
いくつかの実装形態では、ブロック350dによって表されるように、出力デバイスはスピーカを含み、通信データの一部分をマスクすることを取りやめることは、スピーカを介して通信データの音声部分を出力することを含む。例えば、第1の電子デバイス14及び/又は第1のHMD24は、第2の電子デバイス44及び/又は第2のHMD54が第1の環境10を去ったと判定したことに応じて、第2の音声データ48を出力する。
【0083】
いくつかの実装形態では、ブロック350eによって表されるように、音声部分を出力することは、音声部分が第2のデバイスに関連付けられた人のER表現から発せられたかのような状況を提供するために、音声部分を空間化することを含む。例えば、
図1B及び
図1Cに関して説明したように、第1の電子デバイス14及び/又は第1のHMD24は、第2の音声データ48が、カードGUI要素28又は第2の人42を表すERオブジェクト30から発せられているかのような状況を提供するために、第2の音声データ48を空間化させる。
【0084】
いくつかの実装形態では、ブロック350fによって表されるように、出力デバイスはディスプレイを含み、通信データの一部分をマスクすることを取りやめることは、ディスプレイ上に通信データのビデオ部分を表示することを含む。例えば、いくつかの実装形態では、第1の電子デバイス14及び/又は第1のHMD24は、第2の電子デバイス44が第1の環境10を去ったことを検出したことに応じて、第2のビデオデータ50を表示する。
【0085】
いくつかの実装形態では、ブロック350gによって表されるように、通信データは、第2のデバイスに関連付けられた人のER表現を符号化し、通信データの一部をマスクすることを取りやめることは、人のER表現を表示することを含む。例えば、いくつかの実装形態では、第1のHMD24は、第2のHMD54が第1の環境10を去ったことを検出したことに応じて、第2の人42を表すERオブジェクト30を表示する。
【0086】
図4は、いくつかの実装形態に係る、通信データを提示/マスクするデバイス400のブロック図である。特定の個別の特徴が示されているが、当業者は、本明細書に開示される実装形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのために、非限定的な例として、いくつかの実装形態では、デバイス400は、1つ以上の処理ユニット(CPU)401、ネットワークインタフェース402、プログラミングインタフェース403、メモリ404、環境センサ407、1つ以上の入出力(I/O)デバイス410、並びにこれら及び様々な他の構成要素を相互接続するための1つ以上の通信バス405を含む。
【0087】
いくつかの実装形態では、ネットワークインタフェース402は、他の用途のうちでもとりわけ、クラウドホスト型ネットワーク管理システムと、1つ以上の準拠したデバイスを含む少なくとも1つのプライベートネットワークとの間で、メタデータトンネルを確立及び維持するために提供される。いくつかの実装形態では、1つ以上の通信バス405は、システム構成要素間を相互接続し、かつ通信を制御する回路を含む。メモリ404は、DRAM、SRAM、DDR RAM、又は他のランダムアクセス半導体メモリデバイスなどの高速ランダムアクセスメモリを含み、また、1つ以上の磁気ディスク記憶デバイス、光学ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでもよい。メモリ404は、1つ以上のCPU401からリモートに位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ404は、非一時的コンピュータ可読記憶媒体を含む。
【0088】
様々な実装形態では、環境センサ407は画像センサを含む。例えば、いくつかの実装形態では、環境センサ407は、カメラ(例えば、シーンに面するカメラ、外向きカメラ、又は後向きカメラ)を含む。いくつかの実装形態では、環境センサ407は、深度センサを含む。例えば、いくつかの実装形態では、環境センサ407は深度カメラを含む。
【0089】
いくつかの実装形態では、メモリ404、又はメモリ404の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム406、データ取得器410、環境分析器420、及びERエクスペリエンス生成器430などのプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。様々な実装形態では、デバイス400は、
図2A~
図2Dに示される方法200を実行する。様々な実装形態では、デバイス400は、
図3A~
図3Cに示される方法300を実行する。様々な実装形態では、デバイス400は、第1の電子デバイス14、第2の電子デバイス44、第1のHMD24、第2のHMD54、第3の電子デバイス94及び/又は第3のHMD104を実装する。
【0090】
いくつかの実装形態では、データ取得器410はデータを取得する。いくつかの実装形態では、データ取得器410は、別のデバイス(例えば、
図1A~
図1Fに示す第2の通信データ46)と関連付けられた通信データを取得する。いくつかの実装形態では、データ取得器410は、方法200の少なくとも一部分を実行する。例えば、いくつかの実装形態では、データ取得器410は、
図2Aに示すブロック210によって表される動作を実行する。いくつかの実装形態では、データ取得器410は、方法300の少なくとも一部分を実行する。例えば、いくつかの実装形態では、データ取得器410は、
図3Aに示すブロック310によって表される動作を実行する。そのために、データ取得器410は、命令410a、並びにヒューリスティックス及びメタデータ410bを含む。
【0091】
本明細書に記載されるように、いくつかの実装形態では、環境分析器420は、デバイス400と別のデバイスとが共有環境内にあるか否かを判定する。例えば、環境分析器420は、第1の電子デバイス14と第2の電子デバイス44とが第1の環境10内にあるか否かを判定する。いくつかの実装形態では、環境分析器420は、方法200の少なくとも一部分を実行する。例えば、いくつかの実装形態では、環境分析器420は、
図2A及び
図2Dのブロック220によって表される動作を実行する。いくつかの実装形態では、環境分析器420は、方法300の少なくとも一部分を実行する。例えば、いくつかの実装形態では、環境分析器420は、
図3A及び
図3Bのブロック320によって表される動作を実行する。そのために、環境分析器420は、命令420a並びにヒューリスティックス及びメタデータ420bを含む。
【0092】
いくつかの実装形態では、ERエクスペリエンス生成器430は、環境分析器420が、他のデバイスがリモートである(例えば、デバイス400と同じ環境内にない)ことを判定したことに応じて、他のデバイスに関連付けられた人のER表現を表示する。いくつかの実装形態では、ERエクスペリエンス生成器430は、方法200の少なくとも一部分を実行する。例えば、いくつかの実装形態では、ERエクスペリエンス生成器430は、
図2A~
図2Cのブロック230、240、250、及び260によって表される動作を実行する。いくつかの実装形態では、ERエクスペリエンス生成器430は、環境分析器420が、他のデバイスがローカルである(例えば、デバイス400と同じ環境内にある)と判定したことに応じて、通信データの一部分をマスクする。いくつかの実装形態では、ERエクスペリエンス生成器430は、方法300の少なくとも一部分を実行する。例えば、いくつかの実装形態では、ERエクスペリエンス生成器430は、
図3A~
図3Cに示されるブロック330、340、及び350によって表される動作を実行する。そのために、ERエクスペリエンス生成器430は、命令430a並びにヒューリスティックス及びメタデータ430bを含む。
【0093】
いくつかの実装形態では、1つ以上のI/Oデバイス410は、環境に関連付けられた環境データ(例えば、
図1A~
図1Gに示される第1の環境10)をキャプチャするための1つ以上のセンサを含む。例えば、いくつかの実装形態では、1つ以上のI/Oデバイス410は、画像センサ(例えば、カメラ)、周囲光センサ(ALS)、マイクロフォン、及び/又は位置センサを含む。いくつかの実装形態では、1つ以上のI/Oデバイス410は、ディスプレイ(例えば、不透明ディスプレイ若しくは光学シースルーディスプレイ)及び/又は通信データを提示するためのスピーカを含む。
【0094】
添付の特許請求の範囲内の実装形態の様々な態様を上述したが、上述の実装形態の様々な特徴は、多種多様な形態で具現化されてもよく、上記の特定の構造及び/又は機能は単なる例示に過ぎないことは明らかである。本開示に基づいて、当業者は、本明細書に記載される態様は、任意の他の態様とは独立して実施されてもよく、これらの態様のうちの2つ以上が様々な方法で組み合わされてもよいことを理解すべきである。例えば、本明細書に記載される任意の数の態様を使用して、装置が実装されてもよい、及び/又は方法が実行されてもよい。加えて、本明細書に記載される態様のうちの1つ以上に加えて、又はその他の構造及び/又は機能を使用して、このような装置が実装されてもよい、及び/又はこのような方法が実行されてもよい。
【0095】
本明細書では、様々な要素を説明するために「第1の」、「第2の」などの用語が使用される場合があるが、これらの要素は、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、「第1ノード」の全ての出現について一貫して名前が変更され、「第2ノード」の全ての出現について一貫して名前が変更される限り、説明の意味を変えることなく、第1ノードは第2ノードと呼ぶことができ、同様に、第2ノードは第1ノードと呼ぶことができる。第1のノードと第2のノードは両方ともノードであるが、それらは同じノードではない。
【0096】
本明細書で使用される用語は、特定の実装形態を説明する目的のためであり、特許請求の範囲を限定することを意図するものではない。説明される実装形態の説明及び添付の特許請求の範囲で使用されるとき、単数形の「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形も含むことを意図している。また、本明細書で使用されるとき、用語「及び/又は」は、関連する列挙された項目のうちの1つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「含む」及び/又は「含んでいる」が、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を除外しないことを更に理解されたい。
【0097】
本明細書で使用されるとき、用語「場合」は、文脈に応じて、「ときに」若しくは「際に」、又は先に述べた条件が正しいとの「判定に従って」、「判定に応じて」、若しくは「検出に応じて」を意味するものと解釈できる。同様に、「[先に述べた条件が正しい]と判定される場合」、「[先に述べた条件が正しい]場合」、又は「[先に述べた条件が正しい]とき」というフレーズは、先に述べた条件が正しいとの「判定に際して」、「判定に応じて」、「判定に従って」、「検出した際に」、又は「検出に応じて」ということを意味するものと解釈できる。