特許7075073インタラクティブオブジェクトを仮想現実環境に追加する方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-17
(45)【発行日】2022-05-25
(54)【発明の名称】インタラクティブオブジェクトを仮想現実環境に追加する方法及び装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20220518BHJP
G06T 19/00 20110101ALI20220518BHJP
【ＦＩ】
G06F3/01 510
G06T19/00 A
【請求項の数】
15
(21)【出願番号】P 2021503564
(86)(22)【出願日】2019-07-12
(65)【公表番号】
(43)【公表日】2021-11-18
(86)【国際出願番号】 EP2019068821
(87)【国際公開番号】W WO2020020665
(87)【国際公開日】2020-01-30
【審査請求日】2021-02-08
(31)【優先権主張番号】18185181.7
(32)【優先日】2018-07-24
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】315002955
【氏名又は名称】ノキア テクノロジーズ オーユー
(74)【代理人】
【識別番号】100127188
【弁理士】
【氏名又は名称】川守田 光紀
(72)【発明者】
【氏名】レッパネン ユッシ
(72)【発明者】
【氏名】レフティニエミ アルト
(72)【発明者】
【氏名】エロネン アンッティ
(72)【発明者】
【氏名】マテ シャムスンダル スジーティ
【審査官】田川 泰宏
(56)【参考文献】
【文献】特開２０１８－０３６９４２（ＪＰ，Ａ）
【文献】国際公開第２０１８／０３８９９７（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１４／０００２４４４（ＵＳ，Ａ１）
【文献】国際公開第２０１８／１２５２９５（ＷＯ，Ａ１）
【文献】特開２０１７－１０２７７５（ＪＰ，Ａ）
【文献】特開２００８－０７１２５２（ＪＰ，Ａ）
【文献】特開２０１７－１１７００８（ＪＰ，Ａ）
【文献】特開２０１４－１３９７８４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示に応答して、前記インタラクティブオブジェクトを前記キューへ追加する手段と、前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて、前記インタラクティブオブジェクトに対応する第１の制御区域を提供する手段であって、前記第１の制御区域は前記ユーザにアクセス可能である、前記提供する手段と、
前記ユーザが少なくとも部分的に前記第１の制御区域内にいるかどうかを決定する手段と、
前記ユーザが少なくとも部分的に前記第１の制御区域内にいると決定することに応じて、前記ユーザにフィードバックを提供する手段と、
前記インタラクティブオブジェクトと相互作用するための相互作用入力を前記ユーザから受信する手段と、
を備える、装置。
【請求項2】
前記インタラクティブオブジェクトを前記インタラクティブオブジェクトキューへ追加する前記手段は、ユーザ注視を前記インタラクティブオブジェクトの方へ決定する手段を備え、前記ユーザ注視が前記ユーザ指示である、請求項１に記載の装置。
【請求項3】
前記ユーザ注視を決定する手段は、前記インタラクティブオブジェクトが少なくとも第１の閾値時間間隔にわたって前記ユーザの視野中にあるか、および／または前記ユーザと前記インタラクティブオブジェクトとの間の距離が第１の閾値距離より短いかどうかを決定する、請求項２に記載の装置。
【請求項4】
前記第１の制御区域の位置は、前記ユーザの位置に基づいて決定される、請求項１から３のいずれか一項に記載の装置。
【請求項5】
前記第１の制御区域を提供する前記手段は、前記第１の制御区域が既存のどの制御区域とも重ならないように前記第１の制御区域を提供する、請求項１から４のいずれか一項に記載の装置。
【請求項6】
少なくとも１つのインタラクティブオブジェクトを前記インタラクティブオブジェクトキューから削除する手段をさらに備える、請求項１から５のいずれか一項に記載の装置。
【請求項7】
前記少なくとも１つのインタラクティブオブジェクトは、前記ユーザが第２の閾値時間間隔にわたって前記少なくとも１つのインタラクティブオブジェクトと相互作用しないときに削除される、請求項６に記載の装置。
【請求項8】
前記インタラクティブオブジェクトのビジュアル表現を前記ユーザに提供する手段をさらに備える、請求項１から７のいずれか一項に記載の装置。
【請求項9】
前記インタラクティブオブジェクトの前記ビジュアル表現のサイズは、前記インタラクティブオブジェクトを前記インタラクティブオブジェクトキューへ追加するときに増加される、請求項８に記載の装置。
【請求項10】
前記第１の制御区域のビジュアル表現を前記ユーザに提供する手段をさらに備える、請求項１から９のいずれか一項に記載の装置。
【請求項11】
前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されるときに前記ユーザに通知する手段をさらに備える、請求項１から１０のいずれか一項に記載の装置。
【請求項12】
前記少なくとも１つのインタラクティブオブジェクトを前記インタラクティブオブジェクトキューへ追加した後に、第３の閾値時間間隔内に前記ユーザから拒絶入力を受信する手段と、前記拒絶入力の受信の際に前記インタラクティブオブジェクトを前記インタラクティブオブジェクトキューから削除する手段と、
をさらに備える、請求項１から１１のいずれか一項に記載の装置。
【請求項13】
インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示を提供する手段と、前記ユーザが少なくとも部分的に第１の制御区域内にいることに応じて、少なくとも１つのフィードバックを受信する手段であって、前記第１の制御区域は、前記インタラクティブオブジェクトに対応し、前記第１の制御区域は、前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて提供される、前記受信する手段と、
前記インタラクティブオブジェクトと相互作用するための相互作用入力を前記ユーザから提供する手段と、
を備える、装置。
【請求項14】
インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示に応答して、前記インタラクティブオブジェクトを前記キューへ追加することと、前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて、前記インタラクティブオブジェクトに対応する第１の制御区域を提供することであって、前記第１の制御区域は前記ユーザにアクセス可能である、前記提供することと、
前記ユーザが少なくとも部分的に前記第１の制御区域内にいるかどうかを確定することと、
前記ユーザが少なくとも部分的に前記第１の制御区域内にいると確定することに応じて、前記ユーザに少なくとも１つのフィードバックを提供することとと、
を含む、方法。
【請求項15】
コンピュータプログラムであって、装置の処理手段に実行されると、前記装置に少なくとも、インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示に応答して、前記インタラクティブオブジェクトを前記キューへ追加することと、
前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて、前記インタラクティブオブジェクトに対応する第１の制御区域を提供することであって、前記第１の制御区域は前記ユーザにアクセス可能である、前記提供することと、
前記ユーザが少なくとも部分的に前記第１の制御区域内にいるかどうかを確定することと、
前記ユーザが少なくとも部分的に前記第１の制御区域内にいると確定することに応じて、前記ユーザに少なくとも１つのフィードバックを提供することとと、
を遂行させる命令を備える、コンピュータプログラム。
【発明の詳細な説明】
【分野】
【0001】
本明細書は、例えば、仮想現実、拡張現実または複合現実環境におけるインタラクティブオブジェクトとの相互作用に関する。
【背景】
【0002】
仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）は、ビデオコンテンツがＶＲディスプレイシステムに提供される、急速に発展している技術分野である。知られているように、ビデオコンテンツソースからライブのまたは格納されたフィードがＶＲディスプレイシステムに提供されてよく、そのフィードがディスプレイシステムを通じて没入型出力のためのＶＲ空間または世界を表現する。いくつかの実施形態において、空間オーディオであってよいオーディオが提供される。ＶＲヘッドセットは、例えば、ヘッドセット内に組み込まれた一対のビデオスクリーンおよびヘッドフォンの使用を通じてユーザにＶＲビデオおよびオーディオコンテンツを提供するように構成されてよい。複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）は、物理的およびデジタルオブジェクトが共存してリアルタイムで相互作用するように現実および仮想世界が組み合わされる技術の分野である。拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）は、コンピュータで生成された感覚入力によって拡張された現実世界ビューを指す。本明細書の文脈では、複合現実という用語が拡張現実を包含することが意図される。
【0003】
例えば、仮想現実、拡張現実または複合現実シーンにおいてインタラクティブオブジェクトが提供されてよい。インタラクティブオブジェクトとの相互作用は、ユーザがインタラクティブオブジェクトに関与するためにインタラクティブオブジェクトを見るか、および／またはコントローラを用いることが必要かもしれないので煩わしいことがある。
【摘要】
【0004】
第１の側面において、本明細書は装置を提供し、前記装置は、インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示に応答して、前記インタラクティブオブジェクトを前記キューへ追加する手段、前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて、前記インタラクティブオブジェクトに対応する第１の制御区域を提供する手段であって、前記第１の制御区域は前記ユーザにアクセス可能である、前記提供する手段、前記ユーザが少なくとも部分的に前記第１の制御区域内にいるかどうかを決定する手段、前記ユーザが少なくとも部分的に前記第１の制御区域内にいると決定することに応じて、前記ユーザにフィードバック（例えば、ハプティックフィードバック）を提供する手段、および前記インタラクティブオブジェクトと相互作用するための相互作用入力を前記ユーザから受信する手段を備える。
【0005】
前記インタラクティブオブジェクトを前記インタラクティブオブジェクトキューへ追加する前記手段は、ユーザ注視を前記インタラクティブオブジェクトの方へ決定する手段を備えてよく、前記ユーザ注視が前記ユーザ指示である。前記ユーザ注視を決定する前記手段は、前記インタラクティブオブジェクトが少なくとも第１の閾値時間間隔にわたって前記ユーザの視野中にあるか、および／または前記ユーザと前記インタラクティブオブジェクトとの間の距離が第１の閾値距離より短いかどうかを決定してよい。
【0006】
前記第１の制御区域の位置は、例えば、前記ユーザの位置に基づいて決定されてよい。
【0007】
前記第１の制御区域は、前記第１の制御区域が既存のどの制御区域とも重ならないように提供されるとよい。
【0008】
いくつかの実施形態は、少なくとも１つのインタラクティブオブジェクトを前記インタラクティブオブジェクトキューから削除する手段を備えてよい。前記少なくとも１つのインタラクティブオブジェクトは、例えば、前記ユーザが第２の閾値時間間隔にわたって前記少なくとも１つのインタラクティブオブジェクトと相互作用しないときに削除されてよい。
【0009】
いくつかの実施形態は、前記インタラクティブオブジェクトのビジュアル表現を前記ユーザに提供する手段を備えてよい。前記インタラクティブオブジェクトの前記ビジュアル表現のサイズは、前記インタラクティブオブジェクトを前記インタラクティブオブジェクトキューへ追加するときに増加されてよい。
【0010】
いくつかの実施形態は、前記第１の制御区域のビジュアル表現を前記ユーザに提供する手段を備えてよい。
【0011】
前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されるときに前記ユーザに通知する手段が提供されてよい。
【0012】
いくつかの実施形態は、前記少なくとも１つのインタラクティブオブジェクトを前記インタラクティブオブジェクトキューへ追加した後に、第３の閾値時間間隔内に前記ユーザから拒絶入力を受信する手段、および前記拒絶入力の受信の際に前記インタラクティブオブジェクトを前記インタラクティブオブジェクトキューから削除する手段を備えてよい。
【0013】
本発明のいくつかの形態において、前記手段は、少なくとも１つのプロセッサ、およびコンピュータプログラムコードを含んだ少なくとも１つのメモリを備えてよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置の前記性能を生じさせるように構成される。
【0014】
第２の側面において、本明細書は装置を記載し、前記装置は、インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示を提供する手段、前記ユーザが少なくとも部分的に第１の制御区域内にいることに応じて、少なくとも１つのフィードバック（例えば、ハプティックフィードバック）を受信する手段であって、前記第１の制御区域は、前記インタラクティブオブジェクトに対応し、前記第１の制御区域は、前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて提供される、前記受信する手段、および前記インタラクティブオブジェクトと相互作用するための相互作用入力を前記ユーザから提供する手段を備える。
【0015】
第３の側面において、本明細書は方法を記載し、前記方法は、インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示に応答して、前記インタラクティブオブジェクトを前記キューへ追加することと、前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて、前記インタラクティブオブジェクトに対応する第１の制御区域を提供することであって、前記第１の制御区域は前記ユーザにアクセス可能である、前記提供することと、前記ユーザが少なくとも部分的に前記第１の制御区域内にいるかどうかを決定することと、前記ユーザが少なくとも部分的に前記第１の制御区域内にいると決定することに応じて、前記ユーザに少なくとも１つのフィードバックを提供することとを含む。
【0016】
第４の側面において、本明細書は方法を記載し、前記方法は、インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示を提供することと、前記ユーザが少なくとも部分的に第１の制御区域内にいることに応じて、少なくとも１つのフィードバック（例えば、ハプティックフィードバック）を受信することであって、前記第１の制御区域は、前記インタラクティブオブジェクトに対応し、前記第１の制御区域は、前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて提供される、前記受信することと、前記インタラクティブオブジェクトと相互作用するための相互作用入力を前記ユーザから提供することとを含む。
【0017】
前記インタラクティブオブジェクトを前記インタラクティブオブジェクトキューへ追加することは、ユーザ注視を前記インタラクティブオブジェクトの方へ決定することを含んでよく、前記ユーザ注視が前記ユーザ指示である。前記ユーザ注視を決定する前記手段は、前記インタラクティブオブジェクトが少なくとも第１の閾値時間間隔にわたって前記ユーザの視野中にあるか、および／または前記ユーザと前記インタラクティブオブジェクトとの間の距離が第１の閾値距離より短いかどうかを決定してよい。
【0018】
前記第１の制御区域は、前記第１の制御区域が既存のどの制御区域とも重ならないように提供されるとよい。
【0019】
いくつかの実施形態は、少なくとも１つのインタラクティブオブジェクトを前記インタラクティブオブジェクトキューから削除することを含んでよい。前記少なくとも１つのインタラクティブオブジェクトは、例えば、前記ユーザが第２の閾値時間間隔にわたって前記少なくとも１つのインタラクティブオブジェクトと相互作用しないときに削除されてよい。
【0020】
いくつかの実施形態は、前記インタラクティブオブジェクトのビジュアル表現を前記ユーザに提供することを含んでよい。前記インタラクティブオブジェクトの前記ビジュアル表現のサイズは、前記インタラクティブオブジェクトを前記インタラクティブオブジェクトキューへ追加するときに増加されてよい。代わりに、または加えて、いくつかの実施形態は、前記第１の制御区域のビジュアル表現を前記ユーザに提供することを含んでよい。
【0021】
いくつかの実施形態は、前記少なくとも１つのインタラクティブオブジェクトを前記インタラクティブオブジェクトキューへ追加した後に、第３の閾値時間間隔内に前記ユーザから拒絶入力を受信することと、前記拒絶入力の受信の際に前記インタラクティブオブジェクトを前記インタラクティブオブジェクトキューから削除することとを含んでよい。
【0022】
第５の側面において、本明細書は、前記第３または第４の側面を参照して記載されるようないずれかの方法を行うように構成された装置を記載する。
【0023】
第６の側面において、本明細書は、コンピューティング装置によって実行されたときに、前記第３または第４の側面を参照して記載されるようないずれかの方法をコンピューティング装置に行わせる、（例えば、非一時的コンピュータ可読媒体のような、コンピュータ可読媒体上に提供された）コンピュータ可読命令を記載する。
【0024】
第７の側面において、本明細書はコンピュータプログラムを記載し、前記コンピュータプログラムは、少なくとも、インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示に応答して、前記インタラクティブオブジェクトを前記キューへ追加し、前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて、前記インタラクティブオブジェクトに対応する第１の制御区域を提供し、前記第１の制御区域は、前記ユーザにアクセス可能であり、前記ユーザが少なくとも部分的に前記第１の制御区域内にいるかどうかを決定し、前記ユーザが少なくとも部分的に前記第１の制御区域内にいると決定することに応じて、前記ユーザに少なくとも１つのフィードバックを提供することを装置に行わせるための命令を備える。前記コンピュータプログラムは、装置に前記インタラクティブオブジェクトと相互作用するための相互作用入力を前記ユーザから受信させるための命令をさらに備えてよい。
【0025】
第８の側面において、本明細書はコンピュータ可読媒体（例えば、不揮発性コンピュータ可読媒体）を記載し、前記コンピュータ可読媒体は、少なくとも、インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するためのユーザ指示に応答して、前記インタラクティブオブジェクトを前記キューへ追加することと、前記インタラクティブオブジェクトが前記インタラクティブオブジェクトキューへ追加されることに応じて、前記インタラクティブオブジェクトに対応する第１の制御区域を提供することであって、前記第１の制御区域は前記ユーザにアクセス可能である、前記提供することと、前記ユーザが少なくとも部分的に前記第１の制御区域内にいるかどうかを決定することと、前記ユーザが少なくとも部分的に前記第１の制御区域内にいると決定することに応じて、前記ユーザに少なくとも１つのフィードバックを提供することとを行うためにその上に格納されたプログラム命令を備える。前記コンピュータ可読媒体は、前記インタラクティブオブジェクトと相互作用するための相互作用入力を前記ユーザから受信するためにその上に格納されたプログラム命令をさらに備えてよい。
【0026】
本明細書では、実施形態例が、以下の概略図を参照して、非限定の例として記載される。
【図面の簡単な説明】
【0027】
【図1】仮想現実または拡張現実ヘッドセットを示す。
【図2】ある実施形態例によるブロック図である。
【図3】ある実施形態例によるブロック図である。
【図4】ある実施形態例によるアルゴリズムを示すフローチャートである。
【図5】ある実施形態例によるアルゴリズムを示すフローチャートである。
【図6】ある実施形態例によるアルゴリズムを示すフローチャートである。
【図7A】ある実施形態例によるシーンの表現を示す（トップビュー）。
【図7B】ある実施形態例によるシーンの表現を示す（ユーザビュー）。
【図8A】ある実施形態例によるシーンの表現を示す（トップビュー）。
【図8B】ある実施形態例によるシーンの表現を示す（ユーザビュー）。
【図9A】ある実施形態例によるシーンの表現を示す（トップビュー）。
【図9B】ある実施形態例によるシーンの表現を示す（ユーザビュー）。
【図10】ある実施形態例によるシーンの表現を示す。
【図11】ある実施形態例によるシーンの表現を示す。
【図12】ある実施形態例によるシーンの表現を示す。
【図13】ある実施形態例によるシーンの表現を示す。
【図14A】実施形態例によるシーンの表現を示す。
【図14B】実施形態例によるシーンの表現を示す。
【図15】ある実施形態例によるブロック図である。
【図16a】コンピュータによって作動されたときに実施形態による動作を行うコンピュータ可読コードを格納する有形の媒体、リムーバブルメモリユニットを示す。
【図16b】コンピュータによって作動されたときに実施形態による動作を行うコンピュータ可読コードを格納する有形の媒体、コンパクトディスク（ＣＤ：ｃｏｍｐａｃｔ ｄｉｓｃ）を示す。
【詳細説明】
【0028】
図１は、仮想現実または拡張現実空間のビジュアルデータを表示するための、仮想現実または拡張現実ヘッドセット４２０を示す。ヘッドセット４２０は、ビジュアルコンテンツ、例えば、１つ以上の仮想オブジェクトがグラスのシースルー部分上に投影または表示されることを可能にしうる、拡張現実（ＡＲ）グラスを備えてよい。
【0029】
ヘッドセット４２０は、仮想現実または拡張現実コンテンツデータを、例えば、メディアプレーヤ（示されない）から受信する。ここで、メディアプレーヤは、その表示を通じてコンテンツを再生するように構成されたモバイルフォン、スマートフォンまたはタブレットコンピュータを備えてよい。例えば、メディアプレーヤは、デバイスの主要表面をおおう大きいディスプレイを有し、それを通じてビデオコンテンツを表示できる、タッチスクリーンデバイスであってもよい。メディアプレーヤは、ヘッドセット４２０のホルダ中へ挿入されてもよい。かかるヘッドセット４２０を用いて、スマートフォンまたはタブレットコンピュータがビジュアルデータを表示してよく、それらのビジュアルデータは、ヘッドセット４２０中のそれぞれのレンズを経由してユーザの眼に提供される。
ビジュアルデータは、２つのわずかに異なる角度のビジュアルシーンが各々の眼に表示される立体表示として提供されてよい。
ビジュアルデータは、２つのわずかに異なる角度のビジュアルシーンが各々の眼に表示される立体表示として提供されてよい。
【0030】
ヘッドセット４２０は、ユーザの空間位置および／またはユーザの頭部の方位を決定する手段を含んでよい。これは、ヘッドセット４２０の空間位置および／または方位を決定する手段によってよい。継続的な複数の時間フレームにわたって、動きの量がそれゆえに算出されて、格納されてよい。例えば、ヘッドセット４２０は、ジャイロスコープ、加速度計および構造化光システムのうちの１つ以上を含みうる動き追跡センサを組み込んでよい。ユーザ、それゆえにヘッドセット４２０が位置および／または方位を変化させるにつれて、これらのセンサが位置データを生成してよく、それらの位置データから現在の視覚視野（ｖｉｓｕａｌ ＦＯＶ：ｖｉｓｕａｌ ｆｉｅｌｄ－ｏｆ－ｖｉｅｗ）が決定されて、更新される。ヘッドセット４２０は、仮想世界の立体ビデオ画像をユーザのそれぞれの眼の前に表示するための２つのデジタルスクリーンと、さらに提供される場合、オーディオを配信するための２つのスピーカとを備えてよい。本明細書における実施形態例は、特定のタイプのヘッドセット４２０に限定されない。
【0031】
いくつかの実施形態例において、ユーザの頭部の空間位置および／または方位は、６自由度（６ＤｏＦ：ｓｉｘ ｄｅｇｒｅｅｓ ｏｆ ｆｒｅｅｄｏｍ）法を用いて決定されてよい。図１に示されるように、これらは、ピッチ４２２、ロール４２３およびヨー４２４の測定と、さらに左右、前後および上下軸４２５、４２６および４２７に沿ったユークリッド空間中の並進移動の測定とを含む。（６自由度ヘッドセットの使用は、必須ではない。例えば、３自由度ヘッドセットを容易に用いることができるであろう。）
【0032】
ディスプレイシステムは、ヘッドセット４２０の空間位置および／または方位に基づいて、仮想現実または拡張現実コンテンツデータをユーザに表示するように構成されてよい。検出された空間位置および／または方位における変化、すなわち、動きの形態は、ビジュアルデータが投影される空間にかかわるユーザの位置または方位の変換を反映するように対応するビジュアルデータにおける変化をもたらしてよい。これは、３Ｄ仮想現実または拡張現実環境を経験しているユーザによって仮想現実コンテンツデータが消費されることを許容する。
【0033】
それに応じて、検出された空間位置および／または方位における変化は、オーディオデータが位置する空間にかかわるユーザの位置または方位の変換を反映するようにユーザに対して再生される対応するオーディオデータにおける変化をもたらしてよい。この変換に対応するために、レベルおよび位置変化などの修正が音オブジェクトのオーディオプレイバック特性に対してなされる。例えば、ユーザが彼の頭部を回転させるときには、ユーザの視点から、仮想世界では音オブジェクトが一定の位置のままに見えるように、音オブジェクトの位置がそれに応じて反対方向に回転される。別の例として、ユーザがオーディオオブジェクトからさらに離れるように歩くときには、現実世界ではユーザが現実の物理的音放出オブジェクトから離れるように歩くときに近似的に発生するであろうように、その利得または振幅がそれに応じて距離に逆比例して低下されてよい。
【0034】
仮想現実、拡張現実、または複合現実環境におけるユーザ相互作用は、煩わしいことがありうる。典型的な仮想現実、拡張現実、または複合現実環境における相互作用、例えば、ボタンを押すまたはスライダを動かすことは、ユーザが相互作用要素を見て、次に、適切な相互作用を行うことを要求する。相互作用要素を見ることは、仮想現実環境では、例えば、仮想現実を経験するデバイスの技術的限界ゆえに現実世界と比較してより難しいことがある。典型的な例は、オブジェクトの位置を視覚的に特定することをより難しくする、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）の限られた視野（ＦＯＶ）である。相互作用は、例えば、コントローラまたはジェスチャを用いて行われてよい。いくつかのシナリオでは、ユーザは、相互作用を行うことを望むにもかかわらず、相互作用要素を見ていないかもしれない。
【0035】
図２は、ユーザ１がインタラクティブオブジェクト装置２と相互作用する、ある実施形態例による、一般に参照数字１０によって示される、ブロック図である。インタラクティブオブジェクト装置２は、仮想現実装置、拡張現実装置、および／または複合現実装置であってよい。ユーザ１は、インタラクティブオブジェクト装置２によって提供された１つ以上のインタラクティブオブジェクトと相互作用するために、ユーザ指示および／または相互作用入力をインタラクティブオブジェクト装置２へ送信してよい。「仮想現実」という用語は、本明細書では仮想現実、拡張現実、および／または複合現実を表してよい。
【0036】
図３は、ある実施形態例による、一般に参照数字２０によって示される、ブロック図である。ユーザ１がユーザ指示をインタラクティブオブジェクト装置２へ送信することに応じて、インタラクティブオブジェクト装置２は、ユーザ１が１つ以上のインタラクティブオブジェクトと相互作用する手段を提供する。ユーザ１は、次に、１つ以上のインタラクティブオブジェクトと相互作用することが可能である。ユーザ１が１つ以上のインタラクティブオブジェクトと相互作用するために制御区域が提供されるように、インタラクティブオブジェクト装置２によって１つ以上のインタラクティブオブジェクトがインタラクティブオブジェクトキューへ追加されてよい。相互作用は、以下により詳細に考察される、様々な方法で行われてよい。
【0037】
図４は、ある実施形態例による、一般に参照数字３０によって示される、アルゴリズムを示すフローチャートである。動作１２において、第１のインタラクティブオブジェクトがインタラクティブオブジェクトキューへ追加される。動作１３において、インタラクティブオブジェクトがインタラクティブオブジェクトキューへ追加されることに応じて、第１の制御区域がユーザ１に提供される。第１の制御区域は、第１のインタラクティブオブジェクトに対応する。第１のインタラクティブオブジェクトは、ユーザ指示に応答して、インタラクティブオブジェクトキューへ追加されてよい。例えば、インタラクティブオブジェクトキューは、ユーザ１が用いる可能性が最も高いインタラクティブオブジェクトを備えてよい。仮想現実環境中には複数のインタラクティブオブジェクトがあってよい。提供される複数のインタラクティブオブジェクトのすべてがユーザにとって重要なわけではないかもしれず、もしくはユーザ１によって近い将来に用いられる可能性があるわけではないかもしれない。さらにまた、ユーザ１は、いくつかのオブジェクトと相互作用することをより容易にするために、それらのインタラクティブオブジェクトをインタラクティブオブジェクトキュー中に有することを好むこともある。
【0038】
図５は、ある実施形態例による、一般に参照数字４０によって示される、アルゴリズムを示すフローチャートである。アルゴリズム４０は、上記の動作１２および１３を含む。
【0039】
アルゴリズム４０の動作１１において、インタラクティブオブジェクト装置２は、ユーザ１からユーザ指示を受信する。動作１２において、ユーザ指示に応答して、第１のインタラクティブオブジェクトがインタラクティブオブジェクトキューへ追加される。動作１３において、第１の制御区域が提供される。第１の制御区域は、ユーザ１が完全にまたは部分的に第１の制御区域内にいるときに、ユーザ１が第１のインタラクティブオブジェクトと相互作用することが可能であるように、第１のインタラクティブオブジェクトに対応する。動作１４において、インタラクティブオブジェクト装置２は、ユーザ１が少なくとも部分的に第１の制御区域内にいるかどうかを決定する。ユーザ１が少なくとも部分的に第１の制御区域内にいることが決定される場合、動作１５において少なくとも１つのフィードバックがユーザに提供される。動作１６において、第１のインタラクティブオブジェクトと相互作用するためにユーザ１から相互作用入力が受信される。
【0040】
第１の制御区域は、ユーザ１の位置に従って修正されてよい。かくして、ユーザ１が移動する場合、第１の制御区域は、ユーザ１の位置に関係なく、ユーザ１が第１のインタラクティブオブジェクトと相互作用することが依然として可能であることを確実にするように修正されてよい。
【0041】
一例において、ユーザ指示（例えば、ユーザ指示１１）は、ジェスチャ、例えば、手のジェスチャ、眼の動き、体の動き、または同様のものであってよい。手のジェスチャの例は、オブジェクト上でホーバすること、オブジェクトの方を指し示すこと、または拍手することを含む。眼の動きの例は、オブジェクトを凝視することまたは瞬きすることを含む。体の動きの例は、体の部分によるオブジェクトの方への並進移動を含む。ユーザ指示は、オーディオ入力、例えば、予め決定されたキーワードを含んだ発話、口笛、または同様のものであってもよい。代わりに、ユーザ指示は、ユーザ１から前に受信された命令であってもよい。一例において、ユーザ指示は、インタラクティブオブジェクトが第１の閾値時間間隔にわたってユーザの視野内にあるときに受信される。一例において、ユーザ指示は、ユーザとインタラクティブオブジェクトとの間の距離が第１の閾値距離未満であるときに受信される。
【0042】
例えば、ユーザ１の全身が第１の制御区域内にある場合、ユーザは、完全に第１の制御区域内にいるであろう。ユーザの体のいくつかの、しかしすべてではない部分が第１の制御区域内にある場合には、ユーザ１は、部分的に第１の制御区域内にいるであろう。
【0043】
別の例では、ユーザ１は、インタラクティブオブジェクト装置２と相互作用するためにコントローラを用いてよい。動作１４において、ユーザ１がコントローラを第１の制御区域内の第１のインタラクティブオブジェクトの方へ向けているかどうかが決定されてよい。ユーザ１がコントローラを第１のインタラクティブオブジェクトの方へ向けている場合、動作１５においてフィードバックがユーザ１に提供されてよい。
【0044】
一例において、少なくとも１つのフィードバック（上記の例では動作１５）は、オーディオ通知、ビジュアル通知、および／またはハプティック通知のうちの１つ以上を含んでよい。例えば、ユーザが第１の制御区域内にいるときに、インタラクティブオブジェクト装置２は、ユーザが第１の制御区域内にいることを示すことによるオーディオ通知を提供してよい。代わりに、インタラクティブオブジェクト装置２は、ユーザが第１の制御区域内にいることをユーザに示しうるビジュアル通知、例えば点滅光、ユーザビュー中の通知、ユーザビュー中に提供される第１のインタラクティブオブジェクトビューへの変化、または同様のものを提供してよい。代わりに、ユーザ１がコントローラを用いているときには、ユーザ１がコントローラを第１のインタラクティブオブジェクトの方へ向けるときに、ユーザ１は、コントローラを通してハプティックフィードバックを感じてよい。ユーザ１が第１のインタラクティブオブジェクトと相互作用することが今や可能であることを示すために、（先に提示された選択肢の２つ以上の組み合わせを含めて）ユーザにフィードバックを提供する様々な方法がありうることがわかるであろう。
【0045】
一例において、相互作用入力は、ユーザ１が今や第１のインタラクティブオブジェクトと相互作用しつつあるように、ユーザ１から受信される。例えば、ユーザ１が第１のインタラクティブオブジェクトに対応するアクションを実行することを望む場合、ユーザ１は、相互作用入力をインタラクティブオブジェクト装置２へ送信してよい。相互作用入力は、特有のボタンを用いたジェスチャ、ジェスチャのシーケンス、コントローラ上の動き、もしくはボタンおよび／または動きのシーケンス、オーディオ入力、あるいは同様のものであってよい。ジェスチャは、以下には限定されないが、手のジェスチャ、眼の動き、体の動き、または前記の同様のものを含んでよい。
【0046】
図６は、ある実施形態例による、一般に参照数字４０によって示される、アルゴリズムを示すフローチャートである。動作１１から１６は、アルゴリズム４０の動作１１から１６と同様である。
【0047】
第１のインタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加した（上記の動作１２）後に、動作２１において、インタラクティブオブジェクト装置２は、拒絶入力がユーザ１から受信されるかどうかを決定する。拒絶入力が受信される場合、（動作２２において）第１のインタラクティブオブジェクトがオブジェクトキューから削除される。削除されない場合、アルゴリズム２０は、動作１３～１６が実行されるように上記の動作１３へ移る。
【0048】
ユーザ１が第１のインタラクティブオブジェクトをインタラクティブオブジェクトキュー中に保持することを望まない場合には、ユーザ１は、例えば、拒絶入力を送信してよい（動作２１）。例えば、ユーザ１は、動作１１においてユーザ指示を誤って送信したかもしれず、または第１のインタラクティブオブジェクトをインタラクティブオブジェクトキューへ意図的に追加したのではなかったかもしれない。それゆえに、ユーザ１は、拒絶入力を送信することによって、第１のインタラクティブオブジェクトをインタラクティブオブジェクトキューから削除してよい。拒絶入力は、特有のボタンを用いたジェスチャ、ジェスチャのシーケンス、コントローラ上の動き、もしくはボタンおよび／または動きのシーケンス、オーディオ入力、あるいは同様のものであってよい。
【0049】
一例において、拒絶入力（動作２１）は、第１のインタラクティブオブジェクトが少なくとも第２の閾値時間間隔にわたって相互作用しなかった場合に受信されてよい。別の例では、拒絶入力は、ユーザのロケーションに基づいて受信されてよい。例えば、ユーザと第１のインタラクティブオブジェクトとの間の距離が第１の閾値距離より大きいと決定される場合、拒絶入力が受信されて、第１のインタラクティブオブジェクトがインタラクティブオブジェクトキューから削除される（動作２２）。代わりに、または加えて、ユーザと第１のインタラクティブオブジェクトとの間の距離が、ユーザ指示が受信される（動作１１）ときの第１の閾値距離より大きいと決定される場合、拒絶入力が受信されて、第１のインタラクティブオブジェクトがインタラクティブオブジェクトキューから削除される。代わりに、または加えて、第１のインタラクティブオブジェクトがインタラクティブオブジェクトキューへ追加された後にユーザが特定の拒絶ロケーションにいると決定される場合、拒絶入力が受信されて、第１のインタラクティブオブジェクトがインタラクティブオブジェクトキューから削除される。
【0050】
一例において、インタラクティブオブジェクトがインタラクティブオブジェクトキューへ追加されるときに、ユーザに通知される。通知は、オーディオ通知、ビジュアル通知、および／またはハプティック通知のうちの１つであってよい。例えば、ユーザにビジュアル通知が通知されるときには、インタラクティブオブジェクトのビジュアル表現のサイズがインタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するときに増加されてよい。
【0051】
図７Ａおよび図７Ｂは、ある実施形態例による第１のシーンの表現を示す。図７Ａは、一般に参照数字６０Ａによって示される、第１のシーンのトップビューを示す。図７Ｂは、一般に参照数字６０Ｂによって示される、第１のシーンのユーザビューを示す。第１のシーンは、仮想現実環境にあってよい。トップビュー６０Ａは、第１のインタラクティブオブジェクト６４およびユーザ６２（上記のユーザ１と同様）を備える。
【0052】
第１のインタラクティブオブジェクト６４は、上記のインタラクティブオブジェクト装置２と同様の、インタラクティブオブジェクト装置の一部であってよい。ユーザビュー６０Ｂは、ユーザの現在の位置からのビュー、すなわち、ユーザ６２によって見られるような、仮想現実環境のビューを示す。ユーザビュー６０Ｂは、ユーザ６２によって見られるような第１のインタラクティブオブジェクト６４のビジュアル表現である、第１のインタラクティブオブジェクトビュー６６を備える。ユーザ６２が前方（すなわち、図７Ａ中の図の左側の方）を見ているので、第１のインタラクティブオブジェクト６４は、ユーザ６２には第１のインタラクティブオブジェクトビュー６６のように見える。
【0053】
第１のインタラクティブオブジェクト６４は、現実のインタラクティブオブジェクト、例えば、物理的オブジェクト、タッチスクリーン上のアイテム、または同様のものであってよい。かくして、第１のインタラクティブオブジェクト６４の位置は、トップビュー６０Ａに示されるように、第１のインタラクティブオブジェクト６４の現実の物理的位置であってよい。代わりに、第１のインタラクティブオブジェクト６４は、仮想のインタラクティブオブジェクトであってもよく、第１のインタラクティブオブジェクト６４の位置は、第１のインタラクティブオブジェクト６４の仮想の位置であってもよい。第１のインタラクティブオブジェクト６４が現実のインタラクティブオブジェクトまたは仮想のインタラクティブオブジェクトであるかどうかに関係なく、ユーザ６２は、インタラクティブオブジェクト装置に組み込まれた仮想現実技法を用いて第１のインタラクティブオブジェクト６４と相互作用することが可能である。
【0054】
図８Ａおよび図８Ｂは、ある実施形態例による第２のシーンの表現を示す。図８Ａは、一般に参照数字７０Ａによって示される、第２のシーンのトップビューを示す。図８Ｂは、一般に参照数字７０Ｂによって一般に示される、第２のシーンのユーザビューを示す。第２のシーンは、仮想現実環境にあってよい。トップビュー７０Ａは、第１のインタラクティブオブジェクト６４およびユーザ６２を備える。ユーザビュー７０Ｂは、ユーザの現在の位置からのビュー、すなわち、ユーザ６２によって見られるような、仮想現実環境のビューを示す。ユーザビュー７０Ｂは、ユーザ６２によって見られるような第１のインタラクティブオブジェクト６４のいずれのビューも備えない。ユーザ６２が前方（すなわち、図８Ａ中の図の左側の方）を見ていて、ユーザ６２が第１のシーン６０Ａに示される位置から移動したときに、ユーザ６２の現在の位置では第１のインタラクティブオブジェクト６４がユーザ６２の背後にあるので、第１のインタラクティブオブジェクト６４がユーザ６２には見えない。
【0055】
一例において、ユーザ６２が第１のシーン６０Ａに示される位置にいるときに、第１のインタラクティブオブジェクト６４は、第１のインタラクティブオブジェクトビュー６６のようにユーザには見えるので、ユーザ６２が第１のインタラクティブオブジェクト６４と相互作用することは容易かもしれない。ユーザ６２が仮想現実環境において他のタスクを行っているときに、ユーザ６２が第１のインタラクティブオブジェクト６４と相互作用するためにどこか他のところを見るか、または彼らの位置を変化させることが必要ないかもしれない。しかしながら、ユーザが第２のシーン７０Ａに示される位置へ移動したときには、第１のインタラクティブオブジェクト６４がユーザ６２にはもはや見えない。ユーザ６２は、その場合、第１のインタラクティブオブジェクト６４と相互作用するために振り向いて第１のインタラクティブオブジェクト６４を見るか、またはそれを特に指し示すことを要求されるかもしれない。これは、ユーザ６２にとって気を散らし、煩わしいかもしれず、ユーザ６２によって仮想現実環境において行われている他のタスクに中断を生じさせることもある。
【0056】
図９Ａおよび図９Ｂは、ある実施形態例による第３のシーンの表現を示す。図９Ａは、一般に参照数字８０Ａによって示される、第３のシーンのトップビューを示す。図９Ｂは、一般に参照数字８０Ｂによって示される、第３のシーンのユーザビューを示す。第３のシーンは、仮想現実環境にあってよい。トップビュー８０Ａは、第１のインタラクティブオブジェクト６４、ユーザ６２、および第１の制御区域８２を備える。ユーザビュー８０Ｂは、ユーザの現在の位置からのビュー、すなわち、ユーザ６２によって見られるような、仮想現実環境のビューを示す。
【0057】
図５と併せて眺めると、ユーザ指示がユーザ６２から受信される（動作１１）ときに、第１のインタラクティブオブジェクト６４がインタラクティブオブジェクトキューへ追加されて（動作１２）、第１の制御区域８２がユーザ６２に提供される（動作１３）。第１の制御区域８２は、ユーザ６２が第１の制御区域８２の方を指し示すか、またはその内にいる（動作１４）ことによって第１のインタラクティブオブジェクト６４と相互作用することが可能でありうるように、第１のインタラクティブオブジェクト６４に対応している。かくして、ユーザ６２は、第１のインタラクティブオブジェクト６４を見るか、またはその方を直接に指し示すことを要求されないので、ユーザが仮想現実環境において他のタスクを行っている間に中断される可能性はより低い。第１の制御区域８２は、第１のインタラクティブオブジェクト６４の全般的な方向に提供されてよい。しかしながら、これは、第１の制御区域８２がユーザ６２の近傍においていずれかの方向に提供されてよいように、任意的である。
【0058】
一例において、第１のインタラクティブオブジェクト６４をインタラクティブオブジェクトキューへ追加した後に、第１のインタラクティブオブジェクトのビュー、例えば、第１のインタラクティブオブジェクトビュー８４が、ユーザビュー８０Ｂに示されるように、ユーザビューへ追加される。シーン８０Ａに示される位置にいるユーザ６２にはユーザが前方（すなわち、図９Ａの図の左側の方）を見ているときに第１のインタラクティブオブジェクト６４が見えないかもしれないので、第１のインタラクティブオブジェクトビュー８４の位置は、第１のインタラクティブオブジェクト６４の現実の位置と必ずしも同じでなくてよい。第１のインタラクティブオブジェクト６４がインタラクティブオブジェクトキュー中にあることをユーザに示すために、第１のインタラクティブオブジェクトビュー８４がユーザビュー８０Ｂへ追加されてよい。かくして、複数のインタラクティブオブジェクトがインタラクティブオブジェクトキュー中にある場合、複数のインタラクティブオブジェクトの各々についてインタラクティブオブジェクトビューがユーザビュー８０Ｂへ追加されてよい。一例において、ユーザ６２が完全にまたは部分的に第１の制御区域８２内にいる（動作１４）ときに、第１のインタラクティブオブジェクトビュー８４のサイズを増加させるか、またはいずれか他のビジュアル変化をそれにもたらすことによって、少なくとも１つのフィードバックがユーザ６２に提供される（動作１５）。かくして、複数のインタラクティブオブジェクトがインタラクティブオブジェクトキュー中にある場合、第１のインタラクティブオブジェクトビュー８４にのみ変化がもたらされ、他のインタラクティブオブジェクトビューは同じままである。
【0059】
一例において、インタラクティブオブジェクトのビューをユーザビュー８０Ｂ中に提供することに加えて、制御区域のビジュアル表現もユーザにユーザビュー８０Ｂ中で提供される。これは、制御区域の全般的な方向またはサイズをユーザが決定することを許容するのに有益である。
【0060】
実施形態例に記載される技法の様々な実用的使用法があってよい。
【0061】
一例において、本明細書に記載される、インタラクティブオブジェクト装置２と同様の、インタラクティブオブジェクト装置が産業工場または倉庫において用いられてよい。工場には、仮想現実技法を用いて制御されてよい多くの機械がありうる。これらの機械が１つ以上のインタラクティブオブジェクトと関連付けられてよい。例えば、ユーザは、仮想現実インターフェースにおいて物理的機械を制御するためにコントローラまたはジェスチャを用いてよい。大きい工場では、例えば、ユーザが複数の機械を直接に見るか、またはそれらを指し示すことによって各機械を制御することが煩わしく、非能率的なことがある。ユーザ６２と同様の、ユーザが工場において通路に沿って移動して、所望のインタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加してよい。ユーザは、インタラクティブオブジェクトキュー中のインタラクティブオブジェクトと相互作用している間に移動していてよい。例えば、ユーザ６２が第１の機械を備える第１の通路にいるときに、ユーザ６２は、第１のインタラクティブオブジェクト６４をインタラクティブオブジェクトキューへ追加する。第１のインタラクティブオブジェクト６４は、第１の機械の構成を変更するために用いられてよい。ユーザ６２は、次に、工場に沿って他の通路へ移動し、第１の機械の構成が直ちに変更されなければならないことを理解する。ユーザ６２は、次に、第１の制御区域８２を指し示してよい。ユーザ６２は、ユーザが第１の制御区域８２内にいることを示すフィードバックを受信した後に、相互作用入力を送信して、第１のインタラクティブオブジェクト６４と相互作用してよい。それゆえに、ユーザ６２が第１の機械に近い第１の通路へ戻る必要なしに第１の機械の構成が変更される。
【0062】
別の例では、インタラクティブオブジェクト装置２と同様の、本明細書に記載されるインタラクティブオブジェクト装置が画像またはビデオ編集システムに用いられてよい。例えば、画像またはビデオ編集のために仮想現実環境が用いられてよい。画像またはビデオ編集システムにおいて画像またはビデオを編集もしくは作成するための多くのツールおよび特徴があることが知られている。特定のプロジェクトに取り組んでいるユーザにとってすべてのツールおよび特徴が有用なわけではない。かくして、上記のユーザ６２と同様の、ユーザは、１つ以上の有用なツールまたは特徴に対応する、１つ以上のインタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加してよい。１つ以上の有用なツールまたは特徴は、その場合、要求されたときにユーザに容易にアクセス可能であってよい。
【0063】
別の例では、インタラクティブオブジェクト装置２は、オーディオビジュアル環境をモニタするために用いられてよい。例えば、ユーザは、仮想現実技法を用いてテレビ上またはインターネット上のコンサートビデオのストリーミングを制御してよい。コンサートは、複数のカメラビューおよび複数のオーディオ出力を備えてよい。ユーザは、ストリーミングのためのカメラビューおよびオーディオ出力のうちの１つ以上を選択し、または制御するために１つ以上のインタラクティブオブジェクトを追加してよい。
【0064】
別の例では、インタラクティブオブジェクト装置２は、メディア消費のために用いられてよい。例えば、ユーザは、運動しながら音楽を聴くことを望んでよい。音楽を選択して再生するために仮想現実環境が用いられてよい。ユーザは、運動を中断されることなく歌を選択してよいように、１つ以上の歌をインタラクティブオブジェクトとしてインタラクティブオブジェクトキューへ追加してよい。
【0065】
別の例では、インタラクティブオブジェクト装置２は、仮想シーンの周り（例えば、仮想現実環境中のコンピュータゲーム内）を移動するために用いられてよい。図１０は、ある実施形態例による、一般に参照数字９０によって示される、第４のシーンの表現を示す。第４のシーンの上部は、ユーザビューであり、第４のシーンの下部は、トップビューである。第４のシーンは、仮想現実コンピュータゲーム環境を示す。第４のシーンは、ドア７２ａ（トップビュー）、ドア７２ｂ（ユーザビュー）、ユーザ６２、コントローラ３４ａ（トップビュー）、コントローラ３４ｂ（ユーザビュー）、制御区域５２、およびインタラクティブオブジェクト３６ａ（トップビュー）を備える。ユーザ６２の現在の位置では、インタラクティブオブジェクト３６ａは、見えず、従って、ユーザビューには含まれない。インタラクティブオブジェクト３６ａは、ドア７２ａを閉めるために用いられてよい。
【0066】
図１１は、ある実施形態例による、一般に参照数字１００によって示される、第５のシーンの表現を示す。第５のシーン１００は、ユーザ６２が第１の制御区域５２内にいるか、またはその方を指し示してよいときに、インタラクティブオブジェクト３６ｂがユーザのビューへ追加されてよいことを示す。さらにまた、ユーザ６２が第１の制御区域５２内にいるか、またはその方を指し示している間にユーザ６２が相互作用入力を提供する場合、ユーザビュー中のドア１０２（図１１には示されない、ドア７２ａのユーザビュー）によって示されるように、ドアが閉められてよい。ドアを閉めることが可能なことの有用性が、例えば、図１２に示される。
【0067】
図１２および図１３は、ある実施形態例による、一般に参照数字１１０および１２０によって示される、第６および第７のシーンの表現を示す。例えば、第６のシーン１１０では、ドア７２ａが開いている間にコンピュータゲーム内の仮想モンスター７４がユーザ６２に近づいてくる。モンスター７４が近づいてくることをユーザ６２が理解するや否や、ユーザ６２は、第１のインタラクティブオブジェクト３６ａの方を見る必要なしに、第１の制御区域５２に相互作用入力を送信することによって、第７のシーン１２０（図１３のトップビューでは１０２ａ、図１３のユーザビューでは１０２ｂ）に示されるように、直ちにドアを閉めてよい。
【0068】
インタラクティブオブジェクト装置の様々な他の使用法があってよく、上記の例が説明のために過ぎないことがわかるであろう。
【0069】
一例において、ユーザは、複数のインタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加してよい。インタラクティブオブジェクトは、優先順位を有してよい。
【0070】
一例において、優先順位は、インタラクティブオブジェクトがインタラクティブオブジェクトキューへ追加された回数に基づいてインタラクティブオブジェクトに割り当てられる。例えば、ごく最近に追加されたインタラクティブオブジェクトがより高い優先順位を有してよい。別の例では、優先順位は、インタラクティブオブジェクトをインタラクティブオブジェクトキューへ追加するときのユーザのインタラクティブオブジェクトからの距離に基づいてインタラクティブオブジェクトに割り当てられる。例えば、第１のインタラクティブオブジェクトがインタラクティブオブジェクトキューへ追加されたときにユーザと第１のインタラクティブオブジェクトとの間の距離が第１の距離であり、第２のインタラクティブオブジェクトがインタラクティブオブジェクトキューへ追加されたときにはユーザと第２のインタラクティブオブジェクトとの間の距離が第２の距離であった。第１の距離が第２の距離より短い場合に、第１のインタラクティブオブジェクトの優先順位が第２のインタラクティブオブジェクトより高いことがある。代わりに、第１の距離が第２の距離より長い場合に、第１のインタラクティブオブジェクトの優先順位が第２のインタラクティブオブジェクトより高いこともある。
【0071】
別の例では、優先順位は、ユーザがインタラクティブオブジェクトに優先順位を割り当ててよいように、ユーザ嗜好に基づいてインタラクティブオブジェクトに割り当てられる。
【0072】
さらに別の例では、優先順位は、ユーザの現在の状況および／またはタスクおよび／または位置にとって最も適切であるとシステムによって判断されるインタラクティブオブジェクトがより高い優先順位を有するように、システムによって決定される妥当性に基づいてインタラクティブオブジェクトに割り当てられる。
【0073】
一例において、インタラクティブオブジェクトごとに提供される制御区域は、優先順位に基づいて異なってよい。例えば、インタラクティブオブジェクトがより高い優先順位を有するときに、対応する区域がより大きくてよい。
【0074】
一例において、ユーザビュー中に提供されるインタラクティブオブジェクトのビューは、インタラクティブオブジェクトの優先順位に基づいて異なってよい。例えば、インタラクティブオブジェクトがより高い優先順位を有するときに、対応するユーザビューがより大きてよい。
【0075】
一例において、インタラクティブオブジェクトキューは、限られた数のインタラクティブオブジェクトを有してよい。ユーザによって追加されたインタラクティブオブジェクトの数が制限数を越える場合、優先順位がより低いインタラクティブオブジェクトがインタラクティブオブジェクトキューから削除されてよい。一例において、ユーザ嗜好に基づいて、または優先順位に基づいて１つ以上のインタラクティブオブジェクトがインタラクティブオブジェクトキューから削除されてよい。
【0076】
図１４Ａおよび１４Ｂは、ある実施形態例による、一般にそれぞれ参照数字１３０および１４０によって示される、それぞれ第８のシーンおよび第９のシーンの表現を示す。シーン１３０は、第１のインタラクティブオブジェクト１３６、第２のインタラクティブオブジェクト１３８、ユーザ６２、第１の制御区域１３２ａおよび第２の制御区域１３４ａを備えるトップビューである。シーン１４０は、第１のインタラクティブオブジェクト１３６、第２のインタラクティブオブジェクト１３８、ユーザ６２、第１の制御部域１３２ｂ、第２の制御部域１３４ｂ、および前のユーザ位置１４２を備えるトップビューである。シーン１４０は、ユーザ６２が前のユーザ位置１４２から図１４Ｂの図の左の方へ移動したことを示す。結果として、制御区域は、第１の制御区域１３２ａから第１の制御区域１３２ｂへ、および第２の制御区域１３４ａから第２の制御区域１３４ｂへ変化した。これは、ユーザ６２が移動後または移動中であっても第１および第２の制御区域１３６および１３８と相互作用することが可能であることを許容する。
【0077】
留意すべきは、複数のインタラクティブオブジェクトがインタラクティブオブジェクトキュー中にあるときには、それらに対応する制御区域が重ならないように提供されるとよいということである。
【0078】
完全を期すために、図１５は、以下では一般に処理システム３００と呼ばれる、前述の１つ以上の実施形態例の構成要素の概略図である。処理システム３００は、プロセッサ３０２、プロセッサに密結合され、ＲＡＭ３１４およびＲＯＭ３１２からなるメモリ３０４、ならびに、任意的に、ユーザ入力３１０およびディスプレイ３１８を有してよい。処理システム３００は、ネットワーク／装置への接続のための１つ以上のネットワーク／装置インターフェース３０８、例えば、ワイヤードまたはワイヤレスであってよいモデムを備えてよい。インターフェース３０８は、他の装置、例えば、ネットワーク側装置ではないデバイス／装置への接続部として動作してもよい。従って、ネットワークに参加しないデバイス／装置間の直接接続が可能である。
【0079】
プロセッサ３０２は、その動作を制御するために他の構成要素の各々へ接続される。
【0080】
メモリ３０４は、不揮発性メモリ、例えば、ハードディスクドライブ（ＨＤＤ：ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）またはソリッドステートドライブ（ＳＳＤ：ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）を備えてよい。メモリ３１４のＲＯＭ３１２は、とりわけ、オペレーティングシステム３１５を格納し、ソフトウェアアプリケーション３１６も格納してよい。メモリ３０４のＲＡＭ３１４は、データの一時記憶のためにプロセッサ３０２によって用いられる。動作システム３１５は、プロセッサによって実行されたときに、上記のアルゴリズム３０、４０、および５０の側面を実装するコードを含んでよい。小さいデバイス／装置のケースでは、メモリを小型利用に最も適するようにできて、すなわち、常にハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）が用いられるわけではないことに留意されたい。
【0081】
プロセッサ３０２は、任意の適切な形態をとってよい。例として、プロセッサ３０２は、マイクロコントローラ、複数のマイクロコントローラ、プロセッサ、または複数のプロセッサであってよい。
【0082】
処理システム３００は、スタンドアローンコンピュータ、サーバ、コンソール、またはそれらのネットワークであってよい。処理システム３００および必要とされる構造部分は、すべてが内部デバイス／装置、すなわち、極小サイズに埋め込まれたＩｏＴデバイス／装置などであってよい。
【0083】
いくつかの実施形態例において、処理システム３００は、外部ソフトウェアアプリケーションと関連付けられてもよい。これらは、リモートサーバデバイス／装置上に格納されたアプリケーションであってよく、リモートサーバデバイス／装置上で部分的または排他的に作動してよい。これらのアプリケーションは、クラウドホスト型アプリケーションと称されてよい。処理システム３００は、そこに格納されたソフトウェアアプリケーションを利用するためにリモートサーバデバイス／装置と通信してよい。
【0084】
図１６ａおよび１６ｂは、コンピュータによって作動されたときに上記の実施形態例による方法を行ってよいコンピュータ可読コードを格納する有形の媒体、それぞれ、リムーバブルメモリユニット３６５およびコンパクトディスク（ＣＤ）３６８を示す。リムーバブルメモリユニット３６５は、コンピュータ可読コードを格納する内部メモリ３６６を有するメモリスティック、例えば、ＵＳＢメモリスティックであってよい。メモリ３６６は、コンピュータシステムによってコネクタ３６７を経由してアクセスされてよい。ＣＤ３６８は、ＣＤ－ＲＯＭもしくはＤＶＤまたは同様のものであってよい。有形の記憶媒体の他の形態が用いられてもよい。有形の媒体は、データ／情報を格納することが可能であり、それらのデータ／情報をデバイス／装置／ネットワーク間で交換できる任意のデバイス／装置とすることができる。
【0085】
本発明の実施形態は、ソフトウェア、ハードウェア、アプリケーションロジック、またはソフトウェア、ハードウェアおよびアプリケーションロジックの組み合わせで実装されてよい。ソフトウェア、アプリケーションロジックおよび／またはハードウェアは、メモリ、または任意のコンピュータ媒体上にあってよい。ある実施形態例においては、アプリケーションロジック、ソフトウェアまたは命令セットが様々な従来のコンピュータ可読媒体のいずれか１つの上に保持される。本文書の文脈では、「メモリ」または「コンピュータ可読媒体」は、命令実行システム、装置、またはデバイス、例えば、コンピュータによって、あるいはそれらと接続して用いるための命令を含む、格納する、通信する、伝搬するまたは輸送することができる、任意の非一時的媒体または手段であってよい。
【0086】
「コンピュータ可読記憶媒体」、「コンピュータプログラム製品」、「有形に具現されたコンピュータプログラム」など、または「プロセッサ」、「処理回路構成」などへの言及は、適切な場合には、種々のアーキテクチャ、例えば、シングル／マルチプロセッサ・アーキテクチャおよびシーケンサ／パラレル・アーキテクチャを有するコンピュータだけでなく、特殊回路、例えば、フィールドプログラマブルゲートアレイＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、特定用途向け回路ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｙ ｃｉｒｃｕｉｔ）、信号処理デバイス／装置および他のデバイス／装置も包含すると理解されるべきである。コンピュータプログラム、命令、コードなどへの言及は、プログラマブルプロセッサのためのソフトウェア、あるいは、ファームウェア、例えば、プロセッサのための命令、または固定機能デバイス／装置、ゲートアレイ、プログラマブルロジックデバイス／装置等のための構成されたもしくは構成設定など、ハードウェアデバイス／装置のプログラマブルコンテンツを表すと理解されるべきである。
【0087】
本出願では、「回路構成」という用語は、（ａ）ハードウェアのみの回路実装（例えば、アナログおよび／またはデジタル回路構成のみでの実装）、ならびに（ｂ）回路およびソフトウェア（および／またはファームウェア）の組み合わせ、例えば（適用できる場合）、（ｉ）プロセッサ（単数または複数）の組み合わせ、または（ｉｉ）サーバなどの装置に様々な機能を行わせるために一緒に作動するプロセッサ（単数または複数）／ソフトウェアの部分（デジタル信号プロセッサ（単数または複数）を含む）、ソフトウェア、およびメモリ（単数または複数）ならびに（ｃ）ソフトウェアまたはファームウェアがたとえ物理的に存在しなくても、動作のためにはソフトウェアまたはファームウェアを必要とする回路、例えば、マイクロプロセッサ（単数または複数）またはマイクロプロセッサ（単数または複数）の部分のすべてを指す。
【0088】
望ましい場合、本明細書において考察される異なる機能が異なる順序でおよび／または互いに同時に行われてもよい。さらにまた、望ましい場合、上記の機能の１つ以上が任意的であってもよく、または組み合わされてもよい。同様に、図４、５、および６のフロー図が例に過ぎないこと、および本明細書に描かれる様々な動作が省略、再順序付け、および／または組み合わされてよいこともわかるであろう。
【0089】
上記の実施形態例は、純粋に説明的であり、本発明の範囲を限定しないことがわかるであろう。本明細書を読んだときに他の変形および変更が当業者には明らかであろう。
【0090】
そのうえ、本出願の開示は、本明細書に明示的あるいは暗黙的に開示される任意の新規な特徴または特徴の任意の新規な組み合わせ、またはそれらの任意の一般化を含むと理解されるべきであり、本出願の、またはそれから派生する任意の出願のプロセキューションの間に、任意のかかる特徴および／またはかかる特徴の組み合わせをカバーする新しい請求項が作成されてよい。
【0091】
本発明の様々な側面が独立請求項に提示されるが、本発明の他の側面は、請求項に明示的に提示される組み合わせだけではなく、記載される実施形態例および／または従属請求項からの特徴と独立請求項の特徴との他の組み合わせを備える。
【0092】
本明細書において同様に留意されるのは、様々な例を先に記載したが、これらの記載が限定的な意味で考えられるべきではないということである。むしろ、添付の特許請求の範囲において規定されるような本発明の範囲から逸脱することなく行われてよいいくつかの変形および変更がある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15】
【図16a】
【図16b】