特許 6662914 媒介現実

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6662914

(24)【登録日】2020年2月17日

(45)【発行日】2020年3月11日

(54)【発明の名称】媒介現実

(51)【国際特許分類】

   G06F 3/01 20060101AFI20200227BHJP

   G06F 3/0481 20130101ALI20200227BHJP

   G06T 19/00 20110101ALI20200227BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/0481 150

   G06T19/00 A

【請求項の数】14

【全頁数】22

(21)【出願番号】特願2017-562760(P2017-562760)

(86)(22)【出願日】2016年5月26日

(65)【公表番号】特表2018-524684(P2018-524684A)

(43)【公表日】2018年8月30日

(86)【国際出願番号】FI2016050366

(87)【国際公開番号】WO2016193537

(87)【国際公開日】20161208

【審査請求日】2018年1月15日

(31)【優先権主張番号】15170628.0

(32)【優先日】2015年6月4日

(33)【優先権主張国】EP

【前置審査】

(73)【特許権者】

【識別番号】315002955

【氏名又は名称】ノキア テクノロジーズ オーユー

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】レッパネン ユッシ

(72)【発明者】

【氏名】エロネン アンッティ

(72)【発明者】

【氏名】レフティニエミ アルト

【審査官】 後藤 彰

(56)【参考文献】

【文献】 米国特許出願公開第２０１４／０２２５９１８（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／０１６９８７（ＷＯ，Ａ１）

【文献】 特開２０１４−０７２５７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

仮想空間の仮想シーンをユーザに見せることと；
前記ユーザの三次元ジェスチャを前記仮想空間において対応する三次元ジェスチャにマッピングすることと；
前記仮想空間において対応する三次元ジェスチャが、前記仮想空間の第１の部分に関連する一つ又は複数の第１の既定ジェスチャであるという決定に応じて、前記仮想空間の第１の部分に関連する、前記仮想空間におけるイベントを検出するために、前記仮想空間を経時的に分析することと；
を含む方法であって、
前記仮想空間の第１の部分は境界であり、前記検出されたイベントは、前記境界を移動仮想物体が横断する交差イベントである、方法。

【請求項2】

前記仮想空間の第１の部分は前記ユーザによって指定される、請求項１に記載の方法。

【請求項3】

前記仮想空間の第１の部分は、前記ユーザが三次元ジェスチャを用いて指定する、請求項２に記載の方法。

【請求項4】

前記仮想空間の第１の部分は境界を規定する、請求項１から３の何れかに記載の方法。

【請求項5】

前記ユーザの一つ又は複数の三次元ジェスチャを、前記仮想空間において対応する一つ又は複数の三次元ジェスチャにマッピングし、該一つ又は複数の三次元ジェスチャに応じて前記境界の少なくとも一次元を規定することを含む、請求項４に記載の方法。

【請求項6】

前記仮想空間の第１の部分の位置及び／又は向きの変化を定めるために、前記ユーザの一つ又は複数の三次元ジェスチャを、前記仮想空間において対応する一つ又は複数の三次元ジェスチャにマッピングすることを含む、請求項１から５の何れかに記載の方法。

【請求項7】

前記ユーザの一つ又は複数の三次元ジェスチャを、前記仮想空間において対応する一つ又は複数の三次元ジェスチャにマッピングすることは、前記仮想空間の仮想シーンを規定するために用いられる視野に依存する、請求項６に記載の方法。

【請求項8】

前記仮想空間の第１の部分は、一つ又は複数の仮想物体に関連して自動的に規定される、請求項１から７の何れかに記載の方法。

【請求項9】

前記検出されたイベントに応じて応答を生成することであって、該応答は前記ユーザに対するリアルタイム警報である、前記生成することを更に含む、請求項１から８の何れかに記載の方法。

【請求項10】

前記検出されたイベントに対する応答を生成することであって、該応答はロギング情報を含む、前記生成することを更に含む、請求項１から９の何れかに記載の方法。

【請求項11】

前記検出されたイベントに対する応答は、前記ユーザによって指定される、請求項９又は１０に記載の方法。

【請求項12】

仮想空間の仮想シーンをユーザに見せる手段と；
前記ユーザの三次元ジェスチャを前記仮想空間において対応する三次元ジェスチャにマッピングする手段と；
前記仮想空間において対応する三次元ジェスチャが、前記仮想空間の第１の部分に関連する一つ又は複数の第１の既定ジェスチャであるという決定に応じて、前記仮想空間の第１の部分に関連する、前記仮想空間におけるイベントを検出するために、前記仮想空間を経時的に分析する手段と；
を備える装置であって、
前記仮想空間の第１の部分は境界であり、前記検出されたイベントは、前記境界を移動仮想物体が横断する交差イベントである、装置。

【請求項13】

処理手段及び記憶手段を備える装置であって、前記装置はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から１１のいずれかに記載の方法を遂行させるように構成される、装置。

【請求項14】

装置の処理手段に実行されると、前記装置に、請求項１から１１のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、拡張現実（augmented reality）や仮想現実（virtual reality）等の媒介現実（mediated reality）に関する。

【背景】

【0002】

本願における媒介現実は、ユーザが完全人工環境又は半人工環境を体験することである。

【0003】

拡張現実は媒介現実の一形態で、ユーザは半人工半現実環境を体験する。仮想現実も媒介現実の一形態で、ユーザは完全人工環境を体験する。

【摘要】

【0004】

必ずしも全てではないが本発明の種々の実施形態によれば、仮想空間の仮想シーンをユーザに見せることと；ユーザの三次元ジェスチャを仮想空間において対応する三次元ジェスチャにマッピングすることと；仮想空間において対応する三次元ジェスチャが、仮想空間の第１の部分に関連する一つ又は複数の第１の既定ジェスチャであることという決定に応じて、仮想空間の第１の部分に関連する、仮想空間におけるイベントを検出するために、仮想空間を経時的に分析することを含む方法が提供される。

【0005】

必ずしも全てではないが本発明の種々の実施形態によれば、仮想空間の仮想シーンをユーザに見せる手段と；ユーザの三次元ジェスチャを仮想空間において対応する三次元ジェスチャにマッピングする手段と；仮想空間において対応する三次元ジェスチャが、仮想空間の第１の部分に関連する一つ又は複数の第１の既定ジェスチャであることという決定に応じて、仮想空間の第１の部分に関連する、仮想空間におけるイベントを検出するために、仮想空間を経時的に分析する手段を備える装置が提供される。

【0006】

必ずしも全てではないが本発明の種々の実施形態によれば、コンピュータプログラムであって、プロセッサで実行されると、仮想空間の仮想シーンをユーザに見せることと；ユーザの三次元ジェスチャを仮想空間において対応する三次元ジェスチャにマッピングすることと；仮想空間において対応する三次元ジェスチャが、仮想空間の第１の部分に関連する一つ又は複数の第１の既定ジェスチャであることという決定に応じて、仮想空間の第１の部分に関連する、仮想空間におけるイベントを検出するために、仮想空間を経時的に分析することを実行するコンピュータプログラムが提供される。

【0007】

本発明の様々な実施形態（但し必ずしも全ての実施形態ではない）によれば、装置の発明を特定する請求項に特定されるような例が提供される。

【図面の簡単な説明】

【0008】

前述の簡単な説明を理解するために有用な種々の実施例の理解に資するべく、例として次の添付図面を参照する。

【図1】図１Ａ、１Ｂ、１Ｃは、それぞれ媒介現実の実施例であって、同一の仮想空間と別々の視点を示す。

【図2】図２Ａ、２Ｂ、２Ｃは、それぞれ媒介現実の実施例であって、それぞれの視点から見える仮想シーンを示す。

【図3】図３Ａは実空間の例を示し、図３Ｂは図１Ｂの仮想空間に部分的に対応する現実シーンの例を示す。

【図4】媒介現実、拡張現実、仮想現実の何れか又は全てを可能にするように動作できる装置の実施例を示す。

【図5A】媒介現実、拡張現実、仮想現実の何れか又は全てを可能にする方法の実施例を示す。

【図5B】拡張現実のための仮想空間モデルを更新する方法の実施例を示す。

【図6】図６Ａ及び６Ｂは、ユーザに仮想シーンの少なくとも一部を提示可能にする装置の実施例を示す。

【図7】図７Ａは現実空間におけるジェスチャの例を示し、図７Ｂは仮想空間にレンダリングされた、対応するジェスチャ表現を示す。

【図8】仮想空間におけるイベント検出のユーザ制御を可能にする方法を示す。

【図9】仮想空間の第１部分に関するユーザ指定の例を示す。

【図10】仮想空間の第１部分に関するユーザ指定の例を示す。

【図11】仮想空間の第１部分に関するユーザ指定の例を示す。

【図12】仮想空間の第１部分に関するユーザ指定の例を示す。

【図13】仮想空間の第１部分に関するユーザ指定の例を示す。

【図14】仮想空間において仮想空間の第１部分に関連するイベント検出の実施例を示す。

【詳細説明】

【0009】

本発明の装置及び方法であって、ユーザ１８が仮想空間２０の監視を制御できるようにする装置及び方法が以下で詳述される。拡張現実実装における仮想空間２０は、ユーザ１８に関連し、実時間において見られる遠隔の又は局所の現実空間でもよい。仮想現実実装における仮想空間２０は、人工仮想物体２８を含む又は含まない完全人工仮想空間又は記録済み現実空間でもよい。
［定義］

【0010】

「仮想空間」は完全人工環境又は半人工環境を言及しており、三次元であってもよい。

【0011】

「仮想シーン」は、仮想空間内の特定の視点からみえる仮想空間の表現を言及する。

【0012】

「現実空間」は現実環境を言及し、三次元であってもよい。

【0013】

「現実シーン」は、現実空間内の特定の視点からみえる実空間の表現を言及する。

【0014】

本願における「媒介現実」は、コンピュータがユーザに少なくとも一部表示する完全人工環境又は半人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験することを言及する。仮想シーンは、仮想空間内の視点及び視野によって決定される。仮想シーンの提示は、それをユーザに見える形態で提供することを意味する。

【0015】

本願における「拡張現実」は媒介現実の一形態を言及する。拡張現実では、半人工環境（仮想空間）であって、装置がユーザに表示する一つ又は複数の視覚要素で追加された物理的現実世界環境（現実空間）の現実シーンを含む半人工環境を仮想シーンとしてユーザが視覚的に体験する。

【0016】

本願における「仮想現実」は媒介現実の一形態を言及する。仮想現実では、装置が表示する完全人工環境（仮想空間）を仮想シーンとしてユーザが視覚的に体験する。

【0017】

媒介現実や拡張現実、仮想現実に適用される「視点媒介（perspective-mediated）」は、ユーザの動作が仮想空間内の視点を決定し、その視点が仮想シーンを変えることを意味する。

【0018】

媒介現実や拡張現実、仮想現実に適用される「主観視点媒介（first person perspective-mediated）」は、ユーザの現実の視点が仮想空間内の視点を決定する追加制約を持つ視点媒介を意味する。

【0019】

媒介現実や拡張現実、仮想現実に適用される「インタラクティブ媒介（user interactive-mediated）は、仮想空間内で生じたことをユーザの動作が少なくとも一部決定することを意味する。

【0020】

「表示／提示（displaying）」は、ユーザによって視覚的に知覚される形態を提供することを意味する。
［説明］

【0021】

図１Ａから１Ｃ、２Ａから２Ｃは媒介現実の実施例を示す。媒介現実は拡張現実又は仮想現実でもよい。

【0022】

図１Ａ、１Ｂ、１Ｃは同一の仮想物体２１を含む同一の仮想空間２０を示しているが、各図はそれぞれ異なる視点２４を示している。視点２４の位置及び向きは独立して変化しうる。図１Ａから図１Ｂで視点２４の位置は同じで向きが変化している。図１Ｂから図１Ｃで視点２４の位置と向きが変化している。

【0023】

図２Ａ、２Ｂ、２Ｃは、図１Ａ、１Ｂ、１Ｃのそれぞれ異なる視点２４から見える仮想シーン２２を示す。仮想シーン２２は、仮想空間２０内の視点２４及び視野２６によって決定される。仮想シーン２２は、ユーザに対して少なくとも一部表示される。

【0024】

ここで示す仮想シーン２２は、媒介現実シーンや仮想現実シーン、拡張現実シーンでもよい。仮想現実シーンは完全人工仮想空間２０を提示する。拡張現実シーンは半人工半現実空間２０を提示する。

【0025】

媒介現実や拡張現実、仮想現実はインタラクティブ媒介（user interactive-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内で生じることを少なくとも部分的に決定する。これにより、仮想空間２０内の視覚要素２８のような仮想物体２１とのやり取りが可能となる。

【0026】

媒介現実や拡張現実、仮想現実は視点媒介（perspective-mediated）でもよい。この場合、ユーザの動作は、仮想空間２０内における視点２４を決定し、その視点２４によって仮想シーン２２が変わる。例えば、図１Ａ、１Ｂ、１Ｃに示されるように、仮想空間２０内における視点２４の位置２３が変更されてもよく、仮想空間２０内における視点２４の方向又は向き２５が変更されてもよい。また、この両方が同時に変更されてもよい。仮想空間２０が三次元である場合、視点２４位置２３の自由度は、例えば上下、前後、左右の３であり、仮想空間２０内の視点２４方向２５の自由度は、例えばロール、ピッチ、ヨーの３である。視点２４は、位置２３、方向２５の何れか又は両方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の何れか又は両方を連続的に変える。あるいは、視点２４が量子化された離散位置２３、量子化された離散方向２５の何れか又は両方を有してもよく、ユーザ動作が、視点２４に関する許容位置２３、許容方向２５の何れか又は両方の間を離散的に移ることによって切り換える。

【0027】

図３Ａは、現実物体１１を含み、図１Ａの仮想空間２０に一部対応する現実空間１０を示す。この実施例では、現実空間１０における現実物体１１はそれぞれ仮想空間２０において対応する仮想物体２１を持つ。一方、仮想空間２０における仮想物体２１の中には現実空間１０において対応する現実物体１１を持たないものもある。この実施例では、仮想物体２１の一つであるコンピュータ生成視覚要素２８が、現実空間１０において対応する現実物体１１を有しない人工的な仮想物体２１である。

【0028】

現実空間１０と仮想空間２０との間には線形写像が存在し、現実空間１０における各現実物体１１と対応する仮想物体２１との間にも同一の線形写像が存在する。したがって、現実空間１０における現実物体１１同士の相対関係は、仮想空間２０において対応する仮想物体２１の間の相対関係と同一である。

【0029】

図３Ｂは、図１Ｂの仮想空間２０に一部対応する現実空間１０を示す。現実空間１０は現実物体１１を含むが人工仮想物体は含まない。現実シーンは、図１Ａの仮想空間２０における視点２４に対応する視点から見える。現実シーン１２の内容は、それに対応する視点２４及び視野２６によって決定される。

【0030】

図２Ａは、図３Ｂに示された現実シーン１２に関する拡張現実版の実例である。仮想シーン２２は、装置によってユーザに表示された一つ又は複数の視覚要素２８が追加された、現実空間１０の現実シーン１２を含む。視覚要素２８は、コンピュータ生成視覚要素でもよい。シースルー構成では、仮想シーン２２は、一つ（又は複数）の追加視覚要素２８の表示を通して見える実際の現実シーン１２を含む。シービデオ構成では、仮想シーン２２は、表示された現実シーン１２及び表示された一つ（又は複数）の追加視覚要素２８を含む。表示現実シーン１２は単一視点２４からのイメージに基づいていてもよく、同一時点における別々の視点２４からの複数イメージに基づいていてもよい。複数イメージは、単一視点からのイメージを生成するために処理される。

【0031】

図４は、媒介現実、拡張現実、仮想現実の何れか又は全てを可能にするように動作できる装置３０の実施例を示す。

【0032】

装置３０は、ユーザの視点から見える形態でそのユーザに仮想シーン２２の少なくとも一部を提示するディスプレイ３２を備える。ディスプレイ３２は、仮想シーン２２の少なくとも一部をユーザに表示する光を出すビジュアルディスプレイでもよい。ビジュアルディスプレイの例には、液晶ディスプレイや有機発光ダイオードディスプレイ、発光型、反射型、透過型、半透過型の各ディスプレイ、網膜直接投影型ディスプレイ、ニアアイディスプレイ等が含まれる。

【0033】

この実施例ではディスプレイ３２がコントローラ４２によって制御されているが、全ての実施例がそうである必要はない。

【0034】

コントローラ４２は、コントローラ回路として実装されてもよい。コントローラ４２はハードウェア単独で実装され、ファームウェアを含むソフトウェア単独での側面を有していてもよい。あるいは、ハードウェアと（ファームウェアを含む）ソフトウェアの組合せも可能である。

【0035】

図４に描かれるように、コントローラ４２は、ハードウェア機能を実現する命令であって、例えば、汎用プロセッサまたは特定用途向けプロセッサ４０で実行可能なコンピュータプログラム命令４８を用いて実装されてもよい。こうした命令は、プロセッサ４０で実行可能なように、コンピュータ可読記憶媒体（ディスクやメモリ等）に保存されてもよい。

【0036】

プロセッサ４０は、メモリ４６から読み出し、かつメモリ２４へ書き込むように構成される。プロセッサ４０は出力インタフェースと入力インタフェースを備えてもよい。データおよび／または命令は、プロセッサ４０によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ４０に入力される。

【0037】

メモリ４６はコンピュータプログラム４８を保存する。コンピュータプログラム４８は、プロセッサ４０にロードされて装置３０の動作を制御するコンピュータプログラム命令（コンピュータプログラムコード）を含む。コンピュータプログラム４８のコンピュータプログラム命令は、図５Ａ、５Ｂ、図８から１４に示された方法を装置が実行できるようにするロジック及びルーチンを提供する。プロセッサ４０は、メモリ４６を読み取ることによりコンピュータプログラム４８をロードして実行することができる。

【0038】

したがって、装置３０は、少なくとも１つのプロセッサ４０と、コンピュータプログラムコード４８を格納する少なくとも一つのメモリ４６を備え、コンピュータプログラムコード４８は、少なくとも一つのプロセッサ４０に実行されると、装置３０に少なくとも：
仮想空間２０の仮想シーン２２をユーザ１８に見せることと；
ユーザ１８の三次元ジェスチャ８０を仮想空間２０において対応する三次元ジェスチャにマッピングすることと；
仮想空間において対応する三次元ジェスチャが、仮想空間２０の第１の部分１２０に関連する一つ又は複数の第１の既定ジェスチャであることという決定に応じて、仮想空間２０の第１の部分１２０に関連する、仮想空間２０におけるイベント１３０を検出するために、仮想空間２０を経時的に分析することと；
を実行させるように構成される。

【0039】

コンピュータプログラム４８は、任意の適切な配信機構を介して装置３０に提供されてもよい。配信機構は、例えば、非一時的コンピュータ可読記憶媒体やコンピュータプログラム製品、メモリデバイス、コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ：compact disc read-only memory)又はデジタル多用途ディスク（ＤＶＤ：digital versatile disc）等の記憶媒体、あるいはコンピュータプログラム４８を有形に具現した製造品であってもよい。配信機構はコンピュータプログラム４８を確実に伝達するように構成される信号でもよい。装置３０は、コンピュータデータ信号としてコンピュータプログラム４８を伝達または伝送してもよい。

【0040】

メモリ４６は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよく、および／または永久／半永久／動的／キャッシュの記憶方式でもよい。

【0041】

プロセッサ４０は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよい。プロセッサ４０はシングルコアのプロセッサでもよいし、マルチコアのプロセッサであってもよい。

【0042】

「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」、「有形物として具現化されたコンピュータプログラム」等の用語や、「コントローラ」、「コンピュータ」、「プロセッサ」等の用語は、様々なアーキテクチャを有するコンピュータだけでなく、特殊回路もカバーものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル／マルチプロセッサ・アーキテクチャや、直列（ノイマン型）／並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や特定用途向け集積回路（ＡＳＩＣ）、シグナルプロセッシングデバイス、その他の処理回路等がある。コンピュータプログラムや命令、コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアもカバーするものと理解すべきである。こうしたものとして例えば、プロセッサに対する命令や、固定機能デバイス、ゲートアレイ、プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。

【0043】

なお本願において使用される「回路（circuitry）」との語句は、次の全てを表す：
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装等）；
（ｂ）回路とソフトウェア（および／またはファームウェア）の組合せ、例えば（適用可能である場合）：（ｉ）一つまたは複数のプロセッサ、または（ｉｉ）一つまたは複数のプロセッサ／ソフトウェア（デジタルシグナルプロセッサを含む）、ソフトウェア、一つまたは複数のメモリの一部（これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる）；
（ｃ）一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路（ソフトウェアやファームウェアは物理的に存在しなくてもよい）。

【0044】

この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使用される場合、「回路（circuitry）」という用語は、単独（または複数）のプロセッサだけの実装やプロセッサの一部、付随するソフトウェアおよび／またはファームウェアによる実装も網羅するものである。「回路」という用語はまた、例えば、特許請求の範囲に記載される特定の要素をその範囲に含むことが可能な場合がある。例えば、携帯電話のベースバンド集積回路やアプリケーション処理集積回路を意味してもよく、サーバやセルラネットワークデバイス、その他のネットワークデバイスにおける同様の集積回路を意味してもよい。

【0045】

図５Ａ及び５Ｂに示されたブロックは、方法のステップ、コンピュータプログラム４８のコード区分の何れか又は全てを表わすことができる。ブロックを特定の順序で図示することは、必須順序又は推奨順序の存在を必ずしも示唆していない。こうしたブロックの順序や配置構成は変更することができる。また、一部のブロックを省略することも可能である。

【0046】

装置３０は、例えば図５Ａに示された方法６０又は同様の方法を用いて、媒介現実、拡張現実、仮想現実の何れか又は全てを可能にしてもよい。コントローラ４２は、仮想空間２０のモデル５０を保存し保持する。モデルはコントローラ４２に提供されてもよく、コントローラ４２が決定してもよい。例えば、仮想空間の深度マップの重ね合わせを別々の視点から生成するために入力回路４４のセンサが使用されてもよく、それによって三次元モデルが生成されてもよい。

【0047】

ブロック６２で、仮想空間２０のモデルが変わったかどうかが決定される。仮想空間２０のモデルが変わった場合、本方法はブロック６６に移る。仮想空間２０のモデルが変わらなかった場合、本方法はブロック６４に移る。

【0048】

ブロック６４で、仮想空間２０における視点２４が変わったかどうかが決定される。視点２４が変わった場合、本方法はブロック６６に移る。視点２４が変わらなかった場合、本方法はブロック６２に戻る。

【0049】

ブロック６６で、三次元仮想空間２０の位置２３からの二次元投影が、現在視点２４によって規定される方向２５に取られる。次に、この投影は視野２６によって限定され、仮想シーン２２を生成する。次に、本方法はブロック６２に戻る。

【0050】

装置３０が拡張現実を可能にする場合、仮想空間２０は現実空間１０からの物体１１に加え、現実空間１０には存在しない可視要素２８も含む。かかる可視要素２８の組合せは、人工仮想空間として参照されてもよい。図５Ｂは、拡張現実のための仮想空間モデルを更新する方法７０を示す。

【0051】

ブロック７２で、現実空間１０が変わったかどうかが決定される。現実空間１０が変わった場合、本方法はブロック７６に移る。現実空間１０が変わらなかった場合、本方法はブロック７４に移る。現実空間１０における変化の検出は画素レベルの差異を利用して実現されてもよく、物体の動きに合わせてそれを追跡するコンピュータビジョンを利用して物体レベルで実現されてもよい。

【0052】

ブロック７４で、人工仮想空間が変わったかどうかが決定される。人工仮想空間が変わった場合、本方法はブロック７６に移る。人工仮想空間が変わらなかった場合、本方法はブロック７２に戻る。人工仮想空間はコントローラ４２によって生成されるため、視覚要素２８に対する変化は容易に検出される。

【0053】

ブロック７６で、仮想空間２０のモデルが更新される。

【0054】

装置３０は、媒介現実、拡張現実、仮想現実の何れか又は全てに対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４はユーザ入力４３を用いてユーザ動作を検出する。こうしたユーザ動作は、仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのやり取りが可能となる。

【0055】

装置３０は、媒介現実、拡張現実、仮想現実の何れか又は全てに対して視点媒介を可能にしてもよい。ユーザ入力回路４４はユーザ動作を検出する。こうしたユーザ動作は、仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。視点２４は、位置、方向の何れか又は両方で連続可変でもよく、ユーザ動作が視点２４の位置、方向の何れか又は両方を変える。あるいは、視点２４が量子化された離散位置、量子化された離散方向の何れか又は両方を有してもよく、ユーザ動作が、視点２４に関する次の位置、方向２５の何れか又は両方に移ることによって切り換える。

【0056】

装置３０は、媒介現実や拡張現実、仮想現実に対する主観視点を可能にしてもよい。ユーザ入力回路４４は、ユーザ視点センサ４５を用いてユーザの現実の視点１４を検出する。ユーザの実際の視点は、仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。図３Ａに戻ると、ユーザ１８は実際の視点（現実視点）１４を有する。現実視点は、ユーザ１８によって変化する場合がある。例えば、現実視点１４の実際の位置（現実位置）１３はユーザ１８の位置であり、ユーザ１８の物理的位置１３を変えることで変化しうる。例えば、現実視点１４の実際の方向（現実方向）１５はユーザ１８が見ている方向であり、ユーザ１８の現実方向を変えることで変化しうる。現実方向１５は、例えば、ユーザ１８が頭の向きや視点を変えたり、視線方向を変えたり、あるいはその全てを変えたりすることによって変えることができる。主観視点媒介を可能にするために、頭部装着型装置３０が使用されてもよい。

【0057】

装置３０は入力回路４４の一部として、現実視点の変化を決定する視点センサ４５を備えてもよい。

【0058】

例えば、ユーザ１８の新たな物理的位置１３及び現実視点１４を決定するために、ＧＰＳ等の測位技術、複数のレシーバへの送信と複数のトランスミッタからの受信の何れか又は両方による三角測量（三辺測量）、加速度検出、及びそれらの統合が用いられてもよい。

【0059】

また例えば、ユーザの頭の向きや視点の変化、及び結果として生じる現実視点１４の現実方向１５での変化を決定するために、加速度計や電子ジャイロスコープ、電子コンパスが使用されてもよい。

【0060】

さらに例えば、ユーザの片目又は両目の動きを追跡し、それによってユーザの視線方向及びその結果として生じる現実視点１４の現実方向１５での変化を決定するために、コンピュータビジョン等に基づく瞳孔追跡技術が用いられてもよい。

【0061】

装置３０は入力回路４４の一部として、現実空間１０を撮像するイメージセンサ４７を備えてもよい。

【0062】

イメージセンサ４７の一例は、カメラとして動作するように構成されたデジタルイメージセンサである。かかるカメラは静止画や場合により動画、又はその両方を記録するように動作し得るが、全ての実施形態でそうである必要はない。現実空間１０が様々な視点から見えるように、カメラが立体配置や他の空間分布配置で構成されてもよい。これは、三次元画像の生成、および／または、例えば視差効果を介した、奥行きを設定するための処理を可能する。

【0063】

必ずしも全てではないが実施形態によっては、入力回路４４が深度センサ４９を備える。深度センサ４９は、トランスミッタおよびレシーバを備えてもよい。トランスミッタは（例えば、超音波または赤外光など人間が検出できない信号などの）信号を送信し、レシーバは反射された信号を受信する。単一のトランスミッタおよび単一のレシーバを用い、送信から受信までの伝搬時間を測定することによっていくらかの奥行き情報を得ることができる。より多くのトランスミッタおよび／またはより多くのレシーバを用いることによってより良好な分解能（空間的ダイバーシチ）が達成できる。一例において、トランスミッタは、光、好ましくは、赤外光など不可視光を使い、空間依存的パターンで、現実空間１０を「描く」ように構成される。レシーバによる特定のパターンの検出は、現実空間１０が空間的に分解されるようにする。現実空間１０が空間的に分解された部分までの距離は、伝搬時間、（レシーバがトランスミッタに対し立体的な位置にある場合）立体視法の何れか又は両方で測定できる。

【0064】

必ずしも全てではないが実施形態によっては、入力回路４４が一つ又は複数のイメージセンサ４７及び深度センサ４９に加えて、又はそれらの代替として通信回路４１を備えてもよい。かかる通信回路４１は、現実空間１０における一つ又は複数のリモートイメージセンサ４７、現実空間１０におけるリモート深度センサ４９の何れか又は全てと通信してもよい。

【0065】

図６Ａ及び６Ｂは、ユーザに仮想シーン２２の少なくとも一部を提示可能にする装置３０の実施例を示す。仮想シーン２２の少なくとも一部を提示可能する装置３０に関する他の実施例が用いられてもよい。

【0066】

図６Ａには、ユーザに画像を表示し、仮想シーンをユーザに表示するためにも使用されるディスプレイ３２としての表示画面を備える携帯型装置３１が示されている。装置３０は、前述した自由度６の内一つ又は複数において、ユーザが意図的に手に持って動かすことができる。

【0067】

携帯型装置３１は拡張現実用シービデオ構成でもよく、それとして動作してもよい。この拡張現実では、ユーザに見せるディスプレイ３２に現実シーン１２のライブ又は録画を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに見せるディスプレイ３２に同時に表示される。表示された現実シーン１２と表示された一つ又は複数の可視要素２８の組合せは、ユーザに仮想シーン２２を提示する。

【0068】

携帯型装置３１は、ディスプレイ３２とは反対面に搭載されたカメラを備える場合、ライブ現実シーン１２を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに提示され、組み合わせて仮想シーン２２を提供するシービデオ構成として動作することができる。

【0069】

図６Ｂは、ユーザに画像を表示するディスプレイ３２を備える頭部装着型装置３３を示す。頭部装着型装置３３は、ユーザの頭が動くのと合わせて無意識に動かすことができる。

【0070】

頭部装着型装置３３は、ライブ現実シーン１２を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに提示され、組み合わせて仮想シーン２２を提供する拡張現実のためのシースルー構成でもよい。この場合、バイザー３４があれば、ライブ現実シーン１２がバイザー３４を通して見えるように透明又は半透明である。

【0071】

頭部装着型装置３３は拡張現実用シービデオ構成として動作してもよい。この拡張現実では、ユーザに見せるディスプレイ３２によって現実シーン１２のライブ又は録画を表示可能にしつつ、一つ又は複数の可視要素２８もユーザに見せるディスプレイ３２によって同時に表示される。表示された現実シーン１２と表示された一つ又は複数の可視要素２８の組合せは、ユーザに仮想シーン２２を提示する。この場合、バイザー３４は不透明でディスプレイ３２として使用されてもよい。

【0072】

図４に戻って参照すると、装置３０は、媒介現実、拡張現実、仮想現実の何れか又は全てに対してインタラクティブ媒介を可能にしてもよい。ユーザ入力回路４４はユーザ入力４３を用いてユーザ動作を検出する。こうしたユーザ動作は、仮想空間２０内で生じたことを決定するために用いられる。これにより、仮想空間２０内の視覚要素２８とのやり取りが可能となる。

【0073】

検出されたユーザ動作は例えば、現実空間１０で行われたジェスチャでもよい。ジェスチャは様々な方法で検出できる。例えば、ユーザ１８の体の一部の動きを検出するために深度センサ４９が使用されてもよく、ユーザ１８の体の一部の動きを検出するためにイメージセンサ４７が使用されてもよく、手足の動きを検出するためにユーザ１８の手足に装着された位置／動きセンサが使用されてもよい。あるいは、これら全てが使用されてもよい。

【0074】

物体追跡は、物体またはユーザが変わるときを決定するために使用されてもよい。例えば、物体を大きなマクロスケールで追跡することで、その物体と共に移動する基準枠を生成することができる。この基準枠は、物体に対する時間差分を用いて物体の形状の時間進展的な変化を追跡するために使うことができる。これは、ジェスチャ、手の動き、顔面の動きなど小規模な人間の動きを検出するために用いることができる。これらは、ユーザに関連する、シーン非依存性のユーザ（だけ）の動きである。

【0075】

装置３０は、ユーザの体の一つ又は複数の関節等、ユーザの身体に関連する複数の物体、複数のポイントの何れか又は全てを追跡してもよい。実施例によっては、装置３０はユーザの身体の全身骨格的な追跡を行ってもよい。

【0076】

ジェスチャの認識等において、人物の身体に関連する一つ又は複数の物体、複数のポイントの何れか又は全ての追跡が装置３０によって使用されてよい。

【0077】

図７Ａを参照すると、現実空間１０における特定のジェスチャ８０が、「ユーザ制御」イベントとしてコントローラ４２が使用するジェスチャユーザ入力であり、仮想空間２０内で生じることを決定することができる。ジェスチャユーザ入力は、装置３０に対しユーザ入力としての意味を有するジェスチャ８０である。

【0078】

図７Ｂを参照すると、必ずしも全てではないが実施例によっては、現実空間におけるジェスチャ８０に対応する表現が、装置３０によって仮想シーン２２にレンダリングされることが示されている。こうした表現は、仮想シーン２２においてジェスチャ８０を再現又は標示するように動く（８２）一つ又は複数の可視要素２８を含む。

【0079】

ジェスチャ８０は静的でも動きがあってもよい。動きがあるジェスチャ（動きジェスチャ）は、特定の動き又は一連の動きを含む動きのパターンを含むことができる。例えばこれは、旋回動作、または脇から脇への動き、または上下の動きをすること、または空間中で符号を描くこととしてもよい。例えば、動きジェスチャは、装置非依存性のジェスチャ、または装置依存性のジェスチャとしてもよい。動きジェスチャは、例えば、ユーザ身体の部分もしくは部分群、または追加の装置などのユーザ入力オブジェクトのセンサに対する動きを伴ってもよい。身体の部分は、ユーザの手、または親指以外の１つ以上の指および親指などユーザの手の一部を含んでよい。他の例において、ユーザ入力オブジェクトは、ユーザの頭または腕などユーザの身体のいろいろな部分を含んでもよい。三次元の動きは、自由度６の何れかにおけるユーザ入力オブジェクトの動きを含んでもよい。ユーザ入力オブジェクトの動きには、センサに向かうように又はセンサから離れるように動くことや、センサと平行な面内で動くこと、またこのような動きの任意の組み合せを含んでもよい。

【0080】

ジェスチャ８０は非接触のジェスチャでもよい。非接触ジェスチャは、ジェスチャの間のどの時点でもセンサに接触することはない。

【0081】

ジェスチャ８０は、センサからの絶対変位に関連して定義される絶対的ジェスチャとすることもできる。かかるジェスチャは、それが現実空間１０における正確な位置で行われるという点で拘束（tether）されてもよい。あるいは、ジェスチャ８０は、ジェスチャの間の相対変位に関連して定義される相対的ジェスチャであってもよい。かかるジェスチャは、それが現実空間１０に対し正確な場所において行われる必要がないという点で非拘束（un-tethered）でもよく、多数の任意の場所で行うことができる。

【0082】

ジェスチャ８０は、時間経過による、当初点に対する追跡点の変位の進展として定義することができる。これは、例えば、変位、速度など時間的可変パラメータを用いる、または他の運動学的パラメータを用いる動きに関連させて定義することができよう。非拘束ジェスチャは、相対時間Δｔに対する相対変位Δｄの進展として規定することができる。

【0083】

ジェスチャ８０は一空間次元（１Ｄジェスチャ）や二空間次元（２Ｄジェスチャ）、三空間次元（３Ｄジェスチャ）で行われてもよい。

【0084】

図８は、仮想空間におけるイベント検出のユーザ制御を可能にする方法１００を示す。

【0085】

本方法は：ブロック１０２で、仮想空間２０の仮想シーン２２をユーザ１８に見せることと；ブロック１０４で、ユーザ１８の三次元ジェスチャ８０を仮想空間２０において対応する三次元ジェスチャにマッピングすることと；ブロック１０６で、仮想空間において対応する三次元ジェスチャが、仮想空間２０の第１の部分１２０に関連する一つ又は複数の第１の既定ジェスチャであるかどうかを決定することと；仮想空間において対応する三次元ジェスチャが、仮想空間２０の第１の部分１２０に関連する一つ又は複数の第１の既定ジェスチャであることと決定された場合、それに応じて、ブロック１０８で、方法１００は仮想空間２０の第１の部分１２０に関連する、仮想空間２０におけるイベント１３０を検出するために、仮想空間２０を経時的に分析すること、を含む。

【0086】

ブロック１１０で、本方法１００はイベント１３０の検出に対する応答１２２を行う。

【0087】

この方法は図９Ａ、９Ｂ、１０Ａ、１０Ｂ、１１Ａ、１１Ｂ、１２Ａ、１２Ｂ、１３Ａ、１３Ｂに示された実施例及び図１４Ａ、１４Ｂ、１４Ｃに示された実施例に関連して理解することができる。前者では仮想空間２０の第１の部分１２０に関するユーザ指定の実施例が示され、後者では仮想空間２０において仮想空間２０の第１の部分１２０に関連するイベント１３０を検出する実施例が示されている。これらの実施例では仮想空間２０の第１の部分１２０が境界であるが、仮想空間２０の第１の部分１２０が多数の異なる形態を取ってもよい。またこれらの実施例ではイベント１３０に対する応答１２２が視覚的警報であるが、応答１２２が多数の異なる形態を取ってもよい。

【0088】

図８に戻って、ブロック１０２で、方法１００は、仮想空間２０の仮想シーン２２をユーザ１８に見せる。仮想現実の実装では、仮想シーン２２は複数の人工仮想物体２８（図１Ｂを参照）を含む。仮想シーン２２は例えば、現実空間１０の録画で提供されてもよく、コンピュータ生成されてもよい。

【0089】

拡張現実の実装では、仮想空間２０の仮想シーン２２は複数の仮想物体２１を含む。仮想シーン２２は、実時間、現実空間１０における現実物体１１の現実シーン１２であって、一つ又は複数の仮想物体２８（図３Ｂ及び２Ａを参照）で拡張された又は拡張可能である現実シーン１２から成る。前述の通り、拡張現実実装はシースルー構成又はシービデオ構成で提供されてもよい。仮想シーン２２及びその中の現実シーン１２は、実生活及び実時間の中で見える。ユーザ１８は仮想シーン２２の中で見える現実空間１０にいて、例えば、現実空間１０で三次元ジェスチャ８０を行い、シースルー構成又はシービデオ構成を使用していてもよい。あるいは、ユーザ１８は仮想シーン２２の中で見える現実空間１０から離れていて、離れた場所で三次元ジェスチャ８０を行い、シービデオ構成を使用していてもよい。

【0090】

ブロック１０４で、方法１００は、ユーザ１８の三次元ジェスチャ８０を仮想空間２０において対応する三次元ジェスチャにマッピングする。現実空間１０を仮想空間２０にマッピングするために使用されるマッピングの中でスケールマッピングは、三次元ユーザジェスチャ８０を仮想空間２０において対応する三次元ユーザジェスチャにマッピングするために使用できる。マッピングにおける拡大縮小は、例えば、ユーザジェスチャが見えている仮想空間２０に対して伸縮するように、仮想シーン２２を規定する視野２６の大きさに依存してもよい。ユーザ１８の三次元ジェスチャ８０は仮想空間２０におけるイベント検出を制御する。

【0091】

ブロック１０６で、方法１００は、仮想空間において対応する三次元ジェスチャが、仮想空間２０の第１の部分１２０に関連する一つ又は複数の第１の既定ジェスチャであるかどうかを決定する。

【0092】

第１の既定ジェスチャは、例えば、適切に事前定義された、仮想空間２０の第１の部分１２０に関連するイベントの検出を作動させるために使用されてもよい。この事前定義は、例えば、仮想空間２０の第１の部分１２０の事前定義、イベント１３０の事前定義、応答１２２の事前定義の何れか又は全てを要求してもよい。

【0093】

複数の既定ジェスチャは、例えば、仮想空間２０の第１の部分１２０に関連するイベントの検出を定義するために使用されてもよい。この定義は、例えば、仮想空間２０の第１の部分１２０の定義、イベント１３０の定義、応答１２２の定義の何れか又は全てを要求してもよい。

【0094】

ブロック１０８で、方法１００は、仮想空間２０の第１の部分１２０に関連する、仮想空間２０におけるイベント１３０を検出するために、仮想空間２０を経時的に分析する。仮想空間２０の分析は、例えば、仮想空間２０において第１の部分１２０を含む部分のみ空間的に限定されてもよい。仮想空間２０の分析は、例えば、仮想空間２０において第１の部分１２０を含む部分かつ見えている仮想シーン２２の一部でもある部分のみに限定されてもよい。仮想空間２０の分析は、例えば、仮想空間２０において第１の部分１２０を含む部分かつ見えている仮想シーン２２の一部ではない部分のみに限定されてもよい。仮想空間２０の分析は、例えば、仮想空間２０のどの部分が仮想シーン２２に見えているかに関わらず、仮想空間２０において第１の部分１２０を含む部分のみに限定されてもよい。この分析は、例えば、一つ（又は複数）の仮想物体２１の追跡を含んでもよく、実装によっては、こうした仮想物体が一つ（又は複数）の人工仮想物体２８、一つ（又は複数）の現実物体の何れか又は全てでもよい。

【0095】

ブロック１１０で、本方法１００はイベント１３０の検出に対する応答１２２を行う。応答１２２は、例えば、ユーザ１８に対するリアルタイムの警報通知でもよく、情報のロギングでもよい。例えば、応答は、図１４Ｃで示すような、ユーザ１８に対する視覚音声警報の提示でもよい。他の実施例では、応答がイベント検出をログすることでもよい。また例えば、イベント検出の記録を作成し、この情報を例えば仮想シーン２２の仮想物体２８としてユーザ１８に恒久的に、あるいはユーザ１８の要求に応答して提示することも可能である。また、録画済みビデオストリームにおいてイベントのインデクスを例えばタイムスタンプとして付け、それによってインデクスされたイベントを後から見ることができるようにすることも可能である。また、イベント１３０の発生を捉えるために、ビデオストリームを空間的、時間的の何れか又は両方でクロップすることも望ましい。空間的クロップには、現実空間１０のパノラマイメージが記録されながら、仮想シーン２２ではユーザには狭められた視野のみが表示されるという特有の有利な点がある。

【0096】

必ずしも全てではないが実施例によっては、ユーザ１８は、イベント１３０の検出に対する装置３０の応答を指定するために装置３０を使用することができる。

【0097】

方法１００は、実施形態によっては、仮想空間２０の監視を制御するため用いられてもよい。拡張現実実装における仮想空間２０は、ユーザ１８に関連し、実時間において見られる遠隔の又は局所の現実空間でもよい。仮想現実実装における仮想空間２０は、人工仮想物体２８を含む又は含まない完全人工仮想空間又は記録済み現実空間でもよい。検出されたイベント１３０は、録画したスポーツビデオのゴールや、ユーザ１８が外出しているときの宅内監視アクティビティ等のような監視イベントでもよい。

【0098】

図９から１３は、方法１００ブロック１０４、１０６に従ってユーザが仮想空間２０の第１の部分１２０を指定するやり方を示す。これに続いて、仮想空間２０において仮想空間２０の第１の部分１２０を関連するイベント１３０を検出するために、方法１００のブロック１０８、１１０が使用される。これらの図のうち、図番号に「Ａ」が付いている図は、仮想空間２０と仮想空間２０の視野２６の位置で規定される仮想シーン２２を示し、図番号に「ＡＢが付いている図は、現実空間１０におけるユーザ１８のジェスチャ８０を示す。実施例によっては、ユーザ１８が占める現実空間１０が、例えばリアルタイムで、仮想シーン２２で見える現実空間でもよい。他の実施例では、ユーザ１８が占める現実空間１０が、例えばリアルタイムで、仮想シーン２２で見える現実空間から離れていてもよい。他の実施例では、仮想空間２０が人工でもよい。

【0099】

図９Ａ及び９Ｂで示すように、ユーザ１８は最初に図９Ｂで示すような開始ジェスチャ８０を行う。装置３０はこのジェスチャ８０を検出して認識し、その応答で方法１００を開始する。

【0100】

ユーザ１８は、装置３０を通じて仮想シーン２２を見ることができる。ユーザ１８は、ユーザ動作により仮想空間２０内の視野２６を再配置してもよく、その結果、仮想シーン２２を再規定してもよい。ただし、これは、開始ジェスチャ８０が行われる前に完了すべきである。一旦開始ジェスチャが行われると、仮想空間２０の第１の部分１２０に関するユーザ指定が開始される。仮想空間２０の第１の部分１２０に関するユーザ指定は、図１０から１３を参照して詳述される。

【0101】

図１０Ｂに示されるように、ユーザ１８は、仮想空間２０における第１の部分１２０の第１の寸法を規定する第１のジェスチャ８０を行う。この実施例では、ユーザ１８は両腕を横に伸ばし、両手を水平方向に離しておくことによって、第１の部分１２０の横寸法を指定する。仮想空間２０における第１の部分１２０の横寸法の大きさは、第１のジェスチャ８０を行うユーザ１８の両手が水平方向に実際に離れている距離に依存する。これに応じて、装置３０はディスプレイ３２を制御して、仮想シーン２２に人工仮想物体２８Ａ、２８Ｂ、２８Ｃを表示することができる。これら人工仮想物体は、第１の部分１２０の位置及び横寸法を表わす。人工仮想物体２８Ａ、２８Ｂは、ユーザの空間から仮想空間２０へマッピングされる場合、ユーザの両手の位置に対応する仮想空間２０での位置にあり、人工仮想物体２８Ｃは、ユーザの空間から仮想空間２０へマッピングされる場合、ユーザの両手の間の水平距離に対応するように仮想空間２０に配置され大きさが決められる。

【0102】

必ずしも全てではないが実施例によっては、次にユーザ１８は、例えば両手を近づけたり遠ざけたりして両手の水平距離を変えることによって、仮想空間２０の第１の部分１２０の横寸法の大きさを変更することができる。必ずしも全てではないが実施例によっては、ユーザ１８は、例えばユーザ１８が向いている方向を、胴体ごと回るなどして変えることによって、仮想空間２０の第１の部分１２０の横寸法の位置を変更することができる。仮想空間２０における第１の部分１２０の第１の寸法が適切に位置決めされ大きさも決められたとユーザ１８が満足すると、ユーザ１８は第１のジェスチャ８０の終了を示す第２のジェスチャ８０を行うことができる。

【0103】

次に図１１Ｂに示されるように、ユーザ１８は、仮想空間２０における第１の部分１２０の第２の寸法を規定する第３のジェスチャ８０を行う。この実施例では、ユーザ１８は両腕を縦に伸ばし、両手を垂直方向に離しておくことによって、第１の部分１２０の縦寸法を指定する。仮想空間２０における第１の部分１２０の縦寸法の大きさは、第３のジェスチャ８０を行うユーザ１８の両手が垂直方向に実際に離れている距離に依存する。これに応じて、装置３０はディスプレイ３２を制御して、仮想シーン２２に人工仮想物体２８Ｄ、２８Ｅ、２８Ｆを表示することができる。これら人工仮想物体は、第１の部分１２０の位置及び縦寸法を表わす。人工仮想物体２８Ｄ、２８Ｅは、ユーザの空間から仮想空間２０へマッピングされる場合、ユーザの両手の位置に対応する仮想空間２０での位置にあり、人工仮想物体２８Ｆは、ユーザの空間から仮想空間２０へマッピングされる場合、ユーザの両手の間の垂直距離に対応するように仮想空間２０に配置され大きさが決められる。

【0104】

必ずしも全てではないが実施例によっては、次にユーザ１８は、例えば両手を近づけたり遠ざけたりして両手の垂直距離を変えることによって、仮想空間２０の第１の部分１２０の縦寸法の大きさを変更することができる。必ずしも全てではないが実施例によっては、ユーザ１８は、例えばユーザ１８が向いている方向を、胴体ごと回るなどして変えることによって、仮想空間２０の第１の部分１２０の縦寸法の位置を変更することができる。仮想空間２０における第１の部分１２０の第２の寸法が適切に位置決めされ大きさも決められたとユーザ１８が満足すると、ユーザ１８は第３のジェスチャ８０の終了を示す第４のジェスチャ８０を行うことができる。

【0105】

図１２Ｂで示すように、ユーザ１８は次に、仮想空間２０の第１の部分１２０の位置、向きの何れか又は両方を変えるために追加のジェスチャ８０を行ってもよい。この実施例では、仮想空間２０の第１の部分１２０は、人工仮想物体２８Ｇを表示することによって仮想シーン２２に示される。この実施例では、人工仮想物体２８Ｇは、仮想空間２０の第１の部分１２０の第１の横寸法を規定する幅と、仮想空間２０の第１の部分１２０の第２の縦寸法を規定する高さを有する矩形である。適切なジェスチャ８０を行うことによって、ユーザは、仮想物体２８Ｇによって示される仮想空間２０における第１の部分１２０を３つの並進自由度、即ち前後、左右、上下の何れかに動かすことができる。ユーザは、人工仮想物体２８Ｇによって示される仮想空間２０における第１の部分１２０の向きを、３つの回転自由度の何れかで変えることができる。回転自由度の各々は、線形自由度の一つに関する回転としてそれぞれロール、ピッチ、ヨーと定義されてもよい。

【0106】

人工仮想物体２８Ｇによって示される仮想空間２０における第１の部分１２０が満足のいくような大きさ、位置、向きになったとユーザ１８が満足すると、ユーザは、仮想空間２０における現在の第１の部分１２０を受け入れ、第１の部分１２０に関連する方法１００を有効化する、図１３Ｂで示すようなジェスチャ８０を行ってもよい。実施形態によっては、仮想空間２０における「有効化された」第１の部分１２０は、人工仮想物体２８Ｇを用いて仮想シーン２２に示されてもよい。こうして仮想空間２０における第１の部分１２０を規定し有効化したユーザ１８は、仮想空間２０における視界２６の位置を変え、それによって仮想シーン２２を変えることができる。これは図１４Ａで示されている。

【0107】

図１２Ａ及び１２Ｂに戻ると、装置３０は、人工仮想物体２８Ｇとして示された、仮想空間２０における第１の部分１２０を位置決めする追加グラフィカル標示子を人工仮想物体２８として与えてもよい。例えば、ユーザ１８が仮想空間２０内で奥行きを見積もれるように、人工仮想物体２８Ｇに対して一つ又は複数の影が与えられてもよい。こうしたグラフィカル標示子によって、仮想空間２０における人工仮想物体２８の位置決めが支援される。

【0108】

必ずしも全てではないが実施例によっては、仮想空間２０における第１の部分１２０が、仮想シーン２２における他の仮想物体２１とは独立してユーザ１８が作り、配置し、大きさと向きを決めた仮想物体２１であると見なせることも理解されよう。一方、他の実施形態では、仮想空間２０における第１の部分１２０の大きさと向きが仮想空間２０における他の仮想物体に依存していてもよい。例えば、実施例によっては、第１の部分１２０を他の位置に配置できなくてもよい。実施例によっては、仮想空間２０における第１の部分１２０を特定の位置、例えば仮想空間２０における仮想物体２１に対して相対的に規定された位置のみに配置可能であってもよい。また実施例によっては、仮想空間２０における第１の部分１２０が限られた数の位置のみを占めるように強制する利点もある。例えば、仮想空間２０における第１の部分１２０は、仮想空間２０に存在する仮想物体２１上に又はその間に第１の部分１２０をスナップする等によって、一つ又は複数の仮想物体に関して自動的に定義されてもよい。ここで自動的という用語は、少なくとも一部が自動であることを示唆し、必ずしも全自動又は完全自動を意味するものではない。

【0109】

図１４Ａ、１４Ｂ、１４Ｃは、方法１００のブロック１０８、１１０に従う実施例を示す。

【0110】

図１４Ａでは、仮想空間２０における第１の部分１２０が仮想空間２０内で定義済みであるが、表示された仮想シーン２２には既に見えなくなっている。図１４Ｂで、装置３０は方法１００のブロック１０８を実行する。装置３０は、仮想空間２０の第１の部分１２０に関連する、仮想空間２０におけるイベント１３０を検出するために、仮想空間２０を経時的に分析する。この実施例では、装置３０は、仮想空間２０内で動き、仮想シーン２２内では動かなくてもよい仮想物体２１を追跡する。図１４Ｂの実施例では、仮想物体２１は、仮想空間２０における第１の部分１２０に関連する、仮想空間２０内で検出可能なイベントを未だ発生させていない。しかし図１４Ｃでは、仮想物体２１が仮想空間２０における第１の部分１２０を通過し、仮想空間２０における第１の部分１２０に関連する仮想空間２０内のイベント１３０を発生させる。装置３０は、仮想空間２０を経時的に分析することによってこのイベント１３０を検出し、図８における方法１００のブロック１１０で示すようにイベント検出に対する応答１２２を行う。この実施例において、応答は標示子１２２形態の人工仮想物体２８であり、標示子１２２はイベント１３０が検出されたことをユーザに示し、かつ、イベント１３０が仮想シーン２２内に含まれるように視点を変えるべき位置をユーザに示している。図１４Ｃの実施例では、こうした応答が人工仮想物体２８として表示される左向き矢印である。

【0111】

したがって、図１４Ａ、１４Ｂ、１４Ｃにおける仮想空間２０の第１の部分１２０が高さと幅で限定された二次元境界を与えることも理解されよう。境界１２４は、それが仮想シーン２２を規定する視界２６内に含まれるとき、人工仮想物体２８を用いて識別されてもよく、そうでなくてもよい。図１４Ｃの実施例では、動いている仮想物体２１が境界１２４を定める二次元平面を通過するとき、検出イベント１３０が発生する。

【0112】

検出イベント１３０を発生させる移動仮想物体２１は、例えば、現実空間１０で動いている現実物体１１でもよく、現実空間１０には存在しない人工仮想物体２１でもよい。

【0113】

ユーザ１８は、イベント１３０を発生させる移動物体２１の識別情報を指定することができる。こうして、ユーザ１８は、仮想空間２０における第１の部分１２０に関連して生じるイベント１３０に関する条件付けに限らず、発生イベント１３０の性質に関する条件付けも行うことができる。

【0114】

図８から１４に関する記述では、三次元ジェスチャ８０の実行が参照されてきたが、これらのジェスチャ８０は静的ジェスチャでもよく、動きジェスチャでもよい。こうしたジェスチャには、例えば、ユーザの体の一部又は複数部分や追加装置等のユーザ入力物の動きも含まれる。三次元ジェスチャは、三次元での静止ポーズや三次元での動きの何れかを通じて三次元で行われるジェスチャである。こうしたジェスチャは、装置３０に接触しない非接触ジェスチャでもよい。ジェスチャ８０は、ジェスチャの間の相対変位で定義される相対的ジェスチャでもよい。ジェスチャ８０は非拘束で、それを装置３０に対する絶対空間又は相対空間の何れかにおける正確な位置で行う必要がなくてもよい。

【0115】

図８から１４に関連して記述された方法は、例えば、上述の装置３０の何れかによって実行されてもよい。前述の通り、仮想シーン２２を変える仮想空間２０内の視点２４を決定するユーザ動作を検出するために、ユーザ入力回路４４が使用されてもよい。装置３０は、例えば、拡張現実用のシースルー構成又はシービデオ構成の何れかを備える頭部装着型装置３３でもよい。頭部装着型装置３３は主観視点媒介を提供し、そのために、ユーザ入力回路４４がユーザ視点センサ４５を使用してユーザの実際の視点（現実視点）１４を検出する。ユーザの現実視点は、仮想空間２０内での視点２４を決定するために用いられ、その視点が仮想シーン２２を変える。現実方向２５は、例えば、ユーザ１８が頭の向きや視点を変えたり、視線方向を変えたり、あるいはその全てを変えたりすることによって変えることができる。

【0116】

構造的特徴が記述されてきたが、こうした構造的特徴は、その構造的特徴における１つ又は複数の機能を実行する手段で置き換えられてもよい。こうした１つ又は複数の機能は明示的に記述されていてもよく、されていなくてもよい。

【0117】

本願で記載するように、「モジュール」という用語は、装置のユニットであって、エンドメーカーやユーザによって追加されるパーツ／部品を除いたものを表わす。コントローラ４２はモジュール等でもよい。装置３０がモジュールでもよい。入力回路がモジュールでもよく、複数のモジュールを具備してもよい。ディスプレイ３２がモジュールでもよい。

【0118】

この簡潔な説明では、様々な例への参照がなされてきた。実施例に関する特徴または機能の説明は、これらの特徴または機能が、その実施例に認められることを示す。本明細書中の「実施例（example）」「例えば（for example）」「〜できる、〜場合がある（may）」といった単語の使用は、明示的であれ非明示的であれ、特徴及び機能が、少なくとも記載された実施例に存在することを意味する。実施例としての記載及び不記載にかかわらず、これら特徴及び機能が、他の一部または全ての実施例に存在する可能性があるが、必ずしもそうではないことを意味する。このように、「実施例」「例えば」「〜できる、〜の場合がある」は、ある例示群における特定の事例であることを指す。上記特定の事例の特性は、その事例のみの特性である場合、または上記例示群に属する一部の群の特性である場合がある。すなわち、上記特定の事例の特性は、例示群中の例示の全特性とは限らないが特性の一部を含む。したがって、ある特定の実施例を参照しているが別の実施例を参照しないで記述された特徴は、それが他の実施例でも使用される可能性もあれば、他の実施例での使用が不要である可能性もあることを示唆している。

【0119】

本願明細書及び図面において、本発明の様々な実施形態が様々な実施例と共に紹介されてきたが、当然のごとく、特許請求の範囲に特定される発明の範囲を逸脱することなく、紹介された実施形態を変形することができる。

【0120】

これまでに記述してきた事項は、明示的に記述された組合せだけでなく、それ以外の組合せで用いられてもよい。

【0121】

特定の事項を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の事項によって遂行可能であってもよい。

【0122】

特定の実施形態を参照して種々の事項を記述してきたが、こうした事項は、記述の有無を問わずその他の実施形態で用いられてもよい。

【0123】

前述のように本明細書において、とりわけ重要であると考えられる本発明のこうした事項に注目するように努めてきた。しかし、前述した特許されうる全ての事項およびそれらの組合せに対して、参照された添付の図面にそうした事項が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】