(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-19
(45)【発行日】2023-01-27
(54)【発明の名称】視線に基づく拡張現実環境のためのインターフェース
(51)【国際特許分類】
G06F 3/01 20060101AFI20230120BHJP
G06F 3/038 20130101ALI20230120BHJP
G06F 3/0346 20130101ALN20230120BHJP
【ＦＩ】
G06F3/01 510
G06F3/01 570
G06F3/038 310A
G06F3/0346 423
【請求項の数】
19
(21)【出願番号】P 2020573181
(86)(22)【出願日】2019-06-25
(65)【公表番号】
(43)【公表日】2021-10-21
(86)【国際出願番号】 US2019039076
(87)【国際公開番号】W WO2020006002
(87)【国際公開日】2020-01-02
【審査請求日】2022-06-24
(31)【優先権主張番号】62/690,834
(32)【優先日】2018-06-27
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】520471346
【氏名又は名称】センティエーアール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ヴァルター ブルーメ
(72)【発明者】
【氏名】マイケル ケー．サウスワース
(72)【発明者】
【氏名】ジェニファー エヌ．アヴァリ シルヴァ
(72)【発明者】
【氏名】ジョナサン アール．シルヴァ
【審査官】酒井 優一
(56)【参考文献】
【文献】国際公開第２０１８／０５１５９２（ＷＯ，Ａ１）
【文献】特開２０１８－００５５１７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１４０７６６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／０００４３０６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１３／０１５４９１３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１２／０２５７０３５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０１５３５７１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３８
Ｇ０６Ｆ ３／０３４６
(57)【特許請求の範囲】
【請求項1】
システムであって、ユーザにより装着されたヘッドマウントデバイス（ＨＭＤ）であって、センサと、命令が保存されたコンピュータが読み取り可能な非一過性記憶媒体と、を含む前記ＨＭＤを備え、
１つまたは複数のプロセッサにより実行されたとき、前記命令は、前記１つまたは複数のプロセッサに、
前記ＨＭＤによる表示のために拡張現実オブジェクトを提供させ、前記拡張現実オブジェクトは、医療処置のために患者の一部を表示し、
前記ＨＭＤによる表示のために拡張現実グラフィックを、前記ＨＭＤを装着した前記ユーザの視点から見た前記拡張現実オブジェクトと前記ＨＭＤとの間の平面上に提供させ、前記拡張現実グラフィックは前記拡張現実オブジェクトに重ねて表示させ、前記拡張現実グラフィックは、前記拡張現実オブジェクトの表示の拡大または回転のレベルを制御する複数の部分を含み、前記拡張現実グラフィックが前記拡張現実オブジェクトの少なくとも一部を囲み、前記拡張現実オブジェクトに整合する中心部を有し、
前記センサにより捕捉されたセンサデータを用いて前記ユーザの視線方向を決定させ、
前記視線方向が、前記平面の上で前記拡張現実グラフィックの複数の部分のうちの１つの部分と交差し、少なくとも所定の期間交差点において交差し続けるとの決定に応答し、
前記所定の期間中の前記部分に従って、前記ＨＭＤによる表示のための前記拡張現実オブジェクトの拡張または回転のレベルを変更させる、
システム。
【請求項2】
前記コンピュータが読み取り可能な非一過性記憶媒体は、前記１つまたは複数のプロセッサにより実行されたとき、前記１つまたは複数のプロセッサに、
前記交差点を用いて回転軸を決定する、命令をさらに記憶し、
表示用の前記拡張現実オブジェクトの変更版を提供することは、前記拡張現実オブジェクトを、前記所定の期間中に前記回転軸を中心にして回転させることを含む、請求項１に記載のシステム。
【請求項3】
前記拡張現実グラフィックは、円環形状を有し、前記回転軸の決定は、前記中心と前記交差点との間の前記平面の上のベクトルを決定する、
前記平面の上の前記ベクトルと直交する軸を前記回転軸に決定する、ことを含む、請求項２に記載のシステム。
【請求項4】
前記複数の部分は、前記平面の水平または垂直の軸に位置合わせされ、前記回転軸の決定は、前記部分と位置合わせされた前記平面の水平または垂直な軸を前記回転軸に決定することを含む、請求項２に記載のシステム。
【請求項5】
前記コンピュータが読み取り可能な非一過性記憶媒体は、前記１つまたは複数のプロセッサにより実行されたとき、前記１つまたは複数のプロセッサに、
異なるユーザに装着される異なる前記ＨＭＤにより表示するための前記拡張現実オブジェクトの異なる光景を提供させ、
前記拡張現実オブジェクトの変更版に従って、異なる前記ＨＭＤにより表示するための前記拡張現実オブジェクトの異なる光景を変更させる、
命令をさらに記憶する、請求項１に記載のシステム。
【請求項6】
方法であって、ユーザに装着されたヘッドマウントデバイス（ＨＭＤ）により表示される拡張現実オブジェクトを提供し、前記拡張現実オブジェクトは、医療処置のために患者の一部を表示することと、
前記ＨＭＤによる表示のために拡張現実グラフィックを、前記ＨＭＤを装着したユーザの視点から見た前記拡張現実オブジェクトと前記ＨＭＤとの間の平面上に提供させ、前記拡張現実グラフィックは前記拡張現実オブジェクトに重ねて表示させ、前記拡張現実グラフィックは、前記拡張現実オブジェクトの表示の拡大または回転のレベルを制御する複数の部分を含み、前記拡張現実グラフィックが前記拡張現実オブジェクトの少なくとも一部を囲み、前記拡張現実オブジェクトに整合する中心部を有することと、
前記ＨＭＤのセンサにより捕捉されたセンサデータを用い、ユーザの視線方向を決定することと、
前記視線方向が、前記平面の上の前記拡張現実グラフィックの複数の部分のうちの１つの部分と交差し、少なくとも所定の期間交差点において交差し続けると決定することに応答することと、
前記所定の期間中の前記部分に従って、前記ＨＭＤによる表示のための前記拡張現実オブジェクトの拡張または回転のレベルを変更することと、を備える方法。
【請求項7】
前記交差点を用いて回転軸を決定することをさらに備え、表示用の前記拡張現実オブジェクトの変更版を提供することは、前記所定の期間中、前記回転軸を中心にして前記拡張現実オブジェクトを回転することを含む、請求項６に記載の方法。
【請求項8】
前記拡張現実グラフィックは、円環形状を有し、前記回転軸の決定は、前記中心と前記交差点との間の前記平面の上のベクトルを決定することと、
前記平面の上の前記ベクトルと直交する軸を前記回転軸に決定することと、を含む、請求項７に記載の方法。
【請求項9】
前記複数の部分は、前記平面の水平または垂直の軸に位置合わせされ、前記回転軸の決定は、前記部分に位置合わせされた前記平面の水平または垂直の軸を前記回転軸に決定することと、を含む、請求項７に記載の方法。
【請求項10】
異なるユーザに装着された異なる前記ＨＭＤにより表示するための前記拡張現実オブジェクトの異なる光景を提供することと、前記拡張現実オブジェクトの変更版に従って、異なる前記ＨＭＤにより表示するための前記拡張現実オブジェクトを変更することと、をさらに備える、請求項６に記載の方法。
【請求項11】
前記センサにより捕捉されたセンサデータを用いた前記ユーザの前記視線方向を決定することは、前記センサデータを用いて頭部の向きを決定することと、
前記センサデータを用いて瞳孔の向きを決定することと、
前記頭部の向きと前記瞳孔の向きとの差異が閾値以下であると決定することと、を含む、請求項６に記載の方法。
【請求項12】
方法であって、ユーザに装着されたヘッドマウントデバイス（ＨＭＤ）により表示するための拡張現実グラフィックを提供することであって、前記拡張現実グラフィックは、クライアントデバイスの表示装置により提供された拡張現実オブジェクトと、ＨＭＤを装着した前記ユーザの視点との間の平面の上に表示され、前記拡張現実オブジェクトは、医療処置のために患者の一部を表示し、前記拡張現実グラフィックは前記拡張現実オブジェクトに重ねて表示され、前記拡張現実グラフィックは、前記拡張現実オブジェクトの表示の拡大または回転のレベルを制御する複数の部分を含み、前記拡張現実グラフィックが前記拡張現実オブジェクトの少なくとも一部を囲み、前記拡張現実オブジェクトに整合する中心部を有することと、
前記ＨＭＤのセンサによって捕捉されたセンサデータを用いて前記ユーザの視線方向を決定することと、
前記視線方向が前記平面の上の前記拡張現実グラフィックの複数の部分のうちの１つの部分と交差し、少なくとも所定の期間交差点において交差し続けるとの決定に応答することと、
クライアントデバイスに対して表示装置内の前記拡張現実オブジェクトの拡大または回転のレベルを、前記所定の期間中の前記部分に従って変更する命令を送ることと、を備える、方法。
【請求項13】
前記ユーザが実行したユーザジェスチャを決定することであって、前記表示装置内の前記拡張現実オブジェクトの変更は、前記ユーザジェスチャに基づくことをさらに備える、請求項１２に記載の方法。
【請求項14】
前記ユーザジェスチャは、前記ユーザの目または手の動きである、請求項１３に記載の方法。
【請求項15】
前記ユーザジェスチャは前記ユーザの指を使って行われるピンチ動作である、請求項１３に記載の方法。
【請求項16】
前記クライアントデバイスに命令を送ることは、前記平面に関する前記ユーザの前記視線方向を命令に変換することであって、前記命令が前記クライアントデバイスの型式と互換性を有すること、及び
前記命令を安全なネットワークを介して前記クライアントデバイスに送信することを含む、請求項１２に記載の方法。
【請求項17】
前記拡張現実グラフィックの少なくとも一部は、ユーザの視点から前記拡張現実オブジェクトと重ならないように表示される、請求項６に記載の方法。
【請求項18】
前記センサによって捕捉されたセンサデータを用いて前記ユーザの前記視線方向を決定することは、前記センサデータを用いて頭の向きを決定することと、
前記センサデータを用いて瞳の向きを決定することと、
前記頭の向きを前記瞳の向きとの差が閾値以下であることを決定することと、を含む、請求項１に記載のシステム。
【請求項19】
前記センサによって捕捉されたセンサデータを用いて前記ユーザの前記視線方向を決定することは、前記センサデータを用いて頭の向きを決定することと、
前記センサデータを用いて瞳の向きを決定することと、
前記頭の向きを前記瞳の向きとの差が閾値以下であることを決定することと、を含む、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、仮想的、拡張された、あるいは現実環境と混合された表示の操作に関する。
【背景技術】
【0002】
この出願は、２０１８年６月２７日に出願された米国仮出願第６２／６９０，８３４号の優先権の利益を主張し、これは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
医療行為及び外科手術の分野において、医師は、片手または両手を積極的に使用して様々な手順の形態を制御する。多くの場合、手には手袋がされて、滅菌野内にある。しばしば医師の手は外科的な装置の操作に占められている。これらの理由により、医師にとって手に基づく相互作用を使って他の装置を操作することは困難な場合がある。３次元画像等の補助情報は、しばしば医師に医療用表示装置上に提供される。従来の医療用表示装置は、医師に提供される３Ｄ情報の表示方向やスケールの制御にマウス、タッチパッド、またはジョイスティックの手による操作が必要になる。３Ｄオブジェクトを従来の２Ｄで表示する場合、医師は通常オブジェクトの方向を制御するためにマウスジェスチャを使うことが考えられる。表示されたオブジェクトや情報の向きや規模を、手の使用を抑えた直感的な方法により制御できる手段を提供することが望ましい。
医療行為及び外科手術の分野において、医師は、片手または両手を積極的に使用して様々な手順の形態を制御する。多くの場合、手には手袋がされて、滅菌野内にある。しばしば医師の手は外科的な装置の操作に占められている。これらの理由により、医師にとって手に基づく相互作用を使って他の装置を操作することは困難な場合がある。３次元画像等の補助情報は、しばしば医師に医療用表示装置上に提供される。従来の医療用表示装置は、医師に提供される３Ｄ情報の表示方向やスケールの制御にマウス、タッチパッド、またはジョイスティックの手による操作が必要になる。３Ｄオブジェクトを従来の２Ｄで表示する場合、医師は通常オブジェクトの方向を制御するためにマウスジェスチャを使うことが考えられる。表示されたオブジェクトや情報の向きや規模を、手の使用を抑えた直感的な方法により制御できる手段を提供することが望ましい。
【発明の概要】
【0003】
処理システムは、視線方向または頭部の位置を使用して、２Ｄまたは３Ｄ空間におけるオブジェクトの表示を操作する。オブジェクトを、仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）などの人工現実環境において提示し得る。他の実施形態では、オブジェクトはコンピュータ等のクライアントデバイスの（例えば、２Ｄ）表示装置上に提供され得る。オブジェクトは、仮想オブジェクト、つまり、実際のオブジェクトの仮想表現である場合がある。ここで使用されるように、視線方向は、少なくともユーザが見ている方向を示すユーザの頭部の向きによって判断される。処理システムは、ユーザにより着用されたヘッドマウントデバイス（ＨＭＤ）に捕捉されたセンサのデータに基づく頭部の位置及び方向の情報を使って視線方向を判断してもよい。また、処理システムは、ユーザの瞳孔の方向を示す情報を単独または頭部の方向及び位置と組み合わせて使って視線方向を判断してもよい。
【0004】
処理ユニットは、ユーザに表示するための拡張現実グラフィックを提供し、拡張現実グラフィックは、表示された他のオブジェクトに重ねられる。処理ユニットは、拡張現実グラフィックと相互に作用することにより、ユーザが表示されたオブジェクトを操作することを有効にする。例えば、拡張現実グラフィックは円環形状を有している。ユーザの視線が円環形状に向いていることの検出に応答し、処理システムは表示されたオブジェクトを回転する。回転の軸は、ユーザの視線方向と円環形状との交差位置に基づくから、処理システムは、表示されたオブジェクトの向きを直感的に制御するための知覚的なキューを提供することが可能になる。
【0005】
いくつかの実施形態において、処理システムは、異なるユーザにより着用される多様なＨＭＤにわたって表示されたオブジェクトの操作を組み合わせる、または同期させる。さらに、処理システムは、拡張現実グラフィックをクライアントのデバイスに登録するようにしてもよい。いったん登録されると、処理システムは、ユーザと拡張現実グラフィックとの相互作用に従ってクライアントデバイスに表示されるオブジェクトを変更するための情報をクライアントのデバイスに送信するようにしてもよい。例えば、処理システムは、拡張現実グラフィックとの相互作用を使用して、電気的な表示装置のマウスに基づく（または他のタッチに基づく）方向の制御を模倣する。したがって、処理システムは、ソースコンピューティングシステムにハードウェアまたはソフトウェアの変更を必要とせずに、様々なコンピューティングシステムとの互換性を持ち得る。
【0006】
一実施形態において、方法は、ユーザに装着されたヘッドマウントデバイス（ＨＭＤ）により表示するために拡張現実オブジェクトを提供することを含む。この方法は、さらに、ＨＭＤにより平面上に表示し、拡張現実オブジェクトに重ねるために拡張現実グラフィックを提供することを含む。この方法は、さらに、ＨＭＤのセンサにより捕捉されたセンサデータを使ってユーザの視線方向を決定することを含む。この方法は、さらに、視線方向が平面上の拡張現実グラフィックと交差し、少なくとも所定の期間交差し続けるとの決定に応答し、視線方向と平面上の拡張現実グラフィックとの交差位置を決定すること、及び、ＨＭＤにより表示するために所定の期間中の交差位置に従って拡張現実オブジェクトの変更版を提供することを含む。
【0007】
いくつかの実施形態において、この方法は、さらに、交差位置を使って回転軸を決定することを含み、ここで、表示用の拡張現実オブジェクトの変更版を提供することは、所定の期間の間、回転軸を中心に拡張現実オブジェクトを回転することを含む。いくつかの実施形態において、拡張現実グラフィックは拡張現実オブジェクトに位置合わせされた中心を有する円環形状を有し、ここで、回転軸を決定することは、中心と交差位置との間の平面上のベクトルを決定すること、及び、平面上のベクトルと直交する軸を回転軸とするように決定することを含む。いくつかの実施形態において、拡張現実グラフィックは、平面の水平または垂直の軸に位置合わせされた複数のセクションを有し、ここで、回転軸を決定することは、交差位置が複数のセクションの一つの中にあるかを決定すること、及び平面のセクションに位置合わせされた水平または垂直の軸を回転軸に決定することを含む。
【0008】
いくつかの実施形態において、この方法は、さらに、交差位置が拡張現実オブジェクトの拡大レベルに関連付けられたユーザ入力に対応することを決定することを含み、ここで、表示用の拡張現実オブジェクトの変更版を提供することは、所定の期間中、拡張現実オブジェクトの拡大レベルを増加または減少することを含む。いくつかの実施形態において、この方法は、異なるユーザに装着された異なるＨＭＤにより表示するために拡張現実オブジェクトの異なる光景を提供すること、及び異なるＨＭＤにより表示するための拡張現実オブジェクトの異なる光景を、拡張現実オブジェクトの変更版に従って変更することをさらに含む。
【0009】
いくつかの実施形態において、センサにより捕捉されたセンサデータを使ったユーザの視線方向を決定することは、センサデータを使った頭部の向きを決定すること、センサデータを使った瞳孔の向きを決定すること及び、頭部の向きと瞳孔の向きとの差異が閾値以下であるとの決定をすることを含む。ＨＭＤは、頭部の向きを決定するためのセンサデータを捕捉する少なくとも一つの移動センサ及び、瞳孔の向きを決定するためのセンサデータを捕捉する少なくとも一つのイメージセンサを備えてもよい。
【0010】
一実施形態において、方法は、ユーザに装着されたヘッドマウントデバイス（ＨＭＤ）により表示するための拡張現実グラフィックを提供することを含み、拡張現実グラフィックは平面上に表示され、クライアントデバイスの表示装置により提供されるオブジェクトに重ねられる。この方法は、さらに、ＨＭＤのセンサによって捕捉されたセンサデータを使ってユーザの視線方向を決定することを含む。この方法は、さらに、視線方向が平面上の拡張現実オブジェクトと交差し、少なくとも所定の期間交差し続けるとの決定に応答し、視線方向と平面上の拡張現実グラフィックとの交差位置を決定すること、及び表示装置内のオブジェクトを所定の期間内の交差位置に従って変更するための命令をクライアントデバイスに送ることを含む。
【0011】
いくつかの実施形態において、この方法は、さらに、ユーザがユーザジェスチャを実行したと決定することを含み、ここで、表示装置内のオブジェクトを変更することは、ユーザジェスチャに基づく。いくつかの実施形態において、ユーザジェスチャは、ユーザの目または手の動きである。いくつかの実施形態において、ユーザジェスチャは、ユーザの指を使って実行されるピンチ動作であり、ここで、表示装置内のオブジェクトを変更することは、表示装置内のオブジェクトの拡大レベルを変更することを含む。いくつかの実施形態において、クライアントデバイスに命令を送ることは、平面に関するユーザの視線方向を命令に変換することであって、この命令がクライアントデバイスの型式と互換性を有することと、命令を安全なネットワークを介してクライアントデバイスに送信することを含む、
【0012】
いくつかの実施形態において、コンピュータが読み取り可能な非一過性記憶媒体は、一つまたは複数のプロセッサにより実行されると、一つまたは複数のプロセッサが、ここで説明されたどのような方法に含まれる工程をも実行する命令を保存する。
【図面の簡単な説明】
【0013】
開示された実施形態は、詳細な説明、添付の特許請求の範囲、および添付の図（または図面）からより容易に明らかになる利点及び特徴を有する。以下、図の簡単な説明をする。
【発明を実施するための形態】
【0014】
Ｉ．システム環境の例
図１は、一実施形態による処理システム１００の例示的なシステム環境を示す。図１に示すシステム環境は、処理システム１００、一または複数のヘッドマウントデバイス（ＨＭＤ）１１０、及び一または複数のクライアントデバイス１２０を含み、これらは、ネットワーク１３０、例えば、インターネット、ＷＩＦＩ、BLUETOOTH（登録商標）、または別のタイプの有線または無線ネットワークにより接続されてもよい。他の一実施形態は、異なる、または追加される構成要素をシステム環境に含めることができる。図１の様々な構成要素によって実行される機能は、異なる実施形態において変化する場合がある。すなわち、処理システム１００は、サーバーまたはクラウド上で実行してもよい。他の実施形態においては、いくつかまたは全ての処理システム１００の機能を、一または複数のＨＭＤ１１０またはクライアントデバイス１２０上で実行してもよい。
図１は、一実施形態による処理システム１００の例示的なシステム環境を示す。図１に示すシステム環境は、処理システム１００、一または複数のヘッドマウントデバイス（ＨＭＤ）１１０、及び一または複数のクライアントデバイス１２０を含み、これらは、ネットワーク１３０、例えば、インターネット、ＷＩＦＩ、BLUETOOTH（登録商標）、または別のタイプの有線または無線ネットワークにより接続されてもよい。他の一実施形態は、異なる、または追加される構成要素をシステム環境に含めることができる。図１の様々な構成要素によって実行される機能は、異なる実施形態において変化する場合がある。すなわち、処理システム１００は、サーバーまたはクラウド上で実行してもよい。他の実施形態においては、いくつかまたは全ての処理システム１００の機能を、一または複数のＨＭＤ１１０またはクライアントデバイス１２０上で実行してもよい。
【0015】
処理システム１００は、ＨＭＤ１１０またはクライアントデバイス１２０によるグラフィックスまたはオブジェクトの表示のための情報を提供する。処理システム１００は、センサデータまたはＨＭＤ１１０若しくはクライアントデバイス１２０からのユーザ入力を処理してユーザの視線方向を決定してもよい。視線方向を使用し、処理システム１００は、他のタイプの適切な変更のうち、例えば、オブジェクトを回転させる、オブジェクトの位置を移動する、またはオブジェクトの拡大レベルを変更することにより、表示されたオブジェクトを変更してもよい。いくつかの実施形態では、処理システム１００は、ユーザの視線方向が、例えばユーザにより装着されたＨＭＤ１１０に表示された拡張現実グラフィックと交差し、そして、少なくとも所定の期間交差し続けるとの決定に応答し、表示されたオブジェクトを操作するユーザの意図を決定するようにしてもよい。
【0016】
ＨＭＤ１１０は、例えば、局所化された環境において、視線方向を決定するために使用されるセンサデータを捕捉するように構成される。いくつかの実施形態において、ＨＭＤ１１０は、複数の移動センサ、例えば加速度計、ジャイロスコープ、または移動データを捕捉する慣性測定ユニット（ＩＭＵ）を含む。移動データは、ＨＭＤ１１０（または処理システム１００）により、頭部の位置の情報を決定することに使用されてもよく、この情報は視線方向を示す。さらに、ＨＭＤ１１０は、目の方向の情報を捕捉する複数のセンサを含んでもよい。例えば、ＨＭＤ１１０は、一または複数のタイプのイメージセンサを用いて、ＨＭＤ１１０を装着しているユーザの目を撮像してもよい。画像処理技術は、目の画像から目の向きの情報を抽出するために実行され得る（例えば、鏡面反射に基づく）。いくつかの実施形態では、処理システム１００は、ユーザの頭部の向き及び瞳孔の向きが処理システム１００により計算された視線方向と一致すると判定する。その一致は、仮想オブジェクトとの相互作用に関しては、より確実にユーザの意図を示すことがあるためである。他の実施形態では、目の位置及び方向、または頭部の位置及び方向のどちらかがユーザの意図の決定に用いられる。処理システム１００は、ＨＭＤ１１０の側のイメージセンサによって捕捉されたデータを用いて、まぶたを閉じているか開いているか、まばたきをしているか等の表情や目の動きを検出することができる。
【0017】
さらに、ＨＭＤ１１０は、他の情報を捕捉するイメージセンサを含んでもよい。例えば、イメージセンサは、ＨＭＤ１１０が装着されている間のユーザの視野を捕捉する。処理システム１００は、画像処理技術を用いて、ユーザがユーザの視野でジェスチャを実行しているかどうか、例えば、ユーザが手を振っているのか、またはユーザの顔の前で手または腕の別の動きを実行しているのかを決定してもよい。拡張現実オブジェクトはユーザの視野内に提供されるため、拡張現実オブジェクトと相互に作用するためのユーザのジェスチャもまたイメージセンサの視野内にあってもよい。ＨＭＤ１１０は、ユーザの目線または視野におけるＨＭＤ１１０と他のオブジェクトとの間の距離を決定するために用いられる一つまたは複数の深度センサを含んでもよい。
【0018】
いくつかの実施形態では、ＨＭＤ１１０は、電子的な表示装置を含む。電子的な表示装置は、人工的な現実環境を表示してもよい。さらに、電子的な表示装置は、ユーザに音声を提供するためのスピーカーのような他のフィードバック機構、または触覚フィードバック機構を含んでもよい。他の実施形態では、ＨＭＤ１１０は、グラフィックを提供するプロジェクタを含んでもよい（電子的な表示装置に代えて）。ＨＭＤ１１０としては、ＭＩＣＲＯＳＯＦＴ（登録商標）、ＨＯＬＯＬＥＮＳＴＭ（商標）が例示されるが、他のタイプのヘッドマウントデバイスがシステムに含まれてもよいことに注意すべきである。
【0019】
クライアントデバイス１２０は、ユーザ入力を受け、ユーザの表示装置情報を提供することが可能なコンピュータ装置である。一実施形態において、クライアントデバイス１２０は、デスクトップまたはラップトップのような従来のコンピュータシステムである。
あるいは、クライアントデバイス１１０は、タブレット、スマートフォン、携帯電話、ウェアラブルデバイスまたは他の適切な形式の装置であってもよい。クライアントデバイス１２０は、２Ｄまたは３Ｄで対象物を表示する電子デバイスを含んでもよい。クライアントデバイス１２０は、マウス、キーボード、タッチスクリーン、ジェスチャ、ユーザの体の他の動作等のようなユーザの入力をデバイスから受けてもよい。さらに、または代わりに、クライアントデバイス１２０は、表示されたオブジェクトを変更するためのユーザの入力または他の情報を処理システム１００またはＨＭＤ１１０から受け取ってもよい。いくつかの実施形態では、クライアントデバイス１１０は、処理システム１００またはＨＭＤ１１０がクライアントデバイス１１０に登録されることの決定に応答し、クライアントデバイス１１０により表示されたオブジェクトを操作することを処理システム１００またはＨＭＤ１１０に許可する。
あるいは、クライアントデバイス１１０は、タブレット、スマートフォン、携帯電話、ウェアラブルデバイスまたは他の適切な形式の装置であってもよい。クライアントデバイス１２０は、２Ｄまたは３Ｄで対象物を表示する電子デバイスを含んでもよい。クライアントデバイス１２０は、マウス、キーボード、タッチスクリーン、ジェスチャ、ユーザの体の他の動作等のようなユーザの入力をデバイスから受けてもよい。さらに、または代わりに、クライアントデバイス１２０は、表示されたオブジェクトを変更するためのユーザの入力または他の情報を処理システム１００またはＨＭＤ１１０から受け取ってもよい。いくつかの実施形態では、クライアントデバイス１１０は、処理システム１００またはＨＭＤ１１０がクライアントデバイス１１０に登録されることの決定に応答し、クライアントデバイス１１０により表示されたオブジェクトを操作することを処理システム１００またはＨＭＤ１１０に許可する。
【0020】
図２Ａ及び図２Ｂは、様々な実施形態によるオブジェクトの表示に重なった拡張現実グラフィックスの例を示す。図２Ａに示した例において、ＨＭＤ１１０は拡張現実グラフィック２及び拡張現実オブジェクト３を表示する。例えば、拡張現実オブジェクト３は、患者の臓器（例えば心臓）の３Ｄ表現であり、ユーザは、その臓器に関する処置の準備または処置の実行をする医師である。拡張現実グラフィック２は、部分的に透明または半透明であってもよく、ユーザが拡張現実グラフィック２の背後にある拡張現実オブジェクト３をユーザの視点から知覚できることを可能にする。拡張現実グラフィック２は、円環形状を有していてもよく、拡張現実オブジェクト３の位置（例えば中心）に位置合わせされていてもよい。
【0021】
いくつかの実施形態では、処理システム１００は、拡張現実オブジェクト３を表示するための基準位置を決定する。すなわち、臓器の参照位置は、手術室内の患者の体の上に位置している。処理システム１００は、拡張現実グラフィック２を、ＨＭＤ１１０と、基準位置にある拡張現実オブジェクト３との間の平面に表示することを決定してもよい。さらに、その平面は、ユーザの視線方向と直交、あるいは略直交してもよい。拡張現実オブジェクト３は、基準位置の中心位置に留まっても（または固定されても）よい。したがって、ユーザの視線方向が頭部または目の動きにより変化すると、処理システム１００は、拡張現実グラフィック２の位置を更新して視線方向を追跡（例えば、直交または中心を維持する）するが、ユーザから見た拡張現実オブジェクト３の位置は維持する。例えば、ユーザが拡張現実オブジェクト３から目を反らした場合、ＨＭＤ１１０は拡張現実オブジェクト３をユーザの周辺視野に表示してもよい。
【0022】
図２Ｂで説明されている例は、ＨＭＤ１１０は拡張現実グラフィック７を表示し、クライアントデバイス１２０はオブジェクトを表示する。例えば、クライアントデバイス１２０は、モニタを備えたコンピュータ装置である。一実施形態では、処理システム１００は、ＨＭＤ１１０を装着しているユーザの視線方向６を用いて、回転軸及び回転量（例えば角度、またはラジアン）を計算する９。処理システム１００は、この回転の情報をクライアントデバイス１２０に提供して更新し１０、表示されているオブジェクトの新たな向きを表現する。したがって、処理システム１００は、ユーザに、マウス、キーボードまたはタッチスクリーンのような入力デバイスに接触しなければならないのとは反対に、クライアントデバイス１２０の表示装置をハンズフリーまたはタッチフリーの方式で操作することを可能にし得る。いくつかの実施形態では、処理システム１００はユーザにクライアントデバイス１２０の表示装置を無菌環境で操作することを可能にする。例えば、手のジェスチャの使用は、ユーザにより着用または取り扱われる手袋やその他の機器の無菌性を損なう入力装置への手の接触を必要とすることがない。
【0023】
処理システム１００は、クライアントデバイス１２０の位置または向きの少なくとも一つを使って拡張現実オブジェクト３を表示するための基準位置を決定してもよい。一実施形態において、処理システム１００は、登録処理中にクライアントデバイス１２０の位置または向きを決定してもよい。例えば、処理システム１００は、クライアントデバイス１２０、またはクライアントデバイス１２０のモニタ上に表示された画像（例えばユーザインターフェースボタン）と交差する視線方向６を検出する。他の例として、ＨＭＤ１１０のイメージセンサがクライアントデバイス１２０により画像表示されたイメージを捕捉する。処理システム１００は、グラフィックの有無またはグラフィックからの情報（例えばＱＲコードやバーコード）を識別するために、任意の数のイメージ処理または立体認識技術を用いてもよい。検出に応答し、処理システム１００はＨＮＤ１１０をクライアントデバイス１２０に登録する。
【0024】
いくつかの実施形態では、処理システム１００は、ＨＭＤ１１０によって捕捉された視線方向６または他のセンサのデータ（例えば深度情報）を使ってＨＭＤ１１０に対するクライアントデバイス１２０の位置または向きを決定することが可能である。いくつかの実施形態では、処理システム１００は、ユーザからの身分証明（例えばログイン識別またはパスワード）の受信にさらに応答し、ＨＭＤ１１０をクライアントデバイス１２０に登録する。ユーザは、ＨＭＤ１１０またはクライアントデバイス１２０を経由して身分証明を入力してもよい。いくつかの実施形態では、処理システム１００は、登録のためのクライアントデバイスのモニタの境界を決定する。この境界は、他のグラフィックまたは参照位置を形成するために使用されてもよい。
【0025】
ＩＩ 拡張現実グラフィックを用いた制御例
図３は、一実施形態による回転軸の例を説明している。図３で説明されている例において、拡張現実グラフィック３００は円環形状である。円環形状は、内径Ｒ１と外径Ｒ２とによって規定される厚さを有している。他の実施形態では、拡張現実グラフィック３００は、異なるタイプの形状または属性（例えば、色やサイズ等）を有してもよい。ＨＭＤ１１０は、２Ｄ平面、例えば、図３に示す座標系のＸ－Ｙ平面におけるｚ＝０に拡張現実グラフィック３００を表示する。いくつかの実施形態では、拡張現実グラフィック３００が厚さ（例えばｚ軸における）を有し、ＨＭＤ１１０により３Ｄで表示されてもよい。ＨＭＤ１１０は、また、拡張現実グラフィック３００と同一の平面にマーカ３１０を表示する。処理システム１００は、ＨＭＤ１１０を装着しているユーザの視線方向と平面との交差位置を決定することにより、マーカ３１０の位置を決定する。ユーザの頭部、または目が移動すると、処理システム１００は、その移動を追跡するために、マーカ３１０の位置をリアルタイムで更新してもよい。視線方向を使ったマーカ３１０の操作は、マウス動作を使うコンピュータのカーソルの操作に類似することがある。
図３は、一実施形態による回転軸の例を説明している。図３で説明されている例において、拡張現実グラフィック３００は円環形状である。円環形状は、内径Ｒ１と外径Ｒ２とによって規定される厚さを有している。他の実施形態では、拡張現実グラフィック３００は、異なるタイプの形状または属性（例えば、色やサイズ等）を有してもよい。ＨＭＤ１１０は、２Ｄ平面、例えば、図３に示す座標系のＸ－Ｙ平面におけるｚ＝０に拡張現実グラフィック３００を表示する。いくつかの実施形態では、拡張現実グラフィック３００が厚さ（例えばｚ軸における）を有し、ＨＭＤ１１０により３Ｄで表示されてもよい。ＨＭＤ１１０は、また、拡張現実グラフィック３００と同一の平面にマーカ３１０を表示する。処理システム１００は、ＨＭＤ１１０を装着しているユーザの視線方向と平面との交差位置を決定することにより、マーカ３１０の位置を決定する。ユーザの頭部、または目が移動すると、処理システム１００は、その移動を追跡するために、マーカ３１０の位置をリアルタイムで更新してもよい。視線方向を使ったマーカ３１０の操作は、マウス動作を使うコンピュータのカーソルの操作に類似することがある。
【0026】
処理システム１００は、検出されたユーザの拡張現実グラフィック３００との相互作用を使い、表示、例えば、ＨＭＤ１１０によって表示された拡張現実オブジェクトを変更することが可能である。変更は、１つまたは複数の回転、ズーム、平行移動、または表示されたオブジェクトに対する他のタイプの変化、変更または変形が含まれる場合がある。いくつかの実施形態では、マーカ３１０（ユーザの視線方向に基づく）が拡張現実グラフィック３００と少なくとも閾値の期間交差するとの決定に応答し、処理システム１００は、ユーザが表示を操作することを意図していると決定する。閾値期間は、１０～１０００ミリ秒（または異なる持続時間）であってもよく、ユーザの視線方向が実際に表示を操作する意図なく瞬間的に拡張現実グラフィック３００と交差することの発生を除外するために処理システム１００によって使用される。処理システム１００は、ユーザの目の方向がユーザの視線方向の閾値角度θ度以内であるとの決定に応答して表示を操作する意図を決定してもよく、その結果、処理システム１００は、所定の期間の閾値が満たされたと決定してもよい。
【0027】
いくつかの実施形態では、マーカ３１０が円環形状の本体と交差することの決定に応答し、処理システム１００は、回転軸を中心としてオブジェクトを回転させることによってオブジェクトの表示を操作することを決定する。円環の本体は、内径Ｒ１と外径Ｒ２との間の領域を含むものであってもよい。円環の形状は、円環の平面上の球体（例えば球体の断面）の端部を見ることにより、ユーザが仮想的な球体を回転させているという知覚をユーザに提供し得る。拡張現実グラフィック３００は表示されたオブジェクト上に重ねられてもよいので、拡張現実グラフィック３００は、表示されたオブジェクトの直感的な制御を提供することが可能である。処理システム１００は、表示されたユーザの視線方向が円環と交差し続ける期間オブジェクトを回転し続けてもよい。ユーザの視線方向がもはや円環と交差していないとの決定に応答し、処理システム１００は、表示されたオブジェクトの回転を停止（または他の変更）してもよい。処理システム１００は、予め決定された速度でオブジェクトの表示を回転するようにしてもよい。速度は、一定、またはユーザの（例えば連続的な）視線の持続に基づいて増加するように（例えば次第に）変化するものであってもよい。さらに、処理システム１００は、例えば加速または減速するために、ユーザの制御に基づいて速度を調整してもよい。
【0028】
図３に示される実施形態において、処理システム１００は、ＨＭＤ１１０を装着しているユーザの視線方向と円環との交差位置を使って回転軸を決定する。処理システム１００は、保存または校正処理してからの情報に基づくことがある、ユーザの頭部の位置、
【0029】
【数1】
【0030】
を決定し、例えば、部屋の参照３Ｄ座標系を基準にしてユーザの頭部の位置を特定する。処理システム１００は、同様の３次元座標系におけるユーザの視線方向の単位ベクトル、
【0031】
【数2】
【0032】
を決定するためにＨＭＤ１１０からのセンサデータを使う。処理システム１００は、視線方向を表現するベクトル
【0033】
【数3】
【0034】
を計算するために単位ベクトルとユーザの頭部の位置を用いる。
【0035】
図３の実施形態では、円環はＸ－Ｙ平面の（０，０，０）を中心にしている。
ｚ＝０であり、
ｚ＝０であり、
【0036】
【数4】
【0037】
であるから、処理システム１００は、平面と反対の方向を向いているユーザの視線方向に対応し、ｔ≧０と決定する。他の実施形態では、円環は、例えば原点と異なる他の座標の点を中心にするものであってもよい。処理システム１００は、ｔ＜０の値が、平面の側に向かい、この平面と交差するユーザの視線方向に対応すると決定する。処理システム１００は、視線方向と平面との交差位置を、以下のように決定する。
【0038】
【数5】
【0039】
処理システム１００は、マーカ３１０の交差位置と円環の中心点との間のベクトルを決定する。処理システム１００は、交差位置と中心点との間のベクトルと交差する単位ベクトル３３０を使って円環の平面における回転軸３２０を決定する。処理システム１００は、
【0040】
【数6】
【0041】
以下の行列式（３×３により行列標記）を使って決定してもよい。処理システム１００は、ＨＭＤ１１０または他のクライアントデバイス１２０に表示されているオブジェクトの表示を更新するために回転の増加分を使用する。
【0042】
【数7】
【0043】
図４Ａ及び図４Ｂは、様々な実施形態の拡張現実グラフィックスの例を説明する。図４Ａから図４Ｂで説明した実施形態では、拡張現実グラフィック４００は、４つの所定のセクションを伴う円環である。セクションは、ＸまたはＹ軸と位置合わせされる。図４Ａにおいて、セクションは長方形形状で示されているが、他の実施形態においては、図４Ｂに示すように、セクションは異なる形状、サイズ等を有するものであってもよい。ユーザの視線方向が一つのセクションの１つの領域と交差したとの決定に応答し、処理システム１００は、上記処理において、Ｘ軸またはＹ軸を、
【0044】
【数8】
【0045】
を用いることに代えて回転軸として使用すると決定してもよい。すなわち、左のセクションと右のセクションは、ユーザの観点から、それぞれ左方向と右方向のＹ軸を中心とする回転に対応する。さらに、上のセクションと下のセクションは、ユーザの観点から、それぞれ上方向と下方向のＸ軸を中心とした回転に対応する。セクションは、回転軸の大まかな制御を提供するものであってもよく、このセクションの外側の円環の一部は、回転軸の高精度な制御を提供するものであってもよい。ユーザは、特定のタスクに対応するため、大まかな制御と高精度な制御との間で切り替えを行うことが可能である。
【0046】
図４Ａから図４Ｂの実施形態は、さらに拡張現実グラフィックス４２０を含み、これは表示されたオブジェクトの他の属性の変更に用いられてもよい。例えば、ユーザの視線方向が“＋”の画像と交差するとの決定に応答し、処理システム１００は、表示されたオブジェクトの拡大レベルを上げる。さらに、ユーザの視線方向が“－”の画像と交差するとの決定に応答し、処理システム１００は、表示されたオブジェクトの拡大レベルを下げる。いくつかの実施形態では、処理システム１００は、検出されたユーザの他の動作に基づいて、表示されたオブジェクトの属性を変更してもよい。例えば、ユーザがピンチ動作（例えば、２本またはそれ以上の指を各々近づける、または遠ざける動作）を行っているとの決定に応答し、処理システム１００は、表示されたオブジェクトの拡大レベルを変更する。
【0047】
ＩＩＩ 処理の手順の例
図５は、マウス動作を使用して回転を制御するための実施形態の処理５００のフローチャートである。処理システム１００は、処理５００を用いて、ＨＭＤ１１０を装着しているユーザに対し、マウスやキーボードといった別個の入力装置を必要とすることなく、クライアントデバイス１２０の制御を提供してもよい。処理システム１００は、例えば、回転軸、回転量といった回転情報を、図３に関する上記処理を使って決定する５１０。処理システム１００は、ＨＭＤ１１０に登録されている可能性があるクライアントデバイス１２０上に表示されたオブジェクトを識別する５２０。処理システム１００は、回転情報をクライアントデバイス１２０と互換性のある命令に変換する５３０。例えば、クライアントデバイス１２０は、ワイヤレスユニバーサルシリアルバス（ＵＳＢ）マウスを介してユーザ入力を受信することができるコンピュータである。したがって、命令は、２次元平面上の（Ｘ，Ｙ）座標位置、ボタンの押下、スクロールホイールの動きまたはマウスの動きといった基本的なマウスの命令であってもよい。処理システム１００は、１つまたは複数の異なる演算方法を使ってクライアントデバイス１２０のインターフェースとなる入力装置の形式に依存する回転情報を変換してもよい５３０。例えば、キーボードはマウスと異なる制御を含んでいる。
図５は、マウス動作を使用して回転を制御するための実施形態の処理５００のフローチャートである。処理システム１００は、処理５００を用いて、ＨＭＤ１１０を装着しているユーザに対し、マウスやキーボードといった別個の入力装置を必要とすることなく、クライアントデバイス１２０の制御を提供してもよい。処理システム１００は、例えば、回転軸、回転量といった回転情報を、図３に関する上記処理を使って決定する５１０。処理システム１００は、ＨＭＤ１１０に登録されている可能性があるクライアントデバイス１２０上に表示されたオブジェクトを識別する５２０。処理システム１００は、回転情報をクライアントデバイス１２０と互換性のある命令に変換する５３０。例えば、クライアントデバイス１２０は、ワイヤレスユニバーサルシリアルバス（ＵＳＢ）マウスを介してユーザ入力を受信することができるコンピュータである。したがって、命令は、２次元平面上の（Ｘ，Ｙ）座標位置、ボタンの押下、スクロールホイールの動きまたはマウスの動きといった基本的なマウスの命令であってもよい。処理システム１００は、１つまたは複数の異なる演算方法を使ってクライアントデバイス１２０のインターフェースとなる入力装置の形式に依存する回転情報を変換してもよい５３０。例えば、キーボードはマウスと異なる制御を含んでいる。
【0048】
処理システム１００は、表示されたオブジェクトを変更するためのクライアントデバイス１２０への命令を送信する５４０。上記のワイアレスマウスの実施形態において、クライアントデバイス１２０は、ＵＳＢを経由してワイアレスレシーバ（またはトランシーバ）と結合されてもよい。処理システム１００は、例えば、ＢＬＵＥＴＯＯＨ（登録商標）を介して、命令を無線受信機に送信することができる。いくつかの実施形態において、処理システム１００は、他のタイプのネットワーク接続、例えば、安全なまたは暗号化された通信のための仮想プライベートネットワーク（ＶＰＮ）を介してクライアントデバイス１２０に命令を送信する。クライアントデバイス１２０は、表示されたオブジェクトを変更するための受信した命令を処理するマイクロソフト（登録商標）リモートデスクトップのようなソフトウェアを有するものであってもよい。
【0049】
いくつかの実施形態において、処理システム１００は、表示されたオブジェクトをユーザの視線方向及びユーザの他のジェスチャを使って操作する。ユーザインターフェースに表示されたコンピュータの制御を模したマウスの例に続いて、処理システム１００は、特定のジェスチャ（例えば、まばたき、頭部のうなずき、または手の動き）をマウスクリックと関連付けてもよい。画面上に表示されたアイテムを選択するためにマウスが使用されるとき、ユーザは、マウスカーソルをアイテムに移動させ、マウスボタンをクリックしてもよい。一実施形態において、ＨＭＤ１１０を装着したユーザは、マーカ（例えば、図３に示したマーカ３００）をアイテムに移動して、アイテムを選択するための特定のジェスチャを行ってもよい。マウスのシナリオと対照的に、ＨＭＤ１１０のシナリオは、ハンズフリーまたはタッチフリーであってもよい。
【0050】
図６は、一実施形態による拡張現実環境の変更のための処理６００のフローチャートである。図７Ａ、図７Ｂ及び図７Ｃは、一実施形態による拡張現実環境における連続するユーザの視野の例を説明する。図６に示す処理６００を用いる場合の例は、図７Ａから図７Ｃにより後に説明する。
【0051】
処理システム１００は、ユーザに装着されたＨＭＤ１１０の表示装置により表示するために拡張現実オブジェクト７３０を提供する６１０。図７Ａに示す例では、拡張現実オブジェクト７３０は立方体である。処理システム１００は、拡張現実（ＡＲ）グラフィック７４０（例えば円環の形状を有している）を、ＨＭＤ１１０により平面上に表示するために提供し６２０、拡張現実オブジェクト７３０に重ねる（例えば、取り囲む）。また、図７Ａは、ユーザの視線方向７１０と平面との交差位置を示すマーカ７２０を示している。図７Ａに示す拡張現実オブジェクト７３０及び拡張現実グラフィック７４０は、ユーザから見られている。図７Ａにおいて、ユーザは、視線方向７１０を基準にして右方向を見ていて、そのためにマーカ７２０は拡張現実グラフィック７４０の右側を向く。
【0052】
処理システム１００は、ＨＭＤ１１０のセンサによって捕捉されたセンサデータを使ってユーザの視線方向７５０を決定する６３０。図７Ａにおけるユーザの位置と図７Ｂの位置との間で、ユーザはユーザの視線方向を右側から左側に向かって移動させる。このように、処理システム１００は、図７Ｂの視線方向７５０が、図７Ａに示す視線方向７１０と異なっていると決定する。さらに、処理システム１００は、マーカ７２０の位置を拡張現実グラフィック７４０の左側に更新する。
【0053】
処理システム１００は、視線方向７５０が平面上の拡張現実グラフィック７４０と交差し、所定の期間交差し続けると決定する６４０。図７Ｂに示すように、マーカ７２０は拡張現実グラフィック７４０の円環の本体と交差する。処理システム１００は、また、視線方向７５０が、例えば、Ｙ軸を中心とした左方向への回転の粗い制御に対応して、拡張現実グラフィック７４０の特定のセクションと交差すると決定してもよい。
【0054】
決定６４０に応答し、処理システム１００は、視線方向７５０と平面上の拡張現実グラフィック７４０との交差位置を決定する６５０。交差位置は、（例えば、その中心点が）マーカ７２０によって示される。また、決定６４０に応答し、処理システム１００は、所定の期間中の交差位置の位置に従って、ＨＭＤ１１０により表示するための拡張現実オブジェクト７３０の変更版を提供する６６０。図７Ｂに示すように、処理システム１００は、ユーザの視点から左に向かって拡張現実オブジェクト７３０を回転させることにより、表示されている拡張現実オブジェクト７３０を変更する。特に、図７Ａから図７Ｂでは、立方体の影のついた面がユーザの側に向かって移動している。処理システム１００は、ユーザの視線方向７５０が仮想現実グラフィック７４０と交差し続けるとの決定に応答し、拡張現実オブジェクト７３０を回転することを継続してもよい。図７Ｃに例を示すように、ユーザの視線方向は図７Ｂに示すものと同じであり続ける。したがって、処理システム１００は、拡張現実オブジェクト７３０を、Ｙ軸を中心に左に回転させ続ける。
【0055】
いくつかの実施形態では、処理６００は、交差位置を使って回転軸を決定することを含む。例えば、図３に示すように、処理システム１００は、円環の中心と交差位置との間の拡張現実グラフィック７４０の平面上のベクトルを決定してもよい。処理システム１００は、平面上でベクトルと直交する軸を回転軸に決定する。拡張現実グラフィック７４０は、平面の水平または垂直軸、例えば図７Ａから図７Ｃに示すそれぞれＸ軸及びＹ軸に位置合わせされたセクションを有してもよい。処理システム１００は、交差位置の位置が１つのセクションの中にあることに応答し、水平または垂直の軸をそれぞれ回転軸に使うことを決定してもよく、例えば、図７Ｂ、図７ＣにＹ軸を使用することが示されている。
【0056】
多様なＨＭＤ１１０を備える実施形態では、処理システム１００は、多様なＨＭＤ１１０にわたって表示を整合させてもよい。例えば、処理システム１００は、第１のＨＭＤ１１０を装着している第１のユーザに拡張現実オブジェクトの光景を提供する。処理システム１００は、第２のＨＭＤ１１０を装着している第２のユーザに、同じ拡張現実オブジェクトの異なる光景を提供する。第２のユーザは、第１のユーザと異なる位置にいる。すなわち、二人のユーザは、部屋の異なる側にいて、部屋の中心に表示された拡張現実オブジェクトの方を見ている。部屋に表示されている拡張現実オブジェクトに対するＨＭＤ１１０の距離または向きを使い、処理システム１００は、二人のユーザの異なる光景を決定することができる。さらに、処理システム１００は、拡張現実オブジェクトを操作するための拡張現実グラフィックを、どのような数のユーザに提供するものであってもよい。ユーザの一人が仮想現実オブジェクトを操作したとの決定に応答し、処理システム１００は、システムにおける１人または複数のユーザによって知覚される同一の拡張現実オブジェクトの表示された光景を変更してもよい。他の実施形態では、処理システム１００は、複数のＨＭＤ１１０の表示を同期させて、複数のＨＭＤ１１０のそれぞれが、ユーザの相対的な位置とは無関係に、ユーザによって知覚されるオブジェクトの同じ光景を提供してもよい。
【0057】
図７Ａから図７Ｃの例は、拡張現実オブジェクト７３０を説明する目的で立方体を示している。しかしながら、他の実施形態では、処理システム１００は、他のタイプの形状または属性を有する表示用のオブジェクトを提供してもよい。様々な実施形態では、表示されるオブジェクトは、生物の生理学的な機能を示し、これについては以下にさらに説明する。
【0058】
ＩＶ インターフェース表示の例
図８Ａ、図８Ｂ、図８Ｃ及び図８Ｄは、本実施形態の拡張現実グラフィックスの例を示す。ＨＭＤ１１０または別のタイプの表示装置は、図８Ａから図８Ｄに示すように、器官内の曲率、勾配、チャネル、または空洞などの３Ｄ特徴を含むオブジェクトを表示してもよい。処理システム１００は、人または動物に対する介入処置のため、１または複数の医師により使用されてもよい。例えば、患者の心臓に対して手術（または別のタイプの手術）を実施している間、処理システム１００は、心臓を表す拡張現実オブジェクトを提供してもよい。上記の実施形態は、医師が手術を行うのを支援するために、拡張現実オブジェクトのハンズフリーまたはタッチフリーの制御を提供することができる。例えば、医師は、心臓の標的となる部位または心房に器具を導くことを助けるため、視覚化された心臓の回転または拡大レベルの調整を望むことがある。
図８Ａ、図８Ｂ、図８Ｃ及び図８Ｄは、本実施形態の拡張現実グラフィックスの例を示す。ＨＭＤ１１０または別のタイプの表示装置は、図８Ａから図８Ｄに示すように、器官内の曲率、勾配、チャネル、または空洞などの３Ｄ特徴を含むオブジェクトを表示してもよい。処理システム１００は、人または動物に対する介入処置のため、１または複数の医師により使用されてもよい。例えば、患者の心臓に対して手術（または別のタイプの手術）を実施している間、処理システム１００は、心臓を表す拡張現実オブジェクトを提供してもよい。上記の実施形態は、医師が手術を行うのを支援するために、拡張現実オブジェクトのハンズフリーまたはタッチフリーの制御を提供することができる。例えば、医師は、心臓の標的となる部位または心房に器具を導くことを助けるため、視覚化された心臓の回転または拡大レベルの調整を望むことがある。
【0059】
図８Ａから図８Ｄに示す実施形態において、処理システム１００は、１つまたは複数の器具（例えば、カテーテル）を表すグラフィックスを提供するとともに、医師が手術または観察している器官内での器具の相対的及び／または内部の位置及び／または向きを表すグラフィックを提供してもよい。さらに、処理システム１００は、医師の処置の実行または観察を支援するために操作部位上のマーカ（例えば、図８Ａから図８Ｄに示す円形または球状の）のような他のグラフィックスを提供してもよい。医師の手は器具の操作によって占有され、表示装置または入力装置（例えば、マウスまたはキーボード）に触れることで無菌性が損なわれるので、ハンズフリーまたはタッチフリーの制御が有利であることが考えられる。
【0060】
図８Ａから図８Ｄの実施形態において、処理システム１００は、円形８００で示されるユーザの視線方向を追跡してもよい。図８Ａに示すように、処理システム１００は、視線方向が円環の拡張現実グラフィックのセクション（例えば“＜＜”記号）と交差するとの決定に応答し、表示されたオブジェクトを、軸を中心として回転してもよい。図８Ｃに示すように、処理システム１００は、視線方向が円環の拡張現実グラフィックの異なるセクションと交差するとの決定に応答し、表示されたオブジェクトを異なる軸を中心にして回転してもよい。図８Ｄに示すように、処理システム１００は、ユーザ入力（例えば“＋”記号）と交差するとの決定に応答し、表示されているオブジェクトの拡大レベルを変更してもよい。
【0061】
Ｖ．追加の検討事項
本発明の実施形態の前述の説明は例示を目的とするものであり、本発明を網羅的に、または形状を正確に限定して開示するものではない。関連技術の当業者は、上記の開示に照らして多くの変更および変形が可能であることを理解することができる。
本発明の実施形態の前述の説明は例示を目的とするものであり、本発明を網羅的に、または形状を正確に限定して開示するものではない。関連技術の当業者は、上記の開示に照らして多くの変更および変形が可能であることを理解することができる。
【0062】
この説明のいくつかの部分では、情報に対する操作のアルゴリズム及び記号表現の観点から本発明の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理技術における当業者によって一般的に用いられ、彼らの仕事の趣旨を効果的に他の当業者に伝える。これらのオペレーションは、機能的、計算的、または論理的に説明されている一方で、コンピュータプログラム、または等価電気回路、マイクロコードなどによって実装されると理解される。さらに、一般性を損なうことなく、これらの操作の配置をモジュールと呼ぶことが便利であることも証明されている。説明された操作およびその関連モジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具体化されてもよい。
【0063】
本明細書で説明される任意のステップ、オペレーション、またはプロセスは、単独または他のデバイスと組み合わせることで、１つ若しくは複数のハードウェアまたはソフトウェアモジュールで実行または実装されてよい。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ読み取り可能な非一過性記憶媒体を含むコンピュータプログラム製品を用いて実装され、このコンピュータプログラム製品は、記載されたステップ、操作、またはプロセスのいずれかまたは全てを実行するためにコンピュータプロセッサによって実行されることができる。
【0064】
また、本発明の実施形態は、本明細書で説明されるコンピューティングプロセスによって製造される製品に関する場合がある。このような製品は、コンピューティングプロセスから生じる情報を含むことができ、ここで、情報は、非一時的で有形のコンピュータ読み取り可能な非一過性記憶媒体に格納され、本明細書で説明されるコンピュータプログラム製品、または他のデータの組み合わせの任意の実施形態を含むものであってもよい。
【0065】
最後に、明細書で使用される文言は、主に読みやすさと教育目的のために選択されたものであり、本発明の主題を描写または制限するために選択されていない場合がある。したがって、本発明の範囲は、この詳細な説明によってではなく、むしろ、これに基づく出願に係る請求項によって限定されることが意図されている。したがって、本発明の実施形態の開示は、以下の特許請求の範囲に記載されている本発明の範囲を例示することを意図しているが、これを限定するものではない。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図8C】
【図8D】