特許 7353982 拡張現実におけるユーザインタラクションのための仮想カバー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-22

(45)【発行日】2023-10-02

(54)【発明の名称】拡張現実におけるユーザインタラクションのための仮想カバー

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230925BHJP

   G06F 3/04815 20220101ALI20230925BHJP

   G06F 3/04847 20220101ALI20230925BHJP

   G06F 3/16 20060101ALI20230925BHJP

【ＦＩ】

G06F3/01 570

G06F3/01 510

G06F3/04815

G06F3/04847

G06F3/16 630

【請求項の数】 18

(21)【出願番号】P 2019563626

(86)(22)【出願日】2018-05-09

(65)【公表番号】

(43)【公表日】2020-07-09

(86)【国際出願番号】 EP2018061947

(87)【国際公開番号】W WO2018210645

(87)【国際公開日】2018-11-22

【審査請求日】2021-05-07

(31)【優先権主張番号】62/506,895

(32)【優先日】2017-05-16

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】パンセ アシシュ

(72)【発明者】

【氏名】フレックスマン モリー ララ

【審査官】木村 慎太郎

(56)【参考文献】

【文献】特開２０１３－２３２０６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１９１８８７（ＵＳ，Ａ１）

【文献】国際公開第２０１４／０４５６８３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／００５４７９１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１５

Ｇ０６Ｆ ３／０４８４７

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

医療現場の３次元（３Ｄ）空間における拡張現実のための制御装置であって、前記制御装置は、
命令を格納するメモリと、
前記命令を実行するプロセッサと、を備え、
前記制御装置が、前記３Ｄ空間内で仮想オブジェクト及び仮想操作部材をディスプレイシステムのユーザに提示して拡張現実を実現するように前記ディスプレイシステムを制御し、
前記プロセッサによって実行されるときに、前記命令が、前記制御装置にプロセスを実施させ、前記プロセスが、
前記３Ｄ空間内の第１の物理的オブジェクト又は前記仮想オブジェクトに対するユーザによる第１のアクションを検出すること、及び
前記ユーザと前記３Ｄ空間内の前記第１の物理的オブジェクト又は前記仮想オブジェクトとの間の前記第１のアクションの検出に基づいて、前記仮想操作部材を選択的に有効化又は無効化すること、を備え、
前記仮想操作部材が、操作されるときに、前記医療現場の医療機械の動作の有効化又は無効化が前記第１のアクションの検出に基づくように、前記３Ｄ空間内の前記医療機械の動作を制御し、
前記仮想操作部材及び前記仮想オブジェクトは、前記ディスプレイシステムの複数のユーザから選択されたユーザに対して可視化される、制御装置。

【請求項2】

前記３Ｄ空間内の前記仮想オブジェクトが、前記仮想操作部材のための仮想カバーを備え、
前記第１のアクションが、前記ユーザが前記仮想操作部材に被せて前記仮想カバーを閉じるときの第１のインタラクションを備える、
請求項１に記載の制御装置。

【請求項3】

前記第１のアクションが、前記ユーザが前記３Ｄ空間内の前記第１の物理的オブジェクトを押すときの第１のインタラクションを備える、
請求項１に記載の制御装置。

【請求項4】

前記第１のアクションが、前記ユーザからの音声コマンドを備える、
請求項１に記載の制御装置。

【請求項5】

前記第１のアクションが、前記ユーザが前記３Ｄ空間内でジェスチャを行うときの第１のインタラクションを備える、
請求項１に記載の制御装置。

【請求項6】

前記第１のアクションが、前記３Ｄ空間内での前記ユーザの頭の位置決めを備える、
請求項１に記載の制御装置。

【請求項7】

前記第１のアクションが、前記３Ｄ空間内での前記ユーザの目の位置決めを備える、
請求項１に記載の制御装置。

【請求項8】

前記仮想操作部材が、前記３Ｄ空間内の位置に選択的に配置される、
請求項１に記載の制御装置。

【請求項9】

前記仮想操作部材が、仮想ボタンを備える、
請求項１に記載の制御装置。

【請求項10】

前記仮想操作部材が、前記３Ｄ空間内の第２の物理的オブジェクトの動きの方向を制御する方向性制御装置を備える、
請求項１に記載の制御装置。

【請求項11】

前記仮想操作部材が、前記３Ｄ空間内の第２の物理的オブジェクトの上に投影される、
請求項１に記載の制御装置。

【請求項12】

前記仮想操作部材が前記第１のアクションによって選択的に無効化されるとき、前記ユーザと前記３Ｄ空間内の前記第１の物理的オブジェクト又は前記仮想オブジェクトとの間の第２のインタラクションを前記制御装置が検出したのに基づいて、前記仮想操作部材が選択的に有効化され、
前記仮想操作部材が前記第１のアクションによって選択的に有効化されるとき、前記ユーザと前記３Ｄ空間内の前記第１の物理的オブジェクト又は前記仮想オブジェクトとの間の第２のインタラクションを前記制御装置が検出したのに基づいて、前記仮想操作部材が選択的に無効化される、
請求項１に記載の制御装置。

【請求項13】

前記ディスプレイシステムが、前記制御装置により前記３Ｄ空間内に仮想カーソルを投影し、
前記第１のアクションが、前記ユーザが前記仮想カーソルをターゲット上に移動させることを備える、
請求項１に記載の制御装置。

【請求項14】

前記３Ｄ空間が、前記ディスプレイシステムによって前記仮想オブジェクトが重畳される事前定義された物理的環境に基づく、
請求項１に記載の制御装置。

【請求項15】

前記制御装置が、ヘッドマウント可能ディスプレイを備え、
前記３Ｄ空間が、前記ユーザが前記ヘッドマウント可能ディスプレイを装着している空間である、
請求項１に記載の制御装置。

【請求項16】

拡張現実を用いて医療現場の３次元（３Ｄ）空間内の機能を制御するための方法であって、前記方法は、
前記３Ｄ空間内に仮想オブジェクト及び仮想操作部材をディスプレイシステムのユーザに提示して拡張現実を実現するように前記ディスプレイシステムを制御するステップと、
前記３Ｄ空間内の物理的オブジェクト又は前記仮想オブジェクトに対するユーザによる第１のアクションを検出するステップと、
前記ユーザと前記３Ｄ空間内の前記物理的オブジェクト又は前記仮想オブジェクトとの間の前記第１のアクションの検出に基づいて、前記仮想操作部材を選択的に有効化又は無効化するステップと、を有し、
前記仮想操作部材が、操作されるときに、前記医療現場の医療機械の動作の有効化又は無効化が前記第１のアクションの検出に基づくように、前記３Ｄ空間内の前記医療機械を制御し、
前記仮想操作部材及び前記仮想オブジェクトは、前記ディスプレイシステムの複数のユーザから選択されたユーザに対して可視化される、方法。

【請求項17】

前記ユーザによる第２のアクションを検出するステップと、
前記ユーザによる前記第２のアクションに基づいて前記仮想操作部材を動かすステップと、
をさらに有する、請求項１６に記載の方法。

【請求項18】

前記ユーザによる前記第１のアクションの検出に基づいて、前記仮想操作部材を、前記３Ｄ空間内の前記仮想オブジェクトで覆うステップ、
をさらに有する、請求項１６に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

[001] 介入処置などの医療処置は、物理的操作部材、例えば、ボタン、ダイヤル、レバー、ハンドル、並びに、機器のオンオフを切り替えるため及び設定を変更するための同様のメカニズムを使用して制御される物理的機器を使用する。

【0002】

[002] 拡張現実とは、一般に、ライブ画像ストリームに追加のコンピュータ生成情報が補足されたときを表す。ライブ画像ストリームは、目、カメラ、又はスマートフォンやタブレットなどの通信デバイスを介するものでよい。ライブ画像ストリームは、眼鏡、コンタクトレンズ、若しくは投影を介した、又は通信デバイス上でのユーザへの表示によって増強される。現在の拡張現実システムは、ジェスチャ認識、頭部追跡、視線追跡、及び音声認識を含む様々なユーザアクションを感知し、それらに応答することができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

[003] 拡張現実が医療現場で実施されるとき、物理的な機器を制御するために仮想操作部材が使用される可能性が高い。物理的操作部材の誤った操作が危険であるのと同様に、仮想操作部材の誤った操作も危険である。

【課題を解決するための手段】

【0004】

[004] 本開示の一態様によれば、３次元（３Ｄ）空間における拡張現実のための制御装置が、命令を格納するメモリと、命令を実行するプロセッサと、を備える。制御装置は、３Ｄ空間内で仮想オブジェクトを提示するように構成されたディスプレイシステムを制御する。プロセッサによって実行されるときに、命令は、制御装置にプロセスを実施させる。プロセスは、３Ｄ空間内のオブジェクト又は仮想オブジェクトに対するユーザによる第１のアクションを検出することを含む。また、このプロセスは、ユーザと３Ｄ空間内のオブジェクト又は仮想オブジェクトとの間の第１のアクションの検出に基づいて、仮想操作部材を選択的に有効化又は無効化することを含む。仮想操作部材は、操作されるときに、３Ｄ空間内の機械の動作を制御するように構成される。

【0005】

[005] 本開示の別の態様によれば、拡張現実を用いて３Ｄ空間内の機能を制御するための方法が、３Ｄ空間内に仮想オブジェクトを提示するように構成されたディスプレイシステムを制御するステップを有する。また、この方法は、３Ｄ空間内のオブジェクト又は仮想オブジェクトに対するユーザによる第１のアクションを検出するステップを有する。さらに、この方法は、ユーザと３Ｄ空間内のオブジェクト又は仮想オブジェクトとの間の第１のアクションの検出に基づいて、仮想操作部材を選択的に有効化又は無効化するステップを有する。仮想操作部材は、操作されるときに、３Ｄ空間内の機械の動作を制御するように構成される。

【0006】

[006] 例示的実施形態は、以下の詳細な説明を添付図面の各図と共に読めば最も良く理解される。様々な機能が必ずしも縮尺通りに描かれていないことを強調しておく。実際、論述を明確にするために、寸法が任意に増加又は減少される。適用可能であり実用的である場合は常に、同様の参照番号が同様の要素を表す。

【図面の簡単な説明】

【0007】

【図1A】[007] 代表的な実施形態による、拡張現実におけるユーザインタラクションのための仮想カバーに関するプロセスを示す図である。

【図1B】[008] 代表的な実施形態による、拡張現実におけるユーザインタラクションのための仮想カバーに関する別のプロセスを示す図である。

【図2A】[009] 本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関するヘッドマウント可能デバイスの正面図である。

【図2B】[010] 本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関するヘッドマウント可能デバイスの側面図である。

【図2C】[011] 本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関するヘッドマウント可能デバイスの上面図である。

【図3A】[012] 本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関するヘッドマウント可能デバイスを装着している対象者を含む３Ｄ空間を示す図である。

【図3B】[013] 本開示の一態様による、図３Ａでの３Ｄ空間の別の図である。ここで、医療機器は、拡張現実インターフェースと、拡張現実におけるユーザインタラクションのための仮想操作部材及び仮想カバーとを設けられている。

【図4】[014] 本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーを使用したデバイスの操作制御を示す論理的配置を示す図である。

【図5A】[015] 本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関する別のヘッドマウント可能デバイスの上面図である。

【図5B】[016] 本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関する別のヘッドマウント可能デバイスの上面図である。

【図6】[017] 本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関する１つの命令セットを含む例示的な一般的なコンピュータシステムを示す図である。

【図7】[018] 本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関する別のプロセスを示す図である。

【図8】[019] 代表的な実施形態による、拡張現実におけるユーザインタラクションのための仮想カバーに関する別のプロセスを示す図である。

【図9A】[020] 代表的な実施形態による、ユーザインタラクションのための仮想カバーを使用して仮想操作部材を有効化する一実施形態を示す図である。

【図9B】[021] 代表的な実施形態による、３Ｄ空間内の機械の動作を制御するために仮想操作部材を有効化する別の実施形態を示す図である。

【発明を実施するための形態】

【0008】

[022] 以下の詳細な説明では、限定ではなく説明の目的で、本教示による実施形態を完全に理解できるように、具体的な詳細を開示する代表的な実施形態を記載する。代表的な実施形態の説明を曖昧にしないように、既知のシステム、デバイス、材料、操作方法、及び製造方法の説明は省略することがある。それにもかかわらず、当業者の想定内にあるシステム、デバイス、材料、及び方法は、本教示の範囲内にあり、代表的な実施形態に従って使用され得る。本明細書で使用される専門用語は、具体的な実施形態を述べることのみを目的としており、限定を意図してはいないことを理解されたい。定義される用語は、本教示の技術分野で一般に理解されて受け入れられるように、定義される用語の技術的及び科学的な意味に加えて用いられる。

【0009】

[023] 本明細書では、様々な要素又は構成要素を述べるために第１、第２、第３などの用語を使用することがあるが、これらの要素又は構成要素はこれらの用語によって限定されるべきではないことを理解されたい。これらの用語は、ある要素又は構成要素を別の要素又は構成要素と区別するためにのみ使用される。したがって、以下で論じる第１の要素又は構成要素は、本発明の概念の教示から逸脱することなく、第２の要素又は構成要素と呼ぶこともできる。

【0010】

[024] 本明細書で使用される専門用語は、実施形態を述べることのみを目的としており、限定を意図してはいない。本明細書及び添付の特許請求の範囲で使用されるとき、用語の単数形は、コンテキスト上、特に明確に断りのない限り、単数形及び複数形の両方を含むことを意図されている。さらに、本明細書で使用するときの用語「備える」、「備えている」、及び／又は同様の用語は、挙げられた特徴、要素、及び／又は構成要素の存在を指定するが、１つ又は複数の他の特徴、要素、構成要素、及び／又はそれらの群の存在又は追加を除外しない。本明細書で使用するとき、「及び／又は」という用語は、関連する列挙されたアイテムのうちの１つ又は複数のあらゆる組合せを含む。

【0011】

[025] 特に断りのない限り、ある要素又は構成要素が別の要素又は構成要素に「接続される」、「結合される」、又は「隣接する」と言うとき、その要素又は構成要素は、別の要素又は構成要素に直接接続又は結合していても、介在する要素又は構成要素が存在していてもよいことを理解されたい。すなわち、これらの用語及び同様の用語は、２つの要素又は構成要素を接続するために１つ又は複数の中間要素又は構成要素が採用され得る場合を包含する。しかし、ある要素又は構成要素が別の要素又は構成要素に「直接接続される」と言われるとき、これは、中間の又は介在する要素又は構成要素をなんら有さずに２つの要素又は構成要素が互いに接続されている場合のみを包含する。

【0012】

[026] 上記のことに鑑みて、本開示は、その様々な態様、実施形態、及び／若しくは具体的な特徴若しくは下位構成要素のうちの１つ又は複数によって、以下に具体的に述べる利点の１つ又は複数をもたらすことを意図されている。限定ではなく説明の目的で、本教示による実施形態を完全に理解できるように、具体的な詳細を開示する例示的実施形態を記載する。しかし、本明細書で開示する具体的な詳細から逸脱するが本開示と整合性のある他の実施形態も、添付の特許請求の範囲内にある。さらに、例示的実施形態の説明を曖昧にしないように、よく知られている装置及び方法の説明は省略することがある。そのような方法及び装置は、本開示の範囲内にある。

【0013】

[027] 図１Ａは、代表的な実施形態による、拡張現実におけるユーザインタラクションのための仮想カバーに関するプロセスを示す。図１Ａに示すプロセスは、検出されたユーザアクション又はコマンドに基づく仮想操作部材の選択的な有効化又は無効化をもたらす全体的なプロセスの代表例となり得る。本明細書で述べるように、仮想操作部材は、仮想ボタン、仮想ダイヤル、仮想レバー、仮想ハンドル、又は、３Ｄ空間内に拡張現実として仮想部材を生成するソフトウェアを使用して目に見える他の仮想部材でよい。仮想操作部材は、特に、医療機器などの機械の動作に相関させることができる。言い換えると、仮想操作部材とインタラクションするユーザが機械装置を操作することができる。

【0014】

[028] 本明細書で述べる制御は、いかなる特定のタイプの機械にも限定されず、さらには機械に全く限定されない。むしろ仮想操作部材を介した制御は、機械、設定、情報、並びにオンオフの切替えなどによって制御することができる他の形態のアイテム及び情報の制御でよい。例として、スクリーン上の画像、ポインタ、音楽再生などの機能などが挙げられる。制御可能なアイテム及び情報の様々な例を、図１Ａ及び図１Ｂの記載に従って以下に述べる。

【0015】

[029] さらに、制御は、個々の制御可能なアイテム及び情報、又はすべての制御可能なアイテム及び情報のすべてのグループ、若しくはすべての制御可能なアイテム及び情報のサブセットのグループの有効化と無効化との両方を含む。例えば、仮想操作部材は、患者のバイタルサインが急速に悪化したときに、患者を監視する１組の電子ソースから、指定された１組の情報を即座に表示するための緊急制御機能でよい。緊急制御機能は、例えば符号化されたコマンド又はコマンドシーケンスを使用して、迅速に有効化及び作動することができる。当然、すべての制御可能なアイテム及び情報のすべて又はそれらのサブセットに関するマスタ制御は、緊急事態に限定されず、例えばセッション後又は他の時点で３Ｄ空間がシャットダウンしているときに適用されてもよい。

【0016】

[030] 図１Ａでのプロセスは、ステップＳ１１１で３Ｄ空間を事前マッピング／事前登録することから始まる。３Ｄ空間は、例えば、拡張現実セッション中に使用される手術室又は他の囲まれた空間でよい。本明細書で述べる仮想操作部材は、３Ｄ空間の一部を占有する。３Ｄ空間は、拡張現実が提供されるセッションの前にマッピングされ、したがって、ステップＳ１１１でのマッピングは、ある意味、事前マッピングである。マッピングは、３Ｄ空間のすべての物理的パラメータと、３Ｄ空間内の任意の物理的アイテム（例えば家具や機器）を視覚的に捕捉することによって実施される。３Ｄ空間は、拡張現実が提供されるセッションの前に登録されることもあり、したがって、ステップＳ１１１での登録も、ある意味、事前登録である。登録は、３Ｄ空間の各物理的パラメータと、３Ｄ空間内の各物理的アイテムとにラベル付けすることによって実施される。

【0017】

[031] ３Ｄ空間のマッピング及び登録のために使用されるコンピュータプログラムは、物理的パラメータと物理的アイテムとの特性のライブラリにリンクされている。特性のライブラリを使用して、マッピングで識別された任意の物理的パラメータ又は物理的アイテムを所定の説明とリンクすることによって、登録を容易にすることができる。マッピング及び登録は、仮想オブジェクトを配置することができる３Ｄ空間内のすべての領域を識別することができるように実施される。

【0018】

[032] マッピング及び登録は、ＡＲセッションの時点でも実施することができる。例えば、ステップＳ１１１でのマッピングを事前マッピングとして上述したが、拡張現実セッションが始まった後も、例えば、拡張現実デバイスのセンサを用いて３Ｄ空間のパラメータを収集し、次いで画像認識を使用して物理的パラメータ及び３Ｄ空間内の物理的アイテムを登録することによって、３Ｄ空間を動的にマッピングすることができる。

【0019】

[033] ステップＳ１２２で、３Ｄ空間内に仮想操作部材が設定される。上記のように、仮想操作部材は、機械を制御するために使用される物理的な操作部材を表すことができる。例えば、ボタン、ダイヤル、レバー、ハンドル、及び同様の形態の機械的又は電気機械的入力手段の様々なタイプや外観を指定するライブラリから、仮想操作部材のタイプを検索することができる。例えば、ジェスチャによって仮想操作部材をバーチャルで移動させて、マッピングされた３Ｄ空間内の特定の位置に仮想操作部材を配置することによって、仮想操作部材の位置を３Ｄ空間内で設定することもできる。当然、仮想操作部材の位置は、例えばマウス、ジョイスティック、タッチスクリーン、ロールパッド、又は、コンピュータ及び電子デバイスに関して知られている他の形態の入力手段を使用して取り扱うこともできる。

【0020】

[034] ステップＳ１３３で、仮想操作部材が、３Ｄ空間内での機械の特定の動作に相関される。例えば、仮想操作部材は、Ｘ線機械のオン若しくはオフへの切替え、又は機械を使用した画像の捕捉若しくは読取りに相関される。仮想操作部材の操作は、仮想操作部材に対するユーザアクション又はコマンドを捕捉して解釈するソフトウェア、並びに機械の動作を制御するソフトウェアを含む、いくつかのレベルで相関される。

【0021】

[035] ステップＳ１４４で、仮想操作部材のためのカバーが３Ｄ空間内に設定される。カバーは、ライブラリから選択されたカバーのタイプに対応する。カバーには、タッチパッドのボタンを非表示にして取り扱うことができないようにするタッチパッド用のカバーなど物理的なカバーの外観を与えることができる。同様に、ステップＳ１４４で設定されたカバーを使用して、拡張現実において仮想操作部材を非表示にしてもよい。例えば、ジェスチャによってカバーをバーチャルで移動させて、マッピングされた３Ｄ空間内の特定の位置にカバーを配置することによって、カバーの位置を３Ｄ空間内で設定することができる。仮想操作部材の位置は、例えばマウス、ジョイスティック、タッチスクリーン、ロールパッド、又は、コンピュータ及び電子デバイスに関して知られている他の形態の入力手段を使用して取り扱うこともできる。

【0022】

[036] ステップＳ１５５で、カバーは、仮想操作部材と、機械の動作とに相関される。すなわち、カバーは、取り扱われるときに拡張現実において仮想操作部材を非表示又は再表示するように拡張現実ソフトウェアで論理的に相関させることができる。また、カバーの操作は、例えばカバーが仮想操作部材を「覆っている」時に機械の動作を無効化することによって、機械の動作を制御するソフトウェアで相関されることもある。このようにすると、仮想操作部材は、その仮想操作部材及びカバーを含む拡張現実空間内で目に見えなくなるので、意図せずに取り扱われることはあり得ない。

【0023】

[037] ステップＳ１６６で、カバーは、事前定義されたユーザアクション及びコマンドに相関される。事前定義されたユーザアクション及びコマンドは、例えば仮想操作部材に被さるようにカバーを移動させることによって、カバーを作動又は作動停止させるための命令として解釈される特定のアクション及びコマンドである。例えば、カバーの上又はすぐ周りでの左から右へのスワイプアクションは、閉じているときにカバーを「開く」と解釈され、右から左へのスワイプアクションは、開いているときにカバーを「閉じる」と解釈される。また、拡張現実ソフトウェアは、カバーに対して行うべき特定のアクションに対応するために、「カバーを開く」又は「カバーを閉じる」などの口頭での命令を解釈することもある。

【0024】

[038] ステップＳ１７７で、拡張現実セッションが開始される。拡張現実セッションは、ヘッドマウント可能デバイスを装着した第１の対象者が３Ｄ空間に入った時点で始まるとみなすことができる。さらに、複数の拡張現実セッションが同時に行われてもよく、ヘッドマウント可能デバイスを装着した複数の異なる対象者がそれぞれ個別に３Ｄ空間に入る。ヘッドマウント可能デバイスは、仮想操作部材及びカバーによって占有されている３Ｄ空間の部分にアクセスするように事前プログラム又は事前認可されていてもよい。例えば、拡張現実セッションは、３Ｄ空間として機能する事前マッピングされた手術室内で行われる医療介入に対応してもよく、仮想現実オブジェクトへのアクセスを認可された各対象者は、医療介入中、仮想現実を介して表示される情報にアクセスすることができる。

【0025】

[039] ステップＳ１８８で、ステップＳ１６６からの事前定義されたユーザアクション又はコマンドの１つが検出され、ステップＳ１９９で、検出されたユーザアクション又はコマンドに基づいて仮想操作部材が選択的に有効化又は無効化される。すなわち、仮想カバーを開くための事前定義されたアクションがステップＳ１８８で検出され、次いで、拡張現実ソフトウェアと、機械を操作するために使用されるソフトウェアとの両方が、仮想操作部材を使用して機械を操作するためのコマンドを受け入れる。

【0026】

[040] 仮想操作部材及びカバーは、ヘッドマウント可能デバイスを使用して拡張現実を介して目に見える。しかし、拡張現実は、ヘッドマウント可能デバイスだけに制限されない。むしろヘッドマウント可能デバイスは、手術室などの３Ｄ空間の文脈で容易に説明され、本明細書では便宜上、例として使用する。拡張現実として３Ｄ空間の一部を占有する仮想操作部材及びカバーは、仮想操作部材及びカバーを含む３Ｄ空間の視野を有する任意の認可された対象者に表示される。或いは、仮想操作部材及びカバーは、仮想操作部材及びカバーに相関された機械装置の手動操作を認可された特定のユーザの１人又はサブセットだけに目に見えてもよい。例えば、カメラを介して３Ｄ空間を見ているリモートユーザであっても、認可されている場合には、仮想操作部材へのアクセス権を有する。ヘッドマウント可能デバイスに加えて、仮想操作部材及びカバーへのアクセス権を有するユーザは、投影画像、透過型ヘッドアップディスプレイ、及び他の形態の拡張現実デバイスを使用してもよい。

【0027】

[041] 図１Ｂは、代表的な実施形態による、拡張現実におけるユーザインタラクションのための仮想カバーに関する別のプロセスを示す。ここでも、図１Ｂに示すプロセスは、検出されたユーザアクション又はコマンドに基づく仮想操作部材の選択的な有効化又は無効化をもたらす全体的なプロセスの代表例となり得る。図１Ｂに示すアクティビティのいくつかは、図１Ａについて示したものと同じであり、したがって、詳細な説明は繰り返さない。

【0028】

[042] 図１Ｂにおけるプロセスは、ステップＳ１１１で３Ｄ空間を事前マッピング／事前登録することから始まり、ステップＳ１２２で３Ｄ空間内に仮想操作部材を設定し、ステップＳ１３３で仮想操作部材を３Ｄ空間内での機械の動作に相関させることを含む。

【0029】

[043] ステップＳ１４５で、物理的な有効化／無効化オブジェクトが、３Ｄ空間内の仮想操作部材に関して設定される。例えば、３Ｄ空間内のベッドの横又は下にあるフットペダルを、仮想操作部材の有効化又は無効化に相関させることができる。このようにすると、一例として、ユーザは、拡張現実で仮想操作部材を閲覧し、次いで拡張現実空間内の仮想操作部材とインタラクションして３Ｄ空間内の機械装置を操作するために、フットペダルを踏むことを必要とされる。予防措置を提供するためにこれを使用することができるやり方の一例は、Ｘ線機器に関するものであり、ここでユーザは、物理的アクションと拡張現実でのインタラクションとを組み合わせて、「オン」ボタンをカバー解除し、次いで「オン」ボタンとバーチャルでインタラクションしてＸ線機器を操作しなければならない。

【0030】

[044] ステップＳ１５６で、物理的な有効化／無効化オブジェクトが、仮想操作部材と、機械の動作とに相関される。すなわち、物理的な有効化／無効化オブジェクトは、取り扱われるときに拡張現実において仮想操作部材を非表示又は再表示するように拡張現実ソフトウェアで論理的に相関させることができる。また、物理的な有効化／無効化オブジェクトの操作は、例えば物理的な有効化／無効化部材が押されていないときに機械の動作を無効化することによって、機械の動作を制御するソフトウェアで相関されてもよい。このようにすると、仮想操作部材は、その仮想操作部材を含む拡張現実空間内で目に見えなくなるので、意図せずに取り扱われることはあり得ない。

【0031】

[045] ステップＳ１６７で、物理的な有効化／無効化オブジェクトは、事前定義されたユーザアクション及びコマンドに相関される。事前定義されたユーザアクション及びコマンドは、物理的な有効化／無効化を作動させるための命令として解釈される特定のアクション及びコマンドであり、ここでは、図１Ａで使用される仮想カバーに比べて制限されている。例えば、フットペダルは、オンとオフの２つの又は可能な読取値しか有さない。

【0032】

[046] ステップＳ１７７で、拡張現実セッションが開始され、ステップＳ１８８で、拡張現実セッション中、事前定義されたユーザアクション又はコマンドが検出される。ステップＳ１９９で、仮想操作部材は、検出されたユーザアクション又はコマンドに基づいて選択的に有効化又は無効化される。例えば、上記のように、ユーザがフットペダルを踏むことで、機械を操作するために使用される仮想操作部材を作動又は作動停止することができる。

【0033】

[047] 本明細書における実施形態では、制御は、特定のタイプの機械の動作に限定されず、さらには機械に全く限定されない。むしろ制御は、例として、Ｘ線機械、超音波機械、ロボット（例えば手術用ロボット）、室内用の電気機械的環境制御、及び様々なタイプの医療機器の操作を含む。しかし、制御は、仮想情報の制御、及び機械の特定の定義を満たさない他のタイプのデバイスの制御でもよい。制御することができる機械及び他のメカニズムの例としては、以下のものが挙げられる。
Ｘ線機械：
・ｃアーム、テーブルの物理的な位置決め
・照射レベル、ウェッジ、コリメーションなどのＸ線構成
・レビュー用の様々な画像の提供、画像のマスキング、注釈付けなどの画像表示
超音波機械：
・焦点、深度、ゲインなどの画像獲得パラメータ
・画像の回転などの表示パラメータ
カテーテルロボットや手術用ロボットなどのロボット
電気機械的環境又は室内制御
・ライトのオン／オフ
・音楽や、制御室への音声通信などのサウンド
・タイマーのオン／オフ
・注釈のオン／オフ
・録音又は録画のオン／オフ
ＩＶＵＳ、ＦＦＲ、患者のバイタル、麻酔機器などの他の機器
仮想情報：
・どの画面を表示するか、どこに表示するかなど、表示内容の制御
・標識の配置、特定のオブジェクトの選択、画像／モデルへの注釈付けなど、仮想情報のためのポインタ又はセレクタ
・モデルとのインタラクション（モデルを回転させる、拡大／縮小させるなど）

【0034】

[048] 図２Ａは、本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関するヘッドマウント可能デバイスの正面図を示す。図２Ａでは、ヘッドマウント可能デバイス２００は、右レンズ２１０ａと左レンズ２１０ｂとが個別に囲まれているフレーム２０１を含む。センサ２５０、カメラ２６０は、フレーム２０１内及び／又はフレーム２０１上に一体化された電子構成要素の代表例である。

【0035】

[049] 本明細書で説明するように、左レンズ２１０ｂ及び右レンズ２１０ａはそれぞれ、透過型光学ディスプレイの前又は後ろに設けられる。透過型光学ディスプレイは、画像プロセッサによって制御されて、ヘッドマウント可能デバイス２００を装着している対象者の視界と重畳される仮想オブジェクトを生成することができる。或いは、左レンズ２１０ｂ及び右レンズ２１０ａはそれぞれ、ヘッドマウント可能デバイス２００を装着している対象者の目にプロジェクタからの光を反射するミラーの前に設けられる。ミラーの効果は、ヘッドマウント可能デバイス２００を装着している対象者の視界に仮想オブジェクトが重畳されると言う点で、透過型光学ディスプレイを使用する効果と同じである。

【0036】

[050] カメラ２６０は、前方を向いており、ヘッドマウント可能デバイス２００を装着している対象者の視点からの前方視野を提供している。カメラ２６０は、様々なタイプのカメラ（ＲＢＧ、グレースケール、奥行き感知カメラ、ＩＲカメラ、スペクトルカメラ）を含む複数のカメラの代表例でよい。センサ２５０は、ヘッドマウント可能デバイス２００の周りの環境の側面を感知する。

【0037】

[051] センサ２５０は、例えば、加速度計、ジャイロスコープ、抵抗センサ、電流センサ、圧電センサ、電圧センサ、容量センサ、全地球測位衛星受信機、コンパス、高度計、カメラ、距離計、マイクロフォン、温度計、化学センサ、水分センサなどを含む。センサ２５０は、対象者が頭を傾ける又は回す時及び度合いなど、ヘッドマウント可能デバイス２００を装着している対象者の動きを感知する。また、センサ２５０は、温度及び湿度や照明条件など、ヘッドマウント可能デバイス２００の周りの環境の環境条件を感知する。図２に関して以下で説明するように、カメラ２７０ａ、２７０ｂは、操作者の目の動きを追跡するためのセンサとして設けられてもよい。

【0038】

[052] 図２Ｂは、本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関するヘッドマウント可能デバイスの側面図を示す。図２Ｂでは、右テンプル２０２ａは、フレーム２０１に囲まれたレンズ群２１０から延在して図示されている。レンズ群２１０は、図２Ａに示すような右レンズ２１０ａ及び左レンズ２１０ｂを含む。

【0039】

[053] 右テンプル２０２ａは、ヘッドマウント可能デバイス２００を装着している対象者の頭の右側用である。図２Ｃに関して以下で説明するように、左テンプル２０２ｂは、ヘッドマウント可能デバイス２００を装着している対象者の頭の左側用に提供される。右テンプル２０２ａを使用して、ヘッドマウント可能デバイス２００を装着する対象者の耳に掛けてヘッドマウント可能デバイス２００を保持する。図２Ａに示すように、ヘッドマウント可能デバイス２００の前部の中央部分は、ヘッドマウント可能デバイス２００を装着する対象者の鼻に乗せてバランスを取ることもできる。

【0040】

[054] 図２Ｃは、本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関するヘッドマウント可能デバイスの上面図を示す。図２Ｃでは、様々な電子要素が、右テンプル２０２ａ及び左テンプル２０２ｂに沿って配設されて示されている。これらの要素は、右テンプル２０２ａに沿ったカメラ２７０ａ、及び左テンプル２０２ｂに沿ったカメラ２７０ｂを含む。左テンプル２０２ｂは、プロセッサ２８０ｂ及びメモリ２８１ｂも含み、右テンプル２０２ａは、プロセッサ２８０ａ及びメモリ２８１ａも含む。プロセッサ２８０ａ、２８０ｂ及びメモリ２８１ａ、２８１ｂは、一般的なコンピュータシステムの要素の代表例であり、ヘッドマウント可能デバイス２００に完全に又は部分的に含まれる。

【0041】

[055] カメラ２７０ａ、２７０ｂは、後方を向いており、ヘッドマウント可能デバイス２００を装着している対象者の目の動きを捕捉するために使用される。カメラ２７０ａ、２７０ｂは、図２Ａのセンサ２５０とは別個に示されているが、カメラ２７０ａ、２７０ｂは、ヘッドマウント可能デバイス２００を装着している対象者の目の動きを感知するという点で、センサ２５０のタイプと一致している。

【0042】

[056] メモリ２８１ａ、２８１ｂは、ヘッドマウント可能デバイス２００に関する命令及びデータを格納し、プロセッサ２８０ａ、２８０ｂは、ヘッドマウント可能デバイス２００に関する命令を実行する。メモリ２８１ａ、２８１ｂに格納され、プロセッサ２８０、２８０ｂによって実行される命令は、ヘッドマウント可能デバイス２００を装着している対象者の視界と重畳されるように特定の仮想オブジェクトを生成するための命令を含む。メモリ２８１ａとプロセッサ２８０との組合せを、本明細書で述べる制御装置とみなしてよい。同様に、メモリ２８１ｂとプロセッサ２８０ｂとの組合せを、本明細書で述べる制御装置とみなしてもよい。当然、ヘッドマウント可能デバイス２００全体を、本明細書で述べる制御装置とみなしてもよい。

【0043】

[057] 図３Ａは、本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関するヘッドマウント可能デバイスを装着している対象者を含む空間を示す。図３Ａでは、５人の対象者３８１～３８５が、３Ｄ空間３００内でテーブル３９９の周りに配備されて示されている。また、図３Ａには、集中型コンピュータ３９０が、無線インターフェース３９３、プロセッサ３９１、及びメモリ３９２と共に示されている。

【0044】

[058] 図３Ａの実施形態は、人が密集した囲まれた空間内で仮想操作部材を提供することの危険性を示す。図３Ａの実施形態では、５人の対象者３８１～３８５がそれぞれ、拡張現実用のヘッドマウント可能デバイス２００ａ～２００ｅを装着する。５人の対象者３８１～３８５それぞれがアクセスする共有拡張現実空間内に仮想操作部材が示されている場合、５人の対象者の誰かが誤って仮想操作部材を作動するおそれがある。したがって、非使用時には仮想操作部材を無効化するために、仮想操作部材のためのカバー又は他の有効化／無効化機能が設けられる。さらに、仮想操作部材を有効化するための権限は制限され、すべてのユーザには与えられないことがあり、例えばパスワードによる認証が必要になることがある。

【0045】

[059] 集中型コンピュータ３９０を使用して、例えば、各仮想操作部材と、各仮想操作部材を無効化及び有効化するために使用することができる３Ｄ空間３００内のオブジェクト及び／又は仮想オブジェクトとに関する設定を入力することによって、拡張現実を最初に制御することができる。ヘッドマウント可能デバイス２００ａ～２００ｅが作動されるとき、３Ｄ空間の制御が、５人の対象者３８１～３８５のうちの１人に受け渡される。制御の受け渡しは、メモリ３９２に格納され、プロセッサ３９１によって実行される所定の命令に従っている。３Ｄ空間３００を制御するための所定の命令は、５人の対象者３８１～３８５のうちの１人、又は３Ｄ空間３００内若しくは３Ｄ空間３００外にいる別の対象者が３Ｄ空間の制御を変更できるようにし得る。

【0046】

[060] ５人の対象者３８１～３８５は、第１の対象者３８１、第２の対象者３８２、第３の対象者３８３、第４の対象者３８４、及び第５の対象者を含む。第１の対象者３８１は、第１のヘッドマウント可能デバイス２００ａを装着し、第２の対象者３８２は、第２のヘッドマウント可能デバイス２００ｂを装着し、第３の対象者３８３は、第３のヘッドマウント可能デバイス２００ｃを装着し、第４の対象者３８４は、第４のヘッドマウント可能デバイス２００ｄを装着し、第５の対象者３８５は、第５のヘッドマウント可能デバイス２００ｅを装着している。本明細書で述べる第１のヘッドマウント可能デバイス２００ａ、第２のヘッドマウント可能デバイス２００ｂ、第３のヘッドマウント可能デバイス２００ｃ、第４のヘッドマウント可能デバイス２００ｄ、及び第５のヘッドマウント可能デバイス２００ｅはそれぞれ、図２Ａ～図２Ｃに示すヘッドマウント可能デバイス２００に関して具体的に述べた任意の特徴を含んでいる。さらに、各ヘッドマウント可能デバイス２００ａ～２００ｅは、他の各ヘッドマウント可能デバイス２００ａ～２００ｅ及び集中型コンピュータ３９０に無線で接続される。また、各ヘッドマウント可能デバイス２００ａ～２００ｅは、集中型コンピュータ３９０と有線で繋がれてもよい。

【0047】

[061] ３Ｄ空間３００は、病院の手術室などの部屋でよく、５人の対象者３８１～３８５は、テーブル３９９に乗せられた患者に対する医療介入に関与する医療従事者などの従事者でよい。本開示の教示は、手術室又は医療従事者に限定されないが、便宜上、本明細書での教示のためのこの設定を繰り返し参照することがある。

【0048】

[062] 手術室の例では、５人の対象者３８１～３８５がそれぞれ、異なる任務を有し、異なるタイプの情報を提供する異なる情報源に依拠する。また、５人の対象者３８１～３８５は、同じ情報源に依拠する任務を有することもある。図３Ａで見られるように、５人の対象者３８１～３８５がテーブル３９９の周りに配備されているため、単一のモニタを介して共通の情報源を５人の対象者３８１～３８５に提供することは難しく、これは特に、テーブル３９９上の患者を視覚的に直接監視する必要がある従事者にとっては難しい。

【0049】

[063] ３Ｄ空間３００は、手術室などのエンクロージャであり、事前マッピングされており、したがって、３Ｄ空間３００内のあらゆる物理的オブジェクトは、本明細書で述べる拡張現実におけるユーザインタラクションのための仮想カバーの準備時にマッピングされる。したがって、３Ｄ空間に関する事前マッピングを使用して、５人の対象者３８１～３８５それぞれに拡張現実を提供することができる。すなわち、事前マッピングは、変更不可能な物理的制約を提供するのに対し、仮想オブジェクトは、事前マッピングされた物理的制約に抵触しない位置で３Ｄ空間内に提供することができる。

【0050】

[064] 図３Ａでは、ヘッドマウント可能デバイス２００ａ～２００ｅを使用して、拡張現実におけるユーザインタラクションのための仮想カバーを提供する。各ヘッドマウント可能デバイス２００は、ヘッドマウント可能デバイス２００を装着している対象者のための透過型インターフェースを提供するように構成されており、したがって、現実が拡張されていないとき、対象者は、ヘッドマウント可能デバイス２００を通して見たときに物理的世界そのままの視野を与えられる。本明細書で述べるように現実が拡張されているとき、ヘッドマウント可能デバイス２００を使用して、物理的世界の視野に重畳された仮想オブジェクトによって物理的世界の視野を拡張する。

【0051】

[065] 各対象者２８１～２８５は、ヘッドマウント可能デバイス２００ａ～２００ｅによって３Ｄ空間の専用の非共有部分を提供される。言い換えると、各ヘッドマウント可能デバイス２００ａ～２００ｅは、別のヘッドマウント可能デバイス２００ａ～２００ｅに関する３Ｄ空間の視野には現れない３Ｄ空間の専用部分を、対応する対象者に一意に提供する。本明細書では、５人の対象者３８１～３８５のうちの１人だけの視野に示されるこれらの専用部分を非共有部分と呼ぶ。

【0052】

[066] また、対象者２８１～２８５全員又は対象者２８１～２８５のサブセットに、ヘッドマウント可能デバイス２００ａ～２００ｅによる３Ｄ空間の専用共有部分へのアクセス権が提供されてもよい。仮想操作部材は、３Ｄ空間の非共有部分内で、Ｘ線技師などのユーザに個別に提供される、又は３Ｄ空間の共有部分内で、複数の看護師などのユーザの群に提供される。

【0053】

[067] 図３Ｂは、本開示の一態様による、図３Ａでの３Ｄ空間の別の図である。ここで、医療機器は、拡張現実におけるユーザインタラクションのための仮想カバーに関する拡張現実インターフェースを設けられている。図３Ｂでは、複数の異なる電子デバイスを使用して、テーブル３９９上の患者に関する医療情報を監視及び／又は表示する。

【0054】

[068] ビデオカメラ＃１ ３８３を使用して、医療介入中に患者のビデオフィードを提供する。拡張現実インターフェース３８３Ａを使用して、拡張現実を介してビデオカメラ＃１ ３８３から従事者にビデオフィードを選択的に提供する。

【0055】

[069] 医療機器コンピュータ＃１ ３８１を使用して、患者に付けた又は患者の周囲のセンサから医療情報を取得して表示する。拡張現実インターフェース３８１Ａを使用して、拡張現実を介して従事者に医療情報を選択的に提供する。さらに、医療機器コンピュータ＃１ ３８１のために、３つの仮想操作部材３８４、３８５、及び３８６が提供される。３つの仮想操作部材３８４、３８５、及び３８６はそれぞれ、対応する仮想カバー３８４Ａ、３８５Ａ、及び３８６Ａで覆われている。

【0056】

[070] また、医療機器コンピュータ＃２ ３８２を使用して、患者に付けた又は患者の周囲のセンサから医療情報を取得して表示する。拡張現実インターフェース３８２Ａを使用して、拡張現実を介して従事者に医療情報を選択的に提供する。さらに、医療機器コンピュータ＃１ ３８１のために、３つの仮想操作部材３８７、３８８、及び３８９が提供される。３つの仮想操作部材３８７、３８８、及び３８９はそれぞれ、仮想カバー３８７Ａ、３８８Ａ、及び３８９Ａで覆われている。

【0057】

[071] 図３Ａ及び図３Ｂの実施形態では、仮想操作部材３８４～３８９及び仮想カバー３９４～３９９は、仮想操作部材３８４～３８９及び仮想カバー３９４～３９９を表示するように構成された拡張現実デバイスを介してのみ目に見える。そのような拡張現実デバイス用のソフトウェアは、仮想操作部材３８４～３８９及び仮想カバー３９４～３９９を表示し、任意のユーザと仮想操作部材３８４～３８９及び仮想カバー３９４～３９９との（仮想）インタラクションを検出し、任意の検出された仮想インタラクションを使用して医療機器コンピュータ＃１ ３８１又は医療機器コンピュータ＃２ ３８２のいずれかを制御するために認可されなければならない。言い換えると、ユーザは、仮想操作部材３８４～３８９及び仮想カバー３９４～３９９のいずれを見ることさえも制限される。不要なユーザが拡張現実機能へアクセスするのを制限することは、医療機器コンピュータ＃１ ３８１又は医療機器コンピュータ＃２ ３８２の誤った作動又は制御を避けるための別のメカニズムである。

【0058】

[072] 集中型コンピュータ３９０が図３Ｂに示されており、少なくとも最初は、３Ｄ空間３００の共有部分を介して提供される拡張現実を制御するために使用される。上記のように、集中型コンピュータ３９０は、プロセッサ３９１、メモリ３９２、及び無線インターフェース３９３を含む。集中型コンピュータ３９０は、共有部分を閲覧できる機能を制限し、共有部分を介して提供されるフィードを変更できる機能を制限し、共有部分内でインタラクションできる機能を制限することによって、３Ｄ空間の共有部分と非共有部分との両方を制御することができる。さらに、医療機器コンピュータ＃１ ３８１若しくは医療機器コンピュータ＃２ ３８２、又は非共有若しくは共有の拡張現実画面を介して提供される他の機器からの任意のデータフィードは、集中型コンピュータ３９０又は別の集中型デバイスを通るように経路指定され、したがって、集中型コンピュータ３９０又は他の集中型デバイスを用いずに追加の制御が実施される場合でさえ、３Ｄ空間３００内の拡張現実を介して提供される情報の制御は、共通して単一の点で実施される。集中型コンピュータ３９０によって提供される制御は、例えば、認可されたユーザが、例えばヘッドマウント可能デバイス２００を使用して、集中型コンピュータ３９０から認可された別のユーザに共有部分の制御を切り替えるときに変わる。

【0059】

[073] 図３Ｂの一例として、３Ｄ空間３００は、複雑な低侵襲性の構造的心疾患処置に使用される手術室に関するサンプルルームレイアウトでよい。この処置では、室内の複数の人々が、患者を治療するために働く必要がある。これらの人々には、例えば以下の者が含まれる。
・麻酔を投与し、患者を監視する麻酔科医
・ＴＥＥプローブを位置決めし、超音波画像獲得を制御する心エコー図技師
・カテーテル、ガイドワイヤ、及び他のデバイスを操作して、患者に療法を送達するインターベンション医師＃１
・インターベンション医師＃１を補助するインターベンション医師＃２～３
・適切なツール及びデバイスをインターベンション医師へ渡す看護師
・介入型Ｘ線システムの操作を補佐するＸ線技師

【0060】

[074] 上記の例における人々が必要とする情報の例としては、以下のものを挙げることができる。
・術中Ｘ線（ライブイメージ、ロードマップ、参照画像）
・術中超音波（ＴＥＥ、ＩＣＥ、ＩＶＵＳなど）
・術前イメージング（超音波、ＣＴ、ＭＲＩ）
・患者の病歴
・患者のバイタル、血行力学的状態
・線量情報（スタッフ向け－ＤｏｓｅＡｗａｒｅ、又は患者用）
・様々な人々が見ている映像のライブビュー
・ライブイメージング上のオーバーレイ
・ターゲット／マーカ

【0061】

[075] 上記の例では、各人が、拡張現実を使用することができ、拡張現実によって占有されている３Ｄ空間の非共有部分及び共有部分を提供される。拡張現実インターフェース３８１Ａ、拡張現実インターフェース３８２Ａ、及び拡張現実インターフェース３８３Ａを使用して、拡張現実を使用して目に見える３Ｄ空間の共有部分に情報を提供することができる。拡張現実の使用は、３Ｄ空間全体にわたって複数のモニタを位置決めしないようにする助けとなり得て、共有する拡張現実を使用している各認可された者に、患者、モニタ、及び互いを観察するための共通の視点を提供し、同時にまた、非共有の拡張現実を使用している各認可された者に、各人の役割に特有の情報を提供する助けとなる。

【0062】

[076] さらに、上記の例では、ある人が３Ｄ空間３００から離れるときでさえ、その人は、拡張現実を使用してアクセス権を有する。例えば、ヘッドマウント可能デバイスを装着している看護師が、部屋を出て機器を回収し、拡張現実を介して目に見える３Ｄ空間の第１の共有部分への通信及びアクセスを維持することができる。第１の共有部分への同じアクセスを、外部制御室に座っているスタッフメンバー、又は隣室での診察のために席を外している下級スタッフメンバーを監督する上級スタッフメンバーに提供することができる。

【0063】

[077] 図４は、本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーを使用するデバイスの動作制御を示す論理的構成を示す。図４では、左側の欄は、拡張現実コマンドを使用して制御される機器を表す。中央のレベルは、左側に表されている機器の個々の動作を制御するために使用される仮想操作部材を表す。右側の欄は、中央に表されている仮想操作部材の誤った操作を避けるために設けられる仮想カバーを表す。

【0064】

[078] 図４では、左側の欄には、２つのデバイス、すなわちデバイス＃１及びデバイス＃２が含まれる。各デバイスは、仮想操作部材に関連／相関された３つの動作を有する。デバイス＃１、動作＃１ ４１１は、操作＃１ ４５１と相関している。デバイス＃１、動作＃２ ４１２は、操作＃２ ４５２と相関している。デバイス＃１、動作＃３ ４１３は、操作＃３ ４５３と相関している。デバイス＃２、動作＃１ ４１４は、操作＃４ ４５４と相関している。デバイス＃２、動作＃２ ４１５は、操作＃５ ４５５と相関している。デバイス＃２、動作＃３ ４１６は、操作＃６ ４５６と相関している。図４での様々な操作は、例えば、オン／オフ、フォーカス及び捕捉（例えば画像捕捉デバイス用）、リフレッシュ及び更新、又は様々なデバイスに入力することができる他の形式のコマンドなどの操作でよい。また、これらの操作は、例えば、拡張現実において表示される仮想ダイヤル又は仮想キーパッドの使用によって、値を入力することをも含む。

【0065】

[079] 図４では、カバーはそれぞれ、有効化／無効化ボックス４６１～４６６として示されている。各仮想カバーは、異なる仮想操作部材、及び異なる仮想操作部材によって実施される異なる操作に対応する。制御装置４３１は、カバー及び仮想操作部材にアクセスしてそれらとインタラクションすることを特別に認可された任意の拡張現実デバイスによって実現される。例えば、３Ｄ空間３００内の監督者には、３Ｄ空間３００内のチームの残りの者のための様々なカバーを制御するように設計されたヘッドセットが提供され、したがって、保護された操作を作動させることを望む任意のチームメンバーは、対応する仮想操作部材を管理者にカバー解除してもらう必要がある。

【0066】

[080] すなわち、上述したように、仮想操作部材を使用して機器を操作するために少なくとも２つのレベルの制御が必要とされる。第１のレベルは、例えば、カバーを取り除くことによって仮想操作部材を目に見えるようにすることによって、仮想操作部材の制御を有効化することである。第２のレベルは、仮想操作部材とインタラクションして、機器による所望の動作を作動させることである。

【0067】

[081] 図５Ａは、本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関する別のヘッドマウント可能デバイスの上面図を示す。図５Ａでは、プロジェクタ２８３ｂと左ミラー２１２ｂとの組合せが、ディスプレイシステムの全体又は一部を形成する。同様に、プロジェクタ２８３ａと右ミラー２１２ａとの組合せが、ディスプレイシステムの全体又は一部を形成する。ディスプレイシステムは、プロジェクタ２８３ａ、２８３ｂが、ミラー２１２ａ、２１２ｂによって反射された光を、ヘッドマウント可能デバイス２００を装着している対象者の目に投影することによって動作する。プロジェクタ２８３ａ、２８３ｂは、図２Ｃのプロセッサ２８０ａ、２８０ｂと一緒に動作して、ヘッドマウント可能デバイス２００を装着している対象者の視野に重畳される仮想オブジェクトを生成することができる。プロセッサ２８０ａ、２８０ｂは、ヘッドマウント可能デバイス２００に関する各仮想オブジェクトごとの画像データを提供し、プロジェクタ２８３ａ、２８３ｂは、左ミラー２１２ｂ及び右ミラー２１２ａが反射する光を投影して、各仮想オブジェクトごとの画像を表示することができる。

【0068】

[082] ミラー２１２ａ、２１２ｂは、デジタル光処理（ＤＬＰ）プロジェクタ用のデジタルマイクロミラーデバイスＤＭＤとして配置された小さいミラーのマトリックスでよい。いずれにせよ、図５Ａでは、左ミラー２１２ｂ及び右ミラー２１２ａは透過型であり、したがって、左ミラー２１２ｂ及び右ミラー２１２ａによって光が反射されないとき、ヘッドマウント可能デバイス２００を装着している対象者は、そのままの物理的世界の視野を有する。しかし、プロジェクタ２８３ａ、２８３ｂは、動作中、左ミラー２１２ｂ及び右ミラー２１２ａと共に動作して、ヘッドマウント可能デバイス２００を装着している対象者の視界と重畳される仮想オブジェクトを生成することができる。

【0069】

[083] 図５Ｂは、本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーに関する別のヘッドマウント可能デバイスの上面図を示す。図５では、透過型光学ディスプレイ２１１ｂは、左レンズ２１０ｂの後ろに設けられ、透過型光学ディスプレイ２１１ａは、右レンズ２１０ａの後ろに設けられる。画像プロセッサ２８１ｄは、透過型光学ディスプレイ２１１ｂの要素を制御し、画像プロセッサ２８１ｃは、透過型光学ディスプレイ２１１ａの要素を制御する。

【0070】

[084] 図５Ｂでは、画像プロセッサ２８１ｄと透過型光学ディスプレイ２１１ｂとの組合せが、ディスプレイシステムの全体又は一部を形成する。画像プロセッサ２８１ｃと透過型光学ディスプレイ２１１ａとの組合せが、ディスプレイシステムの全体又は一部を形成する。画像プロセッサ２８１ｃ、２８１ｄは、図２のプロセッサ２８０ａ、２８０ｂと一緒に動作して、ヘッドマウント可能デバイス２００を装着している対象者の視野に重畳される仮想オブジェクトを生成することができる。すなわち、プロセッサ２８０ａ、２８０ｂは、ヘッドマウント可能デバイス２００に関する各仮想オブジェクトごとの画像データを提供し、画像プロセッサ２８１ｃ、２８１ｄは、透過型光学ディスプレイ２１１ａ、２１１ｂの個々の要素を制御して、各仮想オブジェクトごとの画像を表示することができる。

【0071】

[085] 例えば、透過型光学ディスプレイ２１１ａ、２１１ｂは、対象者が物理的世界と人工的に生成された仮想オブジェクトとを同時に閲覧することを可能にすることができる。透過型光学ディスプレイ２１１ａ、２１１ｂは、例えば、透過型及び偏光型のＯＬＥＤ、導光光学素子、並びに個別に及び論理的に、すなわち図５Ａのような投影ビームを用いずに制御することができるマトリックス状に配置された同様の材料を含む。透過型光学ディスプレイ２１１ａ、２１１ｂに使用することができる要素及び材料の例としては、エレクトロルミネセントディスプレイ要素、液晶ディスプレイ（ＬＣＤ）要素、及び導波管、反射コーティングが挙げられる。

【0072】

[086] 図５Ａ及び図５Ｂは、拡張現実のための仮想オブジェクトの表示を生成するために使用することができる特定のディスプレイシステムの２つの例を示す。他のタイプのディスプレイシステムを使用して、本開示の教示と整合性のある仮想オブジェクトの表示を生成することができること、及びこれらの２つの例示的な図が、本明細書での教示を実施することができるメカニズムの単なる代表例であることは明らかであろう。

【0073】

[087] 図６は、一般的なコンピュータシステム６００の例示的実施形態であり、コンピュータシステム６００に、拡張現実におけるユーザインタラクションのための仮想カバーの方法を実装することができる。コンピュータシステム６００は、本明細書に開示される方法又はコンピュータベースの機能の任意の１つ又は複数をコンピュータシステム６００に実施させるために実行することができる命令のセットを含むことができる。コンピュータシステム６００は、独立型デバイスとして動作する、又は例えばネットワーク６０３を使用して他のコンピュータシステム若しくは周辺デバイスに接続される。

【0074】

[088] ネットワーク化された展開では、コンピュータシステム６００は、サーバの容量内で、又はサーバ－クライアントユーザネットワーク環境でのクライアントユーザコンピュータとして、若しくはピアツーピア（又は分散）ネットワーク環境でのピアコンピュータシステムとして動作する。また、コンピュータシステム６００は、ヘッドマウント可能デバイス、据置き型コンピュータ、モバイルコンピュータ、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、タブレットコンピュータ、ワイヤレススマートフォン、個人用携帯情報端末（ＰＤＡ）、通信デバイス、又は、機械が取るべきアクションを指定する（順次又はその他の）命令セットの実行が可能な任意の他の機械など、様々なデバイスとして実装する、又は様々なデバイスに組み込むこともできる。コンピュータシステム６００は、そしてまたさらなるデバイスを含む一体型システム内にあるデバイスとして又はデバイス内に組み込むことができる。一実施形態では、コンピュータシステム６００は、音声、ビデオ、又はデータ通信を提供する電子デバイスを使用して実装することができる。さらに、コンピュータシステム６００が個別に示されているが、「システム」という用語は、１つ又は複数のコンピュータ機能を実施するために１つ又は複数の命令セットを個別に又は共同で実行するシステム又はサブシステムの任意の集合も含むものと解釈されるものとする。

【0075】

[089] 図６に示すように、コンピュータシステム６００は、プロセッサ６１０を含む。コンピュータシステム６００用のプロセッサは、有形であり、非一時的である。本明細書で使用するとき、「非一時的」という用語は、状態の不変の特性としてではなく、ある期間続く状態の特性と解釈されるべきである。特に、「非一時的」という用語は、搬送波若しくは信号の特性、又は時と場所を問わず一時的にだけ存在する他の形態の特性など、一過性の特性を含まない。プロセッサは、製造物品及び／又は機械部品である。コンピュータシステム６００用のプロセッサは、本明細書において様々な実施形態で述べるような機能を実施するためにソフトウェア命令を実行するように構成される。コンピュータシステム６００用のプロセッサは、汎用プロセッサでも、特定用途向け集積回路（ＡＳＩＣ）の一部でもよい。また、コンピュータシステム６００用のプロセッサは、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、制御装置、マイクロコントローラ、デジタル信号処理装置（ＤＳＰ）、状態機械、又はプログラマブルロジックデバイスでもよい。また、コンピュータシステム６００用のプロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルゲートアレイ（ＰＧＡ）を含む論理回路、又は個別のゲート及び／又はトランジスタの論理を含む別のタイプの回路でもよい。コンピュータシステム６００用のプロセッサは、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、又はその両方でよい。さらに、本明細書で述べる任意のプロセッサは、複数のプロセッサ、並列プロセッサ、又はその両方を含んでよい。複数のプロセッサが、単一のデバイス又は複数のデバイスに含まれる又はデバイスに結合される。

【0076】

[090] さらに、コンピュータシステム６００は、バス６０８を介して互いに通信することができるメインメモリ６２０及びスタティックメモリ６３０を含む。本明細書で述べるメモリは、データ及び実行可能な命令を格納することができる有形の記憶媒体であり、命令がそこに格納されている時間中は非一時的である。本明細書で使用するとき、「非一時的」という用語は、状態の不変の特性としてではなく、ある期間続く状態の特性と解釈されるべきである。特に、「非一時的」という用語は、搬送波若しくは信号の特性、又は時と場所を問わず一時的にだけ存在する他の形態の特性など、一過性の特性を含まない。本明細書で述べるメモリは、製造品及び／又は機械部品である。本明細書で述べるメモリは、コンピュータ可読媒体であり、そこから、データ及び実行可能な命令をコンピュータが読み取ることができる。本明細書で述べるメモリは、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、電気的にプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、テープ、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、フロッピーディスク、ブルーレイディスク、又は当技術分野で知られている他の形態の記憶媒体でよい。メモリは、揮発性又は不揮発性、秘匿化及び／又は暗号化、非秘匿化及び／又は非暗号化でよい。

【0077】

[091] 図示のように、コンピュータシステム６００は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、ソリッドステートディスプレイ、又は陰極線管（ＣＲＴ）などのビデオディスプレイユニット６５０をさらに含む。さらに、コンピュータシステム６００は、キーボード／仮想キーボード、又はタッチセンサ式の入力画面、又は会話及び音声認識を用いた会話及び音声入力などの入力デバイス６６０と、マウス又はタッチセンサ式の入力画面若しくはパッドなどのカーソル制御デバイス６７０とを含む。また、コンピュータシステム６００は、ディスクドライブユニット６８０と、スピーカ又はリモートコントローラなどの信号生成デバイス６９０と、ネットワークインターフェースデバイス６４０とを含むこともできる。また、コンピュータシステム６００は、コンピュータシステム６００の周りの環境にいる１人又は数人のユーザのポーズ（例えば、腕の動き、目の動き、頭の動き）を追跡するセンサなどの追加の入力手段（図示せず）も含むこともある。

【0078】

[092] 一実施形態では、図６に示すように、ディスクドライブユニット６８０は、コンピュータ可読媒体６８２を含み、コンピュータ可読媒体６８２に、１つ又は複数の命令セット６８４、例えばソフトウェアを埋め込むことができる。命令セット６８４は、コンピュータ可読媒体６８２から読み取ることができる。さらに、命令６８４は、プロセッサによって実行されるとき、本明細書で述べる方法及びプロセスの１つ又は複数を実施するために使用することができる。一実施形態では、命令６８４は、コンピュータシステム６００による実行中、メインメモリ６２０内、スタティックメモリ６３０内、及び／又はプロセッサ６１０内に完全に又は少なくとも部分的に常駐している。

【0079】

[093] 代替実施形態では、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ、及び他のハードウェア構成要素などの専用ハードウェア実装を構築して、本明細書で述べる方法の１つ又は複数を実装することができる。本明細書で述べる１つ又は複数の実施形態は、モジュール間で及びモジュールを介して通信することができる関連の制御及びデータ信号を用いて、２つ以上の特定の相互接続されたハードウェアのモジュール又はデバイスを使用して機能を実装することができる。したがって、本開示は、ソフトウェア、ファームウェア、及びハードウェアの実装を包含する。本出願におけるいかなるものも、有形であり非一時的なプロセッサ及び／又はメモリなどのハードウェアではなくソフトウェアのみで実装される又は実装可能であると解釈されるべきではない。

【0080】

[094] 本開示の様々な実施形態によれば、本明細書で述べる方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを使用して実施される。さらに、例示的な非限定的な実施形態では、実施は、分散処理、コンポーネント／オブジェクト分散処理、及び並列処理を含むことができる。仮想コンピュータシステム処理は、本明細書で述べる方法又は機能の１つ又は複数を実施するように構築することができ、本明細書で述べるプロセッサを使用して仮想処理環境をサポートすることができる。

【0081】

[095] 本開示は、命令６８４を含む、又は伝搬信号に応答して命令６８４を受信して実行するコンピュータ可読媒体６８２を企図している。したがって、ネットワーク６０１に接続されたデバイスは、ネットワーク６０１を介して音声、ビデオ、又はデータを通信することができる。さらに、命令６８４は、ネットワークインターフェースデバイス６４０によってネットワーク６０１を介して送信又は受信することができる。

【0082】

[096] 図７は、本開示の一態様による、拡張現実におけるユーザインタラクションのための仮想カバーの別のプロセスを示す。図７において、プロセスは、ステップＳ７０２でデフォルトの無効化状態から始まる。ステップＳ７０４で、有効化要求が検出される。有効化要求は、拡張現実デバイスにあるセンサによって認識される仮想カバーの近位の方向へのスワイプでよい。拡張現実デバイスでの論理は、ジェスチャを、カバーを取り除く要求として、又は下にある仮想操作部材を有効化する要求として解釈することができる。

【0083】

[097] ステップＳ７０６で、仮想操作部材が有効化される。ステップＳ７０８で、操作入力が受信される。操作入力は、例えば仮想ボタンを押すこと又は仮想ダイヤルを回すことによって、仮想操作部材の近位でのインタラクション式の動きとして再び検出されてもよい。ステップＳ７１０で、操作入力が、仮想操作部材から制御対象の機械に提供される。操作入力は、無線インターフェースを介して機械制御装置に提供され、機械制御装置は、拡張現実デバイスから受信されたコマンドを使用して機械を制御する。

【0084】

[098] ステップＳ７１２で、コマンドに従って機械が操作され、同時に、ステップＳ７１４で、仮想操作部材は、例えば仮想カバーを閉じて仮想操作部材を視野から取り除くことによって、デフォルトの無効化状態に戻る。前述したように、本明細書で述べるプロセスは、拡張現実デバイスを別個の機械と調整することを含む。

【0085】

[099] 図８は、代表的な実施形態による、拡張現実におけるユーザインタラクションのための仮想カバーに関する別のプロセスを示す。図８では、仮想ボタンは、特定のジェスチャが仮想ボタンの表示及び機能を有効化するまで、仮想ボタンとのインタラクションをマスクする仮想カバーを有する。ジェスチャを実施するためのユーザの手の動きは、拡張現実デバイスにあるセンサを使用して検出され、８個のボタンと１本のバーを有する下にある仮想操作部材が露呈され、それによりインタラクションが有効化される。

【0086】

[0100] 拡張現実におけるユーザインタラクションのための仮想カバーに関する使用の一例は、ヘッドマウント型拡張現実ディスプレイデバイスを用いた介入Ｘ線システム制御に関するものである。ユーザは、ヘッドマウント型拡張現実ディスプレイデバイスを装着する。Ｘ線システムを制御するための仮想ボタンは、物理的オブジェクトが既に存在する場所を除き、３Ｄ空間内のどこにでもユーザが配置することができる。図８の左側で、仮想ボタンは、ヘッドマウント型拡張現実ディスプレイデバイスによって認識される特定のジェスチャによってロック解除／マスク解除されるまでマスクされている。この時点で、図８の右側におけるように、ユーザは、仮想ボタンと自由にインタラクションして介入Ｘ線システムを制御することができる（図１、右）。一例として、仮想ボタンを使用して、ｃアームを新たな角度に移動させることができる。仮想カバーが自動的に無効化状態に戻らない場合でさえ、ユーザは、ヘッドマウント型拡張現実ディスプレイデバイスによって認識される別のジェスチャで仮想ボタンをマスクすることが可能である。

【0087】

[0101] 拡張現実におけるユーザインタラクションのための仮想カバーに関する使用の別の例は、投影を用いた介入Ｘ線システム制御に関するものである。この例では、仮想ボタンをＸ線検出器に投影することができる。仮想ボタンは、Ｘ線システムのフットペダルが踏まれるまでマスクされており、フットペダルが踏まれることにより、仮想ボタンがマスク解除されて有効化される。次いで、ユーザは、拡張現実において仮想ボタンとインタラクションして、介入Ｘ線システムを制御することができる。例えば、ユーザは、仮想ボタンとインタラクションして、Ｘ線検出器を上下に移動させることができる。ユーザがボタンを再度マスクしたいときには、フットペダルが解放される。この例では、有効化／無効化機能は、物理的構成要素（フットペダル）を使用して実施され、仮想操作部材（仮想ボタン）の使用を有効化し、そしてまた仮想操作部材を使用して、物理的システム（介入Ｘ線システム）を制御する。したがって、ユーザによって使用される拡張現実システムは、フットペダル及びＸ線システムの物理的構成要素と連携しなければならない。

【0088】

[0102] 拡張現実におけるユーザインタラクションのための仮想カバーに関する使用のさらに別の例として、ヘッドマウント型拡張現実ディスプレイデバイスによってロボットシステム（例えば、外科用ロボットシステム）が制御されてもよい。この例では、ユーザは、ヘッドマウント型拡張現実ディスプレイデバイスを装着する。仮想ボタンは、拡張現実においてユーザが動かすことができる仮想オブジェクトの形である。例えば、拡張現実において仮想ボタンを動かして、椎弓根スクリュ配置用のドリルの挿入点を指定することができる。この例では、ユーザが頭を使用して、すなわちターゲットにカーソルを移動させるように頭を位置決めすることによって、ツール上のターゲットにカーソルを位置決めするまで、仮想ボタンを動かすことはできない。これは、位置変更のために仮想オブジェクトをマスク解除する。ツールが位置変更されると、ロボットはその動きに従う。位置変更を無効化するために、ユーザは、自分の頭を再び位置変更することによって、ターゲットから外れるようにカーソルを移動させる。拡張現実と物理的現実とのそのような統合された使用の例は、図９及び図９Ｂに示されている。

【0089】

[0103] 図９Ａは、代表的な実施形態による、ユーザインタラクションのための仮想カバーを使用して仮想操作部材を有効化する一実施形態を示す。図９Ａでは、拡張現実デバイス＃１ ９１０は、仮想操作部材９２１、９２２、９２３をバーチャルでカバーする仮想カバー９２１Ａ、９２２Ａ、９２３Ａを表示する。拡張現実デバイス＃１ ９１０によって実現される表示は、拡張現実デバイス＃１ ９１０の視点に基づいて動的に変化し、様々なカバーや操作部材などの仮想オブジェクトは、マッピングされた３Ｄ空間内の特定の位置及び空間に対応する。すなわち、様々なカバー及び操作部材は、３Ｄ空間内の特定の空間への視野を有する拡張現実デバイスにのみ現れる。

【0090】

[0104] 図９Ａにおいて、ロボット９３０は、仮想操作部材９２１、９２２、９２３、及び拡張現実インターフェース９３１Ａを介して制御可能である。ロボット９３０は、患者の手術を行うために使用される市販の外科用ロボットなどの外科用ロボットでよい。拡張現実インターフェース９３１Ａは、特にロボット９３０に対応しても、ロボット９３０などの１組の機械に対応してもよい。操作ステップ＃１Ａで、拡張現実デバイス＃１ ９１０は、仮想カバー９２１Ａを取り除き、仮想操作部材９２１とインタラクションする。例えば、操作ステップ＃１Ａでは、仮想操作部材９２１は、ロボット９３０をオン又はオフに切り替えることに対応し得る。操作ステップ＃１Ｂで、仮想操作部材９２１とのインタラクションが検出され、それにより、ロボットをオン又はオフに切り替えるために、命令が拡張現実インターフェース９３１Ａに送信される。操作ステップ＃２Ａで、拡張現実デバイス＃１ ９１０は、仮想カバー９２２Ａを取り除き、仮想操作部材９２２とインタラクションする。例えば、操作ステップ＃２Ａで、仮想操作部材９２２は、ロボット９３０を左又は右に回すことに対応し得る。操作ステップ＃２Ｂで、仮想操作部材９２２とのインタラクションが検出され、それにより、左又は右に動かすために、命令が拡張現実インターフェース９３１Ａに送信される。操作ステップ＃３Ａで、拡張現実デバイス＃１ ９１０は、仮想カバー９２３Ａを取り除き、仮想操作部材９２３とインタラクションする。例えば、操作ステップ＃３Ａで、仮想操作部材９２３は、ロボット９３０がアームを上下に動かすことに対応し得る。操作ステップ＃３Ｂで、仮想操作部材９２３とのインタラクションが検出され、それにより、ロボットのアームを上下に動かすために、命令が拡張現実インターフェース９３１Ａに送信される。一実施形態では、ロボット９３０は、ロボット９３０を含む３Ｄ空間内の拡張現実へのアクセス権を有するリモートソースから、通信ネットワークを介して制御されてもよい。

【0091】

[0105] 図９Ｂは、代表的な実施形態による、３Ｄ空間内の機械の動作を制御するために仮想操作部材を有効化する別の実施形態を示す。図９Ａでは、拡張現実デバイス＃１ ９１０は、ここでも、仮想操作部材９２１、９２２、９２３をバーチャルでカバーする仮想カバー９２１Ａ、９２２Ａ、９２３Ａを表示する。ここでも、拡張現実デバイス＃１ ９１０によって実現される表示は、拡張現実デバイス＃１ ９１０の視点に基づいて動的に変化し、様々なカバーや操作部材などの仮想オブジェクトは、マッピングされる３Ｄ空間内の特定の位置及び空間に対応する。すなわち、様々なカバー及び操作部材は、３Ｄ空間内の特定の空間への視野を有する拡張現実デバイスにのみ現れる。

【0092】

[0106] 図９Ｂにおいて、モニタ９４０は、仮想操作部材９２１、９２２、９２３、及び拡張現実インターフェース９３２Ａを介して制御可能である。拡張現実インターフェース９３２Ａは、特にモニタ９４０に対応しても、モニタ９４０及びロボット９３０などの１組の機械に対応してもよい。操作ステップ＃１Ａで、拡張現実デバイス＃１ ９１０は、仮想カバー９２１Ａを取り除き、仮想操作部材９２１とインタラクションする。例えば、操作ステップ＃１Ａでは、仮想操作部材９２１は、モニタ９４０をオン又はオフに切り替えることに対応し得る。操作ステップ＃１Ｂで、仮想操作部材９２１とのインタラクションが検出され、それにより、モニタをオン又はオフに切り替えるために、命令が拡張現実インターフェース９３１Ａに送信される。操作ステップ＃２Ａで、拡張現実デバイス＃１ ９１０は、仮想カバー９２２Ａを取り除き、仮想操作部材９２２とインタラクションする。例えば、操作ステップ＃２Ａで、仮想操作部材９２２は、モニタ９４０が特定のソースからの表示を生成することに対応し得る。操作ステップ＃２Ｂで、仮想操作部材９２１とのインタラクションが検出され、それにより、特定のソースに同調するために、命令が拡張現実インターフェース９３１Ａに送信される。操作ステップ＃３Ａで、拡張現実デバイス＃１ ９１０は、仮想カバー９２３Ａを取り除き、仮想操作部材９２３とインタラクションする。例えば、操作ステップ＃３Ａでは、仮想操作部材９２３は、モニタ９４０が特定のソースからの音量を上げ下げすることに対応し得る。操作ステップ＃３Ｂで、仮想操作部材９２３とのインタラクションが検出され、それにより、モニタ９４０での音量を上げ下げするために、命令が拡張現実インターフェース９３１Ａに送信される。

【0093】

[0107] 代替の例では、最終位置が実現されるまで、ツールはバーチャルで位置変更される。その後、ユーザは、再び頭を位置決めすることで、仮想ツール（又はロボット、又は部屋の他の場所）にあるターゲットにカーソルを移動することによって、ロボットをその位置に移動させることができる。

【0094】

[0108] 上述したように、拡張現実デバイス又は物理的デバイスによって様々な形式の入力を検出し、拡張現実を介して提供される仮想操作部材を有効化するために使用することができる。仮想操作部材は、仮想操作部材を表示するためのデータ／情報を受信することが可能であってそれを認可されているデバイスを使用してのみ目に見える。したがって、仮想操作部材は、認可されている拡張現実デバイス以外のすべてのデバイスからは制約される。さらに、仮想操作部材は、医療介入を監視或いは支援するために使用される医療機械などの物理的デバイスを操作するために使用される。したがって、仮想操作部材への入力は、認可された拡張現実デバイスによって検出され、次いで、物理的デバイスを制御するために物理的デバイスに提供される。仮想操作部材と物理的デバイスとの調整は、メモリに格納され、異なるプロセッサによって個別に実行される個別のソフトウェアプログラムを介して提供される。

【0095】

[0109] したがって、仮想カバーを制御するための制御装置は、命令を格納するメモリと、命令を実行したプロセッサとの組合せとみなすことができ、仮想操作部材を有効化するためのユーザ命令を検出し、次いで使用のために仮想操作部材をカバー解除して有効化する。有効化／無効化機能がフットペダルなどの物理的オブジェクトによって提供されるとき、仮想カバーを制御するための制御装置は、メモリとプロセッサとの組合せでよく、命令を実行して、仮想操作部材を有効化するための（フットペダルによる）ユーザ命令を受信し、次いで使用のために仮想操作部材をカバー解除して有効化することができる。いずれの場合にも、仮想操作部材の取扱いを検出する制御装置は、制御装置によって解釈された命令を制御対象の機械に提供することによって、制御対象の機械と連携する。

【0096】

[0110] したがって、拡張現実におけるユーザインタラクションのための仮想カバーは、仮想操作部材が機械を制御するために使用されるとき、複数の異なるレベルの保護を可能にする。制御装置は、ユーザ命令を検出し、仮想操作部材を有効化又は無効化し、さらには、特定のユーザインタラクション又は命令が検出されない限り仮想操作部材を非表示にする又はぼかすことができる。

【0097】

[0111] 本明細書では拡張現実ヘッドセットを使用して様々な実施形態を示すが、３Ｄ空間の共有部分のための拡張現実制御装置を、３Ｄ空間内の集中コンピュータ３９０又はさらにはリモートコンピュータに提供することもできる。典型的には、制御装置は、最低限、命令を格納するメモリと、命令を実行するプロセッサとを含むが、他の構成要素又は下位構成要素を含むこともある。

【0098】

[0112] さらに、拡張現実セッションのために事前に計画されているものとして制御の態様を述べるが、制御は、拡張現実セッション中に動的に開始又は変更されてもよい。例えば、認可されているユーザは、誤ったインタラクションを避けるために、仮想操作部材を非表示にするか、又は隅（右上、左上、右下、左下）に移動させることを単に指示することができる。一実施形態では、認可されているユーザからのそのような動的な命令は、拡張現実デバイスによって検出される、受け入れられる、従われ、次いで、同じ仮想操作部材及び同じ共有空間へのアクセス権を共有するすべての他の拡張現実デバイスにフィードバックすることができる。このようにして、共有環境内での１人のユーザの表示の変更は、中央制御装置を介して、又はローカル無線信号などによる他の拡張現実デバイスとの直接の通信によって、他のすべてのユーザの表示に対して即座に行うことができる。

【0099】

[0113] いくつかの例示的実施形態を参照して、拡張現実におけるユーザインタラクションのための仮想カバーを述べてきたが、使用してきた単語は、限定のための単語ではなく、説明及び例示のための単語であることを理解されたい。現在記載されている及び修正される添付の特許請求の範囲の範疇で、その態様での拡張現実におけるユーザインタラクションのための仮想カバーの範囲及び精神から逸脱することなく、変更を行うことができる。拡張現実におけるユーザインタラクションのための仮想カバーを、特定の手段、材料、及び実施形態を参照して述べてきたが、拡張現実におけるユーザインタラクションのための仮想カバーは、開示した詳細に限定されることを意図されていない。むしろ拡張現実におけるユーザインタラクションのための仮想カバーは、添付の特許請求の範囲の範囲内にあるすべての機能的に等価な構造、方法、及び用途を網羅する。

【0100】

[0114] 本明細書で述べる実施形態の例示は、様々な実施形態の構造の全般的な理解を提供することを意図されている。これらの例示は、本明細書で述べる開示のすべての要素及び特徴の完全な説明となるようには意図されていない。他の多くの実施形態は、本開示を検討すれば当業者には明らかとなり得る。本開示から、他の実施形態を利用及び導出することができ、本開示の範囲から逸脱することなく、構造的及び論理的な置換及び変更を行うことができる。さらに、例示は、代表例にすぎず、縮尺通りには描かれていないことがある。例示における比率の中には誇張されているものも、最小化されているものもあり得る。したがって、本開示及び図は、限定ではなく例示とみなされるべきである。

【0101】

[0115] 本開示の一態様によれば、３Ｄ空間における拡張現実のための制御装置が、命令を格納するメモリと、命令を実行するプロセッサと、を含む。制御装置は、３Ｄ空間内で仮想オブジェクトを提示するように構成されたディスプレイシステムを制御する。プロセッサによって実行されるときに、命令は、制御装置にプロセスを実施させ、プロセスは、３Ｄ空間内のオブジェクト又は仮想オブジェクトに対するユーザによる第１のアクションを検出すること、及びユーザと３Ｄ空間内のオブジェクト又は仮想オブジェクトとの間の第１のアクションの検出に基づいて、仮想操作部材を選択的に有効化又は無効化すること、を含む。仮想操作部材は、操作されるときに、３Ｄ空間内の機械の動作を制御するように構成される。

【0102】

[0116] 本開示の別の態様によれば、３Ｄ空間内の仮想オブジェクトは、仮想操作部材のための仮想カバーを備える。第１のアクションは、ユーザが仮想操作部材に被せて仮想カバーを閉じるときの第１のインタラクションを備える。

【0103】

[0117] 本開示のさらに別の態様によれば、３Ｄ空間内のオブジェクトは、物理的オブジェクトを備える。第１のアクションは、ユーザが３Ｄ空間内の物理的オブジェクトを押すときの第１のインタラクションを備える。

【0104】

[0118] 本開示のさらに別の態様によれば、第１のアクションは、ユーザからの音声コマンドを備える。

【0105】

[0119] 本開示の別の態様によれば、第１のアクションは、ユーザが３Ｄ空間内でジェスチャを行うときの第１のインタラクションを備える。

【0106】

[0120] 本開示のさらに別の態様によれば、第１のアクションは、３Ｄ空間内でのユーザの頭の位置決めを備える。

【0107】

[0121] 本開示のさらに別の態様によれば、アクションは、３Ｄ空間内でのユーザの目の位置決めを備える。

【0108】

[0122] 本開示の別の態様によれば、仮想操作部材は、３Ｄ空間内の位置に選択的に配置される。

【0109】

[0123] 本開示のさらに別の態様によれば、仮想操作部材は、仮想ボタンを備える。

【0110】

[0124] 本開示のさらに別の態様によれば、仮想操作部材は、３Ｄ空間内のオブジェクトの動きの方向を制御するように構成された方向性制御装置を備える。

【0111】

[0125] 本開示の別の態様によれば、仮想操作部材は、３Ｄ空間内のオブジェクトの上に投影される。

【0112】

[0126] 本開示のさらに別の態様によれば、仮想操作部材が第１のアクションによって選択的に無効化されるとき、ユーザと３Ｄ空間内のオブジェクト又は仮想オブジェクトとの間の第２のインタラクションを制御装置が検出したのに基づいて、仮想操作部材が選択的に有効化されるように構成される。仮想操作部材が第１のアクションによって選択的に有効化されるとき、ユーザと３Ｄ空間内のオブジェクト又は仮想オブジェクトとの間の第２のインタラクションを制御装置が検出したのに基づいて、仮想操作部材が選択的に無効化されるように構成される。

【0113】

[0127] 本開示のさらに別の態様によれば、ディスプレイシステムは、制御装置から３Ｄ空間内に仮想カーソルを投影するように構成され、第１のアクションは、ユーザが仮想カーソルをターゲット上に移動させることを備える。

【0114】

[0128] 本開示の別の態様によれば、仮想操作部材は、物理的操作部材に対応し、プロセッサが第１のアクションを検出したことに基づいて、物理的操作部材は仮想操作部材の位置に移動される。

【0115】

[0129] 本開示のさらに別の態様によれば、機械は、ディスプレイデバイスを備え、制御は、コンテンツを表示するように又は表示しないようにディスプレイデバイスを制御することを含む。

【0116】

[0130] 本開示のさらに別の態様によれば、３Ｄ空間は、ディスプレイシステムによって仮想オブジェクトが重畳される事前定義された物理的環境に基づく。

【0117】

[0132] 本開示のさらに別の態様によれば、制御装置は、ヘッドマウント可能ディスプレイを備え、３Ｄ空間は、ユーザがヘッドマウント可能ディスプレイを装着している空間である。

【0118】

[0133] 本開示の一態様によれば、拡張現実を用いて３Ｄ空間内の機能を制御するための方法が、３Ｄ空間内に仮想オブジェクトを提示するように構成されたディスプレイシステムを制御するステップを有する。また、この方法は、３Ｄ空間内のオブジェクト又は仮想オブジェクトに対するユーザによる第１のアクションを検出するステップを有する。さらに、この方法は、ユーザと３Ｄ空間内のオブジェクト又は仮想オブジェクトとの間の第１のアクションの検出に基づいて、仮想操作部材を選択的に有効化又は無効化するステップを有する。仮想操作部材は、操作されるときに、３Ｄ空間内の制御可能なアイテムを選択的に制御するように構成される。

【0119】

[0134] 本開示の別の態様によれば、方法は、ユーザによる第２のアクションを検出するステップと、ユーザによる第２のアクションに基づいて仮想操作部材を動かすステップとを有する。

【0120】

[0135] 本開示の別の態様によれば、方法は、ユーザによる第１のアクションの検出に基づいて、仮想操作部材を、３Ｄ空間内の仮想オブジェクトで覆うステップを有する。

【0121】

[0136] 本開示の１つ又は複数の実施形態を、「発明」という用語によって個々に及び／又は集合的に本明細書で言及するが、これは、単に便宜上であり、本出願の範囲を任意の特定の発明又は発明概念に自発的に限定することを意図していない。さらに、本明細書では特定の実施形態を図示して説明したが、同じ又は同様の目的を達成するように設計された任意の派生構成を、図示した特定の実施形態に置き換えてもよいことを理解されたい。本開示は、様々な実施形態のあらゆる派生適応形態又は変形形態を網羅することを意図している。上記の実施形態の組合せ、及び本明細書に具体的に述べていない他の実施形態は、本明細書を検討すれば当業者には明らかであろう。

【0122】

[0137] 本開示の要約書は、３７ Ｃ．Ｆ．Ｒ．§１．７２（ｂ）に準拠するように提供されており、特許請求の範囲の範囲又は意味を解釈又は限定するために使用されないという理解のもとに提出されている。さらに、前述の詳細な説明では、本開示を簡素化するために、様々な特徴をまとめる、又は単一の実施形態で述べる。本開示は、特許請求される実施形態が各請求項に明示的に記載されるよりも多くの特徴を必要とするという意図を表すものとして解釈すべきではない。むしろ添付の特許請求の範囲が表すように、本発明の主題は、開示した実施形態のいずれかのすべての特徴を対象とするわけではないことがある。したがって、添付の特許請求の範囲は、詳細な説明に組み込まれ、各請求項は、個別に特許請求される主題を定義するものとして自立している。

【0123】

[0138] 開示した実施形態の前述の説明は、本開示で述べた概念を当業者が実践できるように提供したものである。したがって、上で開示した主題は、限定ではなく例示とみなされるべきであり、添付の特許請求の範囲は、本開示の真の精神及び範囲内にあるすべてのそのような修正形態、強化形態、及び他の実施形態を網羅することが意図されている。したがって、法律で許される最大限の範囲で、本開示の範囲は、添付の特許請求の範囲及びその均等物の最も広い許容可能な解釈によって決定されるものであり、前述の詳細な説明によって制限又は限定されないものとする。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9A】

【図9B】