特表 2023-540127 複合現実アプリケーションにおける２Ｄ画面インタフェースアプリケーションの制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-21

(54)【発明の名称】複合現実アプリケーションにおける２Ｄ画面インタフェースアプリケーションの制御

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20230913BHJP

   G06F 3/01 20060101ALI20230913BHJP

   G06F 3/04815 20220101ALI20230913BHJP

【ＦＩ】

G06F3/0484

G06F3/01 570

G06F3/04815

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023515151

(86)(22)【出願日】2021-09-01

(85)【翻訳文提出日】2023-03-06

(86)【国際出願番号】 EP2021074087

(87)【国際公開番号】W WO2022053363

(87)【国際公開日】2022-03-17

(31)【優先権主張番号】63/075,749

(32)【優先日】2020-09-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】20207457.1

(32)【優先日】2020-11-13

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(72)【発明者】

【氏名】ケーナン ジュニア フィリップ ヨセフ

(72)【発明者】

【氏名】フレックスマン モリー ララ

(72)【発明者】

【氏名】モリー ベノア ジャン ドミニク ベルトランド モーリス

(72)【発明者】

【氏名】パンセ アシシュ サットヤヴラット

(72)【発明者】

【氏名】ウェブ ペネロペ ユージェニア

(72)【発明者】

【氏名】ウィッキー ファン ドイヤー ロマン

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA03

5E555AA27

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA42

5E555CA44

5E555CB21

5E555CB66

5E555CC01

5E555DA08

5E555DA09

5E555DB03

5E555DB18

5E555DC05

5E555EA14

5E555FA00

(57)【要約】

２Ｄアプリケーションインタフェースは、２Ｄアプリケーションを表すデータを受信する。プロセッサは、２Ｄアプリケーションを表すデータに基づいてインタラクティブ要素を抽出する。プロセッサは、インタラクティブ要素を複合現実表示アプリケーションのユーザインタフェースフィーチャに変換し、複合現実表示アプリケーションを提示するためのデータを生成し、ユーザ入力を２Ｄアプリケーションのユーザ制御のためのコマンドにマッピングする。複合現実アプリケーションインタフェースは、複合現実表示アプリケーションを複合現実としてユーザに提供する。制御インタフェースは、ユーザインタフェースフィーチャのためのユーザからの入力を受信し、２Ｄアプリケーションを制御するためにコマンドを２Ｄアプリケーションに提供する。拡張現実インタフェースは、従来の２Ｄ画面インタフェースにマッピングされる。

【特許請求の範囲】

【請求項1】

複合現実アプリケーションにおいて２Ｄアプリケーションを制御するための装置であって、前記装置が、
２Ｄアプリケーションインタフェースと、
プロセッサと、
複合現実アプリケーションインタフェースと、
制御インタフェースと、
を有し、
前記２Ｄアプリケーションインタフェースは、２Ｄアプリケーションを表すデータを受信するように構成され、前記２Ｄアプリケーションは、前記２Ｄアプリケーションのユーザ制御のためのコマンドを提供するインタラクティブ要素を有し、
前記プロセッサは、前記２Ｄアプリケーションを表す前記データに基づいて、前記インタラクティブ要素を識別及び抽出し、前記インタラクティブ要素を複合現実表示アプリケーションのユーザインタフェースフィーチャに変換し、前記複合現実感表示アプリケーションを提示するためのデータを生成し、ユーザ入力を前記２Ｄアプリケーションのユーザ制御のためのコマンドにマッピングするように構成され、
前記複合現実アプリケーションインタフェースは、複合現実として前記複合現実表示アプリケーションをユーザに提供するように構成され、
前記制御インタフェースは、前記ユーザインタフェースフィーチャのための前記ユーザからの入力を受信し、前記２Ｄアプリケーションを制御するために前記２Ｄアプリケーションに前記コマンドを提供するように構成される、
装置。

【請求項2】

前記２Ｄアプリケーションインタフェースは、
ｉ）前記２Ｄアプリケーションをモニタ上に提示するための表示データ、又は
ｉｉ）前記２Ｄアプリケーションの提示の画像データを取得するカメラの一連の画像、
を受信するように構成される、請求項１に記載の装置。

【請求項3】

前記識別及び抽出するために、前記プロセッサは、
前記２Ｄアプリケーションの画像処理に基づいてインタラクションフィーチャを検出することと、
前記２Ｄアプリケーション提示を横切って位置インジケータを移動するときに変化を検出することと、
前記２Ｄアプリケーション提示における前記ユーザによるインタラクションアクティビティの場所を記録することと、
インタラクションアクティビティを有する訓練データセットを提供し、前記訓練データセットの機械学習に基づいてインタラクティブ要素を認識することと、
のグループのうちの少なくとも１つを有するインタラクティブ要素識別ルーチンを提供するように構成される、請求項１又は２に記載の装置。

【請求項4】

前記プロセッサは、前記インタラクティブ要素を前記ユーザインタフェースフィーチャに変換するために、前記識別されたインタラクティブ要素の周りにコライダを作成するように構成され、
前記コライダは、複数の３Ｄフィードバックフィーチャを可能にする、
請求項１乃至３のいずれか一項に記載の装置。

【請求項5】

複合現実アプリケーションにおける２Ｄアプリケーションを制御するためのシステムにおいて、前記システムが、
請求項１乃至４のいずれか一項に記載の複合現実アプリケーションにおいて２Ｄアプリケーションを制御するための装置と、
前記複合現実アプリケーションにおいて２Ｄアプリケーションを制御するための装置にデータ接続される、複合現実提示装置と、
を有し、
前記複合現実提示装置は、前記複合現実表示アプリケーションを複合現実としてユーザに提示するように構成された提示装置を有し、
前記複合現実提示装置は、ユーザ入力装置を有する、
システム。

【請求項6】

前記複合現実提示は、前記２Ｄアプリケーションの提示を含む、請求項５に記載のシステム。

【請求項7】

前記複合現実提示装置は、ウェアラブル拡張現実装置を有する拡張現実提示装置であり、
好ましくは、前記複合現実表示アプリケーションを現実へのオーバーレイとして提示するように構成されたヘッドマウントディスプレイが、提供される、
請求項５又は６に記載のシステム。

【請求項8】

前記複合現実提示装置は、ウェアラブル仮想現実装置を有する仮想現実提示装置であり、
好ましくは前記仮想現実表示アプリケーションを提示するように構成されたヘッドマウントディスプレイが、提供される、
請求項５又は６に記載のシステム。

【請求項9】

前記２Ｄアプリケーションを提示するように構成されたモニタが、提供され、
好ましくは、インタフェースが、ユーザインタラクションデータを前記２Ｄアプリケーションに転送するために提供され、前記ユーザインタラクションデータは、前記複合現実提示装置の前記ユーザ入力装置によって提供される、
請求項５乃至８のいずれか一項に記載のシステム。

【請求項10】

移動されたトーテムの認識を含むジェスチャ認識と、
音声コマンドと、
頭部追跡と、
視線追跡と、
コントローラ、リモコン及びキーボードを有する外部装置と、
のグループの少なくとも１つが、前記複合現実提示配置におけるユーザインタラクションのために提供される、請求項５乃至９のいずれか一項にシステムの装置。

【請求項11】

複合現実アプリケーションにおいて２Ｄアプリケーションを制御するための方法において、
２Ｄアプリケーションを表すデータを受信するステップであって、２Ｄグラフィカルユーザインタフェースが、前記２Ｄアプリケーションのユーザ制御のためのコマンドを提供するインタラクティブ要素を有する、ステップと、
前記２Ｄアプリケーションを表す前記データに基づいて前記インタラクティブ要素を識別及び抽出するステップと、
前記インタラクティブ要素を、複合現実表示アプリケーションのユーザインタフェースフィーチャに変換するステップと、
前記複合現実表示アプリケーションを複合現実としてユーザに提示するためのデータを生成及び提供するステップであって、前記複合現実表示アプリケーションは、前記２Ｄアプリケーションの提示を有する、ステップと、
前記ユーザインタフェースフィーチャのための前記ユーザからの入力を受信するステップと、
前記ユーザ入力を、前記２Ｄアプリケーションのユーザ制御のためのコマンドにマッピングするステップと、
前記２Ｄアプリケーションを制御するために前記２Ｄアプリケーションに前記コマンドを提供するするステップと、
を有する方法。

【請求項12】

前記ユーザインタフェースフィーチャを有する前記複合現実表示アプリケーションの提示を提供するステップが、更に提供され、
前記ユーザ入力は、前記複合現実表示アプリケーションの提示に基づく、
請求項１１に記載の使用。

【請求項13】

前記インタラクティブ要素を前記ユーザインタフェースフィーチャに変換するステップは、前記識別されたインタラクティブ要素の周りにコライダを作成することを含み、
前記コライダは、複数の３Ｄフィードバックフィーチャを可能にする、
請求項１１又は１２に記載の方法。

【請求項14】

プロセッサが請求項１１乃至１３のいずれか一項に記載の方法を実行することを可能にするコンピュータプログラム。

【請求項15】

請求項１４に記載のコンピュータプログラムを記憶したコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複合現実アプリケーションにおける２Ｄアプリケーションを制御するための装置、複合現実アプリケーションにおける２Ｄアプリケーションを制御するためのシステム、及び複合現実アプリケーションにおける２Ｄアプリケーションを制御するための方法に関する。

【背景技術】

【0002】

医療環境では、ウェアラブル拡張現実が、従来の２Ｄインタフェースと比較して、ユーザインタフェースのための新しい機会を可能にする。しかしながら、これらの拡張現実インタフェースは、以前の２Ｄインタフェースと比較して直感的であるために、特定の入力及び設計要件を必要とする。従来の２Ｄインタフェースは、拡張現実ツールに統合されないことが示されている。これは、処置室の複雑さを増加させる。また、ユーザの動作タスクの複雑さも増す。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、医療従事者のための装置及び機器の動作に関して、更なる簡略化を提供する必要があり得る。

【課題を解決するための手段】

【0004】

本発明の目的は、独立請求項の主題によって解決され、更なる実施形態は、従属請求項に組み込まれる。以下に説明する本発明の態様は、複合現実アプリケーションにおける２Ｄアプリケーションを制御するための装置、複合現実アプリケーションにおける２Ｄアプリケーションを制御するためのシステム、及び複合現実アプリケーションにおける２Ｄアプリケーションを制御するための方法にも適用されることに留意されたい。

【0005】

本発明によれば、複合現実アプリケーションにおける２Ｄアプリケーションを制御するための装置が、提供される。装置は、２Ｄアプリケーションインタフェースと、プロセッサと、複合現実アプリケーションインタフェースと、制御インタフェースとを有する。２Ｄアプリケーションインタフェースは、２Ｄアプリケーションを表すデータを受信するように構成される。２Ｄアプリケーションは、２Ｄアプリケーションのユーザ制御のためのコマンドを提供するインタラクティブ要素を有する。プロセッサは、２Ｄアプリケーションを表すデータに基づいて、インタラクティブ要素を識別し、抽出するように構成される。プロセッサは、また、インタラクティブ要素を複合現実表示アプリケーションのユーザインタフェースフィーチャに変換するように構成される。プロセッサは、複合現実表示アプリケーションを提示するためのデータを生成するように更に構成される。プロセッサは、更に、ユーザ入力を２Ｄアプリケーションのユーザ制御のためのコマンドにマッピングするように構成される。複合現実アプリケーションインタフェースは、複合現実表示アプリケーションを複合現実としてユーザに提供するように構成される。制御インタフェースは、ユーザインタフェースフィーチャのためにユーザから入力を受信するように構成される。制御インタフェースは、また、２Ｄアプリケーションを制御するために、コマンドを２Ｄアプリケーションに提供するように構成される。

【0006】

その結果、例えば、２Ｄ画面ベースのインタフェースを拡張現実環境にストリーミングすることが可能であり、拡張現実固有入力は、２Ｄインタフェースからの抽出されたフィーチャに基づく。ユーザインタフェース情報は、拡張現実アプリケーション内で強化されたインタラクションを作成する際に使用するために、２Ｄインタフェース（サードパーティアプリケーションを含む）から抽出される。

【0007】

一例によれば、２Ｄアプリケーションインタフェースは、モニタ上に２Ｄアプリケーションを提示するための表示データ、又は２Ｄアプリケーションの提示の画像データを取得するカメラの一連の画像を受信するように構成される。

【0008】

一例によれば、識別及び抽出のために、プロセッサは、２Ｄアプリケーションの画像処理に基づいてインタラクションフィーチャを検出することと、２Ｄアプリケーション提示にわたって位置インジケータを移動するときの変化を検出することと、２Ｄアプリケーション提示におけるユーザによるインタラクションアクティビティの場所を記録することと、インタラクションアクティビティを有する訓練データセットを提供し、訓練データセットの機械学習に基づいてインタラクティブ要素を認識することとのグループのうちの少なくとも１つを有するインタラクティブ要素識別ルーチンを提供するように構成される。

【0009】

一例によれば、プロセッサは、インタラクティブ要素をユーザインタフェースフィーチャに変換するために、識別されたインタラクティブ要素の周りにコライダを作成するように構成される。コライダは、多数の３Ｄフィードバックフィーチャを可能にする。

【0010】

本発明によれば、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するためのシステムも、提供される。本システムは、前述の例のうちの１つによる複合現実アプリケーションにおける２Ｄアプリケーションを制御するための装置を有する。システムは、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するために装置にデータ接続される複合現実提示構成をも有する。複合現実提示構成は、複合現実表示アプリケーションを複合現実としてユーザに提示するように構成された提示装置を有する。複合現実提示構成は、ユーザ入力装置を更に有する。

【0011】

一例によれば、複合現実提示構成は、ウェアラブル拡張現実装置を有する拡張現実提示構成である。追加的に又は代わりに提供されるオプションでは、複合現実表示アプリケーションを現実に対するオーバーレイとして提示するように構成されたヘッドマウントディスプレイが、提供される。

【0012】

一例によれば、複合現実提示構成は、ウェアラブル複合現実装置を有する複合現実提示構成である。追加的に又は代わりに提供されるオプションでは、仮想現実表示アプリケーションを提示するように構成されたヘッドマウントディスプレイが、提供される。

【0013】

一例によれば、複合現実提示構成は、ウェアラブル仮想現実装置を有する仮想現実提示構成である。追加的に又は代わりに提供されるオプションでは、仮想現実表示アプリケーションを提示するように構成されたヘッドマウントディスプレイが、提供される。

【0014】

一例によれば、２Ｄアプリケーションを提示するように構成されたモニタが、提供される。追加的に又は代わりに提供されるオプションでは、ユーザインタラクションデータを２Ｄアプリケーションに転送するためのインタフェースが、提供される。ユーザインタラクションデータは、複合現実提示構成のユーザ入力装置によって提供される。

【0015】

本発明によれば、複合現実アプリケーションにおける２Ｄアプリケーションを制御する方法も、提供される。この方法は、
２Ｄアプリケーションを表すデータを受信するステップであって、２Ｄグラフィカルユーザインタフェースが、２Ｄアプリケーションのユーザ制御のためのコマンドを提供するインタラクティブ要素を有する、ステップと、
２Ｄアプリケーションを表すデータに基づいてインタラクティブ要素を識別及び抽出するステップと、
インタラクティブ要素を複合現実表示アプリケーションのユーザインタフェースフィーチャに変換するステップと、
複合現実表示アプリケーションを複合現実としてユーザに提示するためのデータを生成及び提供するステップであって、複合現実表示アプリケーションが、２Ｄアプリケーションの提示を有する、ステップと、
ユーザインタフェースフィーチャのためのユーザから入力を受信するステップと、
ユーザ入力を２Ｄアプリケーションのユーザ制御のためのコマンドにマッピングするステップと、
２Ｄアプリケーションを制御するために２Ｄアプリケーションにコマンドを提供するステップと、
を有する。

【0016】

一態様では、２Ｄアプリケーションの提示のために使用されるデータが、２Ｄ提示としてユーザに通常表示されるそれぞれのユーザインタフェース要素を抽出するために使用される。２Ｄ世界のインタフェース要素は、複合現実世界のユーザインタフェースフィーチャに変換される。ユーザは、複合現実世界で入力を提供し、入力は、２Ｄアプリケーションを制御するために２Ｄ世界にマッピングされる。

【0017】

基本的に、既存のソフトウェアと統合することなく２Ｄ画面からインタラクション可能なインタフェースを検出するようにユーザ入力をシミュレートするのに入力システムを使用を使用するプログラムが、提供される。言い換えれば、入力システムは、ソフトウェアレベルでインタラクション可能なソースと統合することなく、２Ｄ画面からインタラクション可能なインタフェースを検出するためにユーザ入力をシミュレートするために使用される。

【0018】

一態様では、拡張現実の使用が、表示画面に適用され、それらの画面とのインタラクションが、提供される。使用分野の例は、例えば、ウェアラブル拡張現実装置及び他の２Ｄアプリケーションの適用の文脈におけるヘルスケアである。

【0019】

一態様によれば、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するための装置は、２Ｄアプリケーションインタフェースと、プロセッサと、複合現実アプリケーションインタフェースと、制御インタフェースとを設けられる。２Ｄアプリケーションインタフェースは、２Ｄアプリケーションを表すデータを受信する。アプリケーションは、２Ｄアプリケーションのユーザ制御のためのコマンドを提供するインタラクティブ要素を有する。プロセッサは、２Ｄアプリケーションを表すデータに基づいてインタラクティブ要素を識別し、抽出する。プロセッサは、また、インタラクティブ要素を複合現実表示アプリケーションのユーザインタフェースフィーチャに変換する。プロセッサは、更に、複合現実表示アプリケーションを提示するためのデータを生成し、ユーザ入力を２Ｄアプリケーションのユーザ制御のためのコマンドにマッピングする。複合現実アプリケーションインタフェースは、複合現実として、複合現実表示アプリケーションをユーザに提供する。制御インタフェースは、ユーザインタフェースフィーチャのためにユーザから入力を受信し、２Ｄアプリケーションを制御するためにコマンドを２Ｄアプリケーションに提供する。したがって、拡張現実インタフェースは、従来の２Ｄ画面インタフェースにマッピングされる。これは、今日の拡張現実環境において動作されるべきマウス等を用いるモニタ上のインタラクションを提供しただけのアプリケーションを統合することを可能にする。

【0020】

複合又は拡張現実への２Ｄアプリケーションの統合は、例えば介入ガイド療法システムに適している。

【0021】

本発明のこれら及び他の態様は、以下に記載される実施形態から明らかになり、それを参照して説明される。

【0022】

本発明の例示的な実施形態は、以下の図面を参照して以下に説明される。

【図面の簡単な説明】

【0023】

【図1】複合現実アプリケーションにおける２Ｄアプリケーションを制御するための装置の一例を概略的に示す。

【図2】複合現実アプリケーションにおける２Ｄアプリケーションを制御するためのシステムの一例を概略的に示す。

【図3】複合現実アプリケーションにおける２Ｄアプリケーションを制御するための方法の一例の基本ステップを示す。

【図4】処置室の風景と、複合現実アプリケーションにおける２Ｄアプリケーションを制御するためのシステムの使用を示す。

【図5】複合現実アプリケーションにおける２Ｄアプリケーションを制御するための更なるセットアップを概略的に示す。

【図6】複合現実アプリケーションにおける２Ｄアプリケーションを制御するための別のセットアップを概略的に示す。

【図7】明るい線のフレームで示されたコライダーを有する改良された拡張現実ユーザインタフェースの例を示す。

【図8】拡張現実ユーザインタフェース要素へのユーザインタフェース要素の変換の一例を示す。

【図9】左側部分において２Ｄ画面ユーザインタフェース、中央部分において拡張コライダに変換される抽出されたボタン位置、及び右側部分において視線に対する最小ボタン間隔要件の拡張現実ユーザインタフェース設計ルールの例を示す。

【発明を実施するための形態】

【0024】

ここで、特定の実施形態が、添付の図面を参照してより詳細に説明される。以下の説明では、同様の図面参照番号が、異なる図面においても、同様の要素に対して使用される。詳細な構成及び要素のような、本明細書で規定される事項は、例示的な実施形態の包括的な理解を助けるために提供される。また、周知の機能又は構成は、不必要な詳細で実施形態を不明瞭にするので、詳細には説明されない。更に、「のうちの少なくとも１つ」などの表現は、要素のリストに先行する場合、要素のリスト全体を修飾し、リストの個々の要素を修飾しない。

【0025】

図１は、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するための装置１０の一例を概略的に示す。装置１０は、２Ｄアプリケーションインタフェース１２、プロセッサ１４、複合現実アプリケーションインタフェース１６、及び制御インタフェース１８を有する。２Ｄアプリケーションインタフェース１２は、２Ｄアプリケーションを表すデータを受信するように構成される。２Ｄアプリケーションは、２Ｄアプリケーションのユーザ制御のためのコマンドを提供するインタラクティブ要素を有する。プロセッサ１４は、２Ｄアプリケーションを表すデータに基づいて、インタラクティブ要素を識別し、抽出するように構成される。プロセッサ１４は、また、インタラクティブ要素を複合現実表示アプリケーションのユーザインタフェースフィーチャに変換するように構成される。プロセッサ１４は、複合現実表示アプリケーションを提示するためのデータを生成し、ユーザ入力を２Ｄアプリケーションのユーザ制御のためのコマンドにマッピングするように更に構成される。複合現実アプリケーションインタフェース１６は、複合現実として複合現実表示アプリケーションをユーザに提供するように構成される。制御インタフェース１８は、ユーザインタフェースフィーチャのためのユーザからの入力を受信するように構成される。制御インタフェース１８は、また、２Ｄアプリケーションを制御するために、コマンドを２Ｄアプリケーションに提供するように構成される。

【0026】

２Ｄアプリケーションインタフェース１２、プロセッサ１４、複合現実アプリケーションインタフェース１６、及び制御インタフェース１８は、フレーム２０で示されるように、共通の構造に統合されて提供され得る。しかしながら、それらは、また、別個のコンポーネントとして提供されてもよい。

【0027】

第１のハッシュ矢印は、２Ｄアプリケーションインタフェース１２に入る２Ｄアプリケーションからの提供又は供給を示す。

【0028】

第２のハッシュ矢印は、複合現実アプリケーションインタフェース１６から複合現実表示アプリケーションへの出力を示し、これは、第１のハッシュフレーム２６を有するオプションとして示される。

【0029】

第２のハッシュフレーム２８は、ユーザ入力装置をオプションとして示す。第３のハッシュ矢印３０は、ユーザ入力装置から制御インタフェース１８への提供を示す。

【0030】

２Ｄアプリケーションインタフェースは、２Ｄアプリケーションを提示するために使用される２Ｄアプリケーションのデータを提供するための入力インタフェースに関する。２Ｄアプリケーションインタフェースは、２Ｄ表示アプリケーションインタフェース又は２Ｄアプリケーションインタフェース入力と称されることもできる。２Ｄアプリケーションインタフェースは、画面インタフェース又はモニタインタフェースとも称されることができる。

【0031】

２Ｄアプリケーションインタフェースは、ネイティブ２Ｄアプリケーションから画面コンテンツを取得し、それを拡張現実アプリケーションに送信するインタフェースとして提供されてもよい。これは、フレームグラバとして又は独自のデータインタフェースを介して実装されることができる。

【0032】

プロセッサは、データ処理を提供する。プロセッサは、また、コンピューティング構成又はコントローラと称されることもできる。

【0033】

例えば、プロセッサは、以下のキータスク、すなわち、ネイティブアプリケーション画面内のユーザインタラクション要素を識別するタスク、それらのユーザインタラクション要素を、所定のコライダを有する拡張現実ユーザインタラクション要素に変換するタスク、及び拡張現実ユーザインタラクションルールに基づいてコライダのプロパティを設定するタスクを実行する。オプションとして、プロセッサは、拡張現実ユーザインタラクション要素に向けたユーザ入力を、ネイティブアプリケーションにフィードバックされることができる入力にマッピングすることも行う。

【0034】

複合現実アプリケーションインタフェースは、複合現実表示アプリケーションを提示するために使用されるデータを提供するための出力インタフェースに関する。複合現実アプリケーションインタフェースは、複合現実表示データ供給又は複合現実提示出力と称されることもできる。

【0035】

制御インタフェースは、ユーザインタフェースフィーチャのためのユーザからの入力のための入力インタフェースに関する。制御インタフェースは、また、アプリケーションを制御するためのコマンドのための出力インタフェースにも関する。したがって、制御インタフェースは、ユーザから複合現実アプリケーションインタフェースへ、及び複合現実アプリケーションから（及びユーザから）２Ｄアプリケーションへの２つの方向でインタフェース機能を提供する。

【0036】

制御インタフェース又はユーザインタフェースコントローラは、ネイティブ２Ｄアプリケーション画面からユーザインタラクションフィーチャを抽出し、それらを拡張現実表示ユーザインタラクションフィーチャに変換する、拡張現実アプリケーションの一部であるアプリケーションとして提供され得る。同様に、ユーザインタラクションコントローラは、拡張現実表示ユーザインタラクションコマンドを、制御インタフェースを介してネイティブ２Ｄアプリケーションへのコマンドに戻すようにマッピングすることができる。

【0037】

制御インタフェースは、ネイティブ２Ｄアプリケーションに戻すようにユーザコマンドを入力することができるインタフェースとして提供されてもよい。これは、マウス制御（位置及びボタンの下／上）、キーボード入力、タッチスクリーン入力、音声入力などを介して実装されることができる。

【0038】

一例では、複合現実は、追加情報で拡張される現実ビューを含む拡張現実に関する。

【0039】

一例では、複合現実は、追加情報で拡張される仮想ビューを含む拡張仮想性に関する。

【0040】

一例では、複合現実は、仮想ビューを含む仮想現実に関する。

【0041】

２Ｄアプリケーションを表すデータは、２Ｄアプリケーションの２Ｄグラフィカルユーザインタフェースを表すデータとも称されることができる。

【0042】

２Ｄアプリケーションは、ネイティブアプリケーション又は２Ｄレガシーコンテンツと称されることもできる。

【0043】

一例では、２Ｄアプリケーションは、エコーナビゲータ、介入超音波、血行動態、アズリオン画像レビュー、並びに光コヒーレンストモグラフィ及び電気生理学的マッピング等のサードパーティアプリケーションのような従来の２Ｄ画面及びインタフェースを用いて実行される。

【0044】

一例では、２Ｄアプリケーションは、２Ｄディスプレイ上に表示されるアプリケーションとして提供される。しかしながら、例えば、２Ｄディスプレイが多次元データをも表示すると定められる。

【0045】

拡張現実アプリケーション又は仮想現実アプリケーションなどの複合現実アプリケーションは、拡張現実ディスプレイ上に表示されるコンテンツを生成するアプリケーションとして提供され得る。このアプリケーションは、拡張現実ディスプレイ自体上に、又はコンテンツをディスプレイに送信する別個のコンピューティング装置上にあることができる。

【0046】

一例では、ネイティブアプリケーションは、拡張現実アプリケーションとのインタフェースを介して、画像を送信し、ユーザ入力を受信する。拡張現実アプリケーションは、ネイティブアプリケーション画面からユーザインタラクションフィーチャを抽出し、次いで、それらを拡張現実ディスプレイユーザインタラクションフィーチャに変換する役割を担うユーザインタラクションコントローラを有する。ユーザインタラクションコントローラは、また、制御インタフェースを介してネイティブアプリケーションへのコマンドに戻すように拡張現実インタラクションをマッピングする。

【0047】

一例では、装置は、２Ｄアプリケーション及びそのインタラクションの可能性の分析、次いでジェスチャへの変換を提供する。

【0048】

一例では、現在のコンテキストのジェスチャを考慮に入れることが、提供される。例えば、動作のコンテキストは、ユーザインタラクションに関連するジェスチャ又はユーザインタラクションにあまり適切でないジェスチャを決定するための入力として提供される。

【0049】

一例として、更には図示されていないが、２Ｄアプリケーションインタフェースは、ｉ）モニタ上に２Ｄアプリケーションを提示するための表示データ、又はｉｉ）２Ｄアプリケーションの提示の画像データを取得するカメラの一連の画像を受信するように構成されると定められる。

【0050】

更に図示されない例として、識別及び抽出のために、プロセッサ１４は、２Ｄアプリケーションの画像処理に基づいてインタラクションフィーチャを検出することと、２Ｄアプリケーション提示にわたって位置インジケータを移動するときの変化を検出することと、２Ｄアプリケーション提示においてユーザによるインタラクションアクティビティの場所を記録することと、インタラクションアクティビティを有する訓練データセットを提供し、訓練データセットの機械学習に基づいてインタラクティブ要素を認識することとのグループのうちの少なくとも１つを有するインタラクティブ要素識別ルーチンを提供するように構成されると定められる。

【0051】

カスタム拡張現実ユーザインタラクション要素を作成するために、ネイティブアプリケーション内のユーザインタラクション要素が、識別されなければならない。

【0052】

一例では、ネイティブアプリケーションは、そのユーザインタラクション要素に関する情報を拡張現実アプリケーションに送信する。

【0053】

別の例では、プロセッサは、それが遭遇する任意のネイティブアプリケーションのためのユーザインタラクション識別ルーチンを実行する。この初期化ルーチンは、プロセッサが入力画面の変化を見るたびに実行されることができる。この初期化ルーチンは、拡張現実アプリケーション及び／又はネイティブアプリケーションの起動時に実行されることもできる。この初期化ルーチンは、較正ステップとして定期的に実行されることもできる。

【0054】

更なる例では、ユーザインタラクションコントローラは、ユーザが画面を見ているか又は画面とインタラクトしている場所に基づいて、ユーザインタラクション識別ルーチンをリアルタイムで実行する。

【0055】

ユーザインタラクション又はユーザインタフェース識別ルーチンは、複数の方法で実装されることができる：

【0056】

第１の例では、画像処理は、２Ｄアプリケーションによって提供されるように、表示コンテンツ内のボタンのようなフィーチャを検出するために提供される。例えば、エッジ、ボタンの色の変化等が、画像コンテンツにおいて検出される。画像コンテンツは、画面上でのコンテンツの提示を指す。画像コンテンツは、画面上での提示のために２Ｄアプリケーションによって提供される画像データを参照することもできる。

【0057】

第２の例では、ピクセルを横切ってマウスを移動させ、インタフェースの変化を探すルーチンが、提供される。マウスの移動は、自動的に提供されることができる。変化は、例えば、ユーザインタラクションの可能性をユーザに示すために一般的である視覚的な変化を指す。再び、これは、モニタ上に示されるような提示上で、又はアプリケーションによって提供されるようなデータに基づいて行われることができる。

【0058】

第３の例では、機械学習を使用して、ユーザがインタフェースとインタラクトするクリックからなる訓練データセットに基づいてボタンを認識するルーチンが、提供される。

【0059】

第４の例では、ユーザによるボタンクリックの場所を経時的に記録し、画面表示に関するそれらのボタンクリックの場所を呼び出すルーチンが、提供される。

【0060】

図２は、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するためのシステム１００の一例を概略的に示す。システム１００は、上及び下で説明される例のうちの１つに従って、複合現実アプリケーションにおける２Ｄアプリケーションを制御するための装置１０の例を有する。システム１００は、また、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するために装置にデータ接続される複合現実提示構成１０２を有する。複合現実提示構成１０２は、複合現実表示アプリケーションを複合現実としてユーザに提示するように構成された提示装置１０４を有する。複合現実提示構成１０４は、ユーザ入力装置１０６を更に有する。

【0061】

一例として、２Ｄ画面は、介入スイート内の人間工学及び柔軟性を改善する拡張現実ウェアラブルと共に、画像ガイド治療において使用されることができる。室内のスタッフは、室内のシステムから情報を受信するために、フレックスビジョンなどの２Ｄ画面に依存するように維持することができる。しかしながら、それらの情報提示及びインタラクションを拡張現実に変換することによって、これらの画面は、横に移動されることができるか又は省略されることさえでき、その結果、それらが、もはや室内の空間を占めず、また、それらの位置が無菌性及び複数のスタッフ及び他の機器の位置を考慮することも、もはや必要とされない。拡張現実における画面を提供することは、スタッフが、扱いにくく、最適ではない位置で画面を見ることに限定されないので、より柔軟な環境で作業することを可能にする。したがって、拡張現実世界における２Ｄ画面コンテンツの組み合わせは、スタッフのための作業を容易にする。また、部屋に複数の画面を追加することは、回避されることができる。これらの有利な効果は、これまでの厄介な問題の経験を軽減する拡張現実ウェアラブルを介した仮想画面による情報の視覚化によって引き起こされる。

【0062】

フィードバック及び相互作用の可能性と共に拡張現実ウェアラブルを介した仮想画面を通した情報の視覚化は、介入スイートにおける人間工学及び柔軟性を改善するために、ユーザに視覚化のための柔軟な画面を提供する必要性に対処する。フィードバック及び相互作用の可能性と共に拡張現実ウェアラブルを介した仮想画面を通した情報の視覚化は、更に、これらの情報ストリームとの相互作用の必要性にも対処する。ユーザインタフェースの例は、タッチスクリーンモジュール、テーブルサイドコントローラ、又はマウス及びキーボードの形態の従来のインタフェースである。

【0063】

図示されていない一例では、複合現実提示は、２Ｄアプリケーションの提示を有する。

【0064】

図３は、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するための方法２００の一例の基本ステップを示す。方法２００は、以下のステップを有し、すなわち、第１のステップ２０２において、２Ｄアプリケーションを表すデータが、受信される。２Ｄグラフィカルユーザインタフェースは、２Ｄアプリケーションのユーザ制御のためのコマンドを提供するインタラクティブ要素を有する。第２のステップ２０４において、インタラクティブ要素は、２Ｄアプリケーションを表すデータに基づいて識別され、抽出される。第３のステップ２０６において、インタラクティブ要素は、複合現実表示アプリケーションのユーザインタフェースフィーチャに変換される。第４のステップ２０８において、複合現実表示アプリケーションをユーザに提示するためのデータが、生成され、複合現実として提供される。複合現実表示アプリケーションは、２Ｄアプリケーションの提示を有する。第５のステップ２１０において、ユーザインタフェースフィーチャに対するユーザからの入力が、受信される。第６のステップ２１２において、ユーザ入力は、２Ｄアプリケーションのユーザ制御のためのコマンドにマッピングされる。第７のステップ２１４では、コマンドが、２Ｄアプリケーションを制御するために２Ｄアプリケーションに提供される。

【0065】

図３にハッシュ線で示されるオプションとして、ユーザインタフェースフィーチャを有する複合現実表示アプリケーションの提示を提供する第８のステップ２１６が、更に提供される。ユーザ入力は、複合現実表示アプリケーションの提示に基づく。

【0066】

一例では、インタラクションを空間のどこにでも移動させるように提供され、それは、ヘッドセットにストリーミングされている画面上のインタラクション要素に限定されない。

【0067】

詳細には示されていない例では、インタラクティブ要素をユーザインタフェースフィーチャに変換することは、識別されたインタラクティブ要素の周りにコライダを作成することを含む。コライダは、複数の３Ｄフィードバックフィーチャを可能にする。

【0068】

一例では、２Ｄアプリケーションを表すデータは、モニタ上に２Ｄアプリケーションを提示するための表示データを有する。

【0069】

一例では、２Ｄアプリケーションを表すデータは、２Ｄアプリケーションの提示の画像データを取得するカメラの一連の画像として提供される。

【0070】

一例では、識別及び抽出のために、
表示された２Ｄアプリケーションの画像処理に基づいてボタンのようなフィーチャを検出すること、
２Ｄアプリケーションの提示を横切ってマウスポインタ等どを移動させ、２Ｄグラフィカルユーザインタフェースにおける変化を検出すること、
２Ｄグラフィカルユーザインタフェースにおけるユーザによるボタンクリックの場所を記録し、２Ｄディスプレイに関するそれらのボタンの場所を呼び出すこと、
ユーザがインタラクティブ要素とインタラクトするクリックを有する訓練データセットを提供し、訓練データセットの機械学習に基づいてインタラクティブ要素を認識すること、
のグループのうちの少なくとも１つを有するインタラクティブ要素識別ルーチンが提供される。。

【0071】

拡張現実は、一般に、ライブ画像ストリームが追加のコンピュータ生成情報で補足されるときを指す。ライブ画像ストリームは、目、カメラ、スマートフォン、タブレット等を介することができる。この画像ストリームは、眼鏡、コンタクトレンズ、投影を介して、又はライブ画像ストリーム装置自体（スマートフォン、タブレット等）の上で行われることができる、ユーザへの表示を介して拡張される。本例は、現実世界上に仮想オブジェクトをオーバーレイする拡張現実の任意の実装に適用されることができる。原則として、これは、仮想現実に拡張されることもできる。拡張現実装置又は仮想現実装置の例は、マイクロソフトのホロレンズ、又はMagic Leap、Vusix、又はnRealからの装置を含む。

【0072】

ユーザインタラクションコントローラ、又はユーザインタフェースコントローラとも称されるプロセッサは、２Ｄアプリケーションのインタラクティブ要素の、複合現実表示アプリケーションのユーザインタフェースフィーチャへの変換を提供する。

【0073】

一例として、コライダは、画面内のユーザインタラクションオブジェクトの周囲に作成される。次いで、これらのコライダは、複数の拡張現実ユーザインタラクションフィーチャを可能にするように使用されることができる。例えば、カーソルスタイルは、ユーザインタラクション要素上で変化する。別の例は、ユーザインタラクション要素をホバリング、クリック、又はタッチするときに、ユーザにオーディオフィードバックを提供することである。更なる例は、ユーザがユーザインタラクション要素をホバリング、クリック、又はタッチするときに、ユーザに視覚的フィードバックを提供することである。一例は、また、例えば拡張現実インタフェースを介して、ユーザがユーザインタラクション要素とインタラクトしていることを示す、触覚フィードバックをユーザに提供することである。
更なる例は、ユーザがユーザインタラクション要素とインタラクトしているときに、ボタンのようなインタラクション要素を拡大することである。例えば、ユーザが２Ｄ要素との直接タッチ３Ｄインタラクション、例えばボタンの直接タッチ「押下」を可能にするように提供されることもできる。

【0074】

別の例は、視線制御を提供し、ドウェルボタン押下機能を実装することである。視線の場合、プロセッサは、要素間の最小間隔を提供して、ユーザによる制御を容易にすることができる。

【0075】

したがって、プロセッサは、２Ｄ画面及びマウス及びキーボードとのインタラクションのために設計されたユーザインタフェースを、ジェスチャ、視線、頭部インタラクション、音声コマンド等を収容することができるユーザインタフェースに変換する。

【0076】

プロセッサは、視線ベースのボタン選択に役立つコライダ間の最小間隔などの拡張現実ユーザインタフェース設計ルールを提供されることができ、拡張現実ユーザインタフェース設計ルールの別の例は、例えば、インタラクションを可能にするために３Ｄ深度を必要とする直接タッチインタラクション２Ｄコライダに対して、提供されることができるコライダの深度を提供することである。更なるルールとして、ボタンの最小又は最大サイズが、決定されることができる。例えば、ボタンは、誰かが視線又は頭部姿勢でそれを選択することを可能にするために、最小サイズを持たなければならない。最小サイズは、ボタンがユーザからどれくらい離れているかにも依存する。更なるルールは、重力井戸を提供することであることができ、これは、視線において有用であり、重力井戸は、ボタンから隣接するボタンに脇見することをより困難にし得る。これは、選択されたオブジェクト上に視線を保持し、オブジェクト間のフリッカを回避するのに役立つ。

【0077】

一例は、更に、頭部姿勢制御及びタブボタン押下を提供することである。

【0078】

マッピングは、拡張現実ユーザインタラクション要素に向けたユーザ入力を、ネイティブアプリケーションにフィードバックされることができる入力に割り当て、変換することに関する。例えば、ネイティブアプリケーションがマウスの位置及び状態（上／下）を受け入れることのみができる場合、プロセッサは、拡張現実ユーザインタラクションをそれらの単純化されたインタラクションにマッピングしなければならない。一例として、マウス位置は、２Ｄ仮想画面上への頭部姿勢光線投影によってユーザを制御されることができ、マウスを上下に動かすために、ピンチジェスチャ状態、又は音声コマンド「マウスダウン」、「マウスアップ」若しくは「選択」が、使用されることができる。マウス位置の別の例は、２Ｄ仮想画面上への視線投影を使用することである。３秒間の滞留を提供することは、更なる改善のために提供され得る。更なる例は、画素位置にマッピングされた音声コマンドを使用することである。マウスを上下に動かすために、ボタンの音声コマンドが、適用されることができる。更なる例は、ボタンコライダを提供し、マウスを動かすことであり、人差し指の位置とボタンコライダとの間の衝突が、提供される。

【0079】

更なるオプションでは、拡張現実ユーザインタラクション要素が、音声コマンドを生成し、画面内の特定のピクセル位置にマッピングすることによって提供される。これは、いくつかのインタフェースのマウスオーバー上に現れる「ラベル」を解析することによって提供されることができる。これは、インタフェース上に現れるボタンの名前を解析することによっても提供されることができる。これは、また、ユーザが拡張現実ユーザインタラクションボタンにラベル付けすることを可能にすることによって、例えば、それを見て、次のように言うことによって、すなわち、音声ラベル「一時停止」を作成することによって、又はユーザがボタンを描写し、そのボタンのための音声コマンドのリストを追加することを可能にする別個のオフライン拡張現実ユーザインタラクションツールを通して、提供されることもできる。これは、ネイティブアプリケーションから音声ラベル－ピクセルマッピングを送信することができるインタフェースを有することによっても提供されることができる。これは、また、繰り返されるボタン押下のシーケンスに対して音声ラベルを作成することができるインタフェースを有することによっても提供されることができる。例えば、次のフレームボタンが存在する画像レビュー画面の場合、新しい音声ラベル「５フレームスキップ」は、次のフレームボタンを５回押すことを暗示する。

【0080】

一態様では、２Ｄアプリケーションの提示のために使用されるデータは、２Ｄ提示としてユーザに通常表示されるそれぞれのユーザインタフェース要素を抽出するために使用される。２Ｄ世界のインタフェース要素は、複合現実世界のユーザインタフェースフィーチャに変換される。ユーザは、複合現実世界で入力を提供し、入力は、２Ｄアプリケーションを制御するために２Ｄ世界にマッピングし戻される。

【0081】

基本的に、入力システムを使用してユーザ入力をシミュレートし、既存のソフトウェアと統合することなく２Ｄ画面からインタラクション可能なインタフェースを検出するプログラムが、提供される。言い換えれば、入力システムは、ソフトウェアレベルでインタラクション可能なソースと統合することなく、２Ｄ画面からインタラクション可能なインタフェースを検出するためにユーザ入力をシミュレートするために使用される。

【0082】

一態様では、拡張現実の使用は、表示画面に適用され、それらの画面とのインタラクションが、提供される。使用分野の例は、例えばウェアラブル拡張現実装置及び他の２Ｄアプリケーションの適用の文脈における、ヘルスケアである。

【0083】

複合又は拡張現実への２Ｄアプリケーションの統合は、例えば介入ガイド療法システムに適している。

【0084】

図４は、処置室における風景３００と、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するためのシステムの使用を示す。対象３０２は、対象サポート上に配置される。Ｃアーム撮像システムなどのＸ線撮像システム３０４が、提供され得る。モニタ構成３０６は、マウス等の形態のインタフェースのオプションと共に従来の２Ｄアプリケーションのコンテンツを示す背景において提供される。第１のスタッフは、第１のヘッドマウント拡張現実装置３０８を装着している。第１のユーザは、拡張現実提示３１０の形態の２Ｄアプリケーションのコンテンツを提供され、拡張現実装置とインタラクトし、したがって拡張現実装置を用いて２Ｄアプリケーションを制御する。オプションでは、背景におけるモニタは、省略される。オプションとして、第２のスタッフは、第２のヘッドマウント拡張現実装置３１２を装着している。第２のユーザは、拡張現実提示３１４の形態の２Ｄアプリケーションの同じ又は異なるコンテンツを提供され、拡張現実装置とインタラクトし、したがって拡張現実装置を用いて２Ｄアプリケーションを制御する。

【0085】

オプションでは、複合現実提示構成は、ウェアラブル拡張現実装置を有する拡張現実提示構成である。オプションとして、複合現実表示アプリケーションを現実に対するオーバーレイとして提示するように構成された第１のヘッドマウント拡張現実装置３０８又は第２のヘッドマウント拡張現実装置３１２のようなヘッドマウントディスプレイが、提供される。

【0086】

拡張現実ディスプレイの例は、介入スイート内の少なくとも１人によって装着されるヘッドマウントディスプレイである。これは、代わりに、リードシールドを使用するヘッドアップディスプレイなどのシースルー画面であることができる。これは、RealViewホログラフィックディスプレイと同様であることができる。更なるオプションは、仮想現実ディスプレイである。

【0087】

一例では、ホロレンズが、仮想画面を表示するために提供される。仮想画面のコンテンツを生成する拡張現実アプリケーションは、ＤＶＩ出力インタフェースを介してネイティブアプリケーションからの画面出力を把持するフレームグラバを有する。ユーザインタラクションコントローラは、フレームグラバからの仮想画面を解釈し、拡張現実に特有のコライダ及びユーザインタラクションルールなどの追加のユーザインタラクション要素を生成する。ユーザインタラクションコントローラは、ユーザ入力を仮想画面に変換し、それをネイティブアプリケーションへのマウス入力にマッピングする。

【0088】

追加又は代替として提供されるオプションでは、複合現実提示構成は、ウェアラブル仮想現実装置を有する仮想現実提示構成である。オプションとして、仮想現実表示アプリケーションを提示するように構成されたヘッドマウントディスプレイが、提供される。

【0089】

本システムのオプションでは、拡張現実提示構成の一例は、少なくとも１人のスタッフによって使用され、仮想現実提示構成の一例は、少なくとも１人の更なるスタッフによって使用される。

【0090】

一例として、詳細には示されていないが、２Ｄアプリケーションを提示するように構成されたモニタ構成３０６のようなモニタが、提供される。オプションとして、ユーザインタラクションデータを２Ｄアプリケーションに転送するためのインタフェースが、提供される。ユーザインタラクションデータは、複合現実提示構成のユーザ入力装置によって提供される。

【0091】

拡張現実アプリケーションの場合、一例では、現実の２Ｄアプリケーションを示すモニタにオーバーレイされるように複合現実表示アプリケーションを提示するように提供される。

【0092】

仮想現実アプリケーションの場合、一例では、現実と同じ空間位置（仮想提示に示される処置室のコンテキスト内）で仮想世界におけるモニタの提示を提示するように提供される。

【0093】

一例として、移動されたトーテムの認識を含むジェスチャ認識、音声コマンド、頭部追跡、視標追跡、並びにコントローラ、リモコン、及びキーボードを有する外部装置のグループのうちの少なくとも１つが、複合現実提示構成におけるユーザインタラクションのために提供される。

【0094】

図５は、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するための更なるセットアップ４００を概略的に示す。コンピュータモニタ構成４０２が、示されている。ネイティブアプリケーション４０４は、コンピュータモニタ構成４０２上で実行されるように提供される。ヘッドマウント拡張現実装置４０６は、拡張現実アプリケーション４０８を実行するために示される。ユーザインタラクション（又はユーザインタフェース）コントローラ４１０が、提供される。第１の矢印４１２は、画面インタフェースを示し、第２の矢印４１４は、制御インタフェースを示す。

【0095】

図６は、複合現実アプリケーションにおいて２Ｄアプリケーションを制御するための別のセットアップ５００を概略的に示す。コンピュータモニタ構成５０２が、示されている。ネイティブアプリケーション５０４は、コンピュータモニタ構成５０２上で実行されるように提供される。表示イビデオ出力５０６及びマウス入力５０８が、提供される。更に、ヘッドマウント拡張現実装置５１０は、拡張現実アプリケーション５１２を実行するために示される。ユーザインタラクション（又はユーザインタフェース）コントローラ５１４が、提供される。更に、フレームグラバ５１６及び仮想画面５１８が、示されている。第１の矢印５２０は、表示ビデオ出力５０６からフレームグラバ５１６への第１のインタフェースを示し、第２の矢印５２２は、ユーザインタラクションコントローラ５１４からマウス入力５０８への第２のインタフェースを示す。第２の双方向インタフェース５２４は、ユーザインタラクションコントローラ５１４と仮想画面５１８との間に示される。更なる矢印５２６は、フレームグラバ５１６と仮想画面５１８との間のインタフェースを示す。更に別の矢印５２８は、フレームグラバ５１６とユーザインタラクションコントローラ５１４との間のインタフェースを示す。

【0096】

図７は、２Ｄアプリケーションのそれぞれのユーザインタフェース部分のための明るい線のフレームで示されるコライダ６０２、６０４、及び６０６を有する改良された拡張現実ユーザインタフェース６００の例を示す。

【0097】

図８は、ユーザインタフェース要素を拡張現実ユーザインタフェース要素７０２、７０４、及び７０６に変換する例を有するユーザインタフェース７００を示す。

【0098】

図９は、左側部分において２Ｄ画面ユーザインタフェース８００の例、中央部分８００'において拡張コライダに変換された抽出されたボタン位置、及び右側部分８００'において視線に対する最小ボタン間隔要件の拡張現実ユーザインタフェース設計ルールを示す。

【0099】

一例として、更に図示されていないが、プロセッサは、インタラクティブ要素をユーザインタフェースフィーチャに変換するために、識別されたインタラクティブ要素の周りにコライダを作成するように構成される。コライダは、複数の３Ｄフィードバックフィーチャを可能にする。

【0100】

オプションでは、プロセッサは、識別されたインタラクティブ要素に重力井戸を提供して、ユーザがインタラクティブ要素の位置に視線を保持するのを助けるように構成される。

【0101】

ウェアラブル拡張現実は、ユーザにインタラクションの一意のセットを提供する。２Ｄアプリケーションとのインタラクションを拡張現実（又は複合現実）に転送することによって、レガシー２Ｄコンテンツとインタラクトすることが可能である。画面は、利用可能なインタラクション及びユーザインタフェース要素に関する情報を伴わずに拡張現実アプリケーションにストリーミングされるが、ユーザは、例えば、ボタンを間接的に押すために、その画面とインタラクトすることができる。転送は、拡張現実環境内のインタラクタの位置の知識を提供し、これは、システムの機能性及び実用性を増加させる。一例として、視標追跡インタラクションが、有効にされる。改善として、重力井戸が、作成されることができ、これは、ユーザが視線によって何かを選択又はクリックするために、特定の位置に視線を保持するのを助ける。重力井戸がインタフェース内のどこに存在すべきかの知識に基づいて、このタイプの機能性も、オプションで提供される。

【0102】

拡張現実アプリケーションに対する２Ｄアプリケーションのユーザインタフェースインタラクタの識別及び抽出に基づいて、サードパーティインタフェース及びインタラクタが、拡張現実システムに統合されることができる。識別及び抽出は、また、２Ｄアプリケーションインタフェースの更新、及びその特定のインタフェースのすべての可能な構成も、拡張現実アプリケーションに反映されることを保証する。

【0103】

識別及び抽出は、２Ｄインタフェースからの情報の動的抽出を提供し、拡張現実インタラクションを強化するためにその情報を使用する。これは、複数のインタラクションタイプ、例えば、視線を可能にし、したがって、ユーザ体験を改善し、インタラクションの効率を高め、２Ｄシステムとインタラクトするときの誤差を低減する。

【0104】

用語「対象」は、個体とも称され得る。「対象」は、更に、患者とも称され得るが、この用語は、任意の病気又は疾患が対象に実際に存在するかどうかを示さないことに留意されたい。

【0105】

一例では、上記の例のうちの１つによる装置を制御するためのコンピュータプログラム又はプログラム要素が、提供され、このプログラム又はプログラム要素は、処理ユニットによって実行されるとき、上記の方法例のうちの１つの方法例の方法ステップを実行するように構成される。本発明の別の例示的な実施形態において、適切なシステム上で、前述の実施形態のうちの１つによる方法の方法ステップを実行するように構成されることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が、提供される。

【0106】

したがって、コンピュータプログラム要素は、コンピュータユニットに記憶されてもよく、又は本発明の実施形態の一部であってもよい１より多いコンピュータユニットにわたって分散されてもよい。この計算ユニットは、上述の方法のステップを実行する又はその実行を誘導するように構成されてもよい。更に、それは、上述の装置の構成要素を動作させるように構成されてもよい。計算ユニットは、自動的に動作するように、及び／又はユーザのオーダを実行するように、構成されることができる。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされてもよい。従って、データプロセッサは、本発明の方法を実行するように構成されてもよい。

【0107】

本発明の態様は、コンピュータによって実行され得るコンピュータ可読記憶装置上に記憶されたコンピュータプログラム命令の集合であり得る、コンピュータプログラム製品において実施されてもよい。本発明の命令は、スクリプト、解釈可能プログラム、ダイナミックリンクライブラリ（ＤＬＬ）又はＪａｖａクラスを含むが、これらに限定されない、任意の解釈可能又は実行可能コードメカニズムあってもよい。命令は、完全な実行可能プログラム、部分的な実行可能プログラムとして、既存のプログラムに対する修正（例えば、更新）又は既存のプログラムに対する拡張（例えば、プラグイン）として提供されることができる。更に、本発明の処理の一部は、複数のコンピュータ又はプロセッサに分散されてもよい。

【0108】

上述のように、処理ユニット、例えばコントローラは、制御方法を実施する。このコントローラは、必要とされる様々な機能を実行するために、ソフトウェア及び／又はハードウェアを用いて、様々な方法で実施されることができる。プロセッサは、必要とされる機能を実行するために、ソフトウェア（例えば、マイクロコード）を使用してプログラムされ得る１つ以上のマイクロプロセッサを用いるコントローラの一例である。しかしながら、コントローラは、プロセッサを用いるか否かにかかわらず実施され得、幾つかの機能を実行するための専用ハードウェアと、他の機能を実行するためのプロセッサ（１つ以上のプログラムされたマイクロプロセッサ及び関連する回路）との組み合わせとして実施されてもよい。

【0109】

本開示の様々な実施形態に用いられ得るコントローラ構成要素の例は、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むが、これらに限定されない。

【0110】

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートの手段によって既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラムとの両方を包含する。

【0111】

更に、コンピュータプログラム要素は、上述の方法の例示的な実施形態の手順を満たすために必要なすべてのステップを提供することができてもよい。

【0112】

本発明の更なる例示的な実施形態によれば、ＣＤ-ＲＯＭなどのコンピュータ可読媒体が、提示され、コンピュータ可読媒体は、それに記憶されたコンピュータプログラム要素を有し、そのコンピュータプログラム要素は、前述のセクションによって説明される。コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶及び／又は配布され得るが、インターネット又は他の有線もしくは無線通信システムを介してなど、他の形態で配布されてもよい。

【0113】

しかしながら、コンピュータプログラムは、ワールドワイドウェブのようなネットワーク上で提示されてもよく、そのようなネットワークからデータプロセッサのワーキングメモリにダウンロードされることができる。本発明の更なる例示的な実施形態によれば、コンピュータプログラム要素をダウンロード可能にするための媒体が、提供され、このコンピュータプログラム要素は、本発明の前述の実施形態のうちの１つによる方法を実行するように構成される。

【0114】

本発明の実施形態は、それぞれ異なる主題を参照して説明されることに留意されたい。特に、いくつかの実施形態は、方法タイプの請求項を参照して説明され、他の実施形態は、装置タイプの請求項を参照して説明される。しかしながら、当業者は、上記及び下記の説明から、別段の通知がない限り、１つのタイプの主題に属するフィーチャの任意の組み合わせに加えて、異なる主題に関するフィーチャ間の任意の組み合わせも、本出願で開示されると見なされることを理解するであろう。しかしながら、全てのフィーチャは、組み合わされて、フィーチャの単純な合計よりも高い相乗効果を提供することができる。

【0115】

本発明は、図面及び前述の説明において図示され、詳細に説明されているが、そのような図示及び説明は、例示的又は典型的であり、限定的ではないと見なされるべきである。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、開示及び従属請求項の検討から、請求項に記載の発明を実施する際に当業者によって理解され、達成されることができる。

【0116】

請求項において、単語「有する」は、他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は、複数性を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に記載されたいくつかの項目の機能を満たしてもよい。特定の手段が相互に異なる従属請求項において言及されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】