特許 7146772 コンテクストオーバレイを提供する拡張現実インターベンションシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-26

(45)【発行日】2022-10-04

(54)【発明の名称】コンテクストオーバレイを提供する拡張現実インターベンションシステム

(51)【国際特許分類】

   A61B 6/00 20060101AFI20220927BHJP

   A61B 6/10 20060101ALI20220927BHJP

   A61B 5/00 20060101ALI20220927BHJP

   A61B 34/10 20160101ALI20220927BHJP

   G06F 3/01 20060101ALI20220927BHJP

   G06F 3/04815 20220101ALI20220927BHJP

   G16H 40/63 20180101ALI20220927BHJP

【ＦＩ】

A61B6/00 320Z

A61B6/10 355

A61B5/00 D

A61B34/10

G06F3/01 510

G06F3/04815

G16H40/63

【請求項の数】 15

(21)【出願番号】P 2019537767

(86)(22)【出願日】2018-01-15

(65)【公表番号】

(43)【公表日】2020-04-09

(86)【国際出願番号】 EP2018050806

(87)【国際公開番号】W WO2018134140

(87)【国際公開日】2018-07-26

【審査請求日】2020-12-21

(31)【優先権主張番号】62/447,069

(32)【優先日】2017-01-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(72)【発明者】

【氏名】フレクスマン モリー ララ

(72)【発明者】

【氏名】ポポヴィク アレクサンドラ

(72)【発明者】

【氏名】パンセ アシシュ

【審査官】松岡 智也

(56)【参考文献】

【文献】特開２０１４－１５５２０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０３６３９７９（ＵＳ，Ａ１）

【文献】特開２０１４－１２０００６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００－５／０１、６／００－６／１４、３４／００－９０／９８

Ｇ０６Ｆ ３／０１、３／０４８－３／０４８９５

Ｇ０６Ｑ ５０／２２

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

医療インターベンションシステムにおいて、
複数の制御装置を含み、前記複数の制御装置によって制御されるインタラクティブ医療装置と、
ユーザにより着用され、前記インタラクティブ医療装置を使用する環境におけるインターベンション処置中に前記ユーザにより見られるように構成される拡張現実表示装置と、
前記インタラクティブ医療装置を使用する前記インターベンション処置を実行する前記ユーザを支援するように前記拡張現実表示装置上に示される、前記複数の制御装置のうちの１以上に対するコンテクストオーバレイを生成するように構成されるグラフィック処理モジュールと、
を有するシステム。

【請求項2】

前記システムが、
前記インターベンション処置中に前記ユーザ、対象及び／又は前記インタラクティブ医療装置からフィードバックを受け取るように構成されるフィードバック装置、
を有し、
前記グラフィック処理モジュールが、前記フィードバックを受け取り、前記フィードバックに基づいて前記コンテクストオーバレイを提供するように更に構成される、
請求項１に記載のシステム。

【請求項3】

前記グラフィック処理モジュールが、少なくとも１つの制御装置を識別するために前記コンテクストオーバレイを生成するように更に構成される、請求項１に記載のシステム。

【請求項4】

前記グラフィック処理モジュールが、生成される前記コンテクストオーバレイを決定するのに前記ユーザからの入力を受け取るように更に構成される、請求項１に記載のシステム。

【請求項5】

前記グラフィック処理モジュールが、前記ユーザにより実行されるべき前記インターベンション処置のステップを識別するために前記コンテクストオーバレイを生成するように更に構成される、請求項１に記載のシステム。

【請求項6】

前記インターベンション処置のステップを識別することが、前記ユーザにより操作されるべき１以上の特定の制御装置を識別し、前記制御装置の操作を記述することを有する、請求項５に記載のシステム。

【請求項7】

前記インターベンション処置中に前記ユーザ、対象及び／又は前記インタラクティブ医療装置からフィードバックを受け取るように構成されるフィードバック装置、前記複数のコンポーネントの前記少なくとも１つのコンポーネントからの信号の履歴又はデータベースの少なくとも１つからフィードバックを受け取り、
前記フィードバックに基づいて前記インターベンション処置に対して前記ユーザが実行するステップを決定し、
前記ステップに対して生成されるべき前記コンテクストオーバレイに関して信号を前記グラフィック処理モジュールに送信する、
ように構成された決定モジュール、
を有する、請求項５に記載のシステム。

【請求項8】

前記グラフィック処理モジュールが、前記環境における特定の領域を識別するために前記コンテクストオーバレイを生成するように更に構成される、請求項１に記載のシステム。

【請求項9】

前記グラフィック処理モジュールが、前記インタラクティブ医療装置のＣアームに対する所望の位置を識別するために前記コンテクストオーバレイを生成するように更に構成される、請求項８に記載のシステム。

【請求項10】

前記システムが、
前記インタラクティブ医療装置のＣアームに対する目標アイソセンタ及び前記Ｃアームに対する現在のアイソセンタの位置を決定するように構成される位置モジュール、
を有し、
前記グラフィック処理モジュールが、前記位置モジュールから前記目標アイソセンタ及び現在のアイソセンタの位置を受け取り、前記環境における前記目標アイソセンタを識別するための前記コンテクストオーバレイ及び前記現在のアイソセンタを識別するための他のコンテクストオーバレイを生成するように更に構成される、
請求項１に記載のシステム。

【請求項11】

前記グラフィック処理モジュールが、前記インターベンション処置を実行するために物理的な障害があってはならない少なくとも１つの領域を識別するために前記コンテクストオーバレイを生成するように更に構成される、請求項１に記載のシステム。

【請求項12】

前記システムが、
前記環境における前記物理的な障害となりうる物体の位置を決定し、前記物体の位置を前記物理的な障害があってはならない少なくとも１つの領域と比較するように構成される場所モジュール、
を有し、
前記グラフィック処理モジュールが、取り除かれなければならない、前記物理的な障害があってはならない少なくとも１つの領域内の物体を識別するために前記コンテクストオーバレイを生成するように更に構成される、
請求項１１に記載のシステム。

【請求項13】

インタラクティブ医療装置と、ユーザにより着用され、前記インタラクティブ医療装置を使用してインターベンション処置を実行しながら前記ユーザにより見られるように構成される拡張現実表示装置と、グラフィック処理モジュールとを有する医療インターベンションシステムの作動方法において、
前記グラフィック処理モジュールが、前記拡張現実表示装置上に生成される、前記インタラクティブ医療装置の制御装置に対するコンテクストオーバレイを決定するステップと、
前記グラフィック処理モジュールが、前記インターベンション処置の前記ユーザの実行を支援するように前記拡張現実表示装置上に前記コンテクストオーバレイを生成するステップと、
を有する方法。

【請求項14】

前記インターベンション処置中に少なくとも１つのフィードバック装置により取得された前記ユーザ、対象及び／又は前記インタラクティブ医療装置からのフィードバックに基づいて前記コンテクストオーバレイを決定するステップを更に有する、請求項１３に記載の方法。

【請求項15】

前記コンテクストオーバレイが、前記ユーザにより操作されるべき１以上の特定の制御装置を識別し、前記制御装置の操作を記述することにより前記ユーザにより実行されるべき前記インターベンション処置の少なくとも１つのステップを識別するように構成される、請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、拡張現実システム及び方法、より具体的には、コンテクストオーバレイ（contextual overlays）を特徴とする拡張現実インターベンション処置を実行するシステム及び方法に関する。

【背景技術】

【0002】

ハイブリッド手術室（ＯＲ）及びカテーテル処置室（cathlab）は、幅広い範囲の撮像プロトコルをサポートする。これらのプロトコルの数及びタイプは、処置の各ステップに対する正しいプロトコルを最適に見つけるように複雑であることができる。加えて、処置中に支援なしで新しいプロトコル、フィーチャ及びツールを導入しようと試みる場合に課題が生じる。

【0003】

一例において、インターベンションＸ線室は、撮像を最適化し、様々な画像フォーマットを取得し、複雑なプロトコルを実行するように大規模な範囲のフィーチャ及びツールを提供する。ユーザインタラクションは、典型的には、撮像モジュール、幾何学モジュール、ｘｐｅｒモジュール及びレビューモジュールのようなモジュールにより、並びにキーボード、マウス及び（データ及びレビューモニタのような）モニタを介する典型的なオンスクリーンインタラクションにより実行される。

【0004】

拡張現実は、一般的に、ライブ画像ストリームが、追加のコンピュータ生成情報を追加される状況を指す。ライブ画像ストリームは、目、カメラ、スマートフォン、タブレット等を使用して提供されることができる。この画像ストリームは、前記ユーザに対してディスプレイにより拡張される。拡張された表示は、眼鏡、コンタクトレンズ、投影又はライブ画像ストリーム装置（例えばスマートフォン、タブレット等）を介してユーザに伝達されることができる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

ユーザに支援又はガイダンスを提供する又はインターベンション処置のユーザの実行を強化するようにコンテクストオーバレイを含む拡張現実インターベンションシステムを提供することは、有利である。

【課題を解決するための手段】

【0006】

本原理によると、医療インターベンションシステムが、提供される。前記医療インターベンションシステムは、複数のコンポーネントを含むインタラクティブ医療装置を含む。拡張現実表示装置は、前記インタラクティブ医療装置を使用する環境においてインターベンション処置の実行中にユーザにより見られるように構成される。グラフィック処理モジュールは、前記インタラクティブ医療装置を使用する前記インターベンション処置の前記ユーザの実行を支援又は強化するように前記拡張現実表示装置上にコンテクストオーバレイを生成するように構成される。

【0007】

他の実施例において、医療インターベンションシステムが、提供される。前記医療インターベンションシステムは、１以上のプロセッサ、メモリ及びインタフェースを含むワークステーションを含む。前記医療インターベンションシステムは、複数のコンポーネントを含むインタラクティブ医療装置をも含む。拡張現実表示装置は、前記インタラクティブ医療装置を使用する環境においてインターベンション処置の実行中にユーザにより見られるように構成される。グラフィック処理モジュールは、前記インタラクティブ医療装置を使用する前記インターベンション処置の前記ユーザの実行を強化する又は前記ユーザを支援するように前記拡張現実表示装置上にコンテクストオーバレイを生成するように構成される。

【0008】

他の実施例において、インタラクティブ医療装置を使用する環境においてインターベンション処置のユーザの実行を支援又は強化する方法が、提供される。前記方法は、拡張現実表示装置上に生成されるコンテクストオーバレイを決定するステップを含む。前記方法は、前記ユーザを支援する又は前記インターベンション処置の前記ユーザの実行を強化するように前記拡張現実表示装置上に前記コンテクストオーバレイを生成するステップをも含む。

【0009】

本開示のこれら及び他の目的、フィーチャ及び利点は、添付の図面と関連して読まれるべきである、実例的実施例の以下の詳細な記載から明らかになる。

【0010】

本開示は、以下の図を参照して好適な実施例の以下の記載を詳細に提示する。

【図面の簡単な説明】

【0011】

【図1】一実施例によるコンテクストオーバレイを提供する拡張現実インターベンションシステムを示すブロック／フロー図である。

【図2】モジュールに関連して各超現実表示装置上に表示されるコンテクストオーバレイの画像を示す。

【図3】モジュール及びインタラクティブ表示装置に関連して拡張現実表示装置上に表示される処置のステップを通してユーザをガイドするコンテクストオーバレイの画像を示す。

【図4】Ｃアームを持つ撮像装置に関連して拡張現実表示装置上に表示される現在の及び目標のアイソセンタに対するコンテクストオーバレイの画像を示す。

【図5】Ｃアームを持つ撮像装置に関連して拡張現実表示装置上の障害があってはならない領域を識別するコンテクストオーバレイの画像を示す。

【図6】一実施例によるインターベンション処置のユーザの実行を支援又は強化する方法を示すフロー図である。

【発明を実施するための形態】

【0012】

本原理によると、ユーザを支援若しくはガイドする又はインターベンション処置の実行を強化するコンテクストオーバレイを提供するように拡張現実を使用して前記インターベンション処置を実行するシステムが、提供される。前記システムは、インタラクティブ医療装置を使用する前記インターベンション処置の実行中にユーザにより見られるように構成されるヘッドマウント仮想現実システムのような拡張現実表示装置を含む。グラフィック処理モジュールは、前記ユーザを支援又はガイドする又は他の形で前記インターベンション処置の実行を強化するように前記拡張現実表示装置上にコンテクストオーバレイを生成するように構成される。

【0013】

前記グラフィック処理モジュールは、前記インタラクティブ医療装置のコンポーネント又は制御装置を識別し、前記コンポーネント又は制御装置に関する前記ユーザに対する命令を提供してもよいコンテクストオーバレイを生成するように構成される。前記コンテクストオーバレイは、前記ユーザにより実行されるべき処置のステップを識別し、前記処置の実行に対する命令を提供してもよい。前記コンテクストオーバレイは、前記インターベンション処置が実行される環境の特定の領域を識別してもよい。

【0014】

前記グラフィック処理モジュールは、カスタマイズされたコンテクストオーバレイを提供するように前記ユーザからの入力を受けてもよい。前記グラフィック処理モジュールは、処置のステップを動的に決定する又は前記環境における特定の対象又は関心領域を識別するように前記システムにおける入力されたコマンドのフィードバック及び履歴を受けてもよい。前記システムは、インターベンション処置及びインタラクティブ医療装置の前記処置の実施のワークフローに関して改善された明確性を提供する。前記システムは、インターベンション処置の実行の効率性及び精度を改善する。前記システムは、新しい装置又は前記インタラクティブ医療装置における処置に関して前記ユーザを識別及びガイドする。

【0015】

本発明が、医療インターベンションシステムに関して記載されるが、しかしながら、本発明の教示が、とても幅広く、いかなるインターベンションシステムにも適用可能であると、理解されるべきである。一部の実施例において、本原理は、複雑な生物学的又は機械的システムに対するインターベンション処置を実行するのに採用される。図面に描かれた要素は、ハードウェア及びソフトウェアの様々な組み合わせで実装されてもよく、単一の要素又は複数の要素において組み合わせられてもよい機能を提供してもよい。

【0016】

図面に示される様々な要素の機能は、専用ハードウェア及び適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアの使用により提供されることができる。プロセッサにより提供される場合、機能は、単一の専用プロセッサにより、単一の共有プロセッサにより、又は一部が共有されることができる複数の個別のプロセッサにより提供されることができる。更に、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すと解釈されるべきではなく、無制限に、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶する読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、不揮発性記憶装置等を暗示的に含むことができる。

【0017】

更に、本発明の原理、態様及び実施例をここに記載する全ての記述並びにその具体例は、構造的及び機能的同等物の両方を含むと意図される。加えて、このような同等物が、現在既知の同等物及び未来に開発される同等物（すなわち、構造にかかわらず同じ機能を実行する開発された要素）の両方を含むことが、意図される。したがって、例えば、ここに提示されたブロック図が、実例的なシステムコンポーネント及び／又は本発明の原理を実施する回路の概念図を表す。同様に、フローチャート、フロー図等が、コンピュータ可読記憶媒体において実質的に表され、コンピュータ又はプロセッサが明示的に示されているかどうかにかかわらず、コンピュータ又はプロセッサにより実行されると、理解される。

【0018】

更に、本発明の実施例は、コンピュータ又はいかなる命令実行システムにより使用する又は関連するプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラムの形を取ることができる。この記載の目的で、コンピュータ使用可能又はコンピュータ可読記憶媒体は、前記命令実行システム、装置又はデバイスにより使用する又は関連する前記プログラムを包含、記憶、通信、伝搬、又は輸送してもよい任意の装置であることができる。前記媒体は、電子、磁気、光、電磁、赤外、又は半導体システム（又は装置又はデバイス）又は伝搬媒体であることができる。コンピュータ可読記憶媒体の例は、半導体若しくは固体メモリ、磁気テープ、取り外し可能コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）読取専用メモリ（ＲＯＭ）、剛体磁気ディスク及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク－読取専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク－リード／ライト（ＣＤ－Ｒ／Ｗ）、ブルーレイ（登録商標）及びＤＶＤを含む。

【0019】

本明細書における本原理の「一実施例」又は「実施例」及び他の変形例に対する参照は、実施例に関連して記載された特定のフィーチャ、構造、特性等が、本原理の少なくとも１つの実施例に含まれることを意味する。したがって、明細書を通して様々な場所に現れる表現「一実施例において」又は「実施例において」及びその変形の出現は、必ずしも全て同じ実施例を参照するわけではない。

【0020】

以下の「／」、「及び／又は」及び「の少なくとも１つ」のいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合に、第１のリストされたオプション（Ａ）のみの選択、第２のリストされたオプション（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を含むことが意図される。他の例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」の場合、このような表現は、第１のリストされたオプション（Ａ）のみの選択、又は第２のリストされたオプション（Ｂ）のみの選択、又は第３のリストされたオプション（Ｃ）のみの選択、又は第１及び第２のオプション（Ａ及びＢ）のみの選択、又は第１及び第３のオプション（Ａ及びＣ）のみの選択、又は第２及び第３のオプション（Ｂ及びＣ）のみの選択、又は３つ全てのオプション（Ａ及びＢ及びＣ）の選択を含むことが意図される。これは、当業者により容易に理解されるように、リストされた多数のアイテムに対して、拡張されうる。

【0021】

層、領域又は材料のような要素が他の要素の「上」又は「上方」にあると称される場合、これは、他方の要素の直接的に上であることができる又は中間要素が存在してもよいと理解される。対照的に、要素が他の要素の「直接的に上」又は「すぐ上」にあると称される場合、中間要素は存在しない。要素が他の要素に「接続」又は「結合」されると称される場合、これは、他の要素に直接的に接続又は結合されることができるか、又は中間要素が存在してもよい。対照的に、要素が他の要素に「直接接続」又は「直接結合」されると称される場合、中間要素は存在しない。

【0022】

ここで、同様の番号が同じ又は同様の要素を表す図面、最初に図１を参照すると、インターベンション処置を実行するシステム１００が、一実施例によって実例として示される。システム１００は、インタラクティブ医療装置１０２を含む。例えば、一実施例において、前記インタラクティブ医療装置は、フィリップスＡＬＬＵＲＡ（登録商標）Ｘ線システムのようなインターベンション撮像装置である。前記インタラクティブ医療装置は、対象１１１の生体構造の再構成に対して構成される撮像システム１１３を含んでもよい。撮像システム１１３は、Ｘ線システム、超音波システム、ＩＶＵＳシステム、ナビゲーションシステム、コンピュータ断層撮影システム、磁気共鳴又は当技術分野において既知である他の撮像システムであってもよい。

【0023】

インタラクティブ医療装置１０２は、前記インターベンション処置を実行する際に前記ユーザにより使用されてもよい複数のコンポーネント１０４を含む。例えば、一実施例において、コンポーネント１０４は、対象１１１を撮像する撮像モジュール、前記システムのモータコンポーネントを位置決めする幾何学モジュール、前記システムにより取得されたデータをモニタするデータモニタリングモジュール等のような前記システムに対する特別機能を実行するように構成されたモジュールを含んでもよい。コンポーネント１０４は、キーボード、マウス、ジョイスティック、触覚装置のようなユーザ入力用のインタフェース装置１０９を含んでもよい。

【0024】

インタラクティブ医療装置１０２は、処置を監督及び／又は管理するワークステーション又はコンソール１０３を含んでもよい。ワークステーション１０３は、好ましくは、１以上のプロセッサ１０５並びにプログラム及びアプリケーションを記憶するメモリ１０７を含む。ディスプレイ１１４は、ユーザ１０１が、ワークステーション１０３及びそのコンポーネント及び機能又はシステム１００内の他の要素とインタラクトすることを可能にしてもよい。これは、ワークステーション１０３からのユーザフィードバック及びインタラクションを可能にするインタフェース装置１０９により更に容易化される。

【0025】

好適な実施例において、システム１００は、ユーザ１０１、環境１０８及び／又はインタラクティブ医療装置１０２及びコンポーネント１０４に関するフィードバックを取得するように構成される複数のフィードバック装置１１２をも含む。フィードバック装置１１２は、ユーザビュー及び／又は前記環境内の他のビュー、前記ユーザの視線追跡及び／又は頭部追跡のカメラフィードを提供する１以上のカメラ１１５であってもよい。フィードバック装置１１２は、ユーザ１０１又は環境１０８内の様々な対象、人若しくは装置からの音声を取得するマイクロフォンであってもよい。フィードバック装置１１２は、前記ユーザの身体の一部、装置１０２及び／又はコンポーネント１０４の位置を決定するセンサであってもよい。例えば、センサは、動きを追跡するように前記ユーザの腕又は頭部に配置されてもよい。フィードバック装置１１２は、加速度計、赤外線追跡、光ファイバ追跡、電磁（ＥＭ）追跡又は他の追跡メカニズムのような１以上の動き追跡装置であってもよい。

【0026】

システム１００は、手術室のような環境１０８におけるインターベンション処置の実行中にユーザにより見られるように構成される拡張現実表示装置１０６をも含む。例えば、一実施例において、拡張現実表示装置１０６は、ＧＯＯＧＬＥ ＧＬＡＳＳ（登録商標）、ＨＯＬＯＬＥＮＳ（登録商標）、ＭＡＧＩＣ ＬＥＡＰ（登録商標）、ＶＵＳＩＸ（登録商標）のようなヘッドマウント仮想現実システムであってもよい。しかしながら、拡張現実表示装置１０６は、当技術分野において既知であるいかなる他の仮想現実／拡張現実システムであってもよい。拡張現実表示装置１０６は、２又は３次元性能を持ちうる。

【0027】

前記システムは、前記ユーザの視野に対応する前記表示装置の特定の領域において拡張現実表示装置１０６上にコンテクストオーバレイ１１６を生成するように構成されるグラフィック処理モジュール１１０を更に含む。コンテクストオーバレイ１１６は、前記ユーザを支援又はガイドする又は前記インターベンション処置の前記ユーザの実行を強化するように前記ユーザの視野に対して特定的に配置された情報を前記ユーザに提供するように構成される。一部の実施例において、グラフィック処理モジュール１１０は、前記拡張現実表示装置上に生成する特定のオーバレイを決定するためにフィードバック装置１１２からフィードバックを受信するように構成されてもよい。拡張現実表示装置１０６は、ケーブルを介して前記システムに接続されてもよく、又は前記システムに無線で接続されてもよい。

【0028】

図２に示されるように、一実施例において、グラフィック処理モジュール１１０は、前記インタラクティブ医療装置のコンポーネント１０４上の様々な制御装置１１８に対してコンテクストオーバレイ１１６を生成するように構成される。一例として、図２における画像１２０は、前記制御装置及び前記制御装置の移動を識別する各制御装置１１８に対して拡張現実表示装置１０６上に生成されたコンテクストオーバレイ１１６を含むインタラクティブ医療装置１０２のモジュール１１７を示す。例えば、図２に示されるように、前記Ｃアームの位置を制御するノブ１１９は、ユーザ定義コンテクストオーバレイ「Ｃアームウィグル（Wiggle）」を含んでもよい。グラフィック処理モジュール１１０は、他のモジュール又は装置を含むインタラクティブシステムのいかなる他のコンポーネント１０４に対してもコンテクストオーバレイ１１６を生成するように、構成されてもよい。

【0029】

グラフィック処理モジュール１１０は、メモリ１０７に記憶されたデータベース１２２から前記コンテクストオーバレイに対する情報を受けてもよい。好適な実施例において、グラフィック処理モジュール１１０は、コンテクストオーバレイ１１６において表示されるべき情報に関してインタフェース１０９を介してユーザ１０１からの入力を受けるように構成されてもよい。これは、前記ユーザが前記ユーザの優先傾向及び／又は実行される特定の処置に基づいて前記コンテクストオーバレイをカスタマイズすることを可能にする。コンテクストオーバレイ１１６は、様々なコンポーネント又は制御装置上に配置される物理的ステッカのような既存の製品より明確であり、より包括的であり、よりカスタマイズ可能である、インタラクティブ装置１０２のコンポーネント及び制御装置に対する情報を識別及び提供する。

【0030】

グラフィック処理モジュール１１０は、処置の様々なステップを通して前記ユーザをガイドするコンテクストオーバレイ１１６を生成するように構成されてもよい。一実施例において、前記処置のステップは、データベース１２２に記憶され、グラフィック処理モジュール１１０は、データベース１２２から適切なコンテクストオーバレイ１１６に対する情報を受け取る。グラフィック処理モジュール１１０は、コンテクストオーバレイ１１６をカスタマイズするためにインタフェース１０９を介して前記ユーザからの入力を受け取るように構成されてもよい。

【0031】

特定の実施例において、システム１００は、前記ユーザが実行する適切なステップを決定するために、データベース１２２から実行される前記処置のステップに関する情報を、及びフィードバック装置１１２からフィードバックを、又はモジュールのような前記システムのコンポーネントから信号の履歴を受け取るように構成される決定モジュール１２４を含んでもよい。決定モジュール１２４は、この場合、コンテクストオーバレイ１１６に関する情報をグラフィック処理モジュール１１０に送信するように構成される。

【0032】

例えば、インタラクティブインターベンションＸ線製品における目標生体構造の３Ｄ再構成の実行は、しばしば、複雑であり、正確にかつ特定の順序で実行されるべき多くのステップを要求する処置を伴う。多くのモジュール、制御装置、スクリーン及び入力装置は、ユーザにとって分かりにくく、結果として前記インターベンション処置の実行において誤り及び低減された効率を生じる。

【0033】

目標生体構造の３Ｄ再構成を生成するために、前記目標生体構造は、第一に、アイソセンタに配置（isocentered）されてもよく、これにより、前記撮像装置の前記Ｃアームは、対象１１１の目標生体構造が画像の中心に留まる形で、前記目標生体構造の周りで回転する経路を取る。前記目標生体構造をアイソセンタに配置するために、前記ユーザは、典型的には、前記生体構造が中心になるまで横位置における前記Ｃアームを用いて台を上下に移動しなくてはならない。前記ユーザは、次いで、前記目標生体構造が中心になるまでＡＰ位置における前記Ｃアームを用いて左右及び前後に前記台を移動してもよい。この処置は、時間がかかるかもしれず、蛍光透視ガイダンスの下での前記台の移動を要求する。

【0034】

前記目標生体構造がアイソセンタに配置された後に、前記ユーザは、画像取得プロトコルを実行してもよく、Ｃアーム運動の終了及び開始位置は、前記Ｃアームがいかなる物体にもぶつかることなしに回転運動により自由に移動することができ、前記アームが前記終了及び開始位置に到達しうることを保証するように試験される。しかしながら、この処置の実行における問題は、アイソセンタ配置が正確に決定されない、前記ユーザが前記終了及び開始位置を通して前記装置を移動するのに正しいボタンを押さない、又は前記Ｃアームが経路内に障害を持つことにより、頻繁に生じる。拡張現実表示装置１０６上のコンテクストオーバレイ１１６の生成は、これらの問題を減少又は防止し、前記インターベンション処置の効率を増大するように前記ユーザに十分な情報を提供する。

【0035】

例えば、図３に示されるように、画像１２６－１３１は、アイソセンタ配置が実行された後に画像取得プロセスを実行するための幾何学モジュール１３２及びインタラクティブ表示装置１３４に関連した拡張現実表示装置１０６上に表示されるコンテクストオーバレイ１１６を示す。グラフィック処理モジュール１１０により生成されたコンテクストオーバレイ１１６は、各ステップの順序に関する識別、前記ステップ及び／若しくは前記モジュールの特定の制御を実行する命令又は前記ユーザが動作を実行する前記インタラクティブ表示装置の領域を含む。

【0036】

一例として、画像１２６は、インタラクティブ表示装置１３４の下に生成され、「ステップ１：蛍光透視プロトコルを選択する」を宣言するコンテクストオーバレイ１３５を示す。円を有するコンテクストオーバレイ１４１は、蛍光透視プロトコルを選択するために前記ユーザが押す又は他の形で操作する必要のある、インタラクティブ表示装置１３４の特定の領域の上に生成される。

【0037】

画像１２７は、モジュール１３２の下に生成され、「ステップ２：台の高さを調整することにより横位置、アイソセンタを呼び出す」を宣言するコンテクストオーバレイ１３６を示す。前記横位置を呼び出し、前記台の高さを調整するための特定のボタン及びノブは、これらの制御装置の上に拡張現実表示装置１０６上で円１４２ａ、１４２ｂを付けられる。

【0038】

画像１２８は、モジュール１３２の下に生成され、「ステップ３：台のＬ／Ｒを調整することによりＡＰ位置、アイソセンタを呼び出す」を宣言するコンテクストオーバレイ１３７を示す。画像１２８は、これらの特定のステップを実行するために前記ユーザにより操作されなくてはならない制御装置の周りに拡張現実表示装置１０６上に配置される円を有するコンテクストオーバレイ１４３ａ、１４３ｂをも示す。

【0039】

画像１２９は、インタラクティブ表示装置１３４の下に生成され、「ステップ４：ｘｐｅｒＣＴプロトコルを選択する」を宣言するコンテクストオーバレイ１３８を示す。円を有するコンテクストオーバレイ１４４は、ｘｐｅｒＣＴプロトコルを選択するのに前記ユーザが押す又は他の形で操作する必要のあるインタラクティブ表示装置１３４の特定の領域の上に生成される。

【0040】

画像１３０は、モジュール１３２の下に生成され、「ステップ５：終了位置を呼び出す」を宣言するコンテクストオーバレイ１３９を示す。画像１３０は、この特定のステップを実行するために前記ユーザにより押されなければならないボタンの周りに拡張現実表示装置１０６上に位置する円を有するコンテクストオーバレイ１４５をも示す。

【0041】

画像１３１は、モジュール１３２の下に生成され、「ステップ６：開始位置を呼び出す」を宣言するコンテクストオーバレイ１４０を示す。画像１３１は、この特定のステップを実行するために前記ユーザにより押されなければならないボタンの周りに拡張現実表示装置１０６上に位置する円を有するコンテクストオーバレイ１４６をも示す。これらの特定の実施例が、前記ユーザが操作しなければならない制御装置を識別するのに円の形状のコンテクストオーバレイ１４１を示しているが、点滅、色符号化輪郭、矢印等のような、いかなる他の標示も、前記コンテクストオーバレイに対して使用されてもよい。一実施例において、グラフィック処理モジュール１１０は、操作されるべき制御装置を識別するためのオーバレイの特定の構成に関して前記ユーザからの入力を受け取るように構成されてもよい。前記ユーザが、正しいパネル又はスクリーンを見ていない場合、前記ユーザに頭部位置を変更させる及び／又は正しいパネル又はスクリーンを見るように凝視させる視覚的指示であることもできる。

【0042】

前記ユーザは、インタラクティブ表示装置１３４及びモジュール１３２を使用して前記画像取得プロセスを実行してもよく、拡張現実表示装置１０６上で生成されたコンテクストオーバレイ１１６は、いずれのステップが実行されるべきか及びどのようにして実行されるべきかに関する明確な命令を提供することにより、前記処置のワークフローを単純化し、誤りを低減する。特定の実施例において、決定モジュール１２４は、フィードバック装置１１２からのフィードバック及び／又は実行される必要のある適切なステップを決定するように前記ユーザによりインタラクティブ医療装置１０２に入力された前記制御装置からの信号を受け取ってもよい。決定モジュール１２４は、この場合、前記決定するステップに対するコンテクストオーバレイを生成するためにグラフィック処理モジュール１１０に信号を送信するように構成される。これは、システム１００が、生成されたコンテクストオーバレイ１１６によって前記ユーザに適応ガイダンスを提供することを可能にする。

【0043】

グラフィック処理モジュール１１０により生成されたコンテクストオーバレイ１１６は、画像取得プロセスに関して論じられているが、前記コンテクストオーバレイは、いかなる他の処置を通してユーザ１０１をガイドするように生成されてもよい。例えば、一実施例において、オーバレイは、グラフィック処理モジュール１１０により生成され、撮像装置のＣアームを特定の位置又は向きに移動するために幾何学モジュールを操作するように前記ユーザをガイドする。しかしながら、グラフィック処理モジュール１１０により生成されたオーバレイ１１６は、多くの他のインターベンション処置に対して及び多くの異なるタイプのインタラクティブ装置に関して使用されうる。押されるべきであることを示すようにトリガされる特定のボタンの近くに配置される点滅するＬＥＤ光のような、コンテクストオーバレイ１１６は、既存の装置と比較して、実行されるべき処置のステップを識別する、より明確な、より包括的な、よりカスタマイズ可能な情報を識別及び提供する。

【0044】

更に、グラフィック処理モジュール１１０により生成されたオーバレイ１１６は、インタラクティブ医療装置１０２と関連付けられた新しい技術、プロトコル又は装置に対する命令を提供するのに使用されてもよい。例えば、データベース１２２は、インタラクティブ医療装置１０２に組み込まれる又は前記インタラクティブ医療装置により実行されうる新しい技術、プロトコル又は装置に関する更新された情報を受け取るように構成されてもよい。コンテクストオーバレイ１１６は、この場合、前記装置の使用を通して又は前記新しいプロトコルの実行時に前記ユーザをガイドするようにグラフィック処理モジュール１１０により生成される。

【0045】

他の実施例において、グラフィック処理モジュール１１０は、前記環境における（複数の）特定の領域を識別するコンテクストオーバレイを生成するように構成される。例えば、図４は、拡張現実表示装置１０６上にＣアーム１５４を持つ撮像装置の画像１４７を示す。図４に示されるように、前記Ｃアームをアイソセンタに配置する際に前記ユーザを支援するために、グラフィック処理モジュール１１０は、Ｃアームの現在の中心及び前記Ｃアームの目標アイソセンタを識別するコンテクストオーバレイ１１６を提供するように構成されてもよい。図４において、グラフィック処理モジュール１１０は、前記Ｃアームの現在のアイソセンタを識別する拡張現実表示装置１０６上の十字線１４８を生成するように構成される。グラフィック処理モジュール１１０は、前記目標アイソセンタを識別する十字線１５０を生成するようにも構成される。

【0046】

一実施例において、システム１００は、現在の及び目標アイソセンタを決定し、この情報をグラフィック処理モジュール１１０に送信して十字線１４８、１５０のような前記コンテクストオーバレイを生成するように構成される位置モジュール１５２を含む。ユーザ１０１は、この場合、Ｃアーム１５４並びに現在の及び目標十字線アイソセンタ１４８、１５０を見て、前記十字線が並び、前記現在のアイソセンタが前記目標アイソセンタを識別するオーバレイ上に位置するまで前記台を調整してもよい。グラフィック処理モジュール１１０により生成されたコンテクストオーバレイ１１６は、アイソセンタに配置するステップの容易さ及び精度を増大させる。コンテクストオーバレイ１１６は、対象１１１の追加の撮像を要求し、前記対象に対する増大された放射線被ばくを生じる、不正確なアイソセンタ配置を低減する。前記十字線は、代替的には、前記アイソセンタを表す球又は他のオブジェクトであってもよい。前記十字線は、ライブ撮像又はレビュースクリーンに表示された蛍光透視画像上に重ねられてもよい。

【0047】

他の実施例において、グラフィック処理モジュール１１０は、処置を実行するために障害があってはならない前記環境における領域を識別するコンテクストオーバレイ１１６を生成するように構成される。例えば、図５は、拡張現実表示装置１０６上にＣアーム１５４を持つ撮像装置の画像１５３を示す。グラフィック処理モジュール１１０は、Ｃアーム１５４がいかなる物体にもぶつかることなしに自由に移動しうるように、画像取得プロセス中に整理する必要のある領域を表すコンテクストオーバレイ１５６を生成するように構成される。前記ユーザは、前記拡張現実表示装置上のコンテクストオーバレイ１５６を見る場合、整理を必要とする物体が前記領域内にあるかどうか及び前記領域から前記物体を取り除きうるかを容易に決定することができる。

【0048】

一実施例において、システム１００は、整理を必要とする領域を調査又はモニタし、当該領域内に物体が存在するかどうかを決定するように構成される場所モジュール１６０を含む。場所モジュール１６０は、整理を必要とする領域内であると決定された任意の物体に関して信号をグラフィック処理モジュール１１０に送信するように構成される。グラフィック処理モジュール１１０は、前記物体が取り除かれなければならないことを示すように拡張現実表示装置１０６内の当該物体上にコンテクストオーバレイ１１６を生成するように構成されうる。例えば、図５において、長方形形状オブジェクト１６２を有するコンテクストオーバレイは、台１６４の一部の上に位置し、前記台が整理を必要とする領域の外まで再配置されなければならないことを示す。

【0049】

グラフィック処理モジュール１１０により生成されたコンテクストオーバレイ１１６は、前記インターベンション処置が実行される間にＣアーム領域内の妨害を防止する。これらの妨害は、典型的には、前記Ｃアームが自由に回転しうるように前記物体を移動するために前記ユーザが大幅な時間をかけることを要求する。現在のＣアーム位置を正確に表す領域を重ねることは、重要である。前記現在のＣアーム位置は、カメラベースの検出、追跡マーカ、追跡技術、Ｃアーム符号化により自動的に、又は前記ユーザにより手動で計算されうる。

【0050】

コンテクストオーバレイ１１６は、整理を必要とする領域内の物体を識別する又はアイソセンタを識別するものとして図示されているが、前記コンテクストオーバレイは、任意のインターベンション処置に対して及び環境１０８において他の物体又は領域を識別するように構成されてもよい。

【0051】

他の実施例において、場所モジュール１６０は、稼働装置の経路内の物体を決定し、前記稼働装置に対する更新された経路を決定してもよい。グラフィック処理モジュール１１０は、前記新しい経路を識別し、及び／又は前記経路に沿って前記稼働装置を移動するように前記ユーザをガイドするコンテクストオーバレイ１１６を生成するように構成される。

【0052】

他の実施例において、システム１００は、対象１１１の放射線からの被ばくを低減するコンテクストオーバレイ１１６を生成するようにグラフィック処理モジュール１１０を構成することにより前記処置のユーザの実行を強化する。例えば、一実施例において、コンテクストオーバレイ１１６は、蛍光透視特色（fluoro flavor）を確認する前記ユーザに対するプロンプトを含む。グラフィック処理モジュール１１０は、前記蛍光透視特色を確認するように前記ユーザに指示するための好適な時間期間を決定するようにデータベース１２２から又はユーザ入力からの命令を受け取るように構成されてもよい。

【0053】

他の実施例において、システム１００は、リアルタイム線量モニタ装置を含んでもよく、グラフィック処理モジュール１１０は、前記リアルタイム線量モニタ装置からの測定結果に基づいて高線量の放射線を受けた個人を識別するコンテクストオーバレイ１１６を生成するように構成されてもよい。システム１００は、データベース１２２からの命令に基づいて、ユーザ入力から又は前記線量モニタ装置により検出された放射線に応答して、いつウェッジを使用するか推薦し、放射線検出器を移動する等のコンテクストオーバレイ１１６を生成してもよい。

【0054】

他の実施例において、グラフィック処理モジュール１１０は、環境１０８内の様々な物体に対する最適な場所を提供するコンテクストオーバレイ１１６を生成するように構成されてもよい。例えば、一実施例において、コンテクストオーバレイ１１６は、手術室のような環境１０８が施術者の到着の前に最適な状態にセットアップされうるように、前記インターベンション処置の実行前にインタラクティブ医療装置１０２、コンポーネント１０４及び対象１１１の所望のセットアップを提供しうる。部屋の最適な向きは、データベース１２２内の命令に含まれてもよく、又は前記インターベンション処置の前に前記ユーザにより入力されてもよい。

【0055】

図６を参照すると、インタラクティブ医療装置を使用して環境におけるインターベンション処置のユーザの実行を支援又は強化する方法２００は、本原理によって図示される。ブロック２１０において、前記拡張現実表示装置上に生成されるべきコンテクストオーバレイが、決定される。ブロック２２０において、前記コンテクストオーバレイは、前記インターベンション処置の前記ユーザの実行を支援又は強化するように前記拡張現実表示装置上に生成される。

【0056】

システム１００の実施例に関して以前に記載されたように、前記方法は、カスタマイズされたコンテクストオーバレイを生成するために前記コンテクストオーバレイに関して前記ユーザからの入力を受け取るステップを含んでもよい。代わりに、前記インターベンション処置中の前記ユーザ、物体及び／又は前記インタラクティブ医療装置からのフィードバックは、前記拡張現実表示装置上に生成される前記コンテクストオーバレイを決定するのに使用されてもよい。

【0057】

以前に記載されたように、方法は、前記インタラクティブ医療装置の少なくとも１つのコンポーネントを識別するコンテクストオーバレイを生成するステップを含んでもよい。前記コンテクストオーバレイは、前記ユーザにより実行されるべき前記インターベンション処置の少なくとも１つのステップを識別してもよい。前記コンテクストオーバレイは、目標又は現在のアイソセンタのような前記環境内の特定の領域、妨害がないようにすることを必要とされる領域、Ｃアームの所望の位置等を識別してもよい。

【0058】

一実施例において、前記インターベンション処置中に前記ユーザ、対象及び／又は前記インタラクティブ医療装置からフィードバックを受け取るように構成されたフィードバック装置、前記複数のコンポーネントの１以上からの信号の履歴又はデータベースの少なくとも１つからのフィードバックは、前記ユーザにより実行されるべき前記インターベンション処置の少なくとも１つのステップを決定するのに使用される。前記方法は、装置の最適な経路を識別する、放射線を低減する等のためにコンテクストオーバレイを前記ユーザに適応的に提供してもよい。

【0059】

添付の請求項を解釈する際に、
ａ）単語「有する」は、所定の請求項に記載されたもの以外の要素又は動作の存在を除外しない、
ｂ）要素に先行する単語「ａ」又は「ａｎ」は、複数のこのような要素の存在を除外しない、
ｃ）請求項内のいかなる参照符号も、その範囲を限定しない、
ｄ）複数の「手段」が、同じアイテム又はハードウェア又はソフトウェア実装構造若しくは機能により表されてもよい、
ｅ）動作の特定の順番は、特定的に示されない限り必要とされないと意図される。

【0060】

コンテクストオーバレイを提供する拡張現実インターベンションシステム及びそれに対する方法の好適な実施例（限定的ではなく、実例的であると意図される）が記載されているが、修正及び変形が、上記の教示に照らして当業者によりなされることができることに注意されたい。したがって、添付の請求項により概説されるここに開示された実施例の範囲内である開示された本開示の特定の実施例において、変更が、なされてもよい。したがって、詳細に記載され、特許法により要求されているが、何が請求され、専売特許証により保護されることが望まれるかは、添付の請求項に記載される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】