特許 7442444 装置の拡張現実起動

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-22

(45)【発行日】2024-03-04

(54)【発明の名称】装置の拡張現実起動

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240226BHJP

   A61B 90/90 20160101ALI20240226BHJP

【ＦＩ】

A61B34/20

A61B90/90

【請求項の数】 11

(21)【出願番号】P 2020524549

(86)(22)【出願日】2018-11-03

(65)【公表番号】

(43)【公表日】2021-01-21

(86)【国際出願番号】 EP2018080071

(87)【国際公開番号】W WO2019091875

(87)【国際公開日】2019-05-16

【審査請求日】2021-10-29

(31)【優先権主張番号】62/582,478

(32)【優先日】2017-11-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】フレックスマン モリー ララ

(72)【発明者】

【氏名】グプタ アトゥル

(72)【発明者】

【氏名】パンセ アシシュ

【審査官】北村 龍平

(56)【参考文献】

【文献】特開２０１４－２２６３４１（ＪＰ，Ａ）

【文献】特開２００４－０４１７７８（ＪＰ，Ａ）

【文献】特表２０１７－５１３０８６（ＪＰ，Ａ）

【文献】特開２０１３－１９２７７３（ＪＰ，Ａ）

【文献】特開平０９－０６６０５６（ＪＰ，Ａ）

【文献】特表２０１７－５１５６１７（ＪＰ，Ａ）

【文献】特表２０１５－５２１９１３（ＪＰ，Ａ）

【文献】特表２０１５－５２３１０２（ＪＰ，Ａ）

【文献】特開２０１４－１５５２０７（ＪＰ，Ａ）

【文献】国際公開第２０１６／１３３６４４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／００ － ３４／３７

１／００ － １／３２

(57)【特許請求の範囲】

【請求項1】

医療器具及び該医療器具に関連付けられた器具識別子の少なくとも一方に基づいて拡張現実起動方法を実施する拡張現実起動システムであって、
現実世界のカメラ画像を撮像し、当該現実世界のカメラ画像に基づく現実世界表示上に仮想物体をオーバーレイ表示する主拡張現実装置と、
起動動作コントローラと、
を有し、前記起動動作コントローラが、
前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方を認識し、
前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方の当該起動動作コントローラによる認識に応答して、少なくとも、医療処置を撮像する医療装置による前記医療処置の撮像を前記医療器具に適した動作モードに設定する、医療処置動作を起動する、
拡張現実起動システム。

【請求項2】

前記起動動作コントローラが、前記現実世界のカメラ画像内において前記医療器具の形状を認識する、請求項１に記載の拡張現実起動システム。

【請求項3】

前記器具識別子が、
器具ラベル、
前記医療器具に取り付けられた前記医療器具を識別するための顧客マーカ、及び
前記医療器具に取り付けられていない前記顧客マーカ、
のうちの少なくとも１つを含む、請求項１に記載の拡張現実起動システム。

【請求項4】

前記起動動作コントローラが医療処置動作を起動する動作は、該起動動作コントローラが、
前記医療装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記医療装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を更に行う動作を含む、請求項１に記載の拡張現実起動システム。

【請求項5】

前記医療器具に関係するコンテンツが、
前記医療器具の入力フィード、
前記医療器具の説明、
前記医療器具を操作するための使用説明、
前記医療器具及び該医療器具に類似する追加の医療器具の少なくとも一方の使用を含むケース、及び
前記医療器具に関連する何らかの警告
のうちの少なくとも１つ含む、請求項４に記載の拡張現実起動システム。

【請求項6】

前記主拡張現実装置とは別の現実世界のカメラ画像を撮像し、当該別の現実世界のカメラ画像に基づく現実世界表示上に仮想物体をオーバーレイ表示する二次拡張現実装置を更に有する、
請求項１に記載の拡張現実起動システム。

【請求項7】

前記医療器具がガイドワイヤ、カテーテル、弁及びステントのうちの１つである、請求項１に記載の拡張現実起動システム。

【請求項8】

医療器具及び該医療器具に関連付けられた器具識別子の少なくとも一方に基づいて拡張現実起動方法を実施する起動動作コントローラであって、
現実世界のカメラ画像を撮像し、当該現実世界のカメラ画像に基づく現実世界表示上に仮想物体をオーバーレイ表示する主拡張現実装置により撮像された現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方を認識する医療器具認識モジュールと、
前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方の前記医療器具認識モジュールによる認識に応答して、少なくとも、医療処置を撮像する医療装置による医療処置の撮像を前記医療器具に適した動作モードに設定する、医療処置動作を起動する医療装置起動モジュールと、
を有する、起動動作コントローラ。

【請求項9】

前記医療装置起動モジュールが医療処置動作を起動する動作は、該医療装置起動モジュールが、更に、
前記医療装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記医療装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を含む、請求項８に記載の起動動作コントローラ。

【請求項10】

現実世界のカメラ画像を撮像し、当該現実世界のカメラ表示に基づく現実世界表示上に仮想物体をオーバーレイ表示する主拡張現実装置と、起動動作コントローラとを備え、医療器具及び該医療器具に関連付けられた器具識別子の少なくとも一方に基づいて拡張現実起動を実施する拡張現実起動システムの作動方法であって、
前記起動動作コントローラが、前記主拡張現実装置により撮像された現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方を認識するステップと、
前記起動動作コントローラが、前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方の前記起動動作コントローラによる認識に応答して、少なくとも、医療処置を撮像する医療装置による前記医療処置の撮像を前記医療器具に適した動作モードに設定する、医療処置動作を起動するステップと、
を有する、方法。

【請求項11】

前記起動動作コントローラが医療処置動作を起動するステップは、
前記起動動作コントローラが前記医療装置による前記医療器具に関係するコンテンツの表示を起動するステップ、及び
前記起動動作コントローラが前記医療装置による前記医療器具のホログラムモデルの表示を起動するステップ
の少なくとも一方を含む、請求項１０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、広くは医療処置の間における拡張現実装置の使用に関する。特に、本開示は医療処置の間における拡張現実装置、医療装置及び／又は追加の拡張現実装置による動作を起動するための該拡張現実装置による医療器具及び／又は器具識別子の認識に関する。

【背景技術】

【0002】

医療撮像システムとの相互作用（対話）は、現在の処、医療撮像システムの操作者が次の行為又はステップを決定することを課されることを含む。例えば、医療処置に使用されている医療撮像システムと医療器具（例えば、ガイドワイヤ、カテーテル、ステント、血管内超音波（ＩＶＵＳ）カテーテル、弁、ドリル等）との間には現在のところ、しばしば密な関連が存在し、これによれば、操作者は当該医療処置の間における撮像を容易化するために当該医療撮像システムを医療器具に基づいて構成（設定）することができる。例えば、撮像するＩＶＵＳカテーテルに関連させて超音波撮像システムの種々のフィーチャ（例えば、ナビゲーションフィーチャ）を利用するために、該超音波撮像システムの種々のフィーチャをＩＶＵＳカテーテルに基づいてカスタマイズすることができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

操作者が医療撮像システムを医療器具に基づいてカスタマイズすることは、医療処置の全範囲内では小さな過程であるが、それでも、当該医療処置の作業の流れは該小さな過程により中断される。

【課題を解決するための手段】

【0004】

拡張現実（ＡＲ）とは、一般的に、装置がコンピュータにより発生された追加の情報で補足された生の画像ストリームを表示することを指す。更に詳細には、上記生の画像ストリームは、目、カメラ、スマートフォン、タブレット等を介してのものとすることができ、メガネ、コンタクトレンズ、投影又は当該生画像ストリーム装置（例えば、スマートフォン、タブレット等）上を介してのＡＲユーザに対する表示により増強される。本開示の発明は、拡張現実装置、医療装置及び／又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く医療器具及び／又は器具識別子の物体認識を前提とするもので、これにより、当該医療器具が関わる医療処置の作業の流れの如何なる中断も最小にするものである。

【0005】

本開示の発明の一実施態様は、医療器具及び／又は該医療器具に関連付けられた器具識別子に基づいて拡張現実起動方法を実施する拡張現実起動システムである。該拡張現実起動システムは、主拡張現実装置及び起動動作コントローラを有する。動作時において、前記主拡張現実装置は現実世界のカメラ画像を発生し、該カメラ画像は任意の所与の時点において前記医療器具及び／又は前記器具識別子を含み得又は含まないこともあり得る。前記起動動作コントローラは、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生を認識するよう構成されると共に、更に前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生の当該起動動作コントローラによる認識に応答して、前記主拡張現実装置及び／又は医療装置による医療処置動作を起動するように構成される。

【0006】

前記起動動作コントローラは、前記主拡張現実装置内に拡張現実コントローラに統合され若しくは該拡張現実コントローラから分離されたコントローラ又は前記主拡張現実装置の補助コントローラとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置することができる。

【0007】

本開示の発明の第２実施態様において、前記起動動作コントローラは、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む現実世界のカメラ画像の発生を認識するように構成された医療器具認識モジュールを含むと共に、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生の前記医療器具認識モジュールによる認識に応答して前記主拡張現実装置及び／又は前記医療装置による医療処置動作を起動するように構成された医療装置起動モジュールを更に含む。

【0008】

前記医療器具認識モジュールは、前記主拡張現実装置内に前記拡張現実コントローラ若しくは前記主拡張現実装置の補助コントローラにより実行可能なモジュールとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置される実行可能なモジュールとすることができる。

【0009】

前記医療装置起動モジュールは、前記主拡張現実装置内に前記拡張現実主コントローラ若しくは前記主拡張現実装置の補助コントローラにより実行可能なモジュールとして設置することができるか、又は、代わりに、前記医療器具認識モジュールと通信して、前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の前記主拡張現実装置による発生の前記医療器具認識モジュールによる認識の通知を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置される実行可能なモジュールとすることができる。

【0010】

本開示の発明の第３実施態様において、前記拡張現実起動方法は、前記起動動作コントローラが前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む現実世界のカメラ画像の発生を認識するステップを有すると共に、更に、前記起動動作コントローラが、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生の前記起動動作コントローラによる認識に応答して、前記主拡張現実装置及び／又は前記医療装置による医療処置動作を起動するステップを有する。

【0011】

この場合も、前記起動動作コントローラは、前記主拡張現実装置内に拡張現実主コントローラに統合され若しくは該拡張現実主コントローラから分離されたコントローラ又は前記主拡張現実装置の補助コントローラとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置することができる。

【0012】

本開示の発明を説明及び請求項に記載する目的で、
（１）“医療処置（medical procedure）”なる用語は、患者の身体構造の撮像、診断及び／又は治療のための、本開示の当業技術において知られた及び以下に想定される全ての処置（手順）を広く含む。
（２）“医療器具（medical tool）”なる用語は、医療処置の間に使用される本開示の当業技術において知られた全ての器具を広く含む。医療器具の例は、これらに限定されるものではないが、ガイドワイヤ、カテーテル（例えば、ＩＶＵＳカテーテル及びバルーンカテーテル）、弁、ステント、超音波トランスジューサ（ＴＥＥ、ＴＴＥ）、ドリル及び内視鏡を含む。
（３）“医療システム（medical system）”なる用語は、１以上の医療処置を実施するための本開示の当業技術において既知の及び以下で想定される全ての医療システムを広く含む。医療システムの例は、これらに限られるものではないが、介入Ｘ線システム（固定システム、移動システム、ハイブリッドＯＲ）、超音波システム、患者監視システム、造影剤注入システム、診断撮像システム（Ｘ線、ＣＴ、ＰＥＴ、ＭＲＩ）を含む。
（４）“医療装置（medical device）”なる用語は、医療システム内に動作（例えば、作動させる、撮像する、追跡する、ナビゲーションする等）を制御するために組み込まれ及び／又は医療器具（若しくは複数の医療器具）の動作に関連する、本開示の当業技術において既知の及び以下で想定される全ての医療装置を広く含む。医療装置の例は、限定されるものではないが、撮像装置（例えば、Ｘ線装置、超音波装置、コンピュータトモグラフィ装置、磁気共鳴撮像装置等）、追跡装置（例えば、電磁追跡装置、光学追跡装置、形状感知追跡装置等）、ロボット装置（例えば、ヘビ型ロボット、球型ＲＣＭロボット等）及び監視装置（例えば、心電図モニタ）を含む。
（５）“拡張現実起動方法”なる用語は、本開示に例示的に記載される拡張現実装置、医療装置及び／又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具及び／又は器具識別子の物体認識に向けられた、本開示の発明原理を組み込んだ全ての手順を広く含む。
（６）“拡張現実起動システム”なる用語は、本開示に例示的に記載される拡張現実装置、医療装置及び／又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具及び／又は器具識別子の物体認識を含む、本開示の発明原理を組み込んだ全ての医療システムを広く含む。
（７）“拡張現実装置”なる用語は、現実世界のカメラ画像に基づく現実世界表示上に仮想物体（又は複数の物体）をオーバーレイ表示する拡張現実を実施する、本開示の当業技術で既知の及び以下で想定される全ての装置を広く含む。拡張現実装置の例は、これらに限定されるものではないが、拡張現実頭部装着（ヘッドマウント）ディスプレイ（例えば、GOOGLE GLASSTM(R)、HOLOLENS(R)、MAGIC LEAP(R)、VUSIX(R)及びMETA(R)）を含む。
（８）“カメラ画像”なる用語は、拡張現実装置の部品として組み込まれたカメラ又は等価な装置により発生された現実世界の像の画像又はビデオを広く含む。
（９）“物体認識”なる用語は、カメラ画像内の物体を認識するための、本開示の当業技術において既知の及び以下で想定される全ての技術を広く含む。
（10）“医療処置動作を起動する”なる語句及び該語句の時制は、医療処置の術前ステップ（又は複数のステップ）及び／又は術中ステップ（又は複数のステップ）を支援する動作を可能化及び／又は指令するための、特には、拡張現実装置又は医療装置の構成指令、信号可能化／不能化（変調されない及び変調された）及び／又は機能呼び出し（ファンクションコール）のための、本開示の当業技術において既知の及び以下で想定される全ての技術を広く含む。
（11）“コントローラ”なる用語は、本開示に例示的に記載された本開示の種々の発明原理の適用を制御するためのアプリケーション固有の主基板又はアプリケーション固有の集積回路の、本開示の当業技術において理解され且つ本開示に例示的に記載された全ての構成を広く含む。当該コントローラの構成は、限定されるものではないが、プロセッサ、コンピュータ使用可能な／コンピュータ読取可能な記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺装置コントローラ、スロット及びポートを含むことができる。コントローラは、拡張現実装置、医療装置及び／又はワークステーションに収容することができ又はリンクすることができる。“ワークステーション”の例は、限定されるものではないが、独立型計算システム、クライアントコンピュータ、サーバシステム、デスクトップ、ラップトップ又はタブレットの形の１以上の計算装置、ディスプレイ／モニタ及び１以上の入力装置（例えば、キーボード、ジョイスティック及びマウス）の組み立て体を含む。
（12）本明細書及び請求項に記載されるコントローラのための記述的ラベルは、本明細書及び請求項に記載されるコントローラの間の区別を、該“コントローラ”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
（13）“アプリケーションモジュール”なる用語は、特定のアプリケーションを実行するための、電子回路（例えば、電子部品及び／又はハードウェア）からなるコントローラに組み込まれた又はコントローラによりアクセス可能なアプリケーション及び／又は実行可能なプログラム（例えば、非一時的コンピュータ読取可能な媒体上に記憶された実行可能なソフトウェア及び／又はファームウエア）を広く含む。
（14）本明細書及び請求項に記載されるアプリケーションモジュールのための記述的ラベルは、本明細書及び請求項に記載されるアプリケーションモジュールの間の区別を、該“アプリケーションモジュール”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
（15）“信号”、“データ”及び“コマンド”なる用語は、本開示において後述される本開示の種々の発明原理の適用を助ける情報及び／又は命令を伝送するための、本開示の当業技術において理解され且つ本開示において例示的に記載される検出可能な物理量又はインパルスの全ての形態（例えば、電圧、電流又は磁場強度）を広く含む。本開示の種々の構成要素における信号／データ／コマンド通信は、限定されるものではないが、何らかのタイプの有線又は無線データリンクを介する信号／データ／コマンド送信／受信及びコンピュータ使用可能／コンピュータ読取可能な記憶媒体にアップロードされた信号／データ／コマンドの読み取りを含む、本開示の当業技術において既知の任意の通信方法を含むことができる。
（16）本明細書及び請求項に記載される信号／データ／コマンドのための記述的ラベルは、本明細書及び請求項に記載される信号／データ／コマンドの間の区別を、該“信号”、“データ”及び“コマンド”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。

【0013】

本開示の発明の上記及び他の実施態様並びに本開示の発明の種々の構成及び利点は、添付図面を参照して読まれる本開示の発明の種々の実施態様の後述する詳細な説明から更に明らかとなるであろう。尚、詳細な説明及び図面は、限定するというよりは本開示の発明の解説に過ぎず、本開示の発明の範囲は添付請求項及びその均等物によって定義されるものである。

【図面の簡単な説明】

【0014】

【図1】図１は、本開示の発明原理による拡張現実起動システムの例示的実施態様を示す。

【図2A-2D】図２Ａから図２Ｄは、本開示の発明原理による器具識別子の例示的実施態様を示す。

【図3A-3D】図３Ａから図３Ｄは、本開示の発明原理による起動動作コントローラの例示的実施態様を示す。

【図4】図４は、本開示の発明原理による拡張現実起動方法の例示的実施態様を表すフローチャートを示す。

【図5A-5D】図５Ａから図５Ｄは、本開示の発明原理による医療器具コンテンツ及び医療器具ホログラムの表示の例示的実施態様を示す。

【図6A-6B】図６Ａ及び図６Ｂは、本開示の発明原理による撮像医療装置の例示的動作を示す。

【発明を実施するための形態】

【0015】

本開示の種々の発明の理解を容易にするために、図１の下記の説明は本開示の拡張現実起動システムに関連する基本的発明原理を教示する。この説明から、当業者であれば、本開示の発明原理を本開示の拡張現実起動システムの更なる実施態様を形成及び使用するためにどの様に適用するかを理解するであろう。

【0016】

図１を参照すると、拡張現実起動システム１０は、医療器具２０及び／又は器具識別子２１に基づく本開示の拡張現実起動方法を実施するために主拡張現実（ＡＲ）装置３０及び起動動作コントローラ４０を使用する。通常、当該拡張現実起動方法は、本開示において更に説明されるように、主ＡＲ装置３０、Ｘ個の医療装置５０のうちの１以上（Ｘ≧１）及び／又は二次拡張現実装置１３０による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具２０及び／又は器具識別子２１の物体認識を行う。

【0017】

依然として図１を参照すると、医療器具２０（例えば、ガイドワイヤ、カテーテル、弁、ステント等）は、本開示において更に例示的に説明されるように、医療器具２０及び／又は器具識別子２１を含む現実世界のカメラ画像内での主拡張現実装置３０による医療器具２０の認識を容易にするために器具識別子２１と関連付けられる。

【0018】

実際には、器具識別子２１は医療器具２０と、主拡張現実装置３０を介する医療器具２０の認識に適した何らかの態様で関連付けることができる。

【0019】

一実施態様において、器具識別子２１は、例えば図２Ａに示されるような超音波プローブ２０ａの形状２１ａ又は事前成形されたカテーテルの形状等の、医療器具２０の形状として具現化することができる。

【0020】

第２実施態様において、器具識別子２１は、例えば図２Ｂに示されるような医療器具２０ｂに取り付けられた器具ラベル２１ｂ等の医療器具２０上に取り付けられた器具ラベルとすることができ、及び／又は、代わりに、器具識別子２１は医療器具２０のパッケージ／収納容器上に取り付けられた器具ラベルとすることができる。実際には、当該器具ラベルは、医療器具２０又は医療器具２０のパッケージ／収納容器の標準的商用ラベル付け又はユーザ作製ラベル付けとすることができる。

【0021】

第３実施態様において、器具識別子２１は、例えば図２Ｃに示されるような医療器具２０ｃに取り付けられた顧客マーカ２１ｃ等の医療器具２０上に取り付けられた顧客マーカとすることができる。実際には、顧客マーカは医療器具２０を識別する目的でシステム１０の操作者のために作製されたマーカである。

【0022】

第４実施態様において、器具識別子２１は、例えば図２Ｄに示されるような医療器具２０ｃには取り付けられていない顧客マーカ２１ｄ等の医療器具２０には取り付けられない顧客マーカとすることができる。この実施態様のために、当該顧客マーカは、医療器具２０を撮像、追跡又はナビゲーションするための医療器具２０の作動設定及び／又は医療装置５０の動作設定（例えば、幾何学構造又は医療器具２０を作動させるためのＸ線設定若しくは仮想スクリーン配置設定）を示すグラフィック及びテキストが印された理学手順カードとすることができる。更に詳細には、一群の斯様な理学手順カードを何らかの個々のケースのために事前に印刷することができ、医療処置の適切なステップにおいて技師は、該群の特注理学手順カードをめくり、各カード上のマーカを単に見ることにより当該医療処置の連続する各ステップを経て誘導され得る。

【0023】

図１に戻ると、各医療装置５０は、本開示の当業技術において既知の医療器具２０の医療器具２０の操作（例えば、作動させ、撮像し、追跡し、ナビゲーションし等）を制御し、及び／又は医療器具２０の操作に関連するように構成される。

【0024】

一実施態様において、医療装置５０は、医療処置の間に患者の解剖学的構造に対して医療器具２０を撮像し、取り扱い又は監視するための撮像装置（例えば、Ｘ線装置、超音波装置、コンピュータトモグラフィ装置、磁気共鳴撮像装置等）とすることができる。

【0025】

第２実施態様において、医療装置５０は、医療処置の間に患者の解剖学的構造に対して医療器具２０の位置を追跡するための追跡装置（例えば、電磁追跡装置、光学追跡装置、形状感知追跡装置等）とすることができる。

【0026】

第３実施態様において、医療装置５０は、医療処置の間に患者の解剖学的構造に対して医療器具２０をナビゲーションするためのロボット装置（例えば、蛇型ロボット、球状ＲＣＭロボット等）とすることができる。

【0027】

第４実施態様において、医療装置５０は患者の１以上の状態を監視するための監視装置（例えば、心電図モニタ）とすることができる。

【0028】

依然として図１を参照すると、主拡張現実装置３０は本開示の当業技術において既知のように拡張現実ディスプレイ３１、拡張現実カメラ３２及び拡張現実コントローラ３３を使用する。実際には、１以上の拡張現実アプリケーションに従い、拡張現実コントローラ３３は、本開示の当業技術において既知のように拡張現実カメラ３２の動作を現実世界のカメラ画像を発生するように制御し、更に、拡張現実カメラ３２により発生される現実世界のカメラ画像の表示、現実世界の操作者の視覚又は他の装置（例えば、スマートフォン、タブレット等）により表示される現実世界の表示を介して拡張現実ディスプレイ３１による生の画像ストリームの拡張の表示を制御する。

【0029】

同様に、二次拡張現実装置１３０は、本開示の当業技術において既知のように拡張現実ディスプレイ１３１、拡張現実カメラ１３２及び拡張現実コントローラ１３３を使用する。実際には、拡張現実コントローラ１３３は、本開示の当業技術において既知のように拡張現実カメラ１３２の動作を現実世界のカメラ画像を発生するように制御し、更に、拡張現実カメラ１３２により発生される現実世界のカメラ画像の表示、現実世界の操作者の視覚又は他の装置（例えば、スマートフォン、タブレット等）により表示される現実世界の表示を介して拡張現実ディスプレイ１３１による生の画像ストリームの拡張の表示を制御する。

【0030】

本開示において更に例示的に説明されるように、何のＡＲ装置が現実世界のカメラ画像内の医療器具２０及び／又は器具識別子２１の物体認識のために使用されるかを区別する目的のためだけに、拡張現実装置３０は本開示では主として指定される一方、拡張現実装置１３０は本開示では二次として指定されていることに注意されたい。

【0031】

依然として図１を参照すると、起動動作コントローラ４０は医療器具認識モジュール４１及びＹ個の医療装置起動モジュール４２（Ｙ≧１）を使用する。通常、医療器具認識モジュール４１は本開示において更に例示的に説明されるように拡張現実カメラ３２により発生された現実世界のカメラ画像内の医療器具２０及び／又は器具識別子２１を認識するように構成される一方、各医療装置起動モジュール４２は、本開示において更に例示的に説明されるように、拡張現実カメラ３２により発生された現実世界のカメラ画像内の医療器具認識モジュール４１による医療器具２０及び／又は器具識別子２１の認識に応答して、主拡張現実装置３０、１以上の医療装置５０及び／又は二次拡張現実装置による医療処置動作を起動するように構成される。

【0032】

一実施態様において、起動動作コントローラ４０は、１以上のシステムバスを介して相互接続されたプロセッサ（又は複数のプロセッサ）、メモリ、ユーザインターフェース、ネットワークインターフェース及び記憶部を含む。

【0033】

各プロセッサは、メモリ若しくは記憶部に記憶された命令を実行し又はそれ以外でデータを処理することができる、本開示の当業技術において既知の又は以下で想定される任意のハードウェア装置とすることができる。限定するものでない例において、当該プロセッサは、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）又は他の同様のデバイスを含むことができる。

【0034】

前記メモリは、これらに限定されるものではないがＬ１、Ｌ２若しくはＬ３キャッシュ又はシステムメモリを含む、本開示の当業者において既知の又は以下で想定される種々のメモリを含むことができる。限定するものでない例において、当該メモリはスタチックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）又は他の同様のメモリデバイスを含むことができる。

【0035】

前記ユーザインターフェースは、管理者等のユーザとの通信を可能にするための、本開示の当業技術において既知の又は以下で想定される１以上の装置を含むことができる。限定するものでない例において、該ユーザインターフェースは前記ネットワークインターフェースを介して遠隔端末に提示することができるコマンドラインインターフェース又はグラフィックユーザインターフェースを含むことができる。

【0036】

前記ネットワークインターフェースは、他のハードウェア装置との通信を可能にするための、本開示の当業技術において既知の又は以下で想定される１以上の装置を含むことができる。限定するものでない例において、該ネットワークインターフェースは、イーサネットプロトコルに従って通信するように構成されたネットワークインターフェースカード（ＮＩＣ）を含むことができる。更に、該ネットワークインターフェースはTCP/IPプロトコルに従う通信のためのTCP/IPスタックを実施化することができる。当該ネットワークインターフェースのための種々の代替的又は付加的ハードウェア又は構成は明らかであろう。

【0037】

前記記憶部は、これらに限定されるものではないがリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置又は同様の記憶媒体を含む、本開示の当業技術において既知の又は以下で想定される１以上のマシン読取可能な記憶媒体を含むことができる。種々の限定するものでない実施態様において、該記憶部は前記プロセッサによる実行のための命令又は該プロセッサが演算を行うデータを記憶することができる。例えば、該記憶部は当該ハードウェアの種々の基本動作を制御するための基本オペレーティングシステムを記憶することができる。該記憶部は、本開示において更に説明するように、医療器具認識モジュール４１及び医療装置起動モジュール４２を起動動作コントローラ４０の種々の機能を果たすための実行可能なソフトウェア／ファームウエアの形で記憶する。

【0038】

実際の場合、起動動作コントローラ４０は主拡張現実装置３０内に、例えば、図３Ａに示されるように主拡張現実装置３０ａ内への起動動作コントローラ４０ａのインストール又は図３Ｂに示されるように主拡張現実装置３０ｂ内への医療器具認識（ＭＴＲ）モジュール４１及び医療装置起動（ＭＴＤ）モジュール（又は複数のモジュール）４２のプログラミング／インストール等の様に、インストールすることができる。

【0039】

他の例として、起動動作コントローラ４０はワークステーション内に、例えば、図３Ｄに示されるように主拡張現実装置３０との有線／無線接続を有するワークステーション６０ａ内への起動動作コントローラ４０ｂのインストール、又は図３Ｃに示されるように主拡張現実装置３０内への医療器具認識（ＭＴＲ）モジュール４１のプログラミング／インストール及びワークステーション６０ｂ内への医療装置起動（ＭＤＴ）モジュール（又は複数のモジュール）４２のプログラミング／インストール等の様に、部分的に若しくは完全にインストールすることができる。

【0040】

１以上の医療装置起動（ＭＤＴ）モジュール４２を、医療装置５０内に同時に又は代わりにプログラミング／インストールすることもできる。

【0041】

本開示の種々の発明の更なる理解を進めるために、図４に関する下記の説明は本開示の拡張現実起動方法に関連する基本的発明原理を教示する。この説明から、当業者であれば、本開示の拡張現実起動方法の更なる実施態様を形成及び使用するために本開示の発明原理をどの様に適用するかを理解するであろう。

【0042】

図４を参照すると、図４のフローチャートは、図１の医療器具認識モジュール４１及び医療装置起動モジュール（又は複数のモジュール）４２により実行可能な本開示の拡張現実起動方法を表すものである。

【0043】

図１及び図４を参照すると、フローチャート７０のステージＳ７２はＡＲカメラ３２が現実世界８０のカメラ画像１８０のフィード１３２を発生するステップを含む。任意の所与の時点において、ＡＲカメラ３２は、図示されるように医療器具２０及び器具識別子２１を除く現実世界８０のカメラ画像１８０ａを発生しているか、又は図示されるように医療器具２０及び／又は器具識別子２１を含む現実世界８０のカメラ画像１８０ｂを発生していることがあり得る。

【0044】

実際の場合、医療器具認識モジュール４１は、本開示の当業技術において既知のように、物体認識技術に従って医療器具２０及び／又は器具識別子２１を含む現実世界８０のカメラ画像１８０ｂ内の医療器具２０及び／又は器具識別子２１を識別するように構成される。

【0045】

一実施態様において、医療器具認識モジュール４１は、外観ベースの、モデルベースの若しくはフィーチャベースの技術を用いる照合（マッチング）、学習又はパターン認識アルゴリズムに基づく物体認識技術に従ってデジタル画像又はビデオ内の特定の物体を識別するように構成される。このような技術は、特徴抽出及び機械学習モデル、ディープラーニングモデル（例えば、通常のニューラルネットワーク）、単語の袋モデル、勾配ベース及び微分ベースのマッチング方法、テンプレートマッチング、及び／又は画像分割及びブロブ解析を組み込むことができる。

【0046】

現実世界８０のカメラ画像１８０ｂ内の医療器具２０及び／又は器具識別子２１の認識に応答するものとして、フローチャート７０のステージＳ７４は、各医療装置起動モジュール４２が主拡張現実装置３０、二次拡張現実装置１３０（適用可能なら）及び／又は１以上の医療装置５０による医療処置動作を起動するステップを含む。

【0047】

実際には、各医療装置起動モジュール４２は、基本プログラミング技術に従って、主拡張現実装置３０、二次拡張現実装置１３０（適用可能なら）及び／又は１以上の医療装置５０の構成（設定）、信号の可能化／不能化（変調されていない及び変調された）及び／又は機能呼び出し（ファンクションコール）を指令するように構成される。

【0048】

一実施態様においては、図５Ａに例示されるように、医療装置起動モジュール４２は主拡張現実装置３０内に事前に記憶された又は主拡張現実装置３０にモジュール４２若しくは他のコンテンツ源を介して通知された医療器具コンテンツ２２を表示するために主拡張現実装置３０に対してコマンド１４２ａを送出することができる。

【0049】

実際の場合、医療器具コンテンツ２２は医療器具２０に関する任意のタイプのコンテンツとすることができる。医療器具コンテンツ２２の例は：
１．ＡＲディスプレイ３１上の医療器具のオーバーレイ；
２．医療器具２０の入力フィード；
３．医療器具２０の説明；
４．医療器具２０を操作するための使用説明；
５．医療器具２０に関連する何らかの警告（例えば、期限切れ警告、リコール警告、撮像適合性／非適合性及び患者のタイプの推奨等）；
６．医療器具２０の通常の及び特別な使用ケース、特に、現医療処置に関係する医療器具２０の過去のケースの条件；
７．計画のための医療器具２０に関する検索結果へのリンク（例えば、公開文献、記事、ビデオ等）；及び
８．医療器具２０の価格の表示及び現処置のために一層安価な類似の医療器具が利用可能であるかの指示情報；
を含む。

【0050】

これらの例に関し、医療装置起動モジュール４２は、更に、在庫管理の目的で現医療処置の間において当該医療器具２０の使用の記録も制御する。

【0051】

更に、医療装置起動モジュール４２は医療器具コンテンツ２２の聴覚フィードバック情報も供給することができる。

【0052】

同時に又は代わりに、医療装置起動モジュール４２は二次拡張現実装置１３０内に事前に記憶された又は二次拡張現実装置１３０にモジュール４２若しくは他のコンテンツ源を介して通知された医療器具コンテンツ２２を表示するために二次拡張現実装置１３０に対してコマンド１４２ｂを送出することができ、及び／又は図５Ｃに例示されるように、医療装置起動モジュール４２は医療装置５０内に事前に記憶された又は医療装置５０にモジュール４２若しくは他のコンテンツ源を介して通知された医療器具コンテンツ２２を装置のディスプレイ５１を介して表示するために医療装置５０に対してコマンド１４２ｃを送出することができる。

【0053】

第２実施態様においては、図５Ｂに例示されるように、医療装置起動モジュール４２は主拡張現実装置３０内に事前に記憶された医療器具ホログラム２３を表示するために又は医療器具ホログラム２３をモジュール４２若しくは他のホログラム源から表示のためにロードするために主拡張現実装置３０に対してコマンド１４２ａを送出することができる。この構成は、患者の解剖学的構造に対する医療器具２０の位置決めの仮想的検査を提供する。

【0054】

同時に又は代わりに、医療装置起動モジュール４２は、二次拡張現実装置１３０内に事前に記憶された医療器具ホログラム２３を表示するために又は医療器具ホログラム２３をモジュール４２若しくは他のホログラム源から表示のためにロードするために二次拡張現実装置１３０に対してコマンド１４２ｂを送出することができ、及び／又は図５Ｄに例示されるように、医療装置起動モジュール４２は医療装置５０内に事前に記憶された医療器具ホログラム２３を装置のディスプレイ５１を介して表示するために又は医療器具ホログラム２３をモジュール４２若しくは他のホログラム源から表示のために装置のコントローラ５２にロードするために医療装置５０に対してコマンド１４２ｃを送出することができる。

【0055】

第３実施態様において、医療装置起動モジュール４２は医療装置５０を構成（設定）するためのコマンドを送出することができる。例えば、図６Ａに示されるように、撮像医療装置５０ｃは基本構成５３から医療器具２０に適した特定のプロトコルを含む構成５３’へ再構成することができる。更なる例によれば、バルーンカテーテルの形態の医療器具２０はＸ線撮像装置のＤＳＡ設定を、当該プロトコルを自動的に設定する又はユーザに推奨されたプロトコルを容認するように促すことにより起動することができる。

【0056】

第４実施態様において、医療装置起動モジュール４２は医療装置５０を或る動作モードから他の動作モードへ切り換えるためのコマンド１４２ｃを送出することができる。例えば、図６Ｂに示されるように、撮像医療装置５０ｄを動作モード５４から動作モード５５へ切り換えることができる。この例に関し、動作モード５４は患者の解剖学的構造に対するカテーテルのナビゲーション及び処置のＸ線撮像を含み得、これによれば、主ＡＲ装置３０を介しての血管閉鎖器具の認識は動作モード５４の完了を示し、このことは、該血管閉鎖器具の配置を容易にするためのＸ線患者テーブルの下降、Ｘ線Ｃアームの待避位置への移動及びＸ線放出器の不能化を含む動作モード５５への切り換えを起動する。

【0057】

ステージＳ７４の医療装置の起動に続いて、フローチャート７０は終了するか、又は当該医療処置の間に使用される追加の医療器具（又は複数の器具）２０の認識のためにステージＳ７２に戻り得る。

【0058】

図１に戻ると、実際の場合、モジュール４１及び４２は、本開示において既述したように現実世界のカメラ画像内における医療器具２０及び／又は器具識別子２１の認識に基づいて適切な医療処置動作を起動するように事前に構成（設定）される。代わりに、システム１０の操作者は、本開示において既述したように現実世界のカメラ画像内における医療器具２０及び／又は器具識別子２１の認識に基づいて適切な医療処置動作を起動するようにモジュール４１及び４２を構成することもできる。

【0059】

一実施態様において、起動動作コントローラ４０は、現実世界のカメラ画像内での医療器具２０及び／又は器具識別子２１の物体認識並びに斯かる物体認識により起動される適切な医療処置動作を記述するために、モジュール４１及び４２の規則を、グラフィック的に又はテキスト的にプログラミングするためのユーザインターフェースを組み込むことができる。

【0060】

第２実施態様において、起動動作コントローラ４０は特定の医療器具２０を最初に認識するための本開示の当業技術において既知のアプリケーションを組み込むことができ、これによれば、モジュール４１はその後に医療器具２０を認識することができるように構成することができ、モジュール４２は斯様な認識により駆動される適切な医療処置動作を起動するように構成することができる。

【0061】

第３実施態様において、起動動作コントローラ４０は特定の医療処置の実行の間における動作を記憶するように構成することができ、これによれば、１以上の訓練モデルを主ＡＲ装置３０からの入力、操作者の入力、及び／又は医療器具２０及び／又は医療装置５０に関係する手続的プロトコル及び／又は情報に基づいて開発することができる。当該医療処置の現在の実行の間において、上記訓練モデルの履歴データは、モジュール４２による現実世界のカメラ画像内における医療器具２０及び／又は器具識別子２１の認識に際して起動する適切な医療処置動作並びに斯様な物体認識により起動される適切な医療処置動作の予測を容易にする。

【0062】

図１～図６を参照すると、本開示の分野における当業者であれば、これらに限定されるものではないが、拡張現実装置による医療器具の物体認識が該拡張現実装置、医療装置及び／又は追加の拡張現実装置による動作のためのきっかけとして働き、これにより、医療処置のワークフローの如何なる中断も最小にすることを含む数々の利点を理解するであろう。当業者であれば、更に、本開示の発明の非医療システム、方法、器具及び装置への適用可能性も理解するであろう。

【0063】

更に、当業者であれば理解するように、本明細書で提供される教示に鑑み、本開示／明細書に記載され及び／又は図に記載される構造、要素、部品等は、ハードウェア及びソフトウェアの種々の組み合わせで実施化することができ、単一の要素又は複数の要素に組み合わせることができる機能を提供することができる。例えば、図に示され／図示され／描かれた種々の構造、要素、部品等の機能は、専用のハードウェア及び付加的機能のための適切なソフトウェアとの関連でソフトウェアを実行することができるハードウェアを介して提供することができる。プロセッサにより提供される場合、斯かる機能は単一の専用のプロセッサにより、単一の共有プロセッサにより、又は複数の個別のプロセッサ（これらの幾つかは共有及び／又は多重化することができる）により提供することができる。更に、“プロセッサ”又は“コントローラ”なる用語の明示的使用は、ソフトウェアを実行することができるハードウェアを専ら参照すると見なされるべきではなく、限定無しで、デジタル信号プロセッサ（“ＤＳＰ”）ハードウェア、メモリ（例えば、ソフトウェアを記憶するためのリードオンリメモリ（“ＲＯＭ”）、ランダムアクセスメモリ（“ＲＡＭ”）、不揮発性記憶部等）並びに処理を実行及び／又は制御することができる（及び／又は構成することができる）実質的に如何なる手段及び／又はマシン（ハードウェア、ソフトウェア、ファームウエア及びこれらの組合せ等を含む）も暗黙的に含むことができる。

【0064】

更に、本明細書における本発明の原理、態様及び実施態様並びにこれらの特定の例を記載する記述は、これらの構造的及び機能的な両方の均等物を含むことを意図するものである。加えて、このような均等物は現在知られている均等物及び将来開発される均等物（例えば、構成に拘わらず同一の又は実質的に同様の機能を果たすことができる何らかの開発された要素）の両方を含むことを意図するものである。このように、例えば、当業者によれば、ここに提供される教示内容に鑑み、ここに提示される如何なるブロック図も本発明の原理を具現化する例示的システム部品及び／又は回路の概念図を表し得ると理解されるであろう。同様に、当業者であれば、ここに提供される教示内容に鑑み、如何なるフローチャート及び流れ図等も、コンピュータ読取可能な記憶媒体内に実質的に表すことができ、従ってコンピュータ、プロセッサ又は処理能力を備える他の装置（斯かるコンピュータ又はプロセッサが明示的に示されているか否かによらず）により実行することができる種々の処理を表すことができると理解すべきである。

【0065】

本開示の発明の好ましい且つ例示的実施態様（解説的なもので、限定するものでないことを意図するものである）を説明したが、各図を含み、ここに提供された教示内容に照らして当業者により修正及び変形をなすことができることに注意されたい。従って、本開示の好ましい且つ例示的実施態様に対し、ここに開示される実施態様の範囲内に入る変更を行うことができると理解されるべきである。

【0066】

更に、当該装置／システムを組み込む及び／又は実施化する対応する及び／又は関係するシステム、又は本開示による装置において使用され／実施化されるもの等も、本開示の範囲内に入ると想定され、見なされるものである。更に、本開示による装置及び／又はシステムを製造し及び／又は使用する対応する及び／又は関連する方法も、本開示の範囲内に入ると想定及び見なされるものである。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】