特許 7519354 拡張現実ディスプレイでの光学コードの使用

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-10

(45)【発行日】2024-07-19

(54)【発明の名称】拡張現実ディスプレイでの光学コードの使用

(51)【国際特許分類】

   A61B 90/96 20160101AFI20240711BHJP

   A61B 34/10 20160101ALI20240711BHJP

   G06T 19/00 20110101ALI20240711BHJP

   G09B 23/30 20060101ALI20240711BHJP

【ＦＩ】

A61B90/96

A61B34/10

G06T19/00 600

G09B23/30

【請求項の数】 29

(21)【出願番号】P 2021526746

(86)(22)【出願日】2019-11-15

(65)【公表番号】

(43)【公表日】2022-01-18

(86)【国際出願番号】 US2019061864

(87)【国際公開番号】W WO2020102761

(87)【国際公開日】2020-05-22

【審査請求日】2022-11-10

(31)【優先権主張番号】16/194,333

(32)【優先日】2018-11-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519300183

【氏名又は名称】ノバラッド コーポレーション

(74)【代理人】

【識別番号】100089875

【弁理士】

【氏名又は名称】野田 茂

(72)【発明者】

【氏名】ギビー ウェンデル アーレン

(72)【発明者】

【氏名】クヴェトコ スティーブン トッド

【審査官】豊田 直希

(56)【参考文献】

【文献】国際公開第２０１８／０６３５２８（ＷＯ，Ａ１）

【文献】特開２０１７－１４６７５８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２４７１２８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ９０／９６

Ａ６１Ｂ ３４／００

Ｇ０６Ｔ １９／００

Ｇ０９Ｂ ２３／３０

(57)【特許請求の範囲】

【請求項1】

画像データセットと１つ又は複数の光学コードを有する医療用具とを共局在化するために、拡張現実（ＡＲ）ヘッドセットを使用するための方法であって、
前記ＡＲヘッドセットの光学センサを使用して、人の身体の一部分及び前記医療用具の視覚画像データを検出することと、
前記人の前記身体及び前記医療用具に関連付けられた１つ又は複数の光学コードを識別することであって、前記人の身体上の光学コードが、前記人の前記身体上に設けられた画像可視マーカに対して固定位置に位置する、ことと、
前記ＡＲヘッドセットを通して見るときの前記人の前記身体上の１つ又は複数の光学コードを使用し、前記画像データセット内の前記画像可視マーカの表現を参照するときの前記光学コードに対する前記画像可視マーカの前記固定位置を使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、
前記ＡＲヘッドセットを介して見たときに、前記医療用具が前記画像データセット及び前記人の前記身体に参照されることを可能にするために、前記医療用具及び前記人の前記身体上の１つ又は複数の光学コードを使用して、前記人の前記身体に対する前記医療用具の位置を決定することと、
を含む、方法。

【請求項2】

前記ＡＲヘッドセットを使用して患者の前記身体に対する前記医療用具の位置決め及び向きを案内するために、視覚的インジケータ、仮想ツール、仮想誘導システム、仮想強調表示、仮想処置トラック、標的とされた解剖学的組織のグラフィック強調表示、病変のグラフィック強調表示、回避すべき重要な構造のグラフィック強調表示、又は前記画像データセット上の注釈を提供することを更に含む、請求項１に記載の方法。

【請求項3】

前記人の前記身体の前記一部分と関連付けられた前記光学コードを使用して患者の情報を取得することと、
正しい患者及び正しい身体部分が医療処置を受けていることを確認するために、前記ＡＲヘッドセットを介して前記患者の情報を表示することと、
を更に含む、請求項１に記載の方法。

【請求項4】

前記医療用具が医療処置で使用されるように割り当てられているかどうかを判定するためにデータベースに問い合わせることと、
前記医療用具が前記医療処置に関連付けられているかどうかを表すグラフィックインジケータを医療専門家に表示することと、
を更に含む、請求項１に記載の方法。

【請求項5】

可視器具と仮想器具との位置合わせを可能にするために、グラフィック仮想器具を表示することを更に含む、請求項１に記載の方法。

【請求項6】

医療処置における前記医療用具の使用を記述する指示情報を含む、前記医療用具に関連付けられた医療情報を取得することを更に含む、請求項１に記載の方法。

【請求項7】

前記医療用具が、医療器具、トロカール、カテーテル、針、整形外科用ハードウェア、又は外科用インプラントである、請求項１に記載の方法。

【請求項8】

１つ又は複数の光学コードを開始基準点として使用して前記医療用具の輪郭をマッピングすることを更に含む、請求項１に記載の方法。

【請求項9】

前記人の前記身体上の１つ又は複数の光学コードを使用して、前記人の前記身体について前記画像データセットを自動的に取得することを更に含む、請求項１に記載の方法。

【請求項10】

拡張現実（ＡＲ）ディスプレイを使用して、透視画像を、人の身体及び画像データセットからの画像投影に対して位置合わせする方法であって、
前記ＡＲディスプレイの光学センサを使用して、人の前記身体の一部分の視覚画像データと、前記人の前記身体に対して移動可能な透視デバイスとを検出することと、
前記人の前記身体上及び前記透視デバイス上の１つ又は複数の光学コードを識別することであって、前記人の前記身体上の１つ又は複数の光学コードは、前記人の前記身体上に設けられた画像可視マーカに対して固定位置を有する、ことと、
前記ＡＲディスプレイを通して見たときに、前記人の前記身体上の前記１つ又は複数の光学コードに対する前記画像可視マーカの前記固定位置を使用して、前記人の前記身体の画像データセットを位置合わせすることと、
前記透視デバイス上の前記１つ又は複数の光学コードを使用して、前記人の前記身体に対する前記透視デバイスの位置及び向きを決定することと、
前記透視デバイスの前記位置及び向きに部分的に基づいて、前記画像データセットの画像投影を生成することと、
前記ＡＲディスプレイを通して前記画像投影を表示することと、
前記ＡＲディスプレイを使用して、前記画像可視マーカ又は前記透視デバイスの前記位置及び向きに基づいて、前記人の前記身体と位置合わせされた前記透視デバイスからの透視画像と、前記画像投影とを表示することと、
を含む、方法。

【請求項11】

前記人の前記身体に対する透視デバイスの前記位置及び向きの変化を検出することと、
前記透視デバイスの位置及び向きの変化によって定義されるように、前記画像投影及び透視画像位置及び向きを修正することと、
を更に含む、請求項１０に記載の方法。

【請求項12】

前記ＡＲディスプレイによって見られるように、前記画像投影の位置を調整することが、患者の前記身体の位置及び向きと比較して、前記透視デバイス上の前記１つ又は複数の光学コードを使用して検出される前記透視デバイスの位置及び向きの変化に基づく、請求項１０に記載の方法。

【請求項13】

前記人の前記身体に対してズームされた前記透視デバイスからズーム値を受信することと、
前記透視デバイスのズーム値によって定義されるように前記画像データセットを調整することと、
を更に含む、請求項１０に記載の方法。

【請求項14】

前記画像データセットを調整することは、前記画像データセットが前記透視画像のズームと一致することを可能にするために、前記透視画像に取り込まれた前記画像可視マーカのサイズを使用することに基づいて実行される、請求項１３に記載の方法。

【請求項15】

前記透視画像内の透視可能なオブジェクトが、前記人の前記身体と位置合わせされた前記画像データセットに関して医療専門家によって視認及び誘導され得る、請求項１０に記載の方法。

【請求項16】

前記ＡＲディスプレイを使用して見たときに、前記人の前記身体及び前記画像データセットに対する透視可能なオブジェクトの前記位置及び向きをガイドするために、前記画像データセット上にグラフィックインジケータ、仮想ツール、又は仮想標的システムを提供することを更に含む、請求項１０に記載の方法。

【請求項17】

前記透視デバイスの向きを決定することが、前記人の前記身体に対して前記透視デバイスの位置及び向きを決定することを更に含む、請求項１０に記載の方法。

【請求項18】

前記透視デバイスの向き及び位置の変化に対応して、前記ＡＲディスプレイで見たときに、前記画像データセットの前記画像投影を再構築し、前記透視画像を移動させることを更に含む、請求項１０に記載の方法。

【請求項19】

前記画像データセットと位置合わせされた前記透視画像の透明度が修正されてもよい、請求項１０に記載の方法。

【請求項20】

医療用具上に視認可能に表示された１つ又は複数の追加の光学コードを識別することと、
前記ＡＲディスプレイを通して見たときに、前記医療用具が前記画像データを参照することを可能にするために、前記医療用具上の１つ又は複数の追加の光学コードと、前記人の前記身体上の１つ又は複数の光学コードとを使用して、前記人の前記身体及び前記画像投影に対する前記医療用具の位置を決定することと、を更に含む、請求項１０に記載の方法。

【請求項21】

１つ又は複数の光学コードを有する透視デバイスの位置及び向きを使用することによって、１つ又は複数の光学コードを有する人の身体に対して透視画像を位置合わせするための拡張現実（ＡＲ）ディスプレイを使用するための方法であって、
前記ＡＲディスプレイの光学センサを使用して、前記人の前記身体上の及び前記人の前記身体に対して移動可能な前記透視デバイス上の前記１つ又は複数の光学コードを識別することと、
前記透視デバイス上の前記１つ又は複数の光学コードを使用して、前記透視デバイスの前記身体に対する前記透視デバイスの前記位置及び向きを決定することと、
前記ＡＲディスプレイを使用して、前記人の前記身体上の前記光学コードと、前記透視デバイスの前記位置及び向きとを参照することによって、前記人の前記身体と位置合わせされた前記透視デバイスからの透視画像を表示することとを含む、方法。

【請求項22】

前記人の前記身体上に設けられた画像可視マーカに対して固定位置を有する前記人の前記身体上の１つ又は複数の光学コードを識別することと、
前記ＡＲディスプレイを通して見たときに、前記人の前記身体上の前記１つ又は複数の光学コードに対する前記画像可視マーカの前記固定位置を使用して、前記人の前記身体の画像データセットを位置合わせすることと、
前記画像データセットを、前記ＡＲディスプレイを介して、前記人の前記身体と、前記透視画像と位置合わせされて表示することと、
を更に含む、請求項２１に記載の方法。

【請求項23】

前記透視デバイスの前記位置及び向きに基づいて、前記画像データセットの画像投影を生成することと、
前記透視画像と共に、前記人の前記身体と位置合わせされて、前記ＡＲディスプレイを介して、前記画像投影を表示することと、
を更に含む、請求項２２に記載の方法。

【請求項24】

前記画像投影が、前記透視デバイスの変化した位置と一致するように、前記透視デバイスの移動に基づいて再構築され得る、請求項２２に記載の方法。

【請求項25】

ＡＲヘッドセットを使用している観察者の前記位置及び向きに基づいて、前記画像データセットの画像投影を生成することを更に含む、請求項２１に記載の方法。

【請求項26】

拡張現実（ＡＲ）ディスプレイを使用して、超音波画像を、人の身体に対して位置合わせする方法であって、
前記ＡＲディスプレイの光学センサを使用して、人の前記身体の一部分及び超音波トランスデューサの視覚画像データを検出することと、
前記人の前記身体上及び前記超音波トランスデューサ上の１つ又は複数の光学コードを識別することと、
前記超音波トランスデューサ上の前記１つ又は複数の光学コードを使用して、前記人の前記身体に対する前記超音波トランスデューサの位置及び向きを決定することと、
前記ＡＲディスプレイを使用して、前記人の前記身体上の前記光学コードと、前記超音波トランスデューサの前記位置及び向きとを参照することによって、前記人の前記身体と位置合わせされた前記超音波トランスデューサからの超音波画像を表示することとを含む、方法。

【請求項27】

光学コードを使用して医療処置を検証する方法であって、
ＡＲヘッドセットの光学センサを使用して、患者の身体の一部分及び医療用具の視覚画像データを検出することと、
前記患者の前記身体上及び前記医療用具上に視認可能に表示された１つ又は複数の光学コードを識別することであって、前記患者の前記身体上の１つ又は複数の光学コードは、前記患者の前記身体上に設けられた画像可視マーカに対して固定位置にある、ことと、
前記患者の前記身体上の前記１つ又は複数の光学コードを参照して前記画像可視マーカの既知の固定位置を使用して、画像データセットを前記患者の前記身体と位置合わせすることと、
前記画像データセットの表面と位置合わせする前記患者の前記身体の表面の正しい位置合わせに基づいて、正しい患者が前記医療処置中であることを確認することと、
前記１つ又は複数の光学コードを使用して、前記身体の正しい部分及び正しい医療用具が前記医療処置内にあることを確認することと、
を含む、方法。

【請求項28】

前記１つ又は複数の光学コードを使用して、前記ＡＲヘッドセットにおける表示のために患者データを取得することを更に含む、請求項２７に記載の方法。

【請求項29】

前記ＡＲヘッドセットを使用して、前記患者の前記身体及び前記画像データセットに対する前記医療用具の位置及び向きを案内するために、前記画像データセットに注釈を提供することを更に含む、請求項２７に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

複合現実又は拡張現実は、物理世界及び仮想コンピューティング世界からの画像を複合現実世界に組み合わせてもよいコンピューティング技術の領域である。複合現実では、物理世界及び仮想世界からの人々、場所、及びオブジェクトは、複合環境になる。ＶＲ（仮想現実）又はＡＲ（拡張現実）ヘッドセットの使用と共に、既存の商用又はカスタムソフトウェアを介して複合現実体験が提供されてもよい。

【0002】

拡張現実（ＡＲ）は、物理的な現実世界の環境のライブの直接ビュー又は間接ビューが、音声、ビデオ、グラフィック又は他のデータなどのコンピュータ生成の感覚入力によって拡張又は補足される複合現実の例である。拡張は、現実世界の場所が見られ、環境要素と関連して実行される。高度なＡＲ技術（例えば、コンピュータビジョン及びオブジェクト認識の追加）の支援により、ユーザの周囲の現実世界に関する情報はインタラクティブになり、デジタル的に修正されてもよい。

【0003】

ＡＲシステム又はＡＲヘッドセットが直面する問題は、オブジェクトの位置及び向きを高精度で識別することである。同様に、仮想要素の位置を現実世界環境のライブビューと位置合わせすることは困難であり得る。ＡＲヘッドセットの位置合わせ解像度は、仮想オブジェクトを、見ている物理オブジェクトに位置合わせしてもよいが、位置合わせ解像度は、数センチメートル以内にしか位置合わせされないことがある。数センチメートル以内に位置合わせを提供することは、娯楽及びそれほど要求の厳しくない用途に有用であり得るが、ＡＲシステムの位置決め及び位置合わせの解像度を高めることは、科学、工学、及び医学の分野において望ましいことがある。その結果、位置決め及び位置合わせプロセスは手動で行われてもよく、これは時間がかかり、煩雑であり、不正確であり得る。

【図面の簡単な説明】

【0004】

【図1】患者及び医療用具に取り付けられた１つ又は複数の光学コードを使用して、医療用具及び患者の画像データを参照し、患者の実際のビューに位置合わせされ得る例示的な拡張現実（ＡＲ）環境を示す図である。

【0005】

【図2】患者に貼付された画像可視マーカを有する光学コードの一例を示す図である。

【0006】

【図3】患者の身体及び医療用具の実際のビューのカメラによって取り込まれ得る視覚データの一例を示し、それぞれ光学コードが貼り付けられている。

【0007】

【図4】医療処置中の医療用具の位置決め及び向きを案内するための注釈を有する拡張現実（ＡＲ）ディスプレイにおけるビューの一例を示す図である。

【0008】

【図5】医療処置中に医療用具の使用又は案内情報を表示するために拡張現実ディスプレイデバイスに表示され得るビューの例を示す図である。

【0009】

【図6】透視画像の位置決め及び向き、並びに光学コードを使用した人の身体に対する画像データセットからの画像投影を可能にする拡張現実（ＡＲ）ディスプレイを使用する例を示す。

【0010】

【図7】人の身体に対して移動可能であり、透視画像及び画像投影もまた移動及び／又は修正される透視デバイスの一例を示す。

【0011】

【図8A】透視デバイスを示しており、この透視デバイスは、人の身体に対して移動可能であり、透視デバイス用の冠状視野内に透視画像及び画像投影を生成して、拡張現実（ＡＲ）ヘッドセット又はＡＲディスプレイを通して組み合わされた表示を可能にする。

【0012】

【図8B】拡張現実（ＡＲ）ヘッドセット又はＡＲディスプレイを介して画像データセット及び超音波画像の組み合わされた表示を可能にするために、光学コードと組み合わせて使用される超音波トランスデューサを示す。

【0013】

【図9a】画像データセット及び患者の身体に関して医療用具を参照するために拡張現実ヘッドセットを使用する例示的な方法のフローチャートである。

【0014】

【図9b】透視画像、画像データセットからの画像投影、及び光学コードを使用する人の身体を位置合わせするために拡張現実（ＡＲ）ディスプレイを使用する方法を示す。

【0015】

【図10】医療用具が画像データセット及び患者の身体に対して参照されることを可能にするために、医療用具上で光学コードを使用する際に使用され得る例示的なシステムを示す図である。

【0016】

【図11】本技術を処理するコンピューティングシステムの一例を示すブロック図である。

【発明を実施するための形態】

【0017】

拡張現実（ＡＲ）ヘッドセットを使用して、医療処置中にＡＲヘッドセットのカメラの視野内にある医療用具上で１つ又は複数の光学コードを識別できるようにする技術が提供される。医療用具は、１つ又は複数の光学コード及び人の身体上の画像可視マーカを使用して、人の身体と位置合わせされた画像データセットを参照することができる。画像データセットは、非光学撮像モダリティ（例えば、ＭＲＩ（磁気共鳴画像法）、ＣＴ（コンピュータ断層撮影）スキャン、Ｘ線などを使用する）を使用する人の身体の一部分の以前に取得された画像であってもよい。画像データセットは、人の身体上に位置する少なくとも１つの光学コードからの固定距離である画像可視マーカを使用して、人の身体に位置合わせすることができる。例えば、画像可視マーカ及び光学コード（例えば、ＡｐｒｉｌＴａｇ又は２Ｄ光バーコード）の両方を１つの材料片（例えば、互いに同じ場所に配置されているか、又は互いに固定されて近接している）に取り付けて、画像データセットと人の身体との位置合わせを容易にしてもよい。画像可視マーカは、ＡＲヘッドセットにとって光学的に可視ではない場合がある、取り込まれた放射線画像又は画像データセットなどの非可視撮像モダリティで見ることができるマーカである。画像データセットは、非光学撮像モダリティで人体の構造を取り込む機械によって取り込まれた画像を使用して、画像可視マーカの表現で取り込まれてもよい。画像データセット内の画像可視マーカの表現は、（後に更に詳細に説明するように）人の身体に貼付された１つ又は複数の光学コードに対する画像可視マーカの既知の固定位置を使用して、患者の身体と位置合わせすることができる。例えば、画像可視マーカは、放射線不透過性マーカ、ＭＲＩビーズ、超音波用のエコー源性構造などであってもよい。

【0018】

医療用具を画像データセットに参照することはまた、人の身体及び画像データセットに対する医療用具の位置及び向きを識別することを含んでもよい。したがって、医療専門家は、ＡＲヘッドセットを介して実際の患者を見ながら、医療用具上の光学コードを使用して医療用具を参照するような画像データセットを使用して、患者の仮想内部を見る。医療用具を含む視覚画像データは、ＡＲヘッドセットの可視光カメラを使用して取り込むことができる。医療用具に視認可能に表示される１つ又は複数の光学コードもまた走査されてもよい。例えば、医療用具の位置及び向きは、１つ又は複数の光学コード（例えば、ＡＰＲＩＬコード又は２Ｄ（２次元）バーコード）を走査することによって決定されてもよい。医療用具は、医療器具、トロカール、カテーテル、整形外科用ハードウェア、外科用インプラント、クランプ、電気焼灼ブレード又はシステム、手術室オブジェクト、機器オブジェクト、治療オブジェクト、医療処置オブジェクト、治療オブジェクト、挿入可能な用具、植込み可能なオブジェクト、医療デバイスなどであり得る。

【0019】

ＡＲヘッドセットを使用して、患者の身体及び画像データセットに対する医療用具の位置決め及び向きを案内するために、画像データセットに視覚的インジケータ、注釈、又は仮想ツールが統合されてもよい。医療用具又は仮想ツールはまた、医療用具又は仮想ツールを強調表示するためにＡＲヘッドセットを使用して医療用具又は仮想ツールに近接して又はオーバーレイとして表示されるグラフィックインジケータ（例えば、コンピュータ生成されたグラフィック又はシンボル）を有してもよく、又はグラフィックインジケータは、医療用具が医療処置に関連付けられているかどうかを表すことができる。医療処置における医療用具の使用を説明する指示情報である医療情報も取得することができる。更に、医療用具の輪郭は、開始点として、医療用具上の１つ又は複数の光学コードを使用して検出することができる。自動検出及び位置合わせの使用は、医療用具及び画像データセットと患者の実際のビューとの時間がかかり面倒な手動位置合わせを回避又は低減してもよい。

【0020】

本技術の別の構成では、拡張現実（ＡＲ）ヘッドセット又はＡＲディスプレイは、人の身体に対して画像データセットからの透視画像及び画像投影を位置合わせして表示することができる。画像投影としての透視画像の位置及び向きは、人の身体に対して移動可能な透視デバイスの位置及び向きによって定義されてもよい。これに関連して、人の身体に対して移動可能な撮像デバイスの説明は、撮像装置の向きを変更するか、又はエミッタ、検出器、トランスデューサ、及び／又は撮像装置の撮像構成要素を人の身体に対して移動させる、撮像装置の移動度を含む。透視デバイス上の１つ又は複数の光学コードを使用して、人又は患者の身体に対する透視デバイスの位置及び向きを決定することができる。透視画像及び画像投影は、人の身体の一部分を透視撮像した状態で表示されてもよい。この位置合わせ及び表示は、人の身体上の１つ又は複数の光学コード及び画像可視マーカ、並びに透視デバイス上の１つ又は複数の光学コードを使用することができる。人の身体上の光学コード及び透視デバイス上の光学コードは、ＡＲヘッドセットのカメラによって取り込まれた視覚画像データで識別することができる。

【0021】

人の身体上の光学コードのうちの少なくとも１つは、画像可視マーカに対して固定位置を有し得る。これにより、ＡＲディスプレイ（例えば、ＡＲヘッドセット）を通して見たときに、画像可視マーカと人の身体上の１つ又は複数の光学コードとの間の固定距離を使用して、画像データセット（例えば、放射線画像）を人の身体に位置合わせすることができる。画像投影は、透視デバイスの位置及び向きに基づいて画像データセットから作成されてもよい。透視デバイスからの透視画像は、画像可視マーカ（例えば、放射線不透過性オブジェクト）及び／又は透視デバイスの位置及び向きを定義する１つ又は複数の光学コードに基づいて、人の身体及び画像投影と位置合わせされてもよい。更に、透視画像は、Ｘ線ビームが人の身体を通過している人の身体に対する位置にＡＲヘッドセットで仮想的に表示されてもよく、透視画像は、Ｘ線ビームで撮像されている人の身体の一部分を重ね合わせるように位置合わせされてもよい。画像投影は、透視画像と平行に配向されてもよく、Ｘ線ビームの経路の少なくとも一部に仮想的にあるようにＡＲヘッドセットに表示されてもよい。位置合わせされた画像は、患者の現実世界又は現実のビューと共に、ＡＲヘッドセットを使用して表示されてもよく、又は位置合わせされた画像は、別個のＡＲディスプレイ（例えば、別個のディスプレイ画面）に表示されてもよい。このプロセスは、ライブ透視画像、画像データセット（例えば、拡張現実画像又は画像投影）、及び人の実際のビューを結合、配置、及び配向して、それにより、透視画像（例えば、人の体内の放射線不透過性オブジェクトの誘導）及び画像データセット（例えば、より良好な組織コントラストなど）の有用な態様が医療処置中に組み合わされることを可能にする。

【0022】

透視画像を使用する別の構成では、透視デバイスの１つ又は複数の光学コードを使用して、人の身体に対する透視デバイスの位置及び向きの変化を検出することができる。次いで、透視デバイスの位置及び向きの変化によって定義されるように、画像投影及び透視画像位置及び向きが修正されてもよい。例えば、画像データセットの投影の動きは、透視デバイスの向き及び位置の変化に基づいて、透視画像と一致するように共局在化又は同期されてもよい。透視デバイスのズームはまた、人の身体上の放射線不透過性オブジェクトを使用して検出されてもよく、放射線不透過性オブジェクトのサイズは、ＡＲディスプレイ上で見たときの画像投影のサイズを調整するために使用されてもよい。グラフィックインジケータ、仮想ツール、又は仮想標的システムもまた、画像データセットに含まれ、ＡＲディスプレイを使用して人の身体及び画像データセットに対する透視可能なオブジェクト（例えば、トロカール又は針）の位置決め及び向きを案内するために蛍光透視画像に共局在化され得る。

【0023】

別の構成では、カメラ又はＡＲヘッドセットによって検出又は取り込まれた光学コードを使用して、正しい医療処置が正しい患者に対して実行されていることを確認することができる。更に、医療処置における人又は患者に関連する情報もまた、光学コードを使用して取得されてもよく、ＡＲシステムを使用して医療専門家に表示され得る。光学コードはまた、患者の識別情報を確認するのに役立つことができる。確認はまた、身体及び医療用具の１つ又は複数の光学コードを使用して、身体の正しい部分及び正しい医療用具が医療処置内にあることを判定するために実行されてもよい。

【0024】

図１は、患者１０６又は人の画像データセットが、患者１０６に貼付された光学コード２００を使用して、患者１０６の実際のビューと位置合わせされ得る例示的な拡張現実（ＡＲ）環境１００を示す。環境１００は、物理的空間１０２（例えば、手術室、実験室など）、ユーザ１０４、患者１０６、患者上の複数の光学コード２００、光学コード１９８を有する医療用具１１８、及びコンピュータネットワーク１１０を介してサーバ１１２と通信するＡＲヘッドセット１０８を含むことができる。仮想ユーザインタフェース１１４及び仮想カーソル１２２も破線で示されており、これらの仮想要素がＡＲヘッドセット１０８によって生成され、ＡＲヘッドセット１０８を介してユーザ１０４が見ることができることを示している。

【0025】

ＡＲヘッドセット１０８は、画像データセットを用いて患者１０６の実際のビューを拡張することができるＡＲコンピューティングシステムとすることができる。例えば、ＡＲヘッドセット１０８はユーザ１０４によって使用され、骨１０６ｂ（図１に示す）、筋肉、臓器、又は流体を含むがこれらに限定されない患者１０６の１つ又は複数の３Ｄ画像データセットのビュー又は放射線画像で患者１０６の実際のビューを拡張してもよい。ＡＲヘッドセット１０８は、画像データセット（又は画像データセットの投影）を動的に再構築することを可能にすることができる。したがって、ユーザ１０４が患者１０６の周りを移動するとき、ＡＲヘッドセット１０８のセンサは、患者１０６に対するユーザ１０４の位置を決定し、画像データセットを使用して表示される患者の内部解剖学的組織は、ユーザが患者に対して異なる向きを選択するときに動的に再構築することができる。例えば、ユーザ１０４は、患者１０６の周りを歩いてもよい。次いで、ＡＲヘッドセット１０８は、患者１０６の１つ又は複数の取得された放射線画像又は画像データセット（ＭＲＩ、ＣＴスキャンなど）によって患者１０６の実際のビューを拡張してもよく、その結果、患者１０６及び患者１０６の画像データセットの両方が、任意の角度（例えば、投影された画像又は画像データセットからのスライスも表示することができる。）からユーザ１０４によって見ることができる。ＡＲヘッドセット１０８は、Ｍｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ、Ｍｅｔａ Ｃｏｍｐａｎｙ ＭＥＴＡ ２、Ｅｐｓｏｎ ＭＯＶＥＲＩＯ、Ｇａｒｍｉｎ ＶＡＲＩＡ ＶＩＳＩＯＮ、又は他のＡＲヘッドセットの修正バージョンであってもよい。

【0026】

光学コード２００は、患者１０６の画像データの生成（例えば、ＭＲＩ、ＣＴスキャン、Ｘ線などの取り込み）に先立って患者１０６に貼り付けられ、その後、患者１０６がＡＲヘッドセット１０８を介してユーザ１０４によって見られている間、患者１０６に貼り付けられたままであり得る。次いで、光学コード２００及び画像可視マーカをＡＲヘッドセット１０８によって使用して、患者１０６の画像データセットを患者１０６の実際のビューと自動的に位置合わせすることができる。更に、画像データを自動的に取得するために画像データの取り込み中に使用されるのと同じ光学コード２００を使用することにより、ＡＲヘッドセット１０８によって取得される画像データが、ＡＲヘッドセット１０８を通して見られている実際の患者１０６と一致することを保証することができる。

【0027】

ＡＲヘッドセット１０８は、患者の表面をマッピング又は検出することができ、同様に医療用具１１８の表面をマッピングすることができるセンサ技術を有し、この検出された表面マッピングデータは、画像データセットに共登録することができる。医療用具１１８は、環境１００内で頻繁に移動することができ、医療用具１１８のリアルタイム位置は、光学コードを使用して３Ｄ空間１０２内で追跡することができ、医療用具１１８は、画像データセット１１６又は患者１０６の身体に参照されてもよい。ユーザ１０４が医療用具１１８の一部を患者１０６の体内に挿入すると、ＡＲヘッドセット１０８は、画像データセット１１６に投影された医療用具１１８の仮想挿入部分を表示して、患者１０６の内側の解剖学的組織に医療用具１１８を描写することができる。このようにして、医療用具１１８の実際の挿入部分がユーザ１０４の実際のビューから隠されている場合でも、医療用具１１８の仮想挿入部分は、ユーザ１０４の実際のビューに投影され、画像データセットに参照されてもよい。医療用具１１８は、医療用具１１８に取り付けられた１つ又は複数の光学コードを使用して追跡することができ、次いで、画像データセット１１６及び人又は患者１０６の身体を参照して医療用具１１８の継続的に更新される位置を確立するために、ＡＲヘッドセットによって１つ又は複数の光学コードを検出することができる。いくつかの実施形態では、医療用具１１８は、ユーザ１０４が患者１０６に挿入したい任意のものであってもよい。例えば、医療用具１１８は、針、トロカール、メス（図１に示す）、スコープ、ドリル、プローブ、クランプ、インプラント、別の医療器具を含むことができるが、これらに限定されない。

【0028】

仮想ユーザインタフェース１１４は、ＡＲヘッドセット１０８によって生成することができ、患者１０６の画像データセット１１６から患者１０６の投影された内側解剖学的組織の表示を変更するためのオプションを含むことができる。仮想ユーザインタフェース１１４は、ユーザ１０４にとって有用であり得る他の情報を含むことができる。例えば、仮想ユーザインタフェース１１４は、光学コードで識別されている患者又は医療用具１１８（例えば、医療器具、インプラントなど）に関する情報を含んでもよい。別の例では、仮想ユーザインタフェース１１４は、患者１０６の医療チャート又は他の医療データを含むことができる。いくつかの構成では、画像データ１１６又は取り込まれた人の放射線データは、画像データ１１６のボリュームを使用してＡＲヘッドセット１０８によって表示され、画像データから患者１０６の放射線学的に取り込まれた解剖学的組織（例えば、骨１０６ｂ、組織、血管、流体など）を表示することができる。この画像データは、画像データの軸方向スライス、冠状スライス、矢状スライス、又は傾斜スライスを含むことができる。スライスは、深さ並びに高さ及び幅（例えば、ボクセルの１つ又は複数の層）を有する２次元（２Ｄ）スライス、３次元（３Ｄ）スライス、及び／又は４次元（４Ｄ）スライス（画像の時系列を有する３Ｄ画像）であってもよい。ユーザ１０４は、ハンドジェスチャ、音声コマンド、眼球運動、リモコン（例えば、ｆｉｎｇｅｒ ｃｌｉｃｋｅｒ）、３Ｄマウス、ＶＲ棒（ＶＲ ｗａｎｄ）、指センサ、触覚技術、又は他の制御方法を使用して仮想ユーザインタフェース１１４を制御することができる。

【0029】

一構成例では、ＡＲヘッドセット１０８をそれぞれ装着している複数のユーザが同時に存在して、患者１０６の画像データを用いて拡張された患者１０６を見ることができる。例えば、医療処置中に使用される複数のＡＲヘッドセット１０８が存在し得る。一方のＡＲヘッドセット１０８は、ＡＲヘッドセットの両方に表示されている放射線画像を調整及び操作するために第１の医療専門家によって使用されてもよく、第２のヘッドセットは、患者に対する医療処置の実行を支援するために第２の医療専門家によって使用されてもよい。加えて、１人の医療専門家は、他の医療専門家の要求で放射線画像をオン又はオフにすることができる場合がある。

【0030】

図２は、図１の患者１０６に固定された図１の光学コード２００を示す。図１及び図２の両方を参照すると、光学コード２００は、ＡＲヘッドセット１０８に組み込まれた光学センサなどの光学センサに知覚可能であり得る。いくつかの実施形態では、光学コード２００は、ＡｐｒｉｌＴａｇ、線形バーコード、マトリックス２次元（２Ｄ）バーコード、クイックレスポンス（ＱＲ）コード、又はそれらの何らかの組み合わせであってもよい。ＡｐｒｉｌＴａｇは、拡張現実及びカメラ較正に有用な視覚的基準システムであり得る２次元バーコードの一種である。ＡｐｒｉｌＴａｇｓは、カメラ、センサ、又はＡＲヘッドセットに対するタグの３Ｄ位置、向き、及び識別情報を計算するために使用され得る。

【0031】

光学コード２００は、患者１０６の医療データに光学コード２００でアクセスできるように、患者１０６の医療データにリンクされてもよい。例えば、光学コード２００を使用して、ＡＲシステムを使用する患者の医療処置で使用される画像データセットを自動的に検索することができる。

【0032】

光学コード２００は、非光学撮像モダリティに知覚可能なマーカ２０６又は画像可視マーカに更に関連付けられてもよい。非光学撮像モダリティの例としては、ＭＲＩモダリティ、コンピュータ断層撮影（ＣＴ）スキャンモダリティ、Ｘ線モダリティ、陽電子放出断層撮影（ＰＥＴ）モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ（ＩＲＴ）モダリティ、３Ｄマンモグラフィ、又は単光子放出コンピュータ断層撮影（ＳＰＥＣＴ）スキャンモダリティを挙げることができるが、これらに限定されない。別の例では、非光学画像又は画像データセットは、上に列挙した２つ以上の形態の非光学撮像モダリティの組み合わせを含む画像又は画像データセットであってもよい（例えば、互いに組み合わされた２つ以上の画像、２つ以上の非光学画像の組み合わされたセグメント、ＭＲＩ画像と融合されたＣＴ画像など）。別個のモダリティ内の各画像データセットは、個々の画像データセット内に画像可視コードを有することができ、これにより、ＰＥＴ画像、ＣＴ画像、ＭＲＩ画像、透視画像などを、ＡＲシステムビュー内の人の身体上の光学コードと共に位置合わせ及び参照することができる。非光学撮像モダリティに知覚可能な材料からマーカ２０６を形成することにより、非光学撮像モダリティを使用して取り込まれた患者１０６の画像データセットにマーカ２０６又は画像可視マーカを表示することができる。マーカ２０６の例には、金属球、液体球、放射線不透過性プラスチック、金属含浸ゴム、金属ストリップ、常磁性材料、及び金属インクの部分が含まれるが、これらに限定されない。

【0033】

マーカ２０６又は画像可視マーカは、パターンで配置されてもよく、光学コード２００の位置に対して固定位置を有してもよい。例えば、図２に開示された実施形態では、光学コード２００は、材料２０２（例えば、絆創膏、紙、プラスチック、金属箔など）上に印刷されてもよく、マーカ２０６は、材料２０２（例えば、材料２０２に埋め込まれており、包帯のいずれの表面上にも見えない）に貼り付けられてもよい。この実施形態では、マーカ２０６は、包帯２０２内に固定パターンで配置されることによって、光学コード２００の位置に対して固定位置を有するパターンで配置されてもよい。あるいは、マーカ２０６は、光学コード２００自体の中に埋め込まれてもよく、例えば、マーカ２０６は、光学コード２００が材料２０２上に少なくとも一部が印刷されるインクの中に埋め込まれ、インクは、放射線不透過性であり、Ｘ線に対して透明ではないインク粒子など、非光学撮像モダリティに対して知覚可能な材料を含む。これらの実施形態では、光学コード２００自体は、光学コード及びマーカのパターンの両方として機能することができる。更に、マーカ２０６は、光学コード２００を患者１０６の皮膚１０６ａに直接（少なくとも一時的に）貼り付けるか又は印刷することによって配置することができる。マーカ２０６を、光学コード２００の位置に対して固定位置を有するパターンに配置することによって、この固定位置を使用して、マーカ２０６自体がＡＲヘッドセット１０８のセンサに見えないか又は知覚できない場合であっても、光学コード２００の可視位置に対するマーカ２０６又は画像可視マーカのパターンの位置を計算し、又は可視マーカを撮像することができる。

【0034】

光学コード２００及びマーカ２０６が固定パターンで患者１０６に取り付けられると、（マーカ２０６が知覚可能である）非光学撮像モダリティを使用して、患者１０６及びマーカ２０６の画像データを取り込むことができる。特に、画像データは、患者１０６の内部解剖学的組織（例えば、骨１０６ｂ、筋肉、器官、又は流体など）を含むと共に、患者１０６の内部解剖学的組織の位置に対して固定位置にマーカ２０６のパターンを含むことができる。言い換えれば、患者１０６の内部解剖学的組織が患者１０６の画像データに現れるだけでなく、マーカ２０６もまた固定パターンで患者１０６の画像データセットに現れ、マーカ２０６のこの固定パターンの位置は、患者１０６の内部解剖学的組織の位置に対して固定位置で画像データセットに現れる。一例では、非光学撮像モダリティがＣＴスキャンモダリティである場合、ＣＴスキャン画像は、患者１０６の骨１０６ｂ、臓器、及び軟部組織、並びに患者１０６の骨１０６ｂ、臓器、及び軟部組織の位置に対して固定位置に配置されたマーカ２０６を表示することができる。

【0035】

更に、患者１０６は、例えば、病院の医療撮像室から病院の手術室に移動されてもよい。次いで、ユーザ１０４（医療専門家など）は、ＡＲヘッドセット１０８を使用して、人又は患者の身体上の光学コード２００の位置を判断することができる。次に、ＡＲヘッドセット１０８は、光学コードに基づいて患者１０６の画像データを自動的に取り出すことができる。

【0036】

３Ｄ空間１０２内の光学コード２００を検出した後、ＡＲヘッドセット１０８は、３Ｄ空間１０２内かつ互いに対するマーカ２０６のパターンの位置を自動的に計算することができる。この自動計算は、３Ｄ空間１０２内の光学コード２００の検知された位置に基づくことができ、光学コード２００の位置に対するマーカ２０６のパターンの既知の固定位置に基づくこともできる。（例えば、マーカ２０６が材料の中又は下に埋め込まれていることに起因して）マーカ２０６がＡＲヘッドセット１０８に知覚できない場合であっても、ＡＲヘッドセット１０８は、光学コード２００の位置と、光学コード２００の位置に対するマーカ２０６のパターンの固定位置とに基づいて、マーカ２０６のパターンの位置を自動的に計算することができる。この例では、これらの固定位置は、ＡＲヘッドセット１０８がマーカ２０６の位置を直接感知していない場合であっても、ＡＲヘッドセット１０８が互いに対して３Ｄ空間１０２内のマーカ２０６のパターンの位置を自動的に計算することを可能にすることができる。

【0037】

３Ｄ空間１０２内のマーカ２０６又は画像可視マーカのパターンの位置を計算した後、ＡＲヘッドセット１０８は、３Ｄ空間１０２内のマーカ２０６のパターンの計算された位置を画像データセット内のマーカ２０６のパターンの位置と位置合わせすることによって、３Ｄ空間１０２内の患者１０６の内部解剖学的組織の位置を位置合わせすることができる。位置合わせは、３Ｄ空間１０２内のマーカ２０６のパターンの計算された位置と、患者１０６の内部解剖学的組織の位置に対するマーカ２０６に設定された画像データセットの固定位置とに基づいて実行することができる。次いで、この位置合わせは、ＡＲヘッドセット１０８が、患者１０６の実際のビューに投影された画像データから患者１０６の内部解剖学的組織をリアルタイムで表示することを可能にすることができる。

【0038】

したがって、光学コード２００、及びマーカ２０６の関連するパターンは、患者１０６の画像データを患者１０６の実際のビューと自動的に位置合わせするためにＡＲヘッドセット１０８によって使用され得る。更に、画像データの取り込み中に取得された画像データを自動的に読み出すために、１つ又は複数の光学コード２００（例えば、ＡｐｒｉｌＴａｇ及び２Ｄバーコード、又は光学コードの別の組み合わせ）を用いることができ、ＡＲヘッドセット１０８によって読み出された画像データが、ＡＲヘッドセット１０８を通して見ている実際の患者１０６と一致することを保証することができる。

【0039】

更なる例では、患者１０６の画像データと３Ｄ空間１０２内の患者１０６の実際のビューとの正確な位置合わせを更に確実にするために、複数の光学コード２００を患者１０６に同時に取り付けることができる。また、図２に開示された５つのマーカ２０６のパターンは、３つのマーカのパターン又は７つのマーカのパターンなどの別のパターンに置き換えられてもよく、各光学コードは異なるパターンを有してもよい。更に、マーカ２０６は患者１０６の外層に固定されているので、マーカ２０６はすべてが一平面内にあるとは限らず、代わりに患者１０６の外層の任意の曲率に適合することができる。これらの実施形態では、光学コード２００の位置に対するマーカ２０６のパターンの固定位置は、患者１０６の外層上の任意の曲率を説明するために、光学コード２００及びマーカ２０６を患者１０６に固定した後に確立されてもよい。

【0040】

図３は、ＡＲヘッドセット又はＡＲシステムのカメラによって取り込まれ得る視覚画像を示す。視覚画像は、患者３００の身体及び医療用具３１４を含むことができ、それぞれに光学コードが貼付される。光学コードを使用して、視覚画像内の医療用具３１２の位置及び向きを識別することができ、光学コードを開始点として使用して、医療用具３１２の輪郭又は形状を識別することができる。更に、人３００の身体上の光学コード３１０を使用して、オーバーレイ又は表示用の追加の仮想オブジェクトとして使用される患者（例えば、患者データベース内の患者記録）又は（例えば、オブジェクトデータベース内の）仮想オブジェクトの追加情報にアクセスすることができる。

【0041】

一構成では、医療用具３１２上で複数の光学コード３１４を使用して、医療用具の位置及び向きを決定することができる。例えば、光学コード３１４は、医療用具の複数の別個の面又は表面に貼り付けられてもよい。これらの複数の光学コードの各々は、医療用具の特定の面、態様、又は向きを識別するように符号化されてもよい。複数の光学コードはまた、医療用具と関連付ける所望の３Ｄ（３次元）仮想画像を識別する際に使用されてもよい。例えば、強調表示グラフィック又は仮想オブジェクト（例えば、仮想医療器具）を医療用具のオーバーレイとして選択することができる。

【0042】

患者３００及び医療用具３１４に取り付けられた光学コード３１０、３１４が、視覚画像内の患者の身体及び医療用具３１４の位置及び向きを識別するために使用されると、この位置及び向き情報は、各光学コードについて追跡され、処置における医療用具及び患者の位置及び向きを判断するときに使用され得る。光学コード３１０は、処置中に患者の視覚画像を取り込むプロセス中に取り込むことができる。結果として、光学コード３１０を使用して、（例えば、ＡＲヘッドセットなどにおける）拡張現実ディスプレイ内の患者の以前に取り込まれた放射線画像に対して医療用具３１４を参照することができる。

【0043】

更に、医療用具の光学コード３１４を使用して、特定の種類の医療用具３１２（例えば、医療器具又は整形外科用インプラント）を識別することができる。医療用具の位置及び向きが識別されると３１４、医療用具の位置は、上述した画像データセット及び患者の身体に対して決定され得る。医療用具３１４の位置をよりよく説明するために、ＡＲシステムは、医療用具のサイズ、形状、及び輪郭を記述する情報、並びに任意の他の関連情報にアクセスすることができる。

【0044】

一例では、医療用具３１２に関連する追加情報も取得することができる。例えば、医療器具の使用に関する情報が取得され、ＡＲヘッドセットに表示されてもよい。これは、医療器具を患者の身体と最適に位置合わせする方法に関する情報、インプラントを骨に挿入するためのチップ、電子医療センサの設定、又は医療用具の他の案内情報を含むことができる。

【0045】

更に、ＡＲシステムは、どの医療用具３１２が特定の医療処置に関連付けられているかを識別する記録を有することができる。この情報を光学コードと組み合わせて使用することにより、拡張現実システムは、特定の医療用具３１２が現在の医療処置に正しく関連付けられているか、又は現在の医療処置で正しく使用されているかどうかを判定することができる。例えば、医療用具３１２が患者に埋め込まれる医療処置では、拡張現実システムに関連するデータストアにアクセスして、正しいインプラントが患者に埋め込まれ、正しいツールが使用されていることを保証することができる。光学コード、処置データ、及び患者データのこの組み合わせを使用して、正しい患者が手術されているかどうか、正しい身体部分が手術されているかどうか、身体の正しい側のためのインプラントが使用されているかどうか、又は正しいインプラントサイズが使用されているかどうかをチェックすることができる。処置の前に医療用具３１２に光学コードを使用することにより、正しい医療用具３１２が手術室にあるという信頼性を高めることができる。別の例では、ＡＲシステムは、所与の医療用具３１２が処置において認可されていることを確認する、又は誤った医療用具３１２若しくは器具が存在することをユーザに警告する光学インジケータを表示することができる。

【0046】

図４は、医療処置中に医療用具３１２に関連する追加情報を識別することを示す。上述したように、ＡＲシステムは、患者３００、医療用具３１２、及び／又は実行されている医療処置に関連する情報にアクセスするために光学コード３１４を使用することができる。ＡＲシステムは、処置中にユーザを支援するために、ＡＲヘッドセットを介して医療用具の使用に関連する情報を表示することができる。一例では、この情報は、医療器具の適切な使用を説明することができる。例えば、ＡＲシステムが医療器具３１２上の光学コード３１４を取り込む場合、光学コード３１４内の値は、データベースからその機器の情報を取得するための検索値として使用することができる。そのような情報は、ＡＲヘッドセットに表示することができる医療器具３１２を使用するための計画された医療処置ステップを更に含むことができる。

【0047】

医療専門家は、医療処置の特定の態様を事前に計画することができる。例えば、切開部又は組織を切断する経路の位置及び向きは、注釈を使用して事前に計画することができる。これらの計画は、拡張現実システムに関連付けられたデータベースに入力することができる。必要に応じて、ユーザは、ＡＲヘッドセット内のユーザに関連する事前に計画された医療処置情報を表示するように拡張現実システムに命令することができる。この場合、ユーザ又はシステムは、医療器具６１２の位置決めを記述するための所定の注釈４００、４０２を有することができる。医療処置のための医療器具のための事前に計画された経路又は位置合わせ点、線若しくは平面を示すために、仮想誘導システムがＡＲヘッドセットによって表示され得る。結果として、拡張現実ディスプレイは、医療用具３１２を円形釈４００、４０２に移動させる指示と共に、ガイダンス注釈４０４を表示することができる。医療専門家がＡＲヘッドセット内のグラフィックを使用して視覚的に描写された適切な位置及び向き（例えば、３次元内）に医療器具の位置及び向きを移動させると、適切な位置及び向きが満たされたことを示すために、グラフィックインジケータ、仮想ツール、又は仮想標的システムが表示され得る。医療用具３１２の位置決め及び向きは、３次元又は２次元で案内されてもよい。一例では、医療器具が位置合わせされていないときに赤色インジケータが表示されてもよく、医療器具が位置合わせされているときに緑色インジケータがＡＲヘッドセットを介して表示されてもよい。したがって、注釈は、医療用具が定義された位置、ターゲット、エントリポイント、又は標的オブジェクトの近くに移動すると、修正、アニメーション化、及び／又は色を変更することができる。

【0048】

同様に、仮想器具又は仮想ツールを表示して、可視器具と仮想器具との位置合わせを可能にすることができる。例えば、グラフィック又は仮想器具は、ＡＲヘッドセットを使用して表示又は投影されてもよい。可視器具又は現実世界の器具が仮想器具又は仮想ツールと位置合わせされると、ＡＲシステムは、可視器具が仮想器具と位置合わせされることを示すメッセージ又はグラフィックを表示することができる。更に、仮想器具のこの位置合わせはまた、以前に取得された画像データセット又は処置中に取得された画像データセット（例えば、処置中に得られたＣＴスキャン又はＭＲＩ画像）内の見ることができる解剖学的構造との位置合わせを可能にし得る。

【0049】

図５は、切開点５０４が患者の身体の特定の部分上のオーバーレイ又は仮想オブジェクトとしてＡＲディスプレイに表示されることを示している。ユーザは、この仮想切開点を使用して、人３００の身体に対する医療器具の初期配置及び／又は手術開始時の画像データセットを案内することができる。同様に、医療器具の位置及び向きを検出する能力はまた、切開の深さ又は角度、クランプの適切な配置などを誘導することによって医療専門家を支援する能力を含むことができる。更に、システムは、所与の医療用具を保持するための正しい角度又は向きの命令を表示することができる。例えば、ＡＲディスプレイは、患者の身体の一部分の位置及び向きに基づいて、現在の医療処置における器具の正しい動きのためのグラフィックインジケータ、仮想ツール、又は仮想標的システムをＡＲディスプレイに提示することができる。例えば、システムは、線の視覚的表示を表示することができ、それに沿って、人の個々の身体に合わせてカスタマイズされた切開が行われる。同様に、システムは、器具の現在の深さを推定し、医療器具が患者の身体及び／又は画像データセットに対して移動されることを示すことができる。処置中、拡張現実システムは、１つ又は複数の光学コード（例えば、患者３１０又は医療用具３１２のいずれかの光学コード）を使用して、医療専門家を案内するためにＡＲディスプレイ内の計画情報にアクセスし、位置合わせし、表示することができる。

【0050】

医療準備構成では、本開示に記載されているように、光学コードの使用は、医療処置のために患者を準備している医療専門家が、患者の身体又は解剖学的組織の、皮膚を準備すべき一部分、又は医療処置の前に他の医療準備を行うべき一部分を識別するようにグラフィカルに指示されることを可能にし得る。例えば、ＡＲヘッドセットが患者の身体上の１つ又は複数の光学コードを識別した後、医療専門家が医療準備を行うのを支援するために、グラフィック線、グラフィック形状、又は仮想ツールをＡＲヘッドセットに表示することができる。これにより、医療専門家は、患者を正しい解剖学的位置に位置決め、向き、及び準備し、正しい切開点を準備し、及び／又は患者の解剖学的組織の正しい部分に準備するように導かれ得る。例えば、患者の正しい椎骨又は股関節の位置を特定することは困難な場合があり、この技術はそのようなガイダンスを提供する。このガイダンスは、外科手術室における外科技術者の全体的なスループットを改善することができる。

【0051】

図６は、拡張現実（ＡＲ）システムを使用して、人６０６ａの身体に対して位置合わせされた画像データセットからの透視画像６５４及び画像投影６５６を表示するための技術６０２を示す。透視デバイス６６０は、患者を通してＸ線ビーム（例えば、連続Ｘ線）を送信して、医療専門家が見ることができる患者の透視撮像の一連の透視画像又はライブビデオを取得することができる。透視デバイス６６０はまた、人の身体に対して移動可能であってもよい。透視画像６５４及び画像投影６５６ａは、透視デバイス６６０及び／又は画像可視マーカによって定義された位置及び／又は向きを有することができる。ＡＲシステム又はＡＲヘッドセット６０８にリンクされたカメラ又は光学センサ（例えば、可視光センサ又はＩＲセンサ）は、手術台６０３上の人の身体の一部の視覚画像データ、及び人の身体に対して移動可能な透視デバイス６６０を取り込むことができる。人６０６ａの身体上の１つ又は複数の光学コード及び透視デバイス６５２、６５８上の１つ又は複数の光学コードは、光学コード認識及び走査技術又は他の光学コード認識技術を使用して視覚画像データから識別及び走査することができる。

【0052】

画像投影６５６は、透視画像６５４に（例えば、平行、斜め、又は別の固定された向きに）関連付けられた画像データセットが取り込まれている部分を表示するように選択され得る。画像投影はまた、静脈、神経又は骨などの人の身体の特定の解剖学的組織タイプを表示することができる。透視画像６５４は、単層投影（例えば、２次元（２Ｄ）投影）であってもよい。位置合わせ、位置決め、及び向きは、人の身体上の光学コード６２０及び画像可視マーカ、画像投影上の画像可視マーカの表現、透視画像６５４に取り込まれた画像可視マーカ、及び透視デバイス（例えば、Ｃアーム装置、カテーテル検査室、血管造影検査室、又は可動エミッタ及び検出器を備えた透視デバイス）上の光学コード６５２、６５８を使用して実行することができる。

【0053】

人の身体上の光学コード６２０のうちの少なくとも１つは、（先に詳述したように）画像可視マーカに対して固定位置を有することができる。これにより、画像データセット（例えば、取り込まれた放射線画像）を、人の身体上の１つ又は複数の光学コードを参照して、画像可視マーカの固定位置を使用して人６０６の身体と位置合わせすることができる。人の身体は布６０７で覆われてもよいが、身体の内部解剖学的組織６５０は、画像データセットを使用して仮想的に見ることができる。

【0054】

画像投影６５６は、透視デバイス６６０の位置及び向きに基づいて画像データセットから作成されてもよい。画像投影６５６は、冠状投影、傾斜投影、又は透視デバイス６６０の向きと一致する別の投影の向きであってもよい。画像投影は、画像データセットの多平面再構築（ＭＰＲ）である単一の平面図又は「スラブ」を定義するために画像データセットから投影される（例えば、多層投影）。画像投影は、任意の選択された厚さであってもよく、適切なビューにおける組織のＭＩＰ（最大値投影）であってもよい。

【0055】

人６０６ａの身体に対する透視デバイス６６０の位置及び向きは、透視デバイス６６０上の１つ又は複数の光学コード６５２、６５８を使用して決定することができる。透視デバイス６６０からの透視画像６５４は、人の身体、及び画像可視マーカ及び／又は人６０６ａの身体上の光学コードに基づいて設定された画像データセットと位置合わせされ得る。更に、透視画像６５４は、人６０６の身体に対する透視デバイス６６０の位置及び向きを使用して位置決め及び配向することができる。

【0056】

放射線不透過性マーカを画像可視マーカとして使用して、透視画像６５４を患者６０６ａの身体と整列させることができる。いくつかの状況では、放射線不透過性マーカは、画像データセットを位置合わせするために使用される同じ画像可視マーカであってもよく、又は放射線不透過性マーカは、別個の光学コードを有し得る完全に別個の放射線不透過性マーカ（例えば、リード矩形（lead rectangle））であってもよい。例えば、放射線不透過性マーカは、透視画像６５４を人の身体と位置合わせするために使用される第１のタイプの撮像モダリティマーカであってもよく、第２の撮像モダリティマーカ（例えば、ＭＲＩ型マーカ又は超音波マーカ）は、画像データセットを人の身体と位置合わせするために使用されてもよい。位置合わせされたデータセット画像、画像投影、及び透視画像はまた、ＡＲヘッドセット６０８を使用して、又は患者の現実世界のビューと共に別個のＡＲディスプレイ６６２上に表示されてもよい。したがって、拡張現実画像は、人６０６ａの身体に対して実行されるライブ透視介入又は診断手順に組み合わせることができる。

【0057】

前述したように、複数の有用なビューを、透視デバイス及びＡＲシステムを使用している医療専門家に提供することができる。１つのビューは、透視画像が光学コードを使用して患者の実際のビュー上に解剖学的に位置合わせされるように、部分的に透明な透視画像を撮影し、透視画像をオーバーレイする能力を含むことができる。別のビューは、画像データセットを透視画像と合成し、光学コードを使用して患者の身体と位置合わせすることを可能にすることができる。更に、画像データセットからの投影は、ＡＲシステム又はＡＲヘッドセットを介した医療専門家の変化する身体の実際のビューに合わせて移動又は再構築することができる。更に別のビューは、透視画像と、患者（例えば、医療専門家がＸ線ビーム自体と同じ視点にある場合に医療専門家が見るであろうもの）と位置合わせされて重ねられた透視画像に平行な画像データセット（例えば、２Ｄ矩形スライス）の投影との組み合わせビューを表示するＡＲシステムで提供され得る。この構成では、投影は、透視デバイスが移動するにつれて移動又は再構築することができる。

【0058】

光学コードを有する医療用具６１８はまた、前述したように、画像データセット及び画像投影６５６に関して参照することができる。これにより、医療専門家は、画像データセット又は画像投影６５６及び透視画像６５４を同時に参照して医療用具６１８を見ることができる。透視画像６５４は、医療専門家又はユーザが所望する任意のレベルの透明度に設定されてもよい。

【0059】

図７は、医療専門家６０４が異なる視点から透視画像６６０を取得することを可能にするために、人又は患者の身体６０６ａに対して透視デバイス６５４の位置が変化し得ることを示している。人の身体に対する透視デバイスの位置及び向きの変化は、ＡＲヘッドセット６０８又はＡＲシステムに関連付けられたカメラによって取り込まれた１つ又は複数の光学コード６５２、６５８を使用して検出及び定量化することができる。透視デバイス６６０の位置及び向きの変化により、画像投影６５６及び透視画像６５４の位置及び向きを変更することができる。例えば、画像投影６５６の位置及び／又は向きは、ＡＲヘッドセットによって見られるように、患者６０６ａの身体と比較して、１つ又は複数の光学コード６５２、６５８を使用して透視デバイス６６０の位置及び向きの検出された変化に基づいて移動され得る。画像データセットからの画像投影６５６は、透視デバイス６６０の修正された位置及び向きを使用して再構築されてもよく、又は新しい投影が作成されてもよい。

【0060】

例えば、透視デバイス６６０は、一軸で４５度回転してもよい。その結果、画像投影６５６をその新しい向きに再作成することができ、透視画像６５４及び画像投影６５６の向きをＡＲヘッドセットを通して見たときに人６０６ａの身体に対して適切な向きに位置合わせすることを可能にするために、ＡＲディスプレイで見たときに回転した向きで透視画像６５４を表示することができる。透視画像６５４は、身体上の光学コード、画像可視マーカによって定義されるように、及び／又は透視デバイス６６０の修正された位置及び／又は向きによって定義されるように、人の身体に対して３Ｄ空間で修正された向きを有することができる。したがって、Ｘ線ビームの位置及び向きが変化すると、画像投影６５６及び透視画像６５４の位置及び向きが変化する。

【0061】

患者に対する透視デバイス６６０の位置及び向きを決定することにより、ＡＲシステムは、画像投影６５６が透視検出器から得られた透視画像６５４と平行になるように画像投影を再構築することも可能になる。更に、透視画像６５４は、身体から透視画像６５４が取り込まれている位置（例えば、Ｘ線ビームを使用して、）に基づいて、人６０６ａの身体に対して位置決めすることができる。したがって、透視画像６５４、画像投影６５６、及び患者の身体６０６ａは、医療専門家が画像投影６５６を透視画像６５４へのオーバーレイとして使用して人又は患者の解剖学的構造を見ることができるように位置合わせされてもよい。画像投影６５６及び透視画像６５４の位置決め及び向きは、（医療専門家の視点とは対照的に）Ｘ線ビームが通過している人の身体の一部分に基づいてＡＲ（拡張現実）ビューを表すことができる。

【0062】

ＡＲシステムは、透視デバイス６５４の位置及び向きに一致する任意の角度からの投影を提供するように３Ｄ画像データセットを再構成することができる。例えば、透視デバイス６６０が側方ビューを取り込むように配置されている場合、画像データセットの側方投影を側方透視画像ビューと共に提供することができる。人の身体の現実世界のビュー、画像データセットからの画像投影、及び透視画像を組み合わせて位置合わせすることにより、医療専門家は、患者の体内の解剖学的組織をよりよく見てナビゲートすることができる。３Ｄ（３次元）画像データセットは、より良好な軟組織コントラスト（例えば、臓器及び血管は、内部の解剖学的組織に見ることができる）及び透視画像が提供し得ない３Ｄ基準環境を提供する。

【0063】

一構成では、透視画像６５４を取り込みながら、人６０６ａの身体に対して透視デバイス６６０をズームすることができる。その結果、画像投影６５６に対する調整は、画像投影６５６が透視画像６５４のズームに一致することを可能にするために、透視画像６５４に取り込まれた画像可視マーカ（すなわち、放射線不透過性マーカ８３０）のサイズの変化に基づいて実行することができる。例えば、透視画像６５４がズームインされたときに既知のサイズの画像可視マーカが取り込まれる（例えば、所定のサイズ又は長さのリードマーカ）場合、画像投影がズームインされる量は、透視画像内の画像可視マーカのサイズの視覚的増加（又はズームアウトの場合の減少）によって決定され得る。あるいは、ズーム値は、透視デバイス６６０によって電子的に報告されてもよく、又はズーム値は、透視画像６５４内又はそれと共に提供されてもよく、画像投影６５４は、透視デバイスによって電子的に報告されるように、透視ズームに一致するように修正されてもよい。

【0064】

更に、拡大が透視デバイスに適用され得るので、直接測定することが困難であり得る拡大効果の変動があり得る。例えば、Ｘ線検出器と対象との距離が変化すると、倍率変動が発生する可能性がある。したがって、放射線不透過性マーカをズーム調整に使用することができる。したがって、放射線不透過性マーカ（例えば、Ｌ字形状）が拡大表示で識別され、放射線不透過性マーカが既知の物理的サイズの２倍である場合、画像データセットは、放射線不透過性マーカの２倍のサイズに一致するようにスケーリングすることができる。画像データセットがズームアウト又はズームインされると、画像データセットは、人の身体の実際のビューとうまく整列する可能性が低い。その結果、ズームされた画像データセット及び透視画像は、ＡＲヘッドセットとは別個のＡＲディスプレイ６６２に位置合わせされて表示されるか、又は人の身体に直接オーバーレイされないＡＲヘッドセット視野の一部分（例えば、ＡＲヘッドセットの視野の中心の側から）に表示され得る。

【0065】

Ｘ線源又はＸ線検出器からの患者の解剖学的組織の距離に起因する拡大効果を減少させるために、丸い放射線不透過性球体を患者のアイソセンタに配置することができる。透視デバイスに倍率を用いる場合、Ｘ線ビーム源からの身体部分の距離に応じて倍率を変えることができる。例えば、Ｘ線ビーム源により近い身体部分の倍率は、より大きくてもよい。これらの倍率の差を補正するために、使用される放射線不透過性マーカは、既知のサイズ（例えば、１ｃｍ）の金属球であってもよい。金属球を関心のある身体部分（例えば、画像のアイソセンタ）の近くに配置し、次いで、画像データセットのズームを金属球に一致するように設定することができる。したがって、金属球が透視画像内でより小さく又はより大きく見える場合、そのサイズに基づいて画像データセットをズームすることができる。金属球もまた、あらゆる角度から同じように見える。この外観の一貫性により、金属球は、画像データセットに適用される透視画像のズームを検出するための効果的なマーカになることが可能になる。

【0066】

ＡＲディスプレイ６６２の使用はまた、医療専門家によって直接見られる患者の実際のビューの位置及び向きによりよく一致するように仮想患者を表示するために、ＡＲディスプレイに位置合わせされて表示されるように透視画像及び画像投影のビューを変更する能力を提供することができる。透視デバイスによって取り込まれた透視画像の向きに関係なく、位置合わせされた透視画像及び画像投影の表示は、医師を支援し、及び／又は患者の位置及び／又は向きの実際のビューに一致するようにＡＲディスプレイ内で配向することができる。例えば、透視画像は、実際に見られている患者の身体と比較して、何らかの他の方法で水平、垂直、又は異方向に反転されてもよい。困難な視野方向は、透視デバイス６６０の取り込み方向に起因し得る。したがって、位置合わせされた透視画像６５４及び画像投影６５６を有する画像は、医療専門家が見るために反転又は再配向（例えば、水平方向に反転され、特定の角度だけ反転され、不揃いの向きを反転させるように移動される）することができ、医療処置をより実行しやすくするか、又は医療専門家が実際のビューで見ているものとより密接に一致させることができる。画像の向きを変更するこの能力は、患者に対して処置を実行するときのより直感的な対話を可能にする。例えば、すべてが後方にある場合、透視画像ガイダンスで医療処置を実行することは非常に困難であり得る。

【0067】

グラフィックインジケータ、仮想ツール、又は仮想標的システムを画像データセット又は画像投影に使用して、ＡＲディスプレイを使用して見たときの人の身体及び画像データセットに対する透視可視なオブジェクト（例えば、針又はカテーテル）の位置及び向きを案内することもできる。同様に、医療処置中に透視可能なオブジェクトを誘導するのを助けるために、グラフィックインジケータを透視画像６５４上に配置することができる。あるいは、グラフィックインジケータは、透視処置で使用される任意の医療用具６１８を案内するために使用されてもよい。

【0068】

図８Ａは、人８０６の身体の断面図、位置合わせされた画像データセット８２０からの画像投影８０４、位置合わせされた透視画像８０２、及び透視デバイス８１４の組み合わせの側面図を示し、医療専門家が人の身体８０６内の可視アイテム８１０を透視法で案内することを可能にすることができる。透視可能なオブジェクト８１０（例えば、針）は、画像データセット８２０及び／又は人の身体と位置合わせされた画像投影８０４に対して、透視画像８０２内で医療専門家によって観察及び誘導され得る。画像投影８０４は、ＡＲヘッドセット又はＡＲディスプレイにおいて、透視画像８０２上に重ねられて見える場合がある。あるいは、画像投影８０４は、画像投影８０４の上にオーバーレイされた透視画像８０２を有するように見えてもよく、又は画像投影８０４は、位置合わせされた画像データセット８２０内にあるように見えてもよい。先に論じたように、画像データセット又は画像投影上にグラフィックインジケータ、仮想ツール、又は仮想標的システムを設けて、人８０６の身体及び画像データセット８２０に対する透視可視なオブジェクト８１０の位置及び向きを案内することができる。

【0069】

画像データセットと位置合わせされた透視画像８０２の透明度は、医療専門家が見たいと望む人８０６の画像投影８０４又は現実世界の身体の量に応じて変更することができる。透視可視なオブジェクト８１０又は医療用具はまた、透視可視なオブジェクト８１０を画像投影８０４に対して参照するために使用される透視可能なオブジェクト８１０上の１つ又は複数の光学コードを有することができる。更に、人の身体に対する医療用具の位置及び画像投影８０４又は画像データセット８２０は、医療用具上の光学コード及び人８０８の身体上の１つ又は複数の光学コードを使用して決定することができ、ＡＲディスプレイを通して見たときに医療用具が画像データ及び透視画像に参照されることを可能にする。

【0070】

画像データセット８２０からの画像投影８０４は、コンピュータ断層撮影（ＣＴ）画像又は磁気共鳴画像（ＭＲＩ）を使用して取り込まれていてもよい。次いで、画像投影８０４をライブ透視画像８０２上に重ねることができる。透視画像８０２はライブ画像であるが、透視画像は、ＭＲＩ（磁気共鳴画像）又はＣＴ（コンピュータ断層撮影）画像の３Ｄ品質又は軟組織コントラスト分解能を有さない。透視画像８０２が（例えば、ＡｐｒｉｌＴａｇ）１つ又は複数の光学コードを有する患者の身体を参照し、以前に取得された３Ｄ画像データセットの投影８０４が患者の身体上の画像可視タグを参照した場合、医療専門家は、ＡＲヘッドセット又はＡＲディスプレイを使用して患者８０６の体内で先端が移動するときに針の仮想端を見ることができる。これは、仮想画像、透視画像、及び患者の実際のビューの貴重な態様を組み合わせる。針、カテーテル先端又は同様の放射線不透過性オブジェクトは、透視下で見ることができるが、医療専門家は、透視画像内の特定の軟組織を見ることができない。したがって、患者の実際のビュー、画像データセット、透視画像、透視デバイス上の光学タグ、画像可視タグ、医療用具、及び医療用具上の光学タグの組み合わせは、医療専門家が画像データセット及び／又は透視画像を参照して医療用具を見ることを可能にすることができる。

【0071】

別の構成では、図８Ｂに示すように、医療専門家によって医療処置が行われている間に、超音波プローブ又は超音波トランスデューサ８６２を使用して患者８５０の身体の一部分の超音波画像８６０を取得することができる。超音波トランスデューサ８６２は、移動可能であってもよいし、人の身体に対して移動可能であってもよい。超音波画像８６０又はソノグラムは、身体組織から跳ね返るか又は反響する音波によって生成される２Ｄ、３Ｄ又は４Ｄ（例えば、時系列を含む）超音波画像であってもよい。エコーは、超音波画像又はソノグラムを作成するためにコンピュータによって処理される。

【0072】

これらの超音波画像８６０は、医療処置の間に得るために比較的高速かつ安価であってもよいが、超音波画像の解像度、精度、及び局所化は、ＣＴスキャン、ＭＲＩ、及び他の撮像モダリティなどの他のタイプの撮像ほど高度でなくてもよい。この技術は、超音波画像８６０を他の画像モダリティと組み合わせて、医療専門家が医療処置を実行するのを支援する能力を提供する。

【0073】

したがって、１つ又は複数の光学コード８６４は、超音波プローブ又は超音波トランスデューサ８６２（例えば、外側ハウジング上）に配置又は取り付けられてもよい。超音波トランスデューサ８６２上の光学コードは、ＡＲヘッドセット内のセンサによって検出することができる。結果として、超音波トランスデューサ８６２の位置及び向きを検出することができ、超音波トランスデューサ８６２の位置及び向きに基づいて超音波ビーム及び超音波画像の位置及び向きを決定することができる。更に、患者又は人の身体上の１つ又は複数の光学コード８５２を検出して、患者８５０の位置及び向きを決定することができる。患者８５０及び超音波画像８６０の位置及び向きを知ることにより、超音波画像８６０を位置合わせし、ＡＲヘッドセットを使用して患者の正しい位置に投影することが可能になる。ＡＲヘッドセット内の患者に投影された超音波画像８６０は、部分的に透明（例えば、医療専門家によって設定された透明度値を使用する）であってもよく、又は超音波画像は不透明であってもよい。

【0074】

超音波画像８６０又はソノグラムはまた、超音波画像８６０と比較して、より正確で、より明確で、より高い解像度で、より大きく、より良好な組織コントラスト情報を有することができる画像データセット８６６（例えば、ＭＲＩ）と組み合わせることができる。前述したように、光学コード８６４は、画像可視マーカ８５６に取り付けられてもよい。この画像可視マーカ８５６は、（詳細に前述したように）患者から以前に取得された画像データセット８６６を患者の身体と位置合わせすることを可能にすることができる。したがって、医療専門家は、高解像度画像データセット８６６と組み合わされた超音波画像８６０を、ＡＲヘッドセット又はＡＲシステムを介して患者の身体の正しい位置に位置合わせされ投影されるようにして見ることができる。例えば、医療専門家が超音波装置を使用して患者の肝臓に対して医療処置を実行している場合、患者の肝臓の限られた部分は、超音波画像を使用していつでも見ることができるが、肝臓全体は、超音波画像と共に取得された画像データセットを使用して見ることができる。超音波画像及び画像データセットは、ＡＲヘッドセットによって見られている３Ｄ空間内で共局在化することができる。

【0075】

典型的には、超音波画像８６０は、患者に対して基準点に固定されない。上述のように光学コードを使用することにより、ＡＲヘッドセットによって見られている３Ｄ空間内に基準点が提供される。更に、基準点（すなわち、光学コード）を使用して、超音波画像８６０を１つ又は複数の画像データセット８６６と位置合わせすることができる。

【0076】

超音波トランスデューサは、電子的に誘導されるファンビーム又は線形ビームを使用することができる。超音波ビームが機械的又は電子的に移動又は誘導される場合、この誘導は、超音波画像の位置を決定するときに考慮に入れることができる。

【0077】

医療専門家が乳房生検などの医療処置を行おうとする場合、医療専門家は超音波機器を使用することがあるが、超音波画像内の実際の病変を見ることは困難であり得る。しかしながら、病変は、ＣＴ、ＭＲＩ、ＰＥＴ、原子力、又は超音波画像と組み合わせて又は共局在して表示される他の画像データセットで見ることができる。したがって、超音波画像は、処置中に取り込まれた画像（例えば、リアルタイムで）を提供するために使用され得るが、以前に取り込まれた詳細な解剖学的組織は、より高い空間解像度又はコントラスト解像度の画像データセットを使用して同時に参照され得る。

【0078】

トランスデューサは、身体の表面を通過してもよく、又は身体の開口部に挿入されてもよい。これにより、超音波画像及び画像データセットの融合又は合成ビューは、患者の身体の多くの様々な合成ビューを提供することができる。

【0079】

図８Ｂに記載されるように、リアルタイム画像と患者の身体及び画像データセットとの位置合わせは、リアルタイム画像の位置及び向きが撮像デバイスのトランスデューサ、エミッタ又は検出器から取得され得る任意のタイプのリアルタイム医療画像に適用され得る。超音波画像の代わりに使用できるそのようなリアルタイム撮像の追加の例は、ＣＴ透視画像である。

【0080】

図９ａは、医療処置中に、画像データセット及び患者の身体に関して医療用具を共局在化するために拡張現実ヘッドセットを使用する例示的な方法のフローチャートである。これら及び他の実施形態では、方法９００は、１つ又は複数の非一時的コンピュータ可読媒体に格納された１つ又は複数のコンピュータ可読命令に基づいて、１つ又は複数のプロセッサによって実行されてもよい。

【0081】

方法は、ブロック９０２のように、ＡＲヘッドセットの光学センサを使用して、人又は患者の身体の一部分及び医療用具の視覚画像データを取り込むことができる。例えば、光学コードを有する可視患者は、医療専門家によって使用されるＡＲヘッドセットのカメラによって登録又は検出される。ブロック９０４のように、人の身体及び医療用具に関連する１つ又は複数の光学コードを視覚画像データ内で識別することができる。前述したように、人の身体上の光学コードは、画像可視マーカに対して固定位置に配置されてもよい。

【0082】

ブロック９０６のように、画像データセットは、人の身体上の１つ又は複数の光学コードと、画像データセット内の画像可視マーカの表現を参照したときの光学コードに対する画像可視マーカの固定位置とを使用して、人の身体と位置合わせされ得る。更に、ブロック９０８のように、医療用具が人の身体及び画像データセットに対して参照されることを可能にするために、人の身体に対する医療用具の位置及び／又は向きは、医療用具及び人の身体上の１つ又は複数の光学コードを使用して決定することができる。これらの複数の画像態様の位置合わせ及び合成は、ＡＲヘッドセットを通して見ることができる。一例では、放射線画像の画像データセットは、ユーザ又は医療専門家のニーズに応じて異なるレベルの不透明度で提示することができる。また、この不透明度は随時調整されてもよい。

【0083】

一構成では、本方法は、ＡＲヘッドセットを使用して患者の身体に対するオブジェクトの位置決め及び向きを案内するために、視覚的インジケータ、仮想誘導システム、仮想ツール、仮想強調表示、又は画像データセット上の注釈を提供することを含むことができる。例えば、仮想ツール又は視覚的インジケータは、（例えば、体内の器官又は塊を強調表示するために）グラフィック強調表示、３Ｄ配色、３Ｄ手術路又は仮想処置トラック、標的解剖学的組織のグラフィック強調表示、病変のグラフィック強調表示、回避すべき重要な構造のグラフィック強調表示、又は解剖学的構造内又はその周りの３Ｄ視覚コード及びグラフィック構造（例えば、線、平面、円柱、体積、境界、又は３Ｄ形状）のうちの１つ又は複数を含むことができる。本方法は、開始基準点として光学コードを使用して医療用具の輪郭又は３Ｄ輪郭をマッピングすることを更に含むことができる。更に、医療用具の位置及び向きは既知であるため、患者の身体に部分的に挿入された医療用具（例えば、器具又はインプラント）は、依然としてシステムによって監視されて、画像データセット、最終的には人の身体に対する正しい配置及び位置決めを保証することができる。

【0084】

本方法は、利用又は検出された医療用具が医療処置で使用されるように割り当てられているかどうかを判定するためにデータベースに問い合わせることを含むことができる。一例では、ＡＲシステムは、どの患者が特定の医療処置を受けているかを示す医療処置記録を格納することができる。これらの記録は、個々の処置に関連する特定の医療用具（例えば、医療器具、インプラントなど）のリストを含むことができる。医療用具が光学コードを使用して一意に識別される場合、その光学コードはシステムに送信され、医療用具の所定のリスト（それぞれが別個の光学コードに関連付けられ得る）と照合され得る。したがって、識別されたオブジェクトが現在の医療処置に関連付けられていると判定された場合、医療用具が医療処置に関連付けられていることを表すグラフィックインジケータを表示することができる。例えば、可視緑色インジケータ（例えば、チェックマーク又は緑色医療用具強調表示）は、処置の一致を示すことができる。別の例では、処置に関連付けられていると識別された医療用具は、常に強調表示されてもよい（例えば、ＡＲディスプレイ内で緑色インジケータによって囲まれている）。一方、医療用具が現在の処置に関連付けられていないと判定された場合、否定的な視覚的指示も表示され得る。例えば、点滅する赤色「Ｘ」又は赤色ハイライト輪郭は、負のインジケータであってもよい。

【0085】

本方法は、拡張現実ディスプレイに、医療用具に関連する医療情報を表示することを含むことができる。医療用具に関連する情報は、医療処置における医療用具の使用を記述する指示情報を含むことができる。

【0086】

患者に対して処置を実行するときに医師及び他の医療専門家が直面する１つの問題は、正しい医療用具が正しい患者の解剖学的組織で使用されていることを確実にすることである。誤った人、誤った付属物、誤った位置、誤ったインプラントが操作されているか、又は誤ったインプラント、誤った器具サイズ、又は誤った医療器具が利用されている場合、悪い医学的結果が結果として生じ得る。本技術は、医療用具に取り付けられた光学コードを利用することによって、改善された医療結果を提供することができる。

【0087】

更なる構成では、本技術は、医療処置のシミュレーションに使用することができる。患者の身体又は患者の解剖学的組織は、シミュレーション構造を使用してシミュレートすることができる。シミュレーション構造は、軟質材料（組織、動脈などを表すプラスチック及びゴム）又は他のシミュレーション材料で覆われたプラスチック又は死体の骨であってもよい。シミュレートされた解剖学的組織は、光学コード及び画像可視コードを含むことができる。次いで、将来処置が実行される患者の画像データセットを、シミュレートされた解剖学的組織と位置合わせすることができる。

【0088】

処置で使用される実際の医療用具はまた、シミュレーションに含まれてもよく、ＡＲヘッドセットの視野内にあってもよい。同様に、医療用具の限られた部分（例えば、トロカールのハンドルのみ）を使用することができ、シミュレートされた患者内の仮想ツールを見ることができる。リアルタイムで取り込まれた透視、超音波、又は他の医療画像を使用する追加のオーバーレイも使用することができる。したがって、医療専門家は、計画されている実際の処置で発生し得る課題、問題、又は他の問題をよりよく理解するために、前述と同じ機能をシミュレーションとして実行することができる。このシミュレーションは、訓練目的にも使用することができる。

【0089】

同様に、医療訓練者又は超音波撮影者は、（上述したように）訓練目的のためにリアルタイムで撮影されている実際の超音波画像と共に、以前に撮影された画像データセット（例えば、ＭＲＩ又はＣＴ画像）を組み合わせることができる。超音波画像の空間及びコントラストの解像度が低いため、超音波画像に表示されるものを明確に見ることは困難な場合がある。これにより、医療技術者は、より良好な空間解像度及びコントラスト解像度（例えば、ＭＲＩ、ＣＴなど）を有する画像を使用することによって、超音波観察下でどのような器官、骨、血管及び他の組織が見えるかについて訓練されることが可能になる。

【0090】

図９ｂは、光学コードを使用して医療処置を検証するための方法を示す。方法は、ブロック９２０のように、ＡＲヘッドセットの光学センサを使用して、患者の身体の一部分及び医療用具の視覚画像データを検出する動作を含むことができる。

【0091】

ブロック９２２のように、患者の身体及び医療用具に視認可能に表示された１つ又は複数の光学コードを識別することができる。患者の身体上の１つ又は複数の光学コードは、（前述のように）画像可視マーカに対して固定位置にある。ブロック９２４のように、患者の身体上の１つ又は複数の光学コードを参照して画像可視マーカの既知の固定位置を使用して、画像データセットを患者の身体と位置合わせしてもよい。

【0092】

ブロック９２６のように、光学コード及び画像可視マーカは、画像データセットの表面と位置合わせする患者の身体の表面の正しい位置合わせに基づいて、正しい患者が医療処置中であることを確認するために使用されてもよい。患者の身体の表面及び画像データセットの表面は、多角形メッシュ、スプライン、又は表面の別の数学的モデルを使用して作成することができる。表面（例えば、メッシュ）が類似又は一致する場合、正しい患者が認識される。これは、すべての個々の身体が固有であるため、身体の「指紋」の輪郭タイプと類推することができる。更に、医療処置における人又は患者の識別情報は、１つ又は複数の光学コードを使用して確認することもできる。この検証の追加の機能又は態様は、ブロック９２８のように、１つ又は複数の光学コードを使用して、身体の正しい部分及び正しい医療用具が医療処置で使用されていることを確認することである。

【0093】

更なる構成では、画像データを位置合わせする間に使用されるのと同じ光学コードを使用して、画像データセットを自動的に取得し、ＡＲヘッドセットによって取得された画像データが、時間がかかり、面倒で、不正確な画像データの手動検索なしに、ＡＲヘッドセットを通して見ている患者と一致することを保証することができる。

【0094】

図１０は、ＡＲヘッドセットを通して見たときに、光学コードを使用して医療用具を画像データセット及び患者の身体に参照するために使用することができる例示的なシステムを示す。システム１０００は、カメラデバイス１００２、拡張現実システム１０２０、ディスプレイデバイス１０３０、及び複数のデータベースを含むことができる。システム１０００はまた、共に通信可能に結合することができる、１つ又は複数のプロセッサ、メモリ、ファイルシステム、通信ユニット、オペレーティングシステム、及びユーザインタフェースを含むことができる。いくつかの実施形態では、システム１０００は、例えば、デスクトップコンピュータ、サーバコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、組み込みコンピュータ、ＡＲヘッドセット、ＶＲヘッドセットなどであってもよい。

【0095】

カメラデバイス１００２は、可視データを取り込むように構成することができる。一例では、カメラデバイス１００２は、医療処置中に可視データを取り込むために使用され得る。カメラデバイス１００２によって取り込まれた可視データは、人の身体（又は身体の一部分）及び１つ又は複数の医療用具（例えば、医療器具、インプラントなど）の画像を含むことができる。カメラデバイス１００２は、取り込まれた光学データを拡張現実システム１０２０に送信することができる。システムはまた、表面センサ、光学センサ、赤外線センサ、Ｌｉｄａｒセンサ、又はＡＲシステムによって検出された実際のビュー又は実際のビューのマッピングを検出及び支援するための他のセンサを含むことができる。任意のオブジェクト又は表面を、手術室、患者、部屋、物理的形状、医療用具、又は任意の他の物理的な周囲又はオブジェクトについて検出することができる。

【0096】

拡張現実システム１０２０は、画像処理エンジン１０２２、基準位置合わせモジュール１０２４、画像生成モジュール１０２６、及び拡張表示バッファ１０２８を含むことができる。例えば、画像処理エンジン１０２２は、カメラデバイス１００２から取り込まれた可視画像データを受信し、可視画像データを分析して、可視画像データ内の１つ又は複数の光学コード、オブジェクト、又は人を識別する。複数の異なる技術を使用して、限定はしないが、特徴抽出、セグメント化、及び／又はオブジェクト検出を含む可視画像データ内の医療用具を識別することができる。

【0097】

画像処理エンジン１０２２はまた、画像内の患者及び可視画像データ内の医療用具の両方の身体に貼り付けられ得る光学コードを識別する。画像処理エンジン１０２２が光学コード（例えば、ＡｐｒｉｌＴａｇ、バーコード、ＱＲコードなど）を識別すると、画像処理ユニット１０２２は光学コードデータベース１０４６にアクセスして、光学コードに関連する情報を取り出す。いくつかの例では、光学コードは、特定の患者、特定の処置、又は特定のオブジェクトに関連付けられる。光学コードは、医療用具、身体又は透視デバイスの位置及び向きをより正確に識別するために使用することができる。

【0098】

いくつかの実施形態では、基準及び位置合わせモジュール１０２４は、画像処理エンジン１０２２と係合して、任意の識別された医療用具、人の身体、及び互いに対する画像データセットを参照する。更に、基準及び位置合わせモジュール１０２４は、医療用具データベース１０４４内の光学コード情報を使用して、医療用具のサイズ及び形状を適切に識別することができる。医療用具及び患者の身体の位置及び向きが互いに対して決定されると、基準位置合わせコントローラ１０２６は、放射線画像データ１０４２内の任意の関連する放射線画像を患者の両方の身体と位置合わせすることができる。いくつかの例では、放射線画像は、患者記録データベース１０４０内の患者記録に基づいて放射線画像データベース１０４２から受信される。

【0099】

画像生成モジュール１０２６は、患者の身体又は医療用具の上部に積層されたディスプレイデバイス１０３０に表示するために、グラフィックデータ、仮想ツール、３Ｄ手術路、腫瘤若しくは器官の３Ｄ配色若しくは陰影付け、又は腫瘤、器官若しくは標的の強調表示を生成することができる。いくつかの例では、この情報は拡張表示バッファ１０２８にロードすることができる。次いで、この情報は、ユーザに表示するためにディスプレイデバイス１０３０に送信されてもよい。

【0100】

一例では、患者データベース１０４０は、複数の患者レコードを含む。各患者記録は、患者に対して実行される１つ又は複数の医療処置を含むことができる。患者記録はまた、医療処置のためのメモ、指示又は計画を含むことができる。患者レコードはまた、放射線画像データベース１０４２内の１つ又は複数の放射線画像に関連付けることができる。いくつかの例では、放射線画像は、画像可視マーカに対する光学コードの固定位置を使用して、基準及び位置合わせモジュール１０２６が画像データセットを患者の身体と適切に位置合わせすることを可能にする画像可視マーカの表現を含む。いくつかの例では、医療用具データ１０４４は、医療器具、インプラント、及び他のオブジェクトを含む医療用具を記述する情報を含む。

【0101】

いくつかの実施形態では、拡張現実システムは、サーバ上に配置されてもよく、ＡＲヘッドセット又はディスプレイデバイス１０３０に関連して機能することができる任意のコンピュータシステムであってもよい。いくつかの実施形態では、サーバは、画像データをＡＲヘッドセットに伝達するために、又はＡＲヘッドセットからデータを受信するために、コンピュータネットワークを介してＡＲヘッドセットと通信するように構成され得る。

【0102】

図１１は、本技術のモジュールが実行され得るコンピューティングデバイス１１１０を図示する。本技術の高レベルの例を実行することができるコンピューティングデバイス１１１０が示されている。コンピューティングデバイス１１１０は、メモリデバイス１１１２と通信する１つ又は複数のプロセッサ１１１２を含み得る。コンピューティングデバイスは、コンピューティングデバイス内の構成要素のためのローカル通信インタフェース１１１８を含み得る。例えば、ローカル通信インタフェースは、ローカルデータバス及び／又は所望に応じて任意の関連するアドレス若しくは制御バスであってもよい。

【0103】

メモリデバイス１１１２は、プロセッサ（複数可）１１１２によって実行可能なモジュール１１２４、及びモジュール１１２４のためのデータを含み得る。モジュール１１２４は、先に記述された機能を実行し得る。データストア１１２２もまた、プロセッサ（複数可）１１１２によって実行可能であるオペレーティングシステムと共に、モジュール１１２４及び他のアプリケーションに関連するデータを記憶するためにメモリデバイス１１１２内に位置付けられてもよい。

【0104】

他のアプリケーションもまた、メモリデバイス１１１２に記憶され、プロセッサ（複数可）１１１２によって実行可能であってもよい。本説明において考察される構成要素又はモジュールは、ハイブリッドの方法を使用してコンパイル、解釈又は実行される高水準プログラミング言語を使用してソフトウェアの形で実装され得る。

【0105】

コンピューティング装置はまた、コンピューティング装置によって使用可能であるＩ／Ｏ（入力／出力）装置１１１４へのアクセスを有し得る。Ｉ／Ｏデバイスの一例は、コンピューティングデバイスからの出力を表示できるディスプレイ画面である。所望に応じて、他の既知なＩ／Ｏデバイスが、コンピューティングデバイスと共に使用され得る。ネットワーキング装置１１１６及び類似の通信装置が、コンピューティングデバイスに含まれてもよい。ネットワーキング装置１１１６は、インターネット、ＬＡＮ、ＷＡＮ、又は他のコンピューティングネットワークに接続する有線又は無線ネットワーキング装置であってよい。

【0106】

メモリデバイス１１１２に記憶されているとして示されている構成要素又はモジュールは、プロセッサ（複数可）１１１２によって実行されてもよい。「実行可能」という用語は、プロセッサ１１１２によって実行され得る形式のプログラムファイルを意味し得る。例えば、高水準言語のプログラムは、メモリデバイス１１１２のランダムアクセス部分にロードされプロセッサ１１１２によって実行され得るフォーマットで機械コードにコンパイルされ得、又はソースコードは、別の実行可能プログラムによってロードされ、プロセッサによって実行されるべきメモリのランダムアクセス部分に命令を生成するように解釈され得る。実行可能プログラムは、メモリデバイス１１１２の任意の部分又は構成要素に記憶され得る。例えば、メモリデバイス１１１２は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ、メモリカード、ハードドライブ、光ディスク、フロッピーディスク、磁気テープ、又は任意の他のメモリ構成要素であり得る。

【0107】

プロセッサ１１１２は、複数のプロセッサを表してもよく、メモリ１１１２は、処理回路と並列に動作する複数のメモリユニットを表してもよい。これは、システム内の処理及びデータのために並列処理チャネルを提供し得る。ローカルインタフェース１１１８は、複数のプロセッサのいずれかと複数のメモリとの間の通信を容易にするためのネットワークとして使用されてもよい。ローカルインタフェース１１１８は、負荷分散、大量データ転送、及び類似のシステムなどの通信を連携するために設計された追加のシステムを使用してもよい。

【0108】

本明細書に記載されている機能ユニットのいくつかは、それらの実施の独立性をより特に強調するために、モジュールとしてラベル付けされている。例えば、モジュールは、カスタムＶＬＳＩ回路又はゲートアレイ、論理チップなどの既製の半導体、トランジスタ、又は他のディスクリート部品を含むハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジック装置等のようなプログラマブルハードウェア装置に実装されてもよい。

【0109】

モジュールはまた、様々な種類のプロセッサによる実行のためのソフトウェアに実装されてもよい。実行可能コードの識別されたモジュールは、例えば、オブジェクト、手順、又は機能として編成され得るコンピュータ命令の１つ以上のブロックを含んでもよい。それにもかかわらず、識別されたモジュールの実行ファイルは、物理的に一緒に位置する必要はなく、モジュールを構成し、論理的に一緒に結合されたときにモジュールについて述べられた目的を達成する異なる場所に記憶された異種の命令を含んでもよい。

【0110】

実際、実行可能コードのモジュールは、単一の命令、又は多くの命令であってもよく、異なるプログラムの間で、及びいくつかのメモリデバイスにまたがって、いくつかの異なるコードセグメントにわたって分散することさえあってもよい。同様に、動作データは、本明細書ではモジュール内で識別され及び例示され得、任意の適切な形式で具現化され、任意の適切なタイプのデータ構造内に編成されてもよい。動作データは、単一のデータセットとして収集されてもよく、又は異なる記憶装置にわたることを含めて異なる場所にわたって分散されてもよい。モジュールは、所望の機能を行うように動作可能なエージェントを含めて、受動的であっても又は能動的であってもよい。

【0111】

本明細書に記載の技術は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶するための任意の技術で実装された揮発性及び不揮発性、取り外し可能及び非取り外し可能媒体を含むコンピュータ可読記憶媒体に記憶されてもよい。コンピュータ可読記憶媒体としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光学記憶デバイス、磁気カセット、磁気テープ、磁気ディスク記憶デバイス若しくは他の磁気記憶デバイス、又は所望の情報及び記載された技術を記憶するために使用され得る任意の他のコンピュータ記憶媒体が挙げられるが、これらに限定されない。

【0112】

本明細書に記載の装置はまた、装置が他の装置と通信することを可能にする通信接続又はネットワーキング装置及びネットワーキング接続を含むことができる。通信接続は、通信媒体の一例である。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、及び搬送波又は他の移送機構などの変調データ信号内の他のデータを具現化し、任意の情報配信媒体を含む。「変調データ信号」は、信号内の情報を符号化するような様態で設定又は変更されたその特性のうちの１つ又は複数を有する信号を意味する。限定ではなく例として、通信媒体には、有線ネットワーク又は直接配線接続などの有線媒体、及び音響、無線周波数、赤外線などの無線媒体並びに他の無線媒体が含まれる。本明細書で使用されるコンピュータ可読媒体という用語は、通信媒体を含む。

【0113】

図面に図示された例を参照し、本明細書では同じことを説明するために特定言語を使用した。それでもなお、それにより本技術の範囲の限定が意図されない、と理解されるであろう。本明細書に示されている特徴の変更及び更なる修正、並びに本開示を所有する当業者が想到するであろう、本明細書に示されている例の更なる適用は、説明の範囲内であると考えられるべきである。

【0114】

更に、説明された特徴、構造、又は特性は、１つ以上の実施例において、任意の好適な様態で組み合されてもよい。先行する説明において、説明される技術の実施例の完全な理解を提供するために、種々の構成の実施例等の多数の具体的な詳細を提供した。しかし、当業者は、本技術が、具体的な詳細のうち１つ又は複数を伴わずに、又は他の方法、構成要素、装置等を伴って実践され得ることを認識するであろう。その他の場合、本技術の態様を不明瞭にすることを回避するために、周知の構造又は動作は、詳細には図示又は説明されていない。

【0115】

主題は、構造的特徴及び／又は動作に特有の言語で説明されてきたが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴及び動作に限定されないことを理解されたい。むしろ、上記の特定の特徴及び作用は、特許請求の範囲を実施する例示的な形態として開示されている。記載された技術の精神及び範囲から逸脱することなく、多数の改変及び代替の構成が考案され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9a】

【図9b】

【図10】

【図11】