知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-17
(54)【発明の名称】拡張現実ディスプレイ内の医療画像の位置合わせ
(51)【国際特許分類】
A61B 5/055 20060101AFI20230310BHJP
A61B 6/03 20060101ALI20230310BHJP
【ＦＩ】
A61B5/055 390
A61B5/055 380
A61B6/03 360Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022543527
(86)(22)【出願日】2021-01-13
(85)【翻訳文提出日】2022-08-29
(86)【国際出願番号】 US2021013333
(87)【国際公開番号】W WO2021146357
(87)【国際公開日】2021-07-22
(31)【優先権主張番号】16/745,160
(32)【優先日】2020-01-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519349469
【氏名又は名称】ノバラッド コーポレイション
【氏名又は名称原語表記】ＮＯＶＡＲＡＤ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】ギビー、ウェンデル アーレン
(72)【発明者】
【氏名】ツベトコ、スティーブン トッド
【テーマコード（参考）】
4C093
4C096
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA21
4C093EE20
4C093EE30
4C093FF13
4C093FF37
4C093FG13
4C096AA18
4C096AB36
4C096AD14
4C096AD15
4C096DC16
4C096DC33
4C096DD13
4C096FC14
4C096FC20
(57)【要約】
画像データセットを人の身体と共存させるためのＡＲヘッドセットについて説明する。１つの方法は、そのＡＲヘッドセットを使用して、人の身体上のチューブ内の造影剤を有する光学コードを識別することを含むことができる。画像データセットは、画像可視マーカの表現を参照する光学コードに対するチューブ内の造影剤を有する画像可視マーカの固定位置を使用して、人の身体と位置合わせすることができる。一構成では、画像データセットは、取り込まれた画像データセット内の画像可視マーカ（例えば、ガドリニウムチューブ）の測定されたサイズを、画像可視マーカの既知のサイズと比較することによって、変倍することができる。更に、光学コードの中心を識別して、画像データセットを人の身体とより正確に位置合わせすることができる。
【特許請求の範囲】
【請求項1】
拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法であって、前記ＡＲヘッドセットの光学センサを使用して、前記人の前記身体と関連付けられた１つ以上の光学コードを識別することであって、前記人の身体についての光学コードが、前記光学コードに対して固定位置にあるチューブ、又は密閉容器内の画像可視造影剤を含む画像可視マーカを有する、識別することと、
医療撮像デバイスを使用して取得された前記画像データセット内の、前記チューブ内の前記画像可視造影剤を有する前記画像可視マーカを識別することと、
前記ＡＲヘッドセットを介して見たときに前記人の前記身体上の１つ以上の光学コードを使用し、かつ前記画像データセット内の、前記チューブ内の前記画像可視造影剤を有する前記画像可視マーカの表現を参照するときに、前記光学コードに対する前記チューブ内の前記画像可視造影剤を有する前記画像可視マーカの前記固定位置を使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、を含む、方法。
【請求項2】
更に、前記画像可視造影剤が、ＭＲＩ（磁気共鳴撮像法）可視造影剤である、請求項１に記載の方法。
【請求項3】
前記画像可視造影剤が、常磁性流体である、請求項２に記載の方法。
【請求項4】
前記画像可視造影剤が、画定された長さの前記チューブ、又は可変の長さのチューブ内にカプセル化される、請求項２に記載の方法。
【請求項5】
前記チューブの前記画定された長さが、前記ＡＲヘッドセットの前記光学センサを使用して可視である画定された２Ｄデータコード化で光学コードを識別する、請求項４に記載の方法。
【請求項6】
チューブの前記画定された長さをデータストア内の前記光学コードとリンクさせることによって、前記ＡＲヘッドセットの前記光学センサを使用して可視の前記光学コードと前記チューブの前記画定された長さを関連付けることを更に含む、請求項５に記載の方法。
【請求項7】
前記チューブが、線、交差構造、同心円、又は格子構造のうちの少なくとも１つの形状の成形チューブである、請求項１に記載の方法。
【請求項8】
前記チューブが、円形、三角形、正方形、長方形、楕円形、六角形、八角形、卵形、又は多角形のうちの少なくとも１つである二次元（２Ｄ）断面形状を有する、請求項３に記載の方法。
【請求項9】
前記チューブは、各々が別個の長さを有する複数のチューブセグメントである、請求項３に記載の方法。
【請求項10】
前記画像可視造影剤が、ガドリニウム溶液、硫酸銅、鉄溶液、マンガン、ビタミンＥ油、又は常磁性材料である、請求項１に記載の方法。
【請求項11】
前記人の前記身体上の１つ以上の光学コードを使用して、前記人の前記身体について前記画像データセットを自動的に取リ出すことを更に含む、請求項１に記載の方法。
【請求項12】
前記チューブが、プラスチックチューブ、ガラス、又は非金属チューブのうちの少なくとも１つである、請求項１に記載の方法。
【請求項13】
カプセル化された造影剤及び光学コードを製造するための方法であって、プラスチックチューブの第１の端部をシールすることと、
ＭＲＩ（磁気共鳴撮像法）データ取得で使用するための前記プラスチックチューブの長さを切断することと、
ＭＲＩ画像データセットに取り込まれ得る可視の画像可視造影剤で前記プラスチックチューブを充填することと、
前記画像可視造影剤を含む前記プラスチックチューブの第２の端部をシールすることと、
接合構造を使用して１つ以上の光学コードを前記プラスチックチューブに取り付けて、前記プラスチックチューブと前記１つ以上の光学コードとの間の固定位置を維持することと、を含む、方法。
【請求項14】
前記プラスチックチューブが、円形、卵形、正方形、長方形、半円形、波形、又は多角形によって画定された断面形状を有する、請求項１３に記載の方法。
【請求項15】
ＭＲＩ（磁気共鳴撮像法）可視造影剤である前記画像可視造影剤で前記プラスチックチューブを充填することを更に含む、請求項１３に記載の方法。
【請求項16】
常磁性流体である画像可視造影剤で前記チューブを充填することを更に含む、請求項１３に記載の方法。
【請求項17】
ガドリニウム溶液、硫酸銅、鉄溶液、マンガン、又はビタミンＥ油である前記画像可視造影剤で前記チューブを充填することを更に含む、請求項１３に記載の方法。
【請求項18】
拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法であって、前記ＡＲヘッドセットの光学センサを使用して、前記人の前記身体の一部分の視覚画像データを検出することと、
前記人の前記身体と関連付けられた１つ以上の光学コードを識別することであって、前記人の身体についての光学コードが、前記光学コードに対して固定位置に位置付けられている画像可視マーカを有する、識別することと、
前記人の前記身体と関連付けられた前記画像可視マーカの幾何学的属性の既知のサイズを識別することであって、前記画像可視マーカが、前記画像データセット内に出現する、識別することと、
前記画像データセット内の前記画像可視マーカの前記幾何学的属性の測定されたサイズを、画像可視マーカの幾何学的属性の前記既知のサイズと比較して、前記画像データセット内の前記画像可視マーカの前記幾何学的属性の、測定されたサイズと前記既知のサイズとの間のサイズの計算された差を決定することと、
前記画像可視マーカの前記幾何学的属性の、前記既知のサイズと測定されたサイズとの間のサイズの前記計算された差に少なくとも部分的に基づいて、前記ＡＲヘッドセット及び前記画像可視マーカを介して見たときに、前記人の前記身体上の１つ以上の光学コードを使用して、前記人の前記身体に位置合わせされるように、前記画像データセットの倍率を修正することと、を含む、方法。
【請求項19】
前記画像データセットの前記倍率を増加又は減少させて、前記画像データセット内の前記画像可視マーカの前記幾何学的属性の前記測定されたサイズを、前記画像可視マーカの前記幾何学的属性の前記既知のサイズに一致させることを更に含む、請求項１８に記載の方法。
【請求項20】
前記ＡＲヘッドセットを介して見たときに、前記画像データセットの前記倍率を増加させることを更に含み、前記光学コードの前記既知のサイズが、前記画像データセット内の前記画像可視マーカの前記測定されたサイズよりも大きい、請求項１８に記載の方法。
【請求項21】
前記ＡＲヘッドセットを介して見たときに、前記画像データセットの前記倍率を減少させることを更に含み、前記光学コードの前記既知のサイズが、前記画像データセット内の前記画像可視マーカの前記測定されたサイズよりも小さい、請求項１８に記載の方法。
【請求項22】
前記幾何学的属性の前記サイズが、前記ＡＲヘッドセットにアクセス可能なデータストアに保存された事前測定された値である、請求項１８に記載の方法。
【請求項23】
前記幾何学的属性の前記サイズが、前記ＡＲヘッドセットによって取得された人の身体上で可視である画像可視マーカから測定される、請求項１８に記載の方法。
【請求項24】
前記光学コードの前記幾何学的属性が、常磁性マーカのチューブの長さ、前記光学コードとの２つの金属マーカ間の距離、前記光学コードの複数の金属マーカを包含する半径、前記画像可視マーカの直径、又は前記画像可視マーカの幾何学的測定のうちの少なくとも１つである、請求項１８に記載の方法。
【請求項25】
拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法であって、前記ＡＲヘッドセットの光学センサを使用して、前記人の前記身体と関連付けられた１つ以上の光学コードを識別することであって、前記人の身体についての光学コードが、画像可視マーカに対して固定位置に位置付けられている、識別することと、
前記人の前記身体と関連付けられた光学コードの１つ以上の縁端部を識別することと、
前記光学コードの前記１つ以上の縁端部を使用して、前記光学コードの中心点を識別することと、
前記光学コードの前記中心点及び前記画像可視コードを使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、を含む、方法。
【請求項26】
前記中心点が、前記光学コードの計算された重心である、請求項２５に記載の方法。
【請求項27】
前記光学コードの前記縁端部上の第１の点と前記光学コードの縁端部上の第２の点との間の第１の線を計算して、前記光学コードの第１の対角線を形成することと、前記光学コードの第２の対角線を形成し、前記第１の線と交差する、前記光学コードの前記縁端部上の第３の点と前記縁端部上の第４の点との間の第２の線を計算することと、
前記第１の線及び第２の線が交差する前記光学コードの中心点を識別することと、を更に含む、請求項２５に記載の方法。
【請求項28】
前記画像可視マーカを参照としたときの光学コードの前記中心点、及び前記光学コードの前記中心点と前記画像可視マーカとの間の固定距離を使用することによって、前記ＡＲヘッドセットを介して前記画像データセットを表示するための場所を決定することを更に含む、請求項２５に記載の方法。
【請求項29】
前記視覚画像データ内の複数の光学コードの前記中心点を見つけることと、前記複数の光学コードの前記中心点の平均中心点を計算することと、
前記複数の光学コードの前記平均中心点を使用して、前記画像データセットを人の身体と位置合わせすることと、を更に含む、請求項２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、拡張現実ディスプレイ内の医療画像の位置合わせに関する。
【背景技術】
【0002】
複合現実又は拡張現実は、物質界及び仮想コンピューティング世界からの画像を複合現実世界に組み合わされ得るコンピューティング技術の領域である。複合現実では、物理世界及び仮想世界からの人々、場所、及びオブジェクトは、ブレンドされた環境になる。ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、仮想現実）又はＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、拡張現実）ヘッドセットの使用と共に、既存の商用又はカスタムソフトウェアを介して複合現実体験が提供されてもよい。
【0003】
拡張現実（ＡＲ）は、物理的な実的な世界の環境の、生の直接的なビュー又は間接的なビューが、画像、音声、ビデオ、グラフィックス、又は他のデータなどの、コンピュータで作られた感覚入力によって拡張又は補足される複合現実の例である。このような拡張は、実世界の場所が見られ、かつ環境要素との関連があるときに、実現され得る。高度なＡＲ技術（例えば、コンピュータビジョン及びオブジェクト認識を追加する）の支援により、ユーザの周囲の実世界に関する情報は、インタラクティブになり、（例えば、コンピュータグラフィックオーバーレイを介して）デジタル的に修正することができる。
【0004】
ＡＲシステム又はＡＲヘッドセットが直面する問題は、オブジェクトの位置及び向きを高精度で識別することである。同様に、仮想要素の位置を実世界環境の生のビューと位置合わせすることは、困難であり得る。例えば、ＡＲヘッドセットを介して見たときに、仮想オブジェクトを物理的オブジェクトと位置合わせすることは、困難であり得、その理由は、仮想オブジェクトの発光又は明るさが、仮想オブジェクトを位置合わせすることになる、基となる現実オブジェクトを見えにくくさせるからである。仮想オブジェクトを物理的オブジェクトと概ね数センチメートル以内に位置合わせすることは、娯楽分野、及びより負担の少ないアプリケーションにとって有用であり得るが、ＡＲシステムの場合の位置決め及び位置合わせの解像度をより高めることは、科学的、工学的、及び医学的分野において望ましい場合がある。結果として、科学的、工学的、及び医学的分野において使用されるＡＲの位置決め及び位置合わせプロセスは、手動で行われ得、これは、時間がかかり、煩雑であり、かつ不正確であり得る。
【図面の簡単な説明】
【0005】
【図1】可視光学コードに取り付けられたチューブ内の造影剤又は造影マーカに固定された１つ以上の可視光学コードを使用して、患者の画像データセットが参照され得、かつ患者の実際のビューに位置合わせされ得る例示的な拡張現実（ＡＲ）環境を示す。
【図2】光学コード及び患者に貼り付けられたチューブである、画像可視マーカを有する光学コードの例を示す。
【図3】画像可視マーカとしてチューブの複数のセグメントを使用する例を示す。
【図4a】光学コードに固定されているチューブ内のカプセル化された造影剤又は造影マーカを製造するための方法を例示するフローチャートである。
【図4b】光学コードに固定されているチューブ内のカプセル化された造影剤又は造影マーカを製造するための方法の別の順番を例示するフローチャートである。
【図5】造影剤又は造影マーカを含む取り付けられたチューブを有するＡｐｒｉｌＴａｇのビューの例を示す。
【図6A】ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ、磁気共鳴撮像法）を使用して取り込まれたときの、造影剤又は造影流体を含むチューブの例を示す。
【図6B】ＭＲＩ（磁気共鳴撮像法）を使用して取り込まれたときの、造影剤を含むチューブの様々な直径の例を示す。
【図7】取り込まれた画像データセット内の画像可視マーカ（例えば、チューブ内のガドリニウム流体）の測定されたサイズを、画像可視マーカの既知の又は測定されたサイズと比較することによる、画像データセットの変倍を示す。
【図8】拡張現実（ＡＲ）ヘッドセットを使用する画像データセットの人の身体との位置合わせ又は共存（ｃｏ－ｌｏｃａｌｉｚａｔｉｏｎ）のための光学コードの中心を見つけること及び使用することを示す。
【図9a】造影剤又はマーキング剤を含むチューブである画像可視マーカを使用して、画像データセットを人の身体と共存させるための、拡張現実（ＡＲ）ヘッドセットを使用する例示的な方法のフローチャートである。
【図9b】画像データセット内の画像可視マーカの幾何学的属性の測定されたサイズを、画像可視マーカの幾何学的属性の既知のサイズと比較して、人の身体に位置合わせされた画像データセットを変倍するための方法を例示する。
【図9c】光学コードの中心を見つけることによって、画像データセットを人の身体に位置合わせするための方法を例示する。
【図10】画像データセットを人の身体に位置合わせするために採用することができる例示的なシステムを示す。
【図11】本技術を処理するコンピューティングシステムの一例を示すブロック図である。
【発明を実施するための形態】
【0006】
拡張現実（ＡＲ）ヘッドセットを使用して、医療手順中にＡＲヘッドセットのカメラのビュー内にある１つ以上の光学コード（例えば、ＡｐｒｉｌＴａｇ、ＱＲコード（登録商標）、又は２Ｄ光学バーコード）を識別するための技術が提供される。画像データセットは、人の身体上の１つ以上の光学コード及び画像可視マーカを使用して、その人の身体と位置合わせすることができる。この画像データセットは、非光学撮像法モダリティを使用して、人の身体の一部分の、以前に取得された画像であり得る。非光学撮像法モダリティの例は、ＭＲＩ（磁気共鳴撮像法）モダリティ、ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ、コンピュータ断層撮影）スキャンモダリティ、Ｘ線モダリティ、陽電子放出断層撮影（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ、ＰＥＴ）モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ（Ｉｎｆｒａｒｅｄ Ｔｈｅｒｍｏｇｒａｐｈｙ、ＩＲＴ）モダリティ、３Ｄマンモグラフィ、又は単一光子放出型コンピュータ断層撮影（Ｓｉｎｇｌｅ－Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ、ＳＰＥＣＴ）スキャンモダリティなどであってもよい。画像データセットは、人の身体上（例えば、身体の側面に、又は身体の下）に位置付けられた少なくとも１つの光学コードからの固定距離にある画像可視マーカを使用して、人の身体に位置合わせすることができる。例えば、画像可視マーカ及び光学コードが両方とも一片の材料上に取り付けられて（例えば、同じ場所に位置付けられるか、又は互いに固定されて近接している）、画像データセットの、人の身体との位置合わせを容易にすることができる。画像可視マーカは、ＡＲヘッドセットにとって光学的に可視ではない場合がある、取り込まれた放射線医学画像又は画像データセットなどの非可視撮像法モダリティで見ることができるマーカである。画像データセットは、非光学撮像法モダリティを用いてヒトの身体の構造を捕捉する、機械で取り込まれた画像内の画像可視マーカの表現で取り込むことができる。画像データセット内の画像可視マーカの表現は、（後に更に詳細に説明されるように）人の身体に貼り付けられた１つ以上の光学コードに対する画像可視マーカの既知の固定位置を使用して、患者の身体と位置合わせすることができる。例えば、画像可視マーカは、密閉容器（例えば、ＭＲＩビーズ若しくは球体）又はある長さを有するチューブ内のＭＲＩ用造影剤であり得る。上述のような他の撮像法モダリティでは、適切な造影剤が、それぞれのモダリティ（核ベースの画像取得など）において取り込まれた画像内で可視であるチューブ内に提供され得る。
【0007】
図１は、患者又は人１０６の画像データセット１１６が、患者１０６に貼り付けられた光学コード２００を使用して、患者１０６の実際のビューと位置合わせすることができる拡張現実（ＡＲ）環境１００の一例を示す。この画像データセット１１６は、画像データセット内に画像可視流体、画像可視媒体、又は画像可視マーカを含むチューブ１９８又は密閉容器の撮像を含むことができる。画像データセット１１６内の別個の光学タグ２００の識別情報（例えば、一意の光学コード）は、画像可視媒体又はマーカを含むチューブ１９８の場所、及びチューブの長さに基づいて、決定又は符号化することができる。この光学コード２００はまた、光学コードとして可視ＡｐｒｉｌＴａｇ又は２Ｄバーコードを使用して、ＡＲヘッドセット１０８によって取り込まれたカメラ画像内で識別することもできる。したがって、画像可視マーカ１９８は、画像データセット１１６内で識別することができ、ＡＲヘッドセット１０８を介して可視である光学コード２００と位置合わせすることができる。
【0008】
環境１００は、物理的空間１０２（例えば、手術室、実験室など）、ユーザ１０４、患者１０６、患者上の複数の光学コード２００、光学コード１９８を有する医療用具１１８、及びコンピュータネットワーク１１０を介してサーバ１１２と通信するＡＲヘッドセット１０８を含むことができる。仮想ユーザインターフェース１１４及び仮想カーソル１２２が、破線で示され、これらの仮想要素がＡＲヘッドセット１０８によって生成され、ＡＲヘッドセット１０８を介してユーザ１０４によって見ることができることを示している。
【0009】
ＡＲヘッドセット１０８は、画像データセット１１６を用いて、（院内着又は布地１０７によって覆われた）患者１０６の実際のビューを拡張することができるＡＲコンピューティングシステムであり得る。例えば、ＡＲヘッドセット１０８は、骨（図１に例示されているような）、筋肉、臓器、又は流体１０６ｂを含むが、これらに限定されない、患者１０６の１つ以上の３Ｄ画像データセットのビュー、又は放射線医学画像を用いて患者１０６の実際のビューを拡張するために、ユーザ１０４によって用いられ得る。
【0010】
ＡＲヘッドセット１０８により、画像データセット１１６（又は画像データセットの投射）が動的に再構築されることが可能になり得る。よって、ユーザ１０４が患者１０６の周辺を移動するときに、ＡＲヘッドセット１０８のセンサは、患者１０６に対するユーザ１０４の場所を決定し、画像データセットを使用して表示される患者の内部の解剖学的構造は、ユーザ１０４が患者に対して異なる配向を選択するときに、動的に再構築することができる。例えば、ユーザ１０４は、患者１０６の周りを歩いてもよい。次いで、ＡＲヘッドセット１０８は、患者１０６の１つ以上の取得された放射線医学画像又は画像データセット（ＭＲＩ、ＣＴスキャンなど）を用いて、患者１０６の実際のビューを拡張することができ、その結果、患者１０６ａ、及びその患者１０６ａの画像データセット１１６の両方は、任意の角度からユーザ１０４によって見られ得る（例えば、画像データセットからの投射された画像又はスライスもまた、表示することができる）。ＡＲヘッドセット１０８は、Ｍｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（登録商標）、Ｍｅｔａ Ｃｏｍｐａｎｙ ＭＥＴＡ ２、Ｅｐｓｏｎ ＭＯＶＥＲＩＯ（登録商標）、Ｇａｒｍｉｎ ＶＡＲＩＡ ＶＩＳＩＯＮ、又は他のＡＲヘッドセットの修正バージョンであってもよい。
【0011】
光学コード２００は、患者１０６の画像データの生成（例えば、ＭＲＩ、ＣＴスキャン、Ｘ線などの取り込み）に先立って患者１０６に貼り付けられ、その後、患者１０６がＡＲヘッドセット１０８を介してユーザ１０４によって見られている間、患者１０６に貼り付けられたままであり得る。次いで、光学コード２００及び画像可視マーカ１９８がＡＲヘッドセット１０８によって用いられ、患者１０６の画像データセット１１６を患者１０６の実際のビューとプログラム制御で位置合わせすることができる。例えば、人１０６の身体と関連付けられた１つ以上の光学コード２００を識別することができる。人の身体１０６ａ上の光学コード１９８は、チューブ内の造影剤、又はチューブの長さを含む画像可視マーカ１９８に対して固定位置に位置付けられ得る。ある長さのチューブ内で造影剤を使用する画像可視マーカ１９８は、医療撮像デバイスを使用して取得された画像データセット１１６内で識別することができる。画像データセット１１６は、人の身体上の１つ以上の光学コード２００を使用し、かつ光学コード２００に対するチューブ内の造影剤を有する画像可視マーカ１９８の固定位置を使用してＡＲヘッドセット１０８を介して見たときに、人の身体１０６ｂと位置合わせすることができる。画像データセット内のチューブ内の造影剤を有する画像可視マーカ１９８の表現は、位置合わせプロセスのための基準点として使用することができる。
【0012】
造影剤又は造影薬剤は、ＭＲＩ（磁気共鳴撮像法）可視造影剤であってもよい。一例では、密閉容器又はチューブ内のカプセル化された造影剤又は造影薬剤は、常磁性流体又は半流体であってもよい。造影剤は、画定された長さ、又は人によって選択された可変の長さの密閉容器又はチューブ内にカプセル化することができる。チューブの画定された長さは、ＡＲヘッドセットの光学センサを使用して可視である２Ｄデータコード化で光学コードと関連付けるか、又はその光学コードを識別することができる。チューブの画定された長さは、チューブの所定の長さをデータストア又はデータベース内で光学コードとリンクすることによって、ＡＲヘッドセットのカメラ又は光学センサによって見ることができる光学コードと関連付けることができる。可視光学コードとチューブとの間のこの登録又はリンク付けは、光学コードから固定距離にあるチューブを用いて光学コードの画像を取り込み、かつ取り込まれたチューブの測定された長さを記録するか、又は手入力によって行うことができる。
【0013】
チューブのセグメントは、変化する可能性があり（例えば、３ｍｍ、５ｍｍ、７ｍｍ、１０ｍｍ）、チューブの特定の長さは、別個の光学コードと関連付けることができる。例えば、光学コードＡが、長さ５ミリメートル（ｍｉｌｌｉｍｅｔｅｒ、ｍｍ）の光学コードに取り付けられたチューブを有することができ、光学コードＢが、長さ７ｍｍの光学コードに取り付けられたチューブを有することができ、光学コードＣが、長さ１０ｍｍの光学コードに取り付けられたチューブを有することができる。チューブのセグメントは、それぞれの光学コードにリンクすることができる。したがって、特定の長さ又は密閉容器を有するチューブによって作成された画像可視マーカ１９８が画像データセット１１６内で識別されたときに、対応する光学コード、及び光学コードの場所もまた、画像データセットに対して既知である。
【0014】
対応する光学コード２００は、チューブ又は密閉容器を有する画像可視マーカからの固定距離及び配向であることが知られている。個々のチューブのセグメントの各々が異なる場合があるため、チューブのセクションの長さを使用して、画像データを患者の可視の身体と位置合わせすることができる。チューブで作製された画像可視マーカを、画像データセット及び／又は光学コード内のチューブの表現と一致させることは、チューブの複数のセグメントの各長さ又は組み合わせが一意である可能性があるため、チューブの長さを使用して実行することができる。その結果、チューブのセグメントと光学コードとの間のリンクのデータストアがチェックされて不一致が防止されることになるため、チューブの長さは、不適切な光学コードに一致するはずがない。更に、画像データセット内の５ｍｍのチューブ表現が、光学コードについて可視であるか、又は予想される１０ｍｍのチューブに一致するように試行される場合、これは、不一致を引き起こし、システムは、正しいチューブ長を正しいチューブ表現に一致させようと試みることになる。
【0015】
一例では、チューブ１９８の異なるサイズ、形状、又は長さが、光学コード２００による固定位置に配置することができる。各光学コード（例えば、ＡｐｒｉｌＴａｇ又は２Ｄバーコード）は、一意の光学コード２００を有するが、その光学コードは、画像データセット内では見えない。画像データセット内で可視であるチューブは、１）可視光学コードがどこにあるか、及び２）どの可視光学コードが画像可視コードと関連付けられているか、を識別する。チューブの位置がわかると、可視光学コード２００の位置もまた、わかる。光学コード２００及びチューブの位置を見つけることにより、システムがＡ／Ｒヘッドセットを介して画像データセット（例えば、ＭＲ画像）を人の身体の現実ビュー又は可視ビューと接合することが可能になる。
【0016】
造影剤又は造影薬剤を含むこのチューブは、線、交差構造（ｆｏｒｍａｔｉｏｎ）、同心円、正方形、長方形、直角、又は格子構造の形状の成形チューブであり得る。上記の形状は、その形状の他のチューブセグメントで、単一平面内に作成され得る（ただし、そのチューブは、チューブの直径に起因して三次元の深さを有する）。このチューブは、円形、三角形、正方形、長方形、楕円形、六角形、八角形、卵形、半円形、又は多角形のうちの少なくとも１つである断面形状を有することができる。カプセル化された造影剤又は造影薬剤は、ガドリニウム溶液（例えば、ガドリニウムキレート化合物）、硫酸銅、鉄溶液、マンガン、ビタミンＥ油、又は他の磁気共鳴可視媒体であり得る。このチューブは、プラスチックチューブ、ガラスチューブ、複合チューブ（例えば、ガラス及びエポキシ）、又は別の非金属チューブであり得る。画像可視マーカの形状を使用して、どの一意の光学コード又は視覚マーカが一意の画像可視マーカの場所にあるかを決定することができる。
【0017】
更に、画像データセット１１６の取り込み中に使用される同じ光学コード２００を使用して、画像データセットを自動的に取得し、ＡＲヘッドセット１０８によって取り出された画像データセットがＡＲヘッドセット１０８を介して見ている実際の患者１０６と一致するのを確実にすることができる。同様に、チューブ１９８の長さ又は形状はまた、正しい患者の手順が行われていることの妥当性を確認することができ、これは、画像データセットに対してチェックすることができる（例えば、チューブパターンをチェックすることは、患者にとって正しい）。患者が画像データセットと一致しない（又は逆もまた同様）チューブパターンを有する場合、エラーのフラグを立てることができる。
【0018】
ＡＲヘッドセット１０８によって生成された仮想ユーザインターフェース１１４は、患者１０６の画像データセット１１６から患者１０６の投射された内側の解剖学的構造の表示を変更するための選択肢を含むことができる。仮想ユーザインターフェース１１４は、ユーザ１０４にとって有用であり得る他の情報を含むことができる。例えば、仮想ユーザインターフェース１１４は、光学コードで識別されている患者又は医療用具１１８（例えば、医療器具、インプラントなど）に関する情報を含んでもよい。別の例では、仮想ユーザインターフェース１１４は、患者１０６の医療チャート又は他の医療データを含むことができる。いくつかの構成では、人の画像データ１１６又は取り込まれた放射線医学的なデータは、多量の画像データセット１１６を使用して、ＡＲヘッドセット１０８によって表示されて、その画像データから患者１０６ａの放射線医学的に取り込まれた解剖学的構造（例えば、骨１０６ｂ、組織、血管、流体など）を表示することができる。この画像データは、画像データの軸方向スライス、冠状スライス、矢状スライス、又は傾斜スライスを含むことができる。スライスは、深さ並びに高さ及び幅（例えば、ボクセルの１つ以上の層）を有する二次元（ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ、２Ｄ）スライス、三次元（ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ、３Ｄ）スライス、及び／又は四次元（ｆｏｕｒ ｄｉｍｅｎｓｉｏｎａｌ、４Ｄ）スライス（画像の時系列を有する３Ｄ画像）であってもよい。ユーザ１０４は、ハンドジェスチャ、音声コマンド、眼球運動、リモコン（例えば、指クリッカ（ｆｉｎｇｅｒ ｃｌｉｃｋｅｒ））、３Ｄマウス、ＶＲ棒（ＶＲ ｗａｎｄ）、指センサ、触覚技術、又は他の制御方法を使用して仮想ユーザインターフェース１１４を制御することができる。
【0019】
図２は、図１の患者１０６に貼り付けられた図１の光学コード２００を示す。図１及び図２の両方を参照すると、光学コード２００は、ＡＲヘッドセット１０８中に組み込まれた、視覚スペクトルのための光学センサ又はカメラなどの光学センサに対して知覚可能であり得る。いくつかの実施形態では、光学コード２００は、ＡｐｒｉｌＴａｇ、線形バーコード、マトリックス二次元（２Ｄ）バーコード、クイックレスポンス（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ、ＱＲ）コード、又はそれらの何らかの組み合わせであってもよい。ＡｐｒｉｌＴａｇは、拡張現実及びカメラ較正のために有用である視覚的基準システムであり得る二次元バーコードである。ＡｐｒｉｌＴａｇｓは、カメラ、センサ、又はＡＲヘッドセットに対するタグの３Ｄ位置、向き、及び識別情報を計算するために使用され得る。
【0020】
光学コード２００は、非光学撮像法モダリティに対して知覚可能であるマーカ２０６、２１４、又は画像可視マーカと更に関連付けることができる。常磁性流体を含むチューブを用いて画像可視マーカを取り込むために使用される非光学撮像法モダリティの一例は、ＭＲＩモダリティであってもよい。別の例では、非光学画像又は画像データセットは、非光学撮像法モダリティの２つ以上の形態の組み合わせを含む画像又は画像データセットであってもよい（例えば、共に組み合わされた２つ以上の画像、２つ以上の非光学画像の組み合わされたセグメント、ＭＲＩ画像と融合されたＣＴ画像など）。別個のモダリティ内の各画像データセットは、個々の画像データセット内に画像可視コードを有することができ、これにより、ＰＥＴ画像、ＣＴ画像、ＭＲＩ画像、透視画像などを、ＡＲシステムビュー内の人の身体上の光学コードと共に位置合わせ及び参照することができる。非光学撮像法モダリティに対して知覚可能である材料からマーカ２０６を形成することにより、マーカ２０６又は画像可視マーカが、非光学撮像法モダリティの任意の組み合わせを使用して取り込まれる、患者１０６の画像データセット内に出現することが可能になり得る。
【0021】
マーカ２０６又は画像可視マーカは、常磁性流体２０６を含むチューブの１つ以上のセグメントを有することができる。このチューブのセグメントは、図２のように、別々に提供され得るか、又はあるパターンに配置され得、光学コード２００の位置に対する固定位置を有することができる。常磁性材料を有する複数のマーカ２１４又はチューブの複数のセクションを任意選択的に使用して、場所及び／又は画像可視マーカを識別する認識可能なパターンを形成することができる。例えば、図２に開示されている実施形態では、光学コード２００は、材料２０２（絆創膏（ａｄｈｅｓｉｖｅ ｂａｎｄａｇｅ）、紙、プラスチックなど）上に印刷することができ、マーカ２０６は、材料２０２上に貼り付けることができる（例えば、材料２０２に取り付けられるか、又は接着剤で取り付けられる）。この実施形態では、１つ以上のマーカ２０６は、包帯２０２又は材料に対する固定位置に配置されることによって、光学コード２００の位置に対する固定位置に配置され得る。
【0022】
更に、マーカ２０６は、光学コード２００を患者１０６の皮膚１０６ａに直接（少なくとも一時的に）貼り付けるか又は印刷することによって配置することができる。光学コード２００の位置に対する固定位置を有する、患者１０６の皮膚上のパターン内に、マーカ２０６を配置することによって、この固定位置を用いて、光学コード２００の可視の場所に対してマーカ２０６又は画像可視マーカのパターンの場所を計算することができる。次いで、ＡＲヘッドセット１０８のセンサへの、マーカ２０６又はチューブの可視性もまた、位置合わせのために使用することができる。
【0023】
光学コード２００及びマーカ２０６が固定パターンで患者１０６に貼り付けられると、（マーカ２０６が知覚可能である）非光学撮像法モダリティを用いて、患者１０６及びマーカ２０６の画像データセット２１６（図示された一部のセグメントのみ）を取り込むことができる。特に、画像データは、患者１０６の内部の解剖学的構造（骨１０６ｂ、筋肉、臓器、又は流体など）を含むことができ、並びに患者１０６の内部の解剖学的構造の位置に対する固定位置にあるマーカ２０６、２１４のパターンを含むことができる。言い替えると、患者１０６の内部の解剖学的構造は、患者１０６の画像データ内に出現することになるだけでなく、マーカ２０６もまた、パターン内で患者１０６の画像データセット内に出現することになり、マーカ２０６のこのパターンの位置は、患者１０６の内部の解剖学的構造の位置に対する固定位置にある画像データセット内に出現することになる。一例では、非光学撮像法モダリティがＭＲＩモダリティである場合、ＭＲＩ画像は、患者１０６の骨、臓器、及び柔組織、並びに患者１０６の骨、臓器、及び柔組織の位置に対する固定位置に配置されたチューブを有するマーカ２０６を表示することができる。
【0024】
更に、患者１０６は、例えば、病院の医療撮像室から病院の手術室に移動されてもよい。次いで、ユーザ１０４（図１の医療専門家など）は、ＡＲヘッドセット１０８を用いて、人又は患者の身体上の光学コード２００の場所（及び、見ることができる場合、任意選択的に、マーカ２０６の可視部分）を決定することができる。次に、ＡＲヘッドセット１０８は、光学コードに基づいて患者１０６の画像データを自動的に取り出すことができる。
【0025】
３Ｄ空間１０２内で光学コード２００を検出した後、ＡＲヘッドセット１０８は、互いに対して３Ｄ空間１０２内のチューブを用いて、１つ以上のマーカ２０６の位置を自動的に計算することができる。この自動計算は、３Ｄ空間１０２内の光学コード２００の検知された位置、光学コード２００の位置に対する、チューブのマーカ２０６のパターンの既知の固定位置、又は常磁性流体で充填されたチューブのセグメントを視覚的に見ることに基づき得る。マーカ２０６がＡＲヘッドセット１０８に対して知覚可能でない場合であっても（例えば、マーカ２０６が透明プラスチックであるか、又は光学コード印刷材料の下に隠れていることに起因して）、ＡＲヘッドセット１０８は、光学コード２００の位置、及び光学コード２００の位置に対する、マーカ２０６のパターンの固定位置に基づいて、マーカ２０６のパターンの場所を自動的に計算することができる。この例では、ＡＲヘッドセット１０８がマーカ２０６の位置を直接感知していない場合であっても、これらの固定位置により、ＡＲヘッドセット１０８が互いに対して３Ｄ空間１０２内のマーカ２０６のパターンの位置を自動的に計算することが可能になり得る。
【0026】
３Ｄ空間１０２内のマーカ２０６又は画像可視マーカのパターンの場所を計算した後、ＡＲヘッドセット１０８は、３Ｄ空間１０２内のマーカ２０６のパターンの計算された位置を、画像データセット内のマーカ２０６のパターンの位置と位置合わせすることによって、３Ｄ空間１０２内の患者１０６の内部の解剖学的構造の位置を登録することができる。この位置合わせは、３Ｄ空間１０２内のチューブのマーカ２０６のパターンの計算された位置、及びマーカ２０６に対する画像データセットの固定位置に基づいて、実行することができる。次いで、この位置合わせ及び登録により、ＡＲヘッドセット１０８が、患者１０６の実際のビュー上に投射された画像データから、患者１０６の内部の解剖学的構造をリアルタイムで表示することが可能になり得る。したがって、光学コード２００、及び１つ以上の関連するマーカ２０６は、ＡＲヘッドセット１０８によって用いられて、患者１０６の画像データを、患者１０６の実際のビューと自動的に位置合わせすることができる。
【0027】
図３は、患者１０６の画像データセットと、３Ｄ空間１０２内の患者１０６の実際のビューとの正確な位置合わせを更に確実にするために、複数の光学コード３１２、３１３が患者１０６に同時に貼り付けられ得ることを示す。また、各光学コード３１０のマーカ３１４、３１２のパターンは、チューブの複数のセグメントを使用することができる。更に、マーカ３１４が患者１０６の外層に貼り付けられているため、マーカ３１４、３１２は、実際の１つの平面内に必ずしもすべてが存在するとは限らないが、逆に、患者１０６の外層のいずれの曲率にも適合することができる。これらの実施形態では、光学コード３０４の位置に対するマーカ３１４、３１２のパターンの位置は、光学コード３１０及びマーカ３１４、３１２を患者１０６に貼り付けた後に確立されて、患者１０６の外層上に任意の曲率を考慮することができる。
【0028】
図３は、ＡＲヘッドセット又はＡＲシステムのカメラによって取り込むことができる視覚画像を更に示す。この視覚画像は、患者１０６の身体３００に貼り付けられている材料３０４上に印刷された光学コード３１０を有する患者の身体３００を含むことができる。第２のマーカ３１２に対して実質的に垂直に配向されている第１のマーカ３１４が示されている。第１のマーカ３１４及び第２のマーカ３１２は、常磁性流体を含むチューブであり得る。第２のマーカ３１２又は第３のマーカ３１６の使用は、取捨選択可能であり得、破線を使用して例示されている。マーカのための複数の配向を使用することは、有用であり得、その理由は、複数のマーカが、画像データセットを適切な向きに配向させることを支援し、ばらばら（ｆｌｉｐｐｅｄ）画像又は反転（ｉｎｖｅｒｔｅｄ）画像を回避することができるからである。図３は、第２の光学コード３１３上にチューブを有する画像可視マーカ３２０を更に示す。この画像可視マーカは、光学コードに対して任意の配向に向くことができる。マーカ３２０の配向は、光学コードの縁端部に対して平行に、光学コードの縁端部に対して垂直に、又は光学コードの縁端部に対して斜めに向くことができる。更に、先に考察されたように、取捨選択可能な放射線不透過性マーカ３０２を、ＭＲＩ以外の撮像法モダリティとの画像位置合わせに使用するための光学コードと共に含めることができる。
【0029】
別の構成では、チューブは、光学コード２００に対して固定距離及び配向にある別個の長さを各々有する複数のチューブセクションを含むことができる。例えば、各光学コード２００は、光学コード２００に取り付けられたチューブの２つ又は３つのセクションを有することができる。例えば、チューブの３つの異なるセグメントは、同じように配向され得、チューブのセグメントの組み合わせは、一意であり、また一意の光学コードも識別する。代替的に、チューブの各セクションは、光学コード３０２の別個のコーナー又は頂点から延在することができる。
【0030】
画像可視マーカとして常磁性流体を有するチューブを使用することは、ＭＲＩ画像内で鉄又は金属材料を使用することがＭＲＩ画像内にアーチファクトを引き起こしやすいため、ＭＲＩ（磁気共鳴撮像法）環境での位置合わせを支援することができる。より具体的には、ＭＲ撮像における鉄又は金属材料を使用することにより、鉄又は金属材料がＭＲＩ撮像において使用される場合の水分子の陽子によって生成された信号の減衰、損失、又は破壊が引き起こされる。したがって、本技術は、ガドリニウム流体などの常磁性材料で充填されたポリエチレンチューブである、ＭＲＩ画像内のマーカを使用することができる。
【0031】
図４ａは、チューブ内のカプセル化された造影剤又は造影マーカを製造するための方法を例示するフローチャートである。ブロック４０２にあるように、１つの動作が、プラスチックチューブの第１の端部をシールすることができる。プラスチックチューブは、加熱されたワイヤを使用してシールされて、チューブの第１の端部を切断及びシールすることができる。代替的に、加熱ナイフ、加熱圧接ツール、又は別の加熱されたシーリングツールを使用して、プラスチックチューブの第１の端部をシールすることもできる。
【0032】
ブロック４０４にあるように、別の動作は、ある長さのプラスチックチューブを、医療撮像デバイスを使用して取り込むことができる画定された長さ、又は測定された長さに切断することである。プラスチックチューブの長さは、医療撮像デバイスによって取り込まれ得る任意の長さに切断することができる。例えば、プラスチックチューブの長さは、撮像シナリオに有用である場合があるように、ちょうど数ミリメートルから最大数センチメートルへのサイズとすることができる。プラスチックチューブのサイズは、医療撮像デバイス（例えば、ＭＲＩデバイス）が取り込むと予想される撮像ウィンドウのサイズを下回ることが好ましい。
【0033】
ブロック４０６にあるように、プラスチックチューブは、ＭＲＩ画像内で可視である造影剤又は造影マーカで充填することができる。前述したように、この造影剤は、ガドリニウム流体などの常磁性流体、又はＭＲＩ撮像デバイスにとって可視である別の造影薬剤であってもよい。ブロック４０８にあるように、画像造影剤を含むプラスチックチューブの第２の端部をシールすることができる。チューブ内の材料は、常磁性材料及び流体を含むことができ、その常磁性流体は、３ＤＭＲＩ画像において明るい領域として表示されることになる。言い替えると、チューブの内容物は、ＭＲＩ画像において可視であることになる。
【0034】
ブロック４１０にあるように、１つ以上の光学コードが、接合又は装着構造を使用してプラスチックチューブに取り付けられて、プラスチックチューブと１つ以上の光学コードとの間の固定位置を維持することができる。この接合若しくは装着構造は、光学コードが上に印刷される紙若しくはプラスチックであってもよく、又は接合構造は、光学コードとチューブとの間の距離及び配向を固定するために使用される任意の紙、プラスチック構造、若しくは非金属構造であってもよい。したがって、このチューブを使用して、チューブのサイズ（例えば、長さ若しくは直径）、形状、又は他の幾何学的形状を使用することによって、光学コードの場所を識別するか、又は一意の光学コードの位置を符号化することができる。
【0035】
図４ｂは、流体がプラスチックチューブに追加される前に４０８、プラスチックチューブの第２の端部がシールされ得ることを示している。ブロック４０６にあるように、本方法のこの順番では、プラスチックチューブは、プラスチックチューブがシールされた後に、ＭＲＩを使用して可視の医療造影剤で充填することができる。この状況では、造影剤は、プラスチックチューブ中に注入され得、注入孔は、熱、又は注入孔を覆う接着剤材料を使用して、シールすることができる。例えば、ガドリニウム、硫酸銅、又は鉄溶液のような薄い常磁性溶液は、チューブが閉鎖される前に、チューブの一端を通って充填することができる。
【0036】
図４ａ及び図４ｂで説明されたチューブはまた、他のシーリング薬剤を用いてシールすることもできる。他のシーリング薬剤又は方法の例としては、チューブの端部を接着剤で塞ぐこと、粘土充填剤プラグを使用すること、端部上に接着性プラスチック層を塗布すること、チューブの端部にプラスチック端部キャップを貼り付けること、金属箔を端部に接着すること、金属被覆したプラスチックシートをチューブに接着すること、又は任意の他のシーリング方法若しくは材料を使用することが挙げられ得る。
【0037】
図５は、画像可視マーカ又は画像可視媒体を含む光学コード５０２及びチューブ５０４を例示する。この光学コードは、ＡｐｒｉｌＴａｇ（図示のような）、２Ｄバーコード、又はカメラを用いて取り込むことができる他の光学コードであり得る。チューブ５０４の長さは、光学コード５０２の側面又は縁端部の長さと同様である長さを有し得る。ただし、チューブの長さのサイズは、光学コード５２０の縁端部の長さよりも短くても又は長くてもよい。更に、チューブの長さは、光学コードの側面に対して実質的に平行であるものとして示されているが、チューブの長さは、光学コード５２０に対して任意の角度で設定されてもよい。例えば、チューブは、光学コード５２０に対して１０度の角度としてもよく、又は光学コードの側面に対して垂直であってもよい。チューブはまた、チューブが変形して、患者の身体の輪郭、又は撮像されている解剖学的構造に従うことが可能になり得る、屈曲可能であるプラスチックであってもよい。チューブが湾曲している場合であっても、医療撮像ツールは、３Ｄ内のチューブの経路を測定することができ、チューブの長さを決定することができる。
【0038】
図６Ａは、ＭＲＩ撮像デバイスによって取り込まれたときの、パラメトリック流体を含むチューブ６１０、６１２を示している。図６ａのチューブは、造影剤又はパラメトリック流体の容器上に取り込まれている。図６Ｂは、ＭＲＩ画像データセットで取り込まれたチューブ６２０Ａ～Ｃの複数のセグメントを示している。チューブの複数のセグメントは、チューブの一端から見えている。参照のために、パラメトリック流体を含む参照容器が、図６Ｂのチューブのセグメントの下方にある。
【0039】
先に考察されたように、画像データセットを、患者の身体内の解剖学的構造と位置合わせするための能力は、医療手順において医療器具をラインアップして他の作業を実行するときに大いに役立つ。画像データセットが、以前に撮像された解剖学的構造又は実際のヒトの組織の近くでラインアップしない場合、その画像データセットは、医療手順の状況において、あまり役立たない。例えば、ヒトの組織（例えば、頭蓋骨内の撮像された孔）を表す画像データセットが実際のヒトの組織（例えば、頭蓋骨内の実際の孔）と共にラインアップしない場合、その画像データセットは、医療手順の状況において、ほとんど役立たない。場合によっては、粗雑に位置合わせされた画像セットは、シミュレーション又は訓練の目的に有用であり得るが、外科手順には有用ではない。対照的に、本技術により、医療関係者が高精度の医療手順において画像データセットを使用することを可能にすることができる程度の解像度で、ＭＲＩ画像のための画像データセットが可能になる。
【0040】
非光学撮像法モダリティを使用する医療画像取得では、画像内のボクセルの数は、例えば、５１２×５１２ボクセルであり得る。画像内の各ボクセルは、画像データセットが患者の身体から取り込まれた所定の数のミリメートル又はサンプリング周波数を表し得る。例えば、このサンプリング周波数は、ボクセル毎に１．２ミリメートルであると予想され得る（注記：これは、任意の測定例であり、実際のサンプリング周波数は、変化し得る。）。しかしながら、医療画像スキャナがわずかに誤って較正され、画像データセット内のボクセルのサンプリングがボクセル毎に１．１５ミリメートルで実際に行われる場合、画像化されているヒトの解剖学的構造又は現実のヒト組織の現実のサイズは、画像データセット又は画像スキャナが取り込むことができるものとは異なる（例えば、画像データセットは、小さすぎる場合がある）。そのような誤った較正は、仮想的なヒト組織が、不正確なサンプリングの結果である実際のヒト組織よりも少し大きいか又は少し小さくなる可能性がある。
【0041】
その結果、本技術は、画像可視マーカを使用して、ＡＲヘッドセットのユーザに表示される画像データセットを変倍することができる。より正確な変倍は、画像の歪みを低減し、かつ他のエラーを補正するのに役立ち得る。画像可視マーカは、その画像可視マーカの取り込まれたバージョン又は電子的なバージョンを含む画像データセット内で識別することができる。画像可視マーカの実際のサイズは、医療手順の前に測定されてもよく、又は画像可視マーカの実際のサイズは、製造時間に事前に既知であってもよい。代替的に、画像可視マーカのサイズは、ＡＲヘッドセットのカメラによって取り込まれた可視光画像（すなわち、写真又はビデオ）から測定することができる。例えば、画像可視マーカのサイズは、基準オブジェクト（例えば、光学コード若しくは医療器具）又は他の手段を使用してカメラによって取り込まれた画像において測定され得る。
【0042】
実世界における画像可視マーカの既知のサイズと、画像データセット内で取り込まれた画像可視マーカデータの測定されたサイズとの間で、比較を行うことができる。この比較は、画像データセット内の画像可視マーカの電子的表現と画像可視マーカの既知のサイズとの間にエラー、又はサイズの差が存在するかどうかを判定することができる。差が識別された場合、画像データセットを変倍して、その差又はエラーを補正することができる。画像データセットにおける変倍問題を補正することにより、結果として、画像データセットが医療手順において良好に使用されるのが可能になる。この技術は、画像の変倍を増加又は減少させることによって、任意の誤った画像変倍を補正することができる。例えば、画像データセットサイズが５％だけ外れ、かつ針が２０ｃｍだけヒト組織を貫通して移動する医療手術が行われた場合、針の先端は、その手術におけるヒト組織の目的場所では１ｃｍ外れることになる。手術において１ｃｍだけ所望の場所を外すことは、ヒトの身体においては重大な量であり、個々の患者に対して深刻な帰結をもたらす可能性がある。画像データが正しく変倍され、かつ正確に位置合わせされると、医療手順におけるそのような問題を減少させることができる。
【0043】
図７は、取り込まれた画像データセット７２０内の画像可視マーカ７１４（例えば、ガドリニウムチューブ）の測定されたサイズを、画像可視マーカ７１２の既知のサイズ、又は画像可視マーカの測定されたサイズと比較することによる、画像データセット７２０のこの変倍を示す。
【0044】
画像可視マーカの幾何学的属性の既知のサイズは、識別することができる。光学コードの幾何学的属性は、パラメトリック流体を含むチューブの長さ、光学コード７０４に取り付けられた２つの金属マーカ７０８間の距離、光学コードの複数の金属マーカを包含する円の半径、画像可視マーカの直径、又は画像可視マーカの別の幾何学的測定値であり得る。幾何学的属性の既知のサイズは、医療技術者によって物理的な測定デバイスを使用して以前に測定された幾何学的属性の既知のサイズを保存するか、又はその既知のサイズが製造時間に設定されたデータストアから取得することができる。例えば、光学コードの幾何学的属性のサイズは、ＡＲヘッドセットにアクセス可能なデータストア内に保存された事前測定された値であってもよい。先に考察されたように、画像可視マーカの幾何学的属性の既知のサイズは、ＡＲヘッドセットの可視光カメラを使用して、光学コード及び画像可視マーカの取り込まれた視覚画像又は写真を使用して測定することができる。これは、画像可視マークが、いつも正しいとは限らないＡＲヘッドセットカメラを使用して見ることができると仮定している。
【0045】
画像データセット内の画像可視マーカの幾何学的属性の測定されたサイズは、画像可視マーカの幾何学的属性の既知のサイズと比較されて、画像データセット内の画像可視マーカの幾何学的属性の測定されたサイズと画像可視マーカの幾何学的属性の既知のサイズとの間の、サイズにおける計算された差を決定することができる。
【0046】
画像データセットの変倍は、画像可視マーカの幾何学的属性の既知のサイズと測定されたサイズとの間の、サイズにおける計算された差に部分的に基づいて、修正することができる。この変倍は、ＡＲヘッドセット及び画像可視マーカを介して見たときに、画像データセットが、人の身体上の１つ以上の光学コードを使用して、人の身体とより正確に位置合わせされることを可能にすることができる。変倍の修正は、画像データセットの倍率を増加又は減少させて、画像データセット内の画像可視マーカの幾何学的属性の測定されたサイズを、画像可視マーカの幾何学的属性の既知のサイズに一致させることができる。
【0047】
より具体的には、ＡＲヘッドセットを介して見たときの画像データセットの変倍は、光学コードの幾何学的属性の既知のサイズが画像データセット内の画像可視マーカの測定されたサイズよりも大きい場合に増加させることができる。逆に、ＡＲヘッドセットを介して見たときの画像データセットの変倍は、光学コードの幾何学的属性の既知のサイズが画像データセット内の画像可視マーカの測定されたサイズよりも小さい場合に減少させることができる。
【0048】
この技術により、医療手順中に、医療関係者からの関与を必ずしも必要とすることなく、オブジェクトの既知のサイズと画像データセット内のオブジェクトの測定されたサイズとの間の、計算された較正又は較正が可能になる。例えば、画像可視マーカの既知の長さは、１０ミリメートルであり得る。画像可視マーカは、ＭＲ画像内に見つけることができ、画像可視マーカの尺度は、撮像ソフトウェア内の電子的なツールを使用して行うことができる。次いで、本システムは、画像可視マーカのサイズを画像データセット内のオブジェクトの既知のサイズと比較することができる。画像可視マーカが画像データセット内で小さすぎるか又は大きすぎる場合、その画像が拡大しすぎているか又は縮小しすぎているかを決定することができ、その結果、画像データセットは、自動的に変倍されて、画像可視マーカ又は光学コードの実際のサイズに一致させることができる。この変倍は、画像データセットを患者の身体、又は現実のヒト組織の正しい実世界サイズに、次々に一致させることになる。
【0049】
本技術の別の構成では、同じサイズとなるように製造された複数の画像可視マーカの測定値は、画像データセットから取得することができる。実世界においてたびたび起こるように、画像可視マーカのサイズ及び長さにわずかなエラー又は不一致が予想される場合（例えば、各々１０ｍｍの長さのチューブが予想される５つのマーカの場合）、複数の画像可視マーカの平均値が、共に平均化されて、マーカの平均サイズを見つけることができる。その結果、その画像データセットが平均して大きすぎるか又は小さすぎるかを判定するための計算が行われ得（例えば、５つのマーカの平均に基づく変倍において、０．５ｍｍ、１ｍｍ、又は３ｍｍ外れている）、画像データセットは、事前に知られている測定値か、又はカメラによって取り込まれた画像から測定されている測定値のどちらにも適合しない。したがって、上で考察された変倍及び比較は、画像可視マーカの平均サイズに基づいて行われ得る。
【0050】
本技術のこの変倍の態様はまた、ＭＲＩのみならず、他の撮像法モダリティと共に使用される画像可視放射線不透過性材料の使用にも適用することができる。例えば、光学コードの上に放射線不透過性材料を印刷することができる。放射線不透過性材料の例としては、金属球、液体球、放射線不透過性プラスチック、金属含浸ゴム、金属細片、常磁性材料、及び金属インクの部分が挙げられ得るが、これらに限定されない。放射線不透過性材料は、１０分の１ミリメートル（０．１ｍｍ）未満の解像度に印刷することができる。変倍についての上述の技術は、Ｘ線、ＣＴスキャン、又は画像可視マーカを含む画像データセットを取得することができる他の撮像法モダリティなどの、多くのタイプの撮像法モダリティについての放射線不透過性マーカと共に使用することができる。変倍及び画像可視マーカが適用され得る非光学撮像法モダリティのより詳細なリストとしては、コンピュータ断層撮影（Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｔｏｍｏｇｒａｐｈｙ、ＣＴ）スキャンモダリティ、Ｘ線モダリティ、陽電子放出断層撮影（ＰＥＴ）モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ（ＩＲＴ）モダリティ、３Ｄマンモグラフィ、又は単一光子放出型コンピュータ断層撮影（ＳＰＥＣＴ）スキャンモダリティが挙げられる。例えば、他のモダリティで使用される画像可視マーカは、放射線不透過性マーカ、超音波用の音響発生構造体、造影剤、又はチューブ内の造影薬剤などであり得る。
【0051】
本技術の一構成では、患者の身体がＡＲヘッドセットを介して見ているときに、本システムは、患者の身体上の光学コード（例えば、ＡｐｒｉｌＴａｇ）を空間内の１つ以上の点として識別することができ、サブミリメートル精度に至る光学コード（例えば、ＡｐｒｉｌＴａｇ）の点を知ることが望ましい。しかしながら、光学コードは、空間内に多くの点をカバーするため、空間内の単一点ではない。その結果、ＡＲヘッドセットを介して光学コードを見ているときに、光学コード及び関連する３Ｄ点の場所を見て識別するときに生じる、視点問題、光学的不完全さ、視差問題、及び短縮が存在し得る。より具体的な例として、光学コード上の第１の点からのＡＲヘッドセット上の光学センサ又はカメラからの距離は、光学コード上の第２の点よりも遠い場合があり、これは、患者の身体に対して画像データセットの位置推定をわずかにシフトさせる可能性がある。位置合わせにおける精度をミリメートル及びサブミリメートルに改善するために、光学コードは、視覚歪みを受ける点群ではなく、空間内の単一点として取り扱うことができる。
【0052】
画像データセットを位置合わせするには、可視光学コードを空間内の単一点に低減し、その単一点を、ＡＲヘッドセットによって見られる３Ｄ空間内の第２の単一点にも低減される画像可視マーカと位置合わせすることによって、実行することができる。位置合わせのために光学コード全体の多くの点を使用するのではなく、光学コードは、３Ｄ空間内の１つの点として識別することができる。縁端部（例えば、コーナー又は他の光学コード特徴）の座標は、識別することができ、数学的線（例えば、正方形又は長方形の対角線、２等分線など）が、光学コードの縁端部間に引くことができ、次いで、光学コードは、その線が交差する点における空間内の単一点に軽減することができる。
【0053】
光学コードを空間内の単一点に軽減することは、視差及び幾何学的歪みによって作り出されたエラーを補正するのに役立ち得る。位置合わせのための光学コードの複数の点を使用することはまた、単一点を使用することよりも正確であり得る。いくつかの状況では、コーナーなどの、光学コードの１つ以上の点の測定は、縁端部検出閾値がＡＲヘッドセット内にどのレベルで設定されるか、又は可視画像内の様々な点に存在する光学歪みに応じて、数ミリメートルだけ変化し得る。本技術は、位置合わせを改善し、かつ先に考察された潜在的な問題を補正するのに役立ち得る。
【0054】
図８は、拡張現実（ＡＲ）ヘッドセットを使用して、画像データセット８８０を人の身体８５０と位置合わせ又は共存させるための光学コード８５４の中心を見つけること及び使用することを示す。材料８５２上に印刷され、かつ人の身体と関連付けられている１つ以上の光学コード８５４は、ＡＲヘッドセットの可視光カメラによって取り込まれたカメラ画像内で識別することができる。人８５０の身体上の光学コードは、画像可視マーカ８６０（例えば、チューブ又は放射線不透過性材料）に対する固定位置に位置付けすることができる。
【0055】
視覚画像データ内の人８５０の身体と関連付けられた光学コード８５４の１つ以上の縁端部はまた、識別することもできる。光学コードの中心点８５６は、光学コード８５４の１つ以上の縁端部を使用して識別することができる。
【0056】
光学コード８５４の中心、幾何学的中心、又は重心を計算するための１つの方法は、光学コードの縁端部上の第１の点と光学コード８５４の縁端部上の第２の点との間の第１の線を計算して、光学コードの第１の対角線の８７０を形成することであり得る。第１及び第２の点は、光学コードのコーナーであり得る。第２の線８７２はまた、光学コードの、縁端部上の第３の点と縁端部上の第４の点（例えば、コーナー）との間を計算して、第１の線と交差する、光学コードの第２の対角線を形成することができる。次いで、第１の線及び第２の線が交差する、光学コードの中心点８５６を決定することができる。画像データセットは、光学コード及び画像可視コードの中心点を使用して人の身体と位置合わせすることができ、その理由は、画像可視コードと光学コードの中心との間の距離が固定され、かつ既知であるためである。
【0057】
一例では、ＡｐｒｉｌＴａｇは、画像可視マーカ８６０を形成するＡｐｒｉｌＴａｇの裏面に印刷された放射線不透過性インクを有することができ、その放射線不透過性マーカは、放射線不透過性マーカを検出することができるＣＴスキャン、Ｘ線、又は撮像法モダリティにおいて可視であり得る。このＡｐｒｉｌＴａｇは、自動的に見つけられ、一意に識別されることができ、その理由は、各ＡｐｒｉｌＴａｇが異なるパターンを有し、光学コードが、光学コード材料又は裏張りの裏面に印刷された画像可視マーカ８６０を有し、ＣＴスキャンで可視であるためである。一例では、放射線不透過性材料は、バリウム又はビスマスであってもよい。更に、常磁性材料を含むチューブはまた、ＭＲ画像のための画像可視マーカとして使用することもできる。
【0058】
図に示すように、光学コードの中心又は重心を見つけることは、正方形又は長方形である光学コードについて計算され得る。ただし、円形、三角形、星形、六角形、多角形、異形、又は任意の他の形状などの任意の形状の、光学コードの中心又は重心が計算され得る。
【0059】
光学コードの重心８６６を見つけることにより、ヒト患者の表面上の表面曲率によって作り出されるエラーを補正することができる。可視光学コードを介してＸを置くことにより、光学コードの単一の場所をより良好に識別して、光学コードが患者の身体の表面に取り付けられていることに起因した、光学コードのいかなる表面曲率にもかかわらず、位置合わせプロセスで使用するのに役立つ。任意の既知の方法を使用して重心を見つけることはまた、患者に取り付けられた光学コードの任意の曲率又は他の歪みを補正するのを支援することもできる。例えば、光学コードの重心、又は他の明らかに画定された単一点を見つけることは、位置合わせ問題を是正し、光学コードを識別するのを支援することができ、光学コードの正確な追跡を改善することができる。
【0060】
複数の中心点もまた、位置合わせのために使用することができる。この場合、視覚画像データ内の複数の光学コードの中心点を見つけることができる。複数の光学コードの中心点の平均的な中心点を計算することができる。画像データセットは、複数の光学コードの平均的な中心点を使用して、人又は患者と位置合わせすることができる。
【0061】
光学コードを含むボックス又は長方形のコーナーを見つけることはまた、ＱＲコード、２Ｄバーコード、又は光学コードのコーナー上の暗い又は黒いボックスを使用するＡｐｒｉｌタグ（図２に示す）を使用することによって、より正確に行うこともできる。ボックスにより、光学コードのコーナーが縁端部検出を使用して明確に識別されることが可能になり、このコーナー識別は、光学コードの中心座標をより正確に決定することを可能になり得る。視覚コードの縁端部にあるボックス又は暗い視覚的強調部分を使用することにより、縁端部（例えば、縁端部検出）を見つけるか、又は照明条件を変化させるために使用される視覚閾値に対して、視覚コードのコーナーの識別をより不変的にする。
【0062】
光学コードの中心を見つけることはまた、コントラスト解像度問題及び閾値検出問題によって作り出されるエラーを訂正するのを支援することができる。光学コード又は視覚タグは、印刷される形態において正確であり得るが、光学コードが画像化されると、不鮮明又はコントラスト不足となる可能性がある。次いで、正方形若しくは長方形を有する対角線若しくは２等分線を使用するか、又は円の中心を見つけることによって、光学コードの位置は、より容易に決定又は符号化することができる。光学コードが円形であった場合、考察されたように、円の中心を見つけて、位置合わせのために単一点を使用することができる。
【0063】
光学コードの中心点を見つけることはまた、画像データセットと比較して相対的に大きくない光学コードをより正確に取り込むのを支援することもできる。ＭＲ撮像が２５６×１９２マトリックス（ＣＴと比較してより低い解像度）で取り込まれている場合、光学コードが大きいほど患者の身体上により多くの幾何学的歪みを有する可能性があるため、光学コードは、好ましくは人のサイズと比較して過度に大きくない。したがって、小さな光学コードの場合に、より正確な中心点を見つけることができる。
【0064】
図９ａは、画像可視マーキング流体を含むチューブを使用して、画像データセット、及び患者の身体を共存させるための、拡張現実ヘッドセットを使用する例示的な方法のフローチャートである。これら及び他の実施形態では、この方法は、１つ以上の非一時的コンピュータ可読媒体上に保存された１つ以上のコンピュータ可読命令に基づいて、１つ以上のプロセッサによって実行することができる。
【0065】
図９ａは、拡張現実（ＡＲ）ヘッドセットを使用して、人の身体と画像データセットを共存させるための方法を示す。ブロック９０４にあるように、この方法は、ＡＲヘッドセットの光学センサを使用して、人の身体と関連付けられた１つ以上の光学コードを識別する動作を含むことができる。人の身体についての光学コードは、光学コードに対して固定位置にあるチューブ又は密閉容器内に画像可視造影剤（すなわち、常磁性流体）を含む画像可視マーカを有することができる。
【0066】
ブロック９０６にあるように、チューブ内の画像可視造影剤を有する画像可視マーカは、医療撮像デバイス（例えば、ＭＲＩスキャナ）を使用して取得された画像データセット内で識別することができる。ブロック９０８にあるように、画像データセットは、ＡＲヘッドセットを介して見たときに、人の身体上の１つ以上の光学コードを使用して人の身体と位置合わせすることができる。更に、画像データセットは、画像データセット内のチューブ内の画像可視造影剤を有する画像可視マーカの表現を参照したときに、画像可視マーカの固定位置を使用して、光学コードに対するチューブ内の画像可視造影剤と位置合わせすることができる。
【0067】
図９ｂは、拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法を示す。ブロック９２０にあるように、人の身体の一部分の視覚画像データが、ＡＲヘッドセットの光学センサ又はカメラを使用して取得することができる。ブロック９２２にあるように、人の身体と関連付けられた１つ以上の光学コードが、視覚画像データ内で識別され得る。人の身体についての光学コードが、その光学コードに対して固定位置に位置付けられている画像可視マーカを有することができる。
【0068】
ブロック９２０にあるように、人の身体と関連付けられた画像可視マーカの幾何学的属性の既知のサイズが、識別され得る。画像可視マーカは、医療撮像デバイスを使用して取り込まれたときに、画像データセット内に出現することができる。
【0069】
ブロック９２６にあるように、画像データセット内の画像可視マーカの幾何学的属性の測定されたサイズが、画像可視マーカの幾何学的属性の既知のサイズと比較されて、画像データセット内の画像可視マーカの幾何学的属性の、測定されたサイズと既知のサイズとの間の、サイズにおける計算された差を決定することができる。ブロック９２８にあるように、画像データセットの変倍が修正され得る。画像データセットは、ＡＲヘッドセット及び画像可視マーカを介して見たときに、人の身体上の１つ以上の光学コードを使用して、人の身体と位置合わせすることができる。この位置合わせは、画像データセット内の画像可視マーカの幾何学的属性の、既知のサイズと測定されたサイズとの間の、サイズにおける計算された差に部分的に基づいて生じ得る。
【0070】
図９ｃは、拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法を示す。ブロック９３２にあるように、この方法は、ＡＲヘッドセットの光学センサを使用して、人の身体と関連付けられた１つ以上の光学コードを識別することを含むことができる。人の身体についての光学コードが、画像可視マーカに対して固定位置に位置付けられ得る。
【0071】
ブロック９３４にあるように、視覚画像データ内の人の身体と関連付けられた光学コードの縁端部が、識別又は検出され得る。次いで、縁端部上の点が、選択され得る。ブロック９３６にあるように、光学コードの中心点が、光学コードの１つ以上の縁端部上の点を使用して識別され得る。ブロック９４０にあるように、画像データセットは、光学コードの第１の中心点、及び画像可視コードの第２の中心点を使用して、人の身体と位置合わせすることができる。
【0072】
図１０は、拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを、ＡＲヘッドセットを介して見られている人の身体と共存させるために用いられ得る例示的なシステムを示す。このシステム１０００は、カメラデバイス１００２、拡張現実システム１０２０、ディスプレイデバイス１０３０、及び複数のデータベース又はデータストアを含むことができる。システム１０００はまた、共に通信可能に結合することができる、１つ以上のプロセッサ、メモリ、ファイルシステム、通信ユニット、オペレーティングシステム、及びユーザインターフェースを含むことができる。いくつかの実施形態では、システム１０００は、例えば、デスクトップコンピュータ、サーバコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、組み込み型コンピュータ、ＡＲヘッドセット、ＶＲヘッドセットなどであり得る。
【0073】
カメラデバイス１００２は、可視データを取り込むように構成することができる。一例では、カメラデバイス１００２を使用して、医療手順又は健康診断中に可視データを取り込むことができる。カメラデバイス１００２によって取り込まれた可視データは、人の身体（又は身体の一部分）、光学コード、画像可視マーカ、医療器具（例えば、医療機器、インプラントなど）の画像を含むことができる。カメラデバイス１００２は、取り込まれた光学データを拡張現実システム１０２０に送信することができる。システムはまた、表面センサ、光学センサ、赤外線センサ、Ｌｉｄａｒセンサ、又はＡＲシステムによって検出された実際のビュー又は実際のビューのマッピングを検出及び支援するための他のセンサを含むことができる。任意のオブジェクト又は表面を、手術室、患者、部屋、物理的形状、医療用具、又は任意の他の物理的な周囲又はオブジェクトについて検出することができる。
【0074】
拡張現実システム１０２０は、画像処理エンジン１０２２、基準及び位置合わせモジュール１０２４、画像生成モジュール１０２６、及び拡張ディスプレイバッファ１０２８を含むことができる。例えば、画像処理エンジン１０２２は、カメラデバイス１００２から取り込まれた可視画像データを受信し、可視画像データを分析して、可視画像データ内の１つ以上の光学コード、オブジェクト、又は人々を識別する。複数の異なる技術を使用して、以下に限定されない、特徴抽出、セグメント化、及び／又はオブジェクト検出を含む可視画像データ内のオブジェクト又は人々を識別することができる。
【0075】
画像処理エンジン１０２２はまた、画像内の患者の両方の身体に貼り付けられ得る光学コードも識別する。画像処理エンジン１０２２が光学コード（例えば、ＡｐｒｉｌＴａｇ、２Ｄバーコード、ＱＲコード、及びその他のもの）を識別すると、画像処理ユニット１０２２は、光学コードデータベース１０４６にアクセスして、その光学コードと関連付けられた情報を取り出す。いくつかの例では、光学コードは、測定された長さの常磁性流体を含むチューブなどの、測定されたサイズの画像可視マーカと関連付けられている。更に、光学コードは、特定の患者、特定の手順、又は特定のオブジェクトと関連付けることができる。
【0076】
いくつかの実施形態では、前述したように、基準及び位置合わせモジュール１０２４が、画像処理エンジン１０２２と連携して、互いに対して人の身体及び画像データセットを参照する。更に、基準及び位置合わせモジュール１０２４は、医療オブジェクトデータベース１０４４内の光学コード情報を使用して、光学コードのサイズ及び形状、並びに識別情報を適切に識別することができる。患者の身体の位置及び配向が決定されると、基準及び位置合わせコントローラ１０２６は、放射線医学画像データ１０４２内の任意の関連する放射線医学画像を患者の身体と位置合わせすることができる。いくつかの例では、放射線医学画像は、患者記録データベース１０４０内の患者記録に基づいて放射線医学画像データベース１０４２から受信される。
【0077】
画像生成モジュール１０２６は、患者の身体の上部に重層化されているときに、グラフィカルデータ、仮想ツール、３Ｄ外科手術経路、腫瘤若しくは臓器の３Ｄ着色若しくは陰影付け、又は腫瘤、臓器、若しくは標的の強調表示を生成して、ディスプレイデバイス１０３０内に表示することができる。いくつかの例では、この情報は拡張ディスプレイバッファ１０２８にロードすることができる。次いで、この情報は、ユーザに表示するためにディスプレイデバイス１０３０に送信されてもよい。
【0078】
一例では、患者データベース１０４０は、複数の患者記録を含む。各患者記録は、患者に対して実行される１つ以上の医療手順を含むことができる。患者記録はまた、医療手順のためのメモ、指示又は計画を含むことができる。患者記録はまた、放射線医学画像データベース１０４２内の１つ以上の放射線医学画像と関連付けることができる。いくつかの例では、放射線画像は、画像可視マーカに対する光学コードの固定位置を使用して、基準及び位置合わせモジュール１０２６が画像データセットを患者の身体と適切に位置合わせすることを可能にする画像可視マーカの表現を含む。一例では、医療オブジェクトデータ１０４４は、医療器具、インプラント、及び他のオブジェクトを含む医療用具を説明する情報を含む。
【0079】
いくつかの実施形態では、拡張現実システムは、サーバ上に配置されてもよく、ＡＲヘッドセット又はディスプレイデバイス１０３０に関連して機能することができる任意のコンピュータシステムであってもよい。そのような実施形態では、サーバは、画像データをＡＲヘッドセットに伝達するか、又はＡＲヘッドセットからデータを受信するために、コンピュータネットワークを介してＡＲヘッドセットと通信するように構成され得る。
【0080】
図１１は、本技術のモジュールが実行され得るコンピューティングデバイス１１１０を図示する。本技術の高レベルの例を実行することができるコンピューティングデバイス１１１０が示されている。コンピューティングデバイス１１１０は、メモリデバイス１１１２と通信する１つ以上のプロセッサ１１１２を含み得る。このコンピューティングデバイスは、コンピューティングデバイス内のコンポーネントのためのローカル通信インターフェース１１１８を含むことができる。例えば、ローカル通信インターフェースは、ローカルデータバス及び／又は所望に応じて任意の関連するアドレス若しくは制御バスであってもよい。
【0081】
メモリデバイス１１１２は、プロセッサ１１１２によって実行可能なモジュール１１２４、及びモジュール１１２４のためのデータを含み得る。モジュール１１２４は、前述した機能を実行することができる。データストア１１２２もまた、プロセッサ１１１２によって実行可能であるオペレーティングシステムと共に、モジュール１１２４及び他のアプリケーションに関連するデータを記憶するためにメモリデバイス１１１２内に位置付けられてもよい。
【0082】
他のアプリケーションもまた、メモリデバイス１１１２に記憶され、プロセッサ１１１２によって実行可能であってもよい。本明細書において考察されるコンポーネント又はモジュールは、ハイブリッドの方法を使用してコンパイル、解釈又は実行される高水準プログラミング言語を使用してソフトウェアの形態で実装され得る。
【0083】
コンピューティングデバイスはまた、そのコンピューティングデバイスによって使用可能であるＩ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ、入力／出力）デバイス１１１４へのアクセスを有することもできる。Ｉ／Ｏデバイスの一例は、コンピューティングデバイスからの出力を表示するための利用可能なディスプレイ画面である。所望に応じて、他の既知のＩ／Ｏデバイスが、コンピューティングデバイスと共に使用され得る。ネットワーキングデバイス１１１６及び類似の通信デバイスが、コンピューティングデバイスに含まれてもよい。このネットワーキングデバイス１１１６は、インターネット、ＬＡＮ、ＷＡＮ、又は他のコンピューティングネットワークに接続する有線又は無線ネットワーキングデバイスであってもよい。
【0084】
メモリデバイス１１１２に記憶されているとして示されているコンポーネント又はモジュールは、プロセッサ１１１２によって実行されてもよい。「実行可能」という用語は、プロセッサ１１１２によって実行することができる形式のプログラムファイルを意味し得る。例えば、高水準言語のプログラムは、メモリデバイス１１１２のランダムアクセス部分にロードされプロセッサ１１１２によって実行され得るフォーマットで機械コードにコンパイルされ得、又はソースコードは、別の実行可能プログラムによってロードされ、プロセッサによって実行されるべきメモリのランダムアクセス部分に命令を生成するように解釈され得る。実行可能プログラムは、メモリデバイス１１１２の任意の部分又はコンポーネントに記憶され得る。例えば、メモリデバイス１１１２は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、読出し専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ、メモリカード、ハードドライブ、光ディスク、フロッピー（登録商標）ディスク、磁気テープ、又は任意の他のメモリコンポーネントであり得る。
【0085】
プロセッサ１１１２は、複数のプロセッサを表すことができ、メモリ１１１２は、処理回路に対して並列に動作する複数のメモリユニットを表すことができる。これは、システム内の処理及びデータのために並列処理チャネルを提供し得る。ローカルインターフェース１１１８は、複数のプロセッサのうちのいずれかと複数のメモリとの間の通信を容易にするためのネットワークとして使用されてもよい。ローカルインターフェース１１１８は、負荷分散、大量データ転送、及び類似のシステムなどの通信を連携するために設計された追加のシステムを使用してもよい。
【0086】
本明細書に記載されている機能ユニットのいくつかは、それらの実施の独立性をより特に強調するために、モジュールとしてラベル付けされている。例えば、モジュールは、カスタムＶＬＳＩ回路又はゲートアレイ、論理チップなどの既製の半導体、トランジスタ、又は他のディスクリートコンポーネントを含むハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイスなどのようなプログラマブルハードウェアデバイスに実装されてもよい。
【0087】
モジュールはまた、様々なタイプのプロセッサによる実行のためのソフトウェアに実装されてもよい。実行可能コードの識別されたモジュールは、例えば、オブジェクト、手順、又は機能として編成され得るコンピュータ命令の１つ以上のブロックを含んでもよい。それにもかかわらず、識別されたモジュールの実行ファイルは、物理的に一緒に位置する必要はなく、モジュールを構成し、論理的に一緒に結合されたときにモジュールについて述べられた目的を達成する異なる場所に記憶された異種の命令を含んでもよい。
【0088】
実際、実行可能コードのモジュールは、単一の命令、又は多くの命令であってもよく、異なるプログラムの間で、及びいくつかのメモリデバイスにまたがって、いくつかの異なるコードセグメントにわたって分散さえすることであってもよい。同様に、動作データは、本明細書ではモジュール内で識別され及び例示され得、任意の好適な形態で具現化され、任意の好適なタイプのデータ構造内に編成されてもよい。動作データは、単一のデータセットとして収集されてもよく、又は異なるストレージデバイスにわたることを含めて異なる場所にわたって分散されてもよい。モジュールは、所望の機能を行うように動作可能なエージェントを含めて、受動的であっても又は能動的であってもよい。
【0089】
本明細書に記載の技術は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶するための任意の技術で実装された揮発性及び不揮発性、取り外し可能及び非取り外し可能媒体を含むコンピュータ可読記憶媒体に記憶されてもよい。コンピュータ可読記憶媒体としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ、ＤＶＤ）若しくは他の光学ストレージデバイス、磁気カセット、磁気テープ、磁気ディスクストレージデバイス若しくは他の磁気ストレージデバイス、又は所望の情報及び記載された技術を記憶するために使用され得る任意の他のコンピュータ記憶媒体が挙げられるが、これらに限定されない。
【0090】
本明細書に記載のデバイスはまた、デバイスが他のデバイスと通信することを可能にする通信接続又はネットワーキング装置及びネットワーキング接続を含むことができる。通信接続は、通信媒体の一例である。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、及び搬送波又は他の移送機構などの変調データ信号内の他のデータを具現化し、任意の情報配信媒体を含む。「変調データ信号」は、信号内の情報を符号化するような様態で設定又は変更されたその特性のうちの１つ以上を有する信号を意味する。限定ではなく例として、通信媒体には、有線ネットワーク又は直接配線接続などの有線媒体、及び音響、無線周波数、赤外線などの無線媒体並びに他の無線媒体が含まれる。本明細書で使用されるコンピュータ可読媒体という用語は、通信媒体を含む。
【0091】
図面に図示された例を参照し、本明細書では同じことを説明するために特定言語を使用した。それでもなお、それにより本技術の範囲の限定が意図されない、と理解されるであろう。本明細書に例示されている特徴の変更及び更なる修正、並びに本開示を所有する当業者が想到するであろう、本明細書に例示されている実施例の追加の適用は、本明細書の範囲内であると考えられるべきである。
【0092】
更に、説明された特徴、構造、又は特性は、１つ以上の実施例において、任意の好適な様態で組み合わされてもよい。先行する説明において、説明される技術の実施例の完全な理解を提供するために、様々な構成の実施例などの多数の具体的な詳細を提供した。しかしながら、当業者は、本技術が、具体的な詳細のうちの１つ以上を伴わずに、又は他の方法、コンポーネント、デバイスなどを伴って実践され得ることを認識するであろう。その他の場合、本技術の態様を不明瞭にすることを回避するために、周知の構造又は動作は、詳細には図示又は説明されていない。
【0093】
本主題は、構造的特徴及び／又は動作に特有の言語で説明されてきたが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴及び動作に限定されないことを理解されたい。むしろ、上記の特定の特徴及び作用は、特許請求の範囲を実施する例示的な形態として開示されている。記載された技術の趣旨及び範囲から逸脱することなく、多数の改変及び代替の構成が考案され得る。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9a】
【図9b】
【図9c】
【図10】
【図11】
【国際調査報告】