IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ノバラッド コーポレーションの特許一覧

特表2022-507622拡張現実ディスプレイでの光学コードの使用
<図1>
  • 特表-拡張現実ディスプレイでの光学コードの使用 図1
  • 特表-拡張現実ディスプレイでの光学コードの使用 図2
  • 特表-拡張現実ディスプレイでの光学コードの使用 図3
  • 特表-拡張現実ディスプレイでの光学コードの使用 図4
  • 特表-拡張現実ディスプレイでの光学コードの使用 図5
  • 特表-拡張現実ディスプレイでの光学コードの使用 図6
  • 特表-拡張現実ディスプレイでの光学コードの使用 図7
  • 特表-拡張現実ディスプレイでの光学コードの使用 図8A
  • 特表-拡張現実ディスプレイでの光学コードの使用 図8B
  • 特表-拡張現実ディスプレイでの光学コードの使用 図9a
  • 特表-拡張現実ディスプレイでの光学コードの使用 図9b
  • 特表-拡張現実ディスプレイでの光学コードの使用 図10
  • 特表-拡張現実ディスプレイでの光学コードの使用 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-18
(54)【発明の名称】拡張現実ディスプレイでの光学コードの使用
(51)【国際特許分類】
   A61B 90/96 20160101AFI20220111BHJP
   A61B 34/10 20160101ALI20220111BHJP
   G06T 19/00 20110101ALI20220111BHJP
   G09B 23/30 20060101ALI20220111BHJP
【FI】
A61B90/96
A61B34/10
G06T19/00 600
G09B23/30
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021526746
(86)(22)【出願日】2019-11-15
(85)【翻訳文提出日】2021-06-15
(86)【国際出願番号】 US2019061864
(87)【国際公開番号】W WO2020102761
(87)【国際公開日】2020-05-22
(31)【優先権主張番号】16/194,333
(32)【優先日】2018-11-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
(71)【出願人】
【識別番号】519300183
【氏名又は名称】ノバラッド コーポレーション
(74)【代理人】
【識別番号】100089875
【弁理士】
【氏名又は名称】野田 茂
(72)【発明者】
【氏名】ギビー ウェンデル アーレン
(72)【発明者】
【氏名】クヴェトコ スティーブン トッド
【テーマコード(参考)】
2C032
5B050
【Fターム(参考)】
2C032CA01
2C032CA02
2C032CA03
2C032CA04
2C032CA06
5B050BA09
5B050BA12
5B050BA13
5B050CA07
5B050DA01
5B050DA10
5B050EA07
5B050EA18
5B050EA19
5B050EA27
5B050FA02
5B050FA09
5B050GA08
(57)【要約】
画像データセット及び人の身体を参照して、医療用具又は透視画像を使用するための技術が記載されている。方法は、患者の身体及び医療用具の視覚画像データを検出することを含んでもよい。患者の身体上及び医療用具上の光学コードを識別してもよい。1つの動作は、人の身体上の1つ又は複数の光学コードと、光学コードに対する画像可視マーカの固定位置とを使用して、画像データセットを人の身体と位置合わせすることである。人の身体に対する医療用具の位置は、医療用具を画像データセット及び人の身体に参照するために、医療用具及び人の身体上の1つ又は複数の光学コードを使用して、決定されてもよい。
【選択図】図1
【特許請求の範囲】
【請求項1】
画像データセットと1つ又は複数の光学コードを有する医療用具とを共局在化するために、拡張現実(AR)ヘッドセットを使用するための方法であって、
前記ARヘッドセットの光学センサを使用して、人の身体の一部分及び前記医療用具の視覚画像データを検出することと、
前記人の前記身体及び前記医療用具に関連付けられた1つ又は複数の光学コードを識別することであって、前記人の身体上の光学コードが、画像可視マーカに対して固定位置に位置する、ことと、
前記ARヘッドセットを通して見るときの前記人の前記身体上の1つ又は複数の光学コードを使用し、前記画像データセット内の前記画像可視マーカの表現を参照するときの前記光学コードに対する前記画像可視マーカの前記固定位置を使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、
前記ARヘッドセットを介して見たときに、前記医療用具が前記画像データセット及び前記人の前記身体に参照されることを可能にするために、前記医療用具及び前記人の前記身体上の1つ又は複数の光学コードを使用して、前記人の前記身体に対する前記医療用具の位置を決定することと、
を含む、方法。
【請求項2】
前記ARヘッドセットを使用して患者の前記身体に対する前記医療用具の位置決め及び向きを案内するために、視覚的インジケータ、仮想ツール、仮想誘導システム、仮想強調表示、仮想処置トラック、標的とされた解剖学的組織のグラフィック強調表示、病変のグラフィック強調表示、回避すべき重要な構造のグラフィック強調表示、又は前記画像データセット上の注釈を提供することを更に含む、請求項1に記載の方法。
【請求項3】
前記人の前記身体の前記一部分と関連付けられた前記光学コードを使用して患者の情報を取得することと、
正しい患者及び正しい身体部分が医療処置を受けていることを確認するために、前記ARヘッドセットを介して前記患者の情報を表示することと、
を更に含む、請求項1に記載の方法。
【請求項4】
前記医療用具が医療処置で使用されるように割り当てられているかどうかを判定するためにデータベースに問い合わせることと、
前記医療用具が前記医療処置に関連付けられているかどうかを表すグラフィックインジケータを医療専門家に表示することと、
を更に含む、請求項1に記載の方法。
【請求項5】
可視器具と仮想器具との位置合わせを可能にするために、グラフィック仮想器具を表示することを更に含む、請求項1に記載の方法。
【請求項6】
医療処置における前記医療用具の使用を記述する指示情報を含む、前記医療用具に関連付けられた医療情報を取得することを更に含む、請求項1に記載の方法。
【請求項7】
前記医療用具が、医療器具、トロカール、カテーテル、針、整形外科用ハードウェア、又は外科用インプラントである、請求項1に記載の方法。
【請求項8】
1つ又は複数の光学コードを開始基準点として使用して前記医療用具の輪郭をマッピングすることを更に含む、請求項1に記載の方法。
【請求項9】
前記人の前記身体上の1つ又は複数の光学コードを使用して、前記人の前記身体について前記画像データセットを自動的に取得することを更に含む、請求項1に記載の方法。
【請求項10】
拡張現実(AR)ディスプレイを使用して、透視画像を、人の身体及び画像データセットからの画像投影に対して位置合わせする方法であって、
前記ARディスプレイの光学センサを使用して、人の前記身体の一部分の視覚画像データと、前記人の前記身体に対して移動可能な透視デバイスとを検出することと、
前記人の前記身体上及び前記透視デバイス上の1つ又は複数の光学コードを識別することであって、前記人の前記身体上の1つ又は複数の光学コードは、画像可視マーカに対して固定位置を有する、ことと、
前記ARディスプレイを通して見たときに、前記人の前記身体上の前記1つ又は複数の光学コードに対する前記画像可視マーカの前記固定位置を使用して、前記人の前記身体の画像データセットを位置合わせすることと、
前記透視デバイス上の前記1つ又は複数の光学コードを使用して、前記人の前記身体に対する前記透視デバイスの位置及び向きを決定することと、
前記透視デバイスの前記位置及び向きに部分的に基づいて、前記画像データセットの画像投影を生成することと、
前記ARディスプレイを通して前記画像投影を表示することと、
前記ARディスプレイを使用して、前記画像可視マーカ又は前記透視デバイスの前記位置及び向きに基づいて、前記人の前記身体と位置合わせされた前記透視デバイスからの透視画像と、前記画像投影とを表示することと、
を含む、方法。
【請求項11】
前記人の前記身体に対する透視デバイスの前記位置及び向きの変化を検出することと、
前記透視デバイスの位置及び向きの変化によって定義されるように、前記画像投影及び透視画像位置及び向きを修正することと、
を更に含む、請求項10に記載の方法。
【請求項12】
前記ARディスプレイによって見られるように、前記画像投影の位置を調整することが、患者の前記身体の位置及び向きと比較して、前記透視デバイス上の前記1つ又は複数の光学コードを使用して検出される前記透視デバイスの位置及び向きの変化に基づく、請求項10に記載の方法。
【請求項13】
前記人の前記身体に対してズームされた前記透視デバイスからズーム値を受信することと、
前記透視デバイスのズーム値によって定義されるように前記画像データセットを調整することと、
を更に含む、請求項10に記載の方法。
【請求項14】
前記画像データセットを調整することは、前記画像データセットが前記透視画像のズームと一致することを可能にするために、前記透視画像に取り込まれた前記画像可視マーカのサイズを使用することに基づいて実行される、請求項13に記載の方法。
【請求項15】
前記透視画像内の透視可能なオブジェクトが、前記人の前記身体と位置合わせされた前記画像データセットに関して医療専門家によって視認及び誘導され得る、請求項10に記載の方法。
【請求項16】
前記ARディスプレイを使用して見たときに、前記人の前記身体及び前記画像データセットに対する透視可能なオブジェクトの前記位置及び向きをガイドするために、前記画像データセット上にグラフィックインジケータ、仮想ツール、又は仮想標的システムを提供することを更に含む、請求項10に記載の方法。
【請求項17】
前記透視デバイスの向きを決定することが、前記人の前記身体に対して前記透視デバイスの位置及び向きを決定することを更に含む、請求項10に記載の方法。
【請求項18】
前記透視デバイスの向き及び位置の変化に対応して、前記ARディスプレイで見たときに、前記画像データセットの前記画像投影を再構築し、前記透視画像を移動させることを更に含む、請求項10に記載の方法。
【請求項19】
前記画像データセットと位置合わせされた前記透視画像の透明度が修正されてもよい、請求項10に記載の方法。
【請求項20】
医療用具上に視認可能に表示された1つ又は複数の追加の光学コードを識別することと、
前記ARディスプレイを通して見たときに、前記医療用具が前記画像データを参照することを可能にするために、前記医療用具上の1つ又は複数の追加の光学コードと、前記人の前記身体上の1つ又は複数の光学コードとを使用して、前記人の前記身体及び前記画像投影に対する前記医療用具の位置を決定することと、を更に含む、請求項10に記載の方法。
【請求項21】
1つ又は複数の光学コードを有する透視デバイスの位置及び向きを使用することによって、1つ又は複数の光学コードを有する人の身体に対して透視画像を位置合わせするための拡張現実(AR)ディスプレイを使用するための方法であって、
前記ARディスプレイの光学センサを使用して、前記人の前記身体上の及び前記人の前記身体に対して移動可能な前記透視デバイス上の前記1つ又は複数の光学コードを識別することと、
前記透視デバイス上の前記1つ又は複数の光学コードを使用して、前記透視デバイスの前記身体に対する前記透視デバイスの前記位置及び向きを決定することと、
前記ARディスプレイを使用して、前記人の前記身体上の前記光学コードと、前記透視デバイスの前記位置及び向きとを参照することによって、前記人の前記身体と位置合わせされた前記透視デバイスからの透視画像を表示することとを含む、方法。
【請求項22】
画像可視マーカに対して固定位置を有する前記人の前記身体上の1つ又は複数の光学コードを識別することと、
前記ARディスプレイを通して見たときに、前記人の前記身体上の前記1つ又は複数の光学コードに対する前記画像可視マーカの前記固定位置を使用して、前記人の前記身体の画像データセットを位置合わせすることと、
前記画像データセットを、前記ARディスプレイを介して、前記人の前記身体と、前記透視画像と位置合わせされて表示することと、
を更に含む、請求項21に記載の方法。
【請求項23】
前記透視デバイスの前記位置及び向きに基づいて、前記画像データセットの画像投影を生成することと、
前記透視画像と共に、前記人の前記身体と位置合わせされて、前記ARディスプレイを介して、前記画像投影を表示することと、
を更に含む、請求項22に記載の方法。
【請求項24】
前記画像投影が、前記透視デバイスの変化した位置と一致するように、前記透視デバイスの移動に基づいて再構築され得る、請求項22に記載の方法。
【請求項25】
ARヘッドセットを使用している観察者の前記位置及び向きに基づいて、前記画像データセットの画像投影を生成することを更に含む、請求項21に記載の方法。
【請求項26】
拡張現実(AR)ディスプレイを使用して、超音波画像を、人の身体に対して位置合わせする方法であって、
前記ARディスプレイの光学センサを使用して、人の前記身体の一部分及び超音波トランスデューサの視覚画像データを検出することと、
前記人の前記身体上及び前記超音波トランスデューサ上の1つ又は複数の光学コードを識別することと、
前記超音波トランスデューサ上の前記1つ又は複数の光学コードを使用して、前記人の前記身体に対する前記超音波トランスデューサの位置及び向きを決定することと、
前記ARディスプレイを使用して、前記人の前記身体上の前記光学コードと、前記超音波トランスデューサの前記位置及び向きとを参照することによって、前記人の前記身体と位置合わせされた前記超音波トランスデューサからの超音波画像を表示することとを含む、方法。
【請求項27】
光学コードを使用して医療処置を検証する方法であって、
ARヘッドセットの光学センサを使用して、患者の身体の一部分及び医療用具の視覚画像データを検出することと、
前記患者の前記身体上及び前記医療用具上に視認可能に表示された1つ又は複数の光学コードを識別することであって、前記患者の前記身体上の1つ又は複数の光学コードは、画像可視マーカに対して固定位置にある、ことと、
前記患者の前記身体上の前記1つ又は複数の光学コードを参照して前記画像可視マーカの既知の固定位置を使用して、画像データセットを前記患者の前記身体と位置合わせすることと、
前記画像データセットの表面と位置合わせする前記患者の前記身体の表面の正しい位置合わせに基づいて、正しい患者が前記医療処置中であることを確認することと、
前記1つ又は複数の光学コードを使用して、前記身体の正しい部分及び正しい医療用具が前記医療処置内にあることを確認することと、
を含む、方法。
【請求項28】
前記1つ又は複数の光学コードを使用して、前記ARヘッドセットにおける表示のために患者データを取得することを更に含む、請求項27に記載の方法。
【請求項29】
前記ARヘッドセットを使用して、前記患者の前記身体及び前記画像データセットに対する前記医療用具の位置及び向きを案内するために、前記画像データセットに注釈を提供することを更に含む、請求項27に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
複合現実又は拡張現実は、物理世界及び仮想コンピューティング世界からの画像を複合現実世界に組み合わせてもよいコンピューティング技術の領域である。複合現実では、物理世界及び仮想世界からの人々、場所、及びオブジェクトは、複合環境になる。VR(仮想現実)又はAR(拡張現実)ヘッドセットの使用と共に、既存の商用又はカスタムソフトウェアを介して複合現実体験が提供されてもよい。
【0002】
拡張現実(AR)は、物理的な現実世界の環境のライブの直接ビュー又は間接ビューが、音声、ビデオ、グラフィック又は他のデータなどのコンピュータ生成の感覚入力によって拡張又は補足される複合現実の例である。拡張は、現実世界の場所が見られ、環境要素と関連して実行される。高度なAR技術(例えば、コンピュータビジョン及びオブジェクト認識の追加)の支援により、ユーザの周囲の現実世界に関する情報はインタラクティブになり、デジタル的に修正されてもよい。
【0003】
ARシステム又はARヘッドセットが直面する問題は、オブジェクトの位置及び向きを高精度で識別することである。同様に、仮想要素の位置を現実世界環境のライブビューと位置合わせすることは困難であり得る。ARヘッドセットの位置合わせ解像度は、仮想オブジェクトを、見ている物理オブジェクトに位置合わせしてもよいが、位置合わせ解像度は、数センチメートル以内にしか位置合わせされないことがある。数センチメートル以内に位置合わせを提供することは、娯楽及びそれほど要求の厳しくない用途に有用であり得るが、ARシステムの位置決め及び位置合わせの解像度を高めることは、科学、工学、及び医学の分野において望ましいことがある。その結果、位置決め及び位置合わせプロセスは手動で行われてもよく、これは時間がかかり、煩雑であり、不正確であり得る。
【図面の簡単な説明】
【0004】
図1】患者及び医療用具に取り付けられた1つ又は複数の光学コードを使用して、医療用具及び患者の画像データを参照し、患者の実際のビューに位置合わせされ得る例示的な拡張現実(AR)環境を示す図である。
【0005】
図2】患者に貼付された画像可視マーカを有する光学コードの一例を示す図である。
【0006】
図3】患者の身体及び医療用具の実際のビューのカメラによって取り込まれ得る視覚データの一例を示し、それぞれ光学コードが貼り付けられている。
【0007】
図4】医療処置中の医療用具の位置決め及び向きを案内するための注釈を有する拡張現実(AR)ディスプレイにおけるビューの一例を示す図である。
【0008】
図5】医療処置中に医療用具の使用又は案内情報を表示するために拡張現実ディスプレイデバイスに表示され得るビューの例を示す図である。
【0009】
図6】透視画像の位置決め及び向き、並びに光学コードを使用した人の身体に対する画像データセットからの画像投影を可能にする拡張現実(AR)ディスプレイを使用する例を示す。
【0010】
図7】人の身体に対して移動可能であり、透視画像及び画像投影もまた移動及び/又は修正される透視デバイスの一例を示す。
【0011】
図8A】透視デバイスを示しており、この透視デバイスは、人の身体に対して移動可能であり、透視デバイス用の冠状視野内に透視画像及び画像投影を生成して、拡張現実(AR)ヘッドセット又はARディスプレイを通して組み合わされた表示を可能にする。
【0012】
図8B】拡張現実(AR)ヘッドセット又はARディスプレイを介して画像データセット及び超音波画像の組み合わされた表示を可能にするために、光学コードと組み合わせて使用される超音波トランスデューサを示す。
【0013】
図9a】画像データセット及び患者の身体に関して医療用具を参照するために拡張現実ヘッドセットを使用する例示的な方法のフローチャートである。
【0014】
図9b】透視画像、画像データセットからの画像投影、及び光学コードを使用する人の身体を位置合わせするために拡張現実(AR)ディスプレイを使用する方法を示す。
【0015】
図10】医療用具が画像データセット及び患者の身体に対して参照されることを可能にするために、医療用具上で光学コードを使用する際に使用され得る例示的なシステムを示す図である。
【0016】
図11】本技術を処理するコンピューティングシステムの一例を示すブロック図である。
【発明を実施するための形態】
【0017】
拡張現実(AR)ヘッドセットを使用して、医療処置中にARヘッドセットのカメラの視野内にある医療用具上で1つ又は複数の光学コードを識別できるようにする技術が提供される。医療用具は、1つ又は複数の光学コード及び人の身体上の画像可視マーカを使用して、人の身体と位置合わせされた画像データセットを参照することができる。画像データセットは、非光学撮像モダリティ(例えば、MRI(磁気共鳴画像法)、CT(コンピュータ断層撮影)スキャン、X線などを使用する)を使用する人の身体の一部分の以前に取得された画像であってもよい。画像データセットは、人の身体上に位置する少なくとも1つの光学コードからの固定距離である画像可視マーカを使用して、人の身体に位置合わせすることができる。例えば、画像可視マーカ及び光学コード(例えば、AprilTag又は2D光バーコード)の両方を1つの材料片(例えば、互いに同じ場所に配置されているか、又は互いに固定されて近接している)に取り付けて、画像データセットと人の身体との位置合わせを容易にしてもよい。画像可視マーカは、ARヘッドセットにとって光学的に可視ではない場合がある、取り込まれた放射線画像又は画像データセットなどの非可視撮像モダリティで見ることができるマーカである。画像データセットは、非光学撮像モダリティで人体の構造を取り込む機械によって取り込まれた画像を使用して、画像可視マーカの表現で取り込まれてもよい。画像データセット内の画像可視マーカの表現は、(後に更に詳細に説明するように)人の身体に貼付された1つ又は複数の光学コードに対する画像可視マーカの既知の固定位置を使用して、患者の身体と位置合わせすることができる。例えば、画像可視マーカは、放射線不透過性マーカ、MRIビーズ、超音波用のエコー源性構造などであってもよい。
【0018】
医療用具を画像データセットに参照することはまた、人の身体及び画像データセットに対する医療用具の位置及び向きを識別することを含んでもよい。したがって、医療専門家は、ARヘッドセットを介して実際の患者を見ながら、医療用具上の光学コードを使用して医療用具を参照するような画像データセットを使用して、患者の仮想内部を見る。医療用具を含む視覚画像データは、ARヘッドセットの可視光カメラを使用して取り込むことができる。医療用具に視認可能に表示される1つ又は複数の光学コードもまた走査されてもよい。例えば、医療用具の位置及び向きは、1つ又は複数の光学コード(例えば、APRILコード又は2D(2次元)バーコード)を走査することによって決定されてもよい。医療用具は、医療器具、トロカール、カテーテル、整形外科用ハードウェア、外科用インプラント、クランプ、電気焼灼ブレード又はシステム、手術室オブジェクト、機器オブジェクト、治療オブジェクト、医療処置オブジェクト、治療オブジェクト、挿入可能な用具、植込み可能なオブジェクト、医療デバイスなどであり得る。
【0019】
ARヘッドセットを使用して、患者の身体及び画像データセットに対する医療用具の位置決め及び向きを案内するために、画像データセットに視覚的インジケータ、注釈、又は仮想ツールが統合されてもよい。医療用具又は仮想ツールはまた、医療用具又は仮想ツールを強調表示するためにARヘッドセットを使用して医療用具又は仮想ツールに近接して又はオーバーレイとして表示されるグラフィックインジケータ(例えば、コンピュータ生成されたグラフィック又はシンボル)を有してもよく、又はグラフィックインジケータは、医療用具が医療処置に関連付けられているかどうかを表すことができる。医療処置における医療用具の使用を説明する指示情報である医療情報も取得することができる。更に、医療用具の輪郭は、開始点として、医療用具上の1つ又は複数の光学コードを使用して検出することができる。自動検出及び位置合わせの使用は、医療用具及び画像データセットと患者の実際のビューとの時間がかかり面倒な手動位置合わせを回避又は低減してもよい。
【0020】
本技術の別の構成では、拡張現実(AR)ヘッドセット又はARディスプレイは、人の身体に対して画像データセットからの透視画像及び画像投影を位置合わせして表示することができる。画像投影としての透視画像の位置及び向きは、人の身体に対して移動可能な透視デバイスの位置及び向きによって定義されてもよい。これに関連して、人の身体に対して移動可能な撮像デバイスの説明は、撮像装置の向きを変更するか、又はエミッタ、検出器、トランスデューサ、及び/又は撮像装置の撮像構成要素を人の身体に対して移動させる、撮像装置の移動度を含む。透視デバイス上の1つ又は複数の光学コードを使用して、人又は患者の身体に対する透視デバイスの位置及び向きを決定することができる。透視画像及び画像投影は、人の身体の一部分を透視撮像した状態で表示されてもよい。この位置合わせ及び表示は、人の身体上の1つ又は複数の光学コード及び画像可視マーカ、並びに透視デバイス上の1つ又は複数の光学コードを使用することができる。人の身体上の光学コード及び透視デバイス上の光学コードは、ARヘッドセットのカメラによって取り込まれた視覚画像データで識別することができる。
【0021】
人の身体上の光学コードのうちの少なくとも1つは、画像可視マーカに対して固定位置を有し得る。これにより、ARディスプレイ(例えば、ARヘッドセット)を通して見たときに、画像可視マーカと人の身体上の1つ又は複数の光学コードとの間の固定距離を使用して、画像データセット(例えば、放射線画像)を人の身体に位置合わせすることができる。画像投影は、透視デバイスの位置及び向きに基づいて画像データセットから作成されてもよい。透視デバイスからの透視画像は、画像可視マーカ(例えば、放射線不透過性オブジェクト)及び/又は透視デバイスの位置及び向きを定義する1つ又は複数の光学コードに基づいて、人の身体及び画像投影と位置合わせされてもよい。更に、透視画像は、X線ビームが人の身体を通過している人の身体に対する位置にARヘッドセットで仮想的に表示されてもよく、透視画像は、X線ビームで撮像されている人の身体の一部分を重ね合わせるように位置合わせされてもよい。画像投影は、透視画像と平行に配向されてもよく、X線ビームの経路の少なくとも一部に仮想的にあるようにARヘッドセットに表示されてもよい。位置合わせされた画像は、患者の現実世界又は現実のビューと共に、ARヘッドセットを使用して表示されてもよく、又は位置合わせされた画像は、別個のARディスプレイ(例えば、別個のディスプレイ画面)に表示されてもよい。このプロセスは、ライブ透視画像、画像データセット(例えば、拡張現実画像又は画像投影)、及び人の実際のビューを結合、配置、及び配向して、それにより、透視画像(例えば、人の体内の放射線不透過性オブジェクトの誘導)及び画像データセット(例えば、より良好な組織コントラストなど)の有用な態様が医療処置中に組み合わされることを可能にする。
【0022】
透視画像を使用する別の構成では、透視デバイスの1つ又は複数の光学コードを使用して、人の身体に対する透視デバイスの位置及び向きの変化を検出することができる。次いで、透視デバイスの位置及び向きの変化によって定義されるように、画像投影及び透視画像位置及び向きが修正されてもよい。例えば、画像データセットの投影の動きは、透視デバイスの向き及び位置の変化に基づいて、透視画像と一致するように共局在化又は同期されてもよい。透視デバイスのズームはまた、人の身体上の放射線不透過性オブジェクトを使用して検出されてもよく、放射線不透過性オブジェクトのサイズは、ARディスプレイ上で見たときの画像投影のサイズを調整するために使用されてもよい。グラフィックインジケータ、仮想ツール、又は仮想標的システムもまた、画像データセットに含まれ、ARディスプレイを使用して人の身体及び画像データセットに対する透視可能なオブジェクト(例えば、トロカール又は針)の位置決め及び向きを案内するために蛍光透視画像に共局在化され得る。
【0023】
別の構成では、カメラ又はARヘッドセットによって検出又は取り込まれた光学コードを使用して、正しい医療処置が正しい患者に対して実行されていることを確認することができる。更に、医療処置における人又は患者に関連する情報もまた、光学コードを使用して取得されてもよく、ARシステムを使用して医療専門家に表示され得る。光学コードはまた、患者の識別情報を確認するのに役立つことができる。確認はまた、身体及び医療用具の1つ又は複数の光学コードを使用して、身体の正しい部分及び正しい医療用具が医療処置内にあることを判定するために実行されてもよい。
【0024】
図1は、患者106又は人の画像データセットが、患者106に貼付された光学コード200を使用して、患者106の実際のビューと位置合わせされ得る例示的な拡張現実(AR)環境100を示す。環境100は、物理的空間102(例えば、手術室、実験室など)、ユーザ104、患者106、患者上の複数の光学コード200、光学コード198を有する医療用具118、及びコンピュータネットワーク110を介してサーバ112と通信するARヘッドセット108を含むことができる。仮想ユーザインタフェース114及び仮想カーソル122も破線で示されており、これらの仮想要素がARヘッドセット108によって生成され、ARヘッドセット108を介してユーザ104が見ることができることを示している。
【0025】
ARヘッドセット108は、画像データセットを用いて患者106の実際のビューを拡張することができるARコンピューティングシステムとすることができる。例えば、ARヘッドセット108はユーザ104によって使用され、骨106b(図1に示す)、筋肉、臓器、又は流体を含むがこれらに限定されない患者106の1つ又は複数の3D画像データセットのビュー又は放射線画像で患者106の実際のビューを拡張してもよい。ARヘッドセット108は、画像データセット(又は画像データセットの投影)を動的に再構築することを可能にすることができる。したがって、ユーザ104が患者106の周りを移動するとき、ARヘッドセット108のセンサは、患者106に対するユーザ104の位置を決定し、画像データセットを使用して表示される患者の内部解剖学的組織は、ユーザが患者に対して異なる向きを選択するときに動的に再構築することができる。例えば、ユーザ104は、患者106の周りを歩いてもよい。次いで、ARヘッドセット108は、患者106の1つ又は複数の取得された放射線画像又は画像データセット(MRI、CTスキャンなど)によって患者106の実際のビューを拡張してもよく、その結果、患者106及び患者106の画像データセットの両方が、任意の角度(例えば、投影された画像又は画像データセットからのスライスも表示することができる。)からユーザ104によって見ることができる。ARヘッドセット108は、Microsoft HOLOLENS、Meta Company META 2、Epson MOVERIO、Garmin VARIA VISION、又は他のARヘッドセットの修正バージョンであってもよい。
【0026】
光学コード200は、患者106の画像データの生成(例えば、MRI、CTスキャン、X線などの取り込み)に先立って患者106に貼り付けられ、その後、患者106がARヘッドセット108を介してユーザ104によって見られている間、患者106に貼り付けられたままであり得る。次いで、光学コード200及び画像可視マーカをARヘッドセット108によって使用して、患者106の画像データセットを患者106の実際のビューと自動的に位置合わせすることができる。更に、画像データを自動的に取得するために画像データの取り込み中に使用されるのと同じ光学コード200を使用することにより、ARヘッドセット108によって取得される画像データが、ARヘッドセット108を通して見られている実際の患者106と一致することを保証することができる。
【0027】
ARヘッドセット108は、患者の表面をマッピング又は検出することができ、同様に医療用具118の表面をマッピングすることができるセンサ技術を有し、この検出された表面マッピングデータは、画像データセットに共登録することができる。医療用具118は、環境100内で頻繁に移動することができ、医療用具118のリアルタイム位置は、光学コードを使用して3D空間102内で追跡することができ、医療用具118は、画像データセット116又は患者106の身体に参照されてもよい。ユーザ104が医療用具118の一部を患者106の体内に挿入すると、ARヘッドセット108は、画像データセット116に投影された医療用具118の仮想挿入部分を表示して、患者106の内側の解剖学的組織に医療用具118を描写することができる。このようにして、医療用具118の実際の挿入部分がユーザ104の実際のビューから隠されている場合でも、医療用具118の仮想挿入部分は、ユーザ104の実際のビューに投影され、画像データセットに参照されてもよい。医療用具118は、医療用具118に取り付けられた1つ又は複数の光学コードを使用して追跡することができ、次いで、画像データセット116及び人又は患者106の身体を参照して医療用具118の継続的に更新される位置を確立するために、ARヘッドセットによって1つ又は複数の光学コードを検出することができる。いくつかの実施形態では、医療用具118は、ユーザ104が患者106に挿入したい任意のものであってもよい。例えば、医療用具118は、針、トロカール、メス(図1に示す)、スコープ、ドリル、プローブ、クランプ、インプラント、別の医療器具を含むことができるが、これらに限定されない。
【0028】
仮想ユーザインタフェース114は、ARヘッドセット108によって生成することができ、患者106の画像データセット116から患者106の投影された内側解剖学的組織の表示を変更するためのオプションを含むことができる。仮想ユーザインタフェース114は、ユーザ104にとって有用であり得る他の情報を含むことができる。例えば、仮想ユーザインタフェース114は、光学コードで識別されている患者又は医療用具118(例えば、医療器具、インプラントなど)に関する情報を含んでもよい。別の例では、仮想ユーザインタフェース114は、患者106の医療チャート又は他の医療データを含むことができる。いくつかの構成では、画像データ116又は取り込まれた人の放射線データは、画像データ116のボリュームを使用してARヘッドセット108によって表示され、画像データから患者106の放射線学的に取り込まれた解剖学的組織(例えば、骨106b、組織、血管、流体など)を表示することができる。この画像データは、画像データの軸方向スライス、冠状スライス、矢状スライス、又は傾斜スライスを含むことができる。スライスは、深さ並びに高さ及び幅(例えば、ボクセルの1つ又は複数の層)を有する2次元(2D)スライス、3次元(3D)スライス、及び/又は4次元(4D)スライス(画像の時系列を有する3D画像)であってもよい。ユーザ104は、ハンドジェスチャ、音声コマンド、眼球運動、リモコン(例えば、finger clicker)、3Dマウス、VR棒(VR wand)、指センサ、触覚技術、又は他の制御方法を使用して仮想ユーザインタフェース114を制御することができる。
【0029】
一構成例では、ARヘッドセット108をそれぞれ装着している複数のユーザが同時に存在して、患者106の画像データを用いて拡張された患者106を見ることができる。例えば、医療処置中に使用される複数のARヘッドセット108が存在し得る。一方のARヘッドセット108は、ARヘッドセットの両方に表示されている放射線画像を調整及び操作するために第1の医療専門家によって使用されてもよく、第2のヘッドセットは、患者に対する医療処置の実行を支援するために第2の医療専門家によって使用されてもよい。加えて、1人の医療専門家は、他の医療専門家の要求で放射線画像をオン又はオフにすることができる場合がある。
【0030】
図2は、図1の患者106に固定された図1の光学コード200を示す。図1及び図2の両方を参照すると、光学コード200は、ARヘッドセット108に組み込まれた光学センサなどの光学センサに知覚可能であり得る。いくつかの実施形態では、光学コード200は、AprilTag、線形バーコード、マトリックス2次元(2D)バーコード、クイックレスポンス(QR)コード、又はそれらの何らかの組み合わせであってもよい。AprilTagは、拡張現実及びカメラ較正に有用な視覚的基準システムであり得る2次元バーコードの一種である。AprilTagsは、カメラ、センサ、又はARヘッドセットに対するタグの3D位置、向き、及び識別情報を計算するために使用され得る。
【0031】
光学コード200は、患者106の医療データに光学コード200でアクセスできるように、患者106の医療データにリンクされてもよい。例えば、光学コード200を使用して、ARシステムを使用する患者の医療処置で使用される画像データセットを自動的に検索することができる。
【0032】
光学コード200は、非光学撮像モダリティに知覚可能なマーカ206又は画像可視マーカに更に関連付けられてもよい。非光学撮像モダリティの例としては、MRIモダリティ、コンピュータ断層撮影(CT)スキャンモダリティ、X線モダリティ、陽電子放出断層撮影(PET)モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ(IRT)モダリティ、3Dマンモグラフィ、又は単光子放出コンピュータ断層撮影(SPECT)スキャンモダリティを挙げることができるが、これらに限定されない。別の例では、非光学画像又は画像データセットは、上に列挙した2つ以上の形態の非光学撮像モダリティの組み合わせを含む画像又は画像データセットであってもよい(例えば、互いに組み合わされた2つ以上の画像、2つ以上の非光学画像の組み合わされたセグメント、MRI画像と融合されたCT画像など)。別個のモダリティ内の各画像データセットは、個々の画像データセット内に画像可視コードを有することができ、これにより、PET画像、CT画像、MRI画像、透視画像などを、ARシステムビュー内の人の身体上の光学コードと共に位置合わせ及び参照することができる。非光学撮像モダリティに知覚可能な材料からマーカ206を形成することにより、非光学撮像モダリティを使用して取り込まれた患者106の画像データセットにマーカ206又は画像可視マーカを表示することができる。マーカ206の例には、金属球、液体球、放射線不透過性プラスチック、金属含浸ゴム、金属ストリップ、常磁性材料、及び金属インクの部分が含まれるが、これらに限定されない。
【0033】
マーカ206又は画像可視マーカは、パターンで配置されてもよく、光学コード200の位置に対して固定位置を有してもよい。例えば、図2に開示された実施形態では、光学コード200は、材料202(例えば、絆創膏、紙、プラスチック、金属箔など)上に印刷されてもよく、マーカ206は、材料202(例えば、材料202に埋め込まれており、包帯のいずれの表面上にも見えない)に貼り付けられてもよい。この実施形態では、マーカ206は、包帯202内に固定パターンで配置されることによって、光学コード200の位置に対して固定位置を有するパターンで配置されてもよい。あるいは、マーカ206は、光学コード200自体の中に埋め込まれてもよく、例えば、マーカ206は、光学コード200が材料202上に少なくとも一部が印刷されるインクの中に埋め込まれ、インクは、放射線不透過性であり、X線に対して透明ではないインク粒子など、非光学撮像モダリティに対して知覚可能な材料を含む。これらの実施形態では、光学コード200自体は、光学コード及びマーカのパターンの両方として機能することができる。更に、マーカ206は、光学コード200を患者106の皮膚106aに直接(少なくとも一時的に)貼り付けるか又は印刷することによって配置することができる。マーカ206を、光学コード200の位置に対して固定位置を有するパターンに配置することによって、この固定位置を使用して、マーカ206自体がARヘッドセット108のセンサに見えないか又は知覚できない場合であっても、光学コード200の可視位置に対するマーカ206又は画像可視マーカのパターンの位置を計算し、又は可視マーカを撮像することができる。
【0034】
光学コード200及びマーカ206が固定パターンで患者106に取り付けられると、(マーカ206が知覚可能である)非光学撮像モダリティを使用して、患者106及びマーカ206の画像データを取り込むことができる。特に、画像データは、患者106の内部解剖学的組織(例えば、骨106b、筋肉、器官、又は流体など)を含むと共に、患者106の内部解剖学的組織の位置に対して固定位置にマーカ206のパターンを含むことができる。言い換えれば、患者106の内部解剖学的組織が患者106の画像データに現れるだけでなく、マーカ206もまた固定パターンで患者106の画像データセットに現れ、マーカ206のこの固定パターンの位置は、患者106の内部解剖学的組織の位置に対して固定位置で画像データセットに現れる。一例では、非光学撮像モダリティがCTスキャンモダリティである場合、CTスキャン画像は、患者106の骨106b、臓器、及び軟部組織、並びに患者106の骨106b、臓器、及び軟部組織の位置に対して固定位置に配置されたマーカ206を表示することができる。
【0035】
更に、患者106は、例えば、病院の医療撮像室から病院の手術室に移動されてもよい。次いで、ユーザ104(医療専門家など)は、ARヘッドセット108を使用して、人又は患者の身体上の光学コード200の位置を判断することができる。次に、ARヘッドセット108は、光学コードに基づいて患者106の画像データを自動的に取り出すことができる。
【0036】
3D空間102内の光学コード200を検出した後、ARヘッドセット108は、3D空間102内かつ互いに対するマーカ206のパターンの位置を自動的に計算することができる。この自動計算は、3D空間102内の光学コード200の検知された位置に基づくことができ、光学コード200の位置に対するマーカ206のパターンの既知の固定位置に基づくこともできる。(例えば、マーカ206が材料の中又は下に埋め込まれていることに起因して)マーカ206がARヘッドセット108に知覚できない場合であっても、ARヘッドセット108は、光学コード200の位置と、光学コード200の位置に対するマーカ206のパターンの固定位置とに基づいて、マーカ206のパターンの位置を自動的に計算することができる。この例では、これらの固定位置は、ARヘッドセット108がマーカ206の位置を直接感知していない場合であっても、ARヘッドセット108が互いに対して3D空間102内のマーカ206のパターンの位置を自動的に計算することを可能にすることができる。
【0037】
3D空間102内のマーカ206又は画像可視マーカのパターンの位置を計算した後、ARヘッドセット108は、3D空間102内のマーカ206のパターンの計算された位置を画像データセット内のマーカ206のパターンの位置と位置合わせすることによって、3D空間102内の患者106の内部解剖学的組織の位置を位置合わせすることができる。位置合わせは、3D空間102内のマーカ206のパターンの計算された位置と、患者106の内部解剖学的組織の位置に対するマーカ206に設定された画像データセットの固定位置とに基づいて実行することができる。次いで、この位置合わせは、ARヘッドセット108が、患者106の実際のビューに投影された画像データから患者106の内部解剖学的組織をリアルタイムで表示することを可能にすることができる。
【0038】
したがって、光学コード200、及びマーカ206の関連するパターンは、患者106の画像データを患者106の実際のビューと自動的に位置合わせするためにARヘッドセット108によって使用され得る。更に、画像データの取り込み中に取得された画像データを自動的に読み出すために、1つ又は複数の光学コード200(例えば、AprilTag及び2Dバーコード、又は光学コードの別の組み合わせ)を用いることができ、ARヘッドセット108によって読み出された画像データが、ARヘッドセット108を通して見ている実際の患者106と一致することを保証することができる。
【0039】
更なる例では、患者106の画像データと3D空間102内の患者106の実際のビューとの正確な位置合わせを更に確実にするために、複数の光学コード200を患者106に同時に取り付けることができる。また、図2に開示された5つのマーカ206のパターンは、3つのマーカのパターン又は7つのマーカのパターンなどの別のパターンに置き換えられてもよく、各光学コードは異なるパターンを有してもよい。更に、マーカ206は患者106の外層に固定されているので、マーカ206はすべてが一平面内にあるとは限らず、代わりに患者106の外層の任意の曲率に適合することができる。これらの実施形態では、光学コード200の位置に対するマーカ206のパターンの固定位置は、患者106の外層上の任意の曲率を説明するために、光学コード200及びマーカ206を患者106に固定した後に確立されてもよい。
【0040】
図3は、ARヘッドセット又はARシステムのカメラによって取り込まれ得る視覚画像を示す。視覚画像は、患者300の身体及び医療用具314を含むことができ、それぞれに光学コードが貼付される。光学コードを使用して、視覚画像内の医療用具312の位置及び向きを識別することができ、光学コードを開始点として使用して、医療用具312の輪郭又は形状を識別することができる。更に、人300の身体上の光学コード310を使用して、オーバーレイ又は表示用の追加の仮想オブジェクトとして使用される患者(例えば、患者データベース内の患者記録)又は(例えば、オブジェクトデータベース内の)仮想オブジェクトの追加情報にアクセスすることができる。
【0041】
一構成では、医療用具312上で複数の光学コード314を使用して、医療用具の位置及び向きを決定することができる。例えば、光学コード314は、医療用具の複数の別個の面又は表面に貼り付けられてもよい。これらの複数の光学コードの各々は、医療用具の特定の面、態様、又は向きを識別するように符号化されてもよい。複数の光学コードはまた、医療用具と関連付ける所望の3D(3次元)仮想画像を識別する際に使用されてもよい。例えば、強調表示グラフィック又は仮想オブジェクト(例えば、仮想医療器具)を医療用具のオーバーレイとして選択することができる。
【0042】
患者300及び医療用具314に取り付けられた光学コード310、314が、視覚画像内の患者の身体及び医療用具314の位置及び向きを識別するために使用されると、この位置及び向き情報は、各光学コードについて追跡され、処置における医療用具及び患者の位置及び向きを判断するときに使用され得る。光学コード310は、処置中に患者の視覚画像を取り込むプロセス中に取り込むことができる。結果として、光学コード310を使用して、(例えば、ARヘッドセットなどにおける)拡張現実ディスプレイ内の患者の以前に取り込まれた放射線画像に対して医療用具314を参照することができる。
【0043】
更に、医療用具の光学コード314を使用して、特定の種類の医療用具312(例えば、医療器具又は整形外科用インプラント)を識別することができる。医療用具の位置及び向きが識別されると314、医療用具の位置は、上述した画像データセット及び患者の身体に対して決定され得る。医療用具314の位置をよりよく説明するために、ARシステムは、医療用具のサイズ、形状、及び輪郭を記述する情報、並びに任意の他の関連情報にアクセスすることができる。
【0044】
一例では、医療用具312に関連する追加情報も取得することができる。例えば、医療器具の使用に関する情報が取得され、ARヘッドセットに表示されてもよい。これは、医療器具を患者の身体と最適に位置合わせする方法に関する情報、インプラントを骨に挿入するためのチップ、電子医療センサの設定、又は医療用具の他の案内情報を含むことができる。
【0045】
更に、ARシステムは、どの医療用具312が特定の医療処置に関連付けられているかを識別する記録を有することができる。この情報を光学コードと組み合わせて使用することにより、拡張現実システムは、特定の医療用具312が現在の医療処置に正しく関連付けられているか、又は現在の医療処置で正しく使用されているかどうかを判定することができる。例えば、医療用具312が患者に埋め込まれる医療処置では、拡張現実システムに関連するデータストアにアクセスして、正しいインプラントが患者に埋め込まれ、正しいツールが使用されていることを保証することができる。光学コード、処置データ、及び患者データのこの組み合わせを使用して、正しい患者が手術されているかどうか、正しい身体部分が手術されているかどうか、身体の正しい側のためのインプラントが使用されているかどうか、又は正しいインプラントサイズが使用されているかどうかをチェックすることができる。処置の前に医療用具312に光学コードを使用することにより、正しい医療用具312が手術室にあるという信頼性を高めることができる。別の例では、ARシステムは、所与の医療用具312が処置において認可されていることを確認する、又は誤った医療用具312若しくは器具が存在することをユーザに警告する光学インジケータを表示することができる。
【0046】
図4は、医療処置中に医療用具312に関連する追加情報を識別することを示す。上述したように、ARシステムは、患者300、医療用具312、及び/又は実行されている医療処置に関連する情報にアクセスするために光学コード314を使用することができる。ARシステムは、処置中にユーザを支援するために、ARヘッドセットを介して医療用具の使用に関連する情報を表示することができる。一例では、この情報は、医療器具の適切な使用を説明することができる。例えば、ARシステムが医療器具312上の光学コード314を取り込む場合、光学コード314内の値は、データベースからその機器の情報を取得するための検索値として使用することができる。そのような情報は、ARヘッドセットに表示することができる医療器具312を使用するための計画された医療処置ステップを更に含むことができる。
【0047】
医療専門家は、医療処置の特定の態様を事前に計画することができる。例えば、切開部又は組織を切断する経路の位置及び向きは、注釈を使用して事前に計画することができる。これらの計画は、拡張現実システムに関連付けられたデータベースに入力することができる。必要に応じて、ユーザは、ARヘッドセット内のユーザに関連する事前に計画された医療処置情報を表示するように拡張現実システムに命令することができる。この場合、ユーザ又はシステムは、医療器具612の位置決めを記述するための所定の注釈400、402を有することができる。医療処置のための医療器具のための事前に計画された経路又は位置合わせ点、線若しくは平面を示すために、仮想誘導システムがARヘッドセットによって表示され得る。結果として、拡張現実ディスプレイは、医療用具312を円形釈400、402に移動させる指示と共に、ガイダンス注釈404を表示することができる。医療専門家がARヘッドセット内のグラフィックを使用して視覚的に描写された適切な位置及び向き(例えば、3次元内)に医療器具の位置及び向きを移動させると、適切な位置及び向きが満たされたことを示すために、グラフィックインジケータ、仮想ツール、又は仮想標的システムが表示され得る。医療用具312の位置決め及び向きは、3次元又は2次元で案内されてもよい。一例では、医療器具が位置合わせされていないときに赤色インジケータが表示されてもよく、医療器具が位置合わせされているときに緑色インジケータがARヘッドセットを介して表示されてもよい。したがって、注釈は、医療用具が定義された位置、ターゲット、エントリポイント、又は標的オブジェクトの近くに移動すると、修正、アニメーション化、及び/又は色を変更することができる。
【0048】
同様に、仮想器具又は仮想ツールを表示して、可視器具と仮想器具との位置合わせを可能にすることができる。例えば、グラフィック又は仮想器具は、ARヘッドセットを使用して表示又は投影されてもよい。可視器具又は現実世界の器具が仮想器具又は仮想ツールと位置合わせされると、ARシステムは、可視器具が仮想器具と位置合わせされることを示すメッセージ又はグラフィックを表示することができる。更に、仮想器具のこの位置合わせはまた、以前に取得された画像データセット又は処置中に取得された画像データセット(例えば、処置中に得られたCTスキャン又はMRI画像)内の見ることができる解剖学的構造との位置合わせを可能にし得る。
【0049】
図5は、切開点504が患者の身体の特定の部分上のオーバーレイ又は仮想オブジェクトとしてARディスプレイに表示されることを示している。ユーザは、この仮想切開点を使用して、人300の身体に対する医療器具の初期配置及び/又は手術開始時の画像データセットを案内することができる。同様に、医療器具の位置及び向きを検出する能力はまた、切開の深さ又は角度、クランプの適切な配置などを誘導することによって医療専門家を支援する能力を含むことができる。更に、システムは、所与の医療用具を保持するための正しい角度又は向きの命令を表示することができる。例えば、ARディスプレイは、患者の身体の一部分の位置及び向きに基づいて、現在の医療処置における器具の正しい動きのためのグラフィックインジケータ、仮想ツール、又は仮想標的システムをARディスプレイに提示することができる。例えば、システムは、線の視覚的表示を表示することができ、それに沿って、人の個々の身体に合わせてカスタマイズされた切開が行われる。同様に、システムは、器具の現在の深さを推定し、医療器具が患者の身体及び/又は画像データセットに対して移動されることを示すことができる。処置中、拡張現実システムは、1つ又は複数の光学コード(例えば、患者310又は医療用具312のいずれかの光学コード)を使用して、医療専門家を案内するためにARディスプレイ内の計画情報にアクセスし、位置合わせし、表示することができる。
【0050】
医療準備構成では、本開示に記載されているように、光学コードの使用は、医療処置のために患者を準備している医療専門家が、患者の身体又は解剖学的組織の、皮膚を準備すべき一部分、又は医療処置の前に他の医療準備を行うべき一部分を識別するようにグラフィカルに指示されることを可能にし得る。例えば、ARヘッドセットが患者の身体上の1つ又は複数の光学コードを識別した後、医療専門家が医療準備を行うのを支援するために、グラフィック線、グラフィック形状、又は仮想ツールをARヘッドセットに表示することができる。これにより、医療専門家は、患者を正しい解剖学的位置に位置決め、向き、及び準備し、正しい切開点を準備し、及び/又は患者の解剖学的組織の正しい部分に準備するように導かれ得る。例えば、患者の正しい椎骨又は股関節の位置を特定することは困難な場合があり、この技術はそのようなガイダンスを提供する。このガイダンスは、外科手術室における外科技術者の全体的なスループットを改善することができる。
【0051】
図6は、拡張現実(AR)システムを使用して、人606aの身体に対して位置合わせされた画像データセットからの透視画像654及び画像投影656を表示するための技術602を示す。透視デバイス660は、患者を通してX線ビーム(例えば、連続X線)を送信して、医療専門家が見ることができる患者の透視撮像の一連の透視画像又はライブビデオを取得することができる。透視デバイス660はまた、人の身体に対して移動可能であってもよい。透視画像654及び画像投影656aは、透視デバイス660及び/又は画像可視マーカによって定義された位置及び/又は向きを有することができる。ARシステム又はARヘッドセット608にリンクされたカメラ又は光学センサ(例えば、可視光センサ又はIRセンサ)は、手術台603上の人の身体の一部の視覚画像データ、及び人の身体に対して移動可能な透視デバイス660を取り込むことができる。人606aの身体上の1つ又は複数の光学コード及び透視デバイス652、658上の1つ又は複数の光学コードは、光学コード認識及び走査技術又は他の光学コード認識技術を使用して視覚画像データから識別及び走査することができる。
【0052】
画像投影656は、透視画像654に(例えば、平行、斜め、又は別の固定された向きに)関連付けられた画像データセットが取り込まれている部分を表示するように選択され得る。画像投影はまた、静脈、神経又は骨などの人の身体の特定の解剖学的組織タイプを表示することができる。透視画像654は、単層投影(例えば、2次元(2D)投影)であってもよい。位置合わせ、位置決め、及び向きは、人の身体上の光学コード620及び画像可視マーカ、画像投影上の画像可視マーカの表現、透視画像654に取り込まれた画像可視マーカ、及び透視デバイス(例えば、Cアーム装置、カテーテル検査室、血管造影検査室、又は可動エミッタ及び検出器を備えた透視デバイス)上の光学コード652、658を使用して実行することができる。
【0053】
人の身体上の光学コード620のうちの少なくとも1つは、(先に詳述したように)画像可視マーカに対して固定位置を有することができる。これにより、画像データセット(例えば、取り込まれた放射線画像)を、人の身体上の1つ又は複数の光学コードを参照して、画像可視マーカの固定位置を使用して人606の身体と位置合わせすることができる。人の身体は布607で覆われてもよいが、身体の内部解剖学的組織650は、画像データセットを使用して仮想的に見ることができる。
【0054】
画像投影656は、透視デバイス660の位置及び向きに基づいて画像データセットから作成されてもよい。画像投影656は、冠状投影、傾斜投影、又は透視デバイス660の向きと一致する別の投影の向きであってもよい。画像投影は、画像データセットの多平面再構築(MPR)である単一の平面図又は「スラブ」を定義するために画像データセットから投影される(例えば、多層投影)。画像投影は、任意の選択された厚さであってもよく、適切なビューにおける組織のMIP(最大値投影)であってもよい。
【0055】
人606aの身体に対する透視デバイス660の位置及び向きは、透視デバイス660上の1つ又は複数の光学コード652、658を使用して決定することができる。透視デバイス660からの透視画像654は、人の身体、及び画像可視マーカ及び/又は人606aの身体上の光学コードに基づいて設定された画像データセットと位置合わせされ得る。更に、透視画像654は、人606の身体に対する透視デバイス660の位置及び向きを使用して位置決め及び配向することができる。
【0056】
放射線不透過性マーカを画像可視マーカとして使用して、透視画像654を患者606aの身体と整列させることができる。いくつかの状況では、放射線不透過性マーカは、画像データセットを位置合わせするために使用される同じ画像可視マーカであってもよく、又は放射線不透過性マーカは、別個の光学コードを有し得る完全に別個の放射線不透過性マーカ(例えば、リード矩形(lead rectangle))であってもよい。例えば、放射線不透過性マーカは、透視画像654を人の身体と位置合わせするために使用される第1のタイプの撮像モダリティマーカであってもよく、第2の撮像モダリティマーカ(例えば、MRI型マーカ又は超音波マーカ)は、画像データセットを人の身体と位置合わせするために使用されてもよい。位置合わせされたデータセット画像、画像投影、及び透視画像はまた、ARヘッドセット608を使用して、又は患者の現実世界のビューと共に別個のARディスプレイ662上に表示されてもよい。したがって、拡張現実画像は、人606aの身体に対して実行されるライブ透視介入又は診断手順に組み合わせることができる。
【0057】
前述したように、複数の有用なビューを、透視デバイス及びARシステムを使用している医療専門家に提供することができる。1つのビューは、透視画像が光学コードを使用して患者の実際のビュー上に解剖学的に位置合わせされるように、部分的に透明な透視画像を撮影し、透視画像をオーバーレイする能力を含むことができる。別のビューは、画像データセットを透視画像と合成し、光学コードを使用して患者の身体と位置合わせすることを可能にすることができる。更に、画像データセットからの投影は、ARシステム又はARヘッドセットを介した医療専門家の変化する身体の実際のビューに合わせて移動又は再構築することができる。更に別のビューは、透視画像と、患者(例えば、医療専門家がX線ビーム自体と同じ視点にある場合に医療専門家が見るであろうもの)と位置合わせされて重ねられた透視画像に平行な画像データセット(例えば、2D矩形スライス)の投影との組み合わせビューを表示するARシステムで提供され得る。この構成では、投影は、透視デバイスが移動するにつれて移動又は再構築することができる。
【0058】
光学コードを有する医療用具618はまた、前述したように、画像データセット及び画像投影656に関して参照することができる。これにより、医療専門家は、画像データセット又は画像投影656及び透視画像654を同時に参照して医療用具618を見ることができる。透視画像654は、医療専門家又はユーザが所望する任意のレベルの透明度に設定されてもよい。
【0059】
図7は、医療専門家604が異なる視点から透視画像660を取得することを可能にするために、人又は患者の身体606aに対して透視デバイス654の位置が変化し得ることを示している。人の身体に対する透視デバイスの位置及び向きの変化は、ARヘッドセット608又はARシステムに関連付けられたカメラによって取り込まれた1つ又は複数の光学コード652、658を使用して検出及び定量化することができる。透視デバイス660の位置及び向きの変化により、画像投影656及び透視画像654の位置及び向きを変更することができる。例えば、画像投影656の位置及び/又は向きは、ARヘッドセットによって見られるように、患者606aの身体と比較して、1つ又は複数の光学コード652、658を使用して透視デバイス660の位置及び向きの検出された変化に基づいて移動され得る。画像データセットからの画像投影656は、透視デバイス660の修正された位置及び向きを使用して再構築されてもよく、又は新しい投影が作成されてもよい。
【0060】
例えば、透視デバイス660は、一軸で45度回転してもよい。その結果、画像投影656をその新しい向きに再作成することができ、透視画像654及び画像投影656の向きをARヘッドセットを通して見たときに人606aの身体に対して適切な向きに位置合わせすることを可能にするために、ARディスプレイで見たときに回転した向きで透視画像654を表示することができる。透視画像654は、身体上の光学コード、画像可視マーカによって定義されるように、及び/又は透視デバイス660の修正された位置及び/又は向きによって定義されるように、人の身体に対して3D空間で修正された向きを有することができる。したがって、X線ビームの位置及び向きが変化すると、画像投影656及び透視画像654の位置及び向きが変化する。
【0061】
患者に対する透視デバイス660の位置及び向きを決定することにより、ARシステムは、画像投影656が透視検出器から得られた透視画像654と平行になるように画像投影を再構築することも可能になる。更に、透視画像654は、身体から透視画像654が取り込まれている位置(例えば、X線ビームを使用して、)に基づいて、人606aの身体に対して位置決めすることができる。したがって、透視画像654、画像投影656、及び患者の身体606aは、医療専門家が画像投影656を透視画像654へのオーバーレイとして使用して人又は患者の解剖学的構造を見ることができるように位置合わせされてもよい。画像投影656及び透視画像654の位置決め及び向きは、(医療専門家の視点とは対照的に)X線ビームが通過している人の身体の一部分に基づいてAR(拡張現実)ビューを表すことができる。
【0062】
ARシステムは、透視デバイス654の位置及び向きに一致する任意の角度からの投影を提供するように3D画像データセットを再構成することができる。例えば、透視デバイス660が側方ビューを取り込むように配置されている場合、画像データセットの側方投影を側方透視画像ビューと共に提供することができる。人の身体の現実世界のビュー、画像データセットからの画像投影、及び透視画像を組み合わせて位置合わせすることにより、医療専門家は、患者の体内の解剖学的組織をよりよく見てナビゲートすることができる。3D(3次元)画像データセットは、より良好な軟組織コントラスト(例えば、臓器及び血管は、内部の解剖学的組織に見ることができる)及び透視画像が提供し得ない3D基準環境を提供する。
【0063】
一構成では、透視画像654を取り込みながら、人606aの身体に対して透視デバイス660をズームすることができる。その結果、画像投影656に対する調整は、画像投影656が透視画像654のズームに一致することを可能にするために、透視画像654に取り込まれた画像可視マーカ(すなわち、放射線不透過性マーカ830)のサイズの変化に基づいて実行することができる。例えば、透視画像654がズームインされたときに既知のサイズの画像可視マーカが取り込まれる(例えば、所定のサイズ又は長さのリードマーカ)場合、画像投影がズームインされる量は、透視画像内の画像可視マーカのサイズの視覚的増加(又はズームアウトの場合の減少)によって決定され得る。あるいは、ズーム値は、透視デバイス660によって電子的に報告されてもよく、又はズーム値は、透視画像654内又はそれと共に提供されてもよく、画像投影654は、透視デバイスによって電子的に報告されるように、透視ズームに一致するように修正されてもよい。
【0064】
更に、拡大が透視デバイスに適用され得るので、直接測定することが困難であり得る拡大効果の変動があり得る。例えば、X線検出器と対象との距離が変化すると、倍率変動が発生する可能性がある。したがって、放射線不透過性マーカをズーム調整に使用することができる。したがって、放射線不透過性マーカ(例えば、L字形状)が拡大表示で識別され、放射線不透過性マーカが既知の物理的サイズの2倍である場合、画像データセットは、放射線不透過性マーカの2倍のサイズに一致するようにスケーリングすることができる。画像データセットがズームアウト又はズームインされると、画像データセットは、人の身体の実際のビューとうまく整列する可能性が低い。その結果、ズームされた画像データセット及び透視画像は、ARヘッドセットとは別個のARディスプレイ662に位置合わせされて表示されるか、又は人の身体に直接オーバーレイされないARヘッドセット視野の一部分(例えば、ARヘッドセットの視野の中心の側から)に表示され得る。
【0065】
X線源又はX線検出器からの患者の解剖学的組織の距離に起因する拡大効果を減少させるために、丸い放射線不透過性球体を患者のアイソセンタに配置することができる。透視デバイスに倍率を用いる場合、X線ビーム源からの身体部分の距離に応じて倍率を変えることができる。例えば、X線ビーム源により近い身体部分の倍率は、より大きくてもよい。これらの倍率の差を補正するために、使用される放射線不透過性マーカは、既知のサイズ(例えば、1cm)の金属球であってもよい。金属球を関心のある身体部分(例えば、画像のアイソセンタ)の近くに配置し、次いで、画像データセットのズームを金属球に一致するように設定することができる。したがって、金属球が透視画像内でより小さく又はより大きく見える場合、そのサイズに基づいて画像データセットをズームすることができる。金属球もまた、あらゆる角度から同じように見える。この外観の一貫性により、金属球は、画像データセットに適用される透視画像のズームを検出するための効果的なマーカになることが可能になる。
【0066】
ARディスプレイ662の使用はまた、医療専門家によって直接見られる患者の実際のビューの位置及び向きによりよく一致するように仮想患者を表示するために、ARディスプレイに位置合わせされて表示されるように透視画像及び画像投影のビューを変更する能力を提供することができる。透視デバイスによって取り込まれた透視画像の向きに関係なく、位置合わせされた透視画像及び画像投影の表示は、医師を支援し、及び/又は患者の位置及び/又は向きの実際のビューに一致するようにARディスプレイ内で配向することができる。例えば、透視画像は、実際に見られている患者の身体と比較して、何らかの他の方法で水平、垂直、又は異方向に反転されてもよい。困難な視野方向は、透視デバイス660の取り込み方向に起因し得る。したがって、位置合わせされた透視画像654及び画像投影656を有する画像は、医療専門家が見るために反転又は再配向(例えば、水平方向に反転され、特定の角度だけ反転され、不揃いの向きを反転させるように移動される)することができ、医療処置をより実行しやすくするか、又は医療専門家が実際のビューで見ているものとより密接に一致させることができる。画像の向きを変更するこの能力は、患者に対して処置を実行するときのより直感的な対話を可能にする。例えば、すべてが後方にある場合、透視画像ガイダンスで医療処置を実行することは非常に困難であり得る。
【0067】
グラフィックインジケータ、仮想ツール、又は仮想標的システムを画像データセット又は画像投影に使用して、ARディスプレイを使用して見たときの人の身体及び画像データセットに対する透視可視なオブジェクト(例えば、針又はカテーテル)の位置及び向きを案内することもできる。同様に、医療処置中に透視可能なオブジェクトを誘導するのを助けるために、グラフィックインジケータを透視画像654上に配置することができる。あるいは、グラフィックインジケータは、透視処置で使用される任意の医療用具618を案内するために使用されてもよい。
【0068】
図8Aは、人806の身体の断面図、位置合わせされた画像データセット820からの画像投影804、位置合わせされた透視画像802、及び透視デバイス814の組み合わせの側面図を示し、医療専門家が人の身体806内の可視アイテム810を透視法で案内することを可能にすることができる。透視可能なオブジェクト810(例えば、針)は、画像データセット820及び/又は人の身体と位置合わせされた画像投影804に対して、透視画像802内で医療専門家によって観察及び誘導され得る。画像投影804は、ARヘッドセット又はARディスプレイにおいて、透視画像802上に重ねられて見える場合がある。あるいは、画像投影804は、画像投影804の上にオーバーレイされた透視画像802を有するように見えてもよく、又は画像投影804は、位置合わせされた画像データセット820内にあるように見えてもよい。先に論じたように、画像データセット又は画像投影上にグラフィックインジケータ、仮想ツール、又は仮想標的システムを設けて、人806の身体及び画像データセット820に対する透視可視なオブジェクト810の位置及び向きを案内することができる。
【0069】
画像データセットと位置合わせされた透視画像802の透明度は、医療専門家が見たいと望む人806の画像投影804又は現実世界の身体の量に応じて変更することができる。透視可視なオブジェクト810又は医療用具はまた、透視可視なオブジェクト810を画像投影804に対して参照するために使用される透視可能なオブジェクト810上の1つ又は複数の光学コードを有することができる。更に、人の身体に対する医療用具の位置及び画像投影804又は画像データセット820は、医療用具上の光学コード及び人808の身体上の1つ又は複数の光学コードを使用して決定することができ、ARディスプレイを通して見たときに医療用具が画像データ及び透視画像に参照されることを可能にする。
【0070】
画像データセット820からの画像投影804は、コンピュータ断層撮影(CT)画像又は磁気共鳴画像(MRI)を使用して取り込まれていてもよい。次いで、画像投影804をライブ透視画像802上に重ねることができる。透視画像802はライブ画像であるが、透視画像は、MRI(磁気共鳴画像)又はCT(コンピュータ断層撮影)画像の3D品質又は軟組織コントラスト分解能を有さない。透視画像802が(例えば、AprilTag)1つ又は複数の光学コードを有する患者の身体を参照し、以前に取得された3D画像データセットの投影804が患者の身体上の画像可視タグを参照した場合、医療専門家は、ARヘッドセット又はARディスプレイを使用して患者806の体内で先端が移動するときに針の仮想端を見ることができる。これは、仮想画像、透視画像、及び患者の実際のビューの貴重な態様を組み合わせる。針、カテーテル先端又は同様の放射線不透過性オブジェクトは、透視下で見ることができるが、医療専門家は、透視画像内の特定の軟組織を見ることができない。したがって、患者の実際のビュー、画像データセット、透視画像、透視デバイス上の光学タグ、画像可視タグ、医療用具、及び医療用具上の光学タグの組み合わせは、医療専門家が画像データセット及び/又は透視画像を参照して医療用具を見ることを可能にすることができる。
【0071】
別の構成では、図8Bに示すように、医療専門家によって医療処置が行われている間に、超音波プローブ又は超音波トランスデューサ862を使用して患者850の身体の一部分の超音波画像860を取得することができる。超音波トランスデューサ862は、移動可能であってもよいし、人の身体に対して移動可能であってもよい。超音波画像860又はソノグラムは、身体組織から跳ね返るか又は反響する音波によって生成される2D、3D又は4D(例えば、時系列を含む)超音波画像であってもよい。エコーは、超音波画像又はソノグラムを作成するためにコンピュータによって処理される。
【0072】
これらの超音波画像860は、医療処置の間に得るために比較的高速かつ安価であってもよいが、超音波画像の解像度、精度、及び局所化は、CTスキャン、MRI、及び他の撮像モダリティなどの他のタイプの撮像ほど高度でなくてもよい。この技術は、超音波画像860を他の画像モダリティと組み合わせて、医療専門家が医療処置を実行するのを支援する能力を提供する。
【0073】
したがって、1つ又は複数の光学コード864は、超音波プローブ又は超音波トランスデューサ862(例えば、外側ハウジング上)に配置又は取り付けられてもよい。超音波トランスデューサ862上の光学コードは、ARヘッドセット内のセンサによって検出することができる。結果として、超音波トランスデューサ862の位置及び向きを検出することができ、超音波トランスデューサ862の位置及び向きに基づいて超音波ビーム及び超音波画像の位置及び向きを決定することができる。更に、患者又は人の身体上の1つ又は複数の光学コード852を検出して、患者850の位置及び向きを決定することができる。患者850及び超音波画像860の位置及び向きを知ることにより、超音波画像860を位置合わせし、ARヘッドセットを使用して患者の正しい位置に投影することが可能になる。ARヘッドセット内の患者に投影された超音波画像860は、部分的に透明(例えば、医療専門家によって設定された透明度値を使用する)であってもよく、又は超音波画像は不透明であってもよい。
【0074】
超音波画像860又はソノグラムはまた、超音波画像860と比較して、より正確で、より明確で、より高い解像度で、より大きく、より良好な組織コントラスト情報を有することができる画像データセット866(例えば、MRI)と組み合わせることができる。前述したように、光学コード864は、画像可視マーカ856に取り付けられてもよい。この画像可視マーカ856は、(詳細に前述したように)患者から以前に取得された画像データセット866を患者の身体と位置合わせすることを可能にすることができる。したがって、医療専門家は、高解像度画像データセット866と組み合わされた超音波画像860を、ARヘッドセット又はARシステムを介して患者の身体の正しい位置に位置合わせされ投影されるようにして見ることができる。例えば、医療専門家が超音波装置を使用して患者の肝臓に対して医療処置を実行している場合、患者の肝臓の限られた部分は、超音波画像を使用していつでも見ることができるが、肝臓全体は、超音波画像と共に取得された画像データセットを使用して見ることができる。超音波画像及び画像データセットは、ARヘッドセットによって見られている3D空間内で共局在化することができる。
【0075】
典型的には、超音波画像860は、患者に対して基準点に固定されない。上述のように光学コードを使用することにより、ARヘッドセットによって見られている3D空間内に基準点が提供される。更に、基準点(すなわち、光学コード)を使用して、超音波画像860を1つ又は複数の画像データセット866と位置合わせすることができる。
【0076】
超音波トランスデューサは、電子的に誘導されるファンビーム又は線形ビームを使用することができる。超音波ビームが機械的又は電子的に移動又は誘導される場合、この誘導は、超音波画像の位置を決定するときに考慮に入れることができる。
【0077】
医療専門家が乳房生検などの医療処置を行おうとする場合、医療専門家は超音波機器を使用することがあるが、超音波画像内の実際の病変を見ることは困難であり得る。しかしながら、病変は、CT、MRI、PET、原子力、又は超音波画像と組み合わせて又は共局在して表示される他の画像データセットで見ることができる。したがって、超音波画像は、処置中に取り込まれた画像(例えば、リアルタイムで)を提供するために使用され得るが、以前に取り込まれた詳細な解剖学的組織は、より高い空間解像度又はコントラスト解像度の画像データセットを使用して同時に参照され得る。
【0078】
トランスデューサは、身体の表面を通過してもよく、又は身体の開口部に挿入されてもよい。これにより、超音波画像及び画像データセットの融合又は合成ビューは、患者の身体の多くの様々な合成ビューを提供することができる。
【0079】
図8Bに記載されるように、リアルタイム画像と患者の身体及び画像データセットとの位置合わせは、リアルタイム画像の位置及び向きが撮像デバイスのトランスデューサ、エミッタ又は検出器から取得され得る任意のタイプのリアルタイム医療画像に適用され得る。超音波画像の代わりに使用できるそのようなリアルタイム撮像の追加の例は、CT透視画像である。
【0080】
図9aは、医療処置中に、画像データセット及び患者の身体に関して医療用具を共局在化するために拡張現実ヘッドセットを使用する例示的な方法のフローチャートである。これら及び他の実施形態では、方法900は、1つ又は複数の非一時的コンピュータ可読媒体に格納された1つ又は複数のコンピュータ可読命令に基づいて、1つ又は複数のプロセッサによって実行されてもよい。
【0081】
方法は、ブロック902のように、ARヘッドセットの光学センサを使用して、人又は患者の身体の一部分及び医療用具の視覚画像データを取り込むことができる。例えば、光学コードを有する可視患者は、医療専門家によって使用されるARヘッドセットのカメラによって登録又は検出される。ブロック904のように、人の身体及び医療用具に関連する1つ又は複数の光学コードを視覚画像データ内で識別することができる。前述したように、人の身体上の光学コードは、画像可視マーカに対して固定位置に配置されてもよい。
【0082】
ブロック906のように、画像データセットは、人の身体上の1つ又は複数の光学コードと、画像データセット内の画像可視マーカの表現を参照したときの光学コードに対する画像可視マーカの固定位置とを使用して、人の身体と位置合わせされ得る。更に、ブロック908のように、医療用具が人の身体及び画像データセットに対して参照されることを可能にするために、人の身体に対する医療用具の位置及び/又は向きは、医療用具及び人の身体上の1つ又は複数の光学コードを使用して決定することができる。これらの複数の画像態様の位置合わせ及び合成は、ARヘッドセットを通して見ることができる。一例では、放射線画像の画像データセットは、ユーザ又は医療専門家のニーズに応じて異なるレベルの不透明度で提示することができる。また、この不透明度は随時調整されてもよい。
【0083】
一構成では、本方法は、ARヘッドセットを使用して患者の身体に対するオブジェクトの位置決め及び向きを案内するために、視覚的インジケータ、仮想誘導システム、仮想ツール、仮想強調表示、又は画像データセット上の注釈を提供することを含むことができる。例えば、仮想ツール又は視覚的インジケータは、(例えば、体内の器官又は塊を強調表示するために)グラフィック強調表示、3D配色、3D手術路又は仮想処置トラック、標的解剖学的組織のグラフィック強調表示、病変のグラフィック強調表示、回避すべき重要な構造のグラフィック強調表示、又は解剖学的構造内又はその周りの3D視覚コード及びグラフィック構造(例えば、線、平面、円柱、体積、境界、又は3D形状)のうちの1つ又は複数を含むことができる。本方法は、開始基準点として光学コードを使用して医療用具の輪郭又は3D輪郭をマッピングすることを更に含むことができる。更に、医療用具の位置及び向きは既知であるため、患者の身体に部分的に挿入された医療用具(例えば、器具又はインプラント)は、依然としてシステムによって監視されて、画像データセット、最終的には人の身体に対する正しい配置及び位置決めを保証することができる。
【0084】
本方法は、利用又は検出された医療用具が医療処置で使用されるように割り当てられているかどうかを判定するためにデータベースに問い合わせることを含むことができる。一例では、ARシステムは、どの患者が特定の医療処置を受けているかを示す医療処置記録を格納することができる。これらの記録は、個々の処置に関連する特定の医療用具(例えば、医療器具、インプラントなど)のリストを含むことができる。医療用具が光学コードを使用して一意に識別される場合、その光学コードはシステムに送信され、医療用具の所定のリスト(それぞれが別個の光学コードに関連付けられ得る)と照合され得る。したがって、識別されたオブジェクトが現在の医療処置に関連付けられていると判定された場合、医療用具が医療処置に関連付けられていることを表すグラフィックインジケータを表示することができる。例えば、可視緑色インジケータ(例えば、チェックマーク又は緑色医療用具強調表示)は、処置の一致を示すことができる。別の例では、処置に関連付けられていると識別された医療用具は、常に強調表示されてもよい(例えば、ARディスプレイ内で緑色インジケータによって囲まれている)。一方、医療用具が現在の処置に関連付けられていないと判定された場合、否定的な視覚的指示も表示され得る。例えば、点滅する赤色「X」又は赤色ハイライト輪郭は、負のインジケータであってもよい。
【0085】
本方法は、拡張現実ディスプレイに、医療用具に関連する医療情報を表示することを含むことができる。医療用具に関連する情報は、医療処置における医療用具の使用を記述する指示情報を含むことができる。
【0086】
患者に対して処置を実行するときに医師及び他の医療専門家が直面する1つの問題は、正しい医療用具が正しい患者の解剖学的組織で使用されていることを確実にすることである。誤った人、誤った付属物、誤った位置、誤ったインプラントが操作されているか、又は誤ったインプラント、誤った器具サイズ、又は誤った医療器具が利用されている場合、悪い医学的結果が結果として生じ得る。本技術は、医療用具に取り付けられた光学コードを利用することによって、改善された医療結果を提供することができる。
【0087】
更なる構成では、本技術は、医療処置のシミュレーションに使用することができる。患者の身体又は患者の解剖学的組織は、シミュレーション構造を使用してシミュレートすることができる。シミュレーション構造は、軟質材料(組織、動脈などを表すプラスチック及びゴム)又は他のシミュレーション材料で覆われたプラスチック又は死体の骨であってもよい。シミュレートされた解剖学的組織は、光学コード及び画像可視コードを含むことができる。次いで、将来処置が実行される患者の画像データセットを、シミュレートされた解剖学的組織と位置合わせすることができる。
【0088】
処置で使用される実際の医療用具はまた、シミュレーションに含まれてもよく、ARヘッドセットの視野内にあってもよい。同様に、医療用具の限られた部分(例えば、トロカールのハンドルのみ)を使用することができ、シミュレートされた患者内の仮想ツールを見ることができる。リアルタイムで取り込まれた透視、超音波、又は他の医療画像を使用する追加のオーバーレイも使用することができる。したがって、医療専門家は、計画されている実際の処置で発生し得る課題、問題、又は他の問題をよりよく理解するために、前述と同じ機能をシミュレーションとして実行することができる。このシミュレーションは、訓練目的にも使用することができる。
【0089】
同様に、医療訓練者又は超音波撮影者は、(上述したように)訓練目的のためにリアルタイムで撮影されている実際の超音波画像と共に、以前に撮影された画像データセット(例えば、MRI又はCT画像)を組み合わせることができる。超音波画像の空間及びコントラストの解像度が低いため、超音波画像に表示されるものを明確に見ることは困難な場合がある。これにより、医療技術者は、より良好な空間解像度及びコントラスト解像度(例えば、MRI、CTなど)を有する画像を使用することによって、超音波観察下でどのような器官、骨、血管及び他の組織が見えるかについて訓練されることが可能になる。
【0090】
図9bは、光学コードを使用して医療処置を検証するための方法を示す。方法は、ブロック920のように、ARヘッドセットの光学センサを使用して、患者の身体の一部分及び医療用具の視覚画像データを検出する動作を含むことができる。
【0091】
ブロック922のように、患者の身体及び医療用具に視認可能に表示された1つ又は複数の光学コードを識別することができる。患者の身体上の1つ又は複数の光学コードは、(前述のように)画像可視マーカに対して固定位置にある。ブロック924のように、患者の身体上の1つ又は複数の光学コードを参照して画像可視マーカの既知の固定位置を使用して、画像データセットを患者の身体と位置合わせしてもよい。
【0092】
ブロック926のように、光学コード及び画像可視マーカは、画像データセットの表面と位置合わせする患者の身体の表面の正しい位置合わせに基づいて、正しい患者が医療処置中であることを確認するために使用されてもよい。患者の身体の表面及び画像データセットの表面は、多角形メッシュ、スプライン、又は表面の別の数学的モデルを使用して作成することができる。表面(例えば、メッシュ)が類似又は一致する場合、正しい患者が認識される。これは、すべての個々の身体が固有であるため、身体の「指紋」の輪郭タイプと類推することができる。更に、医療処置における人又は患者の識別情報は、1つ又は複数の光学コードを使用して確認することもできる。この検証の追加の機能又は態様は、ブロック928のように、1つ又は複数の光学コードを使用して、身体の正しい部分及び正しい医療用具が医療処置で使用されていることを確認することである。
【0093】
更なる構成では、画像データを位置合わせする間に使用されるのと同じ光学コードを使用して、画像データセットを自動的に取得し、ARヘッドセットによって取得された画像データが、時間がかかり、面倒で、不正確な画像データの手動検索なしに、ARヘッドセットを通して見ている患者と一致することを保証することができる。
【0094】
図10は、ARヘッドセットを通して見たときに、光学コードを使用して医療用具を画像データセット及び患者の身体に参照するために使用することができる例示的なシステムを示す。システム1000は、カメラデバイス1002、拡張現実システム1020、ディスプレイデバイス1030、及び複数のデータベースを含むことができる。システム1000はまた、共に通信可能に結合することができる、1つ又は複数のプロセッサ、メモリ、ファイルシステム、通信ユニット、オペレーティングシステム、及びユーザインタフェースを含むことができる。いくつかの実施形態では、システム1000は、例えば、デスクトップコンピュータ、サーバコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、組み込みコンピュータ、ARヘッドセット、VRヘッドセットなどであってもよい。
【0095】
カメラデバイス1002は、可視データを取り込むように構成することができる。一例では、カメラデバイス1002は、医療処置中に可視データを取り込むために使用され得る。カメラデバイス1002によって取り込まれた可視データは、人の身体(又は身体の一部分)及び1つ又は複数の医療用具(例えば、医療器具、インプラントなど)の画像を含むことができる。カメラデバイス1002は、取り込まれた光学データを拡張現実システム1020に送信することができる。システムはまた、表面センサ、光学センサ、赤外線センサ、Lidarセンサ、又はARシステムによって検出された実際のビュー又は実際のビューのマッピングを検出及び支援するための他のセンサを含むことができる。任意のオブジェクト又は表面を、手術室、患者、部屋、物理的形状、医療用具、又は任意の他の物理的な周囲又はオブジェクトについて検出することができる。
【0096】
拡張現実システム1020は、画像処理エンジン1022、基準位置合わせモジュール1024、画像生成モジュール1026、及び拡張表示バッファ1028を含むことができる。例えば、画像処理エンジン1022は、カメラデバイス1002から取り込まれた可視画像データを受信し、可視画像データを分析して、可視画像データ内の1つ又は複数の光学コード、オブジェクト、又は人を識別する。複数の異なる技術を使用して、限定はしないが、特徴抽出、セグメント化、及び/又はオブジェクト検出を含む可視画像データ内の医療用具を識別することができる。
【0097】
画像処理エンジン1022はまた、画像内の患者及び可視画像データ内の医療用具の両方の身体に貼り付けられ得る光学コードを識別する。画像処理エンジン1022が光学コード(例えば、AprilTag、バーコード、QRコードなど)を識別すると、画像処理ユニット1022は光学コードデータベース1046にアクセスして、光学コードに関連する情報を取り出す。いくつかの例では、光学コードは、特定の患者、特定の処置、又は特定のオブジェクトに関連付けられる。光学コードは、医療用具、身体又は透視デバイスの位置及び向きをより正確に識別するために使用することができる。
【0098】
いくつかの実施形態では、基準及び位置合わせモジュール1024は、画像処理エンジン1022と係合して、任意の識別された医療用具、人の身体、及び互いに対する画像データセットを参照する。更に、基準及び位置合わせモジュール1024は、医療用具データベース1044内の光学コード情報を使用して、医療用具のサイズ及び形状を適切に識別することができる。医療用具及び患者の身体の位置及び向きが互いに対して決定されると、基準位置合わせコントローラ1026は、放射線画像データ1042内の任意の関連する放射線画像を患者の両方の身体と位置合わせすることができる。いくつかの例では、放射線画像は、患者記録データベース1040内の患者記録に基づいて放射線画像データベース1042から受信される。
【0099】
画像生成モジュール1026は、患者の身体又は医療用具の上部に積層されたディスプレイデバイス1030に表示するために、グラフィックデータ、仮想ツール、3D手術路、腫瘤若しくは器官の3D配色若しくは陰影付け、又は腫瘤、器官若しくは標的の強調表示を生成することができる。いくつかの例では、この情報は拡張表示バッファ1028にロードすることができる。次いで、この情報は、ユーザに表示するためにディスプレイデバイス1030に送信されてもよい。
【0100】
一例では、患者データベース1040は、複数の患者レコードを含む。各患者記録は、患者に対して実行される1つ又は複数の医療処置を含むことができる。患者記録はまた、医療処置のためのメモ、指示又は計画を含むことができる。患者レコードはまた、放射線画像データベース1042内の1つ又は複数の放射線画像に関連付けることができる。いくつかの例では、放射線画像は、画像可視マーカに対する光学コードの固定位置を使用して、基準及び位置合わせモジュール1026が画像データセットを患者の身体と適切に位置合わせすることを可能にする画像可視マーカの表現を含む。いくつかの例では、医療用具データ1044は、医療器具、インプラント、及び他のオブジェクトを含む医療用具を記述する情報を含む。
【0101】
いくつかの実施形態では、拡張現実システムは、サーバ上に配置されてもよく、ARヘッドセット又はディスプレイデバイス1030に関連して機能することができる任意のコンピュータシステムであってもよい。いくつかの実施形態では、サーバは、画像データをARヘッドセットに伝達するために、又はARヘッドセットからデータを受信するために、コンピュータネットワークを介してARヘッドセットと通信するように構成され得る。
【0102】
図11は、本技術のモジュールが実行され得るコンピューティングデバイス1110を図示する。本技術の高レベルの例を実行することができるコンピューティングデバイス1110が示されている。コンピューティングデバイス1110は、メモリデバイス1112と通信する1つ又は複数のプロセッサ1112を含み得る。コンピューティングデバイスは、コンピューティングデバイス内の構成要素のためのローカル通信インタフェース1118を含み得る。例えば、ローカル通信インタフェースは、ローカルデータバス及び/又は所望に応じて任意の関連するアドレス若しくは制御バスであってもよい。
【0103】
メモリデバイス1112は、プロセッサ(複数可)1112によって実行可能なモジュール1124、及びモジュール1124のためのデータを含み得る。モジュール1124は、先に記述された機能を実行し得る。データストア1122もまた、プロセッサ(複数可)1112によって実行可能であるオペレーティングシステムと共に、モジュール1124及び他のアプリケーションに関連するデータを記憶するためにメモリデバイス1112内に位置付けられてもよい。
【0104】
他のアプリケーションもまた、メモリデバイス1112に記憶され、プロセッサ(複数可)1112によって実行可能であってもよい。本説明において考察される構成要素又はモジュールは、ハイブリッドの方法を使用してコンパイル、解釈又は実行される高水準プログラミング言語を使用してソフトウェアの形で実装され得る。
【0105】
コンピューティング装置はまた、コンピューティング装置によって使用可能であるI/O(入力/出力)装置1114へのアクセスを有し得る。I/Oデバイスの一例は、コンピューティングデバイスからの出力を表示できるディスプレイ画面である。所望に応じて、他の既知なI/Oデバイスが、コンピューティングデバイスと共に使用され得る。ネットワーキング装置1116及び類似の通信装置が、コンピューティングデバイスに含まれてもよい。ネットワーキング装置1116は、インターネット、LAN、WAN、又は他のコンピューティングネットワークに接続する有線又は無線ネットワーキング装置であってよい。
【0106】
メモリデバイス1112に記憶されているとして示されている構成要素又はモジュールは、プロセッサ(複数可)1112によって実行されてもよい。「実行可能」という用語は、プロセッサ1112によって実行され得る形式のプログラムファイルを意味し得る。例えば、高水準言語のプログラムは、メモリデバイス1112のランダムアクセス部分にロードされプロセッサ1112によって実行され得るフォーマットで機械コードにコンパイルされ得、又はソースコードは、別の実行可能プログラムによってロードされ、プロセッサによって実行されるべきメモリのランダムアクセス部分に命令を生成するように解釈され得る。実行可能プログラムは、メモリデバイス1112の任意の部分又は構成要素に記憶され得る。例えば、メモリデバイス1112は、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、フラッシュメモリ、ソリッドステートドライブ、メモリカード、ハードドライブ、光ディスク、フロッピーディスク、磁気テープ、又は任意の他のメモリ構成要素であり得る。
【0107】
プロセッサ1112は、複数のプロセッサを表してもよく、メモリ1112は、処理回路と並列に動作する複数のメモリユニットを表してもよい。これは、システム内の処理及びデータのために並列処理チャネルを提供し得る。ローカルインタフェース1118は、複数のプロセッサのいずれかと複数のメモリとの間の通信を容易にするためのネットワークとして使用されてもよい。ローカルインタフェース1118は、負荷分散、大量データ転送、及び類似のシステムなどの通信を連携するために設計された追加のシステムを使用してもよい。
【0108】
本明細書に記載されている機能ユニットのいくつかは、それらの実施の独立性をより特に強調するために、モジュールとしてラベル付けされている。例えば、モジュールは、カスタムVLSI回路又はゲートアレイ、論理チップなどの既製の半導体、トランジスタ、又は他のディスクリート部品を含むハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジック装置等のようなプログラマブルハードウェア装置に実装されてもよい。
【0109】
モジュールはまた、様々な種類のプロセッサによる実行のためのソフトウェアに実装されてもよい。実行可能コードの識別されたモジュールは、例えば、オブジェクト、手順、又は機能として編成され得るコンピュータ命令の1つ以上のブロックを含んでもよい。それにもかかわらず、識別されたモジュールの実行ファイルは、物理的に一緒に位置する必要はなく、モジュールを構成し、論理的に一緒に結合されたときにモジュールについて述べられた目的を達成する異なる場所に記憶された異種の命令を含んでもよい。
【0110】
実際、実行可能コードのモジュールは、単一の命令、又は多くの命令であってもよく、異なるプログラムの間で、及びいくつかのメモリデバイスにまたがって、いくつかの異なるコードセグメントにわたって分散することさえあってもよい。同様に、動作データは、本明細書ではモジュール内で識別され及び例示され得、任意の適切な形式で具現化され、任意の適切なタイプのデータ構造内に編成されてもよい。動作データは、単一のデータセットとして収集されてもよく、又は異なる記憶装置にわたることを含めて異なる場所にわたって分散されてもよい。モジュールは、所望の機能を行うように動作可能なエージェントを含めて、受動的であっても又は能動的であってもよい。
【0111】
本明細書に記載の技術は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶するための任意の技術で実装された揮発性及び不揮発性、取り外し可能及び非取り外し可能媒体を含むコンピュータ可読記憶媒体に記憶されてもよい。コンピュータ可読記憶媒体としては、RAM、ROM、EEPROM、フラッシュメモリ若しくは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)若しくは他の光学記憶デバイス、磁気カセット、磁気テープ、磁気ディスク記憶デバイス若しくは他の磁気記憶デバイス、又は所望の情報及び記載された技術を記憶するために使用され得る任意の他のコンピュータ記憶媒体が挙げられるが、これらに限定されない。
【0112】
本明細書に記載の装置はまた、装置が他の装置と通信することを可能にする通信接続又はネットワーキング装置及びネットワーキング接続を含むことができる。通信接続は、通信媒体の一例である。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、及び搬送波又は他の移送機構などの変調データ信号内の他のデータを具現化し、任意の情報配信媒体を含む。「変調データ信号」は、信号内の情報を符号化するような様態で設定又は変更されたその特性のうちの1つ又は複数を有する信号を意味する。限定ではなく例として、通信媒体には、有線ネットワーク又は直接配線接続などの有線媒体、及び音響、無線周波数、赤外線などの無線媒体並びに他の無線媒体が含まれる。本明細書で使用されるコンピュータ可読媒体という用語は、通信媒体を含む。
【0113】
図面に図示された例を参照し、本明細書では同じことを説明するために特定言語を使用した。それでもなお、それにより本技術の範囲の限定が意図されない、と理解されるであろう。本明細書に示されている特徴の変更及び更なる修正、並びに本開示を所有する当業者が想到するであろう、本明細書に示されている例の更なる適用は、説明の範囲内であると考えられるべきである。
【0114】
更に、説明された特徴、構造、又は特性は、1つ以上の実施例において、任意の好適な様態で組み合されてもよい。先行する説明において、説明される技術の実施例の完全な理解を提供するために、種々の構成の実施例等の多数の具体的な詳細を提供した。しかし、当業者は、本技術が、具体的な詳細のうち1つ又は複数を伴わずに、又は他の方法、構成要素、装置等を伴って実践され得ることを認識するであろう。その他の場合、本技術の態様を不明瞭にすることを回避するために、周知の構造又は動作は、詳細には図示又は説明されていない。
【0115】
主題は、構造的特徴及び/又は動作に特有の言語で説明されてきたが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴及び動作に限定されないことを理解されたい。むしろ、上記の特定の特徴及び作用は、特許請求の範囲を実施する例示的な形態として開示されている。記載された技術の精神及び範囲から逸脱することなく、多数の改変及び代替の構成が考案され得る。
図1
図2
図3
図4
図5
図6
図7
図8A
図8B
図9a
図9b
図10
図11
【国際調査報告】