特開 2024-24126 医療処置のための拡張現実表示とタグ付け

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024024126

(43)【公開日】2024-02-21

(54)【発明の名称】医療処置のための拡張現実表示とタグ付け

(51)【国際特許分類】

   A61B 34/10 20160101AFI20240214BHJP

【ＦＩ】

A61B34/10

【審査請求】有

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2024003332

(22)【出願日】2024-01-12

(62)【分割の表示】P 2022074245の分割

【原出願日】2018-02-21

(31)【優先権主張番号】15/438,715

(32)【優先日】2017-02-21

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】519300183

【氏名又は名称】ノバラッド コーポレーション

(74)【代理人】

【識別番号】110003018

【氏名又は名称】弁理士法人プロテクトスタンス

(72)【発明者】

【氏名】ウェンデル アーレン ギビー

(72)【発明者】

【氏名】スティーブン トッド クヴェトコ

(57)【要約】

【課題】 医療処置で使用される医療画像を拡張する技術を説明する。
【解決手段】 方法は、医療処置中に仮想画像カメラによって撮影された患者の解剖学的組織の画像を受信する操作を含む。その後、患者の解剖学的組織と関連する取得された医療画像を検索することができる。別の操作では取得された医療画像を患者の解剖学的組織に関連づけることができる。取得された医療画像の１つの層にある位置と関連する拡張タグを検索することができる。さらなる操作では、２Ｄ、３Ｄ、またはホログラムの形式で、患者の解剖学的組織へのオーバーレイとして単一のグラフィックビューを形成するために、拡張現実ヘッドセットを使用して、取得された医療画像と拡張タグを投射することができる。
【選択図】 図１Ａ

【特許請求の範囲】

【請求項1】

プロセッサにより画像処理を行なう画像処理方法であって、前記プロセッサに、
患者の解剖学的組織を１つ以上含む取得された医療画像を取得させることと、
取得した前記医療画像を、拡張現実ヘッドセットを介して見ることができる患者の解剖学的組織の一部と位置合わせさせることと、
取得された前記医療画像の位置に関連付けられ、その位置で見つかった取得された前記医療画像の少なくとも１つの解剖学的組織を特定する拡張タグを検索させ、さらに前記患者の解剖学的組織を通して手術経路を示すために、連携された複数の拡張タグを検索させることと、
前拡張現実ヘッドセットを使用して、取得した前記医療画像と前記拡張タグとを投影し、患者の解剖学的組織にオーバーレイとしてグラフィックビューを形成させることと、
を備える画像処理方法。

【請求項2】

前記拡張タグは前記取得された医療画像の三次元（３Ｄ）構造に適合し、行われる医療処置と関連する解剖学的組織を特定する請求項１に記載の画像処理方法。

【請求項3】

前記取得された医療画像の複数の層に複数の拡張タグを提供させ、前記複数の拡張タグを関連づけさせ、外科医をガイドするためタググループを形成させる請求項１に記載の画像処理方法。

【請求項4】

さらに、
前記取得された医療画像の複数の層の１つにそれぞれ複数の二次元（２Ｄ）拡張タグを作成し、
前記複数の２Ｄ拡張タグを連携して前記取得された医療画像の複数の層を通って伸びる三次元（３Ｄ）の拡張タグを形成する、ことを備える、請求項１に記載の画像処理方法。

【請求項5】

前記拡張タグを検索させることはさらに、
前記取得された医療画像の独立した層の解剖学的組織を表すために、連携された複数の拡張タグを検索させることを含む請求項１に記載の画像処理方法。

【請求項6】

さらに、
ＭＲＩ、ＣＴスキャン、Ｘ線、超音波、もしくは人体の内部写真画像を使用して、前記取得された医療画像を撮影させる、ことを備える請求項１に記載の画像処理方法。

【請求項7】

指令を有し、その指令が実行されるとプロセッサに患者の医療画像を拡張させる、読み取り可能な記憶媒体であって、
患者の解剖学的組織を１つ以上含む取得された医療画像を取得させることと、
拡張現実（ＡＲ）ヘッドセットを介して見ることができる患者の解剖学上の患者マーカを識別することであって、該患者マーカは、患者を識別する情報、医療処置の対象である患者解剖学を識別する情報、患者方向マーカ、又は画像反転防止タグを含む、識別することと、
前記患者マーカに基づいて、患者の解剖学的組織に関連する取得された医療画像を検索することであって、取得された前記医療画像は、前記患者の解剖学的組織の１つ又は複数の解剖学的組織を取得した画像を含む、検索することと、
前記患者方向マーカに基づいて、前記拡張現実ヘッドセットを介して見ることができる前記取得された医療画像を前記患者の解剖学的組織に位置合わせすることと、
前記患者マーカに関連付けられ、取得された前記医療画像の位置に関連付けられ、その位置で見つかった取得された前記医療画像の少なくとも１つの解剖学的組織を特定する、拡張タグを検索し、さらに前記患者の解剖学的組織を通して手術経路を示すために、連携された複数の拡張タグを検索させることと、
前記ＡＲヘッドセットを使用して、取得された前記医療画像及び前記拡張タグを投影し、患者の解剖学的組織にオーバーレイとしてグラフィックビューを形成させることと、
を前記プロセッサに実行させる記憶媒体。

【請求項8】

さらに、
前記取得された医療画像の方向を患者の解剖学的組織上の患者方位マーカと一致させるため、前記患者方位マーカを取得された医療画像内の画像方位マーカに一致させる、
ことを前記プロセッサに実行させる請求項７に記載の記憶媒体。

【請求項9】

さらに、
患者の身分を検索し、視覚的にスキャン可能なシンボルと関連する取得された医療画像の検索を可能にするために、患者に取り付けた前記視覚的にスキャン可能なシンボルを使用すること、
を前記プロセッサに実行させる請求項７に記載の記憶媒体。

【請求項10】

さらに、
前記取得された医療画像が前記患者の解剖学的組織に対して反転しないようにするために、画像反転防止タグを使用すること、
を前記プロセッサに実行させる請求項７に記載の記憶媒体。

【請求項11】

さらに、
内視鏡ビデオフィードと、取得した前記医療画像および前記拡張タグとを組み合わせ、それらを前記拡張現実ヘッドセットのレンズを通して医療従事者が見ることのできる患者の解剖学的組織にオーバーレイすることと、
内視鏡ビデオフィード内の３Ｄ構造のサイズと形状を識別し、且つ内視鏡が患者の解剖学的組織内のどこに位置するかを推定するために、前記拡張タグを使用することと、
を前記プロセッサに実行させる請求項７に記載の記憶媒体。

【請求項12】

医療処置中に患者の解剖学的組織を見るために使用される拡張現実ヘッドセットと、
拡張現実感ヘッドセット内のプロセッサと、を備え、
前記プロセッサは、
前記拡張現実ヘッドセットを介して前記患者の解剖学的組織を１つ以上含む取得された医療画像を取得し、
前記医療画像に基づいて前記患者の解剖学的組織の形態測定値を取得し、
事前に測定された形態測定値を検索するために、前記拡張現実ヘッドセットを使用して前記患者の解剖学的組織を識別する情報を含む患者マーカを識別し、
前記拡張現実ヘッドセットを使用して識別された前記患者マーカを使用して、前記患者の解剖学組織に関連する事前に測定された形態測定値を検索し、
前記患者の解剖学的組織の形態測定値が事前に測定された前記形態測定値と一致するかどうかを判断し、
前記患者マーカ及び形態測定値の一致によって定義される患者の解剖学的組織に関連する取得された医療画像を検索し、
前記拡張現実ヘッドセット及び前記形態測定値を用いて、取得された前記医療画像を拡張現実ヘッドセットを介して見ることができる患者の解剖学的組織の一部に位置合わせし、
取得された前記医療画像の位置に関連付けられ、その位置で見つかった取得された前記医療画像の少なくとも１つの解剖学的組織を特定する拡張タグを検索させ、さらに前記患者の解剖学的組織を通して手術経路を示すために、連携された複数の拡張タグを検索させ及び、
前記拡張現実ヘッドセットを使用して、取得された前記医療画像と、前記拡張タグとを投影し、患者の解剖学的組織にオーバーレイとしてグラフィックビューを形成する、
システム。

【請求項13】

前記形態測定値は、四肢または前記患者の解剖学的組織の形状、幅、高さ、深度および輪郭である、請求項１２に記載のシステム。

【請求項14】

前記取得された医療画像は、ＭＲＩ、ＣＴスキャン、Ｘ線、超音波、または人体の内部写真画像である、請求項１２に記載のシステム。

【請求項15】

前記取得された医療画像は、前記拡張現実ヘッドセットを使用して、半透明の光学イメージング領域に投射された取得された医療画像と共に表示される、請求項１２に記載のシステム。

【請求項16】

さらに、
前記取得された医療画像を前記患者の解剖学的組織と正しく方向を合わせることができるように、前記患者方位マーカを取得された医療画像内の前記画像方位タグを一致させる、
ことを備える請求項１２に記載のシステム。

【請求項17】

前記患者マーカは、前記患者の身分を検索し且つ前記取得された医療画像を検索するために使用する、１Ｄ（一次元）バーコード、２Ｄ（二次元）バーコード、写真、カスタム生成幾何学的形状、もしくはＲＦＩＤを少なくとも１つ含んでいる、スキャン可能なシンボルである、請求項１２に記載のシステム。

【請求項18】

前記プロセッサは、
前記画像反転タグの特定と、
前記取得された医療画像が患者の解剖学的組織に対して反転しないようにするために前記反転防止タグを使用した前記取得された医療画像と前記患者の解剖学的組織の整列とを行う
請求項１２に記載のシステム。

【請求項19】

プロセッサに、
患者の解剖学的組織を１つ以上含む取得された医療画像を取得することと、
前記患者の解剖学的組織の１つ又は複数の解剖学的組織を表す取得された医療画像を検索すること、
１つ又は複数の解剖学的組織を表す取得された前記医療画像を、拡張現実ヘッドセットを介して見ることができる患者の解剖学的組織の対応する部分と位置合わせすること、
取得された前記医療画像の位置に関連付けられ、その位置で見つかった取得された前記医療画像の少なくとも１つの解剖学的組織を特定する拡張タグを検索することであって、複数の前記拡張タグは、医療処置中にユーザを誘導するため、１つの拡張タグから別の拡張タグへのガイドを提供するために、連携され順序付けられてたグループを形成する、検索すること、及び、
前記拡張現実ヘッドセットを使用して、取得された前記医療画像及び前記拡張タグを投影して、前記患者の解剖学的組織に対するオーバーレイとしてグラフィックビューを形成すること、
を実行させるためのプログラム。

【請求項20】

複数の前記拡張タグが、取得された医療画像の複数のレイヤに設けられ、複数の前記拡張タグは、医療処置中に外科医を誘導するための前記グループを形成するように関連付けられる、請求項１９に記載のプログラム。

【請求項21】

複数の前記拡張タグは、前記取得された医療画像のレイヤを横断する１つの解剖学的組織を表すように連携されている、請求項２０に記載のプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

複合または拡張現実とは、物理的世界と仮想コンピューティングの世界からの画像を複合現実世界に結合する、コンピューティング技術の振興分野である。複合現実は、以前は物理的現実のみまたは仮想現実のみとみなされていた、幅広い技術的組み合わせを含む。複合現実には、物理的および仮想世界からの人物、場所、オブジェクトが混合された環境で融合する。複合現実体験は、既存の商用オペレーティングシステムまたはカスタムのオペレーティングシステムを通じ、互換性のあるＶＲ（仮想現実）またはＡＲ（拡張現実）ヘッドセットを使用により可能となる。

【0002】

拡張現実（ＡＲ）は、物理的な現実世界の環境のライブの直接的なビューまたは間接的なビューが、音声、ビデオ、グラフィックス、さらには全地球測位データなどのコンピュータ生成の感覚入力によって拡張または補完される複合現実の一例である。その結果、テクノロジーは視聴者の現在の現実認識を高めることができる。従来、現実世界の場所が表示されており、環境要素との意味的文脈において、拡張が実行される。高度なＡＲテクノロジー（例．コンピュータビジョンとオブジェクト認識の追加）の助けを借りて、ユーザの周囲の現実世界に関する情報は、インタラクティブになり、デジタル操作が可能である。環境とそのオブジェクトに関する情報を現実世界にオーバーレイする。現実世界にオーバーレイされ田中この情報は仮想画像、または現実の情報である。拡張現実は、デジタル世界のコンポーネントを人が知覚する現実世界にもたらす。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国公開公報２０１４／０２７５７６０号公報

【発明の概要】

【課題を解決するための手段】

【0004】

本技術は、複合現実または拡張現実装置を使用して、外科的、侵襲的放射線、心臓または他の医療処置を改善するシステムおよび方法を提供する。拡張現実（ＡＲ）ヘッドセットなどの拡張現実装置は、一部が透明のレンズまたはスクリーンに投射された画像を使用して、取得された医療画像または仮想画像を現実世界の場面（例．現実世界でユーザが見ているもの）にオーバーレイするために使用される。外科的処置の場合は、既に取得された医療画像は、表示可能な患者の解剖学的組織のオーバーレイ画像として使用される。取得された医療画像は、ＭＲＩ（磁気共鳴画像法）、蛍光透視法、ＣＴ（コンピュータ断層撮影）、超音波検査、核医学、コンピュータ生成画像（ＣＧＩ）、写真、ビデオまたは他の種類の取得されたまたは合成された医療画像である。合成された医療画像の例は、手術をガイドするための患者の解剖学的組織上の解剖学的アトラスオーバーレイである。取得された医療画像は、治療されている患者の解剖学的組織の適切な部分に取得された医療画像を向ける位置にあるＡＲヘッドセットのレンズに投射することができる。

【0005】

取得された医療画像のオーバーレイは、より正確に患者の解剖学的組織に治療または手術を行う外科医、医師、または他の医療専門家を支援する。患者に手術を行っている医師や他の医療専門家が直面する１つの課題は、正しい患者の解剖学的組織が手術されているのを保証することである。間違った人、間違った四肢、または間違った場所に手術されている場合、結果が悪い可能性がある。本テクノロジーは、患者の解剖学的組織をより正確に特定する拡張現実タグを提供する。患者に取り付けた患者識別子（例．物理的識別子）もまた撮影され、患者識別子を使用して、患者の処置のために関連する取得された医療画像および拡張現実タグを読み込む。例は、バーコード、ＱＲコード（登録商標）、患者ＩＤ、物理的タグなどである。形態測定データもまた現実世界で患者の解剖学的組織の表示から取得でき、その後、形態測定データを治療する四肢または解剖学的組織の格納された形態測定データと比較する。形態測定データが一致すると、続いて治療に進む。さもなければ、形態測定データに基づきエラーがフラグ付けされる。これらの方法（例．患者識別子または形態測定データ）のいずれかを使用して、患者、および治療する解剖学的組織の領域を特定する。

【図面の簡単な説明】

【0006】

【図1A】取得された医療画像で医療処置を拡大する、拡大現実ヘッドセットの使用例である。

【図1B】脾臓用の三次元拡大タグの説明である。

【図1C】複数の拡張タグの使用例の説明である。

【図1D】自動的に三次元拡張タグに変換される二次元拡張タグの説明である。

【図1E】腎臓用二次元拡張タグを図示する。

【図1F】腎臓用三次元拡張タグを図示する。

【図1G】腫瘍用三次元拡張タグを図示する。

【図1H】画像化された皮膚で覆われた、腫瘍用三次元拡張タグを図示する。

【図1I】結腸内の解剖学的組織用の三次元拡張タグを図示する。

【図1J】結腸内の解剖学的組織用の三次元拡張タグを図示する。

【図2A】虫垂用オーバーレイとして使用される、取得された医療画像内の拡張タグを図示する。

【図2B】虫垂用オーバーレイとして使用される、取得された医療画像内の拡張タグを図示する。

【図2C】虫垂用オーバーレイとして使用される、取得された医療画像内の拡張タグを図示する。

【図2D】虫垂用オーバーレイとして使用される、取得された医療画像内の拡張タグを図示する。

【図3A】患者の頭部にオーバーレイされ、患者の頸部の断面を描写する、取得された医療画像を図示する。

【図3B】患者の頭部にオーバーレイされる取得された医療画像、および拡張現実ヘッドセットを制御するために手の身振りが使用されることを図示する。

【図4】物理的な患者識別子を使用して医療処置を拡張する、拡張現実ヘッドセットの使用例の説明である。

【図5】データストレージから引いたデータを使用する医療処置のビューを拡張するためのシステム例を説明するブロック図である。

【図6】医療処置のビューを拡大する方法を説明するフローチャートである。

【図7】医療処置のビューを拡大する方法を説明するフローチャートである。

【図8】現在のテクノロジーで採用されるコンピューティング装置の例示を提供するブロック図である。

【発明を実施するための形態】

【0007】

図１Ａは、ＡＲヘッドセット１１２を使用している医師または医療専門家１１０を図示する。一例では、ＡＲヘッドセット１１２により医療専門家は拡張現実画像または取得された医療画像を半透明のレンズに投射するレンズを通して見ることができる。より詳しい例として、ＭＲＩ画像を手術が行われる領域にオーバーレイする。オーバーレイされた画像は、半透明のレンズまたは半透明の光学イメージング領域を通じて見ている現実世界のシーンとのビューの合成をもたらす。画像をオーバーレイするこの機能の側面は、患者が横たわる空間の文脈的マップを作成するために拡張現実ヘッドセット内に存在し、手術前に取得された画像のホログラムなどの３Ｄ患者データを現実世界の患者の解剖学的組織への融合を可能にするカメラである。

【0008】

拡張医療画像で医療処置または手術を拡張するために、医師または他の医療専門家は手術領域１０２にＡＲヘッドセット１１２を設置する。ＡＲヘッドセット１１２と関連するプロセッサはＡＲヘッドセット１１２の視覚画像カメラを使用して患者の解剖学的組織１１６の画像を受信する。続いて患者の解剖学的組織と関連する取得された医療画像１１４を検索する。この取得された医療画像は、無線接続を介してＡＲヘッドセットのプロセッサとメモリに供給されるＭＲＩまたはＣＴ画像である。

【0009】

その後、取得された医療画像１１４を、ＡＲヘッドセット１１２によって現実世界の場面または空間で特定されている患者の解剖学的組織に関連付け、またはアンカリングする。アンカリングは、取得された医療画像または他の関連する仮想画像（拡張制御を含む）を、ＡＲヘッドセット１１２によって登録されている視認可能な現実世界内の固定点へと固定するまたはアンカリングすることを含む。後に、医師が視点位置を動かす場合、取得された医療画像１１４は患者の解剖学的組織に対して正しいスポットに固定されたまま残り、医師の視界で動き回らない。

【0010】

また、取得された医療画像１１４または放射線画像の１つの層の場所と関連する拡張タグ１１８も検索することができる。拡張タグは、行われる医療処置と関連する解剖学的構造を特定するために、取得された医療画像１１４または放射線画像の三次元（３Ｄ）構造に適合するように構成される。拡張タグは、円、正方形、三角形などの単純な幾何学的形状、または問題の解剖学的組織の輪郭などの二次元または三次元のより複雑な形状である。

【0011】

図１Ｂは、拡張タグが取得された医療画像に事前にラベルを付けるために使用することを図示する。医師が患者の脾臓１７０の手術を行う場合、医師は病状（例．脾臓摘出または他の脾臓の状態）の診断中に、患者の脾臓に拡張タグを適用する。拡張タグは、医師によって緩くマークされた患者の解剖学的組織の一部を覆う。続いて拡張プロセッサは解剖学的組織の端部を検出し、または機械パターン認識を使用して拡張タグが解剖学的構造に適合するように、拡張タグを拡張または収縮する。後に、医療処置、診断または手術が行われる際に、医師は解剖学的構造（例．脾臓）にある拡張タグを見て、治療のために構造の明確な特定をより確実にすることができる。

【0012】

図１Ｃは、拡張タグまたは取得された医療画像の複数の解剖学的組織層に提供されることを図示する。例えば、拡張タグは、取得された医療画像の各層の異なる構造と、患者の解剖学的組織のこれらの別々の層で起こる様々な処置を特定することができる。さらに、外科医をガイドするタググループ１３０ａ－ｅを形成するために、拡張タグを関連付ける。より詳しい例として、手術が必要な病気の解剖学的構造のグループがあり、これらの構造は順序付けられたグループで一緒に連携でき、外科医を１つの拡張タグから次へとガイドことができる。これにより、手術の必要がある解剖学的組織を見逃し、また重要な処置をスキップすること等がなくなる。同様に、外科医が通常ではない順序を記憶するのを支援するために、選択された順序で異なる構造に対処するために順序を提供する。

【0013】

別の例として、拡張タグは、繊細で、構造が破損されると問題を引き起こす動脈１２０などの構造を避ける安全な経路を通して外科医をガイドする。このようにして、外科医は手術が始まる前に、手術のマッピングされた経路を持つことができる。一緒に連携された複数の拡張タグを使用し、患者の解剖学的組織を通る手術経路を示す。例えば、タグを使用し、外科医が複数の層を通過する時に切断を計画している箇所を外科医に示す。拡張タグはまた外科医に、横方向に切断する箇所、内視鏡と共に移動する箇所を示す。これにより、拡張タグと取得された医療画像を使用する際の手術中、外科医はあらかじめ手術のルートをより正確に計画することができる。これにより、手術のリスクを低減し、全体的な患者結果を改善する。

【0014】

いくつかの場合において、取得された医療画像および放射線画像を、横断する１つの解剖学的構造を表すために複数の拡張タグを合わせて連携する。したがって、各タグはその解剖学的構造を別の層で特定する。

【0015】

図１Ａに戻り、取得された医療画像１１４および拡張タグ１１８をその後、拡張現実ヘッドセット１１２のレンズに投射され、ＡＲヘッドセット１１２を装着している医療専門家向けに単一のグラフィックビューを形成する。その結果、取得された医療画像１１４および拡張タグ１１８はあたかも画像が患者の解剖学的組織に直接オーバーレイされているように見える。

【0016】

代替の構成では、拡張タグには拡張タグから離れて伸びる幾何学的形状のタグ拡張子１２２（図１Ｂ）を有する。幾何学的形状の例は、旗、多角形、長方形の箱型、ピラミッド、または外科医に情報を表示する他の拡張子である。タグ拡張子に表示される情報は解剖学的組織に行われる処置を特定し、患者を特定し、既存の患者リスクを特定し、薬物アレルギーを特定し、患者の解剖学的組織に直接関連していないが、患者または医療処置に関連している既知の合併症、または他のデータを特定する。

【0017】

今、図１Ｄを参照し、拡張タグの１つのさらなる構成において、医師は、取得された医療画像の複数の１つにそれぞれ位置する１つ以上の２Ｄ（二次元）の拡張タグ１５０ａ－ｂを作成する。複数の２Ｄ（二次元）の拡張タグは、アプリケーションによって自動的に結合されて、取得された医療画像の複数の層を通って伸びる３Ｄ拡張タグまたは３Ｄ形状を形成する。例えば、１つの方法は、２Ｄタグから３Ｄ形状１６０を形成するように構成される。同様に、２Ｄ画像または取得された医療画像の１片に、１つ以上の２Ｄ画像で注釈をつけることができ、そして、線、長方形、正方形、球体、正多角形、不規則な多角形、またはメニューから選択可能な他の形状などの既知の３Ｄ形状を使用して、３Ｄ形状へと拡張させることができる。３Ｄ取得された医療画像にマークを付けることは、そのような画像には多くの層があるために困難な場合があるが、自動的に３Ｄ画像に変換できる２Ｄマーキングを有効にすると、医療専門家にとって取得された医療画像のマーキングが容易になる。また、対象の患者の解剖学的組織内の構造の患者輪郭を描画し、その後、アプリケーションは端部と特徴の検出を使用して、解剖学的構造の残りの部分を特定する。この自動オブジェクト検出により、アプリケーションで検出された完全な輪郭または完全な形状を使用して、治療する患者の解剖学的組織を特定する。例えば、切除される臓器は、手技、解剖学的端部検出、または臓器を見つけるようにシステムが訓練されているニューラルネットワークのいずれかで強調表示する。

【0018】

取得された医療画像は、ＭＲＩ（磁気共鳴画像）、磁気共鳴血管造影（ＭＲＡ）、ｆＭＲＩ（機能磁気共鳴イメージング）、マンモグラフィー、ＣＴ（コンピュータ断層撮影）、蛍光透視法、Ｘ線、核医学（例．骨スキャン、甲状腺スキャンなど）、ＰＥＴ（ポジトロン放出断層撮影）、超音波画像またはその他の医療イメージング技術を使用して取得される放射線画像である。取得された医療画像は、大腸内視鏡検査、仮想大腸内視鏡検査、または関節鏡検査など、人体の内部写真画像を使用して作成された画像である。さらに、取得された画像には、仮想３Ｄ空間でグラフィカルにレンダリングされ、取得された医療画像に追加された、完全に仮想的な要素が含まれる。これには、レンダリングされたタグ、レンダリングされた解剖学的組織（例．レンダリングされた骨、神経、腱など）、レンダリングされる整形外科用ハードウェア、または他の同様の仮想レンダリングが含まれる。

【0019】

図１Ｅは、腎臓用二次元（２Ｄ）拡張タグを図示する。この場合、医療専門家は取得された医療画像の２Ｄ片または層に注釈をつけて拡張タグ１７２を作成する。医療専門家は、腎臓の輪郭を慎重に描くか、腎臓組織の中心質量の中の１つのポイントを選択し、腎臓の境界を見つけるようにアプリケーション尿球することによって画像を表記する。この２Ｄ拡張タグは、本開示で説明される三次元（３Ｄ）拡張タグへと変換することができる。代替の構成では、図１Ｅは、３Ｄ拡張タグの２Ｄ断面ビューを図示する。

【0020】

図１Ｆはさらに、腎臓１７４用三次元（３Ｄ）拡張タグを図示する。３Ｄ拡張タグは、医療専門家が２Ｄタグを取得し、取得された医療画像で医療専門家が選択した腎臓組織に類似した組織を特定することによって作成する。アプリケーションが腎臓と考えているものを特定したら、医療専門家は、医療処置で対処する必要があるものを正確に特定するために腎臓の形状を変更する。これは、アプリケーションによって正しく取得されなかった突起や領域を特定するために拡張タグを調整し、拡張タグに入れたくない部分を除外することを含む。あるいは、必要に応じて医療専門家は完全に３Ｄの腎臓に注釈をつける。医療専門家が解剖学的構造の大きさを判断するのを支援するために、３Ｄ拡張タグを計算する。

【0021】

図１Ｇは、腫瘍１７６の三次元（３Ｄ）拡張タグを図示し、３Ｄ拡張タグは患者の腸構造及び骨構造を描く取得された医療画像と共に示され、腫瘍は腸構造の下にある。取得された医療画像内で、医療専門家が様々な状況で（例えば、腸の有無にかかわらず）拡張タグを見ることができるように、腸構造はオンまたはオフにされる。図１Ｈはさらに、画像化された皮膚で覆われた腫瘍の３Ｄ拡張タグを図示する。画像化された皮膚を使用するこのビューは、医療処置を実行する必要がある医療専門家に異なる文脈を提供する。前述のように、拡張タグ付きのこれらの医療画像を、ＡＲヘッドセットを使用してオーバーレイとして使用する。

【0022】

図１Ｉおよび１Ｊは、結腸の解剖学的構造（例．ポリープまたは腫瘍）の３Ｄ拡張タグを図示する。結腸の画像は、ニューラルネットワークの機械学習方法を使用して作成される。結腸内のポリープまたは可能性のある癌性構造は、ニューラルネットワークの機械学習技術を使用して特定する。ニューラルネットワークは、ポリープを検出または分類できるように、多数の医療トレーニングデータケースを使用してトレーニングされている。あるいは、より容易にポリープをマークするために、医療専門家は渇区長タグでポリープをマークするか、アプリケーションの自動支援を使用する。

【0023】

図２Ａは、虫垂に関連する医療処置のために、ＡＲヘッドセットとオーバーレイとして使用する拡張タグ２１０および取得された医療画像２１２を図示する。拡張タグ２１０および取得された医療画像２１２は患者の右側から見られた。また、取得された医療画像２１２は骨格構造や他の患者の臓器を図示する。この図では、拡張タグは暗い半球構造として（またはいくつかの関連図では明るい構造として）図示されている一方、色付き（例．緑、赤、青など）または手触り（例．けば、縞模様または他の手触りなどの特殊グラフィックの手触り）である他の拡張タグが使用される。図２Ｂは、患者の左側で見られる同じ拡張タグ２１０および取得された医療画像を図示する。図２Ｃは、患者の右側から見られた虫垂の拡張タグ２１０と、取得された医療画像からの部分矢状面の断面図である、取得された医療画像のオーバーレイを図示する。図３Ｄは、拡張タグ２１０、および取得された医療画像の横断面における断面図である、取得された医療画像を図示する。

【0024】

図３Ａは、拡張現実ヘッドセットの使用を図示し、患者の頭部と脳の取得された医療画像は患者の頭部の現実世界のビューにアンカリングされている。画像で分かるように、患者の脳の断面は患者の頭部や首のオーバーレイで見ることができ、医療従事者は、医療専門家による侵襲的行為の前に、患者の解剖学的構造を見ることができる。

【0025】

図３Ｂは、ＡＲヘッドセットを制御するために、手の身振りがＡＲヘッドセットの前にあることを図示する。例えば、手を開いたり閉じたりすることで、ズームや縮小のモーションを行うことができる。同様に、取得された医療画像の両側をつまみ、両手を上下に動かすことによって、取得された医療画像の複数の層を動かすことができる。

【0026】

この技術は、拡張現実（ＡＲ）ヘッドセット、仮想現実ＶＲヘッドセット、頭部に装着していない透明なオーバーレイシステム、または利用可能あるいは利用可能になる他のタイプの複合現実システムを使用する。この技術の説明をさらに支援するために、ＡＲヘッドセットの一例を今、説明する。ただし、この技術の使用はＡＲヘッドセットだけに限らず、他の種類の拡張現実または複合現実システムを使用する。ＡＲヘッドセットの一例には、医療専門家の頭部を包む厚いバイザーのようなバンドがある。バイザーは軽量で、異なる頭部のサイズに合うように調節可能である。いくつかの構成では、ＡＲヘッドセットは無線でネットワーク接続され、音声出力を提供する。あるいは、医療専門家は矯正眼鏡のようにＡＲヘッドセットを装着し、ＡＲヘッドセットのプロセッサ部分は人の腰回りに装着され、または別の処理ステーションに接続する。

【0027】

ＡＲヘッドセットは、ホログラフィックレンズや深度カメラ、耳の上のスピーカ、および少なくとも１つのＧＰＵ（グラフィック処理ユニット）を備えた搭載型プロセッサを含む。また、ヘッドセットは、ヘッドセットの過熱を防ぐための通気孔を含む。無線接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、セルラーまたは他の種類の無線接続である。

【0028】

ＡＲヘッドセットには、周囲光センサや、深度センサーカメラと組み合わせて動作して拡張現実環境を作成できる作業空間を特定する複数の環境センサーカメラなど、追加のサポートセンサが含まれる。

【0029】

また、写真を撮って複合現実ビデオを記録するために、高解像度カメラもＡＲヘッドセットに含まれる。ローカルの音声を取得するために、複数のマイクロフォンが含まれる。ＡＲヘッドセットは充電式電池システムを含み、またはＡＲヘッドセットはラップトップのようにアダプターから電力を受け取る。

【0030】

いくつかのＡＲヘッドセットは、手の身振り、声、またはリモートコントローラによって制御され、そのような制御はＡＲヘッドセットのオブジェクトを制御するために使用される。手の身振りもまたＡＲヘッドセットの前で行われ、１つ以上の正面カメラによって撮影される。さらに、マウス、スタイラス、クリッカーなどのポインター装置、または他のポインター装置がＡＲヘッドセットを制御するために使用される。

【0031】

深度カメラは低電力で、例えば、Ｘ軸で６０度、Ｙ軸で６０度の視野がある。深度カメラの他の視野も使用することができる。ヘッドレストの周りに複数のカメラがある場合がある（すなわち正面と側部）。これらのカメラは、物理的な周囲のビデオを撮影し、身振りを識別するためにユーザの手を追跡し、ＡＲヘッドセットのモーションセンサと共に頭の動きを追跡するのに役立つ。

【0032】

取得された医療画像、仮想モデル、および拡張タグをライブ環境に複合する能力とは、レンズが透明であることを意味する。それぞれの目用に１つのレンズで２つのレンズがある１つの構成において、レンズはガラスの三層構造（青、緑、赤）で構成されている。レンズの上の投射エンジンまたは光エンジンは、ヘッドセット内に光を投射し、ガラスの各層にある小さな波形の溝がこれらの光粒子を回折し、光が跳ね返って、仮想物体を仮想距離で知覚する錯覚を高める。これらの画像は、ホログラムと呼ばれるものとして表示される。ＡＲヘッドセットが部屋をマッピングすると、画像は半透明レンズを通して実際の環境へと複合させることができる。

【0033】

ＡＲヘッドセットは、現実環境または部屋に対して仮想画像またはオブジェクトをアンカリング、または「ピン留め」することができる。仮想オブジェクトまたは仮想画像が表示可能な環境または現実環境の所定の場所にロックされると、ユーザはそのオブジェクトまたはオーバーレイ画像を動かすことなく、仮想オブジェクトを見るために、仮想オブジェクトまたは仮想画像の周りを動くことができる。

【0034】

図４は、ＡＲヘッドセット４１２を使用する医療専門家４１０の医療処置４０２のビューの拡張を図示する。患者の解剖学的組織や周囲環境または部屋のライブ画像は、ＡＲヘッドセット４１２のライブ画像カメラを使用して入手する。患者マーカ４２０は、患者に配置され、ＡＲヘッドセットによって取得される患者の解剖学的組織の画像またはビデオ内で特定する。患者マーカ４２０は、患者識別情報、手術する解剖学的組織、患者方位マーカ４２２、および／または画像反転防止タグ４２２を含む。患者方位マーカ４２２および画像反転防止タグ４２２は、それぞれ別々にしてもよく、又は患者マーカ４２０と組み合わせて１つのマーカまたはタグとしてもよい。

【0035】

患者に取り付けたバーコードなどの視覚的にスキャン可能なシンボルは、患者の身分（identity）を検索し、１つの関連する取得された医療画像４１４または複数の関連する取得された画像を検索するために、情報を提供する。患者方位マーカ４２２は、取得された医療画像が患者の解剖学的組織に対して向けられているのを保証するために使用される。放射線画像内の患者マーカ４２０および画像方位マーカ４２２を取得された医療画像と一致させて、患者の解剖学的組織上の患者方位マーカ４２２と取得された医療画像の方向を一致させる。これにより、取得された医療画像４１４を患者の解剖学的組織と位置を合わせる際の、方位または較正エラーを回避することができる。画像反転タグ４２２を使用して位置合わせが行われる時に、画像が反転や、裏返らないようにする。

【0036】

技術の１つの構成において、バーコード、ＱＲコード（登録商標）、または特殊マーカを使用して医療処置のために正しい患者にマークし、患者の右側にマークし、または医療処置を行う正しい四肢にマークする。患者の解剖学的組織上の光学的にスキャン可能なコードまたはマーカもまた、患者の取得された医療画像および／または解剖学的組織が提供された患者マーカ４２０と一致するかを見るために、取得された医療画像と関連する患者データと比較する。

【0037】

取得された医療画像４１４は患者マーカ４２０に基づいて患者の解剖学的組織４１６に関連づけることができる。これは、事前に特定されたように、患者の身分および手術対象の解剖学的組織に基づいて、正しく取得された医療画像４１４を検索できることを意味する。取得された医療画像４１４は、患者方位マーカ４２２または画像判定防止タグ４２２に部分的に基づいて、患者の解剖学的組織にアンカリングまたは固定することができる。または、患者の解剖学亭組織４１６のトポロジー構造を特定することによって、取得される医療画像４１４を患者の解剖学的組織にオーバーレイさせることができる。このプロセスを自動化させることで、エラーを減らし、高価な手術室時間を大幅に低減することができる。

【0038】

また、患者マーカ４２０と関連する拡張タグ４１８、および取得された医療画像または放射線画像の位置も検索することができ、患者の解剖学的組織４１６にオーバーレイした拡張タグ４１８の閲覧を可能にする。取得された医療画像４１４および拡張タグ４１８は拡張現実ヘッドセット４１２のレンズに投射することができ、表示されている患者の解剖学的組織の上に仮想的にオーバーレイする単一のグラフィックビューを形成する。

【0039】

１つの構成において、内視鏡ビデオフィードを単一のグラフィックビューに組み合わせる。拡張タグも使用して、内視鏡ビデオフィード内の３Ｄ構造の大きさや形状を特定し、内視鏡が患者の解剖学的組織のどこにあるかの推定を特定する。

【0040】

図５は、外科的処置等の医療処置の視野を拡張するためのシステムを図示する。システムはＡＲヘッドセット５４２内のカメラ、またはシステムと関連するカメラを含み、カメラは患者の解剖学的組織５１０のライブ画像を取得するように構成される。カメラは、ＡＲヘッドセット５４２により分析のために、視認可能な患者の解剖学的組織のライブビデオフィードを提供する。ビデオを分析し、四肢の位置、端部の検出、深度の検出または撮影したビデオ画像内の特徴などの環境の方位の手がかりを特定する。さらに、ライブビデオを録画し、あるいは別の位置へとストリーミングする。

【0041】

システム内の拡張プロセッサ５２０は、カメラが撮影した患者の解剖学的組織５１０の形態測定値を測定または定義するように構成される。形態測定値とは、四肢または患者の解剖学的組織の形状、幅、高さ、深度、および輪郭についてのメトリックである。これらの形態測定値は、参照オブジェクトまたは測定キーが提供される相対測定または絶対測定である。拡張現実システムは、深度カメラまたは距離測定カメラを使用して患者の外部輪郭をマッピングし、イメージング技術で取得された患者の３Ｄデータの表面層と比較できる、多角形のメッシュを作成する。したがって、３Ｄでの指紋のように、「仮想」と「現実」の両方のデータを比較することができる。

【0042】

拡張プロセッサ５２０は、ライブビデオまたは画像から測定された形態測定値が、患者マーカ５３０を使用して検索された患者の解剖学的組織と関連する事前測定の形態測定値と一致するかどうかを決定する。例えば、人の中に表される患者の脚には、長さ、幅、高さ、形状、または他の事前測定された形態測定値と一致させることができる、形態測定値のための特定の測定値がある。

【0043】

その後、患者の解剖学的組織と関連する取得された医療画像５２４は、患者マーカ５３０および患者の解剖学的組織５１０によって画定されるものとして検索される。取得された医療画像５４０は、形態測定値および確認された形態測定値を使用して患者の解剖学的組織５１０と位置を合わせる。

【0044】

システムは、取得された医療画像５２２や拡張タグ５２４をＡＲヘッドセットの半透明レンズに投射し、ＡＲヘッドセットを使用しているユーザまたは医療専門家に表示されている患者の解剖学的組織にオーバーレイされている、単一のグラフィックビュー５４０を形成するように構成されるＡＲヘッドセット５４２を含む。例えば、同様の画像をそれぞれの目の中に投射し、それによって３Ｄ（三次元）の表示効果が得られる。

【0045】

また、取得された医療画像が形態測定値によって画定されたとして、患者の解剖学的組織と一致するという通知を医師や医療専門家に提供する。この方法により、正しい患者および正しい身体構造（正しい脚または腕等）が正しく取得された医療画像５２２で操作されているのを医師に保証する。患者マーカによって患者の身分をチェックするだけではなく、検索された情報または画像を、以前に行われた形態測定値と比較して、現実世界で見られる現実の患者の解剖学的組織の比較を使用して確認する。一致が確認されると、医療処置が正確または正しくなる可能性が高くなる。

【0046】

医療処置中の患者からの形態測定値が、以前収集された患者識別子と関連する形態測定値と一致しない場合、その後、医師または医療専門家に警告またはエラーを提示する。一致エラーが起こる場合は、医師はどの情報をさらに確認する必要があるか、そしてその医療処置を進めるか、あるいは医療処置を終了するかを決定する。この確認は、患者が鎮静状態にあり、処置にあたっている医療専門家と通信できない場合に特に重要である。

【0047】

医療問題を特定するために撮影中の形態測定値を分析し、または患者の解剖学的組織を撮影し、その後問題の治療にその形態測定値データを確認することは、より正確な患者の治療をもたらし、可能性があるエラーを回避することができる。その結果、この技術は、患者の、または記録が望まれる患者の解剖学的側面の形態測定値の記録を実行する。その後、事前に取得された解剖学的構造と、医療処置中にＡＲヘッドセットを使用して現在見られている解剖学的構造の形態測定値の比較が一致しない場合、医療専門家にグラフィック警告を提供する。

【0048】

例えば、医師が患者の頭蓋骨を手術する場合、医師は頭蓋骨に穿頭孔をあける必要があり、その後、医師は、拡張現実手術システムに患者をチェックさせて、医療処置におけるその患者の頭蓋骨の形状が、診断段階で以前に撮影された取得された医療画像の情報として同じ形状と一致するのを確認する。頭蓋骨の形状が同一でない場合、医師または医療専門家に対して警告が点滅される。大きさ、形状、脂肪量、顔の詳細、および同様の頭蓋骨の詳細等、解剖学的構造の特定のメトリックを、患者のこれらの詳細を以前測定して記憶した形態測定値データと照合して確認する。

【0049】

形態測定値分析の文脈において、バーコードによるマーキングシステムをスキャンして患者を特定することができる。例えば、ＩＤバンドをスキャンし、バーコードによりＩＤ情報は患者の取得された医療画像と形態測定値データのダウンロードを始動する。その後、取得された医療画像と関連する形態測定値のデータがある取得された医療画像の取得を、ライブ画像から計算された形態測定値データ、またはＡＲヘッドセットを使用して患者から撮影された医療処置に対して確認することができる。形態測定値を使用して患者の身分が確認されると、その後、拡張タグを配置し、取得された医療画像と組み合わせる。最後に、患者の身分、取得された医療画像、形態測定値および手術の同様の側面が検証されているため、外科医は医療処置を開始する。

【0050】

上で説明されたように、患者マーカ５３０は患者の解剖学的組織５１０の画像内で特定され、患者マーカ５３０は患者を特定する情報、およびデータベースに格納された事前測定された形態測定値の測定５２６を含む。患者マーカ５３０は、１Ｄ（一次元）バーコード、２Ｄ（二次元）バーコード、写真画像、カスタム生成された幾何学的形状、またはＲＦＩＤ（無線周波数ＩＤ）の少なくとも１つを含むスキャン可能なシンボルで、患者マーカ５３０からの情報を使用して患者の身分、患者情報５２８を検索し、そして取得された医療画像５２２を検索する。より具体的な例で、患者マーカ５３０には、別のデータベースに格納された事前測定された形態測定値５２６の検索または問い合わせに使用されるデータベースキーまたは値がある。仮想スキャン、ブレスレット、ＲＦＩＤまたは形態測定を使用して患者の身分が取得されると、その後、患者の身分および他の患者情報と一致する取得された医療画像５２２を、身分および取得された医療画像と一致する拡張タグに沿って配置する。これらの拡張タグは、識別タグおよび／または形態測定で決定された患者の身分に基づきロードされ、指向される。

【0051】

システムはまた、患者方位マーカ５３２および取得された医療画像または放射線画像内の位置（例．取得された医療画像内のデカルト座標または他の相対座標）と関連する拡張タグを検索する。取得された医療画像の画像および拡張タグは、患者マーカおよび位置を使用して単一のビューへと合成される。さらに、患者方位マーカ５３２を使用し、または取得された医療画像あるいは放射線画像内の画像方位タグと一致させて、患者の解剖学的組織上で取得された医療画像を正確に指向させる。

【0052】

拡張プロセッサを含むシステムは画像反転タグ５３２を特定する操作も行う。取得された医療画像および患者の解剖学的組織は、画像反転タグを使用して位置を合わせることができ（例．回転させる、裏返しまたは反転させる）、取得された医療画像が患者の解剖学的組織に対して正しく指向されるようにする。

【0053】

本発明のシステムの別の例では、ヘッドセットは仮想現実（ＶＲ）ヘッドセットで、その中に患者および手術室のビデオフィードが供給され、そのビデオフィードと共に取得された医療画像を合成する。この場合、ＶＲヘッドセットは透明ではなく、ＶＲヘッドセットにより合税画像を診断または他の治療目的に使用することができる。

【0054】

１つの例において、形態測定を使用して内視鏡検査、関節鏡検査、腹腔鏡検査などの医療処置中に、処置のロードマーカを特定する。例えば大腸内視鏡検査では、医療処置の前に特定のユニークな形状の解剖学的構造をマークする。これらの解剖学的組織は拡張タグを使用してマークされる。１つの特定例では、医療処置で５つの構造をロードマーカまたはマイルストーンとしてマークする。実際の医療処置が進むにつれて、システムはカメラ画像を通して見た５つの構造の１つに一致し、形態測定値を使用して記録済である物理的オブジェクトを見ることに基づいて、外科医の内視鏡が患者の解剖学的組織内のどこに位置するのかを外科医に示す。この位置は患者の解剖学的組織へのオーバーレイとして、または取得された医療画像との組み合わせとして表示される。このマッチングは、処置中に５つの構造の全てが特定されるまで進む。

【0055】

大腸内視鏡検査では、多くの反復する構造が存在するため、異常な構造が事前にタグ付けされている場合、大腸内視鏡検査からのビデオフィードと以前にタグ付けされた解剖学的構造とに一致があると、システムは内視鏡が結腸内にある推定位置を、大腸内視鏡検査を行っている外科医または医療専門家に提供する。このタイプの推定は、腹部、関節、肺、他の胃腸系部分（例．小腸または胃）、生殖器官、尿管、呼吸器系等で発生する可能性のある、他のタイプの内視鏡スタイルの手術にも同様に適用することができる。この技術は、取得された医療画像（ＭＲＩ、ＣＴスキャン）、または取得された医療画像内の移動距離または一致した解剖学的構造に基づいた仮想画像の内視鏡または関連処置器具の位置を示す。

【0056】

システムはまたマルチフィード表示も提供する。医療専門家向けの視覚的な出力は、１）可視皮膚の画像（可視光カメラによって撮影）、２）内視鏡からの画像または映像、３）仮想レンダリング画像（ＣＧＩまたはコンピュータ生成画像）、４）拡張タグおよび／または５）取得された医療画像（例．Ｘ線、ＭＲＩまたはＣＴ画像）を表示する。これにより、医療従事者は複数の画面（例．ＭＲＩ用、内視鏡装置用、医療チャート用等）の代わりに単一の画面で複数の画像を見ることができる。また、これにより、医療専門家は異なるデータビューを切り替えることができる。
本明細書で言及される「医療専門家」は、医師、医師助手、看護師医療専門家、医療専門家、そして他の様々なタイプの医療専門家を含む。
本明細書で言及される「医療処置」は、病気の診断、治療、予防の科学または実践を含む。医療処置は、人間の病気の予防や治療によって、健康を維持および／または回復することを目的としたさまざまな医療行為を含む。医療処置は、薬物療法や手術などの他、心理療法、牽引、人工装具、生物製剤、イオン化などの治療を通じて、怪我や病気を診断し治療するための、健康科学、生物医学研究、および医療技術に関連するタスクにも適用される。

【0057】

本発明の技術は医学に関連して説明されているが、あるいは、技術は、タスクの完了に関係する時間、労力、スキルなどを示す単位のタイプにより、生産性が測定される技術、科学などの他の分野にも適用される。

【0058】

図．６は、医療処置で使用するために医療画像を拡張する方法を示すフロー図である。方法は、ブロック６１０で、仮想画像カメラを使用して患者の解剖学的組織の画像を受信することを含む。患者が医療処置を受けている時に患者の解剖学的組織の画像を収集する。その後、ブロック６２０で、患者の解剖学的組織と関連する取得された医療画像を検索する。取得された医療画像の一例は、ＭＲＩ、ｆＭＲＩまたはＣＴスキャンである。

【0059】

その後、ブロック６３０で、取得された医療画像を患者の解剖学的組織に関連づける。この関連付けとは、取得された医療画像の同じ解剖学的組織のポイントと一致する患者の解剖学的組織の参照ポイントに、取得された医療画像をアンカリングまたは固定することである。その後、ブロック６４０で、取得された医療画像内の１つの層の位置と関連する拡張タグを検索する。この拡張タグは、解剖学的構造、切開を行うポイント、または医療処置用の他のマッピングやマーキングを表す。ブロック６５０で、取得された医療画像および拡張タグを拡張現実ヘッドセットのレンズに投射し、単一のグラフィックビューを形成する。

【0060】

図７は、医療処置のビューを拡張する方法を示すフロー図である。ブロック７１０で、方法はライブ画像カメラを使用して患者の解剖学的組織の画像を受信することを含む。これは、医療処置が進行中の患者の画像である。ブロック７２０で、対象の画像内の患者マーカを特定する。患者マーカは、患者を識別する情報、手術を行う解剖学的組織、患者方位マーカまたは画像反転防止タグを含む。

【0061】

ブロック７３０で、患者の解剖学的組織と関連する取得された医療画像は、患者マーカの一部に基づいて検索される。取得された医療画像は、放射線医療画像、コンピュータレンダリング画像、または別のタイプの視覚光画像である。ブロック７４０で、取得された医療画像を患者方位マーカの一部に基づいて患者の解剖学的組織にアンカリングすることができる。

【0062】

ブロック７５０で、患者マーカと関連する拡張タグおよび放射線画像内の位置を検索する。ブロック７６０で、取得された医療画像および拡張タグを拡張現実ヘッドセットのレンズに投射して、見ている患者の解剖学的組織にオーバーレイする単一のグラフィックビューを形成する。

【0063】

図８は、本技術のモジュールが実行するコンピューティング装置８１０を説明する。技術の高レベルの例を実行するコンピューティング装置８１０を図示する。コンピューティング装置８１０は、メモリ装置８２０と通信している１つ以上のプロセッサ８１２を含む。コンピューティング装置は、コンピューティング装置内のコンポーネント用ローカル通知ンインターフェース８１８を含む。例えば、ローカル通信インターフェースはローカルのデータバスおよび／または関連アドレス、または必要に応じて制御バスである。

【0064】

メモリ装置８２０は、プロセッサ８１２によって実行可能なモジュール８２４およびモジュール８２４用データを含む。モジュール８２４は前述の機能を実行する。また、モジュール８２４や他のアプリケーションに関連するデータを、プロセッサ８１２によって実行可能なオペレーティングシステムと共に記憶するために、データストア８２２がメモリ装置８２０内に位置する。

【0065】

他のアプリケーションもメモリ装置８２０に格納され、プロセッサ８１２によって実行可能である。この説明で説明されるコンポーネントまたはモジュールは、ハイブリッド方法を使用してコンパイルされ、解釈され、または実行される高プログラミングレベル言語を使用するソフトウェアの形式で実装される。

【0066】

またコンピューティング装置には、コンピューティング装置によって使用可能なＩ／Ｏ（入力／出力）装置８１４へのアクセスを有する。Ｉ／Ｏ装置の一例は、コンピューティング装置からのアウトプットを表示するために利用可能な表示画面である。他の既知のＩ／Ｏ装置は、必要に応じてコンピューティング装置と共に使用される。コンピューティング装置にはネットワーキング装置８１６や同様の通信装置が含まれる。ネットワーキング装置８１６は、インターネット、ＬＡＮ、ＷＡＮ、または他のコンピューティングネットワークと接続する、有線または無線ネットワーキング装置である。

【0067】

メモリ装置８２０に格納されているとして示されるコンポーネントまたはモジュールをプロセッサ８１２によって実行する。「実行可能」の用語は、プロセッサ８１２によって実行される形式のプログラムファイルを意味する。例えば、より高いレベル言語のプログラムは、メモリ装置８２０のランダムアクセス部分にロードされてプロセッサ８１２によって実行される機械コードへとコンパイルされ、またはソースコードが別の実行可能なプログラムによってロードされ、プロセッサによって実行されるメモリのランダムアクセス部分内の指示を生成すると解釈される。実行可能なプログラムはメモリ装置８２０の任意の部分またはコンポーネントに格納される。例えば、メモリ装置８２０は、ランダムアクセスメモリ（ＲＡＭ），、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ、メモリカード、ハードドライブ、光ディスク、フロッピーディスク、磁気テープ、またはその他のメモリーコンポーネントである。
プロセッサ８１２は複数のプロセッサを表し、メモリ８２０は処理回路と平行して動作する複数のメモリユニットを表す。これによりプロセスおよびシステム内のデータに平行する処理チャンネルを提供する。ローカルインターフェース８１８をネットワークとして使用し、複数のプロセッサと複数のメモリ間の通信を容易にする。ローカルインターフェース８１８は、ロードバランシング、大量データ転送などの通信を調整するために設置された追加のシステム、および同様のシステムを使用する。

【0068】

本明細書で説明されるいくつかの機能的ユニットは、実装の独立性をより強調するためにモジュールとしてラベル付けされている。例えば、モジュールは、カスタムＶＬＳＩ回路またはゲートアレイ、ロジックチップ、トランジスタ、その他の離散的コンポーネントなどの既成の半導体を含むハードウェア回路として実装される。またモジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジック装置などのプログラマブルハードウェア装置でも実装される。

【0069】

またモジュールは、様々な種類のプロセッサによって実行されるソフトウェアでも実装される。実行可能なコードの識別されたモジュールは、例えばコンピュータ指示の１つ以上のブロックを含み、それらはオブジェクト、プロシージャ、または関数として編成される。それでも、識別されたモジュールの実行ファイルは物理的に一緒に配置する必要はなく、モジュールを構成する異なる位置に格納された異なる指示を含み、論理的に結合された時、モジュールの言及された目的を達成する。

【0070】

実際、実行可能なコードのモジュールは単一の指示、または複数の指示であり、そして複数の異なるコードセグメント、異なるプログラム間、そしていくつかのメモリ装置に分散される。同様に、操作データを識別し、本明細書ではモジュール内に図示され、そして任意の適切な形式で具現化され、任意の適切なタイプのデータ構造内で編成される。操作データは、単一のデータセットして収集され、または異なるストレージ装置を含む異なる位置に分散される。モジュールは、所望の機能を実行するために操作可能なエージェントを含み、受動的または能動的である。

【0071】

本明細書で説明される技術はまた、コンピュータ可読媒体、データ構造、プログラムモジュールまたは他のデータなどの情報を格納するための任意の技術で実装される、揮発性および不揮発性、リムーバブルおよび非リムーバブルメディアを含むコンピュータ可読記憶媒体に格納する。制限はされないが、コンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ－ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージ装置、あるいは所望の情報や説明された技術を格納するために使用される他のコンピュータ記憶媒体である。

【0072】

本明細書で説明される装置はまた、通信接続またはネットワーク装置、および装置と他の装置との通信を可能にするネットワーク接続を含む。通信接続は通信媒体の一例である。通信媒体は通常、搬送波や他の搬送メカニズムなどの変調データ信号内のコンピュータ可読指示、データ構造、プログラムモジュール、その他のデータを具現化した任意の情報配信媒体を含む。「変調データ信号」とは、１つ以上の特徴セットを有する、または信号内に情報をエンコードするような方法で変更された信号を意味する。限定ではなく例として、通信媒体は、有線ネットワークや直接有線接続などの有線媒体、および音響、無線周波数、赤外線などの無線媒体、および他の無線媒体を含む。本明細書で使用されるコンピュータ可読媒体の用語は通信媒体を含む。

【0073】

図面に示された例を参照し、本明細書は同じものを説明するために特定言語を使用した。それでも、それによる技術の範囲の制限を意図したものではないことが理解される。本明細書で説明された特徴の変更およびさらなる修正、本明細書で説明された例の追加の応用は、関連技術の当事者に思い浮かび、本開示を所有しているが、説明の範囲内であると考えられる。

【0074】

さらに、説明された機能、構造、特徴は、あらゆる適切な方法で１つ以上の例へと組み合わされる。前述の説明では、説明された技術の完全な理解を提供するために、様々な構成例など、多くの特定の詳細が提供された。ただし、関連技術の当事者は、１つ以上の特定な詳細無しで、または他の方法、コンポーネント、装置などを用いて技術を実施できることを認識する。他の例では、技術の側面を不明瞭にするのを避けるために、良く知られている構造や操作は詳細に表示、説明されない。

【0075】

主題は、構造的特徴および／または操作専用の言語で説明されてきたが、添付の請求項で画定される主題は、上記の特定の特徴および操作に限定されないことが理解される。むしろ、上記の特定の特徴および技術は、請求項を実装する例示的な形式として開示されている。記載された技術の精神および範囲から逸脱することなく、多数の修正および代替の構成を考案することができる。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図1H】

【図1I】

【図1J】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】