特表 2024-511971 手術前又は手術中に画像モデルを拡張現実システムに位置合わせするためのデバイス及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-18

(54)【発明の名称】手術前又は手術中に画像モデルを拡張現実システムに位置合わせするためのデバイス及び方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240311BHJP

   A61B 34/10 20160101ALI20240311BHJP

【ＦＩ】

A61B34/20

A61B34/10

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023556727

(86)(22)【出願日】2022-03-11

(85)【翻訳文提出日】2023-10-24

(86)【国際出願番号】 US2022019875

(87)【国際公開番号】W WO2022197537

(87)【国際公開日】2022-09-22

(31)【優先権主張番号】63/162,628

(32)【優先日】2021-03-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】597013711

【氏名又は名称】スリーディー システムズ インコーポレーテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ブロンスタイン，ラン

(72)【発明者】

【氏名】ポラト，ロイ

(57)【要約】

手術シーンにおけるＡＲ（拡張現実）ユニットの位置合わせを改良するためのシステム及び方法が提供される。システムは、ユーザによって使用される頭部装着型ディスプレイ（ＨＭＤ）を含み、及び／又はそれと通信する拡張現実（ＡＲ）ユニットと、滅菌可能な生体適合材料で作られ、及び位置合わせテンプレートとして構成された物理的デバイスとを含む。ＡＲユニット及び／又はそれに関連付けられたセグメント化ソフトウェアは、物理的デバイスのデバイス表現を患者の画像モデル上にアライメントするように構成され得、並びにＡＲユニット及び／又はＨＭＤは、ＨＭＤ上において、デバイス表現を、患者に対して位置決めされ、及びＨＭＤを通して見られる物理的デバイス上のアライメントされた画像モデルと位置合わせして、患者に対して対応する空間的関係で画像モデル又はその一部を表示するように構成され得る。物理的デバイスを使用する位置合わせは、現実及び仮想デバイス間の協調を簡易化する。

【特許請求の範囲】

【請求項1】

ユーザによって使用される頭部装着型ディスプレイ（ＨＭＤ）を含むか又はそれと通信する拡張現実（ＡＲ）ユニットと、
滅菌可能な生体適合材料で作られ、及び位置合わせテンプレートとして構成された物理的デバイスと
を含むシステムであって、
前記ＡＲユニット又はそれに関連付けられたセグメント化ソフトウェアは、前記物理的デバイスのデバイス表現を患者の画像モデル上にアライメントするように構成され、
前記ＡＲユニット又は前記ＨＭＤは、前記ＨＭＤ上において、前記デバイス表現を、前記患者に対して位置決めされ、及び前記ＨＭＤを通して見られる前記物理的デバイス上の前記アライメントされた画像モデルと位置合わせして、前記患者に対して対応する空間的関係で前記画像モデル又はその一部を表示するように構成される、システム。

【請求項2】

前記物理的デバイスは、特定の患者、指定された解剖学的特徴及び／又は特定の外科的処置に適合するような形状にされる、請求項１に記載のシステム。

【請求項3】

前記ＡＲユニットは、画像モデル及び／又は患者の特定の患者特性から前記物理的デバイスの形状を導出するようにさらに構成される、請求項１に記載のシステム。

【請求項4】

前記ＡＲユニットは、特定の患者特性に従って前記物理的デバイスのための所与のテンプレートを調節し、及び個人化された物理的デバイスを印刷するために、前記調節されたテンプレートを３Ｄプリンタに送るようにさらに構成される、請求項１に記載のシステム。

【請求項5】

前記物理的デバイスは、前記位置合わせに使用される第１の部分と、特定の患者特性に対して調節可能な第２の部分とを有する、請求項１に記載のシステム。

【請求項6】

前記第２の部分は、前記患者と接触する前記物理的デバイスの周辺の少なくとも一部を含む、請求項５に記載のシステム。

【請求項7】

前記第２の部分は、前記特定の患者特性に対する調節をもたらすように可撓性であり、及び／又は機械的に修正される、請求項６に記載のシステム。

【請求項8】

所与のテンプレート及び／又は前記ＡＲユニットによって提供される調節されたテンプレートに従い、手術の準備において及び／又は手術中に前記物理的デバイスを印刷するように構成された３Ｄプリンタをさらに含む、請求項１～７のいずれか一項に記載のシステム。

【請求項9】

複数のユーザディスプレイをさらに含み、前記ＡＲユニットは、前記同じ物理的デバイスを使用して、すべての前記ユーザディスプレイについて前記位置合わせを行うように構成される、請求項１に記載のシステム。

【請求項10】

前記ユーザディスプレイは、ＡＲデバイス、異なるＨＭＤ、スマートフォン、リモートディスプレイ及びロボット手術システムによって使用される前記手術システムの内部表現から独立して選択される、請求項９に記載のシステム。

【請求項11】

物理的デバイスのデバイス表現を患者の画像モデル上にアライメントすることと、
ＨＭＤ上において、前記デバイス表現を、前記患者に対して位置決めされ、及び前記ＨＭＤを通して見られる前記物理的デバイス上の前記アライメントされた画像モデルと位置合わせして、前記患者に対して対応する空間的関係で前記画像モデル又はその一部を前記ＨＭＤ上に表示することと
を含む方法。

【請求項12】

滅菌可能な生体適合材料を使用して前記物理的デバイスを３Ｄ印刷することをさらに含む、請求項１１に記載の方法。

【請求項13】

前記物理的デバイスを、特定の患者、指定された解剖学的特徴及び／又は特定の外科的処置に適合するような形状にすることをさらに含む、請求項１１に記載の方法。

【請求項14】

前記画像モデル及び／又は患者の特定の患者特性から前記物理的デバイスの形状を導出することをさらに含む、請求項１１に記載の方法。

【請求項15】

特定の患者特性に従って前記物理的デバイスのための所与のテンプレートを調節し、及び前記調節されたテンプレートを個人化された物理的デバイスとして３Ｄ印刷することをさらに含む、請求項１１に記載の方法。

【請求項16】

前記位置合わせを行うために前記物理的デバイスの第１の部分を構成し、及び特定の患者特性に対して調節可能であるように前記物理的デバイスの第２の部分を構成することをさらに含む、請求項１１に記載の方法。

【請求項17】

前記同じ物理的デバイスを使用して、複数のＡＲディスプレイについて前記位置合わせを行うことをさらに含む、請求項１１～１６のいずれか一項に記載の方法。

【請求項18】

前記位置合わせを使用して、異なるタイプの複数の近位及び／又は遠隔ＡＲディスプレイを協調させることをさらに含む、請求項１７に記載の方法。

【請求項19】

非一時的コンピュータ可読記憶媒体であって、それとともに具現化されたコンピュータ可読プログラムを有する非一時的コンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、前記コンピュータ可読プログラムは、請求項１１～１８のいずれか一項に記載の方法を行うように構成される、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

発明の背景
１．技術分野
[0001] 本発明は、ＡＲ（拡張現実）支援手術の分野に関し、より詳細には、ＡＲ手術システムにおける位置合わせの改良に関する。

【背景技術】

【0002】

２．関連する技術分野の説明
[0002] 先行技術は、画像モダリティ、画像次元数、位置合わせベース、幾何学的変換、ユーザ対話、最適化手順、被写体及び位置合わせの対象に対する３次元及び２次元（３Ｄ／２Ｄ）位置合わせ方法を含む。

【0003】

[0003] 先行技術は、光学シースルー型ＨＭＤ（頭部装着型ディスプレイ）を使用する、ＡＲベースの手術ナビゲーションシステム（ＡＲ－ＳＮＳ）を含む。機器の較正、位置合わせ及びＨＭＤの較正を使用して、術中の動き追跡プロセス中、頭部装着型ディスプレイの３Ｄの仮想的な重要な解剖学的構造を現実世界のシナリオにおける患者の実際の構造とアライメントする。

【0004】

[0004] 先行技術は、Microsoft（登録商標）のHololens（登録商標）（Hololens）を用いてコンピュータ断層撮影（ＣＴ）スキャンを投影し、次いでその投影像を基準マーカのセットにアライメントすることを含む。

【0005】

[0005] 先行技術は、３Ｄ術中蛍光透視検査法を使用する、頭部装着型デバイスによるホログラフィック椎弓根スクリューナビゲーションの手術精度の評価を含む。

【発明の概要】

【課題を解決するための手段】

【0006】

発明の概要
[0006] 以下は、本発明の初期的な理解を提供するための単純化された概要である。この概要は、必ずしも主要な要素を特定するものではなく、本発明の範囲を限定するものでもなく、単に以下の説明への導入部としての役割を果たす。

【0007】

[0007] 本発明の実施形態の１つの態様は、ユーザによって使用される頭部装着型ディスプレイ（ＨＭＤ）を含み、及び／又はそれと通信する拡張現実（ＡＲ）ユニットと、滅菌可能な生体適合材料で作られ、及び位置合わせテンプレートとして構成された物理的デバイスとを含むシステムであって、ＡＲユニット及び／又はそれに関連付けられたセグメント化ソフトウェアは、物理的デバイスのデバイス表現を患者の画像モデル上にアライメントするように構成され、ＡＲユニット及び／又はＨＭＤは、ＨＭＤ上において、デバイス表現を、患者に対して位置決めされ、及びＨＭＤを通して見られる物理的デバイス上のアライメントされた画像モデルと位置合わせして、患者に対して対応する空間的関係で画像モデル又はその一部を表示するように構成される、システムを提供する。

【0008】

[0008] 本発明の実施形態の１つの態様は、物理的デバイスのデバイス表現を患者の画像モデル上にアライメントすることと、ＨＭＤ上において、デバイス表現を、患者に対して位置決めされ、及びＨＭＤを通して見られる物理的デバイス上のアライメントされた画像モデルと位置合わせして、患者に対して対応する空間的関係で画像モデル又はその一部をＨＭＤ上に表示することとを含む方法を提供する。

【0009】

[0009] 本発明のこれらの態様及び／又は利点、追加の態様及び／又は利点、及び／又は他の態様及び／又は利点は、以下の詳細な説明に記載され、場合により詳細な説明から推測可能であり、及び／又は本発明を実践することによって学習可能である。

【0010】

図面の簡単な説明
[0010] 本発明の実施形態をよりよく理解し、それがどのように実施され得るかを示すために、ここで、純粋に例として添付の図面を参照し、添付の図面では、全体を通して、同様の数字は、対応する要素又は区分を示す。

【0011】

[0011] 添付の図面は、以下の通りである。

【図面の簡単な説明】

【0012】

【図1A】[0012]本発明のいくつかの実施形態による位置合わせデバイスを用いた手術シーンの高レベルの概略図である。

【図1B】[0013]本発明のいくつかの実施形態による位置合わせデバイスの使用の高レベルの概略図である。

【図1C】[0014]本発明のいくつかの実施形態による位置合わせシステムの高レベルの概略ブロック図である。

【図1D】[0015]本発明のいくつかの実施形態によるＡＲユニット及び関連するＨＭＤの高レベルの概略ブロック図である。

【図1E】[0015]本発明のいくつかの実施形態によるＡＲユニット及び関連するＨＭＤの高レベルの概略ブロック図である。

【図1F】[0015]本発明のいくつかの実施形態によるＡＲユニット及び関連するＨＭＤの高レベルの概略ブロック図である。

【図2A】[0016]本発明のいくつかの実施形態による物理的デバイスの高レベルの概略図を含む。

【図2B】[0016]本発明のいくつかの実施形態による物理的デバイスの高レベルの概略図を含む。

【図2C】[0016]本発明のいくつかの実施形態による物理的デバイスの高レベルの概略図を含む。

【図2D】[0016]本発明のいくつかの実施形態による物理的デバイスの高レベルの概略図を含む。

【図2E】[0016]本発明のいくつかの実施形態による物理的デバイスの高レベルの概略図を含む。

【図2F】[0016]本発明のいくつかの実施形態による物理的デバイスの高レベルの概略図を含む。

【図3A】[0017]本発明のいくつかの実施形態による方法を図示する高レベルのフローチャートである。

【図3B】[0017]本発明のいくつかの実施形態による方法を図示する高レベルのフローチャートである。

【図4】[0017]本発明のいくつかの実施形態による方法を図示する高レベルのフローチャートである。

【図5】[0018]本発明の実施形態とともに使用され得る例示的なコンピューティングデバイスの高レベルのブロック図である。

【発明を実施するための形態】

【0013】

発明の詳細な説明
[0019] 以下の説明では、本発明の様々な態様について説明する。説明の目的のため、本発明を十分に理解できるように具体的な構成及び詳細を述べる。しかしながら、本明細書に提示される具体的な詳細を伴わずに本発明を実践し得ることも当業者に明らかであろう。さらに、よく知られている特徴は、本発明を不明瞭にしないように省略又は単純化されている場合がある。特に図面に関して、示される細部は、単に例として本発明を例示的に説明する目的のためのものであるに過ぎず、最も有用であると考えられるもの並びに本発明の原理及び概念の態様の説明が容易に理解されるものを提供するために提示されることが強調される。この点に関して、本発明の基本的な理解に必要である以上に詳細に本発明の構造的な詳細を示そうとするのではなく、図面とともに説明を行うことにより、本発明の複数の形態を実際にどのように具体化し得るかが当業者に明らかになる。

【0014】

[0020] 本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その用途において、以下の説明に記載されるか又は図面に図示される構成要素の構造及び配置の詳細に限定されないことを理解されたい。本発明は、様々な方法で実践又は実行され得る他の実施形態に適用可能であるだけでなく、開示される実施形態の組み合わせにも適用可能である。さらに、本明細書で用いられる語句及び用語は、説明の目的のためのものであり、限定と見なすべきではないことを理解されたい。

【0015】

[0021] 他のことが具体的に記されていない限り、以下の説明から明らかであるように、本明細書全体を通して、「処理する」、「電算処理する」、「計算する」、「求める」、「向上させる」又は「導出する」などの用語を用いた説明は、コンピューティングシステムのレジスタ及び／又はメモリ内における、電子量などの物理的な量として表されたデータを、コンピューティングシステムのメモリ、レジスタ又は他のこのような情報ストレージ、送信デバイス若しくはディスプレイデバイス内における、同様に物理的な量として表される他のデータに操作及び／又は変換するコンピュータ若しくはコンピューティングシステム又は同様の電子計算デバイスの動作及び／又はプロセスを指すことを理解されたい。

【0016】

[0022] 本発明の実施形態は、患者の画像モデルを拡張現実（ＡＲ）手術システムで位置合わせするための効率的及び経済的な方法及び機構を提供し、それによりＡＲ支援手術の技術分野に改良を提供し得る。様々な実施形態は、手術前及び／又は手術中に患者の画像モデルをＡＲ手術システムで位置合わせするために位置合わせテンプレートを使用することを含む。実施形態は、手術シーンにおけるＡＲ（拡張現実）ユニットの位置合わせを改良するためのシステム及び方法を含み得る。いくつかの実施形態は、ユーザによって使用される頭部装着型ディスプレイ（ＨＭＤ）を含み、及び／又はそれと通信するＡＲユニットと、滅菌可能な生体適合材料で作られ、及び位置合わせテンプレートとして構成された物理的デバイスとを含む。ＡＲユニット及び／又はそれに関連付けられたセグメント化ソフトウェアは、物理的デバイスのデバイス表現を患者の画像モデル上にアライメントするように構成され得、並びにＡＲユニット及び／又はＨＭＤは、ＨＭＤ上において、デバイス表現を、患者に対して位置決めされ、及びＨＭＤを通して見られる物理的デバイス上のアライメントされた画像モデルと位置合わせして、患者に対して対応する空間的関係で画像モデル又はその一部を表示するように構成され得る。実施形態は、物理的デバイスの設計を協調させ、例えば画像データに基づいて、仮想モデルを実際の患者及び手術に関連する追加のディスプレイと空間的に同期させる方法を含み得る。物理的デバイスを使用する位置合わせは、現実及び仮想デバイス間の協調を簡易化する。

【0017】

[0023] 現行のＡＲ支援手術システムでは、（例えば、過去の画像又は最近のＣＴ若しくは磁気共鳴画像（ＭＲＩ）モデルから導出された）患者の画像モデルを使用して、外科的処置を計画及び実行する。しかしながら、十分に信頼性の高いＡＲインタフェースを外科医に提供するためのＡＲシステムにおける患者の画像モデルの精密な位置合わせは、いくつかの理由で難易度が高い。すなわち、（ｉ）手術中、患者の表面の大部分が覆われる可能性があるため、位置合わせを行うために利用することができず、（ｉｉ）先行技術で三角測量のために使用されるマーカ又はステッカーでは、特に深部の精密な外科的処置には精度が十分ではなく、（ｉｉｉ）画像処理でのマーカ（例えば、基準マーカ）の使用は、最近の患者のスキャンを必要とし得、また過去のスキャンが使用できない可能性があり、十分に正確でない場合が多い。さらに、スキャンから処置まで患者の身体にマーカが残る可能性もあり、（ｉｖ）患者の精密な位置及び姿勢が変わると、ＡＲ位置合わせに悪影響を及ぼす可能性がある。

【0018】

[0024] 対照的に、開示される実施形態は、ＡＲ位置合わせの再調節が必要であると認められる場合、手術前又は手術中に患者に配置可能な位置合わせテンプレートとして機能し得るデバイスを提供する。ＡＲシステムは、デバイスを識別し、その位置を使用してＡＲモデル上に画像モデルを位置合わせするように構成され得る。デバイスは、剛性であり得、滅菌可能な生体適合材料（例えば、滅菌可能なプラスチック）で作ることができ、特定の患者に関連する特徴、全般的な患者の解剖学的構造に関連する特徴及び／又は行われている特定の外科的処置に関連する特徴を有し得る。デバイスは、その場で３Ｄ印刷され得るか、又は解剖学的構造が患者間で比較的類似している特定のタイプの手術のためのテンプレートとして使用され得る。

【0019】

[0025] デバイスの具体的な形状は、画像モデル（及び／又は全般的な解剖学的データ）を使用し、デバイスが使用される手術のタイプに照らして設計して、手術シーンの幾何学的特性に対して最大限の精度を実現することができる。

【0020】

[0026] 有利には、開示される実施形態は、先行技術で使用されない物理的デバイスを使用して、現実の手術シーンとＡＲモデルとの間を橋渡しする。さらに、これらの技術には、通常、患者のかなりの部分が露出されていることが必要であり、これは、通常、患者の身体が手術のまさにその場所を除いて大半が覆われるため、通常、手術中に得られない条件である。有利には、開示されるデバイスは、患者に固有の位置合わせを提供することができる。これは、先行技術によって教示されているような現実世界を仮想環境に直接関連付ける汎用的な位置合わせとは対照的であり、患者に関連する物理的デバイスによる開示された位置合わせの介在がない。開示される実施形態の追加の利点は、基準マーカを使用しなくて済むこと及び先行技術に含まれる、基準マーカを使用する方法に関連する制限を克服することを含み得る。

【0021】

[0027] 有利には、開示されるデバイスの実施形態は、非侵襲性であり得、実際に、先行技術によって教示されている侵襲性の手術ガイドを直接使用することに取って代わるＡＲ視覚化を可能にする。開示される実施形態では、デバイスの位置合わせは、実際の手術に向けた準備であり得、先行技術によって教示されるように、手術中に手術ガイドを使用すること及び頭部装着型デバイスに位置合わせすることが必要でなくなる可能性がある。

【0022】

[0028] 図１Ａは、本発明のいくつかの実施形態による位置合わせデバイス１１０を用いた手術シーンの高レベルの概略図であり、図１Ｂは、本発明のいくつかの実施形態による位置合わせデバイス１１０の使用の高レベルの概略図であり、図１Ｃは、本発明のいくつかの実施形態による位置合わせシステム１００の高レベルの概略ブロック図である。システム１００は、ユーザによって使用される頭部装着型ディスプレイ（ＨＭＤ）１３０を含み、及び／又はそれと通信するＡＲユニット１２０と、滅菌可能な生体適合材料で作られ、及び位置合わせテンプレートとして構成された物理的デバイス１１０とを含み得る。ＡＲユニット１２０及び／又はそれに関連付けられたセグメント化ソフトウェア１５０は、物理的デバイス１１０のデバイス表現１１５を患者の画像モデル１２２上にアライメントするように構成され得、並びにＡＲユニット１２０及び／又はＨＭＤ１３０は、ＨＭＤ１３０上において、デバイス表現１１５を、患者に対して位置決めされ、及びＨＭＤ１３０を通して見られる物理的デバイス１１０上のアライメントされた画像モデル１２２と位置合わせして、患者に対して対応する空間的関係で画像モデル１２２又は画像モデルの一部を表示するように構成され得る。

【0023】

[0029] 図１Ａに概略的に図示されるように、患者を治療し、ＨＭＤ１３０を使用する１人又は複数の治療医及び／又は他の人員は、取り扱っている患者の実際の形態学的特徴に、患者に関連する空間的情報を関連付ける基準としてデバイス１１０を使用して、患者に関連する空間的情報（例えば、患者の位置又は患者の一部の位置）を手術の実際のシーンに位置合わせすることができる。

【0024】

[0030] 図１Ｂに概略的に図示されるように、例えば、ＡＲユニット１２０及び／又はセグメント化ソフトウェア１５０と関連付けられた仮想ディスプレイ上での初期アライメントステップ１５４は、デバイス表現１１５を患者の画像モデル１２２（例えば、コンピュータ断層撮影（ＣＴ）、磁気共鳴画像（ＭＲＩ）及び／又は超音波（ＵＳ）画像などから導出された空間的データ）上にアライメントすることによって行われ得る。ＡＲユニット１２０は、次いで、例えば３Ｄ結合モデルの形態で（例えば、メッシュ又は点群として）デバイス表現１１５を画像モデル１２２に空間的に関連付けることができる。ＡＲユニット１２０に関連付けられたセグメント化ソフトウェア１５０は、必要に応じて、データ表現方法及びフォーマットを調節するなど、関与するあらゆるデータ変換を行うように構成され得る。様々な実施形態では、デバイス表現１１５を画像モデル１２２に空間的に関連付けることは、（例えば、セグメント化ソフトウェア１５０及び／又はＡＲユニット１２０によって）自動的に、部分的に自動的に（例えば、手作業による確認で）又は手動で行われ得る。様々な実施形態では、デバイス表現１１５を画像モデル１２２に空間的に関連付けることは、ＨＭＤ１３０自体により自動的に、部分的に自動的に又は手動で行われ得る。

【0025】

[0031] 手術中、ユーザは、画像モデル１２２に空間的に関連付けられたデバイス表現１１５を含む結合モデルを、デバイス表現１１５が、ユーザのＨＭＤ１３０を通して見られる実際の物理的デバイス１１０に重複するように（仮想的に）移動させることを含む位置合わせステップ２１０を行うことのみを要求され得る。位置合わせステップ２１０は、物理的デバイス１１０の形状に対して、物理的デバイス１１０上のデバイス表現１１５に対して、及び／又はマーキング、パターン及び／又はコード（例えば、ＱＲコード）に対して行われ得る。例えば、ＨＭＤ１３０は、変換行列を適用して、物理的デバイス１１０に対する仮想シーンの位置を特定するなど、デバイス表現を物理的デバイス１１０に形態学的に位置合わせするように構成されたソフトウェア又はプロセッサにそれを行わせるソフトウェアを含み得る。ステップ１５４で画像モデル１２２がデバイス表現１１５にアライメントされたため、デバイス表現１１５が物理的デバイス１１０上に位置合わせされると、画像モデル１２２も実際の患者（例えば、ＨＭＤ１３０を通して見られるように輪郭１０９によって表示される）の上に正しく位置合わせされる。例えば、内部構造などの空間的内容は、（例えば、デバイス１１０が上に置かれた）患者の解剖学的特徴に対して正しく位置合わせされ得る。様々な実施形態では、位置合わせ２１０は、（例えば、ＡＲユニット１２０及び／又はＨＭＤ１３０によって）自動的に、部分的に自動的に（例えば、手作業による確認で）又は手動で行われ得る。

【0026】

[0032] 複数のＨＭＤ１３０又は他のデバイスを有する複数のユーザが存在する場合、それらユーザのいずれも位置合わせステップ２１０を独立して実行することができるため、ＨＭＤ１３０間及びそれらとＡＲユニット１２０との間のさらなる協調及び通信を必要とすることなく、それぞれの視点から患者の上に画像モデル１２２を並行して及び個別に位置合わせできるようになる。

【0027】

[0033] 図１Ｃに概略的に図示されるように、システム１００及びＡＲユニット１２０の様々な構成を実装することができる。ＡＲユニット１２０は、ＨＭＤ１３０と一体化され得、ＡＲユニット１２０及び／又はＨＭＤ１３０のいずれも、患者の上のデバイス１１０をキャプチャするためのカメラを含み得る。例えば、ＡＲユニット１２０及び／又はＨＭＤ１３０は、ＨＭＤ及び／又はMicrosoft（登録商標）のHololens（登録商標）などの任意のタイプのＡＲデバイスを含み得る。画像モデル１２２及び／又は関連する医療情報のいずれの部分も、必要に応じて、手術中及びユーザの選好に従ってＨＭＤ１３０上に提示され得る。追加のＨＭＤ及び／又はディスプレイ１３０Ａは、例えば、通信リンク９９（例えば、WiFi、BlueTooth又は任意の他の通信プロトコル）を介してＡＲユニット１２０と通信し得る。特定の実施形態では、追加のＨＭＤ及び／又はディスプレイ１３０Ａは、いずれのディスプレイ間の通信も使用することなく、デバイス１１０のみを共通の位置合わせ対象として使用してＨＭＤ１３０に相互に位置合わせされ得る。追加のＨＭＤ及び／又はディスプレイ１３０Ａの例は、手術室にいる別の医師及び／又は離れた場所にいる専門家、助言者、インターン、訓練生等によって使用される追加のＨＭＤ（例えば、Hololens（登録商標）デバイス）を含み得る。追加のＨＭＤ及び／又はディスプレイ１３０Ａの例は、例えば、相談、監視又は教示の目的のためにリアルタイムで使用されるスマートフォン及び／又はリモートディスプレイなど、他のデバイスを含み得る。特定の実施形態では、追加のＨＭＤ及び／又はディスプレイ１３０Ａは、ロボット手術システムによって使用される、処置を支援するか又は行われている処置の分析に関連するデータを導出することが可能な手術システムの内部表現を含み得る。

【0028】

[0034] ＡＲユニット１２０は、通常、ユーザの視界の上及び／又は異なるソースから提示された内容（例えば、シミュレーション又はモデル）の上に重ねられる追加の内容を提供する表示面又は投影モジュールを含む。例えば、ＡＲグラスを使用して、ユーザの視界の上に、例えば医師によって観察される手術シーンの拡張に使用される、手術に関連するデータ又は画像などの内容を加えることができる。ＡＲユニット１２０は、例えば、追加された内容と、視界及び／又は他のソースからの内容（例えば、シミュレーション又はモデル）とに共通の空間座標を提供する位置合わせにより、ユーザの視界及び／又は他のソースからの内容に対して追加の内容を統合する。ＡＲユニット１２０は、統合を支援するための様々な対応するセンサ及び通信モジュールを含み得る。ＡＲユニット１２０の例は、Microsoft（登録商標）のHololens（登録商標）及び関連するデバイスと同様に、眼鏡が装着されたディスプレイ又は投影ユニット（例えば、仮想網膜ディスプレイ － ＶＲＤ又はEyeTap）、コンタクトレンズ、頭部装着型ディスプレイ（ＨＭＤ）、例えば光学頭部装着型ディスプレイ（ＯＨＭＤ）、頭上ディスプレイ（ＨＵＤ）だけでなく、ＡＲ内容（例えば、デバイスのカメラからの内容及び／又は他のソースからの内容の上に重ねられた内容）を提供するように構成されたスマートフォンディスプレイのいずれかも含む。ＡＲユニット１２０及びＨＭＤ１３０は、別々に図示されているが、それらは、場合により連結プロセッサによって支援されて１つのデバイスとして一体化され得る。

【0029】

[0035] 図１Ｄ～図１Ｆは、本発明のいくつかの実施形態によるＡＲユニット１２０及び関連するＨＭＤ１３０の高レベルの概略ブロック図である。ＡＲユニット１２０及びＨＭＤ１３０又は他のＨＭＤ及び／又はディスプレイ１３０Ａの様々な実施形態を様々な実施形態で使用することができる。例えば、ＡＲユニット１２０は、ＨＭＤ１３０とは別々であるか、又は例えばMicrosoft（登録商標）のHololens（登録商標）システムなどのＡＲデバイス内でＨＭＤと一体化され得る。外部ＡＲユニット１２０（例えば、図１Ｄの概略的なスタンドアロン型の例を参照されたい）なしで独立したデバイスとして、又は例えば１つ又は複数のプロセッサによって実装されたＡＲユニット１２０とともにHololens（登録商標）システムを使用して、システム１００（例えば、図１Ｅの概略的な例を参照されたい）の計算処理能力を向上させることができる。いくつかの実施形態では、ＡＲユニット１２０は、ＨＭＤ１３０及び／又はHololens（登録商標）１３０にＡＲ内容をストリーミングするメインプロセッサとして使用され、その計算処理負荷を軽減することができる。いくつかの実施形態では、複数のディスプレイ及び／又はＨＭＤ１３０、１３０Ａが使用され、ＡＲユニット１２０は、同じ物理的デバイス１１０を使用して、すべてのユーザディスプレイについて位置合わせを行うように構成され得る（例えば、図１Ｅの概略的な例を参照されたい）。いくつかの実施形態では、追加の計算処理モジュール１２０Ａ（例えば、セグメント化ソフトウェア１５０）を使用して、計算処理労力の少なくとも一部を行うことができ、例えば、３Ｄモデル化モジュール１２０Ａは、別々に実装するか、又はＡＲユニット１２０と一体化させて、デバイス表現１１５と、例えば画像モジュールから導出されるか又は例えばＨＭＤ１３０を介して直接導出された解剖学的画像モデル１２２との組み合わせを実行することができる（例えば、図１Ｆの概略的な例を参照されたい）。

【0030】

[0036] 例えば、３Ｄモデル化モジュール１２０Ａは、様々なタイプの医療データを、（例えば、画像処理及び／又は特徴識別のためのＡＩアルゴリズム等を適用しながら、スライスデータを容積測定のデータに変換することによって）３Ｄデジタルモデルに変換するための、D2P（商標）（DICOM-to-PRINT、ＤＩＣＯＭは、医療用規格のデジタル画像及び通信の略である）などのセグメント化ソフトウェア１５０を含み得る。D2P（商標）などのセグメント化ソフトウェア１５０は、医療画像データ、例えばＣＴ、ＭＲＩ及び／又はＵＳ画像をデジタル的に処理可能な任意のタイプの３Ｄモデルに変換するように構成され得る。例えば、セグメント化ソフトウェア１５０は、画像をセグメント化し、セグメント化を集約して、３Ｄプリンタ、ＶＲデバイス、手術計画立案ソフトウェア及びＣＡＤソフトウェアで使用され得るデジタルファイルをもたらすことにより、インポートされたＤＩＣＯＭ画像をそれぞれの３Ｄモデルに変換することができる。ＡＲユニット１２０及び／又はセグメント化ソフトウェア１５０は、場合により、まさに実行しようとしている特定の処置に関連する画像処理を適用するように、例えばユーザの選好に従って画像モデル１２２の特定の部分のみをＨＭＤ１３０上に表示するように構成され得る。デバイス表現１１５は、３Ｄモデル及び／又は画像モデル１２２とアライメントされる仮想スキャンとしてセグメント化ソフトウェア１５０にインポートすることができる。アライメント１５４は、デバイス表現１１５及び／又は画像モデル１２２が、場合により、画像モデル１２２内で識別可能な解剖学的特徴に対してアライメントされるまでそれらに移動及び回転を加えることにより、セグメント化ソフトウェア１５０へのインタフェースを介して行われ得る。特定の実施形態では、アライメント１５４は、セグメント化ソフトウェア１５０によって少なくとも部分的に自動的に行って、必要に応じて例えば手動で調節することができる（仮想環境中において、例えば図１Ｂを参照されたい）。

【0031】

[0037] 代替的に又は補足的に、ＨＭＤ１３０を使用して、デバイス１１０を、ＨＭＤ１３０を通して見られる患者の解剖学的構造に対して直接位置合わせすることができる。様々な実施形態では、デバイス１１０の位置合わせは、ＡＲユニット１２０、ＨＭＤ１３０のいずれか又はＡＲユニット１２０及び／又はＨＭＤ１３０と通信する別のデバイスによって行われ得る。

【0032】

[0038] 様々な実施形態では、物理的デバイス１１０を使用して、通信リンクではなく、単純なハードウェア（デバイス１１０）を利用する複数のHoloLense及び／又は複数のコンピュータディスプレイなど、複数のＨＭＤ１３０間で同期させることができる。この手法は、複合３Ｄデータを通信する代わりに、デバイス１１０の共通の位置合わせによってＨＭＤ１３０を同期させることができ、データストリーム及び通信負荷が大きい場合に特に有益であり得る。例えば、画像モデル１２２は、計算処理が非常に重くなり得るＣＴデータ、手術に関連する追加情報及び手術のためのモデルを含み得る。ＨＭＤ１３０間でのデータのストリーミングを必要とする先行技術に代わり、デバイス１１０を使用する位置合わせは、この必要がなくなる一方、ＨＭＤ１３０間並びに関連するユニット及びモジュール間に完全な空間的同期を提供することができる。物理的デバイス１１０が手術中に必要な場合（例えば、患者が移動する場合、手術が複数の段階を含む場合等）、位置合わせの単純な繰り返しは、物理的デバイス１１０を適切な位置に置き、それに従ってＨＭＤ１３０を空間的に同期させることによって実現される。ロボットシステムでも、デバイス位置合わせを介して空間的に同期させて、この目的のために複合ユーザインタフェースを置換又は拡張することができる。

【0033】

[0039] 画像モデル１２２は、ＣＴ（コンピュータ断層撮影）、ＭＲ（ＭＲＩ － 磁気共鳴画像などの磁気共鳴データ）、ＵＳ（超音波、例えば尿石又は胆石などの結石の手術をするときなど）、ＰＥＴ（陽電子放射断層撮影）等の１つ又は複数のソースから構築され得る。画像モデル１２２は、中間セグメント化及びメッシュモデルの生成の有無を問わず、デバイス１１０を直接位置合わせすることが可能な点群モデルを生成する３Ｄスキャナを使用して直接構築され得る。特定の実施形態では、デバイス１１０は、（例えば、解剖学的特徴が顕著なときなどに）外面の形態学的構造のみを使用して、画像データを必要とせずに位置合わせすることができる。このような場合、患者の解剖学的構造及び／又はデバイス１１０のために中間メッシュモデルを使用することなく、３Ｄスキャナを直接使用することができる。例えば、外科的処置の計画立案のため、又は非侵襲性処置のため、又は侵襲性処置のベースラインとして又は（例えば、緊急の場合において若しくは患者に照射される放射線量を減らすために）追加の画像化の必要がない以前の画像データの確認のために、外面のスキャンのみを使用することができる。

【0034】

[0040] 特定の実施形態では、画像モデル１２２は、例えば、周辺領域に関して又は患者に利用可能な画像データがない場合、仮想モデルを少なくとも部分的に含み得る。開示されるデバイス１１０の利点の１つは、特定の画像データがない場合でもそれらのデバイスを位置合わせに使用することができ、したがって位置合わせを実行するために画像化手順を行うこと又は最近の画像データが必ずしも必要でない点であることが強調される。緊急手術の場合、放射線を回避することが推奨される場合又は仮想モデルのベースとして役立つ可能性がある古くなった画像データが利用可能である場合、この利点は、重要である。

【0035】

[0041] 様々な実施形態では、開示される位置合わせを使用して、焦点式超音波の照射などの非侵襲性処置、低侵襲性処置及び完全侵襲性処置のいずれかを行うことができる。

【0036】

[0042] 特定の実施形態では、追加のＨＭＤ及び／又はディスプレイ１３０Ａは、目下の手術の可能な手法をチェックするために使用されるシミュレーションモデルを含み得る。例えば、離れた場所にいる専門家は、デバイス１１０の位置合わせを介して実際の患者と空間的に同期されたシミュレーションモデルを使用して、異なる手術手法をチェック又は確認し、実際の外科医は、好適な手法を更新することができる。必要に応じて、物理的デバイス１１０は、推奨された手法に関してより適切な位置合わせを提供するように修正し、手術室においてリアルタイムで生成することができる。手術の間、医師は、（物理的デバイス１１０が除去されたときでも）モデル１１０をそのままＨＭＤ１３０上に表示して、必要に応じて手術中を通して方向付け又はナビゲーションに役立てることができ、必要に応じて、離れた場所にいる、物理的デバイス１１０に関する専門家との通信を維持することできる。デバイス１１０は、手術を支援する指示的な注釈を含むように生成され得る。特定の実施形態では、手術中の現実の共同作業は、（例えば、Procedure Rehearsal Studio（商標）システム、ＰＲＳにおけるように）現在の患者に固有のシミュレーションを改良するように物理的デバイス１１０によって可能にされ得る。

【0037】

[0043] 図２Ａ～図２Ｆは、本発明のいくつかの実施形態による物理的デバイス１１０の高レベルの概略図を含む。位置合わせテンプレートとしての物理的デバイス１１０は、特定の患者、指定された解剖学的特徴及び／又は特定の外科的処置に適合するような形状にされ得る。

【0038】

[0044] 図２Ａ及び図２Ｂは、患者の仙骨領域の手術のために患者の仙骨の上方に置かれた物理的デバイス１１０を（それぞれ側面図及び上面図で）概略的に図示する。概略的に図示されるように、デバイス１１０は、選択された患者の解剖学的点、例えば後骨盤及び仙骨部の骨の上で接触する突部１１１を有するように設計され得る。デバイス１１０は、位置合わせを支援するために、マーカ１１３若しくは他の表示（例えば、コード化された図表、ステッカー、トラッカー等）をさらに含み得、及び／又は特定の形状若しくは部分を有し得る。

【0039】

[0045] 図２Ｃ及び図２Ｄは、患者の顔面領域の手術のために患者の顔面の上方に置かれた物理的デバイス１１０を（それぞれ側面図及び上面図で）概略的に図示する。概略的に図示されるように、デバイス１１０は、選択された患者の解剖学的点、例えば概略的に図示されるように前額部、鼻及び頬骨で接触する突部１１１を有するように設計され得る。デバイス１１０は、位置合わせを支援するために、マーカ１１３若しくは他の表示（例えば、コード化された図表、ステッカー、トラッカー等）をさらに含み得、及び／又は特定の形状若しくは部分を有し得る。デバイス１１０の様々な実施形態は、患者のあらゆる特定の解剖学的特徴又は目印に対して使用するように調節され得る。

【0040】

[0046] 図２Ｅ及び図２Ｆは、本発明のいくつかの実施形態による物理的デバイス１１０の高レベルの概略図である。図２Ｅは、本明細書に開示されるように、特性が異なる２つ以上の部分を有するデバイス１１０の概略的な例を提供し、図２Ｆは、本明細書に開示されるように、デバイスのテンプレートを特定の患者に対して適合させるための調節可能な特徴を有するデバイス１１０の概略的な例を提供する。

【0041】

[0047] 画像モデル１２２は、図２Ａ～図２Ｄに概略的に表示されるように、顔の顔面骨（例えば、頬部、前額部）、鼻若しくは場合により歯、又は骨盤若しくは仙骨の骨の突起、又は任意の他の解剖学的特徴など、デバイス１１０が上に置かれる可能性がある患者の解剖学的特徴に対応する部分を含むように構成され得ることに留意されたい。

【0042】

[0048] 対応するマーカ１１３を使用して、個々のデバイスのテンプレート及び／又はデバイスのテンプレートの部分を区別が可能であるように指定することができる。特定の実施形態では、ＡＲユニット１２０は、デバイス１１０の意図的でない変化又は逸脱を検出し、対応する警告を提供して、位置合わせの不正確さを防ぐように構成され得る。

【0043】

[0049] 特定の実施形態では、物理的デバイス１１０は、位置合わせに使用される第１の部分１１２と、特定の患者特性及び／又は患者の解剖学的構造の変化に対して調節可能な第２の部分１１４とを有し得る。例えば、第２の部分１１４は、患者と接触する物理的デバイス１１０の周辺の少なくとも一部を含み得る。第２の部分１１４は、特定の患者特性に対する調節をもたらすように可撓性であり、及び／又は機械的に修正可能であり得る。例えば、顔の手術用物理的デバイス１１０は、特定の患者に合わせるために、剛性の第１の部分１１２及び可撓性の周辺１１４（例えば、図２Ｅの部分１１４は、完全な円形又は完全な円形若しくは楕円の一部或いは他の周辺形態を形成するように広げられている）を有し得る。特定の実施形態では、デバイス１１０は、固定された上側幾何学的形状及び調節可能な下側幾何学的形状を含み得、例えば、第２の部分１１４は、可撓性及び／又は可鍛性であり得る（例えば、図２Ｅを参照されたい）。デバイス１１０は、テンプレート、例えばライブラリから生成し、患者の解剖学的構造及び／又は患者の解剖学的構造の変化に対してデジタル的に調節することができる。代替的に又は補足的に、デバイス１１０は、接合箇所１１６などの特定の部分で構成可能であり得る（例えば、図２Ｆを参照されたい）。例えば、接合箇所１１６は、円筒状であり得る。１つ又は複数の第２の部分１１４の変形の程度は、例えば、ＡＲユニット１２０及び／又はＨＭＤ１３０によって視覚的に検出することができ、任意選択的に目盛マーク１１７を使用して、変形又は特定の患者の解剖学的特徴に適合させる際にデバイス１１０の部分に適用される修正（例えば、回転）の程度を直接表示することができる。

【0044】

[0050] 様々な実施形態では、デバイス１１０は、効率的及び正確な光学的位置合わせを提供又は支援するために、様々な色使い及び／又はパターンを含み得る。様々な実施形態では、デバイス１１０は、位置合わせのために同時に使用される複数のデバイス１１０として複数の別々の（又は相互接続された）部分を含み得る。例えば、１つの大型の（例えば、幅が数十ｃｍである）デバイス１１０の場合、使用には不便であるが、小型である、場合により複数のデバイス１１０は、解剖学的特徴の上にセットすることができ、複数のデバイス１１０に対して位置合わせを行うことができる。代替的に又は補足的に、例えば手術中に小型デバイス１１０を使用又は追加することによって位置合わせの調節を行って、位置合わせの精度を向上させることができる。特定の実施形態では、手術が行われている場所のすぐ近傍で得られるよりも障害物が少ない位置合わせ及び／又はより顕著な目印に対する位置合わせを提供するために、デバイス１１０は、手術の直接的な領域の外部、場合により、より遠く離れた解剖学的目印に置くか又はさらに患者のそばに置くこともできる。場合により、デバイス１１０を患者と接触させずに使用すると、滅菌する頻度を減らし、及び／又は他の手術室の装置と一緒に殺菌すること又は追加の滅菌なしで手術中に再度使用することができ、異なるタイプのデバイス１１０は、手術の段階などの異なる状況並びに必要な位置合わせ精度及び実現される位置合わせ精度下で使用することができ、また変化する状況に対処するように切り替えることができる。

【0045】

[0051] デバイス１１０は、例えば、サイズ、年齢、解剖学的特徴等の異なる患者特性の修正可能なテンプレートとして生成され得、必要に応じて特定の患者に適合するように修正することによって生成され得る。特定の実施形態では、デバイスのテンプレートとともに、特定の状況に対するテンプレートを調節するための命令として特定のデバイスの修正を提供することができ、例えば特定の回転角度を特定の使用のために示唆することができる。調節可能なデバイス１１０は、デバイス１１０を形成するように組み立てることが可能な１つのピース及び／又は複数のピースとして３Ｄ印刷することができる。ＡＲユニット１２０及び／又はＨＭＤ１３０は、目盛マーク１１７を識別し、修正されたデバイスのテンプレート１１０の精密な構造をそれから求めるように構成され得る。

【0046】

[0052] 特定の実施形態では、システム１００は、特定のデバイス及び／又はテンプレートとして、特定の手術前に選択されるデバイス表現１１５の１つ又は複数のライブラリを含み得る。例えば、コードを使用してデバイス表現１１５を指定し、それらを特定の手術、解剖学的領域、患者特性及び／又は特定の患者に関連付けることができる。それに対応して、そこで使用される位置合わせデバイスに対して特定の処置のシミュレーション及び／又は再構築を可能にすることができる。

【0047】

[0053] 特定の実施形態では、デバイス１１０は、特定の場合における印刷に必要な時間及び材料を減らすために、１つ又は複数の大型の再使用可能な部分（例えば、部分１１２）及び小型の調節可能な使い捨ての部分（例えば、部分１１４）を含み得る。

【0048】

[0054] デバイス１１０は、特定の患者、特定の手術及び／又は特定の解剖学的特徴に合わせてカスタマイズすることができる。特定の実施形態では、デバイス１１０の形状は、患者の画像モデル１２２を使用して定義され、（例えば、口腔手術及び顎顔面手術において）手術の場所に近い患者の身体部分に適合するように形状を構成することができる。対応するデバイス１１０は、手術の準備手順の一部として又は十分に高速の３Ｄプリンタが利用可能になれば、手術中でも、例えば修正が必要であると分かった場合又はコピーが必要な場合に３Ｄプリンタ１４０によって（１つ又は複数のコピーで）印刷することができる。代替的に又は補足的に、デバイス１１０を提供及び／又は補足するために、１つ又は複数の調節可能なデバイスのテンプレート１１０を使用することができる。

【0049】

[0055] 代替的に又は補足的に、デバイス１１０は、仙骨の解剖学的領域、胸骨又は他の比較的安定した構造など、指定された解剖学的特徴に従って事前に準備することができる。デバイス１１０は、必要に応じて、デバイス１１０の物理的な操作（例えば、一部の除去、可撓性部分の押圧等）によるか、又は特定の患者に対する手術の準備としてデバイスを実際に印刷する際にデバイスのテンプレートを修正することによるかのいずれかにより、患者の精密な解剖学的構造に合わせて微調整可能な部分を含み得る。デバイス１１０は、例えば、内部器官又はインプラントの位置合わせの精度を向上させるための主要な手術介入の場合など、内部使用向けの形状にすることも可能である。

【0050】

[0056] 特定の実施形態では、ＡＲユニット１２０は、画像モデル１２２及び／又は特定の患者の特定の患者特性から物理的デバイス１１０の形状を導出するようにさらに構成され得る。特定の実施形態では、ＡＲユニット１２０は、特定の患者特性に従って物理的デバイス１１０の所与のテンプレートを調節し、及び個人化された物理的デバイス１１０を印刷するために、調節されたテンプレートを３Ｄプリンタ１４０に送るように構成され得る。

【0051】

[0057] 実施形態のいずれかにおいて、例えば、手術室に隣接している３Ｄプリンタ１４０は、所与のテンプレート及び／又はＡＲユニット１２０によって提供される調節されたテンプレートに従い、手術の準備において及び／又は手術中に物理的デバイス１１０を印刷するように構成され得る。

【0052】

[0058] 図３Ａ、図３Ｂ及び図４は、本発明のいくつかの実施形態による方法２００を図示する高レベルのフローチャートである。方法２００は、図３Ａに概略的に図示されるように、ＡＲユニット１２０に（場合によりＨＭＤ１３０内にも）少なくとも部分的に実装することができ、及び／又は処理ユニット１５５に少なくとも部分的に実装することができるセグメント化ソフトウェア１５０に対する初期入力として画像データ９０を使用することを含み得る。方法２００は、セグメント化ソフトウェア１５０に実装されるとき、画像データ９０、例えば患者若しくは患者の一部分のデータ又は患者若しくは患者の一部分について記述したものをインポート又は受信すること（段階１５２）と、例えば上述したD2P（商標）などのセグメント化ソフトウェアを使用して及び／又は場合により例えば人工知能（ＡＩ）若しくは深層学習の方法論によって支援された追加の画像処理を適用して、指定された特徴を抽出することにより、患者の解剖学的構造モデル１２２を作成すること（段階１２２Ａ）と、例えば患者に固有の及び／又は処置に固有の位置合わせデバイスのライブラリ１６２から、デバイス表現１１５に対応し得る物理的デバイス１１０の仮想位置合わせデバイスモデルをインポート（又は生成）すること（段階１１５Ａ）と、仮想デバイスモデルを患者の解剖学的構造に対してアライメント（段階１５４）し、任意選択的に、それに続いて物理的位置合わせデバイス１１０を（例えば、３Ｄ印刷によって）作成２０５し、デバイスを滅菌２０７することと、必要に応じて、患者の解剖学的構造に基づいて仮想位置合わせデバイスに形態学的な調節を適用すること（段階１５６）と、アライメントされた位置合わせデバイスを含む患者の解剖学的構造モデルをＡＲユニット／デバイス１３０／１２０にそれぞれエクスポートすること（段階１５８）とを含み得る。デバイスモデルが患者及び／又は処置に対して調節され、生成される場合、物理的デバイスを患者の解剖学的目印に置き（段階２０９）、ＡＲユニット１２０及び／又はＨＭＤ１３０内で仮想デバイス及び解剖学的構造と位置合わせすることができる。必要に応じて、ＡＲユニット１２０及び／又はＨＭＤ１３０は、物理的デバイス１１０の配置を調節して、例えば位置合わせを向上させ、関心領域への接近性を高める等のためにさらに使用され得ることに留意されたい。

【0053】

[0059] 方法２００は、図３Ｂに概略的に図示されるように、物理的位置合わせデバイスのためのテンプレート、例えば調節可能、可撓性及び／又は可鍛性デバイスのテンプレートを、本明細書に開示されるような特定の患者特性に従い、変形、部分の相対的な移動及び／又はテンプレートの部分の剥離若しくは除去により、特定の患者に対して調節可能な１つ又は複数のサイズで使用すること（段階２０４）を含み得る。仮想位置合わせデバイスモデルのテンプレートのインポート（段階１１５Ｂ）及び仮想デバイスモデルのテンプレートの、患者の解剖学的構造に対するアライメント（段階１５４Ａ）に続いて、仮想位置合わせデバイスのテンプレートの形態学的構造は、患者の解剖学的構造に基づいて調節すること（段階１５７）ができ、位置合わせデバイスのための物理的テンプレートは、それに応じて調節すること（段階２０６）ができ、その後に滅菌２０７が続き、アライメントされた調節された位置合わせデバイス（テンプレート）を含む患者の解剖学的構造モデルをＡＲユニットにエクスポートすること（段階１５８Ａ）が続く。デバイスのテンプレート及びその調節は、（例えば、サイズ及び／又は大きさの異なる部分を有する）１つ若しくは複数のデバイスのテンプレート及び／又は１つ若しくは複数のデバイスのテンプレートの部分に対して行われ得る。対応するマーカ１１３を使用して、個々のデバイスのテンプレート及び／又はデバイスのテンプレートの部分を区別が可能であるように指定することができる。

【0054】

[0060] 例示的な方法２００は、図４に概略的に図示されるように、物理的デバイスのデバイス表現を患者の画像モデル上にアライメントすること（段階１５４）と、ＨＭＤ上において、デバイス表現を、患者に対して位置決めされ、及びＨＭＤを通して見られる物理的デバイス上のアライメントされた画像モデルと位置合わせして（段階２１０）、患者に対して対応する空間的関係で画像モデル又はその一部をＨＭＤ上に表示すること（段階２１２）とを含み得る。

【0055】

[0061] 位置合わせ２１０は、様々な実施形態により、異なるソースからのデータ、このような画像モデル１２２及び／又はその一部と、例えばＨＭＤ１３０を通して見られる実際の患者とを仮想環境で確実に空間的に対応させるように行われ得る。位置合わせ２１０は、空間で表されるデータセット間の空間的変換、例えばデバイス表現１１５から、ＨＭＤ１３０に画像化されているような物理的デバイス１１０への空間的変換を含み、それらが一致することを検証することができる。対応する空間的変換は、デバイス表現１１５を物理的デバイス１１０に変換するために必要なものとして画像モデル１２２に適用することができ、これにより、画像モデル１２２は、患者の上に位置合わせされる。空間的変換は、異なる座標系を関連付けることができ、データセットのフォーマット及び空間的特徴及び本明細書に開示されるような物理的デバイス１１０の実現可能な修正又は調節によって決まり得る。例えば、空間的変換は、物理的デバイス１１０への視野角及び距離の変化及び／又は画像モデル１２２の空間的特徴に関連付けることができる。様々な実施形態では、ＨＭＤ１３０のアプリケーションプログラミングインターフェース（ＡＰＩ）（例えば、Hololens（登録商標））の一部である位置合わせアルゴリズムを使用して、位置合わせ２１０を実行することができる。

【0056】

[0062] 様々な実施形態では、方法２００は、例えば、以下の段階：物理的デバイスを、特定の患者、指定された解剖学的特徴及び／又は特定の外科的処置に適合するような形状にすること（段階２２０）、画像モデル及び／又は患者の特定の患者特性から物理的デバイスの形状を導出すること（段階２２２）及び／又は特定の患者特性に従って物理的デバイスのための所与のテンプレートを調節（段階２２４）し、及び調節されたテンプレートを個人化された物理的デバイスとして３Ｄ印刷すること（段階２３２）のいずれかを含み得る。特定の実施形態では、方法２００は、位置合わせを行うために物理的デバイスの第１の部分を構成し、及び特定の患者特性に対して調節可能であるように物理的デバイスの第２の部分を構成すること（段階２２６）を含み得る。

【0057】

[0063] 実施形態のいずれにおいても、方法２００は、同じ物理的デバイスを使用して、複数のＡＲディスプレイについて位置合わせを行うこと（段階２４０）及び／又は位置合わせを使用して、異なるタイプの複数の近位及び／又は遠隔ＡＲディスプレイを協調させること（段階２４２）をさらに含み得る。

【0058】

[0064] 物理的デバイス１１０は、滅菌可能な範囲の生体適合材料で作ることができる。いくつかの実施形態では、物理的デバイス１１０は、場合により３Ｄ印刷以外の様々な手順によって生成することができ、様々なポリマー（例えば、ナイロン）、プラスチック又は金属（例えば、チタン）を含む任意の滅菌可能な生体適合材料で作ることができる。特定の実施形態では、物理的デバイス１１０は、３Ｄ印刷を使用して生成され得、場合により手術室に隣接している３Ｄプリンタを使用し、手術の準備の一部として又は必要に応じて手術中でもデバイス１１０を提供し得る。物理的デバイス１１０が３Ｄ印刷される場合、やはり滅菌可能であり、生体適合性を有する対応する適合材料から作ることができる。非限定的な例は、剛性の白色材料であるFigure 4（登録商標）MED-WHT 10及び剛性の透光性材料であるFigure 4（登録商標）MED-AMB 10など、いずれもが生体適合性を有し、滅菌可能なＵＶ硬化性ポリマーである3DSystems（登録商標）のFigure 4（登録商標）プリンタとともに使用可能な材料を含む。他の材料は、ＡＢＳ（アクリロニトリルブタジエンスチレン）若しくはその改質物などのポリマー又は生体適合性を有し、滅菌可能である限り、任意の他のプラスチック材料を含み得る。材料の追加の例は、バランスのとれた機械物性及び高精細な表面解像度を有する、耐久性のある熱可塑性プラスチックであるDuraForm ＰＡ（ＳＬＳ）又は生体適合性を有し、滅菌可能である他のナイロン様及び／又はポリプロピレン様の熱可塑性プラスチックを含む。これらの材料のいずれも、デバイスの生成プロセスの一部として例えばＵＶ又はレーザによって硬化させることができる。チタン又はその合金などの金属を使用して物理的デバイス１１０を生成することもできる。

【0059】

[0065] 本発明者らは、３Ｄ印刷可能な材料を使用すると、手術室での時間の浪費を避けて、手術前にデバイス１１０を準備するために要する時間の点で有利であることに注目している。例えば、自動セグメント化を有する事前に準備されたテンプレートを使用することにより、要求があり次第、滅菌を含めて１～１．５時間以内にデバイス１１０を３Ｄ印刷することが可能になり得、時間ペナルティなしに手術の計画立案時に使用することができるようになる。

【0060】

[0066] デバイス１１０は、可撓性材料、剛性材料と可撓性材料との組み合わせ又は剛性材料を含み得、また位置合わせを支援するためのマーカ（例えば、チタンマーカ）及び／又はステッカーを含み得る。デバイス１１０の部分は、（例えば、可撓性若しくは修正可能であることにより、例えば縁部を切断若しくは曲線状にすること又は精密な調節のためにブール演算を使用することにより）患者の表面特徴に対して調節可能であり得る一方、デバイス１１０の特定の部分は、位置合わせを簡易化するように構成され得る。ＣＡＤ（コンピュータ支援設計）演算に関連して、減算、交差、加算、結合等のブール演算を適用して、例えばスキャンされた特徴又はモデル化された特徴を仮想デバイスのテンプレートの領域から減算する（それにより調節された仮想デバイス表現１１５をもたらす）ことにより、デバイスのテンプレートの一部を、患者のスキャニング及び／又は画像モデル１２２から導出されるような精密な患者特徴に対して調節することができる。調節に続いて、デバイス１１０は、例えば、手術の準備として特定の患者特徴に適合するように３Ｄ印刷され得る。特定のデバイス特徴は、位置合わせ目的のために変更せずに残すことができ、及び／又はＡＲユニット１２０は、調節された仮想デバイス表現１１５に従って物理的デバイス１１０を位置合わせすることができる。

【0061】

[0067] 特定の実施形態では、複数のデバイス１１０は、必要に応じて、異なる手術の段階のための代替的な設計又は補助的なデバイスとして位置合わせを検証又は再度確立するために準備することができる。３Ｄプリンタにより、複数の手術のための複数のデバイス１１０を同時に準備することが可能になることに留意されたい。

【0062】

[0068] 有利には、単純なデバイス１１０及びデバイス１１０の単純な使用により、外科的処置中の貴重な時間を節約することができ、手術前及び手術中に最大限の位置合わせ精度に到達することが可能になる。例えば、位置合わせ及び調節に単純な物理的モデルデバイス１１０を使用することは、ジェスチャを使用して仮想モデルを患者に対して正しい位置に置くことよりも簡単である。使用が簡単であることにより、物理的デバイス１１０を再度適用し、位置合わせを相応に調節することにより、手術中の変化に対して調節することが可能になる。このように、物理的デバイス１１０は、必要に応じて、（例えば、患者の移動又は位置調節に続いて）手術中に外科医がＡＲ位置合わせを調節するための物理的ユーザインタフェースを提供する。

【0063】

[0069] 図５は、本発明の実施形態とともに使用され得る例示的なコンピューティングデバイス１７０の高レベルのブロック図である。例えば、コンピューティングデバイス１７０を少なくとも部分的に使用して、ＡＲユニット１２０、ＨＭＤ１３０及び／又は画像モデル１２２の導出並びに処理及び／又はデバイス表現１１５の少なくとも１つを実装することができる。追加的に又は補足的に、処理ユニット１５５及び／又はセグメント化ソフトウェア１５０は、コンピューティングデバイス１７０又はその一部によって少なくとも部分的に実装され得る。

【0064】

[0070] コンピューティングデバイス１７０は、例えば、１つ又は複数の中央処理装置プロセッサ（ＣＰＵ）、１つ又は複数のグラフィック処理装置（ＧＰＵ又は汎用ＧＰＵ、すなわちＧＰＧＰＵ）、チップ又は任意の適切なコンピューティングデバイス若しくは計算処理デバイスであり得るか又はそれを含み得るコントローラ又はプロセッサ１７３と、オペレーティングシステム１７１と、メモリ１７２と、ストレージ１７５と、入力デバイス１７６と、出力デバイス１７７とを含み得る。

【0065】

[0071] オペレーティングシステム１７１は、協調、スケジューリング、調停、監督、制御又はコンピューティングデバイス１７０の動作の他の管理、例えばプログラムの実行のスケジューリングなどを伴うタスクを実行するように設計及び／又は構成された任意のコードセグメントであり得るか又はそれを含み得る。メモリ１７２は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤ－ＲＡＭ）、ダブルデータレート（ＤＤＲ）メモリチップ、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリユニット、長期メモリユニット又は他の適切なメモリユニット若しくはストレージユニットであり得るか又はそれを含み得る。メモリ１７２は、複数の、場合により異なるメモリユニットであり得るか又はそれを含み得る。メモリ１７２は、例えば、方法を行うための命令（例えば、コード１７４）及び／又はユーザ応答、中断等のデータを格納することができる。

【0066】

[0072] 実行可能コード１７４は、任意の実行可能コード、例えばアプリケーション、プログラム、プロセス、タスク又はスクリプトであり得る。実行可能コード１７４は、コントローラ１７３により、場合によりオペレーティングシステム１７１の制御下で実行され得る。例えば、実行可能コード１７４は、実行されると、本発明の実施形態に従い、コンピュータコードの生成若しくはコンパイル又はＶＲ実行若しくは推測などのアプリケーション実行を引き起こすことができる。実行可能コード１７４は、本明細書に記載される方法の実施形態によって生成されたコードであり得る。本明細書に記載される様々なモジュール及び機能に対して、１つ又は複数のコンピューティングデバイス１７０又はコンピューティングデバイス１７０の構成要素を使用することができる。コンピューティングデバイス１７０に含まれるものと同様の又は異なる構成要素を含むデバイスを使用することができ、ネットワークに接続し、システムとして使用することができる。１つ又は複数のプロセッサ１７３は、例えば、ソフトウェア又はコードを実行することにより、本発明の実施形態を行うように構成され得る。

【0067】

[0073] ストレージ１７５は、例えば、ハードディスクドライブ、フロッピーディスクドライブ、コンパクトディスク（ＣＤ）ドライブ、書き込み可能ＣＤ（ＣＤ－Ｒ）ドライブ、ユニバーサルシリアルバス（ＵＳＢ）デバイス又は他の適切な取り外し可能及び／又は固定ストレージユニットであり得るか又はそれを含み得る。命令、コード、ＶＲモデルデータ、パラメータ等のデータは、ストレージ１７５に格納することができ、ストレージ１７５からメモリ１７２にロードすることができ、そこでコントローラ１７３によって処理することができる。いくつかの実施形態では、図５に示される構成要素のいくつかは、省略されている場合がある。

【0068】

[0074] 入力デバイス１７６は、例えば、マウス、キーボード、タッチスクリーン若しくはパッド又は任意の適切な入力デバイスであり得るか又はそれを含み得る。ブロック１７６によって示されるように、任意の適切な数の入力デバイスをコンピューティングデバイス１７０に動作可能に接続し得ることが認識されるであろう。出力デバイス１７７は、１つ又は複数のディスプレイ、スピーカ及び／又は任意の他の適切な出力デバイスを含み得る。ブロック１７７によって示されるように、任意の適切な数の出力デバイスをコンピューティングデバイス１７０に動作可能に接続し得ることが認識されるであろう。任意の適用可能な入力／出力（Ｉ／Ｏ）デバイス、例えば有線又は無線ネットワークインタフェースカード（ＮＩＣ）、モデム、プリンタ又はファクシミリ機、ユニバーサルシリアルバス（ＵＳＢ）デバイスをコンピューティングデバイス１７０に接続することができるか、又は外付けハードドライブを入力デバイス１７６及び／又は出力デバイス１７７に含めることができる。

【0069】

[0075] 本発明の実施形態は、命令、例えばプロセッサ又はコントローラによって実行されると、本明細書に開示される方法を行うコンピュータ実行可能命令を符号化するか、含むか又は格納するコンピュータ又はプロセッサの非一時的可読媒体など、１つ又は複数の物品（例えば、メモリ１７２若しくはストレージ１７５）又は例えばメモリ、ディスクドライブ若しくはＵＳＢフラッシュメモリなどのコンピュータ若しくはプロセッサの非一時的記憶媒体を含み得る。

【0070】

[0076] 本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータプログラム製品のフローチャート図及び／又は部分図を参照して上述されている。フローチャート図及び／又は部分図の各部分並びにフローチャート図及び／又は部分図中の部分の組み合わせは、コンピュータプログラム命令によって実装可能であることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに提供されて、機械を生成することができ、これにより、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行する命令は、フローチャート及び／又は部分図又はその部分で指定される機能／行為を実装するための手段を作成する。

【0071】

[0077] これらのコンピュータプログラム命令は、特定の方法で機能するようにコンピュータ、他のプログラマブルデータ処理装置又は他のデバイスに指示することが可能なコンピュータ可読媒体に格納することも可能であり、これにより、コンピュータ可読媒体に格納されている命令は、フローチャート及び／又は部分図又はその部分で指定される機能／行為を実装する命令を含む製品を生成する。

【0072】

[0078] コンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置又は他のデバイス上にロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置又は他のデバイス上で実行されるようにして、コンピュータ実装プロセスを生成することも可能であり、これにより、コンピュータ又は他のプログラマブル装置上で実行する命令は、フローチャート及び／又は部分図又はその部分で指定される機能／行為を実装するためのプロセスを提供する。

【0073】

[0079] 前述のフローチャート及び図は、本発明の様々な実施形態によるシステム、方法及びコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性及び動作を図示する。この点に関して、フローチャート又は部分図における各部分は、コードのモジュール、セグメント又は部分を表し得、それらは、指定された論理関数を実装するための１つ又は複数の実行可能命令を含む。いくつかの代替的な実装形態では、その部分に示される機能は、図に示される順序から逸脱して生じ得ることにも留意されたい。例えば、連続して示される２つの部分は、実際には、実質的に同時に実行することができるか、又はこれらの部分は、ときに、関与する機能性に応じて逆の順序で実行することができる。部分図及び／又はフローチャート図の各部分並びに部分図及び／又はフローチャート図の部分の組み合わせは、指定された機能又は行為を実行する専用ハードウェアベースのシステム又は専用ハードウェアとコンピュータ命令との組み合わせによって実装可能であることにも留意されたい。

【0074】

[0080] 上記の説明では、一実施形態は、本発明の一例又は一実装形態である。「１つの実施形態」、「一実施形態」、「特定の実施形態」又は「いくつかの実施形態」の様々な出現は、必ずしもすべてが同じ実施形態を指すわけではない。本発明の様々な特徴は、単一の実施形態に関連して説明され得るが、それらの特徴は、別々に又は任意の適切な組み合わせで提供することも可能である。逆に、本発明は、明瞭にするために別々の実施形態に関連して本明細書で説明されている場合があるが、本発明は、単一の実施形態で実装することも可能である。本発明の特定の実施形態は、上記で開示された異なる実施形態からの特徴を含み得、また特定の実施形態は、上記で開示された他の実施形態からの要素を組み込み得る。特定の実施形態に関連して、本発明の要素の開示は、それらの使用をその特定の実施形態のみに限定するものとして解釈されないものとする。さらに、本発明は、様々な方法で実行又は実践することができ、本発明は、上記の説明で概説したもの以外の特定の実施形態で実装され得ることを理解されたい。

【0075】

[0081] 本発明は、それらの図又は対応する説明に限定されない。例えば、フローは、図示される各ボックス又は状態を通して移動する必要も、又は図示及び説明されているのと正確に同じ順序で移動する必要もない。本明細書で使用される技術用語及び科学用語の意味は、別段の定義がない限り、本発明が属する技術分野の当業者によって通常理解される通りである。本発明は、限られた数の実施形態に関して説明されてきたが、これらは、本発明の範囲に対する限定としてではなく、むしろ好適な実施形態のいくつかの例示として解釈されるものとする。他の可能な変形形態、修正形態及び用途も本発明の範囲内にある。したがって、本発明の範囲は、これまで説明されてきたものによって限定されるのではなく、添付の特許請求の範囲及びその法的均等物によって限定されるものとする。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図3A】

【図3B】

【図4】

【図5】

【国際調査報告】