特許 7532416 外科手術に拡張現実を利用するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-02

(45)【発行日】2024-08-13

(54)【発明の名称】外科手術に拡張現実を利用するためのシステム及び方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240805BHJP

【ＦＩ】

A61B34/20

【請求項の数】 15

(21)【出願番号】P 2021570328

(86)(22)【出願日】2020-05-29

(65)【公表番号】

(43)【公表日】2022-08-10

(86)【国際出願番号】 US2020035204

(87)【国際公開番号】W WO2020243483

(87)【国際公開日】2020-12-03

【審査請求日】2023-03-17

(31)【優先権主張番号】62/853,991

(32)【優先日】2019-05-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/913,451

(32)【優先日】2019-10-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/000,690

(32)【優先日】2020-03-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】510123910

【氏名又は名称】マーフィー，ステファン，ビー

(74)【代理人】

【識別番号】100087642

【弁理士】

【氏名又は名称】古谷 聡

(74)【代理人】

【識別番号】100082946

【弁理士】

【氏名又は名称】大西 昭広

(74)【代理人】

【識別番号】100195693

【弁理士】

【氏名又は名称】細井 玲

(72)【発明者】

【氏名】マーフィー，ステファン，ビー

【審査官】槻木澤 昌司

(56)【参考文献】

【文献】特表２０１１－５０２６２６（ＪＰ，Ａ）

【文献】国際公開第２０１８／０７８７２３（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０６３５２８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１４１７８７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／２０

(57)【特許請求の範囲】

【請求項1】

整合および追跡デバイス（1806、4408又は4500）であって、その整合および追跡デバイスは、
所定の固定位置において患者の解剖的構造の一部（1804）に前記整合および追跡デバイスをドッキングするように構成された少なくとも３つの脚または表面（4420）と、
表面を有する物体（2108）と、
前記物体の表面上の１つ又は複数のマーキングと、を含む、整合および追跡デバイス（1806、4408又は4500）と、
コンピュータベースの手術計画システム（1700）であって、
患者の解剖的構造の一部の二次元（２Ｄ）又は三次元（３Ｄ）モデル（1804）及び前記整合および追跡デバイスの３Ｄモデルを含む計画ウィンドウをディスプレイに提示し、
前記ディスプレイ上の患者の解剖的構造の一部の２Ｄ又は３Ｄモデルにドッキングされる際に、前記整合および追跡デバイス（1806）の前記３Ｄモデルの位置を求め、
前記整合および追跡デバイスの前記３Ｄモデルの座標系を確立し、
前記整合および追跡デバイスの座標系に対して１つ又は複数の手術用ツールの３Ｄモデル（1902）の位置を決定し、
前記整合および追跡デバイスの前記３Ｄモデルの座標系に対して少なくとも１つのインプラントの３Ｄモデルの位置を決定し、
複数の仮想画像および／またはホログラムが作成され得る１つ又は複数のファイルを生成し、前記１つ又は複数のファイルは、
前記患者の解剖的構造の一部の２Ｄ又は３Ｄモデル；
前記整合および追跡デバイスの前記３Ｄモデル；
前記１つ又は複数の手術用ツールの前記３Ｄモデル；及び、
前記少なくとも１つのインプラントの前記３Ｄモデルの２つ以上を含む、ように構成された、コンピュータベースの手術計画システム（1700）と、
拡張現実（ＡＲ）ヘッドマウントデバイス（ＨＭＤ）（200）と、を含み、前記ＡＲ・ＨＭＤは、
前記整合および追跡デバイスの前記物体の表面上の１つ又は複数のマーキングを検出するように構成された少なくとも１つのセンサ（226、228又は230）と、
前記複数の仮想画像および／またはホログラムを提示するように構成された１つ又は複数のプロジェクタ（208）と、
前記整合および追跡デバイスを追跡し、前記整合および追跡デバイスの前記物体の表面上の１つ又は複数のマーキングにより露わにされ且つ当該１つ又は複数のマーキングと位置合わせされた空間座標系に基づいて前記複数の仮想画像および／またはホログラムを空間内に固定するナビゲーションシステム１６００と、を含む、システム。

【請求項2】

前記１つ又は複数のマーキングは、クイックレスポンス（ＱＲ）コード（2112）又はチェッカーボードのパターンのような、１つ又は複数の認識可能なパターンである、請求項１に記載のシステム。

【請求項3】

前記コンピュータベースの手術計画システムは、
前記患者の解剖的構造の一部の２Ｄ又は３Ｄモデルの座標系に対する１つ又は複数の手術用ツールの位置を決定し、
前記患者の解剖的構造の一部の２Ｄ又は３Ｄモデルの座標系と前記物体の表面上の１つ又は複数のマーキングにより露わにされ且つ当該１つ又は複数のマーキングと位置合わせされた空間座標系との間の１つ又は複数の変換行列を生成するように更に構成され、
前記ＡＲ・ＨＭＤは、空間内に複数の仮想画像および／またはホログラムを提示するために前記１つ又は複数の変換行列を利用する、請求項１又は２に記載のシステム。

【請求項4】

前記コンピュータベースの手術計画システムは、前記複数の仮想画像および／またはホログラムの一連の提示を決定するように更に構成され、前記ＡＲ・ＨＭＤは、前記複数の仮想画像および／またはホログラムを前記一連の提示において提示する、請求項１～３の何れか一項に記載のシステム。

【請求項5】

前記ＡＲ・ＨＭＤは、前記１つ又は複数の手術用ツールの位置および前記少なくとも１つのインプラントの位置において、前記１つ又は複数の手術用ツールの及び前記少なくとも１つのインプラントの前記複数の仮想画像および／またはホログラムを提示する、請求項１～４の何れか一項に記載のシステム。

【請求項6】

前記整合および追跡デバイス及び／又は前記物体が再使用可能である、請求項１～５の何れか一項に記載のシステム。

【請求項7】

コンピュータ実施方法であって、
患者の解剖的構造の一部の二次元（２Ｄ）又は三次元（３Ｄ）モデル（1804）を提示するステップと、
前記患者の解剖的構造の一部の２Ｄ又は３Ｄモデルにドッキングされる際に、整合および追跡デバイス（1806）の位置を求めるステップであって、前記整合および追跡デバイスは、（１）所定の固定位置において患者の解剖的構造の一部（1804）に前記整合および追跡デバイスをドッキングするように構成された少なくとも３つの脚または表面（4420）、及び（２）表面を有し、その表面上に１つ又は複数のマーキングを有する物体を有する、ステップと、
前記整合および追跡デバイスの３Ｄモデルの座標系を確立するステップと、
前記患者の解剖的構造の一部の２Ｄ又は３Ｄモデルの座標系に対して、１つ又は複数の手術用ツール及び少なくとも１つのインプラントの位置を決定するステップと、
前記患者の解剖的構造の一部の２Ｄ又は３Ｄモデルの座標系に対して決定された位置で、前記１つ又は複数の手術用ツール及び前記少なくとも１つのインプラントの仮想画像および／またはホログラムを提示するためのファイル（1716）を生成するステップと、
前記患者の解剖的構造の一部の２Ｄ又は３Ｄモデルの座標系と前記整合および追跡デバイスの座標系との間の変換行列を生成するステップと、
前記仮想画像および／またはホログラムを拡張現実（ＡＲ）ヘッドマウントデバイス（ＨＭＤ）にエクスポートするステップと、を含む、コンピュータ実施方法。

【請求項8】

コンピュータにより実行された際に、請求項７に記載された方法のステップを前記コンピュータに実行させる命令を含む、コンピュータ可読媒体。

【請求項9】

請求項７に記載された方法を実行するように適合されたプロセッサを含む、データ処理システム。

【請求項10】

コンピュータ実施方法であって、
空間内で整合および追跡デバイスを認識するステップであって、前記整合および追跡デバイスは、（１）所定の固定位置において患者の解剖的構造の一部（1804）に前記整合および追跡デバイスをドッキングするように構成された少なくとも３つの脚または表面（4420）、及び（２）表面を有し、その表面上に１つ又は複数のマーキングを有する物体を有する、ステップと、
前記整合および追跡デバイスに対して確立された座標系に対して決定された位置で、１つ又は複数の手術用ツール及び少なくとも１つのインプラントの仮想画像および／またはホログラムを提示するためのファイル（1716）を受け取るステップと、
前記整合および追跡デバイスに対して確立された座標系に対して前記仮想画像および／またはホログラムの向き及び位置を決定する変換行列を受け取るステップと、
前記決定された位置で空間内に固定された前記仮想画像および／またはホログラムを提示するために、前記変換行列を利用するステップと、を含む、コンピュータ実施方法。

【請求項11】

前記整合および追跡デバイスを認識することは、前記整合および追跡デバイスのハブ（2102）を認識することを含み、前記ハブが所定の形状を有する、請求項１０に記載のコンピュータ実施方法。

【請求項12】

前記整合および追跡デバイスを認識することは、前記整合および追跡デバイスにおける物体の１つ又は複数の表面にある１つ又は複数のコードを認識することを更に含む、請求項１０又は１１に記載のコンピュータ実施方法。

【請求項13】

コンピュータにより、特に拡張現実デバイスにより実行された際に、請求項１０～１２の何れか一項に記載された方法のステップを前記コンピュータに実行させる命令を含む、コンピュータ可読媒体。

【請求項14】

請求項１０～１２の何れか一項に記載された方法を実行するように適合されたプロセッサを含む、データ処理システム、特に拡張現実デバイス。

【請求項15】

整合および追跡デバイス（1806、2100）であって、
解剖的構造の一部（1804）に前記整合および追跡デバイスをドッキングするように構成された３つの脚または表面と、
ハブ（2102）と、
特定の患者に対して前記３つの脚の間の間隔を調整するために前記ハブから伸長可能な２つのアーム（2104aと2104b）と、
表面を有し、その表面上に１つ又は複数のコードを有する物体（2108）と、を含み、当該１つ又は複数のコードは、座標系を前記整合および追跡デバイスと関連付けるように、１つ又は複数のコードと位置合わせされた空間座標系を露わにする、整合および追跡デバイス（1806、2100）。

【発明の詳細な説明】

【背景技術】

【0001】

背景情報
従来の手術ナビゲーションは、もしあれば、使用される追跡（トラッキング）技術のタイプ及び使用されるイメージングのタイプに分類され得る。現在、手術ナビゲーションに使用される最も一般的な追跡技術は、赤外線立体光学追跡または慣性追跡の何れかである。電磁気的追跡も同様に使用され得るが、今ではあまり頻繁に使用されない。赤外線立体光学追跡は、カメラが手術野に対するそれ自体の部位のラインを必要とし、赤外光を反射する反射性球体を有するか、又は赤外光を放射する能動発光ダイオード(ＬＥＤ)を有する特定の物体のみを追跡することができるという制限を有する。このような追跡は、物体（対象物）を見ることができない、物体を認識することができない、及び物体を空間的に追跡することができない。

【0002】

イメージングに関して、基本的なタイプのナビゲーションは、画像（イメージ）ベースであり、及び画像無しである。画像ベースのナビゲーションは一般に、コンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）イメージング、又は３Ｄ超音波を使用することを含み、患者の解剖的構造の術前または手術中の三次元（３Ｄ）モデルの形成を含むことができる。次いで、患者の解剖的構造のこのコンピュータモデルは、トラッカー（追跡装置）が患者の解剖的構造に固定された後に、手術中に位置合わせプロセスを介して実際の患者の解剖的構造に適合される。同様に、画像ベースのナビゲーションに類似したナビゲーションは、患者固有のイメージングからの３Ｄモデルを、統計的形状モデルのような患者の予測モデルに置き換えることを含む。例えば、患者の予測された３Ｄモデルは、患者の実際の３Ｄモデルとは対照的に、患者の２ＤのＸ線、及び患者の統計データ及び／又は統計的形状モデルの大きなデータセットからの情報に基づいて生成され得る。

【0003】

画像無しの位置合わせに関して、トラッカーは同様に患者の解剖的構造に固定されるが、当該解剖的構造はイメージングから導出された３Ｄモデルには整合されない。例えば、股関節形成術のための画像無しナビゲーションの場合、人工寛骨臼カップの向きを測定して、画像無しナビゲーション技術を用いて脚の長さの変化を計算することは、トラッカーを骨盤に固定することを含む。１つの画像無し方法を用いて、骨盤は「きちんと整えられ」、その位置は骨盤のための開始機能的座標系であるように設定される。他の器具は、それに対してナビゲートされる。

【0004】

第２の、より典型的な画像無しの人工カップ及び脚の長さのナビゲーションに関して、骨格基準フレーム（トラッカー）が骨盤に固定され、前骨盤（Anterior Pelvic：ＡＰ）平面座標系のような座標系がトラッカーに対して画定される。ＡＰ平面座標系は、デジタイザを用いて定義され、２つの上棘（superior spine）点および恥骨結合を入力して、トラッカーがデジタル化された座標系に対して空間内のどこに位置するかに関してシステムに命令する。

【0005】

画像ベースの位置合わせに関して、骨盤トラッカーが骨盤に固定された後、デジタイザを用いて、骨盤の骨表面上の様々な点をデジタル化して、患者の骨盤のコンピュータモデルと患者の実際の骨盤との間の空間的位置合わせが達成される。

【0006】

同様に、マサチューセッツ州メドフォード在のSurgical Planning Associates, IncからのHipXpert（登録商標）ツールは、骨盤トラッカーが固定された後、当該ツールが患者の骨盤に予測可能にドッキングされた後に当該ツール上の３つのディボット（凹み）をデジタル化することにより、整合および追跡デバイスとして使用され得る。HipXpertツールは、「Method and Apparatus for Determining Acetabular ComponentPositioning」と題する米国特許第８２６７９３８号に記載されている。

【0007】

概要
簡単に言えば、本開示は、拡張現実（ＡＲ）デバイス及び／又は複合現実感デバイスを利用して、外科的処置中に位置合わせ及び／又はナビゲーションを実行するためのシステムおよび方法に関する。幾つかの実施形態では、ＡＲデバイスは、幾つかある要素の中で特に、プロセッサ、メモリ、センサ、及び仮想画像をＡＲデバイスのユーザに表示するための１つ又は複数の投影システムを含むことができる。例示的なセンサには、数ある中でも、写真／ビデオカメラ、深度カメラ、光センサ、及びマイクロフォンが含まれる。例示的な画像は、ホログラム、例えば、光および音から作られた物体を含む。

【0008】

説明されたように、手術用ツール（手術道具、処置具）及び／又はインプラントの位置が手術の１つ又は複数の目標（ゴール）を達成するように計画されている、患者固有の手術計画が開発され得る。計画された位置は、患者の骨盤、大腿骨、脛骨、心臓、肺などのような患者の解剖的構造の一部に関連付けられた座標系に対して決定され（求められ）得る。また、計画された位置は、患者に固定され得る整合および追跡デバイスに関連した座標系に対してであるように変換されることができ、又は計画された位置は、当該整合および追跡デバイスに関連した座標系に対して最初に決定され得る。当該システム及び方法は、患者のために構成されたカスタムとして、整合および追跡デバイスのホログラムのような仮想画像を生成し、計画された位置で手術用ツール及び／又はインプラントのホログラムのような仮想画像を生成することができる。患者の解剖的構造またはその部分の仮想画像も生成され得る。手術中、患者が手術室内にいる状態で、患者の位置合わせが行われる。幾つかの実施形態において、患者の位置合わせは、整合および追跡デバイスを用いて実行される。例えば、整合および追跡デバイスのホログラムが、提示され、且つ例えば、外科医により手動で、システムおよび方法により自動的に、及び／又は手動技術および自動技術の組み合わせにより、計画された方法で患者に固定された物理的な整合および追跡デバイスと同一場所に配置され（例えば、揃えられ）得る。他の実施形態において、患者の位置合わせは、他の解剖的構造の中で、手術中に露わにされたような患者の大腿骨顆、脛骨プラトー又は寛骨臼の認識のような、患者の解剖的構造の一部の、当該システム及び方法による物体認識に基づいて実行され得る。次いで、計画された位置における手術用ツール及び／又はインプラントのホログラムが提示されることができ、物理的な手術用ツール及び／又はインプラントが、ホログラムと同一場所に配置するように、例えば、外科医によって操作されることができ、それにより手術の１つ又は複数の目標（ゴール）を達成する。幾つかの実施形態において、外科医は、整合および追跡デバイスのホログラム及び／又は物理的な整合および追跡デバイス又は患者が同一場所に配置されるまで、整合および追跡デバイスのホログラム及び／又は物理的な整合および追跡デバイス又は患者を手動で操作することができる。他の実施形態では、整合および追跡デバイスは、認識可能な画像、例えば、１つ又は複数のクイックレスポンス（ＱＲ）コードまたは他のコードを含むことができる。当該システムおよび方法は、画像、例えば、１つ又は複数のＱＲコードを検出し、整合および追跡デバイスのホログラムを物理的な整合および追跡デバイスと自動的に同一場所に配置して固定することができる。幾つかの実施形態において、当該システムおよび方法は、患者のために構成され、患者の解剖的構造にドッキングされた際の整合および追跡デバイス、切開を通して見ることができる骨表面のような患者の解剖的構造の或る部分、及び／又はＱＲコード、整合および追跡デバイス、及び患者の解剖的構造のいくつかの組み合わせを認識することができる。当該システムおよび方法は、物理的な整合および追跡デバイスと同一場所に配置されたホログラムを維持するために、画像、整合および追跡デバイス、及び／又は患者の解剖的構造の空間的位置および向きを手術中に連続的に検出することができる。

【0009】

上述したように、幾つかの実施形態において、当該システムおよび方法は、手術中に１つ又は複数の物体（対象物）を認識することができる。例えば、当該システムおよび方法は、患者の位置合わせのために患者の特定の骨の解剖的構造の或る部分を認識することができ、及び／又は１つ又は複数の仮想画像、例えばホログラムを固定または同一場所に配置することができる。幾つかの実施形態において、患者の位置合わせは、整合および追跡デバイスから、別のデバイス（例えば、追跡または固定デバイス）に伝達されることができ、それにより整合および追跡デバイスの取り外しが可能になる。上述されたように、整合および追跡デバイスは、患者の解剖的構造にドッキングされ得る。追跡または固定デバイスは、患者の寛骨臼に移植される人工カップ部品（構成要素）のような移植後のインプラントであることができる。

【0010】

患者固有の物体であることができるような、１つ又は複数の物体の形状データは、術前に生成され得る。例示的な物体は、患者の骨盤、寛骨臼（臼蓋窩）、大腿骨、脛骨などのような解剖的構造、並びに患者の解剖的構造に基づいて調整されたツール又はデバイス、及び患者の解剖的構造と嵌まり合うように製造されたテンプレートのような、手術用ツール又はデバイス（それらの幾つかは患者のためにカスタマイズされ得る）を含む。形状データは、患者固有の物体の１つ又は複数の二次元（２Ｄ）、三次元（３Ｄ）、又は２Ｄ－３Ｄモデルの形態であることができる。幾つかの実施形態において、当該モデルは、表面モデルであることができるが、他の実施形態において、当該モデルは、ソリッドモデルであることができる。１つ又は複数の座標系は、例えば、計画段階の間、患者固有の物体に基づいて術前に画定され得る。例示的な座標系は、骨盤座標系、大腿骨座標系、及び／又は脛骨座標系を含む。座標系は、例えば、計画ツールにより自動的に、計画外科医または外科医の熟練した関連付けにより手動的に、又は自動化ステップ及び手動的ステップの組み合わせを通じて、画定され得る。更に、カップ部品および／または大腿骨ステム部品のような、１つ又は複数の人工装具部品の位置は、１つ又は複数の座標系に関して計画され得る。用語「位置」は、空間内の物体の位置および向きを決定する６つのパラメータを意味することができる。

【0011】

計画段階の間、骨盤のような解剖的構造、及びHipXpert股関節整合および追跡デバイスのようなデバイス及びツールの三次元（３Ｄ）モデルが生成され、患者の手術を計画するために使用され得る。例えば、特定の人工装具部品が選択され、患者の身体内のそれらの位置が、例えば手術の１つ又は複数の目標（ゴール）を満たすように決定され（求められ）得る。リーマー及びカップインパクタのような手術用ツールの３Ｄモデル、及び選択された部品を計画された所望の位置に移植するためのそれらの位置が、生成され得る。所望の位置は、例えば、特定のツールの最終位置、又はツールの開始点からその最終位置までの一連の位置（例えば、ツール経路）であることができる。３Ｄモデルの少なくとも幾つかは、個々の仮想画像を生成するためにヘッドマウントＡＲデバイスにより使用され得る形式へエクスポートされ得る。外科的処置の間、外科医は、ＡＲヘッドマウントデバイス（ＨＭＤ）であることができるＡＲデバイスを着用することができる。ＡＲデバイスは、ナビゲーションシステムへのアクセスを含むか、又はそれにアクセスするように構成され得る。ナビゲーションシステムは、ＡＲデバイスと協働して、１つ又は複数の仮想画像を生成することができ、当該仮想画像は、ＡＲデバイスの一方または両方のレンズ上に投影され、外科的処置を支援することができる。１つ又は複数の仮想画像は、物体のホログラムの形態であることができ、当該ホログラムは、外科医の視点から手術シーンにあるように見えることができる。ホログラムは、光で形成された３Ｄ画像である。幾つかの実施形態において、外科医は、ユーザインタフェース制御を操作して、手動でサイズを変更し、ホログラムを移動させることができ、それらが手術シーン内の対応する物理的な物体と同一場所に配置されるようになっている。ひとたび外科医によって同一場所に配置されたならば、当該ホログラムはこれらの位置で固定され得る。次いで、外科医は、物理的なツールが個々のツールのホログラムと同一場所に配置されるまで、１つ又は複数の物理的なツールを操作することができる。個々のツールのホログラムと同一場所に配置された物理的なツールを用いて、解剖的構造は、計画されたように人工装具部品を受け入れるように準備されることができ、選択された部品が、計画された場所に移植され得る。

【0012】

上述されたように、幾つかの実施形態において、認識可能な画像、例えばＱＲコードは、整合および追跡デバイスに所定の位置で固定され得る。当該システム及び方法は、この画像、例えばＱＲコードを検出して、認識することができる。ＱＲコードの認識に基づいて、当該システム及び方法は、整合および追跡デバイスのホログラムを物理的な整合および追跡デバイスに対して同一場所に配置することができる。次いで、計画された位置における手術用ツールのホログラムが提示され得る。幾つかの実施形態において、当該システム及び方法は、整合および追跡デバイスのホログラムを提示することを省略することができ、代わりに、物理的な整合および追跡デバイス上のＱＲコードを認識して、計画された位置で手術用ツールのホログラムを単に提示する。幾つかの実施形態において、複数のＱＲコードが使用され得る。例えば、異なるＱＲコードが、整合および追跡デバイスに取り付けられた立方体の面上に配置され得る。各ＱＲコードは、例えば、ファインダパターンの左上隅にＱＲコードと整列された空間座標系を見えるようにすることができる。ＡＲデバイスは、これらのＱＲコードのうちの１つ又は複数に関連付けられた空間座標系を検出することができる。当該システム及び方法は、例えば１秒間に５回のようなある頻度で、手術中にＱＲコード及び／又は空間座標系を繰り返し検出することができ、かくして物理的な整合および追跡デバイスと同一場所に配置されたホログラムを連続的に維持することができる。例えば、ＡＲデバイスは、画像の空間的位置および向き、例えばＱＲコード(単数または複数)、整合および追跡デバイス、及び／又は患者の解剖的構造を、手術の或る期間にわたって少なくとも周期的に、例えば、１秒間に５回または幾つかの他の頻度で、間欠的に、連続的に、及び／又は時々、検出することができる。また、当該システム及び方法は、例えば、手術中の任意の時点において、整合および追跡デバイスへの視線（見通し線）及び／又はＱＲコードが失われた場合に、物理的な整合および追跡デバイスと同一場所に配置されたホログラムを維持するために慣性測定ユニット（ＩＭＵ）を使用することもできる。幾つかの実施形態において、当該システム又は方法は、整合および追跡デバイスへの視線および／またはＱＲコードが、再固定が推奨されるように、正確な同一場所を失う危険を冒すのに十分な長さ（所定の時間であることができる）にわたって失われた場合に、１つ又は複数の警報および／または警告を発することができる。例えば、整合および追跡デバイス又は任意の他の物体またはツールのホログラムの提示は、再固定が実行されるまで、停止または中断され得る。

【0013】

１つ又は複数のＱＲコードを含む整合および追跡デバイスの少なくとも一部は、患者の身体の外側に配置され得る。その結果、１つ又は複数のＱＲコードを含む整合および追跡デバイスは、ＡＲデバイスによって容易に検出され得る。それにもかかわらず、整合および追跡デバイスの検出に基づいて固定された仮想画像（例えば、ホログラム）は、まるでそれらが患者の体内へ延びるか、又は完全に患者の体内に配置されているかのように見えるように提示され得る。

【0014】

幾つかの実施形態において、ＡＲデバイスの１つ又は複数のセンサによって捕捉されたような手術シーンからのデータは、手術シーン内の物体を検出するために、術前に得られた及び／又は求められた物体（例えば、患者固有の物体）の形状データを利用するナビゲーションシステムによって処理され得る。これは、当該システム及び方法が、患者固有の物体のような物体のための形状データを術前に作成し、次いで物体認識技術を使用して、仮想画像を実物体に固定する、物体認識モードと呼ばれ得る。理解されるべきは、実際の物体の一部のみがＡＲデバイスによって捕捉されたデータ内で観察可能であることができる。それにもかかわらず、ナビゲーションシステムは、物体を検出して、その位置を求めることができる。次に、ナビゲーションシステムは、物体の検出とその求められた位置とに基づいて、物体を、例えば、１つ又は複数の術前に決定された座標系に対して位置合わせ（整合）することができる。座標系に整合することに加えて、当該システムは、ひとたび物体を認識して同一場所に配置するならば、認識された物体に対して計画された位置にある手術シーン上へ、任意の他の物体またはツールの仮想画像を表示することができる。また、ナビゲーションシステムは、外科的処置中に物体を追跡することもできる。幾つかの実施形態において、物体の位置合わせおよび追跡は、患者に置かれたトラッカーのような第２の物体に伝達され得る。

【0015】

ナビゲーションシステムは、外科的処置を支援するために、ＡＲデバイスのレンズ上に投影され得る１つ又は複数の仮想画像（例えば、ホログラム）を生成することができる。例えば、患者の骨盤または膝のわずかな部分のみが切開を通して見ることができるが、骨盤全体のホログラムは、ＡＲデバイスによってレンダリングされることができ、当該ホログラムは患者の物理的な骨盤と同一場所に配置され得る。他の実施形態において、例として、大腿骨および／または脛骨全体のホログラムがレンダリングされて、患者の大腿骨または脛骨と同一場所に配置され得る。更に又は代案として、１つ又は複数の座標系、及び／又は計画された位置に１つ又は複数の人工装具部品を移植するためのガイドのホログラムが、ＡＲデバイスによってレンダリングされ、人工装具部品を配置する際に外科医を支援するために当該ホログラムはまるで手術野にあるかのように見えることができる。幾つかの実施形態において、人工装具部品の位置は、外科的処置中に変更されることができ、ＡＲデバイスによって外科医に提示されるガイドは、これらの変更に適合するように更新され得る。これは、当該システム及び方法が、手術用ツールによって実行された作業を外科医により又はロボットにより指示されたものか否かを反映するように、ホログラムをリアルタイムで増分的に又は連続的に更新する、ライブホログラフィモードと呼ばれ得る。

【0016】

以下の概要は、本開示の１つ又は複数の実施形態を提示する。理解されるべきは、これらの特徴の異なる組み合わせは、本開示の異なる実施形態で実施され得る。
１．HipXpertツールのような整合および追跡デバイスの位置合わせ及び追跡のための画像または物体認識は、患者固有である。また、これは骨盤も位置合わせする。画像または物体認識は、外科的処置中に、ある時間期間にわたって画像または物体を少なくとも周期的（例えば、当該時間期間にわたって間欠的に、連続的に、及び／又は時々）に検出および／または認識することを含むことができる：
１ａ．患者の骨盤に重ねられた仮想骨盤の拡張現実表示は、外科医のリアルタイムの視点からのものである；
１ｂ．整合および追跡ツール（例えば、HipXpertツール）が手術野から取り除かれ得るように、骨盤の位置合わせ（整合）を別の認識可能な追跡物体に伝達する。
２．寛骨臼のビューに基づく骨盤の自動位置合わせ。
３．位置合わせの精度を向上させるために１と２を使用する組み合わされた位置合わせ。位置合わせのエラーは、視覚的に複視として見えることができる。精度を向上させることにより、このような複視（二重に見えること）を低減または排除することができる。
４．例えば、物理的なカップインパクタをカップインパクタのホログラムと整列させることにより、完全股関節形成術（ＴＨＲ）のために寛骨臼を準備し、寛骨臼周辺の骨きり術、病変の生検、及び／又は他の外科的処置を行う：
ａ．当該処置中に使用される１つ又は複数のツールを追跡し、リアルタイムでこれまでに起こったことに基づいて、骨盤、大腿骨などの３Ｄモデル及び／又はホログラムを更新する；
ｂ．手術中の３つの構造の比較：元の解剖的構造、変更された際の解剖的構造、及び外科医が解剖的構造をどのように変更するべきかを望む最終目標。
５．人工膝関節全置換術のために大腿骨および脛骨の自動化された位置合わせは、仮想の患者固有の物体を作成し、手術野内の実物体の一部分を検出し、仮想の物体および実物体の双方を数学的およびホログラフ的に同一場所に配置して固定することによる、物体認識を使用する。位置合わせは、患者固有の物体認識、及び当該物体認識を連続的に行うこと、又は別の追跡物体または画像へ切り替えること及び人工膝関節全置換術（ＴＫＡ）のための大腿骨および脛骨、又は膝、大腿骨または脛骨を含む任意の他の大腿骨または脛骨の治療介入の追跡を用いて行われ得る。座標系が予め計画されている場合には、外科医は、患者の骨の端部を直接的に見て、大腿骨および脛骨を自動的に位置合わせし、外科的ナビゲーションに歴史的に必要とされる従来の位置合わせステップを実行するのに時間をかけずに、手術の残りの部分のナビゲートをすぐに開始することができる。例えば、当該システム及び方法は、股関節の中心がどこにあるか、足首がどこにあるか、及び両方の骨の座標系が即座に求められて外科医に提示されることができ、外科医が動き、靭帯のバランス、骨の切除の詳細などを測定することができるようになっている。また、外科医は、後続のすべてのツールをナビゲートし、処置の進行を示すこともできる。本開示は、ＡＲヘッドマウントデバイスのような、複合現実感デバイスまたは拡張現実（ＡＲ）デバイスを用いて、外科医の正確な視点から患者に投影された拡張現実の仮想画像を表示することができる。
６．本開示の実施形態は、追跡能力を失うことなく、外科医が骨表面を変更することを開始することができるように、骨の端部の形状の追跡（患者固有の物体認識）からの位置合わせを別の物体（例えば、トラッカー）に伝達することができる。
７．内視鏡の応用形態の例。立体映像および／または深度カメラ、例えば、飛行時間（ＴＯＦ）センサを有する内視鏡カメラを用いて、本開示の実施形態は、同じ物体の３Ｄモデルにマッチング（適合）されるように、自動物体認識を使用して物体を位置合わせすることができる。次いで、外科医によって着用されたＡＲデバイス、又は赤外線（ＩＲ）追跡システムのような、手術室内に配置されたＡＲデバイスから分離した立体追跡システムが内視鏡の外側部分の一部を見ることができる場合、ＡＲデバイスの内視鏡の視点に対する相対位置により、本開示は、外科医の正確な視点から実際の物体上に仮想３Ｄ物体を投影することを可能にする。例えば、これは、以下のことを行うことができる、即ち、
ａ．内視鏡カメラは、立体映像、及び／又は自動化された３Ｄ（物体認識）表面位置合わせを達成するためのセンサの組み合わせを用いて、人体部分の３Ｄ位置を特定する；
ｂ．次いで、人の身体を出る内視鏡カメラの後端は、数ある中でも、ＡＲデバイス及び／又はＩＲ追跡システムを含む本開示によって位置合わせされて追跡され得る；
ｃ．次いで、ＡＲデバイスは、解剖的構造または物体の仮想画像（例えば、ホログラム）を提示することができる。これにより、外科医は、身体の中を通って「見る」ことが可能になり、外科医と物体との間の皮膚または任意の他の不透明な物体を通して仮想的に構造または物体を「見る」ことが可能になる。靭帯の配置の最適な位置は、例えば、計算された靭帯配置位置にアクセスするための最適なトンネル位置であることができるようにＡＲデバイスによって計算されて提示され得る。

【0017】

幾つかの実施形態において、本開示は、外科的処理の術前計画を作成し、例えば外科的処置中に提示され得る１つ又は複数のホログラムを作成するためのコンピュータベースのシステムおよび方法に関する。当該システム及び方法は、手術計画システム、手術誘導システムとして構成された拡張現実ヘッドマウントディスプレイ（ＡＲ－ＨＭＤ）、及び１つ又は複数の整合および追跡デバイスのうちの１つ又は複数を含む。手術計画システムは、１つ又は複数の手術用ツール、インプラント、切断面、ドリリング軸などの位置が外科的処置の１つ又は複数の目標（ゴール）を達成するように術前に決定され得る、患者固有の手術計画を開発するために利用され得る。更に又は代案として、手術計画は、解剖的構造に対する計画された変更、例えば、骨表面を整形することを更に含むことができる。手術計画システムは、イメージング調査から患者の形状データに基づいて、表面モデルのような患者の解剖的構造の一部の１つ又は複数のコンピュータ生成モデルを生成することができる。手術計画システムは、１つ又は複数の座標系を確立することができる。手術用ツール、インプラント、切断面および／またはドリリング軸の位置および解剖的構造に対する変更は、１つ又は複数の座標系に関して計画され得る。幾つかの実施形態において、整合および追跡デバイス（単数または複数）の位置はまた、患者の解剖的構造の部分および１つ又は複数の座標系に対して求められ得る。幾つかの実施形態において、手術用ツール、インプラント、切断面および／またはドリリング軸の位置および解剖的構造に対する変更は、整合および追跡デバイス（単数または複数）のために座標系に変換され得る。手術計画システムは、患者の解剖的構造、整合および追跡デバイス（単数または複数）、手術用ツール、インプラント、計画された位置における切断面および／またはドリリング軸、及び変更される際の解剖的構造のうちの１つ又は複数の様々な組み合わせの画像を生成することができる。手術計画システムは、ＡＲ－ＨＭＤによってホログラムとして提示するためのフォーマットに画像を変換することができる。

【0018】

ＡＲ－ＨＭＤは、画像および／または物体認識を利用して、整合および追跡デバイス（単数または複数）、整合および追跡デバイス（単数または複数）に関連する画像、および／または患者を術前に生成されたホログラムに整合するために患者の解剖的構造の一部を認識することができる。例えば、手術室内の手術台上の患者に関して、整合および追跡デバイス（単数または複数）が計画された位置で患者にドッキングされ得る（又はランダム配置で固定される）。ＡＲ－ＨＭＤは、外科的処置の少なくとも一部の間に、整合および追跡デバイス（単数または複数）を検出して追跡することができる。ＡＲ－ＨＭＤは、整合および追跡デバイス（単数または複数）のための座標系に基づいて、ホログラムを提示し、それらを患者に固定することができる。外科医は、外科的処置中に視覚的ガイドとしてホログラムを利用することができる。例えば、ホログラムは、外科的処置のステップに続くシーケンスで呼び出されて、提示され得る。１つ又は複数のホログラムは、計画された位置で手術用ツールを提示することができる。外科医は、ホログラムの手術用ツールと位置合わせするために、物理的な手術用ツールを手動で位置決めすることができる。１つ又は複数のホログラムは、計画的に変更された解剖的構造を提示することができる。外科医は、ホログラムに一致させるように物理的な解剖的構造を変更することができる。手術用ツールを操作するためのガイドとしてホログラムを使用すること、解剖的構造を変更すること及び／又はインプラントを挿入することにより、外科医は、外科的処置の１つ又は複数の目標を達成することができる。

【0019】

幾つかの実施形態において、当該システム及び方法は、患者の術中イメージングを実行せず、外科的処置中に手術用ツール又はインプラントを追跡しない。他の実施形態において、当該システム及び方法は、外科的処置中に１つ又は複数の手術用ツール又はインプラントを追加的に追跡することができる。

【0020】

以下の説明は、添付図面を参照する。

【図面の簡単な説明】

【0021】

【図1】１つ又は複数の実施形態による、手術室の略図である。

【図2】１つ又は複数の実施形態による、拡張現実（ＡＲ）デバイスの略図である。

【図3】１つ又は複数の実施形態による、ＡＲデバイスの絵画的斜視組立分解図である。

【図4】１つ又は複数の実施形態による、患者にドッキングされた整合および追跡デバイスを示す外科的処置の絵画図である。

【図5】１つ又は複数の実施形態による、整合および追跡デバイスのモデルがドッキングされた状態にある骨盤の３Ｄ表面モデルの図である。

【図6】１つ又は複数の実施形態による、その時に外科医と全く同じ視点からの皮膚の下にある患者の骨盤の仮想画像を示すＡＲデバイスにより投影された画像の略図である。

【図7】１つ又は複数の実施形態による、外科手術中に切開を通して患者の寛骨臼へのビューの絵画図である。

【図8】１つ又は複数の実施形態による、図７と同じ視野からの患者の骨盤の３Ｄ表面モデルの図である。

【図9】１つ又は複数の実施形態による、その時に外科医と全く同じ視点からの皮膚の下にある患者の骨盤の仮想画像を示すＡＲデバイスにより投影された画像の略図である。

【図10】１つ又は複数の実施形態による、人工膝関節全置換術中の大腿遠位のビューを示す患者の膝の絵画図である。

【図11】１つ又は複数の実施形態による、例えば、立体カメラ、又は立体表面検出の任意の他の方法を用いて、自動化された表面マッチングにより求められた際に、外科医のビューと全く同じ向きで全く同じ骨を示すことが意図された患者の大腿骨の３Ｄモデルの図である。

【図12】１つ又は複数の実施形態による、外科医の視点から見られた際に実際の大腿骨と全く同じ位置で空間に配置された大腿骨の仮想モデルを示すＡＲデバイスにより投影された画像の略図である。

【図13】１つ又は複数の実施形態による、人工膝関節全置換術中の脛骨を示す患者の膝の絵画図である。

【図14】１つ又は複数の実施形態による、外科医のビューと全く同じ向きで全く同じ骨を示すことが意図された患者の脛骨の３Ｄ表面モデルの図である。

【図15】１つ又は複数の実施形態による、外科医の視点から見られた際に実際の脛骨と全く同じ位置で空間に配置された脛骨の仮想モデルを示すＡＲデバイスにより投影された画像の略図である。

【図16】１つ又は複数の実施形態による、例示的なナビゲーションシステムの略機能図である。

【図17】１つ又は複数の実施形態による、例示的な手術計画システムの略図である。

【図18】１つ又は複数の実施形態による、計画ウィンドウの図である。

【図19】１つ又は複数の実施形態による、計画ウィンドウの図である。

【図20】１つ又は複数の実施形態による、ホログラムの絵画図である。

【図21】１つ又は複数の実施形態による、整合および追跡ツールの一部の絵画図である。

【図22】１つ又は複数の実施形態による、ツールの３Ｄの一部の斜視図である。

【図23】１つ又は複数の実施形態による、計画ウィンドウの図である。

【図24】１つ又は複数の実施形態による、物理的な物体と同一場所に配置されたホログラムの絵画図である。

【図25】１つ又は複数の実施形態による、ホログラムの絵画図である。

【図26】１つ又は複数の実施形態による、ホログラムの絵画図である。

【図27】１つ又は複数の実施形態による、ホログラムの絵画図である。

【図28】１つ又は複数の実施形態による、ホログラムの絵画図である。

【図29】１つ又は複数の実施形態による、ホログラムの絵画図である。

【図30】１つ又は複数の実施形態による、手術計画の一部に関する例示的な計画ウィンドウの図である。

【図31】１つ又は複数の実施形態による、サイジングガイドの正面図である。

【図32】１つ又は複数の実施形態による、サイジングガイドの斜視図である。

【図33】１つ又は複数の実施形態による、切断ブロックの正面図である。

【図34】１つ又は複数の実施形態による、切断ブロックの側面図である。

【図35】１つ又は複数の実施形態による、人工膝部品の斜視図である。

【図36】１つ又は複数の実施形態による、計画ウィンドウの図である。

【図37】１つ又は複数の実施形態による、計画ウィンドウの図である。

【図38】１つ又は複数の実施形態による、計画ウィンドウの図である。

【図39】１つ又は複数の実施形態による、計画ウィンドウの図である。

【図40】１つ又は複数の実施形態による、計画ウィンドウの図である。

【図41】１つ又は複数の実施形態による、患者の骨盤の例示的な２ＤのＣＴ画像のセットの絵画図である。

【図42】１つ又は複数の実施形態による、患者の骨盤の例示的な２ＤのＣＴ画像のセットの絵画図である。

【図43】１つ又は複数の実施形態による、患者の骨盤の例示的な２ＤのＣＴ画像のセットの絵画図である。

【図44】１つ又は複数の実施形態による、カスタム適合型テンプレートを備える患者の寛骨臼の部分側面図である。

【図45】１つ又は複数の実施形態による、整合および追跡ツールの一部の斜視図である。

【図46】１つ又は複数の実施形態による、３つの切断面を備える骨盤の表面モデルの図である。

【図47】１つ又は複数の実施形態による、３つの切断面を備える骨盤の表面モデルの図である。

【図48】１つ又は複数の実施形態による、ＡＲデバイスにより生成および投影された画像の絵画図である。

【図49】１つ又は複数の実施形態による、外科医の視点を示す骨盤の表面モデルの図である。

【図50】１つ又は複数の実施形態による、ＡＲデバイスにより生成および投影された画像の絵画図である。

【図51】１つ又は複数の実施形態による、ＡＲデバイスにより生成および投影された画像の絵画図である。

【図52】１つ又は複数の実施形態による、手術室の略図である。

【図53】１つ又は複数の実施形態による、計画ウィンドウの図である。

【図54】１つ又は複数の実施形態による、外科的処置中にＡＲデバイスにより提示され得る切断面の図である。

【図55】１つ又は複数の実施形態による、ＡＲデバイスを通して閲覧される際の手術シーン絵画図である。

【図56】１つ又は複数の実施形態による、例示的な歯科用モデルの上面図である。

【図57】１つ又は複数の実施形態による、骨盤の正面図の略図である。

【0022】

例示的な実施形態の詳細な説明
図１は、１つ又は複数の実施形態による手術室１００の略図である。手術室１００内には、患者１０４が外科的処置のために配置された手術台１０２が配置される。また、手術室１００内には、追跡システム１０６、データ処理デバイス１１０、及び無線ルータ１１２のようなネットワークデバイスも配置される。外科医１１４は手術室内にいることができる。外科医１１４は、ヘッドマウントデバイス（ＨＭＤ）のような拡張現実（ＡＲ）デバイス２００を装着していることができる。必要に応じて、三次元（３Ｄ）検出システム１０８が手術室内に配置され得る。例示的な３Ｄ検出システムは、立体カメラシステム、構造化光イメージングシステム、及びワシントン州レドモンド在のMicrosoft Corp.からのAzure Kinect Developer Kit（ＤＫ）のような連続波（ＣＷ）飛行時間（ＴｏＦ）イメージングシステムを含み、当該Azure Kinect Developer Kit（ＤＫ）は、集積化された深度カメラ、カラー写真／ビデオカメラ、慣性測定ユニット（ＩＭＵ）、及びマイクロフォンのアレイを含む。追跡システム１０６は、赤外線技術、慣性技術、又は他の追跡技術を実施することができる。３Ｄ検出システム１０８は、可視光域または不可視光域内の物体からの画像または反射を捕捉（キャプチャ）することができる。３Ｄ検出システム１０８によって生成された画像は、ＡＲデバイス２００が単一のカメラのみを含む又はカメラを含まない際の実施形態で使用され得る。外科医１１４は、手術用ツール１１８のような１つ又は複数の手術用ツールを操作することができる。場合によっては、トラッカー（追跡装置）１２０のような１つ又は複数のトラッカーが、患者１０４の解剖学的な点に取り付けられ得る。別のトラッカー１２２が手術用ツール１１８に取り付けられ得る。幾つかの実施形態において、データ処理デバイス１１０は、ナビゲーションシステム１６００の構成要素の一部または全部をホストして処理して実行することができる。幾つかの実施形態において、ナビゲーションシステム１６００の構成要素の一部または全部は、ＡＲデバイス２００によって実行され得る。

【0023】

幾つかの実施形態において、手術室１００内の他の人はＡＲデバイスを着用していることができ、ＡＲデバイス２００上に提示されたホログラムは、これらの他のＡＲデバイス上に提示され得る。幾つかの実施形態において、１つ又は複数のディスプレイ装置が手術室１００内に含まれ得る。ＡＲデバイス２００によって捕捉された画像、並びにＡＲデバイス２００によって提示されたホログラムは、これらのディスプレイ装置上に提示され、手術室１００内の他の人によって、及び／又は手術を観察する他の人によって視聴され得る。

【0024】

図２は、１つ又は複数の実施形態による例示的なＡＲデバイス２００の略図である。ＡＲデバイス２００は、シースルー又は半透明レンズ上に仮想画像を投影するのに適した投影光学系を含むことができ、外科医１１４が、手術野、並びに表示された仮想画像のような周囲環境を見ることを可能にする。ＡＲデバイス２００は、２つのレンズ２０４ａ及び２０４ｂを有するフレーム２０２、２つのアーム２２２ａ及び２２２ｂ、及び幾つかある場所の中でＡＲデバイス２００の前面またはアーム２２２ａ及び２２２ｂに配置され得るプロジェクタ２０８ａ及び２０８ｂを含むことができる。プロジェクタ２０８ａ及び２０８ｂは、例えば、レンズ２０４ａ及び２０４ｂ上および／またはユーザの目の上に、ユーザに対して、仮想画像（例えば、ホログラム）を投影することができる。プロジェクタ２０８ａ及び２０８ｂは、数ある中で、ナノプロジェクタ、ピコプロジェクタ、マイクロプロジェクタ、フェムトプロジェクタ、レーザベースのプロジェクタ、又はホログラフィックプロジェクタであることができる。上述されたように、２つのレンズ２０４ａ及び２０４ｂは、シースルー又は半透明であるが、他の実施形態では、１つのレンズのみであり、例えば、レンズ２０４ａが半透明であることができるが、他のレンズ２０４ｂは不透明であるか又は欠落していてもよい。幾つかの実施形態において、ＡＲデバイス２００は、２つの関節式小型イヤホン２２０ａ及び２２０ｂ、無線トランシーバ２１８、及びマイクロフォン２２４も含むことができる。幾つかの実施形態において、ＡＲデバイス２００は、ホログラムに関連付けられた１つ又は複数の音を提供し、ユーザからの音声コマンドを受け入れることができる。

【0025】

図３は、１つ又は複数の実施形態による、ＡＲデバイス２００の絵画的斜視組立分解図である。ＡＲデバイス２００は、複数のカメラ及び／又はセンサを更に含むことができる。例えば、幾つかの実施形態において、ＡＲデバイス２００は、カラービデオカメラ２２６、４つのグレースケールカメラ２２８ａ～２２８ｄ、及び深度カメラ２３０のような１つ又は複数の深度カメラ又はセンサを含むことができる。また、ＡＲデバイス２００は、連続波（ＣＷ）飛行時間（ＴｏＦ）放出器（エミッタ）／受信器として深度カメラ２３０と共に動作する１つ又は複数の赤外線（ＩＲ）放出器２３２ａ～２３２ｄも含むことができる。また、ＡＲデバイス２００は、光センサ２３４のような１つ又は複数のセンサも含むことができる。理解されるべきは、ＡＲデバイス２００は、加速度計、ジャイロスコープ、抵抗センサ、電流センサ、圧電センサ、電圧センサ、静電容量センサ、グローバルポジショニング衛星受信器、コンパス、高度計、レンジファインダ、温度計、化学センサ、視線追跡カメラ又はセンサ、及び／又は湿度センサのような、他のセンサを含むことができる。幾つかの実施形態において、１つ又は複数のセンサは、外科医１１４が外科医の頭をいつ及びどのくらい動かし、傾け、及び／又は旋回させるかのような、外科医１１４の動きを検知することができる。例えば、一組のセンサは、慣性測定ユニット（ＩＭＵ）として構成され得る。

【0026】

幾つかの実施形態において、装着者の環境の３Ｄ情報は、カメラ２２６、２２８ａ～２２８ｄ及び２３０の様々な組み合わせによって出力されるデータから生成され得る。例えば、カメラ２２６、２２８ａ～２２８ｄ及び２３０の様々な組み合わせは、数ある中で、立体カメラ、構造化光放出器／受信器、又は連続波（ＣＷ）飛行時間（ＴｏＦ）放出器／受信器として構成され得る。カメラ２２６、２２８ａ～２２８ｄ及び２３０の様々な組み合わせは、空間検出システムと呼ばれ得る。

【0027】

説明されたように、ＡＲデバイス２００に含まれるカメラ２２６、２２８ａ～２２８ｄ及び２３０の様々な組み合わせによって出力されるデータは、１つ又は複数の外科的処置の間に位置合わせ（整合）および／またはナビゲーションを実行するために使用され得る。他の実施形態において、ＡＲデバイス２００は、赤外線立体トラッカーを含むことができる。この場合、ＡＲデバイス２００は、数ある中でも、トラッカー１２０及び／又はトラッカー１２２のような１つ又は複数のトラッカーの赤外線立体追跡を行うために使用され得る。更に、拡張現実視点がＡＲデバイス２００上に投影され得る。

【0028】

適切なＡＲデバイスは、数ある中でも、MicrosoftCorp.からの複合現実感デバイスのHoloLensシリーズ、フロリダ州プランテーション在のMagic Leap, Inc.からのMagic Leap One device、及びニューヨーク州ウエスト・ヘンリエッタ在のVuzix Corp.からのBlade smart glassesを含み、それらは、Microsoft Corp.に対する「AR Glasses with Event and User ActionControl of External Applications」と題する米国特許公開第２０１９／００２５５８７号、及びApple Inc.に対する「Display Device」と題する米国特許出願公開第２０１９／０２８５８９７号に記載されている。

【0029】

図１６は、１つ又は複数の実施形態によるナビゲーションシステム１６００の略機能図である。ナビゲーションシステム１６００は、物体認識装置１６０２、物体ポーズ検出器１６０４、物体トラッカー１６０６、モデルデータベース１６０８、及び仮想画像生成器１６１０を含むことができる。物体認識装置１６０２は、特徴検出器１６１２を含むことができる。

【0030】

理解されるべきは、ナビゲーションシステム１６００は、例示の目的のためだけであり、ナビゲーションシステム１６００は、追加の及び／又は他の構成要素を含む他の形態をとることができる。

【0031】

ナビゲーションシステム１６００の１つ又は複数の構成要素は、コンピュータビジョン技術を用いて実現され得る。代案として又は更に、１つ又は複数の構成要素は、人工知能（ＡＩ）技術のような機械学習を用いて実現され得る。

【0032】

他の実施形態において、ナビゲーションシステム１６００の構成要素の幾つか又は全部は、上述されたように１つ又は複数のプロセッサ及びメモリを含むことができるＡＲデバイス２００上で実行され得る。他の実施形態において、ナビゲーションシステム１６００の構成要素の幾つか又は全部は、データ処理デバイス１１０及び／又はＡＲデバイス２００上で実行されているクライアントによってアクセス可能なクラウドベースのサービスとして実現され得る。理解されるべきは、ナビゲーションシステム１６００の構成要素は、他の方法で実現され得る。

【0033】

ツールおよび解剖的構造の自動認識および位置合わせ：例：HipXpertツール
患者は、外科手術を必要とする医学的状態と診断され得る。外科的処置のための準備において、１つ又は複数のデータ収集手順が実行され得る。例えば、コンピュータ断層撮影（ＣＴ）、磁気共鳴映像（ＭＲＩ）、従来のレントゲン写真（Ｘ線）、又は超音波画像のような、１つ又は複数のデジタル画像が、患者から取得され得る。具体的には、手術が行われるべき患者の解剖的構造のその部分の画像を取ることができる。理解されるべきは、任意の診断検査または測定（特に、手術されるべき患者の解剖的構造の特定の部分に関する寸法的理解を改善するもの）が、患者固有の計画のために実行されて使用され得る。

【0034】

例えば、患者は股関節障害と診断される場合があり、左股関節、右股関節、又は両方の股関節の何れかで人工股関節全置換術（ＴＨＲ）の手術を必要とする場合がある。この場合、患者の股関節に関する１つ又は複数のＣＴスキャンを取ることができる。１つ又は複数のデジタル画像（ＣＴ、レントゲン写真、超音波、磁気など)は、患者の術前の訪問の日に、手術前の任意の時点で、または手術中でさえも、取得され得る。１つ又は複数のデジタル画像は、患者の股関節および関連する又は隣接する構造の表面および／または構造に関する三次元情報を提供することができる。

【0035】

経験豊かな外科医または他の人のような、手術の計画者は、患者から取得された１つ又は複数のデジタル画像（例えば、ＣＴ、ＭＲ又は他のデジタル画像）に基づいて、患者の股関節のような患者の解剖的構造の１つ又は複数のコンピュータ生成三次元（３Ｄ）モデルを作成するために、計画ツールの３Ｄモデリングツールを利用することができる。更に、又は代案として、ＣＴ、ＭＲ、又は他のデジタル画像に基づいてモデルを生成するために、患者固有モデルは、例えば、患者固有の特性に基づいて予測モデリングを用いて作成され得る。即ち、統計的形状モデル又は他の予測モデルは、デジタルＸ線、又は最小データセットの組み合わせのような、患者固有のデータ入力上に作成され得る。

【0036】

手術の計画者は、患者に対して実行されるべき外科的処置のための手術計画を作成するために、計画ツールを利用することができる。例えば、手術の計画者は、１つ又は複数の手術用ツールを用いて、ＴＨＲ手術の間に、寛骨臼カップ部品のような１つ又は複数の人工装具または外科部品を患者の股関節に移植するための計画を作成することができる。手術の計画者は、骨盤の３Ｄコンピュータ生成モデルに基づいて、前方骨盤（ＡＰ）平面座標系のような１つ又は複数の座標系を確立するために計画ツールを利用することができる。また、例えば、１つ又は複数の手術用ツールによって使用するための他の患者固有の座標系は、例えば、同側半骨盤平面座標系のような、患者の骨盤の３Ｄモデル上の３つの点を選択することにより確立され得る。更に、機能位置における身体部分の位置に基づいて、「機能的」座標系が確立され得る。例えば、骨盤の機能的座標系は、画像が取得されている間に患者の骨盤が存在した位置を知ること及び受け入れることにより、簡単に確立され得る。

【0037】

幾つかの実施形態において、手術の計画者は、計画ツールを利用して、調整可能なHipXpert（登録商標）ツールのような１つ又は複数の手術用ツール上で行われるべき１つ又は複数の入力および／または調整値を計算することができる。入力および／または調整値は、作成された骨盤の３Ｄモデルから導出された空間情報のような情報に、患者固有の情報の幾つか又は全てに、及び／又は手術の計画者に既知または手術の計画者によりアクセス可能な統計的情報に少なくとも部分的に基づくことができる。例えば、入力および／または調整値は、患者の骨盤に装着（例えば、ドッキング）するためにHipXpertツールをカスタマイズするために使用されることができ、その結果、HipXpertツールの予測されたドッキング位置は、骨盤の任意の他の座標系（例えば、ＡＰ平面座標系）に対して既知である。また、手術の計画者は、特定の人工股関節部品を選択することができ、脚の長さ、オフセット、及び／又はＡＰ位置の変更（変化）を最適化するような、手術の特定の目標（ゴール）を達成するために、骨盤の３Ｄモデル内のそれらの位置を計画することができる。場合によっては、当該変更を最適化することは、脚の長さ、オフセット、及び／又はＡＰ位置に対する変更を最小化することを意味することができる。他の場合には、脚の長さ、オフセット、及び／又はＡＰ位置に対する意図された変更を達成することを意味することができる。

【0038】

手術の計画者は、目標を達成するために選択された人工装具部品の位置を計画することができる。例えば、寛骨臼内の選択された寛骨臼カップ部品の位置を求めることができる。当該位置は、寛骨臼内のカップ部品の深さを含むことができ、計画段階は、計画された位置でカップ部品を受容するために、寛骨臼を如何にして準備（例えば、形作られる）すべきかを判断することを含むことができる。例えば、計画は、寛骨臼のカップベッドの深さ及び／又は形状を指定することができる。当該位置は、ＡＰ平面座標系に対するカップ部品の軸（例えば、中心軸）の向きを含むことができる。

【0039】

骨盤の３Ｄモデルのバージョンは、カップ部品を受容するように準備された寛骨臼と共に生成され得る。例えば、カップベッドの３Ｄモデルを生成することができる。更に、幾つかの実施形態において、人工装具部品の３Ｄモデルは、計画ツールに含まれ、及び／又は計画ツールに利用可能であることができる。手術の計画者は、骨盤の３Ｄモデル内の計画された位置にカップ部品の３Ｄモデルを配置することができる。同様に、選択された大腿骨ステムの３Ｄモデルは、股関節の３Ｄモデル内の計画された位置に配置され得る。

【0040】

幾つかの実施形態において、HipXpertツールは、ロッドのようなガイドを含むことができる。手術の計画者は、HipXpertツールが患者の骨盤にドッキングされた際に、ガイドが、計画されたように、寛骨臼カップの向きの方向を指し示すように、HipXpertツールに対する１つ又は複数の調整値を求めることができる。

【0041】

かくして、手術計画は、処置中に１つ又は複数の手術用ツールを設定して使用するための命令を含むことができる。他の実施形態では、手術計画は、外科的処置中に支援するために、手術用ツール又は機械のような１つ又は複数のツール又はデバイスを操作するための実行可能コードのような機械命令であることができる、又は当該機械命令を含むことができる。幾つかの実施形態において、手術計画は、処置の全部または一部を実行するロボット手術用ツールによって実行されるべき機械命令を含むことができる。手術ロボットを制御することに加えて、手術計画は、回転ツールのようなフリーハンド外科装置を制御するための命令を提供することができ、切断が行われるべき場所に当該回転ツールがあるときにオンにし、切断が行われるべきでない位置にあるときに、例えば保護鞘の展開を通じて、切断をオフ又はディスエーブルにする。

【0042】

例示的な手術ロボットは、フロリダ州フォートローダーデール在のMako Surgical Corp.からの外科医制御型ロボットアームを含む。例示的なフリーハンドツールは、ペンシルベニア州ピッツバーグのBlue Belt Technologies, Incからのフリーハンド彫刻装置を含む。

【0043】

それにも関わらず、幾つかの実施形態において、手術計画は、外科的処置の間に開発および／または改訂され得るが、他の実施形態では、明示的な手術計画は作成されない場合があることも理解されるべきである。例えば、膝のＡＣＬ再建に関して、１つ又は複数の統計的形状モデルを患者固有の形状データとして使用することができ、情報は、例えば手術計画を手術中に開発するために目印（ランドマーク）デジタル化および動き／運動学的評価の範囲により、手術中に取得され得る。

【0044】

ホログラムの手動位置合わせ：例：HipXpertツール
上述されたように、計画段階の間、ＡＰ平面座標系は、患者の骨盤またはその一部の３Ｄ表面モデルのために画定され得る。幾つかの実施形態において、第１の３Ｄ表面モデルは、股関節における大腿骨頭を含む１つ又は複数の患者の大腿骨の一部を含むことができる。第２の３Ｄ表面モデルは、患者の大腿骨を省略し、骨盤またはその一部のみを含むことができる。幾つかの実施形態において、大腿骨座標系および／または脛骨座標系も、ＡＰ平面座標系に加えて画定され得る。

【0045】

図１７は、１つ又は複数の実施形態による、例示的な手術計画システム１７００の略図である。手術計画システム１７００は、ユーザインタフェース（ＵＩ）エンジン１７０２、モデリングツール１７０４、計画ツール１７０６、エクスポータツール１７０８、及びデータストア１７１０を含むことができる。手術計画システム１７００は、１７１２で示されるように、患者データを受け取ることができ、当該患者データは、磁気共鳴映像（ＭＲＩ）データ、コンピュータ断層撮影（ＣＴ）データ、同時二平面Ｘ線撮影データ、従来の平面Ｘ線撮影データ、超音波データ、及び／又は患者の股関節または他の解剖的構造の他のデータの形態の体積データ又は形状データを含むことができる。手術計画システム１７００は、股関節手術のための計画１７１４のような１つ又は複数の電子的手術計画を作成することができ、１７１６に示されるように、１つ又は複数のファイルを、例えば、ホログラムを生成するためにエクスポートすることができる。手術計画システム１７００は、ディスプレイ１７１８を含む又はディスプレイ１７１８にアクセスすることができる。

【0046】

体積データ又は形状データからの解剖的構造の２Ｄ表示および／または３Ｄ表示を生成するための適切なツールには、スイス国バーネックス在のPixmeo SARLからのOsiriX画像処理ソフトウェア、TraumaCad術前計画システム、MAKOplasty TotalHip Application術前および手術中計画システム、及びHipXpert Navigation System Application 1.4.0.が含まれる。それにも関わらず、当業者であれば理解されるように、他の画像処理ソフトウェアを使用することができる。

【0047】

１つ又は複数の患者データ１７１２、手術計画１７１４及びエクスポートされたファイル１７１６は、データストア１７１０のようなデータ処理デバイスの電子メモリに格納されたファイル、オブジェクトなどのような１つ又は複数のデータ構造を介して実現され得る。

【0048】

上述されたように、手術の計画者は、人工カップ部品および／または大腿骨ステム部品のような、外科的処置に使用されるべき１つ又は複数の人工装具部品を選択し、患者の身体内のそれらの配置を計画することができる。人工カップ部品の計画は、寛骨臼内の深さ及び向きを含む計画された位置を含むことができる。また、計画は、カップ部品を受容するためのカップベッドの形状も含むことができる。大腿骨ステム部品の場合、平面は、大腿骨内の大腿骨ステム部品の位置、及び大腿骨座標系および／または脛骨座標系に対するその向きを定義することができる。

【0049】

幾つかの実施形態において、計画は、数ある中でも、HipXpertツール、寛骨臼リーマー及びカップインパクタのような、１つ又は複数の他のツールの３Ｄモデルを組み込むことができる。

【0050】

図１８は、１つ又は複数の実施形態による、手術計画システム１７００によって生成され、ディスプレイ１７１８上に提示された計画ウィンドウ１８００の図である。計画ウィンドウ１８００は、患者の骨盤１８０４の３Ｄモデルを提示するモデルペイン１８０２を含む。骨盤１８０４のモデルには、HipXpertツール１８０６の３Ｄモデルがドッキングされている。上述されたように、HipXpertツール１８０６のモデルは、ロッド１８０８のようなガイドを含むことができる。利用される場合、計画者は、計画されたように、HipXpertツールが患者の骨盤にドッキングされた際に、ロッド１８０８が寛骨臼カップの向きの方向を指し示すように、HipXpertツールに対する１つ又は複数の調整値を求めることができる。

【0051】

手術の計画者は、人工カップ部品を受容するためにカップベッドの位置、形状および向きを計画することができる。図３０は、１つ又は複数の実施形態による、手術計画の一部のための例示的な計画ウィンドウ３０００の図である。また、計画ウィンドウ３０００は、HipXpertツール１８０６の３Ｄモデルを提示するモデルペイン１８０２も含む。計画された通りのカップベッド３００２の３Ｄモデルも、モデルペイン１８０２に提示され得る。他の計画ウィンドウに現れる患者の骨盤の３Ｄモデルは、カップベッド３００２のための計画ウィンドウ３０００内で省略されてもよい。手術の計画者は、手術の目標を達成するためにカップベッド３００２の位置、形状および向きを計画することができる。カップベッドは、計画された位置にある人工カップ部品を受容するために、理想的な外科的に作成された骨表面を意味する。

【0052】

幾つかの実施形態において、手術の計画者は、例えば、ＡＰ平面座標系に対する骨盤の３Ｄモデルにおいて寛骨臼リーマーの位置を決定して、計画された通りにカップベッドを準備することができる。例えば、寛骨臼リーマーは、長手方向軸を画定するハンドルを有することができる。手術の計画者は、計画された通りに所定の位置および向きにカップベッドを準備するためにリーマーの切削バスケットが寛骨臼内に配置されるように、寛骨臼リーマーの３Ｄモデルを位置決めすることができる。

【0053】

また、手術の計画者は、例えば、ＡＰ平面座標系に対する骨盤の３Ｄモデルにおいてカップインパクタの位置を決定して、計画された通りにカップベッドにカップ部品を移植することもできる。例えば、カップインパクタは、長手方向軸を画定するハンドルを有することができる。手術の計画者は、当該ハンドルによって画定される長手方向軸が、カップベッド内のカップインパクタの端部においてカップ部品を計画通りに位置決めするように、カップインパクタの３Ｄモデルを位置決めすることができる。

【0054】

図１９は、１つ又は複数の実施形態による、手術計画の一部のために手術計画システム１７００によって生成されて、ディスプレイ１７１８上に提示される例示的な計画ウィンドウ１９００の図である。また、計画ウィンドウ１９００は、患者の骨盤１８０４の３Ｄモデル及びHipXpertツール１８０６の３Ｄモデルを提示するモデルペイン１８０２も含む。また、カップインパクタ１９０２の３Ｄモデル及び人工カップ部品１９０４の３Ｄモデルも、モデルペイン１８０２に提示され得る。手術の計画者は、計画された位置および向きでカップベッドに着座したカップ部品１９０４のモデルを位置決めすることができる。更に、手術の計画者は、計画された位置および向きでカップ部品１９０４を移植するための位置にカップインパクタ１９０２のモデルを位置決めすることができる。

【0055】

図２３は、１つ又は複数の実施形態による、計画システム１７００によって生成された手術計画の一部のための例示的な計画ウィンドウ２３００の図である。計画ウィンドウ２３００は、患者の骨盤１８０４の３Ｄモデル、及びHipXpertツール１８０６の３Ｄモデルを含む。計画ウィンドウ２３００は更に、例えば、ＡＰ平面座標系に対して、所望の位置で寛骨臼に移植されるようなカップ部品およびライナ２３０２の３Ｄモデルを含む。

【0056】

幾つかの実施形態において、計画は、ＡＰ平面座標系または別の座標系に対して位置が画定される患者の骨盤に取り付けられる１つ又は複数の追跡デバイスも含むことができる。１つ又は複数の追跡デバイスは、人工カップ部品の中心軸に対して画定された向きを指し示すように計画され得る風見型デバイスを含むことができる。

【0057】

幾つかの実施形態において、計画は、以下の１つ又は複数の３Ｄモデルのファイルを含むことができる、即ち、
患者の骨盤（又はその一部）；
患者の大腿骨（単数または複数）(単独で、及び骨盤の一部として)；
患者のためにカスタマイズされたHipXpertツール（単独で、及び患者の骨盤上に配置されるように)；
寛骨臼の計画された深さ、及びＡＰ平面座標系に対するカップ部品の計画された向きに配置されたリーマーツール（又は、最終的なものにつながる異なるサイズのカップリーマーを有する一連のリーマーツール）；
寛骨臼部品を受容するために理想的に準備された骨表面の正確な位置を表す半球面；
カップ部品のためのＡＰ平面座標系に対する計画された位置および向きにあるカップインパクタツール；
ＡＰ平面座標系に対する寛骨臼の計画された向き（配向）及び深さにある、選択された人工カップ部品；
ＡＰ平面座標系に対する寛骨臼の計画された向き及び深さにある、選択された人工カップ部品およびライナ；
大腿骨座標系および／または脛骨座標系に対する計画された向きおよび深さにある、人工ステム；及び/又は、
１つ又は複数の追跡デバイス（例えば、風見）。

【0058】

理解されるべきは、上述した３Ｄモデルの様々な組み合わせも作成され得る。

【0059】

説明されたように、ホログラムを固定することにより、システム及び方法は、手術用ツールのいずれかを追跡する必要はなく、例えば、システム及び方法は、手術用ツールを追跡しない場合がある。その代わりに、外科医は、外科医の眼を用いて器具を追跡して、器具を対応する固定ホログラムと一致させることができる。それにも関わらず、幾つかの実施形態において、システム及び方法は、１つ又は複数の手術用ツールを追跡することができる。

【0060】

計画ツール１７０６は、ＡＲデバイス２００がエクスポートされた３Ｄモデルファイルに対応するホログラムを投影することができるように、これら３Ｄモデルファイルの少なくとも幾つかをＡＲデバイス２００と互換性のあるフォーマットへエクスポートすることができる。例えば、３Ｄオブジェクトを表す１つ又は複数のファイルが、ＡＲデバイス２００のメモリにエクスポートされてロードされ得る。代案として、３Ｄ物体を表すファイルがサーバに格納されることができ、ＡＲデバイス２００が、サーバからこれらのファイルにアクセスすることができるクライアントとして構成されてもよい。

【0061】

股関節手術の場合、以下の一連のホログラムが生成され得る、即ち
１．HipXpertツール及び骨盤のホログラム；
２．HipXpertツール、骨盤、及び理想的な寛骨臼カップベッドのホログラム；
３．骨盤を示さない状態の、HipXpertツール及び理想的なカップベッドのホログラム；
４．HipXpertツール、骨盤、理想的なカップベッド又はカップ部品、及びカップ部品を移植するための理想的な向きに位置している寛骨臼カップ部品の嵌入ハンドルのホログラム；
５．生来の骨盤が所定位置に静止している全ての骨棘を備えており、ベアリング挿入物を有さない状態の、HipXpertツール、骨盤、及び金属製寛骨臼カップ部品のホログラム；
６．HipXpertツール、骨盤、金属製寛骨臼部品、及びベアリング挿入物のホログラム。

【0062】

それにも関わらず、理解されるべきは、他の及び／又は追加のホログラムが生成されて、含まれ得る。例示的な追加のホログラムの例には、寛骨臼リーマーハンドルのホログラム、及び理想的な位置にある各逐次のリーマーバスケットのホログラムが含まれる。外科医が実際のリーマーハンドルを、それらのホログラムと正確に重ねた状態で最終リーマーバスケットと一致させる場合、カップの準備ベッドは計画された場所にある。係る追加のホログラムは、外科医が骨カップベッドを準備する際にリーマーが空間内にある場所を見ることができない場合があるので、上述したホログラム２及び３にまさる幾つかの利点を有することができる。これらのホログラムを用いて、外科医は、リーマーで穴を広げ（リーミング）て、リーマーを取り出し、実際に用意された骨のカップベッド表面をホログラムと比較するために切開部の中をのぞく。代わりに又は更に、正確なリーマーハンドル及びバスケットのホログラムが存在する場合、外科医は、カップベッドが、重なっているホログラム及び現実に患者の身体の外側の大部分を見ることにより正しいか否かを見分けることができる。これは、幾つかある利点の中で、より好都合であることができる。また、カップ嵌入中、理想的な直線カップインパクタ（アライメントのみのため）を有する上述したホログラム４の代わりに、手術でも使用されることになる同じ正確な計画されたカップ部品と共に、手術で使用されるべき同じ正確な計画されたカップインパクタのホログラムが存在することができる。次いで、カップを押し込む（嵌入する）際、外科医は、適正であるべきカップ部品の向きを整列することができるだけでなく、カップ部品が完全に着座しているか否か、正しい場所にあるか否かも見分けることができる。

【0063】

幾つかの実施形態において、１つ又は複数の手術用ツールの他のコンピュータ支援設計（ＣＡＤ）モデルのような、コンピュータ生成された三次元（３Ｄ）モデルが、データストア１７１０に格納され得る。手術用ツールの３Ｄ表面モデルは、これらモデルから生成されることができ、データストア１７１０にも格納され得る。幾つかの実施形態において、３Ｄ表面モデルのみがデータストア１７１０に含まれ得る。幾つかの実施形態において、標準的な切削バスケットを有する標準的な寛骨臼リーマー及び標準的な寛骨臼カップインパクタのような、１つ、ハンドフル又は何らかの他の少数の標準的な手術用ツールの３Ｄ表面モデルが、データストア１７１０に含まれ得る。リーマー又はカップインパクタを含むホログラムは、標準的なリーマー又はカップインパクタのこれらの表面モデルに基づくことができる。

【0064】

しかしながら、他の実施形態において、例えば、ミシガン州カラマズー在のStryker Corp.、テキサス州プレーノー在のGreatbatch, Inc.（現在、Integer Holdings Corp.）、英国エセックス在のOrthoSolutions UK Ltd.、インディアナ州ウォーソー在のZimmer Biomet Holdings, Inc.、マサチューセッツ州レインハム在のDepuy Synthes等の１つ又は複数の製造業者から全製品群を含む実際のリーマー及び／又はカップインパクタの３Ｄ表面モデルが、データストア１７１０に含まれ得る。更に、異なるサイズの切削バスケット及び異なるサイズの寛骨臼カップの３Ｄ表面モデルがデータストア１７１０に含まれ得る。手術計画段階中、外科医が手術に使用している特定のリーマー及び特定のカップインパクタに対応する３Ｄ表面モデルは、データストア１７１０から選択されて、手術計画の作成に使用され得る。カップインパクタ及びカップ部品のための３Ｄモデルは、計画されたカップの各々がカップインパクタ（例えば、ネジの深さ及びシェルの厚さに起因して)上に如何にして組み立てられるかに関する空間的組み立て情報さえも含むことができる。このように、外科医が使用している特定の手術用ツールを表すホログラムが生成されて、提示され得る。更に、異なるバスケットサイズを有するリーマーの一連のホログラムが生成されて、次のリーマーバスケットサイズに移動する前に、各リーマーバスケットサイズによって実行される骨切削作業を示すことができる。一連のホログラムは、さらに切削が行われる際に寛骨臼内へより深く移動していることを示すことができる。即ち、各ホログラムは、各リーマーバスケットサイズによって実行されるべき正確な切削量を示すことができる。更に、移植されている物理的なカップ部品に対応するカップインパクタ及びカップのホログラムが生成され得る。

【0065】

外科的処置の前に、ナビゲーションシステム１６００又は１つ又は複数のその部分は、ＡＲデバイス２００のメモリへロードされ得る、及び／又はＡＲヘッドセット２００にアクセス可能にされ得る。例えば、ＡＲデバイス２００は、ＡＲデバイス２００と通信する関係にあるラップトップコンピュータのような、サーバにロードされて実行され得るナビゲーションシステム１６００のクライアントとして構成され得る。幾つかの実施形態において、手術を計画するために使用される計画ツール１７０６が、ＡＲデバイス２００にロードされて、実行されてもよい。

【0066】

処置の間、外科医は、患者の骨盤に適合するように物理的なHipXpertツールをカスタマイズするために、計画内に提供された通りに物理的なHipXpertツールを調整することができる。次いで、外科医は、患者の骨盤に物理的なHipXpertツールを配置することができる。患者は、手術室の台上に配置され得る。外科医は、ＡＲデバイス２００を着用することができる。外科医は、ＡＲデバイス２００を制御して、計画された通りに、患者の骨盤のホログラムに取り付けられたHipXpertツールのホログラムをレンダリングすることができる。外科医は、ＡＲデバイス２００によって提供されるユーザインタフェース要素を操作して、HipXpertツール／骨盤のホログラムをサイズ変更し、移動し、及び／又は回転させることができ、その結果、ホログラムは、患者の骨盤に取り付けられた物理的なHipXpertツールと同一場所に配置される（例えば、互いに揃えられる）。より具体的には、骨盤は、患者の皮膚の下にあるので、外科医には見えないかもしれないが、患者の骨盤にドッキングされたHipXpertツールは、外科医に見える。従って、外科医は、患者の骨盤にドッキングされた物理的なHipXpertツールと同一場所に配置されるまで、HipXpertツール／骨盤のホログラムをサイズ変更し、移動し、及び／又は回転させることができる。患者の骨盤が外科医に見えないにも関わらず、患者の骨盤のホログラムも患者の骨盤と同一場所に配置される。ひとたびHipXpertツール／骨盤のホログラムが物理的なHipXpertツールと同一場所に配置されたならば、外科医は、手術室内のその位置でHipXpertツール／骨盤のホログラムを固定または固着することができる。例えば、ＡＲデバイス２００は、ＡＲデバイス２００によってレンダリングされたホログラムのための固定特徴要素を含むことができる。更に、本明細書で説明されるように、幾つかの実施形態において、ナビゲーションシステム１６００は、例えばＱＲコードのような画像の画像認識を用いて、又は患者に対して特に調整される際にHipXpertツールの物体認識を用いて、１つ又は複数のホログラムを現実のものと自動的に同一場所に配置することができる。

【0067】

図２４は、１つ又は複数の実施形態による、物理的な物体と同一場所に配置されているホログラムの、２４００で全般的に示された絵画図である。表現（描写）２４００は、計画された通りに物理的な股関節モデル２４０８にドッキングされた物理的なHipXpertツール２４０６を含む。表現２４００は更に、HipXpertツールのホログラム２４０２、及びHipXpertツールのホログラム２４０２が計画されたように股関節モデルのホログラム２４０４にドッキングされる股関節モデルのホログラム２４０４を含む、概して２４０５で示されるホログラムを含む。物理的なHipXpertツール２４０６は、ＱＲコード２４１０を含む。ホログラム２４０５は、ＡＲデバイス２００の着用者によって手動で、及び／又はＡＲデバイス２００によって自動的に、物理的なHipXpertツール２４０６と同一場所に配置されるまで、空間内で再配置され得る。説明のために、図的記述２４００は、物理的な股関節モデル２４０８を示している。しかしながら、患者の股関節は、それが患者の皮膚の下にあるので、外科医には見ることができない。幾つかの実施形態において、外科医は、HipXpertツールのホログラム２４０２が、外科医に見ることができる物理的なHipXpertツール２４０６と同一場所に配置されるように、ホログラム２４０５を手動で再配置することができる。患者の物理的な股関節は外科医に見ることができないが、股関節のホログラム（股関節モデルのホログラム２４０４によって示される）は、患者の物理的な股関節がどこにあるかを外科医に示す。他の実施形態において、物体認識装置１６０２は、物理的なHipXpertツール２４０６上のＱＲコード２４１０を検出して、ホログラム２４０５を物理的なHipXpertツール２４０６に対して自動的に同一場所に配置することができる。物体認識装置１６０２が、ＱＲコードを用いてのように画像認識を実行することができるだけでなく、HipXpertツール２４０６自体、又は実際の骨の寛骨臼を加えたHipXpertツール２４０６の物体認識も実行することができる。

【0068】

幾つかの実施形態において、物理的なHipXpertツールは、ガイドロッドを含まない場合がある。それにも関わらず、外科医は、計画された向きで患者の寛骨臼内に人工カップ部品を移植するために、HipXpertツールのホログラムのガイドロッドを利用することができる。即ち、外科医は、計画された向きでカップを移植するためのガイドとして、HipXpertツールのホログラムのガイドロッドを使用することができる。それにも関わらず、ガイドロッドのホログラムに加えて（又は代わりに)、ＡＲデバイス２００は、カップインパクタツールのホログラムを提示することができ、外科医は、物理的なカップインパクタツールをカップインパクタツールのこのホログラムに整列することができる。次いで、外科医は、当該物理的なツールを当該ホログラムと手動で整列することができる。上述されたように、幾つかの実施形態において、物理的なツールを追跡する必要はない。その代わりに、当該システムは、HipXpertデバイスのＱＲコードの１つ又は複数を検出して、１つ又は複数のＱＲコードによって露わにされ、且つ当該ＱＲコードと位置合わせされた空間座標系に基づいて、当該ホログラムを固定することができる。次いで、ホログラムは、手術用ツールの計画された位置を示し、外科医は、物理的なツールを当該ホログラム（例えばツールのための計画された位置）と位置合わせすることができる。

【0069】

幾つかの実施形態において、外科医は、ＡＲデバイス２００を動作させて、リーマー／HipXpertツール／骨盤のホログラムをレンダリングすることができる。リーマーのホログラムは、リーマーのホログラムが、ＡＰ平面座標系に対して人工カップ部品を受容するために寛骨臼を準備するための最終位置および向きにあるように、骨盤のホログラムに対して配置され得る。外科医は、ＡＲデバイス２００によって提供されるユーザインタフェース要素を操作して、リーマー／HipXpertツール／骨盤のホログラムをサイズ変更し、移動し、及び／又は回転させることができ、その結果、ホログラムは、患者の骨盤に取り付けられた物理的なHipXpertツールと同一場所に配置され、例えば、当該ホログラムと当該ツールは空間的に互いに揃えられる。外科医は、ＡＲデバイス２００を操作して、リーマー／HipXpertツール／骨盤のホログラムを手術室内のその位置で固定または固着することができる。次いで、外科医は、物理的なリーマーツールを動作させて、物理的なリーマーがリーマーのホログラムと同一場所に配置されるまで寛骨臼を準備することができる。例えば、外科医は、リーマーのホログラムと同一場所に配置されるように物理的なリーマーを配置することができる。上述されたように、ホログラムは、標準的なリーマーを表すことができ、又は好適な実施形態において、ホログラムは、外科医によって手術中に使用されている特定のリーマーを表すことができ、これは、外科医がリーマーのホログラムと物理的なリーマーを整列させることをより容易にすることができる。更に、例えば異なる切削バスケットサイズを有するリーマーの一連のホログラムを提示することができ、外科医は、ホログラムに含まれる切削バスケットに一致するように物理的な切削バスケットを変更することができる。また、一連のホログラムは、各切削バスケットで実行されるべき切削の深さも示す。物理的なリーマーがリーマーのホログラムと整列される場合、それぞれの切削バスケットによる切削が完了する。外科医は、切削バスケットを変更することができ、一連のホログラムにおける次のホログラムが提示され得る。このプロセスは、カップベッドが計画された通りに準備されるまで繰り返され得る。物理的なリーマー（又は一連のリーマーの場合に最後の切削バスケットを有する物理的なリーマー)が、リーマーのホログラムと同一場所に配置される場合、カップベッドは、計画されたようにカップ部品を受容するように準備される。例えば、５６ｍｍカップ部品のための外科計画が呼び出されることを仮定する。この計画は、５１ｍｍバスケットを有する第１のリーマー、５３ｍｍバスケットを有する第２のリーマー、５５ｍｍバスケットを有する第３のリーマー、及び最後に、カップ部品を挿入する前のカップベッドの最終的な準備を行うための５６ｍｍバスケットを有する第４のリーマーのような、一連のリーマーを要求することができる。

【0070】

外科医は、ＡＲデバイス２００を操作して、カップベッド／HipXpertツールのホログラムをレンダリングすることができる。外科医は、ＡＲデバイス２００によって提供されるユーザインタフェース要素を操作して、カップベッド／HipXpertツールのホログラムをサイズ変更し、移動し、及び／又は回転させることができ、その結果、ホログラムは患者の骨盤に取り付けられた物理的なHipXpertツールと同一場所に配置される。外科医は、ＡＲデバイス２００を操作して、カップベッド／HipXpertツールのホログラムを手術室内のその位置で固定または固着することができる。外科医は、患者の切開部を通して見ることができ、物理的な寛骨臼をカップベッドのホログラムと比較することができる。外科医は、リーミングした後の物理的な寛骨臼の外観がカップベッドのホログラムと一致するか否かを判断することができる。そうでない場合、外科医は物理的なリーマーを動作させて、それがカップベッドのホログラムと一致するまで寛骨臼をさらに形成することができる。

【0071】

図２５は、１つ又は複数の実施形態による、ホログラム２５００の絵画図である。ホログラム２５００は、HipXpertデバイスのホログラム２４０２、患者の骨盤のホログラム２５０４、及び計画された通りのカップベッドのホログラム２５０２を含むことができる。外科的処置の間、ホログラム２５００は、例えば、HipXpertデバイスのホログラム２４０２を物理的なHipXpertデバイスと同一場所に配置することにより、手動および／または自動的に、対応する物理的な物体に対して同一場所に配置され得る。次いで、外科医は、例えばリーマーの使用を通じて準備されたような物理的なカップベッドを検査し、物理的なカップベッドの形状（例えば、深さ及び中心または向き）が、計画されたようにカップベッドのホログラム２５０２と一致する否かを確かめることができる。そうでなければ、外科医は、例えばリーマーを使用して、それがホログラム２５０２に一致するまで、物理的なカップベッドを形成し続けることができる。

【0072】

図２６は、１つ又は複数の実施形態によるホログラム２６００の絵画図である。ホログラム２６００は、HipXpertデバイスのホログラム２４０２、計画された通りに準備されたカップベッドのホログラム２６０２を含むことができる。しかしながら、ホログラム２５００（図２５）とは異なり、ホログラム２６００は、患者の骨盤の仮想表現を含まない。外科的処置の間、ホログラム２６００は、例えば、HipXpertデバイスのホログラム２４０２を物理的なHipXpertデバイス２４０６（図２４）と同一場所に配置することにより、手動および／または自動的に、対応する物理的な物体に対して同一場所に配置され得る。次いで、外科医は、準備されたような物理的なカップベッドを検査して、物理的なカップベッドの形状（例えば、深さ及び中心または向き）が、計画されたようにカップベッドのホログラム２６０２と一致するか否かを確かめることができる。外科医は、外科医のビュー（見ること）を妨げる可能性があるホログラム２５００と同様に、骨盤の仮想表現を備えない計画されたカップベッドのホログラム２６０２と物理的なカップベッドを見て比較することが、より容易であることができる。再び、物理的なカップベッドが、計画されたカップベッドのホログラム２６０２の形状と一致しない場合、外科医は、それがホログラム２６０２と一致するまで、物理的なカップベッドを形成し続けることができる。

【0073】

次に、外科医は、ＡＲデバイス２００を操作して、ＡＰ平面座標系に対して計画された配向（向き）および位置（例えば、深さ）で人工カップ部品を移植するための最終位置にカップインパクタが配置された状態で、カップインパクタ／HipXpertツール／骨盤のホログラムをレンダリングすることができる。外科医は、ＡＲデバイス２００によって提供されるユーザインタフェース要素を操作して、カップインパクタ／HipXpertツール／骨盤のホログラムをサイズ変更し、移動し、及び／又は回転させることができ、その結果、ホログラムは患者の骨盤に取り付けられた物理的なHipXpertツールと同一場所に配置される。外科医は、ＡＲデバイス２００を操作して、手術室内のその位置でカップインパクタ／HipXpertツール／骨盤のホログラムを固定または固着することができる。

【0074】

図２７は、１つ又は複数の実施形態による、ホログラム２７００の絵画図である。ホログラム２７００は、HipXpertデバイスのホログラム２４０２、患者の骨盤のホログラム２５０４、計画された通りのカップベッドのホログラム２６０２、及び計画された配向および位置で人工カップ部品を移植するための最終位置に配置されたカップインパクタのホログラム２７０２を含むことができる。外科的処置の間、ホログラム２７００は、例えば、HipXpertデバイスのホログラム２４０２を物理的なHipXpertデバイスと同一場所に配置することにより、手動および／または自動的に、対応する物理的な物体に対して同一場所に配置され得る。

【0075】

図２０は、１つ又は複数の実施形態による、ホログラム２０００の絵画図である。ホログラム２０００は、骨盤のホログラム２００４、HipXpertツールのホログラム２００６、及びカップインパクタのホログラム２００８を含むことができる。外科的処置の間、ホログラム２０００は、HipXpertツールのホログラム２００６が患者の骨盤にドッキングされた物理的なHipXpertツールと同一場所に配置される（例えば、空間的に位置合わせされる）ように配置され得る。次いで、外科医は、物理的なカップインパクタ２００２を用いて、カップベッド内に人工カップ部品を移植することができる。外科医は、カップインパクタのホログラム２００８と同一場所に配置されるまで、物理的なカップインパクタ２００２を操作することができる。物理的なカップインパクタ２００２がカップインパクタのホログラム２００８と同一場所に配置される場合、カップ部品は、例えば、寛骨臼内の計画された深さ及び配向で、計画された通りにカップベッド内に配置される。

【0076】

図５５は、１つ又は複数の実施形態による、ＡＲデバイス２００を介して見られる際の手術シーン５５００の絵画図である。手術シーン５５００には、患者５５０２が含まれる。皮膚の下にあり且つ見ることができない患者の骨盤には、３脚の整合および追跡デバイス５５０４がドッキングされている。整合および追跡デバイス５５０４は、その表面にＱＲコードを有する立方体５５０６を含む。また、手術シーン５５００には、ＡＲデバイス２００によって提示されるような、概して５５０８で示されたホログラムが含まれる。ホログラム５５０８は、患者の骨盤のホログラム５５１０、整合および追跡デバイスのホログラム５５１２、及び人工カップ部品を移植するための計画された位置にあるカップインパクタのホログラム５５１４を含む。図示されているように、整合および追跡デバイスのホログラム５５１２は、例えば、ＡＲデバイス２００によるＱＲコードの１つ又は複数の画像認識を通じて、又は整合および追跡デバイス５５０４の少なくとも一部の物体認識を通じて、物理的な整合および追跡デバイス５５０４と同一場所に配置される。従って、患者の骨盤のホログラム５５１０も、患者の骨盤と同一場所に配置される。外科医は、カップインパクタのホログラム５５１４と揃えた状態（例えば、同一場所に配置）で物理的なカップインパクタ５５１６を配置することができる。カップインパクタのホログラム５５１４は直線状であるが、切開部５５１８内に延び、且つ部分的に見えるだけである物理的なカップインパクタ５５１６は、Ｃ型形状である。カップインパクタのホログラム５５１４と揃えた状態で配置された物理的なカップインパクタ５５１６を用いて、外科医は、カップインパクタ５５１６の端部に配置されたカップ部品を移植するためにカップインパクタ５５１６を操作することができ、ひいては計画された位置において（切開部５５１８通して以外）見ることができない。

【0077】

上述されたように、当該システム及び方法は、手術室内の患者との手術中に、患者の骨盤を整合する（register：登録する、位置合わせする）ことができる。次いで、一連のホログラムが、整合された際の骨盤に対して提示され得る。ホログラムは、計画された位置に手術用ツールのホログラムを含むことができ、外科医は、手術の１つ又は複数の目標を達成するために、ホログラムを用いて物理的な手術用ツールを整列させることができる。物理的な手術用ツールは、それ自体が手術室内で追跡される必要はない。それにも関わらず、幾つかの実施形態において、手術用ツールは、例えば、物体トラッカー１６０６によって追跡され得る。

【0078】

幾つかの実施形態において、静的ホログラムを提示することに加えて、ＡＲデバイス２００は、ホログラフィック映画の形態で一連のホログラムを提示することができ、それは、外科的処置の間に必要に応じて外科医によって一時的に停止され且つ再開され得る。ホログラフィック映画は、例えば、１つ又は複数の手術用ツールの操作の追跡に基づいて、例えば、リアルタイムで更新され得る。

【0079】

幾つかの実施形態において、外科医は、ＡＲデバイス２００を操作して、人工カップ部品／HipXpertツール／骨盤のホログラムを、寛骨臼内の計画された配向および位置にあるカップ部品のホログラムと共にレンダリングすることができる。外科医は、ＡＲデバイス２００によって提供されるユーザインタフェース要素を操作して、カップ部品／HipXpertツール／骨盤のホログラムをサイズ変更し、移動し、及び／又は回転させることができ、その結果、ホログラムは患者の骨盤に取り付けられた物理的なHipXpertツールと同一場所に配置される。外科医は、ＡＲデバイス２００を操作して、カップ部品／HipXpertツール／骨盤のホログラムを手術室内のその位置で固定または固着することができる。外科医は、患者の切開部を通じて見ることができ、物理的なカップ部品の位置と配向をカップ部品のホログラムと比較することができる。外科医は、移植されるような物理的なカップ部品の外観がカップ部品のホログラムと一致するか否かを判断することができる。そうでない場合、外科医は、それがカップ部品のホログラムと一致するまで、物理的なカップ部品を再配置することができる。

【0080】

図２８は、１つ又は複数の実施形態による、ホログラム２８００の絵画図である。ホログラム２８００は、HipXpertデバイスのホログラム２４０２、患者の骨盤のホログラム２５０４、及び計画通りに患者の寛骨臼に移植されたカップ部品のホログラム２８０２を含むことができる。外科的処置の間、ホログラム２８００は、例えば、HipXpertデバイスのホログラム２４０２を物理的なHipXpertデバイスと同一場所に配置することにより、手動および／または自動的に、対応する物理的な物体に対して同一場所に配置され得る。次いで、外科医は、例えば、カップインパクタの使用を通じて、移植された際に物理的なカップ部品を検査し、物理的なカップ部品の位置および配向が、計画された通りに、カップ部品のホログラム２８０２と一致するか否かを確かめることができる。そうでなければ、外科医は、物理的なカップ部品の位置がホログラム２８０２に一致するまで、例えば、カップインパクタを用いて、物理的なカップ部品を再配置することができる。

【0081】

幾つかの実施形態において、外科医は、ホログラム２８００を利用して、物理的なカップ部品を所定の位置に保持するための１つ又は複数のネジを挿入するための場所を決定することができる。より具体的には、外科医は、患者の骨盤のホログラム２５０４に基づいて、１つ又は複数のネジを配置するための場所に関する外科医の決定の根拠とすることができる。例えば、外科医は、ホログラム２５０４によって示されるように、患者の骨盤に堅固に固定されるように、１つ又は複数のネジを配置することができる。例えば、カップ内のネジ穴が、ネジとの最良の固定を達成するように必要に応じて配置されるように、カップが計画されることができ、外科医は、手術中に物理的なカップをホログラムと同一場所に配置し、それによって、計画された最良の固定を実現することができる。

【0082】

図３８は、１つ又は複数の実施形態による、手術計画システム１７００によって生成され、ディスプレイ１７１８上に提示される例示的な計画ウィンドウ３８００の図である。計画ウィンドウ３８００は、患者の骨盤１８０４の３Ｄモデルを提示するモデルペイン１８０２を含む。骨盤１８０４のモデルには、HipXpertツール１８０６の３Ｄモデルがドッキングされている。骨盤１８０４は、寛骨臼３８０２を含み、寛骨臼３８０２内には、寛骨臼カップ部品のシェル３８０４が配置されている。シェル３８０４は、シェル３８０４をカップインパクタに取り付けるためのドーム状穴３８０５、及びシェル３８０４を寛骨臼３８０２に固定するための骨ネジを受容するための３つのネジ穴３８０６ａ～３８０６ｃを含む。シェル３８０４は、寛骨臼３８０２内で回転することができ、それにより、ネジが骨盤に入る場所を変えることができる。シェル３８０４の位置は、骨ネジが骨に入り込み、ネジの骨盤への固定を改善するように計画され得る。また、ネジ穴３８０６ａ～３８０６ｃの位置は、骨ネジが骨を越えて延びて血管または他の物体を損傷しないようにも計画され得る。ここで、シェル３８０４はマイナス２０度の回転位置に配置されている。この位置において、ネジ穴３８０６ｃに挿入される前部／下側ネジは短くなければならず、更に前内側内皮質に入り込む可能性があり、患者の生体組織への危険性が提示されている。

【0083】

図３９は、１つ又は複数の実施形態による、手術計画システム１７００によって生成され、ディスプレイ１７１８上に提示される例示的な計画ウィンドウ３９００の図である。計画ウィンドウ３９００は、患者の骨盤１８０４及びHipXpertデバイス１８０６の３Ｄモデルを提示するモデルペイン１８０２を含む。ここで、シェル３８０４は、図３８に示された位置に対して寛骨臼３８０２内の新しい位置に移動している。具体的には、シェル３８０４は、プラス２０度の回転位置に配置される。この位置において、後部下側ネジ穴３８０６ｂは、後壁を越えて延びることを避けるために短い長さを有する必要がある場所に接近している。

【0084】

図４０は、１つ又は複数の実施形態による、手術計画システム１７００によって生成され、ディスプレイ１７１８上に提示される例示的な計画ウィンドウ４０００の図である。計画ウィンドウ４０００は、患者の骨盤１８０４及びHipXpertデバイス１８０６の３Ｄモデルを提示するモデルペイン１８０２を含む。ここで、シェル３８０４は、図３８及び図３９に示された位置に対して寛骨臼３８０２内の新しい位置に移動している。具体的には、シェル３８０４は、０度の回転位置に配置される。この位置において、全てのネジねじ穴３８０６ａ～３８０６ｃは、強い骨固定を支持する優れたネジ長を提供する位置にある。従って、計画者は、手術中にシェルの計画された位置に関して０度の回転位置を選択することができる。更に、１つ又は複数のホログラムが、図４０に示されるように、股関節、HipXpertデバイス、及びシェルのモデルに基づいて生成され得る。当該ホログラムは、手術中に提示されることができ、外科医は、ネジ穴が計画された位置にあるように、ホログラムに含まれるシェルと物理的なシェルを揃える（位置合わせする）ことができる。

【0085】

幾つかの実施形態において、シェルのネジ穴の理想的な位置を決定することに加えて、ネジ穴内の骨ネジの方向および長さも計画され得る。骨ネジの方向は、ネジ固定を最大化するために、及び／又は骨を越えて入り込んだり又は何らかの損傷を生じたりすることを回避するために計画され得る。骨ネジの計画された方向および長さを示す１つ又は複数のホログラムが生成され得る。骨ネジの方向の表現は、幾つかの方法で示されることができる。例えば、方向を示す線をホログラムに含めることができ、外科医は、これらの線に沿って骨ネジのための穴をドリル開けするためにドリルを操作することができる。他の実施形態において、ネジ穴において先端を有する計画された方向にある骨ネジのホログラムが提供されてもよい。理解されるべきは、骨ネジの計画された方向は、他の方法でホログラムに示され得る。

【0086】

幾つかの実施形態において、骨ネジのドリル開け深さ及び／又は各骨ネジのサイズ（例えば、長さ）は、１つ又は複数のホログラムに提示され得る。例えば、計画された深さにあり且つ計画された方向にあるドリルビットを有するドリルのホログラムが提示され得る。外科医は、物理的なドリルビットが計画された方向にあるように物理的なドリルを操作することができ、外科医は、物理的なドリルがホログラムとの位置合わせに到達したときにドリル開けを停止することができる。

【0087】

骨ネジを計画するためのこの手法は、いくつかの利点を有する。例えば、それは、危険なドリルの軌道、及び危険な場所で遠位皮質を貫通するかもしれない深すぎるドリル開けを回避することにより危険性を低減し、誤った場所において長すぎるネジを配置することの危険性を低減し、より長いネジを安全に配置することができる場合に短いネジを避けることにより危険性を低減し、外科医が外科的処置中にネジの深さを測定する必要がないという理由で時間を節約することができる。また、下手な買い物である不必要に短いネジを使用する危険性も回避される。

【0088】

計画された通りに物理的なカップ部品が移植された状態で、外科医は、ライナを当該カップ部品に挿入することができる。

【0089】

図２９は、１つ又は複数の実施形態による、ホログラム２９００の絵画図である。ホログラム２９００は、HipXpertデバイスのホログラム２４０２、患者の骨盤のホログラム２５０４、及び計画された通りに患者の寛骨臼に移植されたライナを有するカップ部品のホログラム２９０２を含むことができる。外科的処置の間、ホログラム２９００は、例えば、HipXpertデバイスのホログラム２４０２を物理的なHipXpertデバイスと同一場所に配置することによって、手動および／または自動的に、対応する物理的な物体に対して同一場所に配置され得る。次いで、外科医は、移植されたようなライナを有する物理的なカップ部品を検査し、ライナを有する物理的なカップ部品の位置および配向（向き）がホログラム２９０２と一致するか否かを確かめることができる。そうでなければ、外科医は、その位置がホログラム２９０２と一致するまで、物理的なカップ部品および／またはライナを再配置することができる。

【0090】

動きと衝突の予測範囲
術前に、部品の配置および特定の骨棘のトリミングが計画され得る。更に、計画された部品および計画された位置での股関節の動きの範囲がシミュレーションされることができ、幾つかのタイプの衝突が発生するまで(全方向における)動きの複合範囲が計算され得る。これは、骨の大腿骨－骨の骨盤、インプラントの大腿骨－骨の骨盤、骨の大腿骨－インプラントの骨盤、又はインプラントの大腿骨－インプラントの骨盤の衝突である可能性がある。

【0091】

手術中、ひとたび物理的なカップが移植され、物理的な骨棘が除去されたならば、ＡＲデバイス２００は、カップの物体認識を実行して、骨盤に対するカップの正確な配置を決定することができる。ＡＲデバイス２００は、物理的なカップおよび／または他のインプラントがどこにあるかを判断し、骨棘のトリミング後の骨の形状を更に決定することができる。次いで、ＡＲデバイス２００は、骨盤の３Ｄ表面モデル（単数または複数）を更新し、移植された際のカップ及び／又は他のインプラントの位置に基づいて、衝突に対する動きの範囲を計算することができる。

【0092】

当該処置の間、外科医は、物理的なHipXpertツールが、HipXpertツールの固定されたホログラムと依然として揃っていることを確認することができる。もはや物理的なHipXpertツールがHipXpertツールのホログラムと同一場所に配置されていないことを、外科医が認識する場合、外科医は、HipXpertツールのホログラムを含むホログラムを再配置して、当該ホログラムを物理的なHipXpertツールと同一場所に配置することができ、及び／又は物理的なHipXpertツールが、HipXpertツールのホログラムを含むホログラムと同一場所に配置されるように、患者を再配置することができる。幾つかの実施形態において、ナビゲーションシステム１６００は、例えば、画像または物体認識のような方法論を用いて、物理的なHipXpertツールと同一場所に配置されたホログラムを自動的に維持することができる。

【0093】

幾つかの従来技術の外科用ナビゲーションシステムでは、外科医は、手術用ツールの追跡を監視するために、手術部位から離れてディスプレイを見る必要がある。本開示の利点は、外科医が、１つ又は複数の手術用ツールを追跡しながら、手術部位に向けられた外科医の目を維持することができることである。

【0094】

幾つかの実施形態において、外科医は、１つ又は複数の追跡デバイスを患者に取り付けることができる。例えば、外科医は、風見型デバイス、又は１つ又は複数のＱＲコードを有する物体を患者の骨盤に取り付けることができる。外科医は、ＡＲデバイス２００を操作して、１つ又は複数の追跡デバイス（例えば、風見、HipXpertツール、及び骨盤）のホログラムをレンダリングすることができる。外科医は、ＡＲデバイス２００によって提供されるユーザインタフェース要素を操作して、風見／HipXpertツール／骨盤のホログラムをサイズ変更し、移動し、及び／または回転させることができ、その結果、ホログラムは患者の骨盤に取り付けられた物理的なHipXpertツールと同一場所に配置される。外科医は、ＡＲデバイス２００を操作して、風見／HipXpertツール／骨盤のホログラムを手術室内のその位置に固定または固着することができる。外科医は、風見のホログラムと同一場所に配置されるまで、物理的な風見を調整することができる。ひとたび物理的な風見が風見のホログラムと同一場所に配置されたならば、外科医はその位置に物理的な風見を固定または固着することができる。次いで、外科医は、患者の骨盤から物理的なHipXpertデバイスを取り除くことができる。外科医は、計画された配向および位置で人工カップ部品を移植するために、物理的な風見および／または風見のホログラムを利用することができる。例えば、風見（物理的またはホログラム）は、人工カップ部品の中心軸に対して計画された向き（配向）に沿って指し示す表示器を有することができる。外科医は、計画された向き及び／又は位置で人工カップ部品を移植するためのガイドとして、風見（物理的またはホログラム）を使用することができる。

【0095】

幾つかの実施形態において、風見またはＱＲ立方体は、手術室内のランダムに配置された空間であることができる。当該システム及び方法は、これらの物体が他の物体に対して存在する場所を走査することにより、これらの物体の表現を示す新たなホログラムをオンザフライで再生成することができる。

【0096】

本明細書に記載される１つ又は複数のホログラムは、HipXpertツールの代わりに又はそれに加えて、位置合わせツールとして使用され得る風見を含むことができる。

【0097】

計画された位置（例えば、深さおよび向き）でカップ部品が移植された状態で、外科医は外科的処置を継続することができる。例えば、外科医は股関節を下げて、切開部を閉じることができる。他の場合では、外科医は大腿骨頭を取り外し、人工ステムを移植し、股関節を下げて、切開部を閉じることができる。

【0098】

幾つかの実施形態において、ＡＲデバイス２００は、患者の寛骨臼において移植された際にカップ部品を検出するために物体検出を利用することができる。幾つかの実施形態において、カップ部品は、ＡＲデバイス２００によりその配向が決定され得るノッチ（切り欠き）又は他の物理的特徴要素を含むことができる。ＡＲデバイス２００は、検出された際にカップ部品の位置に基づいて骨盤を位置合わせすることができる。次いで、ＡＲデバイス２００は、カップ部品を利用して、骨盤に対して計画された通りに１つ又は複数のホログラムを固定することができる。幾つかの実施形態において、ひとたびＡＲデバイス２００がカップ部品を検出したならば、HipXpertデバイスを取り除くことができる。他の実施形態では、骨盤の位置合わせは、カップ部品から、患者の骨盤に取り付けられたトラッカーのような別の物体に伝達され得る。かくして、ＡＲデバイス２００は、カップ部品がもはや見えるところにない場合でさえも、計画通りにホログラムを固定し続けることができる。

【0099】

自動画像認識：例示的なＱＲコード
説明された実施形態において、ＡＲデバイス２００を着用する外科医は、HipXpertツールのような、手術室内の対応する物体に１つ又は複数のホログラムを手動で位置合わせすることができる。

【0100】

幾つかの実施形態において、物体認識装置１６０２は、二次元（２Ｄ）クイックレスポンス（ＱＲ）コードであることができるバーコードのような画像を検出して追跡するように構成され得る。例えば、ＱＲコード追跡ツールは、VuForia Engineを有するHoloLens HMDのような、没入型VR HMD用のWindows MixedRealityドライバで利用可能である。物体認識装置１６０２は、没入型（VR） HMD用のWindows Mixed Realityドライバを組み込む及び／又は利用することができる。

【0101】

幾つかの実施形態において、１つ又は複数のＱＲコードは、HipXpertツールのような整合および追跡ツールに追加および／または組み込まれ得る。１つ又は複数のＱＲコードは、HipXpertツールに対して所定の幾何学的関係で配置され得る。例えば、立方体のような三次元（３Ｄ）形状が、HipXpertツール上に搭載され、１つ又は複数のＱＲコードが当該立方体のそれぞれの側面または面に配置および／または形成され得る。物体認識装置１６０２は、ＡＲデバイス２００と面する立方体の側面上のＱＲコードのような、これらＱＲコードのうちの少なくとも１つを検出することができる。使用され得る他の３Ｄ形状には、角錐、三角柱、直方体などが含まれる。

【0102】

図２１は、１つ又は複数の実施形態による、整合および追跡ツール２１００の一部分の絵画図である。ツール２１００は、コンパス及びガイド要素が除去された状態のHipXpertツールであることができる。ツール２１００は、ハブ２１０２、ハブ２１０２から調整可能に延びる２つのアーム２１０４ａ及び２１０４ｂを含む。ツール２１００は更に、ハブ２１０２及び２つのアーム２１０４ａ及び２１０４ｂにより画定された公称平面から垂直に延びる３つの脚（図示せず）を含む。第１の脚は、ハブ２１０２から延び、第２及び第３の脚は、２つのアーム２１０４ａ及び２１０４ｂの端部から延びる。当該脚の反対側でハブ２１０２上には、立方体２１０８が搭載される。立方体２１０８は、ＱＲコード２１１２を保持する前面２１１０を含むことができる。幾つかの実施形態において、ＱＲコードは、ハブ２１０２に立方体２１０８を搭載するために使用される側面（例えば、底面）を除いた全てのような、立方体２１０８の二つ以上の側面に配置され得る。更に、物体認識装置１６０２は、ＡＲデバイス２００に最も近接して面する立方体２１０８の側面上のＱＲコードを検出してもよい。幾つかの実施形態において、物体認識装置１６０２は、位置合わせ及び／又は追跡の精度を向上させるために、二つ以上ＱＲコードを同時に検出することができる。

【0103】

上述されたように、ハブ２１０２及び２つのアーム２１０４ａ及び２１０４ｂによって画定される公称平面は、３つの脚の先端によって画定される平面に平行であることができる。骨盤にドッキングされる場合、３つの脚の先端は、骨盤のためのＡＰ平面座標系に対して既知の幾何学的関係を有する患者固有の同側半骨盤平面を画定することができる。かくして、ハブ２１０２及び２つのアーム２１０４ａ及び２１０４ｂによって画定される公称平面は、ＡＰ平面座標系、及び／又は画定されるように選択された任意の他の患者固有の座標系との既知の幾何学的関係も有する。同様に、立方体２１０８は、ＱＲコード２１１２を保持する立方体２１０８の前面２１１０間に既知の幾何学的関係を提供するためにツール２１００上に配置される。

【0104】

立方体２１０８及びＱＲコード２１１２を含むツール２１００の３Ｄモデルが生成され得る。

【0105】

図２２は、１つ又は複数の実施形態による、整合および追跡ツールの３Ｄモデル２２００の一部の斜視図である。３Ｄモデル２２００は、ＱＲコード２１１２を有する立方体２１０８を含む物理的な整合および追跡ツール２１００に対応する。

【0106】

幾つかの実施形態において、術前の計画段階で使用される整合および追跡ツールのモデルは、３Ｄモデル２２００に対応することができる。同様に、外科的処置中に使用される物理的な整合および追跡ツールは、物理的な整合および追跡ツール２１００に対応することができる。ツールの３Ｄモデル２２００のファイル（単数または複数）は、ＡＲデバイス２００が１つ又は複数のホログラムを生成することができる形式にエクスポートされ得る。

【0107】

外科的処置の間、物体認識装置１６０２は、物理的な整合および追跡ツール２１００上のＱＲコード（単数または複数）のために、ＡＲデバイス２００により捕捉された画像または他のデータを探索することができる。ＱＲコードを検出すると、物体認識装置１６０２は、例えば、整合および追跡ツールのホログラムを、ＱＲコードを有する物理的な整合および追跡ツールと自動的に同一場所に配置する（例えば、空間的に位置合わせする）ことができる。ひとたびホログラムが物理的な整合および追跡ツール２１００と同一場所に配置されたならば、外科医は、ＡＲデバイス２００を操作して、ホログラムを固定または固着することができる。このように、外科医は、対応する物理的な物体／デバイスにホログラムを手動で同一場所に配置する必要はない。幾つかの実施形態において、ＡＲデバイス２００上のアプリケーションが開かれる場合、外科医は、例えば、処置のシーケンス内のすべての計画されたホログラムを含む患者のために作成されたフォルダを特定する（例えば、指し示す）ことができる。ＡＲデバイス２００がＱＲコードを識別する場合、フォルダからの第１のホログラムが右側の縮尺、位置、向きで表示され得る。理解されるべきは、１つ又は複数のホログラムは、整合および追跡デバイス自体（例えば、HipXpertデバイス）を含む必要がない。しかしながら、ホログラム内にHipXpertツール及びＱＲ立方体を含むことにより、例えば、患者の身体の外側に位置する物理的なHipXpertツール及びＱＲコードがホログラム内のこれら物体の仮想画像と同一場所に配置されるので、外科医に対して、固定したことが正しいという一定の目視確認が存在する。

【0108】

幾つかの実施形態において、１つ又は複数のアプリケーション（app）を作成し、ＡＲデバイス２００にロードすることができる。appは、患者のために作成された手術計画を実行するための計画アプリケーション、及びＱＲコード及び／又は他の物体を検出し、１つ又は複数の仮想画像（例えば、ホログラム）を提示するためのナビゲーションアプリケーションを含むことができる。appは、ＡＲデバイス２００に設けられたユーザインタフェース要素（例えば、アプリケーションを開いてアプリケーションと相互作用するためのハンドジェスチャ）を介して制御され得る。他の実施形態において、外科医は、口頭コマンドを用いてappを制御および／または動作させることができる。例えば、第１の口頭コマンド（例えば、「ロード」）に応答して、appは、自動的にファイルエクスプローラのウィンドウを開くことができる。次いで、外科医は、ハンドジェスチャでもってサブフォルダ内のホログラムファイルを選択することができる。appは、ホログラムのための変換マトリックス（同じフォルダ内に位置することもできる）を自動的にピックアップし、手術シーン内の物理的なＱＲコードを識別し、ホログラムを固定することができる。他の実施形態において、外科医は他の口頭コマンドを使用することができ、それによりＡＲデバイスは、追加のホログラムをロードして提示することができる。例示的な言語コマンドには、外科的処置のために計画された順序でホログラムを提示するために、「ホログラム２」、「ホログラム３」などが含まれる。

【0109】

ナビゲーションシステム１６００及び／又は手術計画システム１７００の１つ又は複数の構成要素は、本明細書に記載される方法に関係するプログラム命令を含むソフトウェアモジュール又はライブラリであることができ又はそれらを含むことができ、当該プログラム命令は、持続性コンピュータ可読媒体に格納され、データ処理デバイスの１つ又は複数のプロセッサにより実行され得る。幾つかの実施形態において、ナビゲーションシステム１６００及び／又は手術計画システム１７００の１つ又は複数の構成要素はそれぞれ、逐次論理回路を生成するように構成され且つ配置されたレジスタおよび組合せ論理回路を含むことができる。他の実施形態において、ファームウェアを含む、ソフトウェア及びハードウェアの様々な組み合わせを利用して、本開示を実施することができる。

【0110】

幾つかの実施形態において、ナビゲーションシステム１６００及び／又は手術計画システム１７００の１つ又は複数の構成要素は、ＡＲデバイス２００上で実行され得る。外科手術中、外科医は、ＡＲデバイス２００上で実行されている手術計画システム１７００を用いて手術計画を開くことができる。説明されたように、手術計画は、寛骨臼、大腿骨、又は解剖的構造の他の骨または部分の実際の変更および／または１つ又は複数のインプラントの実際の配置に基づいて更新され得る。

【0111】

幾つかの実施形態において、ＡＲデバイス２００は、外科医による再検討のために手術室内の手術計画の１つ又は複数のユーザインタフェースを提示することができる。例えば、１つ又は複数のユーザインタフェースが、手術室の壁または他の表面上に提示され得る。

【0112】

変換行列
図３６は、１つ又は複数の実施形態による、手術計画システム１７００により生成され、ディスプレイ１７１８に提示される例示的な計画ウィンドウ３６００の図である。計画ウィンドウ３６００は、患者の骨盤１８０４の３Ｄモデルを提示するモデルペイン１８０２を含む。骨盤１８０４のモデルには、HipXpertツール１８０６の３Ｄモデルがドッキングされている。HipXpertツール１８０６上には、立方体３６０２が搭載されている。立方体３６０２は、複数の面（例えば、前面３６０４ａ、側面３６０４ｂ及び上面３６０４ｃのような１つ又は複数のＱＲコードを保持する表面）を含むことができる。１つ又は複数の座標系が立方体３６０２のために確立され得る。幾つかの実施形態において、座標系は、立方体３６０２の中心で確立され得る。例えば、３６０６で示される原点は、立方体３６０２の中心に位置することができ、ｘ軸３６０８、ｙ軸３６１０及びｚ軸３６１２は、原点３６０６に対して画定され得る、ｘ軸３６０８、ｙ軸３６１０及びｚ軸３６１２は、立方体３６０２のそれぞれのエッジと整列され得る（例えば、当該エッジに平行にすることにより）。

【0113】

更に、各ＱＲコードは、例えば、ファインダパターンの左上隅でＱＲコードと整列された空間座標系を露わにすることができる。一例として、ＱＲコード３６０４ｂは、
３６１５で示される空間座標系を露わにすることができる。理解されるべきは、他のＱＲコードはそれら自体の空間座標系を露わにすることができる。理解されるべきは、ＱＲコードに関連付けられた空間座標系は、幾つかある場所の中で、ＱＲコードの中心のような左上隅以外の他の場所で整列され得る。

【0114】

立方体３６０２がHipXpertデバイス１８０６上に取り付けられ、HipXpertデバイス１８０６が患者の骨盤にドッキングされるので、立方体３６０２は、患者の骨盤に対して、ひいては患者の骨盤に対して画定されたＡＰ平面（又は任意の他の選択された骨盤座標系）に対して空間内の固定位置に配置される。幾つかの実施形態において、立方体３６０２は、各患者に使用されるHipXpertデバイス１８０６と同じ方法で常に搭載され得る。

【0115】

幾つかの実施形態において、計画ツール１７０６は、手術手順のために作成された仮想画像（例えば、ホログラム）を提示する場所を決定する際に使用され得る１つの患者固有の変換行列を生成する。例えば、計画ツール１７０６は、立方体３６０２の中心で確立された座標系に対して、仮想画像（例えば、ホログラム）の向き（配向）及び位置を決定する患者固有の変換行列を生成することができる。特に、変換行列は、立方体３６０２の前面３６０４ａのために画定された原点３６０６及びｘ軸３６０８、ｙ軸３６１０及びｚ軸３６１２を含む座標系に対してホログラムの向きと位置を指定することができる。患者固有の変換行列は、患者の解剖的構造の表面モデルが生成されるＣＴスキャナ（又は他の画像モダリティ)における患者のランダムな位置に対して立方体の中心にある座標系を関連付けることができる。

【0116】

更に、立方体３６０２の中心に確立された座標系に対する各ＱＲコードと関連付けられた空間座標系に関する変換行列が画定され得る。立方体であるため、これらの変換行列は全て同一である場合がある。

【0117】

本明細書で説明されるように、外科的処置の間、ＡＲデバイス２００は、患者の骨盤にドッキングされた物理的なHipXpertデバイスに搭載された物理的な立方体の面または表面の１つに付加されたＱＲコードを検出することができる。ＡＲデバイス２００は、検出されたＱＲコードに関連付けられた変換行列および患者固有の変換行列を利用して、仮想画像（例えば、ホログラム）を配向して位置決めすることができる。ＡＲデバイス２００は、立方体の中心にある座標系に対してホログラムを固定することができる。幾つかの実施形態において、患者固有の変換行列は、ホログラムを有するフォルダに格納され得る。ＱＲコードに関連する変換行列（単数または複数）は、アプリケーションにおいてハードコード化されることができ、又は他の実施形態において、フォルダにも格納され得る。ＡＲデバイス２００が提示用フォルダからホログラムにアクセスする場合、ＡＲデバイス２００は患者固有の変換行列を検索して取り出こともできる。

【0118】

上述されたように、患者固有の変換行列は、外科的処置の間に提示されるホログラムのために定義され得る。この患者固有の変換行列は、立方体３６０２の選択された点に対して定義され得る。選択された点は立方体３６０２の中心であることができる。上述されたように、立方体３６０２は、所定の及び既知の位置において患者の骨盤にドッキングされるHipXpertデバイスに取り付けられ得る。従って、立方体３６０２の中心は、患者の骨盤に対して（例えば、ＡＰ平面（又は任意の他の骨盤座標系)に対して）、固定された既知の位置にある。インプラント（例えば、カップ部品）、及びツール（例えば、リーマー及びカップインパクタ)の位置および向きは、例えば、ＡＰ平面に対して、患者のために計画され得る。これらの計画された位置および向きと立方体３６０２の中心との間の幾何学的関係を決定することができる。外科手術中、ＡＲデバイス２００は、患者にドッキングされたようなHipXpertの物理的な立方体上の１つ又は複数のＱＲコードを認識することができる。決定された空間内の物理的な立方体の位置を用いて、ＡＲデバイス２００は、患者固有の変換行列を用いて、計画された位置および向きにホログラムが現れるようにホログラムを配置する場所を決定することができる。

【0119】

幾つかの実施形態において、１つ又は複数の二次変換行列も定義され得る。例えば、二次変換行列は、立方体３６０２の面（例えば、前面、左面、右面、後面、及び上面）に付加される５つのＱＲコードのそれぞれに対して定義され得る。これらの二次変換行列は、個々のＱＲコードから立方体３６０２の中心に対して定義された患者固有の一次行列への幾何学的変換を提供することができる。ＡＲデバイス２００がＱＲコード（外科医が何気なくHipXpertデバイスを見ている方向に応じた特定のＱＲコード)を検出する場合、ＡＲデバイス２００は、検出されたＱＲコードに関連する二次変換行列を検索して取り出すことができる。次いで、ＡＲデバイス２００は、この二次変換行列を患者固有の変換行列と共に利用して、それぞれのホログラムを配向して位置決めすることができる。立方体３６０２の中心に対して生成された変換行列は患者固有であることができるが、二次変換行列は患者固有ではない。その代わりに、二次変換行列は、各立方体の幾何学的形状（例えば、寸法）に対して同じである。従って、同じ立方体３６０２が再使用されている、又は同じ次元を有する立方体３６０２が別の患者と共に使用されていると仮定すると、同じ二次変換行列が再使用され得る。

【0120】

要するに、ＱＲコードの向き及び位置と、提示されるべきホログラム毎のホログラムの残りの向き及び位置との間の単一の患者固有の変換行列のみが生成され得る。本開示によれば、（患者の骨盤にドッキングされたHipXpertデバイスに搭載された立方体上にある) ＱＲコードを空間内で検出することにより、ＡＲデバイス２００は、患者の骨盤を自動的に位置合わせして追跡することができ、１つ又は複数の同一場所に配置されたホログラムの提示を可能にする。特に、患者の骨盤にドッキングされた際のHipXpertデバイスの脚の先端は、ＡＰ平面に対して既知の幾何学的関係を有する半骨盤同側基準平面を画定することができる。更に、脚が延びるHipXpertデバイスのフレームは、この半骨盤同側基準平面（ひいては、ＡＰ平面に対して既知の幾何学的関係を有する）に平行であることができる。１つ又は複数のＱＲコードを保持する立方体は、このフレーム上に取り付けられ得る。従って、ＱＲコードを検出することにより、骨盤が位置合わせされて追跡され得る。

【0121】

図３７は、１つ又は複数の実施形態による、手術計画システム１７００により生成されて、ディスプレイ１７１８上に提示される例示的な計画ウィンドウ３７００の図である。計画ウィンドウ３７００は、患者の骨盤１８０４の３Ｄモデルを提示するモデルペイン１８０２を含む。骨盤１８０４のモデルには、HipXpertツール１８０６の３Ｄモデルがドッキングされている。HipXpertツール１８０６上には、立方体３６０２が搭載される。ＡＰ平面３７０２は、骨盤１８０４に対して画定される。

【0122】

説明されたように、ＱＲ立方体は、HipXpertデバイスのフレームの中央部分に取り付けられ得る。HipXpertデバイスの脚は固定された長さであることができるので、ＱＲ立方体の位置、ひいてはＱＲコード（単数または複数）は一人の患者から別の患者に一定である。患者固有の変換行列は、ＱＲ立方体およびＱＲコード（単数または複数）がランダムな画像空間座標系（及び前部骨盤平面座標系も）に対して空間に配置される場所に関して、システムに命令する。その場合、この変換行列は、予め設定された「患者固有のパスコード」である。ホログラムがエクスポートされる場合、その患者の特定の手術計画のために空間内にホログラムを提示する場所を決定するために使用される、「キー」又は患者固有の変換行列もエクスポートされる。

【0123】

ＣＴ又はＭＲデータのような画像データの断面表示
説明されたように、ＣＴ又はＭＲ調査のような患者の画像は、術前段階の間に患者から取得され得る。例えば、股関節手術の場合、ＣＴスキャンは、患者の骨盤および股関節から取得され得る（座標系の作成のために遠位大腿骨の幾つかの画像を有する)。膝の手術の場合、ＣＴスキャン又はＭＲ調査は、患者の膝から取得され得る（やはり、潜在的には、座標系の作成のために股関節および足首の画像を有する）。係る画像モダリティは、元の画像取得面において逐次にスライスされたように表示され得る、又は画像ボリュームを介して任意の切断面で表示され得る画像ボリュームを作成する。実際には、ディスプレイは完全な平面である必要はなく、画像サンプリングは任意の所望の形状で行われ得る。この説明の目的のために、画像は平面画像として生成され得る。更に、画像ボリュームは、例えば、患者の骨盤または膝の３Ｄ表面モデルを構築するために使用され得る。３Ｄ表面モデルは、ＣＡＤソフトウェア環境を用いて開かれて操作され得る。術前計画は、３Ｄ表面モデルを用いて実行され得る。例えば、３Ｄ表面モデルは、骨表面の準備、及び１つ又は複数の人工インプラントの選択、位置および配向（向き）を計画するために使用され得る。

【0124】

幾つかの実施形態において、患者のＣＴ画像ボリューム又はその一部のような画像データボリューム全体が、ＡＲデバイス２００にロードされ得るか、又はそうでなければ、ＡＲデバイス２００にアクセス可能にされ得る。外科手術中、ＡＲデバイス２００は、画像ボリュームの所望のサブセクションを外科医に表示することができる。例えば、ＡＲデバイス２００は、患者の骨盤または膝のような、説明された位置合わせ（整合）方法のうちの１つを用いて、手術されている患者の解剖的構造の部分を位置合わせし、次いで、説明されたように、ＱＲ立方体のような整合および追跡デバイスを用いて追跡され得る。次いで、ＡＲデバイス２００は、整合および追跡デバイスに対して空間的に、ＣＴデータボリュームのような画像ボリューム全体を同一場所に配置して固定することができる。次いで、システムは、外科医に、画像データが患者から取得された実際の位置と同一場所に配置された空間内の画像ボリュームの一部を見るオプションを与えることができる。例えば、画像ボリュームは、ＡＲデバイス２００を装着している外科医のビューに垂直な平面状断面で切断され得る。その平面状断面は、観察者から一定の距離、又は例えば、ボリューム内の固定された原点として決定され得る。例えば、外科医は、寛骨臼を準備する際、提案されたカップ配置に対して深い所にある残りの骨の厚さを知ることを望む場合がある。断面の原点は、寛骨臼構成要素の提案された配置の中心に固定されることができ、当該ボリュームを通じた表示された平面部分は、外科医の眼の視点に垂直に留まるように、外科医が移動するにつれて変化するであろう。

【0125】

例えば、患者の骨盤のためのＣＴデータボリュームは、手術室内の患者の骨盤と同一場所に配置され得る。ＡＲデバイス２００は、ＣＴデータボリュームを介して１つ又は複数の平面カットを生成し、ＣＴデータから二次元（２Ｄ）ＣＴ画像を生じさせることができる。ＡＲデバイス２００は、この２Ｄ・ＣＴ画像を外科医に提示することができる。２Ｄ・ＣＴ画像は、ＣＴデータボリュームに含まれる複数のスライスを介して、切断平面とも呼ばれる平面カットから生成され得る。ＣＴデータボリュームを介した平面カットは、患者の解剖的構造（例えば、骨盤または膝)と同一場所に配置されたように、ＣＴデータボリュームに対する外科医の視線に垂直であることができる。ＣＴデータボリュームを患者と同一場所に配置することにより、ＡＲデバイス２００により表示される際の２Ｄ・ＣＴ画像は、患者の解剖的構造上に重ねられて且つ当該解剖的構造と同一場所に配置されるように、外科医に見えることができる。切断平面は、ＡＲデバイス２００から所定の距離に設定され得る。例えば、外科医が外科医の頭部を動かし、結果として、ＡＲデバイス２００が患者（例えば、手術台上に仰臥位で横たわる)に近づく場合、切断平面は、ＣＴデータボリュームを通して後方（後部）に移動する。同様に、外科医が外科医の頭部を患者から離れるように動かす場合、切断平面はＣＴデータボリュームを通して前方（前部）に移動する。このように、単に頭部を動かすことにより、外科医は、ＣＴデータボリューム内に切断平面が形成される場所、ひいてはＡＲデバイス２００により生成されて提示される結果としての２Ｄ・ＣＴ画像を制御することができる。

【0126】

図４１は、１つ又は複数の実施形態による、患者の骨盤の例示的な２Ｄ・ＣＴ画像セット４１００の絵画図である。２Ｄ・ＣＴ画像セット４１００は、軸平面を通る画像４１０２、コロナル面を通る画像４１０４、及びサジタル面を通る画像４１０６を含むことができる。コロナル画像４１０４は、患者の左右の股関節および患者の脊柱の一部を示す。患者が手術台上に仰臥位で横たわっており、外科医が患者を見下ろしていると仮定する。ＡＲデバイス２００は、コロナル面を介して画像４１０４と同様の２Ｄ・ＣＴ画像を生成して提示することができる。２Ｄ・ＣＴ画像は、ＡＲデバイス２００から所定の距離にあるサジタル画像４１０６上の４１０８で示される切断面に基づいて形成され得る。

【0127】

ここで、外科医が外科医の頭部を患者から離れるように動かすと仮定する。

【0128】

図４２は、１つ又は複数の実施形態による、外科医の頭部の新たな位置に基づいた、患者の骨盤の例示的な２Ｄ・ＣＴ画像セット４２００の絵画図である。２Ｄ・ＣＴ画像セット４２００は、軸方向画像４２０２、コロナル画像４２０４、及びサジタル画像４２０６を含むことができる。図示されたように、外科医が、外科医の頭部を患者から離れるように動かすので、ＡＲデバイス２００から一定距離のままである切断面４２０８は、ＣＴデータを通して前部に移動する。かくして、コロナル画像４２０４は、コロナル画像４１０４（図４１）とは異なる。

【0129】

ここで、外科医が、２Ｄ・ＣＴ画像セット４１００（図４１）を生成する距離に対して、患者に近づくように外科医の頭部を動かすと仮定する。

【0130】

図４３は、１つ又は複数の実施形態による、外科医の頭部の新しい位置に基づいた、患者の骨盤の例示的な２Ｄ・ＣＴ画像セット４３００の絵画図である。２Ｄ・ＣＴ画像セット４３００は、軸方向画像４３０２、コロナル画像４３０４、及びサジタル画像４３０６を含むことができる。図示されたように、外科医は、患者に近づくように外科医の頭部を動かすので、ＡＲデバイス２００から一定距離のままである切断面４１０８は、ＣＴデータボリュームを通して後部に移動する。かくして、コロナル画像４３０４は、コロナル画像４１０４（図４１）及び４２０４（図４２）とは異なる。

【0131】

上述されたように、ＡＲデバイス２００によって生成されて提示される２Ｄ・ＣＴ画像は、ＡＲデバイス２００から一定の距離にあり且つ外科医の視線に垂直な切断平面に基づくことができる。好適な一定の距離は、例えば５０ｃｍである。かくして、２Ｄ・ＣＴ画像は、ＣＴデータボリュームの断面である。他の実施形態において、２Ｄ・ＣＴ画像データは、ＣＴデータボリュームのスライスの１つに対応することができる。

【0132】

幾つかの実施形態において、ＡＲデバイス２００は、２Ｄ・ＣＴ画像に加えて、１つ又は複数のホログラムを提示することができる。例えば、２Ｄ・ＣＴ画像に加えて、ＡＲデバイス２００は、リーマーツール、カップインパクタツール、カップ部品、膝切断治具、膝部品などを含むホログラムの１つを提示することができる。リーマーのホログラムと共に１つ又は複数の２Ｄ・ＣＴ画像を提示することは、リーマーが患者の寛骨臼の内壁を初めから終わりまでリーミングすることに近づいているか否かのような、追加の情報を外科医に提供することができる。例えば、ＡＲデバイス２００が２Ｄ・ＣＴ画像を提示している間に、外科医は、リーマーが患者の寛骨臼内へどれぐらい切り込んだのかを、例えば、２Ｄ・ＣＴ画像を見ながら当該傷に外科医の指を置くことにより、直感的に判断することができる。

【0133】

外科医がカップ部品を受容するためのカップベッドを準備するために寛骨臼をリーミングする際、外科医は、例えば、骨を貫通することを避けるために、リーマーの内側で背後にどれだけの骨が残っているかを知ることを望む場合がある。リーミング中に外科医の視線に沿った切断面が、この情報を提供する。幾つかの実施形態において、ＡＲデバイス２００は、ＣＴボリュームデータを通して係る切断面を提示することができる。切断面の表示は、外科医が切断面を観察するために外科医の頭部を動かすことができるように、所定の位置でロックされることができ、ひいては骨がリーマーの背後にどれだけ残っているかを確かめることができる。他の実施形態において、ＡＲデバイス２００を装着した手術室内の別の医療専門家は、この切断面を観察して、どの程度の骨が残っているかを外科医に知らせることができる。

【0134】

図４６は、３つの切断面を有する骨盤４６０２の表面モデルを示す。緑ボックス４６０４は１つの画像生成平面を示し、赤色ボックス４６０６は第２の画像生成平面を示し、黄色ボックス４６０８は第３の画像生成平面を示す。

【0135】

図４７は、図４６に示されているのと同じ画像から特定の赤色矢印４７０４を指し示す紫色の矢印４７０２を示す。外科医は、指定された赤色矢印４７０４の視点から股関節を見ることが多い。

【0136】

図４８は、データが取得された患者の身体内の正確な位置において、ＡＲデバイス２００によって投影された画像４８００の絵画図である。この画像４８００は、図４６の黄色ボックス平面４６０８において生成され、外科医の視点に垂直であり且つ計画された寛骨臼部品の中心を含む平面内にある画像を表す。また、図４８は、外科医の好みに応じてオン又はオフにされ得る、４８０２で示された計画された寛骨臼部品の断面も示す。

【0137】

図４９は、元の外科医の視点(紫色の矢印４７０２によって指定された赤色の矢印４７０４)、及び薄青色の矢印４９０４によって指定された赤色の矢印４９０２である潜在的な第２の視点を示す。

【0138】

図５０は、緑色ボックス４６０４の平面内の切断面のＡＲデバイス２００により生成され、薄青色矢印４９０４により指定された赤色矢印４９０２の視点から見た際の外科医の視線に垂直である画像５０００の絵画図である。ＡＲデバイス２００は、ＣＴ調査（又はそのようなデータセットを用いた任意の他の画像調査)が取得された時点で、画像ピクセルが患者の体内から取得された正確な位置に画像５０００を表示することができる。

【0139】

上述されたように、ＡＲデバイス２００は、外科医が外科医の頭部をあちこちに動かす際に、外科医の視点に垂直な画像をリアルタイムで自動的に表示することができる。また、ＡＲデバイス２００は、例えば、ユーザ入力に応答して、緑色ボックス４６０４内の画像の表示を「保持」することもでき、ＡＲヘッドセット２００を装着した外科医は、新たな画像を再計算させることなくＡＲヘッドセット２００をあちこちに動かすことができる。

【0140】

かくして、ＡＲデバイス２００は、任意の所望の角度、深さ、及び形状から、実際の患者と同一場所に配置された画像を生成して提示することができる。更に、画像は平面画像であることさえも必要ない。

【0141】

図５１は、赤色ボックス４６０６の平面における切断面のＡＲデバイス２００により生成された画像５１００の絵画図である。

【0142】

幾つかの実施形態において、複数の平面カットが、ＣＴボリュームデータを通して作成され、ＡＲデバイス２００により提示され得る。例えば、３つの直交する平面カットが、ＣＴボリュームデータ内で作成され、ＡＲデバイス２００により提示され得る。

【0143】

また、理解されるべきは、ＣＴボリュームデータを通して作成されたカットは平面である必要はない。例えば、湾曲したカット又は他の形状のカットが、ＣＴボリュームデータを通して作成され、ＡＲデバイスにより提示され得る。

【0144】

更に、ＣＴボリュームデータの部分の提示は、股関節、膝、及び他の関節の整形外科手術以外の他の処置で利用されることもできる。例えば、腫瘍のＣＴスキャンが行われ得る。腫瘍の経皮的生検の間、ＣＴボリュームデータを通して１つ又は複数の切断面に基づく画像が生成され、生検を実行する際に外科医を支援するために提示され得る。

【0145】

複数のＡＲデバイス
幾つかの実施形態において、手術室１００内の複数の人がＡＲデバイス２００を装着することができる。例えば、外科医１１４に加えて一人または複数のアシスタントがＡＲデバイス２００を装着することができる。外科医によって装着されるＡＲデバイス２００は、サーバとして動作することができる一次ＡＲデバイスであることができ、他のＡＲデバイスは、一次ＡＲデバイスのクライアントとして動作することができる。

【0146】

図５２は、１つ又は複数の実施形態による、手術室５２００の略図である。手術室５２００内には、患者５２０４が外科的処置のために配置されている手術台５２０２が配置される。外科医５２０６及び少なくとも一人の他の医療専門家５２０８が、手術室５２００内にいることができる。外科医５２０６及び医療専門家５２０８はそれぞれ、ＡＲデバイス２００ａ及び２００ｂをそれぞれ装着していることができる。ＡＲデバイス２００ａのような１つ又は複数のＡＲデバイスは、ネットワーク５２１２を介してサーバ５２１０に接続され得る。物理的な整合および追跡デバイス５２１４は、患者の骨盤にドッキングされ得る。ＡＲデバイス２００ａ及び２００ｂは、患者５２０４での外科的処置中に、１つ又は複数の仮想画像（例えば、ホログラム）を提示することができる。例えば、カップインパクタのホログラム５２１６は、患者の骨盤に対して計画された位置に提示され得る。例えば、ＡＲデバイス２００ａは、物理的な整合および追跡デバイス５２１４を検出して、カップインパクタのホログラム５２１６を提示することができる。外科医５２０６は、患者の骨盤内の計画された位置で人工カップ部品を移植するような、外科的処置の１つ又は複数の目標を達成するために、ホログラム５２１６と位置合わせされるように物理的なカップインパクタ５２１８を案内することができる。幾つかの実施形態において、１つ又は複数のＡＲデバイス２００ａ及び２００ｂは、５２２０で示されるように、手術室の空間に又は手術室の１つ又は複数の壁に対してのような、手術室５２００内に、ユーザインタフェース（ＵＩ）を提示することができる。ＵＩは、患者の外科的処置のための手術計画を提示する計画アプリケーションからなることができる。

【0147】

ツール及び身体構造の自動物体認識および位置合わせ
ナビゲーションシステム１６００は、幾つかの実施形態における画像データのような、外科シーンのＡＲデバイス２００上の１つ又は複数のカメラによって捕捉されたデータを受信することができる。物体認識装置１６０２は、受信画像データ中の物体を検出し、物体トラッカー１６０６は、検出された物体を追跡することができる。例えば、ＡＲデバイス２００は、例えばネットワークデバイス１１２を介して、捕捉画像データをデータ処理装置１００に送ることができる。モデルデータベース１６０８は、HipXpertツールの三次元（３Ｄ）形状のような、患者固有のHipXpertツールの形状に関するデータで構成され得る。上述されたように、データは、１つ又は複数のＣＡＤファイル、３Ｄモデルデータなどであることができる。物体認識装置１６０２は、このデータと一致する受信画像データ中の物体を検索し、それにより例えば、画像データ中のHipXpertツールを特定することができる。モデルデータベース１６０８内の情報は、例えば、特定の患者について調整されるように、患者固有ベースでHipXpertツールの寸法を含むことができ、また、例えば、手術計画段階中に決定されるように、HipXpertツールに対する骨盤の位置も識別することができる。物体認識装置１６０２は、例えば画像データの視野内でHipXpertツールを検出および／または認識することができ、物体ポーズ検出器１６０４は、ナビゲーションシステム１６００が、空間内で患者の骨盤の位置を計算して追跡することができるその向きを求めることができる。物体認識装置１６０２は、マサチューセッツ州ボストン在のPTC Inc.からのVuforia Engine及びVuforia Model Targets技術を実施することができる。

【0148】

外科医は、第２の物体（例えば、患者の骨盤に取り付けられたトラッカー）を固定することができ、そして当該第２の物体は追跡されることができ、HipXpertツールに対する第２の物体の位置の計算は、ナビゲーションシステム１６００によって行われ得る。次いで、骨盤の位置が、この第２の物体に対して求められることができ、HipXpertツールが取り外されることが可能になる。即ち、ナビゲーションシステム１６００は、HipXpertツールのサイズと形状がシステム１６００にわかっているので、HipXpertツール自体を光学的に認識することができ、そのためどの角度から「見て」も、HipXpertツールが空間内に配置されて配向されている場所を正確に求めることを可能にする。HipXpertツールの寸法および患者の骨盤上へのHipXpertツールの予測されたドッキングは患者固有であり、そのため当該システム１６００は、患者固有ベースでこれらのパラメータで構成される必要がある場合がある。

【0149】

また、他のツールも、システムに他のツールの一意のＣＡＤ幾何学的形状を教えるか、又は追跡されるべきツールに対してより容易に追跡される物体を取り付けることにより、空間内で追跡され得る。これは、カップインパクタまたは寛骨臼リーマーに有用であることができる。大腿骨または大腿骨上で使用される任意の器具についても同様であることができる。大腿骨は、説明されたように、トラッカーが取り付けられた表面の一意の小さな可視部分を認識することにより、位置合わせされ得る。ナビゲーションシステム１６６０は、物体の認識および物体の追跡に基づいて、大腿骨を追跡することができる。幾つかの実施形態において、トラッカーがその後に大腿骨に取り付けられ、このトラッカーに基づいて追跡が継続され、それにより外科医が大腿骨を依然として追跡することを可能にしながら、大腿骨を外科的にもはや認識できなくなるように大腿骨を変化させることを可能にする。当該プロセスは、患者固有の形状認識位置合わせ方法と呼ばれ得る。

【0150】

上述されたように、追跡は、深度カメラ２３０及びＩＲ放出器のような、ＡＲデバイス２００によって提供される空間検出システムを用いて、実行され得る。例えば、ナビゲーションシステム１６００は、深度カメラ２３０によって生成されたデータを利用して、同時位置決め地図作成（ＳＬＡＭ）を実施することができる。他の実施形態において、追跡は、立体計算を可能にするために既知の相対配向の２つのカメラによって、実施され得る。更に、説明されたように、立体カメラがＡＲデバイス２００に固定され得るが、他の実施形態において、３Ｄ検出システム１０８からの画像データは、単独で又はＡＲデバイス２００からの画像データと組み合わせてナビゲーションシステム１６００により使用され得る。ＡＲデバイス２００上の１つ又は複数のカメラから画像情報を取得する利点は、外科医が常に一次高低線を必要とし、外科医と同じ高低線をＡＲデバイス２００のカメラ（単数または複数）に与えることである。これは、外科医とカメラとの間の高低線の競合が起こる可能性がある従来の赤外線立体カメラでの状況とは対照的である。外科医の頭部にカメラ（単数または複数）を有することの他の利点は、外科医の眼に対するカメラ（単数または複数）の視点が知られていることであり、そのため、仮想物体の拡張現実表示は、実際の物体が、手術中に、おそらく露わにされた小区分を除いて（体内に深く埋め込まれるそれらが、不可視であることを除いて)、現実の物体が見られるのと同じ視点で表示され得る。

【0151】

他の実施形態において、HipXpertツール以外の他のツールが、ナビゲーションシステム１６００によって使用されて認識され、追跡され得る。

【0152】

患者固有の物体を検出し、その向き及び／又はポーズ（姿勢）を求めるのに役立つために、物体は、外科シーン内で非対称および／または一意に認識可能であることができる。例えば、物体がツールである範囲内で、ツールは非対称であることができる。物体が身体部分である範囲内で、身体部分は非対称であることができる。それにも関わらず、身体部分のような対称的な物体、及び／又はツールは、本開示で使用され得る。

【0153】

幾つかの実施形態において、HipXpertデバイスのコンパス部分は、省略または取り除かれ得る。

【0154】

幾つかの実施形態において、第２の物体は、物体（例えば、身体部分）に取り付けられることができ、又は画像データ中の物体またはツールを検出するのに及び／又はその向きおよびポーズ（姿勢）を求めるのに役立つためにツールに取り付けられ得る。第２の物体は、第２の物体を配置し、その向き及び／又はポーズを求めることが、例えば１つ又は複数の変換を用いて、物体および／またはツールの位置および／または向きを求めるするために使用され得るように、既知の幾何学的関係で物体またはツールに取り付けられ得る。

【0155】

更なる実施形態において、１つ又は複数のマーキングが、その検出に及び／又はその向き及び／又はポーズを求めることに役立つために、物体および／またはツールに付着され得る。例えば、チェッカーボード又は他の一意の及び／又は認識可能なパターンが、物体に付加され得る。

【0156】

計画段階中、調整値は、物理的な整合および追跡ツール２１００が計画された通りに適合する、例えば、患者の骨盤にドッキングされるように、物理的な整合および追跡ツール２１００のために求められ得る。当該調整値は、脚の先端が計画された位置で患者の骨盤に接触するように、伸長可能なアーム２１０４ａ及び２１０４ｂをどのぐらい引っ張り出すかを含むことができる。かくして、ツール２１００の寸法は、一人の患者から別の患者に変化する場合がある。それにも関わらず、ツール２１００のハブ２１０２の寸法は、全ての患者に対して同一であり、例えば、それはツール２１００の静的構成要素である。更に、説明されたように、立方体２１０８は、全ての患者に対して同じようにツール２１００のハブ２１０２に取り付けられ得る。

【0157】

幾つかの実施形態において、ＱＲコード（単数または複数）を有する立方体２１０８は、ツール２１００から省略されてもよい。この実施形態の場合、ＡＲデバイス２００は、手術室内の物理的ツール２１００を認識するように構成され得る。例えば、ＡＲデバイス２００は、ハブ２１０２のような全ての患者に対して同じである物理的なツール２１００の１つ又は複数の部分を認識することができる。このように、例えば、アーム２１０４ａ及び２１０４ｂが延ばされる程度に、患者固有ベースで調整された部分もツール２１００が含むにも関わらず、全ての患者に対して同じ認識プロセスが使用され得る。患者固有の変換行列は、認識されているツールの静的部分（例えば、ハブ２１０２）に対して求められ得る。全ての患者について、静的である（例えば、同じである）整合および追跡ツールの一部を準備し、当該ツールのこの部分を認識するようにＡＲデバイス２００を構成することは、各患者に対して調整される際に全体として当該ツールを認識するために各患者に対してＡＲデバイス２００を個々に構成することよりも、例えば計画、処理およびメモリ資源の観点で効率的であることができる。

【0158】

図４５は、股関節整合および追跡ツール４５００の斜視図である。ツール４５００は、細長い支持アーム４５０２、支持フレーム４５１０、第１の可動脚留め具４５１４、及び第２の可動脚留め具４５１６を含むことができる。細長い支持アーム４５０２は、第１の端部４５２０を含むことができる。第１の端部４５２０には、支持アーム４５０２から垂直に延びることができる第１の脚(図示せず)の端部を受容するように構成された開口４５２２が配置され得る。第２の脚の端部は、第１の可動脚留め具４５１４で受容されることができ、第３の脚の端部は、第２の可動脚留め具４５１６で受容され得る。第２及び第３の脚も、第１の脚のように、細長い支持アーム４５０２から垂直に延びることができる。

【0159】

第１のトラック４５３４は、支持アーム４５０２の前側の少なくとも一部に沿って形成されることができ、第２のトラック(図示せず)は、支持アーム４５０２の背面の少なくとも一部に沿って形成され得る。第１及び第２のトラックは、スロット又は溝のような凹型トラックであることができる。支持フレーム４５１０は、支持フレーム４５１０を細長い支持アーム４５０２に固定する第１のトラック４５３４に係合する第１のエッジを含むことができると同時に、支持フレーム４５１０が、細長い支持アーム４５０２の前側に沿って摺動することを可能にする。第１の可動脚留め具４５１４、ひいては第２の脚は、細長い支持アーム４５０２の背面に摺動可能に取り付けられるように構成され得る。支持フレーム４５１０は、第２の可動脚留め具４５１６が摺動可能に取り付けられ得る第２のエッジ４５４８を含むことができる。

【0160】

第１の脚は、右側ＡＳＩＳに接触するように構成された先端を有することができる。第２及び第３の脚は、第１の脚に対して細長い支持アームに摺動可能に取り付けられ得る。第１の脚と第２及び第３の脚との間の距離は、第２及び第３の脚が細長い支持アームに沿ってこれらの所定の距離に設定された際に、第２の脚の先端が左側ＡＳＩＳに接触し、第３の脚の先端が、手術されている股関節の寛骨臼の下の患者の骨盤の坐骨の前面に接触するように、術前に求められ得る。手術中の外科医は、前方アプローチ又は前外側アプローチ（例えば、仰臥位の患者の場合)を用いて患者の股関節にアクセスすることができ、装置を患者にドッキングすることができ、それにより患者の骨盤を位置合わせして、患者固有の仰臥位骨盤参照平面および／または座標系を確立することができる。

【0161】

支持フレーム４５１０には、１つ又は複数のＱＲコードを有する立方体４５５０が取り付けられ得る。手術中、物理的なツール４５００の第１の可動脚留め具４５１４及び第２の可動脚留め具４５１６は、それぞれの脚の先端が計画された位置で患者の骨盤に接触するように、計画された通りに調整され得る。ツール４５００は、患者の骨盤にドッキングされ得る。ＡＲデバイス２００は、立方体４５５０上の１つ又は複数のＱＲコードを検出することができ、本明細書で説明されるように、１つ又は複数のホログラムを固定することができる。

【0162】

ツール４５００は、患者の左または右の股関節で手術するために使用され得るように、ひっくり返され得る。また、支持フレーム４５１０及び立方体４５５０は、ツール４５００の上に残るように、１８０度転換され得る。

【0163】

かくして、HipXpert整合および追跡ツール又はツール４５００を使用する際に患者に固有であることができる唯一のものは、それぞれ可動脚留め具のアーム長または位置であり、単一の患者固有の行列は、それぞれのツールがＣＴスキャナからの生画像座標系に対して空間に位置する場所に関連することができ、この場合、患者は、その中でランダムに配置される。

【0164】

幾つかの実施形態において、組合せ整合および追跡デバイスとして動作する単一のツールを利用する代わりに、別個の整合および追跡ツールを利用することができる。例えば、１つ又は複数のＱＲコードを有する立方体が、患者の骨盤にランダムに取り付けられ得る。次いで、外科医は、患者の骨盤を位置合わせすることができ、例えば、患者の骨盤上の複数の点をデジタル化するためにデジタル化プローブを利用することができる。次いで、１つ又は複数のＱＲコードを有する立方体の位置が、位置合わせされたような患者の骨盤に対して求められ得る。次いで、ＡＲデバイス２００は、計画された位置に及び１つ又は複数のＱＲコードを有する立方体に対して固定されるように、１つ又は複数のホログラムを提示することができる。

【0165】

理解されるべきは、骨盤または別の解剖的構造を位置合わせするために、ＱＲコード以外の又はＱＲコードに加えて他の要素（例えば、トラッカー）が使用され得る。

【0166】

図５７は、１つ又は複数の実施形態による骨盤５７００の正面図の略図である。外科的処置の間、外科医は、トラッカー５７０２を骨盤５７００にランダムな位置で取り付けることができる。幾つかの実施形態において、ＡＲデバイス２００は、物体認識を用いてその形状によってトラッカー５７０２を認識することができ、及び／又はＡＲデバイス２００は、一例としてＱＲコードのみのような、トラッカー５７０２上の画像を認識することができる。代案として、トラッカー５７０２は、追跡システム１０６により検出され得る光学的要素または磁気的要素を含むことができる。外科医は、デジタル化プローブ５７０４を利用して、骨盤５７００の表面上の複数の点をデジタル化することができる。ＡＲデバイス２００は、物体および／または画像認識を用いてトラッカーを同様に認識することができる。代案として、デジタル化プローブ５７０４は、追跡システム１０６により検出され得る光学的要素または磁気的要素を含むことができる。ナビゲーションシステム１６００は、デジタル化された点を処理して骨盤５７００を位置合わせすることができる。また、ナビゲーションシステム１６００は、ＡＲデバイス２００又は追跡システム１０６により検出される際に、トラッカー５７０２を介して骨盤５７００も追跡することができる。ＡＲデバイス２００は、トラッカー５７０２に対して骨盤５７００に固定された１つ又は複数のホログラムを提示することができる。

【0167】

理解されるべきは、同様のプロセスが、膝のような他の解剖的構造と共に使用され得る。

【0168】

人工股関節置換手術のための拡張現実：
骨盤がどこにあるかをナビゲーションシステム１６００にわからせ且つディスプレイが外科医の眼の前に配置されている場所をナビゲーションシステム１６００にわからせることは、（例えば、骨盤および１つ又は複数の追跡されるツールの）コンピュータモデルを含む仮想画像の詳細な表示を、外科医と同じ視点から可能にする。これにより、外科医は現実に患者を見ることが可能になり、また、ＡＲデバイス２００のレンズ上に投影された骨盤のコンピュータモデルのような仮想物体を、患者の内部の実際の物体と同じ位置で見ることも可能になる。

【0169】

図４は、１つ又は複数の実施形態による、特定の患者にドッキングされた整合ツール（例えば、HipXpertツール)を示す外科的処置の絵画図である。

【0170】

HipXpertツールに対する骨盤の位置は、術前（例えば、計画段階の間）にわかっていることができる。ＡＲデバイス２００に組み込まれた空間検出システムを用いて、ナビゲーションシステム１６００は、３Ｄ物体（例えば、HipXpertツール、別のツール、患者の骨盤、患者の解剖的構造の別の部分など）の視点を、その時の外科医の見ている視点から計算することができる。

【0171】

図５は、１つ又は複数の実施形態による、整合および追跡装置のモデルがドッキングされた状態の骨盤の３Ｄ表面モデルの図である。

【0172】

ツールおよび骨盤の外科医の視点が計算され、次いで、骨盤の仮想モデルがＡＲデバイス２００のレンズ上に、ひいては外科医の視点内でリアルタイムに投影され得る。

【0173】

図６は、１つ又は複数の実施形態による、その時の外科医の正確な視点からの皮膚の下にある患者の骨盤の仮想画像を示す、ＡＲデバイス２００によって投影される画像の略図である。

【0174】

同様に、患者に使用されるツールを現実に見ることができ、同じ位置で同じツールの重ねられた仮想モデルが、外科医により見るためにＡＲデバイス２００により投影され得る。これにより、外科医は、ツールの一部の正確な位置を確かめることが可能になり、当該ツールの一部は、実際には切開部の内側に消失しているが、ＡＲデバイス２００を介してその仮想画像をまだ「見る」ことができる。

【0175】

更に、ツールが使用されているときに達成する作業は、ナビゲーションシステム１６００によって追跡されることができ、変更された物体を更新することができる。これは、例えば、骨盤の仮想表示が寛骨臼リーマーの仮想表示であるように投影される場合に当てはまる。カメラ（単数または複数）は、２つの物体の相対的位置を追跡することができ、リーマーの寛骨臼への作用も追跡して統合することができ、寛骨臼のリーミング自体を反映するように骨盤モデルの更新を可能にし、当該骨盤モデルは、寛骨臼の元の構造と、寛骨臼カップ部品の移植前に外科医が達成しようと努める寛骨臼の計画された構造との双方に対して比較され得る。従って、ナビゲーションシステム１６００は、外科医が開始した場所、外科医がこれまでいた場所、及び外科医が寛骨臼リーミングの最終目標に達成するために次に進む必要がある場所を、外科医に示すことができる。

【0176】

ツール及び身体構造の自動化された物体認識および位置合わせ：例：寛骨臼内の小さな視野
人工股関節全置換術の間にリアルタイムで骨盤の位置を計算する代替の方法は、例えば、切開を通して実際の骨盤の小さなビューを得ることである。その視野内の骨表面の形状が十分に一意である仮定すると、骨盤は、この患者固有の一意の物体の小さな部分を「見ること」だけにより、ナビゲーションシステム１６００により自動的に位置合わせされ得る。例えば、人工股関節全置換術の間に、大腿骨頭が除去され、寛骨臼の内部が露わにされる。空間検出システムがこの骨構造を見ることができる限り、骨全体の自動化された形状位置合わせ（整合）を達成することができる。

【0177】

図７は、１つ又は複数の実施形態による、外科手術中の切開を通して患者の寛骨臼へのビューの絵画図である。

【0178】

図８は、１つ又は複数の実施形態による、図７と同じ視点からの患者の骨盤の３Ｄ表面モデルの図である。このマッチング位置合わせは、例えば、物体認識を用いて、一意の実際の形状と仮想形状とを互いに一致させることにより、ナビゲーションシステム１６００によって行われ得る。

【0179】

図９は、１つ又は複数の実施形態による、その時の外科医の同じ視点からの皮膚の下にある患者の骨盤の仮想画像を示す、ＡＲデバイス２００に投影された画像の略図である。

【0180】

既存のシステムの場合、機器がビューを妨害し又は骨表面が変更される場合、正確な位置合わせ及び追跡が失われる。本開示の１つ又は複数の実施形態によれば、この欠点は、別個のトラッカーを骨に取り付け、患者固有の物体の認識、そして骨盤に対する別個のトラッカーの位置の同時の識別を通じて達成された相対情報を転送することにより、回避され得る。次いで、別個のトラッカーを追跡することができる限り、たとえ初期の位置合わせを達成するために使用された表面が変更されたとしても、手術を進めることができる。

【0181】

システムは、より高い精度を達成するために、図４～図６及び図７～図９に示された位置合わせの技術を組み合わせることができる。

【0182】

現実性フィードバック及び更新ループ
幾つかの実施形態において、１つ又は複数の解剖的構造は、計画されたように正確に準備されることができない。それにも関わらず、外科医は、例えば、外科的処置の１つ又は複数の目標を達成するために、部分的な準備が許容可能であることを判断することができる。例えば、患者の寛骨臼が準備され、カップ部品が移植されると仮定する。しかしながら、カップ部品が計画された通りに正確に移植されていない、例えば、寛骨臼内のカップ部品の位置および／または向きが、計画された位置および／または向きと幾分異なっていると更に仮定する。幾つかの実施形態において、ＡＲデバイス２００のカメラ又は他のセンサは、移植された際にカップ部品上に向けられ得る。物体認識装置１６０２は、カップ部品を検出して認識することができる。ナビゲーションシステム１６００は、移植された際にカップ部品の位置および／または向きを求めて、この情報を手術計画システム１７００に提供することができる。手術計画システム１７００は、計画された位置および／または向きではなくて、移植された際のカップ部品の実際の位置および／または向きを用いて、患者のための手術計画を更新することができる。他の実施形態において、ナビゲーションシステム１６００は、カップインパクタの最終位置を求めることにより、移植された際のカップ部品の実際の位置および／または向きを求めることができる。例えば、物体認識装置１６０２は、カップインパクタをその最終位置にある間に認識することができる。ナビゲーションシステム１６００は、カップインパクタの最終位置、及び次にカップに挿入される寛骨臼ライナの既知の幾何学的形状に基づいて、カップ部品の実際の位置および／または向きを求めることができる。例えば、ナビゲーションシステム１６００は、カップインパクタとカップ部品との間の幾何学的関係で構成され得る。かくして、ナビゲーションシステム１６００は、カップインパクタの位置および／または向きからカップ部品の位置および／または向きを導出することができる。代案として又は更に、１つ又は複数のトラッカーがカップインパクタに取り付けられることができ、ナビゲーションシステム１６００は、１つ又は複数のトラッカーからカップインパクタの位置および／または向きを求めることができる。

【0183】

理解されるべきは、これは、本開示の現実性フィードバック及び更新モードの例の１つに過ぎない。手術計画をフィードバックし且つ更新することは、カップ部品以外の他の要素と共に、及び膝の修復のような他の外科的処置で実施され得る。

【0184】

幾つかの実施形態において、一連のホログラムは以下のようにすることができる、即ち、
１．骨盤が変更されていない状態で、患者のためにカスタム調整され且つ患者の骨盤にドッキングされたHipXpertデバイスと骨盤；
２．患者のためにカスタム調整され且つ寛骨臼において計画された際の理想的なカップベッドを有する患者の骨盤にドッキングされたHipXpertデバイスと骨盤；
３．理想的なカップベッドと共に、患者のためにカスタム調整されたHipXpertデバイス（骨盤を備えない）；
４～７．提案された位置にある一連のリーマー及びリーマーハンドルと共に、患者のためにカスタム調整され且つ患者の骨盤にドッキングされたHipXpertデバイスと骨盤。例えば、計画者が５６ｍｍの寛骨臼カップ部品を挿入することを望む場合、計画者は、５１ｍｍ、５３ｍｍ、５５ｍｍ、最後に５６ｍｍリーマーの使用を計画することができる。これらのリーマーの各々は、寛骨臼において最終的なカップベッドを達成するために特定量の仕事を行う。ホログラムは、各リーマーに対して生成されることができ、手術中、ホログラムが提示されることができ、外科医は、ホログラムを一致させるように各リーマーを動作させることができる；
８．患者のためにカスタム調整され且つ患者の骨盤にドッキングされたHipXpertデバイスと骨盤、カップ部品とカップインパクタ、この場合カップ部品のネジ穴は、カップがハンドルの周りに回転することができる際に計画された向きに整列される。代案として又は更に、外科医がネジ穴を完全に回転整列することができるように、空間内に浮いているカップ部品とカップインパクタのホログラム；
９．患者のためにカスタム調整され且つ患者の骨盤にドッキングされたHipXpertデバイスと骨盤、及びカップ部品とカップインパクタ、この場合カップ部品は最終位置に位置する。次いで、手術中に、ホログラムに一致する物理的なカップインパクタでもって、外科医は、物理的なカップインパクタ及びそれに取り付けられた物理的なカップ部品がホログラムと完全に整列する際に、カップ部品が計画された最終位置にあることを識別する；
１０．患者のためにカスタム調整され且つ患者の骨盤にドッキングされたHipXpertデバイスと骨盤と、カップ部品と、穴を開けるための計画された（例えば、最適な）方向、及びネジがどれぐらいの長さであるかを外科医に示すために計画された方向と長さを有するカップ部品用の提案されたネジ；
１１ａ及び１１ｂ．患者のためにカスタム調整され且つ患者の骨盤にドッキングされたHipXpertデバイスと骨盤と、外科医がどのようにトリミングするかを示すために周囲の骨棘を備えて（ａ）及び備えないで（ｂ）示すカップ部品。骨棘の除去が計画されている場合、システム及び方法は、動きの潜在的な衝突および／または自由な範囲が手術からのものであろうことを判断することができ、この情報を、例えば、骨棘除去の程度に基づいて示すことができる；
１２．患者のためにカスタム調整され且つ患者の骨盤にドッキングされたHipXpertデバイスと骨盤と、カップ部品とライナ（例えば、最終製品）。

【0185】

幾つかの実施形態において、システム及び方法は次いで、移植の実際の結果がどうであるかを判断するために、カップ部品と骨盤の物体認識を行うことができる。この情報に基づいて、システムおよび方法は、必要に応じて、衝突および／または動きの範囲を、即ち現場で再計算することができる。

【0186】

人工膝関節全置換術のための臨床実施の例。
人工膝関節全置換術（ＴＫＲ）については、３つの技術が存在する。それらには、以下のものが含まれる、即ち、
１．画像ベースの位置合わせ及びナビゲーション（ロボットを備える又は備えない）及び／又は統計的形状モデリング、例えば、大きなデータセット及び患者固有の特性に基づく；
２．画像のない位置合わせ及びナビゲーション（ロボットを備える又は備えない）；
３．物理的テンプレートの位置合わせ。

【0187】

ＴＫＲの画像ベースのナビゲーションは、３Ｄモデルおよび座標系が予め開発されている場合に採用される第１の方法の１つであり、次いで、骨は、位置合わせをマッチングすることを可能にする表面点をデジタル化することにより、手術において位置合わせされる。この方法は、ロボットを備えるつい最近の再生まで、人気が落ちていた。

【0188】

代案として、画像のない方法は、(トラッカーが固定された状態で)股関節の位置を三角測量するために股関節をあちこちに動かし、足首の点を直接的にデジタル化し、次いで、遠位大腿骨および近位脛骨に関する必要な情報をデジタイザでもって記録することにより、膝ナビゲーションを可能にする。

【0189】

第３の方法（画像ベースである）は、予測可能な方法で解剖的構造に固定する物理的なテンプレートを作成する。物理的なテンプレートは、計画された通りに骨表面切除を可能にするために切削スロットを含むことができる。代案として、テンプレートは、例えば、ピンの配置のために骨内に穴をドリル開けするためのドリル穴を有することにより、情報を１つ又は複数の他のツールに転送するために使用されてもよい。次いで、テンプレートを取り外し、予測可能な方法で同じピンにはまる別の手術用ツールが固定されて使用され得る。このように使用されて、これらの物理的なテンプレートは、アライメント、靭帯のバランス及び動きの範囲のような従来のナビゲーション計算を可能にしないが、それらは、より基本的な方法で手術の目標を達成することを可能にする。

【0190】

やはり、代案として、物理的なテンプレートは、その後のナビゲーションのための整合および追跡デバイスとして使用され得る。例示的な物理的テンプレートは、「Acetabular Template Component and Method of Using Same During HipArthroplasty」と題する米国特許第８９８６３０９号に開示された寛骨臼テンプレートである。

【0191】

図４４は、１つ又は複数の実施形態による、カスタム適合型テンプレート４４０８を有する患者の寛骨臼４４０４及び寛骨臼リム４４０６を示す患者の骨盤４４０２の部分側面図である。カスタム適合型テンプレート４４０８は、患者の寛骨臼リム４４０６の全部または実質的な部分と接合するように形作られた略円形状であることができる。テンプレート４４０８が、寛骨臼リム４４０６の粗い不均一な形状に適合するので、それは、リム４４０６に、ひいては単一の向きで骨盤に嵌合する。テンプレート４４０８は、上面４４１４、上面４４１４に対向する下面４４２０を有することができる。上面４４１４には、その表面または面の少なくとも一部にＱＲコード(図示せず)を有する立方体４４３０が取り付けられ得る。下面４４２０は、寛骨臼リム４４０６に適合するように形作られる。テンプレート４４０８は、テンプレート４４０８が患者の寛骨臼４４０４内の寛骨臼カップ部品の配置と干渉しないように、開放内部４４１８を有することができる。

【0192】

テンプレート４４０８は、ネジ４４２２のような１つ又は複数の留め具によって適所に保持され得る。テンプレート４４０８が患者の寛骨臼に嵌合される場合、ＡＲデバイス２００は、立方体４４３０上の１つ又は複数のＱＲコードを検出して、患者の骨盤を位置合わせすることができる。１つ又は複数の患者固有の変換行列は、立方体４４３０及び／又はＱＲコードと関連付けられ、ＱＲコード及び／又は立方体４４３０に対する、仮想画像（例えばホログラム）の向き及び位置を求めるために使用され得る。

【0193】

ツールおよび身体構造の自動化された物体認識および位置合わせ：例：ＴＫＲの遠位大腿骨
本開示は、例えば、切開を通して見られるように、例えば、露わにされた解剖的構造の一部の三次元方向を認識することにより、例えば、解剖的構造および／またはツールを位置合わせして追跡するための拡張現実ＨＭＤの空間検出システムを使用することができる。例えば、膝を開くことができ、ＡＲデバイス２００内の空間検出システム又はカメラ（単数または複数）は、大腿骨の端部を見ることができる。次いで、ナビゲーションシステム１６００は、ＡＲデバイス２００の１つ又は複数のセンサ又はカメラを有することにより、大腿骨全体の向きを追跡し、患者固有の解剖学的物体の一部を見ることができる。幾つかの実施形態において、これは、特定の物体が術前に特定され、ナビゲーションシステム１６００が手術シーン内のその特定の患者固有の物体に関して画像データを検索するオブジェクトベースで画像ベースの方法と呼ばれ得る。上述されたように、股関節手術の場合、HipXpertツールは、特定の患者に調整され（例えば、調節され）、ナビゲーションシステム１６００は、手術シーンの画像データ内の患者に対して調整されたようなHipXpertツールを認識するように準備される。次いで、手術シーン内の患者の特定の物体の検出に基づいて、ナビゲーションシステム１６００は、「内部」シーンの残りの部分（例えば、患者の骨盤、別の解剖学的構成要素または特徴要素など）を位置合わせすることができる。

【0194】

人工膝関節全置換術（ＴＫＲ）の場合、ＣＴ、ＭＲ、統計的形状、又は他の予測モデリング、又は他のデータは、術前に、患者の大腿骨、脛骨、股関節、及び足首から取得され得る。取得されたデータは、患者の大腿骨、脛骨、股関節および足首のＣＡＤファイルの形態であることができる３Ｄモデルを生成するために使用されることができ、これは、ＴＫＲ手術中に露わにされることになる大腿骨および脛骨の部分を含む。これらのモデルは、ナビゲーションシステム１６００のモデルデータベース１６０８に格納され、物体認識および物体の向き／ポーズの判定ステップの間に利用され得る。

【0195】

幾つかの実施形態において、ＡＲデバイス２００は、脛骨の上端の物体認識を実行することができる。脛骨の上面が不定形であり、その結果、ＡＲデバイス２００が脛骨の最上部の物体認識だけで脛骨の位置にロックして、不十分な位置合わせを招くと仮定する。物体認識は、例えば、脛骨の関節面の高さに対して十分であることができるが、長手方向軸の精度に関しては十分ではない。ＡＲデバイス２００は、脛骨全体のホログラム及び脛骨上のＱＲ立方体を、近位脛骨のみの物体認識に基づいた決して十分でない位置合わせの段階１の位置合わせステップで提示することができる。ＡＲデバイス２００が脛骨－最上部と底部をホログラムとして提示し、トラッカーが緊密に一致された上端を保持する場合、外科医は患者の足首をホログラムと一致させる位置へ移動させることができる。即ち、外科医は、現実のもの（例えば、患者の脚）を、拡張現実（例えば、ホログラム）と位置合わせするように移動させることができる。

【0196】

膝の代替手術のための大腿骨の場合、外科医は、ナビゲーションシステム１６００が追跡している単なる解剖的部位を変更することを望む場合があり、そうでなければ追跡を終了するかもしれない。これを回避するために、ナビゲーションシステム１６００は、処置全体にわたって依然として追跡され得る骨に固定される物体（例えば、追跡フレーム）に情報を転送することができる。この技術を用いて、ナビゲーションシステム１６００は、十分な量の遠位大腿骨を見て、それを大腿骨全体の仮想モデルにリアルタイムで一致させることにより、大腿骨全体を認識して追跡することができる。次いで、追跡フレームが取り付けられる場合、大腿骨全体のモデルに対するその関係は、ナビゲーションシステム１６００により、例えば、１つ又は複数の幾何学的変換操作を介して求められ得る。患者固有の解剖学的物体認識およびここで説明されている骨の位置合わせの場合、骨の位置は、追跡フレームが固定されるその時点で既に知られており、そのため後続の位置合わせステップは存在しない。ひとたび情報が第２の物体に転送されるならば、たとえ骨の位置を求めるために最初に使用された元の患者固有の解剖学的物体が手術の後段においてもはや存在しなくても、骨は手術中に変更され、処置の全体にわたって追跡され得る。図１０は、１つ又は複数の実施形態による、人工膝関節置換術中の遠位大腿骨の光景を示す、患者の膝の絵画図である。

【0197】

幾つかの実施形態において、遠位大腿骨または近位脛骨の表面と一致する表面を有する物理的なテンプレートが、大腿骨または脛骨に取り付けられ得る。物理的なテンプレートはトラッカーを含むことができる。追跡システム１０６及び／又はＡＲデバイス２００は、物理的なテンプレート及び／又はトラッカーを認識し、大腿骨または脛骨を位置合わせすることができる。トラッカーは、大腿骨または脛骨にランダムに取り付けられることができ、大腿骨または脛骨の位置合わせは、このトラッカーに転送されてもよい。次いで、物理的なテンプレートが取り除かれ、処置が継続され得る。

【0198】

図１１は、１つ又は複数の実施形態による、自動化された患者固有の解剖学的物体認識によって決定された際の、外科医のビューと全く同じ向きで正確に同じ骨を描写することを意図した患者の大腿骨の３Ｄ表面モデルの図である。

【0199】

図１２は、１つ又は複数の実施形態による外科医の視点から見た際の実際の大腿骨と正確に同じ場所で空間に配置された大腿骨の仮想モデルを示す、ＡＲデバイス２００により投影された画像の略図である。

【0200】

やはり、最初に位置合わせを達成するために使用された表面を変更することができるように、トラッカーを骨に取り付けることにより、位置合わせ情報をトラッカーに転送することが可能になる。これは、継続したナビゲーション、及びたとえ外科医のビューが何であろうとも外科医の視点からの連続的な拡張現実表示を可能にする。図５７に示されたトラッカー５７０２のような光学的要素または磁気的要素を有するトラッカーに加えて、トラッカーが、空間的に一意でありひいてはＡＲデバイス２００によって認識可能な２Ｄ又は３Ｄ形状であることができる。例示的な３Ｄ形状は、反射要素を備えない光学的トラッカー（例えば、アーム要素だけ）を含む。例示的な２Ｄ形状は、非対称の星形または非対称の十字などを有する金属板を含む。

【0201】

開示されるように、幾つかの実施形態において、本開示は、膝および／または寛骨臼において使用されるテンプレートのような物理的なテンプレートの使用に取って代わることができる。それよりむしろ、システムは、実際の３Ｄ印刷された物理的なテンプレートの代わりに、患者固有の解剖学的物体認識を用いて患者の解剖的構造上にロックする、テンプレートのホログラムのような仮想テンプレートを効果的に提示する。ナビゲーションシステム１６００は、１つ又は複数のＱＲコード及び／又は物体認識を用いて、膝手術器具をナビゲートすることができる。例えば、当該シーケンスは、遠位大腿骨の切除術から開始することができる。この場合、プロセスは以下のように進行することができる、即ち、
１．外科医により、ＱＲ立方体が大腿骨に固定され得る。
２．ＡＲデバイス２００は、物体認識を用いて遠位大腿骨を認識し、かくして大腿骨を先ず位置合わせすることができる。ＡＲデバイス２００は、ＱＲ立方体も追跡することもできる。大腿骨の位置合わせは、股関節をあちこちに動かし、ＱＲ立方体および／または遠位大腿骨対象物を注視し、股関節中心を計算することにより、拡張され得る。例えば、ＡＲデバイス２００は、股関節中心を計算するためにＱＲ立方体を追跡することができ、及びまた又は代案として物体認識を用いて、動きの間に遠位大腿骨の位置を追跡し、股関節中心の三角測量もすることができる。これは、ＱＲ立方体または他のトラッカーが固定される前に行われ得るが、トラッカーが取り付けられた後で行われることが好ましい。理解されるべきは、ＱＲ立方体以外の別の追跡デバイスが使用され得る。実際には、それは、画像認識とは対照的に、物体認識を用いて追跡されることもできる別の一意の「物体（対象物）」だけであることができる。
３．ひとたび大腿骨が位置合わせされて、ホログラムが固定され得るならば、ＡＲデバイス２００は理想的な遠位大腿骨切断面の１つ又は複数のホログラムを提示することができる。次いで、外科医は、視野内に任意の遠位切断ブロックを置くことができる。実際には、金属シートが切断ブロックの鋸刃スロット内へ入れられることができ、外科医は、金属シートが遠位切断面ホログラムのホログラムと一致するように、切断治具を配置することができる。次いで、外科医は、治具を所定位置にピン止めし、切断を行い、切断を切断のホログラムと比較することができる。次いで、外科医は、治具または空いている方の手によって、切断を微調整することができる。１台４役の切断ブロックのホログラムを投影する前に、ＡＲデバイス２００は、１台４役の切断ブロックの背面上のペグに必要とされる提案されたドリル穴のホログラムを投影することができる。
４．また、このプロセスは、「１台４役」の切断ブロックのような、複数の切断面を提供する切断ブロックにも適用され得る。一般に、１台４役の切断ブロックは、２つのペグ又はピンで大腿骨に固定される。ＡＲデバイス２００は、計画された通りに、ピン穴の好適な位置のホログラムを表示することができ、外科医は、ホログラムに一致するように穴をドリル開けし、１台４役の切断治具上に置くことができる。次いで、ＡＲデバイス２００は、前部、前部ベベル、遠位、後部ベベル、及び後部切断を含む、好適な（例えば、計画された）遠位大腿骨準備表面のホログラムを表示することができる。これらは、切断を行う前に外科医によって視覚的に検査されることができ、再び金属シートを切断スロット内に配置して、物理的な１台４役の切断ブロックをそのホログラムに整列するのに役立つことができる。次いで、切断が行われて、１台４役の切断ブロック（又は他の治具）が取り除かれた後、ＡＲデバイス２００は、計画された通りに切断表面のホログラムを表示することができ、外科医は再び、治具または空いた方の手によって、ホログラムに提示された切断面と一致するように骨切断を再び微調整することができる。ＡＲデバイス２００は、靭帯のバランスを確認するために外科医に脛骨に垂直なホログラムで靭帯の伸延（distraction）を投影することができ、このステップを完了する前に１台４役の切断ブロックの回転を場合によっては変化させる場合がある。
５．この時点で、遠位大腿骨の準備が完了する。しかしながら、ＡＲデバイス２００は、骨およびその上の最終的な大腿骨構成要素を示すホログラムも表示することもできる。
６．ＡＲデバイス２００は、露わにされた近位脛骨表面の物体認識を通して脛骨を位置合わせすることができる。幾つかの実施形態において、例えば、位置合わせを改善するために、ＱＲ立方体のようなトラッカーが脛骨に配置され得る。ＡＲデバイス２００は、最初の位置合わせのホログラムを提示し、次いで手動で（例えば、外科医によるユーザ相互作用を通じて）、又は足首の内果と外果の外科医の触診を用いて自動的に、このホログラム回転させることができる。このプロセスは、従来の位置合わせを膝の画像無しナビゲーションと置き換えることができ、この場合、トラッカーが脛骨に置かれ、ポイントが近位脛骨上でデジタル化される。更に、従来の位置合わせの場合、デジタイザの先端部は、内果上に圧縮された皮膚上に配置され、次いで、第２の点が、外果上に圧縮された皮膚上に配置されたデジタイザの先端部でもって取得される。従来の位置合わせは、脛骨の長手方向軸上の情報を提供する。本技術の場合、長手方向軸はホログラムに含まれる。外科医は、指と親指を内果と外果に配置し、次いで、ホログラムが指と親指との間に配置されるように回転する。このように、脛骨は、足首と一致する仮想軸を遠位に移動させることにより、位置合わせされる。この技術はデジタイザの必要性を取り除く。また、外科医の手を監視し、同時に外科医の親指と指の位置を自動的に求めるために、又は単一の指が２つの足首点のデジタイザであることを可能にするために使用され得るＡＲデバイス２００の能力を利用することもできる。幾つかの実施形態において、その上にあるＱＲ立方体を有するデジタイザを用いて、脛骨を位置合わせすることができる。他の実施形態において、特定のデジタル化物体の物体認識を用いて、脛骨を位置合わせすることができる。要するに、システムは、近位脛骨の物体認識、直接的なデジタル化（２つの物体を追跡する必要がある場合がある）、外科医の指の先端のような、その上にトラッカーを備えない物体を追跡すること、又は標準的な一意の形状のデジタル化器具（物体認識を用いて物体全体を追跡することにより追跡され得る先端部）の様々な組み合わせを使用することができる。係る物体認識追跡デジタイザは、大腿骨の位置合わせにもまた役立つように使用され得る。ＱＲ立方体は、デジタイザ上に含まれる必要がない。
７．ひとたび脛骨が位置合わせされて、１つ又は複数のホログラムに表示されるならば、計画された近位脛骨切断面が、１つ又は複数のホログラムに表示され得る。更に、ＡＲデバイス２００は、脛骨だけではなく、使用されるべきいかなる髄外切除切断ジブのモデルを、１つ又は複数のホログラムに表示することもできる。簡単にするために、ＡＲデバイス２００が切断面だけを表示する場合、外科医は、脛骨に対して任意の切断治具を置き、脛骨切断面鋸刃切断スロットを介して物理的な金属切断面鋸刃交換品を置き、次いで、提案された切断面の物理的表現が提案された切断面のホログラムと一致するその位置で、器具が脛骨にピン止めされ得る。次いで、切断が行われ、そして外科医は、達成された切断面をホログラムによって表示されたような計画された切断面と比較することができる。
８．ＡＲデバイス２００によって表示され得る追加の脛骨ホログラムは、脛骨部品のための回転およびキールを決定する脛骨準備トレイの配置のためのドリルピン穴を示すことを含む。ＡＲデバイス２００によって表示され得る別のホログラムは、脛骨および提案されたプラスチック挿入物を有する脛骨金属部品、即ち計画された通りの最終インプラントの外観を示すことができる。
９．大腿骨のＡＰ位置及び回転を決定する一般的な方法は、後部大腿骨顆を解剖学的に使用している。後部切断面は一般に、２つの顆の背面からの所定距離（例えば、９ｍｍ）にあり、遠位切断面に垂直である。次いで、前部切断面は、後部から一定の距離にあり、提案された部品のサイズに完全に依存する。しかしながら、外科医は、まさに解剖学的測定に取り組む前に、靭帯のバランスを検査することができる。これは、大腿骨準備が終了する前に、脛骨を位置合わせすることにより行われ得る。脛骨切除ガイドは大腿骨に対して配置されることができ、この場合、大腿骨と脛骨との間の靭帯は開創器により伸延される。次いで、外科医は、脛骨治具が大腿骨の提案された回転（解剖学的目印に基づいて）に平行であることを視覚的に確認することができる。これは、骨の切断が、解剖学的に提案されている場所で行われる場合には、靱帯のバランスが良好であることを示す。幾つかの実施形態において、例えば、大腿骨上に脛骨の長軸に垂直な平面を有するホログラムを表示することにより、同様のプロセスが脛骨治具を用いずに続けられ得る。靭帯が伸延した状態で、それは１台４役の切断治具のピン穴と一致しなければならない。これは、大腿骨が準備される前に、外科医によって検査され得る。２つの方法（解剖学的および靭帯の伸延)が一致しない場合、外科医は、靭帯を解放すること、大腿骨の回転を変更すること、又は２つの組み合わせの選択を有する。
１１．幾つかの実施形態において、ＡＲデバイス２００は、膝の手術で使用される１つ又は複数の前後（Anterior Posterior：ＡＰ）切断治具のホログラムを表示することができる。切断治具は、患者固有であることができ、又はそれらの位置は患者固有ベースで推奨され、骨切断が行われるべき場所の指示を含む。手術中、ＡＲデバイス２００は、手動で、例えばＱＲコード又は物体認識を用いて自動的に、又は手動と自動の組み合わせで、計画された位置でホログラムを表示することができる。

【0202】

システムは、脛骨、或いは体内または体外の任意の他の身体部分に同様の技術を適用することができる。

【0203】

図１３は、１つ又は複数の実施形態による、人工膝関節置換術中に脛骨を示す患者の膝の絵画図である。

【0204】

図１４は、１つ又は複数の実施形態による、立体カメラ又は立体的な表面検出の任意の他の方法を用いた自動表面マッチングによって決定された際の、外科医のビューと全く同じ向きで正確に同じ骨を描写するように意図された患者の脛骨の３Ｄ表面モデルの図である。

【0205】

図１５は、１つ又は複数の実施形態による、外科医の視点から見られた際に実際の脛骨と全く同じ位置で空間に配置された脛骨の仮想モデルを示す、ＡＲデバイスにより投影されたホログラムの略図である。

【0206】

患者固有の解剖学的物体認識およびＣＡＤファイル自動表面マッチング位置合わせ方法は、物理的なテンプレートの使用に取って代わることができる。認識されるべき患者の特定の解剖学的物体のＣＡＤファイルは、術前に当該物体で準備され、当該物体の位置を求めて追跡するために、ＡＲデバイス２００の空間検出システムによって提供されるデータを検索することにより、手術において認識され得る。

【0207】

また、物体は、例えば、幾つかあるオプションの中で、骨盤または大腿骨上に配置されたトラッカーのような、一次物体に関連する別の物体を介して、直接的または間接的に追跡され得る。やはり、追跡は、数ある中でも、ＡＲデバイス２００、追跡システム１０６、又は３Ｄ検出システム１０８上の空間検出システム（例えば、カメラ及び／又は他のセンサ）によって実行され得る。また、本開示は、物理的なテンプレートを作成して滅菌する必要性も取り除くことができ、その代わりに即座に計画され得る。本開示は、画像無し又は画像ベースの膝ナビゲーションに必要である場合がある表面の広域のデジタル化を排除することができる。

【0208】

位置合わせ技術（例えば、足首の目印をデジタル化、又は股関節の回転の中心を三角測量する）の組み合わせを利用して、精度を更に向上させることができる。

【0209】

上述されたように、膝関節形成術の処置は一般に、患者の大腿骨の遠位端における大腿骨および患者の脛骨の近位端における脛骨の切除または切断を必要とする。これらの切除または切断は従来、個々の骨上に配置され、所望の位置および向きにおける骨の切断において外科医を案内する及び導く、切断治具またはブロックを用いて達成される。幾つかの実施形態において、切断治具またはブロックは、患者固有であることができる。

【0210】

大腿骨遠位切除
計画段階において、患者固有の遠位大腿骨の切断治具またはブロックの３Ｄモデルが、例えば、患者の大腿骨の３Ｄモデルに基づいて作成され得る。大腿骨上の大腿骨切断治具またはブロックのモデルの位置は、大腿骨の遠位端が計画通りに切断されるように計画され得る。大腿骨切断治具またはブロックのモデルは、ＡＲデバイス２００による提示のためのホログラムを生成するために使用され得る。外科手術中、解剖的構造またはトラッカーが認識されることができ、ＡＲデバイス２００は、大腿骨切断ブロックのホログラムを大腿骨の遠位端における計画された位置に提示することができる。幾つかの実施形態において、外科医は次いで、物理的な切断ブロックをホログラムと同一場所に配置し、物理的な切断ブロックを所定位置に固定することができる。次いで、外科医は、物理的な切断ブロックを利用して、患者の大腿骨の遠位端を切除することができる。

【0211】

幾つかの実施形態において、ＡＲデバイス２００は理想的な切断面のホログラムを提示することができ、その結果、外科医は、物理的な切断治具またはブロックによって案内されるように骨準備切断を実行することにより作成された切断面を二重チェックすることができる。更に、この実施形態の場合、外科医は、切断治具またはブロックを介して生じた切断が近いが完全ではない場合に、大腿骨の遠位端の切除を自由に微調整して、計画された切除とより完全に一致させることができる。

【0212】

脛骨切除
大腿骨と同様に、患者固有の近位脛骨切断治具またはブロックの３Ｄモデルが、例えば患者の脛骨の３Ｄモデルに基づいて作成され得る。脛骨上の脛骨切断治具またはブロックのモデルの位置は、脛骨の近位端が計画通りに切断されるように計画され得る。脛骨切断治具またはブロックのモデルは、ＡＲデバイス２００による提示のためのホログラムを生成するために使用され得る。外科手術中、解剖的構造またはトラッカーが認識されることができ、ＡＲデバイス２００は脛骨切断治具またはブロックのホログラムを脛骨の近位端における計画された位置に提示することができる。幾つかの実施形態において、外科医は次いで、物理的な切断ブロックをホログラムと同一場所に配置し、物理的な切断ブロックを所定位置に固定することができる。次いで、外科医は、物理的な切断ブロックを利用して、患者の脛骨の近位端を切除することができる。同様に、大腿骨と同様に、ＡＲデバイス２００は理想的な切断面のホログラムを提示することができる。

【0213】

幾つかの方法を用いて、理想的な切断面、ひいては切断治具またはブロックを配置するための場所を含む、大腿骨および脛骨の切除術を計画することができる。

【0214】

方法１。純粋な解剖的構造。ＡＰ切断治具の配置を決定するための基本的な方法は、純粋に術前イメージングに、術前に基づく。物理的なテンプレートの多くの供給業者は、この方法を利用する。この方法は容易であるが、靭帯のバランスを考慮に入れていない。

【0215】

方法２。純粋な靭帯バランス。John Insall博士の「Insall Technique」として知られている。この方法の場合、遠位大腿骨および近位脛骨切除術は、外科的根本原理に依存する僅かな変動を伴ってそれらの個々の軸の長軸におおよそ直交させられるが、前後切断の回転は、多くの異なる根本原理で済ませられ得る。術前イメージング（又は術中デジタル化）に基づく純粋な解剖学的決定に加えて、正反対の根本原理は、靭帯伸延技術によって行われる。これは古典的な方法である。脛骨切断が、その長軸に対しておおよそ水平であると仮定する。更に、膝を９０度曲げた際に、大腿骨の裏面と脛骨の最上部とが平行である（決定時に靱帯が伸延した状態）ように、外科医が大腿骨の裏面をそれに平行にすることを望んでいると仮定する。これは、外科医がインプラントを入れた際に、膝が９０度曲げられた状態での靭帯の張力がおおよそ均等であることを意味する。この方法は、このタスクを達成するための外科医の処理において変化するものとして開放する、部品の回転および／または軟組織を用いて膝のバランスをとることを含む。

【0216】

方法３。混合技術。この方法の場合、外科医は、両方の方法１及び２を使用して大腿回転を見ることができ、それらが一致しているか否かを確かめることができる。それらが一致していない場合、外科医は、２つの方法を互いにわずかに接近させるために、靭帯の解放を少し行うことができる。この混合方法は基本的には、方法２を方法１に近づける。

【0217】

これらの方法のいずれも、本開示によって実施され得る。

【0218】

幾つかの実施形態において、１つ又は複数のガイドを用いて、切断ブロックまたは治具を配置するための場所を決定することができる。例えば、テネシー州メンフィス在のSmith & Nephew Inc.からのLEGION全膝システムは、後大腿骨顆を基準として使用するサイジングガイドを含む。サイジングガイドは、外科医によって使用されて、切断ブロック又は治具を配置するための場所を決定することができる。幾つかの実施形態において、同じサイジングガイドを用いて、切断ブロックまたは治具の範囲を正確に見分けることができる。

【0219】

図３１は、１つ又は複数の実施形態による、２つの位置決め穴３１０２ａ及び３１０２ｂを有するサイジングガイド３１００の正面図である。

【0220】

図３２は、１つ又は複数の実施形態による大腿骨３２０２上のサイジングガイド３１００の斜視図である。

【0221】

サイジングガイド３１００が患者の大腿骨に取り付けられた状態で、外科医は、位置決め穴３１０２ａ及び３１０２ｂを利用して、患者の大腿骨内へ２つの穴をドリル開けすることができる。次に、サイジングガイド３１００を取り外して、サイジングガイド３１００の位置決め穴３１０２ａ及び３１０２ｂによって決定された２つの穴を用いて、切断ブロックまたは治具を大腿骨に取り付けることができる。切断ブロック又はガイドは、インプラントのための正確な前部、後部、及び傾斜した面取り切断を画定することができる。

【0222】

図３３は、１つ又は複数の実施形態による、患者の大腿骨３３０２に取り付けられた切断ブロック３３００の正面図である。切断ブロック３３００は、サイジングガイド３１００の位置決め穴３１０２ａ及び３１０２ｂを用いて形成されたドリル穴３３０４ａ及び３３０４ｂ内に延びるピン又はネジを用いて、患者の大腿骨３３０２に取り付けられ得る。

【0223】

図３４は、１つ又は複数の実施形態による、患者の大腿骨３３０２に取り付けられた切断ブロック３３００の側面図である。切断ブロック３３００は、前部切断ガイド３４０２、後部切断ガイド３４０５、及び２つの傾斜した面取り切断ガイド３４０３及び３４０４を提供する。外科医は、切断ブロック３３００の切断ガイド（例えば、前部切断ガイド３４０２）に鋸刃３４０６を配置して、計画された切断を行うことができる。

【0224】

幾つかの実施形態において、ＡＲデバイス２００は、位置決めピン穴の計画された位置のホログラムを提示することができる。手術中、これらのホログラムが提示されることができ、外科医は、計画された位置に位置決めピン穴をドリル開けするようにドリルを位置合わせするためにホログラムを使用することができる。例えば、ドリル穴を有するサイジングガイドのホログラムが、ＡＲデバイス２００によって提示され得る。この具現化形態において、外科医は、物理的なサイジングガイド又は任意の他のガイドを使用しなくもよい。ＡＲデバイス２００によって提示された１つ又は複数のホログラムに基づいて位置決めピン穴をドリル開けした後、外科医は、切断ブロック又はガイドを患者の大腿骨に設置することができる。幾つかの実施形態において、ＡＲデバイス２００は、計画された通りに、計画された前部、後部、及び傾斜した面取り切断面のホログラムを提示することができる。次いで、外科医は、切断面のこれらのホログラムが、物理的な切断ブロックまたは治具の切断ガイドと同一場所に配置されている（例えば、位置合わせされている）ことを確認することができる。

【0225】

切断を行った後、外科医は人工膝部品を移植することができる。

【0226】

図３５は、１つ又は複数の実施形態による、人工膝部品３５００の斜視図である。膝部品３５００は、患者の大腿骨に対して行われた前部、後部、及び傾斜した面取り切断に一致する内面を含むことができる。更に、膝部品３５００は、位置決めピン穴のホログラムに基づいて形成されたドリル穴内に受容され得る２つのピン３５０２ａ及び３５０２ｂを含むことができる。

【0227】

理解されるべきは、数ある中でも、１台５役の切断ブロック又は治具のような、他のガイド及び／又は切断ブロックが使用され得る。

【0228】

他の膝解決策
理解されるべきは、他の処置が利用され得る。

【0229】

患者の膝の術前イメージングは、ＣＴ、ＭＲ、又は他のイメージング技術を用いて実行され得る。代案として、モデルフィッティングのための最小限の患者固有情報を有する統計的形状モデルが使用され得る。

【0230】

ソフトウェアのステップは、大腿骨および脛骨のセグメンテーションを含むことができる。次いで、目印および座標系が作成され得る。例えば、大腿骨座標系の回転は、最初に、後部大腿骨顆によって決定され得る。

【0231】

次に、以下の初期基準でもって大腿骨部品の計画が作成され得る、即ち、
１．コロナル面内の大腿骨の長軸に垂直であり、サジタル面内で数度の曲がりの状態の遠位大腿骨切断。
２．遠位切断面が、大腿骨の最も遠位の軟骨表面からＸｍｍ（例えば、８ｍｍ又は９ｍｍ）であるべきである。
３．大腿骨の後部および前部切断面は、後部切断面が後部大腿骨顆の前方にＸｍｍ（例えば８ｍｍ又は９ｍｍ）であり、遠位大腿骨切除に垂直であるように計画される（特定のインプラントシステムが僅かな角度を要求しない限り)。前部切断は、後部切断と平行であることができ、大腿骨のサイズによって決定される計画された大腿骨部品のサイズによって決定され得る。

【0232】

脛骨部品の計画は、以下の初期基準で作成され得る、即ち、
１．近位脛骨切除面は、コロナル面上の脛骨の長軸に垂直であり、一般に、サジタル面内に数度の曲がり状態にあることができる。脛骨座標系の回転を決定する１つの方法は、イメージング中に膝が伸長している状態である可能性があるため、大腿骨顆の回転を脛骨上に厳密に投影することである。別の方法は、脛骨長軸が近位脛骨を出る点に加えて、１つ又はもう２つの解剖学的点を使用することである。更に、脛骨表面の下の切除平面の深さは、最も低い脛骨プラトー面の下にＸｍｍ、又は最も高い脛骨プラトー面の下にＸｍｍの何れかであることができる。これは、外科医の好みの変数とすることができる。

【0233】

ＡＲデバイス２００は、以下の一連の静的ホログラムを提示するように構成され得る、即ち
Ｆ０１ 天然大腿骨。
Ｆ０２ 遠位大腿骨切断面を有する天然大腿骨。
Ｆ０３ 天然大腿骨、遠位大腿骨切断面、及び市販の又は影響を与える特定の従来の遠位大腿骨切除ガイド。
Ｆ０４ 特定の１台４役の大腿骨切断治具が治具の背面上の位置決めピンを用いて配置され、計画された位置にある治具を用いて前後骨切断（及び面取り切断）が行われるように、穴をドリル開けするための場所を外科医に知らせる遠位大腿骨内に突出する２つのドリル穴ホログラム。
Ｆ０５ 遠位、前部、後部、及び面取り骨切断を反映するように大腿骨を変更した遠位大腿骨の好適な準備された表面のホログラム。
Ｆ０６ 計画された場所における計画されたサイズの大腿骨部品を有する大腿骨のホログラム。
Insall－技術ホログラム。上記は、解剖学的目印に単に基づいて大腿骨を準備することを説明している。幾つかの実施形態において、靭帯のバランスは、手術において評価され得る。１つ又は複数のホログラムは、靭帯のバランスの間に、手術のために患者の特定のホログラフィックライブラリから予め生成されて、引き出され得る。

【0234】

ＡＲデバイス２００が、脛骨を追跡し、脛骨に対してホログラムを表示すると仮定する。更に、近位脛骨切除が行われる場所に関しての決定がなされると仮定する。一緒に取られた大腿骨および脛骨インプラントの厚さが、Ｘｍｍ（例えば、脛骨表面の低側より上５ｍｍ、及び大腿骨インプラントの後部に関して別の９ｍｍ）であると仮定する。外科医は靭帯を伸延することができ、ＡＲデバイス２００はその位置で脛骨に対して切断面のホログラムを投影することができる。ホログラムは、大腿骨上に投影され得る。このホログラム投影は、解剖学的目印により示唆されるピン穴および後部切断面が存在する場所と比較され得る。

【0235】

システムが、脛骨を追跡することに基づいてホログラムを投影し、且つ大腿骨を追跡することに基づいて同時にホログラムを投影する場合、これら２つのホログラムは理想的には重なるべきである。それらが異なる程度まで、外科医はいくつかの選択肢を有する、即ち、
Ａ．外科医は、脛骨情報を無視して、大腿骨の解剖的構造に基づいて解剖学的位置および回転を堅持することができる。
Ｂ．外科医は、脛骨／靭帯伸延の推奨を使用することができる。
Ｃ．外科医は、２つのホログラムをより密接に整列するために、より多くの靭帯解放を行うことができる。
Ｄ．Ｃを用いて又は用いずに、外科医は、ＡとＢとの間のどこかで大腿骨位置を選択することができる。

【0236】

ＡＲデバイス２００は、以下の脛骨ホログラムを提示することができる、即ち、
Ｔ０１ 天然脛骨のホログラム。
Ｔ０２ 天然脛骨に好適な脛骨切断面をプラスしたホログラム。
Ｔ０３ Ｔ０２に近位脛骨切断治具をプラスし、一般的又は又は固有のベンダシステム。
Ｔ０４ 脛骨表面マーキング上にドリル穴突起物を有する、切削された脛骨表面上に投影されたホログラムであり、この場合、ドリル穴は、正しい位置および回転で脛骨に固定された脛骨トレイ治具の役に立ち、Keel Punchの準備が正しい場所にあることを可能にすることに役に立つ。
Ｔ０５ 理想的な脛骨切除を反映する脛骨に、正確な位置および回転の状態にある計画された脛骨部品をプラスしたホログラム。

【0237】

位置合わせ及び追跡
大腿骨の場合、１つ又は複数のＱＲコードを有する立方体のような追跡物体が、所定位置に取り付けられ得る。次いで、ＡＲデバイス２００は、主として、一意の患者固有の遠位大腿骨の解剖的構造の物体認識を用いて大腿骨を位置合わせすることができる。大腿骨の位置合わせは、大腿骨頭中心の運動学的三角測量、切開を通じた直接的な目印のデジタル化、又はREVERSE REGISTRATION（逆位置合わせ）のような他の古典的方法により拡張されることができ、この場合、ＡＲデバイス２００はホログラムを投影し、外科医は肢（手足）を当該ホログラムに重なる位置へ移動させることができる。次いで、ＡＲデバイス２００は、この位置でホログラムを固定することができる。

【0238】

近位脛骨表面が、遠位大腿骨よりもその一意の幾何学的特性において区別が曖昧であるので、脛骨は、逆位置合わせの方法を用いて位置合わせされ得る。

【0239】

試行または実際のインプラントが適所にある場合、ＡＲデバイス２００は、大腿骨および脛骨の双方を追跡して、上述のホログラムＴ０５及びＦ０６を、例えば、膝があちこちに動く際にリアルタイムで投影することができる。また、ＡＲデバイス２００は、位置合わせと動きと靭帯のバランスを計算することもできる。

【0240】

ＡＣＬ再建
前十字靱帯（ＡＣＬ）再建は、膝上の最も一般的な主要な非人工装具の再建処置である。当該技術の現在の状態は、関節鏡検査法を実行することであり、以下の通りである、即ち、
１．断裂したＡＣＬの断端を創傷清拭し、
２．大腿骨の「刻み目（ノッチ）」を準備し、
３．解剖学的目印を用いて、新たな靭帯の大腿骨および脛骨の取り付け点を決定し、
４．提案された脛骨取り付け点における関節内の穴位置で脛骨を貫通するドリル穴を配置し、
５．提案された大腿骨取り付け点における関節内の穴位置で大腿骨内へドリル穴を配置し、
６．靭帯を通し、
７．（骨－靱帯－骨移植片のために）干渉ネジを用いて、大腿骨アタッチメントを固定し、
８．靭帯を緊張させ、
９．（骨－靱帯－骨移植片のために）干渉ネジを再び用いて、脛骨アタッチメントを固定する。

【0241】

当該処置は、軟組織の移植片が他の固定方法で固定されるので、軟組織の移植片が使用される場合、わずかに異なる。

【0242】

当該技術の現在の状態のいくつかの欠点には、以下のものが含まれる、即ち、
１．処置の性能は、関節内で一定の可視化を必要とし、出血またはデブリによる流体の何らかの曇りが、その可視化を妨げる。
２．移植片の脛骨アタッチメント及び大腿骨アタッチメントに対する「等角点」の決定が科学的に判断されず、誤った位置に移植片を配置することが、早期の断裂につながる可能性がある。

【0243】

本明細書で説明されるように、本開示のシステムは、以下の技術を実施することができる、即ち、
１．必要に応じて、ＡＲデバイス２００は、追跡および可視化技術の双方として使用され得る。
２．術前ＣＴ／ＭＲまたは予測形状モデリング。外科手術における「仮想テンプレート」物体認識位置合わせのために３Ｄモデルを作成する。
３．外科手術において、拡張現実ＨＭＤの空間検出システムにより認識および追跡され得る、経皮的に大腿骨および脛骨に追跡物体を取り付ける。
４．関節鏡カメラを利用し、当該関節鏡カメラは、ａ）作業端における関節の内側の立体映像または類似した空間検出システム、及びｂ）ＡＲデバイスの空間検出システム（又は任意の他の追跡方法）により追跡され得る、体外にある端部上の追跡物体を有する。当該技術は、２つの空間検出システムを利用することができ、即ち、関節内の１つは、「仮想テンプレート」の位置合わせのために解剖的構造を可視化するために使用されることができ、第２は、例えばＡＲデバイス２００上で、関節鏡デバイスの外端の位置を見守ることができる。
５．大腿骨位置合わせの場合、関節鏡デバイス上の空間検出システムは、関節内で見ることができる大腿骨関節面または大腿骨の任意の面に向けられる。関節面のエッジは例えば、物体検出に使用され得る。外部空間検出システムが関節鏡デバイスの位置を見守っている状態で、大腿骨上に以前に配置されたトラッカーに対して大腿骨が空間内のどこに存在するかを求めるために、大腿骨の一意のＣＡＤ表面を十分に識別することができるように、膝は動きの範囲にわたって動かされる。他の例の場合と同様に、患者の大腿骨またはその一部（例えば、患者の大腿骨の遠位端）の表面のＣＡＤファイルのような、患者固有のＣＡＤファイル又は他の画像ファイルが作成され得る。更に、患者固有の座標系が、この物体（例えば、患者の大腿骨）に対して術前に求められ得る。次いで、ナビゲーションシステム１６００は、手術シーンのＡＲデバイス２００上の空間検出システムから得られた画像データ内でこの物体を探索して検出することができる。ひとたび検出されたならば、ナビゲーションシステム１６００は、例えば、術前に求められた患者固有の座標系に基づいて、実際の対象物を位置合わせすることもできる。次いで、ナビゲーションシステム１６００は、空間内の大腿骨全体の位置を位置合わせする。
６．脛骨の位置合わせの場合、関節鏡デバイス上の空間検出システムは、脛骨関節面に向けられ得る。外部空間検出システム（又は他の追跡解決法）を用いて、脛骨が位置合わせされ得る。ここで、プロセスは、ＭＲＩに基づいて脛骨表面の術前ＣＡＤファイルを含み、ナビゲーションシステム１６００は、取り付けられた外部基準フレームと共に内部関節鏡空間検出システムを用いて、その表面の正確な位置を認識することができる。内視鏡は、脛骨の表面のような、より多くの表面を捕捉するように移動され得る。
７．脛骨および大腿骨の表面上の提案された取り付け点は、ＭＲ上の解剖的構造に基づいて計画され得る。代案として、位置合わせ後、膝は、「ＡＣＬ構成要素」の位置における動きの範囲にわたって廻され得る（動作中にＰＣＬを緊張させる圧力）。このように、システムは、大腿骨および脛骨上の最適な等角点を計算することができる。
８．今やシステムは、大腿骨および脛骨が常に存在する場所、及び靱帯が膝に取り付けられる際の理想的な取り付け点である場所を知っているので、システムは、外科医１１４がその瞬間に有するいかなる視点からも、ＡＲデバイス２００上に大腿骨および脛骨を表示することができる。また、システムは、最適なＡＣＬ再建のための脛骨トンネル及び大腿骨トンネルの提案されたコースも示すことができる。更に、システムは、従来のトンネル形成機器を含む任意のツールを追跡して、拡張現実に当該ツールを示し、それらのツールに対して、提案されたトンネルの仮想投影を示すことができる。

【0244】

本開示の利点の少なくとも幾つかは、以下のことを含む。即ち、取り付け点がより確実に配置され、ＡＣＬ再建の障害のリスクを低減するので、ＡＣＬ再建をより確実に実行することができる。当該方法は、処置の重要な部分の大部分が拡張現実と共に行うことができ、関節鏡の可視化の必要性を低減し、連続的ではなく、処置中の特定の時点でのみ関節鏡による可視化のために手術を改善することを可能にするという更なる利点を有する。より良好な技術的長所に加えて、適切な改良でもって、手術は、潜在的により効率的に行われ得る。

【0245】

口腔外科（歯科手術）
歯科医は一般に、ナビゲーション又は任意の種類の強化された可視化を用いずに歯科インプラントを配置する。歯科医は、歯科インプラントの基礎を築く利用可能な骨が存在する場所を示すことができる単純Ｘ線写真、及び／又は多平面再フォーマットを伴うＣＴイメージングに依存する場合がある。しかしながら、骨が非常に薄い場合（特に上顎または下顎の頬側で生じる可能性がある、又は歯がしばらくの間に失われた場合）、及び隣接する歯のような目印が歯科医を空間的に案内するために利用できない場合には、問題が生じる可能性がある。従来の画像ベースのナビゲーションは、複雑さ、コスト、及び患者が或る場所におり、ナビゲーション情報がＬＣＤスクリーン上のような別の場所にあるという事実のような理由で、この分野ではめったに使用されない。

【0246】

歯科インプラント手術中のホログラフィック誘導は、この分野において重要かつ費用効果の進歩を表すことができる。ホログラフィック誘導の固定は、少なくとも部分的に、１つ又は複数の既存の歯に基づくことができ、これは、皮膚の下に深くあることとは対照的に、物理的に利用可能である。

【0247】

幾つかの実施形態において、本開示は、以下のことを含むことができる、即ち、
１．顎のどちら側がインプラントを必要とするかに応じて、患者の下顎または上顎の少なくとも一部上に歯科用モールド（型）を作成する。モールドは、口の外側にあることができるトラッカーの取り付けを可能にする任意の利用可能な歯を含むことができる。係るトラッカーは、赤外線（ＩＲ）立体視追跡のための従来の動的参照ベース（ＤＲＢ）であることができ、又は幾つかの実施形態において、ナビゲーションシステム１６００により識別され、連続的に追跡され得るＱＲコード又は他の認識可能な画像または物体であることができる。モールドの位置は、提案された歯科インプラント又は他の提案された処置の位置に隣接することができるが、インプラント又は他の歯科手術が配置される領域へのアクセスを依然として提供するように十分に遠く離れて離隔され得る。幾つかの実施形態において、モールドは、トラッカーの位置を求めることができる要素を含むことができる。当該要素は、トラッカー自体、トラッカー支持体、トラッカー取り付け機構、又はトラッカーの位置を求めることができるモールド上のドット又はディンプルのような情報であることができる。
２．患者の顎の上に配置されたモールドを用いて、処置の前に患者のＣＴ又は他のイメージング調査を達成する。ＣＴ又は他のイメージングは、トラッカーの位置を求めることができる要素または情報を含む。例えば、幾つかの実施形態において、ＣＴ又は他のイメージングが実行される際に、トラッカーをモールドに取り付けることができる。他の実施形態において、トラッカー支持体またはトラッカー取り付け機構が、モールドと共に含まれることができるが、ＣＴ又は他のイメージングが実行される際に、トラッカー自体は省略されてもよい。
３．手術計画システム１７００は、ＣＴ又は他のイメージングを用いて、インプラントの位置を計画し、トラッカー（例えばＱＲコード又は他の追跡画像または物体）がＣＴ座標空間内に位置する場所を正確に特定することができる。例えば、モールド及びトラッカーを含む患者の下顎または上顎のコンピュータ生成３Ｄモデルが生成され得る。計画者は、１つ又は複数の特定のツール（例えば、ドリル、ドリルビットなど）、及び／又はインプラントを選択し、３Ｄモデルに対する手術用ツール及び／又はインプラントの位置を求めることができる。例えば、手術用ツール及び／又はインプラントの３Ｄモデルは、上顎または下顎の３Ｄモデルと組み合わされて、新たな３Ｄモデルを形成することができる。
４．トラッカー、又はイメージングの前にトラッカーが患者に取り付けられるモールドを有することは、例えば、トラッカーの位置が既にわかっているので、患者の位置合わせプロセスを簡素化することができる。これは、固定されたトラッカーを用いずにＣＴ調査が実行され、次いで骨盤の位置が、例えば整合および追跡ツールを骨盤にドッキングするか、又はトラッカーを固定して、次いでトラッカーに対する骨盤の位置をその後に位置合わせことにより、手術中に求められる股関節手術のために骨盤を位置合わせすることとは対照的である。
５．トラッカーが既知の方法で患者に固定された状態で、手術計画システム１７００は、３Ｄモデルの組み合わせを利用して、ＡＲデバイス２００による表示のための１つ又は複数の静的および／または動的ホログラムを生成することができる。幾つかの実施形態において、これらホログラムの少なくとも幾つかは、別な方法では歯科医に見ることができない患者の解剖的構造を示すことができ、例えば、歯科医ひいてはＡＲデバイス２００に見ることができる実際の患者の解剖的構造と同一場所に配置され得る。
６．例示的なホログラムは、インプラントを備えない患者の下顎または上顎の１つ又は複数のホログラム、及び手術用ツール及び／又はインプラントを計画された位置に備えている患者の下顎または上顎の１つ又は複数のホログラムを含むことができる。ＡＲデバイス２００を用いて係るホログラムを提示することにより、歯科医は、患者の骨がインプラントを適切に固定するように位置している場所を３Ｄ内で正確に「見る」ことができる。
７．外科的処置の間、モールド及びトラッカーは、患者の口に挿入されてもよい。歯科医によって装着された際のＡＲデバイス２００は、トラッカーを認識し、下顎または上顎のホログラムが患者の物理的な下顎および上顎と同一場所に配置され且つ手術用ツール及び／又はインプラントのホログラムが、それらの計画された位置に提示されるように、トラッカーに対して空間内に１つ又は複数のホログラムを提示して固定することができる。
８．歯科医は、手術用器具を操作し、インプラントを移植する際のガイドとして、１つ又は複数のホログラムを利用することができる。
９．幾つかの実施形態において、歯科医によって装着されたＡＲデバイス２００は、処置中に患者の下顎または上顎と同一場所に配置された患者の下顎または上顎のＣＴデータボリュームを提示することができる。例えば、ＡＲデバイス２００は、ＣＴデータボリュームを通じて１つ又は複数の平面切断（例えば、切断面）を生成し、ＣＴデータから二次元（２Ｄ）ＣＴ画像を生じさせることができる。ＡＲデバイス２００は、この２Ｄ・ＣＴ画像を歯科医に提示することができる。ＣＴデータボリュームを患者と同一場所に配置することにより、ＡＲデバイス２００によって表示される際に、２Ｄ・ＣＴ画像は、患者の解剖的構造上に重ねられ且つ当該解剖的構造と同一場所に配置されるように歯科医に見えることができる。切断面は、ＡＲデバイス２００から所定の距離に設定され得る。
１０．理解されるべきは、手術計画システム１７００は、計画されたドリル穴の正確な軌道、又はインプラント自体の正確なサイズと位置を示すホログラムのような、他の（例えば、より洗練された）ホログラムを生成することができる。更に、ナビゲーションシステム１６００及び手術計画システム１７００は、例えば、歯科医の視点からリアルタイムでホログラムを更新して、処置におけるその時点まで使い果たされた任意のツールの効果を示すことができる。

【0248】

係る方法の１つの利点は、トラッカー用のカスタム歯科用モールドが患者の利用可能な歯の１つ又は複数に固定される単一のセッション内のスポットで、全体の計画およびナビゲーションプロセスが実行されることができ、次いでイメージングを行うことができ、計画およびホログラムが迅速に実行されて生成されることができ、次いでインプラントの介入を行うことができることである。別の利点は、トラッカー／歯科用モールド装置が取り外されて、それが以前にあったのと全く同じ場所に戻るようにトラッカーの再適用を用いて、その日または別の日に患者上へ元へ戻され得ることである。従って、同じ計画および位置合わせ又は同じ位置合わせで更新された計画を用いて、同じ日またはその後の日に任意の数の処置が実行され得る。第３の利点は、この方法および技術が安価であることである。

【0249】

図５６は、１つ又は複数の実施形態による、例示的な歯科用モデル５６００の上面図である。歯科用モールド５６００は、患者の歯の印象５６０２を含む。また、歯科用モールド５６００は、突出部分５６０４も含む。突出部分５６０４上には、５６０６で示されたパターンが配置される。パターン５６０６は、複数の（例えば３つ）のマーキング５６０８ａ～５６０８ｃから形成される。外科的処置の間、ＡＲデバイス２００は、パターン５６０６を認識することができ、パターン５６０６に対して１つ又は複数のホログラムを固定することができる。

【0250】

図５３は、１つ又は複数の実施形態による、計画ウィンドウ５３００の図である。計画ウィンドウ５３００は、患者の下顎５３０２の３Ｄモデル、及びトラッカー支持体５３０６の３Ｄモデルに取り付けられたトラッカー５３０４の３Ｄモデルを含む。トラッカー支持体５３０６は、患者の下顎５３０２上の歯科用モールド５３０８に取り付けられ得る。１つ又は複数の手術用器具および１つ又は複数のインプラントの位置は、１つ又は複数の目標を達成するように計画され得る。例えば、インプラント５３１０のモデルは、計画された場所で下顎５３０２に配置され得る。代案として又は更に、インプラントを受容するために下顎５３０２内へドリル開けするためのドリル軸５３１２は、術前に決定された位置で計画され得る。１つ又は複数のホログラムが、手術計画で作成されたモデルから生成されることができ、当該ホログラムは、ＡＲデバイス２００により、トラッカー５３０４に対して提示されて固定され得る。

【0251】

図５４は、１つ又は複数の実施形態による、外科的処置中にＡＲデバイス２００により提示され得る切断面の図５４００である。当該図は、患者の下顎５４０６を含む患者の顎の少なくとも一部の３Ｄ表面モデル５４０４を示す第１のペイン５４０２を含む。３Ｄ表面モデル５４０４上には、直交する切断面を示す３つのボックスが重ねられる。赤色ボックス５４０８は１つの画像生成平面を表し、黄色ボックス５４１０は第２の画像生成平面を表し、緑色ボックス５４１２は第３の画像生成平面を表す。図５４００は、ボックス５４０８、５４１０、及び５４１２の平面に対応する患者のＣＴボリュームデータを通じて切断面を提示する追加のペインを含み、それらは、ＡＲデバイス２００により患者の顎内の正確な位置に提示され得る。例えば、ペイン５４１４は、赤色ボックス５４０８用のＣＴボリュームデータによる切断面を示す。ペイン５４１６は、黄色ボックス５４１０用のＣＴボリュームデータによる切断面を示す。ペイン５４１８は、緑色ボックス５４１２用のＣＴボリュームデータによる切断面を示す。

【0252】

神経外科／耳鼻咽喉科（ＥＮＴ）手術
また、神経外科および／またはＥＮＴ手術中のホログラフィック誘導は、この分野における重要かつ費用効果の進歩も表すことができる。歯科手術の実施形態と同様に、ホログラフィック誘導は、１つ又は複数の既存の歯に少なくとも部分的に基づくことができる。例えば、患者の上歯（患者の頭蓋骨に対して固定されているような)の歯科用モールドを作成することができ、ＱＲコードのような追跡物体が当該歯科用モールドに固定され得る。次いで、追跡物体（例えば、ＱＲコード）が画像上で識別され得る間に、イメージングが行われることができ、次いで、処置の残りが計画され得る。この実施形態は、位置合わせが即時に、自動的に、及び正確になることができるように、術前計画に含まれ得る上歯、及びトラッカーのイメージング前適用を使用することができる。

【0253】

理解されるべきは、追加および／または代案の位置合わせ技術が使用され得る。位置合わせの精度を向上させるために、「仮想テンプレート」の位置合わせ方法が他の方法と組み合わせられ得る。大腿骨の場合、股関節の回転中心の三角測量は、大腿骨に取り付けられたトラッカーを追跡する立体カメラを用いて、股関節をあちこちに動かすことにより計算され得る。これを仮想テンプレートの位置合わせと組み合わせることにより、位置合わせの精度がさらに改善され得る。デジタル化を仮想テンプレートの位置合わせと組み合わせることにより、位置合わせの精度がさらに改善され得る。

【0254】

以下の例は、本開示の方法および／またはシステムの１つ又は複数の態様を実現する。これらの例は非限定的な例である。異なる例の特徴は、他の具現化形態において組み合わせられ得る。各例の特徴は、他の具現化形態において変更または除去されてもよい。

【0255】

態様１：所定の固定位置において患者の骨盤の一部にドッキングするように構成された整合および追跡デバイスと；患者の骨盤の一部の二次元（２Ｄ）又は三次元（３Ｄ）モデルを提示し；患者の骨盤の一部の２Ｄ又は３Ｄモデルにドッキングされた際に整合および追跡デバイスの３Ｄモデルの位置を求め；整合および追跡デバイスの座標系を確立し；整合および追跡デバイスの座標系に対して１つ又は複数の手術用ツールの位置を決定し；患者の骨盤の一部の２Ｄ又は３Ｄモデル、整合および追跡デバイス、及び１つ又は複数の手術用ツールの２つ以上の組み合わせからなる複数のホログラムが生成され得る１つ又は複数のファイルを生成するように構成されたコンピュータベースの外科手術計画システムと；拡張現実（ＡＲ）ヘッドマウントデバイス（ＨＭＤ）とを含み、ＡＲ・ＨＭＤは、整合および追跡デバイスの少なくとも一部を認識するように構成された少なくとも１つのセンサと；複数のホログラムを提示するように構成された１つ又は複数のプロジェクタと；整合および追跡デバイスを追跡し、整合および追跡デバイスの座標系に基づいて空間内に複数のホログラムを固定するナビゲーションシステムとを含む、システム。
態様２：コンピュータベースの外科手術計画システムは、整合および追跡デバイスの座標系に対する少なくとも１つのインプラントの位置を決定するようにさらに構成され、複数のホログラムが、少なくとも１つのインプラントを更に含む、態様１に記載のシステム。
態様３：整合および追跡デバイスは、表面を有する三次元（３Ｄ）形状を含み、１つ又は複数のマーキングが３Ｄ形状の表面上に配置され、ＡＲ・ＨＭＤの少なくとも１つのセンサが、整合および追跡デバイスの３Ｄ形状の表面上の１つ又は複数のマーキングを認識する、態様１又は２に記載のシステム。
態様４：１つ又は複数のマーキングが、１つ又は複数のクイックレスポンス（ＱＲ）コード又はチェッカーボードのパターンである、態様１～３の何れか１つに記載のシステム。
態様５：整合および追跡デバイスは、所定の固定形状を有するハブと、前記ハブから延びる３つの脚とを含み、３つの脚は、整合および追跡デバイスを患者の骨盤の一部にドッキングするように構成され、ＡＲ・ＨＭＤの少なくとも１つのセンサが、整合および追跡デバイスのハブを検出し、ナビゲーションシステムが、持続時間にわたって整合および追跡デバイスの位置を少なくとも周期的に求める、態様１～４の何れか１つに記載のシステム。
態様６：コンピュータベースの外科手術計画システムは、患者の骨盤の一部の２Ｄ又は３Ｄモデルの座標系に対する１つ又は複数の手術用ツールの位置を決定し；患者の骨盤の一部の２Ｄ又は３Ｄモデルの座標系と整合および追跡デバイスの座標系との間の１つ又は複数の変換行列を生成するように更に構成され、ＡＲ・ＨＭＤは、空間内に複数のホログラムを固定するために、１つ又は複数の変換行列を利用する、態様１～５の何れか１つに記載のシステム。
態様７：コンピュータベースの外科手術計画システムは、前記複数のホログラムの一連の提示を決定するように更に構成され、ＡＲ・ＨＭＤは、一連の提示において、複数のホログラムを提示する、態様１～６の何れか１つに記載のシステム。
態様８：コンピュータ実施方法は、患者の骨盤の一部の二次元（２Ｄ）又は三次元（３Ｄ）モデルを提示するステップと；患者の骨盤の一部の２Ｄ又は３Ｄモデルにドッキングされた際の整合および追跡デバイスの位置を求めるステップと；整合および追跡デバイスの座標系を確立するステップと；患者の骨盤の一部の２Ｄ又は３Ｄモデルの座標系に対する１つ又は複数の手術用ツール及び少なくとも１つのインプラントの位置を決定するステップと；患者の骨盤の一部の２Ｄ又は３Ｄモデルの座標系に対する決定された位置において、１つ又は複数の手術用ツール及び少なくとも１つのインプラントのホログラムを提示するためのファイルを生成するステップと；患者の骨盤の一部の２Ｄ又は３Ｄモデルの座標系と整合および追跡デバイスの座標系との間の変換行列を生成するステップと；ファイルを拡張現実（ＡＲ）ヘッドマウントデバイス（ＨＭＤ）にエクスポートするステップとを含む、コンピュータ実施方法。
態様９：コンピュータ実施方法は、患者の骨盤の一部にドッキングされた際の整合および追跡デバイスを認識し、当該認識が整合および追跡デバイスの位置を追跡することを含むステップと；患者の骨盤の座標系に対して決定された位置で１つ又は複数の手術用ツール及び少なくとも１つのインプラントのホログラムを提示するためのファイルを受け取るステップと；整合および追跡デバイスの座標系に対するホログラムの向き及び位置を決定する変換行列を受け取るステップと；決定された位置で固定されたホログラムを提示するために変換行列を利用するステップとを含む、コンピュータ実施方法。
態様１０：整合および追跡デバイスは、所定の固定形状を有するハブ、及びハブから延びる３つの脚を含み、３つの脚は、整合および追跡デバイスを患者の骨盤の一部にドッキングするように構成され、整合および追跡デバイスを認識することは、整合および追跡デバイスのハブを認識することを含む、態様９に記載のコンピュータ実施方法。
態様１１：整合および追跡デバイスは、表面を有する三次元（３Ｄ）形状を含み、１つ又は複数のマーキングが３Ｄ形状の表面上に配置され、整合および追跡デバイスを認識することは、整合および追跡デバイスの３Ｄ形状の表面上の１つ又は複数のマーキングを認識することを含む、態様９又は１０に記載のコンピュータ実施方法。
態様１２：１つ又は複数のマーキングが、１つ又は複数のクイックレスポンス（ＱＲ）コード又はチェッカーボードのパターンである、態様９、１０又は１１の何れか１つに記載のコンピュータ実施方法。
態様１３：患者の膝の二次元（２Ｄ）又は三次元（３Ｄ）モデルを提示し；患者の膝の座標系を確立し；患者の膝の座標系に対して患者の膝に対する１つ又は複数の切断面の位置を決定し；患者の膝の座標系に対して患者の膝用の少なくとも１つのインプラントの位置を決定し；患者の膝の２Ｄ又は３Ｄモデル、患者の膝に対する１つ又は複数の切断面、及び患者の膝用の少なくとも１つのインプラントの２つ以上の組み合わせからなる複数のホログラムが作成され得る１つ又は複数のファイルを生成するように構成されたコンピュータベースの外科手術計画システムと；拡張現実（ＡＲ）ヘッドマウントデバイス（ＨＭＤ）とを含み、ＡＲ・ＨＭＤが、患者の膝の少なくとも一部を認識するように構成された少なくとも１つのセンサであって、当該認識することが患者の膝の少なくとも一部を追跡する事を含む、少なくとも１つのセンサと；複数のホログラムを提示するように構成された１つ又は複数のプロジェクタと；患者の膝の座標系に基づいて空間内に複数のホログラムを固定するナビゲーションシステムとを含む、システム。
態様１４：ＡＲ・ＨＭＤの少なくとも１つのセンサによって認識される患者の膝の少なくとも一部は、外科的処置中に露わにされた大腿骨の一部、又は外科的処置中に露わにされた脛骨の一部である、態様１３に記載のシステム。
態様１５：ＡＲ・ＨＭＤのナビゲーションシステムは、患者の膝の少なくとも一部を認識することに基づいて、患者の膝の少なくとも一部を位置合わせし、患者の膝の少なくとも一部の位置合わせを患者の膝に固定されたトラッカーに伝達する、態様１３又は１４に記載のシステム。
態様１６：１つ又は複数の切断面は、前部切断面、前部面取り切断面、後部切断面、及び後部面取り切断面を含む、態様１３、１４又は１５の何れか１つに記載のシステム。
態様１７：整合および追跡デバイスであって、整合及び追跡デバイスを解剖的構造の一部にドッキングするように構成された３つの脚または表面と；ハブと；特定の患者に対して３つの脚の間の間隔を調整するためにハブから伸長可能な２つのアームと；表面を有する三次元（３Ｄ）形状とを含み、当該３Ｄ形状は、座標系を整合および追跡デバイスと関連付けるための１つ又は複数のマーキングを３Ｄ形状の表面上に有する、整合および追跡デバイス。
態様１８：３Ｄ形状の表面上の１つ又は複数のマーキングは、１つ又は複数のクイックレスポンス（ＱＲ）コード又はチェッカーボードのパターンである、態様１７に記載の整合および追跡デバイス。
態様１９：１つ又は複数の患者の歯に取り付けられた歯科用モールドを含む患者の下顎および／または上顎の少なくとも一部の二次元（２Ｄ）又は三次元（３Ｄ）モデルを提示し、当該歯科用モールドがトラッカーの所定位置を画定する要素を含み；トラッカーの座標系を確立し；少なくとも１つの歯科用インプラントの位置を、トラッカーの座標系に対して患者の下顎および／または上顎の一部において決定し；患者の下顎および／または上顎の一部の２Ｄ又は３Ｄモデル、及び少なくとも１つの歯科用インプラントの１つ又は複数のホログラムが作成され得る１つ又は複数のファイルを生成するように構成されたコンピュータベースの手術計画システムと；拡張現実（ＡＲ）ヘッドマウントデバイス（ＨＭＤ）とを含み、ＡＲ・ＨＭＤは、１つ又は複数の患者の歯に取り付けられた歯科用モールドに取り付けられたトラッカーを認識するように構成された少なくとも１つのセンサと；１つ又は複数のホログラムを提示するように構成された１つ又は複数のプロジェクタと；トラッカーの座標系に基づいて空間内に１つ又は複数のホログラムを固定するナビゲーションシステムとを含む、システム。
態様２０：トラッカーの所定位置を画定する要素は、トラッカー；、トラッカーの支持体；トラッカーの取り付け機構；又は歯科用モールドに組み込まれた情報である、態様１９に記載されたシステム。
態様２１：トラッカーは、動的基準ベース、１つ又は複数のクイックレスポンスコード、認識可能な画像、又は認識可能な物体のうちの少なくとも１つである、態様１９又は２０に記載のシステム。

【0256】

実施形態の上記の説明は、例示および説明を提供することが意図されているが、網羅的にする又は本開示を開示された全く同一の形態に限定することは意図されていない。上記の教示に鑑みて、変更および変形は、可能であり、又は本開示の実施から得られることができる。例えば、一連の動作が流れ図に関して上述されたが、動作の順序は、他の具現化形態において変更され得る。更に、動作、操作、及びステップは、他のモジュール又はエンティティを形成するために組み合わされ得る又は分離され得る追加または他のモジュール又はエンティティにより実行され得る。更に、非依存の動作は、並行して実行され得る。

【0257】

更に、本開示の特定の実施形態は、１つ又は複数の機能を実行するロジックとして実現され得る。このロジックは、ハードウェアベース、ソフトウェアベース、又はハードウェアベースとソフトウェアベースの組み合わせであることができる。ロジックの幾つか又は全ては、１つ又は複数の有形の持続性コンピュータ可読記憶媒体に格納されることができ、コンピュータ又はデータ処理システムにより実行され得るコンピュータ実行可能命令を含むことができる。コンピュータ実行可能命令は、本開示の１つ又は複数の実施形態を実施する命令を含むことができる。有形の持続性コンピュータ可読記憶媒体は、揮発性または不揮発性であることができ、例えば、フラッシュメモリ、ダイナミックメモリ、リムーバブルディスク、及び非リムーバブルディスクを含むことができる。

【0258】

本明細書で使用される要素、動作（行為）、又は命令は、明示的にそのようなものとして説明されない限り、本開示に対して不可欠または必須として解釈されるべきである。また、本明細書で使用される限り、冠詞「ａ」は、１つ又は複数の要素を含むことが意図されている。１つのみの要素が意図される場合、用語「１つ」又は類似の言語が使用される。更に、語句「基づいて」は、特に明示的に明記しない限り、「少なくとも部分的に基づいて」を意味することが意図されている。

【0259】

上記の説明は、本開示の特定の実施形態に向けられている。しかしながら、明らかなように、他の変更および変形が、説明された実施形態の利点の幾つか又は全ての達成と共に、説明された実施形態に対して行われることができる。従って、添付の特許請求の範囲の目的は、本開示の真の思想および範囲内に入るような全ての係る変更および変形を網羅することである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図56】

【図57】