知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-06
(45)【発行日】2022-12-14
(54)【発明の名称】手術ナビゲーションシステム
(51)【国際特許分類】
A61B 34/20 20160101AFI20221207BHJP
【ＦＩ】
A61B34/20
【請求項の数】
12
(21)【出願番号】P 2020512103
(86)(22)【出願日】2018-05-04
(65)【公表番号】
(43)【公表日】2020-06-25
(86)【国際出願番号】 IB2018053130
(87)【国際公開番号】W WO2018203304
(87)【国際公開日】2018-11-08
【審査請求日】2021-04-26
(31)【優先権主張番号】17169700.6
(32)【優先日】2017-05-05
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】519273267
【氏名又は名称】ストライカー・ユーロピアン・オペレーションズ・リミテッド
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100180231
【弁理士】
【氏名又は名称】水島 亜希子
(72)【発明者】
【氏名】ウズベク，クリストファー
(72)【発明者】
【氏名】ヴィンネ，クリスティアン
(72)【発明者】
【氏名】コスメッキ，バルトシュ
【審査官】北村 龍平
(56)【参考文献】
【文献】特表２０１６－５２９９９９（ＪＰ，Ａ）
【文献】国際公開第２０１６／２０７６２８（ＷＯ，Ａ１）
【文献】欧州特許出願公開第０１８４４７２６（ＥＰ，Ａ２）
【文献】特表２０１４－５２４７５３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／００ － ３４／３７
(57)【特許請求の範囲】
【請求項1】
レンズを有するヘッドマウントディスプレイと、追跡ユニットと、
患者データに整合され、かつ前記追跡ユニットによって追跡可能な患者トラッカと、
前記追跡ユニットによって追跡可能な器具トラッカを有する手術器具であって、器具軸を規定する手術器具と、
拡張現実位置アライメント可視化表示を、前記ヘッドマウントディスプレイの前記レンズ上に表示するように、目標軌道軸上の目標点から前記手術器具上の点までの距離ベクトルの分解からなる２つの軸平行偏差ベクトルとして生成する構成であるコントローラと、
を備え、
前記２つの軸平行偏差ベクトルの一方が基準座標系の第１の軸と平行であり、
前記２つの軸平行偏差ベクトルの他方が基準座標系の第２の軸と平行である、手術ナビゲーションシステム。
【請求項2】
前記コントローラが、前記レンズ上に表示される前記２つの軸平行偏差ベクトルを伸縮するように構成される、請求項１に記載の手術ナビゲーションシステム。
【請求項3】
前記コントローラが、前記レンズ上に表示するように、拡張現実角度アライメント可視化表示を生成する構成であり、
前記拡張現実角度アライメント可視化表示が、下記（ｉ）及び（ｉｉ）の少なくとも一方からなる、請求項１又は請求項２に記載の手術ナビゲーションシステム。
（ｉ）前記器具軸に対して平行な軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角。
（ｉｉ）前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度における２つの偏差角への分解。
【請求項4】
前記拡張現実位置アライメント可視化表示が第１の色を含み、前記拡張現実角度アライメント可視化表示が、前記第１の色から区別可能である異なる色を含む、請求項３に記載の手術ナビゲーションシステム。
【請求項5】
手術ナビゲーションシステム、前記手術ナビゲーションシステムの追跡ユニットによって追跡可能な患者トラッカ、及び、前記手術ナビゲーションシステムの前記追跡ユニットによって追跡可能な器具トラッカを有する手術器具であって器具軸を少なくとも部分的に規定する手術器具、と共に使用するヘッドマウントディスプレイシステムであって、レンズと、
前記レンズ上にて、拡張現実位置アライメント可視化表示を、目標軌道軸上の目標点から前記手術器具までの距離ベクトルの分解からなる２つの軸平行偏差ベクトルとして表示するように構成されるコントローラと、
を備え、
前記２つの軸平行偏差ベクトルの一方が基準座標系の第１の軸と平行であり、
前記２つの軸平行偏差ベクトルの他方が基準座標系の第２の軸と平行である、ヘッドマウントディスプレイシステム。
【請求項6】
前記コントローラが、前記レンズ上に拡張現実角度アライメント可視化表示を生成するように構成され、
前記拡張現実角度アライメント可視化表示が、下記（ｉ）及び（ｉｉ）の少なくとも一方からなる、請求項５に記載のヘッドマウントディスプレイシステム。
（ｉ）前記器具軸に対して平行な軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角。
（ｉｉ）前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度における２つの偏差角への分解。
【請求項7】
前記拡張現実位置アライメント可視化表示が第１の色を含み、前記拡張現実角度アライメント可視化表示が、前記第１の色から区別可能である異なる色を含む、請求項６に記載のヘッドマウントディスプレイシステム。
【請求項8】
手術ナビゲーションシステムのヘッドマウントディスプレイシステムと、先端を有し、かつ目標軌道軸を含む手術計画を考慮して器具軸を少なくとも部分的に規定する手術器具とを用いて、手術ナビゲーション情報を表示する方法であって、ヘッドマウントディスプレイ上に２つの軸平行偏差ベクトルを含む拡張現実位置アライメント可視化表示を表示することであって、前記２つの軸平行偏差ベクトルが、第１の偏差ベクトル及び第２の偏差ベクトルからなり、前記第１の偏差ベクトル及び前記第２の偏差ベクトルが、前記目標軌道軸上の点から前記手術器具の前記先端までの距離ベクトルの分解を表す、表示することと、
前記ヘッドマウントディスプレイの視点から、前記目標軌道軸に対する前記手術器具の相対的な場所を示すために、前記ヘッドマウントディスプレイ上に表示された前記拡張現実位置アライメント可視化表示を更新することと、
を含み、
前記第１の偏差ベクトルが基準座標系の第１の軸と平行であり、
前記第２の偏差ベクトルが基準座標系の第２の軸と平行である、方法。
【請求項9】
前記手術器具の前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を示す偏差角からなる拡張現実角度アライメント可視化表示を表示することをさらに含む、請求項８に記載の方法。
【請求項10】
前記ヘッドマウントディスプレイの視点から、前記目標軌道軸に対する前記手術器具の前記器具軸の角度を示すために、前記拡張現実角度アライメントを更新することをさらに含む、請求項９に記載の方法。
【請求項11】
前記拡張現実位置アライメント可視化表示及び前記拡張現実角度アライメント可視化表示の一方を表示するために第１の色を使用し、前記拡張現実位置アライメント可視化表示及び前記拡張現実角度アライメント可視化表示の他方のために前記第１の色とは異なる色を使用することをさらに含む、請求項９又は請求項１０に記載の方法。
【請求項12】
前記目標軌道軸に対する前記手術器具の距離に基づいて、前記拡張現実位置アライメント可視化表示及び／又は前記拡張現実角度アライメント可視化表示をユーザに対してハイライト表示することをさらに含む、請求項９～請求項１１のいずれか１つに記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願］
本出願は、２０１７年５月５日に出願された欧州特許出願第１７１６９７００．６号の優先権及び利益を主張しており、その内容全体を引用することにより本明細書の一部を成すものとする。
本出願は、２０１７年５月５日に出願された欧州特許出願第１７１６９７００．６号の優先権及び利益を主張しており、その内容全体を引用することにより本明細書の一部を成すものとする。
【0002】
［技術分野］
本開示は、概して、外科的処置をサポートする手術ナビゲーションシステムに関する。より詳細には、本開示は、限定するものではないが、概して、ホログラフィック手術ナビゲーションシステムに関する。
本開示は、概して、外科的処置をサポートする手術ナビゲーションシステムに関する。より詳細には、本開示は、限定するものではないが、概して、ホログラフィック手術ナビゲーションシステムに関する。
【背景技術】
【0003】
手術ナビゲーションシステムを含むコンピュータ支援手術が、医療分野において増える傾向にある。手術ナビゲーションシステムは、手術前画像及び／又は患者データと組み合わせて、医療手技を行うに当たって外科医をサポートするために、外科的処置中に利用される場合がある。そのため、脊椎、関節、及び／又は神経手術等の観血的であるが、侵襲が少ない外科的処置のために画像誘導手術ナビゲーションシステムが使用される。このような手術ナビゲーションシステムの目的は、外科医によって使用される手術器具の位置を特定することにあり、このような位置は、手術前画像及び／又は患者の人体構造に対応する患者データにおいて図解又は可視化することができる。患者に対する手術器具の正確な空間表現を与えるために、患者及び／又は手術器具の位置及び／又は向き（すなわち、姿勢）（いわゆる、ナビゲーションデータ）を連続的に検出する必要がある。
【0004】
また、手術ナビゲーションシステムは、脊椎手術との関連において複数の椎骨を固定する椎弓根スクリューの位置及びアライメント（alignment）等のような医療デバイス又は埋込物の位置及び／又はアライメントを外科医に対して可視化することもできる。手術中に、手術ナビゲーションシステムは、外科医に可視化表示を提供することができ、外科医が、患者の画像又は視覚化表示上に厳密に投影される手術器具及び／又は医療デバイス／埋込物の位置のオーバーレイを確認できるようにする。
【0005】
既存の解決策を考慮するとき、既知の手術ナビゲーションの解決策は、手術ナビゲーションシステムの誘導及び手術器具のアライメントに対して十分に対処していないことに留意されたい。既存の解決策のさらなる不都合は、視覚化表示が手術部位から切り離されて、外科医の注意が反れるのを余儀なくされることにある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
よって、これらの不都合に対処する新規の手術ナビゲーションシステムが必要とされている。
【課題を解決するための手段】
【0007】
手術器具を位置合わせする手術ナビゲーションシステム及び方法の例示的な構成において、手術ナビゲーションシステムは、医療処置中に拡張現実可視化表示を提供するように構成することができる。概して、手術ナビゲーションシステムは、追跡ユニットを備えることができる。追跡ユニットは１つ以上の位置センサを備えることができる。手術ナビゲーションシステムは、ヘッドマウントディスプレイと、患者トラッカ（tracker）と、手術器具とをさらに備えることができ、これらの各々が、追跡ユニットの１つ以上の位置センサによって検出されるように構成される１つ以上の追跡部材又はマーカを備えることができる。追跡ユニットは、局所的な又は共通の座標系内でヘッドマウントディスプレイ、患者トラッカ、及び手術器具の位置及び／又は向き（姿勢）を連続的に追跡するように構成される。手術ナビゲーションシステムは、拡張現実可視化表示を生成し、かつヘッドマウントディスプレイのレンズ又は画面上に表示するために、ヘッドマウントディスプレイ、患者トラッカ、及び手術器具の位置及び／又は向きを患者データと整合させる（register、registration）ようにさらに構成することができる。拡張現実可視化表示は、患者データ上に重ね合わせられる手術器具及び／又は目標軌道軸を含むことができ、患者データは、患者の人体構造及び／又は目標物の手術前画像を含むことができる。目標物（複数の場合もある）は、計画された手術経路、埋込物、又は医療デバイスに関する計画された位置、及び／又は患者の人体構造の特徴を含むことができる。
【0008】
拡張現実可視化表示は、位置アライメント可視化表示及び／又は角度アライメント可視化表示を含むことができる。３Ｄ又はホログラフィック可視化表示を生成するために可視化表示が外科医の視点から実際の患者に重ね合わされるように、ナビゲーションシステムは、位置アライメント可視化表示及び／又は角度アライメント可視化表示をヘッドマウントディスプレイ上に表示するように構成することができる。
【0009】
拡張現実システムの別の例示的な構成において、拡張現実システムは、手術ナビゲーションシステムと、この手術ナビゲーションシステムによって追跡可能な患者トラッカと、上記手術ナビゲーションシステムによって追跡可能な手術器具とを備えることができる。拡張現実システムは、レンズと、拡張現実位置アライメント可視化表示を、目標軌道軸上の目標点からレンズ上の手術器具までの距離ベクトルの分解を含む２つの軸平行偏差ベクトル（axis-aligned deviation vector）として表示するように構成されるコントローラとを有するヘッドマウントディスプレイをさらに備えることができる。
【0010】
拡張現実システムのさらなる別の例示的な構成において、拡張現実システムは、レンズを含むヘッドマウントディスプレイを備えることができる。また、拡張現実システムは、手術野等の画定された場所又は座標系内に位置決めされるいくつかの物体を追跡するように構成される追跡ユニットを有する手術ナビゲーションシステムを備えることもできる。また、拡張現実システムは、患者データに整合され、かつ上記手術ナビゲーションシステムによって追跡可能な患者トラッカと、上記手術ナビゲーションシステムによって追跡可能な器具トラッカを有する手術器具とを備えることができる。器具トラッカは、手術器具の器具軸を規定するように構成することができる。また、拡張現実システムは、拡張現実位置アライメント可視化表示を、ヘッドマウントディスプレイのレンズ上に表示するように、目標軌道軸上の目標点から手術器具上の点までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして生成する構成であるコントローラを備えることができる。
【0011】
拡張現実システムのさらなる別の例示的な構成において、手術ナビゲーションシステムは、患者トラッカ及び手術器具トラッカを備えることができる。手術ナビゲーションシステムは、患者データに基づいて、手術器具の先端を目標軌道軸と位置合わせするために、目標軌道軸を計画するように構成することができる。手術ナビゲーションシステムは、ヘッドマウントディスプレイトラッカを有するヘッドマウントディスプレイをさらに備えることができ、ヘッドマウントディスプレイは、目標軌道軸上の点から手術器具の先端までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルを含む拡張現実位置アライメント可視化表示を表示するように構成される。ヘッドマウントディスプレイは、器具軸の第１の方向ベクトルと目標軌道軸の第２の方向ベクトルとの間の角度を表す偏差角を含む拡張現実角度アライメント可視化表示を表示するようにさらに構成することができる。
【0012】
手術ナビゲーション情報を表示する例示的な方法が、目標軌道軸を含む手術計画を考慮に入れて、先端を有する手術器具を含む手術ナビゲーションシステムを備えるヘッドマウントディスプレイを含むことができる。その方法は、２つの軸平行偏差ベクトルを含む拡張現実位置アライメント可視化表示をヘッドマウントディスプレイ上に表示するステップを含むことができ、この２つの軸平行偏差ベクトルは第１のベクトル及び第２のベクトルを含み、第１のベクトル及び第２のベクトルは目標軌道軸上の点から手術器具の先端までの距離ベクトルの分解を表す。その方法は、ヘッドマウントディスプレイの視点から目標軌道軸に対する手術器具の相対的な場所を示すために、ヘッドマウントディスプレイ上に表示された拡張現実位置アライメント可視化表示を更新するステップをさらに含むことができる。
【0013】
手術器具を位置合わせする別の例示的な方法が、手術ナビゲーションシステムを含むことができ、手術ナビゲーションシステムは、ヘッドマウントディスプレイの位置を追跡するように構成される追跡ユニットと、患者トラッカと、手術器具トラッカとを備える。手術ナビゲーションシステムは、患者トラッカに整合された患者データに基づいて、目標軌道軸を計画するようにさらに構成することができる。手術器具を位置合わせする方法は、ヘッドマウントディスプレイ上に、拡張現実位置アライメント可視化表示を、目標軌道軸上の点から手術器具の先端までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして表示するステップを含むことができる。その方法は、ヘッドマウントディスプレイ上に、手術器具の軸の第１の方向ベクトルと目標軌道軸の第２の方向ベクトルとの間の角度を示す偏差角を含む拡張現実角度アライメント可視化表示を表示するステップをさらに含むことができる。その方法は、ヘッドマウントディスプレイの視点から目標軌道軸に対する手術器具の相対的な場所を示すために、追跡ユニットに基づいてヘッドマウントディスプレイ上に表示された拡張現実位置アライメント可視化表示及び／又は拡張現実角度アライメント可視化表示を絶えず更新するステップをさらに含むことができる。
【0014】
ここで提案される装置及び方法の利点は、医療処置をより効果的に、より安全に、そしてより正確にすることにある。
【0015】
本開示の利点は、添付の図面に関連して検討されるときに、以下の詳細な説明を参照することによりさらに深く理解されるので、容易に理解されよう。
【図面の簡単な説明】
【0016】
【図1A】ヘッドマウントディスプレイ及び手術追跡ユニットを備える手術ナビゲーションシステムの第１の構成を使用する外科医の斜視図である。
【図3】レンズ上に投影される拡張現実可視化表示が、仮想線で示される人体構造上に重ね合わせられる仮想画像を含む、図１Ａのヘッドマウントディスプレイのレンズ上に投影される拡張現実可視化表示の第１の構成の概略図である。
【図4】レンズ上に投影される拡張現実可視化表示が、仮想線で示される人体構造上に重ね合わせられる仮想画像を含む、図１Ａのヘッドマウントディスプレイのレンズ上に投影される拡張現実可視化表示の第２の構成の概略図である。
【図5】手術器具を含む、手術手技中にヘッドマウントディスプレイ上に描画されるような、例示的な拡張現実可視化表示の拡大図である。
【図6】患者トラッカ及び手術前画像のスライス部分を含む、手術手技中にヘッドマウントディスプレイ上でユーザによって観察されるような、第２の例示的な拡張現実可視化表示の拡大図である。
【発明を実施するための形態】
【0017】
図１Ａ及び図１Ｂは、手術ナビゲーションシステム２０の例示的な構成を示し、そのシステムは、追跡ユニット１０と、ヘッドマウントディスプレイ３０とを備えることができる。手術ナビゲーションシステム２０は、複数椎骨固定の一部として椎弓根スクリューを挿入すること、又は脳腫瘍を除去すること等のような医療手技を実行する際に外科医を支援するために、外科医によって利用される場合がある。
【0018】
手術ナビゲーションシステム２０は、１つ以上のユーザ入力Ｉ及び１つ以上のディスプレイ２２を含むナビゲーションインターフェースを備えることができる。ユーザ入力Ｉは、外科医が患者データを入力又は記入できるように構成することができる。患者データは、患者の人体構造の手術前画像等の患者画像を含むことができる。これらの画像は、患者の人体構造のＭＲＩスキャン、放射線スキャン、又はコンピュータ断層撮影（ＣＴ）スキャンに基づくことができる。また、患者データは、実行される医療手技のタイプ、患者の人体構造の特徴、患者の特定の病状、及び／又は手術ナビゲーション設定のための動作設定に関連する付加情報を含むこともできる。例えば、脊髄手術を実行する際に、外科医は、ユーザ入力Ｉを介して、医療手技が実行されつつある特定の椎骨に関連する情報を入力することができる。また、外科医は、椎骨、及び／又は医療手技中に挿入されることになる医療デバイス又は埋込物の大きさ及び形状に関連する種々の解剖学的寸法を入力することもできる。
【0019】
手術ナビゲーションシステム２０のディスプレイ２２は、種々のプロンプト又はデータエントリボックスを表示するように構成することができる。例えば、ディスプレイ２２は、実行されることになる手術手技のタイプを外科医が手動で入力又は選択できるようにするテキストボックス又はプロンプトを表示するように構成することができる。また、ディスプレイ２２は、手術前画像又はスキャン等の患者データを表示するように構成することができる。上記のように、手術前画像は、患者の人体構造のＭＲＩスキャン、放射線スキャン、又はコンピュータ断層撮影（ＣＴ）スキャンに基づくことができる。手術前画像は、手術ナビゲーションシステムにアップロードし、ディスプレイ２２上に表示することができる。ディスプレイ２２は、患者データ又は画像上に重ね合わせられる医療手技に関する手術計画を表示するようにさらに構成することができる。手術計画は、医療手技を実行するための手術経路、又は医療処置中に医療器具に関して計画された軌道若しくは向きを含むことができる。また、手術計画は、医療手技中に挿入されることになる埋込物又は医療デバイスの位置及び／又は向きを患者データ又は画像上に重ね合わせることを含むことができる。
【0020】
手術ナビゲーションシステム２０はナビゲーションコントローラ８０をさらに備えることができる。ナビゲーションコントローラ８０は、パーソナルコンピュータ又はラップトップコンピュータとすることができる。ナビゲーションコントローラ８０は、ユーザ入力Ｉ、ディスプレイ２２、中央処理ユニット（ＣＰＵ）及び／又は他のプロセッサ、メモリ（図示せず）、及び記憶装置（図示せず）と通信することができる。ナビゲーションコントローラ８０は、手術ナビゲーションシステム２０の動作に関連するソフトウェア及び／又は動作命令をさらに含むことができる。ソフトウェア及び／又は動作命令は、患者６０との関連において手術器具５０の正確な位置及び／又は角度アライメントを見つけるように構成される計画システムを含むことができる。ナビゲーションコントローラ８０は、ヘッドマウントディスプレイと有線又はワイヤレス通信することができる。したがって、ヘッドマウントディスプレイ３０は、ワイヤレス又は有線送受信機を備えることができる。
【0021】
手術ナビゲーションシステム２０は、追跡ユニット１０をさらに備えることができる。追跡ユニット１０は、追跡システム又はカメラユニットと呼ばれる場合もある。追跡ユニット１０は、１つ以上の位置センサ１４を収容する外部ケーシングを含むハウジング１２を備えることができる。位置センサは、電荷結合素子（ＣＣＤ）カメラ、ＣＭＯＳカメラ、及び／又は光学画像カメラ等のカメラ、電磁センサ、磁気抵抗センサ、無線周波数センサ、又はナビゲーションマーカの位置を十分に検知するように構成される任意の他のセンサを含むことができる。いくつかの構成において、少なくとも２つの位置センサ１４が利用される場合があり、好ましくは、３個又は４個の位置センサが利用される。例えば、位置センサ１４は個別のＣＣＤとすることができる。１つの構成では、３個の１次元ＣＣＤが利用される。２次元又は３次元センサを利用することもできる。他の構成では、それぞれが個別のＣＣＤを、又は２つ以上のＣＣＤを備える個別の追跡ユニット１０を、手術室を囲むように配置することもできる。ＣＣＤは、赤外線（ＩＲ）信号等の光信号を検出する。
【0022】
追跡ユニット１０のハウジング１２は、位置センサ（複数の場合もある）１４を位置決めし直すことができるように、調整可能なスタンド又はアーム上に取り付けることができる。理想的には障害物がない手術野の最適な視界を与えるために、例えば、調整可能なスタンド又はアームは、位置センサ（複数の場合もある）１４を位置決めし直すことができるように構成することができる。
【0023】
追跡ユニット１０は、光センサ１４等の位置センサ１４と通信し、光センサ１４から信号を受信するように構成されるセンサコントローラ（図示せず）を備えることができる。センサコントローラは、有線接続及び／又はワイヤレス接続のいずれかを通して、ナビゲーションコントローラ８０と通信することができる。１つのそのような接続は、高速通信及びアイソクロナスリアルタイムデータ転送用のシリアルバスインターフェース規格である、ＲＳ－２３２通信規格又はＩＥＥＥ１３９４インターフェースとすることができる。また、接続は、企業特有プロトコル、ＵＤＰ又はＴＣＰ等のネットワークプロトコルを使用することもできる。他の実施形態では、光センサ１４は、ナビゲーションコントローラ８０と直接通信するように構成することができる。
【0024】
ナビゲーションコントローラ８０を介して手術ナビゲーションシステム２０と通信する追跡ユニット１０を用いて、ヘッドマウントディスプレイ３０、手術器具５０、及び患者６０又は対象領域６２の相対位置を特定することができる。ヘッドマウントディスプレイ３０、１つ以上の手術器具５０、及び患者６０の相対位置を利用するとき、手術ナビゲーションシステム２０のナビゲーションコントローラ８０は、それにより、拡張現実（ＡＲ）可視化表示を計算することができ、それは、患者６０及びヘッドマウントディスプレイ３０に整合させて、ヘッドマウントディスプレイ３０内に表示することができる。
【0025】
手術器具５０は、追跡ユニット１０の位置センサ１４によって検出可能であるように構成される１つ以上の器具マーカ５２を備えることができる。手術器具５０は、光信号を位置センサ（複数の場合もある）１４に送信する（例えば、追跡ユニット１０から放出される光を反射する）受動追跡要素又は器具マーカ５２（例えば、反射体）を備えるように構成することができる。代替的には、器具マーカ５２は、位置センサ（複数の場合もある）１４によって識別され、追跡可能である放射線不透過性（radio opaque）材料を含むことができる。他の構成では、能動追跡マーカを利用することができる。能動追跡マーカは、例えば、赤外光等の光を送信する発光ダイオードとすることができる。能動構成及び受動構成が可能である。手術ナビゲーションシステム２０が手術器具５０の位置及び向き（姿勢）を特定できるようにするために、器具マーカ５２は他の器具マーカ５２に対する規定された又は既に知られた位置及び向きに配置することができる。手術ナビゲーションシステム２０が手術野等のような画定された空間内の手術器具５０の先端５４又は器具部分の位置及び／又は向きを特定できるようにするために、例えば、器具マーカ５２は手術器具５０に整合させることができる。
【0026】
手術ナビゲーションシステム２０は患者トラッカ４０をさらに備えることができ、患者トラッカ４０は、手術野等の空間内の患者６０の位置を特定するように構成することができる。患者トラッカ４０は、患者トラッカ４０を患者６０に固定するように構成される取付部材４４を備えることができる。取付部材４４は、クランプ、接着剤、ストラップ、ねじ式取付具、又は他の類似の取付デバイスを含むことができる。例えば、取付部材４４は、患者６０に固定されるように構成されるクランプを含むことができる。これは、クランプを利用して、患者６０の対象領域６２の近位の椎骨に患者トラッカ４０を固定することを含むことができる。これは、追跡ユニット１０が、脊髄手術中に患者の脊椎の位置及び／又は向きを特定できるようにする場合がある。代替的な取付部材４４はストラップを含むことができ、ストラップは、患者の頭部を取り囲み、患者トラッカを患者の頭部に固定するように構成される。これは、追跡システムが、神経系外科手術中に患者の頭部の位置及び／又は向きを特定できるようにする場合がある。
【0027】
患者トラッカ４０は、追跡ユニット１０の位置センサ１４によって検出可能であるように構成される１つ以上の患者マーカ４２をさらに備えることができる。患者トラッカ４０は、光信号を位置センサ（複数の場合もある）１４に送信する（例えば、追跡ユニット１０から放出される光を反射する）受動追跡要素又は患者マーカ４２（例えば、反射体）を備えるように構成することができる。代替的には、患者マーカ４２は、位置センサ（複数の場合もある）１４によって識別され、追跡可能である放射線不透過性材料を含むことができる。手術ナビゲーションシステム２０が患者６０及び／又は対象領域６２の位置及び向き（姿勢）を特定できるようにするために、患者マーカ４２は他の患者マーカ４２に対する規定された又は既に知られた位置及び向きに配置することができる。他の構成では、能動追跡マーカを利用することができる。能動マーカは、例えば、赤外光等の光を送信する発光ダイオードとすることができる。能動構成及び受動構成が可能である。手術ナビゲーションシステム２０が患者６０及び／又は対象領域６２の位置及び向き（姿勢）を特定できるようにするために、患者マーカ４２は、他の患者マーカ４２に対する規定された又は既に知られた位置及び向きに配置することができる。
【0028】
図１Ａ及び図１Ｂを参照すると、手術前、手術中、及び／又は手術後に可視化表示を向上させるために、ディスプレイ（複数の場合もある）２２の１つ以上に加えて、又はその代わりとして、ヘッドマウントディスプレイ（ＨＭＤ）３０を利用することができる。ＨＭＤ３０は、ディスプレイ（複数の場合もある）２２上に可視化されるように説明される同じ物体を可視化するために使用することができ、他の物体、特徴、命令、警告等を可視化するために使用することもできる。ＨＭＤ３０を用いて、医療手技に関連する目標物の位置を特定し、及び／又は可視化するのを支援することができる。また、ＨＭＤ３０を用いて、以下にさらに説明されるように、数ある用途の中でも、命令及び／又は警告を可視化することができる。
【0029】
ＨＭＤ３０は、Microsoft Corporation社によって提供されるＨＯＬＯＬＥＮＳ（登録商標）とすることができ、それは拡張現実可視化表示又はコンピュータ生成画像を現実世界に重ね合わせられることに起因して、複合現実又は拡張現実ＨＭＤと呼ばれる。拡張現実への任意の参照が複合現実を含むことは理解されたい。したがって、本明細書において説明される構成において、ＨＭＤ３０は計算ホログラフィックディスプレイを提供する。現実世界のビデオ画像上にコンピュータ生成画像を重ね合わせるＨＭＤ等のような他のタイプの複合／拡張現実ＨＭＤを使用することもできる。ＨＭＤ３０は、陰極線管ディスプレイ、液晶ディスプレイ、液晶オンシリコンディスプレイ、又は有機発光ダイオードディスプレイを含むことができる。ＨＭＤ３０は、回折導波路、ホログラフィック導波路、偏光導波路、反射導波路、又は切替可能導波路を含むシースルー技法であって、本明細書において説明されるようなシースルー技法を含むことができる。
【0030】
ＨＭＤ３０はヘッドマウント型構造体３２を備え、それは眼鏡の形をとることができ、ＨＭＤ３０をユーザの頭部に保持する付加的なヘッドバンド３８又は支持体を備えることができる。他の実施形態では、ＨＭＤ３０は、ヘルメット、又はユーザの頭、首、及び／若しくは肩に装着される他の構造体に組み込むことができる。
【0031】
ＨＭＤ３０は、バイザー３２と、レンズ／導波路３６構成体とを有する。レンズ／導波路３６の構成体は、ＨＭＤ３０がユーザの頭部に配置されるときに、ユーザの両目の前方に配置されるように構成される。導波路は、拡張現実可視化表示又は画像（コンピュータ生成画像、仮想画像、又はホログラフィック画像とも呼ばれる）をユーザの両目に送信し、その一方で、ユーザが現実物体及び仮想物体の両方を含む複合現実又は拡張現実を見るように、同時にレンズ／導波路３６（透明である）を通して現実画像を見ることができるようにする。
【0032】
図１Ｂを参照すると、ＨＭＤ３０は、手術ナビゲーションシステム２０のナビゲーションコントローラ８０と通信するように構成されるヘッドマウントディスプレイコントローラ（ＨＭＤコントローラ）１８０をさらに備えることができる。ＨＭＤコントローラ１８０は画像生成器を備えることができ、画像生成器は、拡張現実可視化表示を生成するように構成することができ、それらの可視化表示をレンズ／導波路３６構成体を通してユーザに送信する。ＨＭＤコントローラ１８０は、ＨＭＤ３０のレンズ／導波路３６の構成体への拡張現実可視化表示の送信を制御することができる。ＨＭＤコントローラ１８０は、ＨＭＤ３０から離れて位置する別のコンピュータとすることができる。代替的には、ＨＭＤコントローラ１８０は、ＨＭＤ３０のヘッドマウント型構造体３２に組み込むことができる。ＨＭＤコントローラ１８０は、メモリ、１つ以上のプロセッサ（例えば、マルチコアプロセッサ）、入力Ｉ、出力デバイス（ＨＭＤ３０に加えて固定ディスプレイ）、記憶能力等を備えるラップトップコンピュータ、デスクトップコンピュータ、マイクロコントローラ等とすることができる。
【0033】
ＨＭＤ３０は、追跡ユニット１０の位置センサ（複数の場合もある）１４によって検出可能であるように構成される１つ以上のヘッドマウントディスプレイマーカ又はＨＭＤマーカ３４を備える。ＨＭＤ３０は、光信号を位置センサ（複数の場合もある）１４に送信する（例えば、追跡ユニット１０から放出される光を反射する）受動追跡要素又はＨＭＤマーカ３４（例えば、反射体）を備えるように構成することができる。代替的には、ＨＭＤマーカ３４は、位置センサ（複数の場合もある）１４によって検出可能であり、追跡可能である放射線不透過性材料を含むことができる。他の構成では、能動追跡マーカを利用することができる。能動マーカは、例えば、赤外光等の光を送信する発光ダイオードとすることができる。能動構成及び受動構成が可能である。手術ナビゲーションシステム２０が手術野等の画定されたエリア内のＨＭＤ３０の位置及び向き（姿勢）を特定できるようにするために、ＨＭＤマーカ３４は他のＨＭＤマーカ３４に対する規定された又は既に知られた位置及び向きに配置することができる。
【0034】
また、ＨＭＤ３０は、ＨＭＤコントローラ１８０と通信する光学及び／又はビデオカメラ１７０を備えることができる。カメラ１７０を用いて、ＨＭＤ３０とともに写真又はビデオ画像を入手することができ、後にさらに説明されるように、それは物体又は物体に取り付けられるマーカを識別する際に役に立つ可能性がある。
【0035】
ＨＭＤ３０は、ＨＭＤコントローラ１８０と通信する慣性測定ユニット（ＩＭＵ）１７６をさらに備えることができる。ＩＭＵ１７６は、ＨＭＤ座標系内のＨＭＤ３０の位置及び／又は向きを特定するのを支援するか、又は他の座標系に対する追跡を支援する１つ以上の３Ｄ加速度計、３Ｄジャイロスコープ、及び他のセンサを備えることができる。また、ＨＭＤ３０は、ユーザからのジェスチャーコマンドを認識する赤外線運動センサを備えることができる。他のタイプのジェスチャーセンサも考えられる。ユーザのジェスチャーコマンドを判断し、それに応じて、ＨＭＤ３０、ＨＭＤコントローラ１８０、及び／又はナビゲーションコントローラ８０を制御するために、赤外線運動センサ１７８がユーザの手、指、又は他の物体を検知できるように、赤外線運動センサ１７８はＨＭＤ３０の前方に赤外光又は他の光を投光するように構成することができる。
【0036】
図１ＡはＨＭＤ３０を装着する１人の個人又は外科医のみを含むが、複数のＨＭＤ３０を手術ナビゲーションシステム２０と通信するように構成できることもさらに考えられる。例えば、手術チーム全員がＨＭＤ３０を装着することができる。ポイントオブビュー（ＰＯＶ）ビデオストリーム解析又はより簡易なコンテキストアウェアネス機構（例えば、感覚ベースフィードバック、隔離されたセンサからの入力に基づくヒューリスティックス等）を通して、ＰＯＶビデオを提供するためにビデオカメラ１７０がＨＭＤ３０に組み込まれる構成等のようないくつかの構成において、手術状況のコンピュータベースモデルが、関係者特有の複合／拡張現実支援を提供し、現在の作業が個々の関係者によって実行されるのを容易にすることができるか、又は手術手技若しくは医療手技に対する次の貢献の準備をするのを助けることができる。
【0037】
１つの構成において、医療手技のコンテキスト情報とともに、２人以上の関係者及びそのＨＭＤ３０同士をリンクすることができる。現在のＰＯＶを共有することによって、又はより本質的には、いずれかの関係者によって任意の所与の時点において対処される対象物を共有することによって、関係者をリンクすることができる。この構成の範囲内で、第１の関係者が自らの個人ＰＯＶを第２の関係者のＰＯＶに向けるのに応じて、複合／拡張現実支援の表示を通して、第１の関係者は第２の関係者の状況に関する自らの個人的評価を向上させることができる。第１の関係者が最適化の機会、又は計画された医療手技を変更する機会を実現するとき、異なる関係者又は手術環境との適切な相互交流を行うことができる。このインタラクションは、第１の関係者によって直接実行することができるか、又は複合／拡張現実支援若しくは他のコンピュータ支援補助を通して容易にすることができ、この支援は、第２の関係者の行動指針をサポートするために、自動的に生成又は第１の関係者によって作成することができる。
【0038】
図２を参照すると、ＨＭＤ３０のレンズ３６を通して、ユーザによって認知されるような対象領域６２の拡張現実可視化表示の例示的な表現が示される。図２に示されるように、患者トラッカ４０を、取付部材４４を介して患者６０に結合又は固定することができる。これにより、レンズ３６を通して視認されるような患者６０の現実部分上に画像の仮想部分を適切に重ね合わせることができるように、レンズ３６上に適切な拡張現実可視化表示を生成し、方向を合わせるために、追跡ユニット１０がＨＭＤ３０に対する患者６０及び／又は対象領域６２の位置及び／又は向きを識別できるようになる。図１Ａ及び図２には単一の患者トラッカ４０のみが示されるが、患者６０に追加の患者トラッカ４０を結合するか又は取り付けることができることもさらに考えられる。追加の患者トラッカ４０を使用することによって、患者６０及び／又は対象領域６２の複数の部分の位置及び／又は動きを追跡できるようになる場合がある。また、複数の患者トラッカ４０を使用することよって、患者６０及び／又は対象領域６２の位置及び／又は動きを追跡する精度を高めることができる。
【0039】
対象領域６２の拡張現実可視化表示は、拡張現実境界可視化表示、及び／又は拡張現実テキストラベルによる複合境界の両方を含むことができる。例えば、図２に示されるように、拡張現実境界可視化表示は、レンズ３６を通して患者６０の実際の脊椎を観察するときにユーザによって視認されるような立方体であって、ＨＭＤ３０のレンズ３６上に投影又は表示されるような個々の椎骨を包囲する立方体として示される。拡張現実境界可視化表示は、Ｌ１等の拡張現実テキストラベルによって、ＨＭＤ３０のレンズ３６上でユーザによってさらに識別される場合がある。例えば、図２に示されるように、「Ｌ１」は、拡張現実境界可視化表示によって包囲される特定の椎骨を識別するために、ＨＭＤ３０のレンズ３６上に投影される拡張現実可視化表示内に含まれる。図２には、単一の拡張現実テキストラベルのみが示されるが、ＨＭＤ３０のユーザに対してさらなる特徴又は物体をラベル付け及び／又は識別するために、複数の追加の拡張現実テキストラベルが拡張現実可視化表示の一部として含まれる場合があることは理解されたい。
【0040】
図３を参照すると、ＨＭＤ３０のレンズ３６を通してユーザによって認知されるような拡張現実可視化表示のさらなる構成が示される。図３に示される例示的な構成では、ユーザが、ＨＭＤ３０のレンズ３６を通して患者６０の頭部の一部を視認している。例えば、図３は、腫瘍を除去する等のような神経外科手技を実行している外科医によって視認される拡張現実可視化表示を表す場合がある。レンズ３６内で、仮想線で示される、すなわち、点線を使用して示されるアイテムは、ユーザによって視認される場合がある実際の特徴物を表す。これは、患者６０の頭部の一部と、切開部位すなわち対象領域６２とを含むことができる。また、ユーザは、ＨＭＤ３０のレンズ３６を通して、患者トラッカ４０、取付部材４４、及び／又は患者マーカ４２の一部を見ることができる場合がある。
【0041】
ＨＭＤ３０のユーザは、実線を用いて図３のレンズ３６内に示される、いくつかの拡張現実可視化表示を観察することもできる。１つのそのような拡張現実可視化表示は、医療手技に関連する単一の点形ランドマークを表す目標物を含むことができる。例えば、図３に示されるように、目標物１３０は、腫瘍又は臓器等のアイテムであって、医療手技中に手術されることになる患者６０内のアイテムを表すことができる。代替的には、目標物２３０は、後に詳細に論じられる医療デバイス又は埋込物であって、医療手技中に患者６０内に挿入されることになる医療デバイス又は埋込物を表すことができる。
【0042】
また、拡張現実可視化表示は、目標軌道軸２１０を含むことができる。目標軌道軸２１０は、計画された又は意図した手術経路を表すことができる。例えば、目標軌道軸２１０は、医療手技の実行中に手術器具５０を位置合わせし及び／又は挿入するための最適な又は好ましい角度又は方向を表すことができる。目標軌道軸２１０は、目標物１３０，２３０、及び対象領域６２の近位の入口点又は挿入点を接続する実線又は破線によって規定することができる。
【0043】
拡張現実可視化表示は、拡張現実ウィンドウ、インジケータ、又はテキストボックス３１０をさらに含むことができる。拡張現実ウィンドウ３１０は、ＨＭＤ３０のレンズ３６上に表示されるウィンドウを含むことができる。拡張現実ウィンドウ３１０は、手術前画像又はスキャン等の患者データを表示するように構成することができる。また、拡張現実ウィンドウ３１０は、医療手技を実行するときにユーザが知っておきたい場合があるアイテムであって、神経、臓器又は類似の要素等のような任意の不可欠なアイテムを識別することを含む、計画された手術手技の画像を表示するように構成することができる。例えば、患者６０の椎骨にスクリューを挿入するときに、その画像は、回避すべき神経末端を含むことができる。また、拡張現実ウィンドウ３１０は、医療手技に関連するテキスト又は指示を含むことができる。例えば、拡張現実ウィンドウ３１０は、患者６０の病状に特有の事実等のように、医療手技に関連する注記を含むことができる。代替的には、拡張現実ウィンドウ３１０は、患者６０、対象領域６２、目標物１３０，２３０、及び／又は目標軌道軸２１０から、手術器具５０が存在する距離に関連する情報のテキストを含むこともできる。
【0044】
また、拡張現実可視化表示は、ＨＭＤ３０のレンズ３６上に表示されることになる１つ以上の制御ボタン３２０，３２２，３２４を含むことができる。１つ以上の制御ボタン３２０，３２２，３２４は、レンズ３６上に表示される拡張現実可視化表示をユーザが操作できるように構成することができる。例えば、ユーザは、上記のように、手及び／又は顔によるジェスチャー又は動きを用いて、制御ボタン３２０，３２２，３２４のうちの１つを選択又は起動することができる。制御ボタン３２０，３２２，３２４は、レンズ３６上の拡張現実可視化表示のコントラスト、透明度、及び／又は色を調整するように構成することができる。また、制御ボタン３２０，３２２，３２４を用いて、レンズ３６上に表示される情報を操作又は拡張することもできる。例えば、制御ボタン３２０，３２２，３２４は、拡張現実ウィンドウ３１０内に表示される患者データ上でズームイン及び／又はズームアウトするように構成することができる。これは、ユーザが目標物１３０，２３０の近位のエリアをより良好に可視化できるようにするために、患者６０の手術前画像又はスキャン上でズームインすることを含むことができる。制御ボタン３２０，３２２，３２４は、患者データの画像を回転又は移動させるようにさらに構成することができる。これは、患者６０上の拡張現実可視化表示のユーザの視界を遮断するか、又は妨げるのを防ぐために、拡張現実ウィンドウ３１０がレンズ３６上に表示される位置及び／又は場所を移動させることを含むことができる。
【0045】
図４は、手術器具５０を含み、かつＨＭＤ３０のレンズ３６を通してユーザによって認知される拡張現実可視化表示の別の構成を含む。上記の例と同様に、拡張現実可視化表示は、目標軌道軸２１０、目標物１３０、拡張現実ウィンドウ３１０、及び／又は制御ボタン３２０，３２２，３２４を備えることができる。しかしながら、拡張現実可視化表示は器具軸２４０をさらに備えることができる。器具軸２４０は、手術器具５０の先端５４において開始し、手術器具５０の垂直軸に沿って先端５４から延在する線によって規定することができ、垂直線は概して手術器具５０を二等分する。例えば、図４に示されるように、器具軸２４０は、手術器具５０の先端５４において開始し、手術器具５０を二等分する縦線に対して概ね平行に延在する線によって規定される。また、器具軸５４は、手術器具５０の端部又は先端５４を越えて突き出すこともできる。
【0046】
図４に示される拡張現実可視化表示は、拡張現実位置アライメント可視化表示２２０をさらに備える。拡張現実位置アライメント可視化表示２２０は、目標軌道軸２１０上の点から手術器具５０の先端５４又は手術器具５０上の他の部分までの距離ベクトルの分解を含む、２つの軸平行偏差ベクトル２２２，２２４を含む。軸平行は、基準座標系の３つの主軸のうちの１つに平行になるように向けられる偏差ベクトル（複数の場合もある）２２２，２２４を表す線（複数の場合もある）を指すことができる。通常、第１の偏差ベクトル２２２は、基準座標系の第１の軸に平行に向けることができ、第２の偏差ベクトル２２４は、基準座標系の第２の軸に平行に向けることができる。例えば、２つの軸平行偏差ベクトル２２２，２２４は、ｘ軸に平行になるように向けられる第１の偏差ベクトル２２２を表す線、及び基準座標系のｙ軸に平行になるように向けられる第２の偏差ベクトル２２４を表す線を指すことができる。基準座標系はＨＭＤ３０、患者トラッカ４０、手術器具５０、追跡ユニット１０、ユーザの視線、又は手術野内の何らかの他の点に対して規定することができる。
【0047】
第１の偏差ベクトル２２２及び第２の偏差ベクトル２２４を表す線は、原点において交わるように構成することができ、第１の偏差ベクトル２２２及び第２の偏差ベクトル２２４は、互いに概ね垂直になるように位置決めされる。第１の偏差ベクトル２２２及び第２の偏差ベクトル２２４の原点は、目標軌道軸２１０上に、又は目標軌道軸２１０に沿って、位置決めし、及び／又は位置することができる。代替的には、第１の偏差ベクトル２２２及び第２の偏差ベクトル２２４の原点は、手術器具５０の先端５４の近位に位置決めし、及び／又は位置することができる。さらなる別の構成では、第１の偏差ベクトル２２２及び第２の偏差ベクトル２２４の原点は、拡張現実ウィンドウ３１０内に位置決めし、及び／若しくは位置することができるか、又はヘッドマウントディスプレイ３０のレンズ３６上に浮いていることができる。
【0048】
第１の偏差ベクトル２２２は、目標軌道軸２１０及び／又は目標物１３０に対する手術器具５０の先端５４の横方向及び／又は水平位置によって規定することができる。第２の偏差ベクトル２２４は、目標軌道軸２１０及び／又は目標物１３０に対する手術器具５０の先端５４の縦方向及び／又は垂直位置によって規定することができる。第１の偏差ベクトル２２２及び／又は第２の偏差ベクトル２２４の大きさ及び／又は長さは、それぞれの偏差ベクトル２２２又は２２４の方向における目標軌道軸２１０に対する手術器具５０の距離又は偏差を示すことができる。例えば、第１の偏差ベクトル２２２又は第２の偏差ベクトル２２４を表す線が長いほど、手術器具５０が目標軌道軸２１０から離れて位置決めされている場合がある。代替的には、第１の偏差ベクトル２２２又は第２の偏差ベクトル２２４を表す線が短いほど、手術器具５０が目標軌道軸２１０から近くに位置決めされている。また、第１の偏差ベクトル２２２又は第２の偏差ベクトル２２４を表す線の欠如は、手術器具５０が不在の偏差ベクトル２２２，２２４に対応する方向において適切に位置決めされている、及び／又は位置合わせされていることを示すと考えられる。２つの軸平行偏差ベクトル２２２，２２４は、ユーザが目標軌道軸２１０及び／又は目標物１３０に対して手術器具５０を正確に位置決めし、及び／又は位置合わせするのを助けることができる。例えば、拡張現実位置アライメント可視化表示２２０を構成する２つの軸平行偏差ベクトル２２２，２２４は、目標軌道軸２１０に対する手術器具５０の相対的な場所をユーザに知らせるように構成される。
【0049】
拡張現実可視化表示における種々の構成の各々にて、拡張現実可視化表示は、ユーザがさらなる細部を確認できるように拡大することができる。また、拡大することにより、ユーザがより小さな偏差を確認できるようになる場合がある。図４を参照すると、拡張現実位置アライメント可視化表示２２０の２つの軸平行偏差ベクトル２２２，２２４は、ユーザがより小さな偏差を確認できるように、その大きさを決定し、及び／又は伸長することができる。例えば、第１の偏差ベクトル２２２及び／又は第２の偏差ベクトル２２４の長さはＫ倍だけ伸長することができ、目標軌道軸２１０と手術器具５０の先端５４との間の２ミリメートルの小さな偏差を、レンズ３６上に表示される第１の偏差ベクトル２２２及び／又は第２の偏差ベクトル２２４を表す１インチ長の線によって表すことができる。
【0050】
別の例において、図４に示される２つの軸平行偏差ベクトル２２２，２２４への距離ベクトルの分解は、目標軌道軸２１０に対して最も大きな角度を成す３つの主患者軸のうちの２つから、又は、目標軌道軸２１０に対して垂直な平面上に投影され、かつ手術器具５４の先端５４から目標軌道軸２１０上の最も近い点に結合される視線軸、及び投影される視線軸に対する同じ平面内の垂直ベクトルから導出される２つの固有ベクトルに基づいて行うことができる。拡張現実位置アライメント可視化表示２２０を構成する２つの軸平行偏差ベクトルへの距離ベクトルの分解は、２つの固有ベクトルに基づいて計算することができる。例えば、２つの固有ベクトルは、目標軌道軸２１０に対して最も大きな角度を成す患者座標系の３つの主患者軸のうちの２つに基づくことができる。患者座標系の主患者軸は、患者トラッカ４０に以前に整合された３Ｄ画像データセット等の患者データから導出することができる。代替的には、２つの固有ベクトルは、外科医のための拡張現実位置アライメント可視化表示２２０の一部として第１の偏差ベクトル２２２及び／又は第２の偏差ベクトル２２４の識別性を高めることを意図して、ユーザの視線によって規定される基準座標系に基づくことができる。これは、ユーザの視認方向が目標軌道軸２１０に対して概ね垂直である場合に役に立つ場合がある。基準座標系は、目標軌道軸２１０に対して垂直であり、手術器具５０の先端５４から目標軌道軸２１０上の最も近い点に結合される平面、及び外科医の視線から導出することができる。また、２つの固有ベクトルが、患者座標系の主患者軸と、ユーザの視線によって規定される基準座標系との両方の組み合わせに基づくことができることも考えられる。
【0051】
１つの構成において、手術器具５０と目標軌道軸２１０との間の距離は、目標物１３０，２３０と目標軌道軸２１０の入口点とを接続する線分と、目標物１３０，２３０と目標軌道軸２１０の入口点とを接続する線と、目標物１３０，２３０又は目標軌道軸２１０の入口点とからなる群から選択される少なくとも１つの場所への手術器具５０の先端５４の距離に基づいて計算される。
【0052】
図５を参照すると、ＨＭＤ３０のレンズ３６越しに見ているユーザの視点からの拡張現実可視化表示の別の構成が示される。図４に関して上記のように、拡張現実可視化表示は、拡張現実位置アライメント可視化表示２２０を含むことができる。また、拡張現実可視化表示は、拡張現実角度アライメント可視化表示２００を含むことができる。拡張現実角度アライメント可視化表示２００は、器具軸２４０からオフセットされ、器具軸２４０に平行な軸を表す第１の角度ベクトル２０４と、目標軌道軸２１０を表す第２の角度ベクトル２０２との間の角度を表す偏差角２０６を含むことができる。例えば、拡張現実角度アライメント可視化表示２００は、手術器具５０の器具軸５４からオフセットされ、器具軸に平行である軸を表す第１の角度ベクトル２０４、及び目標軌道軸２１０を表す第２の角度ベクトル２０２として示される。第１の角度ベクトル２０４及び第２の角度ベクトル２０２は、第１の角度ベクトル２０４と第２の角度ベクトル２０２との間の偏差角２０６を表す円弧によって接続することができる。これは、目標軌道軸２１０と器具軸５４との間の偏差角２０６を表すことができる。上記のように、目標軌道軸２１０は、目標物１３０，２３０と、対象領域６２の近位の入口点又は挿入点とを接続する線によって規定することができる。例えば、図５に示されるように、目標物２３０は、計画された位置において患者に重ね合わせられるスクリューの画像を含むことができる。これは、患者６０の椎骨の中に挿入されることになるスクリュー２３０の重ね合わせられた画像を含むことができる。拡張現実可視化表示は、上記のように、拡張現実ウィンドウ３１０をさらに備え、拡張現実ウィンドウ３１０は、第１の角度ベクトル２０４と第２の角度ベクトル２０２との間の偏差角２０６を識別するラベル、テキスト、又は類似の指示を含む。例えば、拡張現実ウィンドウ３１０は、拡張現実角度アライメント可視化表示２００の近位に位置決めし、偏差角２０６を識別するテキストラベルを表示するように構成することができる。拡張現実ウィンドウ３１０内に表示されるテキストラベルは、「３０度」、「１ラジアン」、又は類似の角度測定値を含むことができる。
【0053】
別の例において、偏差角２０６の可視化表示は、器具軸２４０、目標軌道軸２１０、並びに器具軸２４０及び目標軌道軸２１０の両方の基端を接続する円弧の位置補正拡張現実可視化表示、又は位置補正拡張現実可視化表示の軸測投影を含む。軸測投影は、３次元物体の平面画像を生成する画法幾何学に属する図式化手順である。「軸測投影」という用語は、「軸に沿って測定すること」と定義することができ、座標軸の寸法及び伸縮が重要であることを示すことができる。軸測投影手順の結果は、物体の均等に拡縮された平行投影である。
【0054】
図５に示される例示的な構成において、目標物２３０は、患者６０の椎骨内に挿入されることになるスクリューに関する計画された場所の拡張現実可視化表示を含み、第２の角度ベクトル２０２は、識別された場所においてスクリューを挿入するための目標軌道軸２１０の向きを表す。目標物２３０の拡張現実可視化表示は、現実の手術目標が外科医の視界から隠されている状況にあるときに、空間認識を高める。さらに、目標物２３０に対する手術器具５０の器具軸２４０を表す第１の角度ベクトル２０４と、目標軌道軸２１０を表す第２の角度ベクトル２０２とを接続する偏差２０６を表す円弧は、第１の角度ベクトル２０４と第２の角度ベクトル２０２との間の角度２０６の偏差を補正するための近似の視覚的合図をユーザに与える。
【0055】
また、拡張現実角度アライメント可視化表示２００は、ユーザが偏差角２０６のより小さな偏差をより容易に確認できるように拡大することもできる。例えば、図５に示されるように、第１の角度ベクトル２０４を表す線の長さ及び／又は第２の角度ベクトル２０２を表す線の長さは、第１の角度ベクトル２０４及び第２の角度ベクトル２０２を表す線を誇張し、ユーザが円弧によって表される偏差角２０６のより小さな偏差をより容易に確認できるようにするために、Ｋ倍だけ伸長することができる。第１の角度ベクトル２０４を表す線及び／又は第２の角度ベクトル２０２を表す線の伸長は通常、第１の角度ベクトル２０４の可視化される長さ及び／又は第２の角度ベクトル２０２を表す線の長さが数センチメートルに対応するように選択される。椎弓根スクリュー等の目標物１３０，２３０の追加の可視化表示の場合に、第１の角度ベクトル２０４及び／又は第２の角度ベクトル２０２を表す線の長さは、この目標物１３０，２３０の長さ／大きさにも依存することができる。また、伸長は、第１の角度ベクトル２０４を表す線及び／又は第２の角度ベクトル２０２を表す線を長くするために、第１の角度ベクトル２０４を表す線及び／又は第２の角度ベクトル２０２を表す線を伸長することを含むことができる。代替的には、これは、第１の角度ベクトル２０４を表す線及び／又は第２の角度ベクトル２０２を表す線を短くし、レンズ３６上の拡張現実角度アライメント可視化表示２００の大きさを縮小するために、第１の角度ベクトル２０４を表す線及び／又は第２の角度ベクトル２０２を表す線を短縮することを含むこともできる。これは、拡張現実角度アライメント可視化表示２００が、ユーザの視界を遮断するか、又は妨げるのを防ぐことができる。
【0056】
別の例において、偏差角２０６の分解は、目標軌道軸２１０に対して最も大きな角度を成す３つの主患者軸のうちの２つから、又は、目標軌道軸２１０に対して垂直な平面上に投影され、かつ手術器具５０の先端５４から目標軌道軸２１０上の最も近い点に結合される視線軸、及び投影される視線軸に対する同じ平面内の垂直ベクトルから導出される２つの固有ベクトルに対して拡縮することができる。上記のように、２つの固有ベクトルは、目標軌道軸２１０に対して最も大きな角度を成す患者座標系の３つの主患者軸のうちの２つに基づくことができる。代替的には、２つの固有ベクトルは、外科医のための拡張現実位置アライメント可視化表示２２０の一部として第１の偏差ベクトル２２２及び／又は第２の偏差ベクトル２２４の識別性を高めることを意図して、ユーザの視線によって規定される基準座標系に基づくことができる。これは、ユーザの視認方向が目標軌道軸２１０に対して概ね垂直である場合に役に立つ場合がある。
【0057】
さらに、上記の拡張現実可視化表示の種々の構成は、ユーザが種々のタイプの拡張現実可視化表示を区別できるようにするハイライト（highlight、強調）表示及び／又は着色方式を含むことができることは理解されたい。例えば、拡張現実位置アライメント可視化表示２２０は、ＨＭＤ３０のレンズ３６上に第１の色において表示することができ、拡張現実角度アライメント可視化表示２００は、ＨＭＤ３０のレンズ３６上に第２の色において表示することができる。第１の色及び第２の色は、互いに区別可能であるように選択することができる。拡張現実可視化表示の種々の特徴又は要素に関する区別可能な色及び／又は異なる色は、白色点の周りの色度空間内の交互の色を等距離に配置し、外挿によってその主波長を選択することによって、軌道の基調色から選択することができる。色は、黄色、ピンク、緑色、及びシアンを含む群から選択される高輝度の補色から選択することができる。図５を再び参照すると、非限定的な例において、拡張現実位置アライメント可視化表示２２０の第１の偏差ベクトル２２２及び第２の偏差ベクトル２２４は、ＨＭＤ３０のレンズ３６上に紫色の線として表示することができる。対照的に、拡張現実角度アライメント可視化表示２００の第１の角度ベクトル２０４及び第２の角度ベクトル２０２は、ＨＭＤ３０のレンズ３６上に青色又はシアンの線として表示することができる。目標軌道軸２１０を他の可視化表示から区別するために、異なる色を同様に使用することができる。例えば、目標軌道軸２１０は、ＨＭＤ３０のレンズ３６上に黄色の線として表示することができる。種々の拡張現実可視化表示を互いに区別するために、種々の拡張現実可視化表示ごとに色の任意の組み合わせを利用できることも考えられることは理解されたい。
【0058】
上記の拡張現実可視化表示は、各拡張現実可視化表示の透明度及び／又は不透明度を変更することによってＨＭＤ３０のレンズ３６上に表示されるように区別可能にすることもできる。例えば、拡張現実位置アライメント可視化表示２２０をＨＭＤ３０のレンズ３６上に不透明な線で表示することができ、拡張現実角度アライメント可視化表示２００をＨＭＤ３０のレンズ３６上に少なくとも部分的に透明な線として表示することができるか、又は完全に見えなくすることができるように、拡張現実可視化表示を構成することができる。別の例において、拡張現実可視化表示は複数の軌道及び／又は軸を含み、手術器具５０の器具軸２４０及び／又は先端５４から最短距離にあるものを除く全ての軌道及び／又は軸を高い透明度で表示することができる。これは、不要な、又は重要性が低い拡張現実可視化表示をユーザの視界から排除する。
【0059】
上記の種々の拡張現実可視化表示を区別するために、線タイプを同様に利用することができる。図５を再び参照すると、非限定的な例において、拡張現実位置アライメント可視化表示２２０の第１の偏差ベクトル２２２及び第２の偏差ベクトル２２４は、ＨＭＤ３０のレンズ３６上に、規定された線幅を有する実線として表示することができる。対照的に、拡張現実角度アライメント可視化表示２００の第１の角度ベクトル２０４及び第２の角度ベクトル２０２は、ＨＭＤ３０のレンズ３６上に、拡張現実位置アライメント可視化表示２２０の線幅とは異なる線幅を有する実線として表示することができる。目標軌道軸２１０を他の可視化表示から区別するために、異なる線タイプを同様に使用することができる。例えば、目標軌道軸２１０は、ＨＭＤ３０のレンズ３６上に、破線、点線、又は類似の異なる線タイプとして表示することができる。それらの線を互いに区別するために、種々の拡張現実可視化表示ごとに、線タイプの任意の組み合わせを利用できることが考えられることは理解されたい。
【0060】
図６は、ＨＭＤ３０のレンズ３６を通してユーザによって認知されるような拡張現実可視化表示であって、仮想画像のみを含む拡張現実可視化表示の例示的な構成を示す。図６に示されるように、拡張現実可視化表示は、レンズ３６を通して視認されるような現実手術部位すなわち対象領域６２の上方の定位置フローティングフレーム３００内に示される患者画像データのスライス部分の仮想画像を含むことができる。上記の例と同様に、ユーザは、ＨＭＤ３０のレンズ３６を通して、患者６０の脊椎等のような患者６０の現実の特徴物を依然として視認することができる。しかしながら、レンズ３６上のフローティングフレーム３００内に、患者データ等の付加情報又は画像を表示することができる。例えば、図６に示されるように、拡張現実可視化表示は、特定の椎骨の２次元画像等の患者データのスライス部分の画像を含むことができる。フローティングフレーム３００内に表される患者データのスライス部分上に、軸又は座標系を重ねることができる。軸又は座標系は、フローティングフレーム３００内に表される患者データに対する手術器具５０の位置及び／又は向きを表すように構成することができる。
【0061】
図７を参照すると、拡張現実可視化表示の別の例示的な構成において、拡張現実可視化表示は、表示ウィンドウ３３０内のＨＭＤ３０のレンズ３６上に表示される仮想画像を含むことができる。上記の拡張現実可視化表示の先行する例示的な構成のうちのいくつかとは異なり、図７の拡張現実可視化表示は、レンズ３６上に表示される仮想画像のみを含む拡張現実可視化表示の一例である。例えば、拡張現実可視化表示は、ＨＭＤ３０のユーザに、患者６０及び／又は対象領域６２が見える場所にいるように要求しない。拡張現実可視化表示は、ユーザが仮想画像上に重ね合わせられる手術計画又は患者２６０のモデルの画像又は描写を視認できるようにするために、レンズ３６上に表示することができる。上記のフローティングフレーム３００と同様に、表示ウィンドウ３３０は、画像又は患者スキャン等の患者データを描写するように構成することができる。表示ウィンドウ３３０は、患者データ上に重ね合わせられる目標軌道軸２１０、器具軸２４０、及び／又は目標物１３０を描写するようにさらに構成することができる。上記の類似の例と同様に、この拡張現実可視化表示の表示ウィンドウ３３０は、制御ボタン（複数の場合もある）３２０，３２２，３２４を用いてユーザによって操作することができる。例えば、ユーザはハンドジェスチャーを用いて、制御ボタン（複数の場合もある）３２０，３２２，３２４のうちの１つ以上を選択し、目標軌道軸２１０、器具軸２４０及び／又は目標物１３０がより良好に見えるようにズームイン又はズームアウトすることができる。
【0062】
図８は、ＨＭＤ３０のレンズ３６上に表示されるような拡張現実可視化表示であって、患者２６０の一部及び／又は患者データの仮想画像を含む拡張現実可視化表示の別の代替的な構成を示す。拡張現実可視化表示としてレンズ３６上に表示される患者２６０の一部及び／又は患者データは、目標軌道軸２１０、対象領域２６２、及び／又は目標物１３０を含むことができる。また、拡張現実可視化表示は、患者２６０及び／又は患者データ上に重ね合わせられるさらなる人体構造の特徴及び／又は計画された手術経路の描写を含むことができる。例えば、拡張現実可視化表示は、レンズ３６上に表示される患者２６０の仮想３Ｄ画像を含むことができる。これにより、別の外部ディスプレイにユーザの注意が反れるのを余儀なくされる場合とは対照的に、ユーザはＨＭＤ３０のレンズ３６上にさらなる人体構造の特徴及び／又は計画された手術経路を可視化できるようになる場合がある。拡張現実可視化表示は、追加の制御ボタン３２６，３２８をさらに備えることができ、制御ボタン３２６，３２８は、レンズ３６上に表示される拡張現実可視化表示を操作するように構成される。例えば、制御ボタン３２６，３２８のうちの１つはズームイン及び／又はズームアウトするように構成することができる。さらに、制御ボタン３２６，３２８のうちの１つは、ユーザが異なる角度又は視点から拡張現実可視化表示を観察又は視認できるようにするために、拡張現実可視化表示を回転させるように構成することができる。拡張現実可視化表示が、患者２６０の仮想３Ｄ画像であるとき、制御ボタン３２６，３２８は、ユーザが複数の角度から手術計画及び／又は目標軌道軸２１０を視認できるようにするために、患者２６０の仮想３Ｄモデルを回転させるように構成することができる。
【0063】
上記のヘッドマウントディスプレイ３０を含む手術ナビゲーションシステム２０を用いて手術器具５０を位置合わせする方法は、患者トラッカ４０に整合された患者データに基づいて、目標軌道軸２１０を計画することを含むことができる。その方法は、ヘッドマウントディスプレイ３０上に、拡張現実位置アライメント可視化表示２２０を、目標軌道軸２１０上の点から手術器具５０の先端５４までの距離ベクトルの分解を含む２つの軸平行偏差ベクトル２２２，２２４として表示するステップをさらに含むことができる。例えば、その方法は、ヘッドマウントディスプレイ３０のレンズ３６上に第１の偏差ベクトル２２２及び第２の偏差ベクトル２２４を表示することを含むことができる。第１の偏差ベクトル２２２及び／又は第２の偏差ベクトル２２４は、実線及び／又は点線として表示することができる。第１の偏差ベクトル２２２及び第２の偏差ベクトル２２４は、矢印として表示することもできる。
【0064】
その方法は、ヘッドマウントディスプレイ３０上に、手術器具５０の器具軸２４０を表す第１の角度ベクトル２０４と、目標軌道軸２１０の第２の角度ベクトル２０２との間の角度を示す偏差角２０６を含む拡張現実角度アライメント可視化表示２００を表示するステップをさらに含むことができる。例えば、その方法は、第１の角度ベクトル２０４及び第２の角度ベクトル２０２を、第１の角度ベクトル２０４と第２の角度ベクトル２０２との間の偏差角２０６を表す円弧によって接続される線として表示することを含むことができる。
【0065】
また、その方法は、ヘッドマウントディスプレイ３０の視点から、目標軌道軸２１０に対する手術器具５０の相対的な場所を示すために、追跡ユニット１０の測定データに基づいて、ヘッドマウントディスプレイ３０上に表示される拡張現実位置アライメント可視化表示２２０及び／又は拡張現実角度アライメント可視化表示２００を更新するステップを含むことができる。目標軌道軸２１０は、目標物１３０，２３０と入口点とを接続する線によって規定することができる。この更新は連続的に行うことができる。
【0066】
手術器具５０を位置合わせする方法は、手術器具５０の器具軸２４０の拡張現実可視化表示を表示することをさらに含むことができる。器具軸２４０は、手術器具５０の線又は輪郭として表示することができる。ヘッドマウントディスプレイ３０のレンズ３６上に表示される器具軸２４０の拡張現実可視化表示は、患者６０、対象領域６２、目標軌道軸２１０、及び／又は目標物１３０，２３０に対する手術器具５０の位置を示すことができる。
【0067】
手術器具５０を位置合わせする方法は、ユーザがそれぞれのアライメント可視化表示を区別できるように、拡張現実位置アライメント可視化表示２２０及び／又は拡張現実角度アライメント可視化表示２００を表示するために異なる色を使用することをさらに含むことができる。拡張現実可視化表示のための異なる色は、白色点の周りの色度空間内の交互の色を等距離に配置し、外挿によってその主波長を選択することによって、軌道の基調色から選択することができる。例えば、色は、黄色、ピンク、緑色、及びシアンを含む群から選択される高輝度の補色から選択することができる。
【0068】
また、その方法は、目標軌道軸２１０までの手術器具５０の距離に基づいて、拡張現実位置アライメント可視化表示２２０及び／又は拡張現実角度アライメント可視化表示２００をユーザにハイライト表示することを含むことができる。例えば、拡張現実位置アライメント可視化表示２２０を表す線の色及び／又は線幅は、拡張現実角度アライメント可視化表示２００を表す線の色及び／又は線幅とは異なる場合がある。上記のように、これを利用して、ユーザが、ヘッドマウントディスプレイ３０のレンズ３６上に表示される拡張現実位置アライメント可視化表示２２０及び／又は拡張現実角度アライメント可視化表示２００を区別できるようになる場合がある。
【0069】
目標軌道軸２１０をハイライト表示するステップは、最短距離を有する軌道を除く全ての追加の軌道をユーザから隠すステップをさらに含むことができる。また、目標軌道軸２１０をハイライト表示するステップは、最短距離を有する軌道を除く全ての追加の軌道を高い透明度で示すことを含むことができる。例えば、手術器具５０が拡張現実位置アライメント可視化表示２２０の第１の偏差ベクトル２２２に対応する方向及び向きと適切に位置合わせされているとき、第１の偏差ベクトル２２２は、ヘッドマウントディスプレイ３０のレンズ３６上で隠すことができるか、又は透明に表示することができる。対照的に、手術器具５０が、拡張現実位置アライメント可視化表示２２０の第１の偏差ベクトル２２２に対応する方向及び向きと位置合わせされていない場合には、目標軌道軸２１０に基づいてアライメントの補正が必要とされることをユーザに知らせるために、第１の偏差ベクトル２２２は、ヘッドマウントディスプレイ３０のレンズ３６上でハイライト表示することができる。
【0070】
手術器具５０を位置合わせする方法は、拡張現実位置アライメント可視化表示２２０を２つの軸平行偏差ベクトル２２２，２２４としてヘッドマウントディスプレイ３０上に表示するステップをさらに含むことができ、手術器具５０と目標軌道軸２１０との間の距離は、目標物１３０，２３０と目標軌道軸２１０の入口点とを接続する線分と、目標物１３０，２３０と目標軌道軸２１０の入り口点とを接続する線と、目標物１３０，２３０、又は目標軌道軸２１０の入口点とからなる群から選択される少なくとも１つに向けた手術器具５０の先端５４の距離に基づいて計算される。
【0071】
手術器具５０を位置合わせする方法においては、距離ベクトルの２つの軸平行偏差ベクトル２２２，２２４への分解が、目標軌道軸２１０に対して最も大きな角度を成す３つの主患者軸のうちの２つから、又は、目標軌道軸２１０に対して垂直な平面上に投影され、かつ手術器具５０の先端５４から目標軌道軸２１０上の最も近い点に結合される視線軸、及び投影される視線軸に対する同じ平面内の垂直ベクトルから導出される２つの固有ベクトルに関連する。
【0072】
手術器具５０を位置合わせする方法は、ユーザが目標軌道軸２１０に対する手術器具５０の位置及び／又はアライメントの小さな偏差をより容易に観察できるようにするために、拡張現実位置アライメント可視化表示２２０を拡大するステップをさらに含むことができる。例えば、ユーザが小さな偏差をより容易に観察できるようにするために、第１の偏差ベクトル２２２及び／又は第２の偏差ベクトル２２４の長さを伸長することができる。代替的には、拡張現実可視化表示をヘッドマウントディスプレイ３０のレンズ３６上に収めることができるように、第１の偏差ベクトル２２２及び／又は第２の偏差ベクトル２２４の長さを短縮することができる。距離ベクトルの分解の伸縮は、絶対最大可視化長及びヘッドマウントディスプレイ３０の視界に関連する最大可視化長に制限される。
【0073】
手術器具５０を位置合わせする方法においては、偏差角２０６の分解が、目標軌道軸に対して最も大きな角度を成す３つの主患者軸のうちの２つ、又は目標軌道軸に対して垂直な平面上に投影され、手術器具５０の先端５４から目標軌道軸上の最も近い点に結合される視線軸、及び投影される視線軸に対する同じ平面内の垂直ベクトルから導出される２つの固有ベクトルに関連する。
【0074】
手術器具５０を位置合わせする方法においては、偏差角２０６の可視化表示が、器具軸２４０、目標軌道軸２１０、並びに器具軸２４０を表す第１の角度ベクトル２０４及び目標軌道軸２１０を表す第２の角度ベクトル２０２の両方の基端を接続する円弧の位置補正拡張現実可視化表示、又は位置補正拡張現実可視化表示の軸測投影を含む。
【0075】
手術器具５０を位置合わせする方法は、手術器具５０の先端５４から目標軌道軸２１０までの距離を記述する第１の拡張現実テキストラベル３１０と、器具軸２４０と角度可視化表示内、又は付近に位置決めされる目標軌道軸２１０との間における度単位の偏差角２０６を記述する第２の拡張現実テキストラベル３１０とを表示するステップをさらに含むことができる。
【0076】
手術器具５０を位置合わせする方法は、目標軌道軸２１０の目標点において配置又は除去されることになる目標物１３０，２３０の拡張現実可視化表示を表示するステップをさらに含むことができる。
【0077】
手術器具５０を位置合わせする方法は、目標軌道軸２１０の目標点において配置又は除去されることになる目標物１３０，２３０の拡張現実可視化表示を表示するステップをさらに含むことができ、目標物１３０，２３０の拡張現実可視化表示は、手術器具５０の目標位置又は現在の位置に位置決めされる。
【0078】
手術器具５０を位置合わせする方法は、患者画像データの拡張現実可視化表示を表示するステップをさらに含むことができる。このステップは、空間内の固定フレーム、頭部の動きに追従するフローティングフレーム３００、患者画像データのスライス部分の位置におけるインプレース（in-place）、又はユーザ定義の固定空間ベクトルによる患者位置からのオフセットのうちの１つであるように、ユーザによって選択される拡張現実可視化表示の場所を選択することを含むことができる。ユーザは、ヘッドマウントディスプレイ３０のレンズ３６上に表示される制御ボタン３２０，３２２，３２４，３２６，３２８を用いて患者画像データのスライス部分を操作することができる。ユーザは、手及び／又は顔によるジェスチャーを用いて、レンズ３６上に表示される制御ボタン３２０，３２２，３２４，３２６，３２８を選択することができる。このステップは、患者画像データ色情報から、アルファ透明度目標範囲を含む拡張現実可視化表示色情報へのカラーマッピング（color mapping）をさらに含むことができる。このステップは、拡張現実可視化表示の場所を選択し、位置決めし直すために、そして患者画像データのスライス部分を選択するために、ユーザが音声、マウス、キーボード、凝視、又は手術器具のいずれかを使用することができるユーザインタラクション（user interaction）をさらに含むことができる。
【0079】
手術器具５０を位置合わせする方法は、対象領域インジケータを表示することをさらに含むことができる。対象領域インジケータは、対象領域６２付近に示される拡張現実テキストラベル３１０、又は対象領域６２を画定する拡張現実境界可視化表示を含むことができる。対象領域インジケータは、対象領域６２への手術器具５０の距離に基づいて、ユーザに拡張現実テキストラベル３１０及び拡張現実境界可視化表示をハイライト表示するカラーマッピング方法をさらに含むことができる。
【0080】
拡張現実位置アライメント可視化表示２２０及び／又は拡張現実角度アライメント可視化表示２００等の拡張現実可視化表示のいくつかの構成が上記で説明されている。拡張現実可視化表示の構成の多くがヘッドマウントディスプレイ３０のレンズ３６上に、及び／又はヘッドマウントディスプレイ３０上に表示されることに関して説明されるが、拡張現実可視化表示の種々の構成のいずれかをディスプレイ２２上に表示することもできると考えられることも理解されたい。ディスプレイ２２は、陰極線管ディスプレイ（ＣＲＴ）、発光ダイオードディスプレイ（ＬＥＤ）、エレクトロルミネセントディスプレイ（ＥＬＤ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、デジタルライトプロセッシングディスプレイ（ＤＬＰ）、プロジェクションモニタ、又は類似のデバイスを含むことができる。
【0081】
手術ナビゲーションシステム２０及び／又は拡張現実可視化表示のいくつかの構成が、上記の説明において論じられてきた。しかしながら、本明細書で論じる構成は、網羅的であることも本開示を任意の特定の形態に限定することも意図されない。使用された用語は、制限的であるのではなく、説明の言葉（words of description）の性質内にあることを意図される。多くの変更及び変形が、上記教示を考慮して可能であり、本開示は、具体的に述べられる以外の方法で実施することができる。
【0082】
さらなる構成に関する条項（当初の欧州特許請求項）
Ｉ．手術器具を位置合わせする案内システムであって、立体視ヘッドマウントディスプレイを備え、立体視ヘッドマウントディスプレイが、少なくともＨＭＤトラッカと、追跡システムを有する手術ナビゲーションシステムと、追跡システムによって追跡可能な患者トラッカに整合される患者データと、患者データ上の１つ以上の軌道を計画する計画システムと、追跡システムによって追跡されるナビゲートされる器具と、ＡＲ位置アライメント可視化表示と、ＡＲ角度アライメント可視化表示とを備える、案内システム。
Ｉ．手術器具を位置合わせする案内システムであって、立体視ヘッドマウントディスプレイを備え、立体視ヘッドマウントディスプレイが、少なくともＨＭＤトラッカと、追跡システムを有する手術ナビゲーションシステムと、追跡システムによって追跡可能な患者トラッカに整合される患者データと、患者データ上の１つ以上の軌道を計画する計画システムと、追跡システムによって追跡されるナビゲートされる器具と、ＡＲ位置アライメント可視化表示と、ＡＲ角度アライメント可視化表示とを備える、案内システム。
【0083】
Ｉａ．第Ｉ項に記載の案内システムは、ユーザが立体視ヘッドマウントディスプレイ上の小さな偏差を確認できるようにするために、ナビゲートされる器具の先端の軌道軸上においける最も近い点からナビゲートされる器具の先端までの距離ベクトルの分解であり、スケーリング関数によって長さが伸長される、位置アライメント可視化表示のための２つの軸平行偏差ベクトルを表示するように構成することができる。
【0084】
Ｉｂ．第Ｉ項又は第Ｉａ項に記載の案内システムは、１つ又は２つの偏差角からなる角度アライメント可視化表示を表示するようにさらに構成することができ、偏差角は、器具の軸の方向ベクトルと軌道軸の方向ベクトルとの間の角度、又は２つの偏差角への上記角度の分解を示し、各々が、ユーザが小さな偏差を確認できるようにするために、スケーリング関数によって開口角が拡大される。
【0085】
Ｉｃ．第Ｉ項、第Ｉａ項及び第Ｉｂ項のいずれか一項に記載の案内システムは、立体視ヘッドマウントディスプレイの両目の視点から、患者データに対するナビゲートされる器具の相対的な場所を示すために、追跡システムに基づいて、可視化表示を絶えず更新するようにさらに構成することができる。
【0086】
Ｉｄ．第Ｉ項、第Ｉａ項、第Ｉｂ項、及び第Ｉｃ項のいずれか一項に記載の案内システムは、ユーザがそれぞれのアライメント可視化表示を区別できるように、可視化表示のために異なる色を使用し、各軌道へのナビゲートされる器具の距離に基づいて、可視化表示をユーザにハイライト表示するようにさらに構成することができる。
【0087】
ＩＩ．第Ｉ項に記載の案内システムを用いて手術器具を位置合わせする方法であって、立体視ＨＭＤの両目の視点から、患者データに対するナビゲートされる器具の相対的な場所を示すために、追跡システムに基づいて、可視化表示を絶えず更新するステップと、ユーザがそれぞれのアライメント可視化表示を区別できるように、可視化表示のために異なる色を使用するステップと、各軌道へのナビゲートされる器具の距離に基づいて、可視化表示をユーザにハイライト表示するステップとを含む方法。
【0088】
ＩＩ－ａ．第ＩＩ項に記載の方法は、ナビゲートされる器具の先端の軌道軸上の最も近い点からナビゲートされる器具の先端までの距離ベクトルの分解であり、ユーザが小さな偏差を確認できるようにスケーリング関数によって伸長される、位置アライメント可視化表示のための２つの軸平行偏差ベクトルを使用及び／又は表示することをさらに含むことができる。
【0089】
ＩＩ－ｂ．第ＩＩ項又は第ＩＩ－ａ項に記載の方法は、１つ又は２つの偏差角からなる角度アライメント可視化表示を使用及び／又は表示することをさらに含むことができ、偏差角は、器具の軸の方向ベクトルと軌道軸の方向ベクトルとの間の角度、又は２つの偏差角への上記角度の分解を示し、各々が、ユーザが小さな偏差を確認できるようにするために、スケーリング関数によって開口角が拡大される場合がある。
【0090】
ＩＩ－ｃ．ナビゲートされる器具と軌道との間の距離は、ナビゲートされる器具の先端から、目標物と軌道の入口点とを接続する線分と、目標物と軌道の入口点とを接続する線と、目標物又は軌道の入口点とからなる群から選択される少なくとも１つまでの距離に基づいて計算されることを特徴とする、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0091】
ＩＩ－ｄ．ナビゲートされる器具と軌道との間の角度偏差は、ナビゲートされる器具の軸の垂線と、目標物と軌道の入口点とを接続する線の垂線との間の角度に基づいて計算されることを特徴とする、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0092】
ＩＩ－ｅ．軌道のハイライト表示は、最短距離を有する軌道を除く全ての軌道をユーザから隠し、最短距離を有する軌道を除く全ての軌道を高い透明度で示すことを特徴とする、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0093】
ＩＩ－ｆ．２つの軸平行偏差ベクトルの距離ベクトルの分解は、軌道軸に対して最も大きな角度を成す３つの主患者軸のうちの２つから、又は軌道軸に対して垂直な平面上に投影され、かつナビゲートされる器具の先端から軌道軸上の最も近い点に結合される視線軸、及び投影される視線軸に対する同じ平面内の垂直ベクトルから導出される２つの固有ベクトルに関連することを特徴とする、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0094】
ＩＩ－ｇ．距離ベクトルの分解の伸長は、絶対最大可視化長及びヘッドマウントディスプレイの視界に関連する最大可視化長に制限されることを特徴とする、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0095】
ＩＩ－ｈ．２つの偏差角の分解は、軌道軸に対して最も大きな角度を成す３つの主患者軸のうちの２つから、又は軌道軸に対して垂直な平面上に投影され、ナビゲートされる器具の先端から軌道軸上の５最も近い点に結合される視線軸、及び投影される視線軸に対する同じ平面内の垂直ベクトルから導出される２つの固有ベクトルに関連することを特徴とする、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0096】
ＩＩ－ｉ．偏差角の可視化表示は、現在の垂直軸、目標垂直軸、並びに現在の垂直軸及び目標垂直軸の両方の基端を接続する円弧の位置補正拡張現実可視化表示、又は位置補正拡張現実可視化表示の軸測投影からなることを特徴とする、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0097】
ＩＩ－ｊ．器具先端から軌道軸までの距離を記述するＡＲテキストラベルと、器具軸と角度可視化表示内又は付近に位置決めされる軌道軸との間における度単位の角度偏差を記述するＡＲテキストラベルをさらに使用する、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0098】
ＩＩ－ｋ．軌道のＡＲ可視化表示をさらに使用する、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0099】
ＩＩ－ｌ．軌道の目標点において配置又は除去されることになる目標物のＡＲ可視化表示をさらに使用し、目標物のＡＲ可視化表示は、ナビゲートされる器具の目標位置又は現在の位置に位置決めされることを特徴とする、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0100】
ＩＩ－ｍ．軌道の目標点において配置又は除去されることになる目標物のＡＲ可視化表示のステップをさらに含む、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0101】
ＩＩ－ｎ．可視化表示のための異なる色は、白色点の周りの色度空間内の交互の色を等距離に配置し、外挿によってその主波長を選択することによって、軌道の基調色から選択されるか、又はその色は黄色、ピンク、緑色、及びシアンを含む群から選択される高輝度の補色から選択されることを特徴とする、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0102】
ＩＩ－о．患者画像データのスライス部分のＡＲ可視化表示のステップをさらに含み、このステップが、空間内の固定フレーム、頭部の動きに追従するフローティングフレーム、患者画像データスライス部分の位置にあるインプレース、又はユーザ定義の固定空間ベクトルによる患者位置からのオフセットのうちの１つであるように外科医によって選択されるＡＲ可視化表示場所のステップ、患者画像データ色情報からアルファ透明度目標範囲を含むＡＲ可視化表示色情報へのカラーマッピングのステップ、及びＡＲ可視化表示場所を選択し、位置決めし直し、そして患者画像データのスライス部分を選択するために、ユーザが音声、マウス、キーボード、凝視、又はナビゲートされる手術器具のいずれかを使用することができるユーザインタラクションのステップを含む、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
【0103】
ＩＩ－ｐ．対象領域インジケータの使用をさらに含み、かかる使用が、対象領域付近に示されるＡＲテキストラベル又は対象領域を画定するＡＲ境界可視化表示、及び対象領域までのナビゲートされる器具の距離に基づいて、ＡＲテキストラベル及びＡＲ境界可視化表示をユーザにハイライト表示するカラーマッピング方法を含む、第ＩＩ項、第ＩＩ－ａ項及び第ＩＩ－ｂ項のいずれか一項に記載の方法。
なお、出願当初の請求項は以下の通りであった。
［請求項１］
レンズを有するヘッドマウントディスプレイと、
追跡ユニットを有する手術ナビゲーションシステムと、
患者データに整合され、かつ前記手術ナビゲーションシステムによって追跡可能な患者トラッカと、
前記手術ナビゲーションシステムによって追跡可能な器具トラッカを有する手術器具であって、器具軸を規定する手術器具と、
拡張現実位置アライメント可視化表示を、前記ヘッドマウントディスプレイの前記レンズ上に表示するように、目標軌道軸上の目標点から前記手術器具上の点までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして生成する構成であるコントローラと
を備える手術ナビゲーションシステム。
［請求項２］
前記コントローラが、前記レンズ上に表示される前記２つの軸平行偏差ベクトルを伸縮するように構成される、請求項１に記載の手術ナビゲーションシステム。
［請求項３］
前記コントローラが、前記レンズ上に表示するように、拡張現実角度アライメント可視化表示を生成する構成である、請求項１に記載の手術ナビゲーションシステム。
［請求項４］
前記拡張現実角度アライメント可視化表示が、前記器具軸に対して平行な軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角を含む、請求項３に記載の手術ナビゲーションシステム。
［請求項５］
前記コントローラは、ユーザが前記偏差角の小さな偏差を確認できるようにするために、前記偏差角を表す第１の線及び第２の線の長さを伸長するように構成される、請求項４に記載の手術ナビゲーションシステム。
［請求項６］
前記拡張現実角度アライメント可視化表示は、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度における２つの偏差角への分解を含む、請求項３に記載の手術ナビゲーションシステム。
［請求項７］
前記２つの偏差角を表す線の長さは、ユーザが前記２つの偏差角の小さな偏差を確認できるようにするために、伸長されるように構成される、請求項６に記載の手術ナビゲーションシステム。
［請求項８］
前記拡張現実位置アライメント可視化表示が第１の色を含み、
前記拡張現実角度アライメント可視化表示が前記第１の色から区別可能である異なる色を含む、請求項３～７のいずれか一項に記載の手術ナビゲーションシステム。
［請求項９］
手術ナビゲーションシステム、前記手術ナビゲーションシステムによって追跡可能な患者トラッカ、及び前記手術ナビゲーションシステムによって追跡可能な手術器具と共に使用するヘッドマウントディスプレイシステムであって、
レンズと、
前記レンズ上にて、拡張現実位置アライメント可視化表示を、目標軌道軸上の目標点から前記手術器具までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして表示するように構成されるコントローラと
を備えるヘッドマウントディスプレイシステム。
［請求項１０］
前記コントローラが、前記レンズ上に拡張現実角度アライメント可視化表示を生成するように構成される、請求項９に記載のヘッドマウントディスプレイシステム。
［請求項１１］
前記拡張現実角度アライメント可視化表示が、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角を含み、
前記偏差角を表す第１の線及び第２の線の長さは、ユーザが小さな偏差を確認できるようにするために、伸長されるように構成される、請求項１０に記載のヘッドマウントディスプレイシステム。
［請求項１２］
前記拡張現実角度アライメント可視化表示が、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度における２つの偏差角への分解を含み、
前記２つの偏差角を表す線の長さは、ユーザが小さな偏差を確認できるようにするために、伸長されるように構成される、請求項１０に記載のヘッドマウントディスプレイシステム。
［請求項１３］
前記拡張現実位置アライメント可視化表示が第１の色を含み、
前記拡張現実角度アライメント可視化表示が、前記第１の色から区別可能である異なる色を含む、請求項１０～１２のいずれか一項に記載のヘッドマウントディスプレイシステム。
［請求項１４］
手術ナビゲーションシステムと、先端を有し、かつ目標軌道軸を含む手術計画を考慮して器具軸を少なくとも部分的に規定する手術器具とを備えるヘッドマウントディスプレイシステムを用いて、手術ナビゲーション情報を表示する方法であって、
ヘッドマウントディスプレイ上に２つの軸平行偏差ベクトルを含む拡張現実位置アライメント可視化表示を表示することであって、前記２つの軸平行偏差ベクトルが、第１の偏差ベクトル及び第２の偏差ベクトルを含み、前記第１の偏差ベクトル及び前記第２の偏差ベクトルが、前記目標軌道軸上の点から前記手術器具の前記先端までの距離ベクトルの分解を表す、表示することと、
前記ヘッドマウントディスプレイの視点から、前記目標軌道軸に対する前記手術器具の相対的な場所を示すために、前記ヘッドマウントディスプレイ上に表示された前記拡張現実位置アライメント可視化表示を更新することと
を含む方法。
［請求項１５］
前記距離ベクトルの２つの軸平行偏差ベクトルへの前記分解が、前記目標軌道軸に対して最も大きな角度を成す患者の向きから導出される３つの主患者軸のうち２つから導出される２つの固有ベクトルに関連する、請求項１４に記載の方法。
［請求項１６］
前記距離ベクトルの２つの軸平行偏差ベクトルへの前記分解が、前記目標軌道軸に対して垂直な平面上に投影され、かつ前記手術器具の先端から前記目標軌道軸上の最も近い点に結合される視線軸と、前記投影される視線軸に対する同じ平面内の垂直ベクトルとから導出される２つの固有ベクトルに関連する、請求項１４に記載の方法。
［請求項１７］
前記手術器具の前記軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を示す偏差角を含む拡張現実角度アライメント可視化表示を表示することをさらに含む、請求項１４に記載の方法。
［請求項１８］
前記ヘッドマウントディスプレイの視点から、前記目標軌道軸に対する前記手術器具の軸の角度を示すために、前記拡張現実角度アライメントを更新することをさらに含む、請求項１７に記載の方法。
［請求項１９］
前記拡張現実位置アライメント可視化表示又は前記拡張現実角度アライメント可視化表示を表示するために第１の色を使用し、かつ前記拡張現実位置アライメント可視化表示又は前記拡張現実角度アライメント可視化表示の他方のために異なる色を使用することをさらに含む、請求項１７又は１８に記載の方法。
［請求項２０］
前記目標軌道軸に対する前記手術器具の距離に基づいて、前記拡張現実位置アライメント可視化表示及び／又は前記拡張現実角度アライメント可視化表示をユーザに対してハイライト表示することをさらに含む、請求項１７又は１８に記載の方法。
［請求項２１］
前記手術器具と前記目標軌道軸との間の距離は、目標物と前記目標軌道軸の入口点とを接続する線分と、前記目標物と前記目標軌道軸の入口点とを接続する線と、及び前記目標物又は前記軌道の入口点とから成る群から選択される少なくとも１つの基点に向けた前記手術器具の先端の距離に基づいて計算される、請求項１４に記載の方法。
［請求項２２］
患者トラッカ及び手術器具トラッカを含む手術ナビゲーションシステムと共に使用するヘッドマウントディスプレイであって、前記手術ナビゲーションシステムは、患者データに基づいて、手術器具の先端によって少なくとも部分的に規定される器具軸と目標軌道軸とのアライメントのために、前記目標軌道軸を計画するように構成される、ヘッドマウントディスプレイであって、
レンズを備え、
ヘッドマウントディスプレイが、前記目標軌道軸上の点から前記手術器具の先端までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルを含む拡張現実位置アライメント可視化表示を表示するように構成され、及び／又は、
ヘッドマウントディスプレイが、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角を含む拡張現実角度アライメント可視化表示を表示するようにさらに構成される、ヘッドマウントディスプレイ。
［請求項２３］
前記２つの軸平行偏差ベクトルは、ユーザが前記手術器具軸から前記目標軌道軸までの距離の小さな偏差を確認できるようにするために、長さを伸長されるように構成される、請求項２２に記載のシステム。
［請求項２４］
前記偏差角は、ユーザが前記第１の角度ベクトルと前記第２の角度ベクトルとの間の角度における小さな偏差を確認できるようにするために、拡大されるように構成される、請求項２２に記載のシステム。
［請求項２５］
前記拡張現実角度アライメント可視化表示が、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度における２つの偏差角への分解を含む、請求項２２に記載のシステム。
［請求項２６］
前記拡張現実位置アライメント可視化表示が第１の色を含み、
前記拡張現実角度アライメント可視化表示が第２の色を含み、
前記第１の色が前記第２の色から区別可能である、請求項２２に記載のシステム。
［請求項２７］
手術ナビゲーションシステムを用いて手術器具を位置合わせする方法であって、前記手術ナビゲーションシステムが追跡ユニットを備え、前記追跡ユニットが、ヘッドマウントディスプレイ、患者トラッカ、及び先端を有すると共に器具軸を規定する手術器具に結合される手術器具トラッカの位置を追跡するように構成され、前記手術ナビゲーションシステムが、前記患者トラッカに整合される患者データに基づいて、目標軌道軸を計画するように構成される、方法であって、
前記ヘッドマウントディスプレイ上に、拡張現実位置アライメント可視化表示を、前記目標軌道軸上の点から前記手術器具の先端までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして表示するステップ、及び／又は、
前記ヘッドマウントディスプレイ上に、前記手術器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を示す偏差角を含む拡張現実角度アライメント可視化表示を表示するステップ
を含み、かつ
前記ヘッドマウントディスプレイの視点から、前記目標軌道軸に対する前記手術器具軸の場所を示すために、前記追跡ユニットに基づいて、前記ヘッドマウントディスプレイ上に表示された前記拡張現実位置アライメント可視化表示及び／又は前記拡張現実角度アライメント可視化表示を連続的に更新するステップ
を含む方法。
［請求項２８］
前記目標軌道軸が目標物と入口点とを接続する線によって規定される、請求項２７に記載の方法。
［請求項２９］
前記ヘッドマウントディスプレイ上に前記手術器具の器具軸の拡張現実可視化表示を表示することをさらに含む、請求項２７又は２８に記載の方法。
［請求項３０］
ユーザがそれぞれのアライメント可視化表示を区別できるようにすべく、前記拡張現実位置アライメント可視化表示及び／又は前記拡張現実角度アライメント可視化表示を表示するように異なる色を使用することと、
前記目標軌道軸への前記手術器具の距離に基づいて、前記拡張現実位置アライメント可視化表示及び／又は前記拡張現実角度アライメント可視化表示をユーザに対してハイライト表示することと
をさらに含む請求項２７に記載の方法。
［請求項３１］
前記手術器具と前記目標軌道軸との間の距離が、目標物と前記目標軌道軸の入口点とを接続する線分と、前記目標物と前記目標軌道軸の前記入口点とを接続する線と、前記目標物及び前記軌道の前記入口点とからなる群から選択される少なくとも１つに向けた前記手術器具の先端の距離に基づいて計算される、請求項２７に記載の方法。
［請求項３２］
前記目標軌道軸を前記ハイライト表示することが、最短距離を有する軌道を除く全ての追加の軌道をユーザから隠すことを含む、請求項３０に記載の方法。
［請求項３３］
前記最短距離を有する軌道を除く全ての追加の軌道を高い透明度で示す、請求項３０に記載の方法。
［請求項３４］
前記距離ベクトルの２つの軸平行偏差ベクトルへの前記分解は、前記目標軌道軸に対して最も大きな角度を成す３つの主患者軸のうちの２つと、前記目標軌道軸に対して垂直な平面上に投影され、かつ前記手術器具の先端から前記目標軌道軸上の最も近い点に結合される視線軸、及び前記投影される視線軸に対する同じ平面内の垂直ベクトルとから導出される２つの固有ベクトルに関連する、請求項２７に記載の方法。
［請求項３５］
前記拡張現実位置アライメント可視化表示を伸縮することをさらに含み、
前記距離ベクトルの前記分解の前記伸縮は、絶対最大可視化長及び前記ヘッドマウントディスプレイの視界に関連する最大可視化長に制限される、請求項２７に記載の方法。
［請求項３６］
前記２つの偏差角の前記分解は、前記目標軌道軸に対して最も大きな角度を成す３つの主患者軸のうちの２つと、前記目標軌道軸に対して垂直な平面上に投影され、かつ前記手術器具の先端から前記目標軌道軸上の最も近い点に結合される視線軸、及び前記投影される視線軸に対する同じ平面内の垂直ベクトルとから導出される２つの固有ベクトルに関連する、請求項２７に記載の方法。
［請求項３７］
前記偏差角の可視化表示は、前記器具軸、前記目標軌道軸、並びに前記器具軸及び前記目標軌道軸の両方の基端を接続する円弧の位置補正拡張現実可視化表示を含む、請求項３０に記載の方法。
［請求項３８］
前記偏差角の可視化表示は、前記器具軸の位置補正拡張現実可視化表示の軸測投影を含む、請求項３０に記載の方法。
［請求項３９］
前記手術器具の先端から前記目標軌道軸までの距離を記述する第１の拡張現実テキストラベルと、前記器具軸と前記角度可視化表示内、又は付近に位置決めされる前記目標軌道軸との間における度単位の偏差角を記述する第２の拡張現実テキストラベルとを表示することをさらに含む、請求項２９に記載の方法。
［請求項４０］
前記目標軌道軸の目標点にて配置又は除去されることになる目標物の拡張現実可視化表示を表示することをさらに含み、
前記目標物の拡張現実可視化表示は、前記手術器具の目標位置又は現在の位置に位置決めされる、請求項２７に記載の方法。
［請求項４１］
前記目標軌道軸の目標点にて配置又は除去されることになる目標物の拡張現実可視化表示のステップをさらに含む、請求項２７に記載の方法。
［請求項４２］
前記拡張現実可視化表示のための異なる色は、白色点の周りの色度空間内における交互の色を等距離に配置し、かつ外挿によってその主波長を選択することによって、軌道の基調色から選択され、及び／又は、
前記色は、黄色、ピンク、緑色、及びシアンを含む群から選択される高輝度の補色から選択される、請求項２８に記載の方法。
［請求項４３］
患者画像データのスライス部分の拡張現実可視化表示を表示するステップをさらに含み、このステップは、
空間内の固定フレーム、頭部の動きに追従するフローティングフレーム、患者画像データのスライス部分の位置におけるインプレース、又はユーザ定義の固定空間ベクトルによる前記患者位置からのオフセットのうちの１つであるように外科医によって選択される拡張現実可視化表示場所を選択するステップと、
患者画像データ色情報から、アルファ透明度目標範囲を含む拡張現実可視化表示色情報にカラーマッピングするステップと、
前記拡張現実可視化表示場所を選択し、位置決めし直し、そして患者画像データの前記スライス部分を選択するために、ユーザが音声、マウス、キーボード、凝視、又は手術器具のいずれかを使用することができるようにユーザインタラクションを実施するステップと
を含む請求項２７に記載の方法。
［請求項４４］
対象領域インジケータを表示するステップをさらに含み、前記対象領域インジケータは、
前記対象領域付近に示される拡張現実テキストラベル、又は、
前記対象領域を画定する拡張現実境界可視化表示と、
前記対象領域までのナビゲートされる器具の距離に基づいて、前記拡張現実テキストラベル及び拡張現実境界可視化表示をユーザにハイライト表示するカラーマッピング手法と
を含む、請求項２７に記載の方法。
［請求項４５］
手術ナビゲーションシステム、前記手術ナビゲーションシステムによって追跡可能な患者トラッカ、及び前記手術ナビゲーションシステムによって追跡可能な手術器具であって、前記手術器具案内システムは、
ディスプレイと、
拡張現実位置アライメント可視化表示を、前記ディスプレイ上の目標軌道軸上の目標点から前記手術器具までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして前記ディスプレイ上に表示するように構成されるコントローラと
を備え、及び／又は、
前記コントローラは、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角を含む拡張現実角度アライメント可視化表示を前記ディスプレイ上に表示するようにさらに構成される、手術ナビゲーションシステム、患者トラッカ、及び手術器具。
なお、出願当初の請求項は以下の通りであった。
［請求項１］
レンズを有するヘッドマウントディスプレイと、
追跡ユニットを有する手術ナビゲーションシステムと、
患者データに整合され、かつ前記手術ナビゲーションシステムによって追跡可能な患者トラッカと、
前記手術ナビゲーションシステムによって追跡可能な器具トラッカを有する手術器具であって、器具軸を規定する手術器具と、
拡張現実位置アライメント可視化表示を、前記ヘッドマウントディスプレイの前記レンズ上に表示するように、目標軌道軸上の目標点から前記手術器具上の点までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして生成する構成であるコントローラと
を備える手術ナビゲーションシステム。
［請求項２］
前記コントローラが、前記レンズ上に表示される前記２つの軸平行偏差ベクトルを伸縮するように構成される、請求項１に記載の手術ナビゲーションシステム。
［請求項３］
前記コントローラが、前記レンズ上に表示するように、拡張現実角度アライメント可視化表示を生成する構成である、請求項１に記載の手術ナビゲーションシステム。
［請求項４］
前記拡張現実角度アライメント可視化表示が、前記器具軸に対して平行な軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角を含む、請求項３に記載の手術ナビゲーションシステム。
［請求項５］
前記コントローラは、ユーザが前記偏差角の小さな偏差を確認できるようにするために、前記偏差角を表す第１の線及び第２の線の長さを伸長するように構成される、請求項４に記載の手術ナビゲーションシステム。
［請求項６］
前記拡張現実角度アライメント可視化表示は、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度における２つの偏差角への分解を含む、請求項３に記載の手術ナビゲーションシステム。
［請求項７］
前記２つの偏差角を表す線の長さは、ユーザが前記２つの偏差角の小さな偏差を確認できるようにするために、伸長されるように構成される、請求項６に記載の手術ナビゲーションシステム。
［請求項８］
前記拡張現実位置アライメント可視化表示が第１の色を含み、
前記拡張現実角度アライメント可視化表示が前記第１の色から区別可能である異なる色を含む、請求項３～７のいずれか一項に記載の手術ナビゲーションシステム。
［請求項９］
手術ナビゲーションシステム、前記手術ナビゲーションシステムによって追跡可能な患者トラッカ、及び前記手術ナビゲーションシステムによって追跡可能な手術器具と共に使用するヘッドマウントディスプレイシステムであって、
レンズと、
前記レンズ上にて、拡張現実位置アライメント可視化表示を、目標軌道軸上の目標点から前記手術器具までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして表示するように構成されるコントローラと
を備えるヘッドマウントディスプレイシステム。
［請求項１０］
前記コントローラが、前記レンズ上に拡張現実角度アライメント可視化表示を生成するように構成される、請求項９に記載のヘッドマウントディスプレイシステム。
［請求項１１］
前記拡張現実角度アライメント可視化表示が、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角を含み、
前記偏差角を表す第１の線及び第２の線の長さは、ユーザが小さな偏差を確認できるようにするために、伸長されるように構成される、請求項１０に記載のヘッドマウントディスプレイシステム。
［請求項１２］
前記拡張現実角度アライメント可視化表示が、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度における２つの偏差角への分解を含み、
前記２つの偏差角を表す線の長さは、ユーザが小さな偏差を確認できるようにするために、伸長されるように構成される、請求項１０に記載のヘッドマウントディスプレイシステム。
［請求項１３］
前記拡張現実位置アライメント可視化表示が第１の色を含み、
前記拡張現実角度アライメント可視化表示が、前記第１の色から区別可能である異なる色を含む、請求項１０～１２のいずれか一項に記載のヘッドマウントディスプレイシステム。
［請求項１４］
手術ナビゲーションシステムと、先端を有し、かつ目標軌道軸を含む手術計画を考慮して器具軸を少なくとも部分的に規定する手術器具とを備えるヘッドマウントディスプレイシステムを用いて、手術ナビゲーション情報を表示する方法であって、
ヘッドマウントディスプレイ上に２つの軸平行偏差ベクトルを含む拡張現実位置アライメント可視化表示を表示することであって、前記２つの軸平行偏差ベクトルが、第１の偏差ベクトル及び第２の偏差ベクトルを含み、前記第１の偏差ベクトル及び前記第２の偏差ベクトルが、前記目標軌道軸上の点から前記手術器具の前記先端までの距離ベクトルの分解を表す、表示することと、
前記ヘッドマウントディスプレイの視点から、前記目標軌道軸に対する前記手術器具の相対的な場所を示すために、前記ヘッドマウントディスプレイ上に表示された前記拡張現実位置アライメント可視化表示を更新することと
を含む方法。
［請求項１５］
前記距離ベクトルの２つの軸平行偏差ベクトルへの前記分解が、前記目標軌道軸に対して最も大きな角度を成す患者の向きから導出される３つの主患者軸のうち２つから導出される２つの固有ベクトルに関連する、請求項１４に記載の方法。
［請求項１６］
前記距離ベクトルの２つの軸平行偏差ベクトルへの前記分解が、前記目標軌道軸に対して垂直な平面上に投影され、かつ前記手術器具の先端から前記目標軌道軸上の最も近い点に結合される視線軸と、前記投影される視線軸に対する同じ平面内の垂直ベクトルとから導出される２つの固有ベクトルに関連する、請求項１４に記載の方法。
［請求項１７］
前記手術器具の前記軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を示す偏差角を含む拡張現実角度アライメント可視化表示を表示することをさらに含む、請求項１４に記載の方法。
［請求項１８］
前記ヘッドマウントディスプレイの視点から、前記目標軌道軸に対する前記手術器具の軸の角度を示すために、前記拡張現実角度アライメントを更新することをさらに含む、請求項１７に記載の方法。
［請求項１９］
前記拡張現実位置アライメント可視化表示又は前記拡張現実角度アライメント可視化表示を表示するために第１の色を使用し、かつ前記拡張現実位置アライメント可視化表示又は前記拡張現実角度アライメント可視化表示の他方のために異なる色を使用することをさらに含む、請求項１７又は１８に記載の方法。
［請求項２０］
前記目標軌道軸に対する前記手術器具の距離に基づいて、前記拡張現実位置アライメント可視化表示及び／又は前記拡張現実角度アライメント可視化表示をユーザに対してハイライト表示することをさらに含む、請求項１７又は１８に記載の方法。
［請求項２１］
前記手術器具と前記目標軌道軸との間の距離は、目標物と前記目標軌道軸の入口点とを接続する線分と、前記目標物と前記目標軌道軸の入口点とを接続する線と、及び前記目標物又は前記軌道の入口点とから成る群から選択される少なくとも１つの基点に向けた前記手術器具の先端の距離に基づいて計算される、請求項１４に記載の方法。
［請求項２２］
患者トラッカ及び手術器具トラッカを含む手術ナビゲーションシステムと共に使用するヘッドマウントディスプレイであって、前記手術ナビゲーションシステムは、患者データに基づいて、手術器具の先端によって少なくとも部分的に規定される器具軸と目標軌道軸とのアライメントのために、前記目標軌道軸を計画するように構成される、ヘッドマウントディスプレイであって、
レンズを備え、
ヘッドマウントディスプレイが、前記目標軌道軸上の点から前記手術器具の先端までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルを含む拡張現実位置アライメント可視化表示を表示するように構成され、及び／又は、
ヘッドマウントディスプレイが、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角を含む拡張現実角度アライメント可視化表示を表示するようにさらに構成される、ヘッドマウントディスプレイ。
［請求項２３］
前記２つの軸平行偏差ベクトルは、ユーザが前記手術器具軸から前記目標軌道軸までの距離の小さな偏差を確認できるようにするために、長さを伸長されるように構成される、請求項２２に記載のシステム。
［請求項２４］
前記偏差角は、ユーザが前記第１の角度ベクトルと前記第２の角度ベクトルとの間の角度における小さな偏差を確認できるようにするために、拡大されるように構成される、請求項２２に記載のシステム。
［請求項２５］
前記拡張現実角度アライメント可視化表示が、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度における２つの偏差角への分解を含む、請求項２２に記載のシステム。
［請求項２６］
前記拡張現実位置アライメント可視化表示が第１の色を含み、
前記拡張現実角度アライメント可視化表示が第２の色を含み、
前記第１の色が前記第２の色から区別可能である、請求項２２に記載のシステム。
［請求項２７］
手術ナビゲーションシステムを用いて手術器具を位置合わせする方法であって、前記手術ナビゲーションシステムが追跡ユニットを備え、前記追跡ユニットが、ヘッドマウントディスプレイ、患者トラッカ、及び先端を有すると共に器具軸を規定する手術器具に結合される手術器具トラッカの位置を追跡するように構成され、前記手術ナビゲーションシステムが、前記患者トラッカに整合される患者データに基づいて、目標軌道軸を計画するように構成される、方法であって、
前記ヘッドマウントディスプレイ上に、拡張現実位置アライメント可視化表示を、前記目標軌道軸上の点から前記手術器具の先端までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして表示するステップ、及び／又は、
前記ヘッドマウントディスプレイ上に、前記手術器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を示す偏差角を含む拡張現実角度アライメント可視化表示を表示するステップ
を含み、かつ
前記ヘッドマウントディスプレイの視点から、前記目標軌道軸に対する前記手術器具軸の場所を示すために、前記追跡ユニットに基づいて、前記ヘッドマウントディスプレイ上に表示された前記拡張現実位置アライメント可視化表示及び／又は前記拡張現実角度アライメント可視化表示を連続的に更新するステップ
を含む方法。
［請求項２８］
前記目標軌道軸が目標物と入口点とを接続する線によって規定される、請求項２７に記載の方法。
［請求項２９］
前記ヘッドマウントディスプレイ上に前記手術器具の器具軸の拡張現実可視化表示を表示することをさらに含む、請求項２７又は２８に記載の方法。
［請求項３０］
ユーザがそれぞれのアライメント可視化表示を区別できるようにすべく、前記拡張現実位置アライメント可視化表示及び／又は前記拡張現実角度アライメント可視化表示を表示するように異なる色を使用することと、
前記目標軌道軸への前記手術器具の距離に基づいて、前記拡張現実位置アライメント可視化表示及び／又は前記拡張現実角度アライメント可視化表示をユーザに対してハイライト表示することと
をさらに含む請求項２７に記載の方法。
［請求項３１］
前記手術器具と前記目標軌道軸との間の距離が、目標物と前記目標軌道軸の入口点とを接続する線分と、前記目標物と前記目標軌道軸の前記入口点とを接続する線と、前記目標物及び前記軌道の前記入口点とからなる群から選択される少なくとも１つに向けた前記手術器具の先端の距離に基づいて計算される、請求項２７に記載の方法。
［請求項３２］
前記目標軌道軸を前記ハイライト表示することが、最短距離を有する軌道を除く全ての追加の軌道をユーザから隠すことを含む、請求項３０に記載の方法。
［請求項３３］
前記最短距離を有する軌道を除く全ての追加の軌道を高い透明度で示す、請求項３０に記載の方法。
［請求項３４］
前記距離ベクトルの２つの軸平行偏差ベクトルへの前記分解は、前記目標軌道軸に対して最も大きな角度を成す３つの主患者軸のうちの２つと、前記目標軌道軸に対して垂直な平面上に投影され、かつ前記手術器具の先端から前記目標軌道軸上の最も近い点に結合される視線軸、及び前記投影される視線軸に対する同じ平面内の垂直ベクトルとから導出される２つの固有ベクトルに関連する、請求項２７に記載の方法。
［請求項３５］
前記拡張現実位置アライメント可視化表示を伸縮することをさらに含み、
前記距離ベクトルの前記分解の前記伸縮は、絶対最大可視化長及び前記ヘッドマウントディスプレイの視界に関連する最大可視化長に制限される、請求項２７に記載の方法。
［請求項３６］
前記２つの偏差角の前記分解は、前記目標軌道軸に対して最も大きな角度を成す３つの主患者軸のうちの２つと、前記目標軌道軸に対して垂直な平面上に投影され、かつ前記手術器具の先端から前記目標軌道軸上の最も近い点に結合される視線軸、及び前記投影される視線軸に対する同じ平面内の垂直ベクトルとから導出される２つの固有ベクトルに関連する、請求項２７に記載の方法。
［請求項３７］
前記偏差角の可視化表示は、前記器具軸、前記目標軌道軸、並びに前記器具軸及び前記目標軌道軸の両方の基端を接続する円弧の位置補正拡張現実可視化表示を含む、請求項３０に記載の方法。
［請求項３８］
前記偏差角の可視化表示は、前記器具軸の位置補正拡張現実可視化表示の軸測投影を含む、請求項３０に記載の方法。
［請求項３９］
前記手術器具の先端から前記目標軌道軸までの距離を記述する第１の拡張現実テキストラベルと、前記器具軸と前記角度可視化表示内、又は付近に位置決めされる前記目標軌道軸との間における度単位の偏差角を記述する第２の拡張現実テキストラベルとを表示することをさらに含む、請求項２９に記載の方法。
［請求項４０］
前記目標軌道軸の目標点にて配置又は除去されることになる目標物の拡張現実可視化表示を表示することをさらに含み、
前記目標物の拡張現実可視化表示は、前記手術器具の目標位置又は現在の位置に位置決めされる、請求項２７に記載の方法。
［請求項４１］
前記目標軌道軸の目標点にて配置又は除去されることになる目標物の拡張現実可視化表示のステップをさらに含む、請求項２７に記載の方法。
［請求項４２］
前記拡張現実可視化表示のための異なる色は、白色点の周りの色度空間内における交互の色を等距離に配置し、かつ外挿によってその主波長を選択することによって、軌道の基調色から選択され、及び／又は、
前記色は、黄色、ピンク、緑色、及びシアンを含む群から選択される高輝度の補色から選択される、請求項２８に記載の方法。
［請求項４３］
患者画像データのスライス部分の拡張現実可視化表示を表示するステップをさらに含み、このステップは、
空間内の固定フレーム、頭部の動きに追従するフローティングフレーム、患者画像データのスライス部分の位置におけるインプレース、又はユーザ定義の固定空間ベクトルによる前記患者位置からのオフセットのうちの１つであるように外科医によって選択される拡張現実可視化表示場所を選択するステップと、
患者画像データ色情報から、アルファ透明度目標範囲を含む拡張現実可視化表示色情報にカラーマッピングするステップと、
前記拡張現実可視化表示場所を選択し、位置決めし直し、そして患者画像データの前記スライス部分を選択するために、ユーザが音声、マウス、キーボード、凝視、又は手術器具のいずれかを使用することができるようにユーザインタラクションを実施するステップと
を含む請求項２７に記載の方法。
［請求項４４］
対象領域インジケータを表示するステップをさらに含み、前記対象領域インジケータは、
前記対象領域付近に示される拡張現実テキストラベル、又は、
前記対象領域を画定する拡張現実境界可視化表示と、
前記対象領域までのナビゲートされる器具の距離に基づいて、前記拡張現実テキストラベル及び拡張現実境界可視化表示をユーザにハイライト表示するカラーマッピング手法と
を含む、請求項２７に記載の方法。
［請求項４５］
手術ナビゲーションシステム、前記手術ナビゲーションシステムによって追跡可能な患者トラッカ、及び前記手術ナビゲーションシステムによって追跡可能な手術器具であって、前記手術器具案内システムは、
ディスプレイと、
拡張現実位置アライメント可視化表示を、前記ディスプレイ上の目標軌道軸上の目標点から前記手術器具までの距離ベクトルの分解を含む２つの軸平行偏差ベクトルとして前記ディスプレイ上に表示するように構成されるコントローラと
を備え、及び／又は、
前記コントローラは、前記器具軸を表す第１の角度ベクトルと、前記目標軌道軸を表す第２の角度ベクトルとの間の角度を表す偏差角を含む拡張現実角度アライメント可視化表示を前記ディスプレイ上に表示するようにさらに構成される、手術ナビゲーションシステム、患者トラッカ、及び手術器具。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
