特開2022-133440ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022133440
(43)【公開日】2022-09-13
(54)【発明の名称】ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法
(51)【国際特許分類】
A61B 34/20 20160101AFI20220906BHJP
【ＦＩ】
A61B34/20
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022109991
(22)【出願日】2022-07-07
(62)【分割の表示】P 2019551366の分割
【原出願日】2018-03-16
(31)【優先権主張番号】62/472,705
(32)【優先日】2017-03-17
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】516108258
【氏名又は名称】インテリジョイント サージカル インク．
(74)【代理人】
【識別番号】110000534
【氏名又は名称】弁理士法人真明センチュリー
(72)【発明者】
【氏名】ファンソン・リチャード・タイラール
(72)【発明者】
【氏名】ラディオ・アンドレ・ノヴォミール
(72)【発明者】
【氏名】シュワルツコフ・ラン
(72)【発明者】
【氏名】スミス・ジョナサン
(72)【発明者】
【氏名】ベッカー・ルーク・エイドリアン・ウェバー
(57)【要約】 （修正有）
【課題】手術ナビゲーションのための拡張現実システム及び方法を提供する。
【解決手段】拡張現実オーバーレイが追跡される解剖学的構造の画像の上に表示される。光学センサユニットが、実３次元空間の解剖学的構造を含む対象に関連付けられたターゲットの追跡画像と共に解剖学的構造の可視画像を提供する。解剖学的構造の実３次元空間の姿勢から、計算上の３次元空間における解剖学的構造の姿勢を生成して、レジストレーションが行われる。計算上の３次元空間のオーバーレイ姿勢は、オーバーレイが所望の姿勢で解剖学的構造上に描画されるように、解剖学的構造の姿勢と位置合わせされる。オーバーレイは、一般的な又は患者特有の骨または他の解剖学的構造もしくは対象のオーバーレイモデルから生成できる。かかるオーバーレイによって、解剖学的構造のレジストレーションを行うことができる。
【選択図】図１
【解決手段】拡張現実オーバーレイが追跡される解剖学的構造の画像の上に表示される。光学センサユニットが、実３次元空間の解剖学的構造を含む対象に関連付けられたターゲットの追跡画像と共に解剖学的構造の可視画像を提供する。解剖学的構造の実３次元空間の姿勢から、計算上の３次元空間における解剖学的構造の姿勢を生成して、レジストレーションが行われる。計算上の３次元空間のオーバーレイ姿勢は、オーバーレイが所望の姿勢で解剖学的構造上に描画されるように、解剖学的構造の姿勢と位置合わせされる。オーバーレイは、一般的な又は患者特有の骨または他の解剖学的構造もしくは対象のオーバーレイモデルから生成できる。かかるオーバーレイによって、解剖学的構造のレジストレーションを行うことができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
患者に関連した拡張現実を提供するコンピュータ実装方法であって、
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、
前記解剖学的構造の前記対応する位置および向きに対する前記計算上の３次元空間における所望の位置および向きに、拡張現実オーバーレイのオーバーレイモデルの位置合わせを行い、
ディスプレイにおいて前記所望の位置および向きに表示するために前記拡張現実オーバーレイを描画して提供することを特徴とする方法。
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、
前記解剖学的構造の前記対応する位置および向きに対する前記計算上の３次元空間における所望の位置および向きに、拡張現実オーバーレイのオーバーレイモデルの位置合わせを行い、
ディスプレイにおいて前記所望の位置および向きに表示するために前記拡張現実オーバーレイを描画して提供することを特徴とする方法。
【請求項2】
前記解剖学的構造と前記拡張現実オーバーレイとを同時に視覚化するために前記ディスプレイ上に表示するように、前記実３次元空間の前記画像を提供することを特徴とする請求項１記載の方法。
【請求項3】
前記光学センサユニットが、前記光学センサユニットによって２次元で提供される前記実３次元空間の前記画像から３次元測定値を決定するための較正データを含み、前記追跡情報を決定するステップが、前記少なくとも１のプロセッサにより前記較正データを使用して前記追跡情報を決定することを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記解剖学的構造に関連付けられた前記それぞれのターゲットの姿勢が、前記実３次元空間における前記解剖学的構造の位置および向きを連続的に示し、リアルタイムで、且つ前記実３次元空間における前記解剖学的構造と前記光学センサユニットとの相対的な動きに応じて、
前記光学センサユニットから入力される前記画像を使用して、前記実３次元空間における前記解剖学的構造の動いた位置および向きを決定し、
前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、
前記動いた所望の位置および向きで表示するために前記拡張現実オーバーレイを提供することを特徴とする請求項１から３のいずれかに記載の方法。
前記光学センサユニットから入力される前記画像を使用して、前記実３次元空間における前記解剖学的構造の動いた位置および向きを決定し、
前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、
前記動いた所望の位置および向きで表示するために前記拡張現実オーバーレイを提供することを特徴とする請求項１から３のいずれかに記載の方法。
【請求項5】
前記解剖学的構造に関連付けられた前記それぞれのターゲットが、１）前記実３次元空間において、前記光学センサユニット及び前記解剖学的構造のうちの一方または両方が自由に動くことができるように、前記解剖学的構造に取り付けられるか、又は、２）前記解剖学的構造の位置が前記実３次元空間において一定のままで、前記光学センサユニットのみが前記実３次元空間において自由に動けるように、別の物体に取り付けられることを特徴とする請求項４記載の方法。
【請求項6】
前記実３次元空間の前記画像が拡大画像を含み、前記拡張現実オーバーレイが前記拡大画像に一致するように拡大されることを特徴とする請求項１から５のいずれかに記載の方法。
【請求項7】
前記解剖学的構造が大腿骨であり、前記解剖学的構造に関連付けられた前記ターゲットのうちの１が、前記大腿骨に取り付けられた大腿骨ターゲットであることを特徴とする請求項１から６のいずれかに記載の方法。
【請求項8】
前記オーバーレイモデルが、一般的な又は患者特有の大腿骨モデルの３次元モデルであり、前記拡張現実オーバーレイが、一般的な又は患者特有の大腿骨をそれぞれ表す画像であることを特徴とする請求項７記載の方法。
【請求項9】
前記解剖学的構造が骨盤であり、前記解剖学的構造に関連付けられた前記ターゲットが骨盤ターゲットであることを特徴とする請求項１から６のいずれかに記載の方法。
【請求項10】
前記オーバーレイモデルが、一般的な又は患者特有の骨盤モデルの３次元モデルであり、前記拡張現実オーバーレイが、それぞれ一般的な又は患者特有の骨盤を表す画像であることを特徴とする請求項９記載の方法。
【請求項11】
前記オーバーレイモデルが、機能軸モデルの３次元モデルであり、前記拡張現実オーバーレイが、機能軸および／または更なる軸もしくは面の画像であり、その位置が、前記解剖学的構造の前記機能軸の位置に対して決定されることを特徴とする請求項１から６のいずれかに記載の方法。
【請求項12】
前記解剖学的構造が前記解剖学的構造の端部を中心に回転する際、ターゲット画像から得られる追跡情報を使用して、前記解剖学的構造の前記機能軸を決定することを特徴とする請求項１１記載の方法。
【請求項13】
前記更なる軸および／または面が切除面であることを特徴とする請求項１２に記載の方法。
【請求項14】
前記機能軸モデルに沿った前記切除面の位置が、ユーザ入力に応じて調整可能であり、それにより、前記拡張現実オーバーレイにおいて前記切除面の所望の位置および向きが調整されることを特徴とする請求項１３記載の方法。
【請求項15】
前記骨が大腿骨であることを特徴とする請求項１１から１４のいずれかに記載の方法。
【請求項16】
前記計算上の３次元空間において前記患者の同じ脚の脛骨のレジストレーションを行い、前記脛骨が前記１又は複数のターゲットの脛骨ターゲットに結合され、前記少なくとも１のプロセッサが、前記実３次元空間における前記脛骨の位置および向きを決定し、前記脛骨ターゲットの画像から決定される追跡情報から、前記計算上の３次元空間における前記脛骨の対応する位置および向きを生成し、
前記脛骨の前記対応する位置および向きに対して、前記計算上の３次元空間における第２の所望の位置および向きに、第２の拡張現実オーバーレイの第２のオーバーレイモデルを位置合わせし、
前記第２の所望の位置および向きで前記ディスプレイに表示するために前記第２の拡張現実オーバーレイを提供することを特徴とする請求項１５記載の方法。
前記脛骨の前記対応する位置および向きに対して、前記計算上の３次元空間における第２の所望の位置および向きに、第２の拡張現実オーバーレイの第２のオーバーレイモデルを位置合わせし、
前記第２の所望の位置および向きで前記ディスプレイに表示するために前記第２の拡張現実オーバーレイを提供することを特徴とする請求項１５記載の方法。
【請求項17】
レジストレーションが、プローブに取り付けられた前記ターゲットのうちの１の画像を使用し、前記プローブが、前記脛骨の第１の端部を定義するための前記脛骨上の第１の代表的な位置と、前記脛骨の第２の端部および機能軸を定義するための前記患者の踝を中心とする第２の識別位置とを特定することを特徴とする請求項１６記載の方法。
【請求項18】
前記実３次元空間において前記脛骨の位置および向きの動きを追跡し、
前記実３次元空間における前記脛骨の位置および向きの前記動きに応じて、前記脛骨の前記対応する位置および向きを更新し、
前記動いた脛骨の位置および向きに対する前記第２の拡張現実オーバーレイの前記位置合わせを更新して、動作後の前記第２の所望の位置および向きを決定し、
その動作後の前記第２の所望の位置および向きで表示するために前記第２の拡張現実オーバーレイを提供することを特徴とする請求項１６記載の方法。
前記実３次元空間における前記脛骨の位置および向きの前記動きに応じて、前記脛骨の前記対応する位置および向きを更新し、
前記動いた脛骨の位置および向きに対する前記第２の拡張現実オーバーレイの前記位置合わせを更新して、動作後の前記第２の所望の位置および向きを決定し、
その動作後の前記第２の所望の位置および向きで表示するために前記第２の拡張現実オーバーレイを提供することを特徴とする請求項１６記載の方法。
【請求項19】
前記大腿骨の前記拡張現実オーバーレイと前記脛骨の前記拡張現実オーバーレイとの各々の位置を決定し、近接および交差のうちの少なくとも一方を示すように互いに対する相対位置を示すことを特徴とする請求項１８記載の方法。
【請求項20】
前記光学センサユニットが、可視チャネル及び追跡チャネルを提供するマルチスペクトルカメラ、可視チャネル及び追跡チャネルをそれぞれ提供するデュアルカメラ、プリズムを用いて可視チャネル及び追跡チャネルを分割するデュアルイメージャ及び可視光を追跡チャネルに利用する装置のうち、いずれかの装置で構成されることを特徴とする請求項１から１９のいずれかに記載の方法。
【請求項21】
前記解剖学的構造が外科的に変更され、前記オーバーレイモデルが、人工インプラントによる置換の前の一般的な又は患者特有のヒトの解剖学的構造の３次元モデルであり、前記拡張現実オーバーレイが、それぞれ一般的な又は患者特有のヒトの解剖学的構造を表す画像であり、前記方法が、前記解剖学的構造と前記拡張現実オーバーレイとを同時に視覚化するように前記ディスプレイ上に表示するために前記患者の画像を提供する、請求項１から２０のいずれかに記載の方法。
【請求項22】
前記オーバーレイモデルが、前記患者の術前画像から定義される３次元モデルであることを特徴とする請求項１から２１のいずれかに記載の方法。
【請求項23】
前記オーバーレイモデルが、前記患者の術前画像から定義される３次元モデルであり、前記患者の前記術前画像が、罹患したヒトの解剖学的構造を示し、前記オーバーレイモデルが、疾患のない前記罹患したヒトの解剖学的構造を表すことを特徴とする請求項１から６のいずれかに記載の方法。
【請求項24】
患者に関連した拡張現実を提供するコンピュータ実装方法であって、
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
ディスプレイに同時に表示するために、ｉ）前記光学センサからの前記実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記ディスプレイ上に表示される際に前記光学センサユニットの前記視野内における初期位置および向きで表示し、
前記少なくとも１のプロセッサによって、追跡情報を使用して前記視野内における前記ターゲットのうちの１の姿勢を取り込むための入力を受信することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、前記ターゲットのうちの１が前記解剖学的構造に取り付けられ、表示される際の前記解剖学的構造が前記拡張現実オーバーレイの前記初期位置および向きと位置合わせされると前記入力を受信し、前記実３次元空間における前記解剖学的構造の位置および向きを前記姿勢が定義して、前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成し、
前記計算上の３次元空間において、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けることを特徴とする方法。
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
ディスプレイに同時に表示するために、ｉ）前記光学センサからの前記実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記ディスプレイ上に表示される際に前記光学センサユニットの前記視野内における初期位置および向きで表示し、
前記少なくとも１のプロセッサによって、追跡情報を使用して前記視野内における前記ターゲットのうちの１の姿勢を取り込むための入力を受信することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、前記ターゲットのうちの１が前記解剖学的構造に取り付けられ、表示される際の前記解剖学的構造が前記拡張現実オーバーレイの前記初期位置および向きと位置合わせされると前記入力を受信し、前記実３次元空間における前記解剖学的構造の位置および向きを前記姿勢が定義して、前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成し、
前記計算上の３次元空間において、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けることを特徴とする方法。
【請求項25】
患者に関連した拡張現実を提供するコンピュータ実装方法であって、
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記光学センサユニットの前記視野におけるオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、前記オーバーレイ位置および向きが、前記実３次元空間における前記オーバーレイターゲットの動きに応じて動き、
前記少なくとも１のプロセッサによって、追跡情報を使用して、前記オーバーレイターゲットのレジストレーション固定姿勢と、前記解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むために、前記拡張現実オーバーレイが前記実３次元空間における前記解剖学的構造の初期位置および向きと位置合わせされると位置合わせの入力を受信し、前記実３次元空間における前記解剖学的構造の前記初期位置および向きから、前記位置合わせを含む前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、
前記計算上の３次元空間において、後続して前記拡張現実オーバーレイを描画するときに使用するために、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けることを特徴とする方法。
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記光学センサユニットの前記視野におけるオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、前記オーバーレイ位置および向きが、前記実３次元空間における前記オーバーレイターゲットの動きに応じて動き、
前記少なくとも１のプロセッサによって、追跡情報を使用して、前記オーバーレイターゲットのレジストレーション固定姿勢と、前記解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むために、前記拡張現実オーバーレイが前記実３次元空間における前記解剖学的構造の初期位置および向きと位置合わせされると位置合わせの入力を受信し、前記実３次元空間における前記解剖学的構造の前記初期位置および向きから、前記位置合わせを含む前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、
前記計算上の３次元空間において、後続して前記拡張現実オーバーレイを描画するときに使用するために、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けることを特徴とする方法。
【請求項26】
前記解剖学的構造に関連付けられた前記解剖学的構造ターゲットの姿勢が、前記実３次元空間における前記解剖学的構造の位置および向きを連続的に示し、リアルタイムで、且つ前記実３次元空間における前記解剖学的構造と前記光学センサユニットとの相対な動きに応じて、
前記光学センサユニットから入力される前記画像を使用して、前記解剖学的構造の動いた位置および向きを決定し、
前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、
前記ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の画像と、ｉｉ）前記拡張現実オーバーレイの前記動いた所望の位置および向きに応じて前記拡張現実オーバーレイとを描画し提供することを特徴とする請求項２４又は２５記載の方法。
前記光学センサユニットから入力される前記画像を使用して、前記解剖学的構造の動いた位置および向きを決定し、
前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、
前記ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の画像と、ｉｉ）前記拡張現実オーバーレイの前記動いた所望の位置および向きに応じて前記拡張現実オーバーレイとを描画し提供することを特徴とする請求項２４又は２５記載の方法。
【請求項27】
前記解剖学的構造の初期レジストレーションと、前記解剖学的構造に対する前記拡張現実オーバーレイの初期の位置合わせと、初期の描画および提供とを実行し、その結果、前記拡張現実オーバーレイ及び前記解剖学的構造が表示される場合に、前記実３次元空間の前記画像において正しく位置合わせされないことを特徴とする請求項２４又は２５記載の方法。
【請求項28】
患者に関連した拡張現実を提供するコンピュータ実装方法であって、
少なくとも１のプロセッサによって、実３次元空間の画像を入力し、前記実３次元画像が、前記患者と、骨除去器具と、前記実３次元空間における前記患者の解剖学的構造に関連付けられたターゲットとを含み、前記患者と前記ターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記ターゲットに対して前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の前記解剖学的構造のレジストレーションを行い、
前記解剖学的構造の前記対応する位置および向きに対して前記計算上の３次元空間における所望の位置および向きに、計画されたインプラントの位置を含む拡張現実オーバーレイのオーバーレイモデルを位置合わせし、
前記計画されたインプラントの位置と前記骨除去器具とを同時に視覚化するようにディスプレイ上に表示するために、前記計画されたインプラントの位置と前記実３次元空間の画像とを描画して提供することを特徴とする方法。
少なくとも１のプロセッサによって、実３次元空間の画像を入力し、前記実３次元画像が、前記患者と、骨除去器具と、前記実３次元空間における前記患者の解剖学的構造に関連付けられたターゲットとを含み、前記患者と前記ターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記ターゲットに対して前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の前記解剖学的構造のレジストレーションを行い、
前記解剖学的構造の前記対応する位置および向きに対して前記計算上の３次元空間における所望の位置および向きに、計画されたインプラントの位置を含む拡張現実オーバーレイのオーバーレイモデルを位置合わせし、
前記計画されたインプラントの位置と前記骨除去器具とを同時に視覚化するようにディスプレイ上に表示するために、前記計画されたインプラントの位置と前記実３次元空間の画像とを描画して提供することを特徴とする方法。
【請求項29】
患者に関連した拡張現実を提供するコンピュータ実装方法であって、
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、
手術計画および器具のうちの１又は複数のレジストレーションを行い、
前記解剖学的構造、前記手術計画および／または前記器具の前記対応する位置および向きに対して、前記計算上の３次元空間において所望の位置および向きに対して拡張現実オーバーレイのそれぞれのオーバーレイモデルを位置合わせし、
ユーザ入力または状況に関する情報の入力に基づいて所望の表示情報を決定し、
前記所望の表示情報に基づいて、前記所望の位置および向きでディスプレイ上に表示するために前記拡張現実オーバーレイを選択的に描画して提供することを特徴とする方法。
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、
手術計画および器具のうちの１又は複数のレジストレーションを行い、
前記解剖学的構造、前記手術計画および／または前記器具の前記対応する位置および向きに対して、前記計算上の３次元空間において所望の位置および向きに対して拡張現実オーバーレイのそれぞれのオーバーレイモデルを位置合わせし、
ユーザ入力または状況に関する情報の入力に基づいて所望の表示情報を決定し、
前記所望の表示情報に基づいて、前記所望の位置および向きでディスプレイ上に表示するために前記拡張現実オーバーレイを選択的に描画して提供することを特徴とする方法。
【請求項30】
演算ユニットと、光学センサユニットと、前記光学センサユニットにより対象を追跡するための１又は複数のターゲットとを備え、前記光学センサユニットが、前記ターゲットに対する追跡情報を有する追跡画像と前記光学センサユニットの視野における処置の可視画像とを、前記演算ユニットに提供し、前記演算ユニットが、請求項１から２９のいずれか記載の方法を実行するように構成された、少なくとも１のプロセッサを有することを特徴とする手術ナビゲーションシステム。
【請求項31】
前記患者の生体のうちの１の解剖学的構造に前記光学センサユニットのうちの１及びトラッカのうちの１を、選択的に、取外し可能に且つ堅固に取り付けるためのプラットフォームであって、少なくとも１の面を有する本体を備え、前記少なくとも１の面が、光学的に追跡可能なパターンと、繰返し可能な（着脱可能な）光学センサマウントと、繰返し可能な（着脱可能な）ターゲットマウントとを提供するように構成され、前記光学的に追跡可能なパターンが、前記プラットフォームに取り付けられたときに前記光学センサユニットの視野内に延在する、プラットフォームを備え、
前記光学的に追跡可能なパターンと前記ターゲットマウントとの間の空間的関係が、ターゲット－パターン定義によって事前に定義され、
前記演算ユニットが、
前記光学センサユニットが前記プラットフォームに取り付けられると前記光学的に追跡可能なパターンの特徴を含む第１の画像を入力し、
前記光学的に追跡可能なパターンの姿勢を計算するための演算を実行し、
前記光学的に追跡可能なパターンの前記姿勢と前記ターゲット－パターン定義とに基づき、前記ターゲットマウントの前記姿勢を計算するための演算を実行し、
前記光学センサユニットが前記プラットフォームから取り除かれ、前記トラッカのうちの１が前記プラットフォームに取り付けられると、前記プラットフォームに取り付けられた前記トラッカのうちの１を含む第２の画像を入力し、
前記トラッカのうちの１が取り付けられる前記解剖学的構造を追跡するように構成されていることを特徴とする請求項３０記載の手術ナビゲーションシステム。
前記光学的に追跡可能なパターンと前記ターゲットマウントとの間の空間的関係が、ターゲット－パターン定義によって事前に定義され、
前記演算ユニットが、
前記光学センサユニットが前記プラットフォームに取り付けられると前記光学的に追跡可能なパターンの特徴を含む第１の画像を入力し、
前記光学的に追跡可能なパターンの姿勢を計算するための演算を実行し、
前記光学的に追跡可能なパターンの前記姿勢と前記ターゲット－パターン定義とに基づき、前記ターゲットマウントの前記姿勢を計算するための演算を実行し、
前記光学センサユニットが前記プラットフォームから取り除かれ、前記トラッカのうちの１が前記プラットフォームに取り付けられると、前記プラットフォームに取り付けられた前記トラッカのうちの１を含む第２の画像を入力し、
前記トラッカのうちの１が取り付けられる前記解剖学的構造を追跡するように構成されていることを特徴とする請求項３０記載の手術ナビゲーションシステム。
【発明の詳細な説明】
【関連出願への相互参照】
【0001】
本出願は、２０１７年３月１７日に出願された米国仮特許出願第６２／４７２，７０５号の米国内での先の出願の利益と、それ以外の国では上記出願に対するパリ条約の優先権とを主張し、可能な場合はその出願の内容全体が参照により本明細書に援用される。
【技術分野】
【0002】
本開示は、手術器具、人工器官、および患者の生体（例えば骨）の部分等、対象の姿勢が追跡され、処置を支援するように情報が確定され表示される、手術ナビゲーションに関し、より詳細には、処置のリアルタイムでの可視画像の上にコンピュータ生成画像を重ねること等による拡張現実システム及び方法に関する。
【背景技術】
【0003】
外科的処置において、対象（例えば、剛体および患者の生体）の空間的な位置特定に関する情報を得るために、光学、電磁気等の様々な方式を使用する手術ナビゲーションシステムが使用される。外科的処置中にディスプレイへリアルタイムで情報を表示して、外科医または他の専門家を支援できる。
【0004】
手術ナビゲーションシステムは、実３次元空間において追跡されている対象の、システムによって維持される座標系（例えば、計算上の３次元空間）へのレジストレーションを実行する。このように、対象の姿勢（位置および向き）は、計算により知ることができ、システムにおいて互いに関連付けることができる。相対姿勢情報を使用して、実３次元空間における対象に関する様々な測定値または他のパラメータを決定することができる。
【発明の概要】
【0005】
システム及び方法は、患者に関連した手術ナビゲーションの拡張現実を提供する。拡張現実（ＡＲ）オーバーレイ（例えば、コンピュータ生成画像）が、解剖学的構造が追跡される際に患者の画像の上に描画されることで、表示される。光学センサユニットは、実３次元空間での処置における視野内の対象に関連付けられたターゲットの追跡画像を、その可視画像とともにシステムに提供する。システムは、実３次元空間における姿勢から計算上（コンピュータ上）の３次元空間における解剖学的構造の対応する姿勢を生成して、解剖学的構造のレジストレーションを行う。計算上の３次元空間におけるオーバーレイの姿勢が、解剖学的構造の姿勢と位置合わせされることで、オーバーレイがディスプレイに解剖学的構造上に描画され場合に、オーバーレイが所望の位置にあるようになる。オーバーレイは、対象の３次元モデル、一般的な若しくは患者特有の骨、または他の解剖学的構造等のオーバーレイモデルから生成できる。拡張現実オーバーレイは、例えば、追跡された解剖学的構造を、ディスプレイ上に描画されたオーバーレイと位置合わせされるように動かすことにより、また、解剖学的構造の位置を維持した状態で、計算上の３次元空間のオーバーレイに位置合わせされるよう、実３次元空間におけるトラッカを動かすことにより、解剖学的構造のレジストレーションを支援する場合において有用である。位置合わせが固定されると、解剖学的構造のレジストレーションが行われる。その後、オーバーレイは、解剖学的構造が追跡される際に解剖学的構造の姿勢に位置合わせされる。
【0006】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサによって実３次元空間の画像を入力し、実３次元空間が、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、１又は複数のターゲットのそれぞれに対して画像から追跡情報を決定し、解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、実３次元空間における解剖学的構造の位置および向きから、少なくとも１のプロセッサによって維持される計算上の３次元空間における解剖学的構造の対応する位置および向きを生成して、計算上の３次元空間において患者の解剖学的構造のレジストレーションを行い、解剖学的構造の対応する位置および向きに対する計算上の３次元空間における所望の位置および向きに、拡張現実オーバーレイのオーバーレイモデルの位置合わせを行い、ディスプレイにおいて所望の位置および向きに表示するために拡張現実オーバーレイを描画して提供する。
【0007】
本方法は、解剖学的構造と拡張現実オーバーレイとを同時に視覚化するためにディスプレイ上に表示するように、実３次元空間の画像を提供しても良い。
【0008】
光学センサユニットは、光学センサユニットによって２次元で提供される実３次元空間の画像から３次元測定値を決定するための較正データを含むことができ、追跡情報を決定するステップは、少なくとも１のプロセッサにより較正データを使用して追跡情報を決定しても良い。
【0009】
本方法は、解剖学的構造に関連付けられたそれぞれのターゲットの姿勢は、実３次元空間における解剖学的構造の位置および向きを連続的に示し、リアルタイムに、且つ実３次元空間における解剖学的構造と光学センサユニットとの相対的な動きに応じて、光学センサユニットから入力される画像を使用して、実３次元空間における解剖学的構造の動いた位置および向きを決定し、解剖学的構造の動いた位置および向きに対して拡張現実オーバーレイの位置合わせを更新することで、拡張現実オーバーレイの動いた所望の位置および向きを決定し、動いた所望の位置および向きで表示するために拡張現実オーバーレイを提供しても良い。解剖学的構造に関連付けられたそれぞれのターゲットは、１）実３次元空間において、光学センサユニット及び解剖学的構造のうちの一方または両方が自由に動くことができるように、解剖学的構造に取り付けられるか、又は、２）解剖学的構造の位置が実３次元空間において一定のままで、光学センサユニットのみが実３次元空間において自由に動けるように、別の物体に取り付けられる。
【0010】
実３次元空間の画像は拡大画像を含むことができ、拡張現実オーバーレイは拡大画像に一致するように拡大できる。
【0011】
解剖学的構造は大腿骨とすることができ、解剖学的構造に関連付けられたターゲットのうちの１つは、大腿骨に取り付けられた大腿骨ターゲットである。オーバーレイモデルは、一般的な又は患者特有の大腿骨モデルの３次元モデルとすることができ、拡張現実オーバーレイは、それぞれ一般的な又は患者特有の大腿骨を表す画像である。
【0012】
解剖学的構造は骨盤であり、解剖学的構造に関連付けられたターゲットのうちの１つは骨盤ターゲットである。オーバーレイモデルは、一般的な又は患者特有の骨盤モデルの３次元モデルとすることができ、拡張現実オーバーレイは、それぞれ一般的な又は患者特有の骨盤を表す画像である。
【0013】
オーバーレイモデルは、機能軸モデルとすることができ、拡張現実オーバーレイは、機能軸および／または更なる軸もしくは面の画像であり、その位置は、解剖学的構造の機能軸の位置に対して決定される。本方法は、解剖学的構造が解剖学的構造の端部を中心に回転する際、ターゲット画像から得られる追跡情報を使用して、解剖学的構造の機能軸を決定しても良い。更なる軸および／または面は、切除面でも良い。機能軸モデルに沿った切除面の位置は、ユーザ入力に応じて調整可能であり、それにより、拡張現実オーバーレイにおいて切除面の所望の位置および向きを調整できる。骨は大腿骨でも良い。本方法は、計算上の３次元空間において患者の同じ脚の脛骨のレジストレーションを行い、脛骨が１又は複数のターゲットの脛骨ターゲットに結合され、少なくとも１のプロセッサが、実３次元空間における脛骨の位置および向きを決定し、脛骨ターゲットの画像から決定される追跡情報から、計算上の３次元空間における脛骨の対応する位置および向きを生成し、脛骨の対応する位置および向きに対して、計算上の３次元空間における第２の所望の位置および向きに、第２の拡張現実オーバーレイの第２のオーバーレイモデルを位置合わせし、第２の所望の位置および向きでディスプレイに表示するために第２の拡張現実オーバーレイを提供しても良い。脛骨のレジストレーションを行うことは、プローブに取り付けられたターゲットのうちの１の画像を使用し、プローブは、脛骨の第１の端部を定義するための脛骨上の第１の代表的な位置と、脛骨の第２の端部および機能軸を定義するための患者の踝を中心とする第２の識別位置とを特定する。本方法は、実３次元空間において脛骨の位置および向きの動きを追跡し、実３次元空間における脛骨の位置および向きの動きに応じて、脛骨の対応する位置および向きを更新し、動いた脛骨の位置および向きに対する第２の拡張現実オーバーレイの位置合わせを更新して、動作後の第２の所望の位置および向きを決定し、動作後の第２の所望の位置および向きで表示するために第２の拡張現実オーバーレイを提供しても良い。本方法は、大腿骨の拡張現実オーバーレイと脛骨の拡張現実オーバーレイとの各々の位置を決定し、近接および交差のうちの少なくとも一方を示すように互いに対する相対位置を示しても良い。
【0014】
光学センサユニットは、（ａ）可視チャネル及び追跡チャネルを提供するマルチスペクトルカメラ、（ｂ）可視チャネル及び追跡チャネルをそれぞれ提供するデュアルカメラ、（ｃ）プリズムを用いて可視チャネル及び追跡チャネルを分割するデュアルイメージャ及び（ｄ）可視光を追跡チャネルに使用する装置のうちの、いずれかの装置で構成できる。
【0015】
解剖学的構造は外科的に変更することができ、オーバーレイモデルは、人工インプラントによる置換の前の一般的な又は患者特有のヒトの解剖学的構造の３次元モデルであり、拡張現実オーバーレイは、それぞれ一般的な又は患者特有のヒトの解剖学的構造を表す画像である。本方法は、解剖学的構造と拡張現実オーバーレイとを、同時に視覚化するために、患者の画像をディスプレイ上に表示しても良い。
【0016】
オーバーレイモデルは、患者の術前画像から定義される患者特有モデルでも良い。
【0017】
患者の術前画像は、罹患したヒトの解剖学的構造を示すことができ、オーバーレイモデルは、疾患のない罹患したヒトの解剖学的構造を表すことができる。
【0018】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサによって実３次元空間の画像を入力し、実３次元空間が、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、患者と１又は複数のターゲットとを含む実３次元空間における視野の前記画像を単一の光学センサユニットから入力し、１又は複数のターゲットのそれぞれに対して画像から追跡情報を決定し、ディスプレイに同時に表示するために、ｉ）光学センサからの実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、拡張現実オーバーレイが、オーバーレイモデルから定義され、且つ、ディスプレイ上に表示される際に光学センサユニットの視野内における初期位置および向きで表示し、少なくとも１のプロセッサにより、追跡情報を使用して視野内におけるターゲットのうちの１の姿勢を取り込むための入力を受信することにより、計算上の３次元空間における患者の解剖学的構造のレジストレーションを行い、ターゲットのうちの１が解剖学的構造に取り付けられ、表示される際の解剖学的構造が拡張現実オーバーレイの初期位置および向きと位置合わせの入力を受信し、実３次元空間における解剖学的構造の位置および向きを姿勢が定義して、計算上の３次元空間における解剖学的構造の対応する位置および向きを生成し、計算上の３次元空間において、解剖学的構造の対応する位置および向きに対する拡張現実オーバーレイの所望の位置および向きを関連付ける。
【0019】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサによって実３次元空間の画像を入力し、実３次元空間が、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する（単一の）光学センサユニットから画像を入力し、１又は複数のターゲットのそれぞれに対して画像から追跡情報を決定し、ディスプレイに同時に表示するために、ｉ）光学センサユニットからの実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、拡張現実オーバーレイが、オーバーレイモデルから定義され、且つ、光学センサユニットの視野におけるオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、オーバーレイ位置および向きが、実３次元空間におけるオーバーレイターゲットの動きに応じて動き、少なくとも１のプロセッサにより、追跡情報を使用して、オーバーレイターゲットのレジストレーション固定姿勢と、解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むために、拡張現実オーバーレイが実３次元空間における解剖学的構造の初期位置および向きと位置合わせとの入力を受信し、実３次元空間における解剖学的構造の初期位置および向きから、計算上の３次元空間における解剖学的構造の対応する位置および向きを生成することにより、計算上の３次元空間における患者の解剖学的構造のレジストレーションを行い、計算上の３次元空間において、後続して拡張現実オーバーレイを描画するときに使用するために、解剖学的構造の対応する位置および向きに対する拡張現実オーバーレイの所望の位置および向きを関連付ける。
【0020】
オーバーレイを使用してレジストレーションを行うこれらの方法に関連して、本方法は、解剖学的構造に関連付けられた解剖学的構造ターゲットの姿勢は、実３次元空間における解剖学的構造の位置および向きを連続的に示し、リアルタイムで、且つ実３次元空間における解剖学的構造と光学センサユニットとの相対的な動きに応じて、光学センサユニットから入力される画像を使用して、解剖学的構造の動いた位置および向きを決定し、解剖学的構造の動いた位置および向きに対して拡張現実オーバーレイの位置合わせを更新して、拡張現実オーバーレイの動いた所望の位置および向きを決定し、ディスプレイに同時に表示するために、ｉ）光学センサユニットからの実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの動いた所望の位置および向きに応じて拡張現実オーバーレイとを描画し提供しても良い。
【0021】
本方法は、解剖学的構造の初期レジストレーションと、解剖学的構造に対する拡張現実オーバーレイの初期の位置合わせと、初期の描画および提供とを実行し、その結果、拡張現実オーバーレイ及び解剖学的構造が表示される場合に、実３次元空間の画像において正しく位置合わせされないようにしても良い。
【0022】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサにより、実３次元空間の画像を入力し、実３次元画像が、患者と、骨除去器具と、実３次元空間における患者の解剖学的構造に関連付けられたターゲットとを含み、患者とターゲットとを含む実３次元空間の視野を有する単一の光学センサユニットから画像を入力し、ターゲットに対して画像から追跡情報を決定し、解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、実３次元空間における解剖学的構造の位置および向きから少なくとも１のプロセッサによって維持される、計算上の３次元空間における解剖学的構造の対応する位置および向きを生成して、計算上の３次元空間において患者の解剖学的構造のレジストレーションを行い、解剖学的構造の対応する位置および向きに対して計算上の３次元空間における所望の位置および向きに、計画されたインプラントの位置を含む拡張現実オーバーレイのオーバーレイモデルを位置合わせし、計画されたインプラントの位置と骨除去器具とを同時に視覚化するようにディスプレイ上に表示するように、計画されたインプラントの位置と実３次元空間の画像とを描画して提供する。
【0023】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサによって実３次元空間の画像を入力し、実３次元空間が、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する単一の光学センサユニットから画像を入力し、１又は複数のターゲットのそれぞれに対して画像から追跡情報を決定し、解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、実３次元空間における解剖学的構造の位置および向きから少なくとも１のプロセッサによって維持される、計算上の３次元空間における解剖学的構造の対応する位置および向きを生成して、計算上の３次元空間において患者の解剖学的構造のレジストレーションを行い、手術計画および器具のうちの１又は複数のレジストレーションを行い、解剖学的構造、手術計画および／または器具の対応する位置および向きに対して、計算上の３次元空間において所望の位置および向きに対して拡張現実オーバーレイのそれぞれのオーバーレイモデルを位置合わせし、ユーザ入力または状況に関する情報の入力に基づいて所望の表示情報を決定し、所望の表示情報に基づいて、所望の位置および向きでディスプレイ上に表示するよう拡張現実オーバーレイを選択的に描画して提供する。
【0024】
演算ユニットと、光学センサユニットと、光学センサユニットにより対象を追跡するための１又は複数のターゲットとを備え、光学センサユニットが、前記ターゲットに対する追跡情報を有する追跡画像と光センサユニットの視野における処置の可視画像とを、演算ユニットに提供し、演算ユニットが、本明細書における方法のうちのいずれか１つに従って方法を実行するように構成された少なくとも１のプロセッサを有する、手術ナビゲーションシステムが提供される。手術ナビゲーションシステムは、患者の解剖学的構造のうちの１の解剖学的構造に光学センサユニットのうちの１及びトラッカのうちの１を、選択的に、取外し可能に且つ堅固に取り付けるためのプラットフォームであって、少なくとも１の面を有する本体を備え、少なくとも１の面が、光学的に追跡可能なパターンと、繰返し可能な（着脱可能な）光学センサマウントと、繰返し可能な（着脱可能な）ターゲットマウントとを提供するように構成され、光学的に追跡可能なパターンが、プラットフォームに取り付けられたときに光学センサユニットの視野内に延在する、プラットフォームを含むことができる。光学的に追跡可能なパターンとターゲットマウントとの間の空間的関係は、ターゲット－パターン定義によって事前に定義される。演算ユニットは、光学センサユニットがプラットフォームに取り付けられると、光学的に追跡可能なパターンの特徴を含む第１の画像を入力し、光学的に追跡可能なパターンの姿勢を計算するための演算を実行し、光学的に追跡可能なパターンの姿勢とターゲット－パターン定義とに基づき、ターゲットマウントの姿勢を計算するための演算を実行し、光学センサユニットがプラットフォームから取り除かれ、トラッカのうちの１がプラットフォームに取り付けられると、プラットフォームに取り付けられたトラッカのうちの１を含む第２の画像を入力し、トラッカのうちの１が取り付けられる解剖学的構造を追跡するように構成しても良い。
【0025】
プラットフォーム態様とともにコンピュータプログラム製品態様もまた提供できる。そこでは、デバイスが非一時的な命令を格納し、その少なくとも１のプロセッサによって命令が実行されると、システムに方法のうちの任意のものを実行させるように構成される。
【0026】
明細書における「一実施形態」、「好ましい実施形態」、「１つの実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」又は「複数の実施形態（ｅｍｂｏｄｉｍｅｎｔｓ）」（又は「１つの例（ｅｘａｍｐｌｅ）」もしくは「複数の例（ｅｘａｍｐｌｅｓ）」に対する言及は、その実施形態／例に関連して記載される特定の特徴、構造、特性または機能が、少なくとも１の実施形態／例に含まれ、可能な場合は２つ以上の実施形態／例にも含まれ得ることを意味する。また、明細書における様々な場所でのこうした言い回しは、必ずしもすべて同じ１つの実施形態／例または複数の実施形態／例を指しているとは限らない。
【図面の簡単な説明】
【0027】
【図1】手術ナビゲーションシステムの図である。
【図3】レジストレーション方法のフローチャートである。
【図4】模擬手術における骨盤オーバーレイを示すスクリーンショットである。
【図5】患者に関して拡張現実を提供する動作のフローチャートを示す。
【図8】Ａ及びＢは、図６Ａに示すようなＧＵＩにおいて表示される、それぞれの取込みビデオ画像であり、膝が伸展から屈曲まで動く際の膝の生体（例えば大腿骨）に結合されたターゲットを示し、膝のリアルタイム画像の上に機能軸および切除面を示す。
【図9】Ａ及びＢは、３次元空間において生体を追跡するためのプローブの使用を示すスクリーンショットであり、ＡＲオーバーレイとして使用することができるマーキングを残す。
【図10】レジストレーションを達成するために、患者に関連した拡張現実を提供する処理のフローチャートを示す。
【図11】レジストレーションを達成するために、患者に関連した拡張現実を提供する処理のフローチャートを示す。
【図12】Ａは、トラッカおよび手術器具を介して解剖学的構造を追跡するカメラ（例えば光学センサユニット）を含む手術室の略図を示し、Ｂは、オーバーレイを含む図１２Ａの手術室のビデオ画像を示すディスプレイ１２２０の図である。
【図13】Ａは、ＡＲプラットフォームの上面斜視図であり、Ｂ，Ｃは、ＡＲプラットフォームの側面図である。
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【発明を実施するための形態】
【0044】
手術ナビゲーションシステムは、１の剛体（器具、人工インプラント、生体等）の他の剛体（別の器具、患者の生体等）に対する空間的な位置特定を提供する。手術ナビゲーションシステムおよび関連方式の例は、２０１４年３月１４日に出願されたＨｌａｄｉｏらによる「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｔｒａ－ｏｐｅｒａｔｉｖｅ Ｌｅｇ Ｐｏｓｉｔｉｏｎ Ｍｅａｓｕｒｅｍｅｎｔ」と題するＰＣＴ／ＣＡ２０１４／０００２４１号により詳細に記載されており、その出願の内容全体が参照により本明細書に援用される。手術ナビゲーションシステムは、光学技術を含む様々な方式を有することができ、能動または受動ターゲットを使用して、追跡されている剛体の姿勢（位置および向き）データを提供することができる。本明細書において後述するように、追跡情報および処置の可視画像を含む画像を提供する光学ベースのシステムは、処置を支援するためにオーバーレイを用いて拡張することができる。可視画像は、主に可視光スペクトルからの画像を含み、ヒトユーザが知覚するためにディスプレイに表示できる、画像である。
【0045】
対象、特に患者の生体のレジストレーションを行う様々な方式が既知である。参照により本明細書に援用される、２０１６年９月１日に公開され、「Ｓｙｓｔｅｍｓ，ｍｅｔｈｏｄｓ ａｎｄ ｄｅｖｉｃｅｓ ｆｏｒ ａｎａｔｏｍｉｃａｌ ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ ｓｕｒｇｉｃａｌ ｌｏｃａｌｉｚａｔｉｏｎ」と題する米国特許出願公開第２０１６０２４９９８７Ａ１は、いくつかのレジストレーション方式を記載している。そこに示されているように、レジストレーション方式は、手術のワークフローの時間を不必要に増大させることがないように高速であり、且つ十分に正確であることが望ましい。
【0046】
以下、追跡動作を可能にするためにレジストレーションステップを支援するために拡張現実を使用する、更なるレジストレーション方式について記載する。
【0047】
ナビゲーションシステムにおける拡張現実
【0048】
手術処置のリアルタイム可視画像上の（例えばコンピュータ生成画像を含む）拡張現実オーバーレイは、手術処置の拡張現実ビューを提供するために、ディスプレイを介して外科医または他のユーザに提示できる。手術ナビゲーションシステムに関して説明するが、こうしたシステムは、外来または他の状況において有用であり、外科手術に排他的に使用される必要はなく、診断または他の治療目的でも使用できる。
【0049】
拡張現実オーバーレイは、表示されるか又は他の形状および／もしくは位置情報を形成する対象の３次元モデルから生成できる。対象をセグメント化するか又は前処理をすることができ、医用画像データから定義することができる。医用画像データは、骨または他の解剖学的構造等、一般的な又は患者特有の生体を表すことができる。オーバーレイモデルは、生体の３次元画像から構築できる。患者特有の画像は、ＣＴ、ＭＲＩ又は他のスキャン方式等から生成できる。一般的なオーバーレイモデルは、（例えば他の患者または身体の）生体のスキャンから、又はＣＡＤ若しくは他のコンピュータモデル及び／又は描画等から構築できる。
【0050】
オーバーレイに表される生体は、罹患した生体である場合があり、それは、患者の実際の生体または人工器官（プロテーゼ）の上に表示される。表示される生体は、後述するように、患者の罹患した生体から構成された、健康な又は罹患前の生体である場合がある。
【0051】
表示される他の対象は、手術器具（例えばジグ）、または（例えば患者の生体の又は切断するための）形状、線、軸および／もしくは面の表現、または他の幾何学的特徴等でも良い。
【0052】
オーバーレイは、ターゲットパラメータを含むことができる。ターゲットパラメータは、手術計画（すなわち、外科医がその日に行う同じタイプの計画）に基づくことができる。その利点は、こうしたパラメータにより、医師が（単に医用画像に対してではなく）実際の患者に関して計画をより適切に視覚化できる、ということである。ターゲットパラメータは、インプラントの所望の／計画された位置に基づくことができる。人工股関節置換術（ＴＨＡ）の例は、寛骨臼カップの角度、股関節の回転中心、大腿骨頭に対する切除面を含む。膝の例は、遠位大腿骨および／または近位脛骨に対する切除面を含む。脊椎の例は、椎体内の椎弓根スクリューの位置を含む。ターゲットパラメータは、ターゲットとなる生体の位置を含むことができる。神経外科の例は、脳内の腫瘍の位置を含む。
【0053】
オーバーレイは、例えば、処置中にナビゲーション手術システムによって収集される追跡データに基づいて生成することができ、（ａ）３次元スキャン（例えばレーザ等からの構造化光を患者の表面上に投影し、光学センサユニットによって検出して３次元スキャンを定義される）及び（ｂ）３次元の「図形」を含むことができる。
【0054】
リアルタイム可視画像は、システムの演算ユニットに結合された光学センサユニットから得られ、この光学センサユニットは、処置の可視画像とともに、光学センサの視野内で対象を追跡するための追跡情報（追跡画像）を提供する。光学センサは、多くの場合、追跡されている対象に結合されたターゲットを検知するため、赤外線ベースの検知技術を使用する。追跡画像（すなわち追跡情報）および可視画像の両方を提供するために、光学センサユニットは、以下のうちの１の装置によって構成される。
【0055】
可視チャネル及び追跡チャネルを提供するマルチスペクトルカメラ。
【0056】
可視チャネル及び追跡チャネルをそれぞれ提供するデュアルカメラ。
【0057】
プリズムを用いて可視チャネル及び追跡チャネルを分割するデュアルイメージャ。
【0058】
可視光を追跡チャネルに使用する装置。
【0059】
光学センサユニットは、単一ユニットとして構成することができる。別個の追跡画像および可視画像を取り込む場合、追跡画像および可視画像の位置合わせを不要にするように、追跡画像を取り込んでいるカメラ又はイメージャの視野は、可視画像を取り込んでいるカメラ又はイメージャの視野と同一であることが好ましい。
【0060】
いくつかの実施形態において、拡張現実オーバーレイは、追跡システムによって追跡される患者の解剖学的構造に関連して表示される。解剖学的構造の相対姿勢が光学センサユニットに関して動き（例えば構造が動くか又は光学センサユニットが動くため）、したがって、構造がリアルタイム画像内で動く際、オーバーレイは、表示されるとき、解剖学的構造に追従し、同様に動くことができる。
【0061】
図１は、ＴＨＡで使用される手術ナビゲーションシステム１００を示し、そこでは、光学センサユニット１０２が、患者の生体（例えば骨盤１０４）に取り付けられ、ワークステーション又は術中演算ユニット１０６と通信する。ターゲット１０８の姿勢（位置および向き）は、光学センサユニット１０２によって検出され、術中演算ユニット１０６のグラフィカルユーザインタフェース（ＧＵＩ）１１０に表示される。ターゲット１０８は、器具１１２に、又は患者の生体の一部に（例えば大腿骨に）取り付けられる。いくつかの実施形態では、取外し可能なターゲットが使用される。システム１００は、他の処置で使用でき、例えば、異なる器具を使用すること、光学センサユニットを異なる解剖学的構造または他の面へ（例えば患者から離れた）取り付けることにより、適用させることができる。
【0062】
システム１００において光学センサユニット１０２は、その視野からのリアルタイム画像とともに、視野内のターゲットに対する追跡情報を提供する。
【0063】
ＴＨＡにおいて患者の生体に関する電子ガイダンスを提供するために、システム１００に関する患者の生体（例えば骨盤）の空間座標が必要である。レジストレーションは、こうした座標を得るために実行される。解剖学的レジストレーションは、対象となっている生体と位置特定システム又は手術ナビゲーションシステムとの間のデジタル位置または座標マッピングを生成することに関する。様々な方式が既知であり、例えば、軸フレームが利用される、米国特許出願公開第２０１６０２４９９８７Ａ１号を参照できる。かかる方式について、本明細書で簡単に説明する。
【0064】
例示的な実施形態として、本明細書では、特にＴＨＡにおいて有用な骨盤レジストレーションを選択するが、一般的な生体や他の外科手術において適用可能である。本開示において、通常、センサは、患者の生体の骨、または手術台等の安定面に取り付けられる。センサが最大６自由度で検出可能なターゲットが、患者の生体の別の骨、器具、プロテーゼ等、追跡対象の上に配置される。しかしながら、概して、センサ及びターゲットの位置は、機能性を損なうことなく逆にすることができる（例えばターゲットを骨または安定面に固定し、センサを追跡対象に取り付ける）。光学センサユニットは、患者の上に又は患者から離れて、外科医または処置チームの他の構成員に、例えば、頭部もしくは身体に取り付けることができ、又は手持ち式とすることができる。生体を、異なる角度（視野）から調べることができる。いくつかの実施形態において、光学センサユニットは、用具／器具またはロボットの上でも良い。いくつかの実施形態において、光学センサ、演算ユニット及びディスプレイは、タブレットコンピュータ等、単一の装置として一体化できる。いくつかの実施形態において、光学センサユニット及びディスプレイは、一体化し又は別個のままとできるが、ユーザの頭部の上等、ユーザが装着するように構成できる。
【0065】
ここで図２を参照する。図２は、患者の生体のレジストレーションを行うために使用可能な軸フレーム２０２と呼ぶデバイスを示す。軸フレーム２０２は、その形状を通して、第１の軸２０４、第２の軸２０６及び第３の軸２０８等の軸を定義できる。例えば、軸フレームは、３つの軸を定義する３つの直交バーから構成できる。光学センサユニット１０２は、患者の生体の骨盤１０４に取り付けられ、ケーブル２１０を通して術中演算ユニット１０６と通信する。光学センサユニットは、軸フレーム２０２に取り付けられたターゲット１０８の位置情報を追跡する。この情報を使用して、レジストレーション座標系を構築するために、患者の解剖学的軸の方向が測定される。使用時、軸フレーム２０２の軸とターゲット１０８との間の位置関係は、正確な製造公差によって、又は較正処理が施されて術中演算ユニット１０６に入力される。
【0066】
軸フレームが患者と位置合わせされるとき、その上のターゲット１０８は、（ターゲットからの）姿勢情報を取り込むために、光学センサユニット１０２の視野内に位置決めされる。この方式は、患者毎の解剖学的なばらつきとともに、骨盤１０４上の光学センサユニット１０２の位置決めのばらつきを考慮できる。光学センサユニット１０２は、姿勢測定を支援する他のセンサを備えても良い。一例は加速度計（図示せず）である。加速度計に加えて又はその代わりに、レジストレーション及び／又は姿勢推定に役立つように他の検知装置を組み込むことができる。こうした検知装置としては、限定されないが、ジャイロスコープ、傾斜計、磁力計等が挙げられる。検知装置が電子集積回路の形態であることが好ましい場合がある。
【0067】
レジストレーションに、軸フレーム２０２及び加速度計の両方を使用できる。光学測定値および傾斜測定値が取り込まれたシステム１００は、患者を正確に位置決めするか、又は患者の解剖学的構造の１の軸／複数の軸に沿って軸フレームを正確に位置合わせするか、又は両方を行うかを外科医に依存する。患者の解剖学的構造のレジストレーションを行うために、更なる独立した情報を提供することが望ましい場合がある。例えば、ＴＨＡにおいて、追跡可能なターゲットに取り付けられたプローブを使用して、寛骨臼縁に沿った少なくとも３つの位置を取り込むことにより、本来の寛骨臼面のレジストレーションを行うことができる。骨盤に対してインプラントを位置決めするとき、両レジストレーションに対して組み合わせて、又は独立した情報を提示できる。即ち一方はワークステーションにより、軸フレームの光学測定値および傾斜測定値から取り込まれたレジストレーション（一次レジストレーション座標系）であり、他方はワークステーションにより、患者の寛骨臼縁の上の局所化されたランドマークの光学測定値から生成された基準面によって取り込まれたレジストレーション（二次レジストレーション座標系）である。
【0068】
光学センサユニット１０２の位置は、１又は複数のターゲットの位置および向きを検出可能な別の位置に配置できる。例えば、光学センサユニット１０２は、手術台に取り付けたり、外科医の手で保持したり、外科医の頭部に取り付けたり等が可能である。患者の骨盤に第１のターゲットを取り付けることができ、レジストレーションデバイス（例えばプローブ又は軸フレーム）に第２のターゲットを取り付けることができる。光学センサユニット１０２は、両ターゲットの位置および向きを取り込む。ワークステーションは、両ターゲットの間の位置および向きの相対的な測定値を計算する。さらに、光学センサユニット１０２は、傾斜測定値と、患者の生体に取り付けられた第１のターゲットの位置および向きとを取り込む。そして、ワークステーションは、第１のターゲットに関して重力の方向を計算する。両ターゲットの間の相対姿勢測定値と、患者の解剖学的構造に取り付けられた第１のターゲットに関する重力の方向とを使用して、ワークステーションは、最大６自由度（６ＤＯＦ）でレジストレーション座標系を構築できる。
【0069】
例示的な使用方式、即ち図３のフローチャートに示される動作３００は、以下が含まれる。ステップ３０２において、患者が位置決めされ、その位置は外科医に既知である。ステップ３０４において、センサが解剖学的構造に関する任意の位置および向きで動かないように、骨盤に対して取り付けられる。ステップ３０６において、センサにより、軸フレームが、追跡可能なターゲットとともに追跡される。ステップ３０８において、軸フレームが、外科医が既知の患者の解剖学的構造の位置と位置合わせされることで、位置決めされると、ステップ３１０が実行される。演算ユニットは、軸フレームの姿勢を計算する。この姿勢を使用して、センサと生体との間のレジストレーション座標系が６ＤＯＦで計算される。ステップ３１２において、軸フレームが除去され且つ／又は破棄され、そしてレジストレーション座標系に基づいて、ローカライザシステムにおける次の位置測定値が計算される。
【0070】
レジストレーション座標系は、光学センサユニット１０２の視野における実３次元空間に関連する、計算上の３次元空間を６ＤＯＦで提供する。レジストレーションは、実３次元空間の画像から入力される姿勢データから、その計算上の３次元空間における解剖学的構造の対応する位置および向きを生成する。
【0071】
光学センサユニット１０２は、入力されるターゲットの２次元画像を、レジストレーションを構築する３次元姿勢情報に関連付けるために、設定／較正データをシステム１００に提供することができる。いくつかの実施形態において、光学センサユニットにおける１のレンズ又は複数のレンズは、「魚眼レンズ」である。魚眼レンズの歪みのために、実３次元空間における直線は実３次元空間の画像において真っ直ぐに見えない可能性がある。画像において直線が真っ直ぐに現れ、曲線が正確に湾曲しているように、較正データに基づいて、表示の前に画像の歪みを除去することが有利な場合がある。代替的に、拡張現実オーバーレイを描画するとき、描画は、センサが実３次元空間をいかに記録し／取り込むかに従って、真っ直ぐな３次元モデルを真っ直ぐでないように見えるようにするために、センサの歪みモデル（この場合もまた、較正データによって表される）を適用できる。
【0072】
レジストレーションが達成されると、計算上の３次元空間における解剖学的構造の位置に関して、計算上の３次元空間における所望の位置および向きに、拡張現実オーバーレイが位置合わせされる。３次元モデルによってモデル化される拡張現実オーバーレイにとっては、このことは、オーバーレイモデルをその空間に位置合わせすることである。オーバーレイモデルを位置合わせするために、モデルデータの姿勢を所望の姿勢に変換するための十分な変換処理（例えば行列）を含むことができる。そして、拡張現実オーバーレイは、所望の位置および向きでディスプレイに表示されるように描画され提供される。
【0073】
骨盤オーバーレイが示される図４に見られるように、オーバーレイの所望の姿勢は、例えば、オーバーレイがディスプレイにおいて解剖学的構造のリアルタイム画像の上に表示されるように、解剖学的構造の姿勢でも良い。
【0074】
ＴＨＡにおける他の骨盤オーバーレイ（図示せず）は、ターゲットカップの位置を含むことができる。
【0075】
図５は、実施形態による、患者に対する拡張現実を提供する動作５００のフローチャートを示す。ステップ５０２において、少なくとも１のプロセッサにより実３次元空間の画像を入力し、実３次元空間は、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、画像は、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する（単一の）カメラユニットから入力される。ステップ５０４において、１又は複数のターゲットのそれぞれの画像から、トラッカ情報を決定する。ステップ５０６において、解剖学的構造に関連付けられた、それぞれのターゲットに対するトラッカ情報を使用して、実３次元空間における解剖学的構造の位置および向きから、少なくとも１のプロセッサによって維持される、計算上の３次元空間における解剖学的構造の位置および向きを生成することで、計算上の３次元空間において患者の解剖学的構造のレジストレーションを行う。
【0076】
ステップ５０８において、解剖学的構造の位置および向きに対応する、計算３次元空間における所望の位置および向きに、拡張現実オーバーレイの３次元モデルを位置合わせする。ステップ５１０において、ディスプレイ上の所望の位置および向きで、拡張現実オーバーレイを描画する。
【0077】
オーバーレイの表示は、レジストレーションの正確さを検証するために有用である。オーバーレイが、ディスプレイにおいて期待されるように位置合わせできない場合、同じ方式または他の方式でレジストレーションを繰り返す。異なるタイプのオーバーレイは、それぞれの方式で位置合わせできる。例えば、骨に基づくオーバーレイは、それぞれの患者の骨と位置合わせする。面または軸に基づくオーバーレイは、患者の面または軸等と位置合わせする。さらに後述するように、拡張現実オーバーレイを使用して、更なる方式に従ってレジストレーションを実行できる。
【0078】
レジストレーションが一旦行われた後に、光学センサユニット及び解剖学的構造の相対姿勢が変化する可能性がある。例えば、ターゲットが骨盤に取り付けられているか又は他の方式で骨盤に関連付けられている（即ちターゲットと追跡対象との間に相対的な動きがない）場合、光学センサユニットは、その視野を変化させるように動く可能性がある。ターゲットが視野内にあり続けるとすれば、リアルタイム画像が表示されるとき、骨盤は追跡され、オーバーレイは骨盤に追従する。ターゲットが骨盤上にある場合、骨盤は、同様に（それに伴って）動かされる。例えば、リアルタイムで、且つ、実３次元空間における解剖学的構造と光学センサユニットとの相対的な動きに応じて（その場合、解剖学的構造に関連付けられたそれぞれのターゲットの姿勢は、実３次元空間における解剖学的構造の位置および向きを連続的に示す）、演算ユニットは、光学センサユニットから入力される画像を使用して、解剖学的構造が動いた位置および向きを決定し、解剖学的構造の動いた位置および向きに対して、拡張現実オーバーレイの位置合わせを更新して、更に拡張現実オーバーレイの動いた所望の位置および向きを決定することで、動いた所望の位置および向きによる拡張現実オーバーレイが表示される。
【0079】
処置中に用いられるターゲットの構成に応じて、解剖学的構造と光学センサユニットとの相対的な動きを制限できる。ターゲットが解剖学的構造に取り付けられた場合、解剖学的構造の動きによってターゲットが動く。解剖学的構造が別の方式で関連付けられており、例えば、ターゲットに関連付けられた解剖学的構造が追跡中に動かないことを前提とし、ターゲットが手術室台等、固定構造に結合されており、それらの関連付けが理論上のものである場合、解剖学的構造は、実３次元空間においてレジストレーションした初期位置にあり続けることになり、光学センタユニットのみが自由に動くことができる。
【0080】
ＴＨＡ処置内であっても人工膝関節置換術（ＴＫＡ）処置内であっても、大腿骨等、他の骨を追跡できる。大腿骨は、大腿骨に関連付けられた「大腿骨ターゲット」を使用してレジストレーションを行うことができる（図示せず）。大腿骨オーバーレイは、その３次元モデルを、計算上の３次元空間における大腿骨の対応する位置に関連付けられた所望の位置と位置合わせして、提示できる。図６Ａは、術前大腿骨のオーバーレイ６０４が、（模擬手術の）ビデオ画像に取り込まれた大腿骨の置換インプラント６０６上に示された取込みビデオ画像６０２を有する、ＧＵＩのスクリーンショット６００である。術前大腿骨のオーバーレイ６０４は、点描（点）を用いて表されており、それを通して、リアルタイムビデオ画像において取り込まれる生体およびインプラント６０６が観察される。図６Ｂは、明確にするために点描が拡大されている、図６Ａのビデオ画像６０２及びオーバーレイ６０４の略図である。図６Ａ及び図６Ｂはまた、光学センサユニットが取り付けられるトラッカ６０８及びプラットフォーム６１０も示す。
【0081】
上述したように、オーバーレイは患者特有なものであって、罹患している患者の生体または罹患していない患者の生体（例えば罹患前の生体）を表すことができる。罹患した生体のオーバーレイは、患者の疾患を示す場所において手術前に得られた、患者のスキャンから構築できる。罹患前の生体のオーバーレイは、少なくともいくつかの疾患が始まる前のスキャンの履歴から、又は、疾患を示す最新のスキャンを編集または他の方式で前処理されているもの、例えば、表面を充填し、表面を除去するか又は縮小する等、疾患のない生体を表示するもの、から構築できる。第１の例では、生体は膝関節であり、疾患は、変形性関節症（つまり、すり減った軟骨）である。膝画像（例えばコンピュータ断層撮影（ＣＴ）または磁気共鳴画像法（ＭＲＩ）スキャン）が処理され、軟骨がすり減った領域が特定され、任意の周囲の健康な組織に基づいて補間することにより、仮想的に充填される。第２の例では、生体は股関節であり、疾患は、骨棘増殖（例えば寛骨臼内および／または寛骨臼外）を含む、変形性関節症である。骨棘の形成前の股関節の形状は、周囲の正常な骨構造に基づき、且つ場合によっては健康な骨のひな型から、決定される。
【0082】
拡張現実オーバーレイは、手術中の任意の時点で患者の解剖学的構造の上に表示できる。例えば、拡張現実オーバーレイは、生体の治療（例えば一次外科的切開、転位、骨の一部の除去、インプラント又は器具の挿入）の前に、又は治療後の生体等にわたる治療後（図６Ａ及び図６Ｂ等、治療後の生体がインプラントを含む場合がある）に表示できる。
【0083】
一例では、手術は人工膝関節置換術であり、外科的目標は運動学的な調整（キネマティックアライメント）である。解剖学的構造は大腿骨であり、生成されるオーバーレイは遠位大腿骨である。オーバーレイは、関節症前の膝を表すオーバーレイモデルから生成できる。コンピュータ実装方法は、大腿骨の調整中（即ち切除された遠位大腿骨に仮のインプラントが取り付けられて適合性が確認されるとき）、（関節症前の遠位大腿骨を含む）オーバーレイが、仮のインプラントに関連して表示される。運動学的な膝関節置換の目標は、関節症疾患の影響に対して調整しながら、切除される骨を正確に置換することである。関節症前の解剖学的構造のオーバーレイとともに現実の仮の（又は最終的な）インプラントを含む実３次元空間のビューは、手術の運動学的な調整の目標がどれくらい達成されているかと、更に調整すべきであるか否かとに関する情報を、外科医に提供する。
【0084】
３次元オーバーレイが、患者の機能軸、または機能軸に対して表示される別の軸もしくは平面である場合、演算ユニット１０６は機能軸を計算する。
【0085】
図示しないが、大腿骨等の追跡される骨は、その第１の端部を中心に回転させることができる（寛骨臼内での回転等）。回転は、光学センサユニット１０２から入力される追跡情報から取り込むことができる。大腿骨の第２の端部の位置は、プローブが膝の近くの端部の箇所に接触する際にそのプローブを追跡すること等により、入力することができる。プローブの姿勢が入力され、計算上の３次元空間における位置を決定することができる。演算ユニット１０６により、計算上の３次元空間におけるプローブの回転中心および姿勢に基づいて、機能軸が決定される。
【0086】
機能軸から、切除面等の他の面が決定される。切除面は、角度および深さを示すことができる。したがって、３次元モデルは、機能軸モデルとすることができ、拡張現実オーバーレイは、機能軸および／または更なる軸もしくは面の画像とすることができ、その所望の位置は、解剖学的構造の機能軸の位置に対して決定される。図７は、図６ＡのＧＵＩに表示される、部分的にトリミングされた取込みビデオ画像７００であり、切断面７０２および機能軸７０４は、模擬人工膝関節置換術におけるガイダンスとして重ねられた股関節中心を示す。
【0087】
演算ユニット１０６により、事前設定データ（端部からＸｍｍであると定義される例）から、又は（例えばプルダウンメニュー又は入力フォーム（ともに図示せず）を介して）受信される入力から、切除面の初期位置が決定される。初期位置は、例えば、徐々に又は絶対的に、入力される入力に応じて動かすことができ、それにより、拡張現実オーバーレイにおいて切除面の所望の位置および向きを調整できる。角度もまた、最初に定義し調整できる。
【0088】
例えば、ＴＫＡの場合、脛骨もまたレジストレーションされ（図示せず）、膝関節内の脛骨上の箇所を厳密に調べて第１の端部の位置を提供し、踝端部の周囲の箇所を厳密に調べることにより第２の端部の位置を提供すること等により、脛骨に対して機能軸が決定される。大腿骨に関連して記載したように、脛骨オーバーレイもまた描画して表示できる。オーバーレイは、機能軸に対するものとすることができ、両骨に対して、リアルタイムで提供され、膝可動域を通して追跡可能である。一方または両方のオーバーレイを示すことができる。膝の応用に対する大腿骨および脛骨のオーバーレイは、遠位大腿骨および近位脛骨（大腿骨：内反／外反、傾斜、脛骨：内反／外反、傾斜）における所望の骨の切断（角度および深さ両方）を示すか又は確認できる。図８Ａ及び図８Ｂは、図６ＡのＧＵＩに表示される、それぞれの取込みビデオ画像８００及び８１０であり、膝が伸展から屈曲まで動く際の膝の生体（例えば大腿骨）に結合されたターゲット８０２を示し、膝のリアルタイム画像の上に機能軸８０４及び切除面８０６を示す。なお、図６Ａ、図７並びに図８Ａ及び図８Ｂの取込み画像における生体は、模擬手術のための物理モデルである。
【0089】
図示しないが、実３次元空間の可視画像は、拡大して、例えば、自動的に又は対象となっている領域への入力時にズームインして、表示できる。ズームは、カメラの視野が縮小したり、ターゲットが視野から出ることがないように、演算ユニット又は他の処理によって行われる。例えば、可動域を通して膝を追跡している場合、膝関節を拡大したビューは有用である。このビューは、表示される際、トラッカを含む必要はない。そして、これに従って、拡張現実オーバーレイは、拡大してズーム（描画）される。ズームインビューは、１）イメージャ（カメラ）の特定の領域に固定し、又は２）生体に対する特定領域に固定する（即ち可動域を通して膝関節を適応的に追従する）ことができる。
【0090】
（例えば大腿骨および脛骨の）２つのオーバーレイは、色が別個でも良い。提示されるそれぞれのオーバーレイとの大腿骨および脛骨の相対的な動きは、相対位置が近接し過ぎていないことと、交差がないこととを保証するための、事前計画パラメータを例示するか又は確認できる。演算ユニットは、各オーバーレイの位置を決定し、近接および交差のうちの少なくとも一方を示すように相対位置を示すことができる。例えば、相対位置（距離）が閾値未満であるとき、２つのオーバーレイの間の近接領域を強調表示できる。強調表示は、閾値未満であるオーバーレイの領域の色の変化を含むことができる。
【0091】
いくつかの実施形態において、オーバーレイは、処置中に、例えば、プローブ等の追跡される器具により、それが対象の上をトレースする際に特定される複数の位置を取り込むことにより、定義できる。対象は、患者の生体の一部とすることができ、生体のトレース部分は、トレースしている間に追跡されている部分である必要はない。
【0092】
図９Ａ及び図９Ｂは、図形の取込みを（センサの視野および関連する解剖学的構造のリアルタイム画像はなしで）示す。演算ユニット１０６は、位置を取り込むように起動され、そうした位置を取り込むことで、３次元モデルを定義できる。取込みを開始するように、ボタン又は他の入力デバイスを起動できる。一実施形態では、ボタン／入力は、取込みの間は保持され、解除されると取込みを停止できる。
【0093】
拡張現実支援レジストレーション
【0094】
拡張現実オーバーレイは、患者の生体のレジストレーションを支援できる。一実施形態では、ディスプレイ上にオーバーレイを投影する（患者の生体のリアルタイム画像の上に表示する）ことができる。計算上の３次元空間においてレジストレーションを行うべき解剖学的構造に、ターゲットが結合される。患者の構造は、例えば大腿骨とすることができ、オーバーレイは、大腿骨オーバーレイとすることができる。そして、大腿骨は、オーバーレイと位置合わせされるように動かされ、その後、大腿骨の姿勢は、計算上の３次元空間において固定され、又はオーバーレイの現姿勢に関連付けられる。その後、大腿骨オーバーレイは、実３次元空間において大腿骨および光学センサユニットの相対的な動きに追従する。例として、ＴＨＡの場合、光学センサユニット１０２は骨盤１０４に結合することができ、骨盤１０４は、上述したようなシステム１００に対してレジストレーションが行われる。光学センサユニット１０２は大腿骨に向けられ、光学センサユニット１０２の視野内にある大腿骨にターゲットが結合されている。かかるオーバーレイが表示される。
【0095】
システム１００は、計算上の３次元空間においてオーバーレイの初期またはレジストレーション姿勢を定義する。初期姿勢は、光学センサユニット又はレジストレーション軸に対するデフォルト位置とすることができ、又は、大腿骨に取り付けられたターゲットの位置に対するものでも良い。オーバーレイのこの初期姿勢が維持され、大腿骨は、オーバーレイと位置合わせされるように動かし、その後、ユーザ入力をするシステム１００等により、大腿骨ターゲットの現姿勢を取り込むために「固定する」ことができる。以前のレジストレーションが十分に正確でなかった場合、例えば、オーバーレイ及び解剖学的構造がディスプレイに見えないように位置合わせされた場合、この方式を使用して、オーバーレイ及び解剖学的構造がディスプレイにおいて位置合わせされるまで、患者の生体（ターゲットを含む構造）を動かすことにより再レジストレーションが実行される。システムは、オーバーレイを保持し、又は、追跡される解剖学的構造から分離するように起動することができ、その結果、初期姿勢は、解剖学的構造が位置合わせされるまで計算上の３次元空間におけるオーバーレイに対する現姿勢であり、そしてシステムは、オーバーレイに移動した解剖学的構造の姿勢を固定するために起動される。その後、光学センサユニットに対する解剖学的構造の動きにより、上述したように、ディスプレイにおいてオーバーレイが動く。
【0096】
外科医は、「システム」が大腿骨軸であると考える場所と、大腿骨軸が視覚的にある場所のオーバーレイを見て、それらを位置合わせする。
【0097】
拡張現実オーバーレイは、医用画像に基づくことができ、又は、大腿骨（又は他の適用可能な解剖学的構造）を記述する線／面／軸から構成することができる。
【0098】
大腿骨の回転中心の計算は、寛骨臼または寛骨臼カップ内で大腿骨を回転させ、そして回転中心の位置を決定するための大腿骨ターゲットの十分な姿勢を取り込むことにより、実行される。そして、この位置は、大腿骨レジストレーションランドマークとして使用できる。
【0099】
別の実施形態において、患者の生体が実３次元空間内で固定されたままである間、レジストレーションを行うべき解剖学的構造に関連付けられたオーバーレイが、解剖学的構造の上に表示される。計算上の３次元空間におけるオーバーレイの姿勢は、センサの視野内でターゲット（例えばターゲットを含むレジストレーション軸フレーム若しくはターゲットを含む別の器具、または単にターゲット自体）に関連付けられ、その結果、実３次元空間におけるターゲットの動きにより、オーバーレイの姿勢が動く。ターゲットを別の機械的物体（例えば軸フレーム又はプローブのような器具等）に取り付けることは、精密な位置合わせに役立つ。オーバーレイが解剖学的構造と位置合わせされると、計算上の３次元空間において解剖学的構造の姿勢のレジストレーションが行われ、オーバーレイの姿勢は、解剖学的構造に関連付けられるか又は固定される。かかる固定は、現姿勢を取り込むために受信したユーザ入力に応答できる。
【0100】
計算上の３次元空間における、したがって表示される際のオーバーレイの初期位置は、視野内のオーバーレイターゲットの現姿勢に関するものでも良い。
【0101】
レジストレーションが事前に実行されているが、正しく位置合わせされていないと判断された場合（骨盤オーバーレイの説明および図４に関して上記を参照されたい）、初期位置は、計算上の３次元空間におけるオーバーレイの現位置でも良い。実３次元空間におけるオーバーレイターゲットの姿勢は、オーバーレイの初期位置に関連付けられ、オーバーレイターゲットの動きにより、オーバーレイは、計算上の３次元空間において、位置合わせされるまで表示されるように動く。位置合わせされると、上述したようにオーバーレイの姿勢を固定できる。
【0102】
これらの実施形態による（即ちオーバーレイが動くか又は構造が動く）初期レジストレーション及びレジストレーション調整は、最大６ＤＯＦで実行される。
【0103】
図１０は、レジストレーションを達成するために、患者に関連した拡張現実を提供する動作のフローチャート１０００を示す。本実施形態において、解剖学的構造は、拡張現実オーバーレイと位置合わせされるように動かされて、手術ナビゲーションシステムへの解剖学的構造のレジストレーションを達成する。１００２において、少なくとも１のプロセッサは、実３次元空間の画像を入力し、実３次元空間は、患者と、実３次元空間においてそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含む、実３次元空間の画像を入力し、その画像は患者と１又は複数のターゲットとを含む実３次元空間の視野を有する単一の光学センサユニットから入力される。１００４において、１又は複数のターゲットのそれぞれに対する画像から追跡情報を決定する。
【0104】
１００６において、演算ユニットは、ｉ）光学センサからの実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とをディスプレイ上に同時に表示する。拡張現実オーバーレイは、３次元モデルから定義され、ディスプレイ上に表示される際、光学センサユニットの視野内における初期位置および向きで表示される。１００８において、計算上の３次元空間における患者の解剖学的構造に対し、追跡情報を使用して視野内でターゲットの姿勢を取り込むための入力を受信することによってレジストレーションが行われ、ターゲットは解剖学的構造に取り付けられており、かかる入力は、解剖学的構造が、表示される際に拡張現実オーバーレイの初期位置および向きと位置合わせされるときに入力される。姿勢は、実３次元空間における解剖学的構造の位置および向きを定義して、計算上の３次元空間における解剖学機構造の対応する位置および向きを生成する。
【0105】
１０１０において、拡張現実オーバーレイの所望の位置および向きは、解剖学的構造の対応する位置および向きに関連付けられる。
【0106】
実３次元空間において相対的な動きがあると、オーバーレイはそれに従って動くことがある。例えば、リアルタイムで、且つ、実３次元空間における解剖学的構造および光学センサユニットの相対的な動きに応じて（そこでの解剖学的構造に取り付けられた解剖学的構造ターゲットの姿勢は、実３次元空間における解剖学的構造の位置および向きを連続的に示す）、少なくとも１のプロセッサは、追跡情報を使用して実３次元空間における解剖学的構造の位置および向きを追跡することにより、解剖学的構造の対応する位置および向きを更新し、更新される際の解剖学的構造の対応する位置および向きに対して拡張現実オーバーレイの所望の位置および向きを更新し、ディスプレイ上に同時に表示されるように、ｉ）光学センサからの実３次元空間の画像と、ｉｉ）更新される際の拡張現実オーバーレイの所望の位置および向きに対する拡張現実オーバーレイとを描画する。
【0107】
図１１は、レジストレーションを達成するために患者に、関連した拡張現実を提供する処理のフローチャート１１００を示す。１１０２において、少なくとも１のプロセッサは、実３次元空間の画像を入力し、実３次元空間の画像は、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、画像は、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する（単一の）光学センサユニットから入力される。１１０４において、追跡情報を、１又は複数のターゲットのそれぞれに対する画像から決定する。１１０６において、演算ユニットは、ｉ）光学センサからの実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイとをディスプレイに同時に表示する。拡張現実オーバーレイは、３次元モデルから定義され、光学センサの視野内のオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、オーバーレイ位置および向きは、実３次元空間におけるオーバーレイターゲットの動きに応じて動く。
【0108】
１１０８において、患者の解剖学的構造は、追跡情報を使用して、オーバーレイターゲットのレジストレーション固定姿勢と、解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むための入力を受信することにより（入力は、拡張現実オーバーレイが実３次元空間における解剖学的構造の初期位置および向きと位置合わせされるときに入力される）、実３次元空間における解剖学的構造の初期位置および向きから計算上の３次元空間における解剖学的構造の対応する位置および向きを生成することにより、計算上の３次元空間においてレジストレーションが行われる。
【0109】
１１１０において、計算上の３次元空間において、拡張現実オーバーレイの所望の位置および向きを、次の拡張現実オーバーレイの描画する場合に使用するため、解剖学的構造の対応する位置および向きに対して関連付けられる。
【0110】
そして、上述したように、オーバーレイを追跡し動かす。
【0111】
計画された位置に対する拡張現実オーバーレイ
【0112】
拡張現実オーバーレイは、多くの例で採用できる。図１２Ａ及び図１２Ｂを参照すると、１つの更なる例は、インプラント（例えば寛骨臼構成要素または固定スクリュー）を計画された位置に配置する手術処置を含む。図１２Ａは、トラッカ１２０６および手術器具１２０８を介して解剖学的構造１２０４を追跡するカメラを含む手術室１２００の略図を示す。手術器具１２０８はドリルである。オーバーレイは、上述したような解剖学的構造１２０４の（先行する）レジストレーションに基づいて、インプラントが計画された位置を含む。一例では、ソフトウェアワークフローを実行する手術ナビゲーションシステムが、インプラントを埋め込むように骨を準備する処置の骨除去ステップ（例えば寛骨臼リーミング又はスクリューパイロット穴あけ）に対する機能を提供する。このステップに対する手術ナビゲーションガイダンスは、実際の骨除去器具（例えばリーマ又はドリル）が、計画されたインプラントの位置に対して正確に位置決めされているか否かを視覚的に示すことで、外科医を視覚的に誘導するように、骨除去中に３次元空間の現実のビューとインプラントの計画された位置とのオーバーレイを（例えば永続的に）表示することからなる。図１２Ｂは、カメラ１２０２の視点からの（且つ視野１２１０内の）解剖学的構造１２０４を含む、手術室１２００のビデオ画像１２２１を示すディスプレイ１２２０の図である。ビデオ画像１２２１はまた、手術器具１２０８の一部とともに、固定スクリューを計画された位置で表すオーバーレイ１２２２も示す。ビデオ画像１２２１はディスプレイ１２２０いっぱいに表示されるが、画面の一部に示される場合がある。拡張現実オーバーレイのこの例は、位置的ガイダンスを達成するために手術器具１２０８に関連付けられたターゲットの追跡を不要にするという利点がある。
【0113】
ＡＲプラットフォーム
【0114】
図１３Ａは、ＡＲプラットフォーム１３００の上面斜視図であり、図１３Ｂ及び図１３Ｃは、ＡＲプラットフォーム１３００の側面図である。これらの図を用いて、光学センサユニットが拡張現実表示の目的で除去される（例えば手で保持される）のを可能にしながら、手術中にいくつかの用途のために解剖学的構造（図１３Ａ～図１３Ｃには図示せず）への光学センサユニットの取り付けを容易にするために、ＡＲプラットフォーム１３００をいかに使用するかを示す。ＡＲプラットフォーム１３００は、光学的に追跡可能なパターン１３０８、繰返し可能な（着脱可能な）光学センサマウント１３１０及び繰返し可能な（着脱可能な）ターゲットマウント１３１２を有する少なくとも１の面（例えば面１３０４及び１３０６）を有する本体１３０２を備える。ＡＲプラットフォーム１３００は、解剖学的構造内に押し込むか又は他の方式で固定できる協働マウント１３１６に取り付けるための、（例えば下側面における）繰返し可能な（着脱可能な）解剖学的構造マウント１３１４を有する。
【0115】
ＡＲプラットフォーム１３００は、患者の解剖学的構造に動かないように取り付けられている。光学的に追跡可能なパターン１３０８とターゲットマウント１３１２との空間的関係は事前に定義され、ターゲット－パターン定義は、拡張現実ナビゲーションシステム（図１３Ａ～図１３Ｃには図示せず）の演算ユニットのメモリにおいて利用可能である。光学センサユニット１３１８が光学センサマウント１３１０においてＡＲプラットフォーム１３００に取り付けられると、光学的に追跡可能なパターン１３０８は、光学センサの視野内となる。光学的に追跡可能なパターン１３０８は、視野の一部のみを占有するので、光学センサユニット１３１８は、その視野内で他の対象（例えば他のターゲット）を検出できる。演算ユニットは、光学的に追跡可能なパターン（１３０８）の特徴を含む画像を入力し、光学的に追跡可能なパターン（１３０８）の姿勢を計算するための演算を実行する。演算ユニットは、光学的に追跡可能なパターン（１３０８）の姿勢とターゲット－パターンの定義とに基づき、ターゲットマウント（１３１２）の姿勢を計算するための演算を実行する。図１３Ｃは、例えば、光学センサユニット１３１８を手持ちにしている状態でも、ＡＲプラットフォーム１３００、即ちターゲット１３２０が取り付けられている解剖学的構造を追跡するのを可能にする、ターゲットマウント１３１２へのターゲット１３２０の取り付けを示す。
【0116】
このため、１つの動作モードにおいて、光学センサユニット１３１８は、ＡＲプラットフォーム１３００を介して患者の解剖学的構造に動かないように取り付けられる。光学センサユニット１３１８に計算上の３次元空間を関連付けることができる。拡張現実の動作モードにおいて、光学センサユニット１３１８を、その光学センサマウント１３１０から取り除くことができ、ＡＲプラットフォーム１３００に、ターゲット１３２０を、そのターゲットマウント１３１２において取り付けることができる。計算上の３次元空間の関連付けは、ＡＲプラットフォーム１３００に光学センサユニット１３１８が取り付けられると、ターゲットマウント１３１２に対する光学センサユニット１３１８の計算された関係とともに、光学センサユニット１３１８からターゲット１３２０に（演算ユニットで実行する演算により）光学センサユニット１３１８及びターゲット１３２０の相対姿勢を介して、渡すことができる。
【0117】
結果として、システムは、患者に関連付けられた単一の計算上の３次元空間において、２つの動作モードで動作できる、即ち１つのモードでは、光学センサユニット１３１８が患者に（例えばＴＨＡにおける寛骨臼インプラントの位置合わせ等、ナビゲーションの目的で）取り付けられ、別のモードでは、光学センサユニット１３１８が患者の上には配置されないが、トラッカ１２３０が患者に（例えば拡張現実の目的で）取り付けられる。
【0118】
計算上の３次元空間に対して解剖学的構造のレジストレーションが行われることに加えて、器具もまた計算上の３次元空間に対してレジストレーションを行うことができ、これによって器具に基づく拡張現実オーバーレイを提供できる。
【0119】
拡張現実ナビゲーションシステム（及び関連方法）は、ａ）実３次元空間と、ｂ）解剖学的構造の拡張現実オーバーレイ（注：このオーバーレイを種々に変形しても良い。例えば、現在の生体対罹患前の生体）と、ｃ）器具の拡張現実オーバーレイと、手術計画（例えば計画されたインプラントの位置）の拡張現実オーバーレイとを含む、視覚情報を提供できる。これらは様々な組合せで表すことができる。
【0120】
手術計画は、解剖学的構造に関するインプラントの計画された姿勢（例えば患者の骨盤に対する寛骨臼インプラントの計画された姿勢）を含むことができる。或いは、手術計画は、臨床的に許容可能である空間的領域または角度を示す「セーフゾーン」（例えば骨盤に関する許容可能な寛骨臼インプラントの角度を定義する「Ｌｅｗｉｎｎｅｋセーフゾーン（Lewinnek safe zone）」、又は別の例では、損傷を受けた可能性のある重篤な解剖学的構造（例えば脊髄）から十分に離れている領域）を含むことができる。
【0121】
視覚情報の情報量は、見る人に対して圧倒的である可能性があるため、コンピュータ実装方法は、視覚情報を選択的に提供できる。例えば、実３次元空間、解剖学的構造オーバーレイ、器具オーバーレイ及び計画オーバーレイの各々は、表示される複合画像のレイヤーを含むことができ、使用者がオン又はオフに（例えば光学センサに接続されたボタンを使用して、音声コマンドにより、又はＧＵＩ若しくは他の制御を介して）切り換えることができる。別の例では、コンピュータ実装方法は、状況に関する情報（例えばユーザがソフトウェアワークフローのいずれのステップにいるかを検出することで、手術ワークフローのいずれのステップが実行されているかを判別する情報）にアクセスし、その情報に基づいてレイヤーを自動的に設定できる。例えば、手術ワークフローの検証ステップ中、コンピュータ実装方法は、（インプラントの実ビューを含む）実３次元空間と手術計画レイヤーとを表示するようにプログラムすることができ、その結果、見る人は、インプラントの実ビューをその計画された位置と視覚的に比較できる。かかるビューにより、解剖学的構造および／または器具に基づくオーバーレイは、過度な視覚情報の提供を回避するように抑制できる。
【0122】
一例では、表示情報を変更するために使用される、状況に関する情報は、光学センサの姿勢である。光学センサユニットの姿勢は、見る人にとっての所望の表示を示す。光学センサユニットの姿勢は、ターゲットに関するものか、又は慣性系（光学センサユニットに重力検知能力が補われているとすれば、重量の方向等）に関するものである。
【0123】
一例では、手術計画の拡張現実オーバーレイが提供される。コンピュータ実装方法は、手術計画モジュールに通信可能に接続できる。手術計画モジュールは、手術計画に対するリアルタイムの変更を容易にすることができ、手術計画の拡張現実オーバーレイは、それに従って更新できる。例えば、手術計画は、骨に関するインプラントの姿勢でも良い。手術中、骨に関するインプラントの初期姿勢を更新された姿勢に変更する場合がある。このケースでは、拡張現実オーバーレイが、骨に関するインプラントの姿勢を含む場合は、オーバーレイは、計画の変更に応じて、初期姿勢から更新された姿勢に変更する。
【0124】
一例では、光学センサユニットは、重力検知デバイスに接続され（又はそれを含み）、重力の方向を表すオーバーレイが提供される。
【0125】
請求項の範囲は、例に示す実施形態によって限定されるべきではなく、全体として本明細書に一貫する最も広い解釈が与えられるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2022-07-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
患者に関連した拡張現実を提供するコンピュータ実装方法であって、
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記ディスプレイ上に表示される際に前記光学センサユニットの前記視野内における初期位置および向きで表示し、
少なくとも１の前記プロセッサによって、追跡情報を使用して前記視野内における前記ターゲットのうちの１の姿勢を取り込むための入力を受信することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、前記ターゲットのうちの１が前記解剖学的構造に取り付けられ、表示される際の前記解剖学的構造が前記拡張現実オーバーレイの前記初期位置および向きと位置合わせされると前記入力を受信し、前記実３次元空間における前記解剖学的構造の位置および向きを前記姿勢が定義して、前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成し、
前記計算上の３次元空間において、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けることを特徴とする方法。
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記ディスプレイ上に表示される際に前記光学センサユニットの前記視野内における初期位置および向きで表示し、
少なくとも１の前記プロセッサによって、追跡情報を使用して前記視野内における前記ターゲットのうちの１の姿勢を取り込むための入力を受信することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、前記ターゲットのうちの１が前記解剖学的構造に取り付けられ、表示される際の前記解剖学的構造が前記拡張現実オーバーレイの前記初期位置および向きと位置合わせされると前記入力を受信し、前記実３次元空間における前記解剖学的構造の位置および向きを前記姿勢が定義して、前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成し、
前記計算上の３次元空間において、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けることを特徴とする方法。
【請求項2】
患者に関連した拡張現実を提供するコンピュータ実装方法であって、
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記光学センサユニットの前記視野におけるオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、前記オーバーレイ位置および向きが、前記実３次元空間における前記オーバーレイターゲットの動きに応じて動き、
少なくとも１の前記プロセッサによって、追跡情報を使用して、前記オーバーレイターゲットのレジストレーション固定姿勢と、前記解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むために、前記拡張現実オーバーレイが前記実３次元空間における前記解剖学的構造の初期位置および向きと位置合わせされると位置合わせの入力を受信し、前記実３次元空間における前記解剖学的構造の前記初期位置および向きから、前記位置合わせを含む前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、
前記計算上の３次元空間において、後続して前記拡張現実オーバーレイを描画するときに使用するために、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けることを特徴とする方法。
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記光学センサユニットの前記視野におけるオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、前記オーバーレイ位置および向きが、前記実３次元空間における前記オーバーレイターゲットの動きに応じて動き、
少なくとも１の前記プロセッサによって、追跡情報を使用して、前記オーバーレイターゲットのレジストレーション固定姿勢と、前記解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むために、前記拡張現実オーバーレイが前記実３次元空間における前記解剖学的構造の初期位置および向きと位置合わせされると位置合わせの入力を受信し、前記実３次元空間における前記解剖学的構造の前記初期位置および向きから、前記位置合わせを含む前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、
前記計算上の３次元空間において、後続して前記拡張現実オーバーレイを描画するときに使用するために、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けることを特徴とする方法。
【請求項3】
前記解剖学的構造に関連付けられた解剖学的構造ターゲットの姿勢が、前記実３次元空間における前記解剖学的構造の位置および向きを連続的に示し、リアルタイムで、且つ前記実３次元空間における前記解剖学的構造と前記光学センサユニットとの相対な動きに応じて、
前記光学センサユニットから入力される前記画像を使用して、前記解剖学的構造の動いた位置および向きを決定し、
前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、
前記ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の画像と、ｉｉ）前記拡張現実オーバーレイの前記動いた所望の位置および向きに応じて前記拡張現実オーバーレイとを描画し提供することを特徴とする請求項１又は２に記載の方法。
前記光学センサユニットから入力される前記画像を使用して、前記解剖学的構造の動いた位置および向きを決定し、
前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、
前記ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の画像と、ｉｉ）前記拡張現実オーバーレイの前記動いた所望の位置および向きに応じて前記拡張現実オーバーレイとを描画し提供することを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記解剖学的構造の初期レジストレーションと、前記解剖学的構造に対する前記拡張現実オーバーレイの初期の位置合わせと、初期の描画および提供とを実行し、その結果、前記拡張現実オーバーレイ及び前記解剖学的構造が表示される場合に、前記実３次元空間の前記画像において正しく位置合わせされないことを特徴とする請求項１又は２に記載の方法。
【請求項5】
患者に関連した拡張現実を提供するコンピュータ実装方法であって、
少なくとも１のプロセッサによって、実３次元空間の画像を入力し、前記実３次元画像が、前記患者と、骨除去器具と、前記実３次元空間における前記患者の解剖学的構造に関連付けられたターゲットとを含み、前記患者と前記ターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記ターゲットに対して前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから少なくとも１の前記プロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の前記解剖学的構造のレジストレーションを行い、
前記解剖学的構造の前記対応する位置および向きに対して前記計算上の３次元空間における所望の位置および向きに、計画されたインプラントの位置を含む拡張現実オーバーレイのオーバーレイモデルを位置合わせし、
前記計画されたインプラントの位置と前記骨除去器具とを同時に視覚化するようにディスプレイ上に表示するために、前記計画されたインプラントの位置と前記実３次元空間の画像とを描画して提供することを特徴とする方法。
少なくとも１のプロセッサによって、実３次元空間の画像を入力し、前記実３次元画像が、前記患者と、骨除去器具と、前記実３次元空間における前記患者の解剖学的構造に関連付けられたターゲットとを含み、前記患者と前記ターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記ターゲットに対して前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから少なくとも１の前記プロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の前記解剖学的構造のレジストレーションを行い、
前記解剖学的構造の前記対応する位置および向きに対して前記計算上の３次元空間における所望の位置および向きに、計画されたインプラントの位置を含む拡張現実オーバーレイのオーバーレイモデルを位置合わせし、
前記計画されたインプラントの位置と前記骨除去器具とを同時に視覚化するようにディスプレイ上に表示するために、前記計画されたインプラントの位置と前記実３次元空間の画像とを描画して提供することを特徴とする方法。
【請求項6】
患者に関連した拡張現実を提供するコンピュータ実装方法であって、
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから少なくとも１の前記プロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、
手術計画および器具のうちの１又は複数のレジストレーションを行い、
前記解剖学的構造、前記手術計画および／または前記器具の前記対応する位置および向きに対して、前記計算上の３次元空間において所望の位置および向きに対して拡張現実オーバーレイのそれぞれのオーバーレイモデルを位置合わせし、
ユーザ入力または状況に関する情報の入力に基づいて所望の表示情報を決定し、
前記所望の表示情報に基づいて、前記所望の位置および向きでディスプレイ上に表示するために前記拡張現実オーバーレイを選択的に描画して提供することを特徴とする方法。
少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、
前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、
前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから少なくとも１の前記プロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、
手術計画および器具のうちの１又は複数のレジストレーションを行い、
前記解剖学的構造、前記手術計画および／または前記器具の前記対応する位置および向きに対して、前記計算上の３次元空間において所望の位置および向きに対して拡張現実オーバーレイのそれぞれのオーバーレイモデルを位置合わせし、
ユーザ入力または状況に関する情報の入力に基づいて所望の表示情報を決定し、
前記所望の表示情報に基づいて、前記所望の位置および向きでディスプレイ上に表示するために前記拡張現実オーバーレイを選択的に描画して提供することを特徴とする方法。
【請求項7】
演算ユニットと、光学センサユニットと、前記光学センサユニットにより対象を追跡するための１又は複数のターゲットとを備え、前記光学センサユニットが、前記ターゲットに対する追跡情報を有する追跡画像と前記光学センサユニットの視野における処置の可視画像とを、前記演算ユニットに提供し、前記演算ユニットが、請求項１，２，５又は６のいずれか記載の方法を実行するように構成された、少なくとも１のプロセッサを有することを特徴とする手術ナビゲーションシステム。
【請求項8】
前記患者の生体のうちの１の解剖学的構造に前記光学センサユニットのうちの１及びトラッカのうちの１を、選択的に、取外し可能に且つ堅固に取り付けるためのプラットフォームであって、少なくとも１の面を有する本体を備え、少なくとも１の前記面が、光学的に追跡可能なパターンと、繰返し可能な（着脱可能な）光学センサマウントと、繰返し可能な（着脱可能な）ターゲットマウントとを提供するように構成され、前記光学的に追跡可能なパターンが、前記プラットフォームに取り付けられたときに前記光学センサユニットの視野内に延在する、プラットフォームを備え、
前記光学的に追跡可能なパターンと前記ターゲットマウントとの間の空間的関係が、ターゲット－パターン定義によって事前に定義され、
前記演算ユニットが、
前記光学センサユニットが前記プラットフォームに取り付けられると前記光学的に追跡可能なパターンの特徴を含む第１の画像を入力し、
前記光学的に追跡可能なパターンの姿勢を計算するための演算を実行し、
前記光学的に追跡可能なパターンの前記姿勢と前記ターゲット－パターン定義とに基づき、前記ターゲットマウントの前記姿勢を計算するための演算を実行し、
前記光学センサユニットが前記プラットフォームから取り除かれ、前記トラッカのうちの１が前記プラットフォームに取り付けられると、前記プラットフォームに取り付けられた前記トラッカのうちの１を含む第２の画像を入力し、
前記トラッカのうちの１が取り付けられる前記解剖学的構造を追跡するように構成されていることを特徴とする請求項７記載の手術ナビゲーションシステム。
前記光学的に追跡可能なパターンと前記ターゲットマウントとの間の空間的関係が、ターゲット－パターン定義によって事前に定義され、
前記演算ユニットが、
前記光学センサユニットが前記プラットフォームに取り付けられると前記光学的に追跡可能なパターンの特徴を含む第１の画像を入力し、
前記光学的に追跡可能なパターンの姿勢を計算するための演算を実行し、
前記光学的に追跡可能なパターンの前記姿勢と前記ターゲット－パターン定義とに基づき、前記ターゲットマウントの前記姿勢を計算するための演算を実行し、
前記光学センサユニットが前記プラットフォームから取り除かれ、前記トラッカのうちの１が前記プラットフォームに取り付けられると、前記プラットフォームに取り付けられた前記トラッカのうちの１を含む第２の画像を入力し、
前記トラッカのうちの１が取り付けられる前記解剖学的構造を追跡するように構成されていることを特徴とする請求項７記載の手術ナビゲーションシステム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【関連出願への相互参照】
【0001】
本出願は、２０１７年３月１７日に出願された米国仮特許出願第６２／４７２，７０５号の米国内での先の出願の利益と、それ以外の国では上記出願に対するパリ条約の優先権とを主張し、可能な場合はその出願の内容全体が参照により本明細書に援用される。
【技術分野】
【0002】
本開示は、手術器具、人工器官、および患者の生体（例えば骨）の部分等、対象の姿勢が追跡され、処置を支援するように情報が確定され表示される、手術ナビゲーションに関し、より詳細には、処置のリアルタイムでの可視画像の上にコンピュータ生成画像を重ねること等による拡張現実システム及び方法に関する。
【背景技術】
【0003】
外科的処置において、対象（例えば、剛体および患者の生体）の空間的な位置特定に関する情報を得るために、光学、電磁気等の様々な方式を使用する手術ナビゲーションシステムが使用される。外科的処置中にディスプレイへリアルタイムで情報を表示して、外科医または他の専門家を支援できる。
【0004】
手術ナビゲーションシステムは、実３次元空間において追跡されている対象の、システムによって維持される座標系（例えば、計算上の３次元空間）へのレジストレーションを実行する。このように、対象の姿勢（位置および向き）は、計算により知ることができ、システムにおいて互いに関連付けることができる。相対姿勢情報を使用して、実３次元空間における対象に関する様々な測定値または他のパラメータを決定することができる。
【発明の概要】
【0005】
システム及び方法は、患者に関連した手術ナビゲーションの拡張現実を提供する。拡張現実（ＡＲ）オーバーレイ（例えば、コンピュータ生成画像）が、解剖学的構造が追跡される際に患者の画像の上に描画されることで、表示される。光学センサユニットは、実３次元空間での処置における視野内の対象に関連付けられたターゲットの追跡画像を、その可視画像とともにシステムに提供する。システムは、実３次元空間における姿勢から計算上（コンピュータ上）の３次元空間における解剖学的構造の対応する姿勢を生成して、解剖学的構造のレジストレーションを行う。計算上の３次元空間におけるオーバーレイの姿勢が、解剖学的構造の姿勢と位置合わせされることで、オーバーレイがディスプレイに解剖学的構造上に描画され場合に、オーバーレイが所望の位置にあるようになる。オーバーレイは、対象の３次元モデル、一般的な若しくは患者特有の骨、または他の解剖学的構造等のオーバーレイモデルから生成できる。拡張現実オーバーレイは、例えば、追跡された解剖学的構造を、ディスプレイ上に描画されたオーバーレイと位置合わせされるように動かすことにより、また、解剖学的構造の位置を維持した状態で、計算上の３次元空間のオーバーレイに位置合わせされるよう、実３次元空間におけるトラッカを動かすことにより、解剖学的構造のレジストレーションを支援する場合において有用である。位置合わせが固定されると、解剖学的構造のレジストレーションが行われる。その後、オーバーレイは、解剖学的構造が追跡される際に解剖学的構造の姿勢に位置合わせされる。
【0006】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサによって実３次元空間の画像を入力し、実３次元空間が、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、１又は複数のターゲットのそれぞれに対して画像から追跡情報を決定し、解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、実３次元空間における解剖学的構造の位置および向きから、少なくとも１のプロセッサによって維持される計算上の３次元空間における解剖学的構造の対応する位置および向きを生成して、計算上の３次元空間において患者の解剖学的構造のレジストレーションを行い、解剖学的構造の対応する位置および向きに対する計算上の３次元空間における所望の位置および向きに、拡張現実オーバーレイのオーバーレイモデルの位置合わせを行い、ディスプレイにおいて所望の位置および向きに表示するために拡張現実オーバーレイを描画して提供する。
【0007】
本方法は、解剖学的構造と拡張現実オーバーレイとを同時に視覚化するためにディスプレイ上に表示するように、実３次元空間の画像を提供しても良い。
【0008】
光学センサユニットは、光学センサユニットによって２次元で提供される実３次元空間の画像から３次元測定値を決定するための較正データを含むことができ、追跡情報を決定するステップは、少なくとも１のプロセッサにより較正データを使用して追跡情報を決定しても良い。
【0009】
本方法は、解剖学的構造に関連付けられたそれぞれのターゲットの姿勢は、実３次元空間における解剖学的構造の位置および向きを連続的に示し、リアルタイムに、且つ実３次元空間における解剖学的構造と光学センサユニットとの相対的な動きに応じて、光学センサユニットから入力される画像を使用して、実３次元空間における解剖学的構造の動いた位置および向きを決定し、解剖学的構造の動いた位置および向きに対して拡張現実オーバーレイの位置合わせを更新することで、拡張現実オーバーレイの動いた所望の位置および向きを決定し、動いた所望の位置および向きで表示するために拡張現実オーバーレイを提供しても良い。解剖学的構造に関連付けられたそれぞれのターゲットは、１）実３次元空間において、光学センサユニット及び解剖学的構造のうちの一方または両方が自由に動くことができるように、解剖学的構造に取り付けられるか、又は、２）解剖学的構造の位置が実３次元空間において一定のままで、光学センサユニットのみが実３次元空間において自由に動けるように、別の物体に取り付けられる。
【0010】
実３次元空間の画像は拡大画像を含むことができ、拡張現実オーバーレイは拡大画像に一致するように拡大できる。
【0011】
解剖学的構造は大腿骨とすることができ、解剖学的構造に関連付けられたターゲットのうちの１つは、大腿骨に取り付けられた大腿骨ターゲットである。オーバーレイモデルは、一般的な又は患者特有の大腿骨モデルの３次元モデルとすることができ、拡張現実オーバーレイは、それぞれ一般的な又は患者特有の大腿骨を表す画像である。
【0012】
解剖学的構造は骨盤であり、解剖学的構造に関連付けられたターゲットのうちの１つは骨盤ターゲットである。オーバーレイモデルは、一般的な又は患者特有の骨盤モデルの３次元モデルとすることができ、拡張現実オーバーレイは、それぞれ一般的な又は患者特有の骨盤を表す画像である。
【0013】
オーバーレイモデルは、機能軸モデルとすることができ、拡張現実オーバーレイは、機能軸および／または更なる軸もしくは面の画像であり、その位置は、解剖学的構造の機能軸の位置に対して決定される。本方法は、解剖学的構造が解剖学的構造の端部を中心に回転する際、ターゲット画像から得られる追跡情報を使用して、解剖学的構造の機能軸を決定しても良い。更なる軸および／または面は、切除面でも良い。機能軸モデルに沿った切除面の位置は、ユーザ入力に応じて調整可能であり、それにより、拡張現実オーバーレイにおいて切除面の所望の位置および向きを調整できる。骨は大腿骨でも良い。本方法は、計算上の３次元空間において患者の同じ脚の脛骨のレジストレーションを行い、脛骨が１又は複数のターゲットの脛骨ターゲットに結合され、少なくとも１のプロセッサが、実３次元空間における脛骨の位置および向きを決定し、脛骨ターゲットの画像から決定される追跡情報から、計算上の３次元空間における脛骨の対応する位置および向きを生成し、脛骨の対応する位置および向きに対して、計算上の３次元空間における第２の所望の位置および向きに、第２の拡張現実オーバーレイの第２のオーバーレイモデルを位置合わせし、第２の所望の位置および向きでディスプレイに表示するために第２の拡張現実オーバーレイを提供しても良い。脛骨のレジストレーションを行うことは、プローブに取り付けられたターゲットのうちの１の画像を使用し、プローブは、脛骨の第１の端部を定義するための脛骨上の第１の代表的な位置と、脛骨の第２の端部および機能軸を定義するための患者の踝を中心とする第２の識別位置とを特定する。本方法は、実３次元空間において脛骨の位置および向きの動きを追跡し、実３次元空間における脛骨の位置および向きの動きに応じて、脛骨の対応する位置および向きを更新し、動いた脛骨の位置および向きに対する第２の拡張現実オーバーレイの位置合わせを更新して、動作後の第２の所望の位置および向きを決定し、動作後の第２の所望の位置および向きで表示するために第２の拡張現実オーバーレイを提供しても良い。本方法は、大腿骨の拡張現実オーバーレイと脛骨の拡張現実オーバーレイとの各々の位置を決定し、近接および交差のうちの少なくとも一方を示すように互いに対する相対位置を示しても良い。
【0014】
光学センサユニットは、（ａ）可視チャネル及び追跡チャネルを提供するマルチスペクトルカメラ、（ｂ）可視チャネル及び追跡チャネルをそれぞれ提供するデュアルカメラ、（ｃ）プリズムを用いて可視チャネル及び追跡チャネルを分割するデュアルイメージャ及び（ｄ）可視光を追跡チャネルに使用する装置のうちの、いずれかの装置で構成できる。
【0015】
解剖学的構造は外科的に変更することができ、オーバーレイモデルは、人工インプラントによる置換の前の一般的な又は患者特有のヒトの解剖学的構造の３次元モデルであり、拡張現実オーバーレイは、それぞれ一般的な又は患者特有のヒトの解剖学的構造を表す画像である。本方法は、解剖学的構造と拡張現実オーバーレイとを、同時に視覚化するために、患者の画像をディスプレイ上に表示しても良い。
【0016】
オーバーレイモデルは、患者の術前画像から定義される患者特有モデルでも良い。
【0017】
患者の術前画像は、罹患したヒトの解剖学的構造を示すことができ、オーバーレイモデルは、疾患のない罹患したヒトの解剖学的構造を表すことができる。
【0018】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサによって実３次元空間の画像を入力し、実３次元空間が、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、患者と１又は複数のターゲットとを含む実３次元空間における視野の前記画像を単一の光学センサユニットから入力し、１又は複数のターゲットのそれぞれに対して画像から追跡情報を決定し、ディスプレイに同時に表示するために、ｉ）光学センサからの実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、拡張現実オーバーレイが、オーバーレイモデルから定義され、且つ、ディスプレイ上に表示される際に光学センサユニットの視野内における初期位置および向きで表示し、少なくとも１のプロセッサにより、追跡情報を使用して視野内におけるターゲットのうちの１の姿勢を取り込むための入力を受信することにより、計算上の３次元空間における患者の解剖学的構造のレジストレーションを行い、ターゲットのうちの１が解剖学的構造に取り付けられ、表示される際の解剖学的構造が拡張現実オーバーレイの初期位置および向きと位置合わせの入力を受信し、実３次元空間における解剖学的構造の位置および向きを姿勢が定義して、計算上の３次元空間における解剖学的構造の対応する位置および向きを生成し、計算上の３次元空間において、解剖学的構造の対応する位置および向きに対する拡張現実オーバーレイの所望の位置および向きを関連付ける。
【0019】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサによって実３次元空間の画像を入力し、実３次元空間が、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する（単一の）光学センサユニットから画像を入力し、１又は複数のターゲットのそれぞれに対して画像から追跡情報を決定し、ディスプレイに同時に表示するために、ｉ）光学センサユニットからの実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、拡張現実オーバーレイが、オーバーレイモデルから定義され、且つ、光学センサユニットの視野におけるオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、オーバーレイ位置および向きが、実３次元空間におけるオーバーレイターゲットの動きに応じて動き、少なくとも１のプロセッサにより、追跡情報を使用して、オーバーレイターゲットのレジストレーション固定姿勢と、解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むために、拡張現実オーバーレイが実３次元空間における解剖学的構造の初期位置および向きと位置合わせとの入力を受信し、実３次元空間における解剖学的構造の初期位置および向きから、計算上の３次元空間における解剖学的構造の対応する位置および向きを生成することにより、計算上の３次元空間における患者の解剖学的構造のレジストレーションを行い、計算上の３次元空間において、後続して拡張現実オーバーレイを描画するときに使用するために、解剖学的構造の対応する位置および向きに対する拡張現実オーバーレイの所望の位置および向きを関連付ける。
【0020】
オーバーレイを使用してレジストレーションを行うこれらの方法に関連して、本方法は、解剖学的構造に関連付けられた解剖学的構造ターゲットの姿勢は、実３次元空間における解剖学的構造の位置および向きを連続的に示し、リアルタイムで、且つ実３次元空間における解剖学的構造と光学センサユニットとの相対的な動きに応じて、光学センサユニットから入力される画像を使用して、解剖学的構造の動いた位置および向きを決定し、解剖学的構造の動いた位置および向きに対して拡張現実オーバーレイの位置合わせを更新して、拡張現実オーバーレイの動いた所望の位置および向きを決定し、ディスプレイに同時に表示するために、ｉ）光学センサユニットからの実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの動いた所望の位置および向きに応じて拡張現実オーバーレイとを描画し提供しても良い。
【0021】
本方法は、解剖学的構造の初期レジストレーションと、解剖学的構造に対する拡張現実オーバーレイの初期の位置合わせと、初期の描画および提供とを実行し、その結果、拡張現実オーバーレイ及び解剖学的構造が表示される場合に、実３次元空間の画像において正しく位置合わせされないようにしても良い。
【0022】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサにより、実３次元空間の画像を入力し、実３次元画像が、患者と、骨除去器具と、実３次元空間における患者の解剖学的構造に関連付けられたターゲットとを含み、患者とターゲットとを含む実３次元空間の視野を有する単一の光学センサユニットから画像を入力し、ターゲットに対して画像から追跡情報を決定し、解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、実３次元空間における解剖学的構造の位置および向きから少なくとも１のプロセッサによって維持される、計算上の３次元空間における解剖学的構造の対応する位置および向きを生成して、計算上の３次元空間において患者の解剖学的構造のレジストレーションを行い、解剖学的構造の対応する位置および向きに対して計算上の３次元空間における所望の位置および向きに、計画されたインプラントの位置を含む拡張現実オーバーレイのオーバーレイモデルを位置合わせし、計画されたインプラントの位置と骨除去器具とを同時に視覚化するようにディスプレイ上に表示するように、計画されたインプラントの位置と実３次元空間の画像とを描画して提供する。
【0023】
患者に関連した拡張現実を提供するコンピュータ実装方法が提供される。本方法は、少なくとも１のプロセッサによって実３次元空間の画像を入力し、実３次元空間が、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する単一の光学センサユニットから画像を入力し、１又は複数のターゲットのそれぞれに対して画像から追跡情報を決定し、解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、実３次元空間における解剖学的構造の位置および向きから少なくとも１のプロセッサによって維持される、計算上の３次元空間における解剖学的構造の対応する位置および向きを生成して、計算上の３次元空間において患者の解剖学的構造のレジストレーションを行い、手術計画および器具のうちの１又は複数のレジストレーションを行い、解剖学的構造、手術計画および／または器具の対応する位置および向きに対して、計算上の３次元空間において所望の位置および向きに対して拡張現実オーバーレイのそれぞれのオーバーレイモデルを位置合わせし、ユーザ入力または状況に関する情報の入力に基づいて所望の表示情報を決定し、所望の表示情報に基づいて、所望の位置および向きでディスプレイ上に表示するよう拡張現実オーバーレイを選択的に描画して提供する。
【0024】
演算ユニットと、光学センサユニットと、光学センサユニットにより対象を追跡するための１又は複数のターゲットとを備え、光学センサユニットが、前記ターゲットに対する追跡情報を有する追跡画像と光センサユニットの視野における処置の可視画像とを、演算ユニットに提供し、演算ユニットが、本明細書における方法のうちのいずれか１つに従って方法を実行するように構成された少なくとも１のプロセッサを有する、手術ナビゲーションシステムが提供される。手術ナビゲーションシステムは、患者の解剖学的構造のうちの１の解剖学的構造に光学センサユニットのうちの１及びトラッカのうちの１を、選択的に、取外し可能に且つ堅固に取り付けるためのプラットフォームであって、少なくとも１の面を有する本体を備え、少なくとも１の面が、光学的に追跡可能なパターンと、繰返し可能な（着脱可能な）光学センサマウントと、繰返し可能な（着脱可能な）ターゲットマウントとを提供するように構成され、光学的に追跡可能なパターンが、プラットフォームに取り付けられたときに光学センサユニットの視野内に延在する、プラットフォームを含むことができる。光学的に追跡可能なパターンとターゲットマウントとの間の空間的関係は、ターゲット－パターン定義によって事前に定義される。演算ユニットは、光学センサユニットがプラットフォームに取り付けられると、光学的に追跡可能なパターンの特徴を含む第１の画像を入力し、光学的に追跡可能なパターンの姿勢を計算するための演算を実行し、光学的に追跡可能なパターンの姿勢とターゲット－パターン定義とに基づき、ターゲットマウントの姿勢を計算するための演算を実行し、光学センサユニットがプラットフォームから取り除かれ、トラッカのうちの１がプラットフォームに取り付けられると、プラットフォームに取り付けられたトラッカのうちの１を含む第２の画像を入力し、トラッカのうちの１が取り付けられる解剖学的構造を追跡するように構成しても良い。
【0025】
プラットフォーム態様とともにコンピュータプログラム製品態様もまた提供できる。そこでは、デバイスが非一時的な命令を格納し、その少なくとも１のプロセッサによって命令が実行されると、システムに方法のうちの任意のものを実行させるように構成される。
【0026】
明細書における「一実施形態」、「好ましい実施形態」、「１つの実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」又は「複数の実施形態（ｅｍｂｏｄｉｍｅｎｔｓ）」（又は「１つの例（ｅｘａｍｐｌｅ）」もしくは「複数の例（ｅｘａｍｐｌｅｓ）」に対する言及は、その実施形態／例に関連して記載される特定の特徴、構造、特性または機能が、少なくとも１の実施形態／例に含まれ、可能な場合は２つ以上の実施形態／例にも含まれ得ることを意味する。また、明細書における様々な場所でのこうした言い回しは、必ずしもすべて同じ１つの実施形態／例または複数の実施形態／例を指しているとは限らない。
【図面の簡単な説明】
【0027】
【図1】手術ナビゲーションシステムの図である。
【図3】レジストレーション方法のフローチャートである。
【図4】模擬手術における骨盤オーバーレイを示すスクリーンショットである。
【図5】患者に関して拡張現実を提供する動作のフローチャートを示す。
【図8】Ａ及びＢは、図６Ａに示すようなＧＵＩにおいて表示される、それぞれの取込みビデオ画像であり、膝が伸展から屈曲まで動く際の膝の生体（例えば大腿骨）に結合されたターゲットを示し、膝のリアルタイム画像の上に機能軸および切除面を示す。
【図9】Ａ及びＢは、３次元空間において生体を追跡するためのプローブの使用を示すスクリーンショットであり、ＡＲオーバーレイとして使用することができるマーキングを残す。
【図10】レジストレーションを達成するために、患者に関連した拡張現実を提供する処理のフローチャートを示す。
【図11】レジストレーションを達成するために、患者に関連した拡張現実を提供する処理のフローチャートを示す。
【図12】Ａは、トラッカおよび手術器具を介して解剖学的構造を追跡するカメラ（例えば光学センサユニット）を含む手術室の略図を示し、Ｂは、オーバーレイを含む図１２Ａの手術室のビデオ画像を示すディスプレイ１２２０の図である。
【図13】Ａは、ＡＲプラットフォームの上面斜視図であり、Ｂ，Ｃは、ＡＲプラットフォームの側面図である。
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【発明を実施するための形態】
【0044】
手術ナビゲーションシステムは、１の剛体（器具、人工インプラント、生体等）の他の剛体（別の器具、患者の生体等）に対する空間的な位置特定を提供する。手術ナビゲーションシステムおよび関連方式の例は、２０１４年３月１４日に出願されたＨｌａｄｉｏらによる「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｔｒａ－ｏｐｅｒａｔｉｖｅ Ｌｅｇ Ｐｏｓｉｔｉｏｎ Ｍｅａｓｕｒｅｍｅｎｔ」と題するＰＣＴ／ＣＡ２０１４／０００２４１号により詳細に記載されており、その出願の内容全体が参照により本明細書に援用される。手術ナビゲーションシステムは、光学技術を含む様々な方式を有することができ、能動または受動ターゲットを使用して、追跡されている剛体の姿勢（位置および向き）データを提供することができる。本明細書において後述するように、追跡情報および処置の可視画像を含む画像を提供する光学ベースのシステムは、処置を支援するためにオーバーレイを用いて拡張することができる。可視画像は、主に可視光スペクトルからの画像を含み、ヒトユーザが知覚するためにディスプレイに表示できる、画像である。
【0045】
対象、特に患者の生体のレジストレーションを行う様々な方式が既知である。参照により本明細書に援用される、２０１６年９月１日に公開され、「Ｓｙｓｔｅｍｓ，ｍｅｔｈｏｄｓ ａｎｄ ｄｅｖｉｃｅｓ ｆｏｒ ａｎａｔｏｍｉｃａｌ ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ ｓｕｒｇｉｃａｌ ｌｏｃａｌｉｚａｔｉｏｎ」と題する米国特許出願公開第２０１６０２４９９８７Ａ１は、いくつかのレジストレーション方式を記載している。そこに示されているように、レジストレーション方式は、手術のワークフローの時間を不必要に増大させることがないように高速であり、且つ十分に正確であることが望ましい。
【0046】
以下、追跡動作を可能にするためにレジストレーションステップを支援するために拡張現実を使用する、更なるレジストレーション方式について記載する。
【0047】
ナビゲーションシステムにおける拡張現実
【0048】
手術処置のリアルタイム可視画像上の（例えばコンピュータ生成画像を含む）拡張現実オーバーレイは、手術処置の拡張現実ビューを提供するために、ディスプレイを介して外科医または他のユーザに提示できる。手術ナビゲーションシステムに関して説明するが、こうしたシステムは、外来または他の状況において有用であり、外科手術に排他的に使用される必要はなく、診断または他の治療目的でも使用できる。
【0049】
拡張現実オーバーレイは、表示されるか又は他の形状および／もしくは位置情報を形成する対象の３次元モデルから生成できる。対象をセグメント化するか又は前処理をすることができ、医用画像データから定義することができる。医用画像データは、骨または他の解剖学的構造等、一般的な又は患者特有の生体を表すことができる。オーバーレイモデルは、生体の３次元画像から構築できる。患者特有の画像は、ＣＴ、ＭＲＩ又は他のスキャン方式等から生成できる。一般的なオーバーレイモデルは、（例えば他の患者または身体の）生体のスキャンから、又はＣＡＤ若しくは他のコンピュータモデル及び／又は描画等から構築できる。
【0050】
オーバーレイに表される生体は、罹患した生体である場合があり、それは、患者の実際の生体または人工器官（プロテーゼ）の上に表示される。表示される生体は、後述するように、患者の罹患した生体から構成された、健康な又は罹患前の生体である場合がある。
【0051】
表示される他の対象は、手術器具（例えばジグ）、または（例えば患者の生体の又は切断するための）形状、線、軸および／もしくは面の表現、または他の幾何学的特徴等でも良い。
【0052】
オーバーレイは、ターゲットパラメータを含むことができる。ターゲットパラメータは、手術計画（すなわち、外科医がその日に行う同じタイプの計画）に基づくことができる。その利点は、こうしたパラメータにより、医師が（単に医用画像に対してではなく）実際の患者に関して計画をより適切に視覚化できる、ということである。ターゲットパラメータは、インプラントの所望の／計画された位置に基づくことができる。人工股関節置換術（ＴＨＡ）の例は、寛骨臼カップの角度、股関節の回転中心、大腿骨頭に対する切除面を含む。膝の例は、遠位大腿骨および／または近位脛骨に対する切除面を含む。脊椎の例は、椎体内の椎弓根スクリューの位置を含む。ターゲットパラメータは、ターゲットとなる生体の位置を含むことができる。神経外科の例は、脳内の腫瘍の位置を含む。
【0053】
オーバーレイは、例えば、処置中にナビゲーション手術システムによって収集される追跡データに基づいて生成することができ、（ａ）３次元スキャン（例えばレーザ等からの構造化光を患者の表面上に投影し、光学センサユニットによって検出して３次元スキャンを定義される）及び（ｂ）３次元の「図形」を含むことができる。
【0054】
リアルタイム可視画像は、システムの演算ユニットに結合された光学センサユニットから得られ、この光学センサユニットは、処置の可視画像とともに、光学センサの視野内で対象を追跡するための追跡情報（追跡画像）を提供する。光学センサは、多くの場合、追跡されている対象に結合されたターゲットを検知するため、赤外線ベースの検知技術を使用する。追跡画像（すなわち追跡情報）および可視画像の両方を提供するために、光学センサユニットは、以下のうちの１の装置によって構成される。
【0055】
可視チャネル及び追跡チャネルを提供するマルチスペクトルカメラ。
【0056】
可視チャネル及び追跡チャネルをそれぞれ提供するデュアルカメラ。
【0057】
プリズムを用いて可視チャネル及び追跡チャネルを分割するデュアルイメージャ。
【0058】
可視光を追跡チャネルに使用する装置。
【0059】
光学センサユニットは、単一ユニットとして構成することができる。別個の追跡画像および可視画像を取り込む場合、追跡画像および可視画像の位置合わせを不要にするように、追跡画像を取り込んでいるカメラ又はイメージャの視野は、可視画像を取り込んでいるカメラ又はイメージャの視野と同一であることが好ましい。
【0060】
いくつかの実施形態において、拡張現実オーバーレイは、追跡システムによって追跡される患者の解剖学的構造に関連して表示される。解剖学的構造の相対姿勢が光学センサユニットに関して動き（例えば構造が動くか又は光学センサユニットが動くため）、したがって、構造がリアルタイム画像内で動く際、オーバーレイは、表示されるとき、解剖学的構造に追従し、同様に動くことができる。
【0061】
図１は、ＴＨＡで使用される手術ナビゲーションシステム１００を示し、そこでは、光学センサユニット１０２が、患者の生体（例えば骨盤１０４）に取り付けられ、ワークステーション又は術中演算ユニット１０６と通信する。ターゲット１０８の姿勢（位置および向き）は、光学センサユニット１０２によって検出され、術中演算ユニット１０６のグラフィカルユーザインタフェース（ＧＵＩ）１１０に表示される。ターゲット１０８は、器具１１２に、又は患者の生体の一部に（例えば大腿骨に）取り付けられる。いくつかの実施形態では、取外し可能なターゲットが使用される。システム１００は、他の処置で使用でき、例えば、異なる器具を使用すること、光学センサユニットを異なる解剖学的構造または他の面へ（例えば患者から離れた）取り付けることにより、適用させることができる。
【0062】
システム１００において光学センサユニット１０２は、その視野からのリアルタイム画像とともに、視野内のターゲットに対する追跡情報を提供する。
【0063】
ＴＨＡにおいて患者の生体に関する電子ガイダンスを提供するために、システム１００に関する患者の生体（例えば骨盤）の空間座標が必要である。レジストレーションは、こうした座標を得るために実行される。解剖学的レジストレーションは、対象となっている生体と位置特定システム又は手術ナビゲーションシステムとの間のデジタル位置または座標マッピングを生成することに関する。様々な方式が既知であり、例えば、軸フレームが利用される、米国特許出願公開第２０１６０２４９９８７Ａ１号を参照できる。かかる方式について、本明細書で簡単に説明する。
【0064】
例示的な実施形態として、本明細書では、特にＴＨＡにおいて有用な骨盤レジストレーションを選択するが、一般的な生体や他の外科手術において適用可能である。本開示において、通常、センサは、患者の生体の骨、または手術台等の安定面に取り付けられる。センサが最大６自由度で検出可能なターゲットが、患者の生体の別の骨、器具、プロテーゼ等、追跡対象の上に配置される。しかしながら、概して、センサ及びターゲットの位置は、機能性を損なうことなく逆にすることができる（例えばターゲットを骨または安定面に固定し、センサを追跡対象に取り付ける）。光学センサユニットは、患者の上に又は患者から離れて、外科医または処置チームの他の構成員に、例えば、頭部もしくは身体に取り付けることができ、又は手持ち式とすることができる。生体を、異なる角度（視野）から調べることができる。いくつかの実施形態において、光学センサユニットは、用具／器具またはロボットの上でも良い。いくつかの実施形態において、光学センサ、演算ユニット及びディスプレイは、タブレットコンピュータ等、単一の装置として一体化できる。いくつかの実施形態において、光学センサユニット及びディスプレイは、一体化し又は別個のままとできるが、ユーザの頭部の上等、ユーザが装着するように構成できる。
【0065】
ここで図２を参照する。図２は、患者の生体のレジストレーションを行うために使用可能な軸フレーム２０２と呼ぶデバイスを示す。軸フレーム２０２は、その形状を通して、第１の軸２０４、第２の軸２０６及び第３の軸２０８等の軸を定義できる。例えば、軸フレームは、３つの軸を定義する３つの直交バーから構成できる。光学センサユニット１０２は、患者の生体の骨盤１０４に取り付けられ、ケーブル２１０を通して術中演算ユニット１０６と通信する。光学センサユニットは、軸フレーム２０２に取り付けられたターゲット１０８の位置情報を追跡する。この情報を使用して、レジストレーション座標系を構築するために、患者の解剖学的軸の方向が測定される。使用時、軸フレーム２０２の軸とターゲット１０８との間の位置関係は、正確な製造公差によって、又は較正処理が施されて術中演算ユニット１０６に入力される。
【0066】
軸フレームが患者と位置合わせされるとき、その上のターゲット１０８は、（ターゲットからの）姿勢情報を取り込むために、光学センサユニット１０２の視野内に位置決めされる。この方式は、患者毎の解剖学的なばらつきとともに、骨盤１０４上の光学センサユニット１０２の位置決めのばらつきを考慮できる。光学センサユニット１０２は、姿勢測定を支援する他のセンサを備えても良い。一例は加速度計（図示せず）である。加速度計に加えて又はその代わりに、レジストレーション及び／又は姿勢推定に役立つように他の検知装置を組み込むことができる。こうした検知装置としては、限定されないが、ジャイロスコープ、傾斜計、磁力計等が挙げられる。検知装置が電子集積回路の形態であることが好ましい場合がある。
【0067】
レジストレーションに、軸フレーム２０２及び加速度計の両方を使用できる。光学測定値および傾斜測定値が取り込まれたシステム１００は、患者を正確に位置決めするか、又は患者の解剖学的構造の１の軸／複数の軸に沿って軸フレームを正確に位置合わせするか、又は両方を行うかを外科医に依存する。患者の解剖学的構造のレジストレーションを行うために、更なる独立した情報を提供することが望ましい場合がある。例えば、ＴＨＡにおいて、追跡可能なターゲットに取り付けられたプローブを使用して、寛骨臼縁に沿った少なくとも３つの位置を取り込むことにより、本来の寛骨臼面のレジストレーションを行うことができる。骨盤に対してインプラントを位置決めするとき、両レジストレーションに対して組み合わせて、又は独立した情報を提示できる。即ち一方はワークステーションにより、軸フレームの光学測定値および傾斜測定値から取り込まれたレジストレーション（一次レジストレーション座標系）であり、他方はワークステーションにより、患者の寛骨臼縁の上の局所化されたランドマークの光学測定値から生成された基準面によって取り込まれたレジストレーション（二次レジストレーション座標系）である。
【0068】
光学センサユニット１０２の位置は、１又は複数のターゲットの位置および向きを検出可能な別の位置に配置できる。例えば、光学センサユニット１０２は、手術台に取り付けたり、外科医の手で保持したり、外科医の頭部に取り付けたり等が可能である。患者の骨盤に第１のターゲットを取り付けることができ、レジストレーションデバイス（例えばプローブ又は軸フレーム）に第２のターゲットを取り付けることができる。光学センサユニット１０２は、両ターゲットの位置および向きを取り込む。ワークステーションは、両ターゲットの間の位置および向きの相対的な測定値を計算する。さらに、光学センサユニット１０２は、傾斜測定値と、患者の生体に取り付けられた第１のターゲットの位置および向きとを取り込む。そして、ワークステーションは、第１のターゲットに関して重力の方向を計算する。両ターゲットの間の相対姿勢測定値と、患者の解剖学的構造に取り付けられた第１のターゲットに関する重力の方向とを使用して、ワークステーションは、最大６自由度（６ＤＯＦ）でレジストレーション座標系を構築できる。
【0069】
例示的な使用方式、即ち図３のフローチャートに示される動作３００は、以下が含まれる。ステップ３０２において、患者が位置決めされ、その位置は外科医に既知である。ステップ３０４において、センサが解剖学的構造に関する任意の位置および向きで動かないように、骨盤に対して取り付けられる。ステップ３０６において、センサにより、軸フレームが、追跡可能なターゲットとともに追跡される。ステップ３０８において、軸フレームが、外科医が既知の患者の解剖学的構造の位置と位置合わせされることで、位置決めされると、ステップ３１０が実行される。演算ユニットは、軸フレームの姿勢を計算する。この姿勢を使用して、センサと生体との間のレジストレーション座標系が６ＤＯＦで計算される。ステップ３１２において、軸フレームが除去され且つ／又は破棄され、そしてレジストレーション座標系に基づいて、ローカライザシステムにおける次の位置測定値が計算される。
【0070】
レジストレーション座標系は、光学センサユニット１０２の視野における実３次元空間に関連する、計算上の３次元空間を６ＤＯＦで提供する。レジストレーションは、実３次元空間の画像から入力される姿勢データから、その計算上の３次元空間における解剖学的構造の対応する位置および向きを生成する。
【0071】
光学センサユニット１０２は、入力されるターゲットの２次元画像を、レジストレーションを構築する３次元姿勢情報に関連付けるために、設定／較正データをシステム１００に提供することができる。いくつかの実施形態において、光学センサユニットにおける１のレンズ又は複数のレンズは、「魚眼レンズ」である。魚眼レンズの歪みのために、実３次元空間における直線は実３次元空間の画像において真っ直ぐに見えない可能性がある。画像において直線が真っ直ぐに現れ、曲線が正確に湾曲しているように、較正データに基づいて、表示の前に画像の歪みを除去することが有利な場合がある。代替的に、拡張現実オーバーレイを描画するとき、描画は、センサが実３次元空間をいかに記録し／取り込むかに従って、真っ直ぐな３次元モデルを真っ直ぐでないように見えるようにするために、センサの歪みモデル（この場合もまた、較正データによって表される）を適用できる。
【0072】
レジストレーションが達成されると、計算上の３次元空間における解剖学的構造の位置に関して、計算上の３次元空間における所望の位置および向きに、拡張現実オーバーレイが位置合わせされる。３次元モデルによってモデル化される拡張現実オーバーレイにとっては、このことは、オーバーレイモデルをその空間に位置合わせすることである。オーバーレイモデルを位置合わせするために、モデルデータの姿勢を所望の姿勢に変換するための十分な変換処理（例えば行列）を含むことができる。そして、拡張現実オーバーレイは、所望の位置および向きでディスプレイに表示されるように描画され提供される。
【0073】
骨盤オーバーレイが示される図４に見られるように、オーバーレイの所望の姿勢は、例えば、オーバーレイがディスプレイにおいて解剖学的構造のリアルタイム画像の上に表示されるように、解剖学的構造の姿勢でも良い。
【0074】
ＴＨＡにおける他の骨盤オーバーレイ（図示せず）は、ターゲットカップの位置を含むことができる。
【0075】
図５は、実施形態による、患者に対する拡張現実を提供する動作５００のフローチャートを示す。ステップ５０２において、少なくとも１のプロセッサにより実３次元空間の画像を入力し、実３次元空間は、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、画像は、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する（単一の）カメラユニットから入力される。ステップ５０４において、１又は複数のターゲットのそれぞれの画像から、トラッカ情報を決定する。ステップ５０６において、解剖学的構造に関連付けられた、それぞれのターゲットに対するトラッカ情報を使用して、実３次元空間における解剖学的構造の位置および向きから、少なくとも１のプロセッサによって維持される、計算上の３次元空間における解剖学的構造の位置および向きを生成することで、計算上の３次元空間において患者の解剖学的構造のレジストレーションを行う。
【0076】
ステップ５０８において、解剖学的構造の位置および向きに対応する、計算３次元空間における所望の位置および向きに、拡張現実オーバーレイの３次元モデルを位置合わせする。ステップ５１０において、ディスプレイ上の所望の位置および向きで、拡張現実オーバーレイを描画する。
【0077】
オーバーレイの表示は、レジストレーションの正確さを検証するために有用である。オーバーレイが、ディスプレイにおいて期待されるように位置合わせできない場合、同じ方式または他の方式でレジストレーションを繰り返す。異なるタイプのオーバーレイは、それぞれの方式で位置合わせできる。例えば、骨に基づくオーバーレイは、それぞれの患者の骨と位置合わせする。面または軸に基づくオーバーレイは、患者の面または軸等と位置合わせする。さらに後述するように、拡張現実オーバーレイを使用して、更なる方式に従ってレジストレーションを実行できる。
【0078】
レジストレーションが一旦行われた後に、光学センサユニット及び解剖学的構造の相対姿勢が変化する可能性がある。例えば、ターゲットが骨盤に取り付けられているか又は他の方式で骨盤に関連付けられている（即ちターゲットと追跡対象との間に相対的な動きがない）場合、光学センサユニットは、その視野を変化させるように動く可能性がある。ターゲットが視野内にあり続けるとすれば、リアルタイム画像が表示されるとき、骨盤は追跡され、オーバーレイは骨盤に追従する。ターゲットが骨盤上にある場合、骨盤は、同様に（それに伴って）動かされる。例えば、リアルタイムで、且つ、実３次元空間における解剖学的構造と光学センサユニットとの相対的な動きに応じて（その場合、解剖学的構造に関連付けられたそれぞれのターゲットの姿勢は、実３次元空間における解剖学的構造の位置および向きを連続的に示す）、演算ユニットは、光学センサユニットから入力される画像を使用して、解剖学的構造が動いた位置および向きを決定し、解剖学的構造の動いた位置および向きに対して、拡張現実オーバーレイの位置合わせを更新して、更に拡張現実オーバーレイの動いた所望の位置および向きを決定することで、動いた所望の位置および向きによる拡張現実オーバーレイが表示される。
【0079】
処置中に用いられるターゲットの構成に応じて、解剖学的構造と光学センサユニットとの相対的な動きを制限できる。ターゲットが解剖学的構造に取り付けられた場合、解剖学的構造の動きによってターゲットが動く。解剖学的構造が別の方式で関連付けられており、例えば、ターゲットに関連付けられた解剖学的構造が追跡中に動かないことを前提とし、ターゲットが手術室台等、固定構造に結合されており、それらの関連付けが理論上のものである場合、解剖学的構造は、実３次元空間においてレジストレーションした初期位置にあり続けることになり、光学センタユニットのみが自由に動くことができる。
【0080】
ＴＨＡ処置内であっても人工膝関節置換術（ＴＫＡ）処置内であっても、大腿骨等、他の骨を追跡できる。大腿骨は、大腿骨に関連付けられた「大腿骨ターゲット」を使用してレジストレーションを行うことができる（図示せず）。大腿骨オーバーレイは、その３次元モデルを、計算上の３次元空間における大腿骨の対応する位置に関連付けられた所望の位置と位置合わせして、提示できる。図６Ａは、術前大腿骨のオーバーレイ６０４が、（模擬手術の）ビデオ画像に取り込まれた大腿骨の置換インプラント６０６上に示された取込みビデオ画像６０２を有する、ＧＵＩのスクリーンショット６００である。術前大腿骨のオーバーレイ６０４は、点描（点）を用いて表されており、それを通して、リアルタイムビデオ画像において取り込まれる生体およびインプラント６０６が観察される。図６Ｂは、明確にするために点描が拡大されている、図６Ａのビデオ画像６０２及びオーバーレイ６０４の略図である。図６Ａ及び図６Ｂはまた、光学センサユニットが取り付けられるトラッカ６０８及びプラットフォーム６１０も示す。
【0081】
上述したように、オーバーレイは患者特有なものであって、罹患している患者の生体または罹患していない患者の生体（例えば罹患前の生体）を表すことができる。罹患した生体のオーバーレイは、患者の疾患を示す場所において手術前に得られた、患者のスキャンから構築できる。罹患前の生体のオーバーレイは、少なくともいくつかの疾患が始まる前のスキャンの履歴から、又は、疾患を示す最新のスキャンを編集または他の方式で前処理されているもの、例えば、表面を充填し、表面を除去するか又は縮小する等、疾患のない生体を表示するもの、から構築できる。第１の例では、生体は膝関節であり、疾患は、変形性関節症（つまり、すり減った軟骨）である。膝画像（例えばコンピュータ断層撮影（ＣＴ）または磁気共鳴画像法（ＭＲＩ）スキャン）が処理され、軟骨がすり減った領域が特定され、任意の周囲の健康な組織に基づいて補間することにより、仮想的に充填される。第２の例では、生体は股関節であり、疾患は、骨棘増殖（例えば寛骨臼内および／または寛骨臼外）を含む、変形性関節症である。骨棘の形成前の股関節の形状は、周囲の正常な骨構造に基づき、且つ場合によっては健康な骨のひな型から、決定される。
【0082】
拡張現実オーバーレイは、手術中の任意の時点で患者の解剖学的構造の上に表示できる。例えば、拡張現実オーバーレイは、生体の治療（例えば一次外科的切開、転位、骨の一部の除去、インプラント又は器具の挿入）の前に、又は治療後の生体等にわたる治療後（図６Ａ及び図６Ｂ等、治療後の生体がインプラントを含む場合がある）に表示できる。
【0083】
一例では、手術は人工膝関節置換術であり、外科的目標は運動学的な調整（キネマティックアライメント）である。解剖学的構造は大腿骨であり、生成されるオーバーレイは遠位大腿骨である。オーバーレイは、関節症前の膝を表すオーバーレイモデルから生成できる。コンピュータ実装方法は、大腿骨の調整中（即ち切除された遠位大腿骨に仮のインプラントが取り付けられて適合性が確認されるとき）、（関節症前の遠位大腿骨を含む）オーバーレイが、仮のインプラントに関連して表示される。運動学的な膝関節置換の目標は、関節症疾患の影響に対して調整しながら、切除される骨を正確に置換することである。関節症前の解剖学的構造のオーバーレイとともに現実の仮の（又は最終的な）インプラントを含む実３次元空間のビューは、手術の運動学的な調整の目標がどれくらい達成されているかと、更に調整すべきであるか否かとに関する情報を、外科医に提供する。
【0084】
３次元オーバーレイが、患者の機能軸、または機能軸に対して表示される別の軸もしくは平面である場合、演算ユニット１０６は機能軸を計算する。
【0085】
図示しないが、大腿骨等の追跡される骨は、その第１の端部を中心に回転させることができる（寛骨臼内での回転等）。回転は、光学センサユニット１０２から入力される追跡情報から取り込むことができる。大腿骨の第２の端部の位置は、プローブが膝の近くの端部の箇所に接触する際にそのプローブを追跡すること等により、入力することができる。プローブの姿勢が入力され、計算上の３次元空間における位置を決定することができる。演算ユニット１０６により、計算上の３次元空間におけるプローブの回転中心および姿勢に基づいて、機能軸が決定される。
【0086】
機能軸から、切除面等の他の面が決定される。切除面は、角度および深さを示すことができる。したがって、３次元モデルは、機能軸モデルとすることができ、拡張現実オーバーレイは、機能軸および／または更なる軸もしくは面の画像とすることができ、その所望の位置は、解剖学的構造の機能軸の位置に対して決定される。図７は、図６ＡのＧＵＩに表示される、部分的にトリミングされた取込みビデオ画像７００であり、切断面７０２および機能軸７０４は、模擬人工膝関節置換術におけるガイダンスとして重ねられた股関節中心を示す。
【0087】
演算ユニット１０６により、事前設定データ（端部からＸｍｍであると定義される例）から、又は（例えばプルダウンメニュー又は入力フォーム（ともに図示せず）を介して）受信される入力から、切除面の初期位置が決定される。初期位置は、例えば、徐々に又は絶対的に、入力される入力に応じて動かすことができ、それにより、拡張現実オーバーレイにおいて切除面の所望の位置および向きを調整できる。角度もまた、最初に定義し調整できる。
【0088】
例えば、ＴＫＡの場合、脛骨もまたレジストレーションされ（図示せず）、膝関節内の脛骨上の箇所を厳密に調べて第１の端部の位置を提供し、踝端部の周囲の箇所を厳密に調べることにより第２の端部の位置を提供すること等により、脛骨に対して機能軸が決定される。大腿骨に関連して記載したように、脛骨オーバーレイもまた描画して表示できる。オーバーレイは、機能軸に対するものとすることができ、両骨に対して、リアルタイムで提供され、膝可動域を通して追跡可能である。一方または両方のオーバーレイを示すことができる。膝の応用に対する大腿骨および脛骨のオーバーレイは、遠位大腿骨および近位脛骨（大腿骨：内反／外反、傾斜、脛骨：内反／外反、傾斜）における所望の骨の切断（角度および深さ両方）を示すか又は確認できる。図８Ａ及び図８Ｂは、図６ＡのＧＵＩに表示される、それぞれの取込みビデオ画像８００及び８１０であり、膝が伸展から屈曲まで動く際の膝の生体（例えば大腿骨）に結合されたターゲット８０２を示し、膝のリアルタイム画像の上に機能軸８０４及び切除面８０６を示す。なお、図６Ａ、図７並びに図８Ａ及び図８Ｂの取込み画像における生体は、模擬手術のための物理モデルである。
【0089】
図示しないが、実３次元空間の可視画像は、拡大して、例えば、自動的に又は対象となっている領域への入力時にズームインして、表示できる。ズームは、カメラの視野が縮小したり、ターゲットが視野から出ることがないように、演算ユニット又は他の処理によって行われる。例えば、可動域を通して膝を追跡している場合、膝関節を拡大したビューは有用である。このビューは、表示される際、トラッカを含む必要はない。そして、これに従って、拡張現実オーバーレイは、拡大してズーム（描画）される。ズームインビューは、１）イメージャ（カメラ）の特定の領域に固定し、又は２）生体に対する特定領域に固定する（即ち可動域を通して膝関節を適応的に追従する）ことができる。
【0090】
（例えば大腿骨および脛骨の）２つのオーバーレイは、色が別個でも良い。提示されるそれぞれのオーバーレイとの大腿骨および脛骨の相対的な動きは、相対位置が近接し過ぎていないことと、交差がないこととを保証するための、事前計画パラメータを例示するか又は確認できる。演算ユニットは、各オーバーレイの位置を決定し、近接および交差のうちの少なくとも一方を示すように相対位置を示すことができる。例えば、相対位置（距離）が閾値未満であるとき、２つのオーバーレイの間の近接領域を強調表示できる。強調表示は、閾値未満であるオーバーレイの領域の色の変化を含むことができる。
【0091】
いくつかの実施形態において、オーバーレイは、処置中に、例えば、プローブ等の追跡される器具により、それが対象の上をトレースする際に特定される複数の位置を取り込むことにより、定義できる。対象は、患者の生体の一部とすることができ、生体のトレース部分は、トレースしている間に追跡されている部分である必要はない。
【0092】
図９Ａ及び図９Ｂは、図形の取込みを（センサの視野および関連する解剖学的構造のリアルタイム画像はなしで）示す。演算ユニット１０６は、位置を取り込むように起動され、そうした位置を取り込むことで、３次元モデルを定義できる。取込みを開始するように、ボタン又は他の入力デバイスを起動できる。一実施形態では、ボタン／入力は、取込みの間は保持され、解除されると取込みを停止できる。
【0093】
拡張現実支援レジストレーション
【0094】
拡張現実オーバーレイは、患者の生体のレジストレーションを支援できる。一実施形態では、ディスプレイ上にオーバーレイを投影する（患者の生体のリアルタイム画像の上に表示する）ことができる。計算上の３次元空間においてレジストレーションを行うべき解剖学的構造に、ターゲットが結合される。患者の構造は、例えば大腿骨とすることができ、オーバーレイは、大腿骨オーバーレイとすることができる。そして、大腿骨は、オーバーレイと位置合わせされるように動かされ、その後、大腿骨の姿勢は、計算上の３次元空間において固定され、又はオーバーレイの現姿勢に関連付けられる。その後、大腿骨オーバーレイは、実３次元空間において大腿骨および光学センサユニットの相対的な動きに追従する。例として、ＴＨＡの場合、光学センサユニット１０２は骨盤１０４に結合することができ、骨盤１０４は、上述したようなシステム１００に対してレジストレーションが行われる。光学センサユニット１０２は大腿骨に向けられ、光学センサユニット１０２の視野内にある大腿骨にターゲットが結合されている。かかるオーバーレイが表示される。
【0095】
システム１００は、計算上の３次元空間においてオーバーレイの初期またはレジストレーション姿勢を定義する。初期姿勢は、光学センサユニット又はレジストレーション軸に対するデフォルト位置とすることができ、又は、大腿骨に取り付けられたターゲットの位置に対するものでも良い。オーバーレイのこの初期姿勢が維持され、大腿骨は、オーバーレイと位置合わせされるように動かし、その後、ユーザ入力をするシステム１００等により、大腿骨ターゲットの現姿勢を取り込むために「固定する」ことができる。以前のレジストレーションが十分に正確でなかった場合、例えば、オーバーレイ及び解剖学的構造がディスプレイに見えないように位置合わせされた場合、この方式を使用して、オーバーレイ及び解剖学的構造がディスプレイにおいて位置合わせされるまで、患者の生体（ターゲットを含む構造）を動かすことにより再レジストレーションが実行される。システムは、オーバーレイを保持し、又は、追跡される解剖学的構造から分離するように起動することができ、その結果、初期姿勢は、解剖学的構造が位置合わせされるまで計算上の３次元空間におけるオーバーレイに対する現姿勢であり、そしてシステムは、オーバーレイに移動した解剖学的構造の姿勢を固定するために起動される。その後、光学センサユニットに対する解剖学的構造の動きにより、上述したように、ディスプレイにおいてオーバーレイが動く。
【0096】
外科医は、「システム」が大腿骨軸であると考える場所と、大腿骨軸が視覚的にある場所のオーバーレイを見て、それらを位置合わせする。
【0097】
拡張現実オーバーレイは、医用画像に基づくことができ、又は、大腿骨（又は他の適用可能な解剖学的構造）を記述する線／面／軸から構成することができる。
【0098】
大腿骨の回転中心の計算は、寛骨臼または寛骨臼カップ内で大腿骨を回転させ、そして回転中心の位置を決定するための大腿骨ターゲットの十分な姿勢を取り込むことにより、実行される。そして、この位置は、大腿骨レジストレーションランドマークとして使用できる。
【0099】
別の実施形態において、患者の生体が実３次元空間内で固定されたままである間、レジストレーションを行うべき解剖学的構造に関連付けられたオーバーレイが、解剖学的構造の上に表示される。計算上の３次元空間におけるオーバーレイの姿勢は、センサの視野内でターゲット（例えばターゲットを含むレジストレーション軸フレーム若しくはターゲットを含む別の器具、または単にターゲット自体）に関連付けられ、その結果、実３次元空間におけるターゲットの動きにより、オーバーレイの姿勢が動く。ターゲットを別の機械的物体（例えば軸フレーム又はプローブのような器具等）に取り付けることは、精密な位置合わせに役立つ。オーバーレイが解剖学的構造と位置合わせされると、計算上の３次元空間において解剖学的構造の姿勢のレジストレーションが行われ、オーバーレイの姿勢は、解剖学的構造に関連付けられるか又は固定される。かかる固定は、現姿勢を取り込むために受信したユーザ入力に応答できる。
【0100】
計算上の３次元空間における、したがって表示される際のオーバーレイの初期位置は、視野内のオーバーレイターゲットの現姿勢に関するものでも良い。
【0101】
レジストレーションが事前に実行されているが、正しく位置合わせされていないと判断された場合（骨盤オーバーレイの説明および図４に関して上記を参照されたい）、初期位置は、計算上の３次元空間におけるオーバーレイの現位置でも良い。実３次元空間におけるオーバーレイターゲットの姿勢は、オーバーレイの初期位置に関連付けられ、オーバーレイターゲットの動きにより、オーバーレイは、計算上の３次元空間において、位置合わせされるまで表示されるように動く。位置合わせされると、上述したようにオーバーレイの姿勢を固定できる。
【0102】
これらの実施形態による（即ちオーバーレイが動くか又は構造が動く）初期レジストレーション及びレジストレーション調整は、最大６ＤＯＦで実行される。
【0103】
図１０は、レジストレーションを達成するために、患者に関連した拡張現実を提供する動作のフローチャート１０００を示す。本実施形態において、解剖学的構造は、拡張現実オーバーレイと位置合わせされるように動かされて、手術ナビゲーションシステムへの解剖学的構造のレジストレーションを達成する。１００２において、少なくとも１のプロセッサは、実３次元空間の画像を入力し、実３次元空間は、患者と、実３次元空間においてそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含む、実３次元空間の画像を入力し、その画像は患者と１又は複数のターゲットとを含む実３次元空間の視野を有する単一の光学センサユニットから入力される。１００４において、１又は複数のターゲットのそれぞれに対する画像から追跡情報を決定する。
【0104】
１００６において、演算ユニットは、ｉ）光学センサからの実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とをディスプレイ上に同時に表示する。拡張現実オーバーレイは、３次元モデルから定義され、ディスプレイ上に表示される際、光学センサユニットの視野内における初期位置および向きで表示される。１００８において、計算上の３次元空間における患者の解剖学的構造に対し、追跡情報を使用して視野内でターゲットの姿勢を取り込むための入力を受信することによってレジストレーションが行われ、ターゲットは解剖学的構造に取り付けられており、かかる入力は、解剖学的構造が、表示される際に拡張現実オーバーレイの初期位置および向きと位置合わせされるときに入力される。姿勢は、実３次元空間における解剖学的構造の位置および向きを定義して、計算上の３次元空間における解剖学機構造の対応する位置および向きを生成する。
【0105】
１０１０において、拡張現実オーバーレイの所望の位置および向きは、解剖学的構造の対応する位置および向きに関連付けられる。
【0106】
実３次元空間において相対的な動きがあると、オーバーレイはそれに従って動くことがある。例えば、リアルタイムで、且つ、実３次元空間における解剖学的構造および光学センサユニットの相対的な動きに応じて（そこでの解剖学的構造に取り付けられた解剖学的構造ターゲットの姿勢は、実３次元空間における解剖学的構造の位置および向きを連続的に示す）、少なくとも１のプロセッサは、追跡情報を使用して実３次元空間における解剖学的構造の位置および向きを追跡することにより、解剖学的構造の対応する位置および向きを更新し、更新される際の解剖学的構造の対応する位置および向きに対して拡張現実オーバーレイの所望の位置および向きを更新し、ディスプレイ上に同時に表示されるように、ｉ）光学センサからの実３次元空間の画像と、ｉｉ）更新される際の拡張現実オーバーレイの所望の位置および向きに対する拡張現実オーバーレイとを描画する。
【0107】
図１１は、レジストレーションを達成するために患者に、関連した拡張現実を提供する処理のフローチャート１１００を示す。１１０２において、少なくとも１のプロセッサは、実３次元空間の画像を入力し、実３次元空間の画像は、患者と、実３次元空間におけるそれぞれの対象および／または患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、画像は、患者と１又は複数のターゲットとを含む実３次元空間の視野を有する（単一の）光学センサユニットから入力される。１１０４において、追跡情報を、１又は複数のターゲットのそれぞれに対する画像から決定する。１１０６において、演算ユニットは、ｉ）光学センサからの実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイとをディスプレイに同時に表示する。拡張現実オーバーレイは、３次元モデルから定義され、光学センサの視野内のオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、オーバーレイ位置および向きは、実３次元空間におけるオーバーレイターゲットの動きに応じて動く。
【0108】
１１０８において、患者の解剖学的構造は、追跡情報を使用して、オーバーレイターゲットのレジストレーション固定姿勢と、解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むための入力を受信することにより（入力は、拡張現実オーバーレイが実３次元空間における解剖学的構造の初期位置および向きと位置合わせされるときに入力される）、実３次元空間における解剖学的構造の初期位置および向きから計算上の３次元空間における解剖学的構造の対応する位置および向きを生成することにより、計算上の３次元空間においてレジストレーションが行われる。
【0109】
１１１０において、計算上の３次元空間において、拡張現実オーバーレイの所望の位置および向きを、次の拡張現実オーバーレイの描画する場合に使用するため、解剖学的構造の対応する位置および向きに対して関連付けられる。
【0110】
そして、上述したように、オーバーレイを追跡し動かす。
【0111】
計画された位置に対する拡張現実オーバーレイ
【0112】
拡張現実オーバーレイは、多くの例で採用できる。図１２Ａ及び図１２Ｂを参照すると、１つの更なる例は、インプラント（例えば寛骨臼構成要素または固定スクリュー）を計画された位置に配置する手術処置を含む。図１２Ａは、トラッカ１２０６および手術器具１２０８を介して解剖学的構造１２０４を追跡するカメラを含む手術室１２００の略図を示す。手術器具１２０８はドリルである。オーバーレイは、上述したような解剖学的構造１２０４の（先行する）レジストレーションに基づいて、インプラントが計画された位置を含む。一例では、ソフトウェアワークフローを実行する手術ナビゲーションシステムが、インプラントを埋め込むように骨を準備する処置の骨除去ステップ（例えば寛骨臼リーミング又はスクリューパイロット穴あけ）に対する機能を提供する。このステップに対する手術ナビゲーションガイダンスは、実際の骨除去器具（例えばリーマ又はドリル）が、計画されたインプラントの位置に対して正確に位置決めされているか否かを視覚的に示すことで、外科医を視覚的に誘導するように、骨除去中に３次元空間の現実のビューとインプラントの計画された位置とのオーバーレイを（例えば永続的に）表示することからなる。図１２Ｂは、カメラ１２０２の視点からの（且つ視野１２１０内の）解剖学的構造１２０４を含む、手術室１２００のビデオ画像１２２１を示すディスプレイ１２２０の図である。ビデオ画像１２２１はまた、手術器具１２０８の一部とともに、固定スクリューを計画された位置で表すオーバーレイ１２２２も示す。ビデオ画像１２２１はディスプレイ１２２０いっぱいに表示されるが、画面の一部に示される場合がある。拡張現実オーバーレイのこの例は、位置的ガイダンスを達成するために手術器具１２０８に関連付けられたターゲットの追跡を不要にするという利点がある。
【0113】
ＡＲプラットフォーム
【0114】
図１３Ａは、ＡＲプラットフォーム１３００の上面斜視図であり、図１３Ｂ及び図１３Ｃは、ＡＲプラットフォーム１３００の側面図である。これらの図を用いて、光学センサユニットが拡張現実表示の目的で除去される（例えば手で保持される）のを可能にしながら、手術中にいくつかの用途のために解剖学的構造（図１３Ａ～図１３Ｃには図示せず）への光学センサユニットの取り付けを容易にするために、ＡＲプラットフォーム１３００をいかに使用するかを示す。ＡＲプラットフォーム１３００は、光学的に追跡可能なパターン１３０８、繰返し可能な（着脱可能な）光学センサマウント１３１０及び繰返し可能な（着脱可能な）ターゲットマウント１３１２を有する少なくとも１の面（例えば面１３０４及び１３０６）を有する本体１３０２を備える。ＡＲプラットフォーム１３００は、解剖学的構造内に押し込むか又は他の方式で固定できる協働マウント１３１６に取り付けるための、（例えば下側面における）繰返し可能な（着脱可能な）解剖学的構造マウント１３１４を有する。
【0115】
ＡＲプラットフォーム１３００は、患者の解剖学的構造に動かないように取り付けられている。光学的に追跡可能なパターン１３０８とターゲットマウント１３１２との空間的関係は事前に定義され、ターゲット－パターン定義は、拡張現実ナビゲーションシステム（図１３Ａ～図１３Ｃには図示せず）の演算ユニットのメモリにおいて利用可能である。光学センサユニット１３１８が光学センサマウント１３１０においてＡＲプラットフォーム１３００に取り付けられると、光学的に追跡可能なパターン１３０８は、光学センサの視野内となる。光学的に追跡可能なパターン１３０８は、視野の一部のみを占有するので、光学センサユニット１３１８は、その視野内で他の対象（例えば他のターゲット）を検出できる。演算ユニットは、光学的に追跡可能なパターン（１３０８）の特徴を含む画像を入力し、光学的に追跡可能なパターン（１３０８）の姿勢を計算するための演算を実行する。演算ユニットは、光学的に追跡可能なパターン（１３０８）の姿勢とターゲット－パターンの定義とに基づき、ターゲットマウント（１３１２）の姿勢を計算するための演算を実行する。図１３Ｃは、例えば、光学センサユニット１３１８を手持ちにしている状態でも、ＡＲプラットフォーム１３００、即ちターゲット１３２０が取り付けられている解剖学的構造を追跡するのを可能にする、ターゲットマウント１３１２へのターゲット１３２０の取り付けを示す。
【0116】
このため、１つの動作モードにおいて、光学センサユニット１３１８は、ＡＲプラットフォーム１３００を介して患者の解剖学的構造に動かないように取り付けられる。光学センサユニット１３１８に計算上の３次元空間を関連付けることができる。拡張現実の動作モードにおいて、光学センサユニット１３１８を、その光学センサマウント１３１０から取り除くことができ、ＡＲプラットフォーム１３００に、ターゲット１３２０を、そのターゲットマウント１３１２において取り付けることができる。計算上の３次元空間の関連付けは、ＡＲプラットフォーム１３００に光学センサユニット１３１８が取り付けられると、ターゲットマウント１３１２に対する光学センサユニット１３１８の計算された関係とともに、光学センサユニット１３１８からターゲット１３２０に（演算ユニットで実行する演算により）光学センサユニット１３１８及びターゲット１３２０の相対姿勢を介して、渡すことができる。
【0117】
結果として、システムは、患者に関連付けられた単一の計算上の３次元空間において、２つの動作モードで動作できる、即ち１つのモードでは、光学センサユニット１３１８が患者に（例えばＴＨＡにおける寛骨臼インプラントの位置合わせ等、ナビゲーションの目的で）取り付けられ、別のモードでは、光学センサユニット１３１８が患者の上には配置されないが、トラッカ１２３０が患者に（例えば拡張現実の目的で）取り付けられる。
【0118】
計算上の３次元空間に対して解剖学的構造のレジストレーションが行われることに加えて、器具もまた計算上の３次元空間に対してレジストレーションを行うことができ、これによって器具に基づく拡張現実オーバーレイを提供できる。
【0119】
拡張現実ナビゲーションシステム（及び関連方法）は、ａ）実３次元空間と、ｂ）解剖学的構造の拡張現実オーバーレイ（注：このオーバーレイを種々に変形しても良い。例えば、現在の生体対罹患前の生体）と、ｃ）器具の拡張現実オーバーレイと、手術計画（例えば計画されたインプラントの位置）の拡張現実オーバーレイとを含む、視覚情報を提供できる。これらは様々な組合せで表すことができる。
【0120】
手術計画は、解剖学的構造に関するインプラントの計画された姿勢（例えば患者の骨盤に対する寛骨臼インプラントの計画された姿勢）を含むことができる。或いは、手術計画は、臨床的に許容可能である空間的領域または角度を示す「セーフゾーン」（例えば骨盤に関する許容可能な寛骨臼インプラントの角度を定義する「Ｌｅｗｉｎｎｅｋセーフゾーン（Lewinnek safe zone）」、又は別の例では、損傷を受けた可能性のある重篤な解剖学的構造（例えば脊髄）から十分に離れている領域）を含むことができる。
【0121】
視覚情報の情報量は、見る人に対して圧倒的である可能性があるため、コンピュータ実装方法は、視覚情報を選択的に提供できる。例えば、実３次元空間、解剖学的構造オーバーレイ、器具オーバーレイ及び計画オーバーレイの各々は、表示される複合画像のレイヤーを含むことができ、使用者がオン又はオフに（例えば光学センサに接続されたボタンを使用して、音声コマンドにより、又はＧＵＩ若しくは他の制御を介して）切り換えることができる。別の例では、コンピュータ実装方法は、状況に関する情報（例えばユーザがソフトウェアワークフローのいずれのステップにいるかを検出することで、手術ワークフローのいずれのステップが実行されているかを判別する情報）にアクセスし、その情報に基づいてレイヤーを自動的に設定できる。例えば、手術ワークフローの検証ステップ中、コンピュータ実装方法は、（インプラントの実ビューを含む）実３次元空間と手術計画レイヤーとを表示するようにプログラムすることができ、その結果、見る人は、インプラントの実ビューをその計画された位置と視覚的に比較できる。かかるビューにより、解剖学的構造および／または器具に基づくオーバーレイは、過度な視覚情報の提供を回避するように抑制できる。
【0122】
一例では、表示情報を変更するために使用される、状況に関する情報は、光学センサの姿勢である。光学センサユニットの姿勢は、見る人にとっての所望の表示を示す。光学センサユニットの姿勢は、ターゲットに関するものか、又は慣性系（光学センサユニットに重力検知能力が補われているとすれば、重量の方向等）に関するものである。
【0123】
一例では、手術計画の拡張現実オーバーレイが提供される。コンピュータ実装方法は、手術計画モジュールに通信可能に接続できる。手術計画モジュールは、手術計画に対するリアルタイムの変更を容易にすることができ、手術計画の拡張現実オーバーレイは、それに従って更新できる。例えば、手術計画は、骨に関するインプラントの姿勢でも良い。手術中、骨に関するインプラントの初期姿勢を更新された姿勢に変更する場合がある。このケースでは、拡張現実オーバーレイが、骨に関するインプラントの姿勢を含む場合は、オーバーレイは、計画の変更に応じて、初期姿勢から更新された姿勢に変更する。
【0124】
一例では、光学センサユニットは、重力検知デバイスに接続され（又はそれを含み）、重力の方向を表すオーバーレイが提供される。
【0125】
請求項の範囲は、例に示す実施形態によって限定されるべきではなく、全体として本明細書に一貫する最も広い解釈が与えられるべきである。
＜その他＞
＜手段＞
技術的思想１の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、前記解剖学的構造の前記対応する位置および向きに対する前記計算上の３次元空間における所望の位置および向きに、拡張現実オーバーレイのオーバーレイモデルの位置合わせを行い、ディスプレイにおいて前記所望の位置および向きに表示するために前記拡張現実オーバーレイを描画して提供するものである。
技術的思想２の方法は、技術的思想１記載の方法において、前記解剖学的構造と前記拡張現実オーバーレイとを同時に視覚化するために前記ディスプレイ上に表示するように、前記実３次元空間の前記画像を提供するものである。
技術的思想３の方法は、技術的思想１又は２に記載の方法において、前記光学センサユニットが、前記光学センサユニットによって２次元で提供される前記実３次元空間の前記画像から３次元測定値を決定するための較正データを含み、前記追跡情報を決定するステップが、前記少なくとも１のプロセッサにより前記較正データを使用して前記追跡情報を決定するものである。
技術的思想４の方法は、技術的思想１から３のいずれかに記載の方法において、前記解剖学的構造に関連付けられた前記それぞれのターゲットの姿勢が、前記実３次元空間における前記解剖学的構造の位置および向きを連続的に示し、リアルタイムで、且つ前記実３次元空間における前記解剖学的構造と前記光学センサユニットとの相対的な動きに応じて、前記光学センサユニットから入力される前記画像を使用して、前記実３次元空間における前記解剖学的構造の動いた位置および向きを決定し、前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、前記動いた所望の位置および向きで表示するために前記拡張現実オーバーレイを提供するものである。
技術的思想５の方法は、技術的思想４記載の方法において、前記解剖学的構造に関連付けられた前記それぞれのターゲットが、１）前記実３次元空間において、前記光学センサユニット及び前記解剖学的構造のうちの一方または両方が自由に動くことができるように、前記解剖学的構造に取り付けられるか、又は、２）前記解剖学的構造の位置が前記実３次元空間において一定のままで、前記光学センサユニットのみが前記実３次元空間において自由に動けるように、別の物体に取り付けられるものである。
技術的思想６の方法は、技術的思想１から５のいずれかに記載の方法において、前記実３次元空間の前記画像が拡大画像を含み、前記拡張現実オーバーレイが前記拡大画像に一致するように拡大されるものである。
技術的思想７の方法は、技術的思想１から６のいずれかに記載の方法において、前記解剖学的構造が大腿骨であり、前記解剖学的構造に関連付けられた前記ターゲットのうちの１が、前記大腿骨に取り付けられた大腿骨ターゲットである。
技術的思想８の方法は、技術的思想７記載の方法において、前記オーバーレイモデルが、一般的な又は患者特有の大腿骨モデルの３次元モデルであり、前記拡張現実オーバーレイが、一般的な又は患者特有の大腿骨をそれぞれ表す画像である。
技術的思想９の方法は、技術的思想１から６のいずれかに記載の方法において、前記解剖学的構造が骨盤であり、前記解剖学的構造に関連付けられた前記ターゲットが骨盤ターゲットである。
技術的思想１０の方法は、技術的思想９記載の方法において、前記オーバーレイモデルが、一般的な又は患者特有の骨盤モデルの３次元モデルであり、前記拡張現実オーバーレイが、それぞれ一般的な又は患者特有の骨盤を表す画像である。
技術的思想１１の方法は、技術的思想１から６のいずれかに記載の方法において、前記オーバーレイモデルが、機能軸モデルの３次元モデルであり、前記拡張現実オーバーレイが、機能軸および／または更なる軸もしくは面の画像であり、その位置が、前記解剖学的構造の前記機能軸の位置に対して決定されるものである。
技術的思想１２の方法は、技術的思想１１記載の方法において、前記解剖学的構造が前記解剖学的構造の端部を中心に回転する際、ターゲット画像から得られる追跡情報を使用して、前記解剖学的構造の前記機能軸を決定するものである。
技術的思想１３の方法は、技術的思想１２記載の方法において、前記更なる軸および／または面が切除面である。
技術的思想１４の方法は、技術的思想１３記載の方法において、前記機能軸モデルに沿った前記切除面の位置が、ユーザ入力に応じて調整可能であり、それにより、前記拡張現実オーバーレイにおいて前記切除面の所望の位置および向きが調整されるものである。
技術的思想１５の方法は、技術的思想１１から１４のいずれかに記載の方法において、前記骨が大腿骨である。
技術的思想１６の方法は、技術的思想１５記載の方法において、前記計算上の３次元空間において前記患者の同じ脚の脛骨のレジストレーションを行い、前記脛骨が前記１又は複数のターゲットの脛骨ターゲットに結合され、前記少なくとも１のプロセッサが、前記実３次元空間における前記脛骨の位置および向きを決定し、前記脛骨ターゲットの画像から決定される追跡情報から、前記計算上の３次元空間における前記脛骨の対応する位置および向きを生成し、前記脛骨の前記対応する位置および向きに対して、前記計算上の３次元空間における第２の所望の位置および向きに、第２の拡張現実オーバーレイの第２のオーバーレイモデルを位置合わせし、前記第２の所望の位置および向きで前記ディスプレイに表示するために前記第２の拡張現実オーバーレイを提供するものである。
技術的思想１７の方法は、技術的思想１６記載の方法において、レジストレーションが、プローブに取り付けられた前記ターゲットのうちの１の画像を使用し、前記プローブが、前記脛骨の第１の端部を定義するための前記脛骨上の第１の代表的な位置と、前記脛骨の第２の端部および機能軸を定義するための前記患者の踝を中心とする第２の識別位置とを特定するものである。
技術的思想１８の方法は、技術的思想１６記載の方法において、前記実３次元空間において前記脛骨の位置および向きの動きを追跡し、前記実３次元空間における前記脛骨の位置および向きの前記動きに応じて、前記脛骨の前記対応する位置および向きを更新し、前記動いた脛骨の位置および向きに対する前記第２の拡張現実オーバーレイの前記位置合わせを更新して、動作後の前記第２の所望の位置および向きを決定し、その動作後の前記第２の所望の位置および向きで表示するために前記第２の拡張現実オーバーレイを提供するものである。
技術的思想１９の方法は、技術的思想１８記載の方法において、前記大腿骨の前記拡張現実オーバーレイと前記脛骨の前記拡張現実オーバーレイとの各々の位置を決定し、近接及び交差のうちの少なくとも一方を示すように互いに対する相対位置を示すものである。
技術的思想２０の方法は、技術的思想１から１９のいずれかに記載の方法において、前記光学センサユニットが、可視チャネル及び追跡チャネルを提供するマルチスペクトルカメラ、可視チャネル及び追跡チャネルをそれぞれ提供するデュアルカメラ、プリズムを用いて可視チャネル及び追跡チャネルを分割するデュアルイメージャ及び可視光を追跡チャネルに利用する装置のうち、いずれかの装置で構成されるものである。
技術的思想２１の方法は、技術的思想１から２０のいずれかに記載の方法において、前記解剖学的構造が外科的に変更され、前記オーバーレイモデルが、人工インプラントによる置換の前の一般的な又は患者特有のヒトの解剖学的構造の３次元モデルであり、前記拡張現実オーバーレイが、それぞれ一般的な又は患者特有のヒトの解剖学的構造を表す画像であり、前記方法が、前記解剖学的構造と前記拡張現実オーバーレイとを同時に視覚化するように前記ディスプレイ上に表示するために前記患者の画像を提供するものである。
技術的思想２２の方法は、技術的思想１から２１のいずれかに記載の方法において、前記オーバーレイモデルが、前記患者の術前画像から定義される３次元モデルである。
技術的思想２３の方法は、技術的思想１から６のいずれかに記載の方法において、前記オーバーレイモデルが、前記患者の術前画像から定義される３次元モデルであり、前記患者の前記術前画像が、罹患したヒトの解剖学的構造を示し、前記オーバーレイモデルが、疾患のない前記罹患したヒトの解剖学的構造を表すものである。
技術的思想２４の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、ディスプレイに同時に表示するために、ｉ）前記光学センサからの前記実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記ディスプレイ上に表示される際に前記光学センサユニットの前記視野内における初期位置および向きで表示し、前記少なくとも１のプロセッサによって、追跡情報を使用して前記視野内における前記ターゲットのうちの１の姿勢を取り込むための入力を受信することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、前記ターゲットのうちの１が前記解剖学的構造に取り付けられ、表示される際の前記解剖学的構造が前記拡張現実オーバーレイの前記初期位置および向きと位置合わせされると前記入力を受信し、前記実３次元空間における前記解剖学的構造の位置および向きを前記姿勢が定義して、前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成し、前記計算上の３次元空間において、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けるものである。
技術的思想２５の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記光学センサユニットの前記視野におけるオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、前記オーバーレイ位置および向きが、前記実３次元空間における前記オーバーレイターゲットの動きに応じて動き、前記少なくとも１のプロセッサによって、追跡情報を使用して、前記オーバーレイターゲットのレジストレーション固定姿勢と、前記解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むために、前記拡張現実オーバーレイが前記実３次元空間における前記解剖学的構造の初期位置および向きと位置合わせされると位置合わせの入力を受信し、前記実３次元空間における前記解剖学的構造の前記初期位置および向きから、前記位置合わせを含む前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、前記計算上の３次元空間において、後続して前記拡張現実オーバーレイを描画するときに使用するために、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けるものである。
技術的思想２６の方法は、技術的思想２４又は２５に記載の方法において、前記解剖学的構造に関連付けられた前記解剖学的構造ターゲットの姿勢が、前記実３次元空間における前記解剖学的構造の位置および向きを連続的に示し、リアルタイムで、且つ前記実３次元空間における前記解剖学的構造と前記光学センサユニットとの相対な動きに応じて、前記光学センサユニットから入力される前記画像を使用して、前記解剖学的構造の動いた位置および向きを決定し、前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、前記ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の画像と、ｉｉ）前記拡張現実オーバーレイの前記動いた所望の位置および向きに応じて前記拡張現実オーバーレイとを描画し提供するものである。
技術的思想２７の方法は、技術的思想２４又は２５に記載の方法において、前記解剖学的構造の初期レジストレーションと、前記解剖学的構造に対する前記拡張現実オーバーレイの初期の位置合わせと、初期の描画および提供とを実行し、その結果、前記拡張現実オーバーレイ及び前記解剖学的構造が表示される場合に、前記実３次元空間の前記画像において正しく位置合わせされないものである。
技術的思想２８の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって、実３次元空間の画像を入力し、前記実３次元画像が、前記患者と、骨除去器具と、前記実３次元空間における前記患者の解剖学的構造に関連付けられたターゲットとを含み、前記患者と前記ターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記ターゲットに対して前記画像から追跡情報を決定し、前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の前記解剖学的構造のレジストレーションを行い、前記解剖学的構造の前記対応する位置および向きに対して前記計算上の３次元空間における所望の位置および向きに、計画されたインプラントの位置を含む拡張現実オーバーレイのオーバーレイモデルを位置合わせし、前記計画されたインプラントの位置と前記骨除去器具とを同時に視覚化するようにディスプレイ上に表示するために、前記計画されたインプラントの位置と前記実３次元空間の画像とを描画して提供するものである。
技術的思想２９の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、手術計画および器具のうちの１又は複数のレジストレーションを行い、前記解剖学的構造、前記手術計画および／または前記器具の前記対応する位置および向きに対して、前記計算上の３次元空間において所望の位置および向きに対して拡張現実オーバーレイのそれぞれのオーバーレイモデルを位置合わせし、ユーザ入力または状況に関する情報の入力に基づいて所望の表示情報を決定し、前記所望の表示情報に基づいて、前記所望の位置および向きでディスプレイ上に表示するために前記拡張現実オーバーレイを選択的に描画して提供するものである。
技術的思想３０の手術ナビゲーションシステムは、演算ユニットと、光学センサユニットと、前記光学センサユニットにより対象を追跡するための１又は複数のターゲットとを備え、前記光学センサユニットが、前記ターゲットに対する追跡情報を有する追跡画像と前記光学センサユニットの視野における処置の可視画像とを、前記演算ユニットに提供し、前記演算ユニットが、技術的思想１から２９のいずれか記載の方法を実行するように構成された、少なくとも１のプロセッサを有するものである。
技術的思想３１の手術ナビゲーションシステムは、技術的思想３０記載の手術ナビゲーションシステムにおいて、前記患者の生体のうちの１の解剖学的構造に前記光学センサユニットのうちの１及びトラッカのうちの１を、選択的に、取外し可能に且つ堅固に取り付けるためのプラットフォームであって、少なくとも１の面を有する本体を備え、前記少なくとも１の面が、光学的に追跡可能なパターンと、繰返し可能な（着脱可能な）光学センサマウントと、繰返し可能な（着脱可能な）ターゲットマウントとを提供するように構成され、前記光学的に追跡可能なパターンが、前記プラットフォームに取り付けられたときに前記光学センサユニットの視野内に延在する、プラットフォームを備え、前記光学的に追跡可能なパターンと前記ターゲットマウントとの間の空間的関係が、ターゲット－パターン定義によって事前に定義され、前記演算ユニットが、前記光学センサユニットが前記プラットフォームに取り付けられると前記光学的に追跡可能なパターンの特徴を含む第１の画像を入力し、 前記光学的に追跡可能なパターンの姿勢を計算するための演算を実行し、前記光学的に追跡可能なパターンの前記姿勢と前記ターゲット－パターン定義とに基づき、前記ターゲットマウントの前記姿勢を計算するための演算を実行し、前記光学センサユニットが前記プラットフォームから取り除かれ、前記トラッカのうちの１が前記プラットフォームに取り付けられると、前記プラットフォームに取り付けられた前記トラッカのうちの１を含む第２の画像を入力し、前記トラッカのうちの１が取り付けられる前記解剖学的構造を追跡するように構成されるものである。
＜その他＞
＜手段＞
技術的思想１の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、前記解剖学的構造の前記対応する位置および向きに対する前記計算上の３次元空間における所望の位置および向きに、拡張現実オーバーレイのオーバーレイモデルの位置合わせを行い、ディスプレイにおいて前記所望の位置および向きに表示するために前記拡張現実オーバーレイを描画して提供するものである。
技術的思想２の方法は、技術的思想１記載の方法において、前記解剖学的構造と前記拡張現実オーバーレイとを同時に視覚化するために前記ディスプレイ上に表示するように、前記実３次元空間の前記画像を提供するものである。
技術的思想３の方法は、技術的思想１又は２に記載の方法において、前記光学センサユニットが、前記光学センサユニットによって２次元で提供される前記実３次元空間の前記画像から３次元測定値を決定するための較正データを含み、前記追跡情報を決定するステップが、前記少なくとも１のプロセッサにより前記較正データを使用して前記追跡情報を決定するものである。
技術的思想４の方法は、技術的思想１から３のいずれかに記載の方法において、前記解剖学的構造に関連付けられた前記それぞれのターゲットの姿勢が、前記実３次元空間における前記解剖学的構造の位置および向きを連続的に示し、リアルタイムで、且つ前記実３次元空間における前記解剖学的構造と前記光学センサユニットとの相対的な動きに応じて、前記光学センサユニットから入力される前記画像を使用して、前記実３次元空間における前記解剖学的構造の動いた位置および向きを決定し、前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、前記動いた所望の位置および向きで表示するために前記拡張現実オーバーレイを提供するものである。
技術的思想５の方法は、技術的思想４記載の方法において、前記解剖学的構造に関連付けられた前記それぞれのターゲットが、１）前記実３次元空間において、前記光学センサユニット及び前記解剖学的構造のうちの一方または両方が自由に動くことができるように、前記解剖学的構造に取り付けられるか、又は、２）前記解剖学的構造の位置が前記実３次元空間において一定のままで、前記光学センサユニットのみが前記実３次元空間において自由に動けるように、別の物体に取り付けられるものである。
技術的思想６の方法は、技術的思想１から５のいずれかに記載の方法において、前記実３次元空間の前記画像が拡大画像を含み、前記拡張現実オーバーレイが前記拡大画像に一致するように拡大されるものである。
技術的思想７の方法は、技術的思想１から６のいずれかに記載の方法において、前記解剖学的構造が大腿骨であり、前記解剖学的構造に関連付けられた前記ターゲットのうちの１が、前記大腿骨に取り付けられた大腿骨ターゲットである。
技術的思想８の方法は、技術的思想７記載の方法において、前記オーバーレイモデルが、一般的な又は患者特有の大腿骨モデルの３次元モデルであり、前記拡張現実オーバーレイが、一般的な又は患者特有の大腿骨をそれぞれ表す画像である。
技術的思想９の方法は、技術的思想１から６のいずれかに記載の方法において、前記解剖学的構造が骨盤であり、前記解剖学的構造に関連付けられた前記ターゲットが骨盤ターゲットである。
技術的思想１０の方法は、技術的思想９記載の方法において、前記オーバーレイモデルが、一般的な又は患者特有の骨盤モデルの３次元モデルであり、前記拡張現実オーバーレイが、それぞれ一般的な又は患者特有の骨盤を表す画像である。
技術的思想１１の方法は、技術的思想１から６のいずれかに記載の方法において、前記オーバーレイモデルが、機能軸モデルの３次元モデルであり、前記拡張現実オーバーレイが、機能軸および／または更なる軸もしくは面の画像であり、その位置が、前記解剖学的構造の前記機能軸の位置に対して決定されるものである。
技術的思想１２の方法は、技術的思想１１記載の方法において、前記解剖学的構造が前記解剖学的構造の端部を中心に回転する際、ターゲット画像から得られる追跡情報を使用して、前記解剖学的構造の前記機能軸を決定するものである。
技術的思想１３の方法は、技術的思想１２記載の方法において、前記更なる軸および／または面が切除面である。
技術的思想１４の方法は、技術的思想１３記載の方法において、前記機能軸モデルに沿った前記切除面の位置が、ユーザ入力に応じて調整可能であり、それにより、前記拡張現実オーバーレイにおいて前記切除面の所望の位置および向きが調整されるものである。
技術的思想１５の方法は、技術的思想１１から１４のいずれかに記載の方法において、前記骨が大腿骨である。
技術的思想１６の方法は、技術的思想１５記載の方法において、前記計算上の３次元空間において前記患者の同じ脚の脛骨のレジストレーションを行い、前記脛骨が前記１又は複数のターゲットの脛骨ターゲットに結合され、前記少なくとも１のプロセッサが、前記実３次元空間における前記脛骨の位置および向きを決定し、前記脛骨ターゲットの画像から決定される追跡情報から、前記計算上の３次元空間における前記脛骨の対応する位置および向きを生成し、前記脛骨の前記対応する位置および向きに対して、前記計算上の３次元空間における第２の所望の位置および向きに、第２の拡張現実オーバーレイの第２のオーバーレイモデルを位置合わせし、前記第２の所望の位置および向きで前記ディスプレイに表示するために前記第２の拡張現実オーバーレイを提供するものである。
技術的思想１７の方法は、技術的思想１６記載の方法において、レジストレーションが、プローブに取り付けられた前記ターゲットのうちの１の画像を使用し、前記プローブが、前記脛骨の第１の端部を定義するための前記脛骨上の第１の代表的な位置と、前記脛骨の第２の端部および機能軸を定義するための前記患者の踝を中心とする第２の識別位置とを特定するものである。
技術的思想１８の方法は、技術的思想１６記載の方法において、前記実３次元空間において前記脛骨の位置および向きの動きを追跡し、前記実３次元空間における前記脛骨の位置および向きの前記動きに応じて、前記脛骨の前記対応する位置および向きを更新し、前記動いた脛骨の位置および向きに対する前記第２の拡張現実オーバーレイの前記位置合わせを更新して、動作後の前記第２の所望の位置および向きを決定し、その動作後の前記第２の所望の位置および向きで表示するために前記第２の拡張現実オーバーレイを提供するものである。
技術的思想１９の方法は、技術的思想１８記載の方法において、前記大腿骨の前記拡張現実オーバーレイと前記脛骨の前記拡張現実オーバーレイとの各々の位置を決定し、近接及び交差のうちの少なくとも一方を示すように互いに対する相対位置を示すものである。
技術的思想２０の方法は、技術的思想１から１９のいずれかに記載の方法において、前記光学センサユニットが、可視チャネル及び追跡チャネルを提供するマルチスペクトルカメラ、可視チャネル及び追跡チャネルをそれぞれ提供するデュアルカメラ、プリズムを用いて可視チャネル及び追跡チャネルを分割するデュアルイメージャ及び可視光を追跡チャネルに利用する装置のうち、いずれかの装置で構成されるものである。
技術的思想２１の方法は、技術的思想１から２０のいずれかに記載の方法において、前記解剖学的構造が外科的に変更され、前記オーバーレイモデルが、人工インプラントによる置換の前の一般的な又は患者特有のヒトの解剖学的構造の３次元モデルであり、前記拡張現実オーバーレイが、それぞれ一般的な又は患者特有のヒトの解剖学的構造を表す画像であり、前記方法が、前記解剖学的構造と前記拡張現実オーバーレイとを同時に視覚化するように前記ディスプレイ上に表示するために前記患者の画像を提供するものである。
技術的思想２２の方法は、技術的思想１から２１のいずれかに記載の方法において、前記オーバーレイモデルが、前記患者の術前画像から定義される３次元モデルである。
技術的思想２３の方法は、技術的思想１から６のいずれかに記載の方法において、前記オーバーレイモデルが、前記患者の術前画像から定義される３次元モデルであり、前記患者の前記術前画像が、罹患したヒトの解剖学的構造を示し、前記オーバーレイモデルが、疾患のない前記罹患したヒトの解剖学的構造を表すものである。
技術的思想２４の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、ディスプレイに同時に表示するために、ｉ）前記光学センサからの前記実３次元空間の画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記ディスプレイ上に表示される際に前記光学センサユニットの前記視野内における初期位置および向きで表示し、前記少なくとも１のプロセッサによって、追跡情報を使用して前記視野内における前記ターゲットのうちの１の姿勢を取り込むための入力を受信することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、前記ターゲットのうちの１が前記解剖学的構造に取り付けられ、表示される際の前記解剖学的構造が前記拡張現実オーバーレイの前記初期位置および向きと位置合わせされると前記入力を受信し、前記実３次元空間における前記解剖学的構造の位置および向きを前記姿勢が定義して、前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成し、前記計算上の３次元空間において、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けるものである。
技術的思想２５の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の光学センサ画像と、ｉｉ）拡張現実オーバーレイの描画とを提供し、前記拡張現実オーバーレイが、計算上の３次元空間におけるオーバーレイモデルから定義され、且つ、前記光学センサユニットの前記視野におけるオーバーレイターゲットの姿勢に対するオーバーレイ位置および向きで表示され、前記オーバーレイ位置および向きが、前記実３次元空間における前記オーバーレイターゲットの動きに応じて動き、前記少なくとも１のプロセッサによって、追跡情報を使用して、前記オーバーレイターゲットのレジストレーション固定姿勢と、前記解剖学的構造に関連付けられた解剖学的構造ターゲットのレジストレーション姿勢とを取り込むために、前記拡張現実オーバーレイが前記実３次元空間における前記解剖学的構造の初期位置および向きと位置合わせされると位置合わせの入力を受信し、前記実３次元空間における前記解剖学的構造の前記初期位置および向きから、前記位置合わせを含む前記計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成することにより、前記計算上の３次元空間における前記患者の解剖学的構造のレジストレーションを行い、前記計算上の３次元空間において、後続して前記拡張現実オーバーレイを描画するときに使用するために、前記解剖学的構造の前記対応する位置および向きに対する前記拡張現実オーバーレイの所望の位置および向きを関連付けるものである。
技術的思想２６の方法は、技術的思想２４又は２５に記載の方法において、前記解剖学的構造に関連付けられた前記解剖学的構造ターゲットの姿勢が、前記実３次元空間における前記解剖学的構造の位置および向きを連続的に示し、リアルタイムで、且つ前記実３次元空間における前記解剖学的構造と前記光学センサユニットとの相対な動きに応じて、前記光学センサユニットから入力される前記画像を使用して、前記解剖学的構造の動いた位置および向きを決定し、前記解剖学的構造の前記動いた位置および向きに対して前記拡張現実オーバーレイの前記位置合わせを更新して、前記拡張現実オーバーレイの動いた所望の位置および向きを決定し、前記ディスプレイに同時に表示するために、ｉ）前記光学センサユニットからの前記実３次元空間の画像と、ｉｉ）前記拡張現実オーバーレイの前記動いた所望の位置および向きに応じて前記拡張現実オーバーレイとを描画し提供するものである。
技術的思想２７の方法は、技術的思想２４又は２５に記載の方法において、前記解剖学的構造の初期レジストレーションと、前記解剖学的構造に対する前記拡張現実オーバーレイの初期の位置合わせと、初期の描画および提供とを実行し、その結果、前記拡張現実オーバーレイ及び前記解剖学的構造が表示される場合に、前記実３次元空間の前記画像において正しく位置合わせされないものである。
技術的思想２８の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって、実３次元空間の画像を入力し、前記実３次元画像が、前記患者と、骨除去器具と、前記実３次元空間における前記患者の解剖学的構造に関連付けられたターゲットとを含み、前記患者と前記ターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記ターゲットに対して前記画像から追跡情報を決定し、前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の前記解剖学的構造のレジストレーションを行い、前記解剖学的構造の前記対応する位置および向きに対して前記計算上の３次元空間における所望の位置および向きに、計画されたインプラントの位置を含む拡張現実オーバーレイのオーバーレイモデルを位置合わせし、前記計画されたインプラントの位置と前記骨除去器具とを同時に視覚化するようにディスプレイ上に表示するために、前記計画されたインプラントの位置と前記実３次元空間の画像とを描画して提供するものである。
技術的思想２９の方法は、患者に関連した拡張現実を提供するコンピュータ実装方法であって、少なくとも１のプロセッサによって実３次元空間の画像を入力し、前記実３次元空間が、前記患者と、前記実３次元空間におけるそれぞれの対象および／または前記患者の解剖学的構造に関連付けられた１又は複数のターゲットとを含み、前記患者と前記１又は複数のターゲットとを含む前記実３次元空間の視野を有する単一の光学センサユニットから前記画像を入力し、前記１又は複数のターゲットのそれぞれに対する前記画像から追跡情報を決定し、前記解剖学的構造に関連付けられたそれぞれのターゲットに対する追跡情報を使用して、前記実３次元空間における前記解剖学的構造の位置および向きから前記少なくとも１のプロセッサによって維持される計算上の３次元空間における前記解剖学的構造の対応する位置および向きを生成して、前記計算上の３次元空間において前記患者の解剖学的構造のレジストレーションを行い、手術計画および器具のうちの１又は複数のレジストレーションを行い、前記解剖学的構造、前記手術計画および／または前記器具の前記対応する位置および向きに対して、前記計算上の３次元空間において所望の位置および向きに対して拡張現実オーバーレイのそれぞれのオーバーレイモデルを位置合わせし、ユーザ入力または状況に関する情報の入力に基づいて所望の表示情報を決定し、前記所望の表示情報に基づいて、前記所望の位置および向きでディスプレイ上に表示するために前記拡張現実オーバーレイを選択的に描画して提供するものである。
技術的思想３０の手術ナビゲーションシステムは、演算ユニットと、光学センサユニットと、前記光学センサユニットにより対象を追跡するための１又は複数のターゲットとを備え、前記光学センサユニットが、前記ターゲットに対する追跡情報を有する追跡画像と前記光学センサユニットの視野における処置の可視画像とを、前記演算ユニットに提供し、前記演算ユニットが、技術的思想１から２９のいずれか記載の方法を実行するように構成された、少なくとも１のプロセッサを有するものである。
技術的思想３１の手術ナビゲーションシステムは、技術的思想３０記載の手術ナビゲーションシステムにおいて、前記患者の生体のうちの１の解剖学的構造に前記光学センサユニットのうちの１及びトラッカのうちの１を、選択的に、取外し可能に且つ堅固に取り付けるためのプラットフォームであって、少なくとも１の面を有する本体を備え、前記少なくとも１の面が、光学的に追跡可能なパターンと、繰返し可能な（着脱可能な）光学センサマウントと、繰返し可能な（着脱可能な）ターゲットマウントとを提供するように構成され、前記光学的に追跡可能なパターンが、前記プラットフォームに取り付けられたときに前記光学センサユニットの視野内に延在する、プラットフォームを備え、前記光学的に追跡可能なパターンと前記ターゲットマウントとの間の空間的関係が、ターゲット－パターン定義によって事前に定義され、前記演算ユニットが、前記光学センサユニットが前記プラットフォームに取り付けられると前記光学的に追跡可能なパターンの特徴を含む第１の画像を入力し、 前記光学的に追跡可能なパターンの姿勢を計算するための演算を実行し、前記光学的に追跡可能なパターンの前記姿勢と前記ターゲット－パターン定義とに基づき、前記ターゲットマウントの前記姿勢を計算するための演算を実行し、前記光学センサユニットが前記プラットフォームから取り除かれ、前記トラッカのうちの１が前記プラットフォームに取り付けられると、前記プラットフォームに取り付けられた前記トラッカのうちの１を含む第２の画像を入力し、前記トラッカのうちの１が取り付けられる前記解剖学的構造を追跡するように構成されるものである。