知財求人 - 知財ポータルサイト「IP Force」
▶ メタモーフォシス ゲゼルシャフト・ミット・ベシュレンクター・ハフトゥングの特許一覧
特表2024-546917自律的な自己較正手術ロボットのためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-26
(54)【発明の名称】自律的な自己較正手術ロボットのためのシステム及び方法
(51)【国際特許分類】
A61B 34/20 20160101AFI20241219BHJP
A61B 34/10 20160101ALI20241219BHJP
【ＦＩ】
A61B34/20
A61B34/10
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024535750
(86)(22)【出願日】2021-12-17
(85)【翻訳文提出日】2024-08-09
(86)【国際出願番号】 EP2021086535
(87)【国際公開番号】W WO2023110126
(87)【国際公開日】2023-06-22
(81)【指定国・地域】
(71)【出願人】
【識別番号】521226945
【氏名又は名称】メタモーフォシス ゲゼルシャフト・ミット・ベシュレンクター・ハフトゥング
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ブラウ，アルノ
(72)【発明者】
【氏名】ラム，アルトゥール
(72)【発明者】
【氏名】レイマー，シュテファン
(72)【発明者】
【氏名】シーランド，クリストフ
(57)【要約】
外科手技ステップを実行するべくロボットデバイスの移動を制御する、自律的なロボット手術のためのシステム及び方法が提供され、移動の制御は、ロボットデバイスの少なくとも一部の空間位置及び姿勢を含む情報に基づいている。トリガ情報により、システムは、外科手技ステップを一時停止又は停止し、投影画像を受信し得る。さらに、投影画像は、オブジェクト又はロボットデバイスの少なくとも一部の空間位置及び姿勢を決定するべく処理され得る。
【選択図】図４０
【選択図】図４０
【特許請求の範囲】
【請求項1】
コンピュータプログラム製品であって、自律的なロボット手術のためのシステムの処理ユニット上で実行されるときに、外科手技ステップを実行するべく、ロボットデバイスの移動を制御し、
前記移動の制御は、ロボットデバイスの少なくとも一部の空間位置及び姿勢を含む情報に基づいており、
トリガ情報により、システムは投影画像を受信し、前記投影画像はロボットデバイスが動いていない状態で生成され、
前記投影画像を処理し、前記投影画像に基づいてロボットデバイスの少なくとも一部の空間位置及び姿勢を決定し、且つ
次の外科手技ステップを実行するべく、ロボットデバイスの移動を制御する、
ように構成される、コンピュータプログラム製品。
【請求項2】
トリガ情報を生成するようにさらに構成され、前記トリガ情報は、ロボットデバイスのセンサ、ナビゲーションシステム、追跡システム、カメラ、以前の投影画像、術中３Ｄスキャン、移動空間の定義からなる群のうちの少なくとも１つから受信したデータに基づいて生成される、請求項１に記載のコンピュータプログラム製品。
【請求項3】
予想された空間位置及び姿勢からの、決定された空間位置及び姿勢の偏差を求めるようにさらに構成され、前記求めた偏差に基づいて較正情報が生成される、請求項１～２のいずれか一項に記載のコンピュータプログラム製品。
【請求項4】
次の投影画像の撮像方向を決定するようにさらに構成される、請求項１～３のいずれか一項に記載のコンピュータプログラム製品。
【請求項5】
撮像デバイスに投影画像を生成させるようにさらに構成される、請求項１～４のいずれか一項に記載のコンピュータプログラム製品。
【請求項6】
異なる撮像方向から投影画像を生成するための新たな位置に移動するように撮像デバイスを制御するようにさらに構成される、請求項１～５のいずれか一項に記載のコンピュータプログラム製品。
【請求項7】
前記ロボットデバイスの移動の制御は、さらなる投影画像の画像処理、追跡システムからの情報、ナビゲーションシステムからの情報、カメラからの情報、ＬＩＤＡＲからの情報、圧力センサからの情報、及び較正情報からなる群のうちの少なくとも１つにさらに基づいている、請求項１～６のいずれか一項に記載のコンピュータプログラム製品。
【請求項8】
請求項１～７のいずれか一項に記載のコンピュータプログラム製品を実行するように構成された処理ユニットを備える、自律的なロボット手術のためのシステム。
【請求項9】
ロボットデバイスをさらに備え、前記コンピュータプログラム製品は、前記ロボットデバイスの移動を制御するように構成される、請求項８に記載のシステム。
【請求項10】
撮像デバイスをさらに備え、前記コンピュータプログラム製品は、前記撮像デバイスの移動を制御する及び／又は前記撮像デバイスによる投影画像の生成を制御するように構成される、請求項８～９のいずれか一項に記載のシステム。
【請求項11】
ナビゲーションシステム、追跡システム、カメラ、及びセンサからなる群のうちの少なくとも１つのデバイスをさらに備え、前記移動の制御及び／又は前記空間位置及び姿勢の決定は、前記少なくとも１つのデバイスから受信した情報にさらに基づいている、請求項８～１０のいずれか一項に記載のシステム。
【請求項12】
ロボットデバイスによって外科手技ステップを自律的に実行する方法であって、前記方法は、外科手技ステップを実行するべく、ロボットデバイスの移動を制御するステップであって、前記移動の制御は、ロボットデバイスの少なくとも一部の空間位置及び姿勢を含む情報に基づいているステップと、
トリガ情報によりロボットデバイスの移動を一時停止するステップと、
ロボットデバイスの少なくとも一部の投影画像を受信するステップと、
前記投影画像を処理し、前記投影画像に基づいて、ロボットデバイスの少なくとも一部の空間位置及び姿勢を決定するステップと、
次の外科手技ステップを実行するべく、ロボットデバイスのさらなる移動を制御するステップと、
を含む、方法。
【請求項13】
トリガ情報を生成するステップをさらに含み、前記トリガ情報は、ロボットデバイスのセンサ、ナビゲーションシステム、追跡システム、カメラ、以前の投影画像、術中３Ｄスキャン、移動空間の定義からなる群のうちの少なくとも１つから受信したデータに基づいて生成される、請求項１２に記載の方法。
【請求項14】
前記移動の制御及び／又は前記空間位置及び姿勢の決定は、ナビゲーションシステム、追跡システム、カメラ、及びセンサからなる群のうちの少なくとも１つのデバイスから受信した情報にさらに基づいている、請求項１２及び１３のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工知能及びコンピュータ支援並びにロボット支援手術の分野に関する。さらに、本発明は、Ｘ線画像に基づいてオブジェクトに関する情報を提供するシステム及び方法に関する。特に、本発明は、解剖学的構造に関係する移動空間に対するオブジェクトの空間位置及び姿勢を自動的に決定するためのシステム及び方法に関する。この方法は、システムの処理ユニット上で実行可能なコンピュータプログラムとして実装することができる。
【0002】
前述の態様に基づいて、真に自律的なロボット手術のためのシステム及び方法を提供することができ、該システムは、自己較正ロボットを含み得る。
【背景技術】
【0003】
整形外科手術におけるコンピュータ支援は、例えば、ドリリングが正しい場所で行われること、インプラントが適正に配置されることなどを保証する、外科医のナビゲーションに関係する。これには、ナビゲーション指示を提供するための、外科用器具（ドリルなど）、インプラント（ねじ又は釘など）、及び解剖学的構造間の正確な相対３Ｄ位置及び３Ｄ姿勢を決定することが含まれる。コンピュータ支援ナビゲーションは、整形外科手術（例えば、脊椎手術）の一部の領域で既に用いられているが、他の領域（特に外傷手術）ではほとんど用いられていない。例えば、脊椎手術では、コンピュータ支援ナビゲーションは、椎弓根ねじを正確に配置する、神経血管の損傷を回避する、及び再手術のリスクを最小にするために用いられている。
【0004】
しかしながら、整形外科手術でコンピュータ支援を用いるときに依然として大きな問題がある。既存のナビゲーションシステムは、さらなる手順ステップと、３Ｄカメラ、トラッカ、参照体などの装置を必要とする。例えば、ナビゲーションありの脊椎手術では、現在のほとんどのシステムは、脊椎に動的な参照系を取り付け（患者追跡用）、器具に参照体を取り付ける光学追跡を使用している。その場合、両方の参照が３Ｄカメラで常に見えていなければならない。そのような手法は、限定はされないが以下を含む複数の欠点を有する：
・システムが相対３Ｄ位置及び姿勢を学習するには、時間のかかる位置合わせ手順（少なくとも数分、場合によっては最大３０分かかる）が必要である。
・位置合わせの妥当性と正確性を継続的に監視しなければならない。トラッカが移動する場合、位置合わせを繰り返す必要がある場合がある。
・トラッカの移動に気付かなければ、ナビゲーション指示が不正確になり、患者に危害が及ぶ可能性がある。
・カメラからの距離が増加するにつれて正確性が低減する。
・解剖学的構造（例えば、脊椎）に参照系を取り付けることで解剖学的構造が損傷する可能性がある。
・システムが相対３Ｄ位置及び姿勢を学習するには、時間のかかる位置合わせ手順（少なくとも数分、場合によっては最大３０分かかる）が必要である。
・位置合わせの妥当性と正確性を継続的に監視しなければならない。トラッカが移動する場合、位置合わせを繰り返す必要がある場合がある。
・トラッカの移動に気付かなければ、ナビゲーション指示が不正確になり、患者に危害が及ぶ可能性がある。
・カメラからの距離が増加するにつれて正確性が低減する。
・解剖学的構造（例えば、脊椎）に参照系を取り付けることで解剖学的構造が損傷する可能性がある。
【0005】
要約すると、すべての既存のナビゲーションシステムは、さらなる手順ステップ及び装置を必要とすることで、外科手技が長引く及び複雑になるだけでなく、費用がかかり、間違いを起こしやすくなる。
【0006】
ロボット支援手術システムは、それらが提供すると考えられる正確さからポピュラーになりつつある。しかしながら、既存のナビゲーションシステムが間違いを起こしやすいことは、真に自律的なロボット手術の妨げとなっている。従来のシステムは、ツール（例えば、ドリル）及び解剖学的構造に取り付けた参照体をカメラで追跡することで、ツールと解剖学的構造間の相対３Ｄ位置及び姿勢を決定する。このカメラは、その性質上、外部的に固定した参照体しか見ることができず、骨の内部にあるドリル自体を見ることはできない。参照体のいずれか１つが移動する場合、又はドリルが骨の内部で曲がる場合、ナビゲーションシステムがこのことに気付かず、不正確な情報を提供し、患者に危害が及ぶ可能性がある。したがって、既存のナビゲーション技術は、真に自律的なロボット手術を可能にするのに十分なほど信頼できるものではない。
【0007】
（ｉ）ナビゲーションのためのさらなる手順及び装置を必要としない、（ｉｉ）外部的に固定したトラッカ、フィデューシャル、又は参照体の評価から推論するのではなく、外科用器具、インプラント、及び解剖学的構造の実際の相対３Ｄ位置及び姿勢を決定することができる、ナビゲーションシステムを有することが望ましい。
【発明の概要】
【0008】
本発明は、所望の時点で複数のオブジェクト又は互いに対して移動し得るオブジェクトと移動空間で位置合わせするのに参照体もトラッカも必要としないシステム及び方法を提案する。本発明の目的は、現在のＸ線投影画像のみに基づいて、ほぼリアルタイムで、おそらく数分の１秒以内で、そのような位置合わせ、すなわち、相対３Ｄ位置及び姿勢の決定を提供することであり得る。本発明の目的はまた、おそらくは別のオブジェクトに対する又は移動空間に対する、オブジェクト上又はオブジェクト内の関心ある特定の地点又は曲線を決定することであり得る。本発明の目的はまた、複数のオブジェクト間の相対３Ｄ位置及び３Ｄ姿勢を決定することであり得る。特に、本発明の目的は、解剖学的構造に対して定義される移動空間に対する、オブジェクト（例えば、ドリル、ノミ、ボーンミル、リーマ）の又はオブジェクトの幾何学的態様（例えば、ドリルの軸、ドリルの先端、ノミの刃先）の、３Ｄ位置及び３Ｄ姿勢を決定することであり得る。移動空間は、例えば、軌道、１Ｄ曲線、平面、歪んだ平面、部分的な３Ｄボリューム、又は最大３次元の他の任意の多様体によって定義され得る。例えば、移動空間は、椎骨内のドリル軌道によって定義され得る。
【0009】
本発明の目的はさらに、外科医又は手術ロボットに、移動空間内でのオブジェクト（例えば、ドリル）の移動をガイド及び／又は制約する指示を提供することであり得る。移動空間は、Ｘ線画像の視野内にある必要はない。移動空間は、解剖学的構造のモデルに基づいてシステムによって（例えば、ニューラルネットワークを使用して）決定されてもよく、又は例えば外科医によって、事前に決定されてもよい。事前に決定された移動空間はまた、システムによって手術中に検証され得る。
【0010】
オブジェクトと移動空間との相対３Ｄ位置及び姿勢を決定する１つの方法は、最初にオブジェクトと解剖学的構造との相対３Ｄ位置及び３Ｄ姿勢を決定することであるが、オブジェクトと解剖学的構造との相対３Ｄ位置及び姿勢を決定するこの中間ステップは、例えば、移動空間が術前ＣＴ画像データに基づいて事前に決定されていれば、必要ではない場合がある。
【0011】
本発明では、Ｘ線画像などの２Ｄ投影画像に固有の基礎となる３Ｄシナリオに関する曖昧さを解決するためにどのようにして事前情報を組み込むかを教示する。
【0012】
本発明は、真に自律的なロボット手術の基礎を築くことになるかもしれない。上述のように、本発明の目的は、解剖学的構造に関連する移動空間に対するオブジェクトの空間位置及び姿勢を決定し、次いで、移動空間内でのオブジェクトの移動をガイド及び／又は制約することであり得る。例として、ロボットは、大腿骨内の埋め込み曲線に沿って、すなわち、埋め込み曲線に沿ったドリルのボリュームを囲む移動空間内で、ドリリングするように指示され得る。別の例として、ロボットアームは、例えば骨を削るときに、ユーザがこのロボットアームを移動空間内でのみ移動させることができるように構成され得る。
【0013】
このようなシステムはまた、他のソース又はセンサからの情報を考慮に入れることができる。例えば、ロボットに圧力センサが一体化され、抵抗が大きすぎる又は小さすぎるときにドリルが停止され得る。
【0014】
本開示で教示される方法はまた、既存のナビゲーション技術を補足し得る。本発明の主な態様は、術中Ｘ線からの情報を継続的に取り込むことである。本発明は、ナビゲーション用のカメラ又は他のセンサを必要としないが、それにもかかわらず、（正確性及び／又は冗長性を増加させるために）ナビゲーション用のカメラ又は他のセンサ（例えば、ロボットに取り付けられたセンサ）と組み合わせてもよい。Ｘ線画像からの情報とカメラ又は他のセンサからの情報を組み合わせることで、相対空間位置及び姿勢の決定の正確性を向上させること、又は残っている曖昧さ（例えば、オクルージョンに起因し得る）を解決することができる。ロボット又はロボットアーム自体によって提供される（例えば、実行した移動についての）情報も考慮され得る。
【0015】
既に上で述べたように、本発明の目的は、現在のＸ線画像と、以前のＸ線画像から抽出され得る情報のみに基づいて、ほぼリアルタイムで、おそらくは数分の１秒以内で、移動空間（例えば、ドリル軌道）に対するオブジェクト（例えば、ドリル）の３Ｄ位置及び姿勢を決定することである。真に自律的なロボット手術システムでは、外科手技ステップを実行しながら、移動空間に対するオブジェクトの空間位置及び姿勢の新たな決定を得るために、システムが自ら、外科手技ステップをいつ一時停止して（同じ及び／又は別の撮像方向から）新たなＸ線画像を取得するかを決定する必要がある。新たなＸ線画像の取得は、ロボットセンサ（例えば、圧力センサ、ツールがどれだけ既に移動したか）による入力、追跡ベースのナビゲーションシステムによる要求、又は現在のＸ線画像を処理するアルゴリズムでの閾値を超えたこと、を含むがこれらに限定されない、いくつかのイベントによってトリガされ得る。新たなＸ線画像から抽出された情報に基づいて、システムは、外科手技ステップを続行、中止、又は終了することができる。外科手技ステップが中止される場合、システムは、新たな計画作成を実行し、及び／又は自ら再較正し、次いで、適切な変更を行った後に外科手技ステップを続行することができる。外科手技ステップが終了する（例えば、計画通りに椎弓根に孔が開けられる）と、新たな外科手技ステップが開始され得る（例えば、ドリルが患者から抜去され、さらなるドリリングのために配置される、又はツールの適切な変更後に椎弓根に椎弓根ねじが挿入される）。
【0016】
本開示を適用するための可能性のある適応は、あらゆるタイプの骨ドリリング、例えば、椎弓根へのねじの挿入、仙腸関節へのねじの挿入、２つの椎骨を接続するねじの挿入、十字靱帯のためのドリリングを含む。本発明は、例えば、ドリリング、リーミング、ミリング、チゼリング、鋸引き、切除、及びインプラントの位置決めのために使用され、したがって、例えば、骨切り術、腫瘍切除、人工股関節全置換術をサポートし得る。
【0017】
少なくとも言及した目的の一方又は他方は、独立請求項のいずれか一項に記載の主題によって解決される。本発明に係るさらなる実施形態は、それぞれの従属請求項に記載されている。
【0018】
一般に、本発明に係る自律的なロボット手術のためのシステム及び方法は、外科手技ステップを実行するべく、ロボットデバイス、或いはロボットデバイスによって保持される、ロボットデバイスに取り付けられる、又はロボットデバイスによって制御され得るオブジェクトの移動を制御するように構成され、移動の制御は、ロボットデバイスの少なくとも一部、或いはロボットデバイスによって保持される、ロボットデバイスに取り付けられる、又はロボットデバイスによって制御され得るオブジェクトの少なくとも一部の空間位置及び姿勢を含む情報に基づき得る。トリガ情報により、システムは、外科手技ステップを一時停止又は停止し、投影画像を受信し得る。さらに、投影画像は、オブジェクト又はロボットデバイスの少なくとも一部の空間位置及び姿勢を決定するべく処理される。これらのステップはループとして実行され得る。したがって、このシステム及び方法は、次の外科手技ステップを実行するべく、ロボットデバイス、或いはロボットデバイスによって保持される、ロボットデバイスに取り付けられる、又はロボットデバイスによって制御され得るオブジェクトのさらなる移動を制御するように構成され得る。
【0019】
「外科手技ステップ」という用語は、本開示の文脈では、移動の完全なセットだけでなく、複数のサブステップに分割された移動も含む、解剖学的構造に対するオブジェクト（例えば、ドリル又はｋワイヤなどの外科用器具、髄内釘などのインプラント、骨又は骨片など）のあらゆる種類の移動を意味することを意図している。外科手技ステップの例としては、完全な孔又は部分的な孔のドリリング、ドリリングの開始、既に開始されたドリリングの再開、ツールの取り外し、ツールの旋回、次の手術ステップのための次の開始点へのツールの移動、ツールの変更、インプラントの挿入又は抜去、撮像デバイスの移動が挙げられる。
【0020】
ロボットデバイスの移動は、ロボットデバイスの一部、例えば、ロボットアーム又は複数のセクションを有するロボットアームの一部、或いはロボットデバイスに取り付けられたツールのあらゆる移動として理解され得ることに留意されたい。言い換えれば、ロボットアームに可動的に取り付けられたエンドエフェクタ又はツールの移動は、ロボットデバイスの移動とみなされ得る。
【0021】
理解されるように、システムは、投影画像を生成及び受信するためにロボットデバイスの移動を一時停止することなく上記のステップをリアルタイムで実行し得る。
【0022】
一実施形態によれば、トリガ情報は、ロボットデバイスのセンサ、ナビゲーションシステム、追跡システム、カメラ、以前の投影画像、術中３Ｄスキャン、移動空間の定義、及び／又は他の任意の適切な情報から受信したデータに基づいて生成され得る。
【0023】
一実施形態によれば、予想された空間位置及び姿勢からの、決定された空間位置及び姿勢の偏差が求められ得る。求めた偏差に基づいて、較正情報が生成され得る。ロボットデバイスの次の移動は、次の手術ステップの正確性を向上させるべく、較正情報を考慮に入れることができる。
【0024】
一実施形態によれば、システム及び方法はさらに、次の投影画像の撮像方向を決定するように構成され得る。例えば、特定の撮像方向から生成された現在の投影画像でオブジェクト又は構造が隠れている場合、別の撮像方向から生成された投影画像からより正確な情報を抽出できる可能性がある。システムは、適切な撮像方向又は撮像デバイスの具体的なポーズを提案するように構成され得る。撮像方向は５自由度で完全に指定されるが、システムによって与えられる提案は、（例えば、Ｃアーム及び／又はそのサブパーツの移動の可能性に基づいて）適切な撮像方向に到達するための撮像デバイスの移動を記述するために、より多くの自由度を含み得る。
【0025】
一実施形態によれば、システム及び方法は、撮像デバイスに投影画像を生成させることができる。さらに又は代替的に、システム及び方法は、異なる撮像方向から投影画像を生成するための新たな位置に移動するように撮像デバイスを制御することができる。そのような異なる撮像方向は、システムによって提案される適切な撮像方向であり得る。
【0026】
ロボットデバイスの移動の制御は、さらなる投影画像の画像処理、追跡システムからの情報、ナビゲーションシステムからの情報、カメラからの情報、ＬＩＤＡＲからの情報、圧力センサからの情報、及び較正情報からなる群のうちの少なくとも１つにさらに基づき得ることに留意されたい。
【0027】
さらに一般に、画像誘導手術のためのシステム及び方法が提供され得る。このようなシステム及び方法は、解剖学的構造のモデル及びオブジェクトのモデルを受信し、或る撮像方向から撮像デバイスによって生成された投影画像を処理し、投影画像は、解剖学的構造の少なくとも一部及びオブジェクトの少なくとも一部を含む。（ｉ）投影画像、（ｉｉ）撮像方向、（ｉｉｉ）オブジェクトのモデル、及び（ｉｖ）解剖学的構造のモデルに基づいて、システム及び方法は、移動空間に対するオブジェクトの空間位置及び姿勢を決定する。本明細書で用いられる場合の移動空間は、解剖学的構造に関連して定義され得る。
【0028】
システムは処理ユニットを含むことと、方法は、その処理ユニット上で実行できるコンピュータプログラム製品として実装され得ることが理解されるであろう。
【0029】
いくつかの実施形態によれば、例えば外科手技を手動で実行するときに、決定された移動空間内でのオブジェクトの移動が監視され得る。代替的に又は加えて、ロボットデバイスを使用してもよい。ロボットデバイスは、オブジェクトの移動を決定された移動空間内に制約することができ、したがって、外科手技は手動で実行されるが、ロボットデバイスは、移動空間内の移動のみを許す安全ガードとして作用する。ロボットデバイスはまた、決定された移動空間内でのオブジェクトの移動を能動的に制御するように構成され得る。
【0030】
いくつかの実施形態によれば、移動空間に対するオブジェクトの空間位置及び姿勢の決定は、ロボットデバイスのセンサから受信した情報に基づいているか、又はリアルタイムナビゲーションシステムに基づいていてもよく、リアルタイムナビゲーションシステムは、光学トラッカを備えるナビゲーションシステム、赤外線トラッカを備えるナビゲーションシステム、ＥＭ追跡を備えるナビゲーションシステム、２Ｄカメラを使用するナビゲーションシステム、ＬＩＤＡＲを使用するナビゲーションシステム、３Ｄカメラを使用するナビゲーションシステム、拡張現実メガネなどのウェアラブル追跡要素を含むナビゲーションシステムからなる群のうちの少なくとも１つである。
【0031】
モデルは、（統計的）可変形状モデル、表面モデル、（統計的）可変アピアランスモデル、ＣＴスキャンの表面モデル、ＭＲスキャンの表面モデル、ＰＥＴスキャンの表面モデル、術中３Ｄ Ｘ線の表面モデル、又は３Ｄ画像データに基づいていてもよく、３Ｄ画像データは、ＣＴスキャン、ＰＥＴスキャン、ＭＲスキャン、又は術中３Ｄ Ｘ線スキャンであり得る。
【0032】
一実施形態によれば、３Ｄ画像データの異なる仮想撮像方向からそれぞれ複数の仮想投影画像を生成し、仮想投影画像のグループの中から投影画像との最大の類似性を有する１つの仮想投影画像を特定することに基づいて、投影画像の撮像方向が決定され得る。
【0033】
さらなる実施形態によれば、システム及び方法は、解剖学的構造のさらなる部分を含む、別の撮像方向からの以前の投影画像を受信し、以前の投影画像でのオブジェクトの幾何学的態様として点又は線を検出し、投影画像でのオブジェクトの幾何学的態様を検出するように構成され、オブジェクトの幾何学的態様は、以前の投影画像を生成した時点と投影画像を生成した時点との間で解剖学的構造の一部に対して移動していない。このような状況では、移動空間に対するオブジェクトの空間位置及び姿勢の決定は、オブジェクトの検出された幾何学的態様と、以前の投影画像を生成した時点と投影画像を生成した時点との間でオブジェクトの幾何学的態様と解剖学的構造の一部との間に動きがなかったという知識にさらに基づくことができる。
【0034】
さらなる実施形態によれば、システム及び方法はさらに、解剖学的構造のさらなる部分を含む、別の撮像方向からの以前の投影画像を受信し、以前の投影画像でのオブジェクトの第１の部分への撮像方向を決定し、投影画像でのオブジェクトの第２の部分への撮像方向を決定するように構成され、オブジェクトは、以前の投影画像を生成した時点と投影画像を生成した時点との間で解剖学的構造の一部に対して移動していない。このような状況では、移動空間に対するオブジェクトの空間位置及び姿勢の決定は、オブジェクトの各部分への決定された撮像方向と、以前の投影画像を生成した時点と投影画像を生成した時点との間でオブジェクトと解剖学的構造の一部との間に動きがなかったという知識にさらに基づいている。
【0035】
移動空間に対するオブジェクトの空間位置及び姿勢の決定は、オブジェクトの地点と解剖学的構造の一部との空間関係についての事前情報、又はオブジェクトの軸上にある地点についての事前情報にさらに基づくことができ、その地点は、解剖学的構造に対して定義される。
【0036】
本明細書で用いられる場合の「オブジェクト」は、Ｘ線画像で少なくとも部分的に見える、又はＸ線画像では見えないが、Ｘ線画像で少なくとも部分的に見えるオブジェクトに対して既知の相対位置及び姿勢をもつ任意のオブジェクト、例えば、解剖学的構造、ツール、又はインプラントであり得る。「オブジェクト」をインプラントとして考えるとき、インプラントは解剖学的構造内に既に配置されている場合があることが理解されるであろう。例えば、ドリル、ｋワイヤ、ねじ、ボーンミルなどの「ツール」はまた、Ｘ線画像で少なくとも部分的に見える場合がある。より具体的な例では、「オブジェクト」が骨である場合、「ツール」はまた、骨に挿入されることが意図されているがまだ挿入されていない骨釘などのインプラントであり得る。「ツール」は、挿入されるべきオブジェクトであり、「オブジェクト」は、解剖学的構造、又は解剖学的構造内に既に配置されているインプラントなどのオブジェクトであると言える。また、本発明は、いかなる参照体又はトラッカの使用も必要としないが、例えばトラッカを使用することでシステムを堅牢にすることができ、例えばロボットアームに使用することができることに留意されたい。
【0037】
本開示の全体を通して、「モデル」という用語は、ごく一般的な意味で理解されるものとする。これは、オブジェクト（又はオブジェクトの一部）、例えば、ツール又はインプラント（或いはツールの一部又はインプラントの一部）或いは解剖学的構造（又は解剖学的構造の一部）の任意の仮想表現に用いられる。例えば、インプラントの形状及び／又は寸法を定義するデータセットは、インプラントのモデルを構成し得る。別の例として、例えば診断手順中に生成される解剖学的構造の３Ｄ表現（例えば、椎骨の３Ｄ ＣＴ画像スキャン）は、実際の解剖学的オブジェクトのモデルであり得る。「モデル」は、特定のオブジェクト、例えば、特定の釘又は特定の患者の特定の椎骨を記述し得るか、又は一般にある程度の変動性を有する椎骨などのオブジェクトのクラスを記述し得ることに留意されたい。後者のケースでは、そのようなオブジェクトは、例えば、統計的形状又はアピアランスモデルによって記述され得る。その場合、本発明の目的は、取得したＸ線画像に描写されているオブジェクトのクラスから特定のインスタンスの３Ｄ表現を見つけることであり得る。例えば、椎骨の一般的な統計的形状モデルに基づいて、取得したＸ線画像に描写されている椎骨の３Ｄ表現を見つけることが目的であり得る。決定論的な可能性の離散集合を含むモデルを使用することも可能であり、その場合、システムは、その中から画像でのオブジェクトを最もよく記述するものを選択する。例えば、データベースにいくつかのインプラントが存在していることがあり、その場合、アルゴリズムは、どのインプラントが画像に描写されているかを識別する。
【0038】
モデルは、オブジェクトの生３Ｄ画像（例えば、椎骨又はいくつかの椎骨の３Ｄ ＣＴスキャン）であってもよく、又は例えば、オブジェクトの表面のセグメンテーションを含む処理済みの形態の３Ｄ画像データであってもよい。モデルはまた、オブジェクトの３Ｄ形状のパラメータ化された記述であってもよく、これはまた、例えば、オブジェクトの表面及び／又はオブジェクトの放射線密度の記述を含み得る。モデルは、例えば、１つ以上のＣＴスキャン、１つ以上のＰＥＴスキャン、１つ以上のＭＲスキャン、オブジェクトの表面の機械的センシング、又は１つ以上の術中３Ｄ Ｘ線スキャンなどの、種々の撮像モダリティを使用して生成されてもよく、これらはさらに処理されてもよく、又はされなくてもよい。
【0039】
さらに、モデルは、実オブジェクトの完全な又は部分的な３Ｄモデルであってもよく、或いは大腿又は上腕骨頭が３Ｄ投影画像ではボール、２Ｄ投影画像では円で近似できること、或いはドリルがドリル軸を有することなどの、オブジェクトの特定の幾何学的態様（次元が３よりも小さい場合もある）のみを記述し得ることに留意されたい。
【0040】
「３Ｄ表現」という用語は、３Ｄボリューム又は３Ｄ表面の完全な又は部分的な記述を指す場合があり、半径、曲線、平面、角度などの選択された幾何学的態様を指す場合もある。本発明は、オブジェクトの３Ｄ表面又はボリュームについての完全な３Ｄ情報の決定を可能にし得るが、選択された幾何学的態様（例えば、ドリルの先端を表す地点又はノミの刃先を表す線）のみを決定する方法も本発明で考慮される。しかしながら、第１のオブジェクト（例えば、解剖学的構造）の３Ｄ表現の決定は、第１のオブジェクトに対して定義される移動空間、及び第２のオブジェクトに対する、相対３Ｄ位置及び姿勢を決定するために必要ではない場合がある。
【0041】
Ｘ線撮像は２Ｄ撮像（投影）モダリティであるため、Ｘ線画像に描写されている個々のオブジェクトの３Ｄポーズ（すなわち、３Ｄ位置及び３Ｄ姿勢）を一意に決定することは一般に不可能であり、Ｘ線画像に描写されているオブジェクト間の相対３Ｄ位置及び３Ｄ姿勢を一意に決定することも一般に不可能である。
【0042】
Ｘ線ビームはＸ線源（焦点）から発生し、像平面内のＸ線検出器によって検出されるため、オブジェクトの物理的寸法は、切片定理を通じてＸ線画像でのその投影の寸法に関連付けられる。一般に、以下では「ｚ座標」とも呼ばれる像平面からの距離である「撮像深度」の決定には曖昧さが伴う。本発明の全体を通して、「撮像方向」（「ビュー方向」とも呼ばれる）という用語は、選択されたＸ線ビーム（例えば、中心Ｘ線ビーム）がオブジェクトの選択された地点を通過する方向を表す３Ｄ角度を意味する。Ｃアームの例での投影撮像デバイスの中心ビームは、焦点と投影面の中心との間のビームである（言い換えれば、これは、焦点と投影画像の中心との間のビームである）。場合によっては、オブジェクトのモデルへの仮想撮像方向を決定するだけで十分な場合があり、これは、Ｘ線画像でのオブジェクトをセグメント化又は検出することなく行うことができ、そのモデルは、セグメンテーションなしの生３Ｄ－ＣＴ画像データであり得ることに留意されたい。例えば、脊椎のセグメンテーションなしの３Ｄ－ＣＴスキャンでは、個々の椎骨もそれらの表面も識別されない。さらなる処理では、仮想撮像方向が、Ｘ線画像の撮像方向として使用され得る。
【0043】
Ｘ線画像に描写されているオブジェクトのモデルが利用可能な場合、これにより、オブジェクトへの撮像方向を決定できる可能性がある。オブジェクトが十分に大きく、十分な構造を有するならば、そのオブジェクトの３Ｄポーズも決定できる可能性がある。しかしながら、Ｘ線画像に示されている既知のオブジェクトの決定論的な３Ｄモデルが利用可能であっても、オブジェクトへの撮像方向を決定できないケースもある。例として、これは特にドリル又はｋワイヤなどの細いオブジェクトに当てはまる。ドリルの先端の撮像深度がわからなければ、２ＤのＸ線画像での同じ又はほぼ同じ投影につながるドリルの複数の３Ｄポーズが存在する。したがって、一般に、例えば、同じくＸ線画像に示されているインプラントに対するドリルの相対３Ｄ位置及び３Ｄ姿勢を決定できない可能性がある。
【0044】
本発明の目的は、さらなる情報なしにその撮像方向を決定することができないような幾何学的形状のオブジェクトと、別のオブジェクト、又は他のオブジェクトに関連する移動空間との相対３Ｄ位置及び３Ｄ姿勢を決定することである。
【0045】
例えば、オブジェクトは、穴を有するインプラントを含み得る。その場合、本発明の一実施形態によれば、インプラントの穴の軸に基づいて、オブジェクトに対する地点の３Ｄ位置が決定され得る。インプラントは、釘で骨構造をロックするための横方向に延びる貫通穴を有する髄内釘であり得ることに留意されたい。このような穴には、ねじ山が設けられ得る。その穴の軸は、骨の外面をカットしてロッキングねじの進入地点を定義する。別の例では、長骨の内側に配置され得る釘と、前記長骨の外側に配置され得るプレートとの組み合わせを、プレートの穴と釘の穴の両方を通って延びる少なくとも１つのねじによって一緒に固定することができる。ここでも、ねじの進入地点は、これらの穴を通って延びる軸によって定義され得る。
【0046】
さらなる例では、オブジェクトは骨に既に埋め込まれた釘と考えられ、Ｘ線画像はドリルなどのツールの少なくとも一部も示している。この場合、ツールは、第１のＸ線画像で少なくとも部分的に見えており、識別される地点は、ツール上の地点、例えばツールの先端である。第１のＸ線画像の生成と第２のＸ線画像の生成との間でツールがオブジェクトに対して移動したとしても、第２のＸ線画像に基づいて、オブジェクトに対するツールの３Ｄ位置及び姿勢が決定され得る。第２のＸ線画像に描写された時点での、骨内のインプラントに対するドリルの３Ｄ位置及び姿勢の決定は、例えば、ドリル穴に沿って後で埋め込むときにねじが通るインプラントの穴をねらった方向（移動空間）にドリリングが行われているかどうかを評価するのに役立つ可能性がある。
【0047】
Ｘ線画像で識別される地点の３Ｄ位置は様々な方法で決定され得る。一方では、オブジェクトに対する地点の３Ｄ位置は、骨表面の位置についての知識と、その地点が骨表面に配置されているという知識に基づいて決定され得る。例えば、第１のＸ線画像が生成されるときに、ドリルの先端が骨の外面に配置され得る。その地点は、ドリルが骨にドリリングするとしても、第２のＸ線画像が生成されるときに、依然として同じままである。したがって、第１のＸ線画像でのみドリルの先端によって定義されるが、両方のＸ線画像での地点が進入地点であり得る。
【0048】
他方では、オブジェクトに対する地点の３Ｄ位置は、別のビュー方向からのさらなるＸ線画像に基づいて決定され得る。例えば、ＣアームベースのＸ線システムは、さらなるＸ線画像を生成する前に回転し得る。
【0049】
さらに、オブジェクトに対する地点の３Ｄ位置は、第１のＸ線画像に基づくオブジェクトに対するツールの３Ｄ位置及び姿勢の決定に基づいて決定され得る。すなわち、第１のＸ線画像を生成する時点での３Ｄ位置及び姿勢が既にわかっているとき、その知識は、後の時点で、ツールがオブジェクトに対して移動した後に、３Ｄ位置及び姿勢を決定するために使用することができる。実際、この手順は、一連のＸ線画像で何度も繰り返すことができる。
【0050】
ツールの先端がＸ線画像で見える場合、オブジェクトに対するツールの３Ｄ位置及び姿勢の決定は、さらなる地点を定義するツールの先端にさらに基づいていてもよい。さらなる地点は、投影画像での単なる地点、すなわち２Ｄ点であることに留意されたい。しかしながら、地点、例えば進入地点の既知の３Ｄ位置とともに、さらなる地点を考慮に入れて、Ｘ線画像間の動きの推移が決定され得る。
【0051】
いくつかの状況では、オブジェクトに対するツールの３Ｄ位置及び姿勢を決定することがより困難になる場合がある。例えば、Ｘ線画像で見える、ツールの少なくとも一部は、Ｘ線画像の生成中に回転するドリルのように回転対称であり得る。それにもかかわらず、本発明の一実施形態によれば、オブジェクトに対するツールの３Ｄ位置及び姿勢は、少なくとも十分な正確性で決定することができる。例えば、ドリル又はｋワイヤなどの細長いツール又は細長いインプラントを考えるとき、単一の投影では３Ｄ空間でのツールの姿勢を判別できるほど十分な詳細が示されない場合があり、それらの姿勢は結果的に同様の又は同じ投影になる場合がある。しかしながら、１つよりも多い投影画像を比較するとき、特定の姿勢が存在する可能性が高く、その姿勢を想定することができる。さらに、見えるツールの先端などのさらなる態様を考慮に入れてもよい。
【0052】
別の例では、オブジェクトとツールを一緒に示すＸ線画像を生成するとき、ツールが部分的に隠れている場合がある。ツールの先端がインプラントに隠れている又はドリルのシャフトが主にチューブに隠れている場合があり、このチューブは、骨のドリリング中に周囲の軟組織を損傷から保護するものである。これらのケースでは、以前のＸ線画像とは別のビュー方向から生成された第３のＸ線画像が受信され得る。このような第３のＸ線画像は、メインのビュー方向で生成された画像から取得できる情報に加えて適切な情報を提供し得る。例えば、第３のＸ線画像でツールの先端が見える場合がある。第２のＸ線画像で見えるツールの軸が、第２のＸ線画像を生成するときにＸ線撮像デバイスの焦点に向かう方向の平面を定義し、その結果、ツールの先端がその平面上にあるはずであることから、第２のＸ線画像では見えなくても先端の３Ｄ位置が決定され得る。さらに、ツールの先端は、第３のＸ線画像を生成するときにＸ線撮像デバイスの焦点の方向の線を定義すると考えることができる。先端によって定義された、すなわち第３のＸ線画像での見える地点によって定義された線は、第２のＸ線画像に基づいて定義された３Ｄ空間での平面をカットする。第２のＸ線画像及び第３のＸ線画像は、例えば、両方の画像でのオブジェクトの撮像方向を決定することによって位置合わせされることが理解されるであろう。
【0053】
事前情報を提供する、前の段落で言及した第１のＸ線画像は、例えば、解剖学的オブジェクトのセグメンテッドＣＴスキャンの形態の解剖学的オブジェクトのモデル又は解剖学的オブジェクトの表面の統計モデルに置き換えられてもよいことに留意されたい。さらに、その場合、別のオブジェクトの識別された地点（例えば、ドリルの先端）は、解剖学的オブジェクトの表面までの既知の３Ｄ距離を有する（例えば、ドリルの先端が骨に触れる）。
【0054】
処理されたＸ線画像に基づいて、デバイスは、ユーザに指示を提供する又は自ら対応するアクションを自動的に実行するように構成され得る。特に、デバイスは、オブジェクトに対するツールの決定された３Ｄ位置及び姿勢を、予想又は意図された３Ｄ位置及び姿勢と比較するように構成され得る。ドリリングの開始時の適切な姿勢だけでなく、ドリリング中の監視も可能である。例えば、デバイスは、ドリリング中に、ドリリングの方向が最終的に目標構造体にヒットするかどうかを評価し、必要に応じてドリリング方向の修正を決定し得る。デバイスは、指示を提供する又は自らアクションを実行するときに、既に実行されたドリリング深さ、オブジェクトの密度、ドリルの直径、及びドリルの剛性のうちの少なくとも１つを考慮に入れることができる。ドリリング中にドリルを傾けると、周囲の材料、例えば骨の特性によっては、ドリルが曲がる又はドリル軸がシフトする可能性があることが理解されるであろう。ある程度予想できるこれらの態様は、指示を提供する又は自律的にアクションを実行するときに、デバイスによって考慮に入れられ得る。
【0055】
ＥＰ１９２１７２４５によって提案された１つの可能な解決法は、撮像深度についての事前情報を使用することである。例えば、異なる撮像方向（Ｘ線ビームがオブジェクトを通過する方向を示す）から取得された以前のＸ線画像から、ｋワイヤの先端が転子上にあることがわかり、したがって、別のオブジェクトに対するｋワイヤの先端の撮像深度が制約され得る。これは、現在の撮像方向の別のオブジェクトに対するｋワイヤの３Ｄ位置及び３Ｄ姿勢についての曖昧さを解決するのに十分な場合がある。
【0056】
２つ以上のＸ線画像の３Ｄ位置合わせ
別の可能な解決法は、異なる撮像方向から取得した２つ以上のＸ線画像を使用し、これらの画像を位置合わせすることである。撮像方向が異なるほど（例えば、ＡＰ画像及びＭＬ画像）、３Ｄ情報の決定においてさらなる画像がより役立つ可能性がある。画像位置合わせは、その３Ｄモデルが既知であって、画像間で移動しないはずの、画像に描写されているオブジェクトへの撮像方向の決定に基づいて進められる。前述のように、当該技術分野で最も一般的なアプローチは、参照体又はトラッカを用いることである。しかしながら、一般に、製品開発とシステムの使用との両方が簡素化されるため、参照体を使用しないことが好ましい。Ｃアームの移動が正確にわかる場合（例えば、Ｃアームが電子的に制御される場合）、これらの既知のＣアームの移動のみに基づく画像位置合わせが可能であり得る。
別の可能な解決法は、異なる撮像方向から取得した２つ以上のＸ線画像を使用し、これらの画像を位置合わせすることである。撮像方向が異なるほど（例えば、ＡＰ画像及びＭＬ画像）、３Ｄ情報の決定においてさらなる画像がより役立つ可能性がある。画像位置合わせは、その３Ｄモデルが既知であって、画像間で移動しないはずの、画像に描写されているオブジェクトへの撮像方向の決定に基づいて進められる。前述のように、当該技術分野で最も一般的なアプローチは、参照体又はトラッカを用いることである。しかしながら、一般に、製品開発とシステムの使用との両方が簡素化されるため、参照体を使用しないことが好ましい。Ｃアームの移動が正確にわかる場合（例えば、Ｃアームが電子的に制御される場合）、これらの既知のＣアームの移動のみに基づく画像位置合わせが可能であり得る。
【0057】
さらに、Ｘ線画像にそのような剛体が存在しない多くのシナリオがある。例えば、釘を埋め込むための進入地点を決定するとき、Ｘ線画像にはインプラントが存在しない。本発明は、一般に、固有の十分に正確な３Ｄ位置合わせを可能にする既知の幾何学的形状の単一の剛体が存在しない状態で複数のＸ線画像の３Ｄ位置合わせを可能にするシステム及び方法を教示する。ここで提案する手法は、２つ以上のオブジェクトの特徴又は１つのオブジェクトの少なくとも２つ以上の部分の特徴の組み合わせを用いることであり、これらの特徴は、それ自体では固有の十分に正確な３Ｄ位置合わせを可能にしないが、一緒に組み合わせれば、そのような位置合わせを可能にする、及び／又は画像の取得間の許容されるＣアームの移動を制約することを可能にする（例えば、Ｃアーム軸などのＸ線撮像デバイスの特定の軸の周りの回転、又は特定の軸に沿った平行移動のみが許容され得る）。位置合わせに用いられるオブジェクトは、人工物で既知の幾何学的形状のもの（例えば、ドリル又はｋワイヤ）であってもよく、又は解剖学的構造の一部であってもよい。オブジェクト又はオブジェクトの一部は、単純な幾何学的モデルを使用して近似され得る（例えば、大腿骨頭はボールで近似され得る）、又はそれらの特定の特徴（単一の地点、例えば、ｋワイヤ又はドリルの先端であり得る）のみが用いられ得る。位置合わせに用いられるオブジェクトの特徴は画像の取得間で移動してはならず、そのような特徴が単一の地点である場合、この地点が移動しないことのみが必要とされる。例えば、ｋワイヤの先端が用いられる場合、先端は画像間で移動してはならないが、ｋワイヤの傾きは画像間で変化してもよい。
【0058】
一実施形態によれば、それぞれオブジェクトの少なくとも一部を示しているＸ線画像で位置合わせされ得る。第１のＸ線画像は、第１の撮像方向で、オブジェクトに対するＸ線源の第１の位置で生成され得る。第２の画像は、第２の撮像方向で、オブジェクトに対するＸ線源の第２の位置で生成され得る。そのような２つのＸ線画像は、オブジェクトのモデルと、以下の条件のうちの少なくとも１つに基づいて位置合わせされ得る：
－ オブジェクトに対して固定の３Ｄ位置をもつ地点を、両方のＸ線画像で定義可能及び／又は検出可能である、例えば両方のＸ線画像で識別可能である。単一の地点で十分な場合があることに留意されたい。さらに、その地点は、オブジェクトの表面などのオブジェクトの構造までの既知の距離を有し得ることに留意されたい。
－ オブジェクトに対して固定の３Ｄ位置をもつ２つの識別可能な地点が、両方のＸ線画像に存在する。
－ 固定の３Ｄ位置をもつさらなるオブジェクトの一部が、両方のＸ線画像で見える。そのような場合、Ｘ線画像を位置合わせするときに、さらなるオブジェクトのモデルが使用され得る。一地点であっても、さらなるオブジェクトの一部とみなされ得ると考えられる。
－ 第１のＸ線画像と第２のＸ線画像の取得間で、オブジェクトに対するＸ線源の唯一の移動は平行移動である。
－ 第１のＸ線画像と第２のＸ線画像の生成間で、Ｘ線源の唯一の回転は、撮像方向に垂直な軸の周りの回転である。例えば、Ｘ線源は、ＣアームベースのＸ線撮像デバイスのＣ軸の周りで回転し得る。
－ オブジェクトに対して固定の３Ｄ位置をもつ地点を、両方のＸ線画像で定義可能及び／又は検出可能である、例えば両方のＸ線画像で識別可能である。単一の地点で十分な場合があることに留意されたい。さらに、その地点は、オブジェクトの表面などのオブジェクトの構造までの既知の距離を有し得ることに留意されたい。
－ オブジェクトに対して固定の３Ｄ位置をもつ２つの識別可能な地点が、両方のＸ線画像に存在する。
－ 固定の３Ｄ位置をもつさらなるオブジェクトの一部が、両方のＸ線画像で見える。そのような場合、Ｘ線画像を位置合わせするときに、さらなるオブジェクトのモデルが使用され得る。一地点であっても、さらなるオブジェクトの一部とみなされ得ると考えられる。
－ 第１のＸ線画像と第２のＸ線画像の取得間で、オブジェクトに対するＸ線源の唯一の移動は平行移動である。
－ 第１のＸ線画像と第２のＸ線画像の生成間で、Ｘ線源の唯一の回転は、撮像方向に垂直な軸の周りの回転である。例えば、Ｘ線源は、ＣアームベースのＸ線撮像デバイスのＣ軸の周りで回転し得る。
【0059】
オブジェクトのモデルに基づくＸ線画像の位置合わせは、前述の条件の１つ以上と組み合わせるとより正確になり得ることが理解されるであろう。
【0060】
一実施形態によれば、オブジェクトに対して固定の３Ｄ位置をもつ地点は、さらなるオブジェクトの地点であってもよく、その地点が固定されている限り、さらなるオブジェクトの移動は許容される。オブジェクトに対する固定の３Ｄ位置は、そのオブジェクトの表面、すなわち、接触点にあってもよいが、オブジェクトから定義された距離（ゼロよりも大きい）にある地点であってもよいことが理解されるであろう。それは、オブジェクトの表面から或る距離（オブジェクトの外部又は内部の位置が可能である）又はオブジェクトの特定の地点（例えば、オブジェクトがボールの場合はボールの中心）までの或る距離にあり得る。
【0061】
一実施形態によれば、オブジェクトに対して固定の３Ｄ位置をもつさらなるオブジェクトは、オブジェクトと接触している又はオブジェクトまでの定義された距離にあり得る。オブジェクトに対するさらなるオブジェクトの姿勢は固定又は可変のいずれであってもよく、さらなるオブジェクトの姿勢は、オブジェクトに対するさらなるオブジェクトの回転及び／又は平行移動によって変化し得ることに留意されたい。
【0062】
Ｘ線画像の位置合わせはまた、３つ以上のオブジェクトで行われてもよいことが理解されるであろう。
【0063】
種々の実施形態によれば、以下は、画像位置合わせ（参照体なし）を可能にする例である：
１．大腿骨頭又は人工大腿骨頭（股関節インプラントの一部として）のボール（オブジェクト１）による近似と、ｋワイヤ又はドリルの先端（オブジェクト２）を使用し、同時に画像間の許容されるＣアームの移動も制約する。
２．骨幹又は椎体の円筒（オブジェクト１）による近似と、ｋワイヤ又はドリルの先端（オブジェクト２）を使用する。許容されるＣアームの移動は、画像間で制約される又は制約されない場合がある。
３．大腿骨頭又は人工大腿骨頭（股関節インプラントの一部として）のボール（オブジェクト１）による近似と、大腿骨骨幹部の円筒（オブジェクト２）による近似を使用する。画像間の許容されるＣアームの移動を制約する必要はない。
４．ガイドロッド（ガイドロッドは、過度の挿入を防ぐストッパを有する）又は骨内に固定されたｋワイヤを使用し、同時に画像間の許容されるＣアームの移動も制約する。この場合、オブジェクトは１つだけ使用され、この方法は、画像間の制約されたＣアームの移動によって具現化される。
５．ガイドロッド又は骨内に固定されたｋワイヤ（オブジェクト１）と、大腿骨頭のボール（オブジェクト２）による近似を使用する。
１．大腿骨頭又は人工大腿骨頭（股関節インプラントの一部として）のボール（オブジェクト１）による近似と、ｋワイヤ又はドリルの先端（オブジェクト２）を使用し、同時に画像間の許容されるＣアームの移動も制約する。
２．骨幹又は椎体の円筒（オブジェクト１）による近似と、ｋワイヤ又はドリルの先端（オブジェクト２）を使用する。許容されるＣアームの移動は、画像間で制約される又は制約されない場合がある。
３．大腿骨頭又は人工大腿骨頭（股関節インプラントの一部として）のボール（オブジェクト１）による近似と、大腿骨骨幹部の円筒（オブジェクト２）による近似を使用する。画像間の許容されるＣアームの移動を制約する必要はない。
４．ガイドロッド（ガイドロッドは、過度の挿入を防ぐストッパを有する）又は骨内に固定されたｋワイヤを使用し、同時に画像間の許容されるＣアームの移動も制約する。この場合、オブジェクトは１つだけ使用され、この方法は、画像間の制約されたＣアームの移動によって具現化される。
５．ガイドロッド又は骨内に固定されたｋワイヤ（オブジェクト１）と、大腿骨頭のボール（オブジェクト２）による近似を使用する。
【0064】
この方法は、位置合わせの正確性を高めるため又は他の結果を検証するためにも用いられ得ることに留意されたい。すなわち、複数のオブジェクト又はオブジェクトの少なくとも複数の部分（そのうちの１つ以上はそれ自体で３Ｄ位置合わせを可能にし得る）を使用して、場合によっては、同時に許容されるＣアームの移動を制約して、画像を位置合わせするときに、この過剰決定は、提案される方法を使用しないときに比べて位置合わせの正確性を高め得る。代替的に、画像は、利用可能なオブジェクト又は特徴のサブセットに基づいて位置合わせされ得る。そのような位置合わせは、（位置合わせに使用されていなかった）残りのオブジェクト又は特徴の検出を検証するために使用され得る、又は、画像間の動き（例えば開口器具の先端が移動したかどうか）の検出を可能にし得る。
【0065】
この手法のさらに別の実施形態は、Ｘ線画像間の許容されるＣアームの移動を制約しながら（例えば、平行移動のみが許容される）、利用可能なすべてのＸ線投影画像にモデルを共同であてはめることによって、オブジェクトの異なる（しかし重複する可能性のある）部分を描写している２つ以上のＸ線画像（例えば、１つのＸ線画像は大腿骨の近位部を示し、別のＸ線画像は同じ大腿骨の遠位部を示している）を位置合わせすることであり得る。あてはめられるモデルは、完全な又は部分的な３Ｄモデル（例えば、統計的形状又はアピアランスモデル）であり得る、又は、オブジェクトの特定の幾何学的態様（例えば、軸、平面、又は選択した地点の位置）のみを記述する縮小モデルであり得る。
【0066】
以下に詳しく説明するように、位置合わせされたＸ線画像に基づいて、オブジェクトの３Ｄ再構成が決定され得る。Ｘ線画像の位置合わせは、オブジェクト（又は複数のオブジェクトのうちの少なくとも１つ）の３Ｄ再構成に基づいて実行及び／又は強化され得ることが理解されるであろう。位置合わせされたＸ線画像に基づいて決定された３Ｄ再構成は、さらなるＸ線画像の位置合わせに使用され得る。代替的に、オブジェクトの３Ｄ再構成は、単一の又は第１のＸ線画像とオブジェクトの３Ｄモデルに基づいて決定され、次いで、第２のＸ線画像を第１のＸ線画像と位置合わせするときに使用され得る。
【0067】
一般に、Ｘ線画像の位置合わせ及び／又は３Ｄ再構成は、以下の状況で有利になり得る：
・ 大腿骨での前傾角の決定に関心がある。
・ 脛骨又は上腕骨でのねじれ角度の決定に関心がある。
・ 大腿骨頭部と大腿骨骨幹部の間のＣＣＤ角度の決定に関心がある。
・ 長骨の前弯の決定に関心がある。
・ 骨の長さの決定に関心がある。
・ 大腿骨、脛骨、又は上腕骨におけるインプラントの進入地点の決定に関心がある。
・ 大腿骨での前傾角の決定に関心がある。
・ 脛骨又は上腕骨でのねじれ角度の決定に関心がある。
・ 大腿骨頭部と大腿骨骨幹部の間のＣＣＤ角度の決定に関心がある。
・ 長骨の前弯の決定に関心がある。
・ 骨の長さの決定に関心がある。
・ 大腿骨、脛骨、又は上腕骨におけるインプラントの進入地点の決定に関心がある。
【0068】
以下に、例示のためにオブジェクトの組み合わせの例を挙げる。
・ オブジェクト１は上腕骨頭であり、地点は開口器具又はドリルの先端である。
・ オブジェクト１は椎骨であり、地点は椎骨の表面に配置された開口器具又はドリルの先端である。
・ オブジェクト１は脛骨であり、地点は開口器具の先端である。
・ オブジェクト１は脛骨であり、オブジェクト２は、腓骨、大腿骨、距骨、又は足の別の骨である。
・ オブジェクト１は大腿骨の近位部であり、オブジェクト２は大腿骨の表面にある開口器具である。
・ オブジェクト１は大腿骨の遠位部であり、オブジェクト２は大腿骨の表面にある開口器具である。
・ オブジェクト１は大腿骨の遠位部であり、オブジェクト２は大腿骨の近位部であり、少なくとも１つのＸ線画像が大腿骨の遠位部を描写し、少なくとも１つのＸ線画像が大腿骨の近位部を描写し、さらなるオブジェクトは大腿骨の近位部に配置された開口器具である。
・ オブジェクト１は腸骨であり、オブジェクト２は仙骨であり、地点は開口器具又はドリルの先端である。
・ オブジェクト１は骨に埋め込まれた髄内釘であり、オブジェクト２は骨である。
・ オブジェクト１は骨に埋め込まれた髄内釘であり、オブジェクト２は骨であり、地点は、開口器具、ドリル、又はロッキングねじなどのサブインプラントの先端である。
・ オブジェクト１は上腕骨頭であり、地点は開口器具又はドリルの先端である。
・ オブジェクト１は椎骨であり、地点は椎骨の表面に配置された開口器具又はドリルの先端である。
・ オブジェクト１は脛骨であり、地点は開口器具の先端である。
・ オブジェクト１は脛骨であり、オブジェクト２は、腓骨、大腿骨、距骨、又は足の別の骨である。
・ オブジェクト１は大腿骨の近位部であり、オブジェクト２は大腿骨の表面にある開口器具である。
・ オブジェクト１は大腿骨の遠位部であり、オブジェクト２は大腿骨の表面にある開口器具である。
・ オブジェクト１は大腿骨の遠位部であり、オブジェクト２は大腿骨の近位部であり、少なくとも１つのＸ線画像が大腿骨の遠位部を描写し、少なくとも１つのＸ線画像が大腿骨の近位部を描写し、さらなるオブジェクトは大腿骨の近位部に配置された開口器具である。
・ オブジェクト１は腸骨であり、オブジェクト２は仙骨であり、地点は開口器具又はドリルの先端である。
・ オブジェクト１は骨に埋め込まれた髄内釘であり、オブジェクト２は骨である。
・ オブジェクト１は骨に埋め込まれた髄内釘であり、オブジェクト２は骨であり、地点は、開口器具、ドリル、又はロッキングねじなどのサブインプラントの先端である。
【0069】
例えば、解剖学的構造の３Ｄ ＣＴスキャンの形態の３Ｄモデルが利用可能である場合、この解剖学的構造への撮像方向は、モデルをＸ線画像にマッチさせることによって決定され得る。このために、複数の撮像方向についてデジタル再構築放射線写真（ＤＲＲ）が計算され、Ｘ線画像に最もマッチするＤＲＲが採用されて、撮像方向が決定される。
【0070】
撮像方向を決定するために、ＤＲＲを関心ある解剖学的構造に制約する必要がなく、したがって、モデルにおける関心ある解剖学的構造をセグメント化する必要がなくなる可能性がある。ＤＲＲとＸ線画像との最良のマッチを評価するとき、例えばＸ線画像に描写されているドリルの先端が関心ある構造の方を向いている場合に、関心ある解剖学的構造を（例えば適切な重み付けで）強調できる可能性がある。しかしながら、一般に、Ｘ線画像で関心ある解剖学的構造を検出することは必須ではない場合がある。
【0071】
前の段落で説明したように、それぞれの撮像方向を決定することによって、２つのＸ線画像が位置合わせされ得る。両方の画像が、２つの画像の取得間で解剖学的構造に対して移動しなかった各画像内の地点を検出できるオブジェクトを描写している（例えば、ドリルを傾けることが許容されている状態で、外科医がドリルの先端を骨表面に向けている）場合、その地点の３Ｄ位置が３Ｄモデルに対して決定され得る。最初に、２つのＸ線画像の２つの撮像方向が決定される。次いで、それぞれの地点（例えば、ドリルの先端位置）を通るエピポーラ線を結ぶ最短線上の地点（例えば、中点）が計算される。その地点は、３Ｄモデルに対する、したがって、定義された移動空間に対する地点（例えば、ドリルの先端）の３Ｄ位置を決定する。エピポーラ線間の距離は検証に用いることができる。移動空間は、関心ある解剖学的構造に関して定義されるが、関心ある解剖学的構造内にある必要はなく、Ｘ線画像の視野内にある必要はない。モデル又は移動空間に対する空間位置についての事前情報が利用可能な場合、この情報は位置合わせの正確性を高めるために使用することができる。これにより、画像位置合わせと、上記で定義された地点から逸脱する可能性がある地点の空間位置の決定との相互最適化が可能になる。オブジェクトが、２つのＸ線画像の取得間で移動しない線（例えば、ノミの刃先）の検出を可能にする場合、エピポーラ線ではなくエピポーラ平面が得られる類似の手順が可能であることにも留意されたい。しかしながら、エピポーラ平面は検証のためのオプションを提供しない。
【0072】
両方のＸ線画像が、２つの画像の取得間で解剖学的構造に対して移動しなかったオブジェクト（例えば、ドリル）を描写している場合、関心ある解剖学的構造への撮像方向の決定とオブジェクトへの撮像方向の決定との共同最適化が実行され得る。これは、ロボットがドリリングを行う場合に適用可能である。
【0073】
解剖学的構造に対するオブジェクトの地点（例えば、骨表面上のドリルの先端）の位置についての事前情報がある場合、これは解剖学的構造の３Ｄ再構成に使用することができる（例えば、骨表面はこの地点を含んでいる必要がある）。
【0074】
説明したすべての手順は、２つよりも多いＸ線画像を位置合わせすることにも適用可能である。
【0075】
３Ｄ表現／再構成の計算
２つ以上のＸ線画像が位置合わせされると、それらはＸ線画像に少なくとも部分的に描写されている解剖学的構造の３Ｄ表現又は再構成を計算するために使用することができる。一実施形態によれば、これはＰ． Ｇａｍａｇｅ ｅｔ ａｌ．， “３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｐａｔｉｅｎｔ ｓｐｅｃｉｆｉｃ ｂｏｎｅ ｍｏｄｅｌｓ ｆｒｏｍ ２Ｄ ｒａｄｉｏｇｒａｐｈｓ ｆｏｒ ｉｍａｇｅ ｇｕｉｄｅｄ ｏｒｔｈｏｐｅｄｉｃ ｓｕｒｇｅｒｙ，” ＤＯＩ： １０．１１０９／ＤＩＣＴＡ．２００９．４２によって提案された方針に沿って進められる。第１のステップにおいて、関心ある骨構造の特徴（通常は特徴的な骨の縁であり、これは、外側の骨の輪郭及びいくつかの特徴的な内部の縁を含み得る）が、おそらくセグメンテーション用にトレーニングされたニューラルネットワークを使用して、各Ｘ線画像において決定される。第２のステップにおいて、その２Ｄ投影が、利用可能なすべてのＸ線画像での第１のステップで決定された特徴（例えば、特徴的な骨の縁）にフィットするように、関心ある骨構造の３Ｄモデルが変形される。Ｇａｍａｇｅらによる論文では、関心ある解剖学的構造の汎用３Ｄモデルを使用しているが、他の３Ｄモデル、例えば統計的形状モデルも使用され得る。この手順では、画像間の相対視野角（画像の位置合わせによって提供される）だけでなく、画像のうちの１つの撮像方向も必要であることに留意されたい。この方向は、既知である場合がある（例えば、外科医が特定のビュー方向、例えば前後方向（ＡＰ）又は内外側方向（ＭＬ））から画像を取得するように指示されていたため）、又は、種々の手法に基づいて（例えば、ＬＵ１００９０７Ｂ１を使用することによって又は上記で説明したように）推定され得る。画像間の相対視野角がより正確であれば３Ｄ再構成の正確性が増加し得るが、画像のうちの１つの撮像方向の決定の正確性は重要な因子ではない場合がある。
２つ以上のＸ線画像が位置合わせされると、それらはＸ線画像に少なくとも部分的に描写されている解剖学的構造の３Ｄ表現又は再構成を計算するために使用することができる。一実施形態によれば、これはＰ． Ｇａｍａｇｅ ｅｔ ａｌ．， “３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｐａｔｉｅｎｔ ｓｐｅｃｉｆｉｃ ｂｏｎｅ ｍｏｄｅｌｓ ｆｒｏｍ ２Ｄ ｒａｄｉｏｇｒａｐｈｓ ｆｏｒ ｉｍａｇｅ ｇｕｉｄｅｄ ｏｒｔｈｏｐｅｄｉｃ ｓｕｒｇｅｒｙ，” ＤＯＩ： １０．１１０９／ＤＩＣＴＡ．２００９．４２によって提案された方針に沿って進められる。第１のステップにおいて、関心ある骨構造の特徴（通常は特徴的な骨の縁であり、これは、外側の骨の輪郭及びいくつかの特徴的な内部の縁を含み得る）が、おそらくセグメンテーション用にトレーニングされたニューラルネットワークを使用して、各Ｘ線画像において決定される。第２のステップにおいて、その２Ｄ投影が、利用可能なすべてのＸ線画像での第１のステップで決定された特徴（例えば、特徴的な骨の縁）にフィットするように、関心ある骨構造の３Ｄモデルが変形される。Ｇａｍａｇｅらによる論文では、関心ある解剖学的構造の汎用３Ｄモデルを使用しているが、他の３Ｄモデル、例えば統計的形状モデルも使用され得る。この手順では、画像間の相対視野角（画像の位置合わせによって提供される）だけでなく、画像のうちの１つの撮像方向も必要であることに留意されたい。この方向は、既知である場合がある（例えば、外科医が特定のビュー方向、例えば前後方向（ＡＰ）又は内外側方向（ＭＬ））から画像を取得するように指示されていたため）、又は、種々の手法に基づいて（例えば、ＬＵ１００９０７Ｂ１を使用することによって又は上記で説明したように）推定され得る。画像間の相対視野角がより正確であれば３Ｄ再構成の正確性が増加し得るが、画像のうちの１つの撮像方向の決定の正確性は重要な因子ではない場合がある。
【0076】
決定された３Ｄ表現の正確性は、関心ある骨構造上の１つ以上の地点、又はさらには部分的な表面の３Ｄ位置についての事前情報を組み込むことによって向上し得る。例えば、釘が埋め込まれた状態の大腿骨の３Ｄ再構成では、Ｘ線画像での大腿骨の表面上の特定の地点を示すためにｋワイヤが使用され得る。前の手順ステップから、埋め込まれた釘によって与えられる座標系でのこの示された地点の３Ｄ位置がわかる場合がある。その場合、この知識は大腿骨の３Ｄ表面をより正確に再構成するために用いられ得る。特定の地点の３Ｄ位置についてのそのような事前情報が利用可能な場合、単一のＸ線画像に基づく３Ｄ再構成も可能である。さらに、インプラント（プレートなど）が骨の一部の形状とマッチし、この骨のマッチする部分に配置されている場合、この情報が３Ｄ再構成に用いられ得る。
【0077】
代替的な手法として、オブジェクト（例えば骨）の３Ｄ再構成は、事前の画像位置合わせなしに実行されてもよい、すなわち、画像位置合わせと３Ｄ再構成は共同で実行されてもよい。許容されるＣアームの移動を制約すること及び／又は共同の位置合わせ及び再構成のベースとなる画像のうちの少なくとも２つに存在する別のオブジェクト（例えば、ドリル又はｋワイヤ）の容易に検出できる特徴を利用することによって、正確性を増加させ、曖昧さを解決することが本開示で教示される。そのような容易に検出できる特徴は、例えば、再構成するオブジェクトの表面にあるか又はそこから既知の距離にあるｋワイヤ又はドリルの先端であり得る。この特徴は画像の取得間で移動してはならない。ｋワイヤ又はドリルの場合、これは、その先端が定位置にとどまっている限り、器具自体の傾きが変化してもよいことを意味する。２つよりも多い画像がそのような再構成に使用されている場合、事前の画像位置合わせなしの再構成の方が上手くいく可能性がある。共同の位置合わせ及び３Ｄ再構成は、すべての（すなわち、位置合わせと再構成の両方のための）パラメータの共同の最適化を可能にするため、共同の画像位置合わせ及び３Ｄ再構成は、一般に、位置合わせを最初に実行する手法よりもパフォーマンスが優れている可能性があることに留意されたい。これは、過剰決定の場合に、例えば、埋め込まれた釘又はプレートと表面上の地点の３Ｄ位置についての事前情報を使用して骨の３Ｄ表面を再構成するときに特に当てはまる。
【0078】
共同の画像位置合わせ及び３Ｄ再構成のために、第１のオブジェクトの第１の部分を示す第１のＸ線画像が受信され、第１のＸ線画像は、第１の撮像方向及び第１のオブジェクトに対するＸ線源の第１の位置で生成され、第１のオブジェクトの第２の部分を示す少なくとも第２の画像が受信され、第２のＸ線画像は、第２の撮像方向及び第１のオブジェクトに対するＸ線源の第２の位置で生成される。第１のオブジェクトのモデルを使用することにより、２つのＸ線画像での第１のオブジェクトの投影を共同でマッチさせることができ、したがって、モデルを変形して、Ｘ線画像でのアピアランスとマッチするように適応させることができるため、画像の空間関係を決定することができる。そのような共同の位置合わせ及び３Ｄ再構成の結果は、第１のオブジェクトに対して固定の３Ｄ位置を有する少なくとも１つの地点によって強化される可能性があり、その地点は、Ｘ線画像のうちの少なくとも２つにおいて識別可能及び検出可能である（３Ｄ再構成を改善しながら、２つよりも多い画像を位置合わせすることもできることが理解されるであろう）。さらに、第１のオブジェクトに対して固定の３Ｄ位置をもつ第２のオブジェクトの少なくとも一部を考慮に入れることができ、第２のオブジェクトのモデルに基づいて、少なくとも部分的な第２のオブジェクトがＸ線画像で識別及び検出され得る。
【0079】
第１のオブジェクトの第１の部分と第２の部分は重なり合っていてもよく、これにより、結果の正確性が高まることに留意されたい。例えば、第１のオブジェクトのいわゆる第１の部分と第２の部分は、両方とも大腿骨の近位部であってもよく、撮像方向が異なるため、少なくとも大腿骨のアピアランスは画像において異なる。
【0080】
埋め込み曲線及び／又は進入地点の決定
本発明の目的は、釘又はねじなどのインプラントをそれに沿って骨に挿入する及び埋め込む、埋め込み曲線又は経路を決定すること、及び／又は、外科医がインプラントを挿入するために骨を開口する地点である進入地点を決定することであり得る。したがって、進入地点は、埋め込み曲線と骨表面の交点である。埋め込み曲線は、直線（又は軸）であってもよく、又は、インプラント（例えば、釘）が湾曲を有しているため、曲がっていてもよい。進入地点の最適な位置は、インプラントと骨の骨折の位置、すなわち、骨折が遠位方向又は近位方向のどこにあるかに依存し得ることに留意されたい。
本発明の目的は、釘又はねじなどのインプラントをそれに沿って骨に挿入する及び埋め込む、埋め込み曲線又は経路を決定すること、及び／又は、外科医がインプラントを挿入するために骨を開口する地点である進入地点を決定することであり得る。したがって、進入地点は、埋め込み曲線と骨表面の交点である。埋め込み曲線は、直線（又は軸）であってもよく、又は、インプラント（例えば、釘）が湾曲を有しているため、曲がっていてもよい。進入地点の最適な位置は、インプラントと骨の骨折の位置、すなわち、骨折が遠位方向又は近位方向のどこにあるかに依存し得ることに留意されたい。
【0081】
埋め込み曲線及び／又は進入地点を決定する必要がある様々な場合がある。或る場合には、特に、十分な解剖学的整復がまだ行われていない場合、進入地点のみが決定され得る。他の場合には、最初に埋め込み曲線が得られ、次いで、埋め込み曲線と骨表面の交点を決定することによって進入地点が得られる。さらに他の場合には、埋め込み曲線と進入地点が共同で決定される。これらの場合のすべての例が本発明で説明される。
【0082】
一般に、一実施形態によれば、２ＤのＸ線画像が受信され、このＸ線画像は手術の関心領域を示す。そのＸ線画像では、関心ある構造に関連付けられた第１の地点と、埋め込むことを意図されたインプラントのための骨内の埋め込み経路が決定され、埋め込み曲線又は経路は、第１の地点に対して所定の関係を有する。骨にインプラントを挿入するための進入地点は、埋め込み経路上にある。第１の地点は進入地点ではなくてもよいことが理解されるであろう。
【0083】
骨の３Ｄ再構成に基づいて、システムは、インプラントを選択し、骨の狭いスポットからインプラントが十分に離れるように、骨内の位置（埋め込み曲線）（すなわち、進入地点、挿入の深さ、回転など）を計算することも支援し得る。進入地点が選択されると、システムは、（インプラントが骨内で既に見えている場合）実際の進入地点に基づいて骨内の新たな理想位置を計算し得る。次いで、システムは、骨片の実際の位置を考慮に入れて３Ｄ再構成を更新し得る。システムはまた、まだ埋め込まれていないサブインプラントの投影位置を計算し、表示し得る。例えば、髄頭釘の場合、ネックねじ／ブレードの投影位置が、大腿骨近位部の完全な３Ｄ再構成に基づいて計算され得る。
【0084】
フリーハンドのロック手順
例えば骨釘をロックするためのねじの埋め込みを考えるとき、２ＤのＸ線画像での地点及び埋め込み経路の前述の一般的な決定に基づいて、埋め込み経路とその地点との所定の関係について以下の条件が満たされ得る：関心ある構造がインプラントの穴であるとき、穴は所定の軸を有し、その地点は穴の中心に関連付けられ、埋め込み経路は穴の軸の方向を指し得る。穴は移動空間とみなされ得る。
例えば骨釘をロックするためのねじの埋め込みを考えるとき、２ＤのＸ線画像での地点及び埋め込み経路の前述の一般的な決定に基づいて、埋め込み経路とその地点との所定の関係について以下の条件が満たされ得る：関心ある構造がインプラントの穴であるとき、穴は所定の軸を有し、その地点は穴の中心に関連付けられ、埋め込み経路は穴の軸の方向を指し得る。穴は移動空間とみなされ得る。
【0085】
考えられる適用例として、インプラントの穴にねじを埋め込むことでインプラントをロックする、フリーハンドのロック手順の例示的なワークフローを説明する。一実施形態によれば、既に埋め込まれた釘への撮像方向がＸ線画像で決定され、これにより、埋め込み曲線が決定される。ここでは、埋め込み曲線は、それに沿ってねじが埋め込まれる直線（軸）である。既に埋め込まれた釘に対して（すなわち、釘によって与えられる座標系内で）骨表面の（少なくとも埋め込み曲線の近傍の）３Ｄ再構成が実行され得る。これは次のように進められる。少なくとも２つのＸ線画像が異なるビュー方向から取得される（例えば、１つはＡＰ又はＭＬ画像であり、１つは斜位角度から撮られた画像である）。Ｘ線画像は、例えば埋め込まれた釘を使用して、ニューラルネットによって分類及び位置合わせされ、骨の輪郭がすべての画像においておそらくニューラルネットによってセグメント化される。上記で概説した３Ｄ再構成手順に従って、骨表面の３Ｄ再構成が可能である。埋め込み曲線と骨表面の交点により、釘に対する進入地点の３Ｄ位置が決まる。Ｘ線画像のビュー方向を決定できるため、所与のＸ線画像での進入地点の位置を示すことも可能になる。
【0086】
釘に対する骨表面上の少なくとも１つの地点の既知の３Ｄ位置を組み込むことで、この手順の正確性を増加させることができる可能性がある。そのような知識は、本発明の手順を、ＥＰ１９２１７２４５で教示されたフリーハンドのロック手順と組み合わせることによって得られる可能性がある。考えられる手法は、ＥＰ１９２１７２４５を使用して第１のロック穴の進入地点を取得し、それを骨表面上の既知の地点にすることである。この既知の地点は、本発明では、骨の３Ｄ再構成と、その後の第２の及びさらなるロック穴の進入地点の決定に使用され得る。骨表面上の地点はまた、例えば、骨表面に触れるドリルの先端によって識別され得る。異なる撮像方向から撮られた１つよりも多いＸ線画像で地点が識別される場合、正確性が増加し得る。
【0087】
大腿骨に釘を埋め込むための進入地点の決定
大腿骨への釘の埋め込みを考えるとき、２ＤのＸ線画像での第１の地点及び埋め込み経路の前述の一般的な決定に基づいて、埋め込み経路と第１の地点との所定の関係について以下の条件のうちの少なくとも１つが満たされ得る：
関心ある構造が大腿骨頭であるとき、第１の地点は、大腿骨頭部の中心に関連付けられ、その結果、埋め込み経路の近位延長部、すなわち、Ｘ線画像での進入地点に対して近位に位置し得る。
関心ある構造が大腿骨頸部の狭い部分であるとき、第１の地点は、大腿骨頸部の狭い部分の断面の中心に関連付けられ、埋め込み経路の近位延長部は、前記狭い部分において大腿骨頸部の外面よりも第１の地点の方に近くなり得る。
関心ある構造が大腿骨骨幹部の狭い部分であるとき、第１の地点は、大腿骨骨幹部の近位端での狭い部分の断面の中心に関連付けられ、埋め込み経路は、前記狭い部分において大腿骨骨幹部の外面よりも第１の地点の方に近くなり得る。
関心ある構造が大腿骨骨幹部の最狭部であるとき、第１の地点は、最狭部の断面の中心に関連付けられ、第１の地点は埋め込み経路上に位置し得る。
大腿骨への釘の埋め込みを考えるとき、２ＤのＸ線画像での第１の地点及び埋め込み経路の前述の一般的な決定に基づいて、埋め込み経路と第１の地点との所定の関係について以下の条件のうちの少なくとも１つが満たされ得る：
関心ある構造が大腿骨頭であるとき、第１の地点は、大腿骨頭部の中心に関連付けられ、その結果、埋め込み経路の近位延長部、すなわち、Ｘ線画像での進入地点に対して近位に位置し得る。
関心ある構造が大腿骨頸部の狭い部分であるとき、第１の地点は、大腿骨頸部の狭い部分の断面の中心に関連付けられ、埋め込み経路の近位延長部は、前記狭い部分において大腿骨頸部の外面よりも第１の地点の方に近くなり得る。
関心ある構造が大腿骨骨幹部の狭い部分であるとき、第１の地点は、大腿骨骨幹部の近位端での狭い部分の断面の中心に関連付けられ、埋め込み経路は、前記狭い部分において大腿骨骨幹部の外面よりも第１の地点の方に近くなり得る。
関心ある構造が大腿骨骨幹部の最狭部であるとき、第１の地点は、最狭部の断面の中心に関連付けられ、第１の地点は埋め込み経路上に位置し得る。
【0088】
いくつかの実施形態では、関心ある構造がＸ線画像で十分に見える必要はない。Ｘ線画像で関心ある構造の２０パーセント～８０パーセントだけが見えれば十分な場合がある。特定の関心ある構造に応じて、すなわち、関心ある構造が大腿骨頭部、大腿骨頸部、大腿骨骨幹部、又は別の解剖学的構造であるかどうかに応じて、構造の少なくとも３０～４０パーセントは見えていなければならない。結果として、例えば、大腿骨頭部の中心自体がＸ線画像で見えなくても、すなわち、撮像領域外にあり、大腿骨頭部の２０パーセント～３０パーセントだけが見える場合でも、大腿骨頭部の中心を識別できる可能性がある。大腿骨骨幹部の最狭部についても、最狭部が撮像領域外にあり、大腿骨骨幹部の３０～５０パーセントだけが見える場合でも、同じことが可能である。
【0089】
画像での関心ある地点を検出するために、各ピクセルが潜在的な主要な地点であるかどうかを分類するニューラルセグメンテーションネットワークが使用され得る。ニューラルセグメンテーションネットワークは、中心が真の主要な地点に位置する２Ｄガウスヒートマップでトレーニングすることができる。ガウスヒートマップは回転不変である場合がある、又は、特定の方向の不確実性が許容できる場合は、ガウスヒートマップは方向性をもつ場合もある。画像自体の外側にある関心ある地点を検出するために、１つの可能な手法は、外挿を可能にするべく、画像自体に含まれるすべての情報を使用して、元の画像の外側にあるさらなるピクセルをセグメント化することであり得る。
【0090】
大腿骨に髄内釘又は髄頭釘を埋め込むための進入地点の決定の例示的なワークフローを提示する。一実施形態によれば、最初に、埋め込み曲線の投影がＸ線画像に対して決定される。この実施形態では、埋め込み曲線は直線（すなわち、埋め込み軸）で近似される。第１のステップとして、現在のＸ線画像が埋め込み軸を決定するのに必要な要件を満たしているかどうかがチェックされ得る。これらの要件は、画質、解剖学的構造の特定の領域の十分な可視性、及び解剖学的構造への少なくとも概ね適切な視野角（ＭＬ）を含み得る。さらに、要件は、上記の条件が満たされているかどうかを含み得る。これらの要件は、おそらくニューラルネットワークを利用した、画像処理アルゴリズムによってチェックされ得る。さらに、適用可能な場合、骨片の相対位置が決定され、それらの所望の位置と比較され、それに基づいて、これらの骨片が十分に上手く配置されている（すなわち、解剖学的整復が十分に上手く行われている）かどうかが判定され得る。
【0091】
より詳細には、上記の条件は、以下のように説明される。埋め込み軸は、少なくとも２つの解剖学的ランドマーク（例えば、これらは大腿骨頭部の中心と大腿骨骨幹部の最狭部であり得る）に関連付けられた１つの地点及び方向によって決定される。前述のように、ランドマークは、Ｘ線画像で見えていなくても、ニューラルネットワークによって決定され得る。提案された埋め込み軸からＸ線で見える骨の輪郭上の種々のランドマークまでの距離を決定することによって、提案された埋め込み軸が、許容可能かどうかがチェックされ得る。例えば、提案された埋め込み軸は、大腿骨頸部の最狭部の中心近くを通る必要がある、すなわち、骨表面に近づきすぎないようにする必要がある。骨釘のボリュームに対応する移動空間を埋め込み軸に沿って延びるものとして考えると、骨表面との衝突は生じないはずである。このような条件では、適切な撮像方向からＸ線画像を取得できない可能性があり、異なる撮像方向から別のＸ線画像を取得する必要がある。異なるビュー方向からの別のＸ線画像での埋め込み曲線を決定することで、異なる埋め込み軸が得られ、したがって、異なる進入地点が得られる。本発明はまた、適切な方向からＸ線画像を取得するために撮像デバイスをどのようにして調整するかを教示する。両方の埋め込み軸が移動空間内に位置し得ることに留意されたい。
【0092】
インプラントは湾曲を有する場合があり、これは、直線の埋め込み軸が、挿入されたインプラントの投影を近似するだけである可能性があることを意味することに留意されたい。代わりに、本発明はまた、インプラントの３Ｄモデルに基づいて、インプラントの２Ｄ投影にさらに密接に従う埋め込み曲線を決定し得る。そのような手法は、２つ以上の解剖学的ランドマークに関連付けられた複数の地点を使用して、埋め込み曲線、したがって、移動空間を決定し得る。
【0093】
埋め込み軸の投影により、３Ｄ空間での埋め込み平面が決定される（又は、より一般的には、埋め込み曲線の投影により、３Ｄ空間での２次元多様体が決定される）。進入地点は、この埋め込み平面が、進入地点を含むことがわかっている、線で近似され得る別の骨構造と交わることで得られる。大腿骨の場合、このような骨構造は転子周辺部であり、これは線で上手く近似されるほど狭く真っ直ぐであり、その上に進入地点があると想定される。インプラントに応じて、梨状窩上などの、進入地点の他の位置が可能であり得ることに留意されたい。
【0094】
転子周辺部は、側面Ｘ線画像で検出可能な場合がある。代替的に又は加えて、画像で識別可能な別の地点（例えば、描写されているｋワイヤ又はその他の開口ツールの先端）を使用することができ、その場合、進入地点に対するその位置についての何らかの事前情報がわかっている。大腿骨の場合、ｋワイヤの先端が転子周辺部上にあることがわかっている場合がその一例であり、これは触診によってわかる、及び／又は以前に取得した異なる視野角（例えば、ＡＰ）からのＸ線画像がｋワイヤの先端の位置を少なくとも１つの次元又は自由度に制約するためである。
【0095】
進入地点に対するｋワイヤの（又はいくつかの他の開口器具の）先端についてのそのような事前情報を利用する少なくとも３つの方法が存在し得る。もっとも簡単な方法は、埋め込み軸の投影上へのｋワイヤの先端の直交投影を用いることであり得る。この場合、ＭＬ画像での情報に基づいてｋワイヤの先端を再配置した後に、もしかすると再配置後に新たなＭＬ画像を取得した後に、異なる角度（例えば、ＡＰ）から取得した後続のＸ線画像でｋワイヤの先端が依然として所望の構造（転子周辺部）上にあるかどうかをチェックする必要がある場合がある。別の可能な方法は、（ＭＬ画像で識別可能ではない場合がある）構造の投影と、解剖学的事前情報に基づく埋め込み軸の投影との間の角度を推定し、この推定した角度で埋め込み軸の投影上にｋワイヤの先端を斜めに投影することであり得る。最後に、第３の可能な方法は、ＡＰ画像及びＭＬ画像の位置合わせされたペアを使用して、ｋワイヤの先端及びＡＰ画像の焦点を投影された埋め込み軸に結ぶことで定義される投影されたエピポーラ線の交点をＭＬ画像で計算することであり得る。進入地点が得られると、３Ｄ空間での埋め込み軸も決定される。
【0096】
代替的に、大腿骨近位部の部分的な３Ｄ再構成を実行することによって、埋め込み平面との交点が進入地点を決定する、骨構造（ここでは転子周辺部）を見つけることもできる。一実施形態によれば、この３Ｄ再構成は、そのうちの少なくとも２つがｋワイヤを含む異なるビュー方向からの２つ以上のＸ線画像に基づいて、次のように進められる。大腿骨の特徴的な骨の縁（少なくとも骨の輪郭を含む）がすべてのＸ線画像で検出される。さらに、すべてのＸ線画像で、大腿骨頭が見つけられ、円で近似され、ｋワイヤの先端が検出される。ここで、特徴的な骨の縁、近似された大腿骨頭、ｋワイヤの先端、及び制約されたＣアームの移動に基づいて、上記の手法を使用して画像が位置合わせされ得る。画像の位置合わせ後に、少なくとも転子領域を含む３Ｄ表面が再構成され得る。骨表面からｋワイヤの先端までの距離についての事前情報（例えば、ＡＰ画像からわかる場合がある）を利用することで、３Ｄ再構成の正確性が増加し得る。この手順の様々な代替案が可能であり、実施形態の詳細な説明で説明される。
【0097】
上記の手法では、２ＤのＸ線画像で埋め込み曲線が決定され、次いで、進入地点を得るための様々な代替案が説明される。代替的に、全体の手順（すなわち、埋め込み曲線と進入地点の決定）が、十分な骨幹部分を含む大腿骨近位部（又は逆行性釘を使用する場合は大腿骨遠位部）の３Ｄ再構成に基づいていてもよい。このような３Ｄ再構成はまた、前述の方法を使用して位置合わせされている複数のＸ線画像に基づいていてもよい。例えば、位置合わせは、大腿骨頭のボールでの近似と、骨幹部の円筒又は平均骨幹部形状での近似を使用し得る。代替的に、共同の最適化及び位置合わせの決定及び骨の再構成（表面及び場合によっては髄管及び内部皮質などの内部構造も含み得る）が実行され得る。大腿骨の関連する部分の３Ｄ再構成が得られると、インプラント表面と骨表面との間の距離を最適化することによって３Ｄ埋め込み曲線があてはめられ得る。３Ｄ埋め込み曲線と既に決定された３Ｄ骨表面との交点が進入地点になる。
【0098】
２ＤのＸ線画像に対する埋め込み曲線の位置及び姿勢が第１の地点に基づいて決定され、埋め込み曲線は、骨の表面までの第１の距離を有する骨内の第１の区域と、骨の表面までの第２の距離を有する骨内の第２の区域を含み、第１の距離は第２の距離よりも小さく、第１の地点は、骨の第１の識別可能な構造上にあり、埋め込み軸の第１の区域までの或る距離にある。骨の識別可能な構造上にあり、埋め込み曲線の第２の区域までの或る距離にある、第２の地点が使用され得る。さらに、埋め込み曲線の位置及び姿勢はさらに、少なくとも１つのさらなる地点に基づいて決定され、少なくとも１つのさらなる地点は、骨の第２の識別可能な構造上にあり、且つ、埋め込み曲線上にある。移動空間は、埋め込み曲線によって定義され得る。
【0099】
脛骨に釘を埋め込むための進入地点の決定
上記の「３Ｄ表現／再構成の計算」の段落で説明したように、共同の位置合わせ及び３Ｄ再構成に基づいて、脛骨に髄内釘を埋め込むための進入地点が決定され得る。
上記の「３Ｄ表現／再構成の計算」の段落で説明したように、共同の位置合わせ及び３Ｄ再構成に基づいて、脛骨に髄内釘を埋め込むための進入地点が決定され得る。
【0100】
一実施形態によれば、ユーザが開口器具（例えば、ドリル又はｋワイヤ）を脛骨の近位部の任意の地点であるが理想的にはありうる進入地点の近傍の表面に配置することを要求することで、正確性を増加させ、曖昧さを解決することが提案される。ユーザは、脛骨の近位部の側面画像及び少なくとも１つのＡＰ画像を取得する。脛骨の３Ｄ再構成は、開口器具の先端が画像間で移動しないという事実を考慮に入れて、すべてのＸ線画像の投影に脛骨の統計モデルを共同であてはめることによって計算され得る。ユーザが、異なる（例えば概ねＡＰ）撮像方向から２つ以上の画像、もしかすると別の（例えば、側面）画像も取得することを要求することで、正確性がさらに増加し得る。過剰決定により、開口器具の先端の可能な移動を検出すること及び／又は開口器具の先端の検出を検証することができるようになる。
【0101】
脛骨の３Ｄ再構成に基づいて、システムは、例えば、あてはめられた統計モデルの平均形状上の進入地点を識別することによって、進入地点を決定し得る。撮像のみに基づいて（すなわち、触診なしに）順行性脛骨釘の進入地点を見つけるためのそのようなガイダンスは、一般に好ましいが慣習的に進入地点での骨の触診が不可能であるという欠点を有する膝蓋骨上アプローチを外科医が実行することを可能にし得ることに留意されたい。
【0102】
上腕骨に釘を埋め込むための進入地点の決定
上記で提案された画像位置合わせ及び再構成技術のさらなる適用例は、上腕骨に髄内釘を埋め込むための進入地点の決定であり得る。
上記で提案された画像位置合わせ及び再構成技術のさらなる適用例は、上腕骨に髄内釘を埋め込むための進入地点の決定であり得る。
【0103】
一般に、前述の目的を達成するべくＸ線画像に基づく上腕骨手術を支援するために、Ｘ線画像を処理するための処理ユニットを含むシステムが使用され得る。ソフトウェアプログラム製品が、処理ユニット上で実行されると、システムに以下のステップを含む方法を実行させることができる。最初に、第１の撮像方向で生成され、上腕骨の近位部を示している、第１のＸ線画像が受信され、第２の撮像方向で生成され、上腕骨の近位部を示している、第２のＸ線画像が受信される。これらの画像は、上腕骨幹部の近位部、並びに、関節面のある上腕骨頭、さらには関節窩、すなわち、肩の相補的な関節構造を含み得る。第２の撮像方向は、通常は、第１の撮像方向とは異なることに留意されたい。次いで、（ｉ）第１のＸ線画像及び第２のＸ線画像が位置合わせされ、（ｉｉ）両方の画像での上腕骨頭の２Ｄ輪郭の少なくとも一部の近似が決定され、（ｉｉｉ）近似された２Ｄ輪郭と、第１の画像と第２の画像の位置合わせに基づいて、上腕骨頭の３Ｄ近似が決定され、（ｉｖ）第１のＸ線画像と第２のＸ線画像での合計で少なくとも３つの異なる地点の２Ｄ画像座標が決定される。最後に、少なくとも３つの決定された地点に基づいて、上腕骨頭の３Ｄ近似上の曲線として解剖頸の近似が決定される。少なくとも３つの決定された地点が、決定された曲線上にある必要はないことに留意されたい。最初の３つの地点と同一平面内に存在しない解剖頸のさらなる地点を決定することができる場合、解剖頸のさらに正確な近似が決定され得る。これにより、解剖頸、したがって、肩関節軸の周りの上腕骨頭の回転位置を決定できるようになる。関節軸の周りの回転位置を決定する別の方法は、少なくとも２つのうちの１つが近位骨片に対して固定の位置にある場合に、大結節及び／又は小結節の位置を検出することであり得る。別の代替案は、術前に取得した３Ｄ情報（例えば、ＣＴスキャン）を使用して、術中Ｘ線画像に基づいて近位骨片の３Ｄ再構成を生成することであり得る。この方法は、前述の方法と組み合わせることができる。
【0104】
一実施形態によれば、上腕骨頭の２Ｄ輪郭の少なくとも一部の近似は、２Ｄ円又は２Ｄ楕円であり得る。さらに、上腕骨頭の３Ｄ近似は、３Ｄボール又は３Ｄ楕円であり得る。解剖頸の近似は、３Ｄ空間では円又は楕円であり得る。
【0105】
一実施形態によれば、さらなるＸ線画像が受信され、第１のＸ線画像、第２のＸ線画像、及びさらなるＸ線画像からなる群のうちの少なくとも２つのＸ線画像での上腕骨骨幹部軸の近似が決定され得る。少なくとも２つのＸ線画像での近似された上腕骨骨幹部軸と、第１のＸ線画像と第２のＸ線画像の位置合わせに基づいて、上腕骨の３Ｄ骨幹部軸の近似が決定され得る。
【0106】
次いで、開示される方法の一実施形態によれば、近似された解剖頸及び近似された３Ｄ骨幹部軸及び／又は近似された上腕骨関節の関節窩に基づいて、骨折した上腕骨の近位骨片の進入地点及び／又は転位が決定され得る。その結果、進入地点と骨頭の転位に基づいて、近位骨片における埋め込み曲線が決定され得る。さらに、近位骨片を再配置するための情報が提供され得る。
【0107】
一実施形態によれば、少なくとも２つのＸ線画像が位置合わせされ、これらの２つのＸ線画像は、第１のＸ線画像、第２のＸ線画像、及びさらなるＸ線画像のうちの２つであり得る。Ｘ線画像は、上腕骨頭のモデルに基づいて、且つ上腕骨頭に対して固定の３Ｄ位置を有する１つのさらなる地点に基づいて位置合わせされ得、その地点は、少なくとも２つのＸ線画像で識別及び検出される。１つのさらなる地点は、器具の先端であり、上腕骨頭の関節面上にあり得る。この場合、その地点と上腕骨頭部の中心との間の距離が、ボールで近似した上腕骨頭の半径に等しいという事実を利用して、Ｘ線画像の位置合わせの正確性を高めることができる。
【0108】
以下では、本開示に係る方法の態様をより詳細に説明する。肩関節に位置する上腕骨頭はボール（球）で近似され得る。以下では、特に明記しない限り、上腕骨はこのようなボールで近似され、これは、Ｘ線画像での上腕骨の投影を円で近似することを意味するものと理解される。したがって、「中心」及び「半径」は常にそのような近似のボール又は円を指す。例えば楕円による、上腕骨頭の他の単純な幾何学的近似を使用することも可能であることにも留意されたい。その場合、解剖頸は楕円で近似されることになる。
【0109】
以下、進入地点の決定のための例示的なワークフローを説明する。上腕骨の進入地点を決定する際の複雑な問題は、上腕骨釘で治療される骨折が手術頸に沿って頻繁に発生し、したがって、上腕骨頭がずれることである。適正な整復では、上腕骨頭部の中心が上腕骨骨幹部軸の近くになるはずである。一実施形態によれば、これは、上腕骨近位部を描写しているアキシャルＸ線画像で検証され得る。上腕骨頭部の中心が骨幹部軸に十分近くない場合、ユーザは、関節軸の周りの上腕骨頭の回転（検出可能ではない場合がある）を修正するために、腕の遠位方向に牽引力を加えることをアドバイスされる。次いで、骨頭部の中心からおよそ２０％内側（上記の典型的なアキシャルＸ線画像においてを意味する）の骨幹部軸上の近似進入地点が提案される。次いで、ユーザは、この提案された進入地点に開口器具（例えば、ｋワイヤ）を配置する必要がある。代替的に、前述のように位置合わせの正確性を高めるために、システムは、器具の先端が確実に上腕骨頭の球状部分にあるようにするために、開口器具を意図的にありうる進入地点の内側（アキシャルＸ線画像に描写されている大腿骨頭部の中心よりも３０～８０パーセント上を意味する）に配置することをユーザに要求する。システムは、新しいアキシャルＸ線画像で上腕骨頭とこの器具の先端を（例えば、ニューラルネットワークを使用することによって）検出し得る。
【0110】
次いで、ユーザは、或るＣアームの移動（例えば、Ｃ軸の周りの回転及びさらなる平行移動）のみを可能にし、器具の先端を定位置にとどめて（器具の傾きは変化が可能である）、ＡＰ画像を取得するように指示される。上腕骨頭と器具の先端が再び検出される。次いで、上腕骨頭を近似するボールと器具の先端に基づく「２つ以上のＸ線画像の３Ｄ位置合わせ」の段落で前述したように、アキシャル画像及びＡＰ画像が位置合わせされ得る。
【0111】
肩関節の関節面を区切る曲線は、解剖頸（解剖頚）と呼ばれる。解剖頸は、上腕骨の球状部分を区切っているが、通常は外科医がＸ線で識別することは不可能である。これは、上腕骨頭を近似するボールと平面が交わることで得られる、３Ｄ空間での２Ｄ円で近似することができ、この平面は上腕骨の骨幹部軸に対して傾斜している。球状の関節面は、上向き（外反）且つ背側（患者の腕が肩から下方にだらりと垂れ下がり、胸と平行になっている状態）に配向される。この交差面を定義するには３つの地点で十分である。アキシャルＸ線とＡＰ Ｘ線は、それぞれ、解剖頸上の２つの地点、すなわち上腕骨の球状部分を画定する円弧の始点及び終点の決定を可能にし得る。したがって、これは過剰決定問題であり、２つのＸ線画像に基づいて４つの地点が決定され得るが、交差面を定義するために３つの地点のみが必要である。さらなるＸ線画像が使用される場合、問題はさらに過剰決定となり得る。この過剰決定は、交差面のより正確な計算を可能にし得るか、又は例えば、ある地点が閉塞されているためにそれを決定することができない状況の処理を可能にし得る。
【0112】
決定された平面が上腕骨頭を近似するボールと交わることで解剖頸の近似を決定するとき、様々な修正が可能であることに留意されたい。例えば、交差面は、上腕骨頭上の解剖頸のより正確な位置を考慮に入れるために横方向にシフトされ得る。代替的に又は加えて、解剖頸を近似する円の半径が調整され得る。上腕骨頭を近似する及び／又は解剖頸を近似するためにより多くの自由度をもつ幾何学的モデルを使用することも可能である。
【0113】
進入地点は、３Ｄ空間で骨幹部軸と骨表面の交点に最も近い解剖頸上の地点としてもよく、又はその地点から内側方向にユーザにより定義された距離に位置していてもよい。このようにして決定された解剖頸と進入地点は、現在のＸ線画像にオーバーレイとして表示され得る。この進入地点がＸ線画像での骨頭を近似する円に非常に近い場合、ｚ座標に大きな不正確さが生じる可能性がある。このような状況を緩和するために、提案された進入地点がＸ線画像で骨頭のさらに内側の方に移動するようにＣアームを回転させる指示が与えられ得る。進入地点が近似円の近くにある場合、機械的制約によりＸ線画像を取得することが難しい場合があるので、これはいずれにしても有利である可能性がある。言い換えれば、アキシャル画像とＡＰ画像との間でのＣアームの回転は、例えば６０度であってもよく、これは９０度回転よりも外科ワークフローで達成するのがより容易である可能性がある。
【0114】
このワークフローのさらなる詳細、随意的な実装、及び拡張が、以下の実施形態の詳細な説明で説明される。
【0115】
オブジェクトのほぼリアルタイムの継続的な３Ｄ位置合わせを可能にするさらなる方法
本開示は、さらなる情報なしには撮像方向を決定できないような幾何学的形状のオブジェクト（例えば、小直径のドリル又はインプラント）の撮像方向を決定し、釘、骨、又はこれらの組み合わせなどの別のオブジェクトに対するそのようなオブジェクトの３Ｄ位置及び３Ｄ姿勢を決定すること（すなわち、これらのオブジェクトの３Ｄ位置合わせを提供すること）を可能にする２つのさらなる方法を教示する。第１の方法はオブジェクト（例えば、ドリル）の２Ｄ－３Ｄマッチングを必要とせず、２つのＸ線画像でこのオブジェクトの地点（例えば、ドリルの先端）を検出するだけで十分な場合がある。例えば、ドリルの２Ｄ－３Ｄマッチングは、Ｘ線画像を取得する前にドリルを停止してスリーブを引き戻す必要がある場合があり、これは面倒で間違いを起こしやすいため、これは、ドリリングの間に軟組織保護スリーブを使用する場合は利点となる可能性がある。正確な２Ｄ－３Ｄマッチングのためには、ドリルが既に骨に入っている場合でも、そうしないとＸ線画像でドリルビットが十分に見えなくなる可能性があるため、この引き戻しが必要になる場合がある。提示した方法は、ドリルビットが回転していてもよく、Ｘ線画像の取得のためにスリーブを引き戻す必要がないため、有利である可能性がある。
本開示は、さらなる情報なしには撮像方向を決定できないような幾何学的形状のオブジェクト（例えば、小直径のドリル又はインプラント）の撮像方向を決定し、釘、骨、又はこれらの組み合わせなどの別のオブジェクトに対するそのようなオブジェクトの３Ｄ位置及び３Ｄ姿勢を決定すること（すなわち、これらのオブジェクトの３Ｄ位置合わせを提供すること）を可能にする２つのさらなる方法を教示する。第１の方法はオブジェクト（例えば、ドリル）の２Ｄ－３Ｄマッチングを必要とせず、２つのＸ線画像でこのオブジェクトの地点（例えば、ドリルの先端）を検出するだけで十分な場合がある。例えば、ドリルの２Ｄ－３Ｄマッチングは、Ｘ線画像を取得する前にドリルを停止してスリーブを引き戻す必要がある場合があり、これは面倒で間違いを起こしやすいため、これは、ドリリングの間に軟組織保護スリーブを使用する場合は利点となる可能性がある。正確な２Ｄ－３Ｄマッチングのためには、ドリルが既に骨に入っている場合でも、そうしないとＸ線画像でドリルビットが十分に見えなくなる可能性があるため、この引き戻しが必要になる場合がある。提示した方法は、ドリルビットが回転していてもよく、Ｘ線画像の取得のためにスリーブを引き戻す必要がないため、有利である可能性がある。
【0116】
ここで提示される第２の方法は、（Ｃアーム位置を変更することが禁止されていないにもかかわらず）Ｃアームの回転又は再調整を必要としない。例えば、ドリリングのシナリオでは、これは、ドリリングプロセス中の任意の時点で、外科医にほぼリアルタイム（ＮＲＴ）でフィードバックしながら、実際のドリル軌道を継続的に検証し、これをＸ線画像に基づいて移動空間と比較することを可能にし得る。
【0117】
第１の方法では、例えば、異なるビュー方向から２つのＸ線画像を（これらの２つの画像の取得間でドリルの先端を移動させることなく）取得し、両方のＸ線画像でドリルの先端を検出し、本明細書で上記に提示した手順の１つに基づいてそれらを位置合わせし、次いで、それぞれのドリルの先端位置を通るエピポーラ線を結ぶ最短線の中点を計算することによって、他のオブジェクト（例えば仙骨）に対するオブジェクト（例えばドリルの先端）の識別可能な地点の３Ｄ位置が決定され得る。オブジェクトの軸が、他のオブジェクト（例えば、仙骨）に対する３Ｄ座標が既知の特定の地点を含むことがわかっている（例えば、ドリル軸が骨表面上の進入地点、すなわち、ドリリングの開始時のドリルの先端の位置を通る）場合に、オブジェクト（例えばドリル）の相対３Ｄ姿勢が決定され得る。オブジェクトの相対３Ｄ姿勢を計算するとき、ドリルの潜在的な曲がりとそれぞれの領域におけるＸ線画像の歪みが考慮に入れられ得る。
【0118】
第２の方法は、オブジェクトの座標系で既知の軸（例えばドリル軸）が、他のオブジェクト（例えば仙骨）に対する３Ｄ座標が既知の地点（例えば進入地点、すなわち、ドリリングの開始点）を通るという事前情報を組み込むことで、オブジェクト（例えばドリル）のｚ座標についての曖昧さを排除する。また、そのような軌道の計算において、ドリルの潜在的な曲がりとそれぞれの領域におけるＸ線画像の歪みが考慮に入れられ得る。
【0119】
第１の方法と第２の方法で異なる結果が得られる場合、これは、不正確な位置合わせを示す、解剖学的構造の不正確なマッチに起因する可能性がある。これは次に、両方の画像でオブジェクトをマッチさせることによって検証され得る。マッチが適正であると思われる場合、解剖学的構造のマッチング、したがって、画像位置合わせが適正であるとみなすことができ、その場合、機械的な問題が想定される。例えば、骨にドリリングする進入地点が、もはやドリル軌道上になく、参照点としては破棄される必要がある。次いで、現在決定された地点（例えば、ドリルの先端によって決定される）が、ドリリングを継続するための新たな参照点として用いられ得る。
【0120】
実際のドリル軌道が移動空間とマッチしない場合（すなわち、遠位ロックの場合、ドリルが現在の経路を継続すると釘のロック穴を逃すことになる）、システムは、ドリルビットが回転している状態で、指定された角度だけ電動工具を傾けるようにユーザに指示を与え得る。そうすることで、ドリルビットは海綿骨を横方向に削り、したがって、適正な軌道に戻る。これにより骨への進入ホールが拡大し、したがって、元の進入地点の位置が移動する可能性があるため、このような修正は、この追加の不確実性を考慮に入れる必要がある。
【0121】
この方法により、プレートの穴と釘の穴との間にねじ接続を有する、プレートと釘の組み合わせで構成されるインプラントにも対応できるようになる。そのようなインプラントタイプについてのＮＲＴガイダンスは次のように進められる。関連する解剖学的構造の３Ｄ再構成に基づいて、プレート位置の良好さ（例えば、表面のフィット）と釘位置の良好さ（例えば、狭いスポットでの骨表面からの十分な距離）をトレードオフして、組み合わされたインプラントの理想位置が計算され得る。計算された位置に基づいて、骨に釘が入るための進入地点が計算され得る。釘の挿入後に、釘の軸の現在の位置に基づいて、組み合わされたインプラントの理想位置が再計算され得る。システムは、釘及び適用可能な場合はサブインプラント（例えばねじ）の最終位置と、同時に、プレート（釘に多かれ少なかれしっかりと接続される）の投影された最終位置が最適化されるように釘を回転させる及び平行移動するべく外科医にガイダンスを提供し得る。釘の最終位置に到達した後、システムは、Ｘ線でのプレート（まだ最終目的位置に到達していない）への撮像方向を決定し、既に挿入された釘によって課される制約を考慮に入れることによって、プレートの位置決めのサポートを提供し得る。次に、プレートの穴を通るドリリングが実行され得る。ドリリングは釘穴にもヒットする必要があり、異なる開始点からの再ドリリングは不可能なため、誤ったドリリングは容易に修正できない場合があるので、このドリリングは重要なステップである。プレートが（釘を通らないねじを使用して）既に固定されている場合、ドリリングの開始点、したがって、進入地点も固定されている。このような場合、ドリル角度の検証及び修正は、必要に応じて複数回行うことが可能である。
【0122】
プレートの穴が特定の角度のドリリングのみを可能にする場合、釘の実際の位置に基づいてプレートを配置することが決定的になり得る。そのような場合、さらなる調整の余地はなく、システムは、現在の釘の位置に基づいてプレートを配置するためのガイダンスを提供し得る。これにより、単にプレートを釘と位置合わせすることに基づいて、ドリリング中のドリル軌道を導出できるようになり、これにより、Ｘ線でドリルのごく一部しか見えなくても（ドリルの先端は依然として必要な場合がある）ドリルの位置を決定できるようになる。
【0123】
提案されるシステムは、外科医にほぼリアルタイムで継続的にガイダンスを提供し得る。位置合わせが十分に速ければ、Ｃアームからの連続ビデオストリームも評価でき、外科医に準連続ナビゲーションガイダンスが提供される。現在のＸ線画像でのオブジェクトの相対３Ｄ位置及び姿勢を計算し、それらを所望の座標と比較することで、どのようにして所望の座標を達成するかの指示が外科医に与えられ得る。必要な調整又は移動は、外科医がフリーハンドで行うことができ、又は機械的に及び／又はセンサで外科医をサポートすることができる。例えば、ドリルの角度の調整をサポートするために、電動工具に加速度センサを取り付けることも可能である。別の可能性は、計算された必要な調整に従ってオブジェクトのうちの１つ以上を配置することができるロボットを使用することである。システムのＮＲＴフィードバックに基づいて、調整は、任意の時点で再計算され、必要に応じて修正され得る。
【0124】
オブジェクトへの撮像方向を決定できない状況に対処する本明細書で開示されるすべての手順は、もちろんオブジェクトへの撮像方向を決定できる状況にも適用可能であることが強調される。撮像方向についての知識から得られたさらなる情報は、正確性及び精度を高めるために用いることができる。
【0125】
整復のサポート
本発明の別の目的は、骨片の解剖学的に適正な整復をサポートすることであり得る。通常、外科医は、骨折した骨片をできるだけ自然な相対配置で元の位置に戻そうとする。結果の改善のためには、固定のためのインプラントの挿入前又は挿入後に、このような整復が解剖学的に適正であるかどうかをチェックすることが重要な場合がある。
本発明の別の目的は、骨片の解剖学的に適正な整復をサポートすることであり得る。通常、外科医は、骨折した骨片をできるだけ自然な相対配置で元の位置に戻そうとする。結果の改善のためには、固定のためのインプラントの挿入前又は挿入後に、このような整復が解剖学的に適正であるかどうかをチェックすることが重要な場合がある。
【0126】
整復は、関心ある骨の３Ｄ再構成を計算することによってサポートされ得る。このような３Ｄ再構成は、骨全体を完全に再構成する必要はなく、あらゆる態様において正確である必要はない。特定の測度のみを抽出する場合、３Ｄ再構成は、この測度の十分に正確な決定を可能にするのに十分なだけ正確である必要がある。例えば、大腿骨の前傾角（ＡＶ）を決定する場合、顆部領域と頸部領域で十分に正確な大腿骨の３Ｄ再構成があれば十分な場合がある。関心ある測度の他の例は、脚の長さ、脚の変形の程度、湾曲（大腿骨の前弯など）、或いは髄内釘の挿入前又は挿入後に大腿骨の近位骨片の内反回転が発生することが多いため頭－頸－骨幹（ＣＣＤ）角度を含み得る。関心ある測度が決定されると、これは、適切なインプラントを選択するために用いることができ、又はデータベースから導出され得る又は患者固有であり得る所望の値と（例えば、手術対象の脚ともう一方の健康な脚を比較することによって）比較することができる。所望の値、例えば、所望の前傾角をどのようにして達成するかの指示が外科医に与えられ得る。
【0127】
利用可能なＸ線画像から特定の測度を自動的に計算することによって手術の全体を通して特定の測度を監視し、測度が所望の値から大きく外れた場合に、もしかすると外科医に警告する又はロボットの適切なアクションをトリガすることも興味深いかもしれない。
【0128】
場合によっては、特に（例えば、ＬＵ１００９０７Ｂ１に基づいて又は本明細書で説明されるように）ビュー方向を決定することができる場合、単一のＸ線画像からでも３Ｄ再構成が可能である。しかしながら、一般に、異なるビュー方向から撮られた及び／又は骨の異なる部分を描写している２つ以上のＸ線画像は、３Ｄ再構成の正確性を増加させ得る（上記の段落「３Ｄ表現／再構成の計算」参照）。Ｘ線画像で見えない又は部分的にしか見えない骨の部分であっても、骨折に起因して見えない部分が、見える部分に対して変位していなければ、又はそのような変位がある場合でも、転位パラメータが既にわかっている又は他の方法で決定できる場合は、３Ｄ再構成を計算することができる。例えば、大腿骨の統計的３Ｄモデルに基づいて、大腿骨頭の大部分が見えないＭＬ画像とＡＰ画像のペアから大腿骨頭を十分に正確に再構成することができる。別の例として、大腿骨骨幹部が骨折していなければ、大腿骨の遠位部を、２つの近位Ｘ線画像に基づいて再構成することができる。もちろん、遠位部を示すさらなるＸ線画像も入手可能であれば、遠位部の再構成の正確性が増加する可能性がある。
【0129】
２つ以上のＸ線画像に基づく骨の３Ｄ再構成では、上記の段落「２つ以上のＸ線画像の３Ｄ位置合わせ」で説明した手法の１つに従って、もし３Ｄ再構成を計算する前にこれらのＸ線画像を位置合わせすることができれば、正確性がさらに増加し得る。骨の異なる部分を示す２つ以上のＸ線画像（例えば、２つのＸ線画像は大腿骨の近位部を示し、１つのＸ線画像はこの大腿骨の遠位部を示す）に基づいて骨の３Ｄ再構成を計算する場合、各骨部分について少なくとも１つのＸ線画像で見える既知の３Ｄモデル（例えば、既に埋め込まれた釘）をもつオブジェクトに基づいて、及び／又はこれらのＸ線画像の取得間の許容されるＣアームの移動を制約することによって、異なる部分を描写しているＸ線画像の３Ｄ位置合わせが可能であり得る。
【0130】
ＡＶ角度は、患者に開口を形成する前又は開口を形成した後に、インプラントがまだ挿入されていないときに決定する必要がある（例えば、転子貫通骨折の整復の際に背側の隙間を検出するため）。このような場合、大腿骨近位部の２つ以上の画像（例えば、ＡＰ及びＭＬ）の位置合わせは、上記の段落「２つ以上のＸ線画像の３Ｄ位置合わせ」の方針に沿って次のように進められる。釘を挿入するための進入地点を決定するとき、ｋワイヤなどの開口器具（直径が既知である）をありうる進入地点に配置する、したがって、Ｘ線画像で検出することができる。その先端の位置と検出された大腿骨頭に基づいて、画像を位置合わせすることができる。Ｘ線画像でｋワイヤなどのさらなるオブジェクトが見えない場合、画像間でＣアームの特定の移動を要求することで、画像の位置合わせを依然として実行することができる。例えば、システムは、ＣアームのＣ軸を中心に７５度回転する必要がある場合がある。この回転が十分な正確性で実行されれば、画像の位置合わせも十分な正確性で可能になる。骨の重なり合わない部分（例えば、大腿骨の遠位部と近位部）は、一実施形態で説明されるように、許容されるＣアームの移動を平行移動のみに制約することによって位置合わせすることができる。
【0131】
ＡＶ角度を決定するために３Ｄ再構成は必須ではないことに留意されたい。例えば頸部軸の近傍の、１つのさらなる地点を決定することにより、２Ｄ手法に基づいてＡＶ角度を決定するのに十分な情報が得られる可能性がある。上記の方法を使用することにより、Ｘ線画像で検出された２Ｄ構造（例えば、大腿骨の近位部及び遠位部内の構造）の位置合わせを行うことができる。
【0132】
他の場合には、例えば、骨の適正な回転角を決定するときに、隣接する骨又は骨構造を考慮に入れることが有益な場合がある。例えば、脛骨骨折の場合、その近位部の姿勢の評価では、大腿骨、膝蓋骨、及び／又は腓骨の顆を考慮する場合がある。その遠位部の回転位置の評価にも同様のコメントが当てはまる。脛骨と腓骨又は他の骨構造との相対位置（例えば、足の関節の重なり合う縁）は、脛骨遠位部へのビュー方向を明確に示し得る。これらのすべての評価は、考慮される各構造の（適正な検出の）信頼度値にもしかすると基づいて共同最適化を実行し得る、ニューラルネットワークに基づき得る。そのような評価の結果を患者又は四肢の位置についての知識と組み合わせて、骨の現在の整復を評価することができる。例えば、上腕骨の場合、システムは、患者の橈骨を患者の体と平行に配置するように外科医に指示し得る。整復を評価するためには、Ｘ線画像でこれらの構造を検出することによって、上腕骨関節面が関節窩に対して中心に位置するようにユーザにガイドするだけで十分な場合がある。
【0133】
Ｘ線線量の削減
全体的な目的は、患者及び手術室スタッフのＸ線被ばくの削減であると心に留めておかれたい。本明細書で開示された実施形態に係る骨折治療中に生成されるＸ線画像はできる限り少なくするべきである。例えば、遠位骨片に対する近位骨片の位置をチェックするために取得された画像を、進入地点の決定にも使用することができる。別の例として、進入地点を決定するプロセスで生成された画像を、ＡＶ角度又はＣＣＤ角度の測定にも使用することができる。
全体的な目的は、患者及び手術室スタッフのＸ線被ばくの削減であると心に留めておかれたい。本明細書で開示された実施形態に係る骨折治療中に生成されるＸ線画像はできる限り少なくするべきである。例えば、遠位骨片に対する近位骨片の位置をチェックするために取得された画像を、進入地点の決定にも使用することができる。別の例として、進入地点を決定するプロセスで生成された画像を、ＡＶ角度又はＣＣＤ角度の測定にも使用することができる。
【0134】
一実施形態によれば、Ｘ線画像で完全な解剖学的構造が見える必要はないため、Ｘ線被ばくも低減され得る。解剖学的構造、インプラント、外科用器具、及び／又はインプラントシステムの一部などのオブジェクトがＸ線画像で見えない又は部分的にしか見えない場合でも、オブジェクトの撮像方向の３Ｄ表現又は決定が提供され得る。例として、投影画像が大腿骨頭を十分に描写していない場合でも、依然として大腿骨頭を完全に再構成できる場合がある。別の例として、遠位部が十分に描写されていない状態で、１つ以上の近位画像に基づいて大腿骨の遠位部を再構成することができる可能性がある。
【0135】
場合によっては、解剖学的構造、例えば、大腿骨頭部の中心又は大腿骨骨幹部上の特定の地点に関連付けられた関心ある地点を決定することが必要になる場合がある。このような場合、関心ある地点がＸ線画像に示されている必要はない場合がある。これは、そのような関心ある地点を決定する際の不確実性又は不正確さが、その後の展開においてそれほど重要ではない次元又は自由度に影響を及ぼす場合には、なおさら当てはまる。例えば、大腿骨頭部の中心点及び／又は大腿骨骨幹部の軸上の特定の地点はＸ線画像の外側に存在する可能性があるが、埋め込み曲線の方向の不正確さは、計算された埋め込み曲線に大きな影響を及ぼさない可能性があるため、例えばディープニューラルネットワーク手法に基づいて、システムは依然として、それらの地点を決定し、それらを使用して、例えば、十分な正確性で埋め込み曲線を計算することができる。
【0136】
一実施形態によれば、システムの処理ユニットは、解剖学的構造の特定の最低限必要な割合（例えば、２０％）を示しているＸ線投影画像に基づいて、解剖学的構造及び／又は解剖学的構造に関連付けられた関心ある地点を決定するように構成され得る。解剖学的構造の最低限必要な部分よりも少ない部分しか見えない場合（例えば、２０％未満）、システムは、所望のビューを得るべくユーザにガイドし得る。例として、大腿骨頭がまったく見えない場合、システムは、現在のＸ線投影画像での大腿骨骨幹部のアピアランスに基づいて計算された方向にＣアームを移動させるように指示を与え得る。
【0137】
２Ｄ投影画像への３Ｄモデルのマッチング
処理されたＸ線画像の画像データは、撮像デバイスから、例えば、Ｃアーム、Ｇアーム、又は２平面２ＤのＸ線デバイスから直接受信するか、又は代替的にデータベースから受信することができることに留意されたい。２平面２ＤのＸ線デバイスは、任意の角度だけオフセットされた２つのＸ線源及びレシーバを有し得る。Ｘ線投影画像は、関心ある解剖学的構造、特に骨を表し得る。骨は、例えば手又は足の骨であり得るが、特に、大腿骨及び脛骨などの下肢の長骨、及び、上腕骨などの上肢の長骨、或いは、仙骨、腸骨、又は椎骨であり得る。画像はまた、骨インプラント又は外科用器具、例えば、ドリル又はｋワイヤなどの人工オブジェクトを含み得る。
処理されたＸ線画像の画像データは、撮像デバイスから、例えば、Ｃアーム、Ｇアーム、又は２平面２ＤのＸ線デバイスから直接受信するか、又は代替的にデータベースから受信することができることに留意されたい。２平面２ＤのＸ線デバイスは、任意の角度だけオフセットされた２つのＸ線源及びレシーバを有し得る。Ｘ線投影画像は、関心ある解剖学的構造、特に骨を表し得る。骨は、例えば手又は足の骨であり得るが、特に、大腿骨及び脛骨などの下肢の長骨、及び、上腕骨などの上肢の長骨、或いは、仙骨、腸骨、又は椎骨であり得る。画像はまた、骨インプラント又は外科用器具、例えば、ドリル又はｋワイヤなどの人工オブジェクトを含み得る。
【0138】
本開示では、「オブジェクト」と「モデル」を区別する。「オブジェクト」という用語は、実オブジェクト、例えば、骨又は骨の一部又は別の解剖学的構造、或いは髄内釘、骨プレート、又は骨ねじなどのインプラント、或いはスリーブ又はｋワイヤなどの外科用器具に用いられる。「オブジェクト」は、実オブジェクトの一部（例えば、骨の一部）のみを表す場合もあり、又は、実オブジェクトの集合体である、したがって、サブオブジェクトで構成される場合がある（例えば、オブジェクト「骨」は、骨折しており、したがって、サブオブジェクト「骨折した骨の部分」で構成される場合がある）。「モデル」という用語は既に上記で定義されている。
【0139】
３Ｄ表現は実際にはコンピュータのデータセットであるため、そのデータから仮想的に表されるオブジェクトの幾何学的態様及び／又は寸法などの特定の情報（例えば、軸、輪郭、湾曲、中心点、角度、距離、又は半径）を容易に抽出することができる。あるオブジェクトに基づいてスケールが決定されている、例えば、モデルデータから釘の幅がわかっている場合、そのようなオブジェクトが同様の撮像深度にあれば、別の描写されている潜在的に未知のオブジェクトの幾何学的態様又は寸法を測定することもできる。あるオブジェクトの撮像深度がわかっている場合（例えば、そのオブジェクトが十分に大きいため又はＸ線検出器のサイズと像平面と焦点との間の距離がわかっているため）、及び２つのオブジェクト間の撮像深度の差についての情報（例えば、解剖学的知識に基づく）がある場合、切片定理に基づいて、異なる撮像深度における異なるオブジェクトのサイズを計算することもできる。
【0140】
一実施形態によれば、Ｘ線画像でのオブジェクトは、Ｘ線投影画像で自動的に分類及び識別される。しかしながら、オブジェクトは、Ｘ線投影画像で手動で分類及び／又は識別することもできる。このような分類又は識別は、デバイスによって認識された構造を自動的に参照することでデバイスによってサポートされ得る。
【0141】
オブジェクトのモデルとＸ線画像に描写されているその投影とのマッチングは、投影の選択された特徴（例えば、輪郭又は特徴的なエッジ）のみを考慮するか、又はアピアランス全体を考慮し得る。輪郭又は特徴的なエッジは、ニューラルセグメンテーションネットワークを使用して決定され得る。Ｘ線画像でのオブジェクトのアピアランスは、とりわけ、Ｘ線放射の減衰、吸収、及び偏向に依存し、これらはオブジェクトの材料に依存する。例えば、スチール製の釘は、一般に、チタン製の釘よりも多くのＸ線放射を吸収し、これは釘の輪郭内の釘の投影画像のアピアランスに影響を与えるだけでなく、輪郭自体、例えば、釘の穴の輪郭の形状も変化し得る。この影響の強さは、Ｘ線の強度と、Ｘ線ビームが通過しなければならないオブジェクトの周囲の組織の量にも依存する。別の例として、軟組織と硬組織との間の遷移は、そのような遷移により、Ｘ線画像でのより暗い領域とより明るい領域との間にエッジが生じるため、Ｘ線画像で識別可能な場合がある。例えば、筋組織と骨組織との間の遷移は識別可能な構造であり得るが、スポンジ状の内側骨組織と硬い皮質の外側骨組織との間の遷移である内部皮質も、Ｘ線画像内の特徴として識別可能であり得る。本開示において骨の輪郭が決定される場合、そのような輪郭はまた、内部皮質又は骨の形状の他の任意の識別可能な特徴であり得ることにも留意されたい。
【0142】
一実施形態によれば、決定論的モデルによって記述されるオブジェクトについて、２Ｄ－３Ｄマッチングは、Ｌａｖａｌｌｅｅ Ｓ．， Ｓｚｅｌｉｓｋｉ Ｒ．， Ｂｒｕｎｉｅ Ｌ． （１９９３） Ｍａｔｃｈｉｎｇ ３－Ｄ ｓｍｏｏｔｈ ｓｕｒｆａｃｅｓ ｗｉｔｈ ｔｈｅｉｒ ２－Ｄ ｐｒｏｊｅｃｔｉｏｎｓ ｕｓｉｎｇ ３－Ｄ ｄｉｓｔａｎｃｅ ｍａｐｓ， ｉｎ Ｌａｕｇｉｅｒ Ｃ． （ｅｄｓ）： Ｇｅｏｍｅｔｒｉｃ Ｒｅａｓｏｎｉｎｇ ｆｏｒ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ａｃｔｉｏｎ． ＧＲＰＡ １９９１， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ｖｏｌ． ７０８． Ｓｐｒｉｎｇｅｒ， Ｂｅｒｌｉｎ， Ｈｅｉｄｅｌｂｅｒｇによって説明されている方針に沿って進められる。この手法では、パラメータベクトルにさらなる自由度を導入することによって又は適切に調整されたモデルを使用することによって、画像の歪み（例えば、イメージインテンシファイアによって導入されるピローエフェクト）又は釘の曲がりなどのさらなる影響を考慮することができる。
【0143】
一実施形態によれば、統計的形状又はアピアランスモデルによって記述されるオブジェクトについて、仮想投影と実際の投影とのマッチングは、Ｖ． Ｂｌａｎｚ， Ｔ． Ｖｅｔｔｅｒ （２００３）， Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅの方針に沿って進められる。この論文では、統計的変形可能３Ｄモデルが２Ｄ画像にあてはめられる。このため、輪郭及びアピアランスに関する統計モデルパラメータと、透視投影に関するカメラ及びポーズパラメータが決定される。別の手法は、Ｘ． Ｄｏｎｇ ａｎｄ Ｇ． Ｚｈｅｎｇ， Ａｕｔｏｍａｔｉｃ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｐｒｏｘｉｍａｌ Ｆｅｍｕｒ Ｃｏｎｔｏｕｒｓ ｆｒｏｍ Ｃａｌｉｂｒａｔｅｄ Ｘ－Ｒａｙ Ｉｍａｇｅｓ Ｕｓｉｎｇ ３Ｄ Ｓｔａｔｉｓｔｉｃａｌ Ｍｏｄｅｌｓ， ｉｎ Ｔ． Ｄｏｈｉ ｅｔ ａｌ． （Ｅｄｓ．）， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ２００８に従うものであり得る。３Ｄモデルを、その仮想投影がＸ線画像でのオブジェクトの実際の投影とマッチするように変形することで、撮像方向（Ｘ線ビームがオブジェクトを通過する方向を示す）を計算することもできるようになる。
【0144】
Ｘ線画像を表示するとき、幾何学的態様及び／又は寸法は、投影画像にオーバーレイとして示され得る。代替的に又は加えて、モデルの少なくとも一部は、例えば透明可視化又は３Ｄレンダリングとして投影画像に示され、これにより、モデルの構造的態様の、したがって、ユーザによる撮像されたオブジェクトの識別が容易になり得る。
【0145】
一般的なコメント
Ｃアームの回転及び平行移動軸の定義について、図２５を参照する。この図では、Ｘ線源はＸＲで示され、英字Ｂで示される回転軸は垂直軸と呼ばれ、英字Ｄで示される回転軸はプロペラ軸と呼ばれ、英字Ｅで示される回転軸はＣ軸と呼ばれる。一部のＣアームモデルについて、軸Ｅは軸Ｂにより近い場合があることに留意されたい。軸Ｄと中心Ｘ線ビーム（ＸＢと表記される）の交点は、Ｃアームの「Ｃ」の中心と呼ばれる。Ｃアームは、英字Ａで示される方向に沿って上下に移動することができる。Ｃアームは、英字Ｃで示される方向に沿って移動することもできる。Ｃアームの「Ｃ」の中心からの垂直軸の距離は、Ｃアームごとに異なる場合がある。Ｃアームの代わりにＧアームを使用することも可能な場合があることに留意されたい。
Ｃアームの回転及び平行移動軸の定義について、図２５を参照する。この図では、Ｘ線源はＸＲで示され、英字Ｂで示される回転軸は垂直軸と呼ばれ、英字Ｄで示される回転軸はプロペラ軸と呼ばれ、英字Ｅで示される回転軸はＣ軸と呼ばれる。一部のＣアームモデルについて、軸Ｅは軸Ｂにより近い場合があることに留意されたい。軸Ｄと中心Ｘ線ビーム（ＸＢと表記される）の交点は、Ｃアームの「Ｃ」の中心と呼ばれる。Ｃアームは、英字Ａで示される方向に沿って上下に移動することができる。Ｃアームは、英字Ｃで示される方向に沿って移動することもできる。Ｃアームの「Ｃ」の中心からの垂直軸の距離は、Ｃアームごとに異なる場合がある。Ｃアームの代わりにＧアームを使用することも可能な場合があることに留意されたい。
【0146】
ニューラルネットは、適用されるデータと同等の多数のデータに基づいてトレーニングされ得る。画像での骨構造を評価する場合、ニューラルネットは、関心ある骨の多数のＸ線画像に基づいてトレーニングされるべきである。ニューラルネットはまた、シミュレートされたＸ線画像に基づいてトレーニングされ得ることが理解されるであろう。
【0147】
一実施形態によれば、１つよりも多いニューラルネットワークが使用され、各ニューラルネットは、所望の解決法を達成するのに必要なサブステップについて具体的にトレーニングされ得る。例えば、第１のニューラルネットは、２Ｄ投影画像での解剖学的構造を分類するべくＸ線画像データを評価するようにトレーニングされ、一方、第２のニューラルネットは、２Ｄ投影画像でのその構造の特徴的なエッジを検出するべくトレーニングされ得る。第３のネットは、大腿骨頭部の中心などの特定の主要な地点を決定するべくトレーニングされ得る。ニューラルネットワークを、アクティブ形状モデルなどのモデルベースのアルゴリズムを含むがこれに限定されない他のアルゴリズムと組み合わせることも可能である。ニューラルネットはまた、本発明のタスクの１つ、例えば、埋め込み曲線の決定を直接解決し得ることに留意されたい。
【0148】
処理ユニットは、プロセスのすべてのステップを実行する１つだけのプロセッサによって、又は同じ場所に配置される必要はないグループの又は複数のプロセッサによって実現され得ることに留意されたい。例えば、クラウドコンピューティングにより、プロセッサをどこにでも配置できるようになる。例えば、処理ユニットは、結果を可視化するためのモニタを含むユーザとの対話を制御する第１のサブプロセッサと、すべての計算を実行する第２のサブプロセッサ（別の場所に配置されている可能性がある）に分割され得る。第１のサブプロセッサ又は別のサブプロセッサはまた、例えば、Ｘ線撮像デバイスのＣアーム又はＧアームの移動を制御し得る。
【0149】
一実施形態によれば、デバイスはさらに、例えばＸ線画像を保存するためのデータベースを提供するストレージ手段を備え得る。そのようなストレージ手段は、システムが接続され得るネットワークにおいても提供され、そのニューラルネットに関連するデータはそのネットワーク経由で受信され得ることが理解されるであろう。さらに、デバイスは、少なくとも１つの２ＤのＸ線画像を生成するための撮像ユニットを備え、撮像ユニットは、異なる方向から画像を生成することが可能である。
【0150】
一実施形態によれば、システムは、ユーザに情報を提供するためのデバイスを備え、情報は、Ｘ線画像及び手順のステップに関する指示からなる群のうちの少なくとも１つの情報を含む。そのようなデバイスは、情報を可視化するためのモニタ又は拡張現実デバイスであってもよく、又は情報を音響的に提供するためのラウドスピーカであってもよいことが理解されるであろう。デバイスはさらに、例えば画像での距離を測定するために、骨の輪郭などのＸ線画像でのオブジェクトの位置又は部分を手動で決定又は選択するための入力手段を備え得る。そのような入力手段は、例えば、デバイスに含まれ得るモニタ画面上のカーソルなどのポインティングデバイスを制御するための、コンピュータのキーボード、コンピュータのマウス、又はタッチスクリーンであり得る。デバイスはまた、パッケージのラベルを読み取る、或いはインプラント又は外科用器具を識別するための、カメラ又はスキャナを備え得る。カメラはまた、ユーザがジェスチャー又は模擬によって、例えば、バーチャルリアリティで表示されたデバイスに仮想的にタッチすることによってデバイスと視覚的に通信することを可能にし得る。デバイスはまた、マイクロフォン及び／又はラウドスピーカを備え、ユーザと音響的に通信し得る。
【0151】
本開示でのＣアームの移動へのすべての言及は、Ｃアームと患者との相対的な再配置を常に指すことに留意されたい。したがって、Ｃアームの平行移動又は回転は、一般に、患者／手術台の対応する平行移動又は回転、又はＣアームの平行移動／回転と患者／手術台の平行移動／回転の組み合わせに置き換えることができる。実際には患者の四肢を動かすことの方がＣアームを動かすことよりも簡単な場合があるので、これは四肢を扱うときに特に関係し得る。必要な患者の移動は、一般に、Ｃアームの移動とは異なり、特に、目標構造体がＸ線画像での所望の位置に既にある場合は、通常、患者を平行移動させる必要はないことに留意されたい。システムは、Ｃアームの調整及び／又は患者の調整を計算し得る。Ｃアームへのすべての言及は、Ｇアームにも同様に当てはまることにさらに留意されたい。
【0152】
本発明で開示される方法及び技術は、人間のユーザ又は外科医をサポートするシステムで使用されてもよく、或いはいくつかの又はすべてのステップがロボットによって実行されるシステムで使用されてもよい。したがって、この特許出願での「ユーザ」又は「外科医」へのすべての言及は、人間のユーザだけでなく、ロボット外科医、機械的サポートデバイス、又は同様の装置を指す場合もある。同様に、Ｃアームをどのようにして調整するかの指示が与えられると記載されている場合、そのような調整はまた、人間の介入なしに、すなわち、ロボットＣアーム、ロボットテーブルによって自動的に実行される場合もあれば、何らかの自動サポートとともにＯＲスタッフによって実行される場合もあることが理解される。ロボット外科医及び／又はロボットＣアームは人間よりも高い正確性で手術を行うことができるため、反復手順はより少ない反復を必要とし、より複雑な指示（例えば、複数の反復ステップを組み合わせる）が実行され得ることに留意されたい。ロボット外科医と人間の外科医の主な違いは、ロボットは２つのＸ線画像を取得する間にツールを完全に静止させておくことができるという点である。本開示においてＸ線画像を取得する間にツールが移動しないことが求められるときには、これはロボットによって実行されるか、又は代替的に、ツールが既に解剖学的構造内に僅かに固定されていてもよい。
【0153】
コンピュータプログラムは、好ましくは、データ処理装置のランダムアクセスメモリにロードされ得る。したがって、一実施形態に係るシステムのデータ処理装置又は処理ユニットは、説明したプロセスの少なくとも一部を実行するべく搭載され得る。さらに、本発明は、開示されたコンピュータプログラムが格納され得るＣＤ－ＲＯＭなどのコンピュータ可読媒体に関する。しかしながら、コンピュータプログラムはまた、ワールドワイドウェブなどのネットワークを介して提供されてもよく、このようなネットワークからデータ処理装置のランダムアクセスメモリにダウンロードすることができる。さらに、コンピュータプログラムはまた、クラウドベースのプロセッサ上で実行され、結果はネットワーク経由で提示されてもよい。
【0154】
インプラントについての事前情報（例えば、釘のサイズ及びタイプ）は、手術前又は手術中に、インプラントのパッケージ（例えば、バーコード）又はインプラント自体への記載を単にスキャンすることによって得られる場合があることに留意されたい。
【0155】
上記の説明から明らかなように、本発明の主な態様は、Ｘ線画像データを処理して、可視オブジェクトの自動解釈を可能にすることである。本明細書で説明される方法は、患者の外科的治療を支援する方法として理解されるべきである。したがって、一実施形態によれば、この方法は、外科手術による動物又は人体の治療のステップを含まない場合がある。
【0156】
本明細書で説明する方法のステップ、特に、そのうちのいくつかが図面で可視化されている実施形態に係るワークフローに関連して説明する方法のステップは主要なステップであり、これらの主要なステップは、区別されるか又はいくつかのサブステップに分割される可能性があることが理解されるであろう。さらに、これらの主要なステップ間にさらなるサブステップが存在する可能性がある。方法全体の一部のみが本発明を構成する場合がある、すなわち、ステップは、省略される又はまとめられる場合があることも理解されるであろう。
【0157】
実施形態は異なる主題を参照して説明されることに留意する必要がある。特に、いくつかの実施形態は、方法タイプのクレーム（コンピュータプログラム）を参照して説明され、一方、他の実施形態は、装置タイプのクレーム（システム／デバイス）を参照して説明される。しかしながら、上記及び以下の説明から、特に明記しない限り、１つのタイプの主題に属する特徴の任意の組み合わせ、並びに、異なる主題に関連する特徴間の任意の組み合わせが、本出願で開示されるとみなされることが当業者にはわかるであろう。
【0158】
本発明の上記で定義された態様及びさらなる態様、特徴、及び利点は、以下で説明する実施形態の例からも導き出すことができ、図面にも示されている実施形態の例を参照して説明されるが、本発明はこれらに限定されない。
【図面の簡単な説明】
【0159】
【図1】髄内釘の進入地点を決定するための大腿骨の側面Ｘ線画像を示す図である。
【図2】脛骨の近位部と開口器具のＭＬ Ｘ線画像を示す図である。
【図3】脛骨の近位部と開口器具のＡＰ Ｘ線画像を示す図である。
【図4】脛骨の近位部と開口器具のＡＰ Ｘ線画像を示す図である。
【図5】脛骨の近位部と開口器具のＡＰ Ｘ線画像を示す図である。
【図6】２つのＡＰ Ｘ線画像と１つのＭＬ Ｘ線画像に基づく脛骨の画像位置合わせを示す図である。
【図7】上腕骨の近位部のアキシャルＸ線画像を示す図である。
【図8】上腕骨の近位部とガイドロッドのアキシャルＸ線画像を示す図である。
【図9】上腕骨の近位部とガイドロッドのＡＰ Ｘ線画像を示す図である。
【図10】ＡＰ Ｘ線画像とアキシャルＸ線画像に基づく上腕骨の画像位置合わせを示す図である。
【図11】上腕骨の近位部、解剖頸の２Ｄ点、及びガイドロッドのアキシャルＸ線画像を示す図である。
【図12】上腕骨の近位部、解剖頸の２Ｄ点、及びガイドロッドのＡＰ Ｘ線画像を示す図である。
【図13】上腕骨の近位部、２Ｄ投影された解剖頸、進入地点、及びガイドロッドのＡＰ Ｘ線画像を示す図である。
【図14】上腕骨の近位部、２Ｄ投影された解剖頸、進入地点、及び先端が進入地点上にあるガイドロッドのＡＰ Ｘ線画像を示す図である。
【図15】骨折した３Ｄ上腕骨とガイドロッドをＡＰビュー方向から示す図である。
【図16】骨折した３Ｄ上腕骨とガイドロッドをアキシャルビュー方向から示す図である。
【図17】骨折した３Ｄ上腕骨と挿入されたガイドロッドをＡＰビュー方向から示す図である。
【図18】上腕骨の近位部、解剖頸の２Ｄ点、及び挿入されたガイドロッドのアキシャルＸ線画像を示す図である。
【図19】上腕骨の近位部、解剖頸の２Ｄ点、及び挿入されたガイドロッドのＡＰ Ｘ線画像を示す図である。
【図20】大腿骨の近位部、その輪郭、及び開口器具のＡＰ Ｘ線画像を示す図である。
【図21】大腿骨の近位部、その輪郭、及び開口器具のＭＬ Ｘ線画像を示す図である。
【図22】大腿骨の遠位部のＭＬ Ｘ線画像を示す図である。
【図23】大腿骨の遠位部とその輪郭のＭＬ Ｘ線画像を示す図である。
【図24】３Ｄ大腿骨と大腿骨の前傾角の定義を示す図である。
【図25】Ｃアームとその回転軸及び平行移動軸を示す図である。
【図26】脛骨の進入地点の決定に関する可能性のあるワークフローを示す図である。
【図27】上腕骨の進入地点の決定に関する可能性のあるワークフローを示す図である。
【図28】大腿骨の遠位部、挿入されたインプラント、及び大腿骨の表面に配置されたドリルのＡＰ Ｘ線画像を示す図である。
【図29】大腿骨の遠位部、挿入されたインプラント、及び大腿骨の表面に配置されたドリルのＭＬ Ｘ線画像を示す図である。
【図30】大腿骨、挿入されたインプラント、及びドリルを含む、ＡＰ Ｘ線画像とＭＬ Ｘ線画像に基づく大腿骨の遠位部の画像位置合わせを示す図である。
【図32】複数の釘穴の計算された進入地点を有する大腿骨の遠位部のＭＬ Ｘ線画像を示す図である。
【図33】大腿骨への髄内インプラントの進入地点の決定に関する可能性のあるワークフローを示す図である。
【図34】大腿骨の前傾角の決定に関する可能性のあるワークフローを示す図である。
【図35】フリーハンドのロック手順（クイックバージョン）に関する可能性のあるワークフローを示す図である。
【図36】フリーハンドのロック手順（拡張バージョン）に関する可能性のあるワークフローを示す図である。
【図37】ドリル軌道の検証及び修正に関する可能性のあるワークフローを示す図である。
【図38】３Ｄ空間で３つの異なるドリル位置を示す図である。
【図40】自律的なロボット手術をサポートする方法に関する３つの例示的なワークフローの例を示す図である。
【発明を実施するための形態】
【0160】
図面の全体を通して、特に明記しない限り、図示した実施形態の同様の特徴、要素、コンポーネント、又は部分を示すために同じ参照符号及び文字が用いられる。さらに、本開示は、ここで図面を参照して詳細に説明されるが、これは例示的な実施形態に関連してなされるものであり、図面に示される特定の実施形態に限定されるものではない。
【0161】
自律的なロボット手術をサポートする方法
本発明の第１の目的は、自律的なロボット手術をサポートするのに適した方法を提供することであり得る。第１に、これは、解剖学的構造に関連する移動空間に対するオブジェクト（例えば、ドリル、ノミ、ボーンミル、又はインプラント）の空間位置及び姿勢を決定することに関係する。次いで、本発明の目的は、移動空間内でのオブジェクトの移動をガイド又は制約することであり得る。システムが自らオブジェクトの移動を制御することもできる。第２に、これは、新たなＸ線画像に基づく新たな位置合わせ（相対空間位置及び姿勢の決定）がいつ必要とされるかを自動的に決定することに関係する。
本発明の第１の目的は、自律的なロボット手術をサポートするのに適した方法を提供することであり得る。第１に、これは、解剖学的構造に関連する移動空間に対するオブジェクト（例えば、ドリル、ノミ、ボーンミル、又はインプラント）の空間位置及び姿勢を決定することに関係する。次いで、本発明の目的は、移動空間内でのオブジェクトの移動をガイド又は制約することであり得る。システムが自らオブジェクトの移動を制御することもできる。第２に、これは、新たなＸ線画像に基づく新たな位置合わせ（相対空間位置及び姿勢の決定）がいつ必要とされるかを自動的に決定することに関係する。
【0162】
移動空間は、線、軌道、又は曲線などの１Ｄ部分空間、平面又は歪んだ平面などの２Ｄ部分空間、又は部分的な３Ｄボリュームの形態の３Ｄ部分空間によって定義され得る。このような部分空間は、制限されているか（例えば、有限の長さの線）又は部分的に無制限（例えば、半平面）であり得る。システムは、（例えば、外科医によって操作されるロボットアームの動きを制限することによって）移動空間内のオブジェクトの移動のみを可能にするように構成され得る。システムはまた、オブジェクトが移動空間から出たときにドリルを停止するように構成され得る。代替的に、操縦可能なアームを備えたシステムでは、オブジェクトが移動空間の境界に近づくほど、抵抗レベルの増加がもたらされ得る。それぞれ異なるシステムアクション又は応答と関連付けられる複数の移動空間が存在し得る。例えば、ドリリングが行われ得る第１の移動空間と、ドリルが（ドリリングなしに）移動し得る第２の移動空間が存在し得る。
【0163】
移動空間は、解剖学的構造のモデルに基づいてシステムによって自動的に決定されるか、又は例えば外科医によって事前に決定され得る。移動空間は、解剖学的構造の外部及び軟組織の外部にも存在し得る。手術前に決定される場合、もしかするとセンサ、例えば、圧力センサ又はカメラからのフィードバックを取り入れて、手術中に再検証され得る。
【0164】
本開示の全体を通して、「モデル」という用語は、ごく一般的な意味で理解されるべきであると再度強調しておく。解剖学的構造のモデルは、解剖学的構造の生ＣＴデータ（すなわち、３Ｄ画像データ）であり得る。モデルはまた、例えば、解剖学的構造の表面のセグメンテーションを含む、ＣＴデータの処理された形態であり得る。モデルはまた、例えば、解剖学的構造の表面及び／又は解剖学的構造の骨密度分布の記述を含む、解剖学的構造の３Ｄ形状の高レベル３Ｄ記述であり得る。
【0165】
オブジェクトの空間姿勢及び位置を決定する際に、システムは、以下を含むがそれらに限定されない、いくつかのソースによって提供された情報を考慮に入れることができる：
・ ロボットに取り付けられている又は取り付けられていない場合があるセンサ（例えば、ドリリング中の圧力を測定する圧力センサ）
・ 別のナビゲーションシステム（例えば、１つ以上のカメラ、参照体及び／又はトラッカと２Ｄ又は３Ｄカメラに基づくナビゲーションシステム、赤外線を使用するナビゲーションシステム、電磁気追跡を備えたナビゲーションシステム、ＬＩＤＡＲを使用するナビゲーションシステム、又は拡張現実メガネなどのウェアラブル追跡要素を含むナビゲーションシステム）によって提供された情報
・ 他の任意の術中３Ｄ撮像デバイス（例えば、Ｏアーム）によって提供された情報
・ ２平面Ｃアームが使用される場合、両方のレシーバによって取得されたＸ線画像
・ 以前に取得したＸ線画像からの情報
・ オブジェクトの以前の位置についての情報
・ オブジェクトの予想位置についての情報（オブジェクトの以前の位置と、オブジェクトがどれだけ移動したかの情報に基づいている場合があり、後者の情報はロボット自体から入手できる可能性がある）
・ 以前に実行されたシステムの較正
・ ロボットに取り付けられている又は取り付けられていない場合があるセンサ（例えば、ドリリング中の圧力を測定する圧力センサ）
・ 別のナビゲーションシステム（例えば、１つ以上のカメラ、参照体及び／又はトラッカと２Ｄ又は３Ｄカメラに基づくナビゲーションシステム、赤外線を使用するナビゲーションシステム、電磁気追跡を備えたナビゲーションシステム、ＬＩＤＡＲを使用するナビゲーションシステム、又は拡張現実メガネなどのウェアラブル追跡要素を含むナビゲーションシステム）によって提供された情報
・ 他の任意の術中３Ｄ撮像デバイス（例えば、Ｏアーム）によって提供された情報
・ ２平面Ｃアームが使用される場合、両方のレシーバによって取得されたＸ線画像
・ 以前に取得したＸ線画像からの情報
・ オブジェクトの以前の位置についての情報
・ オブジェクトの予想位置についての情報（オブジェクトの以前の位置と、オブジェクトがどれだけ移動したかの情報に基づいている場合があり、後者の情報はロボット自体から入手できる可能性がある）
・ 以前に実行されたシステムの較正
【0166】
自律的な自己較正ロボットは、外科手技を安全に続けるために、新たな位置合わせ手順が必要であるか及びいつ必要かを自律的に判断する必要がある場合がある。新たな位置合わせ手順は、さらなるＸ線画像の取得に基づいている場合がある。これは、以下を含むがそれらに限定されない、いくつかのイベント又は状況によってトリガされ得る：
・ センサ（例えば、ドリルが閾値を超える抵抗に直面したことを示す圧力センサ）による入力
・ センサで外科手技を観察している外部ナビゲーションシステムからの入力（例えば、患者が動いたという情報）
・ 追跡（例えば、見通し）が中断された又は中断されているという外部ナビゲーションシステムからの入力
・ アルゴリズムによって実行された位置合わせが十分に正確ではない（例えば、Ｘ線画像でのオブジェクトの２Ｄ－３Ｄマッチングの正確性が閾値を下回る）
・ 画像でのオブジェクトの決定された位置及び／又は姿勢がその予想位置と一致しない（例えば、釘が長骨に既に埋め込まれており、アルゴリズムによって決定された釘の位置が釘の予想位置と一致しない）
・ 外科手技の特定のステップで特に高い正確性が求められる（例えば、ドリルが脊髄神経に近い特に危険な領域に入る）
・ 前回の位置合わせ手順から一定時間が経過している
・ オブジェクトが解剖学的構造に対して特定の距離だけ移動した（例えば、特定の距離だけドリリングされた）
・ ３Ｄシナリオが前回の位置合わせ手順から顕著に変化した可能性があると考えるに足る理由がある（例えば、特定の距離を超えたドリリング、又は患者が動いたことを示すセンサからの入力）。
・ センサ（例えば、ドリルが閾値を超える抵抗に直面したことを示す圧力センサ）による入力
・ センサで外科手技を観察している外部ナビゲーションシステムからの入力（例えば、患者が動いたという情報）
・ 追跡（例えば、見通し）が中断された又は中断されているという外部ナビゲーションシステムからの入力
・ アルゴリズムによって実行された位置合わせが十分に正確ではない（例えば、Ｘ線画像でのオブジェクトの２Ｄ－３Ｄマッチングの正確性が閾値を下回る）
・ 画像でのオブジェクトの決定された位置及び／又は姿勢がその予想位置と一致しない（例えば、釘が長骨に既に埋め込まれており、アルゴリズムによって決定された釘の位置が釘の予想位置と一致しない）
・ 外科手技の特定のステップで特に高い正確性が求められる（例えば、ドリルが脊髄神経に近い特に危険な領域に入る）
・ 前回の位置合わせ手順から一定時間が経過している
・ オブジェクトが解剖学的構造に対して特定の距離だけ移動した（例えば、特定の距離だけドリリングされた）
・ ３Ｄシナリオが前回の位置合わせ手順から顕著に変化した可能性があると考えるに足る理由がある（例えば、特定の距離を超えたドリリング、又は患者が動いたことを示すセンサからの入力）。
【0167】
相対３Ｄ位置及び３Ｄ姿勢は、新たな位置合わせ手順で再検証され得る。本開示は、ほぼリアルタイムでの位置合わせ方法を教示するので、追加で実行される位置合わせ手順はＯＲ時間の点で無視できるほどのコストで済むことになる。新たな位置合わせ手順は、Ｃアームの再調整によって、現在のＣアームのビュー方向から新たなＸ線画像及び／又は異なるビュー方向から新たなＸ線画像を取得することで開始され得る。正確性を高めるために、１つよりも多いＸ線画像が取得され得る。外部ナビゲーションシステムによって提供された情報も考慮に入れることができる可能性がある。さらに、Ｘ線で見られるオブジェクト（例えば、インプラント又はドリルビット）の予想位置についての情報を取り込むことができる可能性がある。
【0168】
システムは、新たなＸ線画像を必要とするＯＲスタッフに指示を提供することができ、この指示は、Ｃアームをどのようにして再調整するかを含み得る。真に自律的なシステムは、自らＣアームを操縦する及び／又はＸ線画像の取得を開始することができる。
【0169】
術前ＣＴスキャンが利用可能な場合、システムは、自動解剖学的構造セグメンテーションを実行し、少なくとも１つの術中Ｘ線画像でのセグメンテーションへの撮像方向を決定し得る。セグメンテーションとオブジェクト（例えば、ドリル）の幾何学的態様との相対位置についての事前知識に基づいて、システムは、同じ画像でのオブジェクトへの撮像方向を決定し、したがって、解剖学的構造とオブジェクトとの空間関係を取得し、それに基づいて、システムは、指示を提供又はアクション（すなわち、ドリルの先端の位置決め及びドリル角度の整列）を実行し得る。さらなる詳細を伴う例示的なワークフローが以下のワークフロー１で与えられる。
【0170】
代替的に、解剖学的構造セグメンテーションなしのワークフローも可能である。ここでは、システムは、術前ＣＴスキャンと術中Ｘ線画像（ＣＴスキャンとすべての画像間の位置合わせを含む）をマッチさせることによって、画像位置合わせを実行する、又は各Ｘ線画像での（セグメント化されていない）ＣＴスキャンへの個々の仮想撮像方向を決定することができる。システムは、位置合わせされたＣＴスキャンに基づいて種々の撮像方向からのデジタル再構築放射線写真（ＤＲＲ）を計算し、ＤＲＲも位置合わせすることができる。随意的に、システムは、利用可能なすべての術中Ｘ線画像とＤＲＲに、解剖学的構造の統計モデルを共同してあてはめることができ、これにより、ＣＴスキャンで定義される所定の移動空間がない場合にのみ必要になり得る、すべての画像での解剖学的構造への撮像方向が同時に決定される。これに基づいて、システムは、前述のように指示を提供又はアクションを実行することができる。この方法を所与の解剖学的構造セグメンテーション及び／又は術中ＣＴスキャンとどのようにして組み合わせるかを含むさらなる詳細は、例示的なワークフロー２で見ることができる。
【0171】
術前ＣＴスキャンも解剖学的構造セグメンテーションも利用できない場合、システムは、画像位置合わせを実行し、Ｘ線画像に解剖学的構造の統計モデルを同時にあてはめることができる。これは、すべての画像での解剖学的構造への撮像方向の決定を含む。これに基づいて、システムは、前述のように指示を提供又はアクションを実行することができる。この方法を所与の解剖学的構造セグメンテーション及び／又は術中ＣＴスキャンとどのようにして組み合わせるかを含むさらなる詳細は、例示的なワークフロー３で見ることができる。
【0172】
ここで、異なる撮像方向からの２つのＸ線画像に基づいて、移動空間に対するオブジェクトの３Ｄ位置及び姿勢が決定され、その後に、手術ステップ（例えば、ドリリング）が実行され、その後に、撮像デバイスを動かさずに移動空間に対するオブジェクトの新たな３Ｄ位置及び姿勢が決定される状況を考える。このような決定は、撮像デバイスに対する解剖学的構造の可能な動きが制約され得ることを考慮に入れることができる。例えば、ドリルによって解剖学的構造にかかった圧力による解剖学的構造の可能な平行移動のみを考慮に入れることができる。
【0173】
解剖学的構造の３Ｄ再構成は、２Ｄのセグメント化されたＤＲＲと２Ｄのセグメント化された実際のＸ線画像とを組み合わせることで実行することができ、実際のＸ線画像は、３Ｄ画像データセットと位置合わせされている。
【0174】
以下に、３つの例示的なワークフローを提供する。他の実装が可能な場合がある。３つのワークフローのステップ番号は図４０を参照している。
【0175】
ワークフロー１：術前ＣＴスキャンが利用可能、解剖学的構造セグメンテーションあり（図４０参照）
【0176】
１．１ システムは、（変形可能）統計モデルと、
ａ．ニューラルネットワークによるすべてのＸ線画像の直接３Ｄセグメンテーション、及び／又は
ｂ．ＣＴスキャンを使用した異なる既知の方向からの複数のレンダリングされた２Ｄ画像（ＤＲＲ）（すなわち、既知の画像位置合わせあり）と、ニューラルネットワークによる画像ごとの解剖学的構造セグメンテーション、
に基づいて、術前ＣＴスキャンの自動解剖学的構造セグメンテーションを実行する。
ａ．ニューラルネットワークによるすべてのＸ線画像の直接３Ｄセグメンテーション、及び／又は
ｂ．ＣＴスキャンを使用した異なる既知の方向からの複数のレンダリングされた２Ｄ画像（ＤＲＲ）（すなわち、既知の画像位置合わせあり）と、ニューラルネットワークによる画像ごとの解剖学的構造セグメンテーション、
に基づいて、術前ＣＴスキャンの自動解剖学的構造セグメンテーションを実行する。
【0177】
１．２ 解剖学的構造セグメンテーションと所与のねじ直径に基づいて、システムは、ドリル軌道（すなわち、移動空間）を決定する。
術中ＣＴスキャン（又は他の任意の３Ｄスキャン）が手術中に取得される場合、システムは、このスキャンの自動セグメンテーションを実行し、最初の解剖学的構造セグメンテーション及び／又はドリル軌道を更新し得る。
術中ＣＴスキャン（又は他の任意の３Ｄスキャン）が手術中に取得される場合、システムは、このスキャンの自動セグメンテーションを実行し、最初の解剖学的構造セグメンテーション及び／又はドリル軌道を更新し得る。
【0178】
１．３ オプション：ドリルの先端が必ずしも解剖学的構造の表面にあるとは限らない場合、固定のドリルを使用して異なる方向（例えば、ＡＰ、ＭＬ、斜位ＭＬ）から術中画像が取得され得る。ドリルは２Ｄで見える／検出可能である必要がある。
【0179】
１．４ オプション：システムは、（１つの画像につき６つの最適化パラメータと、解剖学的構造とドリルとの関係に関するさらなる６つのパラメータで）画像位置合わせを実行する。ドリルの先端が解剖学的構造の表面にあるか又はそこから既知の距離にある場合、解剖学的構造とドリルとの関係は、５つの最適化パラメータのみを必要とする。システムは、新たな画像が追加されるたびに、潜在的には以前の結果を最初の推測として使用して、利用可能なすべての画像の画像位置合わせを実行し得る。一般に、画像が多いほど正確性が高まる。
【0180】
１．５ システムは、斜位ＭＬビューの指示を与える。これにより、画像位置合わせに関する６つのさらなる最適化パラメータが導入される。
【0181】
１．６ 新たなＸ線画像が取得される。
【0182】
１．７ システムは、潜在的にはステップ１．４からの結果を最初の推測として使用して、すべての有効な画像（例えば、ＡＰ、ＭＬ、斜位ＭＬ）の画像位置合わせを実行する。したがって、システムは、最新の画像でのセグメンテーションとドリルとの相対３Ｄ位置及び３Ｄ姿勢を決定する。
【0183】
１．８ システムは、ドリルの移動の指示を与える。
【0184】
１．９ システムのドリルの移動の指示に従う。
【0185】
１．１０ 新たなＸ線画像が取得される。
【0186】
１．１１ 予測ドリルポーズと実際のドリルポーズに基づいて、システムは、Ｃアームが移動したかどうかを検出する。Ｃアームの移動が検出される場合、新たな画像（斜位ＭＬ）が取得され、ワークフローはステップ１．７に戻る。代替として、システムは、検出された移動を考慮に入れてステップ１．１２に進み得る。
【0187】
１．１２ システムは、解剖学的構造がＣアームに対して移動したかどうかを検出する。解剖学的構造は、例えば、ドリルの先端の滑動及び／又はドリルの先端による特定の圧力（圧力センサによって検出される）に起因して移動した可能性がある。
ａ．解剖学的構造の移動が閾値を超える場合、システムは、以前のあてはめ（６つの最適化パラメータ）に基づいて現在の画像に解剖学的構造セグメンテーションをあてはめ、セグメンテーションとドリルとの相対３Ｄ位置及び３Ｄ姿勢（潜在的には予測ポーズを最初の推測として使用した微調整ステップを使用して、６つの最適化パラメータ）を決定する。
ｂ．解剖学的構造の移動が閾値を下回る場合、システムは、以前のあてはめ（例えば、解剖学的構造の（潜在的には斜視）シフトに関する２つの最適化パラメータ）に基づいて現在の画像に解剖学的構造セグメンテーションをあてはめ、（ステップ１．１２のａと同様に）セグメンテーションとドリルとの相対３Ｄ位置及び３Ｄ姿勢を決定する。
ｃ．解剖学的構造の変化が検出されない場合、システムは、（ステップ１．１２のａと同様に）セグメンテーションとドリルとの相対３Ｄ位置及び３Ｄ姿勢を決定する。
ａ．解剖学的構造の移動が閾値を超える場合、システムは、以前のあてはめ（６つの最適化パラメータ）に基づいて現在の画像に解剖学的構造セグメンテーションをあてはめ、セグメンテーションとドリルとの相対３Ｄ位置及び３Ｄ姿勢（潜在的には予測ポーズを最初の推測として使用した微調整ステップを使用して、６つの最適化パラメータ）を決定する。
ｂ．解剖学的構造の移動が閾値を下回る場合、システムは、以前のあてはめ（例えば、解剖学的構造の（潜在的には斜視）シフトに関する２つの最適化パラメータ）に基づいて現在の画像に解剖学的構造セグメンテーションをあてはめ、（ステップ１．１２のａと同様に）セグメンテーションとドリルとの相対３Ｄ位置及び３Ｄ姿勢を決定する。
ｃ．解剖学的構造の変化が検出されない場合、システムは、（ステップ１．１２のａと同様に）セグメンテーションとドリルとの相対３Ｄ位置及び３Ｄ姿勢を決定する。
【0188】
１．１３ システムがまだドリリング開始指示を与えていない場合、システムは、ドリルポーズが十分であるかどうかをチェックする。
ａ．十分ではない場合、システムはステップ１．８に戻る。
ｂ．十分な場合、システムは、ドリリング開始指示（潜在的にはほんの数ミリメートルのドリリング）を与え、ステップ１．９に戻る。
ａ．十分ではない場合、システムはステップ１．８に戻る。
ｂ．十分な場合、システムは、ドリリング開始指示（潜在的にはほんの数ミリメートルのドリリング）を与え、ステップ１．９に戻る。
【0189】
１．１４ 改良された進入地点と、利用可能であればロボットの移動に関する知識に基づいて、ドリルポーズが改良される。システムは、ドリルポーズが十分であるかどうかをチェックする。
ａ．十分ではない場合、システムはステップ１．８に戻る。
ｂ．十分な場合、システムは、計画位置に到達したかどうかをチェックする。到達していない場合、システムはドリリング継続指示（例えば、数ミリメートル）を与える。システムはステップ１．９に戻る。
ａ．十分ではない場合、システムはステップ１．８に戻る。
ｂ．十分な場合、システムは、計画位置に到達したかどうかをチェックする。到達していない場合、システムはドリリング継続指示（例えば、数ミリメートル）を与える。システムはステップ１．９に戻る。
【0190】
ワークフロー２：術前ＣＴスキャンが利用可能、解剖学的構造セグメンテーションなし（図４０参照）
【0191】
２．１ オプション：ドリルの先端が必ずしも解剖学的構造の表面にあるとは限らない場合、固定のドリルを使用して異なる方向（例えば、ＡＰ、ＭＬ、斜位ＭＬ）から術中Ｘ線画像が取得される。ドリルは２Ｄで見える／検出可能である必要がある。
【0192】
２．２ オプション：システムは、（１つの画像につき６つの最適化パラメータと、術前ＣＴスキャンとドリルとの変換行列に関するさらなる６つのパラメータで）画像位置合わせを実行する。ドリルの先端が解剖学的構造の表面にあるか又はそこから既知の距離にある場合、ドリルは、５つの最適化パラメータのみを必要とする。セグメンテーションが利用できないため、コスト関数は、取得したＸ線画像と、ドリルを含むＣＴスキャンをレンダリングすることで得られる特定のデジタル再構築放射線写真（ＤＲＲ）画像との間の何らかの類似度指標になり得る。加えて又は代替として、システムは、コスト関数が画像類似度と輪郭類似度の加重平均になるように、例えば輪郭ベースの手法によって、ドリルへの撮像方向を近似的に決定し得る。システムは、新たな画像が追加されるたびに、潜在的には以前の結果を最初の推測として使用して、利用可能なすべての画像の画像位置合わせを実行し得る。一般に、画像が多いほど正確性が高まる。
【0193】
２．３ システムは、斜位ＭＬビューの指示を与える。これにより、画像位置合わせに関する６つのさらなる最適化パラメータが導入される。
【0194】
２．４ 新たなＸ線画像が取得される。
【0195】
２．５ システムは、潜在的にはステップ２．２からの結果を最初の推測として使用して、利用可能なすべての画像（ＤＲＲを含む）の画像位置合わせを実行する。
術中ＣＴスキャン（又は他の任意の３Ｄスキャン）が手術中に取得された場合、システムは、このスキャンを使用して同様に画像位置合わせを実行し、したがって、正確性を向上させることができる。
術中ＣＴスキャン（又は他の任意の３Ｄスキャン）が手術中に取得された場合、システムは、このスキャンを使用して同様に画像位置合わせを実行し、したがって、正確性を向上させることができる。
【0196】
２．６ （例えば、術前ＣＴ画像データに基づく）術前の手術計画を利用できる場合、システムは、この情報を使用して移動空間を決定する。
システムは、輪郭ベースの又はＤＲＲベースの手法に基づいて、位置合わせされた画像（すなわち、実際の術中Ｘ線画像と、随意的に例えばステップ２．２からのさらなるＤＲＲ）に、解剖学的構造の統計モデルをさらにあてはめることができる。ドリルの先端を、解剖学的構造の表面の参照点として使用することができる。次いで、この解剖学的構造の再構成を使用して、より正確な移動空間を提供することができる。
術中ＣＴスキャン（又は他の任意の３Ｄスキャン）が手術中に取得された場合、システムは、（ワークフロー１のステップ１．１で説明されるように）スキャンの自動セグメンテーションを実行することができる。加えて又は代替として、システムは、この３Ｄ画像データを使用して、決定された移動空間を検証及び／又は更新することができる。
術前ＣＴスキャン及び／又は術中ＣＴスキャンのセグメンテーションが利用可能な場合、統計モデルのあてはめは、セグメンテーションを最初の推測として使用すること、及び／又はセグメンテーションを微調整することを含み得る。
ステップ２．６で移動空間がまだ決定されていない場合、システムは、解剖学的構造の再構成及び所与のねじ直径に基づいて、ドリル軌道を決定する。
システムは、輪郭ベースの又はＤＲＲベースの手法に基づいて、位置合わせされた画像（すなわち、実際の術中Ｘ線画像と、随意的に例えばステップ２．２からのさらなるＤＲＲ）に、解剖学的構造の統計モデルをさらにあてはめることができる。ドリルの先端を、解剖学的構造の表面の参照点として使用することができる。次いで、この解剖学的構造の再構成を使用して、より正確な移動空間を提供することができる。
術中ＣＴスキャン（又は他の任意の３Ｄスキャン）が手術中に取得された場合、システムは、（ワークフロー１のステップ１．１で説明されるように）スキャンの自動セグメンテーションを実行することができる。加えて又は代替として、システムは、この３Ｄ画像データを使用して、決定された移動空間を検証及び／又は更新することができる。
術前ＣＴスキャン及び／又は術中ＣＴスキャンのセグメンテーションが利用可能な場合、統計モデルのあてはめは、セグメンテーションを最初の推測として使用すること、及び／又はセグメンテーションを微調整することを含み得る。
ステップ２．６で移動空間がまだ決定されていない場合、システムは、解剖学的構造の再構成及び所与のねじ直径に基づいて、ドリル軌道を決定する。
【0197】
２．７ ワークフロー１からのステップ１．８に進む。
【0198】
ワークフロー３：術前ＣＴスキャンが利用できない（図４０参照）
【0199】
３．１ オプション：ドリルの先端が必ずしも解剖学的構造の表面にあるとは限らない場合、固定のドリルを使用して異なる方向（例えば、ＡＰ、ＭＬ、斜位ＭＬ）から術中画像が取得される。ドリルは２Ｄで見える／検出可能である必要がある。
【0200】
３．２ オプション：システムは、（１つの画像につき６つの最適化パラメータ、解剖学的構造とドリルとの関係に関するさらなる６つのパラメータ、及び統計モデルの変形に関するさらなるパラメータで）画像位置合わせと解剖学的構造の再構成を同時に実行する。ドリルの先端が解剖学的構造の表面にあるか又はそこから既知の距離にある場合、解剖学的構造とドリルとの関係は、５つの最適化パラメータのみを必要とする。システムは、新たな画像が追加されるたびに、潜在的には以前の結果を最初の推測として使用して、利用可能なすべての画像の画像位置合わせと解剖学的構造の再構成を実行し得る。一般に、画像が多いほど正確性が高まる。
【0201】
３．３ システムは、斜位ＭＬビューの指示を与える。これにより、画像位置合わせに関する６つのさらなる最適化パラメータが導入される。
【0202】
３．４ 新たな画像が取得される。
【0203】
３．５ システムは、潜在的にはステップ３．２からの結果を最初の推測として使用して、利用可能なすべての画像の画像位置合わせと解剖学的構造の再構成を同時に実行する。ドリルの先端を、解剖学的構造の表面の参照点として使用することができる。
術中ＣＴスキャン（又は他の任意の３Ｄスキャン）が手術中に取得された場合、システムは、（ワークフロー１のステップ１．１で説明されるように）このスキャンの自動セグメンテーションを実行することができる。加えて又は代替的に、システムは、このスキャンに基づいて画像位置合わせを実行することができ、したがって、例えば、この画像位置合わせを最初の推測として使用することによって、正確性を向上させることができる。
術前ＣＴスキャン及び／又は術中ＣＴスキャンのセグメンテーションが利用可能な場合、解剖学的構造の再構成は、セグメンテーションを最初の推測として使用すること、及び／又はセグメンテーションを微調整することを含み得る。例えば、システムは、解剖学的構造の再構成及び自動セグメンテーションを位置合わせし、次いで、位置合わせされた画像で見られる解剖学的構造のアピアランスに基づいて、最初の解剖学的構造の再構成を微調整することができる。
術中ＣＴスキャン（又は他の任意の３Ｄスキャン）が手術中に取得された場合、システムは、（ワークフロー１のステップ１．１で説明されるように）このスキャンの自動セグメンテーションを実行することができる。加えて又は代替的に、システムは、このスキャンに基づいて画像位置合わせを実行することができ、したがって、例えば、この画像位置合わせを最初の推測として使用することによって、正確性を向上させることができる。
術前ＣＴスキャン及び／又は術中ＣＴスキャンのセグメンテーションが利用可能な場合、解剖学的構造の再構成は、セグメンテーションを最初の推測として使用すること、及び／又はセグメンテーションを微調整することを含み得る。例えば、システムは、解剖学的構造の再構成及び自動セグメンテーションを位置合わせし、次いで、位置合わせされた画像で見られる解剖学的構造のアピアランスに基づいて、最初の解剖学的構造の再構成を微調整することができる。
【0204】
３．６ システムは、解剖学的構造の再構成及び所与のねじ直径に基づいて、ドリル軌道を決定する。
【0205】
３．７ ワークフロー１からのステップ１．８に進む。
【0206】
３つのワークフローすべてに関するコメント
解剖学的構造の再構成に関する統計モデルは、統計的形状モデル、統計的アピアランスモデルなどであり得る。
解剖学的構造の再構成に関する統計モデルは、統計的形状モデル、統計的アピアランスモデルなどであり得る。
【0207】
ワークフローにおけるアクションは、外科医、ＯＲスタッフ、又は手術ロボットによって実行され得る。ロボットの場合、システムの指示、例えば、ドリル指示に従った後で、ロボットは移動を確認し得る。この情報は、例えば次の画像でのドリルの位置を予測するために、システムによって使用され得る。手術ロボットがその移動についてのフィードバックを与えない場合、システムは次の画像のドリルの位置を予測できない。その場合、Ｃアームの移動の検出はスキップされる（ワークフロー１のステップ１．１１参照）。
【0208】
ワークフロー１のステップ１．１１でＣアームが移動していなかった（例えば、ロボットがＣアームを制御する）ことを確認でき、ロボットがその移動に関するフィードバックを与える場合、Ｃアームの移動を検出する代わりに、予測ドリルポーズと実際のドリルポーズとの差を使用して、ロボット（すなわち、ロボットドリルの移動）を較正することができる。
【0209】
解剖学的構造の再構成に基づいて自動的にドリル軌道を決定（ワークフロー１のステップ１．２参照）する代わりに、手動の術前計画からドリル軌道を決定することができる。画像位置合わせのための画像を取得しながら固定のドリルで作業することができない場合、固定のドリルの先端が参照点として充当される。解剖学的構造とドリルとの関係を画像ごとに推定する必要があるため、これはより多くの最適化パラメータを導入する。
【0210】
２つのＸ線画像が、解剖学的構造に既に挿入されているオブジェクトの一部（必ず同じ部分）を描写している（例えば、椎弓根ねじが椎弓根に既に挿入されている）場合、画像の位置合わせはそのことを考慮に入れることができる。
【0211】
システムが（例えば、以前の画像によって）オブジェクトの正確な位置をさらに知っている場合、この情報を、後続の画像位置合わせのために使用することができる。
【0212】
大腿骨に髄内釘を埋め込むための進入地点の決定
本発明の別の目的は、大腿骨に髄内釘を埋め込むための進入地点及び埋め込み曲線の決定であり得る。進入地点を決定するには、特定のビュー方向からＸ線画像を取得する必要がある。真の側面ビューでは、骨幹部軸と頸部軸は、特定のオフセットで平行である。しかしながら、このビューは本発明の所望のビューではない。所望のビューは、埋め込み軸が大腿骨頭部の中心を通るようにＣアームのＣ軸の周りで回転した状態の側面ビューである。大腿骨頭部の中心は、例えば、ニューラルネットワークによって十分に高い正確性で決定され得る。大腿骨頭部の中心を決定する際の不確実性は、主に埋め込み軸の方向の偏差に関係している可能性があり、これは、所望のビュー方向を保証する正確性には大きな影響を与えない。システムは、解剖学的構造データベース又はＬＵ１００９０７Ｂ１に基づいてＣ軸の周りの必要な回転角を推定することにより、ユーザが所望のビュー方向を得るのをサポートすることができる。
本発明の別の目的は、大腿骨に髄内釘を埋め込むための進入地点及び埋め込み曲線の決定であり得る。進入地点を決定するには、特定のビュー方向からＸ線画像を取得する必要がある。真の側面ビューでは、骨幹部軸と頸部軸は、特定のオフセットで平行である。しかしながら、このビューは本発明の所望のビューではない。所望のビューは、埋め込み軸が大腿骨頭部の中心を通るようにＣアームのＣ軸の周りで回転した状態の側面ビューである。大腿骨頭部の中心は、例えば、ニューラルネットワークによって十分に高い正確性で決定され得る。大腿骨頭部の中心を決定する際の不確実性は、主に埋め込み軸の方向の偏差に関係している可能性があり、これは、所望のビュー方向を保証する正確性には大きな影響を与えない。システムは、解剖学的構造データベース又はＬＵ１００９０７Ｂ１に基づいてＣ軸の周りの必要な回転角を推定することにより、ユーザが所望のビュー方向を得るのをサポートすることができる。
【0213】
システムは、ユーザが適正なビュー方向を得ることにも役立つ可能性がある。例えば、大腿骨頭部の中心と開口器具の先端との間の２Ｄ距離が、開口器具の先端と大腿骨骨幹部の最も低い可視部との間の２Ｄ距離に比べて小さすぎるシナリオを考える。この影響は、Ｃアームの焦点軸が埋め込み軸とほぼ垂直であるときに生じる。そういった場合、最狭部での骨幹部の中心は、現在のＸ線投影画像ではおそらく見えないであろう。したがって、システムは、図２５の軸Ｂの周りでＣアームを回転させるように指示を与え得る。指示に従うと、第１の距離が増加し、第２の距離が減少する（すなわち、頸部領域がより大きくなり、骨幹部の最狭部が見えるようになる）Ｘ線投影画像がもたらされる。
【0214】
前述のように所望のビューを得るためにどの角度でＣアームを回転させる必要があるかを決定する方法は、ＡＰ Ｘ線画像での解剖学的アピアランスを考慮することであり得る。以下の地点、すなわち、大腿骨頭部の中心、開口器具の先端、及び大転子への移行部にある骨幹部の中心が、画像で識別され得る。次いで、最初の２つの地点と最後の２つの地点の間にそれぞれ２つの線を引くことができる。これらの３つの地点はＭＬ Ｘ線画像でも十分な正確性で識別できるため、ＭＬ Ｘ線画像の焦線と解剖学的構造（例えば、埋め込み軸及び／又は頸部軸）との間の角度を推定できる可能性がある。この角度が小さすぎる又は大きすぎる場合、システムは、角度をそれぞれ増加又は減少させる指示を与えることができる。
【0215】
一実施形態によれば、埋め込み軸は以下のように決定され得る。図１は、大腿骨の側面（ＭＬ）Ｘ線画像を示している。システムは、最狭部での骨幹部の中心（ＩＳＣと表記される）と大腿骨頭部の中心（ＣＦと表記される）を検出し得る。これらの２つの地点によって定義される線を埋め込み軸（ＩＡと表記される）とみなすことができる。さらに、システムは、頸部領域及び骨幹部領域の投影された外側境界（ＯＢと表記される）、又は代替的に境界上の複数の地点を検出し得る。例えばニューラルネットワークによって、境界のセグメンテーションが行われ得る。代替的に、ニューラルネットワークは、完全な境界ではなく特定の地点を直接推定し得る。例えば、ニューラルネットワークは、骨幹部の境界ではなく骨幹部の中心を推定し、大腿骨頭のサイズに基づいて骨幹部の直径が推定され得る。この情報に基づいて、境界自体を見つけることなく、骨幹部の境界の位置を推定できる可能性がある。埋め込み軸は、頸部の境界と骨幹部の境界との両方から特定の距離があるべきである。どちらかの距離が小さすぎる場合、システムは、その後に取得されるＸ線投影画像で所望のビュー方向に到達するように、ＣアームのＣ軸の周りの必要な回転を計算することができる。Ｃアームの回転方向は、頸部領域での距離と骨幹部領域での距離の加重評価に基づいて決定され得る。回転角度は、大腿骨の解剖学的モデルに基づいて計算され得る。
【0216】
所望のビュー方向に到達すると、埋め込み軸と転子周辺部軸との交点が、進入地点として定義され得る。転子周辺部軸は画像で直接検出され得る。これが所望ではない又は実行不可能な場合、転子周辺部軸は、開口器具の先端と埋め込み軸を結ぶ線によってＸ線画像で近似することもできる。この線は、埋め込み軸と垂直であるとみなされるか、又は利用可能であれば事前情報が別のことを示唆する場合、埋め込み軸に対して斜位角度で延びていてもよい。
【0217】
インプラントは、釘とヘッド要素から構成され得る。開口器具の投影された先端と投影された進入地点との間の距離が所望の距離内にない（例えば、距離が１ｍｍよりも大きい）場合、システムは、進入地点に到達するために開口器具をどのように移動させるかユーザをガイドし得る。例えば、大腿骨上の開口器具の先端が、決定された進入地点と比較して過度に前方に位置している場合、システムは、開口器具の先端を後方に移動させるように指示を与える。
【0218】
一実施形態によれば、システムは、大腿骨骨幹部の最狭部、大腿骨頭部の中心（ＣＦと表記される）、及び開口器具の先端（ＫＷと表記される）をＸ線で検出し得る。埋め込み軸（ＩＡと表記される）は、大腿骨頭部の中心（ＣＦと表記される）と骨幹部の最狭部での中心（ＩＳＣと表記される）を通る線とみなすことができる。進入地点は、開口器具の先端ＫＷに最も近い埋め込み軸上の地点（ＥＰと表記される）とみなすことができる。システムは、開口器具をＥＰ上に配置するべく移動させるように指示を与え得る。投影された地点に器具を移動させた後に、ＡＰビューで開口器具の先端が依然として大転子の投影された先端にあることを検証するために、ＡＰ画像の取得が役立つ可能性がある。もしかするとＡＰ画像とＭＬ画像の位置合わせに基づいてＡＰ画像で検出されたｋワイヤの先端から投影されたエピポーラ線についての知識があり、ＡＰ画像の取得とＭＬ画像の取得との間でｋワイヤの先端の移動がなかった場合、進入地点のより正確な決定がもたらされ、ｋワイヤの先端が依然として大転子の投影された先端にあるかどうかを別のＡＰ画像でさらに検証する必要はなくなる可能性がある。
【0219】
大腿骨への髄内インプラントの進入地点の決定に関する可能性のあるワークフローの例（図３３参照）：
【0220】
１．ユーザは、開口器具の先端が大転子の投影された先端に配置された、ＡＰ Ｘ線画像を取得する。
【0221】
２．ユーザは、開口器具の先端を動かさずに、ＭＬ Ｘ線投影画像を取得する。
【0222】
３．システムは、Ｘ線画像で大腿骨頭部の中心、骨幹部の最狭部の中心点、及び開口器具の先端を検出する。
ａ．大腿骨頭と骨幹部の最狭部の両方が十分に見えない場合、システムは、視野を広げるためにＣアームを横方向に移動させるように指示を与える。
ｂ．大腿骨頭のみが十分に見えず、最狭部は完全に見える場合、システムは、Ｃアームを脚に沿って近位方向に移動させるように指示を与える。
ｃ．システムは、大腿骨頭部の中心と開口器具の先端との間の第１の距離と、開口器具の先端と骨幹部の特定の地点との間の第２の距離を計算する。この地点は、（見える場合）最狭部での骨幹部の中心であり得る、又は最狭部が見えない場合、骨幹部の最遠位の見える地点であり得る、又は代替的に、最狭部での骨幹部の（骨幹部の見える部分に基づく）推定される中心であり得る。
ｄ．骨幹部のみが十分に見えず、大腿骨頭は完全に見える場合、システムは、Ｃアームを脚に沿って遠位方向に移動させるように指示を与える。骨幹部が十分に見えるかどうかを判定する１つの方法は、ステップ３ｃからの第２の距離を閾値と比較することであり得る。別の方法は、現在のＸ線画像で最狭部が見えるかどうかを判定するために、骨幹部の湾曲を評価することであり得る。
ｅ．ステップ３ｃからの第１の距離が第２の距離に比べて小さすぎる場合、Ｃアームを、Ｃアーム軸Ｂ（図２５参照）の周りで時計回り（右大腿骨）又は反時計回り（左大腿骨）に回転させる必要があり、逆もまた同様である。Ｃアームの回転させる必要がある角度は、２つの距離と、もしかするとステップ１からのＡＰ画像からのさらなる情報に基づいて計算され得る。後者は、例えば、大腿骨のＣＣＤ角度を含み得る。ＭＬ Ｘ線画像に描写されている骨幹部の湾曲も考慮に入れることができる。
ａ．大腿骨頭と骨幹部の最狭部の両方が十分に見えない場合、システムは、視野を広げるためにＣアームを横方向に移動させるように指示を与える。
ｂ．大腿骨頭のみが十分に見えず、最狭部は完全に見える場合、システムは、Ｃアームを脚に沿って近位方向に移動させるように指示を与える。
ｃ．システムは、大腿骨頭部の中心と開口器具の先端との間の第１の距離と、開口器具の先端と骨幹部の特定の地点との間の第２の距離を計算する。この地点は、（見える場合）最狭部での骨幹部の中心であり得る、又は最狭部が見えない場合、骨幹部の最遠位の見える地点であり得る、又は代替的に、最狭部での骨幹部の（骨幹部の見える部分に基づく）推定される中心であり得る。
ｄ．骨幹部のみが十分に見えず、大腿骨頭は完全に見える場合、システムは、Ｃアームを脚に沿って遠位方向に移動させるように指示を与える。骨幹部が十分に見えるかどうかを判定する１つの方法は、ステップ３ｃからの第２の距離を閾値と比較することであり得る。別の方法は、現在のＸ線画像で最狭部が見えるかどうかを判定するために、骨幹部の湾曲を評価することであり得る。
ｅ．ステップ３ｃからの第１の距離が第２の距離に比べて小さすぎる場合、Ｃアームを、Ｃアーム軸Ｂ（図２５参照）の周りで時計回り（右大腿骨）又は反時計回り（左大腿骨）に回転させる必要があり、逆もまた同様である。Ｃアームの回転させる必要がある角度は、２つの距離と、もしかするとステップ１からのＡＰ画像からのさらなる情報に基づいて計算され得る。後者は、例えば、大腿骨のＣＣＤ角度を含み得る。ＭＬ Ｘ線画像に描写されている骨幹部の湾曲も考慮に入れることができる。
【0223】
４．大腿骨のすべての重要な部分が十分に見えるようになり、ステップ３ｃからの２つの距離が所望の比になるまで、ステップ２及び３が繰り返される。
【0224】
５．ステップ３からの地点に加えて、システムは、大腿骨頸部の左右のアウト線と大腿骨骨幹部の左右の輪郭を検出する。
【0225】
６．大腿骨頭部の中心から骨幹部の最狭部での中心まで線が引かれる。この線と大腿骨頸部及び大腿骨骨幹部の４つの輪郭との間の４つの距離が計算される。
【0226】
７．頸部領域及び骨幹部領域のそれぞれについて、線がそれぞれの領域の中心のどのくらい近くを通るかを評価するためのメトリックが定義される。例：頸部のメトリックは、線が頸部の左輪郭に触れるときには０であり、線が大腿骨の右輪郭に触れるときには１であり、線が頸部領域の中心にあるときには０．５である。
【0227】
８．頸部メトリックと骨幹部メトリックの加重平均に基づいて、新たなメトリックが定義される。新たなメトリックが第１の閾値よりも低い場合、Ｃアームの焦点が前方に移動するように、ＣアームをそのＣ軸の周りで回転させる必要がある。新たなメトリックが、第１の閾値よりも高い第２の閾値を超える場合、ＣアームをそのＣ軸の周りで反対方向に回転させる必要がある。Ｃアームを回転させる必要がある角度は、メトリックと対応する閾値との間の距離に基づいて計算され得る。
【0228】
９．ステップ８で定義されたメトリックがステップ８からの２つの閾値外にある場合、新たなＭＬ Ｘ線投影画像を取得する必要がある。
【0229】
１０．ステップ８で定義されたメトリックがステップ８からの２つの閾値の間になるまで、ステップ５～９が繰り返される。引かれた線が、最終的な投影された埋め込み軸である。
【0230】
１１．開口器具の投影された先端とステップ１０の線との間の距離が計算される。
【0231】
１２．オプション：開口器具の先端が検出される。開口器具の先端のアピアランス（すなわち、Ｘ線投影画像でのそのサイズ）に基づいて、システムは、開口器具の先端を後方又は前方に移動させるための指示を与える。
【0232】
１３．開口器具の先端がステップ１０の線から離れすぎている場合、その位置が最適化され、新たなＭＬ Ｘ線投影画像が取得される。
【0233】
１４．開口器具の先端がステップ１０の線から特定の距離内になるまで、ステップ１１～１３が繰り返される。
【0234】
１５．開口器具の先端が依然として大転子の先端にあることを確認するためにＡＰ Ｘ線投影画像が取得される。ない場合は、ステップ２に戻る。
【0235】
脛骨にサブインプラント付きの釘を埋め込むための手順
可能性のあるワークフローの例（図２６参照）：
可能性のあるワークフローの例（図２６参照）：
【0236】
０．以下のワークフローでは、脛骨の近位部が損傷されていない（又は適正に再配置されている）ことを前提としている。
【0237】
１．ユーザは、開口器具を脛骨の表面（近位部の任意の地点、しかし理想的には外科医によって推定される進入地点の近傍）に配置する。
【0238】
２．ユーザは、図２に描写されているように、脛骨の近位部（ＴＩＢと表記される）の（ほぼ）側面画像を取得する。
【0239】
【0240】
４．システムは、脛骨のサイズ（スケーリング）を推定するために、すべての画像で開口器具（ＯＩと表記される）のサイズ（又は直径など）を検出する。
【0241】
５．システムは、例えば、骨の輪郭（又はより一般的には骨のアピアランス）に統計モデルをマッチングさせることによって、すべての画像に脛骨の統計モデルを共同でマッチングさせる。このステップの結果が脛骨の３Ｄ再構成である。
ａ．これは、回転及び平行移動に関する１つの画像につき６つのパラメータ、スケーリングに関する１つのパラメータ（ステップ４で既に最初に推定済み）、及び特定の数のモード（モードの決定は脛骨の３Ｄ再構成に相当する）を含む。したがって、ｎ個の画像とｍ個のモードが存在する場合、パラメータの総数は（６・ｎ＋１＋ｍ）である。
ｂ．（各画像での）脛骨のすべての推定された回転及び平行移動に基づいて、システムは、図６に描写されているように、すべての画像の画像位置合わせを実行する。したがって、ＡＰ画像（Ｉ．ＡＰ１及びＩ．ＡＰ２と表記される）、ＭＬ画像（Ｉ．ＭＬと表記される）、開口器具（ＯＩと表記される）の先端、及び脛骨（ＴＩＢと表記される）間の空間関係がわかる。
ｃ．オプション：潜在的により正確な結果のために、システムは、例えば、その統計的な情報を使用することによって、大腿骨顆又は腓骨の情報を使用し得る。
ａ．これは、回転及び平行移動に関する１つの画像につき６つのパラメータ、スケーリングに関する１つのパラメータ（ステップ４で既に最初に推定済み）、及び特定の数のモード（モードの決定は脛骨の３Ｄ再構成に相当する）を含む。したがって、ｎ個の画像とｍ個のモードが存在する場合、パラメータの総数は（６・ｎ＋１＋ｍ）である。
ｂ．（各画像での）脛骨のすべての推定された回転及び平行移動に基づいて、システムは、図６に描写されているように、すべての画像の画像位置合わせを実行する。したがって、ＡＰ画像（Ｉ．ＡＰ１及びＩ．ＡＰ２と表記される）、ＭＬ画像（Ｉ．ＭＬと表記される）、開口器具（ＯＩと表記される）の先端、及び脛骨（ＴＩＢと表記される）間の空間関係がわかる。
ｃ．オプション：潜在的により正確な結果のために、システムは、例えば、その統計的な情報を使用することによって、大腿骨顆又は腓骨の情報を使用し得る。
【0242】
６．脛骨の３Ｄ再構成に基づいて、システムは、進入地点を決定する。これは、例えば、統計モデルの平均形状上の進入地点を定義することによって行われ得る。次いで、この地点が３Ｄ再構成で識別され得る。
【0243】
７．オプション：脛骨の３Ｄ再構成に基づいて、システムは、骨にインプラントを（仮想的に）配置し、近位ロッキングねじの長さを計算する。このステップは、実際のインプラントを考慮するので、進入地点の推定も改善し得る。
【0244】
８．システムは、現在のＸ線画像に進入地点をオーバーレイとして表示する。
【0245】
９．開口器具の先端が推定された進入地点に十分に近くない場合、システムは、先端の位置を修正するように指示を与える。
ａ．ユーザは、開口器具の先端の位置を修正し、新たなＸ線画像を取得する。
ｂ．システムは、（例えば、画像差分分析によって又は新たな画像に脛骨の３Ｄ再構成をマッチさせることによって）新たな画像での進入地点を計算する。
ｃ．ステップ８に戻る。
ａ．ユーザは、開口器具の先端の位置を修正し、新たなＸ線画像を取得する。
ｂ．システムは、（例えば、画像差分分析によって又は新たな画像に脛骨の３Ｄ再構成をマッチさせることによって）新たな画像での進入地点を計算する。
ｃ．ステップ８に戻る。
【0246】
１０．ユーザは、脛骨にインプラントを挿入し、新たな画像を取得する。
【0247】
１１．システムは、インプラントへの撮像方向を決定する。脛骨の３Ｄ再構成に基づいて、システムは、必要な３Ｄ情報（例えば、近位ロッキングねじの長さ）を提供する。
【0248】
１２．システムは、近位ロッキングのためのサポートを提供する。
【0249】
１３．システムは、脛骨の近位部（大腿骨顆を含み得る）と脛骨の遠位部（足を含み得る）を比較することでねじれ角度を計算する。ねじれ角度をより正確に計算するために、システムは、腓骨についての情報も使用し得る。
【0250】
上腕骨にサブインプラント付きの釘を埋め込むための手順
可能性のあるワークフローの例（図２７参照）：
可能性のあるワークフローの例（図２７参照）：
【0251】
０．ユーザは、進入地点と解剖頸との間の所望の距離（例えば、０ｍｍ、又は内側５ｍｍ）を提供する。
【0252】
１．ユーザは、図７に描写されているように、上腕骨の近位部のアキシャルＸ線画像を取得する。
【0253】
２．システムは、（例えば、ニューラルネットワークで）上腕骨頭の輪郭を検出する。検出された輪郭に基づいて、システムは、上腕骨頭（ＨＨと表記される）を円で近似する、すなわち、２Ｄ中心及び半径を推定する。これは、上腕骨頭（２Ｄ中心及び半径）の複数の候補を含む場合があり、それらは（例えば、統計モデル、平均二乗近似誤差、信頼レベルなどに基づく）妥当性に基づいてランク付けされる。検出された骨幹部軸（ＩＣと表記される）に基づいて、システムは、骨幹部軸が垂直線になるように画像を回転させる。システムは、骨頭部の中心が骨幹部軸に十分に近いかどうかを評価する。骨頭部の中心と骨幹部軸との間の距離が大きすぎる場合、システムは、平行移動で再配置を修正するためにアームに遠位方向に牽引力を適用するようにユーザにアドバイスする（すなわち、骨頭対骨幹部であり、軟組織による力が牽引力に対して垂直な再配置をもたらす）。
【0254】
３．システムは、上腕骨頭と骨幹部軸の交点間のどこか（例えば、交点の中心よりも２０％上）にある最初の進入地点（ＥＰと表記される）を推定する。
【0255】
４．ユーザは、ステップ３からの最初の推測の進入地点にガイドロッドを配置する。
【0256】
５．ユーザは、図８に描写されているように、ガイドロッド（ＯＩと表記される）が見える、さらなるアキシャルＸ線画像を取得する。
【0257】
６．システムは、上腕骨頭（ＨＨと表記される）（２Ｄ中心及び半径）と２Ｄ骨幹部軸（ＩＣと表記される）を検出し、ガイドロッド（ＯＩと表記される）の先端とその２Ｄスケーリング（ガイドロッドの既知の直径に基づく）を検出する。
【0258】
７．システムは、ＣアームをそのＣ軸の周りで回転させるようにユーザにアドバイスする（さらに許容されるＣアームの移動は、遠位－近位又は前－後方向の平行移動であり、禁じられる動きは、他の回転及び内－外方向への平行移動である）。
【0259】
８．ユーザは、図９に描写されているように、ガイドロッドの先端を動かさずに（先端が定位置にとどまっている限り、ガイドロッドの角運動は許容される）、上腕骨の近位部のＡＰ Ｘ線画像（真のＡＰ画像である必要はない）を取得する。
【0260】
９．システムは、上腕骨頭（ＨＨと表記される）（２Ｄ中心及び半径）と２Ｄ骨幹部軸（ＩＣと表記される）を検出し、ガイドロッド（ＯＩと表記される）の先端とその２Ｄスケーリング（ガイドロッドの既知の直径に基づく）を検出する。
【0261】
１０．ステップ６～９からの情報に基づいて、システムは、図１０に描写されているように画像位置合わせを実行し、上腕骨頭の球近似（ＨＨ３Ｄと表記される）と、この球と同じ座標系にある３Ｄ骨幹部軸を計算する。
【0262】
１１．投影された上腕骨頭の円形部分の始点と終点を定義する４つ（すなわち、アキシャル画像及びＡＰ画像につき２つずつ）の地点（図１１及び図１２ではＣＡと表記される）が存在する。システムは、これらの４つの地点のうち少なくとも３つを検出する。これらの少なくとも３つの地点に基づいて、システムは、（例えば、上腕骨頭の球近似と交わる３つの地点に基づいて平面を定義することによって）３Ｄの解剖頸を決定する。
【0263】
１２．システムは、解剖頸の決定を改善するために、ステップ１１からの第４の地点も使用し得る（例えば、重みが４つの地点のそれぞれの個々の信頼レベルに基づいている加重最小２乗法で）。
【0264】
１３．３Ｄ骨幹部軸が垂直線になり、上腕骨頭が骨幹部よりも上になるように解剖学的構造を空間内で仮想的に回転させるとき、進入地点は、解剖頸上の空間内の最高地点（図１３ではＣＡ３Ｄと表記される）として定義される。ステップ０からの設定とステップ１０～１２からの結果に基づいて、システムは、最後の進入地点（ＥＰと表記される）を計算する。
【0265】
１４．ユーザは、計算された進入地点にガイドロッドを配置し、図１４に描写されているように新しいＡＰ Ｘ線画像を取得する。
【0266】
１５．システムは、ガイドロッド（ＯＩと表記される）の先端を検出し、ガイドロッドの先端が計算された進入地点（ＥＰと表記される）の十分に近くにあるかどうかを評価する。
【0267】
１６．ガイドロッドの先端が進入地点に十分に近くなるまで、ステップ１４及び１５が繰り返される。
【0268】
１７．ガイドロッドの角運動に関する随意的な指示。
ａ．最新の画像位置合わせ（３Ｄの上腕骨頭を含む）に基づいて、システムは、図１５及び図１６に描写されているように、上腕骨頭とガイドロッドとの空間関係を決定する。ガイドロッドの方向が意図される挿入方向から大きく逸脱する場合、システムは、ガイドロッドの角運動の指示を与える。意図される挿入方向は、例えば、統計モデルで、又はガイドロッドの軸（ＯＩＡと表記される）を上腕骨頭の軸（ＨＡと表記される）と比較することで推定され得る。
ｂ．ステップａで指示が与えられた場合、ユーザは、指示に従い、同じ方向から新たなＸ線画像を取得する。画像差分分析により、画像の変化が検出され、画像位置合わせが更新される。
ｃ．ガイドロッドの角運動がそれ以上は不要になるまで、ステップａ及びｂが繰り返される。
ａ．最新の画像位置合わせ（３Ｄの上腕骨頭を含む）に基づいて、システムは、図１５及び図１６に描写されているように、上腕骨頭とガイドロッドとの空間関係を決定する。ガイドロッドの方向が意図される挿入方向から大きく逸脱する場合、システムは、ガイドロッドの角運動の指示を与える。意図される挿入方向は、例えば、統計モデルで、又はガイドロッドの軸（ＯＩＡと表記される）を上腕骨頭の軸（ＨＡと表記される）と比較することで推定され得る。
ｂ．ステップａで指示が与えられた場合、ユーザは、指示に従い、同じ方向から新たなＸ線画像を取得する。画像差分分析により、画像の変化が検出され、画像位置合わせが更新される。
ｃ．ガイドロッドの角運動がそれ以上は不要になるまで、ステップａ及びｂが繰り返される。
【0269】
１８．画像位置合わせの随意的な改善と上腕骨頭の輪郭の検証。
ａ．ユーザは、図１７に描写されているようにガイドロッドを挿入する。
ｂ．ユーザは、（例えば、図１８に描写されているようなアキシャル）Ｘ線画像を取得する。
ｃ．システムは、ガイドロッド（ＯＩと表記される）への撮像方向を決定し、上腕骨頭（ＨＨと表記される）（２Ｄ中心及び半径）を検出する。
ｄ．システムは、ＣアームをそのＣ軸の周りで回転させるようにユーザにアドバイスする（さらなる可能なＣアームの移動についてはステップ７参照）。
ｅ．ユーザは、ガイドロッドを動かさずに、他の方向から（例えば、図１９に描写されているようなＡＰ）Ｘ線画像を取得する。
ｆ．システムは、ガイドロッド（ＯＩと表記される）への撮像方向を決定し、上腕骨頭（ＨＨと表記される）（２Ｄ中心及び半径）を検出する。
ｇ．両方の画像からの情報に基づいて、システムは画像位置合わせを実行する。ガイドロッドの３Ｄモデルが既知であるため、この画像位置合わせはステップ１０よりも正確である。
ｈ．画像位置合わせに基づいて、システムは、両方の画像での上腕骨頭の検出を検証し得る。
ｉ．検証結果に基づいて、システムは、両方の画像での上腕骨頭の輪郭を（例えば、上腕骨頭の別の候補を選ぶことによって）最適化する。
ａ．ユーザは、図１７に描写されているようにガイドロッドを挿入する。
ｂ．ユーザは、（例えば、図１８に描写されているようなアキシャル）Ｘ線画像を取得する。
ｃ．システムは、ガイドロッド（ＯＩと表記される）への撮像方向を決定し、上腕骨頭（ＨＨと表記される）（２Ｄ中心及び半径）を検出する。
ｄ．システムは、ＣアームをそのＣ軸の周りで回転させるようにユーザにアドバイスする（さらなる可能なＣアームの移動についてはステップ７参照）。
ｅ．ユーザは、ガイドロッドを動かさずに、他の方向から（例えば、図１９に描写されているようなＡＰ）Ｘ線画像を取得する。
ｆ．システムは、ガイドロッド（ＯＩと表記される）への撮像方向を決定し、上腕骨頭（ＨＨと表記される）（２Ｄ中心及び半径）を検出する。
ｇ．両方の画像からの情報に基づいて、システムは画像位置合わせを実行する。ガイドロッドの３Ｄモデルが既知であるため、この画像位置合わせはステップ１０よりも正確である。
ｈ．画像位置合わせに基づいて、システムは、両方の画像での上腕骨頭の検出を検証し得る。
ｉ．検証結果に基づいて、システムは、両方の画像での上腕骨頭の輪郭を（例えば、上腕骨頭の別の候補を選ぶことによって）最適化する。
【0270】
１９．上腕骨頭の回旋転位の随意的な修正。
ａ．ユーザは、（アキシャル又はＡＰ）Ｘ線画像を取得する。システムは、ガイドロッドへの撮像方向を決定し、２Ｄ骨幹部軸と２Ｄ上腕骨頭軸（上腕骨頭の見える円形部分によって定義される）を検出する。
ｂ．前の画像が、顕著に異なる撮像方向のものであった場合（例えば、前の画像はアキシャルで、現在の画像はＡＰ）、システムは、最新の画像ペアに基づいて画像位置合わせを実行する。この画像位置合わせに基づいて、システムは、現在の画像の骨幹部軸と骨頭軸との間の理想的な２Ｄ角度を決定する。
ｃ．前の画像が、非常に類似した撮像方向（例えば、画像差分分析によって識別される）のものであった場合、骨幹部軸と骨頭軸との間の理想的な２Ｄ角度は（前の画像に比べて）不変のままである。
ｄ．システムは、骨幹部軸と骨頭軸との間の現在の２Ｄ角度を計算する。
ｅ．骨幹部軸と骨頭軸との間の角度が、ステップ１９ｂ又は１９ｃからの理想的な角度（例えば、アキシャル画像では２０°、又はＡＰ画像では１３０°）に十分に近くない場合、システムは、背腹側（アキシャル画像）方向又は内外側（ＡＰ画像）方向の回旋転位を修正するための指示を与える。
ｆ．前の画像が、非常に類似した撮像方向のものであったが、上腕骨頭の見える円形部分が（例えば以前の転位修正に起因して）前の画像に比べてより小さい又はより大きい場合、回旋転位が他の撮像方向でも変化している可能性があるため、システムは、次の画像の撮像方向を変更する（すなわち、画像位置合わせを更新する）べく、ＣアームをそのＣ軸の周りで回転させるようにさらなる指示を与える。
ｇ．指示が与えられた場合、ユーザは、回旋転位を修正し（必要であればＣアームを回転させ）、ステップ１９ａに戻る。
ａ．ユーザは、（アキシャル又はＡＰ）Ｘ線画像を取得する。システムは、ガイドロッドへの撮像方向を決定し、２Ｄ骨幹部軸と２Ｄ上腕骨頭軸（上腕骨頭の見える円形部分によって定義される）を検出する。
ｂ．前の画像が、顕著に異なる撮像方向のものであった場合（例えば、前の画像はアキシャルで、現在の画像はＡＰ）、システムは、最新の画像ペアに基づいて画像位置合わせを実行する。この画像位置合わせに基づいて、システムは、現在の画像の骨幹部軸と骨頭軸との間の理想的な２Ｄ角度を決定する。
ｃ．前の画像が、非常に類似した撮像方向（例えば、画像差分分析によって識別される）のものであった場合、骨幹部軸と骨頭軸との間の理想的な２Ｄ角度は（前の画像に比べて）不変のままである。
ｄ．システムは、骨幹部軸と骨頭軸との間の現在の２Ｄ角度を計算する。
ｅ．骨幹部軸と骨頭軸との間の角度が、ステップ１９ｂ又は１９ｃからの理想的な角度（例えば、アキシャル画像では２０°、又はＡＰ画像では１３０°）に十分に近くない場合、システムは、背腹側（アキシャル画像）方向又は内外側（ＡＰ画像）方向の回旋転位を修正するための指示を与える。
ｆ．前の画像が、非常に類似した撮像方向のものであったが、上腕骨頭の見える円形部分が（例えば以前の転位修正に起因して）前の画像に比べてより小さい又はより大きい場合、回旋転位が他の撮像方向でも変化している可能性があるため、システムは、次の画像の撮像方向を変更する（すなわち、画像位置合わせを更新する）べく、ＣアームをそのＣ軸の周りで回転させるようにさらなる指示を与える。
ｇ．指示が与えられた場合、ユーザは、回旋転位を修正し（必要であればＣアームを回転させ）、ステップ１９ａに戻る。
【0271】
２０．随意的なねじれのチェック。
ａ．ユーザは、前腕を身体（又は大腿部）と平行になるように配置する。
ｂ．ユーザは、アキシャルＸ線画像を取得する。
ｃ．システムは、上腕骨頭軸と関節窩の２Ｄ中心を検出する。システムは、関節窩の中心と骨頭軸との間の距離を計算する。この結果に基づいて、システムは、ねじれをどの方向にどの角度だけ修正する必要があるか指示を与える。
ｄ．ユーザは、ステップＣからの方向に及び角度だけ骨頭を回転させることでねじれを修正する。
ｅ．関節窩の中心が上腕骨頭の軸に十分に近くなるまで、ステップ２０ｂ～２０ｄが繰り返される。
ａ．ユーザは、前腕を身体（又は大腿部）と平行になるように配置する。
ｂ．ユーザは、アキシャルＸ線画像を取得する。
ｃ．システムは、上腕骨頭軸と関節窩の２Ｄ中心を検出する。システムは、関節窩の中心と骨頭軸との間の距離を計算する。この結果に基づいて、システムは、ねじれをどの方向にどの角度だけ修正する必要があるか指示を与える。
ｄ．ユーザは、ステップＣからの方向に及び角度だけ骨頭を回転させることでねじれを修正する。
ｅ．関節窩の中心が上腕骨頭の軸に十分に近くなるまで、ステップ２０ｂ～２０ｄが繰り返される。
【0272】
潜在的な変更：ステップ３で交点の中心から２０％上（内側）に進入地点を推定する代わりに、システムは、ガイドロッドの先端が上腕骨頭の球状部分にあることを保証するために、より高い値（例えば７０％）を使用し得る。ステップ１０において、システムは、ガイドロッドの先端が上腕骨頭の球近似上にあるという情報を使用して、画像位置合わせを改善し得る。上記の７０％法により、ガイドロッドの先端の現在の位置は、（２０％法に比べて）進入地点までの距離が大きくなる。ガイドロッドの先端が進入地点に到達するようにユーザをガイドするとき（ステップ１４～ステップ１６）、システムは、（例えば画像差分分析によって）ビュー方向が変化したかどうかを判定する。ビュー方向が変化していない場合、以前のＸ線画像から計算された進入地点が使用され、更新された先端の検出位置に基づいてガイダンス情報が更新される。ビュー方向が僅かに変化した場合、進入地点は、それに応じてシフトされる（例えば、オブジェクトトラッキングと呼ばれる技術によって、例えば、Ｓ． Ｒ． Ｂａｌａｊｉ ｅｔ ａｌ．， “Ａ ｓｕｒｖｅｙ ｏｎ ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ” （２０１７）参照）。ビュー方向が顕著に変化した場合、システムは、ガイドロッドの先端を動かさずに、ＣアームをそのＣ軸の周りで回転させ、異なるビュー方向（例えば、現在の画像がＡＰの場合はアキシャル）からＸ線画像を取得するようにユーザに指示する。更新された画像に基づいて、システムは、以前の位置合わせによって取得された情報（例えば、上腕骨頭のボール近似の半径）に基づいて画像位置合わせを実行し、現在の画像に進入地点を表示し、ガイドロッドの先端が進入地点に到達するようにユーザをナビゲートする。
【0273】
大腿骨の前傾角の決定
以下に、最新技術よりも堅牢及び／又は正確であり得る、インプラントの挿入前又は挿入後にＡＶ角度を決定する例示的なワークフローを提示する。一実施形態によれば、大腿骨の前傾角の決定に関する全体的な手順は、次のように進められる（図３４参照）。
以下に、最新技術よりも堅牢及び／又は正確であり得る、インプラントの挿入前又は挿入後にＡＶ角度を決定する例示的なワークフローを提示する。一実施形態によれば、大腿骨の前傾角の決定に関する全体的な手順は、次のように進められる（図３４参照）。
【0274】
１．ユーザは、開口器具の先端を概ね大転子の先端に配置する。
【0275】
２．ユーザは、図２０に描写されているように、大腿骨の近位部のＡＰ Ｘ線画像を取得する。
【0276】
３．システムは、大腿骨の２Ｄ輪郭（ＦＥＭと表記される）と、円で近似される（すなわち、２Ｄ中心及び２Ｄ半径によって決定される）大腿骨頭（ＦＨと表記される）を検出し、開口器具（ＯＩと表記される）の先端を検出する。
【0277】
４．大腿骨のいくつかの重要な部分又は開口器具の先端が十分に見えない場合、システムは、Ｃアームを回転及び／又は移動させるように指示を与え、ユーザはステップ２に戻る。
【0278】
５．ユーザは、ＣアームをそのＣ軸の周りで回転させて、ＭＬ Ｘ線画像を取得する。ユーザは、Ｃアームの内外側方向及び／又は前後方向のシフトをさらに使用し得る。Ｃアームを動かしている間、開口器具の先端を動かしてはならない。
【0279】
６．ユーザは、図２１に描写されているように、大腿骨の近位部のＭＬ Ｘ線画像を取得する。
【0280】
７．システムは、大腿骨の２Ｄ輪郭（ＦＥＭと表記される）と、大腿骨頭（ＦＨと表記される）（すなわち、２Ｄ中心及び２Ｄ半径）を検出し、開口器具（ＯＩと表記される）の先端を検出する。
【0281】
８．大腿骨のいくつかの重要な部分又は開口器具の先端が十分に見えない場合、システムは、Ｃアームを移動させる（平行移動のみ）又はＣアームをそのＣ軸の周りで回転させるように指示を与え、ユーザはステップ６に戻る。
【0282】
９．近位ＡＰ及びＭＬ画像ペアに基づいて、システムは画像位置合わせを実行する。画像位置合わせが上手くいかなかった場合、システムは、Ｃアームを回転及び／又は移動させるように指示を与え、ユーザはステップ２に戻る。
【0283】
１０．ユーザは、Ｃアームを患者の脚に沿って遠位方向に移動させる。このステップでは、Ｃアームの回転は許されないが、３方の平行移動はすべて許容される。
【0284】
【0285】
１２．システムは、大腿骨の２Ｄ輪郭（ＦＥＭと表記される）を検出する。
【0286】
１３．大腿骨顆の特定の姿勢又は整列は必要とされない。しかしながら、大腿骨のいくつかの重要な部分が十分に見えない場合、システムは、Ｃアームを移動させる（平行移動のみが許容される）ように指示を与え、ユーザはステップ１１に戻る。
【0287】
１４．画像位置合わせに基づいて、システムは、すべての画像で統計モデルの投影された輪郭が大腿骨の検出された２Ｄ輪郭とマッチするように、すべての画像に（骨折した大腿骨と骨折していない大腿骨でトレーニングされた）統計モデルを共同してあてはめる。このステップは、大腿骨の３Ｄ再構成に直接つながる。３Ｄ再構成の正確性を向上させるために、システムは、（近位画像位置合わせに基づいて）開口器具の先端の３Ｄ位置を計算し、開口器具の先端が大腿骨の表面に配置されたという事実を利用して、この地点を参照点として使用し得る。
【0288】
１５．システムは、図２４に描写されているように、大腿骨の３Ｄ再構成に基づいて前傾角を決定する。Ｙｅｏｎ Ｓｏｏ Ｌｅｅ ｅｔ ａｌ．： “３Ｄ ｆｅｍｏｒａｌ ｎｅｃｋ ａｎｔｅｖｅｒｓｉｏｎ ｍｅａｓｕｒｅｍｅｎｔｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｐｏｓｔｅｒｉｏｒ ｆｅｍｏｒａｌ ｐｌａｎｅ ｉｎ ＯＲＴＨＯＤＯＣ（登録商標） ｓｙｓｔｅｍ” （２００６）によれば、前傾角は、大腿骨頭部の中心（ＦＨＣと表記される）、大腿骨頸部の中心（ＦＮＣと表記される）、転子の後方頂点（ＴＲＯと表記される）、及び大腿骨後顆の外側頂点及び内側頂点（ＬＣ及びＭＣと表記される）に基づいて計算され得る。システムは、ステップ１０からの大腿骨の３Ｄ再構成でこれらの５つの地点を識別し、したがって、前傾角を計算する。
【0289】
フリーハンドのロック手順
大腿骨釘の遠位ロック手順の様々な実装が存在し得る。以下に、可能性のあるワークフローの２つの例（１つは「クイック」で、もう１つは正確性が「拡張された」ものである）を提示する。いずれのワークフローにおいても、ユーザは、ドリリング中の任意の時点で、ほぼリアルタイム（ＮＲＴ）のフィードバックによりＸ線画像に基づいてドリル軌道を検証し、必要に応じてドリリング角度を修正し得る。この検証は、Ｃアームの回転又は再調整を必要としない。そのような検証に関する例示的なワークフローを以下に提供する。
大腿骨釘の遠位ロック手順の様々な実装が存在し得る。以下に、可能性のあるワークフローの２つの例（１つは「クイック」で、もう１つは正確性が「拡張された」ものである）を提示する。いずれのワークフローにおいても、ユーザは、ドリリング中の任意の時点で、ほぼリアルタイム（ＮＲＴ）のフィードバックによりＸ線画像に基づいてドリル軌道を検証し、必要に応じてドリリング角度を修正し得る。この検証は、Ｃアームの回転又は再調整を必要としない。そのような検証に関する例示的なワークフローを以下に提供する。
【0290】
可能性のあるワークフローの例（クイックバージョン）、図３５参照：
【0291】
１．ユーザは、大腿骨の遠位部の（例えば、図２８に描写されているようにＡＰ、又はＭＬ）Ｘ線画像を取得する。
【0292】
２．システムは、インプラントへの撮像方向を決定し、大腿骨の輪郭を検出する。インプラント又は大腿骨の輪郭のいずれかを検出できない場合、システムは、（例えば、Ｃアームを動かすことによって）可視性を改善するように指示を与える。ユーザは、指示に従い、ステップ１に戻る。
【0293】
３．ユーザは、大腿骨の表面（例えば、釘穴軌道）にドリルを配置する。ユーザは、別のビュー方向（例えば、図２９に描写されているように２５°－ＭＬ）からＸ線画像を取得する。
【0294】
４．システムは、インプラント（ＩＭと表記される）への撮像方向を決定し、大腿骨の輪郭（ＦＥＭと表記される）を検出し、インプラントとドリル（ＤＲと表記される）との相対３Ｄ位置及び３Ｄ姿勢を決定する。
【0295】
５．ドリルの先端を検出できない場合、システムは、（例えば、Ｃアームを動かすことによって）ドリルの先端の可視性を改善するように指示を与える。ユーザは、指示に従い、新たな画像を取得し、ステップ４に戻る。
【0296】
【0297】
７．ステップ６からの画像位置合わせに基づいて、システムは、両方の画像でのその投影された輪郭を大腿骨の検出された輪郭とマッチさせることによって大腿骨の統計モデルをあてはめる（すなわち、両方の画像での大腿骨の回転及び平行移動、スケーリング、及び統計モデルのモードを決定する）。
【0298】
８．現在の画像について、システムは、画像平面内のドリルの先端から焦点までの線を定義する。この線は、再構成された大腿骨と２回交わる（すなわち、進入地点と退出地点）。焦点により近い地点が、ドリルの先端の現在の３Ｄ位置として選択される。システムは、釘穴軌道に沿って再構成された大腿骨の骨幹部直径に基づいて、ロッキングねじの長さを計算し得る。
【0299】
９．大腿骨とインプラントとの既知の空間関係（画像位置合わせと大腿骨の再構成による）に基づいて、システムは、ドリルとインプラントとの空間関係を計算する。
【0300】
１０．ドリル軌道が釘穴を通る場合、システムはドリリングを開始するように指示を与え、ユーザはドリリングを開始し、ユーザはステップ１４に進む。ドリリングプロセス中の任意の時点で、ユーザは、以下の例示的なワークフローに従ってドリル軌道を検証することができる。
【0301】
１１．ドリル軌道が釘穴を通らない場合、システムは、ドリルの先端を移動させる及び／又はドリルを回転させる指示を与える。ユーザは、指示に従い、新たなＸ線画像を取得する。
【0302】
１２．システムは、（例えば、画像差分分析によって）ビュー方向が変化したかどうかを評価する。ビュー方向が変化していない場合、システムは、前の画像からのほとんどの結果を使用し得るが、ドリルへの撮像方向を決定する。ビュー方向又は他の任意の関連する画像コンテンツが（例えば、画像のぼかし効果、オクルージョンなどによって）変化した場合、システムは、この情報を使用して、（例えば、現在の画像のさらなるビュー方向を使用することによって）画像位置合わせを改善し得る。システムは、インプラント及びドリルへの撮像方向を決定し、大腿骨の輪郭を検出し、再構成された大腿骨を現在の画像にあてはめる。
【0303】
１３．ユーザはステップ９に戻る。
【0304】
１４．ユーザがさらなる穴でロックすることを望む場合、システムは、すべての釘穴の進入地点（大腿骨の３Ｄ再構成と理想ロック位置の埋め込み曲線との交点によって与えられる）を表示し、進入地点に到達するためにドリルの先端をどのように移動させるかの指示を与える。例が図３２に描写されている。ユーザは、計算された進入地点（ＥＰと表記される）にドリルの先端を配置し、ステップ１２に戻る。
【0305】
可能性のあるワークフローの例（拡張バージョン）、図３６参照：
【0306】
１．オプション：ユーザは、大腿骨の遠位部の（例えば、図２８に描写されているようにＡＰ、又はＭＬ）Ｘ線画像を取得する。システムは、インプラント（ＩＭと表記される）への撮像方向を決定し、大腿骨の輪郭（ＦＥＭと表記される）を検出する。インプラント又は大腿骨の輪郭のいずれかを検出できない場合、システムは、（例えば、Ｃアームを動かすことによって）可視性を改善するように指示を与える。ユーザは、指示に従い、このステップの最初に戻る。
【0307】
２．ユーザは、大腿骨の表面（例えば、釘穴軌道）にドリルを配置する。
【0308】
３．ユーザは、大腿骨の遠位部の（例えば、ＭＬ又はＡＰ）Ｘ線画像を取得する。システムは、インプラント（ＩＭと表記される）への撮像方向を決定し、大腿骨の輪郭（ＦＥＭと表記される）を検出し、インプラントとドリル（ＤＲと表記される）との相対３Ｄ位置及び３Ｄ姿勢を決定する。インプラント又は大腿骨の輪郭又はドリルの先端のいずれかを検出できない場合、システムは、（例えば、Ｃアームを動かすことによって）可視性を改善するように指示を与える。ユーザは、指示に従い、このステップの最初に戻る。釘の座標系に対する骨の３Ｄ再構成に基づいて、システムは、サブインプラント（例えば、ロッキングねじ）の必要な長さを計算し、それに応じた情報を表示する。
【0309】
４．ユーザは、別のビュー方向（例えば、図２９に描写されているように２５°－ＭＬ）からＸ線画像を取得する。ドリルの先端は画像間で移動してはならない。移動していた場合、システムは、これを検出することができ、ユーザにステップ３に戻るように要求し得る。
【0310】
５．システムは、インプラント（ＩＭと表記される）への撮像方向を決定し、大腿骨の輪郭（ＦＥＭと表記される）を検出し、インプラントとドリル（ＤＲと表記される）との相対３Ｄ位置及び３Ｄ姿勢を決定する。
【0311】
６．ドリルの先端を検出できない場合、システムは、（例えば、Ｃアームを動かすことによって）ドリルの先端の可視性を改善するように指示を与える。ユーザは、指示に従い、新たな画像を取得し、ステップ５に戻る。
【0312】
【0313】
８．ステップ７からの画像位置合わせに基づいて、もしかすると以前の画像位置合わせからの情報も使用して、システムは、画像でのその投影された輪郭を大腿骨の検出された輪郭とマッチさせることによって大腿骨の統計モデルをあてはめる（すなわち、両方の画像での大腿骨の回転及び平行移動、スケーリング、及び統計モデルのモードを決定する）。オプション：システムは、再構成された骨及び決定された釘穴軌道に基づいて、計算されたサブインプラントの長さを更新し得る。
【0314】
９．現在の画像について、システムは、画像平面内のドリルの先端から焦点までの線Ｌ１（図３１ではＬ１と表記される）を定義する。Ｌ１は、再構成された大腿骨と２回交わる（すなわち、進入地点と退出地点）。焦点により近い地点が、ドリルの先端の現在の３Ｄ位置の最初の値として選択される。
【0315】
１０．ドリルの先端を含む他のビュー方向からの画像について、システムは、画像平面内のドリルの先端から焦点（すなわち、その画像の対応する座標系）までの線Ｌ２を定義する。画像位置合わせに基づいて、この線が現在の画像の座標系に変換される。変換された線は、Ｌ２’（図３１ではＬ２’と表記される）と呼ばれる。
【0316】
１１．Ｌ１とＬ２’間の最小距離が特定の閾値を超える場合、画像間でドリルの先端が移動した可能性が高いため、システムは、ステップ４に戻るようにユーザにアドバイスし得る。オプション：ユーザが、画像位置合わせに使用した画像ペアの生成間でドリルの先端が移動していないことを確認すると、システムは、両方の画像でのインプラントの撮像方向の決定を最適化し、Ｌ１とＬ２’間の距離を最小にすることで、画像位置合わせを改善する。（インプラントへの撮像方向の決定とドリルの先端の検出が両方の画像で完璧であり、画像間でドリルの先端が移動していない場合、Ｌ１とＬ２’は交わる。）
【0317】
１２．Ｌ２’までの最小距離を有するＬ１上の地点が、ドリルの先端の現在の３Ｄ位置のさらなる最初の値として選択される。
【0318】
１３．ドリルの先端の３Ｄ位置の２つの解決法（すなわち、ステップ９及びステップ１２からの）に基づいて、システムは、（例えば、ステップ１２からの解決法を選ぶか、又は両方の解決法を平均化することによって）ドリルの先端の現在の３Ｄ位置を見つける。ドリルの先端は大腿骨の表面にあるため、システムは、ドリルの先端の推定された３Ｄ位置が再構成された大腿骨の表面にあるという制約の下で、大腿骨の３Ｄ再構成を改善する。システムは、大腿骨の改善された再構成に基づいて、以前に計算されたサブインプラントの長さを検証し得る。更新された長さが、（もしかするとサブインプラントの利用可能な長さの増分を考慮して）以前に計算されたねじの長さから逸脱する場合、システムはユーザに通知する。
【0319】
１４．大腿骨とインプラントとの既知の空間関係（画像位置合わせと大腿骨の再構成による）に基づいて、システムは、ドリルとインプラントとの空間関係を計算する。
【0320】
１５．ドリル軌道が釘穴を通る場合、システムはドリリングを開始するように指示を与え、ユーザは、ドリリングを開始し、ドリリング後にサブインプラントを挿入し、次いで、ステップ１９に進む。ドリリングプロセス中の任意の時点で、ユーザは、以下の例示的なワークフローに従ってドリル軌道を検証することができる。
【0321】
１６．ドリル軌道が釘穴を通らない場合、システムは、ドリルの先端を移動させる及び／又はドリルを回転させる指示を与える。ユーザは、指示に従い、新たなＸ線画像を取得する。
【0322】
１７．システムは、（例えば画像差分分析によって）ビュー方向が変化したかどうかを評価する。ビュー方向が変化していない場合、システムは、前の画像からのほとんどの結果を使用し得るが、ドリルへの撮像方向を決定する。ビュー方向又は他の任意の関連する画像コンテンツが（例えば、画像のぼかし効果、オクルージョンなどによって）変化した場合、システムは、この情報を使用して、（例えば、現在の画像のさらなるビュー方向を使用することによって）画像位置合わせを改善し得る。システムは、利用可能であれば、既に挿入されたサブインプラントの撮像方向を、それらの進入地点及びドリルについての利用可能な情報を考慮に入れて決定することで最適化された、インプラントへの撮像方向を決定し、大腿骨の輪郭を検出し、再構成された大腿骨を現在の画像にあてはめる。
【0323】
１８．ユーザはステップ１４に戻る。
【0324】
１９．ユーザがさらなる穴でロックすることを望む場合、システムは、すべての釘穴の進入地点（大腿骨の３Ｄ再構成と理想ロック位置の埋め込み曲線との交点によって与えられる）を表示し、進入地点に到達するためにドリルの先端をどのように移動させるかの指示を与える。例が図３２に描写されている。ユーザは、計算された進入地点（ＥＰと表記される）にドリルの先端を配置し、ステップ１７に戻る。
【0325】
任意の時点で、ユーザが、穴のロックが成功したかどうかをチェックすることにした場合、ロック穴軌道から８度未満だけ逸脱した撮像方向で画像を取得することができ、システムは、ロックが成功したかどうかを自動的に評価する。最後の穴でロックされている、又は実行したロック手順の検証を必要とする情報がシステムにある場合、システムは、Ｃアームの位置をロック穴軌道に対して上に到達するようにユーザをガイドし得る。
【0326】
提案された進入地点にドリルを配置するための正しいスポットでの皮膚切開の実行をサポートするために、システムは、皮膚と骨との間の距離を推定することによって、埋め込み曲線と骨上の進入地点に基づいて皮膚進入地点を投影し得る。
【0327】
ドリル軌道の検証及び修正に関する可能性のあるワークフローの例、図３７参照：
【0328】
１．ユーザは、現在の撮像方向からＸ線画像を取得する。
【0329】
２．システムは、ドリル及び釘を位置合わせする、すなわち、それは、取得したＸ線画像に基づいてそれらの相対３Ｄ位置及び姿勢を決定する。２Ｄ－３Ｄマッチングの曖昧さは、ドリル軸が進入地点（すなわち、ドリリングの開始点）を通るという事前情報（釘に対する３Ｄ座標は図３５又は図３６のワークフローで事前に決定されている）を考慮に入れることで解決され得る。これについてのさらなる説明を以下に提供する。
【0330】
３．釘に対する現在のドリル位置及び姿勢が、ドリルが現在の経路を継続するとロック穴を逃すことを示す場合、システムは、ドリルビットが回転している状態で、電動工具を指定された角度だけ傾けるようにユーザに指示を与える。そうすることで、ドリルビットは海綿骨を横方向に削り、したがって、適正な軌道に戻る。指示で与えられる角度は、指示に従うとドリルが骨の内部で曲がる可能性があることを考慮に入れており、曲がる量は、ドリルの挿入深さ、骨密度、並びにドリルの剛性及び直径に依存し得る。
【0331】
４．ユーザは、ステップ１に戻る又はドリリングを再開し得る。このステップ１からステップ４までのループは、ほぼリアルタイムのナビゲーションガイダンスで継続的に実行され得る。
【0332】
ステップ２での２Ｄ－３Ｄマッチングの曖昧さの解決が図３８及び図３９に示されている。図３８は、３Ｄ空間での３つの異なるドリル位置（ＤＲ１、ＤＲ２、及びＤＲ３と表記される）を示しており、これらはすべて、図３９の同じ２Ｄ投影ＤＲＰになる。しかしながら、ドリル軸が進入地点ＥＰを通るという事前情報を考慮に入れることで、釘Ｎに対するドリルの３Ｄ位置及び姿勢についての曖昧さが解決され得る。
【0333】
ドリルが釘に近づくと、Ｘ線画像でのドリルの先端が釘と重なるため、ステップ１で取得された画像では２Ｄ－３Ｄマッチングの曖昧さを解決できなくなる可能性があることに留意されたい。この場合、ドリルの先端（及び釘）を示す異なる撮像方向からのさらなるＸ線画像を取得することが、考えられる解決策であり得る。さらなるＸ線画像において、釘への撮像方向も決定され得る、したがって、さらなるＸ線画像は、元のＸ線画像と位置合わせされ得る。さらなるＸ線画像で、ドリルの先端が検出され得る。さらなるＸ線画像での検出されたドリルの先端によって定義される地点がエピポーラ線を定義する。ツールの軸が、元のＸ線画像で検出され、エピポーラ平面を定義し得る。エピポーラ平面とエピポーラ線との交点が、３Ｄ空間での釘に対する先端の位置を定義する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【国際調査報告】