知財求人 - 知財ポータルサイト「IP Force」
▶ メタモーフォシス ゲゼルシャフト・ミット・ベシュレンクター・ハフトゥングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-10
(45)【発行日】2024-09-19
(54)【発明の名称】２ＤのＸ線画像で見えない解剖学的構造の人工知能ベースの検出
(51)【国際特許分類】
A61B 6/02 20060101AFI20240911BHJP
A61B 6/00 20240101ALI20240911BHJP
【ＦＩ】
A61B6/02 551Z
A61B6/00 550Z
【請求項の数】
14
(21)【出願番号】P 2023537304
(86)(22)【出願日】2021-12-17
(65)【公表番号】
(43)【公表日】2024-01-05
(86)【国際出願番号】 EP2021086541
(87)【国際公開番号】W WO2022136171
(87)【国際公開日】2022-06-30
【審査請求日】2023-08-07
(31)【優先権主張番号】20216186.5
(32)【優先日】2020-12-21
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】521226945
【氏名又は名称】メタモーフォシス ゲゼルシャフト・ミット・ベシュレンクター・ハフトゥング
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ブラウ，アルノ
(72)【発明者】
【氏名】ラム，アルツール
【審査官】蔵田 真彦
(56)【参考文献】
【文献】特表２０１０－５３５０５１（ＪＰ，Ａ）
【文献】特表２０１３－５３３７６５（ＪＰ，Ａ）
【文献】特表２０１３－５２６３７７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１５７７５１（ＵＳ，Ａ１）
【文献】欧州特許出願公開第０３４７９７９０（ＥＰ，Ａ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００－６／５８
(57)【特許請求の範囲】
【請求項1】
Ｘ線画像に基づいて上腕骨手術を支援するシステムであって、少なくとも２つのイメージング方向から生成される、上腕骨の近位部分を示している、少なくとも２つのＸ線画像を受信するステップと、
前記少なくとも２つのＸ線画像にレジストレーションを行うステップと、
前記Ｘ線画像で上腕骨頭の２Ｄアウトラインの少なくとも一部を特定の２Ｄ形状で近似するステップと、
近似された前記２Ｄアウトライン及び前記Ｘ線画像の前記レジストレーションに基づいて前記上腕骨頭を特定の３Ｄ形状で近似するステップと、
前記少なくとも２つのＸ線画像で合計少なくとも３つの異なる点の２Ｄ画像座標を決定するステップと、
少なくとも３つの決定された点により前記上腕骨頭の前記３Ｄ形状上の曲線として解剖学的頚部を３Ｄ空間での特定の形状で近似するステップと、
をシステムに実行させるソフトウェアプログラム製品の命令を実行するように構成された処理ユニットを備える、
システム。
【請求項2】
前記上腕骨頭の前記特定の２Ｄ形状は、２Ｄ円又は２Ｄ楕円である、請求項１に記載のシステム。
【請求項3】
前記上腕骨頭の前記特定の３Ｄ形状は、３Ｄボール又は３Ｄ楕円である、請求項１及び請求項２のいずれか一項に記載のシステム。
【請求項4】
前記３Ｄ空間での特定の形状は、３Ｄ空間での円又は楕円である、請求項１～請求項３のいずれか一項に記載のシステム。
【請求項5】
前記ソフトウェアプログラム製品は、前記Ｘ線画像のうちの少なくとも２つでの上腕骨骨幹軸の近似を決定するステップをシステムに実行させる命令をさらに含む、請求項１～請求項４のいずれか一項に記載のシステム。
【請求項6】
前記ソフトウェアプログラム製品は、前記少なくとも２つのＸ線画像での近似された前記上腕骨骨幹軸と、前記Ｘ線画像の前記レジストレーションに基づいて、前記上腕骨の３Ｄ骨幹軸の近似を決定するステップをシステムに実行させる命令をさらに含む、請求項５に記載のシステム。
【請求項7】
前記ソフトウェアプログラム製品は、近似された前記解剖学的頚部と近似された前記３Ｄ骨幹軸に基づいて入口点を決定するステップをシステムに実行させる命令をさらに含む、請求項６に記載のシステム。
【請求項8】
前記ソフトウェアプログラム製品は、近似された前記解剖学的頚部と、近似された前記３Ｄ骨幹軸及び／又は近似された上腕骨関節の関節窩に基づいて、骨折した上腕骨の近位骨片の転位を判定するステップをシステムに実行させる命令をさらに含む、請求項６に記載のシステム。
【請求項9】
前記ソフトウェアプログラム製品は、入口点と、骨頭の転位に基づいて、近位骨片での埋め込み曲線を決定するステップをシステムに実行させる命令をさらに含む、請求項７及び請求項８に記載のシステム。
【請求項10】
前記ソフトウェアプログラム製品は、前記近位骨片の位置を変更するための情報を提供するステップをシステムに実行させる命令をさらに含む、請求項８に記載のシステム。
【請求項11】
前記ソフトウェアプログラム製品は、前記上腕骨頭のモデルと、前記上腕骨頭に対して固定の３Ｄ位置を有する１つのさらなる点に基づいて、前記Ｘ線画像のうちの少なくとも２つにレジストレーションを行うステップをシステムに実行させる命令をさらに含み、前記点は、前記少なくとも２つのＸ線画像で識別及び検出される、請求項１～請求項１０のいずれか一項に記載のシステム。
【請求項12】
前記１つのさらなる点は、前記上腕骨頭の関節面上に存在する、請求項１１に記載のシステム。
【請求項13】
少なくとも２つのイメージング方向から生成される、上腕骨の近位部分を示している、少なくとも２つのＸ線画像を受信するステップと、
前記少なくとも２つのＸ線画像にレジストレーションを行うステップと、
前記Ｘ線画像で上腕骨頭の２Ｄアウトラインの少なくとも一部を特定の２Ｄ形状で近似するステップと、
近似された前記２Ｄアウトライン及び前記Ｘ線画像の前記レジストレーションに基づいて前記上腕骨頭を特定の３Ｄ形状で近似するステップと、
前記少なくとも２つのＸ線画像で合計少なくとも３つの異なる点の２Ｄ画像座標を決定するステップと、
少なくとも３つの決定された点により前記上腕骨頭の前記３Ｄ形状上の曲線として解剖学的頚部を３Ｄ空間での特定の形状で近似するステップと、
をシステムに実行させる命令を含むソフトウェアプログラム。
【請求項14】
Ｘ線画像に基づいて上腕骨手術を支援する方法であって、少なくとも２つのイメージング方向から生成される、上腕骨の近位部分を示している、少なくとも２つのＸ線画像を受信するステップと、
前記少なくとも２つのＸ線画像にレジストレーションを行うステップと、
前記Ｘ線画像で上腕骨頭の２Ｄアウトラインの少なくとも一部を特定の２Ｄ形状で近似するステップと、
近似された前記２Ｄアウトライン及び前記Ｘ線画像の前記レジストレーションに基づいて前記上腕骨頭を特定の３Ｄ形状で近似するステップと、
前記少なくとも２つのＸ線画像で合計少なくとも３つの異なる点の２Ｄ画像座標を決定するステップと、
少なくとも３つの決定された点により前記上腕骨頭の前記３Ｄ形状上の曲線として解剖学的頚部を３Ｄ空間での特定の形状で近似するステップと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工知能及びコンピュータ支援手術の分野に関する。さらに、本発明は、Ｘ線画像に基づいてオブジェクトに関する情報を提供するシステム及び方法に関する。特に、本発明は、２ＤのＸ線画像で見えない解剖学的構造を検出するためのシステム及び方法に関する。この方法は、システムの処理ユニットで実行可能なコンピュータプログラムとして実装することができる。
【背景技術】
【0002】
長骨が骨折した場合、骨折の治癒のための支持体として骨の髄管に挿入される髄内釘又は骨の表面に固定される骨プレートなどのインプラントによって、骨片が安定化される場合がある。このようなインプラントを埋め込むための外科手技は、最小侵襲で、外科医がインプラントを適正に配置できるようにするためにＸ線画像を繰返し取得する必要がある場合がある。インプラントはまた、１つ又は複数のサブインプラント、例えば、ねじ又はブレードに接続される場合がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
長骨の髄内釘固定術には、骨折の十分に適正な整復（骨片の正しい位置の確保）、インプラントを骨の髄管に挿入するための入口点の決定、及びインプラントの穴にねじを挿入することによるインプラントの係止を含む、様々な重要な難しいステップがある。
【0004】
長骨に釘を埋め込むための重要なステップは、入口点の決定である。入口点の最適には及ばない選択は、釘の最適でない位置決めにつながる可能性があり、したがって、ネックスクリュー又はブレードなどの接続されたサブインプラントの位置も不適切になる可能性がある。さらに、所与の入口点について、外科医が既にリーミングを行っている場合、釘が配置されることになる管は画定済みで、もはや修正することはできない場合がある。
【0005】
入口点を決定するための２つの主な方法、すなわち、触診による方法と、Ｘ線に基づく方法がある。触診の場合、最初のカットを行った後に、外科医は指で入口点の領域（例えば、大腿骨にｃｅｐｈａｌｏｍｅｄｕｌｌａｒｙ ｎａｉｌを埋め込む場合、大転子の先端）を感じ、想定される骨表面及び経験則（例えば、いわゆる１／３～２／３ルール）に基づいて入口点の位置を決定する。このような手順の欠点は、感覚では骨表面が不完全にしか決定されず、最適な入口点からの大きな偏差につながる可能性があることである。さらに、経験則（例えば、１／３～２／３ルール）は、患者の特定の解剖学的構造によっては、むしろ最適には及ばない可能性がある。
【0006】
入口点はまた、Ｘ線に基づいて決定される場合がある。大腿骨にｃｅｐｈａｌｏｍｅｄｕｌｌａｒｙ ｎａｉｌを埋め込む場合、開口器具が転子の先端に配置されている、前後方向（ＡＰ）のＸ線画像が最初に取得される。次いで、大腿骨骨幹部と頚部が平行になるように側方Ｘ線画像が取得される。開口器具の先端は、先端が２つの軸の間の中央に配置されるまで背側又は腹側方向に移動される（Ｘ線画像で確認される）。この手順の欠点は、第１に、正しい方向から側方Ｘ線画像を取得することが難しいことと、第２に、Ｘ線画像に基づく２つの軸の決定が不正確にしか行われない可能性があることである。
【0007】
頚部及び骨頭の付近の骨折の適正な整復は、通常はインプラントの挿入中に行われるため、上腕骨に釘を挿入する入口点を最小侵襲に決定することは、より一層困難である。適正な入口点は、解剖学的頚部（解剖頚）の最も近位の点、又はこの点から内側方向に定義された距離にほぼ位置する。骨折の適正な整復により、関節のアウトラインの最も近位の点がこのような画像で識別されるので、入口点を完璧な前後方向（ＡＰ）のＸ線画像で見ることができる。しかしながら、適正なＡＰイメージング方向の確保は難しく、手術室（ＯＲ）での患者とＸ線イメージングデバイスの物理的セットアップによっては不可能な場合もある。さらに、ＡＰイメージング方向が完璧であっても、イメージング深度に関する入口点の位置の決定にはかなりの不確実性がある。異なる観察方向（例えば、アキシャル）から画像を取得しても、そのようなＸ線画像では入口点を識別できない場合があるため、この問題は解決しない可能性がある。
【0008】
入口点を決定するための２つの方法（触診とＸ線の取得）を組み合わせても、一般に精度が十分に向上しない可能性がある。これまでのところ、この問題に対するコンピュータ支援手術（ＣＡＳ）技術は確立されていない。
【0009】
骨接合術における別の課題は、満足のいく臨床転帰のためには骨折の十分に適正な整復が不可欠であることである。通常、骨折は、整復が適正に行われた場合にのみ満足に治癒する。特に長骨の整復は、特に適正な前傾角（大腿骨の場合）又はねじれ角（上腕骨又は脛骨の場合）に関して、最小侵襲手術中に評価することは難しいことが多い。不適正な前傾角又はねじれ角は、手術が完了した後でのみ気づくことが多い。この段階では、骨折自体が治癒したとしても、不適正な前傾角又はねじれ角によって患者に大きな不快感及び制約が生じる。したがって、特に大腿骨、脛骨、又は上腕骨の骨接合について、満足のいく臨床転帰のために、十分に適正な前傾角又はねじれ角が不可欠である。同様のコメントが骨頭－頚部－骨幹（ｃａｐｕｔ－ｃｏｌｌｕｍ－ｄｉａｐｈｙｓｉｓ）（ＣＣＤ）角度及び脚の長さにもあてはまり、これらも満足のいく臨床転帰のために重要である。
【0010】
骨片の回転異常は、脛骨及び大腿骨の骨折を治療するときの再手術の最も一般的な理由の１つである。大腿骨頚部の非病理学的前傾角（ＡＶ角）は、通常は１０～２０度である。最適な脚（例えば、他方の健康な脚）に対する１０度までの回転異常は患者によって修正される可能性があるが、より大きな回転異常は、歩行時に不快感及び問題を引き起こす可能性がある。術中にＡＶ角を決定するのは困難であり、不適正に行われる又はまったく行われないことが多い。研究では、脚の骨接合術の１０％～２５％は、理想値から１０度を超える偏差を生じていることが示されている。したがって、ＡＶ角を決定するための信頼性のある術中手順が非常に重要である。
【0011】
前傾角又はねじれ角の決定の難しさは、長骨が１つのＸ線画像に収めるには長すぎることにある。さらに、前傾角又はねじれ角を決定するために必要な幾何学的形状は、例えば、大腿骨、頚軸、及び顆について、骨の最近位部及び最遠位部に位置する。したがって、別個の近位及び遠位Ｘ線画像で描写される幾何学的形状が、相互に関連付けられなければならない。
【0012】
従来技術では、前傾角を決定するための様々な手法が提案されている。大腿骨とｃｅｐｈａｌｏｍｅｄｕｌｌａｒｙ ｎａｉｌの場合、１つの手法は、膝が手術室の天井へ上方を向いているかどうかを手で判断し、釘軸及び大腿骨頭の中心と交わるべきねじ（又はヘッド要素）が手術室の床とおよそ１０度の角度をなしているかどうかを主観的に判断することである。大腿骨の遠位領域に１つと近位領域に１つの、金属マーカ付きの２つの参照体と、すべてそれぞれの参照体を描写する２つの近位Ｘ線画像及び１つの遠位Ｘ線画像を使用するＣＡＳ手法が、Ｂｌａｕら（ＵＳ２０１５／０２６５３６１Ａ１及びＷＯ２０１９／０７７３８８Ａ１）によって提案されている。
【0013】
髄内釘固定術における別の難しいステップは係止である。長い釘を使用した係止での主な難しさは、釘が髄管にある程度沿うような釘の屈曲及びねじれである。これは、短い釘の場合に用いられる単純な静的機械的係止手順を妨げる。フリーハンドの係止は困難で時間がかかり、多くのＸ線画像の取得が必要になる場合がある。この理由のため、一部の製造業者は、釘の屈曲に適応する可撓性の機械的ソリューション（ここでは「ロング照準デバイス」と呼ぶ）を提供している。ロング照準デバイスは手順を簡素化するが、ロング照準デバイスを示しているＸ線画像を適切に解釈し、それに応じてＣアーム位置を調整しなければならないため、その適用はまだ簡単ではない。Ｃアームを適切に調整した後にのみ、ロング照準デバイスを適切に調整することができる。
【0014】
Ｂｌａｕら（ＥＰ２８０１３２０Ａ１）は、ロング照準デバイスに対して固定の既知の位置にある金属マーカ付きの参照体を検出し、参照体へのイメージング方向を決定するという概念を提案している。それに基づいて、システムが、Ｃアームイメージングデバイスをどのように調整するかの指示を与えることができる。このようなシステムの欠点は、Ｘ線画像に参照体が含まれていなければならないことである。横方向の係止穴付きの順行性大腿骨釘の場合のロング照準デバイスの調整について、Ｂｌａｕら（ＵＳ２０１３／０２１１３８６Ａ１）は、それぞれＭＬ方向及びＡＰ方向の釘の屈曲を決定するために参照体を使用している。
【0015】
参照体（又はトラッカ）は、ＣＡＳシステムでよく用いられる。しかしながら、参照体の使用には、付加費用、より面倒な取り扱い、ユーザエラーのリスク、及び通常の手術ワークフローの変更を含む、いくつかの欠点がある。
【課題を解決するための手段】
【0016】
本発明は、術中２Ｄ Ｘ線画像を処理してそれらのＸ線画像に少なくとも部分的に描写されているオブジェクトに関する３Ｄ幾何学情報を提供するためにコンピュータとディスプレイ及び／又はラウドスピーカのみを必要とするシステム及び方法を提案する。本発明の目的は、座標系に関する（例えば、像平面に対する又は別のオブジェクトに対する）少なくとも１つのオブジェクトの３Ｄ表現を提供することである。本発明の目的はまた、オブジェクト上又はオブジェクト内の、場合によっては別のオブジェクトに対する、関心ある特定の点又は曲線を決定することである。本発明の目的はまた、Ｘ線画像に少なくとも部分的に描写されている複数のオブジェクト間の相対的な３Ｄ配向及び３Ｄ位置を提供することである。
【0017】
本明細書で用いられる場合の「オブジェクト」は、Ｘ線画像で少なくとも部分的に見える任意のオブジェクト、例えば、解剖学的構造、インプラント、又は外科用器具であり得る。本発明は参照体又はトラッカの使用を必要としない。
【0018】
「３Ｄ表現」という用語は、３Ｄボリューム又は３Ｄ表面の完全な又は部分的な記述を指す場合があり、また、半径、曲線、平面、角度などの選択された幾何学的アスペクトを指す場合もある。本発明は、オブジェクトの３Ｄ表面又はボリュームに関する完全な３Ｄ情報の決定を可能にし得るが、選択された幾何学的アスペクトのみを決定する方法も本発明では考慮される。
【0019】
Ｘ線イメージングは２Ｄイメージングモダリティであるため、Ｘ線画像に描写されている個々のオブジェクトの３Ｄポーズ（すなわち、３Ｄ位置及び３Ｄ配向）を一意に決定することは一般に不可能であり、Ｘ線画像に描写されているオブジェクト間の相対的な３Ｄ位置及び３Ｄ配向を一意に決定することも一般に不可能である。
【0020】
Ｘ線ビームはＸ線源（焦点）から生じ、像平面内のＸ線検出器によって検出されるため、オブジェクトの物理的寸法は、切片定理によりＸ線画像でのその投影の寸法に関連付けられる。一般に、以降「ｚ座標」とも呼ばれる、像平面からの距離である、イメージング深度の決定には曖昧さがある。本発明の全体を通して、「位置を特定する」及び「位置特定」という用語は、選択された座標系に関するオブジェクトの３Ｄ配向の決定、及びｚ座標の決定なしの像平面上へのそのオブジェクトの投影の２Ｄ空間位置の決定を意味する。
【0021】
Ｘ線画像に描写されているオブジェクトの３Ｄモデルが利用可能な場合、オブジェクトの位置特定が可能になり得る。オブジェクトが十分に大きく、十分な構造を有するならば、そのオブジェクトのｚ座標を近似的に決定（又は推定）することも可能になり得る。しかしながら、Ｘ線画像に示されている既知のオブジェクトの決定論的な３Ｄモデルが利用可能であっても、位置特定もｚ座標の決定も不可能なケースもある。例として、これは特にドリル又はｋワイヤなどの薄いオブジェクトにあてはまる。ドリルの先端のイメージング深度がわからない場合、２ＤのＸ線画像での同じ又はほぼ同じ投影につながるドリルの複数の３Ｄポーズが存在する。したがって、一般に、例えば同じくＸ線画像に示されているインプラントに対するドリルの相対的な３Ｄ位置及び３Ｄ配向を決定することは不可能な場合がある。他方では、そのようなオブジェクトのイメージング深度を他の手段で決定できる又は事前にわかっている場合、そのオブジェクトの３Ｄ位置及び３Ｄ配向の決定が可能になり得る。
【0022】
本発明の目的は、そのイメージング深度に関するさらなる情報なしには位置特定できないような幾何学的形状を有するオブジェクトの位置特定を可能にし、そのようなオブジェクトの、別のオブジェクトに対する３Ｄ位置及び／又は３Ｄ配向を決定することである。
【0023】
ＥＰ１９２１７２４５によって提案された１つの可能なソリューションは、イメージング深度に関する事前情報を利用することである。例えば、異なるイメージング方向（Ｘ線ビームがオブジェクトを通過する方向を表す）から取得された事前Ｘ線画像から、ｋワイヤの先端が転子上にある、したがって、別のオブジェクトに対するｋワイヤの先端のイメージング深度が制約されていることがわかる場合がある。これは現在のイメージング方向での別のオブジェクトに対するｋワイヤの３Ｄ位置及び３Ｄ配向に関する曖昧さを解決するのに十分な場合がある。
【0024】
２つ以上のＸ線画像の３Ｄレジストレーション
別の可能なソリューションは、異なるイメージング方向から取得された２つ以上のＸ線画像を使用し、これらの画像にレジストレーションを行うことである。イメージング方向がより異なっていれば（例えば、ＡＰ画像及びＭＬ画像）、３Ｄ情報の決定に関してさらなる画像がより役立つ可能性がある。画像のレジストレーションは、その３Ｄモデルは既知であって、画像間で移動するはずがない、画像に描写されている一意に位置特定可能なオブジェクトに基づいて進められる。前述のように、当該技術分野における最も一般的な手法は、参照体又はトラッカを使用することである。しかしながら、製品開発とシステムの使用の両方が簡素化されるため、参照体を使用しないことが一般に好ましい。Ｃアームの移動が正確にわかる場合（例えば、Ｃアームが電子的に制御される場合）、これらの既知のＣアームの移動のみに基づいて画像のレジストレーションが可能であろう。
別の可能なソリューションは、異なるイメージング方向から取得された２つ以上のＸ線画像を使用し、これらの画像にレジストレーションを行うことである。イメージング方向がより異なっていれば（例えば、ＡＰ画像及びＭＬ画像）、３Ｄ情報の決定に関してさらなる画像がより役立つ可能性がある。画像のレジストレーションは、その３Ｄモデルは既知であって、画像間で移動するはずがない、画像に描写されている一意に位置特定可能なオブジェクトに基づいて進められる。前述のように、当該技術分野における最も一般的な手法は、参照体又はトラッカを使用することである。しかしながら、製品開発とシステムの使用の両方が簡素化されるため、参照体を使用しないことが一般に好ましい。Ｃアームの移動が正確にわかる場合（例えば、Ｃアームが電子的に制御される場合）、これらの既知のＣアームの移動のみに基づいて画像のレジストレーションが可能であろう。
【0025】
しかしながら、Ｃアームの移動は通常、正確にはわからない。ＬＵ１０１００９Ｂ１に記載されているように、インプラントなどの既知の幾何学的形状の剛体は、インプラントの位置特定のみを可能にし、イメージング深度の決定を可能にしないにもかかわらず、少なくともイメージング方向の決定を可能にし得る。
【0026】
しかし、Ｘ線画像にそのような剛体が存在しない多くのシナリオがある。例えば、釘を埋め込むための入口点を決定するとき、Ｘ線画像にはインプラントが存在しない。本発明は、独自の十分に正確な３Ｄレジストレーションを一般に可能にする既知の幾何学的形状の単一の剛体が存在しない、複数のＸ線画像の３Ｄレジストレーションを可能にするシステム及び方法を教示する。ここで提案される手法は、それぞれ単独では独自の十分に正確な３Ｄレジストレーションを可能にしない場合があるが、これらを一緒にすることでそのようなレジストレーションを可能にする及び／又は画像取得間の許容可能なＣアームの移動を制約することを可能にする（例えば、Ｃアーム軸などのＸ線イメージングデバイスの特定の軸の周りの回転、又は特定の軸に沿った並進のみが許容され得る）、２つ以上のオブジェクト、又は１つのオブジェクトの少なくとも２つ以上の部分の特徴の組み合わせを使用することである。レジストレーションのために使用されるオブジェクトは、人工の既知の幾何学的形状（例えば、ドリル又はｋワイヤ）であってもよく、又は解剖学的構造の一部であってもよい。オブジェクト又はオブジェクトの一部はまた、単純な幾何学的モデルを使用して近似することができ（例えば、大腿骨頭はボールで近似することができる）、又はそれらの特定の特徴（単一の点、例えば、ｋワイヤ又はドリルの先端であり得る）のみを使用することができる。レジストレーションのために使用されるオブジェクトの特徴は、画像取得間で移動してはならず、そのような特徴が単一の点である場合、この点が移動しないことだけが必要である。例えば、ｋワイヤの先端が使用される場合、先端は画像間で移動してはならないが、ｋワイヤの傾きは画像間で変化してもよい。
【0027】
一実施形態によれば、それぞれオブジェクトの少なくとも一部を示しているＸ線画像にレジストレーションが行われる。第１のＸ線画像が、第１のイメージング方向及びオブジェクトに対するＸ線源の第１の位置で生成される。第２の画像が、第２のイメージング方向及びオブジェクトに対するＸ線源の第２の位置で生成される。このような２つのＸ線画像に、以下の条件のうちの少なくとも１つを伴うオブジェクトのモデルに基づいてレジストレーションが行われる：
－ オブジェクトに対して固定の３Ｄ位置をもつ点を両方のＸ線画像で定義可能及び／又は検出可能である、すなわち、両方のＸ線画像で識別可能及び／又は位置特定可能である。単一の点で十分な場合があることに留意されたい。さらに、点は、オブジェクトの表面などのオブジェクトの構造までの既知の距離を有し得ることに留意されたい。
－ オブジェクトに対して固定の３Ｄ位置をもつ２つの識別可能な点が両方のＸ線画像にある。
－ 固定の３Ｄ位置をもつさらなるオブジェクトの一部が両方のＸ線画像で見えている。このような場合、Ｘ線画像にレジストレーションを行うときにさらなるオブジェクトのモデルを使用することができる。点であってもさらなるオブジェクトの一部として考慮され得ると考えられる。
－ 第１のＸ線画像と第２のＸ線画像の取得間で、オブジェクトに対するＸ線源の唯一の移動は並進である。
－ 第１のＸ線画像と第２のＸ線画像の生成間で、Ｘ線源の唯一の回転は、イメージング方向に垂直な軸の周りの回転である。例えば、Ｘ線源は、ＣアームベースのＸ線イメージングデバイスのＣ軸の周りを回転することができる。
－ オブジェクトに対して固定の３Ｄ位置をもつ点を両方のＸ線画像で定義可能及び／又は検出可能である、すなわち、両方のＸ線画像で識別可能及び／又は位置特定可能である。単一の点で十分な場合があることに留意されたい。さらに、点は、オブジェクトの表面などのオブジェクトの構造までの既知の距離を有し得ることに留意されたい。
－ オブジェクトに対して固定の３Ｄ位置をもつ２つの識別可能な点が両方のＸ線画像にある。
－ 固定の３Ｄ位置をもつさらなるオブジェクトの一部が両方のＸ線画像で見えている。このような場合、Ｘ線画像にレジストレーションを行うときにさらなるオブジェクトのモデルを使用することができる。点であってもさらなるオブジェクトの一部として考慮され得ると考えられる。
－ 第１のＸ線画像と第２のＸ線画像の取得間で、オブジェクトに対するＸ線源の唯一の移動は並進である。
－ 第１のＸ線画像と第２のＸ線画像の生成間で、Ｘ線源の唯一の回転は、イメージング方向に垂直な軸の周りの回転である。例えば、Ｘ線源は、ＣアームベースのＸ線イメージングデバイスのＣ軸の周りを回転することができる。
【0028】
オブジェクトのモデルに基づくＸ線画像のレジストレーションは、上述の条件のうちの２つ以上を伴うと、より正確になり得ることが理解されるであろう。
【0029】
一実施形態によれば、オブジェクトに対して固定の３Ｄ位置をもつ点は、さらなるオブジェクトの点であり、その点が固定である限りさらなるオブジェクトの移動が可能である。オブジェクトに対して固定の３Ｄ位置は、そのオブジェクトの表面、すなわち、接触点にあり得るが、オブジェクトから定義された距離（ゼロより大きい）を有する点でもあり得ることが理解されるであろう。それは、オブジェクトの表面からの距離（オブジェクトの外側又は内側の位置が可能である）、又はオブジェクトの特定の点（例えば、オブジェクトがボールの場合はボールの中心）までの距離であり得る。
【0030】
一実施形態によれば、オブジェクトに対して固定の３Ｄ位置をもつさらなるオブジェクトは、オブジェクトと接触している又はオブジェクトまでの定義された距離にある。オブジェクトに対するさらなるオブジェクトの配向は、固定又は可変のいずれかであり、さらなるオブジェクトの配向は、オブジェクトに対するさらなるオブジェクトの回転及び／又は並進によって変化し得ることに留意されたい。
【0031】
Ｘ線画像のレジストレーションはまた、３つ以上のオブジェクトと共にでも実行され得ることが理解されるであろう。
【0032】
種々の実施形態によれば、以下は、画像のレジストレーション（参照体なし）を可能にする例である：
１．ボール（オブジェクト１）による大腿骨頭又は人工大腿骨頭（股関節インプラントの一部として）の近似及びｋワイヤ又はドリルの先端（オブジェクト２）を使用し、画像間の許容可能なＣアームの移動も制約する。
２．シリンダ（オブジェクト１）による骨骨幹部又は椎体の近似及びｋワイヤ又はドリルの先端（オブジェクト２）を使用する。この場合、許容可能なＣアームの移動は、画像間で制約される場合又は制約されない場合がある。
３．ボール（オブジェクト１）による大腿骨頭又は人工大腿骨頭（股関節インプラントの一部として）の近似及びシリンダ（オブジェクト２）による大腿骨骨幹の近似を使用する。画像間の許容可能なＣアームの移動は制約される必要はない。
４．ガイドロッド（ガイドロッドは、過挿入を防ぐストップ部を有する）又は骨内に固定されたｋワイヤを使用し、画像間の許容可能なＣアームの移動も制約する。この場合、１つだけのオブジェクトが使用され、このメソッドは、画像間の制約されたＣアームの移動によって具体化される。
５．骨内に固定されたガイドロッド又はｋワイヤ（オブジェクト１）と、ボール（オブジェクト２）による大腿骨頭の近似を使用する。
１．ボール（オブジェクト１）による大腿骨頭又は人工大腿骨頭（股関節インプラントの一部として）の近似及びｋワイヤ又はドリルの先端（オブジェクト２）を使用し、画像間の許容可能なＣアームの移動も制約する。
２．シリンダ（オブジェクト１）による骨骨幹部又は椎体の近似及びｋワイヤ又はドリルの先端（オブジェクト２）を使用する。この場合、許容可能なＣアームの移動は、画像間で制約される場合又は制約されない場合がある。
３．ボール（オブジェクト１）による大腿骨頭又は人工大腿骨頭（股関節インプラントの一部として）の近似及びシリンダ（オブジェクト２）による大腿骨骨幹の近似を使用する。画像間の許容可能なＣアームの移動は制約される必要はない。
４．ガイドロッド（ガイドロッドは、過挿入を防ぐストップ部を有する）又は骨内に固定されたｋワイヤを使用し、画像間の許容可能なＣアームの移動も制約する。この場合、１つだけのオブジェクトが使用され、このメソッドは、画像間の制約されたＣアームの移動によって具体化される。
５．骨内に固定されたガイドロッド又はｋワイヤ（オブジェクト１）と、ボール（オブジェクト２）による大腿骨頭の近似を使用する。
【0033】
この方法はまた、レジストレーションの精度を向上させるため又は他の結果を検証するために使用されてもよいことに留意されたい。すなわち、複数のオブジェクト又はオブジェクトの少なくとも複数の部分を使用して画像にレジストレーションを行うとき、そのうちの１つ又は複数は、それ自体でも３Ｄレジストレーションが可能である場合があり、場合によっては許容可能なＣアームの移動も制約し、この過剰決定は、提案された方法を使用しない場合に比べて、レジストレーションの精度が向上する可能性がある。代替的に、利用可能なオブジェクト又は特徴のサブセットに基づいて画像のレジストレーションが行われてもよい。このようなレジストレーションは、（レジストレーションに使用しなかった）残りのオブジェクト又は特徴の検出を検証するために使用されてもよく、又は画像間の移動（例えば、開口器具の先端が移動したかどうか）の検出を可能にし得る。
【0034】
この手法のさらに別の実施形態は、Ｘ線画像間の許容されるＣアームの移動を制約しながら（例えば、並進のみが許容される）、すべての利用可能なＸ線投影画像にモデルを共同してあてはめることによって、オブジェクトの異なる（しかし場合によっては重複する）部分を描写する２つ以上のＸ線画像（例えば、大腿骨の近位部を示す１つのＸ線画像と、同じ大腿骨の遠位部を示す別のＸ線画像）にレジストレーションを行うことであり得る。あてはめられるモデルは、完全又は部分的３Ｄモデル（例えば、統計的形状又は外観モデル）であってもよく、又はオブジェクトの特定の幾何学的アスペクト（例えば、軸、平面、又は選択された点の位置）のみを記述する縮小モデルであってもよい。
【0035】
以下に詳細に説明するように、レジストレーションを行ったＸ線画像に基づいてオブジェクトの３Ｄ再構成が決定される。Ｘ線画像のレジストレーションは、オブジェクト（又は複数のオブジェクトのうちの少なくとも１つ）の３Ｄ再構成に基づいて行われる及び／又は強化されることが理解されるであろう。レジストレーションを行ったＸ線画像に基づいて決定された３Ｄ再構成は、さらなるＸ線画像のレジストレーションのために使用されてもよい。代替的に、オブジェクトの３Ｄ再構成は、オブジェクトの３Ｄモデルを伴う単一の又は第１のＸ線画像に基づいて決定され、次いで、第２のＸ線画像と第１のＸ線画像のレジストレーションを行うときに使用されてもよい。
【0036】
一般に、Ｘ線画像のレジストレーション及び／又は３Ｄ再構成は、以下の状況で利点がある場合がある：
・大腿骨の前傾角の決定に関心がある。
・脛骨又は上腕骨におけるねじれ角の決定に関心がある。
・大腿骨の骨頭と骨幹の間のＣＣＤ角の決定に関心がある。
・長骨の前弯の決定に関心がある。
・骨の長さの決定に関心がある。
・大腿骨、脛骨、又は上腕骨におけるインプラントの入口点の決定に関心がある。
・大腿骨の前傾角の決定に関心がある。
・脛骨又は上腕骨におけるねじれ角の決定に関心がある。
・大腿骨の骨頭と骨幹の間のＣＣＤ角の決定に関心がある。
・長骨の前弯の決定に関心がある。
・骨の長さの決定に関心がある。
・大腿骨、脛骨、又は上腕骨におけるインプラントの入口点の決定に関心がある。
【0037】
以下に、説明のためにオブジェクトの組み合わせの例を挙げる。
・オブジェクト１は上腕骨頭であり、点は開口器具又はドリルの先端である。
・オブジェクト１は椎骨であり、点は椎骨の表面に配置された開口器具又はドリルの先端である。
・オブジェクト１は脛骨であり、点は開口器具の先端である。
・オブジェクト１は脛骨であり、オブジェクト２は腓骨、大腿骨、又は距骨、又は足の別の骨である。
・オブジェクト１は大腿骨の近位部であり、オブジェクト２は大腿骨の表面にある開口器具である。
・オブジェクト１は大腿骨の遠位部であり、オブジェクト２は大腿骨の表面にある開口器具である。
・オブジェクト１は大腿骨の遠位部であり、オブジェクト２は大腿骨の近位部であり、少なくとも１つのＸ線画像は大腿骨の遠位部を描写しており、少なくとも１つのＸ線画像は大腿骨の近位部を描写しており、さらなるオブジェクトは大腿骨の近位部に配置された開口器具である。
・オブジェクト１は腸骨であり、オブジェクト２は仙骨であり、点は開口器具又はドリルの先端である。
・オブジェクト１は骨に埋め込まれた髄内釘であり、オブジェクト２は骨である。
・オブジェクト１は骨に埋め込まれた髄内釘であり、オブジェクト２は骨であり、点は、開口器具、ドリル、又は係止ねじのようなサブインプラントの先端である。
・オブジェクト１は上腕骨頭であり、点は開口器具又はドリルの先端である。
・オブジェクト１は椎骨であり、点は椎骨の表面に配置された開口器具又はドリルの先端である。
・オブジェクト１は脛骨であり、点は開口器具の先端である。
・オブジェクト１は脛骨であり、オブジェクト２は腓骨、大腿骨、又は距骨、又は足の別の骨である。
・オブジェクト１は大腿骨の近位部であり、オブジェクト２は大腿骨の表面にある開口器具である。
・オブジェクト１は大腿骨の遠位部であり、オブジェクト２は大腿骨の表面にある開口器具である。
・オブジェクト１は大腿骨の遠位部であり、オブジェクト２は大腿骨の近位部であり、少なくとも１つのＸ線画像は大腿骨の遠位部を描写しており、少なくとも１つのＸ線画像は大腿骨の近位部を描写しており、さらなるオブジェクトは大腿骨の近位部に配置された開口器具である。
・オブジェクト１は腸骨であり、オブジェクト２は仙骨であり、点は開口器具又はドリルの先端である。
・オブジェクト１は骨に埋め込まれた髄内釘であり、オブジェクト２は骨である。
・オブジェクト１は骨に埋め込まれた髄内釘であり、オブジェクト２は骨であり、点は、開口器具、ドリル、又は係止ねじのようなサブインプラントの先端である。
【0038】
３Ｄ表現／再構成の計算
２つ以上のＸ線画像にレジストレーションが行われると、それらを使用して、Ｘ線画像に少なくとも部分的に描写されている解剖学的構造の３Ｄ表現又は再構成を計算することができる。一実施形態によれば、これは、Ｐ．Ｇａｍａｇｅ ｅｔ ａｌ．， “３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｐａｔｉｅｎｔ ｓｐｅｃｉｆｉｃ ｂｏｎｅ ｍｏｄｅｌｓ ｆｒｏｍ ２Ｄ ｒａｄｉｏｇｒａｐｈｓ ｆｏｒ ｉｍａｇｅ ｇｕｉｄｅｄ ｏｒｔｈｏｐｅｄｉｃ ｓｕｒｇｅｒｙ，” ＤＯＩ： １０．１１０９／ＤＩＣＴＡ．２００９．４２によって提案された方針に沿って進めることができる。第１のステップにおいて、場合によってはセグメンテーション用にトレーニングされたニューラルネットワークを使用して、各Ｘ線画像で関心ある骨構造の特徴（通常、骨の外側の輪郭を含み得る特徴的な骨エッジ、また、一部の特徴的な内側エッジ）が決定される。第２のステップにおいて、関心ある骨構造の３Ｄモデルは、その２Ｄ投影がすべての利用可能なＸ線画像の第１のステップで決定された特徴（例えば、特徴的な骨エッジ）にフィットするように変形される。Ｇａｍａｇｅらによる論文では、関心ある解剖学的構造のために一般的な３Ｄモデルを使用しているが、他の３Ｄモデル、例えば、統計的形状モデルを使用してもよい。この手順は、画像間の相対的な視野角（画像のレジストレーションによって提供される）だけでなく、画像のうちの１つのイメージング方向も必要とすることに留意されたい。この方向は既知であってもよく（例えば、外科医が特定の観察方向、例えば、前後（ＡＰ）方向又は内側－外側（ＭＬ）方向から画像を取得するように指示されたため）、又は種々の手法に基づいて（例えば、ＬＵ１００９０７Ｂ１を使用することによって）推定されてもよい。画像間の相対的な視野角がより正確であれば、３Ｄ再構成の精度が向上し得るが、画像のうちの１つのイメージング方向の決定の精度は重要な因子ではない場合がある。
２つ以上のＸ線画像にレジストレーションが行われると、それらを使用して、Ｘ線画像に少なくとも部分的に描写されている解剖学的構造の３Ｄ表現又は再構成を計算することができる。一実施形態によれば、これは、Ｐ．Ｇａｍａｇｅ ｅｔ ａｌ．， “３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｐａｔｉｅｎｔ ｓｐｅｃｉｆｉｃ ｂｏｎｅ ｍｏｄｅｌｓ ｆｒｏｍ ２Ｄ ｒａｄｉｏｇｒａｐｈｓ ｆｏｒ ｉｍａｇｅ ｇｕｉｄｅｄ ｏｒｔｈｏｐｅｄｉｃ ｓｕｒｇｅｒｙ，” ＤＯＩ： １０．１１０９／ＤＩＣＴＡ．２００９．４２によって提案された方針に沿って進めることができる。第１のステップにおいて、場合によってはセグメンテーション用にトレーニングされたニューラルネットワークを使用して、各Ｘ線画像で関心ある骨構造の特徴（通常、骨の外側の輪郭を含み得る特徴的な骨エッジ、また、一部の特徴的な内側エッジ）が決定される。第２のステップにおいて、関心ある骨構造の３Ｄモデルは、その２Ｄ投影がすべての利用可能なＸ線画像の第１のステップで決定された特徴（例えば、特徴的な骨エッジ）にフィットするように変形される。Ｇａｍａｇｅらによる論文では、関心ある解剖学的構造のために一般的な３Ｄモデルを使用しているが、他の３Ｄモデル、例えば、統計的形状モデルを使用してもよい。この手順は、画像間の相対的な視野角（画像のレジストレーションによって提供される）だけでなく、画像のうちの１つのイメージング方向も必要とすることに留意されたい。この方向は既知であってもよく（例えば、外科医が特定の観察方向、例えば、前後（ＡＰ）方向又は内側－外側（ＭＬ）方向から画像を取得するように指示されたため）、又は種々の手法に基づいて（例えば、ＬＵ１００９０７Ｂ１を使用することによって）推定されてもよい。画像間の相対的な視野角がより正確であれば、３Ｄ再構成の精度が向上し得るが、画像のうちの１つのイメージング方向の決定の精度は重要な因子ではない場合がある。
【0039】
決定された３Ｄ表現の精度は、関心ある骨構造上の１つ以上の点又はさらには部分的な表面の３Ｄ位置についての事前情報を組み込むことによって高めることができる。例えば、釘が埋め込まれた状態の大腿骨の３Ｄ再構成では、Ｘ線画像で大腿骨の表面上の特定の点を示すためにｋワイヤを使用してもよい。前の手順のステップから、埋め込まれた釘によって与えられる座標系でのこの示された点の３Ｄ位置が分かる場合がある。次いで、この知識を、大腿骨の３Ｄ表面をより正確に再構成するために利用することができる。特定の点の３Ｄ位置に関するこのような事前情報が利用可能な場合、単一のＸ線画像に基づいた３Ｄ再構成も可能になり得る。さらに、インプラント（プレートなど）が骨の一部の形状と適合し、この適合する骨の部分に配置されている場合、この情報も３Ｄ再構成に使用することができる。
【0040】
代替的な手法として、オブジェクト（例えば、骨）の３Ｄ再構成はまた、事前の画像レジストレーションなしで行われてもよい、すなわち、ＬＵ１０１００９Ｂ１によって提案されているように、画像のレジストレーションと３Ｄ再構成は一緒に行われてもよい。この開示では、許容可能なＣアームの移動を制約すること及び／又は共同するレジストレーションと再構成の基礎となる画像のうちの少なくとも２つに存在する別のオブジェクト（例えば、ドリル又はｋワイヤ）の容易に検出可能な特徴を利用することによって、精度を高め、曖昧さを解消することが教示される。そのような容易に検出可能な特徴は、例えば、再構成されるオブジェクトの表面上にある又はそこから既知の距離にあるｋワイヤ又はドリルの先端であり得る。この特徴は、画像取得間で移動してはならない。ｋワイヤ又はドリルの場合、これは、その先端が定位置にとどまっている限り、器具自体の傾きは変化し得ることを意味する。事前の画像レジストレーションなしでの再構成は、そのような再構成のために２つよりも多い画像が使用される場合により良好に機能し得る。共同する画像レジストレーションと３Ｄ再構成は、すべてのパラメータの共同する最適化（すなわち、レジストレーションと再構成の両方について）を可能にするので、共同するレジストレーションと３Ｄ再構成は、レジストレーションが最初に行われる手法よりも一般に優れたパフォーマンスを発揮する可能性があることに注目されたい。これは、過剰決定の場合に、例えば、表面上の点の３Ｄ位置に関する事前情報とともに、釘又はプレートが埋め込まれた状態の骨の３Ｄ表面を再構成するときに特にあてはまる。
【0041】
共同する画像レジストレーションと３Ｄ再構成について、第１のイメージング方向及び第１のオブジェクトに対するＸ線源の第１の位置で生成される、第１のオブジェクトの第１の部分を示している第１のＸ線画像が受信され、第２のイメージング方向及び第１のオブジェクトに対するＸ線源の第２の位置で生成される、第１のオブジェクトの第２の部分を示している少なくとも第２のＸ線画像が受信される。第１のオブジェクトのモデルを使用することによって、Ｘ線画像での外観と適合するようにモデルを変形及び適応させることができるため、画像の空間的関係性を決定できるように２つのＸ線画像での第１のオブジェクトの投影を共同して適合させることができる。そのような共同するレジストレーションと３Ｄ再構成の結果は、第１のオブジェクトに対して固定の３Ｄ位置を有する少なくとも１つの点によって向上する可能性があり、この点は、Ｘ線画像のうちの少なくとも２つにおいて識別可能及び検出可能である（３Ｄ再構成の向上とともに、２つよりも多い画像にレジストレーションを行うこともできることが理解されるであろう）。さらに、第１のオブジェクトに対して固定の３Ｄ位置をもつ第２のオブジェクトの少なくとも一部を考慮に入れることができ、第２のオブジェクトのモデルに基づいて、少なくとも部分的な第２のオブジェクトをＸ線画像で識別及び検出することができる。
【0042】
第１のオブジェクトの第１の部分と第２の部分は重複していてもよく、これにより結果の精度が向上することに注目されたい。例えば、第１のオブジェクトのいわゆる第１の部分と第２の部分は両方とも大腿骨の近位部分であってもよく、イメージング方向が異なるため、少なくとも画像での大腿骨の外観は異なる。
【0043】
埋め込み曲線及び／又は入口点の決定
本発明の目的は、骨に挿入される及び埋め込まれる釘又はねじなどのインプラントの埋め込み曲線又は経路を決定すること、及び／又は外科医がインプラントを挿入するために骨に穴をあける点である、入口点を決定することである。したがって、入口点は、埋め込み曲線と骨表面との交点である。埋め込み曲線は、直線（又は軸）であってもよく、又は、インプラント（例えば、釘）には湾曲があるため曲がっていてもよい。入口点の最適な位置は、インプラント、そしてまた骨の骨折位置、すなわち、骨折部が遠位方向又は近位方向にどの程度離れているかに依存し得ることに留意されたい。
本発明の目的は、骨に挿入される及び埋め込まれる釘又はねじなどのインプラントの埋め込み曲線又は経路を決定すること、及び／又は外科医がインプラントを挿入するために骨に穴をあける点である、入口点を決定することである。したがって、入口点は、埋め込み曲線と骨表面との交点である。埋め込み曲線は、直線（又は軸）であってもよく、又は、インプラント（例えば、釘）には湾曲があるため曲がっていてもよい。入口点の最適な位置は、インプラント、そしてまた骨の骨折位置、すなわち、骨折部が遠位方向又は近位方向にどの程度離れているかに依存し得ることに留意されたい。
【0044】
埋め込み曲線及び／又は入口点を決定する必要がある様々な事例がある。いくつかの事例では、特に、完全な解剖学的整復がまだ行われていない場合、入口点のみが決定される。他の事例では、埋め込み曲線が最初に得られ、次いで、埋め込み曲線と骨表面との交点を決定することによって入口点が得られる。さらに他の事例では、埋め込み曲線と入口点は共同して決定される。これらの事例のすべてについての例が本発明で説明される。
【0045】
一般に、一実施形態によれば、手術の関心領域を示している２ＤのＸ線画像が受信される。そのＸ線画像では、関心ある構造に関連する第１の点、並びに、埋め込むことを意図されたインプラントのための骨内の埋め込み経路を決定することができ、埋め込み曲線又は経路は第１の点と所定の関係性を有する。骨にインプラントを挿入するための入口点は、埋め込み経路上に存在する。第１の点は入口点ではなくてもよいことが理解されるであろう。
【0046】
フリーハンドの係止手順
例えば骨釘を係止するためのねじの埋め込みを考えるとき、２ＤのＸ線画像での点と埋め込み経路の上述の一般的な決定に基づいて、埋め込み経路と点との所定の関係性に関して、以下の条件が満たされ得る：関心ある構造がインプラントの穴であるとき、穴は所定の軸を有し、点は穴の中心に関連し、埋め込み経路は穴の軸の方向を指し得る。
例えば骨釘を係止するためのねじの埋め込みを考えるとき、２ＤのＸ線画像での点と埋め込み経路の上述の一般的な決定に基づいて、埋め込み経路と点との所定の関係性に関して、以下の条件が満たされ得る：関心ある構造がインプラントの穴であるとき、穴は所定の軸を有し、点は穴の中心に関連し、埋め込み経路は穴の軸の方向を指し得る。
【0047】
考えられる用途として、インプラントの穴を通してねじを埋め込むことによってインプラントが係止される、フリーハンドの係止手順の例示的なワークフローを説明する。一実施形態によれば、Ｘ線画像で埋め込み済みの釘の位置が特定され、これにより埋め込み曲線が決定される。ここで、埋め込み曲線は、それに沿ってねじが埋め込まれる直線（軸）である。骨表面（少なくとも埋め込み曲線の近傍）の３Ｄ再構成が、埋め込み済みの釘に対して（すなわち、釘によって与えられる座標系で）行われる。これは次のように進められる。少なくとも２つのＸ線画像が、異なる観察方向から取得される（例えば、１つはＡＰ又はＭＬ画像であり、１つは斜めの角度から撮影された画像である）。Ｘ線画像は、例えば埋め込まれた釘に関してニューラルネットによって分類され、埋め込まれた釘を使用してレジストレーションが行われ、おそらくニューラルネットによってすべての画像で骨の輪郭にセグメンテーションが行われる。骨表面の３Ｄ再構成は、上記で概説した３Ｄ再構成手順に従って可能となり得る。埋め込み曲線と骨表面との交点によって、釘に対する入口点の３Ｄ位置が決まる。Ｘ線画像での観察方向を、特定された釘の位置に基づいて決定することができるため、これはまた、所与のＸ線画像で入口点の位置を示すことを可能にする。
【0048】
釘に対する骨表面上の少なくとも１つの点の既知の３Ｄ位置を組み込むことによって、この手順の精度を高めることが可能な場合がある。そのような知識は、本発明での手順をＥＰ１９２１７２４５によって教示されるフリーハンドの係止手順と組み合わせることによって得られる。考えられる手法は、ＥＰ１９２１７２４５を使用して、第１の係止穴の入口点を取得し、これが骨表面上の既知の点となることである。この既知の点は、骨の３Ｄ再構成とその後の第２のさらなる係止穴の入口点の決定のために本発明で使用することができる。骨表面上の点はまた、例えば、ドリルの先端が骨表面に触れることで識別される。異なるイメージング方向から撮影された１つよりも多いＸ線画像で点が識別される場合、精度が向上し得る。
【0049】
大腿骨に釘を埋め込むための入口点の決定
大腿骨への釘の埋め込みを考えるとき、２ＤのＸ線画像での第１の点と埋め込み経路の上述の一般的な決定に基づいて、埋め込み経路と第１の点との所定の関係性に関して、以下の条件のうちの少なくとも１つが満たされ得る：
関心ある構造が大腿骨頭であるとき、第１の点は、大腿骨頭の中心に関連し、その結果、埋め込み経路の近位延長上に、すなわち、Ｘ線画像で入口点に対して近位に存在する。
関心ある構造が大腿骨頚部の狭い部分であるとき、第１の点は、大腿骨頚部の狭い部分の断面の中心に関連し、埋め込み経路の近位延長は、前記狭い部分において大腿骨頚部の外面よりも第１の点により近い。
関心ある構造が大腿骨骨幹の狭い部分であるとき、第１の点は、大腿骨骨幹の近位端の狭い部分の断面の中心に関連し、埋め込み経路は、前記狭い部分において大腿骨骨幹の外面よりも第１の点により近い。
関心ある構造が大腿骨骨幹最狭部であるとき、第１の点は、最狭部の断面の中心に関連し、第１の点は埋め込み経路上に存在する。
大腿骨への釘の埋め込みを考えるとき、２ＤのＸ線画像での第１の点と埋め込み経路の上述の一般的な決定に基づいて、埋め込み経路と第１の点との所定の関係性に関して、以下の条件のうちの少なくとも１つが満たされ得る：
関心ある構造が大腿骨頭であるとき、第１の点は、大腿骨頭の中心に関連し、その結果、埋め込み経路の近位延長上に、すなわち、Ｘ線画像で入口点に対して近位に存在する。
関心ある構造が大腿骨頚部の狭い部分であるとき、第１の点は、大腿骨頚部の狭い部分の断面の中心に関連し、埋め込み経路の近位延長は、前記狭い部分において大腿骨頚部の外面よりも第１の点により近い。
関心ある構造が大腿骨骨幹の狭い部分であるとき、第１の点は、大腿骨骨幹の近位端の狭い部分の断面の中心に関連し、埋め込み経路は、前記狭い部分において大腿骨骨幹の外面よりも第１の点により近い。
関心ある構造が大腿骨骨幹最狭部であるとき、第１の点は、最狭部の断面の中心に関連し、第１の点は埋め込み経路上に存在する。
【0050】
いくつかの実施形態では、関心ある構造がＸ線画像で十分に見える必要はない。関心ある構造の２０パーセント～８０パーセントのみがＸ線画像で見えていれば十分な場合がある。特定の関心ある構造、すなわち、関心ある構造が、大腿骨頭、大腿骨頚部、大腿骨骨幹部、又は別の解剖学的構造であるかどうかに応じて、構造の少なくとも３０～４０パーセントは見えていなければならない。結果として、例えば、大腿骨頭の中心自体がＸ線画像で見えない、すなわち、イメージング領域外にある場合でも、大腿骨頭の２０パーセント～３０パーセントしか見えない場合でも、大腿骨頭の中心を識別することが可能な場合がある。大腿骨骨幹最狭部についても、最狭部がイメージング領域外にあり、大腿骨骨幹の３０～５０パーセントしか見えない場合でも、同じことが可能である。
【0051】
画像で関心ある点を検出するために、各ピクセルが潜在的なキーポイントであるかどうかを分類するニューラルセグメンテーションネットワークを使用してもよい。ニューラルセグメンテーションネットワークは、実際のキーポイントに中心が存在する２Ｄガウスヒートマップでトレーニングすることができる。ガウスヒートマップは回転方向に不変であってもよく、又は、特定の方向の不確実性が許容できる場合、ガウスヒートマップは方向性があってもよい。画像自体の外側にある関心ある点を検出するために、１つの考えられる手法は、画像自体に含まれているすべての情報を使用して外挿を可能にするべく、元の画像の外側のさらなるピクセルにセグメンテーションを行うことである。
【0052】
大腿骨に髄内釘又はｃｅｐｈａｌｏｍｅｄｕｌｌａｒｙ ｎａｉｌを埋め込む入口点を決定するための例示的なワークフローを提示する。一実施形態によれば、最初に、Ｘ線画像について埋め込み曲線の投影が決定される。この実施形態では、埋め込み曲線は直線（すなわち、埋め込み軸）で近似される。最初のステップとして、現在のＸ線画像が埋め込み軸を決定するのに必要な要件を満たしているかどうかがチェックされる。これらの要件は、画質、解剖学的構造の特定の領域の十分な可視性、及び解剖学的構造に対する少なくともほぼ適切な視野角（ＭＬ）を含み得る。さらに、要件は、上記の条件が満たされるかどうかを含み得る。これらの要件は、場合によってはニューラルネットワークを利用した画像処理アルゴリズムによってチェックすることができる。さらに、適用可能であれば、骨片の相対位置を決定し、それらの所望の位置と比較することができ、これに基づいて、これらの骨片が十分に上手く配置されている（すなわち、解剖学的整復が十分に上手く行われている）かどうかを判定することができる。
【0053】
より詳細には、上記の条件は次のように説明される。埋め込み軸は、少なくとも２つの解剖学的ランドマーク（例えば、これらは大腿骨頭の中心及び大腿骨骨幹最狭部であり得る）に関連する１つの点及び方向によって決定される。前述のように、ランドマークは、Ｘ線画像で見えない場合でも、ニューラルネットワークによって決定することができる。提案された埋め込み軸が許容できるかどうかは、提案された軸からＸ線で見える骨の輪郭上の様々なランドマークまでの距離を決定することによってチェックされる。例えば、提案された埋め込み軸は、大腿骨頚部の最狭部の中心の近くを通るべきである、すなわち、骨表面に近すぎてはならない。このような条件が満たされない場合、Ｘ線画像は適切なイメージング方向から取得されておらず、異なるイメージング方向からの別のＸ線画像を取得しなければならない。異なる観察方向からの別のＸ線画像で埋め込み曲線を決定すると、異なる埋め込み軸が生じる可能性があり、したがって、異なる入口点が生じる可能性がある。本発明はまた、適切な方向からＸ線画像を取得するためにイメージングデバイスをどのようにして調整するかを教示する。
【0054】
インプラントは湾曲を有する場合があり、これは、直線の埋め込み軸は、挿入されたインプラントの投影を近似するだけであることを意味することに留意されたい。本発明はまた、代わりに、インプラントの３Ｄモデルに基づいて、インプラントの２Ｄ投影により密接に従う埋め込み曲線を決定することができる。そのような手法は、埋め込み曲線を決定するために、２つ以上の解剖学的ランドマークに関連する複数の点を使用し得る。
【0055】
埋め込み軸の投影により、３Ｄ空間での埋め込み平面が決定される（又はより一般的には、埋め込み曲線の投影により、３Ｄ空間での２次元多様体が決定される）。入口点は、この埋め込み平面と、線で近似することができて入口点を含むことがわかっている別の骨構造との交わりによって得ることができる。大腿骨の場合、このような骨構造は、線で上手く近似されるほど狭くまっすぐな転子縁である場合があり、転子縁上に入口点があるとみなされる。インプラントに応じて、例えば梨状窩上などの、入口点の他の位置が可能となり得ることに留意されたい。
【0056】
転子縁は、側方Ｘ線画像で検出可能な場合がある。代替的に又は加えて、入口点に対するその位置についての何らかの事前情報が分かっている、画像で識別可能な別の点（例えば、描写されたｋワイヤ又はいくつかの他の開口ツールの先端）が使用されてもよい。大腿骨の場合、この例として、ｋワイヤの先端が転子縁上にあることがわかっている場合が挙げられ、これは、触診によって、及び／又は異なる視野角（例えば、ＡＰ）から以前に取得されたＸ線画像が少なくとも１つの次元又は自由度でｋワイヤの先端の位置を制約するので、わかる場合がある。
【0057】
入口点に対するｋワイヤの（又はいくつかの他の開口器具の）先端についてのこのような事前情報を利用する方法は、少なくとも３つある。最も簡単な可能性は、埋め込み軸の投影上へのｋワイヤの先端の直交投影を使用することである。この場合、ＭＬ画像での情報に基づいてｋワイヤの先端の位置を変更した後にｋワイヤの先端が所望の構造（転子縁）上に依然としてあるかどうかを、異なる角度（例えば、ＡＰ）から取得された後続のＸ線画像でチェックする、及び場合によっては位置の変更後に新しいＭＬ画像を取得する必要がある場合がある。別の可能性は、解剖学的事前情報に基づいて構造の投影（ＭＬ画像で識別可能ではない場合がある）と埋め込み軸の投影との間の角度を推定し、この推定された角度で埋め込み軸の投影上にｋワイヤの先端を斜めに投影することである。最後に、第３の可能性は、レジストレーションを行ったＡＰ画像とＭＬ画像のペアを使用して、ＭＬ画像で、ｋワイヤの先端とＡＰ画像の焦点を結ぶことによって画定される投影されたエピポーラ線と投影された埋め込み軸との交点を計算することである。入口点が得られると、３Ｄ空間での埋め込み軸も決定される。
【0058】
代替的に、埋め込み平面との交点によって入口点が決まる骨構造（ここでは転子縁）は、大腿骨近位部の部分的３Ｄ再構成を行うことによっても見つけることができる。一実施形態によれば、この３Ｄ再構成は、そのうちの少なくとも２つはｋワイヤを含んでいる異なる観察方向からの２つ以上のＸ線画像に基づいて次のように進められる。大腿骨の特徴的な骨エッジ（少なくとも骨の輪郭を含む）が、すべてのＸ線画像で検出される。さらに、すべてのＸ線画像で、大腿骨頭が見つけられ、円で近似され、ｋワイヤの先端が検出される。特徴的な骨エッジ、近似された大腿骨頭、及びｋワイヤの先端、及び制約されたＣアームの移動に基づいて、上で提示した手法を使用して画像にレジストレーションが行われる。画像のレジストレーション後に、少なくとも転子領域を含んでいる３Ｄ表面が再構成される。３Ｄ再構成の精度は、骨表面からのｋワイヤの先端の距離についての事前情報（例えば、ＡＰ画像からわかる場合がある）を利用することで高まり得る。この手順の様々な代替案が可能であり、それらは実施形態の詳細な説明で説明する。
【0059】
上記の手法では、埋め込み曲線が２ＤのＸ線画像で決定され、次いで、入口点を得るための様々な代替案が検討される。代替的に、手順全体（すなわち、埋め込み曲線と入口点の決定）が、骨幹の十分な部分を含む大腿骨近位部（又は逆行性の釘を使用する場合は大腿骨遠位部）の３Ｄ再構成に基づいていてもよい。このような３Ｄ再構成はまた、上で提示した方法を使用してレジストレーションが行われている複数のＸ線画像に基づいていてもよい。例えば、レジストレーションには、ボールによる大腿骨頭の近似と、シリンダ又は平均シャフト形状による骨幹の近似を使用することができる。代替的に、共同する最適化とレジストレーションの決定と骨の再構成（表面及び場合によっては髄管及び内部皮質などの内部構造も含み得る）を行うことができる。大腿骨の関連部分の３Ｄ再構成が得られると、インプラント表面と骨表面との間の距離を最適化することによって、３Ｄ埋め込み曲線をあてはめることができる。３Ｄ埋め込み曲線と決定済みの３Ｄ骨表面との交点によって入口点が得られる。
【0060】
２ＤのＸ線画像に関連した埋め込み曲線の位置及び配向が、第１の点に基づいて決定され、埋め込み曲線は、骨の表面までの第１の距離を有する骨内の第１の区域と、骨の表面までの第２の距離を有する骨内の第２の区域を含み、第１の距離は第２の距離よりも小さく、第１の点は、骨の第１の識別可能な構造上に存在し、且つ、埋め込み軸の第１の区域までのある距離に存在する。骨の識別可能な構造上に存在し、且つ、埋め込み曲線の第２の区域までのある距離に存在し得る、第２の点が利用されてもよい。さらに、埋め込み曲線の位置及び配向はさらに、少なくとも１つのさらなる点に基づいて決定されてもよく、少なくとも１つのさらなる点は、骨の第２の識別可能な構造上に存在し、且つ、埋め込み曲線上に存在する。
【0061】
脛骨に釘を埋め込むための入口点の決定
上記の「３Ｄ表現／再構成の計算」セクションで説明した共同するレジストレーションと３Ｄ再構成に基づいて、脛骨に髄内釘を埋め込むための入口点を決定することができる。
上記の「３Ｄ表現／再構成の計算」セクションで説明した共同するレジストレーションと３Ｄ再構成に基づいて、脛骨に髄内釘を埋め込むための入口点を決定することができる。
【0062】
一実施形態によれば、ユーザが開口器具（例えば、ドリル又はｋワイヤ）を脛骨表面の近位部の任意の点に、しかし理想的には想定される入口点の近傍に配置することを要求することで、精度を高め、曖昧さを解消することが提案される。ユーザは、脛骨の近位部の側方画像と少なくとも１つのＡＰ画像を取得する。脛骨の３Ｄ再構成は、開口器具の先端が画像間で移動しないことを考慮して、すべてのＸ線画像のその投影に脛骨の統計モデルを共同してあてはめることによって計算することができる。ユーザが異なる（例えばほぼＡＰ）イメージング方向から２つ以上の画像を取得し、場合によっては別の（例えば、側方）画像も取得することを要求することで、精度をさらに高めることができる。過剰決定により、開口器具の先端の起こり得る移動の検出が可能になり得る、及び／又は開口器具の先端の検出を検証することが可能になり得る。
【0063】
脛骨の３Ｄ再構成に基づいて、システムは、例えば、あてはめられた統計モデルの平均形状上の入口点を識別することによって、入口点を決定することができる。イメージングのみに基づいて（すなわち、触診なしで）順行性の脛骨釘の入口点を見つけるためのこのようなガイダンスは、外科医が膝蓋骨上手法を実行することを可能にし、これは一般に好ましい可能性があるが、慣習的には、入口点での骨の触診は不可能であるという欠点があることに留意されたい。
【0064】
上腕骨に釘を埋め込むための入口点の決定
上記で提示した提案される画像のレジストレーションと再構成技術のさらなる用途は、上腕骨に髄内釘を埋め込むための入口点の決定であり得る。
上記で提示した提案される画像のレジストレーションと再構成技術のさらなる用途は、上腕骨に髄内釘を埋め込むための入口点の決定であり得る。
【0065】
一般に、Ｘ線画像を処理するための処理ユニットを含むシステムが、上述の目的を達成するべく、Ｘ線画像に基づいて上腕骨手術を支援するために使用され得る。ソフトウェアプログラム製品は、処理ユニットで実行されるときに、以下のステップを含む方法をシステムに実行させることができる。最初に、第１のイメージング方向で生成され、上腕骨の近位部分を示している第１のＸ線画像が受信され、第２のイメージング方向で生成され、上腕骨の近位部分を示している第２のＸ線画像が受信される。これらの画像は、上腕骨骨幹の近位部分、並びに関節面を備えた上腕骨頭、さらに関節窩、すなわち、肩の相補的な関節構造を含み得る。第２のイメージング方向は、通常、第１のイメージング方向とは異なることに留意されたい。次いで、（ｉ）第１のＸ線画像と第２のＸ線画像にレジストレーションが行われ、（ｉｉ）両方の画像で上腕骨頭の２Ｄアウトラインの少なくとも一部の近似が決定され、（ｉｉｉ）近似された２Ｄアウトライン及び第１の画像と第２の画像のレジストレーションに基づいて上腕骨頭の３Ｄ近似が決定され、（ｉｖ）第１及び第２のＸ線画像で合計少なくとも３つの異なる点の２Ｄ画像座標が決定される。最後に、少なくとも３つの決定された点に基づいて上腕骨頭の３Ｄ近似上の曲線として解剖学的頚部の近似が決定される。少なくとも３つの決定された点は、決定された曲線上にある必要はないことに留意されたい。最初の３つの点と同一平面内にない解剖学的頚部のさらなる点を決定することができれば、解剖学的頚部のより一層正確な近似を決定することができる。これにより、肩関節軸の周りの解剖学的頚部、したがって上腕骨頭の回転位置を決定することが可能になり得る。関節軸の周りの回転位置を決定する別の方法は、大結節と小結節のうちの少なくとも一方が近位骨片に対して固定位置にある場合に、その位置を検出することであり得る。別の代替案は、術中Ｘ線画像に基づいて近位骨片の３Ｄ再構成を生成するために、術前に取得された３Ｄ情報（例えば、ＣＴスキャン）を使用することであり得る。この方法は、上述の方法と組み合わされてもよい。
【0066】
一実施形態によれば、上腕骨頭の２Ｄアウトラインの少なくとも一部の近似は、２Ｄ円又は２Ｄ楕円であり得る。さらに、上腕骨頭の３Ｄ近似は、３Ｄボール又は３Ｄ楕円であり得る。解剖学的頚部の近似は、３Ｄ空間での円又は楕円であり得る。
【0067】
一実施形態によれば、さらなるＸ線画像を受信し、第１のＸ線画像、第２のＸ線画像、及びさらなるＸ線画像からなる群のＸ線画像のうちの少なくとも２つでの上腕骨骨幹軸の近似を決定することができる。少なくとも２つのＸ線画像での近似された上腕骨骨幹軸とともに、第１のＸ線画像と第２のＸ線画像のレジストレーションに基づいて、上腕骨の３Ｄ骨幹軸の近似を決定することができる。
【0068】
開示された方法の一実施形態によれば、次いで、近似された解剖学的頚部と、近似された３Ｄ骨幹軸及び／又は近似された上腕骨関節の関節窩に基づいて、骨折した上腕骨の入口点及び／又は近位骨片の転位を判定することができる。結果として、入口点と、上腕骨頭の転位に基づいて、近位骨片での埋め込み曲線を決定することができる。さらに、近位骨片の位置を変更するための情報を提供することができる。
【0069】
一実施形態によれば、少なくとも２つのＸ線画像にレジストレーションを行うことができ、これらの２つのＸ線画像は、第１のＸ線画像、第２のＸ線画像、及びさらなるＸ線画像のうちの２つであり得る。上腕骨頭のモデルと、上腕骨頭に対して固定の３Ｄ位置を有する１つのさらなる点に基づいてＸ線画像にレジストレーションを行うことができ、この点は、少なくとも２つのＸ線画像で識別及び検出される。１つのさらなる点は、器具の先端であってもよく、上腕骨頭の関節面上に存在してもよい。この場合、その点と上腕骨頭中心との間の距離が、ボールで近似した上腕骨頭の半径に等しいことを利用して、Ｘ線画像のレジストレーションの精度を向上させることができる。
【0070】
以下に、本開示に係る方法のいくつかの態様をより詳細に説明する。肩関節に位置する上腕骨頭はボール（球）で近似することができる。以下では、特に明記しない限り、上腕骨はそのようなボールで近似されると理解され、これは、Ｘ線画像での上腕骨の投影を円で近似することを意味する。したがって、「中心」及び「半径」は常に、そのような近似するボール又は円を指す。例えば楕円による上腕骨頭の他の単純な幾何学的近似を使用することも可能な場合があることに留意されたい。その場合、解剖学的頚部は楕円で近似される。
【0071】
以下、入口点を決定するための例示的なワークフローを説明する。上腕骨での入口点を決定する際の複雑な問題は、上腕骨釘で治療される骨折部が手術頚部に沿って頻繁に生じ、したがって上腕骨頭が移動することである。適正な整復では、上腕骨頭の中心は上腕骨骨幹軸の近くにあるはずである。一実施形態によれば、これは、上腕骨近位部を描写しているアキシャルＸ線画像で検証することができる。上腕骨頭の中心が骨幹軸の十分に近くにない場合、ユーザは、関節軸の周りの上腕骨頭の回転（検出可能ではない場合がある）を適正にするために、腕に遠位方向に牽引力をかけるようにアドバイスされる。次いで、上腕骨頭の中心のおよそ２０％内側（上記の典型的なアキシャルＸ線画像においてを意味する）の骨幹軸上のおおよその入口点が提案される。次いで、ユーザは、この提案された入口点に開口器具（例えば、ｋワイヤ）を配置することを要求される。代替的に、前述のようにレジストレーションの精度を向上させるために、システムは、器具の先端が上腕骨頭の球面部に確実に存在するように、想定される入口点の内側（アキシャルＸ線画像で描写された大腿骨頭の中心より３０～８０パーセント上を意味する）に開口器具を意図的に配置するようにユーザに要求する。システムは、新しいアキシャルＸ線画像で上腕骨頭とこの器具の先端を（例えば、ニューラルネットワークを使用することによって）検出することができる。
【0072】
次いで、ユーザは、特定のＣアームの移動（例えば、Ｃ軸の周りの回転及びさらなる並進）のみを許容し、器具の先端を定位置においたままで（器具の傾きは変化が許容される）、ＡＰ画像を取得するように指示される。上腕骨頭と器具の先端が再び検出される。次いで、上腕骨頭を近似するボールと器具の先端に基づいて、「２つ以上のＸ線画像の３Ｄレジストレーション」セクションで上述したように、アキシャル画像とＡＰ画像にレジストレーションを行うことができる。
【0073】
肩関節の関節面の境界を定める曲線は、解剖学的頚部（解剖頚）と呼ばれる。解剖学的頚部は、上腕骨の球面部を画定するが、通常は、外科医がＸ線で識別することは不可能である。これは、上腕骨頭を近似するボールと平面が交わることによって得られる３Ｄ空間での２Ｄ円で近似することができ、この平面は、上腕骨の骨幹軸に対して傾斜している。球状の関節面は上方（外反）及び背側に向いている（患者の腕が肩から下方にだらりと垂れ下がり、胸と平行な状態）。この交わる平面を定義するには、３つの点で十分である。アキシャルＸ線画像とＡＰ Ｘ線画像は、それぞれ、解剖学的頚部上の２つの点、すなわち上腕骨の球面部を画定する円弧の始点と終点を決定することを可能にし得る。したがって、これは過剰決定問題であり、２つのＸ線画像に基づいて４つの点を決定することができ、一方、交わる平面を定義するには３つの点だけが必要である。さらなるＸ線画像が使用される場合、この問題はさらに過剰決定となり得る。この過剰決定は、交わる平面のより正確な計算を可能にし得る、又は、例えば点が遮られているために点を決定できない状況を取り扱うことを可能にし得る。
【0074】
決定された平面と上腕骨頭を近似するボールの交わりによって解剖学的頚部の近似を決定するとき、様々な修正が可能な場合があることに留意されたい。例えば、上腕骨頭上の解剖学的頚部のより正確な位置を考慮に入れて、交わる平面を横方向にシフトさせてもよい。代替的に又は加えて、解剖学的頚部を近似する円の半径を調整してもよい。また、より自由度の高い幾何学的モデルを使用して、上腕骨頭を近似する及び／又は解剖学的頚部を近似することが可能な場合がある。
【0075】
入口点は、３Ｄ空間において骨幹軸と骨表面との交点に最も近い解剖学的頚部上の点として取得されてもよく、又はその点から内側方向にユーザにより定義された距離に位置してもよい。このようにして決定された解剖学的頚部及び入口点は、現在のＸ線画像にオーバーレイとして表示することができる。この入口点がＸ線画像で骨頭を近似する円に非常に近い場合、ｚ座標に大きな不正確さが生じる可能性がある。このような状況を軽減するために、提案された入口点がＸ線画像で骨頭の内部に向けてさらに移動するようにＣアームを回転させるべく指示を与えることができる。これは、機械的制約により、入口点が近似する円の近くにある場合にＸ線画像を取得するのが難しい場合があるため、いずれの場合にも有利である可能性がある。言い換えれば、アキシャル画像とＡＰ画像との間でのＣアームの回転は、例えば６０度であってもよく、これは、９０度回転よりも手術ワークフローにおいて達成するのがより容易であり得る。
【0076】
このワークフローのさらなる詳細、随意的な実装、及び拡張を、以下の実施形態の詳細な説明で説明する。
【0077】
整復のサポート
本発明の別の目的は、骨片の解剖学的に適正な整復をサポートすることである。通常、外科医は、骨折片をできるだけ自然な相対的配置に再配置することを試みる。結果の改善のためには、固定用のインプラントを挿入する前又は後に、このような整復が解剖学的に適正であったかどうかをチェックすることが重要になる場合がある。
本発明の別の目的は、骨片の解剖学的に適正な整復をサポートすることである。通常、外科医は、骨折片をできるだけ自然な相対的配置に再配置することを試みる。結果の改善のためには、固定用のインプラントを挿入する前又は後に、このような整復が解剖学的に適正であったかどうかをチェックすることが重要になる場合がある。
【0078】
整復は、関心ある骨の３Ｄ再構成を計算することによってサポートされ得る。このような３Ｄ再構成は、骨全体の完全な再構成である必要はない場合があり、あらゆるアスペクトにおいて正確である必要はない場合がある。特定の測定値のみを抽出する場合、３Ｄ再構成は、この測定値を十分に正確に求めることができる程度に正確である必要があるのみである。例えば、大腿骨の前傾角（ＡＶ）を決定する場合、大腿骨の３Ｄ再構成が顆領域及び頚領域において十分に正確であればそれで十分であり得る。関心ある尺度の他の例としては、脚の長さ、脚の変形度、湾曲（大腿骨の前弯など）、或いは髄内釘の挿入前又は挿入後に大腿骨の近位骨片の内反回転が生じることが多いためｃａｐｕｔ－ｃｏｌｌｕｍ－ｄｉａｐｈｙｓｉｓ（ＣＣＤ）角度が挙げられる。関心ある尺度が決定されると、適切なインプラントを選択するためにそれを使用してもよく、或いはデータベースから導出される又は例えば手術する方の脚を他方の健康な脚と比較することによって患者固有であり得る所望の値とそれを比較してもよい。所望の値、例えば、所望の前傾角をどのようにして達成するかの指示を外科医に与えることができる。
【0079】
また、利用可能なＸ線画像から自動的に計算することで特定の測定値を手術の全体を通してモニタリングすること、場合によっては測定値が所望の値から大きく逸脱する場合に外科医に警告することも重要な場合がある。
【0080】
場合によっては、特に、（例えば、ＬＵ１００９０７Ｂ１に基づいて）観察方向を決定することができ、特定の測定値（例えば、ＣＣＤ角）のみに関心がある場合に、３Ｄ再構成は、単一のＸ線画像からでも可能であり得る。しかしながら、一般に、異なる観察方向から撮影された及び／又は骨の異なる部分を描写している２つ以上のＸ線画像が、３Ｄ再構成の精度を高め得る（上記の「３Ｄ表現／再構成の計算」セクションを参照）。３Ｄ再構成は、Ｘ線画像で見えない又は部分的にしか見えない骨の部分であっても、骨折に起因して見えない部分が見える部分に対して変位していないことを条件として計算することができ、そのような変位が存在する場合、転位パラメータは既にわかっているか、または他の方法で決定することができる。例えば、大腿骨の統計的３Ｄモデルに基づいて、大腿骨頭の大部分が見えないＭＬ及びＡＰ画像のペアから大腿骨頭が十分に正確に再構成され得る。別の例として、大腿骨骨幹部が骨折していない場合、２つの近位Ｘ線画像に基づいて大腿骨の遠位部が再構成され得る。もちろん、遠位部を示しているさらなるＸ線画像も入手可能であれば、遠位部の再構成の精度を高めることができる。
【0081】
２つ以上のＸ線画像に基づく骨の３Ｄ再構成では、上記の「２つ以上のＸ線画像の３Ｄレジストレーション」セクションで説明した手法の１つに従って、３Ｄ再構成を計算する前にこれらのＸ線画像にレジストレーションを行うことができれば、精度がさらに高まり得る。骨の３Ｄ再構成が、骨の異なる部分を示している２つ以上のＸ線画像（例えば、２つのＸ線画像が大腿骨の近位部を示し、１つのＸ線画像がこの大腿骨の遠位部を示している）に基づいて計算される場合、各骨の部分について少なくとも１つのＸ線画像で見える既知の３Ｄモデル（例えば、埋め込み済みの釘）を伴うオブジェクトに基づいて及び／又はこれらのＸ線画像の取得間の許容可能なＣアームの移動を制約することによって（ＬＵ１０１００９Ｂ１参照）、異なる部分を描写しているＸ線画像の３Ｄレジストレーションが可能となり得る。
【0082】
インプラントがまだ挿入されていないときに、患者に穴をあける前又は後に（例えば、転子貫通骨折の整復で背側ギャップを検出するために）、ＡＶ角を決定する必要がある場合がある。このような場合、大腿骨近位部の２つ以上の画像（例えば、ＡＰ及びＭＬ）のレジストレーションは、上記の「２つ以上のＸ線画像の３Ｄレジストレーション」セクションの方針に沿って、以下のように進められてもよい。釘を挿入するための入口点を決定するとき、ｋワイヤなどの開口器具（直径がわかっている）が、想定される入口点に配置され、したがってＸ線画像で検出される。その先端の位置と検出された大腿骨頭に基づいて、画像にレジストレーションが行われる。ｋワイヤのようなさらなるオブジェクトがＸ線画像で見えない場合、画像間のＣアームの特定の移動を要求することで画像のレジストレーションが依然として行われる。例えば、システムは、ＣアームのＣ軸の周りの７５度回転を要求する。この回転が十分な精度で行われる場合、画像のレジストレーションも十分な精度で可能となる。一実施形態で説明されるように、許容されるＣアームの移動を並進運動のみに制約することによって、骨の重複しない部分（例えば、大腿骨の遠位部及び近位部）にレジストレーションが行われる。
【0083】
ＡＶ角を決定するために３Ｄ再構成は必須ではないことに留意されたい。例えば頚軸の近傍の１つのさらなる点を決定することによって、２Ｄ手法に基づいてＡＶ角を決定するのに十分な情報が得られる可能性がある。Ｘ線画像で検出された２Ｄ構造（例えば、大腿骨の近位部及び遠位部内の構造）のレジストレーションが、上記の方法を使用することによって行われ得る。
【0084】
他の場合には、例えば、骨の適正な回転角を決定するときに、隣接する骨又は骨構造を考慮に入れることが有益な場合がある。例えば骨折した脛骨の場合、その近位部の配向の評価では、大腿骨、膝蓋骨、及び／又は腓骨の顆が考慮され得る。同様のコメントがその遠位部の回転位置の評価にもあてはまる。脛骨と腓骨又は他の骨構造（例えば、足の関節の重なり合うエッジ）の相対位置は、脛骨遠位部の観察方向を明確に示し得る。これらのすべての評価は、ニューラルネットワークに基づいていてもよく、これは、場合によっては考えられる各構造の（適正な検出の）信頼値に基づいて、共同の最適化を行うことができる。そのような評価の結果は、現在の骨の整復を評価するために、患者又は四肢の位置についての知識と組み合わせることができる。例えば、上腕骨の場合、システムは、患者の橈骨を患者の体と平行に配置するように外科医に指示することができる。整復を評価するには、Ｘ線画像でこれらの構造を検出することによって関節窩に対する上腕骨関節面の中心位置を達成するようにユーザをガイドするだけで十分な場合がある。
【0085】
Ｘ線線量の低減
全体的な目的は、患者及び手術室スタッフのＸ線被ばくの低減であり得ることに留意されたい。本明細書で開示される実施形態に係る骨折の治療中に生成されるＸ線画像はできるだけ少なくするべきである。例えば、遠位骨片に対する近位骨片の位置をチェックするために取得された画像が入口点の決定に用いられてもよい。別の例として、入口点を決定するプロセスで生成された画像をＡＶ角又はＣＣＤ角の測定に使用してもよい。
全体的な目的は、患者及び手術室スタッフのＸ線被ばくの低減であり得ることに留意されたい。本明細書で開示される実施形態に係る骨折の治療中に生成されるＸ線画像はできるだけ少なくするべきである。例えば、遠位骨片に対する近位骨片の位置をチェックするために取得された画像が入口点の決定に用いられてもよい。別の例として、入口点を決定するプロセスで生成された画像をＡＶ角又はＣＣＤ角の測定に使用してもよい。
【0086】
一実施形態によれば、必ずしも完全な解剖学的構造がＸ線画像で見える必要はないため、Ｘ線被ばくも低減され得る。解剖学的構造、インプラント、外科用器具、及び／又はインプラントシステムの一部などのオブジェクトの３Ｄ表現又は位置特定は、それらがＸ線画像で見えない又は部分的にしか見えない場合でも提供され得る。例として、投影画像が大腿骨頭を十分に描写していない場合でも、依然として完全に再構成され得る。別の例として、遠位部が十分に描写されていない状態で、１つ又は複数の近位画像に基づいて大腿骨の遠位部を再構成することが可能であり得る。
【0087】
場合によっては、解剖学的構造に関連する関心ある点、例えば、大腿骨頭の中心又は大腿骨骨幹部上の特定の点を決定する必要がある場合がある。このような場合、関心ある点がＸ線画像に示されている必要はない場合がある。これは、そのような関心ある点を決定する際の不確実性又は不正確さが、以降ではあまり重要ではない次元又は自由度に影響を与える場合に、さらにあてはまる。例えば、大腿骨頭の中心点及び／又は大腿骨骨幹の軸上の特定の点は、Ｘ線画像の外側に存在する場合があるが、例えば、ディープニューラルネットワーク手法に基づいて、システムは、依然としてこれらの点を決定し、例えば、埋め込み曲線の方向の不正確さは計算された埋め込み曲線に大きな影響を与えない可能性があるので埋め込み曲線を十分な精度で計算するために使用することができる。
【0088】
一実施形態によれば、システムの処理ユニットは、特定の最小限必要なパーセンテージ（例えば、２０％）の解剖学的構造を示しているＸ線投影画像に基づいて、解剖学的構造及び／又は解剖学的構造に関連する関心ある点を決定するように構成されてもよい。解剖学的構造の最小限必要な部分よりも少ない部分（例えば、２０％未満）が見える場合、システムは、所望のビューを得るようにユーザをガイドする。例として、大腿骨頭がまったく見えない場合、システムは、現在のＸ線投影画像での大腿骨骨幹の外観に基づいて計算された方向にＣアームを移動させるように指示を与えることができる。
【0089】
３Ｄモデルと２Ｄ投影画像のマッチング
処理されたＸ線画像の画像データは、イメージングデバイスから、例えばＣアーム又はＧアームベースの２ＤのＸ線デバイスから直接、又は代替的にデータベースから受信され得ることに留意されたい。Ｘ線投影画像は、関心ある解剖学的構造、特に骨を表し得る。骨は、例えば手又は足の骨であり得るが、特に、大腿骨及び脛骨のような下肢の長骨、及び上腕骨のような上肢の長骨であり得る。画像はまた、骨インプラント又は外科用器具、例えば、ドリル又はｋワイヤのような人工オブジェクトを含み得る。
処理されたＸ線画像の画像データは、イメージングデバイスから、例えばＣアーム又はＧアームベースの２ＤのＸ線デバイスから直接、又は代替的にデータベースから受信され得ることに留意されたい。Ｘ線投影画像は、関心ある解剖学的構造、特に骨を表し得る。骨は、例えば手又は足の骨であり得るが、特に、大腿骨及び脛骨のような下肢の長骨、及び上腕骨のような上肢の長骨であり得る。画像はまた、骨インプラント又は外科用器具、例えば、ドリル又はｋワイヤのような人工オブジェクトを含み得る。
【0090】
本開示では、「オブジェクト」と「モデル」を区別する。「オブジェクト」という用語は、実オブジェクト、例えば、骨又は骨の一部又は別の解剖学的構造について、或いは髄内釘、骨プレート、又は骨ねじのようなインプラントについて、或いはスリーブ又はｋワイヤのような外科用器具について使用される。「オブジェクト」はまた、実オブジェクトの一部（例えば、骨の一部）のみを表す場合があり、或いは実オブジェクトのアセンブリである、したがってサブオブジェクトで構成される場合がある（例えば、オブジェクト「骨」は、骨折している、したがってサブオブジェクト「骨折した骨の断片」で構成される場合がある）。
【0091】
他方では、「モデル」という用語は、オブジェクトの仮想表現に使用される。例えば、インプラントの形状及び寸法を定義するデータセットが、インプラントのモデルを構成してもよい。別の例として、例えば診断手順中に生成される解剖学的構造の３Ｄ表現が、実際の解剖学的オブジェクトのモデルとして採用されてもよい。「モデル」は、特定のオブジェクト、例えば、特定の釘を記述してもよく、或いは、ある程度の変動性を有する大腿骨などのオブジェクトのクラスを記述してもよいことに留意されたい。後者のケースでは、そのようなオブジェクトは、例えば、統計的形状又は外観モデルによって記述されてもよい。したがって、本発明の目的は、取得されたＸ線画像で描写されているオブジェクトのクラスから特定のインスタンスの３Ｄ表現を見つけることであり得る。例えば、大腿骨の一般的な統計的形状モデルに基づいて、取得されたＸ線画像で描写されている大腿骨の３Ｄ表現を見つけることが目的であり得る。決定論的可能性の個別のセットを含むモデルを使用することも可能な場合があり、システムは、これらのうちのどれが画像でオブジェクトを最もよく表すかを選択する。例えば、データベースにいくつかの釘が存在する場合、アルゴリズムは、どの釘が画像で描写されているかを識別する。
【0092】
モデルは、実オブジェクトの完全な又は部分的な３Ｄモデルであってもよく、或いは、大腿骨又は上腕骨頭を３Ｄのボール又は２Ｄ投影画像の円で近似できること、又はシャフトが骨幹軸によって記述される方向を有することなどの、オブジェクトの特定の幾何学的アスペクト（次元が３よりも小さい場合もある）のみを記述してもよいことに留意されたい。
【0093】
３Ｄ表現は、実際にはコンピュータデータのセットであるため、そのデータから仮想的に表されるオブジェクトの幾何学的アスペクト及び／又は寸法（例えば、軸、アウトライン、湾曲、中心点、角度、距離、又は半径）のような特定の情報を容易に抽出することができる。例えば、釘の幅がモデルデータからわかっているため、スケールが１つのオブジェクトに基づいて決定されている場合、これはまた、そのようなオブジェクトが同様のイメージング深度にあれば、別の描写されている潜在的に未知のオブジェクトの幾何学的アスペクト又は寸法を測定することを可能にする。（例えば、そのオブジェクトが十分に大きいため又はＸ線検出器のサイズ及び像平面と焦点の距離がわかっているため）１つのオブジェクトのイメージング深度がわかっている場合、及び（例えば、解剖学的知識に基づく）２つのオブジェクト間のイメージング深度の差異についての情報がある場合、切片定理に基づいて、異なるイメージング深度での異なるオブジェクトのサイズを計算することも可能な場合がある。
【0094】
一実施形態によれば、Ｘ線画像内のオブジェクトは、Ｘ線投影画像で自動的に分類及び識別される。しかしながら、オブジェクトはまた、Ｘ線投影画像で手動で分類及び／又は識別されてもよい。このような分類又は識別は、デバイスによって認識された構造を自動的に参照することでデバイスによってサポートされ得る。
【0095】
オブジェクトのモデルとＸ線画像に描写されているその投影のマッチングでは、投影の選択された特徴（例えば、輪郭又は特徴的なエッジ）のみを考慮してもよく、又は全体の外観を考慮してもよい。輪郭又は特徴的なエッジは、ニューラルセグメンテーションネットワークを使用して決定してもよい。Ｘ線画像でのオブジェクトの外観は、とりわけ、Ｘ線放射の減衰、吸収、及び偏向に依存し、これはオブジェクトの材料に依存する。例えば、スチール製の釘はチタン製の釘よりも一般により多くのＸ線放射を吸収し、これは、そのアウトライン内の釘の投影画像の外観に影響を与えるだけでなく、アウトライン自体の形状、例えば、釘の穴のアウトラインも変化させる可能性がある。この影響の強さは、Ｘ線強度と、Ｘ線ビームが通過する必要があるオブジェクトの周囲の組織の量にも依存する。別の例として、軟組織と硬組織との間の移行部は、そのような移行部がＸ線画像でより暗い領域とより明るい領域の間にエッジを生じるため、Ｘ線画像で識別可能な場合がある。例えば、筋組織と骨組織との間の移行部は、識別可能な構造であり得るが、海綿状の内側の骨組織と硬い皮質の外側の骨組織との間の移行部である内皮質も、Ｘ線画像で特徴として識別可能であり得る。本開示で骨のアウトラインが決定される場合はいつでも、そのようなアウトラインはまた、内皮質又は骨の形状のその他の識別可能な特徴であり得ることに留意されたい。
【0096】
一実施形態によれば、決定論的モデルによって記述されるオブジェクトについて、２Ｄ－３Ｄマッチングは、Ｌａｖａｌｌｅｅ Ｓ．， Ｓｚｅｌｉｓｋｉ Ｒ．， Ｂｒｕｎｉｅ Ｌ．（１９９３） Ｍａｔｃｈｉｎｇ ３－Ｄ ｓｍｏｏｔｈ ｓｕｒｆａｃｅｓ ｗｉｔｈ ｔｈｅｉｒ ２－Ｄ ｐｒｏｊｅｃｔｉｏｎｓ ｕｓｉｎｇ ３－Ｄ ｄｉｓｔａｎｃｅ ｍａｐｓ， ｉｎ Ｌａｕｇｉｅｒ Ｃ．（ｅｄｓ）： Ｇｅｏｍｅｔｒｉｃ Ｒｅａｓｏｎｉｎｇ ｆｏｒ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ａｃｔｉｏｎ．ＧＲＰＡ １９９１， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ｖｏｌ．７０８．Ｓｐｒｉｎｇｅｒ， Ｂｅｒｌｉｎ， Ｈｅｉｄｅｌｂｅｒｇによって説明された方針に沿って進められてもよい。この手法では、パラメータベクトルにさらなる自由度を導入することによって又は適切に調整されたモデルを使用することによって、画像の歪み（例えば、イメージインテンシファイアによって導入されるピローエフェクト）又は釘の屈曲などのさらなるエフェクトを考慮することができる。
【0097】
一実施形態によれば、統計的形状又は外観モデルによって記述されるオブジェクトについて、仮想投影と実際の投影をマッチさせることは、Ｖ．Ｂｌａｎｚ， Ｔ．Ｖｅｔｔｅｒ （２００３）， Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅの方針に沿って進められてもよい。この論文では、統計的でモーフィング可能な３Ｄモデルが２Ｄ画像にあてはめられる。このために、輪郭及び外観の統計モデルパラメータと、透視投影ためのカメラ及びポーズパラメータが決定される。別の手法は、Ｘ．Ｄｏｎｇ ａｎｄ Ｇ．Ｚｈｅｎｇ， Ａｕｔｏｍａｔｉｃ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｐｒｏｘｉｍａｌ Ｆｅｍｕｒ Ｃｏｎｔｏｕｒｓ ｆｒｏｍ Ｃａｌｉｂｒａｔｅｄ Ｘ－Ｒａｙ Ｉｍａｇｅｓ Ｕｓｉｎｇ ３Ｄ Ｓｔａｔｉｓｔｉｃａｌ Ｍｏｄｅｌｓ， ｉｎ Ｔ．Ｄｏｈｉ ｅｔ ａｌ．（Ｅｄｓ．）， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ２００８に従うことであり得る。その仮想投影がＸ線画像でのオブジェクトの実際の投影とマッチするように３Ｄモデルを変形することで、イメージング方向（Ｘ線ビームがオブジェクトを通過する方向を表す）の計算も可能になる。
【0098】
Ｘ線画像を表示するとき、幾何学的アスペクト及び／又は寸法が、投影画像にオーバーレイとして示されてもよい。代替的に又は加えて、モデルの少なくとも一部が、例えばトランスペアレントな視覚化又は３Ｄレンダリングとして投影画像に示されてもよく、これは、ユーザによるモデルの、したがってイメージングされたオブジェクトの構造的アスペクトの識別を容易にし得る。
【0099】
一般的なコメント
Ｃアームの回転軸及び並進軸の定義について、図２５を参照する。この図では、Ｘ線源はＸＲで表され、英字Ｂで表される回転軸は垂直軸と呼ばれ、英字Ｄで表される回転軸はプロペラ軸と呼ばれ、英字Ｅで表される回転軸はＣ軸と呼ばれる。一部のＣアームモデルでは、軸Ｅは、軸Ｂにより近い場合があることに留意されたい。軸Ｄと中央のＸ線ビーム（ＸＢと表記される）との交点は、Ｃアームの「Ｃ」の中心と呼ばれる。Ｃアームは、英字Ａで示される方向に沿って上下に動き得る。Ｃアームはまた、英字Ｃで示される方向に沿って動き得る。Ｃアームの「Ｃ」の中心からの垂直軸の距離は、Ｃアーム間で異なり得る。Ｃアームの代わりにＧアームを使用することも可能であることに留意されたい。
Ｃアームの回転軸及び並進軸の定義について、図２５を参照する。この図では、Ｘ線源はＸＲで表され、英字Ｂで表される回転軸は垂直軸と呼ばれ、英字Ｄで表される回転軸はプロペラ軸と呼ばれ、英字Ｅで表される回転軸はＣ軸と呼ばれる。一部のＣアームモデルでは、軸Ｅは、軸Ｂにより近い場合があることに留意されたい。軸Ｄと中央のＸ線ビーム（ＸＢと表記される）との交点は、Ｃアームの「Ｃ」の中心と呼ばれる。Ｃアームは、英字Ａで示される方向に沿って上下に動き得る。Ｃアームはまた、英字Ｃで示される方向に沿って動き得る。Ｃアームの「Ｃ」の中心からの垂直軸の距離は、Ｃアーム間で異なり得る。Ｃアームの代わりにＧアームを使用することも可能であることに留意されたい。
【0100】
ニューラルネットは、適用されるデータと同等の多数のデータに基づいてトレーニングされてもよい。画像での骨構造の評価の場合、ニューラルネットは、関心ある骨の多数のＸ線画像に基づいてトレーニングされるべきである。ニューラルネットはまた、シミュレートされたＸ線画像に基づいてトレーニングされてもよいことが理解されるであろう。
【0101】
一実施形態によれば、１つよりも多いニューラルネットワークを使用することができ、各ニューラルネットは、所望のソリューションを達成するために必要なサブステップについて特にトレーニングされてもよい。例えば、第１のニューラルネットは、２Ｄ投影画像で解剖学的構造を分類するべくＸ線画像データを評価するようにトレーニングされてもよく、一方、第２のニューラルネットは、２Ｄ投影画像で構造の特徴的なエッジを検出するようにトレーニングされてもよい。第３のネットは、大腿骨頭の中心のような特定のキーポイントを決定するようにトレーニングされてもよい。ニューラルネットワークを、限定はされないがＡｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓのようなモデルベースのアルゴリズムを含む他のアルゴリズムと組み合わせることも可能である。ニューラルネットはまた、本発明でのタスクの１つ、例えば、埋め込み曲線の決定を直接解決し得ることに留意されたい。
【0102】
処理ユニットは、プロセスのすべてのステップを実行する１つだけのプロセッサによって実現されてもよく、或いは同じ場所に配置される必要がないグループの又は複数のプロセッサによって実現されてもよいことに留意されたい。例えば、クラウドコンピューティングは、プロセッサをどこにでも配置することを可能にするできる。例えば、処理ユニットは、結果を視覚化するためのモニタを含むユーザとの相互作用を制御する第１のサブプロセッサと、すべての計算を行う第２のサブプロセッサ（場合によってはどこか別の場所に配置される）に分割されてもよい。第１のサブプロセッサ又は別のサブプロセッサはまた、例えば、Ｘ線イメージングデバイスのＣアーム又はＧアームの移動を制御することができる。
【0103】
一実施形態によれば、デバイスはさらに、例えばＸ線画像を格納するためのデータベースを提供するストレージ手段を備えていてもよい。そのようなストレージ手段はまた、システムが接続され得るネットワーク内に設けられてもよく、ニューラルネットに関係するデータがそのネットワークを介して受信されてもよいことが理解されるであろう。さらに、デバイスは、少なくとも１つの２ＤのＸ線画像を生成するためのイメージングユニットを備えていてもよく、イメージングユニットは、異なる方向から画像を生成することができる。
【0104】
一実施形態によれば、システムは、ユーザに情報を提供するためのデバイスを備えていてもよく、情報は、Ｘ線画像及び手順のステップに関する指示からなる群のうちの少なくとも１つの情報を含む。このようなデバイスは、情報を視覚化するためのモニタ又は拡張現実デバイスであってもよく、又は情報を音響で提供するためのラウドスピーカであってもよいことが理解されるであろう。デバイスはさらに、例えば画像内の距離を測定するために、Ｘ線画像で骨のアウトラインなどのオブジェクトの位置又は一部を手動で決定又は選択するための入力手段を備えていてもよい。そのような入力手段は、例えば、デバイスに含まれ得るモニタ画面上のカーソルのようなポインティングデバイスを制御するためのコンピュータキーボード、コンピュータマウス、又はタッチスクリーンであり得る。デバイスはまた、パッケージのラベルを読み取る又は他の方法でインプラント又は外科用器具を識別するために、カメラ又はスキャナを備えていてもよい。カメラはまた、ジェスチャー又は模倣によって、例えば、バーチャルリアリティによって表示されたデバイスに仮想的にタッチすることによって、ユーザがデバイスと視覚的に通信することを可能にし得る。デバイスはまた、マイクロフォン及び／又はラウドスピーカを備えていてもよく、ユーザと音響で通信する。
【0105】
本開示でのＣアームの移動へのすべての言及は常に、Ｃアームと患者との相対位置の変更を指すことに留意されたい。したがって、Ｃアームの並進又は回転は、一般に、患者／手術台の対応する並進又は回転、或いはＣアームの並進／回転と患者／台の並進／回転との組み合わせによって置き換えられてもよい。実際には患者の四肢を動かすほうがＣアームを動かすよりも簡単な場合があるため、これは、四肢を扱うときに特に関係し得る。必要な患者の動きは、一般にＣアームの移動とは異なり、特に、Ｘ線画像で標的構造が既に所望の位置にある場合、通常は患者の並進は必要とされないことに留意されたい。システムは、Ｃアームの調整及び／又は患者の調整を計算することができる。さらに、Ｃアームへのすべての言及は、Ｇアームにも同様にあてはまることに留意されたい。
【0106】
本発明で開示される方法及び技術は、人間のユーザ又は外科医をサポートするシステムで使用されてもよく、又はいくつかの又はすべてのステップがロボットによって実行されるシステムで使用されてもよい。したがって、この特許出願での「ユーザ」又は「外科医」へのすべての言及は、人間のユーザだけでなく、ロボット外科医、機械的サポートデバイス、又は同様の装置を指す場合がある。同様に、Ｃアームをどのように調整するかの指示が与えられることが言及されるときには常に、そのような調整は、人間の介入なしに、すなわち、自動的に、ロボットＣアームによって、ロボットテーブルによって行われてもよく、又は何らかの自動サポートを伴って手術室スタッフによって行われてもよいと理解される。ロボット外科医及び／又はロボットＣアームは、人間よりも高い精度で動作することができるため、反復手順で必要な繰返しがより少なくなり、より複雑な指示（例えば、複数の反復ステップを組み合わせること）を実行できることに留意されたい。
【0107】
コンピュータプログラムは、好ましくは、データ処理装置のランダムアクセスメモリにロードされてもよい。したがって、一実施形態に係るシステムのデータ処理装置又は処理ユニットは、説明されたプロセスの少なくとも一部を実行するために搭載され得る。さらに、本発明は、開示されたコンピュータプログラムが記憶され得るＣＤ－ＲＯＭなどのコンピュータ可読媒体に関する。しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提供されてもよく、このようなネットワークからデータ処理装置のランダムアクセスメモリにダウンロードすることができる。さらに、コンピュータプログラムはまた、クラウドベースのプロセッサで実行されてもよく、結果がネットワークを介して提供される。
【0108】
インプラントについての事前情報（例えば、釘のサイズ及びタイプ）は、手術前又は手術中に、インプラントのパッケージ（例えば、バーコード）又はインプラント自体の書き込みを単にスキャンすることによって得ることができることに留意されたい。
【0109】
上記の説明から明らかなように、本発明の主要な態様は、可視オブジェクトの自動解釈を可能にする、Ｘ線画像データの処理である。本明細書で説明される方法は、患者の外科的治療を支援する方法として理解されるべきである。したがって、一実施形態によれば、この方法は、手術による動物又は人体の治療のいずれかのステップを含まない場合がある。
【0110】
本明細書に記載の方法のステップ、特に、そのうちの一部が図面で視覚化されるいくつかの実施形態に係るワークフローに関連して説明される方法のステップは、主要なステップであり、これらの主要なステップは、いくつかのサブステップに区別又は分割され得ることが理解されるであろう。さらに、これらの主要なステップ間にさらなるサブステップが存在し得る。方法全体の一部のみが本発明を構成し得ること、すなわち、ステップが省略又は要約されてもよいことも理解されるであろう。
【0111】
いくつかの実施形態が異なる主題に関連して説明されることに留意されたい。特に、いくつかの実施形態は、方法タイプのクレーム（コンピュータプログラム）に関連して説明され、他の実施形態は、装置タイプのクレーム（システム／デバイス）に関連して説明される。しかしながら、当業者は、上記及び以下の説明から、特に明記しない限り、あるタイプの主題に属する特徴の任意の組み合わせ、並びに、異なる主題に関連する特徴間の任意の組み合わせが本出願で開示されると考えられることを理解するであろう。
【0112】
本発明の上記の態様及びさらなる態様、特徴、及び利点はまた、以下に説明する実施形態の例から導き出すことができ、図面にも示されている実施形態の例を参照して説明されるが、本発明はこれに限定されるものではない。
【図面の簡単な説明】
【0113】
【図1】髄内釘の入口点を決定するための大腿骨の側方Ｘ線画像を示す図である。
【図2】脛骨の近位部と開口器具のＭＬ Ｘ線画像を示す図である。
【図3】脛骨の近位部と開口器具のＡＰ Ｘ線画像を示す図である。
【図4】脛骨の近位部と開口器具のＡＰ Ｘ線画像を示す図である。
【図5】脛骨の近位部と開口器具のＡＰ Ｘ線画像を示す図である。
【図6】２つのＡＰ Ｘ線画像と１つのＭＬ Ｘ線画像に基づく脛骨の画像のレジストレーションを示す図である。
【図7】上腕骨の近位部のアキシャルＸ線画像を示す図である。
【図8】上腕骨の近位部とガイドロッドのアキシャルＸ線画像を示す図である。
【図9】上腕骨の近位部とガイドロッドのＡＰ Ｘ線画像を示す図である。
【図10】ＡＰ Ｘ線画像とアキシャルＸ線画像に基づく上腕骨の画像のレジストレーションを示す図である。
【図11】上腕骨の近位部、解剖頚の２Ｄ点、及びガイドロッドのアキシャルＸ線画像を示す図である。
【図12】上腕骨の近位部、解剖頚の２Ｄ点、及びガイドロッドのＡＰ Ｘ線画像を示す図である。
【図13】上腕骨の近位部、２Ｄ投影された解剖頚、入口点、及びガイドロッドのＡＰ Ｘ線画像を示す図である。
【図14】上腕骨の近位部、２Ｄ投影された解剖頚、入口点、及びその先端が入口点上にあるガイドロッドのＡＰ Ｘ線画像を示す図である。
【図15】ＡＰ観察方向からの骨折した３Ｄ上腕骨とガイドロッドを示す図である。
【図16】アキシャル観察方向からの骨折した３Ｄ上腕骨とガイドロッドを示す図である。
【図17】ＡＰ観察方向からの骨折した３Ｄ上腕骨と挿入されたガイドロッドを示す図である。
【図18】上腕骨の近位部、解剖頚の２Ｄ点、及び挿入されたガイドロッドのアキシャルＸ線画像を示す図である。
【図19】上腕骨の近位部、解剖頚の２Ｄ点、及び挿入されたガイドロッドのＡＰ Ｘ線画像を示す図である。
【図20】大腿骨の近位部、そのアウトライン、及び開口器具のＡＰ Ｘ線画像を示す図である。
【図21】大腿骨の近位部、そのアウトライン、及び開口器具のＭＬ Ｘ線画像を示す図である。
【図22】大腿骨の遠位部のＭＬ Ｘ線画像を示す図である。
【図23】大腿骨の遠位部とそのアウトラインのＭＬ Ｘ線画像を示す図である。
【図24】３Ｄ大腿骨と大腿骨の前傾角の定義を示す図である。
【図25】Ｃアームとその回転軸及び並進軸を示す図である。
【図26】脛骨についての入口点を決定するための考えられるワークフローを示す図である。
【図27】上腕骨についての入口点を決定するための考えられるワークフローを示す図である。
【図28】大腿骨の遠位部、挿入されたインプラント、及び大腿骨の表面上に配置されたドリルのＡＰ Ｘ線画像を示す図である。
【図29】大腿骨の遠位部、挿入されたインプラント、及び大腿骨の表面上に配置されたドリルのＭＬ Ｘ線画像を示す図である。
【図30】大腿骨、挿入されたインプラント、及びドリルを含む、ＡＰ Ｘ線画像とＭＬ Ｘ線画像に基づく大腿骨の遠位部の画像のレジストレーションを示す図である。
【図32】大腿骨の遠位部と複数の釘穴の計算された入口点のＭＬ Ｘ線画像を示す図である。
【図33】大腿骨の髄内インプラントの入口点を決定するための考えられるワークフローを示す図である。
【図34】大腿骨の前傾角を決定するための考えられるワークフローを示す図である。
【図35】フリーハンドの係止手順（クイックバージョン）の考えられるワークフローを示す図である。
【図36】フリーハンドの係止手順（拡張バージョン）の考えられるワークフローを示す図である。
【発明を実施するための形態】
【0114】
図面全体を通して、特に明記しない限り、例示される実施形態の同様の特徴、要素、コンポーネント、又は部分を示すために同じ参照番号及び文字が使用される。さらに、本開示をここで図面を参照して詳細に説明するが、それは例示的な実施形態に関連して行われ、図面に示される特定の実施形態によって限定されるものではない。
【0115】
大腿骨に髄内釘を埋め込むための入口点の決定
本発明の第１の目的は、大腿骨に髄内釘を埋め込むための埋め込み曲線及び入口点の決定である。入口点を決定するには、特定の観察方向からＸ線画像を取得する必要がある。実際の側面ビューでは、骨幹軸と頚軸は特定のオフセットを伴って平行になる。しかしながら、このビューは本発明の所望のビューではない。所望のビューは、埋め込み軸が大腿骨頭の中心を通るようにＣアームのＣ軸の周りの回転を伴う側面ビューである。大腿骨頭の中心は、例えば、ニューラルネットワークによって十分に高い精度で決定することができる。大腿骨頭の中心を決定する際の不確実性は、主に埋め込み軸の方向における偏差に関係している可能性があり、これは所望の観察方向を保証する精度には大きな影響がない。システムが、解剖学的構造のデータベース又はＬＵ１００９０７Ｂ１に基づいてＣ軸の周りの必要な回転角を推定することによって、ユーザが所望の観察方向を得ることをサポートする。
本発明の第１の目的は、大腿骨に髄内釘を埋め込むための埋め込み曲線及び入口点の決定である。入口点を決定するには、特定の観察方向からＸ線画像を取得する必要がある。実際の側面ビューでは、骨幹軸と頚軸は特定のオフセットを伴って平行になる。しかしながら、このビューは本発明の所望のビューではない。所望のビューは、埋め込み軸が大腿骨頭の中心を通るようにＣアームのＣ軸の周りの回転を伴う側面ビューである。大腿骨頭の中心は、例えば、ニューラルネットワークによって十分に高い精度で決定することができる。大腿骨頭の中心を決定する際の不確実性は、主に埋め込み軸の方向における偏差に関係している可能性があり、これは所望の観察方向を保証する精度には大きな影響がない。システムが、解剖学的構造のデータベース又はＬＵ１００９０７Ｂ１に基づいてＣ軸の周りの必要な回転角を推定することによって、ユーザが所望の観察方向を得ることをサポートする。
【0116】
システムはまた、ユーザが適正な観察方向を得ることを助ける。例えば、大腿骨頭の中心と開口器具の先端との間の２Ｄ距離が、開口器具の先端と大腿骨骨幹の最も低い可視部分との間の２Ｄ距離に比べて小さすぎるシナリオを考える。この影響は、Ｃアームの焦点軸が埋め込み軸にほぼ垂直であるときに生じる。この場合、最狭部での骨幹の中心が、現在のＸ線投影画像で見えない可能性が高くなる。したがって、システムは、図２５の軸Ｂの周りでＣアームを回転させるように指示を与えることができる。指示に従うと、第１の距離が増加し、第２の距離が減少した（すなわち、頚領域が大きくなり、骨幹最狭部が見えるようになった）Ｘ線投影画像が得られる。
【0117】
前述の所望のビューを得るためにＣアームをどれくらいの角度だけ回転させる必要があるかを決定する方法は、ＡＰ Ｘ線画像での解剖学的外観を考慮することである。画像で以下の点、すなわち、大腿骨頭の中心、開口器具の先端、及び大転子への移行部での骨幹の中心が識別される。次いで、最初の２つの点と後の２つの点との間にそれぞれ２つの線が引かれる。これらの３つの点はＭＬ Ｘ線画像でも十分な精度で識別されるため、ＭＬ Ｘ線画像の焦点線と解剖学的構造（例えば、埋め込み軸及び／又は頚軸）との間の角度を推定することが可能である。この角度が小さすぎる又は大きすぎる場合、システムは、角度をそれぞれ増加又は減少させる指示を与える。
【0118】
一実施形態によれば、埋め込み軸は、次のように決定される。図１は、大腿骨の側方（ＭＬ）Ｘ線画像を示している。システムが、最狭部での骨幹の中心（ＩＳＣと表記される）と、大腿骨頭の中心（ＣＦと表記される）を検出する。これらの２つの点によって画定される線が、埋め込み軸（ＩＡと表記される）とみなされる。さらに、システムは、頚領域及び骨幹領域の投影された外側境界（ＯＢと表記される）、又は代替的に境界上の複数の点を検出する。例えばニューラルネットワークによって、境界のセグメンテーションが行われる。代替的に、ニューラルネットワークは、完全な境界の代わりに、特定の点を直接推定してもよい。例えば、骨幹の境界の代わりに、ニューラルネットワークは、骨幹の中心を推定してもよく、骨幹直径が大腿骨頭のサイズに基づいて推定される。この情報に基づいて、境界自体を見つけなくても、骨幹の境界の位置を推定することが可能である。埋め込み軸は、頚境界と骨幹境界との両方から特定の距離があるべきである。いずれかの距離が小さすぎる場合、システムは、その後取得されるＸ線投影画像で所望の観察方向に達するようにＣアームのＣ軸の周りの必要な回転を計算する。Ｃアームの回転方向は、頚領域での距離と骨幹領域での距離の重み付け評価に基づいて決定される。回転角度は、大腿骨の解剖学的モデルに基づいて計算される。
【0119】
所望の観察方向に達すると、埋め込み軸と転子縁軸との交点が入口点として定義される。転子縁軸は画像で直接検出される。これが望ましくない又は実現不可能な場合、転子縁軸は、Ｘ線画像で開口器具の先端と埋め込み軸を結ぶ線で近似されてもよい。この線は、埋め込み軸に垂直とみなされる、又は利用可能な事前情報がそうでないことを示唆する場合には埋め込み軸に対して斜めの角度で延びてもよい。
【0120】
インプラントは、釘とヘッド要素から構成される。投影された開口器具の先端と投影された入口点との間の距離が所望の距離内にない（例えば、距離が１ｍｍを超える）場合、システムは、開口器具を入口点に到達するようにどのように移動させるかユーザをガイドする。例えば、大腿骨上の開口器具の先端が、決定された入口点に比べて前方にありすぎる場合、システムは、開口器具の先端を後方に移動させるように指示を与える。
【0121】
一実施形態によれば、システムが、Ｘ線画像で大腿骨骨幹最狭部、大腿骨頭の中心（ＣＦと表記される）、及び開口器具の先端（ＫＷと表記される）を検出する。埋め込み軸（ＩＡと表記される）は、大腿骨頭の中心（ＣＦと表記される）と骨幹最狭部での中心（ＩＳＣと表記される）を通る線とみなされる。入口点は、開口器具の先端ＫＷに最も近い埋め込み軸上の点（ＥＰと表記される）とみなされる。システムは、開口器具がＥＰ上に配置されるように、開口器具を移動させるように指示を与える。器具を投影された点に移動した後に、ＡＰビューで開口器具の先端がまだ投影された大転子の先端にあることを検証するためにＡＰ画像を取得することが有用な場合がある。場合によってはＡＰ画像とＭＬ画像のレジストレーションに基づいて、ＡＰ画像で検出されたｋワイヤの先端から投影されたエピポーラ線についての知識があり、ＡＰ画像の取得とＭＬ画像の取得の間でｋワイヤの先端の移動がなかった場合、入口点がより正確に決定され、先端がまだ投影された大転子の先端にあるかどうかを別のＡＰ画像でさらに検証する必要がなくなる。
【0122】
大腿骨の髄内インプラントの入口点を決定するための考えられるワークフローの例（図３３参照）：
１．ユーザが、投影された大転子の先端に開口器具の先端が配置されている、ＡＰ Ｘ線画像を取得する。
２．開口器具の先端を動かさずに、ユーザは、ＭＬ Ｘ線投影画像を取得する。
３．システムが、Ｘ線画像で大腿骨頭の中心、骨幹最狭部の中心点、及び開口器具の先端を検出する。
ａ．大腿骨頭と骨幹最狭部の両方が十分に見えない場合、システムは、視野を広げるためにＣアームを横方向に移動させるように指示を与える。
ｂ．最狭部は十分に見えているのに大腿骨頭だけが十分に見えない場合、システムは、Ｃアームを脚に沿って近位方向に移動させるように指示を与える。
ｃ．システムは、大腿骨頭の中心と開口器具の先端との間の第１の距離、及び開口器具の先端と骨幹の特定の点との間の第２の距離を計算する。この点は、最狭部での骨幹の中心（見える場合）、又は最狭部が見えない場合、骨幹の最遠位の可視点、又は代替的に、最狭部での骨幹の推定される中心（骨幹の可視部に基づいて）であり得る。
ｄ．大腿骨頭は完全に見えているのに骨幹だけが十分に見えない場合、システムは、Ｃアームを脚に沿って遠位方向に移動させるように指示を与える。骨幹が十分に見えるかどうかを判定する１つの方法は、ステップ３ｃからの第２の距離を閾値と比較することである。別の方法は、現在のＸ線画像で最狭部が見えるかどうかを判定するために骨幹の湾曲を評価することである。
ｅ．ステップ３ｃからの第１の距離が第２の距離に比べて小さすぎる場合、ＣアームをＣアーム軸Ｂ（図２５参照）の周りで時計回り（右大腿骨）又は反時計回り（左大腿骨）に回転させる必要があり、逆もまた同様である。Ｃアームの必要な回転角度は、２つの距離、場合によってはステップ１からのＡＰ画像からのさらなる情報に基づいて計算される。後者は、例えば、大腿骨のＣＣＤ角を含み得る。ＭＬ Ｘ線画像で描写される骨幹の湾曲も考慮に入れられる。
４．大腿骨のすべての重要な部分が十分に見えて、ステップ３ｃからの２つの距離が所望の比を有するまで、ステップ２及び３が繰り返される。
５．ステップ３からの点に加えて、システムは、大腿骨頚部の左及び右のアウトラインと大腿骨骨幹の左及び右のアウトラインを検出する。
６．大腿骨頭の中心から骨幹最狭部での中心まで線が引かれる。この線と大腿骨頚部及び大腿骨骨幹部の４つのアウトラインの間の４つの距離が計算される。
７．各頚領域及び骨幹領域について、各領域を通る線がどの程度中心にあるかを評価するためのメトリックが定義される。例えば、頚部のメトリックは、線が頚部の左アウトラインに触れるときに０であり、線が大腿骨の右アウトラインに触れるときに１であり、線が頚領域の中心にあるときに０．５である。
８．頚メトリックと骨幹メトリックの加重平均に基づいて新しいメトリックが定義される。新しいメトリックが第１の閾値を下回る場合、Ｃアームの焦点が前方に移動するようにＣアームをそのＣ軸の周りで回転させる必要がある。新しいメトリックが、第１の閾値よりも高い第２の閾値を上回っている場合、ＣアームをそのＣ軸の周りで反対方向に回転させる必要がある。Ｃアームの必要な回転角度は、メトリックと対応する閾値との間の距離に基づいて計算される。
９．ステップ８で定義されたメトリックがステップ８からの２つの閾値外にある場合、新しいＭＬ Ｘ線投影画像を取得しなければならない。
１０．ステップ８で定義されたメトリックがステップ８からの２つの閾値の間に収まるまで、ステップ５～９が繰り返される。描写された線は、最終的に投影される埋め込み軸である。
１１．投影された開口器具の先端とステップ１０からの線との間の距離が計算される。
１２．随意的に、開口器具の先端の位置が特定される。開口器具の先端の外観（すなわち、Ｘ線投影画像でのサイズ）に基づいて、システムは、開口器具の先端を後方又は前方に移動させるように指示を与える。
１３．開口器具の先端がステップ１０からの線から遠すぎる場合、その位置が最適化され、新しいＭＬ Ｘ線投影画像が取得される。
１４．開口器具の先端がステップ１０からの線と特定の距離内にくるまで、ステップ１１～１３が繰り返される。
１５．開口器具の先端がまだ大転子の先端にあることを確認するためにＡＰ Ｘ線投影画像が取得される。そうでない場合は、ステップ２に戻る。
１．ユーザが、投影された大転子の先端に開口器具の先端が配置されている、ＡＰ Ｘ線画像を取得する。
２．開口器具の先端を動かさずに、ユーザは、ＭＬ Ｘ線投影画像を取得する。
３．システムが、Ｘ線画像で大腿骨頭の中心、骨幹最狭部の中心点、及び開口器具の先端を検出する。
ａ．大腿骨頭と骨幹最狭部の両方が十分に見えない場合、システムは、視野を広げるためにＣアームを横方向に移動させるように指示を与える。
ｂ．最狭部は十分に見えているのに大腿骨頭だけが十分に見えない場合、システムは、Ｃアームを脚に沿って近位方向に移動させるように指示を与える。
ｃ．システムは、大腿骨頭の中心と開口器具の先端との間の第１の距離、及び開口器具の先端と骨幹の特定の点との間の第２の距離を計算する。この点は、最狭部での骨幹の中心（見える場合）、又は最狭部が見えない場合、骨幹の最遠位の可視点、又は代替的に、最狭部での骨幹の推定される中心（骨幹の可視部に基づいて）であり得る。
ｄ．大腿骨頭は完全に見えているのに骨幹だけが十分に見えない場合、システムは、Ｃアームを脚に沿って遠位方向に移動させるように指示を与える。骨幹が十分に見えるかどうかを判定する１つの方法は、ステップ３ｃからの第２の距離を閾値と比較することである。別の方法は、現在のＸ線画像で最狭部が見えるかどうかを判定するために骨幹の湾曲を評価することである。
ｅ．ステップ３ｃからの第１の距離が第２の距離に比べて小さすぎる場合、ＣアームをＣアーム軸Ｂ（図２５参照）の周りで時計回り（右大腿骨）又は反時計回り（左大腿骨）に回転させる必要があり、逆もまた同様である。Ｃアームの必要な回転角度は、２つの距離、場合によってはステップ１からのＡＰ画像からのさらなる情報に基づいて計算される。後者は、例えば、大腿骨のＣＣＤ角を含み得る。ＭＬ Ｘ線画像で描写される骨幹の湾曲も考慮に入れられる。
４．大腿骨のすべての重要な部分が十分に見えて、ステップ３ｃからの２つの距離が所望の比を有するまで、ステップ２及び３が繰り返される。
５．ステップ３からの点に加えて、システムは、大腿骨頚部の左及び右のアウトラインと大腿骨骨幹の左及び右のアウトラインを検出する。
６．大腿骨頭の中心から骨幹最狭部での中心まで線が引かれる。この線と大腿骨頚部及び大腿骨骨幹部の４つのアウトラインの間の４つの距離が計算される。
７．各頚領域及び骨幹領域について、各領域を通る線がどの程度中心にあるかを評価するためのメトリックが定義される。例えば、頚部のメトリックは、線が頚部の左アウトラインに触れるときに０であり、線が大腿骨の右アウトラインに触れるときに１であり、線が頚領域の中心にあるときに０．５である。
８．頚メトリックと骨幹メトリックの加重平均に基づいて新しいメトリックが定義される。新しいメトリックが第１の閾値を下回る場合、Ｃアームの焦点が前方に移動するようにＣアームをそのＣ軸の周りで回転させる必要がある。新しいメトリックが、第１の閾値よりも高い第２の閾値を上回っている場合、ＣアームをそのＣ軸の周りで反対方向に回転させる必要がある。Ｃアームの必要な回転角度は、メトリックと対応する閾値との間の距離に基づいて計算される。
９．ステップ８で定義されたメトリックがステップ８からの２つの閾値外にある場合、新しいＭＬ Ｘ線投影画像を取得しなければならない。
１０．ステップ８で定義されたメトリックがステップ８からの２つの閾値の間に収まるまで、ステップ５～９が繰り返される。描写された線は、最終的に投影される埋め込み軸である。
１１．投影された開口器具の先端とステップ１０からの線との間の距離が計算される。
１２．随意的に、開口器具の先端の位置が特定される。開口器具の先端の外観（すなわち、Ｘ線投影画像でのサイズ）に基づいて、システムは、開口器具の先端を後方又は前方に移動させるように指示を与える。
１３．開口器具の先端がステップ１０からの線から遠すぎる場合、その位置が最適化され、新しいＭＬ Ｘ線投影画像が取得される。
１４．開口器具の先端がステップ１０からの線と特定の距離内にくるまで、ステップ１１～１３が繰り返される。
１５．開口器具の先端がまだ大転子の先端にあることを確認するためにＡＰ Ｘ線投影画像が取得される。そうでない場合は、ステップ２に戻る。
【0123】
脛骨にサブインプラントと共に釘を埋め込むための手順
考えられるワークフローの例（図２６参照）：
０．以下のワークフローでは、脛骨の近位部は無傷である（又は適正に再配置されている）とみなされる。
１．ユーザが、開口器具を脛骨の表面上に（近位部の任意の点に、しかし理想的には外科医が推定した入口点の近傍に）配置する。
２．ユーザは、図２で描写されるように脛骨（ＴＩＢと表記される）の近位部の（ほぼ）側方画像を取得する。
３．ユーザは、図３、図４、及び図５で描写されるように脛骨の近位部の少なくとも１つのＡＰ画像（理想的には、僅かに異なる方向からの複数の画像）を取得する。
４．システムは、脛骨のサイズ（スケーリング）を推定するために、すべての画像での開口器具（ＯＩと表記される）のサイズ（又は直径など）を検出する。
５．システムは、統計モデルを骨の輪郭（又はより一般的には骨の外観）とマッチさせることによって、脛骨の統計モデルをすべての画像に共同してマッチさせる。このステップの結果は脛骨の３Ｄ再構成である。
ａ．これには、画像ごとに回転及び並進についての６つのパラメータ、スケーリングについての１つのパラメータ（ステップ４で最初に推定済み）、及び特定の数のモード（モードの決定は、脛骨の３Ｄ再構成に相当する）が含まれる。したがって、ｎ個の画像とｍ個のモードがある場合、パラメータの総数は（６・ｎ＋１＋ｍ）である。
ｂ．システムは、（各画像での）脛骨のすべての推定される回転及び並進に基づいて、図６で描写されるようにすべての画像について画像のレジストレーションを行う。したがって、ＡＰ画像（Ｉ．ＡＰ１及びＩ．ＡＰ２と表記される）、ＭＬ画像（Ｉ．ＭＬと表記される）、開口器具（ＯＩと表記される）の先端、及び脛骨（ＴＩＢと表記される）の間の空間的関係性がわかる。
ｃ．随意的に、潜在的により正確な結果のために、システムは、例えば、これらの骨の統計情報を使用することによって、大腿骨顆又は腓骨の情報を使用する。
６．脛骨の３Ｄ再構成に基づいて、システムは入口点を決定する。これは、例えば、統計モデルの平均形状上の入口点を定義することによって行われる。次いで、この点は、３Ｄ再構成で識別される。
７．随意的に、システムは、脛骨の３Ｄ再構成に基づいて、骨にインプラントを（仮想的に）配置し、近位係止ねじの長さを計算する。このステップはまた、実際のインプラントが考慮されるため、入口点の推定を改善し得る。
８．システムは、入口点を現在のＸ線画像にオーバーレイとして表示する。
９．開口器具の先端が、推定される入口点に十分に近づいていない場合、システムは、先端の位置を修正するように指示を与える。
ａ．ユーザは、開口器具の先端の位置を修正し、新しいＸ線画像を取得する。
ｂ．システムは、（例えば、画像差分分析によって、又は脛骨の３Ｄ再構成を新しい画像にマッチさせることによって）新しい画像での入口点を計算する。
ｃ．ステップ８に戻る。
１０．ユーザは、脛骨にインプラントを挿入し、新しい画像を取得する。
１１．システムは、インプラントの位置を特定する。脛骨の３Ｄ再構成に基づいて、システムは、必要な３Ｄ情報（例えば、近位係止ねじの長さ）を提供する。
１２．システムは、近位係止のサポートを提供する。
１３．システムは、脛骨の近位部（大腿骨顆を含み得る）と脛骨の遠位部（足を含み得る）を比較することによって、ねじれ角を計算する。ねじれ角のより正確な計算のために、システムはまた、（例えば、腓骨の位置を特定し、脛骨との空間的関係性を計算することによって）腓骨についての情報を使用する。
考えられるワークフローの例（図２６参照）：
０．以下のワークフローでは、脛骨の近位部は無傷である（又は適正に再配置されている）とみなされる。
１．ユーザが、開口器具を脛骨の表面上に（近位部の任意の点に、しかし理想的には外科医が推定した入口点の近傍に）配置する。
２．ユーザは、図２で描写されるように脛骨（ＴＩＢと表記される）の近位部の（ほぼ）側方画像を取得する。
３．ユーザは、図３、図４、及び図５で描写されるように脛骨の近位部の少なくとも１つのＡＰ画像（理想的には、僅かに異なる方向からの複数の画像）を取得する。
４．システムは、脛骨のサイズ（スケーリング）を推定するために、すべての画像での開口器具（ＯＩと表記される）のサイズ（又は直径など）を検出する。
５．システムは、統計モデルを骨の輪郭（又はより一般的には骨の外観）とマッチさせることによって、脛骨の統計モデルをすべての画像に共同してマッチさせる。このステップの結果は脛骨の３Ｄ再構成である。
ａ．これには、画像ごとに回転及び並進についての６つのパラメータ、スケーリングについての１つのパラメータ（ステップ４で最初に推定済み）、及び特定の数のモード（モードの決定は、脛骨の３Ｄ再構成に相当する）が含まれる。したがって、ｎ個の画像とｍ個のモードがある場合、パラメータの総数は（６・ｎ＋１＋ｍ）である。
ｂ．システムは、（各画像での）脛骨のすべての推定される回転及び並進に基づいて、図６で描写されるようにすべての画像について画像のレジストレーションを行う。したがって、ＡＰ画像（Ｉ．ＡＰ１及びＩ．ＡＰ２と表記される）、ＭＬ画像（Ｉ．ＭＬと表記される）、開口器具（ＯＩと表記される）の先端、及び脛骨（ＴＩＢと表記される）の間の空間的関係性がわかる。
ｃ．随意的に、潜在的により正確な結果のために、システムは、例えば、これらの骨の統計情報を使用することによって、大腿骨顆又は腓骨の情報を使用する。
６．脛骨の３Ｄ再構成に基づいて、システムは入口点を決定する。これは、例えば、統計モデルの平均形状上の入口点を定義することによって行われる。次いで、この点は、３Ｄ再構成で識別される。
７．随意的に、システムは、脛骨の３Ｄ再構成に基づいて、骨にインプラントを（仮想的に）配置し、近位係止ねじの長さを計算する。このステップはまた、実際のインプラントが考慮されるため、入口点の推定を改善し得る。
８．システムは、入口点を現在のＸ線画像にオーバーレイとして表示する。
９．開口器具の先端が、推定される入口点に十分に近づいていない場合、システムは、先端の位置を修正するように指示を与える。
ａ．ユーザは、開口器具の先端の位置を修正し、新しいＸ線画像を取得する。
ｂ．システムは、（例えば、画像差分分析によって、又は脛骨の３Ｄ再構成を新しい画像にマッチさせることによって）新しい画像での入口点を計算する。
ｃ．ステップ８に戻る。
１０．ユーザは、脛骨にインプラントを挿入し、新しい画像を取得する。
１１．システムは、インプラントの位置を特定する。脛骨の３Ｄ再構成に基づいて、システムは、必要な３Ｄ情報（例えば、近位係止ねじの長さ）を提供する。
１２．システムは、近位係止のサポートを提供する。
１３．システムは、脛骨の近位部（大腿骨顆を含み得る）と脛骨の遠位部（足を含み得る）を比較することによって、ねじれ角を計算する。ねじれ角のより正確な計算のために、システムはまた、（例えば、腓骨の位置を特定し、脛骨との空間的関係性を計算することによって）腓骨についての情報を使用する。
【0124】
上腕骨にサブインプラントと共に釘を埋め込むための手順
考えられるワークフローの例（図２７参照）：
０．ユーザが、入口点と解剖頚との間の所望の距離（例えば、０ｍｍ又は５ｍｍ内側）を提供する。
１．ユーザは、図７で描写されるように上腕骨の近位部のアキシャルＸ線画像を取得する。
２．システムが、（例えば、ニューラルネットワークで）上腕骨頭のアウトラインを検出する。検出されたアウトラインに基づいて、システムは、上腕骨頭（ＨＨと表記される）を円で近似する、すなわち、２Ｄの中心及び半径を推定する。これは、上腕骨頭（２Ｄの中心及び半径）の複数の候補を含み、これらは、その妥当性に基づいて（例えば、統計モデル、平均二乗近似誤差、信頼レベルなどに基づいて）ランク付けされる。検出された骨幹軸（ＩＣと表記される）に基づいて、システムは、骨幹軸が垂直線になるように画像を回転させる。システムは、上腕骨頭の中心が骨幹軸に十分に近いかどうかを評価する。上腕骨頭の中心と骨幹軸との間の距離が大きすぎる場合、システムは、並進位置（すなわち、骨頭対骨幹、軟組織による力により、牽引力に対して垂直に再配置される）を修正するために腕に遠位方向に牽引力をかけるようにユーザにアドバイスする。
３．システムは、上腕骨頭と骨幹軸との交点間のどこか（例えば、交点の中心の２０％上）にある最初の入口点（ＥＰと表記される）を推定する。
４．ユーザは、ステップ３からの最初の推測入口点にガイドロッドを配置する。
５．ユーザは、図８で描写されるようにガイドロッド（ＯＩと表記される）が見える、さらなるアキシャルＸ線画像を取得する。
６．システムは、上腕骨頭（ＨＨと表記される）（２Ｄの中心及び半径）と２Ｄ骨幹軸（ＩＣと表記される）を検出し、その先端の２Ｄ座標と（ガイドロッドの既知の直径に基づいて）２Ｄスケーリングを得るためにガイドロッド（ＯＩと表記される）の位置を特定する。
７．システムは、ＣアームをそのＣ軸の周りで回転させるようにユーザにアドバイスする（さらに許容されるＣアームの動きは、遠位－近位又は前－後方向の並進であり、禁止される動きは、他の回転及び内側－外側方向の並進である）。
８．ユーザは、ガイドロッドの先端を動かさずに（先端が定位置にとどまっている限り、ガイドロッドの角運動は許容される）、図９で描写されるように上腕骨の近位部のＡＰ Ｘ線画像（実際のＡＰ画像である必要はない）を取得する。
９．システムは、上腕骨頭（ＨＨと表記される）（２Ｄの中心及び半径）と２Ｄ骨幹軸（ＩＣと表記される）を検出し、その先端の２Ｄ座標と（ガイドロッドの既知の直径に基づいて）２Ｄスケーリングを得るためにガイドロッド（ＯＩと表記される）の位置を特定する。
１０．ステップ６～９からの情報に基づいて、システムは、図１０で描写されるように画像のレジストレーションを行い、上腕骨頭（ＨＨ３Ｄと表記される）の球面近似と、球面と同じ座標系にある３Ｄ骨幹軸を計算する。
１１．投影された上腕骨頭の円形部の始点及び終点を定義する４つの点（すなわち、アキシャル及びＡＰの画像につき２つ）（図１１及び図１２でＣＡと表記される）が存在する。システムは、これらの４つの点から少なくとも３つを検出する。これらの少なくとも３つの点に基づいて、システムは、（例えば、上腕骨頭の球面近似と交わる３つの点に基づいて平面を定義することによって）３Ｄで解剖頚を決定する。
１２．システムは、解剖頚の決定を改善するために、（例えば、重みが４つの点のそれぞれの個々の信頼レベルに基づいている重み付き最小２乗法で）ステップ１１からの第４の点も同様に使用することができる。
１３．３Ｄ骨幹軸が垂直線になり、上腕骨頭が骨幹の上にあるように、解剖学的構造を空間内で仮想的に回転させるとき、入口点は、解剖頚上の空間（図１３でＣＡ３Ｄと表記される）内の最高点として定義される。ステップ０からの設定とステップ１０～１２からの結果に基づいて、システムは、最終的な入口点（ＥＰと表記される）を計算する。
１４．ユーザは、計算された入口点にガイドロッドを配置し、図１４で描写されるように新しいＡＰ Ｘ線画像を取得する。
１５．システムは、ガイドロッド（ＯＩと表記される）の先端を検出し、ガイドロッドの先端が計算された入口点（ＥＰと表記される）に十分近い位置にあるかどうかを評価する。
１６．ガイドロッドの先端が入口点に十分近づくまで、ステップ１４及び１５が繰り返される。
１７．ガイドロッドの角運動についての随意的な指示。
ａ．（３Ｄの上腕骨頭を含む）最新の画像のレジストレーションに基づいて、システムは、図１５及び図１６で描写されるように上腕骨頭とガイドロッドの空間的関係性を決定する。ガイドロッドの方向が最適な挿入方向から大きく逸脱する場合、システムは、ガイドロッドの角運動のための指示を与える。最適な挿入方向は、例えば、統計モデルで、又はガイドロッドの軸（ＯＩＡと表記される）と上腕骨頭軸（ＨＡと表記される）を比較することによって推定することができる。
ｂ．ステップａで指示が与えられた場合、ユーザは、その指示に従い、同じ方向から新しいＸ線画像を取得する。画像差分分析により、画像の変化が検出され、画像のレジストレーションが更新される。
ｃ．ガイドロッドの角運動がそれ以上必要とされなくなるまで、ステップａ及びｂが繰り返される。
１８．随意的な画像のレジストレーションの改善と上腕骨頭アウトラインの検証。
ａ．ユーザは、図１７で描写されるようにガイドロッドを挿入する。
ｂ．ユーザは、（例えば、図１８で描写されるようにアキシャル）Ｘ線画像を取得する。
ｃ．システムは、ガイドロッド（ＯＩと表記される）の位置を特定し、上腕骨頭（ＨＨと表記される）（２Ｄの中心及び半径）を検出する。
ｄ．システムは、ＣアームをそのＣ軸の周りで回転させるようにユーザにアドバイスする（さらなる可能なＣアームの動きについてはステップ７参照）。
ｅ．ユーザは、ガイドロッドを動かさずに他の方向（例えば、図１９で描写されるようにＡＰ）からＸ線画像を取得する。
ｆ．システムは、ガイドロッド（ＯＩと表記される）の位置を特定し、上腕骨頭（ＨＨと表記される）（２Ｄの中心及び半径）を検出する。
ｇ．両方の画像からの情報に基づいて、システムは、画像のレジストレーションを行う。ガイドロッドの３Ｄモデルがわかっているため、画像のレジストレーションはステップ１０よりも正確になる。
ｈ．画像のレジストレーションに基づいて、システムは、両方の画像で上腕骨頭の検出を検証することができる。
ｉ．検証結果に基づいて、システムは、（例えば、上腕骨頭の別の候補を選択することによって）両方の画像で上腕骨頭のアウトラインを最適化する。
１９．上腕骨頭の回旋転位の随意的な矯正。
ａ．ユーザは、（アキシャル又はＡＰ）Ｘ線画像を取得する。システムは、ガイドロッドの位置を特定し、２Ｄ骨幹軸と２Ｄ上腕骨頭軸（上腕骨頭の可視円形部によって画定される）を検出する。
ｂ．前の画像のイメージング方向が大きく異なる場合（例えば、前の画像がアキシャルで現在の画像がＡＰ）、システムは、最新の画像ペアに基づいて画像のレジストレーションを行う。画像のレジストレーションに基づいて、システムは、現在の画像の骨幹軸と骨頭軸の間の理想２Ｄ角度を決定する。
ｃ．前の画像のイメージング方向が非常に類似している場合（例えば、画像差分分析によって識別される）、骨幹軸と骨頭軸の間の理想２Ｄ角度は（前の画像に比べて）不変のままである。
ｄ．システムは、骨幹軸と骨頭軸との間の現在の２Ｄ角度を計算する。
ｅ．骨幹軸と骨頭軸の間の角度がステップ１９ｂ又は１９ｃからの理想角度（例えば、アキシャル画像では２０°、又はＡＰ画像では１３０°）に十分に近くない場合、システムは、回旋転位を背側－腹側（アキシャル画像）方向又は内側－外側（ＡＰ画像）方向に矯正するように指示を与える。
ｆ．前の画像のイメージング方向が非常に類似しているが、（例えば、事前の転位の矯正により）上腕骨頭の可視円形部が前の画像に比べて小さい又は大きい場合、システムは、他のイメージング方向でも回旋転位が変化している可能性があるので、次の画像のイメージング方向を変更する（すなわち、画像のレジストレーションを更新する）ために、ＣアームをそのＣ軸の周りで回転させるようにさらなる指示を与える。
ｇ．指示が与えられた場合、ユーザは、回旋転位を矯正し（必要であればＣアームを回転させ）、ステップ１９ａに戻る。
２０．随意的なねじれのチェック。
ａ．ユーザが、前腕を体（又は脚の上部）と平行になるように配置する。
ｂ．ユーザは、アキシャルＸ線画像を取得する。
ｃ．システムが、上腕骨頭軸と関節窩の２Ｄの中心を検出する。システムは、関節窩の中心と骨頭軸との間の距離を計算する。この結果に基づいて、システムは、どの方向にどの角度だけねじれを修正する必要があるかの指示を与える。
ｄ．ユーザは、骨頭をステップｃからの方向及び角度だけ回転させることによってねじれを修正する。
ｅ．関節窩の中心が上腕骨頭軸に十分近づくまで、ステップ２０ｂ～２０ｄが繰り返される。
考えられるワークフローの例（図２７参照）：
０．ユーザが、入口点と解剖頚との間の所望の距離（例えば、０ｍｍ又は５ｍｍ内側）を提供する。
１．ユーザは、図７で描写されるように上腕骨の近位部のアキシャルＸ線画像を取得する。
２．システムが、（例えば、ニューラルネットワークで）上腕骨頭のアウトラインを検出する。検出されたアウトラインに基づいて、システムは、上腕骨頭（ＨＨと表記される）を円で近似する、すなわち、２Ｄの中心及び半径を推定する。これは、上腕骨頭（２Ｄの中心及び半径）の複数の候補を含み、これらは、その妥当性に基づいて（例えば、統計モデル、平均二乗近似誤差、信頼レベルなどに基づいて）ランク付けされる。検出された骨幹軸（ＩＣと表記される）に基づいて、システムは、骨幹軸が垂直線になるように画像を回転させる。システムは、上腕骨頭の中心が骨幹軸に十分に近いかどうかを評価する。上腕骨頭の中心と骨幹軸との間の距離が大きすぎる場合、システムは、並進位置（すなわち、骨頭対骨幹、軟組織による力により、牽引力に対して垂直に再配置される）を修正するために腕に遠位方向に牽引力をかけるようにユーザにアドバイスする。
３．システムは、上腕骨頭と骨幹軸との交点間のどこか（例えば、交点の中心の２０％上）にある最初の入口点（ＥＰと表記される）を推定する。
４．ユーザは、ステップ３からの最初の推測入口点にガイドロッドを配置する。
５．ユーザは、図８で描写されるようにガイドロッド（ＯＩと表記される）が見える、さらなるアキシャルＸ線画像を取得する。
６．システムは、上腕骨頭（ＨＨと表記される）（２Ｄの中心及び半径）と２Ｄ骨幹軸（ＩＣと表記される）を検出し、その先端の２Ｄ座標と（ガイドロッドの既知の直径に基づいて）２Ｄスケーリングを得るためにガイドロッド（ＯＩと表記される）の位置を特定する。
７．システムは、ＣアームをそのＣ軸の周りで回転させるようにユーザにアドバイスする（さらに許容されるＣアームの動きは、遠位－近位又は前－後方向の並進であり、禁止される動きは、他の回転及び内側－外側方向の並進である）。
８．ユーザは、ガイドロッドの先端を動かさずに（先端が定位置にとどまっている限り、ガイドロッドの角運動は許容される）、図９で描写されるように上腕骨の近位部のＡＰ Ｘ線画像（実際のＡＰ画像である必要はない）を取得する。
９．システムは、上腕骨頭（ＨＨと表記される）（２Ｄの中心及び半径）と２Ｄ骨幹軸（ＩＣと表記される）を検出し、その先端の２Ｄ座標と（ガイドロッドの既知の直径に基づいて）２Ｄスケーリングを得るためにガイドロッド（ＯＩと表記される）の位置を特定する。
１０．ステップ６～９からの情報に基づいて、システムは、図１０で描写されるように画像のレジストレーションを行い、上腕骨頭（ＨＨ３Ｄと表記される）の球面近似と、球面と同じ座標系にある３Ｄ骨幹軸を計算する。
１１．投影された上腕骨頭の円形部の始点及び終点を定義する４つの点（すなわち、アキシャル及びＡＰの画像につき２つ）（図１１及び図１２でＣＡと表記される）が存在する。システムは、これらの４つの点から少なくとも３つを検出する。これらの少なくとも３つの点に基づいて、システムは、（例えば、上腕骨頭の球面近似と交わる３つの点に基づいて平面を定義することによって）３Ｄで解剖頚を決定する。
１２．システムは、解剖頚の決定を改善するために、（例えば、重みが４つの点のそれぞれの個々の信頼レベルに基づいている重み付き最小２乗法で）ステップ１１からの第４の点も同様に使用することができる。
１３．３Ｄ骨幹軸が垂直線になり、上腕骨頭が骨幹の上にあるように、解剖学的構造を空間内で仮想的に回転させるとき、入口点は、解剖頚上の空間（図１３でＣＡ３Ｄと表記される）内の最高点として定義される。ステップ０からの設定とステップ１０～１２からの結果に基づいて、システムは、最終的な入口点（ＥＰと表記される）を計算する。
１４．ユーザは、計算された入口点にガイドロッドを配置し、図１４で描写されるように新しいＡＰ Ｘ線画像を取得する。
１５．システムは、ガイドロッド（ＯＩと表記される）の先端を検出し、ガイドロッドの先端が計算された入口点（ＥＰと表記される）に十分近い位置にあるかどうかを評価する。
１６．ガイドロッドの先端が入口点に十分近づくまで、ステップ１４及び１５が繰り返される。
１７．ガイドロッドの角運動についての随意的な指示。
ａ．（３Ｄの上腕骨頭を含む）最新の画像のレジストレーションに基づいて、システムは、図１５及び図１６で描写されるように上腕骨頭とガイドロッドの空間的関係性を決定する。ガイドロッドの方向が最適な挿入方向から大きく逸脱する場合、システムは、ガイドロッドの角運動のための指示を与える。最適な挿入方向は、例えば、統計モデルで、又はガイドロッドの軸（ＯＩＡと表記される）と上腕骨頭軸（ＨＡと表記される）を比較することによって推定することができる。
ｂ．ステップａで指示が与えられた場合、ユーザは、その指示に従い、同じ方向から新しいＸ線画像を取得する。画像差分分析により、画像の変化が検出され、画像のレジストレーションが更新される。
ｃ．ガイドロッドの角運動がそれ以上必要とされなくなるまで、ステップａ及びｂが繰り返される。
１８．随意的な画像のレジストレーションの改善と上腕骨頭アウトラインの検証。
ａ．ユーザは、図１７で描写されるようにガイドロッドを挿入する。
ｂ．ユーザは、（例えば、図１８で描写されるようにアキシャル）Ｘ線画像を取得する。
ｃ．システムは、ガイドロッド（ＯＩと表記される）の位置を特定し、上腕骨頭（ＨＨと表記される）（２Ｄの中心及び半径）を検出する。
ｄ．システムは、ＣアームをそのＣ軸の周りで回転させるようにユーザにアドバイスする（さらなる可能なＣアームの動きについてはステップ７参照）。
ｅ．ユーザは、ガイドロッドを動かさずに他の方向（例えば、図１９で描写されるようにＡＰ）からＸ線画像を取得する。
ｆ．システムは、ガイドロッド（ＯＩと表記される）の位置を特定し、上腕骨頭（ＨＨと表記される）（２Ｄの中心及び半径）を検出する。
ｇ．両方の画像からの情報に基づいて、システムは、画像のレジストレーションを行う。ガイドロッドの３Ｄモデルがわかっているため、画像のレジストレーションはステップ１０よりも正確になる。
ｈ．画像のレジストレーションに基づいて、システムは、両方の画像で上腕骨頭の検出を検証することができる。
ｉ．検証結果に基づいて、システムは、（例えば、上腕骨頭の別の候補を選択することによって）両方の画像で上腕骨頭のアウトラインを最適化する。
１９．上腕骨頭の回旋転位の随意的な矯正。
ａ．ユーザは、（アキシャル又はＡＰ）Ｘ線画像を取得する。システムは、ガイドロッドの位置を特定し、２Ｄ骨幹軸と２Ｄ上腕骨頭軸（上腕骨頭の可視円形部によって画定される）を検出する。
ｂ．前の画像のイメージング方向が大きく異なる場合（例えば、前の画像がアキシャルで現在の画像がＡＰ）、システムは、最新の画像ペアに基づいて画像のレジストレーションを行う。画像のレジストレーションに基づいて、システムは、現在の画像の骨幹軸と骨頭軸の間の理想２Ｄ角度を決定する。
ｃ．前の画像のイメージング方向が非常に類似している場合（例えば、画像差分分析によって識別される）、骨幹軸と骨頭軸の間の理想２Ｄ角度は（前の画像に比べて）不変のままである。
ｄ．システムは、骨幹軸と骨頭軸との間の現在の２Ｄ角度を計算する。
ｅ．骨幹軸と骨頭軸の間の角度がステップ１９ｂ又は１９ｃからの理想角度（例えば、アキシャル画像では２０°、又はＡＰ画像では１３０°）に十分に近くない場合、システムは、回旋転位を背側－腹側（アキシャル画像）方向又は内側－外側（ＡＰ画像）方向に矯正するように指示を与える。
ｆ．前の画像のイメージング方向が非常に類似しているが、（例えば、事前の転位の矯正により）上腕骨頭の可視円形部が前の画像に比べて小さい又は大きい場合、システムは、他のイメージング方向でも回旋転位が変化している可能性があるので、次の画像のイメージング方向を変更する（すなわち、画像のレジストレーションを更新する）ために、ＣアームをそのＣ軸の周りで回転させるようにさらなる指示を与える。
ｇ．指示が与えられた場合、ユーザは、回旋転位を矯正し（必要であればＣアームを回転させ）、ステップ１９ａに戻る。
２０．随意的なねじれのチェック。
ａ．ユーザが、前腕を体（又は脚の上部）と平行になるように配置する。
ｂ．ユーザは、アキシャルＸ線画像を取得する。
ｃ．システムが、上腕骨頭軸と関節窩の２Ｄの中心を検出する。システムは、関節窩の中心と骨頭軸との間の距離を計算する。この結果に基づいて、システムは、どの方向にどの角度だけねじれを修正する必要があるかの指示を与える。
ｄ．ユーザは、骨頭をステップｃからの方向及び角度だけ回転させることによってねじれを修正する。
ｅ．関節窩の中心が上腕骨頭軸に十分近づくまで、ステップ２０ｂ～２０ｄが繰り返される。
【0125】
修正の可能性：ステップ３で入口点を交点の中心の２０％上（内側）に推定する代わりに、システムは、ガイドロッドの先端が上腕骨頭の球面部に確実に存在するように、より高い値（例えば、７０％）を使用することができる。ステップ１０で、システムは、画像のレジストレーションを改善するためにガイドロッドの先端が上腕骨頭の球面近似上に存在するという情報を使用することができる。上記の７０％メソッドにより、（２０％メソッドに比べて）ガイドロッドの先端の現在の位置は、入口点までの距離がより長くなる。ガイドロッドの先端で入口点に到達するようにユーザをガイドするとき（ステップ１４～１６）、システムは、（例えば、画像差分分析によって）観察方向が変化したかどうかを判定する。観察方向が変化してない場合、前のＸ線画像から計算された入口点が使用され、更新された先端検出位置に基づいてガイダンス情報が更新される。観察方向がほんの僅かに変化した場合、入口点はそれに応じてシフトされる（例えば、オブジェクトトラッキングと呼ばれる技術によって、例えば、Ｓ．Ｒ．Ｂａｌａｊｉ ｅｔ ａｌ．， “Ａ ｓｕｒｖｅｙ ｏｎ ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ” （２０１７）参照）。観察方向が大きく変化した場合、システムは、ガイドロッドの先端を動かさずに、ＣアームをそのＣ軸の周りで回転させ、異なる観察方向（例えば、現在の画像がＡＰであった場合はアキシャル）からＸ線画像を取得するようにユーザに指示する。更新された画像に基づいて、システムは、前のレジストレーションによって取得された情報（例えば、上腕骨頭のボール近似の半径）に基づいて画像のレジストレーションを実行し、現在の画像で入口点を表示し、ガイドロッドの先端で入口点に到達するようにユーザをナビゲートする。
【0126】
大腿骨の前傾角の決定
以下に、インプラントの挿入前又は挿入後のＡＶ角を決定する例示的なワークフローを提示する。これは、最新技術よりも堅牢及び／又はより正確である可能性がある。一実施形態によれば、大腿骨の前傾角を決定するための手順全体は、次のように進められる（図３４参照）。
１．ユーザが、開口器具の先端をほぼ大転子の先端に配置する。
２．ユーザは、図２０で描写されるように大腿骨の近位部のＡＰ Ｘ線画像を取得する。
３．システムが、大腿骨（ＦＥＭと表記される）の２Ｄアウトラインと円で近似される大腿骨頭（ＦＨと表記される）（すなわち、２Ｄの中心及び２Ｄ半径によって決定される）を検出し、開口器具（ＯＩと表記される）の先端の位置を特定する。
４．大腿骨のいくつかの重要な部分又は開口器具の先端が十分に見えない場合、システムは、Ｃアームを回転及び／又は移動させるように指示を与え、ユーザは、ステップ２に戻る。
５．ユーザは、ＭＬ Ｘ線画像を取得するためにＣアームをそのＣ軸の周りで回転させる。ユーザはさらに、Ｃアームの内側－外側及び／又は前－後方向のシフトを使用することができる。Ｃアームを移動させている間、開口器具の先端を移動させてはならない。
６．ユーザは、図２１で描写されるように大腿骨の近位部のＭＬ Ｘ線画像を取得する。
７．システムは、大腿骨（ＦＥＭと表記される）の２Ｄアウトラインと大腿骨頭（ＦＨと表記される）（すなわち、２Ｄの中心及び２Ｄ半径）を検出し、開口器具（ＯＩと表記される）の先端の位置を特定する。
８．大腿骨のいくつかの重要な部分又は開口器具の先端が十分に見えない場合、システムは、Ｃアームを移動させる（並進のみ）又はＣアームをそのＣ軸の周りで回転させるように指示を与え、ユーザは、ステップ６に戻る。
９．近位ＡＰ及びＭＬ画像ペアに基づいて、システムは、画像のレジストレーションを行う。画像のレジストレーションが成功しなかった場合、システムは、Ｃアームを回転及び／又は移動させるように指示を与え、ユーザは、ステップ２に戻る。
１０．ユーザは、Ｃアームを患者の脚に沿って遠位方向に移動させる。このステップでは、Ｃアームの回転は許容されないが、３つの並進運動はすべて許容される。
１１．ユーザは、図２２及び図２３で描写されるように大腿骨の遠位部のＭＬ Ｘ線投影画像を取得する。
１２．システムは、大腿骨（ＦＥＭと表記される）の２Ｄアウトラインを検出する。
１３．大腿骨顆の特定の配向又はアラインメントは必要とされない。しかしながら、大腿骨のいくつかの重要な部分が十分に見えない場合、システムは、Ｃアームを移動させるように指示を与え（並進のみが許容される）、ユーザは、ステップ１１に戻る。
１４．画像のレジストレーションに基づいて、システムは、統計モデルの投影されたアウトラインがすべての画像での大腿骨の検出された２Ｄアウトラインとマッチするように、（骨折した大腿骨と骨折していない大腿骨でトレーニングされた）統計モデルをすべての画像に共同してあてはめる。このステップにより、大腿骨の３Ｄ再構成が直接得られる。３Ｄ再構成の精度を向上させるために、システムは、開口器具の先端の３Ｄ位置（近位画像レジストレーションに基づいて）を計算し、開口器具の先端が大腿骨の表面に配置されたことを利用して、この点を基準点として使用する。
１５．システムは、図２４で描写されるように大腿骨の３Ｄ再構成に基づいて前傾角を決定する。Ｙｅｏｎ Ｓｏｏ Ｌｅｅ ｅｔ ａｌ．： “３Ｄ ｆｅｍｏｒａｌ ｎｅｃｋ ａｎｔｅｖｅｒｓｉｏｎ ｍｅａｓｕｒｅｍｅｎｔｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｐｏｓｔｅｒｉｏｒ ｆｅｍｏｒａｌ ｐｌａｎｅ ｉｎ ＯＲＴＨＯＤＯＣ（登録商標） ｓｙｓｔｅｍ” （２００６）によれば、前傾角は、大腿骨頭の中心（ＦＨＣと表記される）、大腿骨頚部の中心（ＦＮＣと表記される）、転子の後側頂点（ＴＲＯと表記される）、及び大腿骨後顆の外側及び内側頂点（ＬＣ及びＭＣと表記される）に基づいて計算することができる。システムは、ステップ１０からの大腿骨の３Ｄ再構成でこれらの５つの点を識別し、したがって前傾角を計算する。
以下に、インプラントの挿入前又は挿入後のＡＶ角を決定する例示的なワークフローを提示する。これは、最新技術よりも堅牢及び／又はより正確である可能性がある。一実施形態によれば、大腿骨の前傾角を決定するための手順全体は、次のように進められる（図３４参照）。
１．ユーザが、開口器具の先端をほぼ大転子の先端に配置する。
２．ユーザは、図２０で描写されるように大腿骨の近位部のＡＰ Ｘ線画像を取得する。
３．システムが、大腿骨（ＦＥＭと表記される）の２Ｄアウトラインと円で近似される大腿骨頭（ＦＨと表記される）（すなわち、２Ｄの中心及び２Ｄ半径によって決定される）を検出し、開口器具（ＯＩと表記される）の先端の位置を特定する。
４．大腿骨のいくつかの重要な部分又は開口器具の先端が十分に見えない場合、システムは、Ｃアームを回転及び／又は移動させるように指示を与え、ユーザは、ステップ２に戻る。
５．ユーザは、ＭＬ Ｘ線画像を取得するためにＣアームをそのＣ軸の周りで回転させる。ユーザはさらに、Ｃアームの内側－外側及び／又は前－後方向のシフトを使用することができる。Ｃアームを移動させている間、開口器具の先端を移動させてはならない。
６．ユーザは、図２１で描写されるように大腿骨の近位部のＭＬ Ｘ線画像を取得する。
７．システムは、大腿骨（ＦＥＭと表記される）の２Ｄアウトラインと大腿骨頭（ＦＨと表記される）（すなわち、２Ｄの中心及び２Ｄ半径）を検出し、開口器具（ＯＩと表記される）の先端の位置を特定する。
８．大腿骨のいくつかの重要な部分又は開口器具の先端が十分に見えない場合、システムは、Ｃアームを移動させる（並進のみ）又はＣアームをそのＣ軸の周りで回転させるように指示を与え、ユーザは、ステップ６に戻る。
９．近位ＡＰ及びＭＬ画像ペアに基づいて、システムは、画像のレジストレーションを行う。画像のレジストレーションが成功しなかった場合、システムは、Ｃアームを回転及び／又は移動させるように指示を与え、ユーザは、ステップ２に戻る。
１０．ユーザは、Ｃアームを患者の脚に沿って遠位方向に移動させる。このステップでは、Ｃアームの回転は許容されないが、３つの並進運動はすべて許容される。
１１．ユーザは、図２２及び図２３で描写されるように大腿骨の遠位部のＭＬ Ｘ線投影画像を取得する。
１２．システムは、大腿骨（ＦＥＭと表記される）の２Ｄアウトラインを検出する。
１３．大腿骨顆の特定の配向又はアラインメントは必要とされない。しかしながら、大腿骨のいくつかの重要な部分が十分に見えない場合、システムは、Ｃアームを移動させるように指示を与え（並進のみが許容される）、ユーザは、ステップ１１に戻る。
１４．画像のレジストレーションに基づいて、システムは、統計モデルの投影されたアウトラインがすべての画像での大腿骨の検出された２Ｄアウトラインとマッチするように、（骨折した大腿骨と骨折していない大腿骨でトレーニングされた）統計モデルをすべての画像に共同してあてはめる。このステップにより、大腿骨の３Ｄ再構成が直接得られる。３Ｄ再構成の精度を向上させるために、システムは、開口器具の先端の３Ｄ位置（近位画像レジストレーションに基づいて）を計算し、開口器具の先端が大腿骨の表面に配置されたことを利用して、この点を基準点として使用する。
１５．システムは、図２４で描写されるように大腿骨の３Ｄ再構成に基づいて前傾角を決定する。Ｙｅｏｎ Ｓｏｏ Ｌｅｅ ｅｔ ａｌ．： “３Ｄ ｆｅｍｏｒａｌ ｎｅｃｋ ａｎｔｅｖｅｒｓｉｏｎ ｍｅａｓｕｒｅｍｅｎｔｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｐｏｓｔｅｒｉｏｒ ｆｅｍｏｒａｌ ｐｌａｎｅ ｉｎ ＯＲＴＨＯＤＯＣ（登録商標） ｓｙｓｔｅｍ” （２００６）によれば、前傾角は、大腿骨頭の中心（ＦＨＣと表記される）、大腿骨頚部の中心（ＦＮＣと表記される）、転子の後側頂点（ＴＲＯと表記される）、及び大腿骨後顆の外側及び内側頂点（ＬＣ及びＭＣと表記される）に基づいて計算することができる。システムは、ステップ１０からの大腿骨の３Ｄ再構成でこれらの５つの点を識別し、したがって前傾角を計算する。
【0127】
フリーハンドの係止手順
大腿骨釘の遠位係止手順の様々な実装が存在し得る。以下に、考えられるワークフローの２つの例（１つは「クイック」で１つは「向上した」精度をもつ）を提示する。
大腿骨釘の遠位係止手順の様々な実装が存在し得る。以下に、考えられるワークフローの２つの例（１つは「クイック」で１つは「向上した」精度をもつ）を提示する。
【0128】
考えられるワークフローの例（クイックバージョン）、図３５参照：
１．ユーザが、大腿骨の遠位部のＸ線画像（例えば、図２８で描写されるようにＡＰ、又はＭＬ）を取得する。
２．システムは、インプラントの位置を特定し、大腿骨のアウトラインを検出する。インプラント又は大腿骨のアウトラインのいずれかの位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）可視性を改善するように指示を与える。ユーザは、その指示に従い、ステップ１に戻る。
３．ユーザは、大腿骨の表面に（例えば、釘穴軌道に）ドリルを配置する。ユーザは、別の観察方向（例えば、図２９で描写されるように２５°－ＭＬ）からＸ線画像を取得する。
４．システムは、インプラント（ＩＭと表記される）の位置を特定し、大腿骨（ＦＥＭと表記される）のアウトラインを検出し、ドリル（ＤＲと表記される）の位置を特定する。
５．ドリルの先端の位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）ドリルの先端の可視性を改善するように指示を与える。ユーザは、その指示に従い、新しい画像を取得し、ステップ４に戻る。
６．両方の画像でのインプラントの位置特定に基づいて（図３０でＩ．ＡＰ及びＩ．ＭＬと表記される）、システムは、図３０及び図３１で描写されるように画像のレジストレーションを行う。
７．ステップ６からの画像のレジストレーションに基づいて、システムは、両方の画像でその投影されたアウトラインを大腿骨の検出されたアウトラインにマッチさせることによって大腿骨の統計モデルをあてはめる（すなわち、両方の画像での大腿骨の回転及び並進、スケーリング、及び統計モデルのモードを決定する）。
８．現在の画像について、システムは、像平面内のドリルの先端から焦点までのラインを定義する。このラインは、再構成された大腿骨と２回交わる（すなわち、入口点と出口点）。焦点により近い点が、ドリルの先端の現在の３Ｄ位置として選択される。システムは、釘穴軌道に沿った再構成された大腿骨の骨幹直径に基づいて係止ねじの長さを計算する。
９．（大腿骨の画像のレジストレーション及び再構成による）大腿骨とインプラントの既知の空間的関係性に基づいて、システムは、ドリルとインプラントの空間的関係性を計算する。
１０．ドリル軌道が釘穴を通る場合、システムは、ドリリングを開始するように指示を与え、ユーザはドリリングを開始し、ユーザはステップ１４に進む。
１１．ドリル軌道が釘穴を通らない場合、システムは、ドリルの先端を移動させる及び／又はドリルを回転させるように指示を与える。ユーザは、その指示に従い、新しいＸ線画像を取得する。
１２．システムは、（例えば、画像差分分析によって）観察方向が変化したかどうかを評価する。観察方向が変化してない場合、システムは、前の画像からのほとんどの結果を使用することができるが、ドリルの位置を特定する。観察方向又はその他の関連する画像コンテンツが（例えば、画像のぼかし効果、オクルージョンなどによって）変化した場合、システムは、（例えば、現在の画像のさらなる観察方向を使用することによって）画像のレジストレーションを改善するためにこの情報を使用することができる。システムは、インプラントとドリルの位置を特定し、大腿骨のアウトラインを検出し、再構成された大腿骨を現在の画像にあてはめる。
１３．ユーザは、ステップ９に戻る。
１４．ユーザがさらに穴を係止したい場合、システムは、すべての釘穴の入口点（大腿骨の３Ｄ再構成と理想係止位置の埋め込み曲線の交点によって与えられる）を表示し、ドリルの先端を入口点に到達するようにどのように移動させるかの指示を与える。例を図３２に示す。ユーザは、ドリルの先端を計算された入口点（ＥＰと表記される）に配置し、ステップ１２に戻る。
１．ユーザが、大腿骨の遠位部のＸ線画像（例えば、図２８で描写されるようにＡＰ、又はＭＬ）を取得する。
２．システムは、インプラントの位置を特定し、大腿骨のアウトラインを検出する。インプラント又は大腿骨のアウトラインのいずれかの位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）可視性を改善するように指示を与える。ユーザは、その指示に従い、ステップ１に戻る。
３．ユーザは、大腿骨の表面に（例えば、釘穴軌道に）ドリルを配置する。ユーザは、別の観察方向（例えば、図２９で描写されるように２５°－ＭＬ）からＸ線画像を取得する。
４．システムは、インプラント（ＩＭと表記される）の位置を特定し、大腿骨（ＦＥＭと表記される）のアウトラインを検出し、ドリル（ＤＲと表記される）の位置を特定する。
５．ドリルの先端の位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）ドリルの先端の可視性を改善するように指示を与える。ユーザは、その指示に従い、新しい画像を取得し、ステップ４に戻る。
６．両方の画像でのインプラントの位置特定に基づいて（図３０でＩ．ＡＰ及びＩ．ＭＬと表記される）、システムは、図３０及び図３１で描写されるように画像のレジストレーションを行う。
７．ステップ６からの画像のレジストレーションに基づいて、システムは、両方の画像でその投影されたアウトラインを大腿骨の検出されたアウトラインにマッチさせることによって大腿骨の統計モデルをあてはめる（すなわち、両方の画像での大腿骨の回転及び並進、スケーリング、及び統計モデルのモードを決定する）。
８．現在の画像について、システムは、像平面内のドリルの先端から焦点までのラインを定義する。このラインは、再構成された大腿骨と２回交わる（すなわち、入口点と出口点）。焦点により近い点が、ドリルの先端の現在の３Ｄ位置として選択される。システムは、釘穴軌道に沿った再構成された大腿骨の骨幹直径に基づいて係止ねじの長さを計算する。
９．（大腿骨の画像のレジストレーション及び再構成による）大腿骨とインプラントの既知の空間的関係性に基づいて、システムは、ドリルとインプラントの空間的関係性を計算する。
１０．ドリル軌道が釘穴を通る場合、システムは、ドリリングを開始するように指示を与え、ユーザはドリリングを開始し、ユーザはステップ１４に進む。
１１．ドリル軌道が釘穴を通らない場合、システムは、ドリルの先端を移動させる及び／又はドリルを回転させるように指示を与える。ユーザは、その指示に従い、新しいＸ線画像を取得する。
１２．システムは、（例えば、画像差分分析によって）観察方向が変化したかどうかを評価する。観察方向が変化してない場合、システムは、前の画像からのほとんどの結果を使用することができるが、ドリルの位置を特定する。観察方向又はその他の関連する画像コンテンツが（例えば、画像のぼかし効果、オクルージョンなどによって）変化した場合、システムは、（例えば、現在の画像のさらなる観察方向を使用することによって）画像のレジストレーションを改善するためにこの情報を使用することができる。システムは、インプラントとドリルの位置を特定し、大腿骨のアウトラインを検出し、再構成された大腿骨を現在の画像にあてはめる。
１３．ユーザは、ステップ９に戻る。
１４．ユーザがさらに穴を係止したい場合、システムは、すべての釘穴の入口点（大腿骨の３Ｄ再構成と理想係止位置の埋め込み曲線の交点によって与えられる）を表示し、ドリルの先端を入口点に到達するようにどのように移動させるかの指示を与える。例を図３２に示す。ユーザは、ドリルの先端を計算された入口点（ＥＰと表記される）に配置し、ステップ１２に戻る。
【0129】
考えられるワークフロー（拡張バージョン）の例、図３６参照：
１．随意的に、ユーザは、大腿骨の遠位部のＸ線画像（例えば、図２８で描写されるようにＡＰ、又はＭＬ）を取得する。システムは、インプラント（ＩＭと表記される）の位置を特定し、大腿骨（ＦＥＭと表記される）のアウトラインを検出する。インプラント又は大腿骨のアウトラインのいずれかの位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）可視性を改善するように指示を与える。ユーザは、その指示に従い、このステップの最初に戻る。
２．ユーザは、大腿骨の表面に（例えば、釘穴軌道上に）ドリルを配置する。
３．ユーザは、大腿骨の遠位部のＸ線画像（例えば、ＭＬ又はＡＰ）を取得する。システムは、インプラント（ＩＭと表記される）の位置を特定し、大腿骨（ＦＥＭと表記される）のアウトラインを検出し、ドリル（ＤＲと表記される）の位置を特定する。インプラント又は大腿骨のアウトライン又はドリルの先端のいずれかの位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）可視性を改善するように指示を与える。ユーザは、その指示に従い、このステップの最初に戻る。釘の座標系に対する骨の３Ｄ再構成に基づいて、システムは、サブインプラント（例えば、係止ねじ）の必要な長さを計算し、それに応じた情報を表示する。
４．ユーザは、別の観察方向（例えば、図２９で描写されるように２５°－ＭＬ）からＸ線画像を取得する。ドリルの先端は画像間で移動してはならない。移動していた場合、システムは、これを検出することができ、ユーザにステップ３に戻るように要求する。
５．システムは、インプラント（ＩＭと表記される）の位置を特定し、大腿骨（ＦＥＭと表記される）のアウトラインを検出し、ドリル（ＤＲと表記される）の位置を特定する。
６．ドリルの先端の位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）ドリルの先端の可視性を改善するように指示を与える。ユーザは、その指示に従い、新しい画像を取得し、ステップ５に戻る。
７．少なくとも２つの画像でのインプラントの位置特定に基づいて（図３０でＩ．ＡＰ及びＩ．ＭＬと表記される）、システムは、図３０及び図３１で描写されるように画像のレジストレーションを行う。
８．ステップ７からの画像のレジストレーションに基づいて、しかし場合によっては前の画像のレジストレーションからの情報も使用して、システムは、画像でその投影されたアウトラインを大腿骨の検出されたアウトラインにマッチさせることによって大腿骨の統計モデルをあてはめる（すなわち、両方の画像での大腿骨の回転及び並進、スケーリング、及び統計モデルのモードを決定する）。随意的に、システムは、再構成された骨と決定された釘穴軌道に基づいて、計算されたサブインプラントの長さを更新することができる。
９．現在の画像について、システムは、像平面内のドリルの先端から焦点までのラインＬ１（図３１でＬ１と表記される）を定義する。Ｌ１は、再構成された大腿骨と２回交わる（すなわち、入口点と出口点）。焦点により近い点が、ドリルの先端の現在の３Ｄ位置の最初の値として選択される。
１０．ドリルの先端を含む他の観察方向からの画像について、システムは、像平面内のドリルの先端から焦点までの（すなわち、その画像の対応する座標系での）ラインＬ２を定義する。画像のレジストレーションに基づいて、このラインは、現在の画像の座標系に変換される。変換されたラインは、Ｌ２’と呼ばれる（図３１でＬ２’と表記される）。
１１．Ｌ１とＬ２’との間の最小距離が特定の閾値を上回っている場合、ドリルの先端が画像間で移動した可能性が高いため、システムは、ステップ４に戻るようにユーザにアドバイスする。随意的に、画像のレジストレーションに使用された画像ペアの生成の間にドリルの先端が移動していないことをユーザが確認すると、システムは、両方の画像でのインプラントの位置特定を最適化し、Ｌ１とＬ２’との間の距離を最小にすることによって画像のレジストレーションを改善する。（インプラント及びドリルの先端の位置特定が両方の画像で完璧であり、ドリルの先端が画像間で移動しなかった場合、Ｌ１とＬ２’は交わる。）
１２．Ｌ２’までの距離が最小であるＬ１上の点が、ドリルの先端の現在の３Ｄ位置のさらなる最初の値として選択される。
１３．ドリルの先端の３Ｄ位置の２つの解に基づいて（すなわち、ステップ９及び１２からの）、システムは、ドリルの先端の現在の３Ｄ位置を見つける（例えば、ステップ１２からの解を選択することによって、又は両方の解を平均することによって）。ドリルの先端は大腿骨の表面上にあるため、システムは、ドリルの先端の推定された３Ｄ位置は再構成された大腿骨の表面上にあるという制約の下で、大腿骨の３Ｄ再構成を改善する。システムは、改善された大腿骨の再構成に基づいて、以前に計算されたサブインプラントの長さを検証することができる。更新された長さが、以前に計算されたねじの長さから逸脱している場合（場合によってはサブインプラントの利用可能な長さの増分を考慮して）、システムはユーザに通知する。
１４．（大腿骨の画像のレジストレーション及び再構成による）大腿骨とインプラントの既知の空間的関係性に基づいて、システムは、ドリルとインプラントの空間的関係性を計算する。
１５．ドリル軌道が釘穴を通る場合、システムは、ドリリングを開始するように指示を与え、ユーザは、ドリリングを開始し、ドリリング後にサブインプラントを挿入し、次いで、ステップ１９に進む。
１６．ドリル軌道が釘穴を通らない場合、システムは、ドリルの先端を移動させる及び／又はドリルを回転させるように指示を与える。ユーザは、その指示に従い、新しいＸ線画像を取得する。
１７．システムは、（例えば、画像差分分析によって）観察方向が変化したかどうかを評価する。観察方向が変化してない場合、システムは、前の画像からのほとんどの結果を使用することができるが、ドリルの位置を特定する。観察方向又はその他の関連する画像コンテンツが（例えば、画像のぼかし効果、オクルージョンなどによって）変化した場合、システムは、（例えば、現在の画像のさらなる観察方向を使用することによって）画像のレジストレーションを改善するためにこの情報を使用することができる。システムは、利用可能な場合はその入口点とドリルについての利用可能な情報を考慮することで、既に挿入されているサブインプラントの位置特定によって最適化される、インプラントの位置を特定し、大腿骨のアウトラインを検出し、再構成された大腿骨を現在の画像にあてはめる。
１８．ユーザは、ステップ１４に戻る。
１９．ユーザがさらに穴を係止したい場合、システムは、すべての釘穴の入口点（大腿骨の３Ｄ再構成と理想係止位置の埋め込み曲線の交点によって与えられる）を表示し、ドリルの先端を入口点に到達するようにどのように移動させるかの指示を与える。例を図３２に示す。ユーザは、ドリルの先端を計算された入口点（ＥＰと表記される）に配置し、ステップ１７に戻る。
１．随意的に、ユーザは、大腿骨の遠位部のＸ線画像（例えば、図２８で描写されるようにＡＰ、又はＭＬ）を取得する。システムは、インプラント（ＩＭと表記される）の位置を特定し、大腿骨（ＦＥＭと表記される）のアウトラインを検出する。インプラント又は大腿骨のアウトラインのいずれかの位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）可視性を改善するように指示を与える。ユーザは、その指示に従い、このステップの最初に戻る。
２．ユーザは、大腿骨の表面に（例えば、釘穴軌道上に）ドリルを配置する。
３．ユーザは、大腿骨の遠位部のＸ線画像（例えば、ＭＬ又はＡＰ）を取得する。システムは、インプラント（ＩＭと表記される）の位置を特定し、大腿骨（ＦＥＭと表記される）のアウトラインを検出し、ドリル（ＤＲと表記される）の位置を特定する。インプラント又は大腿骨のアウトライン又はドリルの先端のいずれかの位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）可視性を改善するように指示を与える。ユーザは、その指示に従い、このステップの最初に戻る。釘の座標系に対する骨の３Ｄ再構成に基づいて、システムは、サブインプラント（例えば、係止ねじ）の必要な長さを計算し、それに応じた情報を表示する。
４．ユーザは、別の観察方向（例えば、図２９で描写されるように２５°－ＭＬ）からＸ線画像を取得する。ドリルの先端は画像間で移動してはならない。移動していた場合、システムは、これを検出することができ、ユーザにステップ３に戻るように要求する。
５．システムは、インプラント（ＩＭと表記される）の位置を特定し、大腿骨（ＦＥＭと表記される）のアウトラインを検出し、ドリル（ＤＲと表記される）の位置を特定する。
６．ドリルの先端の位置を特定できない場合、システムは、（例えば、Ｃアームを移動させることによって）ドリルの先端の可視性を改善するように指示を与える。ユーザは、その指示に従い、新しい画像を取得し、ステップ５に戻る。
７．少なくとも２つの画像でのインプラントの位置特定に基づいて（図３０でＩ．ＡＰ及びＩ．ＭＬと表記される）、システムは、図３０及び図３１で描写されるように画像のレジストレーションを行う。
８．ステップ７からの画像のレジストレーションに基づいて、しかし場合によっては前の画像のレジストレーションからの情報も使用して、システムは、画像でその投影されたアウトラインを大腿骨の検出されたアウトラインにマッチさせることによって大腿骨の統計モデルをあてはめる（すなわち、両方の画像での大腿骨の回転及び並進、スケーリング、及び統計モデルのモードを決定する）。随意的に、システムは、再構成された骨と決定された釘穴軌道に基づいて、計算されたサブインプラントの長さを更新することができる。
９．現在の画像について、システムは、像平面内のドリルの先端から焦点までのラインＬ１（図３１でＬ１と表記される）を定義する。Ｌ１は、再構成された大腿骨と２回交わる（すなわち、入口点と出口点）。焦点により近い点が、ドリルの先端の現在の３Ｄ位置の最初の値として選択される。
１０．ドリルの先端を含む他の観察方向からの画像について、システムは、像平面内のドリルの先端から焦点までの（すなわち、その画像の対応する座標系での）ラインＬ２を定義する。画像のレジストレーションに基づいて、このラインは、現在の画像の座標系に変換される。変換されたラインは、Ｌ２’と呼ばれる（図３１でＬ２’と表記される）。
１１．Ｌ１とＬ２’との間の最小距離が特定の閾値を上回っている場合、ドリルの先端が画像間で移動した可能性が高いため、システムは、ステップ４に戻るようにユーザにアドバイスする。随意的に、画像のレジストレーションに使用された画像ペアの生成の間にドリルの先端が移動していないことをユーザが確認すると、システムは、両方の画像でのインプラントの位置特定を最適化し、Ｌ１とＬ２’との間の距離を最小にすることによって画像のレジストレーションを改善する。（インプラント及びドリルの先端の位置特定が両方の画像で完璧であり、ドリルの先端が画像間で移動しなかった場合、Ｌ１とＬ２’は交わる。）
１２．Ｌ２’までの距離が最小であるＬ１上の点が、ドリルの先端の現在の３Ｄ位置のさらなる最初の値として選択される。
１３．ドリルの先端の３Ｄ位置の２つの解に基づいて（すなわち、ステップ９及び１２からの）、システムは、ドリルの先端の現在の３Ｄ位置を見つける（例えば、ステップ１２からの解を選択することによって、又は両方の解を平均することによって）。ドリルの先端は大腿骨の表面上にあるため、システムは、ドリルの先端の推定された３Ｄ位置は再構成された大腿骨の表面上にあるという制約の下で、大腿骨の３Ｄ再構成を改善する。システムは、改善された大腿骨の再構成に基づいて、以前に計算されたサブインプラントの長さを検証することができる。更新された長さが、以前に計算されたねじの長さから逸脱している場合（場合によってはサブインプラントの利用可能な長さの増分を考慮して）、システムはユーザに通知する。
１４．（大腿骨の画像のレジストレーション及び再構成による）大腿骨とインプラントの既知の空間的関係性に基づいて、システムは、ドリルとインプラントの空間的関係性を計算する。
１５．ドリル軌道が釘穴を通る場合、システムは、ドリリングを開始するように指示を与え、ユーザは、ドリリングを開始し、ドリリング後にサブインプラントを挿入し、次いで、ステップ１９に進む。
１６．ドリル軌道が釘穴を通らない場合、システムは、ドリルの先端を移動させる及び／又はドリルを回転させるように指示を与える。ユーザは、その指示に従い、新しいＸ線画像を取得する。
１７．システムは、（例えば、画像差分分析によって）観察方向が変化したかどうかを評価する。観察方向が変化してない場合、システムは、前の画像からのほとんどの結果を使用することができるが、ドリルの位置を特定する。観察方向又はその他の関連する画像コンテンツが（例えば、画像のぼかし効果、オクルージョンなどによって）変化した場合、システムは、（例えば、現在の画像のさらなる観察方向を使用することによって）画像のレジストレーションを改善するためにこの情報を使用することができる。システムは、利用可能な場合はその入口点とドリルについての利用可能な情報を考慮することで、既に挿入されているサブインプラントの位置特定によって最適化される、インプラントの位置を特定し、大腿骨のアウトラインを検出し、再構成された大腿骨を現在の画像にあてはめる。
１８．ユーザは、ステップ１４に戻る。
１９．ユーザがさらに穴を係止したい場合、システムは、すべての釘穴の入口点（大腿骨の３Ｄ再構成と理想係止位置の埋め込み曲線の交点によって与えられる）を表示し、ドリルの先端を入口点に到達するようにどのように移動させるかの指示を与える。例を図３２に示す。ユーザは、ドリルの先端を計算された入口点（ＥＰと表記される）に配置し、ステップ１７に戻る。
【0130】
どの時点でも、ユーザが、穴の係止が成功したかどうかをチェックすることに決めた場合、係止穴軌道から８度未満逸脱したイメージング方向で画像を取得することができ、システムは、係止が成功したかどうかを自動的に評価する。最後の穴が係止されている場合、又はシステムが行われた係止手順の検証を必要とする情報を有する場合、システムは、係止穴軌道に対してＣアーム位置を上にするようにユーザをガイドする。
【0131】
提案された入口点にドリルを配置するための適切な場所での皮膚切開の実行をサポートするために、システムは、皮膚と骨との距離を推定することによって、埋め込み曲線及び骨への入口点に基づいて皮膚入口点を投影することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】