▶ メタモーフォシス ゲゼルシャフト・ミット・ベシュレンクター・ハフトゥングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-27
(45)【発行日】2023-12-05
(54)【発明の名称】医用画像中の物体の相対位置の人工知能に基づく決定
(51)【国際特許分類】
G06T 7/00 20170101AFI20231128BHJP
A61B 34/20 20160101ALI20231128BHJP
【ＦＩ】
G06T7/00 612
A61B34/20
【請求項の数】
13
(21)【出願番号】P 2021529744
(86)(22)【出願日】2019-06-13
(65)【公表番号】
(43)【公表日】2022-02-03
(86)【国際出願番号】 EP2019065618
(87)【国際公開番号】W WO2020108806
(87)【国際公開日】2020-06-04
【審査請求日】2022-06-08
(31)【優先権主張番号】LU101009
(32)【優先日】2018-11-26
(33)【優先権主張国・地域又は機関】LU
(73)【特許権者】
【識別番号】521226945
【氏名又は名称】メタモーフォシス ゲゼルシャフト・ミット・ベシュレンクター・ハフトゥング
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ブラウ，アルノ
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０１４－０９７２２０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／００７１８９５（ＵＳ，Ａ１）
【文献】特表２０１７－５１５６１３（ＪＰ，Ａ）
【文献】特表２００５－５３６２３６（ＪＰ，Ａ）
【文献】特開２０１６－２２０８４３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０３２１７１０（ＵＳ，Ａ１）
【文献】M．R. MAHFOUZ et al.，A robust method for registration of three-dimensional knee implant models to two-dimensional fluoroscopy images，IEEE Transactions on Medical Imaging，2003年12月，Vol. 22, No. 12，pp.1561-1574，DOI: 10.1109/TMI.2003.820027
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００ － ６／１４
Ａ６１Ｂ ３４／２０
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
Ｘ線投影像を受け取るステップ、前記Ｘ線投影像中の第１の物体を分類するステップ、
前記第１の物体の第１のモデルを受け取るステップ、
前記Ｘ線投影像中の前記第１の物体にマッチングするように前記第１のモデルを適用することによって、前記第１の物体の少なくとも部分的な表現、および前記第１の物体の位置特定を決定し、ニューラルネットは、前記第１の物体の位置特定を決定するために利用され、前記第１のモデルと前記分類された第１の物体とのマッチングは、Ｘ線の減衰、吸収、および偏向の群のからの少なくとも１つの影響を考慮するステップ、
前記Ｘ線投影像中の第２の物体を分類するステップ、
前記第２の物体の第２のモデルを受け取るステップ、
前記Ｘ線投影像中の前記第２の物体にマッチングするように前記第２のモデルを適用することによって、前記第２の物体の少なくとも部分的な表現、および前記第２の物体の位置特定を決定し、前記第２のモデルと前記分類された第２の物体とのマッチングは、Ｘ線の減衰、吸収、および偏向の群のからの少なくとも１つの影響を考慮するステップ、および
前記分類された物体の空間的関係を決定し、前記分類された物体の前記空間的関係の決定は、前記第１の物体と前記第２の物体との間に接触点があるという情報に基づくステップと、
を含む、
方法。
【請求項2】
前記モデルの少なくとも１つと前記分類された物体とのマッチングは、前記Ｘ線投影像の画像特性を考慮し、前記画像特性は、少なくとも１つの撮像パラメータに依存し、ピンクッション効果、曲率、ノイズ、歪み、およびＸ線撮像生成方法からなる群からの少なくとも１つを含み、前記画像特性は前記Ｘ線投影像において決定される、
請求項１に記載の方法。
【請求項3】
前記Ｘ線投影像中の前記物体の少なくとも１つと前記それぞれのモデルとのマッチングは、機械的インタフェースのぐらつき、インプラントおよび器具の曲がり、骨折の群からの少なくとも１つを含む物体特性を考慮する、請求項１または請求項２のいずれか一項に記載の方法。
【請求項4】
前記分類された物体の少なくとも１つの３Ｄ表現が決定される、請求項１～請求項３のいずれか一項に記載の方法。
【請求項5】
前記分類された物体の少なくとも１つの予想される３Ｄ位置および／または予想される３Ｄ向きに関する情報を受け取ることをさらに含み、前記少なくとも１つの物体のマッチングは、前記予想される３Ｄ位置および／または前記予想される３Ｄ向きを考慮する、請求項１～請求項４のいずれか一項に記載の方法。
【請求項6】
幾何学的特徴を前記第１および第２のモデルの１つから前記それぞれの物体に移すステップをさらに含む、請求項１～請求項５のいずれか一項に記載の方法。
【請求項7】
座標系に対する寸法を測定するために、前記幾何学的特徴に基づいてスケールを定義するステップをさらに含む、請求項６に記載の方法。
【請求項8】
前記分類された物体の空間的関係を決定することは、前記接触点を決定することを含む、請求項１～請求項７のいずれか一項に記載の方法。
【請求項9】
Ｘ線源およびＸ線レシーバの位置の交換は検出可能である、請求項１～請求項８のいずれか一項に記載の方法。
【請求項10】
Ｘ線投影像中の物体の互いに対する配置を決定するためのシステムであって、請求項１～請求項９のいずれか一項に記載の方法をシステムに行わせる命令のセットを含むコンピュータプログラム製品を実行するように構成された処理ユニットを備える、システム。
【請求項11】
Ｘ線撮像装置をさらに備える、請求項１０に記載のシステム。
【請求項12】
データベースをさらに備える、請求項１０および請求項１１のいずれか一項に記載のシステム。
【請求項13】
システムの処理ユニット上で実行されると、請求項１～請求項９のいずれか一項に記載の方法をシステムに行わせる命令のセットを含む、コンピュータプログラム製品。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工知能およびコンピュータ支援手術の分野に関する。具体的には、本発明は、Ｘ線投影像に基づいて物体の３Ｄ表現および相対３Ｄ位置および相対３Ｄ向きを決定するための装置および方法に関する。方法は、装置の処理ユニット上で実行可能なコンピュータプログラムとして実装されてよい。
【背景技術】
【0002】
骨折の場合、骨片は、骨折の治癒のための支持として、骨の髄管に挿入され得る髄内釘、または骨の表面に取り付けられ得る骨プレートのようなインプラントによって安定化されてよい。そのようなインプラントを埋め込むための外科手技は、低侵襲であり得、外科医がインプラントを正しく配置することができるようにＸ線像の繰り返しの取得を必要とし得る。インプラントはまた、１つ以上のサブインプラント、例えば、スクリューまたはブレードに接続されてもよい。
【0003】
そのような手技における１つの特に困難なステップは遠位ロッキングである。長い釘を使用する遠位ロッキングの主な困難は、釘が髄管にある程度沿うような釘の曲がりおよびねじれである。これは、短い釘の場合に採用される単純で静的な機械的ロッキング手技を妨げる。フリーハンドの遠位ロッキングは、困難で時間がかかり、多くのＸ線像の取得を必要とし得る。この理由から、一部の製造業者は、釘の曲がりに適応する可撓性の機械的な解決策（以下、「長い照準装置」と呼ぶ）を提供している。長い照準装置は手技を簡単にするが、長い照準装置を示すＸ線像が正しく解釈されなければならず、Ｃアームの位置がそれに従って調整されなければならならないため、その適用は依然として簡単ではない。Ｃアームの正しい調整の後にのみ、長い照準装置は適切に調整され得る。
【0004】
Ｂｌａｕら（ＥＰ ２８０１３２０ Ａ１）は、長い照準装置に対して固定かつ既知の位置の金属マーカを有する参照体が検出され、参照体への撮像方向が決定される概念を提唱する。それに基づいて、システムは、Ｃアーム撮像装置をどのように調整するかについての指示を与え得る。そのようなシステムの欠点は、Ｘ線像が参照体を含まなければならないことである。横方向のロッキングホールを有する順行性大腿骨釘の場合の長い照準装置の調整では、Ｂｌａｕら（ＵＳ ２０１３／０２１１３８６ Ａ１）は、ＭＬ方向およびＡＰ方向の釘の曲がりをそれぞれ決定するために参照体を使用する。
【0005】
最新式の製品は、オンラインで利用可能な動画：ｈｔｔｐｓ：／／ｏｔａｏｎｌｉｎｅ．ｏｒｇ／ｉｎｄｕｓｔｒｙ－ｐａｒｔｎｅｒｓ／ｓｔｒｙｋｅｒ／ｍｕｌｔｉｍｅｄｉａ／１６９０５８３２／ａｄａｐｔ－ｆｏｒ－ｇａｍｍａ３で説明されている。長い照準装置に対して固定位置の参照体に加えて、この製品は、Ｘ線イメージインテンシファイアに直接取り付けられた参照体も必要とする。
【0006】
例えば、ＵＳ ２０１４／０３４３５７２ Ａ１は、標的構造または参照ベースに対して医療装置を位置決めするための補正パラメータ値のコンピュータ支援決定のための方法について記載している。ＵＳ ２００９／０２０９８５１ Ａ１は、異なる角度で撮影された目的の領域の２つ以上の２次元画像を処理して、目的の領域に関連した３次元情報を生成するするコンピュータ支援手術システムについて記載している。ＷＯ ２００８１５５７７２ Ａ１は、２次元画像中の物体の真の寸法および向きを測定するためのシステムについて記載している。
【発明の概要】
【0007】
（例えば、新しいインプラントを採用する場合の）製品開発を簡単にし、より対費用効果が高く、典型的なワークフローによりよく似た手術室のワークフローを可能とし、参照体用の機械的インタフェースによって導入されるであろうさらなる不確実性を排除するため、参照体なしで機能することが好ましい。
【0008】
本明細書に記載される発明は、例えば骨折の処置を行う場合に必要な情報を提供するために、任意の参照体の代わりに、Ｘ線像生成プロセスについての知識を、（いわゆるディープモーフィング（ｄｅｅｐ ｍｏｒｐｈｉｎｇ）および／またはニューラルネットの利用の形態の）人工知能と組み合わせることを提案する。したがって、Ｘ線投影像で少なくとも部分的に見える複数の物体の３Ｄ表現および相対３Ｄ位置および相対３Ｄ向きを可能とする装置および／または方法を提供することを、本発明の目的と見なすことができる。ここで、物体は、Ｘ線像で見える任意の物体、例えば、解剖学的構造、インプラント、手術器具、および／またはインプラントシステムの一部であってよい。
【0009】
用語「３Ｄ表現」は、３Ｄ体積または３Ｄ表面の完全または部分描写を指すことができ、例えば、半径、軸、平面などの、選択された幾何学的特徴も指すことができる。本発明は、物体の３Ｄ表面または体積についての完全な３Ｄ情報の決定を可能とし得るが、選択された幾何学的特徴のみを決定する方法も、本出願で開示されていると見なされる。
【0010】
本出願を通して、用語「位置特定する」および「位置特定」は、物体の３Ｄ向きの決定、および像面上へのその物体の投影の２Ｄ空間位置の決定を意味する。その一方で、（像面からの物体の距離である）撮像深度は、例えば、インプラント、患者、および撮像装置の相対位置のような、手術室中の物体の典型的な群についての先験的情報に基づいて推定される。本発明のこの文脈では、そのような推定撮像深度は十分である。それにもかかわらず、ある場合では、以下でさらに論じられるように、撮像深度をより精密に決定することが可能である。
【0011】
本発明は、発明ＵＳ ２０１３／０２１１３８６ Ａ１の目的のすべてを達成するために使用され得るが、任意の参照体を用いない。本発明に記載された技術を使用して、長い照準装置はロッキングスリーブ構成とともに位置特定され得る。これに基づいて、Ｘ線撮像装置をどのように調整するかについての指示が与えられ得る。長い照準装置の撮像深度は、手術室における典型的な遠位ロッキングの状況のジオメトリに基づいて推定され得る。次いで、遠位ロッキングホールが検出され得、その３Ｄ位置および３Ｄ向きが、ロッキングスリーブ構成および／または長い照準装置に対して決定され得る。
【0012】
釘の実際の位置は、長い照準装置の既知のジオメトリ、および曲がっていない釘の相対位置および相対向きを利用して、曲がっていない釘の投影位置と比較される。これは、（曲がっている可能性がある）埋め込まれた釘の標的遠位ロッキングホールと長い照準装置との間の相対３Ｄ位置および相対３Ｄ向きの計算を可能とする。これは、釘の近位先端が長い照準装置によって所定位置に保持されるという事実を考慮する。ゆえに、曲がった釘の先端の可能な位置は、その頂点が釘の近位先端にある円錐の底面を描く。釘は、ねじれを受ける場合もある。
【0013】
解剖学的構造、インプラント、手術器具、および／またはインプラントシステムの一部のような関連物体の３Ｄ表現および位置特定はまた、Ｘ線像で見えないかまたは部分的にしか見えなくても提供され得る。例として、投影像が大腿骨頭を完全に示していなくてもなお完全に再構成され得る。
【0014】
処理されたＸ線像の画像データは、撮像装置、例えばＣアームベースの２Ｄ Ｘ線装置から直接、または代わりにデータベースから、受け取られてよいことに留意する。本発明の態様はまた、超音波または磁気共鳴画像法などの、他の撮像モダリティを使用して取得された医用画像を処理するのに使用されてもよい。
【0015】
本発明によって提案されるシステムは、（ｉ）その特性が撮像パラメータに依存するＸ線投影像を受け取ること、（ｉｉ）Ｘ線投影像中の少なくとも１つの物体を分類すること、（ｉｉｉ）分類された物体のモデルを受け取ること、および（ｉｖ）モデルの仮想投影を分類された物体の実際の投影像にマッチングさせることによって、分類された物体の３Ｄ表現を決定し、分類された物体を座標系に対して位置特定することを装置に行わせる命令のセットを含むコンピュータプログラム製品を実行するように構成された、少なくとも１つの処理ユニットを備える。このプロセスは、Ｘ線撮像方法の特性を考慮してよい。具体的には、例に後述されるように、切片定理が適用されることが考慮されてよい。
【0016】
Ｘ線投影像は、目的の解剖学的構造、具体的には骨を表現し得る。骨は、例えば、手または足の骨であってよいが、特に大腿骨および脛骨のような下肢の長骨、ならびに上腕骨のような上肢の長骨であってよい。画像は、撮像された目的の解剖学的構造にすでに挿入または取り付けられている骨インプラントのような人工物も含んでよい。
【0017】
本発明の文脈では、「物体」と「モデル」は区別される。用語「物体」は、例えば、骨、もしくは骨の一部、もしくは別の解剖学的構造のような実物体、または髄内釘、骨プレート、もしくは骨スクリューのようなインプラント、またはインプラントに接続され得るスリーブ、ｋワイヤ、メス、ドリル、もしくは照準装置のような手術器具に使用される。「物体」はまた、実物体の一部（例えば、骨の一部）のみを表してもよいか、または実物体のアセンブリであってもよく、したがって、サブ物体からなる。例えば、インプラントおよび照準装置のアセンブリは、サブ物体「照準装置」およびサブ物体「釘」からなると見なされてよく、ここで、物体「釘」は曲がりを受け、物体「照準装置」は受けない。別の例として、釘の近位部は１つの物体と見なされてよく、釘の遠位部のロッキングホールの１つは別の物体と見なされてよい。
【0018】
その一方で、用語「モデル」は、物体の仮想表現に使用される。例えば、インプラントの形状および寸法を定義するデータセットは、インプラントのモデルを構築し得る。別の例として、例えば診断手順中に生成されるような解剖学的構造の３Ｄ表現は、現実の解剖学的物体のモデルとされてよい。「モデル」は、特定の物体、例えば、特定の釘を表してもよいか、または大腿骨などの、いくらかの変動性を有する物体の分類を表してもよいことに留意すべきである。後者の場合、そのような物体は、例えば、統計的形状または外観モデルによって表されてよい。次いで、本発明の目的は、取得されたＸ線像中に示されている物体の分類から特定の例の３Ｄ表現を見出すことであり得る。例えば、大腿骨の一般的な統計的形状モデルに基づいて、取得されたＸ線像中に示された大腿骨の３Ｄ表現を見出すことが目的であり得る。決定論的可能性の離散集合を含むモデルを使用することも可能であり得、システムは、次いで、これらのうち画像中の物体を最も良く表すものを選択することになる。例えば、データベースにいくつかの釘があり得、次いで、アルゴリズムは、どの釘が画像中に示されているかを同定する（この情報がユーザによって事前に提供されない場合）。
【0019】
モデルは実際にはコンピュータデータのセットであるため、データから仮想的に表現された物体の幾何学的特徴および／または寸法のような特定の情報を抽出することは、容易に可能である。
【0020】
モデルは、撮像された物体の２つ以上の部分を、Ｘ線投影像で見えない少なくとも一部とともに含んでよい。例えば、インプラントのモデルは、インプラントとともに使用することを意図したスクリューを含んでよいが、解剖学的構造中にすでに導入されているのはインプラントのみであり、したがって、Ｘ線投影像で見えるのはインプラントのみである。
【0021】
モデルは、例えば、大腿骨頭が３Ｄでは球、および２Ｄ投影像では円で近似され得るという事実のように、物体の特定の幾何学的特徴のみを表すという意味で、実物体の完全な３Ｄモデルではない場合があることにも留意する。
【0022】
投影像中の物体の外観は、Ｘ線撮像法の影響を受け得る。例えば、重力に対する撮像方向、拡大、放射強度、および／または磁場の存在のような撮像パラメータは、投影像中の物体の外観に影響を及ぼし得る。それらのまたはさらなる撮像パラメータは、ピンクッション効果、撮像方向に依存したＣアーム撮像装置の機械的な曲がり、曲率、ノイズ、および／または歪みによる投影された物体の変形のような、投影像の特性変化を引き起こし得る。ゆえに、それらの変化は画像特性として示される。
【0023】
投影像において、それらの画像特性を十分な精度で決定することが可能であり得ることが理解されるであろう。例えば、画像のエッジ領域に示された構造の位置は、画像の中央の構造よりもピンクッション効果の影響を受け得る。結果として、ピンクッション効果の特性は、エッジ領域から中央領域に広がる既知の形状の構造に基づいて、十分な精度で決定され得る。２Ｄ Ｘ線の領域について決定された画像特性は、画像全体に外挿され得る。
【0024】
画像歪みへの地球の磁場の影響は、Ｃアームのイメージインテンシファイアが、重力に対して水平に位置付けられるか、または垂直に位置付けられるかに依存する（イメージインテンシファイア内の電子ビームに対して磁場が有する影響のためであり、M. Dotter, “Fluoroskopiebasierte Navigation zur intraoperativen Unterstutzung orthopadischer Eingriffe,” dissertation, TU Munich, 2004を参照）。患者体位（例えば、側臥、左、腹臥、または仰臥）が既知である（例えば、ユーザによる入力として提供される）場合、撮像方向がシステムによって（例えば、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用して）計算された後、Ｃアームが、重力に対して水平に位置付けられるか、または垂直に位置付けられるかが決定され得る。これは、Ｘ線像の歪みに対して地球の磁場が有する影響についての先験的情報を提供する。システムが使用してよい先験的情報の別の例は、重力によるＣアーム撮像装置の曲がりである。
【0025】
Ｃアームの位置を活用する別の手法は、それぞれＣアーム位置を有する典型的な視点（例えば、ＡＰおよびＭＬ）での、画像の歪みの初期測定を得ることであってよく、患者が開放され、次いでシステムによって保存される前に行われ得る。Ｃアームの位置が既知である（前の段落の手法を使用して決定される）場合、それぞれの予め決定および保存された画像特性は、現在の画像と物体とのマッチングに適用されてよい。
【0026】
画像特性および物体特性、ならびにＸ線の減衰、吸収、および偏向の影響を考慮すると、モデルの仮想投影は、物体がＸ線投影像中で変形しかつ／または歪むように変形しかつ／または歪み得る。そのような仮想投影は、次いで、Ｘ線像中に見られる投影にマッチングされ得る。モデルへのＸ線投影像中の物体のマッチングは、モデルの仮想投影の画像特性へのＸ線投影像の画像特性の適合、および／またはＸ線投影像の画像特性へのモデルの仮想投影の画像特性の適合を含み得ることが理解されるであろう。３Ｄ投影体積におけるマッチングも、３Ｄでの距離を最小化することによって可能であり得ることも理解される。
【0027】
Ｘ線ビームはＸ線源（焦点）から生じ、Ｘ線検出器によって像面で検出されるため、物体の物理的寸法は、切片定理（別名、基本比例定理）を通して、Ｘ線像中のその投影の寸法に関連している。精密な（像面からの物体の距離である）撮像深度は、本発明の文脈では、一般に必要とされない。しかしながら、物体が十分に大きい場合、撮像深度は切片定理を通して決定されてよく、物体が大きくなればなるほど、この決定は精密になる。あるいは、撮像深度はまた、Ｘ線検出器の大きさ、および像面と焦点との間の距離が既知の場合に決定されてもよい。一部の用途のために、より精密な撮像深度が必要な場合、Ｘ線検出器の大きさ、および像面と焦点との間の距離は、ユーザ入力またはデータベースによって提供されてよい。前者はまた、既知の物体（例えば、釘、ｋワイヤなど）をイメージインテンシファイア／Ｘ線検出器上に直接配置することによる較正ステップによって決定されてもよい。
【0028】
実施形態によれば、ディープニューラルネット（ＤＮＮ）が、Ｘ線投影像中の物体（例えば、大腿骨の近位部、大腿骨の遠位部、釘の近位部、または釘の遠位部など）の分類に利用され得る。ＤＮＮは、物体を、その位置を決定することなく分類し得ることに留意する（Krizhevsky, A., Sutskever, I., and Hinton, G. E. ImageNet classification with deep convolutional neural networks. In NIPS, pp. 1106-1114, 2012を参照）。ニューラルネットは、撮像方向の大まかな分類にも利用され得る（例えば、ＡＰ対ＭＬであり、オンラインで利用可能な論文：Aaron Pries, Peter J. Schreier, Artur Lamm, Stefan Pede, Jurgen Schmidt: Deep morphing: Detecting bone structures in fluoroscopic X-ray images with prior knowledge, 2018を参照）。物体および撮像方向のそのような分類は、以下の処理ステップの適切なモデルを選択するのに使用され得る。
【0029】
実施形態によれば、分類された物体の輪郭線が、Ｘ線像中で検出され得る。解剖学的構造などの可変形状を有する物体では、これは、Ｐｒｉｅｓら（２０１８年）による上記の論文に記載されたような「ディープモーフィング」手法を使用することによって進行し得る。この論文は、Ｘ線透視画像中で骨構造を検出するための、ディープニューラルネットワークに基づく手法を提唱する。この技術は、特に、Ｘ線透視の自動処理の課題、すなわち、それらが低品質であること、および典型的には小さいデータセットしかニューラルネットワークの訓練に利用できないという事実に対処する。技術は、統計的形状モデルの形態の物体についての高レベル情報を組み込む。技術は、２段階手法（ディープモーフィングと呼ばれる）からなり、第１の段階で、ニューラルセグメンテーションネットワークが、骨または他の物体の輪郭（輪郭線）を検出し、次いで第２の段階で、統計的形状モデルが、動的形状モデル（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）アルゴリズムの変形を使用してこの輪郭にフィッティングされる（ただし、他のアルゴリズムも同様に第２の段階に使用され得る）。この組み合わせは、物体輪郭上の点にラベル付けする技術を可能とする。例えば、大腿骨のセグメンテーションでは、技術は、２Ｄ Ｘ線投影像中の輪郭上のどの点が小転子領域に対応するか、およびどの点が大腿骨頸部領域に対応するかなどを決定することができるであろう。決定論的モデルによって表される物体（例えば、釘）も、ディープモーフィングによって、またはディープモーフィングの第１の段階のように単純にニューラルセグメンテーションネットワークによって、検出され得る。
【0030】
さらなるステップでは、画像特性および／または物体特性、ならびにＸ線の減衰、吸収、および偏向の影響を考慮して、モデルの仮想投影は、次いで、Ｘ線投影像中の物体の外観にマッチングするように調整され得る。実施形態によれば、決定論的モデルによって表される物体では、このマッチングは、論文：Lavallee S., Szeliski R., Brunie L. (1993) Matching 3-D smooth surfaces with their 2-D projections using 3-D distance maps. In: Laugier C. (eds) Geometric Reasoning for Perception and Action. GRPA 1991. Lecture Notes in Computer Science, vol. 708. Springer, Berlin, Heidelbergに記載された線に沿って進行し得る。この手法では、画像特性および物体特性（具体的には、埋め込まれた釘の曲がりおよび／またはねじれ）、ならびにＸ線の減衰、吸収、および偏向の影響は、パラメータベクトルにさらなる自由度を導入することによって、または好適に調整されたモデルを使用することによって、説明され得る。埋め込まれた釘の曲がりをモデル化する場合、曲がった釘の先端の可能な位置は、その頂点が釘の近位先端にある円錐の底面を描くことが、釘の軸の周りの可能な回転（ねじれ）とともに考慮され得る。
【0031】
実施形態によれば、統計的形状または外観モデルによって表される物体では、実際の投影への仮想投影のマッチングは、以下の論文：V. Blanz, T. Vetter (2003) Face Recognition Based on Fitting a 3D Morphable Model, IEEE Transactions on Pattern Analysis and Machine Intelligenceの方法で進行し得る。この論文では、統計的なモーフィング可能な３Ｄモデルが、２Ｄ画像にフィッティングされる。このために、輪郭および外観の統計モデルパラメータ、ならびに透視投影のカメラおよびポーズのパラメータが決定される。キーポイントでの初期化を必要とし、これは、ディープモーフィングステップの結果によって提供され得る。別の手法は、論文：L. Gu and T. Kanade, 3D alignment of face in a single image, in Proc. of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognitionに従うことであり得る。これは、２Ｄ－３Ｄマッチングのための動的外観モデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）の変形であり、カメラの位置および統計モデルパラメータも決定する。
【0032】
ニューラルネットは、それが適用されることになるデータに匹敵する多数のデータに基づいて訓練され得る。画像中の骨構造の評価の場合、ニューラルネットは、目的の骨の多数のＸ線像に基づいて訓練されるべきである。ニューラルネットはまた、シミュレートされたＸ線像に基づいて訓練され得ることが理解されるであろう。シミュレートされたＸ線像は、例えば、https://arxiv.org/abs/1808.04441からオンラインで利用可能な論文：Aaron Pries, Peter J. Schreier, Artur Lamm, Stefan Pede, Jurgen Schmidt: Deep morphing: Detecting bone structures in fluoroscopic X-ray images with prior knowledgeの付録に記載されたように、３Ｄ ＣＴデータから生成されてよい。シミュレートされたＸ線像のリアリズムは、いわゆる敵対的生成ネットワーク（ＧＡＮ）を使用することによって強化され得る。この手法では、完全畳み込みニューラルネットワークは、シミュレートされた画像をその入力として受け取り、次いで、精緻化された画像を返す。精緻化は、リアルな精緻化を与える敵対的損失関数で学習される。これは、オンラインで利用可能な論文：Ashish Shrivastava, Tomas Pfister, Oncel Tuzel, Josh Susskind, Wenda Wang, Russ Webb: Learning from Simulated and Unsupervised Images through Adversarial Trainingに記載されている。
【0033】
実施形態によれば、２つ以上のニューラルネットワークが使用されてよく、ニューラルネットの各々は、具体的には、所望の解を得るのに必要なサブステップのために訓練され得る。例えば、第１のニューラルネットは、２Ｄ投影像中の解剖学的構造を分類するためにＸ線像データを評価するように訓練されてよく、一方、第２のニューラルネットは、２Ｄ投影像中のその構造の場所を検出するように訓練されてよい。第３のネットは、座標系に対するその構図の３Ｄの場所を決定するように訓練されてよい。ニューラルネットワークを他のアルゴリズムと組み合わせることも可能であり、動的形状モデルが挙げられるが、これに限定されない。ニューラルネットはまた、２Ｄ Ｘ線像中の物体の輪郭線を最初に検出する必要なく、物体を位置特定することまたは撮像方向を決定することを学習し得ることに留意する。ニューラルネットは、他のタスク、例えば、ピンクッション効果のような１つ以上の画像特性の決定にも利用され得ることにも留意する。
【0034】
実施形態によれば、物体はまた、Ｘ線投影像中で、手動で分類および／または同定されてもよい。そのような分類または同定は、装置が認識した構造を自動的に参照することにより、装置によって支援され得る。
【0035】
実施形態によれば、システムは、物体の幾何学的特徴（例えば、軸、輪郭線、曲率、中心点）、および物体の寸法（例えば、長さ、半径または直径、距離）を計算し得る。これは、モデルと、Ｘ線像中に見られる投影にマッチングされた仮想投影との間の対応により達成され得る。
【0036】
Ｘ線投影像を表示する場合、幾何学的特徴および／または寸法は、投影像にオーバーレイとして示され得る。代わりに、かつ／または追加で、モデルの少なくとも一部が、例えば透明可視化または３ＤレンダリングとしてＸ線像に示されてよく、これは、ユーザによる、モデル、したがって撮像された物体の、構造的特徴の同定を容易にし得る。
【0037】
大きさは、Ｘ線投影像で見える物体の寸法および物体間の寸法を測定するのに適したスケールも定義し得ることが理解されるであろう。例えば、モデルデータによって間接的に提供されるようなマッチングされた物体（「物体Ａ」と呼ばれる）の直径は、示された、潜在的に未知の他の物体の大きさを決定するために、少なくとも、十分に近い撮像深度に位置付けられていると想定することができる物体に対して、利用され得る。異なる撮像深度の異なる物体（「物体Ｂ」と呼ばれる）の大きさを切片定理に基づいて計算することさえ、（例えば、物体Ａが十分に大きいため、またはＸ線検出器の大きさおよび像面と焦点との間の距離が既知であるため）物体Ａの撮像深度が既知である場合、ならびに（例えば、解剖学的知識に基づく）物体Ａと物体Ｂの間の撮像深度の差についての情報がある場合には、可能であり得る。
【0038】
本発明は、その形状および外観がいくらかの変動性を有する物体の、３Ｄ再構成および位置特定を提供する。そのような物体は、例えば、３Ｄ統計的形状または外観モデルによって表されてよい。これは、単一のＸ線像または複数のＸ線像に基づいて行われ得る。
【0039】
解剖学的物体の１つの画像に基づいて、モデルは、その仮想投影がＸ線像中の物体の実際の投影にマッチングするような方法で変形される。そうすることにより、（Ｘ線ビームが物体を透過する方向を表す）撮像方向の計算が可能となる。さらなるプロージビリティチェックとして、計算された撮像方向は、次いで、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用する方法論に基づいて決定された同じ物体の撮像方向と比較され得、これは（特定の物体だけでなく）Ｘ線像全体を考慮し得る。これら２つの撮像方向は異なるべきではないため、これによりプロージビリティチェックができる。
【0040】
複数のＸ線像が取得される場合、それらからの情報は、３Ｄ再構成および／または空間位置もしくは向きの決定の正確度を高めるために融合（または登録）され得る。これらのＸ線像が異なる撮像方向から取得されると、これは曖昧さを解消するのに役立ち得るため好ましい。撮像方向が異なれば異なるほど（例えば、ＡＰおよびＭＬ画像）、追加の画像は３Ｄ情報の決定に関して役立ち得る。
【0041】
２つの異なる撮像方向からの同じ物体（「物体Ｃ」と呼ばれる）を示す一対のＸ線像の登録では、撮像方向間の（例えば、オイラー角または別の好適な表現によって表現され得る）３Ｄ角度を考慮することによって、登録プロセスの正確度を高めることが可能であり得る。この角度を決定する１つの方法は、各Ｘ線像について、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用して撮像方向を決定し、それらの差を計算することであろう。別の方法は、両方の画像にも示されている別の物体（「物体Ｄ」と呼ばれる）を利用することであり得、そのモデルは決定論的モデル（例えば、照準装置に接続された釘）である。物体Ｄの仮想投影を、各Ｘ線像中のその実際の投影にマッチングさせることによって、物体Ｄの撮像方向が決定され得る。これは、（ｉ）２つのＸ線像を取得する間に物体Ｄに対する物体Ｃの移動がないこと、または（ｉｉ）移動がある場合には後述のように決定され得ることのいずれかを必要とする。この手順は、明らかに、３つ以上の画像の登録に拡張され得る。これは、撮像深度が決定されていなくても、同じＸ線像中に示された複数の物体間の相対３Ｄ位置および相対３Ｄ向きの決定を可能とする。
【0042】
Ｘ線像中の物体の外観は、物体の材料に依存するＸ線放射の減衰、吸収、および偏向に特に依存する。Ｘ線ビームが透過しなければならない材料が多ければ多いほど、Ｘ線検出器が受け取るＸ線放射は少なくなる。これは、特に物体が薄い領域で、その輪郭線内の物体の外観に影響を及ぼすだけでなく、Ｘ線投影像中の輪郭線自体の形状も変化させ得る。
【0043】
この影響の強さは、Ｘ線強度、およびＸ線ビームが透過しなければならない物体周囲の組織の量にも依存する。後者は、患者のボディマス指数、および（例えば、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用した）撮像方向に依存する。物体周囲の軟組織の量は、データベースから導き出され得、これは、例えば、民族性、性別、ボディマス指数、年齢を考慮する。
【0044】
物体特性も決定され得る。物体特性は、例えば、髄内釘または骨折の曲がりおよびねじれであり得る。それらの物体特性は、自動、手動、または半自動で決定され得、装置は、例えば、（上記のように）画像特性のみを考慮する場合には予想されない構造的特徴の表示によって、手動決定を支援し得る。
【0045】
その一方で、先験的に知られている物体特性は、位置特定および３Ｄ表現の決定の正確度を高めるために利用され得る。一例は、例えばインプラントと照準装置と間の、接続のぐらつきであり、モデルによって表され得る。物体特性が位置特定および３Ｄ表現の決定の計算に使用される場合、いくつかの特性は、他よりも高く重み付けされ得ることが理解される。
【0046】
処理ユニットは、プロセスの全ステップを行うただ１つのプロセッサ、または複数のプロセッサの群によって実現され得、同じ場所に位置する必要はないことに留意する。例えば、クラウドコンピューティングは、プロセッサを任意の場所に配置することを可能とする。例えば、処理ユニットは、（ｉ）骨表面のような解剖学的構造の分類を含む画像データを評価する、第１のニューラルネットが実装される第１のサブプロセッサ、（ｉｉ）分類された解剖学的構造の撮像方向の決定に特化した、第２のニューラルネットが実装される第２のサブプロセッサ、および（ｉｉｉ）結果の可視化用モニタを制御するためのさらなるプロセッサに分割され得る。これらのうちの１つまたはさらなるプロセッサが、例えば、Ｘ線撮像装置のＣアームの移動も制御し得る。
【0047】
実施形態によれば、装置は、例えば、Ｘ線像を記憶するためのデータベースを提供する記憶手段をさらに備えてよい。そのような記憶手段はまた、システムが接続され得るネットワーク上に提供されてもよく、ニューラルネットに関連するデータは、そのネットワークを介して受け取られてよいことが理解されるであろう。
【0048】
さらに、装置は、少なくとも１つの２Ｄ Ｘ線像を生成するための撮像ユニットを備えてよく、撮像ユニットは、異なる方向からの画像を生成することが可能であり得る。
【0049】
装置は、例えば画像中の距離を測定するために、骨輪郭線などの、Ｘ線像中の物体の位置または一部を手動で決定または選択するための入力手段をさらに備えてよい。そのような入力手段は、例えば、モニタ画面上のカーソルのようなポインティングデバイスを制御するためのコンピュータのキーボード、コンピュータのマウス、またはタッチスクリーンであってよく、装置に含まれていてもよい。
【0050】
コンピュータプログラムは、好ましくは、データプロセッサのランダムアクセスメモリにロードされ得る。実施形態によるシステムのデータプロセッサまたは処理ユニットは、したがって、記載されたプロセスの少なくとも一部を実行するように備えられ得る。さらに、本発明は、開示されたコンピュータプログラムが記憶されてよい、ＣＤ－ＲＯＭなどのコンピュータ可読媒体に関する。しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提供されてもよく、そのようなネットワークからデータプロセッサのランダムアクセスメモリにダウンロードされ得る。さらに、コンピュータプログラムはまた、クラウドベースのプロセッサ上で実行されてもよく、結果はネットワークを介して提供される。
【0051】
実施形態が異なる主題に関連して記載されていることに留意しなければならない。特に、いくつかの実施形態は、方法タイプの請求項（コンピュータプログラム）に関連して記載されているのに対して、他の実施形態は、装置タイプの請求項（システム／装置）に関連して記載されている。しかしながら、当業者は、上記および以下の記載から、特に指定のない限り、ある種類の主題に属する特徴の任意の組み合わせ、ならびに異なる主題に関連する特徴間の任意の組み合わせが、本出願で開示されていると見なされることを推測するであろう。
【0052】
上に定義した態様、ならびに本発明のさらなる態様、特徴、および利点はまた、以下に記載される実施形態の例から導き出され得、図面にも示されている実施形態の例を参照して説明されるが、発明はそれらに限定されない。
【図面の簡単な説明】
【0053】
【図1】ＡＰおよびＭＬ画像の３Ｄ登録の例を示す。
【図2】ＡＰおよびＭＬ画像の３Ｄ登録の例を示し、誤って推定されたＣアームの幅の影響を説明する。
【図4】ＡＰおよびＭＬ画像の３Ｄ登録の例を示し、拡大の影響を説明する。
【図6】ＡＰおよびＭＬ画像の３Ｄ登録の例を示し、Ｘ線レシーバの大きさの影響を説明する。
【図7】釘および照準装置を含む大腿骨の歪みのない近位ＡＰ Ｘ線を示す。
【図8】釘および照準装置を含む大腿骨の歪んだ近位ＡＰ Ｘ線を示す。
【図10】釘および照準装置を含む大腿骨の歪みのない近位ＭＬ Ｘ線を示す。
【図11】釘および照準装置を含む大腿骨の歪んだ近位ＭＬ Ｘ線を示す。
【図13】釘および照準装置の位置特定に対して歪みの無視が有する影響を説明する。
【図14】釘および照準装置の輪郭線の誤った２Ｄマッチングを示す。
【図17】ＡＰおよびＭＬ画像の３Ｄ登録の例を示し、ＡＰ画像の代わりにＰＡ画像を受け取ることの影響を説明する。
【図18】投影面における、ＡＰ画像の代わりにＰＡ画像を受け取ることの影響を説明する。
【図19】投影面における、ＭＬ画像の代わりにＬＭ画像を受け取ることの影響を説明する。
【図20】可能なワークフローの例を示す。
【図21】誤った焦点を使用することの、遠位ロッキング支援への影響を示す。
【図22】ＡＰ画像の代わりにＰＡ画像を受け取ることの、遠位ロッキング支援への影響を示す。
【図23】整復評価のためのシナリオを示す。
【発明を実施するための形態】
【0054】
図面を通して、同じ参照番号および文字が、特に明記しない限り、図示された実施形態の同様の特徴、要素、構成要素、または部分を示すのに使用される。さらに、本開示は、次に図面を参照して詳細に説明されるが、これは例示的実施形態に関連して行われ、図面に示された特定の実施形態によって限定されない。
【0055】
１つの画像に基づく解剖学的物体の３Ｄ再構成
Ｐｒｉｅｓら（２０１８年）によるディープモーフィングについての上記の論文は、システムが骨の輪郭線／輪郭を（２Ｄ投影像中で）検出し、輪郭上の点にラベル付けすることを可能とする方法を提唱する。例えば、大腿骨のセグメンテーションでは、技術は、２Ｄ Ｘ線投影像中の輪郭上のどの点が小転子に対応するか、およびどの点が大腿骨頸部に対応するかなどを決定することができる。同じ解剖学的構造の３Ｄ統計的形状または外観モデルが与えられると、このモデルは、次いで、その仮想投影がＸ線像中の実際の投影にマッチングする方法で変形され得、ゆえに、解剖学的構造の３Ｄ再構成をもたらし、物体の位置特定および撮像方向の決定を可能とする。
Ｐｒｉｅｓら（２０１８年）によるディープモーフィングについての上記の論文は、システムが骨の輪郭線／輪郭を（２Ｄ投影像中で）検出し、輪郭上の点にラベル付けすることを可能とする方法を提唱する。例えば、大腿骨のセグメンテーションでは、技術は、２Ｄ Ｘ線投影像中の輪郭上のどの点が小転子に対応するか、およびどの点が大腿骨頸部に対応するかなどを決定することができる。同じ解剖学的構造の３Ｄ統計的形状または外観モデルが与えられると、このモデルは、次いで、その仮想投影がＸ線像中の実際の投影にマッチングする方法で変形され得、ゆえに、解剖学的構造の３Ｄ再構成をもたらし、物体の位置特定および撮像方向の決定を可能とする。
【0056】
１つのＸ線像のみに基づいて解剖学的構造の３Ｄ再構成を提供することができることは、異なる観察方向からの少なくとも２つの画像（典型的にはＡＰおよびＭＬ画像）の取得を必要とする技術水準に対する利点である。さらに、本発明は、１つのＸ線像に基づいて、解剖学的構造に対するインプラントまたは機器の３Ｄ向きを決定することもできる。
【0057】
ゆえに、これら２つの物体を示す１つのＸ線像に基づいて、その少なくとも１つが解剖学的物体である２つの物体を位置特定することが可能であり得る。これは、残る唯一の不確実性が２つの物体間の撮像深度の未知の差であることを意味する。これは、例えば骨折が十分に安定していないため、異なる撮像方向からの第２の画像の取得が実行可能でない外科手技に対処することを可能とする。
【0058】
解剖学的物体の３Ｄ再構成の正確度は、必須の先験的情報を使用することによって改善され得る。この先験的情報は、患者の大きさまたは性別であり得るが、再構成される解剖学的物体についての幾何学的情報のような、より解剖学的構造に固有の情報でもあり得る。ＭＬ画像に基づく近位大腿骨の３Ｄ再構成の例では、この情報は、大腿骨頸部の長さまたはＣＣＤ角度を含み得る。そのような情報は、３Ｄ再構成における曖昧さを著しく低減する。しかしながら、そのような情報は、典型的なＭＬ画像では十分な精度で決定されない場合があるため、近位大腿骨手術の過程の早期に決まって取得されるＡＰ画像から抽出されてよい。早期の画像から使用される情報が多ければ多いほど、３Ｄ再構成は正確になり得る。この手順を説明する別の方法は、ＡＰ画像に基づく近位大腿骨の３Ｄ再構成は、典型的な残りの不確実性（ＡＰ方向の大腿骨頸部の幅など）を有したまま行われ得、この３Ｄ再構成が、後期のＭＬ画像に基づく３Ｄ再構成の先験的情報または出発点となると言うことである。
【0059】
物体のいずれかの撮像深度を決定することのない、物体間の相対３Ｄ位置および相対３Ｄ向きの決定
論じられるように、位置特定された物体の撮像深度の精密決定は、しばしば不可能である。それにもかかわらず、２つの物体間の３Ｄ距離についての先験的情報がある場合、一方の物体のもう一方の物体に対する３Ｄ向きおよび３Ｄ位置を決定することが可能である。
論じられるように、位置特定された物体の撮像深度の精密決定は、しばしば不可能である。それにもかかわらず、２つの物体間の３Ｄ距離についての先験的情報がある場合、一方の物体のもう一方の物体に対する３Ｄ向きおよび３Ｄ位置を決定することが可能である。
【0060】
例：２つの物体が物理３Ｄ空間で互いに接触することがわかっている場合、物体間の相対３Ｄ向きおよび相対３Ｄ位置を決定することが可能である。これは、各物体を位置特定し、次いで、物体の１つのモデルを、焦点からこの物体の中心を通るベクトルに沿って、仮想３Ｄ空間で他の物体のモデルに接するまで仮想的に移動させることによって計算され得る。物体が互いに接触する領域が十分に小さい場合、これは、画像中のそれらの投影が重ならなくても機能するであろう。２つの物体の２つの投影がＸ線像中で重ならない特定の場合では、両方のモデルはすでに同じ撮像深度に位置付けられているため、モデルを仮想的に移動させる必要はない。
【0061】
異なる方向からの２つ以上のＸ線像の登録プロセス
骨形状に依存して、１つの画像のみに基づく３Ｄ再構成に、曖昧さまたはマッチング誤差が残っている場合がある。これは、潜在的に異なる観察方向から一連の画像を取得することによって軽減され得、これは、いずれにせよ手術中（例えば、骨折の整復時）に決まって取得され得る。一般に、異なる撮像方向からの追加の画像はより役立ち得、撮像方向が異なれば異なるほど（例えば、ＡＰおよびＭＬ画像）、追加の画像は３Ｄ情報の決定に関して役立ち得る。しかしながら、完全に異なる視点（ＡＰからＭＬ、またはその逆）に変化させる代わりに、手術中により容易に取得され得る、わずかしか異ならない観察角度からの画像を追加することさえ、有益であり得る。最後に、マッチング手順の精度を高める別の方法は、骨の変動性を表す一般的な統計モデルを働かせる代わりに、術前撮像を使用して患者の特定の骨の３Ｄ形状についての情報を生成することであり得る。
骨形状に依存して、１つの画像のみに基づく３Ｄ再構成に、曖昧さまたはマッチング誤差が残っている場合がある。これは、潜在的に異なる観察方向から一連の画像を取得することによって軽減され得、これは、いずれにせよ手術中（例えば、骨折の整復時）に決まって取得され得る。一般に、異なる撮像方向からの追加の画像はより役立ち得、撮像方向が異なれば異なるほど（例えば、ＡＰおよびＭＬ画像）、追加の画像は３Ｄ情報の決定に関して役立ち得る。しかしながら、完全に異なる視点（ＡＰからＭＬ、またはその逆）に変化させる代わりに、手術中により容易に取得され得る、わずかしか異ならない観察角度からの画像を追加することさえ、有益であり得る。最後に、マッチング手順の精度を高める別の方法は、骨の変動性を表す一般的な統計モデルを働かせる代わりに、術前撮像を使用して患者の特定の骨の３Ｄ形状についての情報を生成することであり得る。
【0062】
本発明は、異なる方向から撮影された少なくとも１つの共通の物体の複数のＸ線像を登録することを可能とする。これは、３Ｄ登録が、撮像深度の明示的な決定なしで複数の物体間の相対３Ｄ位置の決定を可能とするため、重要である。
【0063】
２つ以上のＸ線像の基づく、可変形状の物体（典型的には、例えば統計的形状または外観モデルによって表され、この節では「物体Ｆ」と呼ばれる解剖学的構造）の３Ｄ再構成では、１つの画像について上に概説された手順は、２つ以上の画像に拡張され得る。すなわち、ディープモーフィングが、各２Ｄ Ｘ線像中で物体Ｆの輪郭を検出し、その輪郭上の点にラベル付けするのに使用され得る。物体Ｆの３Ｄ統計的形状モデルが与えられると、このモデルは、次いで、その仮想投影が、２つ以上のＸ線像中の物体Ｆの実際の投影に、可能な限り厳密に、同時にマッチングする方法で変形され得る。この手順は、各Ｘ線像の撮像方向を暗黙的に決定するため、撮像方向についての先験的情報を必要としない。
【0064】
２つの異なる撮像方向から撮影された一対のＸ線像の登録の代替として、撮像方向間の３Ｄ角度を考慮することによって、登録プロセスの正確度を高めることが可能であり得、これは２つの異なる手順を使用して決定され得る。この角度の決定を精密にできればできるほど、３Ｄ登録は精密になり得る。
【0065】
この角度を決定する１つの方法は、各Ｘ線像について、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用して撮像方向を決定し、それらの差を計算することであろう。別の方法は、Ｘ線像中の別の物体（「物体Ｇ」と呼ばれる）を利用することであり得、そのモデルは決定論的モデル（例えば、照準装置に接続された釘）である。物体Ｇの仮想投影を、各Ｘ線像中のその実際の投影にマッチングさせることによって、物体Ｇの撮像方向が決定され得る。
【0066】
物体Ｇから計算された撮像方向間の３Ｄ角度が、物体Ｆの撮像方向間の３Ｄ角度と著しく異なる場合、これは、例えば、物体Ｆに対する物体Ｇの位置が、画像を取得する間に変化している（例えば、釘の軸の周りの回転があった）ことを示し得る。そのような移動を自動的に補正することが可能であり得、これが不可能な場合、３Ｄ登録は試みられるべきではない。２つの手順によって決定された角度が十分に近い場合、結果は、（例えば、画像品質、検出品質、視認性、３Ｄ再構成不確実性に依存する重み付けで）重み付けおよび平均され得、３Ｄ登録が行われ得る。この手順は、明らかに、３つ以上の画像の登録に拡張され得る。
【0067】
以下では、３Ｄ登録への、Ｃアームの幅、画像検出器の大きさ、拡大などの影響が、例とともに説明される。これらすべての例において、撮像深度の決定は必要とされないことが示される。
【0068】
Ｃアームの幅の影響：図１は、左大腿骨（ＬＦとする）、および照準装置に取り付けられた釘インプラント（ＮＡＤとする）を示す。さらに、ＡＰ Ｘ線像（１．ＡＰとする）およびＭＬ Ｘ線像（１．ＭＬとする）、ならびにそれらの対応する焦点（１．ＦＰ．ＡＰおよび１．ＦＰ．ＭＬとする）を示す。３Ｄ球は、大腿骨頭（ＦＨとする）を近似し、白い破線円は、画像中のその２Ｄ近似投影である（１．ＦＨ．ＡＰおよび１．ＦＨ．ＭＬとする）。Ｃアームは、１０００ｍｍの幅（ここでは焦点と像面との間の距離と定義される）を有する。円錐は、大腿骨頭を透過するＸ線ビームの一部を示す。本出願を通して、後前方向で撮影された画像を「ＡＰ」画像と呼び、前後方向で撮影された画像を「ＰＡ」画像と呼ぶ慣習に従うことに留意する。同様に、外側－内側方向で撮影された画像を「ＭＬ」画像と呼び、内側－外側方向で撮影された画像を「ＬＭ」画像と呼ぶ。
【0069】
図２では、真の１０００ｍｍの代わりに、Ｃアームの幅は、９００ｍｍと誤って推定された。ゆえに、大腿骨頭（ＦＨ）を含む画像中のすべての物体は、Ｘ線像では本来よりも小さく見える。したがって、物体は、ＡＰ像面（２．ＡＰとする）およびＭＬ像面（２．ＭＬとする）に向かってシフトしたかのように思える。対応する焦点は、２．ＦＰ．ＡＰおよび２．ＦＰ．ＭＬとする。近似された大腿骨頭の２Ｄ投影（白い円２．ＦＨ．ＡＰおよび２．ＦＨ．ＭＬ）に基づく大腿骨頭（ＦＨ）の３Ｄ再構成は、図１と比較して変化しないままである。変化する唯一のパラメータは、見かけの撮像深度である。しかしながら、大腿骨頭と釘との相対３Ｄ位置が変化していないため、撮像深度はこのシナリオには関係がない。
【0070】
【0071】
拡大の影響：画像の１つが拡大倍率ありで捕捉された場合、物体は、拡大なしよりも大きく見える。図４では、ＡＰ画像（４．ＡＰとする）は、拡大倍率１．５で捕捉された。ゆえに、大腿骨頭（ＦＨ）を含む画像中のすべての物体は、ＡＰの焦点（４．ＦＰ．ＡＰとする）に向かって移動したかのように思える。以前のように、近似された大腿骨頭の２Ｄ投影（白い破線円４．ＦＨ．ＡＰおよび４．ＦＨ．ＭＬ）に基づく大腿骨頭（ＦＨ）の３Ｄ再構成は、図１と比較して変化しないままである。変化する唯一のパラメータは、見かけの撮像深度である。しかしながら、大腿骨頭と釘との相対３Ｄ位置が変化していないため、撮像深度はこのシナリオには関係がない。両方の画像が拡大を有する場合、類似のコメントが当てはまる。図５は、（図４のような）拡大ありおよび（図１のような）拡大なしの状況を比較する。
【0072】
Ｘ線検出器の大きさの影響：Ｘ線検出器の想定された大きさが、真の９”の代わりに１２”である場合、物体は画像ではより大きく見え、物体が両方の画像の焦点に向かって移動したかのように思える。これは図６に示され、図中：
・６．ＡＰ．９”は、６．ＦＰ．ＡＰ．９”で示される焦点を有する９”のＸ線検出器でのＡＰ画像を指す
・６．ＡＰ．１２”は、６．ＦＰ．ＡＰ．１２”で示される焦点を有する１２”のＸ線検出器でのＡＰ画像を指す
・６．ＭＬ．９”は、６．ＦＰ．ＭＬ．９”で示される焦点を有する９”のＸ線検出器でのＭＬ画像を指す
・６．ＭＬ．１２”は、６．ＦＰ．ＭＬ．１２”で示される焦点を有する１２”のＸ線検出器でのＭＬ画像を指す
影響は、両方の画像に適用される拡大倍率と同等である。ゆえに、拡大の場合と同じ結論が引き出され得る。
・６．ＡＰ．９”は、６．ＦＰ．ＡＰ．９”で示される焦点を有する９”のＸ線検出器でのＡＰ画像を指す
・６．ＡＰ．１２”は、６．ＦＰ．ＡＰ．１２”で示される焦点を有する１２”のＸ線検出器でのＡＰ画像を指す
・６．ＭＬ．９”は、６．ＦＰ．ＭＬ．９”で示される焦点を有する９”のＸ線検出器でのＭＬ画像を指す
・６．ＭＬ．１２”は、６．ＦＰ．ＭＬ．１２”で示される焦点を有する１２”のＸ線検出器でのＭＬ画像を指す
影響は、両方の画像に適用される拡大倍率と同等である。ゆえに、拡大の場合と同じ結論が引き出され得る。
【0073】
ＭＬ画像への重力の影響：ＣアームベースのＸ線撮像装置でＭＬ画像を捕捉する場合、焦点は、Ｄｏｔｔｅｒ（２００４年）による学位論文によれば、床に向かって８ｍｍ移動する。１０００ｍｍの所与のＣアームの幅で、これは、約１度のＣアームの回転に相当する。この回転は、画像中に示された物体の垂直シフトおよび少しの回転を引き起こす。シフトおよび回転は、（インプラントの推定された場所に基づく）シーンの再構成中に検出されるため、この影響を無視することは、再構成された大腿骨頭の中心に対して小さい誤差を引き起こす。さらに、再構成中に重力の影響を考慮してこの誤差を回避することが可能である。
【0074】
分類された物体の特徴の測定
本発明は、先験的較正を必要としない。測定される構造の近くに（同様の深度で）位置する画像中の既知の物体がある場合、測定はｍｍ単位で行われ得る。既知の物体は、既知の寸法を有するため、測定値の較正に使用され得る。これは、Ｂａｕｍｇａｅｒｔｎｅｒらによって提唱されたＴＡＤ値を決定するための手順に似ている（Baumgaertner MR, Curtin SL, Lindskog DM, Keggi JM: The value of the tip-apex distance in predicting failure of fixation of peritrochanteric fractures of the hip. J Bone Joint Surg Am. 1995, 77: 1058-1064を参照）。
例１：釘が挿入されており、ＡＰ画像が入手可能である。釘は同定および位置特定されている。釘は、骨幹部の中央、したがって示された骨幹部外側皮質と同様の撮像深度に位置するため、既知の釘のジオメトリが、較正に使用され得る。これは、釘の軸と骨幹部外側皮質との間の距離を決定するためのスケーリングを提供することを可能とする。
例２：異なる撮像深度の異なる物体（「物体Ｂ」と呼ばれる）の大きさを切片定理に基づいて計算することさえ、（例えば、物体Ａが十分に大きいため、またはＸ線検出器の大きさおよび像面と焦点との間の距離が既知であるため）物体Ａの撮像深度が既知である場合、ならびに（例えば、解剖学的知識に基づく）物体Ａと物体Ｂの間の撮像深度の差についての情報がある場合には、可能であり得る。
本発明は、先験的較正を必要としない。測定される構造の近くに（同様の深度で）位置する画像中の既知の物体がある場合、測定はｍｍ単位で行われ得る。既知の物体は、既知の寸法を有するため、測定値の較正に使用され得る。これは、Ｂａｕｍｇａｅｒｔｎｅｒらによって提唱されたＴＡＤ値を決定するための手順に似ている（Baumgaertner MR, Curtin SL, Lindskog DM, Keggi JM: The value of the tip-apex distance in predicting failure of fixation of peritrochanteric fractures of the hip. J Bone Joint Surg Am. 1995, 77: 1058-1064を参照）。
例１：釘が挿入されており、ＡＰ画像が入手可能である。釘は同定および位置特定されている。釘は、骨幹部の中央、したがって示された骨幹部外側皮質と同様の撮像深度に位置するため、既知の釘のジオメトリが、較正に使用され得る。これは、釘の軸と骨幹部外側皮質との間の距離を決定するためのスケーリングを提供することを可能とする。
例２：異なる撮像深度の異なる物体（「物体Ｂ」と呼ばれる）の大きさを切片定理に基づいて計算することさえ、（例えば、物体Ａが十分に大きいため、またはＸ線検出器の大きさおよび像面と焦点との間の距離が既知であるため）物体Ａの撮像深度が既知である場合、ならびに（例えば、解剖学的知識に基づく）物体Ａと物体Ｂの間の撮像深度の差についての情報がある場合には、可能であり得る。
【0075】
髄内釘の例での画像歪みの取り扱い
一般に、画像の歪みを取り扱う方法は２つある：
１．歪みが強いことがわかっているＸ線像中の領域（例えば、画像の境界）を重視せず、歪みの影響が少ない領域をより重視する
２．歪みを決定し、それを解決する
一般に、画像の歪みを取り扱う方法は２つある：
１．歪みが強いことがわかっているＸ線像中の領域（例えば、画像の境界）を重視せず、歪みの影響が少ない領域をより重視する
２．歪みを決定し、それを解決する
【0076】
次に、釘が挿入された大腿骨のＡＰ画像の例でこれらを説明する。
【0077】
Ｒｅ １．以下の文字は、図９のラベル付けに使用されている。実線は、歪んだＸ線像で見られるような釘および照準装置の輪郭である。白い破線は、歪みのない画像に示されるような釘および照準装置の仮定の輪郭線を示す。
９．Ｄ：髄内釘の遠位部
９．Ｃ：頸部スクリュー用のホールを含む釘の中心部
９．Ｐ：髄内釘の近位部
９．Ａ：照準装置
９．Ｄ：髄内釘の遠位部
９．Ｃ：頸部スクリュー用のホールを含む釘の中心部
９．Ｐ：髄内釘の近位部
９．Ａ：照準装置
【0078】
典型的には、９．Ｄは、Ｘ線像のより歪んだ領域に位置する。さらに、９．Ｄの精密な場所は、９．Ｃのホールを通して挿入されるスクリューの軌道を予測する場合、それほど重要ではない。したがって、スクリューの軌道の予測では、９．Ｃおよび９．Ｐの場所が、９．Ｄよりも高い重み付けを受け得、正確な重み付けは、それらの検出の視認性および信頼性に基づいて決定され得る。９．Ｃおよび９．Ｐへのより高い重み付けはまた、これらの領域が目的の領域（スクリューホールおよび大腿骨頭）により近いため、正当化され得る。さらに、９．Ｃの外観は、釘のその軸の周りの回転についての情報を伝える。
【0079】
Ｒｅ ２．画像中の歪みは、以下により決定され得る：
ａ）以前に行われた手術（特定のＣアームのために学習され得る）
ｂ）手術前の較正：既知の物体（例えば、釘、ｋワイヤなど）は、像面への既知の距離で、イメージインテンシファイア／Ｘ線検出器上に直接配置され得る。これはまた、Ｘ線検出器の大きさ、および焦点と像面との間の距離を決定するために使用され得る。
ｃ）以前に取得された画像（手術中にアルゴリズムによって学習され得る）
ｄ）典型的な歪みの影響のデータベース（例えば、典型的なＣアーム位置の、典型的なピンクッション効果、地球の磁場）。装置は、デジタルＸ線機械が歪まない知識を使用してよい。
そのような情報が利用可能な場合、モデルの仮想投影をＸ線像中の投影にマッチングさせる時に利用され得る。歪みは、画像全体、または特にマッチングされている形状に適用され得る。
ａ）以前に行われた手術（特定のＣアームのために学習され得る）
ｂ）手術前の較正：既知の物体（例えば、釘、ｋワイヤなど）は、像面への既知の距離で、イメージインテンシファイア／Ｘ線検出器上に直接配置され得る。これはまた、Ｘ線検出器の大きさ、および焦点と像面との間の距離を決定するために使用され得る。
ｃ）以前に取得された画像（手術中にアルゴリズムによって学習され得る）
ｄ）典型的な歪みの影響のデータベース（例えば、典型的なＣアーム位置の、典型的なピンクッション効果、地球の磁場）。装置は、デジタルＸ線機械が歪まない知識を使用してよい。
そのような情報が利用可能な場合、モデルの仮想投影をＸ線像中の投影にマッチングさせる時に利用され得る。歪みは、画像全体、または特にマッチングされている形状に適用され得る。
【0080】
歪みは、地球の磁場のため、物理空間におけるＣアーム撮像装置の位置に強く依存する。典型的な手術室環境では、Ｃアーム撮像装置の位置は、患者の体位（例えば、腹臥または仰臥）が既知である場合、撮像方向から得られてよい。次に、撮像方向が、例えば、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用して、決定されてよい。
【0081】
以下では、近位大腿骨釘のＡＰ画像の場合の、ピンクッション効果の例が論じられる。図７は、点線の矩形グリッドからわかるように、歪みのない典型的なＡＰ画像を示す。
【0082】
図８は、シミュレートされたピンクッション効果歪みを有する同じシーンを示す。これは、Ｄｏｔｔｅｒ（２００４年）による学位論文によれば、ＡＰ画像に対して最大の影響を有する歪みの種類である。歪みは、歪んだ点線のグリッドからわかる。画像の境界近くの画素は画像の中央の画素よりも影響を受けることが、はっきりと見える。
【0083】
図９は、図８と同じ歪んだ画像を再び示すが、グリッドがない。実線は、Ｘ線像で見られるような釘および照準装置の輪郭である（９．ＮＡＤとする）。白い破線は、歪みのない画像に示されるような釘および照準装置の仮定の輪郭線を示す。
【0084】
以下では、近位大腿骨釘のＭＬ画像の場合の、正弦波歪みの例が論じられる。Ｄｏｔｔｅｒ（２００４年）の学位論文によれば、ＭＬ画像は、ピンクッション効果に加えて、（地球の磁場のため）正弦波歪みを受ける。ピンクッション効果はＡＰ画像に基づいて決定さ得、次いで、補正がＭＬ画像に適用され得る。この補正が正しいとすれば、正弦波歪みのみが、ＭＬ画像に残ることになる。
【0085】
【0086】
図１２は、図１１と同じ歪んだ画像を再び示すが、グリッドがない。実線は、Ｘ線像で見られるような釘および照準装置の輪郭である（１２．ＮＡＤとする）。白い破線は、歪みのない画像に示されるような釘および照準装置の仮定の輪郭線を示す。
【0087】
図１３は、近位大腿骨の歪んだＸ線ＡＰ画像に基づく釘および照準装置の位置特定の結果を示す。Ｘ線投影像１３．ＸＲＡＹは、図９に示すものと同じである。歪みを考慮しない場合、これは、正しい場所は１３．ＮＡＤ．Ｃで示される位置であるのに対して、１３．ＮＡＤ．ＩＣで示される誤った位置への釘および照準装置の位置特定をもたらすことになる。誤って決定された撮像深度は本発明の文脈では関係がないが、他方で、誤った３Ｄ向きは問題がある。示された状況では、釘の軸に対して約４．５度の誤差がある。
【0088】
しかしながら、図１４は、図１３の誤った位置特定をもたらす、対応するＸ線像における２Ｄ輪郭線のマッチング（白い実線）は、それ自体は真の輪郭線のマッチング不良にすぎないことを示す。これは、図１５および図１６に示すように、画像を拡大すると、よりはっきりと見える。例えば、図１５では、黒く見える釘と決定された輪郭線（白い実線、１５．Ｏとする）との間にはっきりといくつかの隙間があり、その一部は１５．ＧＡＰで示される。さらに、図１６でも、黒く見える釘と決定された輪郭線（白い実線、１６．Ｏとする）との間、特に釘のホールに、１６．ＧＡＰで示されるような隙間がはっきりと見える。隙間１６．ＧＡＰは、誤って決定された釘の回転によって説明される。上記の２つの方法（釘のホールの周りの歪みの少ない領域に注目すること、および特に照準装置が位置する画像の境界において予想される歪みの種類を考慮すること）を組み合わせることによって、位置特定の正確度は著しく改善され得る。本発明は、デワーピングとマッチングプロセスとの間の相互作用を可能とし、より精密な結果をもたらす。
【0089】
Ｘ線源およびレシーバの位置の交換の取り扱い
Ｘ線撮像装置は、画像のミラーリングを可能とし、本発明は、手術中、画像検出器に取り付けられた較正参照体を使用しないため、Ｘ線源およびレシーバの位置の交換は、処置側（左または右の骨）が既知であっても、検出されない場合がある。ユーザは、ミラーリング機能が作動しているかどうかの情報を提供することを求められ得る。以下では、これが望まれない場合、それにもかかわらずシーンの正しい３Ｄ再構成がどのように可能であるかについて、状況が論じられる。
Ｘ線撮像装置は、画像のミラーリングを可能とし、本発明は、手術中、画像検出器に取り付けられた較正参照体を使用しないため、Ｘ線源およびレシーバの位置の交換は、処置側（左または右の骨）が既知であっても、検出されない場合がある。ユーザは、ミラーリング機能が作動しているかどうかの情報を提供することを求められ得る。以下では、これが望まれない場合、それにもかかわらずシーンの正しい３Ｄ再構成がどのように可能であるかについて、状況が論じられる。
【0090】
大腿骨または上腕骨の近位ＡＰ画像の場合、Ｘ線源およびレシーバの位置の交換を検出することはできないが、そのような交換は、近位大腿骨または上腕骨の対称性のため、正しい３Ｄ再構成に著しい影響を及ぼさない。図１７は、図１からのシーンを示し、図中、元の撮像方向は、焦点１７．ＦＰ．ＡＰを有するＡＰであり、１７．ＡＰで示されるＡＰ画像をもたらす。加えて、図１７は、１７．ＰＡで示されるＰＡ画像も示し、これは１７．ＡＰのおおよその鏡像である（図中、画像１７．ＡＰは正面から示され、画像１７．ＰＡは背面から示されていることに留意すべきである）。画像１７．ＰＡは、その焦点が場所１７．ＦＰ．ＰＡにある場合にＣアームによって生成される。３Ｄシーンでは、ＰＡ構成は、大腿骨骨幹部の軸および大腿骨頭の中心によって定義される平面に対するミラーリングによって、ＡＰ構成から得られる。ＡＰおよびＰＡの両方の画像が、大腿骨頭（ＦＨ）の同じ３Ｄ再構成をもたらすであろうことがわかる。
【0091】
説明は、釘インプラントが、像面から固定距離に保たれる場合、ＡＰまたはミラーリングされたＰＡのいずれの方向からも非常に似ていることである。さらに、近位大腿骨は、一定の対称性を有する。例えば、鏡像が受け取られると、現在のＣアームの向きが保たれる場合は、反対側（例えば、左の代わりに右）が処置されていると結論付けられる。しかしながら、両方の骨（すなわち、左および右）の投影された２Ｄ輪郭線はかなり似ている。図１８は、この記述を説明する。これは、左大腿骨の典型的なＡＰ撮像シナリオを示す。これは、同じ撮像深度の右大腿骨も示す。左および右の両方の骨について、２Ｄ投影面（１８．ＰＲＯＪとする）内の釘インプラントの輪郭線は、本質的に同一となる。さらに、平面１８．ＰＲＯＪ内の破線と実線とを比較することによってわかるように、２Ｄ投影面内の２Ｄ骨輪郭線は、わずかしか異ならない。
【0092】
典型的なＭＬ画像では、釘は、照準装置よりも低い像面までの距離を有するため、さらなるミラーリングでＭＬからＬＭに切り替える場合、これらの想定はもはや成り立たない。図１９は、ＭＬ画像（太い実線）および対応するミラーリングされたＬＭ画像（太い破線）の、投影面（１９．ＰＲＯＪとする）内の照準装置および釘の輪郭線を示す。これらの輪郭線は著しく異なることがわかる。図１９は、投影面１９．ＰＲＯＪ内のＭＬ視（細い実線）およびミラーリングされたＬＭ視（細い破線）の大腿骨の輪郭線も示す。Ｘ線レシーバの視野（１９．ＸＲＡＹで示される矩形）内では、骨の輪郭線はほとんど同一である。しかしながら、照準装置および釘の輪郭線は、矩形１９．ＸＲＡＹ内で十分に異なり、その結果、ＭＬ画像とミラーリングされたＬＭ画像を区別することが容易に可能である。
【0093】
異なる手法に基づいて撮像方向を決定することができる利益
前に述べたように、本発明、および２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用することは、異なる情報を利用する独立した手法に基づく撮像方向の決定を可能とする。これは、（ｉ）異なる手法によって得られた結果を交差検証し、かつ／または（ｉｉ）異なる手法によって得られた結果を適切に融合することによって撮像方向の計算の精度を高めるのに使用され得る。以下では、この手法の利益を示す例が示される。
前に述べたように、本発明、および２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用することは、異なる情報を利用する独立した手法に基づく撮像方向の決定を可能とする。これは、（ｉ）異なる手法によって得られた結果を交差検証し、かつ／または（ｉｉ）異なる手法によって得られた結果を適切に融合することによって撮像方向の計算の精度を高めるのに使用され得る。以下では、この手法の利益を示す例が示される。
【0094】
例１：一連のＸ線像の処理で生じる得る重要な問題は、Ｘ線像にも示されるある物体の別の物体に対する移動、例えば、釘の解剖学的構造に対する移動があったかどうかである。移動があった場合、それを計算する必要があり得る。複雑化する因子は、物体がＸ線投影像中で移動する場合、これはＣアーム撮像装置の移動のみによるものであり得ることである。本発明は、Ｃアーム撮像装置の移動と物体の移動を区別することを可能とする。以下では、患者に対する釘の移動をどのように検出することができるかが説明される。本発明は、釘の位置および向きとともに、（例えば、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用して）解剖学的構造への観察方向を決定することによって、この問題に対処する。ゆえに、Ｃアームが釘をどの角度で見るか、および解剖学的構造をどの角度で見るかを決定することが可能である。ＡＰ方向で撮影された２つの後続のＸ線像に基づいて、画像間で（わずかな）Ｃアームの回転があったとしても、釘がその軸の周りに回転したかどうかを検出することが可能である。釘の侵入深さを調整する時に不注意で回転させる場合もあることは、外科手技で起こり得るため、そのような検出は重要である。
【0095】
例２：既存のシステムは、３Ｄ登録を試みる場合、ＡＰおよびＭＬ視間を切り替える時に解剖学的構造に対するインプラントの移動がないことを要求する。この要求を無視することは、誤った３Ｄ登録をもたらし得る。この例は、可能な処理ワークフローの例に言及する。この処理ワークフローでは、２つの観察方向間の３Ｄ角度は、２つの手法に基づいて計算され（ステップ３、１２、および１３を参照）、１つは解剖学的構造に基づき（２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用する）、１つは参照としてインプラントアセンブリを利用する。両方の計算が、正しいと見なされる（そのような決定は、観察方向、解剖学的構造の視認性、画像品質などに基づいて行われ得る）が、閾値を超えて異なる場合、システムは、２つの画像の取得の間に、解剖学的構造に対する釘の移動があったと結論付け、したがって、ユーザに知らせるであろう。移動を自動的に補正することも可能であり得る（例１を参照）。
【0096】
３Ｄ登録手順が成功すると、位置特定および３Ｄ再構成により高い正確度をもたらし得る。例えば、これは、単一の画像のみを処理する場合に存在し得る曖昧さを解消するのに役立ち得る。
【0097】
遠位ロッキング手技の可能な処理ワークフローの例
図２０のフローチャートは、開示される発明の実施形態に従って行われるステップの原理を説明する。説明されるステップは主要なステップであり、これらの主要なステップは、いくつかのサブステップに区別または分割される場合があることが理解されるであろう。さらに、これらの主要なステップの間にサブステップがある場合もある。方法全体のほんの一部が発明を構築し得、すなわち、ステップは省略され得ることも理解されるであろう。
図２０のフローチャートは、開示される発明の実施形態に従って行われるステップの原理を説明する。説明されるステップは主要なステップであり、これらの主要なステップは、いくつかのサブステップに区別または分割される場合があることが理解されるであろう。さらに、これらの主要なステップの間にサブステップがある場合もある。方法全体のほんの一部が発明を構築し得、すなわち、ステップは省略され得ることも理解されるであろう。
【0098】
このワークフローは、外側からのロッキング手技を含む、長い順行性大腿骨釘に言及する。同様の手順が、逆行性釘、脛骨、または上腕骨、および／または他の側、例えば前側からのロッキングに採用され得る。
【0099】
１．長い照準装置を組み立て、取り付ける必要がある。ロッキングスリーブアセンブリを挿入する。
２．遠位大腿骨の外側Ｘ線像を取得する。技術水準では、このステップは特定の観察角度を必要とする。本発明は、長い照準装置がＸ線で見える限り、特定の撮像方向を必要としない。
３．長い照準装置を位置特定する。Ｃアームが適切に位置付けられていない（例えば、スリーブが十分に見えない）場合、装置は、（システムは、スリーブが長い照準装置に対してどこに位置特定されるか知っているため）必要な調整を計算し、この調整（Ｃアームの回転および平行移動）をどのように達成するかについての適切な指示を与え得る。
４．装置は、（切片定理を考慮して）Ｘ線投影像中で曲がっていない釘が予想される位置および輪郭線を決定する。
５．釘のモデルの仮想投影をＸ線像中の釘の外観にマッチングさせることによって、釘の実際の位置を決定する。このマッチングは、以下を考慮し得る：
ａ．Ｘ線投影像中の曲がっていない釘の予想される位置および輪郭線
ｂ．釘の物体特性、具体的には、ＡＰおよびＭＬ方向の可能な曲がり、釘の太さおよび材料、釘と照準装置と間の接続のぐらつき。例えば、太い釘は曲がりが少ない場合があり、ねじれを無視できる場合がある。
ｃ．画像特性、ならびにＸ線の減衰、吸収、および偏向。
これは、釘の遠位部と長い照準装置との間の相対３Ｄ位置の計算を可能とする。
６．標的とされた（円筒形の形状を有し得る）釘のホールの軸の３Ｄ位置を、（長い照準装置およびスリーブの位置によって決定される）スリーブの軸に対して決定する。装置は、スリーブの軸と釘の軸との距離を決定する。長い照準装置の種類およびどのホールが標的とされるか（これは先験的に知られていてよい）に応じて、システムは、この距離を補償するために、長い照準装置がどのように調整される必要があるかを計算する。
７．長い照準装置を調整する。
８．ホールとスリーブの軸との間の距離が十分に小さくなるまで、ステップ２～７を繰り返す。
９．外科医はこれで遠位ロッキングを進めることができる。
２．遠位大腿骨の外側Ｘ線像を取得する。技術水準では、このステップは特定の観察角度を必要とする。本発明は、長い照準装置がＸ線で見える限り、特定の撮像方向を必要としない。
３．長い照準装置を位置特定する。Ｃアームが適切に位置付けられていない（例えば、スリーブが十分に見えない）場合、装置は、（システムは、スリーブが長い照準装置に対してどこに位置特定されるか知っているため）必要な調整を計算し、この調整（Ｃアームの回転および平行移動）をどのように達成するかについての適切な指示を与え得る。
４．装置は、（切片定理を考慮して）Ｘ線投影像中で曲がっていない釘が予想される位置および輪郭線を決定する。
５．釘のモデルの仮想投影をＸ線像中の釘の外観にマッチングさせることによって、釘の実際の位置を決定する。このマッチングは、以下を考慮し得る：
ａ．Ｘ線投影像中の曲がっていない釘の予想される位置および輪郭線
ｂ．釘の物体特性、具体的には、ＡＰおよびＭＬ方向の可能な曲がり、釘の太さおよび材料、釘と照準装置と間の接続のぐらつき。例えば、太い釘は曲がりが少ない場合があり、ねじれを無視できる場合がある。
ｃ．画像特性、ならびにＸ線の減衰、吸収、および偏向。
これは、釘の遠位部と長い照準装置との間の相対３Ｄ位置の計算を可能とする。
６．標的とされた（円筒形の形状を有し得る）釘のホールの軸の３Ｄ位置を、（長い照準装置およびスリーブの位置によって決定される）スリーブの軸に対して決定する。装置は、スリーブの軸と釘の軸との距離を決定する。長い照準装置の種類およびどのホールが標的とされるか（これは先験的に知られていてよい）に応じて、システムは、この距離を補償するために、長い照準装置がどのように調整される必要があるかを計算する。
７．長い照準装置を調整する。
８．ホールとスリーブの軸との間の距離が十分に小さくなるまで、ステップ２～７を繰り返す。
９．外科医はこれで遠位ロッキングを進めることができる。
【0100】
画像検出器から焦点までの距離は、実際には利用できない場合がある。標的とされたホールが画像の中央に十分に近いこと（これは適切なＣアームの位置付けの指示を与えることによって確保され得る）を条件として、照準装置の撮像深度のみが推定されるという事実によって導入される誤差は十分に小さいことが、以下の例に示される。
【0101】
以下の例では、長い照準装置は、釘から（焦点に向かって）１８０ｍｍの距離に位置する。ゆえに、遠位ＭＬ画像では、長い照準装置および釘は、像面からの距離が異なる。長い照準装置および釘の相対的な場所は既知であるため、釘の輪郭を像面上に正しく投影することができる。
【0102】
焦点が、例えば、１０００ｍｍの代わりに１１００ｍｍと誤って推定された場合（これは最悪のシナリオである）、誤差は、画像の中央近くの点では小さい。これは、図２１に示され、図中、正しい焦点は２１．ＦＰ．Ｃで示され、誤った焦点は２１．ＦＰ．ＩＣで示される。２Ｄ投影像中の対応する釘の輪郭線は、誤った場合では実線であり、これは、正しい場合の破線とほとんど区別がつかず、対応する釘のホールは、２１．ＮＨ．Ｃ（「×」で示される正しい釘のホール）および２１．ＮＨ．ＩＣ（丸で示される誤った釘のホール）で示される。所与の群について、釘のホールは、２２０ｍｍの高さを有し、その２Ｄ投影は、画像の中央から１５ｍｍの距離を有する。誤った釘のホールの場所は、正しい釘のホールから０．６５ｍｍだけずれ、これは、遠位ロッキングの目的では無視できる。
【0103】
Ｘ線源およびレシーバの位置の交換は、これは「Ｘ線源およびレシーバの位置の交換の取り扱い」の節で論じられたように対処することができるため、問題にならないことにも留意する。焦点および像面がそれらの位置を交換するようにＣアームが１８０度回転した場合、長い照準装置は、釘インプラントよりも低い像面までの距離を有することになる。図２２が示すように、回転したＣアームでの釘の輪郭線（破線で示す）は、回転していないＣアームでの釘の輪郭線（実線で示す）から極端にずれることになる。ゆえに、Ｘ線源およびレシーバの位置の交換の影響は、検出が容易である。
【0104】
遠位ロッキングはまた、フリーハンドで、すなわち、長い照準装置の支援なしで行われてもよい。以下の例示的方法では、それらの軸が前頭面内に存在してもしなくてもよい複数のロッキングホールを釘が有することが想定される。長骨への釘の挿入後、釘、例えば大腿骨用の釘は、まず、挿入端で骨内に固定される。他方の端部での釘の固定またはロッキングは、たいてい、撮像システムのＣアームをその端部に移動させることを必要とする。
【0105】
上記のように、本発明は、Ｘ線像に基づいて物体およびその幾何学的特徴を決定することができるシステムを提供し、そのような物体は、骨またはインプラントであり得るが、メス、照準装置、またはドリルのような器具でもあり得る。
【0106】
１．一般に、皮膚の切開は、例えば、メスを用いて行われることになり、続いて骨にドリルで孔をあける。ロッキングスクリューは、孔が釘の貫通孔と位置合わせされている場合、適切に挿入され得る。切開に適した位置、ならびにドリルの位置および向きは、Ｘ線像データを処理することによって決定および計算された情報に基づいて見出され得る。基本的には、斜め側方画像に基づいて、メスまたはドリルのような物体の必要な位置および向きを決定することが可能である。このために、システムは、最初に取得されたＡＰ（前後）画像からのさらなる情報を利用し得る。
【0107】
２．外科医は、Ｃアームを遠位ＡＰ位置に移動させてよく、Ｘ線像を取得してよい。Ｃアームの向きが、システムガイダンスに不十分な場合、システムは、Ｃアームの向きをどのように調整するかを外科医に指示し得る。これは、インプラントまたは解剖学的構造への（例えば、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用して、Ｘ線像に基づいて決定され得る）観察方向に基づいて達成され得る。
【0108】
３．システムは、ＡＰ画像中で、釘および遠位ロッキングホールを検出し得、釘の軸に垂直な、釘の軸から骨の外側面までの距離を測定し得るか、またはホールの少なくとも１つから骨の外側面までの距離を測定し得る。システムは、ホールの少なくとも１つから皮膚表面までの距離も測定し得る。システムはまた、外科医が各ホールの位置で皮膚にマーキングを適用するのを支援し得る。後のステップに必要な（例えば、バイコルチカル）ロッキングスクリューの長さを決定するために、システムは、したがって、釘の軸と骨の内側面との間の距離も測定し得る。そのような測定された距離は、後続の側方画像（真のＭＬ画像および／または斜め側方画像）を処理する時に、先験的情報として使用され得る。
【0109】
４．代わりにまたは追加で、ロッキングスクリューの挿入軸の決定により、さらなる改善が達成され得る。
【0110】
外科医は、Ｃアームを真の遠位ＭＬ位置に移動させてよく、Ｘ線像を取得してよい。例えば、Ｃアームは、遠位ロッキングホールが、取得されたＸ線投影像中で真円に見える場合、真の側方位置にあり得る。必要に応じて、システムは、任意の必要なＣアーム調整について的確な指示を提供することによって、外科医を支援してよい。したがって、必要なＣアームの位置および向きは、より効率的に、より少ない反復回数で達成され得る。
【0111】
５．追加でまたは代わりに、システムは、骨の統計的３Ｄモデルをマッチングさせ得、したがって骨の３Ｄ位置に対する釘の３Ｄ位置を決定し得、したがって３Ｄでの必要なロッキングスクリューの長さの決定を可能とする。
【0112】
また、真のＭＬ画像から取得された情報は、後続の斜め側方画像を処理する時に、先験的情報として使用され得る。
【0113】
６．システムは、外科医が遠位ロッキングスクリューの挿入のための最初の切開を行うのを支援する。メスが想定された切開場所に配置されるとすぐに、Ｘ線像が取得され（真のまたは斜め側方）、次いで、システムは、、適切な侵入地点でロッキングスクリューの挿入を開始するために、メスの位置および向きをどのように調整するかを外科医に指示する。次いで、外科医は切開する。
【0114】
代替手順は、以下に記載され、その軸が前頭面内に存在するホールとその軸が前頭面内に存在しないホールを区別する。ホールの軸が前頭面内に存在する場合、システムは、外科医が、中心Ｘ線ビームが前頭面に平行になるようにＣアームを移動させるのを支援する。より一般的な場合（ホールの軸が前頭面内に存在しない場合）では、システムは、外科医が、ホールの２Ｄ投影が、釘の軸に垂直な方向に最大直径を有するようにＣアームを移動させるのを支援する。
【0115】
これは、インプラントまたは解剖学的構造への（例えば、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用して、Ｘ線像に基づいて決定され得る）観察方向に基づいて達成され得る。各ロッキングホールについて、外科医は、メスが上記ステップ３で適用されたマーキング上に存在し、同時にＸ線投影で釘の軸と一致するように切開する。
【0116】
７．側方位置のＣアームで、外科医は、ドリル（スリーブありまたはスリーブなし）を、取得されたＸ線像中のドリルの先端が、ロッキングホールの中心軸上、すなわち、軸に沿って見た時に遠位ロッキングホールの中心に位置するように位置付ける。システムは、ドリルの先端およびロッキングホールを検出し得、それらの相対位置を計算し得、必要に応じて、ドリルの再配置についてのガイダンスを提供し得る。位置を検証するためのさらなるＸ線像が取得され得る。
【0117】
８．ドリルの先端の位置を変化させることなく、外科医は、ドリルの向きを調整する。例えば、ドリルの軸は、真の側方Ｘ線撮像方向におおよそ平行であり得る。斜め側方位置のＣアームで、システムは、（ドリル先端が骨表面に位置付けられている時の）ロッキングホールまでのドリル先端の距離の情報、およびドリルの先端が正しいロッキング軌道上に存在するという情報を利用することによって、孔あけ方向を検証し得る。
【0118】
９．システムは、ドリル（ドリルスリーブ）の位置および向きをより正確に計算するために、早期の画像からの情報を使用し得る。例えば、第１の画像は、機器の先端が骨の上にある時に取得されてよく、システムは、骨の外側面と釘の軸との間の距離の情報を使用して、機器とインプラントとの相対位置および相対向きを計算する。第２の画像は、骨への孔あけ中に取得されてよく、システムは、骨表面とインプラントとの間の距離を利用する代わりに、（軌道のような）前の画像の相対位置および相対向きの情報を使用し得る。
【0119】
整復の支援および評価
十分に正しい骨折の整復は、任意の骨接合術の満足な臨床転帰に必須である。典型的には、整復が正しく行われた場合にのみ、骨折は満足のいくように治癒する。特に、長骨の整復は、特に正しい前捻角に関して、手術中に評価するのがしばしば困難である。誤った前捻角は、しばしば、手術の終了後、患者が再び立ち上がることができる場合にのみ気付かれる。この段階で、誤った前捻角は、骨折自体が適切に治癒したとしても、患者に大きな不快感をもたらす。実際、誤った前捻角は、再置換手術の主な原因の１つである。したがって、十分に正しい前捻角は、特に大腿骨および脛骨の骨接合の、満足な臨床転帰に必須である。
十分に正しい骨折の整復は、任意の骨接合術の満足な臨床転帰に必須である。典型的には、整復が正しく行われた場合にのみ、骨折は満足のいくように治癒する。特に、長骨の整復は、特に正しい前捻角に関して、手術中に評価するのがしばしば困難である。誤った前捻角は、しばしば、手術の終了後、患者が再び立ち上がることができる場合にのみ気付かれる。この段階で、誤った前捻角は、骨折自体が適切に治癒したとしても、患者に大きな不快感をもたらす。実際、誤った前捻角は、再置換手術の主な原因の１つである。したがって、十分に正しい前捻角は、特に大腿骨および脛骨の骨接合の、満足な臨床転帰に必須である。
【0120】
先行技術は、前捻角を決定するための異なる手法を提唱する。大腿骨およびセファロメデュラリーネイル（ｃｅｐｈａｌｏｍｅｄｕｌｌａｒｙ ｎａｉｌ）の場合、１つの手法は、膝が上向きに手術室の天井を指しているかを手動で決定し、釘の軸および大腿骨頭の中心と交差するべきスクリューが、手術室の床と約１０度の角度をなすかを主観的に判断することである。別の手法は、Ｂｌａｕら（特許出願ＵＳ ２０１５／０２６５３６１ Ａ１）によって提唱され、金属マーカを有する２つの参照体（１つは大腿骨の遠位領域にあり、１つは大腿骨の近位領域にある）、ならびに２つの近位Ｘ線像および１つの遠位Ｘ線像（すべて各参照体を示す）が使用される。
【0121】
以下では、骨片が解剖学的に整復されているかを評価するための異なる方法が論じられる。これらの技術は、３Ｄ位置または３Ｄ向きの決定を必要としないことに留意する。
【0122】
Ａ．
１つの方法は、Ｘ線像で見えるとおりの骨片の厚さおよび皮質の厚さを測定することである。これは、図２３に示される折れた大腿骨骨幹部の例で説明される。この図では、大腿骨の近位部は２３．ＰＦで示され、遠位部は２３．ＤＦで示される。Ｘ線像では、近位大腿骨は、骨折線に隣接した幅２３．ＰＷを有するように見え、遠位部は、骨折線に隣接した幅２３．ＤＷを有するように見える。これら２つの幅が異なる場合、骨片が互いに対して回転していると結論付けられ得る。さらに、骨折線に隣接した近位骨片内側皮質の厚さ（２３．ＰＣＭとする）は、骨折線に隣接した遠位骨片内側皮質の厚さ（２３．ＤＣＭとする）に十分に近くなければならない。類似して骨折線に隣接した近位骨片外側皮質の厚さ（２３．ＰＣＬとする）は、骨折線に隣接した遠位骨片外側皮質の厚さ（２３．ＤＣＬとする）に十分に近くなければならない。
１つの方法は、Ｘ線像で見えるとおりの骨片の厚さおよび皮質の厚さを測定することである。これは、図２３に示される折れた大腿骨骨幹部の例で説明される。この図では、大腿骨の近位部は２３．ＰＦで示され、遠位部は２３．ＤＦで示される。Ｘ線像では、近位大腿骨は、骨折線に隣接した幅２３．ＰＷを有するように見え、遠位部は、骨折線に隣接した幅２３．ＤＷを有するように見える。これら２つの幅が異なる場合、骨片が互いに対して回転していると結論付けられ得る。さらに、骨折線に隣接した近位骨片内側皮質の厚さ（２３．ＰＣＭとする）は、骨折線に隣接した遠位骨片内側皮質の厚さ（２３．ＤＣＭとする）に十分に近くなければならない。類似して骨折線に隣接した近位骨片外側皮質の厚さ（２３．ＰＣＬとする）は、骨折線に隣接した遠位骨片外側皮質の厚さ（２３．ＤＣＬとする）に十分に近くなければならない。
【0123】
これらすべての条件が、骨折の正しい整復のために同時に満たされなければならない。これらの条件の少なくとも１つが破られる場合、これは通常、長骨の骨幹部が典型的には完全な円形でないため、骨幹部の軸の周りの回転によって引き起こされる。（骨幹部に垂直な）骨の断面の円形からずれが大きくなればなるほど、この方法は、骨幹部の軸の周りのわずかな回転に敏感になる。
【0124】
この方法は、手動または自動で行われ得る。したがって、すべての測定が互いに対するものであり、同様の撮像深度で行われるため、画像を較正する必要がない。ニューラルネットは、正しい整復のための上記条件が満たされるかどうかを決定し得る。
【0125】
Ｂ．
さらに、骨折線は典型的には、直線ではなく、骨幹部の軸に垂直ではない。ゆえに、骨折が粉砕骨折ではない場合、近位骨折線の形状が遠位骨折線の形状に一致しなければならないため、骨折線の形状の評価は、正しい整復についての重要な情報を供給し得る。この骨折線は、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用して決定され得る。ニューラルネットは、正しい整復のための上記条件が満たされるかどうかを決定し得る。
さらに、骨折線は典型的には、直線ではなく、骨幹部の軸に垂直ではない。ゆえに、骨折が粉砕骨折ではない場合、近位骨折線の形状が遠位骨折線の形状に一致しなければならないため、骨折線の形状の評価は、正しい整復についての重要な情報を供給し得る。この骨折線は、２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を使用して決定され得る。ニューラルネットは、正しい整復のための上記条件が満たされるかどうかを決定し得る。
【0126】
Ｃ．
整復が解剖学的に正しいかどうかを評価するための別の可能性は、骨片の他の典型的な目印の視認性である。折れた大腿骨骨幹部の例では、小転子は、大腿骨の近位骨片の回転の位置合わせを評価するのに特に適した目印である。これは、ＡＰ画像での小転子の視認性の程度に基づくものであり得るが、これは骨が骨幹部の軸の周りに回転すると、小転子が見えなくなるためである。遠位骨片については、真のＡＰ画像において、膝蓋骨が顆部間の中心にあることになる。
整復が解剖学的に正しいかどうかを評価するための別の可能性は、骨片の他の典型的な目印の視認性である。折れた大腿骨骨幹部の例では、小転子は、大腿骨の近位骨片の回転の位置合わせを評価するのに特に適した目印である。これは、ＡＰ画像での小転子の視認性の程度に基づくものであり得るが、これは骨が骨幹部の軸の周りに回転すると、小転子が見えなくなるためである。遠位骨片については、真のＡＰ画像において、膝蓋骨が顆部間の中心にあることになる。
【0127】
ＡＰ撮像方向では、Ｃアームは、骨幹部の軸に平行に、遠位から近位の場所に、またはその逆に、Ｃアームを回転させることなく、容易に移動され得る。折れた大腿骨骨幹部の例では、膝の真のＡＰ画像の取得後、Ｃアームは股関節に移動され得る。次いで、近位大腿骨も、（例えば、小転子の視認性に基づいて）ＡＰ撮像方向の典型的な位置に見える場合、回転の位置合わせ、したがって大腿骨骨幹部骨折の解剖学的整復が、正しく達成されていると結論付けられ得る。
【0128】
方法の組み合わせ
上記段落Ａ～Ｃに記載された方法を組み合わせることによって、整復は、より良好に評価され得る。アルゴリズムは、これらの異なる方法から得られた情報を融合し得、整復の質の全体的な評価を提供し得る。これは、異なる方法の重み付けを含み得、異なる重み付けスキームが可能である。例えば、１つの方法が常に他の方法よりも高く重み付けされ得、例えば、方法Ａは方法Ｃよりも高く重み付けされ得、これは、Ｃは平均的な解剖学的構造の典型的な外観に基づき、Ａは患者に固有であるためである。重み付けはまた、各方法の結果に対してシステムによって計算され得る信頼値に基づくものであり得る。そのような重み付けは、画像品質（低品質は、より低い信頼値を意味する）、または骨折の種類（あまり明瞭ではない骨折線は、より低い信頼値を意味する）に基づくものであり得る。
上記段落Ａ～Ｃに記載された方法を組み合わせることによって、整復は、より良好に評価され得る。アルゴリズムは、これらの異なる方法から得られた情報を融合し得、整復の質の全体的な評価を提供し得る。これは、異なる方法の重み付けを含み得、異なる重み付けスキームが可能である。例えば、１つの方法が常に他の方法よりも高く重み付けされ得、例えば、方法Ａは方法Ｃよりも高く重み付けされ得、これは、Ｃは平均的な解剖学的構造の典型的な外観に基づき、Ａは患者に固有であるためである。重み付けはまた、各方法の結果に対してシステムによって計算され得る信頼値に基づくものであり得る。そのような重み付けは、画像品質（低品質は、より低い信頼値を意味する）、または骨折の種類（あまり明瞭ではない骨折線は、より低い信頼値を意味する）に基づくものであり得る。
【0129】
前の段落に記載されたような情報の融合は、正しく整復された骨折および正しく整復されていない骨折の、十分に大きいサンプルサイズで訓練されたニューラルネットによって行われ得る。適切な訓練の後、このＤＮＮは、整復が正しいかまたは誤っているかを分類することが可能であり得、ユーザにその情報を提供し得る。
【0130】
以下では、本発明に関する例示的実施形態が記載される。
【0131】
１．
Ｘ線投影像中の物体の、座標系に対する３Ｄ表現および位置特定を決定するためのシステムであって、
－Ｘ線投影像を受け取ること、
－Ｘ線投影像中の物体を分類すること、
－分類された物体のモデルを受け取ること、
－分類された物体の３Ｄ表現を決定すること、および
－Ｘ線像中の分類された物体にマッチングするようにモデルを適用することによって、分類された物体を座標系に対して位置特定すること
をシステムに行わせる命令のセットを含むコンピュータプログラム製品を実行するように構成された処理ユニットを備える、
システム。
Ｘ線投影像中の物体の、座標系に対する３Ｄ表現および位置特定を決定するためのシステムであって、
－Ｘ線投影像を受け取ること、
－Ｘ線投影像中の物体を分類すること、
－分類された物体のモデルを受け取ること、
－分類された物体の３Ｄ表現を決定すること、および
－Ｘ線像中の分類された物体にマッチングするようにモデルを適用することによって、分類された物体を座標系に対して位置特定すること
をシステムに行わせる命令のセットを含むコンピュータプログラム製品を実行するように構成された処理ユニットを備える、
システム。
【0132】
２．
Ｘ線投影像中の第１の物体の、第２の物体に対する３Ｄ表現および位置特定を決定するためのシステムであって、
Ｘ線投影像を受け取ること、
Ｘ線投影像中の第１の物体を分類すること、
第１の物体の第１のモデルを受け取ること、
Ｘ線像中の第１の物体にマッチングするように第１のモデルを適用することによって、第１の物体の少なくとも部分的な表現、および第１の物体の位置特定を決定すること、
Ｘ線投影像中の第２の物体を分類すること、
第２の物体の第２のモデルを受け取ること、
Ｘ線投影像中の第２の物体にマッチングするように第２のモデルを適用することによって、第２の物体の少なくとも部分的な表現、および第２の物体の位置特定を決定すること、ならびに
分類された物体の空間的関係を決定すること
をシステムに行わせる命令のセットを含むコンピュータプログラム製品を実行するように構成された処理ユニットを備える、
システム。
Ｘ線投影像中の第１の物体の、第２の物体に対する３Ｄ表現および位置特定を決定するためのシステムであって、
Ｘ線投影像を受け取ること、
Ｘ線投影像中の第１の物体を分類すること、
第１の物体の第１のモデルを受け取ること、
Ｘ線像中の第１の物体にマッチングするように第１のモデルを適用することによって、第１の物体の少なくとも部分的な表現、および第１の物体の位置特定を決定すること、
Ｘ線投影像中の第２の物体を分類すること、
第２の物体の第２のモデルを受け取ること、
Ｘ線投影像中の第２の物体にマッチングするように第２のモデルを適用することによって、第２の物体の少なくとも部分的な表現、および第２の物体の位置特定を決定すること、ならびに
分類された物体の空間的関係を決定すること
をシステムに行わせる命令のセットを含むコンピュータプログラム製品を実行するように構成された処理ユニットを備える、
システム。
【0133】
以下では、「モデル」に言及する場合、例１の１つのモデル、または例２の第１および第２モデルの１つを指す。同じことが「物体」にも当てはまる。
【0134】
３．
モデルと分類された物体とのマッチングは、Ｘ線投影像の画像特性を考慮し、画像特性は、少なくとも１つの撮像パラメータに依存し、ピンクッション効果、曲率、ノイズ、歪み、およびＸ線撮像生成方法からなる群からの少なくとも１つを含む、例１または例２に記載のシステム。
モデルと分類された物体とのマッチングは、Ｘ線投影像の画像特性を考慮し、画像特性は、少なくとも１つの撮像パラメータに依存し、ピンクッション効果、曲率、ノイズ、歪み、およびＸ線撮像生成方法からなる群からの少なくとも１つを含む、例１または例２に記載のシステム。
【0135】
４．
モデルと分類された物体とのマッチングは、Ｘ線の減衰、吸収、および偏向の群からの少なくとも１つの影響を考慮する、例１～３のいずれか１つに記載のシステム。
モデルと分類された物体とのマッチングは、Ｘ線の減衰、吸収、および偏向の群からの少なくとも１つの影響を考慮する、例１～３のいずれか１つに記載のシステム。
【0136】
５．
分類された物体の輪郭線の少なくとも一部は、Ｘ線投影像中で検出される、例１～４のいずれか１つに記載のシステム。
分類された物体の輪郭線の少なくとも一部は、Ｘ線投影像中で検出される、例１～４のいずれか１つに記載のシステム。
【0137】
６．
システムに、さらなる物体の位置特定をさらに行わせ、その物体は、Ｘ線像で見えないかまたは部分的にしか見えない場合さえある、例１～５のいずれか１つに記載のシステム。
システムに、さらなる物体の位置特定をさらに行わせ、その物体は、Ｘ線像で見えないかまたは部分的にしか見えない場合さえある、例１～５のいずれか１つに記載のシステム。
【0138】
７．
コンピュータプログラムは、幾何学的特徴をモデルから物体に移すことをシステムに行わせる命令のセットをさらに含む、例１～６のいずれか１つに記載のシステム。
コンピュータプログラムは、幾何学的特徴をモデルから物体に移すことをシステムに行わせる命令のセットをさらに含む、例１～６のいずれか１つに記載のシステム。
【0139】
８．
コンピュータプログラムは、システムに、Ｘ線投影像をそれらの幾何学的特徴とともに表示させる命令のセットをさらに含む、例７に記載のシステム。
コンピュータプログラムは、システムに、Ｘ線投影像をそれらの幾何学的特徴とともに表示させる命令のセットをさらに含む、例７に記載のシステム。
【0140】
９．
幾何学的特徴は大きさを含み、大きさは、Ｘ線投影像中の寸法を測定するのに適したスケールを定義する、例７に記載のシステム。
幾何学的特徴は大きさを含み、大きさは、Ｘ線投影像中の寸法を測定するのに適したスケールを定義する、例７に記載のシステム。
【0141】
１０．
撮像特性の少なくとも１つは、較正用の既知の形状の物体を使用することによって、撮像方向の自動検出によって、データベースからの情報に基づいて、決定される、例３～９のいずれか１つに記載のシステム。
撮像特性の少なくとも１つは、較正用の既知の形状の物体を使用することによって、撮像方向の自動検出によって、データベースからの情報に基づいて、決定される、例３～９のいずれか１つに記載のシステム。
【0142】
１１．
Ｘ線投影像中の物体を分類するステップ、Ｘ線投影像中の分類された物体の輪郭線を検出するステップ、分類された物体の３Ｄ表現を決定するステップ、分類された物体を位置特定するステップ、画像特性を決定するステップ、物体特性を決定するステップ、Ｘ線の減衰、吸収、偏向を決定するステップの少なくとも１つは、ユーザ入力によって支援される、例５～１０いずれか１つに記載のシステム。
Ｘ線投影像中の物体を分類するステップ、Ｘ線投影像中の分類された物体の輪郭線を検出するステップ、分類された物体の３Ｄ表現を決定するステップ、分類された物体を位置特定するステップ、画像特性を決定するステップ、物体特性を決定するステップ、Ｘ線の減衰、吸収、偏向を決定するステップの少なくとも１つは、ユーザ入力によって支援される、例５～１０いずれか１つに記載のシステム。
【0143】
１２．
Ｘ線投影像中の物体を分類するステップ、Ｘ線投影像中の分類された物体の輪郭線を検出するステップ、分類された物体の３Ｄ表現を決定するステップ、分類された物体を位置特定するステップ、画像特性を決定するステップ、物体特性を決定するステップ、Ｘ線の減衰、吸収、偏向を決定するステップの少なくとも１つは、自動的に行われる、例５～１１いずれか１つに記載のシステム。
Ｘ線投影像中の物体を分類するステップ、Ｘ線投影像中の分類された物体の輪郭線を検出するステップ、分類された物体の３Ｄ表現を決定するステップ、分類された物体を位置特定するステップ、画像特性を決定するステップ、物体特性を決定するステップ、Ｘ線の減衰、吸収、偏向を決定するステップの少なくとも１つは、自動的に行われる、例５～１１いずれか１つに記載のシステム。
【0144】
１３．
Ｘ線投影像中の物体を分類するステップ、Ｘ線投影像中の分類された物体の輪郭線を検出するステップ、分類された物体の３Ｄ表現を決定するステップ、分類された物体を位置特定するステップ、画像特性を決定するステップ、物体特性を決定するステップ、Ｘ線の減衰、吸収、偏向を決定するステップの少なくとも１つは、ニューラルネットによって行われる、例１２に記載のシステム。
Ｘ線投影像中の物体を分類するステップ、Ｘ線投影像中の分類された物体の輪郭線を検出するステップ、分類された物体の３Ｄ表現を決定するステップ、分類された物体を位置特定するステップ、画像特性を決定するステップ、物体特性を決定するステップ、Ｘ線の減衰、吸収、偏向を決定するステップの少なくとも１つは、ニューラルネットによって行われる、例１２に記載のシステム。
【0145】
１４．
Ｘ線投影像中の物体とモデルとのマッチングは、モデルの仮想投影の画像特性へのＸ線投影像の画像特性の適合、および／またはＸ線投影像の画像特性へのモデルの仮想投影の画像特性の適合を含む、例１～１３いずれか１つに記載のシステム。
Ｘ線投影像中の物体とモデルとのマッチングは、モデルの仮想投影の画像特性へのＸ線投影像の画像特性の適合、および／またはＸ線投影像の画像特性へのモデルの仮想投影の画像特性の適合を含む、例１～１３いずれか１つに記載のシステム。
【0146】
１５．
Ｘ線投影像中の物体のマッチングは、機械的インタフェースのぐらつき、インプラントおよび器具の材料および／または曲がり、骨折の群からの少なくとも１つを含む物体特性を考慮する、例１～１４いずれか１つに記載のシステム。
Ｘ線投影像中の物体のマッチングは、機械的インタフェースのぐらつき、インプラントおよび器具の材料および／または曲がり、骨折の群からの少なくとも１つを含む物体特性を考慮する、例１～１４いずれか１つに記載のシステム。
【0147】
１６．
モデルは、統計的形状または外観モデルである、例１～１５いずれか１つに記載のシステム。
モデルは、統計的形状または外観モデルである、例１～１５いずれか１つに記載のシステム。
【0148】
１７．
Ｘ線投影像の撮像方向は、物体の軸に対して傾いている、例１～１６いずれか１つに記載のシステム。
Ｘ線投影像の撮像方向は、物体の軸に対して傾いている、例１～１６いずれか１つに記載のシステム。
【0149】
１８．
コンピュータプログラムは、システムに、Ｘ線投影像の撮像方向を決定させる命令のセットをさらに含む、例１～１７のいずれか１つに記載のシステム。
コンピュータプログラムは、システムに、Ｘ線投影像の撮像方向を決定させる命令のセットをさらに含む、例１～１７のいずれか１つに記載のシステム。
【0150】
１９．
コンピュータプログラムは、座標系および／または別の物体に対する物体の標的位置特定を表す情報を受け取ること、ならびに分類された物体の決定された位置特定の、標的位置特定からのずれを決定することをシステムに行わせる命令のセットをさらに含む、例１～１８のいずれか１つに記載のシステム。
コンピュータプログラムは、座標系および／または別の物体に対する物体の標的位置特定を表す情報を受け取ること、ならびに分類された物体の決定された位置特定の、標的位置特定からのずれを決定することをシステムに行わせる命令のセットをさらに含む、例１～１８のいずれか１つに記載のシステム。
【0151】
２０．
コンピュータプログラムは、物体の少なくとも１つの幾何学的特徴を決定すること、ならびに座標系に対する、および／または別の物体の幾何学的特徴に対する、幾何学的特徴の関係を決定することをシステムに行わせる命令のセットをさらに含む、例１～１９のいずれか１つに記載のシステム。
コンピュータプログラムは、物体の少なくとも１つの幾何学的特徴を決定すること、ならびに座標系に対する、および／または別の物体の幾何学的特徴に対する、幾何学的特徴の関係を決定することをシステムに行わせる命令のセットをさらに含む、例１～１９のいずれか１つに記載のシステム。
【0152】
２１．
コンピュータプログラムは、同じ物体のさらなるＸ線投影像を受け取ること、ならびに第１のＸ線像に基づいて決定された空間的関係とさらなるＸ線像に基づいて決定された空間的関係との比較に基づいて、座標系および／または別の物体に対する物体の空間的関係の変化を決定することをシステムに行わせる命令のセットをさらに含む、例１～２０のいずれか１つに記載のシステム。
コンピュータプログラムは、同じ物体のさらなるＸ線投影像を受け取ること、ならびに第１のＸ線像に基づいて決定された空間的関係とさらなるＸ線像に基づいて決定された空間的関係との比較に基づいて、座標系および／または別の物体に対する物体の空間的関係の変化を決定することをシステムに行わせる命令のセットをさらに含む、例１～２０のいずれか１つに記載のシステム。
【0153】
２２．
コンピュータプログラムは、同じ物体の少なくとも１つの、撮像パラメータおよび／または撮像方向が互いに異なる、さらなるＸ線投影像を受け取ること、ならびに複数の投影像からの情報を組み合わせることによって、物体の３次元特徴を決定することをシステムに行わせる命令のセットをさらに含む、例１～２１のいずれか１つに記載のシステム。
コンピュータプログラムは、同じ物体の少なくとも１つの、撮像パラメータおよび／または撮像方向が互いに異なる、さらなるＸ線投影像を受け取ること、ならびに複数の投影像からの情報を組み合わせることによって、物体の３次元特徴を決定することをシステムに行わせる命令のセットをさらに含む、例１～２１のいずれか１つに記載のシステム。
【0154】
２３．
コンピュータプログラムは、同じ物体を異なる撮像方向から示す、少なくとも１つのさらなるＸ線投影像を受け取ることをシステムに行わせる命令のセットをさらに含み、物体の３Ｄ表現は、画像を登録するのに使用される、例１～２２のいずれか１つに記載のシステム。
コンピュータプログラムは、同じ物体を異なる撮像方向から示す、少なくとも１つのさらなるＸ線投影像を受け取ることをシステムに行わせる命令のセットをさらに含み、物体の３Ｄ表現は、画像を登録するのに使用される、例１～２２のいずれか１つに記載のシステム。
【0155】
２４．
画像の登録は、それらのＸ線像のすべてに少なくとも部分的に示された少なくとも１つのさらなる物体の、３Ｄ表現および位置特定を決定するのに使用される、例２３に記載のシステム。
画像の登録は、それらのＸ線像のすべてに少なくとも部分的に示された少なくとも１つのさらなる物体の、３Ｄ表現および位置特定を決定するのに使用される、例２３に記載のシステム。
【0156】
２５．
分類された物体のマッチングは、この物体の３Ｄ位置が、予想される３Ｄ位置に十分に近いという事実に基づく、例１～２４のいずれか１つに記載のシステム。
分類された物体のマッチングは、この物体の３Ｄ位置が、予想される３Ｄ位置に十分に近いという事実に基づく、例１～２４のいずれか１つに記載のシステム。
【0157】
２６．
分類された物体のマッチングは、この物体の３Ｄ向きが、予想される３Ｄ向きに十分に近いという事実に基づく、例１～２５のいずれか１つに記載のシステム。
分類された物体のマッチングは、この物体の３Ｄ向きが、予想される３Ｄ向きに十分に近いという事実に基づく、例１～２５のいずれか１つに記載のシステム。
【0158】
２７．
Ｘ線源およびＸ線レシーバの役割の交換は検出可能である、例１～２６のいずれか１つに記載のシステム。
Ｘ線源およびＸ線レシーバの役割の交換は検出可能である、例１～２６のいずれか１つに記載のシステム。
【0159】
２８．
撮像深度は、受け取られたＸ線像の少なくとも１つにおける、少なくとも１つの十分に大きい物体に基づいて決定される、例１～２７のいずれか１つに記載のシステム。
撮像深度は、受け取られたＸ線像の少なくとも１つにおける、少なくとも１つの十分に大きい物体に基づいて決定される、例１～２７のいずれか１つに記載のシステム。
【0160】
２９．
撮像深度は、既知の物体での事前の較正に基づいて決定される、例１～２８のいずれか１つに記載のシステム。
撮像深度は、既知の物体での事前の較正に基づいて決定される、例１～２８のいずれか１つに記載のシステム。
【0161】
３０．
Ｘ線投影像中の物体の、座標系に対する３Ｄ表現および位置特定を決定するための方法であって、
－Ｘ線投影像を受け取るステップ、
－Ｘ線投影像中の物体を分類するステップ、
－分類された物体のモデルを受け取るステップ、
－Ｘ線像中の分類された物体にマッチングするようにモデルを適用することによって、分類された物体の３Ｄ表現を決定し、分類された物体を座標系に対して位置特定するステップ
を備える、方法。
Ｘ線投影像中の物体の、座標系に対する３Ｄ表現および位置特定を決定するための方法であって、
－Ｘ線投影像を受け取るステップ、
－Ｘ線投影像中の物体を分類するステップ、
－分類された物体のモデルを受け取るステップ、
－Ｘ線像中の分類された物体にマッチングするようにモデルを適用することによって、分類された物体の３Ｄ表現を決定し、分類された物体を座標系に対して位置特定するステップ
を備える、方法。
【0162】
３１．
モデルと分類された物体とのマッチングは、Ｘ線投影像の画像特性を考慮し、画像特性は、少なくとも１つの撮像パラメータに依存し、ピンクッション効果、曲率、ノイズ、歪み、およびＸ線撮像生成方法からなる群からの少なくとも１つを含む、例３０に記載の方法。
モデルと分類された物体とのマッチングは、Ｘ線投影像の画像特性を考慮し、画像特性は、少なくとも１つの撮像パラメータに依存し、ピンクッション効果、曲率、ノイズ、歪み、およびＸ線撮像生成方法からなる群からの少なくとも１つを含む、例３０に記載の方法。
【0163】
３２．
モデルと分類された物体とのマッチングは、Ｘ線の減衰、吸収、および偏向の群からの少なくとも１つの影響を考慮する、例３０または例３１のいずれか１つに記載の方法。
モデルと分類された物体とのマッチングは、Ｘ線の減衰、吸収、および偏向の群からの少なくとも１つの影響を考慮する、例３０または例３１のいずれか１つに記載の方法。
【0164】
３３．
Ｘ線投影像中の分類された物体の輪郭線の少なくとも一部を検出するステップをさらに含む、例３０～３２のいずれか１つに記載の方法。
Ｘ線投影像中の分類された物体の輪郭線の少なくとも一部を検出するステップをさらに含む、例３０～３２のいずれか１つに記載の方法。
【0165】
３４．
Ｘ線像で見えないかまたは部分的にしか見えないさらなる物体を位置特定するステップをさらに含む、例３０～３３のいずれか１つに記載の方法。
Ｘ線像で見えないかまたは部分的にしか見えないさらなる物体を位置特定するステップをさらに含む、例３０～３３のいずれか１つに記載の方法。
【0166】
３５．
幾何学的特徴をモデルから物体に移すステップをさらに含む、例３０～３４のいずれか１つに記載の方法。
幾何学的特徴をモデルから物体に移すステップをさらに含む、例３０～３４のいずれか１つに記載の方法。
【0167】
３６．
Ｘ線投影像中の寸法を測定するために、幾何学的特徴に基づいてスケールを定義するステップをさらに含む、例３５に記載の方法。
Ｘ線投影像中の寸法を測定するために、幾何学的特徴に基づいてスケールを定義するステップをさらに含む、例３５に記載の方法。
【0168】
３７．
Ｘ線投影像中の物体とモデルとのマッチングは、モデルの仮想投影の画像特性へのＸ線投影像の画像特性の適合、および／またはＸ線投影像の画像特性へのモデルの仮想投影の画像特性の適合を含む、例３０～３６のいずれか１つに記載の方法。
Ｘ線投影像中の物体とモデルとのマッチングは、モデルの仮想投影の画像特性へのＸ線投影像の画像特性の適合、および／またはＸ線投影像の画像特性へのモデルの仮想投影の画像特性の適合を含む、例３０～３６のいずれか１つに記載の方法。
【0169】
３８．
Ｘ線投影像中の物体とモデルとのマッチングは、機械的インタフェースのぐらつき、インプラントおよび器具の材料および／または曲がり、骨折の群からの少なくとも１つを含む物体特性を考慮する、例３０～３７のいずれか１つに記載の方法。
Ｘ線投影像中の物体とモデルとのマッチングは、機械的インタフェースのぐらつき、インプラントおよび器具の材料および／または曲がり、骨折の群からの少なくとも１つを含む物体特性を考慮する、例３０～３７のいずれか１つに記載の方法。
【0170】
３９．
さらなるＸ線像を受け取るステップ、ならびに受け取られた第１および第２のＸ線像の取得の間のＸ線撮像装置の移動を考慮して、Ｘ線像を登録するステップをさらに含む、例３０～３８のいずれか１つに記載の方法。
さらなるＸ線像を受け取るステップ、ならびに受け取られた第１および第２のＸ線像の取得の間のＸ線撮像装置の移動を考慮して、Ｘ線像を登録するステップをさらに含む、例３０～３８のいずれか１つに記載の方法。
【0171】
４０．
Ｘ線撮像装置の移動量は、Ｘ線撮像装置のセンサによって測定される、例３９に記載の方法。
Ｘ線撮像装置の移動量は、Ｘ線撮像装置のセンサによって測定される、例３９に記載の方法。
【0172】
４１．
さらなるＸ線像を受け取るステップ、およびモデルがＸ線像の１つにそれぞれ伸びる部分を有する状態で、モデルのジオメトリを考慮してＸ線像を登録するステップをさらに含む、例３０～４０のいずれか１つに記載の方法。
さらなるＸ線像を受け取るステップ、およびモデルがＸ線像の１つにそれぞれ伸びる部分を有する状態で、モデルのジオメトリを考慮してＸ線像を登録するステップをさらに含む、例３０～４０のいずれか１つに記載の方法。
【0173】
４２．
さらなるＸ線像を受け取るステップ、各受け取られたＸ線像中の１つのさらなる物体を分類するステップであって、その物体の異なる部分が、受け取られたＸ線像にそれぞれ伸びる、ステップ、およびその物体の既知のジオメトリに基づいてＸ線像を登録するステップをさらに含む、例３０～４１のいずれか１つに記載の方法。
さらなるＸ線像を受け取るステップ、各受け取られたＸ線像中の１つのさらなる物体を分類するステップであって、その物体の異なる部分が、受け取られたＸ線像にそれぞれ伸びる、ステップ、およびその物体の既知のジオメトリに基づいてＸ線像を登録するステップをさらに含む、例３０～４１のいずれか１つに記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】