▶ マイクロポート オーソペディックス ホールディングス インクの特許一覧
特表2024-535200手術中に手術要素を位置合わせするための写真測量を使用するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-30
(54)【発明の名称】手術中に手術要素を位置合わせするための写真測量を使用するシステム及び方法
(51)【国際特許分類】
A61B 6/12 20060101AFI20240920BHJP
A61B 6/00 20240101ALI20240920BHJP
【ＦＩ】
A61B6/12
A61B6/00 590C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024513850
(86)(22)【出願日】2022-09-27
(85)【翻訳文提出日】2024-02-29
(86)【国際出願番号】 US2022077111
(87)【国際公開番号】W WO2023056261
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/250,906
(32)【優先日】2021-09-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522226683
【氏名又は名称】マイクロポート オーソペディックス ホールディングス インク
(74)【代理人】
【識別番号】110002538
【氏名又は名称】弁理士法人あしたば国際特許事務所
(74)【代理人】
【識別番号】110002848
【氏名又は名称】弁理士法人ＮＩＰ＆ＳＢＰＪ国際特許事務所
(72)【発明者】
【氏名】ハリス、ブライアン、アール．
(72)【発明者】
【氏名】ボーマン、フレッド、ダブリュー．
【テーマコード（参考）】
4C093
【Ｆターム（参考）】
4C093AA01
4C093AA10
4C093AA25
4C093AA26
4C093CA15
4C093FC27
4C093FF37
4C093FF42
(57)【要約】
空間内の整形外科要素の位置を確認するためのシステム及び方法は、放射線撮像技術を使用して異なる基準フレーム内の整形外科要素の第１の及び第２の画像をキャプチャすることと、深層学習ネットワークを使用して整形外科要素上又は整形外科要素内の解剖学的ランドマークを画定する空間データを検出することと、解剖学的ランドマークによって画定された整形外科要素にマスクを適用することと、体積データを画定するために第１の画像及び第２の画像から空間データを投影することと、整形外科要素の再構築された三次元モデルを生成するために深層学習ネットワークを体積データに適用することと、三次元空間における整形外科要素の三次元モデルの位置を決定するために、整形外科要素の三次元モデルを空間データにマッピングすることと、を含む。
【特許請求の範囲】
【請求項1】
空間内の整形外科要素及び内部人工インプラントの構成要素の位置を確認するためのシステムであって、組織透過撮像機と、
第１の入力画像であって、前記第１の入力画像は、第１の基準フレームから前記組織透過撮像機によって撮影され、前記第１の画像は、較正治具を描写する、第１の入力画像と、
第２の入力画像であって、前記第２の入力画像は、第２の基準フレームから前記組織透過撮像機によって撮影され、前記第２の基準フレームは、前記第１の基準フレームからオフセットされ、前記第２の画像は、前記較正治具を描写する、第２の入力画像と、
深層学習ネットワークを実行するように構成された計算機であって、前記深層学習ネットワークは、整形外科要素及び内部人工インプラントの構成要素を識別して、識別された整形外科要素及び前記内部人工インプラントの識別された構成要素を画定し、前記識別された整形外科要素及び前記内部人工インプラントの前記識別された構成要素を、前記第１の入力画像及び前記第２の入力画像によって確認された空間データにマッピングし、それによって前記識別された整形外科要素及び前記内部人工インプラントの前記識別された構成要素の三次元空間内の位置を決定するように構成される、計算機と、
を含む、システム。
【請求項2】
第３の入力画像を更に含み、前記第３の入力画像は、第３の基準フレームから前記組織透過撮像機によって撮影され、前記第３の画像は、前記較正治具を描写する、請求項１に記載のシステム。
【請求項3】
前記深層学習ネットワークは、複数の整形外科要素及び前記内部人工インプラントの複数の構成要素を識別して、複数の識別された整形外科要素及び前記内部人工インプラントの複数の識別された構成要素を画定するように更に構成される、請求項１又は２に記載のシステム。
【請求項4】
前記内部人工インプラントの前記複数の識別された構成要素のうちの第１の識別された構成要素は、股関節内部人工インプラントの寛骨臼構成要素であり、前記内部人工インプラントの前記複数の識別された構成要素のうちの第２の識別された構成要素は、股関節内部人工インプラントの大腿骨構成要素である、請求項３に記載のシステム。
【請求項5】
前記内部人工インプラントの前記識別された構成要素が寛骨臼シェルであり、前記識別された整形外科要素が前記寛骨臼シェルに近接するリーミングされた寛骨臼である、請求項１～４のいずれか一項に記載のシステム。
【請求項6】
前記内部人工インプラントの前記識別された構成要素が大腿骨ステムであり、前記識別された整形外科要素が前記大腿骨ステムに近接する大腿骨の髄内管である、請求項１～５のいずれか一項に記載のシステム。
【請求項7】
前記識別された整形外科要素は、モデル化された整形外科要素を画定するために三次元でモデル化される、請求項１～６のいずれか一項に記載のシステム。
【請求項8】
前記モデル化された整形外科要素は、ディスプレイ上に表示される、請求項７に記載のシステム。
【請求項9】
前記内部人工インプラントの前記識別された構成要素が、前記内部人工インプラントのモデル化された構成要素を画定するために三次元でモデル化される、請求項１～８のいずれか一項に記載のシステム。
【請求項10】
前記内部人工インプラントの前記モデル化された構成要素がディスプレイ上に表示される、請求項９に記載のシステム。
【請求項11】
前記内部人工インプラントの前記識別された構成要素の計算された外転角度がディスプレイに表示される、請求項１～１０のいずれか一項に記載のシステム。
【請求項12】
前記内部人工インプラントの前記識別された構成要素の計算された前捻角度がディスプレイ上に表示される、請求項１～１１のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の参照
本出願は、２０２１年９月３０日に出願された米国仮出願第６３／２５０，９０６号に対する優先権の利益を主張する。この関連出願の開示は、その全体が本開示に組み込まれる。
本出願は、２０２１年９月３０日に出願された米国仮出願第６３／２５０，９０６号に対する優先権の利益を主張する。この関連出願の開示は、その全体が本開示に組み込まれる。
【0002】
本開示は、概して、整形外科関節置換手術の分野に関し、より具体的には、整形外科手術を計画及び実行する外科医及び技術者を支援するために写真測量及び三次元（「３Ｄ」）再構成技術を使用することに関する。
【背景技術】
【0003】
股関節置換手術の目的は、患者の罹患前の股関節の自然な位置合わせ及び可動域を回復することである。しかしながら、股関節は関節骨だけでなく、軟骨、筋肉、靭帯、及び腱を含む様々な軟組織も含むため、この目的を実際に達成することは困難であり得る。全ての股関節形成術において、特に低侵襲性股関節形成術において、これらの軟組織の存在は、外科医の視野を厳しく制限し得る。この問題は、高い肥満度指数を有する患者において更により顕著である。
【0004】
股関節形成術では、骨盤自体がほぼ完全に軟組織に囲まれる。最小侵襲性手技では、主切開は、最終的に、寛骨臼及び近位大腿骨頭部の接合部を露出させるが、この主切開は、典型的には、寛骨臼の縁（すなわち、周縁）を横断して外科医の視野を指向させる。手術脚の１つ以上の大腿四頭筋を通って延在するポータル切開は、寛骨臼の凹面と整合し得るが、大腿骨の近位端は、この視野を露出させるために、寛骨臼から離れて移動及び回転させられなければならない。
【0005】
問題を更に複雑にすることに、ポータル切開を通した手術領域の視野は、一般に、主切開を通した視野よりもはるかに制限される。内視鏡カメラは、凹状寛骨臼表面の画像をキャプチャするために、ポータル切開を通して配置されてもよいが、寛骨臼の凹状表面は、寛骨臼及び骨盤の位置を確実に示すために使用され得る、骨マーカ（すなわち、ランドマーク）を欠いている。更に、大腿骨のあらゆる動きは、結合軟組織を介して骨盤に伝達される可能性が高く、それによって、内視鏡カメラによってキャプチャされるあらゆる画像の有用性を損なう。したがって、内視鏡カメラの使用は、処置を不必要に長引かせ、近位大腿骨に対する寛骨臼の位置を正確に反映する際に非常に限られた有効性しか有さない。
【0006】
人工股関節インプラントは、典型的には寛骨臼シェルを含み、外科医は、寛骨臼シェルを股関節のリーミングされた寛骨臼内に配置する。寛骨臼シェルは、大腿骨構成要素の略球形の頭部とのベアリングとして本質的に機能するライナを収容してもよい。大腿骨構成要素は、一般に、ステム、頸部、及び頭部を含む。設置されると、ステムは、大腿骨の切除されリーミングされた近位端に挿入される。頸部は、ステムの近位端を頭部に接続する。次に、頭部は、人工寛骨臼カップ内に配置され、一般に、寛骨臼カップのライナに対して配置される。
【0007】
外科医の手術領域の視野は、しばしば軟組織によって遮られるので、外科医は、過去において、寛骨臼内の寛骨臼カップの適切な位置合わせを推定しようとするために、外部の印に依存していた。米国特許公開第２０１３／０１６５９４１号（Ｍｕｒｐｈｙ）は、そのような例の１つである。他の提供者は、デカルト平面の軸に類似するように設計された外部水平及び垂直位置決めバーを含む位置決めガイドを提供した。約４０度（「°」）～約４５度の寛骨臼カップの外転角度を達成しようとするために、外科医は、水平位置決めバーが身体長手方向軸にほぼ平行に配置されるように、配置ガイドを患者の身体長手方向軸（すなわち、患者の頭部から鼠径部まで延びる身体の仮想中心線）に対してほぼ対角線上に位置決めする。約１０°～約１５°の前捻角度を達成しようとするために、外科医は、身体の長手方向軸に対して垂直位置決めバーに沿って位置決め装置をわずかに持ち上げる。
【0008】
これらの外部指標は、患者の特定の解剖学的構造を考慮せず、これらの指標に対する骨盤の動きも考慮しなかった。例えば、所与の患者が仰向けに横たわっているとき、患者の左寛骨臼が患者の右寛骨臼よりもわずかに低く位置決めされ得ることが完全に可能である。更に、多くの股関節形成術は、特定の切開を行うために、又は外科手術領域の特定の部分にアクセスするために、患者の再位置決めを必要とする。上述のように、大腿骨の動きは、軟組織を介して骨盤に伝達される可能性が高い。標準的な股関節形成術を通じて患者を複数回再配置する必要がある場合、骨盤が、外部指標に依存する既存の寛骨臼カップ位置決めガイドに対して提案された使用パラメータ内に常に位置することはありそうにない。
【0009】
外科医が近位大腿骨への直接的な視線を有することを可能にすることは、寛骨臼（又は場合によっては寛骨臼カップ）から近位大腿骨をはずす（したがって、位置をずらす）ことを必要とすることを考えると、大腿骨構成要素を適切に位置合わせし、サイズ決めし、設置することは更により困難である。その結果、多くの外科医は、許容可能な大腿骨ステム配置に近づけるために、音及び感触に依存してきた。大腿骨ステム及び寛骨臼カップの両方は、それらのそれぞれの骨に嵌入される。大腿骨ステムが大きすぎると、近位大腿骨を容易に破損する可能性がある。小さすぎる大腿骨ステムは、通常の使用の結果として、時間の経過と共に大腿骨の髄内管内に沈み込む可能性がある。沈下は、患者の歩行を短縮させ、頸部、頭部、及びライナの部分に過度の圧力をかけ、それによって、摩耗を加速させ得る。
【0010】
更に、寛骨臼カップが所望の外転角度及び前捻角度でリーミングされた寛骨臼内に配置された場合であっても、また、適切なサイズの大腿骨ステムが近位大腿骨内に着座された場合であっても、寛骨臼カップに対する大腿骨構成要素の位置は、従来の技術を使用してこれまで知ることができなかった。術中蛍光透視法を使用して、寛骨臼構成要素に対する大腿骨構成要素の２次元（「２Ｄ」）画像を生成することができるが、蛍光透視画像は、正確な位置合わせを確実にするのに十分な３Ｄ情報を欠いていた。例えば、古典的な蛍光透視法では、骨盤傾斜は未知であった。したがって、骨盤上の任意の骨のランドマークの配向も未知であった。骨盤の向きを正確に決定することができなければ、蛍光透視法のみを使用して、自然な罹患前関節線の位置を正確に計算することは不可能であった。更に、蛍光透視法の長期使用は、患者を過剰な放射線にさらす。
【0011】
寛骨臼カップに対する大腿骨構成要素の頭部の不適切な位置合わせは、対側脚に対する手術脚の短縮、寛骨臼カップに対する頭部の転位、及び寛骨臼カップ、ライナ、頭部、又は頸部の一部に対する力負荷の増加（それによって、摩耗速度を増加させ、インプラント寿命を減少させる）をもたらし得る。これらの欠点のいずれも、患者の不快感の一因となり得る。
【0012】
その結果、外科医は、寛骨臼カップの配置のために、かなり大きな誤差の範囲内で操作する内容を維持しなければならなかった。利用可能なツール及び手順にもかかわらず、典型的な股関節形成術において再建股関節を位置合わせすることは、経験、教育された推測、及び偶然に基づく。この問題は、部分的には外科医の視野がそのように制限されるので、低侵襲股関節形成術において特に顕著であり得る。
【発明の概要】
【0013】
したがって、股関節形成術を計画し実行するときに、術前及び術中の撮像技術を増強して、手術用の関節の解剖学的構造及び人工内部人工インプラントを正確にモデル化する必要性が長く感じられているが、解決されていない。
【0014】
現在利用可能な術前又は術中のツール及び技術を使用した低侵襲手術における手術領域の限定された外科医の視覚化の問題、及びそのような視覚化の欠如が引き起こす可能性がある付随する位置ずれの問題は、空間内の整形外科要素の位置を確認するための例示的なシステム又は方法によって軽減することができ、深層学習ネットワークを使用して整形外科要素及び内部人工インプラントの構成要素を識別及びモデル化し、整形外科要素及び内部人工インプラントのモデルを対象の整形外科要素の少なくとも２つの別個の２次元（「２Ｄ」）入力画像の入力からの空間データにマッピングすることを含み、少なくとも２つの別個の２Ｄ入力画像の第１の画像は第１の横方向位置からキャプチャされ、少なくとも２つの別個の２Ｄ入力画像の第２の画像は、オフセット角度だけ第１の横方向位置からオフセットされた第２の横方向位置からキャプチャされる。
【0015】
例示的な実施形態では、入力画像は放射線画像であり得る。理論に束縛されるものではないが、Ｘ線写真は、靭帯拘束、耐荷重力、及び筋肉活動の影響を含む、受動的な軟組織構造及び股関節の周りに生じる動的力の外部和を説明することができるインビボ分析を可能にするので、Ｘ線写真が望ましい場合がある。
【0016】
理論に束縛されるものではないが、整形外科要素のモデル及び内部人工インプラントの構成要素のモデルを空間データにマッピングすることによって、マッピング及びモデル化された整形外科要素の位置を、マッピング及びモデル化されたインプラント構成要素に対して計算することができると考えられる。このシステムが２つ以上の整形外科要素及び２つ以上の内部人工インプラントの構成要素に適用される場合、内部人工インプラントの構成要素は、所望の位置でそれぞれの整形外科要素に望ましく移植され得、それぞれの内部人工インプラント構成要素は、互いに望ましく整列され得る。
【0017】
本明細書に記載される特定の例示的なシステム及び方法は、隣接する整形外科要素に対するインプラント構成要素の所望のサイズを正確に予測するように構成され得ることが更に企図される。
【0018】
本明細書に記載の特定の例示的なシステム及び方法は、内部人工インプラント構成要素が埋め込まれる整形外科要素に対して内部人工インプラント構成要素の配置を正確に配向するように構成することができることが更に企図される。
【図面の簡単な説明】
【0019】
上記は、添付の図面に例解されるように、本開示の例示的な実施形態についての、以下に示すより具体的な説明から明らかになるであろう。図面は必ずしも縮尺どおりではなく、代わりに開示される実施形態を例解することに重点が置かれている。
【図1】右股関節及び天然の左股関節における例示的な内部人工股関節インプラントを示す患者の正面の簡略化されたＸ線図である。
【図2】低侵襲股関節形成術における外科医の典型的な視野を示す。
【図4】位置合わせ不良の寛骨臼カップ及び誤ったサイズの大腿骨ステムを示す。
【図5】例示的な方法の工程を例解するフローチャートである。
【図6】更なる例示的な方法の工程を例解するフローチャートである。
【図7】深層学習ネットワークを使用して、対象整形外科要素の特徴（例えば、解剖学的ランドマーク）を識別して、対象整形外科要素の３Ｄモデルを生成するシステムの概略図である。
【図8】エピポーラ幾何の原理を使用して、較正された画像検出器の異なる基準フレームから撮られた２つの２Ｄ画像から３Ｄ空間のある点の位置が確認され得る仕組みを伝えるために使用される、ピンホールカメラモデルの概略図である。
【図9A】例示的な較正治具を示す前後（「Ａ－Ｐ」）位置から撮られた対象整形外科要素の画像である。
【図10】どのように畳み込みニューラルネットワーク（「ＣＮＮ」）タイプの深層学習ネットワークを使用して、対象の整形外科要素の表面を含む特徴（例えば、解剖学的ランドマーク）を識別することができるかを示す概略図である。
【図11】モデル化された内部人工インプラントの分解図である。
【図12】例示的なシステムの概略図である。
【図13】整形外科要素のモデルを生成し、較正された検出器から同じ対象の整形外科要素の２つ以上の組織透過平坦化入力画像をオフセット角度で撮影して、内部人工インプラント構成要素の構成要素を位置合わせするように構成されたシステムの概略図である。
【発明を実施するための形態】
【0020】
好ましい実施形態の以下の詳細な説明は、理解を助ける例解目的でのみ提示されており、網羅的であること、又は本発明の範囲及び趣旨を限定することを意図するものではない。実施形態は、本発明の原理及びその実用的な用途を最良に説明するために選択及び記載されている。当業者は、本発明の範囲及び趣旨から逸脱することなく、本明細書に開示される本発明に多くの変形がなされ得ることを認識するであろう。
【0021】
特に明記しない限り、同様の参照符号は、いくつかの図を通して対応する部分を示す。図面は、本開示による様々な特徴及び構成要素の実施形態を表すが、図面は必ずしも縮尺どおりではなく、特定の特徴は、本開示の実施形態をより良好に例解するために誇張されている場合があり、そのような例示は、本開示の範囲を限定するものとして解釈されるべきではない。
【0022】
本明細書で別途明示的に述べられたものを除いて、以下の解釈の規則が本明細書に適用される。（ａ）本明細書で使用される全ての語は、かかる状況で必要とされるかかる性別又は数（単数又は複数）であると解釈されるものとする。（ｂ）本明細書及び添付の特許請求の範囲で使用される単数形の用語「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈上明らかにそうでない場合を除き、複数形の参照を含む。（ｃ）列挙された範囲又は値に適用される先行詞「約」は、当該技術分野において既知の、又は測定から予想される範囲又は値の偏差を有する近似値を示す。（ｄ）特に明記しない限り、「本明細書に（herein、hereby、hereto）」、「前述の（hereinbefore）」、及び「後述の（hereinafter）」という語、及び類似する意味の語は、何らかの特定の段落、請求項、又は他の細目を指すのではなく、本明細書全体を指すものである。（ｅ）説明見出しはあくまでも便宜上のものであり、本明細書の一部の構成の意味を制御するものでも影響を与えるものでもない。（ｆ）「又は」及び「任意の」は排他的ではなく、「含む（include、including）」は限定的ではない。更に、「備える、含む（comprising）」、「有する（having）」、「含む（including）」、及び「収容する、含む（containing）」は、制限のない用語（すなわち、「．．．を含むがこれに限定されない」を意味する）として解釈されるべきである。
【0023】
本明細書における「一実施形態（one embodimet、an embodiment）」、「例示的な実施形態」、などの言及は、記載された実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態が必ずしも特定の特徴、構造、又は特性を含み得るものではないことを示している。更に、そのような語句は、必ずしも同じ実施形態を指すものではない。更に、実施形態に関連して特定の特徴、構造、又は特性が記載される場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連してそのような特徴、構造、又は特性に影響を及ぼすことは当業者の知識の範囲内であることが示唆される。
【0024】
記述的な支持を提供するのに必要な範囲で、添付の特許請求の範囲の主題及び／又はテキストは、それらの全体が参照により本明細書に組み込まれる。
【0025】
本明細書における値の範囲の列挙は、本明細書において別途明確に示されない限り、その間の任意の部分範囲の範囲内にあるそれぞれの別個の値を個々に参照する簡単な方法としての役割を果たすことを単に意図する。列挙された範囲内のそれぞれの別個の値は、それぞれの別個の値が本明細書に個々に列挙されているかのように、本明細書又は特許請求の範囲に組み込まれる。特定の範囲の値が提供される場合、その範囲の上限と下限との間の下限の単位の１０分の１以下までのそれぞれの介在値と、その部分範囲の記載された範囲内の任意の他の記載値又は介在値とは、文脈が別段明確に指示しない限り、本明細書に含まれることが理解される。全ての部分範囲も含まれる。これらのより小さい範囲の上限及び下限も、記載された範囲内の任意の具体的かつ明示的に除外された制限に従うことを条件として、そこに含まれる。
【0026】
本明細書で使用される用語のいくつかは相対的な用語であることに留意されたい。例えば、「上部」及び「下部」という用語は、場所的に互いに相対的であり、すなわち、上部構成要素は、それぞれの配向で下部構成要素よりも高位に位置するが、これらの用語は、配向が反転される場合に変わり得る。
【0027】
「水平」及び「垂直」という用語は、絶対基準、すなわち、地表レベルに対する方向を示すために使用される。しかしながら、これらの用語は、互いに絶対的に平行又は絶対的に垂直である構造を必要とすると解釈されるべきではない。例えば、第１の垂直構造及び第２の垂直構造は、必ずしも互いに平行ではない。「上部」及び「下部」又は「基部」という用語は、上部が絶対基準、すなわち、地球の表面に対して、下部又は基部よりも常に高い場所又は表面を指すために使用される。「上向き」及び「下向き」という用語も、絶対基準に対するものである。上向きの流れは、常に地球の重力に対抗する。
【0028】
整形外科的処置は、患者の関節に対する手術を伴うことが多い。関節は、典型的には多数の整形外科要素を含むことが理解されるであろう。本明細書に記載される例示的な方法及びシステムは、様々な整形外科要素に適用され得ることが更に理解されるであろう。図１～図４、図９Ａ～図９Ｃ、及び図１１を参照して説明した例は、例示目的のための股関節に関する。本開示全体を通して参照される「整形外科要素」１００は、股関節の解剖学的構造に限定されないが、腱、靭帯、軟骨、及び筋肉などの任意の骨格構造又は関連する軟組織を含み得ることが理解されよう。骨格整形外科要素１００の例の非限定的なリストは、大腿骨、脛骨、骨盤、椎骨、上腕骨、尺骨、橈骨、肩甲骨、頭蓋骨、腓骨、鎖骨、下顎骨、肋骨、手根骨、中手骨、足根骨、中足骨、指骨、又は任意の関連する腱、靭帯、皮膚、軟骨、又は筋肉を含むがこれらに限定されない、身体の任意の部分的な骨又は完全な骨を含む。例示的な手術領域１７０は、いくつかの対象整形外科要素１００を含み得ることが理解されよう。同様に、手術領域１７０は、本明細書の主要な例として使用される股関節手術領域に限定されず、むしろ、外科手術の標的である身体の任意の領域に戻り得ることが理解されるであろう。これは、非限定的な例として、膝、足首、脊椎、肩、手首、手、足、下顎骨、頭蓋骨、肋骨、及び指骨を含み得る。
【0029】
図１は、例示的患者の骨盤１１０の正面のＸ線画像の簡略表現である。患者の右股関節１０１ａ及び左股関節１０１ｂの両方が示されている。両方の例示的股関節１０１ａ、１０１ｂは、大腿骨１０５、骨盤１１０の寛骨臼（１０８及び１１１参照）、及び結合組織を含む、多数の整形外科要素１００を含む。図示された右股関節１０１ａ（すなわち、ページの左側に示されている患者の右側の股関節）は、患者に外科的に設置された例示的な内部人工股関節インプラント１０２を示す。図示された左股関節１０１ｂは、比較のための例示的な自然股関節を示す。
【0030】
図示された右股関節１０１ａを参照すると、例示的な内部人工股関節インプラント１０２は、概して、寛骨臼構成要素１０３及び大腿骨構成要素１０４を含む。内部人工インプラントは、一般に、複数の構成要素（例えば、寛骨臼構成要素１０３及び大腿骨構成要素１０４）を含むことができ、これらの構成要素は、複数のサブ構成要素から構成されてもよいことが理解されるであろう。図示の例では、寛骨臼構成要素１０３は、典型的には、概ね半球状の寛骨臼シェル１０６と、内側ライナ１０７とを含む。寛骨臼シェル１０６は、典型的には、コバルトクロム、チタン、又は他の生体適合性金属から作製される。内側ライナ１０７は、典型的には、セラミック、金属、ポリマー、又は低摩擦係数及び低摩耗率を有する他の生体適合性材料から作製される。
【0031】
寛骨臼シェル１０６の設置のために生来の寛骨臼（１０８参照）を準備するために、外科医は、最初に、半球状リーマを使用して、患者の生来の寛骨臼１０８内に略凹面を作成して、「リーミングされた寛骨臼」１１１を画定する。リーミングされた寛骨臼１１１は、概して、寛骨臼シェル１０６の凸状外側表面１０９に対して相補的である。寛骨臼シェル１０６の外表面１０９は、通常、リーミングされた寛骨臼１１１への係合を容易にするために粗面化される。粗面化された表面はまた、粗面化された表面の空間への骨形成を促進し、それによって経時的に結合の強度を増加させると考えられる。
【0032】
内側ライナ１０７は、典型的には、内側ライナ１０７がその組み立てられ設置された構成にあるとき、寛骨臼シェル１０６の内側凹面１１２に隣接して位置する。内側ライナ１０７は、概して、設置されると、大腿骨構成要素１０４の大腿骨頭部１１３が関節接合する軸受として機能する。
【0033】
大腿骨構成要素１０４は、典型的には、近位ステム端部１１５ｂから遠位に配置された遠位ステム端部１１５ａを有する大腿骨ステム１１５と、近位ステム端部１１５ｂに係合する遠位頸部端部１１６ａを有する頸部１１６とを含む。頸部１１６は、頭部端部１１６ｂまで延在する。概して球形の人工大腿骨頭部１１３は、組み立てられた構成において頸部１１６の頭端部１１６ｂに配置される。特定の例示的な実施形態では、頸部１１６は、近位ステム端部１１５ｂから選択的に取り外し可能であり得る。そのような選択的に取り外し可能な頸部１１６は、「モジュール式頸部」として知られ得る。
【0034】
寛骨臼構成要素１０３及び大腿骨構成要素１０４、並びに寛骨臼構成要素１０３又は大腿骨構成要素１０４を含む副構成要素（例えば、寛骨臼シェル１０６、内側ライナ１０７、任意の固定締結具、大腿骨ステム１１５、人工大腿骨頭部１１３など）は、典型的には、１つ以上の外科用キットにおいて、取り外され組み立てられていない構成で提供されることが理解されるであろう。設置されておらず組み立てられていない構成では、構成要素又はサブ構成要素は、別の構成要素又はサブ構成要素と物理的に係合しない。別の言い方をすれば、力は、設置されておらず組み立てられていない構成において、１つの構成要素又はサブ構成要素から別の構成要素又はサブ構成要素に直接伝達されない。組み立てられた構成では、構成要素又はサブ構成要素は、互いに物理的に接触し、力は、２つ以上の近位に配置された構成要素又はサブ構成要素を通して伝達され得る。組み立てられ、設置された構成では、構成要素又はサブ構成要素は、組み立てられた構成にあり、また、患者の中に外科的に埋め込まれる。
【0035】
比較のために、図示された左股関節１０１ｂは、大腿骨１０５の近位端における自然の大腿骨頭部１２６を示す。自然大腿骨頭部１２６は、骨盤１１０の自然寛骨臼１０８内に配置される。関節軟骨１２３は、健康な大腿骨頭部１２６及び健康な寛骨臼１０８の両方の関節面を被覆する。
【0036】
典型的な股関節形成術には多くの外科的アプローチがあるが、ほとんどの最小侵襲性処置は、外科医が股関節嚢に半径方向に近接する手術脚に６～８センチメートル（「ｃｍ」）の切開を行うことから始まる。次いで、種々の筋肉及び腱が外科用器具を用いて引っ込められて、最終的に関節包を露出させる。次いで、嚢が穿孔され、外科医は、天然の寛骨臼１０８から天然の大腿骨頭部１２６を変位させる。
【0037】
大腿骨の準備は、大腿骨１０５から自然の大腿骨頭部１２６を切除し、除去することを含む。自然大腿骨頭部１２６が除去された後、外科医は、大腿骨１０５の新たに露出した近位端１０５ｂの髄内空間に管を穿孔してもよい。次に、外科医は、大腿骨ブローチを使用して、大腿骨ステム１１５を収容するのに必要な髄内管内の空間を拡張することができる。試行ステムを使用して、大腿骨構成要素１０４のサイジング及び位置決めを試験することができる。試用構成要素は、一般に、実際のインプラント構成要素と同じ寸法を有するが、試用構成要素は、より容易に設置及び除去されるように設計される。
【0038】
寛骨臼の準備は、リーミングされた寛骨臼１１１を画定するために天然の寛骨臼１０８をリーミングすることを含む。目標は、寛骨臼シェル１０６の略半球状の外表面１０９と相補的な略均一な半球状の空間を形成することである。試行寛骨臼構成要素を使用して、大腿骨構成要素１０４に対する寛骨臼構成要素１０３の位置合わせを試験しようと試みることができるが、視認性が制限され、手技の性質は、典型的には、位置合わせの網羅的試験を可能にしない。更に、視認性が制限されるので、実際のインプラント構成要素１０３、１０４が試行構成要素と全く同じように配向されない可能性がある。
【0039】
典型的な全股関節形成術のための様々な外科的アプローチが存在することが理解されるであろう（例えば、一部の外科医は、股関節に後方からアプローチすることを選択し、他の外科医は、股関節に側方又は前方からアプローチすることを選択する）。図２は、主切開を通した典型的股関節形成術手術領域１７０の外科医の典型的視野を図示及び例示する。最初の切開領域と股関節嚢との間に配置された筋膜１１を収縮させるために、いくつかのリトラクタ１４、１６（いくつかの処置ではホフマンリトラクタ又はＣｏｂｂエレベータを含むことができる）が使用される。電気焼灼器具４０は、組織を切除及び焼灼し、過剰な出血を防止するために使用され得る。自然大腿骨頭部１２６も参照のために示されている。
【0040】
図２は、手術領域１７０の６～８ｃｍの主切開、切開点に対する股関節の位置（１０１ａ、１０１ｂを参照されたい）、及び典型的な外科用器具（例えば、リトラクタ１４、１６、マレット、ブローチ、リーマ、ピン、インプラント構成要素など）の存在が、外科医の既に制限された視野を著しく妨げ得る様子を示す。この問題は、内部人工股関節インプラント１０２の寛骨臼構成要素１０３及び大腿骨構成要素１０４を、標的の移植解剖学的構造（例えば、この股関節の例では、リーミングされた寛骨臼１１１又は切除された近位大腿骨１０５）の配向から分離された外部指標に対して位置合わせしようと試みることによって悪化する可能性があり、インプラント構成要素１０３、１０４の、それらが移植される骨に対する、及び互いに対する不正確な位置合わせにつながる可能性がある。これは、次に、インプラント転位、最適でない力分布、より速い摩耗、インプラントの故障、歩行の変化、一般的な患者の不快感、及び同じ制限を受ける更なる修正手術の必要性のリスクに寄与し得る。
【0041】
図３は、リーミングされた寛骨臼１１１内に配置された例示的な寛骨臼構成要素１０３の斜視図である。外転角度α及び前捻角度υは、寛骨臼構成要素１０３に関して示されているが、大腿骨構成要素１０４もまた、近位大腿骨１０５において外転角度α及び前捻角度υで配置されることが理解されよう。内部人工インプラントの構成要素が移植される整形外科要素（例えば骨盤１１０及び１０５近位大腿骨それぞれ）に対する内部人工インプラントの構成要素（例えば、寛骨臼構成要素１０３及び大腿骨構成要素１０４）の外転角度α及び前捻角度υは、当業者によって計算及び決定され得る。
【0042】
「内部人工インプラントの構成要素」は、内部人工インプラントのタイプ及び手術領域１７０のタイプに基づいて変化し得ることが理解されるであろう。例えば、手術領域１７０が股関節である場合、「内部人工インプラントの構成要素」は、寛骨臼構成要素１０３、大腿骨構成要素１０４、試行構築物、内部人工インプラント若しくは試行インプラントの患者への設置位置での設置で使用されるか又はそれを容易にするために使用される器具、又はそれらの組み合わせを含む群から選択することができる。手術領域１７０が膝である実施形態では、「内部人工インプラントの構成要素」は、内部人工膝インプラントの大腿骨構成要素、内部人工膝インプラントの脛骨構成要素、試行構築物、内部人工インプラント若しくは試行インプラントの患者への設置位置での設置で使用されるか又はそれを容易にするために使用される器具、又はそれらの組み合わせであり得る。
【0043】
骨盤１１０に対する寛骨臼構成要素１０３の外転角度αの原理をより明確に示すために、図３では軟組織が省略されている。外転角度αは、当業者に知られているいくつかの方法によって測定することができる。寛骨臼構成要素１０３の外転角度αを視覚化する１つのそのような方法は、冠状面ＣＰ上の寛骨臼シェル１０６のリムの直径を通って延びる直径線Ｄを、直径線Ｄの冠状面ＣＰと同一平面上にある概ね水平な内側－外側基準線Ｒに対して描くことによるものである。図３では、左右の坐骨の最遠位部分１１７ａ、１１７ｂを結ぶ基準線Ｒが示されている。しかしながら、基準線Ｒが直径線Ｄと水平に、内側－外側に、かつ冠状に同一平面上に延在するならば、他の基準マーカが使用されてもよいことが理解されるであろう。
【0044】
シェル平面ＳＰもまた、寛骨臼シェル１０６の縁２を通って同一平面上に延在するように示されている。寛骨臼シェル１０６を三次元空間において位置合わせすることは、適切な複合角度の選択を伴うと考えることができ、合成角度は、外転角度α及び前捻角度υを含む。シェル平面ＳＰは、三次元における寛骨臼シェル位置合わせの概念をより明確に示すために示されている。直径線Ｄ、冠状面ＣＰ、シェル平面ＳＰ、内側－外側基準線Ｒは、外転角度α及び寛骨臼位置合わせの概念を一般的に示すために描かれた幾何学的基準要素であることが理解されるであろう。これらの幾何学的基準要素は、実際には目に見える必要はない。
【0045】
多くの寛骨臼シェル１０６は、約３０°～約５０°の外転角度αでリーミングされた寛骨臼１１１に設置されるように設計されている。しかしながら、この広いマージンは、従来の方法を使用してリーミングされた寛骨臼１１１内に寛骨臼シェル１０６を適切に位置合わせする際の困難性を強調する。更に、約３０°～約５０°の外転角度αを有するという一般的なガイダンスは、特定の患者における変動性を説明しない。
【0046】
図３は、前捻角度υの概念も示す。前捻角度υは、当業者に知られているいくつかの方法によって計算することができる。寛骨臼シェル１０６の前捻角度υを視覚化する１つのそのような方法は、外転角度α視覚化において使用される中心直径線Ｄの周りの寛骨臼シェル１０６の回転として前捻角度υを想像することである。典型的な寛骨臼シェル１０６は、約１０°～約３０°、又は約１０°～約２０°、又は約１５°～約２５°の範囲の前捻角度υを有し得る。実際には、リーミングされた寛骨臼１１１内での寛骨臼シェル１０６の位置合わせは、外転角度α及び前捻角度υの両方を含む複合角度であることが理解されよう。同様に、髄内ボア１１９内の大腿骨ステム１１５の位置合わせは、外転角度α及び前捻角度υの両方を含む複合角度である。
【0047】
共通の前捻角度（又は前傾平面）に沿って寛骨臼シェル１０６と整列する大腿骨ステム１１５を有することは、適切に整列された人工股関節インプラント１０２の位置合わせパラメータの１つであるため、大腿骨ステム１１５の前捻角度υは、典型的には、寛骨臼シェル１０６の前捻角度υと同じ範囲の値を有する（すなわち、約１０°～約３０°、又は約１０°～約２０°、又は約１５°～約２５°の範囲）。大腿骨ステムの長手方向軸が、大腿骨ステム１１５が配置される大腿骨１０５の解剖学的軸と同一直線上にあるように、近位大腿骨１０５の髄内管に大腿骨ステム１１５を配置することは、適切に位置合わせされた寛骨臼構成要素１０３に対して適切に位置合わせされた大腿骨構成要素１０４が、適切に位置合わせされた人工股関節インプラント１０２を共に画定するための別の位置合わせパラメータである。大腿骨ステム１１５のための第３の位置合わせパラメータは、切除の前の手術股関節の自然大腿骨頭部（１２６参照）に対する人工大腿骨頭部１１３の垂直位置である。
【0048】
図４は、リーミングされた寛骨臼１１１に対して位置合わせされていない寛骨臼構成要素１０３と、リーミングされた大腿管（髄内ボア１１９としても知られている）に対して短すぎる大腿骨構成要素１０４とを示す。図示のように、外転角度α及び前捻角度υは過剰である。患者が通常の使用中に自分の股関節を動かすと、頸部１１６が寛骨臼シェル１０６の縁２に接触することがある。集合的に、縁２及び頸部１１６は、人工大腿骨頭部１１３を寛骨臼構成要素１０３から変位させることができるレバーの支点になることができる。加えて、大腿骨構成要素１０４が寛骨臼構成要素１０３から変位しない場合であっても、内側ライナ１０７に対する大腿骨頭部１１３の力分布は、比較的小さい領域に過度に集中する場合があり、それによって、摩耗が増加し、インプラント１０２の寿命が短くなる。
【0049】
図４はまた、不適切なサイズであり、髄内ボア１１９に対して位置合わせされた大腿骨ステム１１５を示す。不適切なサイジングは、大腿骨リーミング（「ブローチ削り」としても知られる）ツールが、大腿骨１０５の内側皮質壁１２０の周辺にある海綿骨を除去するのに十分な大きさの髄内ボア１１９を作成しないときに起こり得る。経時的に、大腿骨ステム１１５は、大腿骨ステム１１５の側面と内側皮質壁１２０との間の任意の中間海綿骨を圧縮し、これは、大腿骨ステムを髄内ボア１１９内で沈下させ、近位大腿骨１０５に対して位置ずれさせる。ブローチ配置の変動性はまた、大腿骨ステム１１５の長手方向軸が遠位大腿骨１０５の解剖学的軸（すなわち、中心軸、又は長手方向軸）に対して内反角度で配置される内反傾斜をもたらし得る。例えば、外科医が、大腿骨ステム１１５の所望の位置の上で髄内管１１９の外側皮質壁１２０に接触することが一般的である。外科医は、患者が小さい大腿骨ステム１１５のみを収容する狭い髄内管１１９を有すると考えて、髄内管１１９の外側皮質壁１２０に接触するとリーミングを停止してもよい。実際には、大腿骨ステム１１５の長手方向軸は、遠位大腿骨１０５の解剖学的軸に対して内反角度で配置される。この沈下及び不整合は、最終的に、患者の脚のうちの一方の長さを他方の脚に対して変化させ、ひいては、患者の歩行を改変する可能性がある。停止歩行は、患者の身体を通した力分布を変化させ、それは、内部人工股関節インプラント１０２の摩耗並びに残りの自然股関節１０１ｂ上の健康な軟骨１２３の摩耗を更に加速させ得る。
【0050】
遠位大腿骨１０５に対する大腿骨構成要素１０４の沈下及び位置合わせ不良は、従来の２ＤＸ線写真で達成及び確認することが特に困難であり得る。これは、大腿骨構成要素１０４が６～８インチの主切開部を通して近位大腿骨１０５に挿入されるためである。外科医の挿入の視野は、手技の低侵襲的性質によって制限され、大腿骨構成要素は、髄内ボア１１９に進入すると、補助なしの目にはもはや見えない。従来の２Ｄ術中Ｘ線写真（蛍光透視画像など）は、三次元を示さず、したがって、３Ｄ空間における手術領域１７０の正確な現実世界の描写を提供することができない。
【0051】
患者の快適さ及びインプラントの寿命は、人工股関節インプラント１０２の配置及びサイズに部分的に依存すると考えられる。一般に、適切なサイズのインプラントの配置が罹患前の関節の自然な運動をより厳密に再現するほど、インプラントがより長く持続することが予想され得、患者がより快適に感じることが予想される。
【0052】
近年、Ｘ線写真など、２Ｄ画像を使用して、手術領域の３Ｄモデルを作成することが可能になった。これらのモデルは、実際の手術の日付にはるかに近い手術を計画するために術前に使用され得る。これらのモデルはまた、術中（例えば、ディスプレイ上に投影されるとき、又は外科医の視野にわたって投影されるとき）に使用され得る。
【0053】
しかしながら、Ｘ線写真は、典型的には、画像解像度及び精度に関する懸念のため、３Ｄモデルの入力として以前は使用されていなかった。Ｘ線写真は、３Ｄ空間の２Ｄ表現である。したがって、２ＤのＸ線写真では、三次元に存在する実際の物体と比べて画像対象が必ず歪む。更に、Ｘ線が通過する物体は、Ｘ線源２１（典型的にはＸ線機のアノード；図１２を参照されたい）からＸ線検出器３３（非限定的な例として、Ｘ線イメージインテンシファイア、リン材料、フラットパネル検出器「ＦＰＤ」（間接変換ＦＰＤ及び直接変換ＦＰＤを含み得る）、又は任意の数のデジタル若しくはアナログＸ線センサ若しくはＸ線フィルム；図１２参照）に移動するにつれてＸ線の経路を偏向させることができる。Ｘ線機械（１８００、図１２参照）自体又はその較正の欠陥もまた、Ｘ線写真測量及び３Ｄモデル再構成の有用性を損なう可能性がある。加えて、放出されたＸ線光子は、異なるエネルギーを有する。Ｘ線がＸ線源２１と検出器３３との間に配置された物質と相互作用するとき、ノイズ及びアーチファクトは部分的に、コンプトン散乱及びレイリー散乱、光電効果、環境における外因性変異、又はＸ線生成ユニット、Ｘ線検出器、及び／若しくは処理ユニット若しくはディスプレイにおける内因性変異のために生成され得る。
【0054】
更に、単一の２Ｄ画像では、実際の対象の３Ｄデータが失われる。したがって、計算機１６００（例えば、コンピュータ）が実際の３Ｄ物体の３Ｄモデルを再構成するために単一の２Ｄ画像から使用することができるデータはない。この理由から、ＣＴスキャン、ＭＲＩ、及び三次元データを保存する他の撮像技術は、多くの場合、１つ以上の対象整形外科要素のモデルを再構成する（すなわち、実際の３Ｄデータから３Ｄモデルを再構成して、一般に、より正確でより高い解像度のモデルを生成する）のに好ましい入力であった。しかしながら、以下で論じられる本開示の特定の例示的な実施形態は、深層学習ネットワークを使用して、Ｘ線入力画像から生成される再構成された３Ｄモデルの精度を改善することによって、これらの問題を克服する。
【0055】
２Ｄの術前又は術中の画像から３Ｄモデルを生成するための様々な方法がある。例として、１つのそのような方法は、放射線撮像システムを用いて患者の手術領域１７０の２Ｄ放射線画像のセットを受信し、放射線撮像システムの座標系とそれぞれの２Ｄ画像からの射影幾何データとを用いてエピポーラ幾何原理を使用して、第１の３Ｄモデルを計算することを含み得る（図８並びに図９Ａ、図９Ｂ及び図９Ｃ参照）。そのような例示的な方法は、２Ｄ放射線画像上の第１の３Ｄモデルを投影し、次いで、第１の３Ｄモデル上の第１及び第２の放射線画像３０、５０を画像間位置合わせ技術で位置合わせすることによって、初期の３Ｄモデルを調整することを更に含み得る。画像間位置合わせ技術が適用されると、修正された３Ｄモデルが生成され得る。このプロセスは、所望の明確さが達成されるまで繰り返され得る。
【0056】
別の例として、畳み込みニューラルネットワーク（convolutional neural network、「ＣＮＮ」）、リカレントニューラルネットワーク（recurrent neural network、「ＲＮＮ」）、モジュール型ニューラルネットワーク（modular neural network）、又はＳｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅモデルなどの深層学習ネットワーク（「深層ニューラルネットワーク」（「deep neural network、ＤＮＮ」としても知られる）を使用して、患者の手術領域１７０の少なくとも２つの２Ｄ画像のセットから対象整形外科要素の３Ｄモデル（すなわち、モデル化された整形外科要素１００ｂ）を生成することができる。２Ｄ入力画像３０、５０などは、望ましくは、放射線画像（例えば、Ｘ線又は蛍光透視画像）などの組織透過画像である。そのような方法では、深層学習ネットワークは、それぞれの２Ｄ画像からの射影幾何データ（すなわち、空間データ４３又は体積データ７５）からモデルを生成し得る。深層学習ネットワークは、手術領域１７０における異なる対象整形外科要素１００（例えば、骨、軟組織など）のマスクを生成することができ、並びに１つ以上の画像化された整形外科要素１００の体積（図７の６１参照）を計算することができるという利点を有し得る。例示的な実施形態では、識別された整形外科要素１００又は内部人工インプラントアセンブリ１０２の構成要素の寸法は、入力画像３０、５０（図８）から導出される空間データ４３（図８）にマッピングされて、３Ｄ空間における識別された整形外科要素１００又は内部人工インプラントアセンブリの構成要素の位置を確認することができる。このようにして、識別された整形外科要素１００及び内部人工インプラントの構成要素（例えば、寛骨臼構成要素１０４又は大腿骨構成要素１０３）の位置を、互いに対して確認することができる。この情報が外科医に表示され、識別された整形外科要素に対する外科医のインプラント構成要素の再配置に基づいてリアルタイム又はほぼリアルタイムで更新される場合、外科医は、本開示による例示的実施形態を使用して、主切開によって提供される限定された視野を回避しながら、三次元で識別された整形外科要素に対してインプラント構成要素を正確に整合させることができる。
【0057】
以下に説明するようにシステムが較正されると、新しい組織透過画像（すなわち、システムを較正するのに必要な入力画像の数よりも少ない）を術中に撮影して、手術領域の再構築モデルを更新することができる（例えば、内部人工インプラントの別の構成要素に関連する、又は識別された整形外科要素に対して、内部人工インプラントの識別された構成要素の位置をリフレッシュする）ことが企図される。他の例示的な実施形態では、システムを較正するために選択された入力画像の数と同じ数の新しい組織透過画像を使用して、内部人工インプラントの別の構成要素に対する、又はシステム内の識別された整形外科要素に対する内部人工インプラントの構成要素の位置をリフレッシュすることができる。
【0058】
図５は、空間における整形外科要素の位置を確認するための例示的な方法の工程を概説するフローチャートである。方法は、画像点（例えば、ＸＬ、ＸＲ；図８）と対応する空間座標（例えば、ｘ及びｙ座標；図８）との間のマッピング関係を決定するために、放射線撮像機１８００などの組織透過装置を較正して、空間データ４３を画定する工程１ａと、放射線撮像技術を使用して整形外科要素１００の第１の画像３０（図８）をキャプチャする工程であって、第１の画像３０は、第１の基準フレーム３０ａを画定する工程２ａと、放射線撮像技術を使用して整形外科要素１００の第２の画像５０（図８）をキャプチャする工程であって、第２の画像５０は、第２の基準フレーム５０ａを画定し、第１の基準フレーム３０ａは、オフセット角度θで第２の基準フレーム５０ａからオフセットされる工程３ａと、空間データ４３を使用して整形外科要素を検出するために深層学習ネットワークを使用する工程であって、空間データ４３は、整形外科要素１００上又はその中の解剖学的ランドマークを画定し、検出された整形外科要素は、識別された整形外科要素１００ａを画定する工程４ａと、解剖学的ランドマークによって画定された識別された整形外科要素１００ａにマスクを適用するために深層学習ネットワークを使用する工程５ａと、体積データ７５（図７）を画定するために、識別された整形外科要素１００ａの第１の画像３０からの空間データ４３及び識別された整形外科要素１００ａの第２の画像５０からの空間データ４３を投影する工程であって、第１の画像３０又は第２の画像５０のいずれかのマスクされた領域内に配置された画像点（例えば、ＸＬ、ＸＲ）を含む空間データ４３は第１の値を有し、第１の画像３０又は第２の画像５０のいずれかのマスクされた領域の外側に配置された画像点（例えば、ＸＬ、ＸＲ）を含む空間データ４３は第２の値を有し、第１の値は第２の値とは異なる、工程６ａと、モデル化された整形外科要素１００ｂを画定するために、体積データ７５に深層学習ネットワークを適用して、整形外科要素の再構築３Ｄモデルを生成する工程７ａと、三次元モデル化された整形外科要素１００ｂを空間データ４３にマッピングする工程８ａと、を含む。他の例示的な実施形態では、工程４ａは、深層学習ネットワークを使用して整形外科要素１００上又はその中の解剖学的ランドマークを画定する空間データ４３を検出することを含むことができる。
【0059】
図６は、空間における整形外科要素の位置を確認するための他の例示的な方法の工程を概説するフローチャートである。方法は、画像点（例えば、ＸＬ、ＸＲ）と対応する空間座標（例えば、ｘ座標及びｙ座標）との間のマッピング関係を決定して空間データ４３を画定するために、放射線撮像機などの組織透過撮像機を較正する工程１ｂと、放射線撮像技術を使用して整形外科要素１００の第１の画像３０をキャプチャする工程であって、第１の画像３０が第１の基準フレーム３０ａを画定する、工程２ｂと、放射線撮像技術を使用して整形外科要素１００の第２の画像５０をキャプチャする工程であって、第２の画像５０が第２の基準フレーム５０ａを画定し、第１の基準フレーム３０ａが第２の基準フレーム５０ａからオフセット角度θでオフセットされている、工程３ｂと、深層学習ネットワークを使用して、識別された整形外科要素１００ａを画定するために空間データ４３を使用して整形外科要素１００を検出する工程であって、空間データ４３が、整形外科要素１００上又は内の解剖学的ランドマークを画定する、工程４ｂと、解剖学的ランドマークによって画定された識別された整形外科要素１００ａにマスクを適用するために深層学習ネットワークを使用する工程５ｂと、体積データ７５を画定するために、識別された整形外科要素１００ａの第１の画像３０からの空間データ４３及び識別された整形外科要素１００ａの第２の画像５０からの空間データ４３を投影する工程であって、第１の画像３０又は第２の画像５０のいずれかのマスクされた領域内に配置された画像点（例えば、ＸＬ、ＸＲ）を含む空間データ４３は第１の値を有し、第１の画像３０又は第２の画像５０のいずれかのマスクされた領域の外側に配置された画像点（例えば、ＸＬ、ＸＲ）を含む空間データ４３は第２の値を有し、第１の値は第２の値とは異なる、工程６ｂと、整形外科要素１００ｂを画定するために整形外科要素の再構築３Ｄモデルを生成するために深層学習ネットワークを体積データ７５に深層学習ネットワークを適用する工程７ｂと、モデル化された整形外科要素１００ｂを空間データ４３にマッピングする工程であって、整形外科要素は骨盤１１０のリーミングされた寛骨臼１１１である、工程８ｂと、を含む。他の例示的な実施形態では、工程４ｂは、深層学習ネットワークを使用して、識別された整形外科要素１００ａ上又はその中の解剖学的ランドマークを画定する空間データ４３を検出することを含むことができる。
【0060】
特定の例示的な実施形態では、深層学習ネットワークは、個別のタスク（例えば、識別された整形外科要素１００ａを画定するための整形外科要素１００の識別、識別された整形外科要素１００ａにマスクを適用すること、モデル化された整形外科要素１００ｂを画定するために識別された整形外科要素１００ａをモデル化することなど）を実行するように別々に訓練された同じ深層学習ネットワークとすることができることが理解されよう。他の例示的な実施形態では、異なる深層学習ネットワークを使用して、離散タスクのうちの１つ以上を実行することができる。
【0061】
本開示による例示的な方法及びシステムは、全股関節形成術（「ＴＨＡ」）に関連して使用され得ることが企図される。そのような例示的な実施形態では、整形外科要素１００は、大腿骨１０５、大腿骨頭部１２６、骨盤１１０、骨盤の寛骨臼腔（例えば、天然寛骨臼１０８又はリーミングされた寛骨臼１１１）、及び手術領域１７０内又はその近くに存在する他の骨の解剖学的ランドマークであり得る。しかしながら、本開示における何も、ＴＨＡ処置において使用するための例示的なシステム及び方法の適用を限定しないことが理解されるであろう。例示的なシステム及び方法は、かなりの量の組織の存在が整形外科要素１００又は手術領域１７０の視界を全体的に妨げる任意の外科的処置において有用であり得ることが企図される。肩、膝、又は脊椎を含む手術は、主要な例であり得る。小児心胸郭処置は別の例であり得る。本開示によるシステム及び方法は更に、外科医の視野が、概して、肩、股関節、及び脊椎手技におけるよりも周囲組織によってあまり不明瞭ではないとしても、手首及び足首手技で有用であり得る。
【0062】
上の例は、理解を助ける目的で提供されており、本開示の範囲を限定することを意図するものではない。少なくとも２つの横方向位置から撮られた同じ対象の２Ｄ放射線画像から３Ｄモデルを生成するための全ての方法は、本開示の範囲内であると考えられる。
【0063】
図７及び図８は、第１の入力画像３０及び第２の入力画像５０を組み合わせて、体積データ７５を含む体積６１が作成され得る仕組みを示す（図７）。図７では、撮像された手術領域１７０は膝関節のものである。図７は、深層学習ネットワークが、オフセット角度θだけ互いにオフセットされた２つの較正済み入力画像３０、５０から体積データ７５を取得し、体積データ７５から１つ以上のモデル化された整形外科要素１００ｂをどのように生成することができるかの例を提供する。図７では、手術領域１７０は膝関節の領域である。
【0064】
図８は、それぞれの入力画像３０、５０からの空間データ４３を体積データ７５に変換するために使用され得るエピポーラ幾何の基本原理を示す。空間データ４３は、所与の入力画像３０、５０の対応する空間座標（例えば、ｘ及びｙ座標）にマッピングされる画像点（例えば、ＸＬ、ＸＲ）の集合によって画定されることが理解されるであろう。
【0065】
図８は、ピンホールカメラモデルによって記載される斜視投影の簡略化された概略図である。図８は、コンピュータステレオビジョンに関連する基本的な概念を伝えるものであるが、３Ｄモデルが２Ｄステレオ画像から再構成され得る唯一の方法を意味するものではない。この簡略化されたモデルでは、光線は、光学的中心（すなわち、対象物体からの電磁放射の光線（例えば、可視光線、Ｘ線など）が撮像機のセンサ又は検出器アレイ３３（図１２）内で交差することが想定されるレンズ内の点）から放射される。光学的中心は、図８に点ＯＬ、ＯＲで表されている。実際には、画像平面（３０ａ、５０ａを参照されたい）は、通常、光学的中心（例えば、ＯＬ、ＯＲ）の後ろにあり、実際の光学的中心は、点として検出器アレイ３３に投影されるが、原理をより簡潔に示すためにここでは仮想画像平面（３０ａ、５０ａを参照されたい）が提示されている。
【0066】
第１の入力画像３０は、第１の基準フレーム３０ａから撮られ、第２の入力画像５０は、第１の基準フレーム３０ａとは異なる第２の基準フレーム５０ａから撮られる。それぞれの画像はピクセル値の行列を含む。第１及び第２の基準フレーム３０ａ、５０ａは、望ましくは、互いからオフセット角度θだけオフセットされる。オフセット角度θは、第１の基準フレーム３０ａのｘ軸と第２の基準フレーム５０ａのｘ軸との間の角度を表し得る。換言すれば、第１の画像内の整形外科要素の配向と、第２の画像内の整形外科要素との間の角度は「オフセット角度」として知られ得る。
【0067】
点ｅＬは、第１の入力画像３０上の第２の入力画像の光学的中心ＯＲの場所である。点ｅＲは、第２の入力画像５０上の第１の入力画像の光学的中心ＯＬの場所である。点ｅＬ及びｅＲは、「エピポール」又はエピポーラ点として知られており、線ＯＬ－ＯＲ上にある。点Ｘ、ＯＬ、ＯＲは、エピポーラ面を画定する。
【0068】
実際の光学的中心は、対象物体からの電磁放射の入射光線が検出器レンズ内で交差することが想定される点であるため、このモデルでは、電磁放射の光線は、３Ｄ空間における３Ｄ点Ｘの位置が、既知の相対位置の検出器３３からキャプチャされた２つ以上の入力画像３０、５０からどのように確認され得るかを視覚化する目的で、実際に光学的中心ＯＬ、ＯＲから放射されると考えられ得る。第１の入力画像３０のそれぞれの点（例えば、ＸＬ）が３Ｄ空間内の線に対応する場合、次いで、対応する点（例えば、ＸＲ）が第２の入力画像内で検出され得る場合、これらの対応点（例えば、ＸＬ、ＸＲ）は、共通の３Ｄ点Ｘの投影である必要がある。したがって、対応する画像点（例えば、ＸＬ、ＸＲ）によって生成される線は、３Ｄ点Ｘで交差する必要がある。一般に、Ｘの値が、２つ以上の入力画像３０、５０内の全ての対応する画像点（例えば、ＸＬ、ＸＲ）に対して計算される場合、体積データ７５を含む３Ｄ体積６１は、２つ以上の入力画像３０、５０から複製され得る。任意の所与の３Ｄ点Ｘの値は、様々な方法で三角測量され得る。例示的な計算方法の非限定的なリストは、中点法、直接線形変換法、基本行列法、交点法、及びバンドル調整法を含む。更に、特定の例示的な実施形態では、深層学習ネットワークは、同じ対象の２つ以上の入力画像に基づいて３Ｄ空間内の所与の点の位置を決定するためのモデルを確立するために、入力画像のセットに対して訓練され得、第１の入力画像３０は、オフセット角度θで第２の入力画像５０からオフセットされる。上記方法のいずれかの組合せが本開示の範囲内であることが更に理解されるであろう。
【0069】
本明細書に記載される「画像点」（例えば、ＸＬ、ＸＲ）は、空間内の点、ピクセル、ピクセルの一部分、又は隣接するピクセルの集合を指し得ることが理解されよう。本明細書で使用されるとき、３Ｄ点Ｘは、３Ｄ空間内の点を表し得ることも理解されよう。特定の例示的な用途において、３Ｄ点Ｘは、ボクセル、ボクセルの一部分、又は隣接するボクセルの集合として表現され得る。
【0070】
しかしながら、エピポーラ幾何の原理が適用され得る前に、他の画像検出器３３（複数可）に対する各画像検出器３３の位置が決定されなければならない（又は単一の画像検出器３３の位置が、第１の画像３０が撮影された時点で決定されなければならず、単一の画像検出器３３の調整された位置が、第２の画像５０が撮影された時点で既知でなければならない）。また、撮像機１８００の焦点距離及び光学的中心を決定することが望ましい場合がある。これを実際に確認するために、画像検出器３３（又は、複数の画像検出器）は最初に較正される。図９Ａ、図９Ｂ、及び図９Ｃは、対象の整形外科要素１００に対する較正治具９７３Ａ、９７３Ｂ、９７３Ｃを示す。これらの図において、例示的な整形外科要素１００は、大腿骨１０５の近位面及び股関節１０１を含む骨盤１１０の自然寛骨臼１０８を含む。
【0071】
少なくとも２つの入力画像３０、５０が、本明細書に説明される例示的システムを較正するために技術的に必要とされるが、少なくとも３つの入力画像３０、５０、７０は、入力画像が放射線入力画像であり、標的手術領域１７０が、放射線撮像から容易に隔離されることができない対側関節を伴う場合、望ましくあり得る。例えば、骨盤１１０は、対側寛骨臼１０８を含む。骨盤１１０の直接内側－外側放射線写真は、検出器３３の近位にある寛骨臼と、検出器３３の遠位にある寛骨臼との両方を示すであろう。しかしながら、検出器３３に対する骨盤１１０の位置決めのため、及び単一の２Ｄ放射線写真が３Ｄデータを欠くため、相対的寛骨臼は、互いに重ね合わされて見え、人又は計算機１６００が、どちらが近位寛骨臼であり、どちらが遠位寛骨臼であるかを区別することは困難である。
【0072】
この問題に対処するために、少なくとも３つの入力画像３０、５０、７０を使用することができる。１つの例示的な実施形態では、第１の入力画像３０は、手術領域１７０の前方－後方斜視図（すなわち、第１の基準フレーム３０ａの一例）を取り込む放射線写真であり得る。第２の入力画像５０に対して、患者又は検出器３３は、第１の入力画像３０に対する患者の向きに対して時計回り（正の角度によって指定することができる）又は反時計回り（負の角度によって指定することができる）に回転させることができる。例えば、第２の入力画像５０に対して、患者は、第１の入力画像３０における患者の向きから±４５°回転されてもよい。同様に、患者は、第１の入力画像３０に対する患者の向きに対して時計回り又は反時計回りに回転され得る。例えば、第３の入力画像７０について、患者は、第１の入力画像３０における患者の向きに対して±４５°回転されてもよい。第２の入力画像５０が第１の入力画像３０の向きに対して正のオフセット角度（例えば、＋４５°）を有する場合、第３の入力角度７０は望ましくは第１の入力画像３０の向きに対して負のオフセット角度（例えば、－４５°）を有し、逆もまた同様であることが理解されよう。
【0073】
例示的な実施形態では、例示的なシステムを較正するために、少なくとも３つの異なる基準フレーム３０ａ、５０ａ、７０ａから取られた少なくとも３つの入力画像３０、５０、７０に原理又はエピポーラ幾何を適用することができる。
【0074】
図９Ａは、例示的手術領域１７０内の例示的整形外科要素１００（例えば、近位大腿骨１０５、天然寛骨臼１０８、骨盤１１０、関節軟骨、他の軟組織など）の前後図である。すなわち、図９Ａは、第１の基準フレーム３０ａ（例えば、第１の横方向位置）から取られた第１の画像３０を表す。第１の較正治具９７３Ａは、第１の保持アセンブリ９７４Ａに取り付けられる。第１の保持アセンブリ９７４Ａは、第１のストラップ９７７Ａに係合された第１のパッド付き支持体９７１Ａを含み得る。第１のパッド付き支持体９７１Ａは、第１のストラップ９７７Ａを介して患者の大腿部の外側に取り付けられる。第１の保持アセンブリ９７４Ａは、第１の基準フレーム３０ａに対して望ましくは平行に向けられた第１の較正治具９７３Ａを支持する（すなわち、検出器３３に直交する）。較正治具９７３Ａは、較正治具９７３Ａがいずれかの対象の整形外科要素１００と重ならないように、所望の対象の整形外科要素１００から十分に離れて配置されることが望ましい。重なり合うことは、望ましい画像データを不明瞭にする。
【0075】
図９Ｂは、第１の基準フレーム３０ａから４５°だけ正方向にオフセットされた図９Ａの例示的な手術領域１７０の例示的な整形外科要素１００（例えば、近位大腿骨１０５、天然寛骨臼１０８、骨盤１１０、関節軟骨、他の軟組織など）の図である。すなわち、図９Ｂは、第２の基準フレーム５０ａ（例えば、第２の横方向位置）から取られた第２の入力画像５０を表す。第２の較正治具９７３Ｂは、第２の保持アセンブリ９７４Ｂに取り付けられる。第２の保持アセンブリ９７４Ｂは、第２のストラップ９７７Ｂに係合された第２のパッド付き支持体９７１Ｂを含み得る。第２のパッド付き支持体９７１Ｂは、第２のストラップ９７７Ｂを介して患者の大腿部の外側に取り付けられる。第２の保持アセンブリ９７４Ｂは、第２の基準フレーム５０ａに対して望ましくは平行（すなわち、検出器３３に直交する）に向けられた第２の較正治具９７３Ｂを支持する。較正治具９７３Ｂは、較正治具９７３Ｂがいずれかの対象の整形外科要素１００と重ならないように、対象の整形外科要素１００から十分に離れて配置されることが望ましい。
【0076】
図９Ｃは、第１の基準フレーム３０ａから４５°だけ負方向にオフセットされた図９Ａの例示的な手術領域１７０の例示的な整形外科要素１００（例えば、近位大腿骨１０５、天然寛骨臼１０８、骨盤１１０、関節軟骨、他の軟組織など）の図である。すなわち、図９Ｃは、第３の基準フレーム７０ａ（例えば、第３の横方向位置）から取られた第３の入力画像７０を表す。第３の較正治具９７３Ｃは、第３の保持アセンブリ９７４Ｃに取り付けられる。第３の保持アセンブリ９７４Ｃは、第３のストラップ９７７Ｃに係合された第３のパッド付き支持体９７１Ｃを含むことができる。第３のパッド付き支持体９７１Ｃは、第３のストラップ９７７Ｃを介して患者の大腿部の外側に取り付けられる。第３の保持アセンブリ９７４Ｃは、第３の基準フレーム７０ａに対して望ましくは平行（すなわち、検出器３３に直交する）に向けられた第３の較正治具９７３Ｃを支持する。較正治具９７３Ｃは、較正治具９７３Ｃが対象の整形外科要素１００と重ならないように、対象の整形外科要素１００から十分に離れて配置されることが望ましい。
【0077】
システムが術前に較正される場合、股関節がこの向き（図１２参照）で安定しているため、患者は立位（すなわち、脚が伸びている）に位置決めされ得る。システムが手術中に較正されている場合、患者は手術台の上に仰向けに横たわっていてもよい。好ましくは、撮像機に対する患者の距離は、入力画像３０、５０、７０の取得中に変更されるべきではない。第１の、第２の、及び第３の入力画像３０、５０、７０は脚全体をキャプチャする必要はなく、むしろ画像は手術領域１７０の対象となる関節に焦点を合わせることができる。
【0078】
画像化され、モデル化される対象整形外科要素１００に応じて、単一の較正治具９７３のみが使用され得ることが理解されよう。同様に、整形外科要素１００の特に長い集合が撮像及びモデル化される場合、複数の較正治具９７３を使用することができる。
【0079】
較正治具９７３Ａ、９７３Ｂ、９７３Ｃは、既知の大きさであることが望ましい。各較正治具９７３Ａ、９７３Ｂ、９７３Ｃは、全体にわたって分布する少なくとも４つ以上の較正点９７８を有することが望ましい。較正点９７８は、他の点に対する１つの点９７８からの距離が分かっている既知のパターンで分布している。較正治具９７３から整形外科要素１００までの距離も、望ましくは知ることができる。Ｘ線写真測量システムの較正のために、較正点９７８は、望ましくは、較正治具９７３上の金属構造によって画定され得る。金属は、典型的には、金属に接触するほとんどのＸ線ビームを吸収する。したがって、金属は、典型的には、Ｘ線をほとんど吸収しない物質（空気腔又は脂肪組織など）と比較して非常に明るく見える。較正点を画定する一般的な例示的な構造には、リソークロス（reseau cross）、円、三角形、ピラミッド、及び球が含まれるが、これらに限定されない。
【0080】
これらの較正点９７８は、較正治具９７３の２Ｄ表面上に存在し得るか、又は、３Ｄ較正点９７８は、所与の画像基準フレームから２Ｄ投影としてキャプチャされ得る。いずれの状況においても、３Ｄ座標（一般にｚ座標と呼ばれる）は、画像内にキャプチャされる全ての較正点９７８に対してゼロに等しくなるように設定され得る。それぞれの較正点９７８の間の距離は既知である。これらの既知の距離は、画像センサ／検出器３３においてｘ，ｙ座標として表現され得る。３Ｄ空間内の点をセンサ３３上の２Ｄ座標ピクセルにマッピングするために、検出器の較正行列、外因性行列、及び実３Ｄ点の相同座標ベクトルの内積が使用され得る。これにより、３Ｄ空間内の点の実世界座標は、較正治具９７３に対してマッピングされる。換言すれば、これは、一般に、３Ｄ空間内の実点のｘ，ｙ座標が、空間データ４３を画定するために画像検出器のセンサ３３の２Ｄ座標平面に正確に変換されることを可能にする（図８参照）。
【0081】
上記の較正方法は、一例として提供される。Ｘ線写真測量システムを較正するのに好適な全ての方法は、本開示の範囲内であると考えられることが理解されよう。他のＸ線写真測量システム較正方法の非限定的なリストは、リソープレート、Ｚｈａｎｇ法、バンドル調整方法、直接線形変換方法、最尤推定、ｋ近傍回帰手法（「ＫＮＮ」）、畳み込みニューラルネットワーク（「ＣＮＮ」）ベースの手法、他の深層学習方法、又はそれらの組合せの使用を含む。
【0082】
図７は、２つの較正された入力画像３０、５０が、既知のオフセット角度θに沿って配向されたときに、２つのチャネル６５及び６６を含む３Ｄ体積６１にどのように逆投影され得るかの原理を示す。第１のチャネル６５は、第１の入力画像３０の全ての画像点（例えば、ＸＬなど）を含み、第２のチャネル６６は、第２の入力画像５０の全ての画像点（例えば、ＸＲなど）を含む。すなわち、それぞれの画像点（例えば、ピクセル）は、その関連する逆投影された３Ｄ光線の上に複製される。次に、エピポーラ幾何を使用して、これらの逆投影された２Ｄ入力画像３０、５０から体積データ７５を含む画像化された手術領域１７０の体積６１が生成され得る。第３の入力画像７０が使用される場合、第３の入力画像７０の画像点の全てを含む第３のチャネルが存在し得る。
【0083】
図７を参照すると、第１の入力画像３０及び第２の入力画像５０は、既知の画像寸法を有することが望ましい。寸法は、ピクセルであり得る。例えば、第１の画像３０は、１６４×１６４ピクセルの寸法を有し得る。第２の画像５０は、１６４×１６４ピクセルの寸法を有し得る。特定の計算で使用される入力画像３０、５０の寸法は、望ましくは、一貫した寸法を有する。一貫した寸法は、通常の体積６１の立方体作業領域（例えば、１６４×１６４×１６４の立方体）を後で画定するために望ましい場合がある。実施形態では、オフセット角度θは、各隣接する入力画像間で４５°であることが望ましい。しかしながら、他の例示的な実施形態では、他のオフセット角度θが使用されてもよい。例えば、図７では、オフセット角度θは９０°である。
【0084】
図示された例では、１６４×１６４ピクセルの入力画像３０、５０のそれぞれが、隣接する入力画像の長さにわたって１６４回複製されて、１６４×１６４×１６４ピクセルの寸法を有する体積６１が作製される。すなわち、第１の画像３０は、コピーされ、１ピクセル当たり１コピーで１６４ピクセル分それ自体の後ろに積み重ねられる一方、第２の画像５０は、コピーされ、積み重ねられた画像が重なり合い、それによって体積６１が作製されるように１６４ピクセル分それ自体の後ろに積み重ねられる。このようにして、体積６１は、２つのチャネル６５、６６を含むと言うことができ、第１のチャネル６５は、第２の画像５０の長さ（すなわち、第２の画像５０のｘ軸）にわたってｎ回複製された第１の画像３０を含み、第２のチャネル６６は、第１の画像３０の長さ（すなわち、第１の画像３０のｘ軸）にわたってｍ回複製された第２の画像５０を含み、「ｎ」及び「ｍ」は、指示された画像の長さを含むピクセルの数（又は、他の例示的な実施形態における他の寸法）として表現されるような、指示された画像の長さである。オフセット角度θが既知である場合、体積６１のそれぞれの横方向スライス（一部の放射線学者には「軸方向スライス」としても知られる）は、２つのエピポーラ線を含むピクセルから逆投影されるボクセルを含むエピポーラ平面を作成する。このようにして、対象整形外科要素１００の第１の画像３０からの空間データ４３と、対象整形外科要素１００の第２の画像５０からの空間データ４３とを投影して、体積データ７５を画定する。この体積データ７５を使用することで、３Ｄ表現は、上述のようにエピポーラ幾何原理を用いて再構成され得、３Ｄ表現は、入力画像３０、５０における情報と幾何学的に一貫している。
【0085】
深層学習ネットワークがＣＮＮである、深層学習ネットワークを使用して、空間内の整形外科要素及び／又は内部人工インプラントの構成要素を識別するための例示的なシステム及び方法、並びに空間内の整形外科要素及び内部人工インプラントの構成要素の位置を確認するための例示的なシステム及び方法では、ＣＮＮをどのように構造化及び訓練することができるかの詳細な例が提供される。ＣＮＮの全てのアーキテクチャは、本開示の範囲内にあると見なされる。一般的なＣＮＮアーキテクチャとして、例えば、ＬｅＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＺＦＮｅｔ、ＲｅｓＮｅｔ、及びＶＧＧＮｅｔが挙げられる。
【0086】
好ましくは、本明細書に開示される方法は、１つ以上の中央演算処理装置（central processing unit、ＣＰＵ）、ランダムアクセスメモリ（random access memory、ＲＡＭ）、及び／又は入力／出力（input/output、Ｉ／Ｏ）インターフェース（複数可）などのハードウェアを有するコンピュータプラットフォームに実装され得る（１６００を参照されたい）。
【0087】
図１０は、ＣＮＮを使用して対象の整形外科要素１００のエッジを識別できる方法を示すＣＮＮの概略図である。理論に束縛されるものではないが、所望の整形外科要素１００又はその表面トポグラフィを識別するのに必要な特徴を失うことなく体積データ７５のサイズを縮小するためにＣＮＮが望ましい場合があると考えられる。複数の逆投影された入力画像３０、５０の体積データ７５は、「入力テンソル」として知られ得る多次元アレイである。この入力テンソルは、第１の畳み込みのための入力データ（この例では、体積データ７５である）を含む。体積データ７５に配置されたフィルタ（カーネル６９としても知られている）が示されている。カーネル６９は、フィルタ又は機能を定義するテンソル（すなわち、多次元アレイ）である（このフィルタ又は機能は、カーネルに与えられる「重量」として知られることがある）。図示された実施形態では、カーネルテンソル６９は三次元である。カーネル６９を含むフィルタ又は機能は、手動でプログラムされるか、又はＣＮＮ、ＲＮＮ、若しくは他の深層学習ネットワークを通して学習され得る。図示された実施形態では、カーネル６９は、３×３×３テンソルであるが、カーネルテンソルサイズが入力テンソルのサイズより小さい限り、全てのテンソルサイズ及び寸法は、本開示の範囲内にあると見なされる。
【0088】
カーネル６９のそれぞれのセル又はボクセルは、数値を有する。これらの値は、カーネル６９のフィルタ又は機能を定義する。畳み込み又は相互相関動作は、２つのテンソル間で実行される。図１０では、畳み込みをパス７６で表している。カーネル６９が辿る経路７６は、数学的畳み込み演算の視覚化である。この経路７６を辿りながら、カーネル６９は、最終的に入力テンソルの全体積６１（例えば、体積データ７５）を順次横断する。この動作の目標は、入力テンソルから特徴を抽出することである。
【0089】
畳み込み層７２は、典型的には、畳み込み段階６７、検出器段階６８、及びプーリング段階５８のうちの１つ以上を含む。これらそれぞれの動作は、図１０の第１の畳み込み層７２ａで視覚的に表されているが、その後の畳み込み層７２ｂ、７２ｃなども、畳み込み段階６７、検出器段階６８、及びプーリング層５８動作、又はそれらの組合せ若しくは順列のうちの１つ以上、又は全てを含み得ることが理解されよう。更に、図１０は、様々な解像度の５つの畳み込み層７２ａ、７２ｂ、７２ｃ、７２ｄ、７２ｅを示しているが、他の例示的な実施形態では、より多くの畳み込み層又はより少ない畳み込み層が使用されてもよいことが理解されよう。
【0090】
畳み込み段階６７において、カーネル６９には、入力データ（すなわち、図示された例では、体積データ７５）内のピクセルの複数のパッチが順次乗算される。データから抽出されたピクセルのパッチは、受容野として知られている。カーネル６９と受容野との乗算は、受容野のそれぞれのピクセルとカーネル６９との間の要素ごとの乗算を含む。乗算後、結果が合計されて、畳み込み出力の１つの要素が形成される。次いで、このカーネル６９は、隣接する受容野にシフトし、要素ごとの乗算動作及び合計は、入力テンソルの全てのピクセルがこの動作を受けるまで継続する。
【0091】
この段階まで、入力テンソルの入力データ（例えば、体積データ７５）は線形である。次いで、このデータに非線形性を導入するために、非線形活性化関数が用いられる。そのような非線形関数の使用は、検出器段階６８の始まりを示す。一般的な非線形活性化関数は、関数によって与えられる正規化線形関数（Rectified Linear Unit function、「ＲｅＬＵ」）である。
【0092】
【数1】
【0093】
バイアスと共に使用される場合、非線形活性化関数は、カーネル６９によって抽出された特徴の存在を検出するための閾値として役立つ。例えば、入力テンソルとカーネル６９との間に畳み込み又は相互相関動作を適用することで、畳み込み出力テンソルが生成され、カーネル６９は、畳み込み段階６７で低レベルのエッジフィルタを含む。次いで、バイアスを伴う非線形活性化関数を畳み込み出力テンソルに適用することにより、特徴マップ出力テンソルが返される。バイアスは、畳み込み出力テンソルのそれぞれのセルに順次追加される。所与のセルについて、合計が０以上である場合（この例では、ＲｅＬＵが使用されると仮定する）、合計は、特徴マップ出力テンソルの対応するセルに返される。同様に、合計が所与のセルに対して０未満である場合、特徴マップ出力テンソルの対応するセルは０に設定される。したがって、畳み込み出力に非線形活性化関数を適用することは、畳み込み出力がカーネル６９の所与のフィルタと一致するか否か、及びどの程度密接に一致するかを決定するための閾値のように挙動する。このようにして、非線形活性化関数は、入力データ（例えば、この例では、体積データ７５）から所望の特徴の存在を検出する。
【0094】
全ての非線形活性化関数は、本開示の範囲内にあると見なされる。他の例としては、シグモイド、ＴａｎＨ、Ｌｅａｋｙ ＲｅＬＵ、ｐａｒａｍｅｔｒｉｃ ＲｅＬＵ、Ｓｏｆｔｍａｘ、及びＳｗｉｔｃｈ活性化関数が挙げられる。
【0095】
しかしながら、このアプローチの欠点は、この第１の畳み込み層７２ａの特徴マップ出力が所望の特徴（上記の例では、エッジ）の正確な位置を記録することである。したがって、入力データにおける特徴の小さな動きが、異なる特徴マップを生成することになる。この問題に対処し、かつ計算電力を削減するために、ダウンサンプリングを使用して、重要な構造要素を依然として保存しながら入力データの解像度を低下させる。ダウンサンプリングは、入力テンソルに沿った畳み込みのストライドを変更することによって達成され得る。ダウンサンプリングはまた、プーリング層５８を使用することによって達成される。
【0096】
入力テンソル（７２ａを参照されたい）と比べて畳み込まれたテンソル（７２ｂを参照されたい）の寸法を減少させるために、有効なパディングが適用されてもよい。プーリング層５８は、望ましくは、畳み込まれたデータの空間サイズを縮小するために適用され、これは、データを処理するために必要な計算電力を減少させる。最大プーリング及び平均プールを含む一般的なプーリング技術が使用され得る。最大プーリングは、カーネル６９によってカバーされた入力テンソルの部分の最大値を返す一方、平均プーリングは、カーネル６９によってカバーされた入力テンソルの部分の全ての値の平均を返す。最大プーリングを使用して、画像ノイズが低減され得る。
【0097】
特定の例示的な実施形態では、畳み込み層の出力によって表される高レベル特徴（例えば、撮像された天然寛骨臼１０８のプロファイル、リーミングされた寛骨臼１０９のプロファイル、又は整形外科要素の表面トポロジーなど）の非線形組合せを学習するために、最終畳み込み層７２ｅの後に完全結合層を追加することができる。
【0098】
整形外科要素１００上で使用される場合、ＣＮＮ型深層学習ネットワークの上記の説明は、深層学習ネットワークが、「識別された整形外科要素」１００ａを画定するために、整形外科要素１００を「識別する」ようにどのように構成され得るかの一例である。
【0099】
図１０の上半分は、入力体積データ７５の圧縮を表し、下半分は、入力体積データ７５の元のサイズに到達するまでの復元（decompression）を表す。それぞれの畳み込み層７２ａ、７２ｂ、７２ｃなどの出力特徴マップは、より複雑になっていく特徴抽出を可能にするために、後続の畳み込み層７２ｂ、７２ｃなどの入力として使用される。例えば、第１のカーネル６９はエッジを検出してもよく、第１の畳み込み層７２ｂ内のカーネルは所望の向きのエッジの集合を検出してもよく、第３の畳み込み層７２ｃ内のカーネルは所望の向きのより長いエッジの集合を検出してもよい、などである。このプロセスは、所望の整形外科要素１００のプロファイル全体が下流の畳み込み層７２によって検出され識別されるまで継続してもよい。
【0100】
図１０の下半分は、アップサンプル（すなわち、より低い解像度の特徴マップの空間サポートを拡大したもの）である。逆畳み込み動作は、次の下流の畳み込み層に対する入力のサイズを増大するために実行される（７２ｃ、７２ｄ、７２ｅを参照されたい）。最終畳み込み層７２ｅの場合、畳み込みは、１×１×１カーネル６９と共に採用されて、入力体積６１と同じサイズのマルチチャネル出力体積５９が生成され得る。マルチチャネル出力体積５９のそれぞれのチャネルは、所望の抽出された高レベル特徴を表し得る。これに続いて、Ｓｏｆｔｍａｘ活性化関数が、所望の整形外科要素１００を検出し得る。例えば、図示された実施形態は、０、１、２、３、４と番号付けされた５つの出力チャネルを備えてもよく、チャネル０は識別されたバックグラウンドボリュームを表し、チャネル１は識別された大腿骨近位１０５を表し、チャネル２は識別されたリーミングされた寛骨臼１１１を表し、チャネル３は識別された寛骨臼構成要素１０３を表し、チャネル４は識別された大腿骨構成要素１０４を表す。
【0101】
他の例示的な実施形態では、より少ない出力チャネル又はより多くの出力チャネルを使用することができることが理解されよう。提供される出力チャネルは、本明細書に列挙されるものとは異なる整形外科要素１００及び内部人工インプラントの構成要素を表し得ることも理解されるであろう。
【0102】
例えば、システムが整形外科要素１００を識別するように構成され、整形外科要素１００が近位大腿骨１０５の内側皮質壁１２０であり、システムが内部人工インプラントの構成要素を識別するように構成され、内部人工インプラントの構成要素が試行構成要素構築物である例示的な実施形態では、例示的な実施形態は、０、１、２と番号付けされた３つの出力チャネルを含むことができ、チャネル０は識別されたバックグラウンド体積を表し、チャネル１は近位大腿骨１０５の内側皮質壁１２０を表し、チャネル２は識別された大腿骨構成要素１０４を表す。上記の例で使用される「試行構成要素構築物」は、試行構成要素構築物が近位大腿骨１０５で使用される構築物を説明する場合、ブローチ、試行頸部、及び試行頭部アセンブリ、又は試行ステムを含むことができる。
【0103】
システムが整形外科要素１００を識別するように構成され、整形外科要素１００が骨盤１１０のリーミングされた寛骨臼１１１であり、システムが内部人工インプラントの構成要素を識別するように構成され、内部人工インプラントの構成要素が寛骨臼構成要素１０３又は試行寛骨臼構成要素である例示的な実施形態では、例示的な実施形態は、０、１、２と番号付けされた３つの出力チャネルを含むことができ、チャネル０は識別されたバックグラウンド体積を表し、チャネル１は骨盤１１０のリーミングされた寛骨臼１１１を表し、チャネル２は寛骨臼構成要素１０３又は試行寛骨臼構成要素を表す。
【0104】
そのような例示的な実施形態は、任意選択で、近位大腿骨１０５の外壁を表す出力チャネルなどの追加の出力チャネルを含むことができる。他の出力チャネルを使用して、内部人工インプラントの構成要素が着座している識別された整形外科要素１００ａに対する、内部人工インプラントの識別された構成要素の外転角度α及び前捻角度υをそれぞれ出力することができる。更に他の出力チャネルを使用して、（非限定的な例として）識別された整形外科要素の決定されたサイズ寸法、内部人工インプラントの推奨された構成要素タイプ／製品モデル、内部人工インプラントの推奨された構成要素サイズ、内皮質壁１２０の寸法に対する推奨された構成要素又は推奨された構成要素サイズの「ベストフィット」出力、大腿骨構成要素１０４の長手方向軸の位置合わせ計算、大腿骨近位１０５の解剖学的軸に対する試行構成要素構築、寛骨臼の計算された中心、又は人工大腿骨頭部１１３の中心に対する大腿骨構成要素１０４の首の長手方向軸の位置合わせを出力することができる。前述のいずれかの組合せは、本開示の範囲内であると考えられる。
【0105】
内部人工インプラントの構成要素又はそのサブ構成要素に使用される場合、ＣＮＮタイプの深層学習ネットワークの上記の説明は、どのようにして深層学習ネットワークを内部人工インプラントの構成要素（又はそのサブ構成要素）を「識別するように構成」して、内部人工インプラントの識別された構成要素を画定することができるかの一例である。内部人工インプラントで使用される場合、ＣＮＮタイプの深層学習ネットワークの上記の説明は、どのようにして深層学習ネットワークを内部人工インプラントを「識別するように構成」して「識別された内部人工インプラント」を画定することができるかの一例である。複数の整形外科要素、内部人工インプラントの複数の構成要素、複数の内部人工インプラント、又はそれらの組合せに適用される場合、ＣＮＮタイプの深層学習ネットワークの上記の説明は、深層学習ネットワークが、複数の整形外科要素、内部人工インプラントの複数の構成要素、それらのサブ構成要素、複数の内部人工インプラント、又は場合によってはそれらの組合せを「識別するように構成」され得る方法の一例であることが更に理解されるであろう。当業者によって知られている、又は容易に確認可能な他の深層学習ネットワークアーキテクチャも、本開示の範囲内であると見なされる。
【0106】
例示的な実施形態では、所望の整形外科要素１００の出力体積データ５９を含む選択出力チャネルを使用して、モデル化された整形外科要素１００ｂ、内部人工インプラントのモデル化された構成要素（例えば、寛骨臼カップ１０６、大腿骨ステム１１５、など）を生成することができる。特定の例示的な実施形態では、モデル化された整形外科要素１００ｂは、コンピュータモデルである。他の例示的実施形態では、モデル化された整形外科要素１００ｂは、物理的モデルである。
【0107】
上記の例は、入力体積データ７５を畳み込むための三次元テンソルカーネル６９の使用を説明したが、上記の一般的なモデルは、較正された入力画像３０、５０、７０のいずれかからの２Ｄ空間データ４３と共に使用することができることが理解されよう。他の例示的な実施形態では、機械学習アルゴリズム（すなわち、深層学習ネットワーク（例えば、ＣＮＮなど））は、撮像機１８００の較正後、但し、２Ｄから３Ｄへの再構成前に使用され得る。すなわち、ＣＮＮを用いて、２Ｄ入力画像３０、５０、７０の第１の基準フレーム３０ａ、第２の基準フレーム５０ａ又は第３の基準フレーム７０ａから対象整形外科要素１００の特徴（例えば、解剖学的ランドマーク）を検出することができる。例示的な実施形態では、ＣＮＮを使用して、２Ｄ入力画像３０、５０、７０から、高レベル整形外科要素（例えば、対象整形外科要素１００の近位大腿骨１０５及び表面トポロジーの一部）、内部人工インプラントの構成要素（例えば、寛骨臼カップ１０６、大腿骨ステム１１５、など）、又は内部人工インプラント自体（例えば股関節内部人工インプラント１０２）を識別することができる。次いで、ＣＮＮは、任意選択的に、検出された整形外科要素１００、内部人工インプラントの構成要素、又は内部人工インプラント自体にマスク又は輪郭を適用することができる。撮像機１８００が較正されている場合、及びＣＮＮが少なくとも２つの入力画像３０、５０の間の特徴の複数の対応する画像点（例えば、ＸＬ、ＸＲ）を識別した場合、対象の整形外科要素１００の基準フレーム３０ａ、５０ａ、内部人工インプラントの構成要素、又は内部人工インプラント自体の間の変換行列を使用して、３Ｄ空間内の複数の対応する画像点を整列させることができると考えられる。このようにして、３Ｄ空間内の点の位置は、３Ｄ空間内の座標のセットに対応するように決定され得る。このようにして、３Ｄ点は空間データに「マッピング」されると言うことができる。このように又は深層学習ネットワークによって開発された他の方法でこの関係をモデル化することができる深層学習ネットワークは、識別された整形外科要素、内部人工インプラントの識別された構成要素、及び／又は（場合によっては）内部人工インプラント自体を、第１の入力画像３０及び第２の入力画像５０（及び場合によっては第３の入力画像７０又は更なる入力画像又は「新しい」リフレッシュ画像）によって確認された空間データに「マッピング」し、それによって三次元空間における識別された整形外科要素１００ａ、内部人工インプラントの識別された構成要素、及び／又は（場合によっては）内部人工インプラント自体の位置を決定するように「構成されている」と言うことができる。
【0108】
第１の入力画像３０、第２の入力画像５０、又は第３の入力画像７０のいずれかが放射線Ｘ線画像（蛍光透視放射線画像を含むが、これに限定されない）である実施形態では、ＣＮＮを訓練することは、いくつかの課題を提示し得る。比較として、ＣＴスキャンは、典型的には、所望の体積の一連の画像を生成する。典型的なＣＴスキャンを含むそれぞれのＣＴ画像は、画像化された体積のセグメントとして考えられ得る。これらのセグメントから、要素がそれぞれの連続するＣＴ画像に示されているときに所望の要素の領域を追加することによって、３Ｄモデルは比較的容易に作製され得る。次いで、モデル化された要素をＣＴスキャンのデータと比較して、精度が確保され得る。ＣＴスキャンの１つの欠点は、ＣＴスキャンが患者を過剰量の放射線（１つの従来の放射線写真の放射線量の約７０倍）に曝露することである。
【0109】
対照的に、放射線撮像システムは、典型的には、画像化された体積の異なるセグメントをキャプチャする連続画像を生成しない。むしろ、画像の情報の全ては、２Ｄ平面で平坦化される。加えて、単一の放射線画像３０は本質的に３Ｄデータを欠いているため、上述のエピポーラ幾何再構成技術によって生成されたモデルを、標的整形外科要素１００の実際の幾何学的形状を用いてチェックすることは困難である。この問題に対処するために、ＣＮＮは、デジタル的に再構成された放射線写真（digitally reconstructed radiograph、「ＤＲＲ」）画像などのＣＴ画像を用いて訓練され得る。このように深層学習ネットワークを訓練することによって、深層学習ネットワークは、所望の整形外科要素１００又は対象整形外科要素１００の表面トポグラフィを識別するために、カーネル６９に対して独自の重み（例えば、フィルタ）を開発し得る。Ｘ線写真はＤＲＲとは異なる外観を有するため、ＤＲＲスタイルの外観を有するように入力Ｘ線画像をレンダリングするように、画像間変換が実行され得る。例示的な画像間変換方法は、ＣｙｃｌｅＧＡＮ画像変換技術である。画像間のスタイル変換（style transfer）方法が使用される実施形態では、スタイル変換方法は、望ましくは、特徴検出のためにデータを深層学習ネットワークに入力する前に使用される。
【0110】
上の例は、理解を助ける目的で提供されており、本開示の範囲を限定することを意図するものではない。少なくとも２つの横方向位置（例えば、３０ａ、５０ａ）から撮られた同じ対象整形外科要素１００の２Ｄ放射線画像から対象整形外科要素の３Ｄモデル１００を生成するための全ての方法は、本開示の範囲内にあると見なされる。
【0111】
特定の識別された整形外科要素１００ａ、内部人工インプラントの構成要素、及び／又は内部人工インプラント、内部人工インプラントの構成要素、及び／又は内部人工インプラント自体の太さ及び境界、並びに３Ｄ空間におけるそれらの正確な座標を決定することにより、識別された整形外科要素１００ａ、内部人工インプラントの構成要素及び／又は内部人工インプラント、内部人工インプラントの構成要素及び／又は内部人工インプラントの位置が、主切開を通じて外科医に提供される限られた視野をバイパスしながら知られることが可能になる。識別された整形外科要素１００ａの位置が既知であり、かつ内部人工インプラントの識別された構成要素の位置が既知である場合、この情報を使用して、インプラント構成要素が設置される識別された整形外科要素１００ａに対するインプラント構成要素の所望の位置合わせパラメータに対してチェックすることができる（例えばリーミングされた寛骨臼１１１に設置された寛骨臼シェル１０６、近位大腿骨１０５、の髄内管に設置された大腿骨ステム１１５など）。
【0112】
同様に、内部人工インプラントの第１の構成要素（例えば、寛骨臼構成要素）の位置が、内部人工インプラントの第２の構成要素（例えば、大腿骨構成要素）に対して三次元で分かっている場合、外科医は、本明細書に記載の例示的なシステム及び方法を使用して、第２の構成要素に対する第１の構成要素の配置、したがって位置合わせを評価することができる。外科医は、手術領域を再撮像して、外科医が位置合わせに満足するまで、後続の時間間隔で第２の構成要素に対する第１の構成要素の位置を更新することができる。そのような位置合わせは、複数構成要素の内部人工インプラントの位置合わせされていない構成要素の問題を軽減するために手術中に実行され得ることが企図される。
【0113】
深層学習ネットワークを使用して、それぞれの入力画像３０、５０、７０から検出された２Ｄ整形外科要素１００にマスク又は輪郭を追加することを含む特定の例示的な実施形態では、内部人工インプラントの識別された整形外科要素１００の構成要素の２Ｄマスク又は輪郭のみ、及び／又は内部人工インプラントは、上記の図７及び図８を参照して説明した方法で順次逆投影することができ、識別された整形外科要素１００、内部人工インプラントの構成要素、及び／又は内部人工インプラントの容積６１を画定する。この例示的な方法では、モデル化された整形外科要素１００ｂ、内部人工インプラントのモデル化された構成要素、及び／又はモデル化された内部人工インプラントを生成することができる。
【0114】
図１１は、いくつかのモデル化された内部人工インプラント構成要素、すなわちモデル化された寛骨臼構成要素１０３ｂ及びモデル化された大腿骨構成要素１０４ｂを含むモデル化された内部人工インプラント１０２ｂの拡大図である。モデル化された寛骨臼構成要素１０３ｂは、モデル化された寛骨臼シェル１０６ｂ及びモデル化された寛骨臼ライナ１０７ｂを含む。モデル化された大腿骨構成要素１０４ｂは、モデル化された大腿骨ステム１１５ｂ、モデル化された大腿骨ステム頸部１１６ｂ、及びモデル化された人工大腿骨頭部１１３ｂを含む。
【0115】
例示的なシステム又は方法は、寛骨臼の中心を計算することを更に含んでもよい。そのような例示的なシステム又は方法は、大腿骨ステムインプラントの長手方向回転軸を寛骨臼の中心と位置合わせすることを更に含むことができる。更に他の例示的なシステム又は方法では、大腿骨ステム１１５の長手方向軸は、大腿骨１０５の長手方向軸と位置合わせされ得る（すなわち、同一直線上にある）。更に他の例示的なシステム及び方法では、大腿骨ステム１１５の頸部の回転軸は、人工大腿骨頭部１１３の中心と位置合わせすることができる。更に他の例示的なシステム及び方法では、人工頭部１１３の位置は、自然大腿骨頭部の入力画像に基づいて、罹患前の自然大腿骨頭部と位置合わせ（例えば、垂直に）することができる。このような例示的な実施形態では、大腿骨ステム１１５の長手方向軸は、大腿骨１０５の解剖学的軸と同一直線上にあることが望ましく、大腿骨ステム１１５は、約１０°～約３０°、望ましくは約１５°～約２５°の範囲の前捻角度υで配置されることが望ましい。
【0116】
１つ以上の中央演算処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び入力／出力（「Ｉ／Ｏ」）インターフェース（複数可）などのハードウェアを有するコンピュータプラットフォームは、横方向平面に沿って異なる配向で撮られた少なくとも２つの２Ｄ放射線画像を受信し得る。向きは、互いに直交することができる（すなわち、第１の基準フレームは、第２の基準フレームに対して９０°のオフセット角度θを有する）。しかしながら、整形外科要素１００が股関節１０１を含む実施形態では、少なくとも３つの２Ｄ放射線撮影入力画像が、対側寛骨臼からの干渉を回避するために望ましくあり得る。そのような例示的な実施形態では、オフセット角度θは、隣接する基準フレーム間で望ましくは４５°であり得る。他の例示的な実施形態では、他の鈍角又は鋭角のオフセット角度θを使用することができる。
【0117】
図１２を参照すると、空間内の整形外科要素１００及び内部人工インプラントの構成要素の位置を確認するための例示的なシステムは、エミッタ２１及び検出器３３を含む組織透過撮像機１８００（例えば、放射線撮像機、蛍光透視撮影機など）を含むことができ、放射線撮像機１８００の検出器３３は、第１の横方向位置３０ａ（図８及び図９Ａ）における第１の入力画像３０（図８及び図９Ａ）並びに第２の横方向位置５０ａ（図８及び図９Ｂ）における第２の入力画像５０（図８及び図９Ｂ）をキャプチャし、第１の横方向位置３０ａは、第２の横方向位置５０ａからオフセット角度θ（図８）だけオフセットされている。少なくとも３つの入力画像を含む例示的な実施形態では、放射線撮像機１８００の検出器３３は、第３の横方向位置７０ａ（図８及び９Ｃ）において第３の入力画像７０をキャプチャし（図８及び９Ｃ）、第３の横方向位置７０ａは、第２の横方向位置５０ａ及び第１の横方向位置３０ａから２つの別個のオフセット角度θ１、θ２だけオフセットされている。
【0118】
例示的なシステムは、送信機２９（図１２）と、計算機１６００（更なる詳細については図１３を参照されたい）とを更に含むことができ、送信機２９は、検出器３３から計算機１６００に第１の入力画像３０及び第２の入力画像５０（及び存在する場合は任意選択的に第３の入力画像７０）を送信し、計算機１６００は、本明細書で論じる深層学習方法のうちの１つを使用して、整形外科要素１００ａ、内部人工インプラントの構成要素、内部人工インプラントの構成要素のサブ構成要素、又は内部人工インプラント自体を識別するように構成されている。本明細書に開示される例示的システムは、手術前、手術中、及び／又は手術後に使用され得ることが理解されるであろう。
【0119】
特定の例示的な実施形態では、例示的なシステムは、ディスプレイ１９を更に備え得る。
【0120】
図１２は、Ｘ線チューブなどの、Ｘ線源２１、フィルタ２６、コリメータ２７、及び検出器３３を含む放射線撮像機１８００を含む例示的なシステムの概略図である。図１２では、放射線撮像機１８００を上から下に示している。図示された放射線撮像機１８００は、組織透過撮像機の一種である。患者１は、Ｘ線源２１と検出器３３との間に配置される。放射線撮像機１８００は、回転可能なガントリ２８上に搭載され得る。放射線撮像機１８００は、第１の基準フレーム３０ａから患者１の第１の放射線画像入力画像３０を取得することができる。次いで、ガントリ２８は、オフセット角度だけ放射線撮像機１８００を回転させ得る。次いで、放射線撮像機１８００は、第２の基準フレーム５０ａから第２の放射線入力画像５０を取得することができる。他の例示的な実施形態は、複数のオフセット角度θで撮られた複数の入力画像を使用することを含み得ることが理解されよう。例えば、股関節形成術では、放射線撮像機１８００は、第３の基準フレーム７０ａから第３の放射線入力画像７０をキャプチャするために更に回転させられてもよい（又は患者が回転させられてもよい）。そのような実施形態では、オフセット角度は、隣接する入力画像間で９０°未満又は９０°超であり得る。
【0121】
オフセット角度は、全ての実施形態において正確に９０度である必要はないことが理解されるであろう。±４５度の範囲内の値を有するオフセット角度が、十分であると企図される。他の例示的な実施形態では、オペレータは、放射線撮像技術を使用して、整形外科要素の３つ以上の画像を撮影してもよい。第２の画像の後の各後続画像は、後続画像基準フレームを画定することができることが企図される。例えば、第３の画像は第３の基準フレームを画定することができ、第４の画像は第４の基準フレームを画定することができ、ｎ番目の画像はｎ番目の基準フレームを画定することができるなどである。
【0122】
３つの入力画像及び３つの別個の基準フレームを含む他の例示的な実施形態では、３つの入力画像の各々は、互いに対して約６０度のオフセット角度θを有し得る。４つの入力画像及び４つの別個の基準フレームを含むいくつかの例示的な実施形態では、オフセット角度θは、隣接する基準フレームから４５度であってもよい。５つの入力画像及び５つの別個の基準フレームを含む例示的な実施形態では、オフセット角度θは、隣接する基準フレームから約３６度であってもよい。ｎ個の画像及びｎ個の別個の基準フレームを含む例示的な実施形態では、オフセット角度θは１８０／ｎ度であり得る。
【0123】
複数の画像、特に３つ以上の画像を伴う実施形態は、必ずしも規則的で一貫したオフセット角度を有する必要はないことが更に企図される。例えば、４つの画像及び４つの別個の基準フレームを伴う例示的な実施形態は、８５度の第１のオフセット角度、７５度の第２のオフセット角度、９３度の第３のオフセット角度、及び１０７度の第４のオフセット角度を有し得る。
【0124】
次いで、トランスミッタ２９は、第１の入力画像３０及び第２の入力画像５０を計算機１６００に送信する。計算機１６００は、深層学習ネットワークを使用して、本開示と一致する任意の様式で、整形外科要素１００ａ、内部人工インプラントの構成要素、内部人工インプラントの構成要素のサブ構成要素、又は内部人工インプラント自体を識別することができる。
【0125】
図１２はまた、計算機１６００からの出力データがディスプレイ１９に送信される別の実施形態を示す。ディスプレイ１９は、モデル化された内部人工インプラント１０２ｂを描写することができる。ディスプレイは、任意選択的に、識別された内部人工インプラント、内部人工インプラントの構成要素若しくはそのサブ構成要素、又は１つ若しくは複数の整形外科要素を含むがこれらに限定されない、本明細書に記載の例示的なシステム及び方法によって識別された項目のいずれかを表示することができる。例示的な実施形態では、内部人工インプラントの識別された構成要素、又は内部人工インプラントの構成要素の代表モデルを、内部人工インプラントの構成要素が着座する識別された整形外科要素（例えば、それぞれ大腿骨構成要素及び近位大腿骨）上に重ね合わせることができることが企図される。重ね合わせは、それぞれの識別された要素（例えば、内部人工インプラントの構成要素、及び内部人工インプラントの構成要素が着座される整形外科要素）のマッピングされた空間データを使用して計算及び表示されることができる。
【0126】
このようにして、手術室内の外科医及びその他の者は、内部人工インプラントの構成要素及び標的整形外科要素を三次元でほぼリアルタイムに視覚化し、それらを互いに対して位置合わせすることができる。
【0127】
更に、内部人工インプラントの識別された構成要素の空間データ及び識別された整形外科要素の空間データは、本明細書に記載の例示的なシステムから得ることができるので、例示的なシステムの実施形態では、位置合わせの程度を計算し、更にディスプレイ１９上に表示することができる。例えば、内部人工インプラントの識別された構成要素の計算された外転角度αをディスプレイ上に表示することができる。別の例として、内部人工インプラントの識別された構成要素の計算された前捻角度υは、ディスプレイ１９上に表示される。更に別の例として、人工骨頭部１１３の垂直位置は、術前計画入力画像３０、５０、７０に基づいて、手術股関節の自然大腿骨骨頭部の再構築された３Ｄ画像上に表示され、重ね合わせられることができる（１２６参照）。更に別の例として、ディスプレイ１９は、１００％に達するか又は１００％に近いパーセンテージが、参照整形外科要素に対する内部人工インプラントの識別された構成要素（例えば、大腿骨構成要素１０４）の位置合わせを反映する「最良適合」パーセンテージを任意選択で表示してもよい。
【0128】
例えば、内部人工インプラントの識別された構成要素が大腿骨構成要素１０４である実施形態では、基準整形外科要素は、術前計画入力画像から本開示の実施形態のいずれかに従って識別され再構成された手術関節の生来の近位大腿骨１０５であり得る。そのような例示的な実施形態では、位置合わせ最良適合パーセンテージは、識別された大腿骨構成要素１０４の前捻角度υ、大腿骨１０５の解剖学的軸に対する大腿骨構成要素１０４の大腿骨ステム１１５の内反－外反位置、手術股関節１０１の大腿骨１０５の髄内管における大腿骨ステム１１５の前捻角度、並びに切除前の手術股関節１０１の自然大腿骨頭部（１２６参照）に対する人工大腿骨頭部１１３の垂直、水平、及び前後位置を考慮することができる。ディスプレイ１９上に表示され得るものの前述の実施形態のいずれかの組合せは、本開示の範囲内であると見なされる。
【0129】
内部人工インプラントの識別された構成要素が股関節インプラントの大腿骨構成要素であり、識別された整形外科要素が大腿骨構成要素が挿入され着座される近位大腿骨である実施形態では、例示的なシステムは、大腿骨の解剖学的軸（すなわち、大腿骨の髄内管を通って延びる大腿骨の中心軸）に対する大腿骨構成要素の長手方向軸の内反角度又は外反角度を表示することができる。
【0130】
例示的なシステムは、１つ以上のデータベースを更に含み得る。１つ以上のデータベースは、内部人工インプラントの構成要素のタイプのリストと、内部人工インプラントの構成要素のリスト内の構成要素のタイプについての関連する構成要素サイズ寸法（例えば、特定の構成要素の異なる製品モデル）とを含むことができる。例示的な実施形態では、データベースは、内部人工インプラントの構成要素の１つの特定のタイプの構成要素のサイズのリストを含むことができる。
【0131】
計算機は、内部人工インプラントの識別された構成要素の寸法をデータベースに記憶された値と比較することができる。次いで、計算機は、内部人工インプラントの識別された構成要素の寸法がデータベースに記憶された値の寸法にどれだけ近く一致するかに基づいて、データベースに記憶された値から構成要素の推奨されるタイプ及び／又は特定の構成要素の推奨されるサイズを選択又は表示することができる。このようにして、計算機１６００は、三次元空間における識別された整形外科要素の決定されたサイズ寸法に基づいて、内部人工インプラントの構成要素の推奨されるタイプを「選択するように構成される」と言うことができる。同様に、このようにして、計算機１６００は、三次元空間における識別された整形外科要素の決定されたサイズ寸法に基づいて、「内部人工インプラントの構成要素のサイズを推奨するように構成されている」と言うことができる。
【0132】
このディスプレイ１９は、スクリーンの形態をとり得る。他の例示的な実施形態では、ディスプレイ１９は、手術室で外科医又は他の人々によって着用又は保持されるガラス又はプラスチック製の表面を含み得る。そのようなディスプレイ１９は、拡張現実装置の一部を含み得、そのため、ディスプレイは、着用者の視野に加えて３Ｄモデルを示す。特定の実施形態では、そのような３Ｄモデルは、実際の手術関節上に重ね合わされ得る。更に他の例示的な実施形態では、３Ｄモデルを手術整形外科要素１００の１つ以上の特徴に「ロック」することができ、それによって、ディスプレイ１９の動きとは無関係に、手術整形外科要素１００の１つ以上の特徴に対して３Ｄモデルの仮想位置を維持することができる。ディスプレイ１９は、視野全体がシミュレートされる仮想現実システムの一部を含み得ることが、なお更に企図される。
【0133】
Ｘ線撮像システムからのＸ線写真は、Ｘ線写真がＣＴスキャンと比べて比較的安価であるため、及び蛍光透視システムなどのいくつかのＸ線撮像システムの機器は一般に、術中に使用されるのに十分にコンパクトであるため、望ましいものであり得るが、本開示においては、別途明示的に特許請求されない限り、２Ｄ画像の使用をＸ線写真に制限するものではなく、本開示のいずれも、撮像システムのタイプをＸ線撮像システムに制限するものではない。他の２Ｄ画像としては、例えば、ＣＴ画像、ＣＴ蛍光透視画像、蛍光透視画像、超音波画像、陽電子放出断層撮影（positron emission tomography、「ＰＥＴ」）画像、及びＭＲＩ画像が挙げられ得る。他の撮像システムとしては、例えば、ＣＴ、ＣＴ蛍光透視法、蛍光透視法、超音波、ＰＥＴ、及びＭＲＩシステムが挙げられ得る。
【0134】
好ましくは、例示的な方法は、１つ以上の中央演算処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、及び／又は入力／出力（Ｉ／Ｏ）インターフェース（複数可）などのハードウェアを有するコンピュータプラットフォーム（例えば、計算機１６００）に実装され得る。例示的な計算機１６００のアーキテクチャの例は、図７を参照して以下に提供される。
【0135】
図１３は、概して、本明細書で論じられる方法のうちの１つ以上がいくつかの例示的な実施形態に従って実行され得る例示的な計算機１６００のブロック図を示す。特定の例示的な実施形態では、計算機１６００は、単一の機械で動作し得る。他の例示的な実施形態では、計算機１６００は、接続された（例えば、ネットワーク化された）機械を含み得る。例示的な計算機１６００を含み得るネットワーク化された機械の例としては、例えば、クラウドコンピューティング構成、分散ホスト構成、及び他のコンピュータクラスタ構成が挙げられる。ネットワーク構成では、計算機１６００のうちの１つ以上の機械は、クライアント機、サーバ機、又はサーバ－クライアント両方の機械として動作し得る。例示的な実施形態では、計算機１６００は、パーソナルコンピュータ（personal computer、「ＰＣ」）、携帯電話、タブレットＰＣ、ウェブアプライアンス、携帯情報端末（personal digital assistant、「ＰＤＡ」）、ネットワークルータ、ブリッジ、スイッチ、又は当該機械によって若しくは当該機械に制御される第２の機械によって取られるアクションを指定する命令を実行することができる任意の機械に存在し得る。
【0136】
例示的な計算機１６００を含み得る例示的な機械は、例として、論理機能を実行することができる構成要素、モジュール、又は同様の機構が挙げられ得る。そのような機械は、動作中に指定された動作を実行することができる有形のエンティティ（例えば、ハードウェア）を含み得る。一例として、ハードウェアは、特定の動作を実行するように配線され得る（例えば、具体的に構成される）。例として、そのようなハードウェアは、構成可能な実行媒体（例えば、回路、トランジスタ、論理ゲートなど）及び命令を有するコンピュータ可読媒体を有し得、命令は、動作時に特定の動作を実行するように実行媒体を構成する。構成は、ローディング機構を介して、又は実行媒体の指示の下で行われ得る。実行媒体は、機械が動作しているときに、コンピュータ可読媒体に選択的に通信する。例として、機械が動作中にあるとき、実行媒体は、第１の時点で第１のアクション又はアクションのセットを実行するように第１の命令セットによって構成され、次いで第２の時点で、第２のアクション又はアクションのセットを実行するように第２の命令セットによって再構成され得る。
【0137】
例示的な計算機１６００は、ハードウェアプロセッサ１６９７（例えば、ＣＰＵ、グラフィックスプロセッシングユニット（graphics processing unit、「ＧＰＵ」）、ハードウェアプロセッサコア、若しくはそれらの任意の組合せ）、メインメモリ１６９６及び静的メモリ１６９５を含み得、それらの一部又は全ては、インターリンク（例えば、バス）１６９４を介して互いに通信し得る。計算機１６００は、ディスプレイユニット１６９８、入力装置１６９１（好ましくは、キーボードなどの英数字又は文字数字入力装置）、及びユーザインターフェース（user interface、「ＵＩ」）ナビゲーション装置１６９９（例えば、マウス又はスタイラス）を更に含み得る。例示的な実施形態では、入力装置１６９１、ディスプレイユニット１６９８、及びＵＩナビゲーション装置１６９９は、タッチスクリーンディスプレイであり得る。例示的な実施形態では、ディスプレイユニット１６９８は、ホログラフィーレンズ、眼鏡、ゴーグル、他のアイウェア、又は他のＡＲ若しくはＶＲディスプレイ構成要素を含み得る。例えば、ディスプレイユニット１６９８は、ユーザの頭部に着用されてもよく、ヘッドアップディスプレイをユーザに提供し得る。入力装置１６９１としては、仮想キーボード（例えば、バーチャル現実（virtual reality、「ＶＲ」）又は拡張現実（augmented reality、「ＡＲ」）設定で仮想的に表示されるキーボード）又は他の仮想入力インターフェースが挙げられ得る。
【0138】
計算機１６００は、記憶装置（例えば、ドライブユニット）１６９２、信号発生器１６８９（例えば、スピーカ）、ネットワークインターフェース装置１６８８、及び全地球測位システム（global positioning system、「ＧＰＳ」）センサ、加速度計、コンパス、又は他のセンサなどの１つ以上のセンサ１６８７を更に含み得る。計算機１６００は、１つ以上の補助装置を通信又は制御するために、シリアル（例えば、ユニバーサルシリアルバス（universal serial bus、「ＵＳＢ」））、並列、又は他の有線若しくは無線（例えば、赤外線（infrared、「ＩＲ」）近距離通信（near field communication、「ＮＦＣ」）、ラジオなど）接続などの出力コントローラ１６８４を含み得る。
【0139】
記憶装置１６９２は、本明細書に記載の機能又は方法のうちのいずれか１つ以上によって具現化又は利用されるデータ構造又は命令の１つ以上のセット１６８２（例えば、ソフトウェア）が記憶される、非一時的である機械可読媒体１６８３を含み得る。命令１６８２は、計算機１６００によるそれらの実行中に、メインメモリ１６９６の内部、静的メモリ１６９５の内部、又はハードウェアプロセッサ１６９７の内部に完全に、又は少なくとも部分的に存在し得る。例として、ハードウェアプロセッサ１６９７、メインメモリ１６９６、静的メモリ１６９５、又は記憶装置１６９２のうちの１つ又は任意の組合せは、機械可読媒体を構成し得る。
【0140】
機械可読媒体１６８３は、単一の媒体として示されているが、「機械可読媒体」という用語は、１つ以上の命令１６８２を記憶するように構成された単一の媒体又は複数の媒体（例えば、分散型若しくは集中型データベース、又は関連付けられたキャッシュ及びサーバ）を含み得る。
【0141】
「機械可読媒体」という用語は、計算機１６００が実行する命令を記憶、符号化、若しくは伝達することができ、かつ計算機１６００に、本開示の方法のうちの任意の１つ以上を実行させるか、又はそのような命令によって使用されるか若しくはそのような命令に関連付けられたデータ構造を記憶、符号化、若しくは伝達することができる、任意の媒体を含み得る。機械可読媒体の非限定的な例示的なリストは、磁気媒体、光学媒体、ソリッドステートメモリ、不揮発性メモリ、例えば、半導体メモリ装置（例えば、電子的に消去可能なプログラム可能読み取り専用メモリ（electronically erasable programable read-only memory、「ＥＥＰＲＯＭ」）、電子的にプログラム可能な読み取り専用メモリ（electronically programable read-only memory「ＥＰＲＯＭ」）、並びに内部ハードディスク及び取り外し可能ディスク、フラッシュ記憶装置、光磁気ディスク、ＣＤ－ＲＯＭディスク、及びＤＶＤ－ＲＯＭディスクなどの磁気ディスクを含み得る。
【0142】
命令１６８２は更に、多数の転送プロトコル（例えば、インターネットプロトコル（「ＩＰ」）、ユーザデータグラムプロトコル（「ＵＤＰ」）、フレームリレー、伝送制御プロトコル（「ＴＣＰ」）、ハイパーテキスト転送プロトコル（「ＨＴＴＰ」）など）のうちのいずれか１つを利用するネットワークインターフェースデバイス１６８８を介して、伝送媒体を使用して通信ネットワーク１６８１上で送信又は受信され得る。例示的な通信ネットワークは、ワイドエリアネットワーク（「ＷＡＮ」）、旧来の電話（「ＰＯＴＳ」）ネットワーク、ローカルエリアネットワーク（「ＬＡＮ」）、パケットデータネットワーク、モバイル電話ネットワーク、ワイヤレスデータネットワーク、及びピアツーピア（「Ｐ２Ｐ」）ネットワークを含み得る。例として、ネットワークインターフェース装置１６８８は、通信ネットワーク１６８１に接続するために１つ以上の物理的ジャック（例えば、イーサネット、同軸、又は電話ジャック）又は１つ以上のアンテナを含み得る。
【0143】
例として、ネットワークインターフェース装置１６８８は、単入力多出力（single-input multiple-output、「ＳＩＭＯ」）、又は多入力単出力（multiple-input single output、「ＭＩＳＯ」）方法のうちの少なくとも１つを使用して無線で通信するために複数のアンテナを含み得る。「伝送媒体」という語句は、計算機１６００が実行する命令を記憶、符号化、又は伝達することができる任意の無形媒体を含み、そのようなソフトウェアの通信を容易にするために、アナログ若しくはデジタル通信信号又は他の無形媒体を含む。
【0144】
本開示による例示的な方法は、少なくとも部分的に機械又はコンピュータ実装型であり得る。いくつかの例は、本明細書に記載の例示的な方法を実行するように電子装置を構成するように動作可能な命令で符号化された、コンピュータ可読媒体又は機械可読媒体を含み得る。そのような例示的な方法の例示的な実装形態は、アセンブリ言語コード、マイクロコード、高レベル言語コード、又は他のコードなどのコードを含み得る。そのようなコードは、様々な方法を実行するためのコンピュータ可読命令を含み得る。コードは、コンピュータプログラム製品の一部を形成し得る。深層学習ネットワークの方法及び計算を実行するためのコンピュータ可読命令を実行することができる計算機１６００は、深層学習ネットワークを「実行するように構成されている」と言うことができる。更に、一例では、コードは、実行中又は他の時間の間など、揮発性、非一時的、又は不揮発性の有形のコンピュータ可読媒体上又はコンピュータ可読媒体内に有形に記憶され得る。これらの有形のコンピュータ可読媒体の例としては、限定するものではないが、取り外し可能な光学ディスク（例えば、コンパクトディスク及びデジタルビデオディスク）、ハードドライブ、取り外し可能な磁気ディスク、メモリカード又はスティック、取り外し可能なフラッシュ記憶ドライブ、磁気カセット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭＳ）、及び他の媒体が挙げられ得る。
【0145】
本明細書に開示される例示的な方法は、インプラントの配置及び機能の術前計画、術中計画若しくは実行、又は術後評価に使用され得ることが更に企図される。
【0146】
空間内の整形外科要素の位置を確認するための例示的な方法は、画像点と対応する空間座標との間のマッピング関係を決定して空間データを画定するために放射線撮像機を較正する、ことと、放射線撮像技術を使用して、整形外科要素の第１の画像をキャプチャすることであって、第１の画像は、第１の基準フレームを画定する、ことと、放射線撮像技術を使用して、整形外科要素の第２の画像をキャプチャすることであって、第２の画像は第２の基準フレームを画定し、第１の基準フレームは、第２の基準フレームからオフセット角度でオフセットされる、ことと、深層学習ネットワークを使用して、空間データを使用して整形外科要素を検出することであって、空間データは、整形外科要素上又は整形外科要素内の解剖学的ランドマークを画定する、ことと、深層学習ネットワークを使用して、解剖学的ランドマークによって画定された整形外科要素にマスクを適用することと、所望の整形外科要素の第１の画像からの空間データ及び所望の整形外科要素の第２の画像からの空間データを投影して、体積データを画定することであって、第１の画像又は第２の画像のいずれかのマスク領域内に配置された画像点を含む空間データは第１の値を有し、第１の画像又は第２の画像のいずれかのマスク領域外に配置された画像点を含む空間データは第２の値を有し、第１の値は第２の値とは異なる、ことと、体積データに深層学習ネットワークを適用して、整形外科要素の再構築された三次元モデルを生成する、ことと、整形外科要素の三次元モデルを空間データにマッピングする、ことと、を含み得る。
【0147】
例示的な実施形態では、例示的な方法は、深層学習ネットワークを使用して、第１の画像及び第２の画像に対してスタイル変換を実行することを更に含み得る。例示的な実施形態において、スタイル変換は、放射線撮像技術からの空間データをデジタルＸ線動態撮影（dynamic digital radiography）データに変換する。
【0148】
例示的な実施形態では、第１の値は正の値である。
【0149】
例示的な実施形態では、第２の値は負の値である。
【0150】
例示的な実施形態では、例示的な方法は、再構築された三次元モデルをディスプレイに投影することを更に含む。
【0151】
例示的な実施形態では、深層学習ネットワークは畳み込みニューラルネットワークを含む。
【0152】
例示的な実施形態では、放射線撮像技術は蛍光透視法である。
【0153】
例示的な実施形態では、方法は術中に行われる。
【0154】
例示的な実施形態では、整形外科要素は骨盤の寛骨臼である。
【0155】
例示的な実施形態では、例示的な方法は、寛骨臼の中心を計算することを更に含む。
【0156】
例示的な実施形態では、例示的な方法は、大腿骨ステムの頸部（例えば、内部人工インプラントの構成要素）の長手方向回転軸を寛骨臼の中心と位置合わせすることを更に含む。
【0157】
例示的な実施形態では、例示的な方法は、寛骨臼シェル（例えば、内部人工インプラントの構成要素）を患者のリーミングされた寛骨臼と位置合わせすることを更に含む。
【0158】
例示的な実施形態では、例示的な方法は、患者のリーミングされた近位大腿骨の髄内管に大腿骨ステム（例えば、内部人工インプラントの構成要素）を位置合わせすることを更に含む。
【0159】
例示的な実施形態では、方法は、大腿骨ステム（例えば、内部人工インプラントの構成要素）の長手方向軸を大腿骨の解剖学的（すなわち、中心）軸と位置合わせすることを更に含む。
【0160】
空間内の整形外科要素の位置を確認するための例示的な方法は、画像点と対応する空間座標との間のマッピング関係を決定して空間データを画定するために放射線撮像機を較正する、ことと、放射線撮像技術を使用して、整形外科要素の第１の画像をキャプチャすることであって、第１の画像は第１の基準フレームを画定することと、放射線撮像技術を使用して、整形外科要素の第２の画像をキャプチャすることであって、第２の画像は第２の基準フレームを画定し、第１の基準フレームは、第２の基準フレームからオフセット角度でオフセットされる、ことと、ニューラルネットワークを使用して、空間データを使用して整形外科要素を検出することであって、空間データは、整形外科要素上又は整形外科要素内の解剖学的ランドマークを画定する、ことと、深層学習ネットワークを使用して、解剖学的ランドマークによって画定された整形外科要素にマスクを適用することと、所望の整形外科要素の第１の画像からの空間データ及び所望の整形外科要素の第２の画像からの空間データを投影して、体積データを画定することであって、第１の画像又は第２の画像のいずれかのマスク領域内に配置された画像点を含む空間データは正の値を有し、第１の画像又は第２の画像のいずれかのマスク領域外に配置された画像点を含む空間データは負の値を有する、ことと、深層学習ネットワークを体積データに適用して、整形外科要素の三次元モデルを生成する、ことと、整形外科要素の三次元モデルを空間データにマッピングすることであって、整形外科要素は、骨盤の寛骨臼である、ことと、を含む。
【0161】
例示的な実施形態では、整形外科要素は、外科処置中に切除又はリーミングされる。
【0162】
例示的な実施形態では、方法は、深層学習ネットワークを使用して、第１の画像及び第２の画像に対してスタイル変換を実行することを更に含む。
【0163】
例示的な実施形態において、スタイル変換は、放射線撮像技術からの空間データをデジタルＸ線動態撮影（dynamic digital radiography）データに変換する。
【0164】
例示的な実施形態では、第１の値は正の値である。
【0165】
例示的な実施形態では、第２の値は負の値である。
【0166】
例示的な実施形態では、方法は、再構築された三次元モデルをディスプレイに投影することを更に含む。
【0167】
例示的な実施形態では、深層学習ネットワークは畳み込みニューラルネットワークを含む。
【0168】
例示的な実施形態では、放射線撮像技術は蛍光透視法である。
【0169】
例示的な実施形態では、方法は術中に行われる。
【0170】
例示的な実施形態では、方法は、寛骨臼の中心を計算することを更に含む。
【0171】
例示的な実施形態では、方法は、大腿骨ステムの頸部の長手方向回転軸を人工大腿骨頭部の中心と回転的に位置合わせし、大腿骨ステムの長手方向軸を、大腿骨ステムが配置される大腿骨の髄内管の解剖学的軸と位置合わせすることを更に含む。
【0172】
例示的な実施形態では、例示的な方法は、寛骨臼シェル（例えば、内部人工インプラントの構成要素）を患者のリーミングされた寛骨臼と位置合わせすることを更に含む。
【0173】
例示的な実施形態では、例示的な方法は、患者のリーミングされた近位大腿骨の髄内管に大腿骨ステム（例えば、内部人工インプラントの構成要素）を位置合わせすることを更に含む。
【0174】
例示的な実施形態では、方法は、大腿骨ステム（例えば、内部人工インプラントの構成要素）の長手方向軸を、大腿骨ステムが配置される大腿骨の解剖学的軸と位置合わせすることを更に含む。
【0175】
空間における整形外科要素及び内部人工インプラントの構成要素の位置を確認するための例示的なシステムは、組織透過撮像機と、第１の入力画像であって、第１の入力画像は、第１の基準フレームから組織透過撮像機によって撮影され、第１の画像は、較正治具を描写する、第１の入力画像と、組織透過撮像機によって、第１の基準フレームからオフセットされている第２の基準フレームから撮影された第２の入力画像であって、較正治具を示す、第２の入力画像と、深層学習ネットワークを実行するように構成された計算機であって、深層学習ネットワークは、整形外科要素及び内部人工インプラントの構成要素を識別して、識別された整形外科要素及び内部人工インプラントの識別された構成要素を画定し、識別された整形外科要素及び内部人工インプラントの識別された構成要素を、第１の入力画像及び第２の入力画像によって確認された空間データにマッピングし、それによって識別された整形外科要素及び内部人工インプラントの識別された構成要素の三次元空間内の位置を決定するように構成される、計算機と、を含む。
【0176】
例示的な実施形態では、システムは、第３の入力画像を更に含み、第３の入力画像は、第３の基準フレームから組織透過撮像機によって撮影され、第３の画像は、較正治具を描写する。
【0177】
システムの例示的な実施形態では、深層学習ネットワークは、複数の整形外科要素及び内部人工インプラントの複数の構成要素を識別して、複数の識別された整形外科要素及び内部人工インプラントの複数の識別された構成要素を画定するように更に構成される。
【0178】
システムのなお更に例示的な実施形態では、内部人工インプラントの複数の識別された構成要素のうちの第１の識別された構成要素は、股関節内部人工インプラントの寛骨臼構成要素であり、内部人工インプラントの複数の識別された構成要素のうちの第２の識別された構成要素は、股関節内部人工インプラントの大腿骨構成要素である。
【0179】
システムの例示的な実施形態では、内部人工インプラントの識別された構成要素が寛骨臼シェルであり、識別された整形外科要素が寛骨臼シェルに近接するリーミングされた寛骨臼である。
【0180】
システムの例示的な実施形態では、内部人工インプラントの識別された構成要素は大腿骨ステムであり、識別された整形外科要素は大腿骨ステムに近接する大腿骨の髄内管である。
【0181】
システムの例示的実施形態では、識別された整形外科要素は、モデル化された整形外科要素を画定するように、三次元でモデル化される。
【0182】
例示的な実施形態では、モデル化された整形外科要素は、ディスプレイ上に表示される。
【0183】
例示的な実施形態では、内部人工インプラントの識別された構成要素は、内部人工インプラントのモデル化された構成要素を画定するために三次元でモデル化される。
【0184】
例示的な実施形態では、内部人工インプラントのモデル化された構成要素は、ディスプレイ上に表示される。
【0185】
例示的な実施形態では、内部人工インプラントの識別された構成要素の計算された外転角度は、ディスプレイ上に表示される。
【0186】
例示的な実施形態では、内部人工インプラントの識別された構成要素の計算された前捻角度は、ディスプレイ上に表示される。
【0187】
患者に外科的に埋め込まれる内部人工インプラントの構成要素のタイプを推奨するための例示的なシステムであって、組織透過撮像機と、第１の入力画像であって、第１の入力画像は、第１の基準フレームから組織透過撮像機によって撮影され、第１の画像は、較正治具を描写する、第１の入力画像と、第２の入力画像であって、第２の入力画像は、第２の基準フレームから組織透過撮像機によって撮影され、第２の基準フレームは、第１の基準フレームからオフセットされ、第２の画像は、較正治具を描写する、第２の入力画像と、深層学習ネットワークを実行するように構成された計算機であって、深層学習ネットワークは、整形外科要素を識別して、識別された整形外科要素を画定し、識別された整形外科要素を、第１の入力画像及び第２の入力画像によって確認された空間データにマッピングし、それによって、三次元空間における識別された整形外科要素の決定されたサイズ寸法を画定するように構成される、計算機と、内部人工インプラントの構成要素のタイプのリストと、内部人工インプラントの構成要素のリスト内の構成要素のタイプに関する関連する構成要素サイズ寸法とを含み、計算機は、三次元空間における識別された整形外科要素の決定されたサイズ寸法に基づいて、内部人工インプラントの構成要素の推奨されるタイプを選択するように更に構成される、システム。
【0188】
例示的な実施形態では、システムは、第３の入力画像を更に含み、第３の入力画像は、第３の基準フレームから組織透過撮像機によって撮影され、第３の画像は、較正治具を描写する。
【0189】
例示的実施形態では、識別された整形外科要素は、リーミングの前若しくは後、又はブローチ削りの前若しくは後の骨の内部幾何学形状である。
【0190】
例示的な実施形態では、計算機は、識別された整形外科要素の決定されたサイズ寸法に基づいて内部人工インプラントの推奨される構成要素を選択するために最良適合アルゴリズムを実行するように構成される。
【0191】
患者に外科的に埋め込まれる内部人工インプラントの構成要素のサイズを決定するための例示的なシステムであって、システムは、組織透過撮像機と第１の入力画像であって、第１の入力画像は、第１の基準フレームから組織透過撮像機によって撮影され、第１の画像は、較正治具を描写する、第１の入力画像と、第２の入力画像であって、第２の入力画像は、第２の基準フレームから組織透過撮像機によって撮影され、第２の基準フレームは、第１の基準フレームからオフセットされ、第２の画像は、較正治具を描写する、第２の入力画像と、深層学習ネットワークを実行するように構成された計算機であって、深層学習ネットワークは、整形外科要素を識別して、識別された整形外科要素を画定し、識別された整形外科要素を、第１の入力画像及び第２の入力画像によって確認された空間データにマッピングし、それによって、三次元空間における識別された整形外科要素の決定されたサイズ寸法を画定するように構成される、計算機と、内部人工インプラントの構成要素のリストと、内部人工インプラントの構成要素のリスト内の構成要素に関する関連する構成要素サイズ寸法とを含み、計算機は、三次元空間における識別された整形外科要素の決定されたサイズ寸法に基づいて、内部人工インプラントの構成要素の推奨されるサイズに更に構成される、システム。
【0192】
例示的な実施形態では、システムは、第３の入力画像を更に含み、第３の入力画像は、第３の基準フレームから組織透過撮像機によって撮影され、第３の画像は、較正治具を描写する。
【0193】
例示的実施形態では、識別された整形外科要素は、リーミングの前若しくは後、又はブローチ削りの前若しくは後の骨の内部幾何学形状である。
【0194】
例示的な実施形態では、計算機は、識別された整形外科要素の決定されたサイズ寸法に基づいて内部人工インプラントの推奨される構成要素を選択するために最良適合アルゴリズムを実行するように構成される。
【0195】
本発明は、本明細書に開示される又は図面に示される特定の構成及び方法ステップに限定されるものではないが、当該技術分野において既知の特許請求の範囲内の任意の修正又は同等物も含むことを理解されたい。本明細書に開示される装置及び方法は、有用性を見出すことが当業者には理解されよう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【国際調査報告】