▶ ホウメディカ・オステオニクス・コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-13
(45)【発行日】2023-02-21
(54)【発明の名称】骨密度モデリング及び整形外科手術計画システム
(51)【国際特許分類】
A61B 6/03 20060101AFI20230214BHJP
A61B 34/10 20160101ALI20230214BHJP
A61F 2/40 20060101ALI20230214BHJP
【ＦＩ】
A61B6/03 377
A61B6/03 360G
A61B6/03 370Z
A61B6/03 360D
A61B34/10
A61F2/40
【請求項の数】
12
(21)【出願番号】P 2021534216
(86)(22)【出願日】2019-12-11
(65)【公表番号】
(43)【公表日】2022-02-04
(86)【国際出願番号】 US2019065789
(87)【国際公開番号】W WO2020123702
(87)【国際公開日】2020-06-18
【審査請求日】2021-08-06
(31)【優先権主張番号】62/778,774
(32)【優先日】2018-12-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/826,156
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/826,119
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/826,133
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/826,146
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/826,168
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521418414
【氏名又は名称】ホウメディカ・オステオニクス・コーポレイション
【氏名又は名称原語表記】Ｈｏｗｍｅｄｉｃａ Ｏｓｔｅｏｎｉｃｓ Ｃｏｒｐ．
【住所又は居所原語表記】３２５ Ｃｏｒｐｏｒａｔｅ Ｄｒｉｖｅ Ｍａｈｗａｈ， ＮＪ ０７４３０， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100219542
【弁理士】
【氏名又は名称】大宅 郁治
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】シャウウィ、ジャン
(72)【発明者】
【氏名】ル・サン、シャルロット
(72)【発明者】
【氏名】マイヤ、マクシミリアン
(72)【発明者】
【氏名】ユルボワ、マニュエル・ジャン－マリー
【審査官】遠藤 直恵
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０２５０１３８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１４／０１２１７１５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００－６／１４
Ａ６１Ｂ ３４／００ー９０／９８
Ａ６１Ｆ ２／００ー２／８０、３／００ー４／００
(57)【特許請求の範囲】
【請求項1】
患者に関する患者固有の画像データを記憶するように構成されたメモリと、処理回路と、を備えるシステムであって、前記処理回路は、
前記患者固有の画像データ内の上腕骨頭を識別することと、
前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、
前記骨密度メトリックに基づいて、前記患者に対する上腕骨インプラントタイプの推奨を生成することと、ここで、前記上腕骨インプラントタイプは、ステム付きインプラントタイプ又はステムレスインプラントタイプのうちの１つを含むものであり、
前記患者に対する前記上腕骨インプラントタイプの前記推奨を出力することと、
を行うように構成されている、システム。
【請求項2】
前記上腕骨インプラントタイプの前記推奨は、前記ステム付きインプラントタイプのステムの長さを示す推奨を含む、請求項１に記載のシステム。
【請求項3】
前記骨密度メトリックは、前記上腕骨頭の少なくとも一部内の骨梁の総合的な密度スコアを表す、請求項１又は２に記載のシステム。
【請求項4】
前記骨密度メトリックは、前記上腕骨頭内のそれぞれの部分についての複数の骨密度値を含む、請求項１～３のいずれか一項に記載のシステム。
【請求項5】
前記処理回路は、前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部内のそれぞれのボクセルの強度を識別することと、
前記それぞれのボクセルの前記強度を２つ以上の強度レベルのうちの１つに分類することと、
前記２つ以上の強度レベルの各々に分類されたボクセルの数又は前記２つ以上の強度レベルの各々に分類された前記ボクセルの前記上腕骨頭における位置のうちの少なくとも１つに基づいて、前記骨密度メトリックを決定することと
によって、前記骨密度メトリックを決定するように構成されている、請求項１～４のいずれか一項に記載のシステム。
【請求項6】
前記処理回路は、上腕骨頭を通る平面を決定することと、ここで、前記平面は、上腕骨インプラントを受け入れるために上腕骨を準備するであろう前記上腕骨における上腕骨切断面を表すものであり、
前記平面によって露出した前記上腕骨頭の少なくとも一部についての前記骨密度メトリックを決定することと
を行うように構成されている、請求項１～５のいずれか一項に記載のシステム。
【請求項7】
前記処理回路は、前記患者の前記上腕骨頭の少なくとも一部の表現上に前記骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力するように構成されている、請求項１～６のいずれか一項に記載のシステム。
【請求項8】
前記骨密度メトリックは、複数の色のヒートマップを含み、前記複数の色の各色は、骨密度値の異なる範囲を表す、請求項７に記載のシステム。
【請求項9】
複合現実ディスプレイを更に備え、前記処理回路は、前記骨密度メトリックの前記グラフィカル表現を含む前記ユーザインターフェースを提示するように前記複合現実ディスプレイを制御するように構成されている、請求項７又は８に記載のシステム。
【請求項10】
前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の平面内の骨密度変動の２次元表現を含む、請求項７～９のいずれか一項に記載のシステム。
【請求項11】
前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の少なくとも骨梁内の骨密度変動の３次元表現を含む、請求項７～１０のいずれか一項に記載のシステム。
【請求項12】
前記処理回路は、上腕骨インプラントのステムサイズを生成するために畳み込みニューラルネットワークを前記患者固有の画像データに適用するように構成され、前記上腕骨インプラントの前記推奨は、前記患者のための前記ステム付きインプラントタイプの推奨であり、前記畳み込みニューラルネットワークから生成された前記ステムサイズを有する、請求項１～１１のいずれか一項に記載のシステム。
【発明の詳細な説明】
【背景技術】
【0001】
[0001]外科的関節修復処置は、損傷又は罹患した関節の修復術及び／又は置換術を含む。多くの場合、一例として関節形成術のような外科的関節修復処置は、損傷した関節を、患者の骨の中に埋め込まれるプロテーゼに置換することを含む。最適な手術結果を確実にするための適切にサイズ決定及び成形されたプロテーゼの適切な選択及びそのプロテーゼの適切な位置決めは困難であり得る。位置決めを支援するために、外科手術では、多くの場合、損傷した骨の表面の成形と、プロテーゼを受け入れるための骨の切断又は穿孔とを制御するために手術器具の使用を伴う。
【0002】
[0002]今日では、関節修復術及び置換術のための術前計画を容易にするために骨の形状の３次元モデリングを使用する視覚化ツールが外科医に利用可能である。これらのツールは、患者の解剖学的構造に厳密に一致するインプラント及びサージカルガイドの設計及び／又は選択に関して外科医を支援することができ、患者ごとに手術計画をカスタマイズすることによって手術結果を改善することができる。
【発明の概要】
【0003】
[0003]本開示は、外科的関節修復処置のための患者分析、術前計画、並びに／又はトレーニング及び教育を提供するための様々なシステム、デバイス、及び技法を説明する。例えば、本明細書で説明されるシステムは、患者の撮像データから軟組織（例えば、筋肉、結合組織、脂肪組織など）の寸法及び／又は特性を決定し得る。軟組織の特性には、脂肪浸潤、萎縮率、可動域、又は他の類似特性が含まれ得る。システムは、これらの軟組織の寸法及び／又は特性を使用して、患者の１つ又は複数の関節の可動域値を決定し得る。これらの可動域値に基づいて、システムは、１つ又は複数の関節の１つ又は複数の状態を治療するのに適切であり得る外科的介入の１つ又は複数のタイプを提案し得る。一例では、システムは、軟組織の寸法を使用して、特定の患者にとって適切であるのが解剖学的肩関節置換手術であるのかリバース型肩関節置換手術であるかを決定し得る。
【0004】
[0004]本明細書で説明されるシステムはまた、又は代替的に、患者の上腕骨頭の少なくとも一部についての骨密度メトリックを、その患者に関する患者固有の画像データに基づいて決定し得る。例えば、骨密度メトリックは、上腕骨頭又は上腕骨頭の一部の全体的な密度の単一の指示であり得る。別の例として、骨密度メトリックは、患者の上腕骨頭のそれぞれの部分の骨密度値を含み得る。骨密度メトリックは、実際に骨の密度を示すものではなく、骨密度を表すメトリック（例えば、画像データからのボクセル強度、画像データからのボクセル強度の標準偏差、圧縮性など）であり得る。システムは、骨密度メトリックのグラフィカル表現を提示するように、及び／又は、骨密度メトリックに基づいて上腕骨頭のインプラントタイプに関する推奨を生成するようにユーザインターフェースを制御し得る。例えば、骨密度メトリックが上腕骨頭の十分な骨梁密度を示すと、システムは、ステム付き上腕骨インプラントとは対照的にステムレス上腕骨インプラントを推奨し得る。
【0005】
[0005]一例では、患者の軟組織構造をモデル化するためのシステムは、患者に関する患者固有の画像データを記憶するように構成されたメモリと、患者固有の画像データを受け取ることと、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定することと、患者固有の形状を出力することとを行うように構成された処理回路とを含む。
【0006】
[0006]別の例では、患者の軟組織構造をモデル化するための方法は、メモリによって、患者に関する患者固有の画像データを記憶することと、処理回路によって、患者固有の画像データを受け取ることと、処理回路によって、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定することと、処理回路によって、患者固有の形状を出力することとを含む。
【0007】
[0007]別の例では、コンピュータ可読記憶媒体は命令を含み、命令は、処理回路によって実行されると、処理回路に、患者に関する患者固有の画像データをメモリに記憶することと、患者固有の画像データを受け取ることと、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定することと、患者固有の形状を出力することとを行わせる。
【0008】
[0008]別の例では、患者の軟組織構造をモデル化するためのシステムは、患者に関する患者固有の画像データを記憶するための手段と、患者固有の画像データを受け取るための手段と、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定するための手段と、患者固有の形状を出力するための手段とを含む。
【0009】
[0009]本開示の様々な例の詳細は、添付の図面及び以下の説明に記載されている。様々な特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0010】
【図1】[0010]本開示の一例による整形外科手術システムのブロック図である。
【図2】[0011]本開示の一例による、複合現実（ＭＲ）システムを含む整形外科手術システムのブロック図である。
【図3】[0012]外科的ライフサイクルの例となる段階を例示するフローチャートである。
【図4】[0013]整形外科手術を支援する術前、術中、及び術後のワークフローを例示するフローチャートである。
【図5A】[0014]患者の肩に関する例となる筋肉及び骨の図である。
【図5B】患者の肩に関する例となる筋肉及び骨の図である。
【図6】[0015]本開示の一例による、軟組織構造の寸法及び／又は特性並びに関節に関連する外科的介入に関する他の情報を決定するように構成されたシステムの例となる構成要素を例示するブロック図である。
【図7】[0016]回旋腱板の筋肉の例となる付着点（insertion point）の図である。
【図8A】[0017]例となる患者固有の画像データの概念図である。
【図8C】[0019]患者固有の画像データに重ね合わされた例となる初期形状及び例となる輪郭の概念図である。
【図9】[0020]患者の軟組織構造を表す患者固有の形状に向けて初期形状を変更する例となる手順の概念図である。
【図10】[0021]患者の軟組織構造を表す患者固有の形状に向けて中間形状を変更する例となる手順の概念図である。
【図11】[0022]患者固有の画像データ内の実際の輪郭と比較した、患者の軟組織構造を表す例となる患者固有の形状の概念図である。
【図12】[0023]患者固有の画像データに重ね合わされた肩甲下筋を表す例となる初期形状及び患者固有の形状の概念図である。
【図13】[0024]患者固有の画像データに重ね合わされた棘上筋を表す例となる初期形状及び患者固有の形状の概念図である。
【図14】[0025]患者固有の画像データに重ね合わされた回旋腱板筋を表す例となる最終的な患者固有の形状の概念的な軸方向ビューである。
【図15】[0026]患者固有の画像データに重ね合わされた回旋腱板筋を表す例となる最終的な患者固有の形状の概念的なサジタルビューである。
【図16A】[0027]患者固有の画像データから骨と共に回旋腱板筋を表す例となる最終的な患者固有の形状の概念的な後部３次元ビューである。
【図16B】[0028]患者固有の画像データから骨と共に回旋腱板筋を表す例となる最終的な患者固有の形状の概念的な前部３次元ビューである。
【図17】[0029]患者固有の画像データから骨と共に回旋腱板筋を表す例となる最終的な患者固有の形状の概念的な端面３次元ビューである。
【図18A】[0030]軟組織構造に関連する初期形状が骨構造に位置合わせされ、軟組織構造を表す患者固有の形状に修正される例となる患者固有のＣＴデータの概念図である。
【図18B】軟組織構造に関連する初期形状が骨構造に位置合わせされ、軟組織構造を表す患者固有の形状に修正される例となる患者固有のＣＴデータの概念図である。
【図19】[0031]脂肪浸潤のような軟組織特性を決定するためにマスク及び閾値処理された例となる最終的な患者固有の形状の概念図である。
【図20】[0032]軟組織構造の例となる最終的な患者固有の形状及び病前推定の概念図である。
【図21】[0033]肩関節の可動域分析への筋肉の寄与をモデル化する例となるばねの概念図である。
【図22】肩関節の可動域分析への筋肉の寄与をモデル化する例となるばねの概念図である。
【図23A】[0034]本開示の技法による、患者固有の画像データを使用して軟組織構造をモデル化するための例となる手順を例示するフローチャートである。
【図23B】[0035]本開示の技法による、患者固有の画像データを使用して軟組織構造をモデル化するための別の例となる手順を例示するフローチャートである。
【図24】[0036]本開示の技法による、患者固有の画像データを使用して軟組織構造をモデル化するための例となる手順を例示するフローチャートである。
【図25】[0037]本開示の技法による、患者の軟組織構造の脂肪浸潤値を決定するための例となる手順を例示するフローチャートである。
【図26】[0038]本開示の技法による、患者の軟組織構造の萎縮率を決定するための例となる手順を例示するフローチャートである。
【図27】[0039]本開示の技法による、患者の決定された軟組織構造に基づいて肩関節治療のタイプを決定するための例となる手順を例示するフローチャートである。
【図28】[0040]本開示の技法による、患者固有の画像データに基づいて肩関節治療のタイプを決定するための例となる手順を例示するフローチャートである。
【図29】[0041]本開示の技法による、患者の解剖学的構造、診断、及び／又は治療の推奨のうちの１つ又は複数の態様を決定するために使用可能なディープニューラルネットワーク（ＤＮＮ）を実装する例となるコンピューティングシステムを例示するブロック図である。
【図31】[0043]本開示の技法による、患者に対する推奨される肩関節手術のタイプを決定するためにＤＮＮを使用するコンピューティングシステムの例となる動作を例示するフローチャートである。
【図32】[0044]患者の肩関節に関する例となる骨の図である。
【図33A】[0045]上腕骨インプラントのために準備された例となる上腕骨頭の概念図である。
【図33B】上腕骨インプラントのために準備された例となる上腕骨頭の概念図である。
【図33C】上腕骨インプラントのために準備された例となる上腕骨頭の概念図である。
【図34】[0046]例となる上腕骨インプラントの概念図である。
【図35】[0047]例となるステム付き上腕骨インプラントの概念図である。
【図36】[0048]上腕骨頭に埋め込まれた例となるステムレス上腕骨インプラントの概念図である。
【図37】[0049]例となるリバース型上腕骨インプラントの概念図である。
【図38】[0050]本開示の一例による、患者固有の画像データから骨密度を決定するように構成されたシステムの例となる構成要素を例示するブロック図である。
【図39A】[0051]骨密度に基づいて上腕骨インプラントのタイプを決定するための例となる手順を例示するフローチャートである。
【図39B】[0052]上腕骨インプラントのステムサイズを決定するために患者固有の画像データにニューラルネットワークを適用するための例となる手順を例示するフローチャートである。
【図39C】[0053]患者固有の画像データから決定された軟組織構造及び骨密度に基づいて肩関節治療についての推奨を決定するための例となる手順を例示するフローチャートである。
【図40】[0054]骨密度情報を表示するための例となる手順を例示するフローチャートである。
【図41】[0055]上腕骨頭と切断面とを含む例となるユーザインターフェースの概念図である。
【図42】[0056]上腕骨頭と内部骨密度の表現とを含む例となるユーザインターフェースの概念図である。
【図43】[0057]上腕骨頭と、上腕骨インプラント推奨のタイプに関連する内部骨密度の表現とを含む例となるユーザインターフェースの概念図である。
【発明を実施するための形態】
【0011】
[0058]本開示は、外科的関節修復処置のための患者分析、術前計画、並びに／又はトレーニング及び教育を提供するための様々なシステム、デバイス、及び技法を説明する。整形外科手術は、患者の損傷又は罹患した関節を修復又は置換するために、１つ又は複数の補綴具を埋め込むことを伴い得る。仮想手術計画ツールは、外科医が術前に見たり操作したりすることができる正確な３次元骨モデルを生成するために、罹患又は損傷した関節の画像データを使用する。これらのツールにより、外科医は、手術をシミュレートすること、患者の実際の骨の輪郭により厳密に一致するインプラントを選択又は設計すること、及び特定の患者の骨を修復するのに特に適している手術器具及びガイドツールを選択又は設計することができ、手術結果を向上させることができる。
【0012】
[0059]これらの計画ツールは、個々の患者のために選択又は製造されるインプラント及び手術器具を完備した術前の手術計画を生成するために使用され得る。これらのシステムは、個々の患者に対する特定のインプラント及び／又は処置のタイプを決定するために、患者の骨モデルに依存し得る。しかしながら、患者に関する撮像データから導出される軟組織構造情報（例えば、筋肉及び／又は結合組織）は利用できない。患者の軟組織に関するこの撮像データがない場合、計画ツール及び臨床医は、患者の軟組織が現在の関節及び術後の関節の機能にどのような影響を与え得るか分からない状態で、手術又はインプラントの特定の側面を決定し得る。
【0013】
[0060]本明細書で説明されるように、システムは、患者の撮像データから軟組織（例えば、筋肉、腱、靭帯、軟骨、及び／又は結合組織）の寸法及び他の特性を決定し得る。次いで、システムは、患者の撮像データから導出されたこれらの軟組織の寸法及び／又は他の特性を使用して、特定のタイプの医療介入、外科治療のタイプ、又は更には１つ又は複数の医療インプラントのタイプ、寸法、及び／又は埋植（placement）を選択又は提案するように構成され得る。このように、システムは、患者の撮像データから導出された軟組織情報を使用して、特定の患者のための手術計画を決定するか、又はその決定を支援し得る。例えば、システムは、解剖学的肩関節置換手術又はリバース型肩関節置換手術を選択し、次いで、患者の撮像データから導出された軟組織の寸法及び他の特性に基づいて、例えば、ディスプレイ上への提示によって、この選択を外科医のようなユーザに出力し得る。本明細書で説明される肩関節置換術についてのこれらの推奨は、肩関節の新たな置換もしくは最初の置換に適用され得るか、又は他の例では、患者がすでに肩関節置換術を受けている場合の再置換手術に適用され得る。典型的には、肩関節手術は、患者の肩の機能を回復させるため及び／又は痛みを軽減するために使用され得る。
【0014】
[0061]一例では、システムは、患者の撮像データ（例えば、Ｘ線画像、磁気共鳴撮像（ＭＲＩ）画像、又は他の撮像モダリティを含むコンピュータ断層撮影（ＣＴ））を受け取り、３次元（３Ｄ）撮像データセットを構築し得る。この撮像データセットから、システムは、対象の軟組織構造に関連する骨の位置と、軟組織構造自体のおおよその位置とを識別することができる。例えば、患者が肩関節置換手術を必要とし得る場合、システムは、肩甲骨及び上腕骨の部分並びに回旋腱板の筋肉を識別し得る。軟組織構造の各々について（例えば、回旋腱板の各筋肉について）、システムは、撮像データから軟組織構造の表現を決定し得る。システムは、軟組織構造の推定位置内に初期形状を配置し、次いで、この初期形状を撮像データに適合させて、実際の軟組織構造の表現を決定し得る。この推定位置は、関連する骨又は他の骨構造もしくは骨構造の一部上の１つ又は複数のマーカ又はランドマーク（例えば、筋肉の付着点又は筋肉の起始）に基づき得る。初期形状は、被験者の集団から導出された統計的平均形状（ＳＭＳ）又は任意の幾何学的形状であり得る。
【0015】
[0062]初期形状から、システムは、初期形状の表面に対して垂直なベクトルを使用して、撮像データ内の軟組織構造の境界を表す強度閾値を超える初期形状の外側又は内側のボクセルを識別し得る。いくつかの例では、軟組織構造の境界は、隣接する軟組織構造間で識別される分離ゾーンから推定され得る。各ベクトルについて、初期形状上のそれぞれの位置から、システムは、識別されたボクセルのそれぞれのボクセルに向かって初期形状の表面を移動させ得る。初期形状の表面のこの移動は、初期形状が修正されて、識別されたボクセルの輪郭を近似するまで、数回の反復にわたって行われ得る。他の例では、システムは、初期形状と関連する骨との対応関係及び／又は最小化もしくは最大化アルゴリズム（例えば、コスト関数）を使用して、初期形状を患者固有の画像データに適合及びスケーリングし得る。次いで、最終的な修正された形状は、患者の回旋腱板の筋肉のような軟組織構造の表現として使用され得る。
【0016】
[0063]システムは、決定された表現から１つ又は複数の軟組織構造の１つ又は複数の特性を決定し得る。システムは、例えば、手術計画のためにこれらの特性を採用し得る。いくつかの例では、システムは、他の決定に使用される軟組織構造の体積を計算し得る。システムは、軟組織構造の表現内の撮像データからのボクセルの強度を閾値化することに基づいて、すなわち、ボクセル強度を閾値強度値と比較してボクセルを脂肪組織を表すものとして特徴付けることに基づいて、軟組織構造の脂肪浸潤値を決定し得る。例えば、閾値強度値を超える強度を有する軟組織構造のセグメント化された表現内のボクセルは、筋組織ではなく脂肪組織を表すと考えられ得る。閾値強度値を超えないボクセル、又は２つ以上のボクセルのグループは、非脂肪組織を表すと考えられ得る。本明細書で使用される場合、「超える」という用語は、値が閾値超であること又は閾値未満であることを指し得る。
【0017】
[0064]表現内の（脂肪組織と非脂肪組織とを含む）全組織に対する脂肪組織の比率は、脂肪浸潤値であると決定され得る。システムはまた、患者の骨に適合したＳＭＳの体積（例えば、患者の推定される病前組織の体積）を軟組織構造の表現の体積で割ることによって、萎縮率を計算し得る。次いで、システムは、軟組織構造及び関節に関連する他の軟組織構造のばね定数（又は筋機能の何らかの他の表現）を決定して、その関節の可動域を決定することができる。次いで、システムは、可動域及び／又は本明細書で説明される他の特性に基づいて、その関節に対する介入のタイプを決定することができる。例えば、システムは、患者にとってより適切な治療が解剖学的肩関節置換術であるかリバース型肩関節置換術であるかを決定することができる。
【0018】
[0065]いくつかの例では、システムは、患者固有の画像データ（例えば、２Ｄ又は３Ｄ画像データ）に基づいて上腕骨の上腕骨頭の骨密度特性を決定し得る。例えば、システムは、上腕骨頭の少なくとも一部内の骨梁のボクセル又はボクセルのグループの骨密度値を特徴付けて割り当て得る。他の例では、システムは、上腕骨頭の少なくとも一部内の骨梁の全体積を示す全体的な骨密度メトリック又はスコアを決定し得る。システムは、骨密度のグラフィカル指示のような骨密度の表現を含むユーザインターフェースを表示するようにディスプレイデバイスを制御し得る。いくつかの例では、システムは、決定された骨密度に基づいて、上腕骨インプラントのタイプ（例えば、ステム付き又はステムレス）の推奨を生成し得る。いくつかの例では、上腕骨インプラントのタイプの推奨は、システムが、患者に使用される上腕骨インプラントのタイプを、その同じ患者の患者固有の画像データにおいて識別された骨密度値と相関させた、上腕骨インプラントに関する過去の手術データに基づき得る。
【0019】
[0066]本明細書では一例として肩関節置換手術が説明される。しかしながら、本明細書で説明されるシステム、デバイス、及び技術は、患者の他の解剖学的構造又は構造のグループを分析するため、患者の他の関節（例えば、肘関節、股関節、膝関節など）に対する治療のタイプを決定するため、又は患者の特定の解剖学的状態に対して特定のタイプのインプラントを選択するために採用され得る。加えて、患者の撮像データから軟組織構造を決定するための本明細書で説明される技法は、他の例では、骨のような他の構造を識別するために採用され得る。
【0020】
[0067]いくつかの例では、システム、デバイス、及び方法は、どのタイプの治療（例えば、肩関節置換術のような関節置換手術）を患者に提供するかを決定することに関連するプロセスのような、外科手術の前及び最中における手術計画の作成、実装、検証、及び／又は修正を支援するために、複合現実（ＭＲ）可視化システムを採用し得る。手術計画と対話するためにＭＲ又はいくつかの事例ではＶＲが使用され得るため、本開示では、手術計画を「仮想」手術計画とも呼び得る。複合現実視覚化システム以外の又はそれに加えて視覚化ツールが、本開示の技法に従って使用され得る。
【0021】
[0068]例えば、Ｗｒｉｇｈｔ Ｍｅｄｉｃａｌ，Ｉｎｃ．から入手可能なＢＬＵＥＰＲＩＮＴ（登録商標）システム又は別の手術計画プラットフォームによって生成されるような手術計画又は推奨は、提案される外科治療のタイプ（例えば解剖学的肩関節手術又はリバース型肩関節手術）のような外科手術の様々な特徴、例えば骨又は組織準備ステップ及び／又はインプラント部品の選択、修正及び／又は埋植のためのステップを含む手術計画に従って外科医によって患者に対して行われるべき特定の外科手術ステップの特徴を定義する情報を含み得る。そのような情報は、様々な例では、外科医によって選択又は修正されることとなるインプラント部品の寸法、形状、角度、表面輪郭、及び／又は向き、骨又は組織準備ステップにおいて外科医によって骨又は軟組織において画定されることとなる寸法、形状、角度、表面輪郭、及び／又は向き、並びに／あるいは外科医による、患者の骨又は他の組織に対するインプラント部品の埋植を画定する位置、軸、平面、角度、及び／又は侵入点を含み得る。患者の解剖学的特徴の寸法、形状、角度、表面輪郭、及び／又は向きのような情報は、撮像（例えば、Ｘ線、ＣＴ、ＭＲＩ、超音波、又は他の画像）、直接観察、又は他の技法から導出され得る。
【0022】
[0069]いくつかの視覚化ツールは、関節修復術及び置換術のための術前計画を容易にするために、患者の画像データを利用して骨輪郭の３次元モデルを生成する。これらのツールは、外科医が、患者の解剖学的構造に厳密に一致するサージカルガイド及びインプラント部品を設計及び／又は選択することを可能にし得る。これらのツールは、患者ごとに手術計画をカスタマイズすることによって手術結果を改善することができる。肩関節修復術のためのそのような視覚化ツールの例は、上で識別されたＢＬＵＥＰＲＩＮＴ（登録商標）システムである。ＢＬＵＥＰＲＩＮＴ（登録商標）システムは、骨修復領域の２次元平面ビューだけでなく該修復領域の３次元仮想モデルも外科医に提供する。外科医は、ＢＬＵＥＰＲＩＮＴ（登録商標）システムを使用して、適切なインプラント部品を選択、設計、又は修正すること、インプラント部品を配置及び方向付けする最良の方法とこの部品を受け入れるように骨の表面を成形する方法とを決定すること、及び手術計画を実行するためのサージカルガイドツール（複数可）又は器具を設計、選択、又は修正することができる。ＢＬＵＥＰＲＩＮＴ（登録商標）システムによって生成された情報は、実際の手術の前及び最中を含めて、外科医又は他のケア提供者がアクセスすることができる適切な位置（例えば、ワイドエリアネットワーク、ローカルエリアネットワーク、又はグローバルネットワーク内のサーバ上）のデータベースに記憶された患者のための術前の手術計画にコンパイルされる。
【0023】
[0070]本開示の特定の例は、添付の図面を参照して説明されており、ここでは、同様の参照番号は同様の要素を示す。しかしながら、添付の図面は、本明細書で説明される様々な実装形態を例示しているにすぎず、本明細書で説明される様々な技術の範囲を限定するものではないことは理解されたい。図面は、本開示の様々な例を示し、説明するものである。
【0024】
[0071]以下の説明では、本開示の理解を与えるために多数の詳細が記載されている。しかしながら、本開示の１つ又は複数の態様がこれらの詳細なしに実施され得ること、及び説明された例からの多数の変形例又は修正例が可能であり得ることを当業者は理解するであろう。
【0025】
[0072]図１は、本開示の一例による整形外科手術システム１００のブロック図である。整形外科手術システム１００は、サブシステムのセットを含む。図１の例では、サブシステムは、仮想計画システム１０２と、計画支援システム１０４と、製造及び送達システム１０６と、術中ガイダンスシステム１０８と、医療教育システム１１０と、モニタリングシステム１１２と、予測分析システム１１４と、通信ネットワーク１１６とを含む。他の例では、整形外科手術システム１００は、より多い、より少ない、又は異なるサブシステムを含み得る。例えば、整形外科手術システム１００は、医療教育システム１１０、モニタリングシステム１１２、予測分析システム１１４、及び／又は他のサブシステムを省略し得る。いくつかの例では、整形外科手術システム１００は、手術追跡に使用され得、その場合、整形外科手術システム１００は、手術追跡システムと呼ばれ得る。他の場合には、整形外科手術システム１００は、一般に、医療機器システムと呼ばれ得る。
【0026】
[0073]整形外科手術システム１００のユーザは、整形外科手術を計画するために、仮想計画システム１０２を使用し得る。例えば、仮想計画システム１０２及び／又は別の手術計画システムは、本明細書で説明されるように、患者の撮像データ（例えば、骨及び／又は軟組織）を分析し、撮像データから決定された骨及び／又は軟組織特性に基づいて提案される外科治療を決定し得る。整形外科手術システム１００のユーザは、計画支援システム１０４を使用して、整形外科手術システム１００を使用して生成された手術計画を検討し得る。製造及び送達システム１０６は、整形外科手術を行うために必要とされるアイテムの製造及び送達を支援し得る。術中ガイダンスシステム１０８は、整形外科手術を行う際に整形外科手術システム１００のユーザを支援するためのガイダンスを提供する。医療教育システム１１０は、医療専門家、患者、及び他のタイプの個人のようなユーザの教育を支援し得る。術前及び術後モニタリングシステム１１２は、患者が手術を受ける前及び手術を受けた後に患者を監視することを支援し得る。予測分析システム１１４は、様々なタイプの予測で医療専門家を支援し得る。例えば、予測分析システム１１４は、人工知能技法を適用して、整形外科関節の状態の分類の決定、例えば診断、患者に対してどのタイプの手術を行うか及び／又は手術でどのタイプのインプラントを使用するかの決定、手術中に必要とされ得るアイテムのタイプの決定などをし得る。
【0027】
[0074]整形外科手術システム１００のサブシステム（例えば、仮想計画システム１０２、計画支援システム１０４、製造及び送達システム１０６、術中ガイダンスシステム１０８、医療教育システム１１０、術前及び術後モニタリングシステム１１２、並びに予測分析システム１１４）は、様々なシステムを含み得る。整形外科手術システム１００のサブシステム内のシステムは、様々なタイプのコンピューティングシステム、サーバコンピュータ、パーソナルコンピュータ、タブレットコンピュータを含むコンピューティングデバイス、スマートフォン、ディスプレイデバイス、モノのインターネット（ＩｏＴ）デバイス、視覚化デバイス（例えば、複合現実（ＭＲ）視覚化デバイス、仮想現実（ＶＲ）視覚化デバイス、ホログラフィックプロジェクタ、又は拡張現実（ＸＲ）可視化を提示するための他のデバイス）、手術用具などを含み得る。ホログラフィックプロジェクタは、いくつかの例では、ヘッドセットを装着しているユーザだけが見るのではなく、ヘッドセットなしで複数のユーザ又は単一のユーザが全体的に見るためのホログラムを投影し得る。例えば、仮想計画システム１０２は、ＭＲ視覚化デバイス及び１つ又は複数のサーバデバイスを含み得、計画支援システム１０４は、１つ又は複数のパーソナルコンピュータ及び１つ又は複数のサーバデバイスなどを含み得、他も同様である。コンピューティングシステムは、システムとして動作するように構成された１つ又は複数のコンピューティングデバイス及び／又はシステムのセットである。いくつかの例では、１つ又は複数のデバイスが、整形外科手術システム１００のサブシステムのうちの２つ以上の間で共有され得る。例えば、前述の例では、仮想計画システム１０２及び計画支援システム１０４は、同じサーバデバイスを含み得る。
【0028】
[0075]例となるＭＲ視覚化デバイスは、ワシントン州レドモンドのマイクロソフト社から入手可能なMicrosoft HOLOLENS（登録商標）ヘッドセットを含み、これは、ユーザがレンズを通して現実世界のオブジェクトを見ると同時に投影された３Ｄホログラフィックオブジェクトを見ることを可能にする、導波管と呼ばれることもあるシースルーホログラフィックレンズを含む。Microsoft HOLOLENS（登録商標）ヘッドセット又は同様の導波管ベースの視覚化デバイスは、本開示のいくつかの例に従って使用され得るＭＲ視覚化デバイスの例である。いくつかのホログラフィックレンズは、ユーザが現実世界のオブジェクトと仮想のホログラフィックオブジェクトとを見ることができるように、シースルーホログラフィックレンズを通してある程度の透明性を有するホログラフィックオブジェクトを提示し得る。いくつかの例では、いくつかのホログラフィックレンズは、時々、ユーザに対して現実世界のオブジェクトを全く見えないようにし得、代わりに、ユーザが仮想環境だけを見ることを可能にし得る。複合現実という用語はまた、１人以上のユーザがホログラフィック投影によって生成された１つ又は複数の仮想オブジェクトを知覚することができるシナリオを包含し得る。換言すると、「複合現実」は、ホログラフィックプロジェクタが、ユーザの実際の物理的環境内に存在するようにユーザに見える要素のホログラムを生成する場合を包含し得る。本明細書ではＭＲ視覚化デバイスを一例として説明するが、他の例において本明細書で説明される情報の任意の側面を提示するために、陰極線管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、及び発光ダイオード（ＬＥＤ）ディスプレイのようなディスプレイ画面が使用され得る。
【0029】
[0076]図１の例では、整形外科手術システム１００のサブシステム内に含まれるデバイスは、通信ネットワーク１１６を使用して通信し得る。通信ネットワーク１１６は、インターネット、ローカルエリアネットワークなどの１つ又は複数のワイドエリアネットワークを含む様々なタイプの通信ネットワークを含み得る。いくつかの例では、通信ネットワーク１１６は、ワイヤード及び／又はワイヤレス通信リンクを含み得る。
【0030】
[0077]整形外科手術システム１００の多くの変形例が可能である。そのような変形例は、図１に示される整形外科手術システム１００のバージョンよりも多い又は少ないサブシステムを含み得る。例えば、図２は、本開示の一例による、１つ又は複数の複合現実（ＭＲ）システムを含む、整形外科手術システム２００のブロック図である。整形外科手術システム２００は、手術計画を作成、検証、更新、修正、及び／又は実装するために使用され得る。いくつかの例では、手術計画は、例えば、仮想手術計画システム（例えば、ＢＬＵＥＰＲＩＮＴ（登録商標）システム）を使用することで手術前に作成され、次いで、例えば、手術計画のＭＲ視覚化又は他の視覚化を使用して、手術中に検証、修正、更新、及び閲覧され得る。他の例では、整形外科手術システム２００は、必要に応じて、手術の直前に又は術中に手術計画を作成するために使用され得る。いくつかの例では、整形外科手術システム２００は、手術追跡に使用され得、その場合、整形外科手術システム２００は、手術追跡システムと呼ばれ得る。他の場合には、整形外科手術システム２００は、一般に、医療機器システムと呼ばれ得る。
【0031】
[0078]図２の例では、整形外科手術システム２００は、術前手術計画システム２０２と、医療施設２０４（例えば、外科センター又は病院）と、記憶システム２０６と、ネットワーク２０８とを含み、ネットワーク２０８は、医療施設２０４のユーザが、（例として）病歴、損傷した関節又は骨に対応する画像データ、及び術前に作成された手術計画に対応する様々なパラメータのような記憶された患者情報にアクセスすることを可能にする。術前手術計画システム２０２は、図１の仮想計画システム１０２に相当し得、いくつかの例では、一般に、ＢＬＵＥＰＲＩＮＴ（登録標）システムに類似した又はそれと同一の仮想計画システムに対応し得る。
【0032】
[0079]図２の例では、医療施設２０４は、複合現実（ＭＲ）システム２１２を含む。本開示のいくつかの例では、ＭＲシステム２１２は、術前計画、術中ガイダンス、又は術後検討及びフォローアップにさえも関連する視覚情報のユーザへの提示のような機能性を提供するための１つ又は複数の処理デバイス（複数可）（Ｐ）２１０を含む。処理デバイス（複数可）２１０は、プロセッサ（複数可）とも呼ばれ得る。加えて、ＭＲシステム２１２の１人以上のユーザ（例えば、外科医、看護師、又は他のケア提供者）は、処理デバイス（複数可）（Ｐ）２１０を使用して、ネットワーク２０８を介して記憶システム２０６に送信される特定の手術計画又は他の患者情報に対する要求を生成することができる。これに応答して、記憶システム２０６は、要求された患者情報をＭＲシステム２１２に返す。いくつかの例では、ユーザは、ＭＲシステム２１２の一部であるが任意の視覚化デバイスの一部ではない１つ又は複数の処理デバイス、又はＭＲシステム２１２の視覚化デバイス（例えば、視覚化デバイス２１３）の一部である１つ又は複数の処理デバイス、又はＭＲシステム２１２の一部であるが任意の視覚化デバイスの一部ではない１つ又は複数の処理デバイスと、ＭＲシステム２１２の一部である視覚化デバイス（例えば、視覚化デバイス２１３）の一部である１つ又は複数の処理デバイスとの組合せのような、他の処理デバイス（複数可）を使用して、情報を要求して受信することができる。換言すると、Microsoft HOLOLENS（登録商標）デバイスのような例となるＭＲ視覚化デバイスは、ＭＲシステム２１２の構成要素の全てを含むか、又は１つ又は複数の外部プロセッサ及び／又はメモリを利用して、受動的な視覚化デバイス２１３に必要な処理機能性の一部又は全てを実行し得る。
【0033】
[0080]いくつかの例では、複数のユーザがＭＲシステム２１２を同時に使用することができる。例えば、ＭＲシステム２１２は、複数のユーザが各々自分の視覚化デバイスを使用することでユーザが同時に同じ視点から同じ情報を見ることができるスペクテータモードで使用され得る。いくつかの例では、ＭＲシステム２１２は、複数のユーザが各々自分の視覚化デバイスを使用することでユーザが異なる視点から同じ情報を見ることができるモードで使用され得る。
【0034】
[0081]いくつかの例では、処理デバイス（複数可）２１０は、データを表示し、医療施設２０４でユーザから入力を受け取るためのユーザインターフェースを提供することができる。処理デバイス（複数可）２１０は、ユーザインターフェースを提示するように視覚化デバイス２１３を制御するように構成され得る。更に、処理デバイス（複数可）２１０は、３Ｄ仮想モデル、２Ｄ画像、手術計画情報などの仮想画像を提示するように視覚化デバイス２１３（例えば、ホログラフィックレンズのような１つ又は複数の光導波路）を制御するように構成され得る。処理デバイス（複数可）２１０は、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、携帯電話及び他の電子コンピューティングデバイス、又はそのようなデバイス内のプロセッサのような、様々な異なる処理デバイス又はコンピューティングデバイスを含むことができる。いくつかの例では、処理デバイス（複数可）２１０のうちの１つ又は複数は、医療施設２０４から離れて位置し得る。いくつかの例では、処理デバイス（複数可）２１０は、視覚化デバイス２１３内に存在する。いくつかの例では、処理デバイス（複数可）２１０のうちの少なくとも１つは、視覚化デバイス２１３の外部にある。いくつかの例では、１つ又は複数の処理デバイス（複数可）２１０は、視覚化デバイス２１３内に存在し、処理デバイス（複数可）２１０のうちの１つ又は複数は、視覚化デバイス２１３の外部にある。
【0035】
[0082]図２の例では、ＭＲシステム２１２はまた、処理デバイス（複数可）２１０によって実行可能なソフトウェアの命令及びデータを記憶するための１つ又は複数のメモリ又は記憶デバイス（複数可）（Ｍ）２１５を含む。ソフトウェアの命令は、本明細書で説明されるＭＲシステム２１２の機能性に対応することができる。いくつかの例では、ＢＬＵＥＰＲＩＮＴ（登録商標）システムのような仮想手術計画アプリケーションの機能性はまた、メモリ又は記憶デバイス（複数可）（Ｍ）２１５と共に処理デバイス（複数可）２１０によって記憶及び実行され得る。例えば、メモリ又は記憶システム２１５は、仮想手術計画の少なくとも一部に対応するデータを記憶するように構成され得る。いくつかの例では、記憶システム２０６が、仮想手術計画の少なくとも一部に対応するデータを記憶するように構成され得る。いくつかの例では、メモリ又は記憶デバイス（複数可）（Ｍ）２１５は、視覚化デバイス２１３内に存在する。いくつかの例では、メモリ又は記憶デバイス（複数可）（Ｍ）２１５は、視覚化デバイス２１３の外部にある。いくつかの例では、メモリ又は記憶デバイス（複数可）（Ｍ）２１５は、視覚化デバイス２１３内の１つ又は複数のメモリ又は記憶デバイスと、視覚化デバイスの外部の１つ又は複数のメモリ又は記憶デバイスとの組合せを含む。
【0036】
[0083]ネットワーク２０８は、ネットワーク１１６に相当し得る。ネットワーク２０８は、術前手術計画システム２０２及びＭＲシステム２１２を記憶システム２０６に接続する１つ又は複数のワイドエリアネットワーク、ローカルエリアネットワーク、及び／又はグローバルネットワーク（例えば、インターネット）を含むことができる。記憶システム２０６は、患者情報、医療情報、患者の画像データ、及び手術計画を定義するパラメータを含むことができる１つ又は複数のデータベースを含むことができる。例えば、患者の罹患又は損傷した骨及び／又は軟組織の医用画像は、典型的に、整形外科手術に備えて術前に生成される。医用画像は、患者の身体の矢状面及び冠状面に沿って撮影された関連する骨（複数可）及び／又は軟組織の画像を含むことができる。医用画像は、Ｘ線画像、磁気共鳴撮像（ＭＲＩ）画像、コンピュータ断層撮影（ＣＴ）画像、超音波画像、及び／又は関連する手術領域に関する情報を提供する任意の他のタイプの２Ｄ又は３Ｄ画像を含むことができる。記憶システム２０６はまた、特定の患者のために選択されたインプラント部品（例えば、タイプ、サイズなど）、特定の患者のために選択されたサージカルガイド、並びに侵入点、切断面、穿孔軸、リーミング深度などの外科手術の詳細を識別するデータを含むことができる。記憶システム２０６は、例として、（図示されるように）クラウドベースの記憶システムであり得るか、又は医療施設２０４にもしくは術前手術計画システム２０２の位置にあり得るか、又はＭＲシステム２１２もしくは視覚化デバイス（ＶＤ）２１３の一部であり得る。
【0037】
[0084]ＭＲシステム２１２は、手術計画を作成、検討、検証、更新、修正、及び／又は実施するために、外科手術の前（例えば、術前）又は外科手術の最中（例えば、術中）に外科医によって使用され得る。いくつかの例では、ＭＲシステム２１２はまた、外科手術の結果を検討し、再置換が必要であるかどうかを評価し、又は他の術後タスクを実行するために、外科手術の後（例えば、術後）に使用され得る。このように、ＭＲシステム１２は、ユーザが、現実世界のシーンに配置された仮想画像（例えば、仮想の関節窩又は上腕骨の画像、ガイダンス画像、又は他のテキストもしくは画像）に加えて、解剖学的対象物のような現実世界のシーンを見ることを可能にし得る。そのため、ＭＲシステム２１２は、外科医によって装着され得る視覚化デバイス２１３を含み得、（以下でより詳細に説明されるように）視覚化デバイス２１３は、骨又は軟組織の生成されたモデル、患者の撮像データから導出された患者の骨及び／又は軟組織の画像のような手術計画の詳細及び患者の罹患した、損傷した、又は手術後の関節の３Ｄ仮想画像と、手術計画のために選択された人工インプラント部品の３Ｄ仮想画像と、人工部品、サージカルガイド及び手術器具、並びに損傷した関節へのそれらの埋植を適切に方向付け及び配置するために、外科手術において、人工部品を配置するための侵入点、骨表面を成形する切断ツール又はリーミングツール又は骨表面に１つもしくは複数の穴を画定する穿孔ツールをアラインするためのアライメント軸及び切断面の３Ｄ仮想画像と、手術計画を実施するために外科医に有用であり得る任意の他の情報とを含む様々なタイプの情報を表示するように動作可能である。ＭＲシステム２１２は、外科手術の前及び／又は最中に視覚化デバイス２１３のユーザが認識可能な、この情報の画像を生成することができる。
【0038】
[0085]いくつかの例では、ＭＲシステム２１２は、複数のユーザが同じ画像を同時に見すること及び同じ３Ｄシーンを共有することができるように、複数の視覚化デバイス（例えば、視覚化デバイス２１３の複数のインスタンス）を含む。いくつかのそのような例では、視覚化デバイスのうちの１つがマスタデバイスに指定され得、その他の視覚化デバイスがオブザーバ又はスペクテータに指定され得る。任意のオブザーバデバイスは、ＭＲシステム２１２のユーザが望み得る通りに、いつでもマスタデバイスに再指定され得る。
【0039】
[0086]図３は、外科的ライフサイクル３００の例となる段階を例示するフローチャートである。図３の例では、外科的ライフサイクル３００は、術前段階（３０２）から始まる。術前段階中に、手術計画が作成される。術前段階の後に製造及び送達段階（３０４）が続く。製造及び送達段階中に、手術計画を実行するために必要なパーツ及び機器などの患者固有のアイテムが製造され、手術部位に送達される。いくつかの例では、手術計画を実行するために患者固有のアイテムを製造する必要はない。術中段階が、製造及び送達段階（３０６）に続く。手術計画は、術中段階中に実行される。換言すると、術中段階中に１人以上の人が患者に手術を行う。術中段階の後に術後段階（３０８）が続く。術後段階は、手術計画が完了した後に行われる活動を含む。例えば、患者は、術後段階中、合併症について監視され得る。
【0040】
[0087]本開示で説明されるように、整形外科手術システム１００（図１）は、術前段階３０２、製造及び送達段階３０４、術中段階３０６、並びに術後段階３０８のうちの１つ又は複数で使用され得る。例えば、仮想計画システム１０２及び計画支援システム１０４は、術前段階３０２で使用され得る。いくつかの例では、術前段階３０２は、システムが患者の撮像データを分析すること、骨及び／もしくは軟組織をモデル化すること、並びに／又は患者の状態に基づいて外科治療のタイプを決定もしくは推奨することを含み得る。製造及び送達システム１０６は、製造及び送達段階３０４で使用され得る。術中ガイダンスシステム１０８は、術中段階３０６で使用され得る。図１のシステムのうちのいくつかは、図３の複数の段階で使用され得る。例えば、医療教育システム１１０は、術前段階３０２、術中段階３０６、及び術後段階３０８のうちの１つ又は複数において使用され得、術前及び術後モニタリングシステム１１２は、術前段階３０２及び術後段階３０８において使用され得る。予測分析システム１１４は、術前段階３０２及び術後段階３０８において使用され得る。図３の外科的プロセス内には様々なワークフローが存在し得る。例えば、図３の外科的プロセス内の異なるワークフローは、異なるタイプの手術に適切であり得る。
【0041】
[0088]図４は、整形外科手術を支援する例となる術前、術中、及び術後のワークフローを例示するフローチャートである。図４の例では、外科的プロセスは、医療コンサルテーション（４００）から始まる。医療コンサルテーション（４００）中に、医療専門家は、患者の病状を評価する。例えば、医療専門家は、患者の症状に関して患者と相談し得る。医療コンサルテーション（４００）中に、医療専門家はまた、様々な治療の選択肢を患者と話し合い得る。例えば、医療専門家は、患者の症状に対処するための１つ又は複数の異なる手術を説明し得る。
【0042】
[0089]更に、図４の例は、症例作成ステップ（４０２）を含む。他の例では、症例作成ステップは、医療コンサルテーションステップの前に行われる。症例作成ステップ中に、医療専門家又は他のユーザは、患者の電子症例ファイルを確立する。患者の電子症例ファイルは、患者の症状に関するデータ、患者の可動域の観察、患者のための手術計画に関するデータ、患者の医用画像、患者に関する注記、患者に関する請求情報など、患者に関する情報を含み得る。
【0043】
[0090]図４の例は、術前患者モニタリング段階（４０４）を含む。術前患者モニタリング段階中、患者の症状が監視され得る。例えば、患者は、患者の肩の関節炎に関連する疼痛に苦しんでいるかもしれない。この例では、患者の症状は、患者の肩関節を置換する関節形成術が必要なレベルにまだ達していない可能性がある。しかしながら、関節炎は、典型的には、時間と共に悪化する。従って、患者の肩関節の手術をすべき時が来たかどうかを決定するために患者の症状が監視され得る。術前患者モニタリング段階からの観察は、患者の電子症例ファイルに記憶され得る。いくつかの例では、予測分析システム１１４は、患者がいつ手術を必要とし得るかを予測するため、手術を遅延もしくは回避するための治療過程を予測するため、又は患者の健康に関する他の予測を行うために使用され得る。
【0044】
[0091]加えて、図４の例では、術前段階中に医用画像取得ステップが行われる（４０６）。画像取得ステップ中に、患者の医用画像が生成される。特定の患者に関する医用画像は、様々な方法で生成され得る。例えば、画像は、コンピュータ断層撮影（ＣＴ）プロセス、磁気共鳴撮像（ＭＲＩ）プロセス、超音波プロセス、又は別の撮像プロセスを使用して生成され得る。画像取得ステップ中に生成された医用画像は、特定の患者の対象の解剖学的構造の画像を含む。例えば、患者の症状が患者の肩に関わる場合、患者の肩の医用画像が生成され得る。医用画像は、患者の電子症例ファイルに追加され得る。医療専門家は、術前段階、術中段階、及び術後段階のうちの１つ又は複数で医用画像を使用することが可能であり得る。
【0045】
[0092]更に、図４の例では、自動処理ステップ（４０８）が行われ得る。自動処理ステップ中に、仮想計画システム１０２（図１）は、患者のための予備の手術計画を自動的に作成し得る。例えば、仮想計画システム１０２は、患者の骨及び／又は軟組織のモデル又は表現を生成し得る。これらの表現に基づいて、仮想計画システム１０２は、軟組織量、筋肉の脂肪浸潤、筋肉の萎縮率、及び骨の可動域のような骨及び／又は軟組織特性を決定し得る。仮想計画システム１０２は、これらの特性に基づいて、どのタイプの治療が実行されるべきか（例えば、肩関節置換術は解剖学的置換術であるべきかリバース型置換術であるべきか）を決定し得る。本開示のいくつかの例では、仮想計画システム１０２は、機械学習技術を使用して、患者の仮想症例ファイル内の情報に基づいて予備の手術計画を作成し得る。
【0046】
[0093]図４の例はまた、手動補正ステップ（４１０）を含む。手動補正ステップ中に、１人以上の人間ユーザは、自動処理ステップ中に行われた決定をチェックして補正することができる。本開示のいくつかの例では、１人以上のユーザは、手動補正ステップ中、複合現実又は仮想現実視覚化デバイスを使用し得る。いくつかの例では、自動処理ステップ中に仮想計画システム１０２によって適用される機械学習技法を改良するために、手動補正ステップ中に行われた変更がトレーニングデータとして使用され得る。
【0047】
[0094]仮想計画ステップ（４１２）が、図４の手動補正ステップに続き得る。仮想計画ステップ中に、医療専門家は、患者のための手術計画を作成し得る。本開示のいくつかの例では、１人以上のユーザは、患者のための手術計画の作成中に複合現実又は仮想現実視覚化デバイスを使用し得る。
【0048】
[0095]更に、図４の例では、術中ガイダンスが生成され得る（４１４）。術中ガイダンスは、手術計画をどのように実行するかに関する外科医へのガイダンスを含み得る。本開示のいくつかの例では、仮想計画システム１０２が術中ガイダンスの少なくとも一部を生成し得る。いくつかの例では、外科医又は他のユーザ（複数可）が術中ガイダンスに寄与し得る。
【0049】
[0096]加えて、図４の例では、手術アイテムを選択及び製造するステップが実行される（４１６）。手術アイテムを選択及び製造するステップ中、製造及び送達システム１０６（図１）は、手術計画によって説明されている手術中に使用するための手術アイテムを製造し得る。例えば、手術アイテムは、手術用インプラント、手術用具、及び手術計画によって説明されている手術を行うために必要な他のアイテムを含み得る。
【0050】
[0097]図４の例では、術中システム１０８（図１）からのガイダンスを用いて外科手術が行われ得る（４１８）。例えば、外科医は、外科医にガイダンス情報を提示する術中システム１０８の頭部装着型ＭＲ視覚化デバイスを装着した状態で手術を行い得る。ガイダンス情報は、一連のステップ、個々のステップの詳細、並びに外科手術ワークフローにおける様々なステップのためのツール又はインプラント選択、インプラント埋植及び位置、並びに骨表面の準備を含む、外科的ワークフローにおける様々なステップのためのガイダンスを提供して、外科医が手術を行う際の指針となり得る。
【0051】
[0098]外科手術の完了後に術後患者モニタリングが行われ得る（４２０）。術後患者モニタリングステップ中、患者の医療結果が監視され得る。医療結果は、症状の緩和、可動域、合併症、埋め込まれた手術アイテムのパフォーマンスなどを含み得る。術前及び術後モニタリングシステム１１２（図１）は、術後患者モニタリングステップを支援し得る。
【0052】
[0099]図４の医療コンサルテーション、症例作成、術前患者モニタリング、画像取得、自動処理、手動補正、及び仮想計画ステップは、図３の術前段階３０２の一部である。図４のガイダンスステップを有する外科手術は、図３の術中段階３０６の一部である。図４の術後患者モニタリングステップは、図３の術後段階３０８の一部である。
【0053】
[0100]先に述べたように、整形外科手術システム１００のサブシステムのうちの１つ又は複数は、ＭＲシステム２１２（図２）のような１つ又は複数の複合現実（ＭＲ）システムを含み得る。各ＭＲシステムは、視覚化デバイスを含み得る。例えば、図２の例では、ＭＲシステム２１２は、視覚化デバイス２１３を含む。いくつかの例では、視覚化デバイスを含むことに加えて、ＭＲシステムは、視覚化デバイスの動作をサポートする外部コンピューティングリソースを含み得る。例えば、ＭＲシステムの視覚化デバイスは、外部コンピューティングリソースを提供するコンピューティングデバイス（例えば、パーソナルコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォンなど）に通信可能に結合され得る。代替的に、視覚化デバイスの必要な機能を実行するために、適切なコンピューティングリソースが視覚化デバイス２１３上に又はその内部に提供され得る。
【0054】
[0101]仮想計画システム１０２及び／又は他のシステムは、関節手術のような外科的介入を計画するためにも使用され得る患者の撮像データを分析し得る。一例として本明細書で説明されるように、肩関節置換手術は、本明細書のシステム及び技法を使用して計画され得る手術の１つのタイプである。図５Ａ及び図５Ｂは、患者の肩に関する例となる筋肉及び骨の図である。
【0055】
[0102]図５Ａの例に示されるように、患者５００の前部像は、胸骨５０２と、肩５０４と、肋骨５０６とを含む。肩５０４の構造及び機能に関連するいくつかの骨は、肩甲骨の烏口突起５１０と肩峰５１２とを含む（全体は図示せず）。肩５０４に関連する筋肉は、前鋸筋５０８と、大円筋と、二頭筋５１８とを含む。肩甲下筋５１４は、図５Ａに示される回旋腱板筋のうちの１つである。他の回旋腱板筋、棘上筋５２６、棘下筋５３０、及び小円筋５３２は、図５Ｂの例における患者５００の後面像に示されている。図５Ｂはまた、上腕骨頭５２０及び肩甲骨５２８の脊柱の骨の特徴を例示する。肩５０４に関連する他の筋肉は、三頭筋５２２と三角筋５２４とを含む。
【0056】
[0103]どのタイプの肩関節治療又は肩関節置換術が適切であり得るかなど、治療のために肩５０４を評価するとき、システムは、図５Ａ及び図５Ｂで説明されたもののような、骨及び軟組織に関する患者固有の撮像データを分析し得る。例えば、仮想計画システム１０２は、患者の撮像データから軟組織（例えば、筋肉）の表現を生成し、軟組織の様々な特性を決定し得る。これらの特性は、筋肉量、脂肪浸潤（例えば、脂肪率）、筋萎縮率、及び筋肉に関連する関節の可動域を含み得る。
【0057】
[0104]この情報から、仮想計画システム１０２は、推奨される治療のタイプ、例えば患者に解剖学的肩関節置換術又はリバース型肩関節置換術が有効か否かを決定し得る。解剖学的肩関節置換術では、上腕骨頭が人工上腕骨頭（例えば、部分球体）と置換され、肩甲骨の関節窩表面が人工上腕骨頭と嵌合する人工湾曲面と置換される。リバース型肩関節置換術では、関節窩表面のために人工部分球体が埋め込まれ、この球体と嵌合する人工湾曲面（例えばカップ）が上腕骨頭の代わりに埋め込まれる。仮想計画システム１０２はまた、患者の撮像データ及び／又は筋肉特性に基づいてインプラントの寸法及び／又は埋植を提案し得る。
【0058】
[0105]一例では、仮想計画システム１０２のようなシステムは、患者の軟組織構造をモデル化するように構成され得る。仮想計画システム１０２は、患者に関する患者固有の画像データを記憶するように構成されたメモリと処理回路とを含み得る。処理回路は、患者固有の画像データ（例えば、ＣＴデータ）を受け取ることと、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定することと、患者固有の形状を出力することとを行うように構成され得る。このように、患者固有の形状は、患者の実際の軟組織構造のモデルであり得る。
【0059】
[0106]仮想計画システム１０２は、様々な方法を使用して軟組織構造の患者固有の形状を生成し得る。例えば、処理回路は、初期形状（例えば、患者集団に基づく幾何学的形状又は統計的平均形状）を受け取ることと、初期形状上の複数の表面点を決定することとを行うように構成され得る。次いで、仮想計画システム１０２は、初期形状を患者固有の画像データに位置合わせし（例えば、隣接する骨上の筋肉の付着点に基づいて初期形状を患者固有の画像データ内に配置し）、患者の軟組織構造の境界を表す患者固有の画像データ内の１つ又は複数の輪郭を識別し得る。これらの１つ又は複数の輪郭は、軟組織構造の境界を示す閾値を超える強度を有する患者固有の撮像データ内のボクセル又はピクセルであり得る。いくつかの例では、輪郭は、（例えば、患者固有の画像データ内の強度勾配を表すヘシアン特徴画像を使用して）隣接する軟組織構造間の分離ゾーンを識別することによって決定され得る。筋肉と、例えば脂肪組織との間で非常に類似している強度だけに基づいて構造境界を識別するのとは対照的に、隣接する構造間の分離ゾーンを識別するヘシアン特徴画像は、これらの構造境界の精度を向上さ得る。次いで、仮想計画システム１０２は、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させて初期形状を患者の軟組織構造を表す患者固有の形状に変化させる。このように、移動の各反復により、修正された初期形状は、画像データにおいて示される患者の軟組織構造の実際の形状にますます類似するようになる。
【0060】
[0107]いくつかの例では、仮想計画システム１０２は、撮像データを使用してモデル化された患者固有の形状を表示し得る。仮想計画システム１０２はまた、手術計画の一部として追加の決定を実行し得る。例えば、仮想計画システム１０２は、患者固有の撮像データを使用して、患者固有の形状の脂肪体積比を決定し、患者固有の形状の萎縮率を決定し、患者の軟組織構造の患者固有の形状の脂肪体積比及び萎縮率に基づいて、患者の上腕骨の可動域を決定し、次いで、上腕骨の可動域に基づいて、患者の肩関節治療処置の複数のタイプのうちの１つのタイプを決定し得る。
【0061】
[0108]仮想計画システム１０２は、患者の回旋腱板の１つ又は複数の筋肉の脂肪体積比と萎縮率とに基づいて、患者の上腕骨の可動域を決定することによって、上腕骨の可動域を決定し得る。この情報に基づいて、仮想計画システム１０２は、解剖学的肩関節置換手術又はリバース型肩関節置換手術のうちの１つから肩関節治療のタイプを選択し得る。いくつかの例では、仮想計画システム１０２は、患者の骨及び／又は筋肉が解剖学的肩関節置換術を支持することができない状況に対してリバース型肩関節置換手術を推奨し得る。このように、（例えば、１つ又は複数の適切な閾値と比較して）より大きな脂肪浸潤及びより大きな萎縮率を有すると決定された患者は、リバース型肩関節置換術により適している可能性がある。いくつかの例では、計画システム１０２は、決定木又はニューラルネットワークを採用し、脂肪浸潤値を、患者の年齢、性別、活動、及び／又は患者がリバース型肩関節置換術により適しているか解剖学的肩関節置換術により適しているかを示し得る他の要因のような他のパラメータと共に入力として使用し得る。いくつかの例では、脂肪浸潤値は、筋肉のような軟組織構造についてのあるタイプの品質メトリックのであり得る。他の例では、筋肉の質は、筋肉中の脂肪の存在を組み込んでいる場合もそうでない場合もある別のタイプの値によって表され得る。
【0062】
[0109]図６は、本開示の一例による、軟組織構造の寸法及び関節に関連する外科的介入に関する他の情報を決定するように構成されたシステム５４０の例となる構成要素を例示するブロック図である。システム５４０は、図１の仮想計画システム１０２及び／又は本明細書で説明されるプロセスを実行するように構成されたシステムに類似し得る。図６の例では、システム５４０は、処理回路５４２と、電源５４６と、ディスプレイデバイス（複数可）５４８と、入力デバイス（複数可）５５０と、出力デバイス（複数可）５５２と、記憶デバイス（複数可）５５４と、通信デバイス５４４とを含む。図６の例では、ディスプレイデバイス（複数可）５４８は、不透明又は少なくとも部分的に透明な画面のような、ユーザインターフェースをユーザに提示するための画像を表示し得る。ディスプレイデバイス５４８は、視覚情報を提示し得、いくつかの例では、オーディオ情報又はユーザに提示される他の情報を提示し得る。例えば、ディスプレイデバイス５４８は、１つ又は複数のスピーカ、触覚デバイスなどを含み得る。他の例では、出力デバイス（複数可）５５２は、１つ又は複数のスピーカ及び／又は触覚デバイスを含み得る。ディスプレイデバイス（複数可）５４８は、不透明な画面（例えば、ＬＣＤ又はＬＥＤディスプレイ）を含み得る。代替的に、ディスプレイデバイス（複数可）５４８は、例えば、プロジェクタと組み合わせてシースルーホログラフィックレンズを含むＭＲ視覚化デバイスを含み得、それは、ユーザが、現実世界の環境において、レンズを通して現実世界のオブジェクトを見ることと、例えば、Microsoft HOLOLENS（登録商標）デバイスのようなホログラフィック投影システムによって、レンズ内に及びユーザの網膜上に投影された仮想３Ｄホログラフィック画像を見ることとを可能にする。この例では、仮想３Ｄホログラフィックオブジェクトは、現実世界の環境内に配置されているように見え得る。いくつかの例では、ディスプレイデバイス５４８は、ＬＣＤ表示画面、ＯＬＥＤ表示画面などの１つ又は複数の表示画面を含む。ユーザインターフェースは、特定の患者のための仮想手術計画の詳細の仮想画像を提示し得る。
【0063】
[0110]いくつかの例では、ユーザは、様々な方法でシステム５４０と対話したり、それを制御したりすることができる。例えば、入力デバイス５５０は、１つ又は複数のマイクロフォンと、関連する音声認識処理回路又はソフトウェアとを含み得、ユーザが発した音声コマンドを認識し、それに応答して、手術計画、術中ガイダンスなどに関連する様々な機能の選択、アクティブ化、又は非アクティブ化のような様々な動作のいずれかを実行し得る。別の例として、入力デバイス５５０は、上で説明したような動作を実行するためにジェスチャを検出及び解釈する１つ又は複数のカメラ又は他の光学センサを含み得る。更なる例として、入力デバイス５５０は、注視方向を感知し、本開示の他の箇所で説明されるような様々な動作を実行する１つ又は複数のデバイスを含む。いくつかの例では、入力デバイス５５０は、例えば、１つ又は複数のボタン、キーパッド、キーボード、タッチスクリーン、ジョイスティック、トラックボール、及び／又は他の手動入力媒体を含むハンドヘルドコントローラを介して、ユーザから手動入力を受け取り、手動ユーザ入力に応答して、上で説明したような様々な動作を実行し得る。
【0064】
[0111]通信デバイス５４４は、他のデバイスとのデータ通信を容易にする１つ又は複数の回路又は他の構成要素を含み得る。例えば、通信デバイス５４４は、システム５４０に物理的に接続されたときにドライブとシステム５４０との間のデータの移送を可能にする１つ又は複数の物理ドライブ（例えば、ＤＶＤ、ブルーレイ、又はユニバーサルシリアルバス（ＵＳＢ）ドライブ）を含み得る。他の例では、通信デバイス５４４がそれを含み得る。通信デバイス５４４はまた、別のコンピューティングデバイス及び／又はネットワークとのワイヤード及び／又はワイヤレス通信をサポートし得る。
【0065】
[0112]記憶デバイス５４４は、共通及び／又は別個のデバイスにそれぞれのタイプのデータを記憶する１つ又は複数のメモリ及び／又はリポジトリを含み得る。例えば、ユーザインターフェースモジュール５５６は、ユーザに情報を提示するためにシステム５４０がディスプレイデバイス５４８をどのように制御するかを定義する命令を含み得る。術前モジュール５５８は、撮像データのような患者データの分析、及び／又は患者データに基づく治療選択肢の決定に関する命令を含み得る。術中モジュール５６０は、計画された手術に関する詳細及び／又は外科手術に関するフィードバックのような情報を表示のために臨床医に提供する際にシステム５４０がどのように動作するかを定義する命令を含み得る。
【0066】
[0113]表面フィッティングモジュール５６２は、処理回路５４２が患者固有の撮像データから軟組織の表現（例えば、患者固有の形状）をどのように決定するかを定義する命令を含み得る。例えば、表面フィッティングモジュール５６２は、初期形状、反復回数、及び患者の撮像データの強度に基づいて初期形状を患者固有の形状に調整することに関する他の詳細を指定し得る。画像位置合わせモジュール５６４は、初期形状又は他の解剖学的構造を患者の画像データにどのように位置合わせするかを定義する命令を含み得る。例えば、画像位置合わせモジュール５６４は、表面フィッティングプロセス中に患者固有の形状を生成する前に、統計的平均形状（ＳＭＳ）（例えば、多くの人々の集団から導出された解剖学的形状）を患者の撮像データの骨とどのように位置合わせするかを処理回路５４２に命令し得る。患者データ５６６は、患者の撮像データ（例えば、ＣＴスキャン、Ｘ線スキャン、又はＭＲＩデータ）、患者の特性（例えば、年齢、身長、体重）、患者の診断、患者の状態、以前に受けた手術もしくはインプラント、又は患者に関する任意の他の情報のような任意のタイプの患者データを含み得る。
【0067】
[0114]上述したように、外科的ライフサイクル３００は、術前段階３０２（図３）を含み得る。１人以上のユーザは、術前段階３０２において整形外科手術システム１００を使用し得る。例えば、整形外科手術システム１００は、１人以上のユーザが、特定の患者の対象の解剖学的構造に合わせてカスタマイズされ得る仮想手術計画を生成するのを助けるために、仮想計画システム１０２（システム５４０に類似し得る）を含み得る。本明細書で説明されるように、仮想手術計画は、特定の患者の対象の解剖学的構造に対応する３次元仮想モデルと、対象の解剖学的構造を修復するために特定の患者に適合しているか、又は対象の解剖学的構造を修復するために選択された１つ又は複数の人工部品の３次元モデルとを含み得る。仮想手術計画はまた、外科医が外科手術を行う際、例えば、骨表面又は組織を準備し、そのような骨表面又は組織に対して埋込型の補綴具を埋植する際の指針となるガイダンス情報の３次元仮想モデルを含み得る。
【0068】
[0115]本明細書で説明されるように、システム５４０は、患者の撮像データを使用して患者の軟組織構造をモデル化するように構成され得る。例えば、システム５４０は、患者に関する患者固有の画像データ（例えば、患者データ５６６）を記憶するように構成されたメモリ（例えば、記憶デバイス５５４）を含み得る。システム５４０はまた、患者固有の画像データを受け取ることと、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定することとを行うように構成された処理回路５４２を含む。次いで、処理回路５４２は、例えば、表示又は患者のための更なる分析での使用のために、患者固有の形状を出力することができる。例えば、処理回路５４２は、本明細書で説明されるように、患者固有の画像データからの患者固有の形状又は他の特性を使用して、外科手術の推奨（例えば、患者に対してどのタイプの治療を行うべきか）を生成し得る。
【0069】
[0116]処理回路５４２は、１つ又は複数のプロセスを使用して患者固有の形状を決定し得る。例えば、処理回路５４２は、初期形状（例えば、幾何学的形状又はＳＭＳ）を受け取り、初期形状上の複数の表面点を決定し、初期形状を患者固有の画像データに位置合わせし得る。処理回路５４２は、患者固有の画像データ内の予めセグメント化された骨上の１つ又は複数の筋肉の付着点及び／又は起始を決定することによって、又は他の方法で対象の軟組織構造の近似位置を識別することによって、初期形状を位置合わせし得る。次いで、処理回路５４２は、患者の軟組織構造の境界を表す患者固有の画像データ内の１つ又は複数の輪郭（軟組織構造間の分離ゾーンに基づき得る）を識別し、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させて初期形状を患者の軟組織構造を表す患者固有の形状に変化させ得る。このように、処理回路５４２は、初期形状の境界が、輪郭により厳密に適合する方向に向かって反復的に移動されるにつれて、１つ又は複数の中間形状を生成し得る。輪郭は、軟組織構造の境界を示す、特定の閾値を超えるか、又は閾値範囲内に入るボクセルの集合を表し得る。
【0070】
[0117]いくつかの例では、初期形状及び患者固有の形状は３次元形状である。しかしながら、他の例では、初期形状及び／又は患者固有の形状は２次元で定義され得る。これらの例では、いくつかの２次元形状のセットは、総体積又は３次元形状を画定するために使用され得る。一例では、処理回路５４２は、処理回路５４２が３次元空間においてデータを処理するように、初期形状及び中間形状の表面点を３次元のそれぞれのベクトルの方向に反復的に移動させ得る。他の例では、処理回路５４２は、２次元スライスで動作して、初期形状を患者固有の画像データ内の輪郭に向かって変化させ得る。次いで、処理回路５４２は、いくつかの２次元スライスを組み合わせて、患者についての最終的な患者固有の形状の完全な３次元体積を生成し得る。
【0071】
[0118]軟組織構造は、筋肉、腱、靭帯、又は骨ではない他の結合組織を含み得る。関節置換治療は、一般に、骨の修正（例えば、骨の少なくとも一部を金属及び／又はポリマーのような人工材料に置換すること）を伴い得るが、置換されるその特定の関節に適切であり得るのがどのタイプの置換術であるかは軟組織の状態が知らせ得る。このように、システム５４０は、関節置換術のタイプに影響を及ぼし得る情報を求めて、関節の周囲の筋肉のような患者の軟組織を分析し得る。肩関節置換術の場合、関節の対象の軟組織構造は、肩甲下筋、棘上筋、棘下筋、小円筋のような回旋腱板筋を含み得る。大円筋、三角筋、前鋸筋、三頭筋、及び二頭筋のような肩に関連する他の筋肉も、肩関節置換治療のために分析され得る。手術計画の目的上、システム５４０は、新たな修復された関節がどのタイプの可動域及び／又は応力を受け得るかを決定するために、各軟組織構造の様々な特性を決定し得る。
【0072】
[0119]いくつかの例では、処理回路５４２は、関節窩表面又は肩甲骨の残りの部分に対する上腕骨の可動域のような様々な基準に基づいて、患者に対する肩関節治療のタイプを決定し得る。肩関節治療のタイプは、解剖学的肩関節置換術又はリバース型肩関節置換術を含み得、処理回路５４２は、軟組織特性に基づいて、どのタイプの置換術が患者に好ましいかを提案し得る。加えて、処理回路５４２は、インプラント埋植位置、角度、向き、インプラントのタイプなどの、治療のための他のパラメータを推奨する。例えば、処理回路５４２は、患者固有の画像データから患者固有の形状の脂肪体積比（例えば、脂肪浸潤値）を決定し得る。処理回路５４２はまた、対象の軟組織構造についての推定された病前の状態又は以前の健康な状態に基づいて、患者固有の形状の萎縮率を決定し得る。次いで、処理回路５４２は、患者の軟組織構造の患者固有の形状の脂肪体積比及び萎縮率に基づいて、患者の上腕骨の可動域を決定することができる。例えば、筋肉の脂肪浸潤及び萎縮がより高いことは、関節の可動域がより低く（又はより狭く）なることを示し得る。いくつかの例では、可動域は、関節のそれぞれの動きについての１つ又は複数の特定の角度、又は関節の全体的な可動域を表すメトリックもしくは他の複合値であり得る。処理回路５４２は、いくつかの筋肉に基づいて、関節の可動域を決定し得る。例えば、処理回路５４２は、回旋腱板のいくつかのそれぞれの筋肉及び／又は肩関節に関連する他の筋肉もしくは結合組織に対する脂肪率及び萎縮率に基づいて、肩甲骨に対する上腕骨の１つ又は複数の可動域値（例えば、１つ又は複数の個々の角度又は全体的な可動域を表す１つ又は複数の複合値）を決定し得る。加えて、可動域は、骨対骨衝突又は他の機械的インピンジメントの影響を受け得る。この情報から、処理回路５４２は、術前計画段階中に患者に対する肩関節治療のタイプを提案し得る。
【0073】
[0120]図７～図１８Ｂは、患者固有の画像データから患者の軟組織構造をモデル化することに関与する例となるステップを例示する。システム５４０の処理回路５４２は、これらのプロセスを実行するための例となるシステムとして説明されるが、他のデバイス、システム、又はそれらの組合せが同様の決定を実行し得る。図７は、回旋腱板のいくつかの筋肉の例となる付着点の図である。
【0074】
[0121]図７の例に示されるように、処理回路５４２は、初期形状を患者の関連する骨に位置合わせすることによって、軟組織モデリングを開始し得る。肩甲骨の関節窩５７８が上腕骨５７０の上腕骨頭５２０と共に示されている。患者の骨は、処理回路５４２又は別のシステムが患者固有の画像データの強度値に基づいて骨を決定する自動セグメンテーションプロセスから決定され得る。これらの骨から、処理回路５４２は、肩関節の対象の１つ又は複数の軟組織構造の付着点、又は付着部（又はそうでなければ、筋肉の起始）を識別し得る。他の例では、付着点又は他の骨ランドマークは、骨セグメンテーションからではなく、患者固有の画像データから直接決定され得る。例えば、棘上筋付着点５７２は、棘上筋が上腕骨頭５２０に付着している場所を示し、棘下筋付着点５７４は、棘下筋が上腕骨頭５２０に付着している場所を示し、肩甲下筋付着点５７６は、肩甲下筋が上腕骨頭５２０に付着している場所を示す。処理回路５４２は、解剖学的アトラス又は一般的な人体解剖学的構造に基づく他の命令との比較に基づいて、これらの付着点の各々を識別し得る。いくつかの例では、処理回路５４２は、初期形状を患者の骨に位置合わせするための追加の点として、肩甲骨又は他の骨上の追加の付着点を決定し得る。
【0075】
[0122]本明細書で説明されるように、変形されて患者の画像データに適合することとなる初期形状は、幾何学的形状又はより具体的なＳＭＳとして開始することができる。ＳＭＳは、一般集団に対して選択され得るか、又は患者集団についての１つ又は複数の人口統計学的要因（例えば、性別、年齢、民族性など）に基づいて複数の異なるＳＭＳから選択され得る。いくつかの例では、ＳＭＳが患者の筋肉により厳密に一致し得るため、ＳＭＳが使用され得る。従って、処理回路５４２は、初期形状を修正して、画像データに適合する患者固有の形状を生成するために必要な反復又は計算の数を低減させ得る。加えて、ＳＭＳは、関連する骨上の識別された付着点に一致する予め識別された位置を含み得る。
【0076】
[0123]図８Ａは、例となる患者固有の画像データの概念図である。図８Ａに示されるように、２次元画像データ６００は、ＣＴ又はＸ線画像の強度を例示するために示されている。より高い強度は、肩甲骨６０２の形態の骨のような、Ｘ線エネルギーを吸収する高密度組織を示す。典型的には、筋肉のような軟組織構造は、組織が同様に低レベルでＸ線エネルギーを吸収するため、ＣＴデータで識別することはより困難である。例えば、棘下筋は、肩甲骨６０２の縁である縁６０１と、棘下筋の外縁と隣接する脂肪組織層との間の分離ゾーンである縁６０３とによって部分的に決定される境界を有し得る。Ｘ線データから縁６０３を識別することは困難であり得るが、特定のデータ処理技法は、縁６０３又は縁６０３が決定され得る分離ゾーンを識別するのを助け得る。
【0077】
[0124]図８Ｂは、図８Ａの患者固有の画像データに基づいて生成されたヘシアン特徴画像６０５（Ｈｅｓｓｉａｎ ｆｅａｔｕｒｅ ｉｍａｇｅ）の概念図である。図８Ｂの例に示されるように、処理回路５４２は、図８Ａからの画像データ６００のような患者固有のＣＴデータからヘシアン特徴画像６０５を決定し得る。ヘシアン特徴画像６０５は、２次元画像として示されているが、３次元データフィールドの一部であり得る。ヘシアン特徴画像６０５は、患者固有のＣＴデータ内の２つ以上のボクセル間のより高い強度勾配を含む患者固有のＣＴデータの領域を示す。例えば、処理回路５４２は、隣接するボクセル又はボクセルのグループ間の二次導関数を計算して、ボクセル又はボクセルのグループ間の勾配を決定し、次いで、二次導関数に基づいてヘシアン特徴画像を生成し得る。ヘシアン特徴画像は、３次元画像として説明されているが、２次元画像も同じ技術を用いて同様に生成され得る。
【0078】
[0125]これらの構造のボクセル間、例えば、骨のオブジェクトと軟組織との間、互いに隣接する骨のオブジェクトの２つのセット間、及び互いに隣接する軟組織の２つのセット間の強度に変化があるため、ヘシアン特徴画像は、２つの解剖学的対象物間の分離を示し得る。処理回路５４２は、ボクセルベースの分離情報に基づいて（例えば、ヘシアン特徴画像に基づいて）、１つ又は複数の輪郭、又は輪郭の少なくとも一部を決定し得る。
【0079】
[0126]輪郭は解剖学的対象物間の分離を示すが、輪郭は、解剖学的対象物の完全な形状は提供しない場合がある。例えば、撮像の不完全性、ボクセルもしくはボクセルのグループ間の強度勾配の欠如、又はノイズにより、解剖学的構造（例えば、骨又は軟組織）の境界を表す輪郭の不連続性を生じさせる穴、隙間、又は他の誤差が存在し得る。一例として、輪郭は完全でないことがあり、解剖学的対象物を表す閉曲面ではない場合がある。一般に、輪郭は、解剖学的対象物のサイズ、形状、及び位置の初期推定値を提供し得る。しかしながら、より詳細に説明されるように、輪郭が画像情報に基づき、２Ｄスキャンが不完全であり得るため、輪郭は、実際の解剖学的対象物の不正確なインジケータであり得る（例えば、穴又は他の欠落部分、並びに輪郭における突出部により）。従って、処理回路５４２は、閉曲面を有する初期形状を使用し、ヘシアン特徴画像によって少なくとも部分的に画定される輪郭を近似するように初期形状を修正し得る。
【0080】
[0127]ヘシアン特徴画像６０５は、様々な強度のいくつかの線を含む（例えば、白色は、暗色又は黒色のエリアよりもボクセル間の勾配が高いエリアを示す）。より白い及びより広い線は、より高い勾配のエリアを示す。鎖骨６０２は、骨からのより高い強度を有するボクセルと軟組織からのより低い強度を有するボクセルとの間の大きな勾配を表す鎖骨６０２の外面の周囲の線として識別され得る。図８Ｂに示されるように、棘下筋は、肩甲骨６０２の縁である輪郭６０７Ａと、棘下筋の外縁と隣接する脂肪組織層との間の分離ゾーンである輪郭６０７Ｂとによって部分的に決定される境界を有し得る。輪郭６０７Ａ及び６０７Ｂの各々は、ヘシアン特徴画像６０５の線によって示される分離ゾーンの中央を通って延びるものとして識別され得る。このように、輪郭６０７Ａ及び６０７Ｂは、各構造の境界を近似し得る隣接する構造間の対応関係を示し得る。
【0081】
[0128]輪郭６０７Ａ及び６０７Ｂの各々は不連続であり得るが、これらの輪郭は、他の例では、連続した分離ゾーンであり得る。次いで、輪郭６０７Ａ及び６０７Ｂは、棘下筋の境界を表す輪郭の少なくとも一部を形成し得る。いくつかの例では、他の筋肉の輪郭を提供するために、他の分離ゾーンが使用され得る。例えば、ヘシアン特徴画像６０５は、典型的に、筋肉と皮膚との間に最小限の脂肪組織を有する皮膚に隣接して位置し得る筋肉の境界を識別するために使用され得る輪郭６０７Ｃのような皮膚の境界を示し得る。
【0082】
[0129]ヘシアン特徴画像６０５に基づいて、処理回路５４２は、軟組織構造と隣接する軟組織構造との間の１つ又は複数の分離ゾーンを識別し得る。換言すると、分離ゾーンは、患者固有の画像データにおける２つの軟組織構造間の強度勾配を示し得る。次いで、処理回路５４２は、１つ又は複数の輪郭の少なくとも一部を、１つ又は複数の分離ゾーンを通過するものとして決定し得る。輪郭は、分離ゾーンの中央を通過するように、又は分離ゾーンの強度ベースの重み付けされた中央を通過するように、処理回路５４２によって決定され得る。
【0083】
[0130]図８Ｃは、患者固有の画像データに重ね合わされた例となる初期形状６０４及び例となるセグメンテーション輪郭の概念図である。図８Ｃに示されるように、本明細書で説明される例となるプロセスによる軟組織構造をモデル化するプロセスを例示するために２次元画像データ６００が示される。棘下筋の軟組織構造が例として示されているが、同じプロセスが任意の軟組織構造に対して実行され得る。例示のために２次元画像が図８Ｃに示されているが、処理回路５４２は、３次元空間においてこれらのプロセスを実行し得る。
【0084】
[0131]破線で例示された初期形状６０４のような初期形状が、この例では棘下筋である、対象の軟組織構造に対して選択される。次いで、初期形状６０４は、肩甲骨６０２を含む１つ又は複数の関連する骨に位置合わせされる。例えば、肩甲骨６０２上で識別された付着点は、初期形状６０４から識別されたそれぞれの付着部と一致させるために使用され得る。初期形状６０４は、患者とは異なる複数の被験者の軟組織構造を表す解剖学的形状であるＳＭＳであり得る。ＳＭＳは対象の筋肉に固有であるため、初期形状６０４は患者の構造に類似し得る。しかしながら、図８Ｃに示されるように、初期形状６０４は、肩甲骨６０２の境界又は画像データ６００の他の強度を正確に反映していない。従って、処理回路５４２は、初期形状６０４を変形又は修正して、その特定の患者に関する画像データに適合させ得る。
【0085】
[0132]処理回路５４２は、１回以上の反復によって、初期形状６０４の一部を、（例えば、結果として得られる患者固有の形状に類似する）セグメンテーション輪郭６０６によって表される患者の実際の軟組織構造に向かって移動させ得る。矢印グループ６０８Ａ、６０８Ｂ、及び６０８Ｃ（集合的に「矢印グループ６０８」）によって示されるように、初期形状６０４の一部は、セグメンテーション輪郭６０６の他のそれぞれの部分に向かって変形される。図８Ｃに示されるそれぞれの矢印グループ内の矢印の各々は、初期形状６０４の表面上のそれぞれの表面点を、１回の反復の間に、セグメンテーション輪郭６０６に向かって経路の少なくとも一部だけ移動させる。このようにして、２回以上の反復の後には、処理回路５４２は、初期形状６０４を変形させてセグメンテーション輪郭６０６に適合させ得る。例えば、矢印グループ６０８Ｂの方向に移動したセグメンテーション輪郭６０６の部分は、肩甲骨６０２の一部に適合する。矢印グループ６０８Ａ及び矢印グループ６０８Ｃの方向に移動した初期形状６０４の部分もまた、画像データ６００の強度によって示されるような軟組織構造の輪郭に適合する。このプロセスは、いくつかの例では閉曲面フィッティングと呼ばれ得る。
【0086】
[0133]いくつかの例では、処理回路５４２は、棘下筋のような対象の軟組織構造の表現を生成するために、患者固有の画像データの初期分析であるセグメンテーション輪郭６０６を受け取り得る。セグメンテーション輪郭６０６は、例えば、３次元形状又は複数の２次元スライスであり得る。しかしながら、セグメンテーション輪郭６０６は、軟組織構造を表す完全なモデルではない場合がある。例えば、画像データ内の様々なボクセルは不正確であったり欠落していたりする場合があり、結果として得られるセグメンテーション輪郭６０６は、完全とならないことがある。例えば、セグメンテーション輪郭６０６は、ヘシアン特徴画像からの分離ゾーンから識別された輪郭によって少なくとも部分的に決定され得る。従って、完全に閉じられているＳＭＳ又は幾何学的形状を変形させて画像データ６００に適合させることで、軟組織構造の完全なモデルを得ることができる。
【0087】
[0134]他の例では、処理回路５４２は、軟組織構造についてのセグメンテーション輪郭６０６を受け取らなくてもよい。代わりに、処理回路５４２は、患者固有の画像データ内の関連する骨上の付着点に従って、初期形状を配置し得る。次いで、処理回路５４２は、初期形状の表面上の様々な位置から、閾値強度を超えるか、周囲のボクセルと所定の値もしくは割合だけ異なるか、又は別の方法で画像データ６００内の軟組織構造もしくは骨のエッジを示すそれぞれのボクセルに向かってベクトルを拡張し得る。閾値強度を超えるこれらのボクセルは、例えば、患者固有の画像データによって表される軟組織構造の１つ又は複数の輪郭を一緒に形成し得る。あるいは、本明細書で説明されるように、軟組織構造の縁を表す輪郭は、ヘシアン特徴画像にあるようなボクセル間の勾配に基づいて決定され得る。従って、１回以上の反復によって、閾値を超えるか、又はボクセル強度の相対的変化を超える識別されたボクセルに向かって初期形状６０４を変形させた後、初期形状６０４は、患者の軟組織構造を表す患者固有の形状に変形し得る。従って、患者固有の形状は、患者のためのその構造のモデルであり得、体積、長さなどの様々な特性が、処理回路５４２によって計算され得る。図９～図１１は、初期形状の表面上の点を反復的に移動させることによって患者固有の画像データから患者固有の形状を決定するための例となるプロセスを示す。
【0088】
[0135]図９は、患者の軟組織構造を表す患者固有の形状６１４に向けて初期形状６１６を変更する例となる手順の概念図である。図９の例は、患者の画像データのサジタルビュー６１０と、初期形状６１６と、肩甲骨６１２とを示す。初期形状６１６は、配置され、点線によって示される輪郭６１４に類似し得る肩甲下筋の軟組織構造を表すように変形され得る。処理回路５４２は、初期形状６１６上の複数の位置を、患者の画像データにおいて識別された１つ又は複数の骨上の対応する挿入位置に位置合わせすることによって、画像データ内で初期形状６１６を位置合わせする。例えば、初期形状６１６は、肩甲骨６１２上の挿入位置に位置合わせされ得る。この位置合わせは、初期形状６１６の任意の部分が肩甲骨６１２に実際に接触することを必要としないが、この位置合わせは、患者固有の画像データ内で初期形状６１６を位置合わせすべき場所の指針として、肩甲骨６１２上の挿入位置を使用する。初期形状６１６は、患者の構造を近似するためのＳＭＳとして示されている。他の例では、球体、卵形、又は他の構造のような幾何学的形状が、初期形状６１６として使用され得る。
【0089】
[0136]初期形状６１６は変形又は修正される必要があるため、処理回路５４２は、軟組織構造の表面を表す画像データのボクセルに向かって、必要に応じて初期形状６１６の一部を移動させることができる。例えば、処理回路５４２は、初期形状６１６上の複数の表面点を選択し得る。ベクトル６１８Ａ及び６１８Ｂ（集合的に「ベクトル６１８」）の各々は、初期形状６１６上のそれぞれの表面点から、初期形状６１６の表面から垂直な方向に伸びる。処理回路５４２は、ベクトル６１８を初期形状６１６の内側及び外側に伸ばし得、これにより、処理回路５４２は、初期形状６１６が撮像データに最初に位置合わせされた場所に応じて、初期形状６１６の外側又は内側に存在し得る軟組織構造の輪郭を識別することができ得る。例えば、ベクトル６１８Ｂは、肩甲骨６１２の一部が初期形状６１６内に存在するため、初期形状６１６の表面から内向きに向けられる。反対に、初期形状６１６の残りの部分の周りのベクトル６１８Ａは、最終的に、初期形状６１６の表面から外向きに向けられる。
【0090】
[0137]従って、処理回路５４２は、ベクトル６１８を使用して、輪郭６１４及び肩甲骨６１２の表面によって示されるような、軟組織構造の縁に対応する１つ又は複数の輪郭を識別することができる。例えば、処理回路５４２は、初期形状６１６上の複数の表面点の各表面点（例えば、ベクトル６１８の各々の基点）から、それぞれのベクトル６１８を、それぞれの表面点から外向き又は内向きのうちの少なくとも１つに伸ばし得る。次いで、処理回路５４２は、各表面点からのベクトルについて、ボクセル強度が閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定することができる。複数の表面点のうちの少なくとも１つの表面点についてのこれらのそれぞれの位置は、１つ又は複数の輪郭を少なくとも部分的に画定する。換言すると、ベクトル６１８の各ベクトルについて、閾値強度値を超える強度値を含むボクセル又はピクセルは、輪郭６１４の一部又は軟組織構造に隣接する骨であると決定され得る。他の例では、処理回路５４２は、患者の軟組織構造を示す画像データの以前のセグメンテーションから輪郭６１４を受け取り得るか、又はヘシアン特徴画像が、ヘシアン特徴画像内の分離ゾーンから識別され得る輪郭６１４の少なくとも一部を決定するために使用され得る。しかしながら、処理回路５４２は依然として、対象の軟組織構造の完全な閉曲面モデルを生成するために、既知の輪郭に向かって初期形状６１６を変形させ得る。この完全な閉曲面モデルはまた、どの部分が骨に面しているべきか、又はどの部分が別の特定の筋肉に隣接すべきかとして、予めラベル付けされ得る（例えば、初期形状６１６が予めラベル付けされ得る）。このラベル付けは、軟組織構造の更なるセグメンテーションを可能にするか又は開始することができる。
【0091】
[0138]上述したように、ベクトル６１８の各々が探している可能性のある患者固有の画像内の位置は、ヘシアン特徴画像から決定された分離ゾーン及び輪郭に基づき得る。他の例では、処理回路５４２は、所定の強度値超の又は未満の患者固有の画像データ内のそれぞれの位置を決定することによって、ボクセル強度が閾値強度値超の患者固有の画像データ内のそれぞれの位置を決定し得る。換言すると、強度は、ボクセルが骨を表すことを示す高閾値強度値を超え得る（例えば、より高くなる）か、又はボクセルが流体、脂肪組織、もしくは軟組織構造の境界を示す他の組織を表すことを示す低閾値強度値を超え得る（例えば、より低くなる）。例えば、閾値強度値は、骨強度を表し得る。ベクトルが骨の位置に到達すると、軟組織（例えば、筋肉）がその骨表面に接して存在するため、処理回路５４２は、その位置を軟組織構造の境界として推測する。閾値強度値はまた、ベクトルが軟組織構造の体積から出たことを識別するために、筋肉以外の構造に設定され得る。他の例では、閾値強度値は、筋肉の予想強度値未満であり得る。例えば、ベクトルの経路における閾値強度が閾値強度値未満に低減されると、処理回路５４２は、そのより低い強度値を、流体又は対象の軟組織構造とは異なる他の構造として解釈し得る。閾値強度値は、いくつかの例では、所定の大きさであり得る。
【0092】
[0139]他の例では、閾値強度値は、ベクトルがどこから発生したか、及び／又はベクトルが最近横切った前のボクセル（複数可）もしくはピクセル（複数可）に基づいて計算された差分値であり得る。このように、処理回路５４２は、患者の画像データの強度の相対的変化（例えば、ボクセル間変化）、又は軟組織構造もしくは対象の軟組織構造の輪郭６１４の一部と相関する他の構造に対する境界を示し得るフィルタマスクを識別することができる。例えば、処理回路５４２は、それぞれの表面点に関連する強度と患者固有の画像データ内のそれぞれの位置の強度との間の差分閾値超の患者固有の画像データ内のそれぞれの位置を決定することによって、閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定するように構成され得る。いくつかの例では、処理回路５４２は、対象の軟組織構造に対する境界について画像データを分析するときに、これらのタイプの閾値のうちの１つ又は複数を採用し得る。
【0093】
[0140]一般に、処理回路５４２は、各ベクトルについて、軟組織構造に対する境界を表す患者固有の画像データ内のそれぞれの位置を識別し得る。しかしながら、いくつかの例では、処理回路５４２は、閾値強度値を超えるボクセル又はピクセルを識別しなくてもよい。この問題は、患者固有の画像データ内の不完全な情報、データの破損、データの生成中に患者が動くこと、又は任意の他のタイプの異常によって引き起こされ得る。処理回路５４２は、初期形状６１６の変形プロセスに伴うそのような問題を回避するためにアルゴリズムを採用し得る。例えば、処理回路５４２は、閾値強度値を超えるボクセル又はピクセルを識別するために、画像データ内の最大距離を採用し得る。最大距離とは、ベクトルが始まる初期形状６１６上の点からの所定の距離又はスケーリングされた距離であり得る。最大距離は、約５ミリメートル（ｍｍ）～約５０ｍｍの範囲から選択され得る。一例では、最大距離は、約２０ｍｍに設定され得る。
【0094】
[0141]処理回路５４２が、閾値強度値を超えるボクセルをベクトルの起点からその距離内で識別しない場合、処理回路５４２は、そのベクトル及び初期形状６１６の表面上のそれぞれの点を変形プロセスから除去し、変形については他の点及びベクトルだけに依存し得る。代替的に、処理回路５４２は、初期形状６１６から新たな表面点を選択し、閾値強度値を超えるボクセルを見つけるために又はヘシアン特徴画像から決定された軟組織構造の輪郭又は境界に対応するボクセルを見つけるために、その新たな表面点から新たなベクトルを伸ばし得る。初期形状６１６の表面上のこの新たな表面点は、除去された表面点から所定の距離内にもしくは所定の距離にあるか、除去された表面点と別の表面点との間の所定の距離にあるか、又は処理回路５４２が除去された表面点を置換するために選択する初期形状６１６上の何らかの他の位置にあり得る。
【0095】
[0142]次いで、処理回路５４２は、閉じた初期形状６１６を輪郭６１４及び肩甲骨６１２の一部に近づける又は適合させるために、初期形状６１６の表面を変形させる１回以上の反復を使用し得る。各反復中に、処理回路５４２は、初期形状６１６上の表面点のうちのいくつか又は全てを移動させ得る。例えば、処理回路５４２は、それぞれの表面点からの、かつ、それぞれの表面点を含む初期形状６１６の表面に対して垂直なそれぞれのベクトル６１８を、複数の表面点の各表面点から伸ばし得る。上述したように、これらのベクトルは、初期形状６１６の表面から内向き及び／又は外向きに向けられ得る。次いで、処理回路５４２は、各表面点からのそれぞれのベクトル６１８について、閾値強度値を超える患者固有の画像データ内のそれぞれの点を決定し得る。閾値強度値を超えるこれらの点は、骨の表面及び／又は輪郭６１４に類似する１つ又は複数の輪郭を形成し得る。
【0096】
[0143]輪郭６１４の各それぞれの点において、処理回路５４２は、それぞれの点の包絡線内にあり、かつ、患者固有の画像データ内の閾値強度値を超える複数の潜在的位置を決定し得る。このように、この単一ベクトルについての複数の潜在的位置は、輪郭６１４の表面を少なくとも部分的に画定する。包絡線内のこれらの潜在的位置は、初期形状６１６上の表面点が移動すべき潜在的な方向を示す。処理回路５４２は、これらの潜在的位置における輪郭の表面が初期形状６１６上の表面点に対してどのように方向付けされるかを説明するために、それぞれの表面点の移動の指針となる、これらの潜在的位置のうちの１つを選択するであろう。換言すると、処理回路５４２は、初期形状６１６の表面の向きと、その潜在的位置における輪郭６１４の表面の向きとの間の差が低減した潜在的位置を選択し得る。
【0097】
[0144]例えば、処理回路５４２は、複数の潜在的位置の各々ついて、表面に対して垂直なそれぞれの法線ベクトルを決定し得る。初期形状６１６の表面上のそれぞれの表面点からのベクトル６２０の例では、いくつかの法線ベクトルが潜在的位置の各々から生成される。１つの例となる法線ベクトルは、潜在的位置のうちの１つからのベクトル６２２である。次いで、処理回路５４２は、それぞれの法線ベクトルの各々について、それぞれの法線ベクトルとそれぞれの表面点からのベクトルとの間の角度を決定し得る。ベクトル６２４の例を使用して、処理回路５４２は、ベクトル６２４とベクトル６２０との間の角度６２２を決定し得る。この角度６２２は、余弦角と呼ばれ得る。処理回路５４２は、例となるベクトル６２０のようなそれぞれのベクトル６１８に対応する各潜在的位置について、この計算を実行し得る。
【0098】
[0145]次いで、処理回路５４２は、初期形状６１６からの各それぞれの表面点について、それぞれの表面点からのベクトル（例えば、ベクトル６２０）と複数の潜在的位置の各々からのそれぞれの法線ベクトル（例えば、ベクトル６２４）との間の最小角度を有する１つの潜在的位置を複数の潜在的位置の中から選択し得る。換言すると、処理回路５４２は、表面点の適切な移動及び表面点の変形を提供する、輪郭６１４上の位置を識別し得る。次いで、処理回路５４２は、各それぞれの表面点について、少なくとも部分的に、選択された１つの潜在的位置に向かってそれぞれの表面点を移動させ得る。それぞれの表面点のこの移動は、輪郭６１４及び肩甲骨６１２の一部に対応する患者固有の形状に向かって初期形状６１６を修正又は変形させる。処理回路５４２は、閾値強度値を超えるか又は対象の軟組織構造の以前にセグメント化された境界に対応するボクセル又はピクセルを近似するように初期形状６１６が変形されるまで、全ての反復でこのプロセスを繰りし得る。
【0099】
[0146]処理回路５４２は、それぞれの表面点と輪郭６１４に対応する選択された１つの潜在的位置との間の距離の少なくとも半分だけそれぞれの表面点を移動させ得る。しかしながら、移動する距離は、他の状況において又はプロセスにおける反復において変動し得る。単一のステップで結果として得られる変形は、正確な最終的な患者固有の形状を生成しない可能性があるため、表面点は、潜在的位置に向かって完全に移動されなくてもよい。換言すると、各反復において各潜在的位置についての法線ベクトルに基づいて輪郭６１４上の選択された位置に微調整することで、輪郭６１４により厳密に一致した最終的な形状を提供し得る。換言すると、初期形状６１６上の各表面点は、全ての反復にわたって必ずしも完全な直線方向に移動しなくてもよい。各表面点についての移動のこの非線形の組合せにより、最終的な患者固有の形状は、輪郭６１４及び適切な場合には隣接する骨表面により厳密に一致する又は適合することができ得る。
【0100】
[0147]図１０のサジタルビュー６４０に示されるように、図９の初期形状６１６が、１回の反復中に、初期形状６１６よりも輪郭６１４に近い中間形状６３２に変形されている。処理回路５４２が、中間形状６３２が依然として輪郭６１４を近似していないと決定するか、それ以外で追加の変形を必要とすると決定すると、処理回路５４２は、変形の１回以上の追加の反復を実行し得る。例えば、処理回路５４２は、中間形状６３２上のそれぞれの表面点からベクトル６３４Ａ及び６３４Ｂ（集合的に「ベクトル６３４」）を決定し得る。ベクトル６３４Ｂは、肩甲骨６１２の表面に向かって内向きに向けられており、ベクトル６３４Ｂは、図９に関して上で説明したベクトル６１８と同様に、肩甲骨６１２及び輪郭６１４の一部に向かって外向きに向けられている。
【0101】
[0148]次いで、処理回路５４２は、閾値強度値を超えるボクセル又はピクセルにそれぞれのベクトルが到達した時点で、ベクトル６３４の各々についての潜在的位置の別のセットを決定する。各ベクトル６３４についての潜在的位置の各々から、処理回路５４２は、表面点からのベクトルと比較されたときに最小角度を持つ法線ベクトルを有する潜在的位置を選択し得る。例えば、中間形状６３２上のその表面点からの例となるベクトル６３６に関して、処理回路５４２は、ベクトル６３６が輪郭６１４に到達した輪郭６１４内の点から、包絡線内の輪郭６１４内の潜在的位置のうちの１つからの１つのベクトルとしてベクトル６３７を決定し得る。処理回路５４２は、角度６３８が中間形状６３２からのベクトルと潜在的位置からの法線ベクトルとの間の最小角度である場合にベクトル６３７に関連する潜在的位置を選択し得る。このように、処理回路５４２は、ベクトル６３４のうちの少なくともいくつかについて、ベクトル６３４が輪郭６１４に到達する点とは異なる輪郭６１４上の位置を選択し得る。このプロセスにより、処理回路５４２は、それぞれの表面点において表面に対して垂直な方向以外の方向に中間体６３２上の表面点を移動させることによって輪郭６１４をより厳密に近似することができる。
【0102】
[0149]次いで、処理回路５４２は、中間形状６３２の表面点を少なくとも部分的に輪郭６１４上の選択された潜在的位置に向かって移動させ得る。例えば、処理回路５４２は、中間形状６３２を、図１１に示されるように完全に包囲される最終的な患者固有の形状６４２に変形させ得る。図１１に示されるように、患者固有の形状６４２は、輪郭６１４と、患者のために軟組織構造が配設される肩甲骨６１２の少なくとも一部の表面とを近似し得る。患者固有の形状６４２は、いくつかの例では、輪郭６１４と全く同じであるか又は類似し得る。輪郭６１４は、患者固有の画像データ内の軟組織構造の初期セグメント化、及び／又は各ベクトルから識別された閾値超のボクセルを表す表面を表し得る。他の例では、処理回路５４２は、最終的な患者固有の形状６４２に到達する前に、初期形状６１６を、２回より多い回数、変形させ得る。いくつかの例では、処理回路５４２は、閾値強度値を超えるボクセル又はピクセルの輪郭を近似するために、所定数の反復を実行し得る。他の例では、処理回路５４２は、形状の表面点の特定の数、特定の割合、又は全てが、閾値超過したボクセル又はピクセルから所定の距離内になるまで、初期形状の変形の追加の反復を実行し続け得る。換言すると、処理回路５４２は、変形された形状が患者固有の画像データ内の輪郭から何らかの許容可能な許容度、すなわち誤差内になるまで、初期形状及びその中間形状を変形させ続け得る。
【0103】
[0150]いくつかの例では、処理回路５４２は、各反復において変形のための同じ命令に従い得る。代替的に、処理回路５４２は、変形プロセスの反復中に処理回路５４２が形状の表面点をどのように移動させるかを決定する１つ又は複数の要因を調整し得る。例えば、これらの要因は、初期形状又は中間形状からの表面点の数、輪郭内で識別される潜在的位置の数、表面点からの各ベクトルについて潜在的位置が選択され得る包絡線サイズ、各表面点が１回の反復内で移動することができる距離、各表面点が１回の反復内で互いに対して移動することができる許容偏差、又は他のそのような要因を指定し得る。これらのタイプの要因は、処理回路５４２が単一の反復で初期形状又は中間形状を変形させることができる範囲を制限することができる。
【0104】
[0151]例えば、処理回路５４２は、画像データにおいて識別された軟組織構造の実際の寸法をより厳密に近似するために、初期形状をより均一な方法で変形させ、中間形状をより均一でない方法で変形させ得る。一例では、処理回路５４２は、第１の反復において、初期形状６１６から、第１の修正距離の第１の許容範囲内の第１のそれぞれの距離だけ複数の表面点の各表面点を移動させることによって、１つ又は複数の輪郭（例えば、輪郭６１４）のそれぞれの潜在的位置に向かって複数の表面点を反復的に移動させて、第２の形状（例えば、中間形状６３２）を生成するように構成され得る。第１の許容範囲は、初期形状６１６に対して第２の形状の平滑性を維持するように、処理回路５４２によって選択されるか、ユーザによって選択されるか、又は別様に事前決定され得る。換言すると、許容範囲は、ある値からの許容される偏差であり得る。許容範囲は、全ての表面点が同じ距離を移動しなければならないように、ゼロと同程度に低くされ得る。しかしながら、許容範囲は、各表面点が反復内で移動可能な距離を処理回路５４２が変えることができるように、より大きくてもよい。
【0105】
[0152]次いで、処理回路５４２は、第１の反復に続く第２の反復において、第２の形状の複数の表面点の各表面点を、第２の修正距離の第２の許容範囲内の第２のそれぞれの距離だけ移動させて、第２の形状から第３の形状（例えば、別の中間形状又は最終的な形状）を生成し得る。この第２の反復では、各表面点が移動する距離が前の反復で許容された変動よりも大きく変動し得るように、第２の許容範囲は第１の許容範囲よりも大きい。このように、より小さい許容範囲は、形状の変形における平滑性を促進し得、より大きい許容範囲は、次の変形された形状が軟組織構造を近似する程度においてより高い精度を促進し得る。一般に、処理回路５４２は、反復間に表面点の修正距離に対する許容範囲を増加させ得る。しかしながら、いくつかの例では、処理回路５４２は、許容範囲を増加させることと減少させることとを切り替え得るか、又は処理回路５４２は、各反復について許容範囲を同一値に維持し得る。別の言い方をすれば、より後の反復の弾性は、各表面点がより接近してそれらの対応点に（例えば、軟組織構造の境界を表す輪郭に向かって）移動することができるように増加し得る。加えて、システムが輪郭６１４への対応関係をより確信するようになるため、反復ごとに探索距離は減少し得る。例えば、骨構造に関連する輪郭６１４の部分への対応関係により確信がある場合、システムは、初期形状６１６上の各表面点について、より弾性のある又はより許容範囲のある移動を提供するより高い反復を使用し得る。対照的に、他の軟組織に関連する輪郭６１４の部分は、輪郭６１４への対応関係があまり確信のないものであるため、より低い弾性を有する初期の反復を必要とし得る。
【0106】
[0153]いくつかの例では、位置合わせ及び修正のこのプロセスは、Ｂ－スプラインアルゴリズムに類似し得る。Ｂ－スプラインアルゴリズムの内部パラメータは、スプライン次数、制御点の数、及び形状の修正のための反復回数を含み得る。スプライン次数及び制御点の数という最初の２つのパラメータは、アルゴリズムの「弾性」の程度を制御することができる。スプライン次数及び制御点の数が高いほど、形状上の各表面点について、発生する挙動はより弾性になる。換言すると、輪郭への対応関係の信頼度が高いままである限り、より後の反復は、修正された形状に対するより具体的な解をもたらす。
【0107】
[0154]一例では、第１の反復で、アルゴリズムは、初期形状６１６の空間をいくつかの表面点に分割することができる。処理回路５４２は、これらの表面点とスプライン関係を用いたスプライン次数とに基づいて変形場を決定し得る。更なる反復では、表面点の数は、変化する初期形状６１６のためのより具体的な変形場を可能にするように、複製されたり、３倍にされたりし得る。各「反復」は、Ｂ－スプラインアルゴリズムの内部反復を指し得る。処理回路５４２は、外部反復を使用して、「Ｎ」回の内部反復で、初期形状又は修正された形状の位置合わせを実行し得る。「Ｎ」は、より弾性な出力を可能にするために、外部反復と連動して増加され得る。処理回路５４２がＢ－スプライン位置合わせを実行するための１つの例となる方法は、Leeらによる「Scattered Data Interpolation with Multilevel B-Splines」IEEE Transactions on Visualization and Computer Graphics，Vol. 3, No. 3, July-September 1997に記載されている。Ｂ－スプライン位置合わせを実行するための追加の例となる方法は、https://itk.org/Doxygen411/html/classitk_1_1BSplineScatteredDataPointSetToImageFilter.html and http://www.insight-journal.org/browse/publication/57に記載されているであろう。
【0108】
[0155]いくつかの例では、処理回路５４２は、その位置におけるボクセル又はピクセルの識別された強度値に基づいて、輪郭に向かって、初期形状又は中間形状の表面点をより大きい距離又は全距離だけ移動させ得る。例えば、高強度ボクセルは、骨の存在を示し得る。一般に、軟組織構造は、骨の一部に対して配設され得る。従って、ボクセルが骨であると識別される場合、処理回路５４２は、初期形状又は中間形状のそれぞれの表面点を、識別された骨構造に直接、又はそれに隣接して移動させ得る。他の例では、処理回路５４２は、骨が輪郭の一部として識別される場合、修正距離の許容範囲を増加させて、次の反復が骨の輪郭をより高い精度で近似することを可能にし得る。他の例では、本明細書で説明されるように、輪郭６１４は、隣接する構造間の分離ゾーンを表すヘシアン特徴画像に基づいて決定され得る。いくつかの例では、処理回路５４２は、軟組織構造の境界への対応関係を決定するために、ベクトルに沿ってヘシアン特徴画像のプロファイル挙動を追跡し得る。ヘシアン特徴画像は、ベクトルについての対応関係に対してボクセルを提供する矩形状関数に類似したプロファイルを含み得る。骨構造に関して、処理回路５４２は、表面点をそのボクセルに直接移動させるために、骨表面のボクセルを把握し得る。
【0109】
[0156]最終的な患者固有の形状６４２が決定されると、処理回路５４２は、その患者固有の形状６４２を出力し得る。いくつかの例では、処理回路５４２は、患者固有の形状６４２がユーザに表示されるように制御し得る。他の例では、処理回路５４２は、患者固有の形状６４２に対して追加の計算を実行し得る。例えば、処理回路５４２は、患者固有の形状６４２の体積、線寸法、断面寸法、又は他の特性を決定し得る。処理回路５４２は、本明細書で説明されるように、他の決定においてこれらの特性を使用し得る。
【0110】
[0157]図１２～図１８は、本明細書で説明される変形プロセスに基づいた、回旋腱板筋の例となるモデリングを例示する。いくつかの例では、システム５４０のようなシステムは、ユーザインターフェースを介してユーザに同様の画像を表示し得る。いくつかのビューは２次元であり、他のビューは同じモデル化された構造の３次元である。図１２は、肩甲骨６５２を含む患者の画像データの例となる軸方向ビュー６５０の概念図である。初期形状６５４は、肩甲下筋のＳＭＳを表し、これは、患者の肩甲下筋を表す患者固有の形状６５６に変形されている。図１３は、肩甲骨６６２を含む患者の画像データの例となるサジタルビュー６６０の概念図である。初期形状６６４は、棘上筋のＳＭＳを表し、これは、患者の棘上筋を表す患者固有の形状６６６に変形されている。
【0111】
[0158]図１４は、患者固有の画像データに重ね合わされた３つの回旋腱板筋を表す例となる最終的な患者固有の形状６７６、６７８、及び６８０の概念的な軸方向ビュー６７０である。図１５に示されるように、肩甲骨６７２は上腕骨頭６７４に対して示されている。具体的には、患者固有の形状６７６は肩甲下筋を表し、患者固有の形状６７８は棘上筋を表し、患者固有の形状６８０は棘下筋を表す。図１５に示されるように、患者の画像データのサジタルビュー６８２は、患者固有の形状６７６（例えば、肩甲下筋）、患者固有の形状６７８（例えば、棘上筋）、及び患者固有の形状６８０（例えば、棘下筋）に対する肩甲骨６７２を含む。対象の関節に関連する追加の回旋筋又は他の筋肉は示されていないが、他の例では決定され得ることに留意されたい。
【0112】
[0159]図１６Ａは、患者固有の画像データから骨と共に３つの回旋腱板筋を表す例となる最終的な患者固有の形状の概念的な後部３次元ビュー６９０である。図１６Ａに示されるように、患者固有の形状６７６によって表される肩甲下筋は、肩甲骨６９２及び上腕骨頭６９４に対して示されている。ビュー６９０はまた、患者固有の形状６７８として棘上筋を例示し、患者固有の形状６８０として棘下筋を例示する。図１６Ｂに示されるように、前部像７０２は、患者固有の形状６７６としての肩甲下筋、患者固有の形状６７８としての棘上筋、及び患者固有の形状６８０としての棘下筋のような、後面像６９０に例示された構造と同様の構造の３次元図である。図１７に示されるように、端面ビュー７０４は、後面像６９０に例示された構造と同様の構造の３次元ビューである。端面ビュー７０４は、関節窩表面７０６とアラインされた平面でこれらの肩構造を示している。このように、肩甲下筋は患者固有の形状６７６として示され、棘上筋は烏口突起７０８と肩峰７１０との間の患者固有の形状６７８として示され、棘下筋は患者固有の形状６８０として示される。
【0113】
[0160]図１８Ａ及び図１８Ｂは、軟組織構造に関連する初期形状が骨構造に位置合わせされ、軟組織構造を表す患者固有の形状に修正される例となる患者固有のＣＴデータの概念図である。処理回路５４２は、例えば、最初に、軟組織構造の初期形状を位置合わせするための基準ランドマークであり得るＣＴデータ（例えば、１つ又は複数のＸ線画像）内の骨構造を識別し、次いで、初期形状をスケーリングして初期形状を患者に関するＣＴデータに適合させ得る。
【0114】
[0161]図１８Ａの軸方向スライスの例に示されるように、処理回路５４２は、ターゲットの筋肉（例えば、軟組織構造）に基づいて、患者画像から基準ランドマーク７１３Ａ、７１３Ｂ、及び７１３Ｃ（集合的に「ランドマーク７１３」）のセットを決定し得る。例えば、肩甲下筋は胸郭に隣接しているため、肋骨をセグメント化して、そのようなランドマーク（ランドマーク７１３の肋骨）を位置特定するために使用することができる。初期形状７１５は、患者に厳密に位置合わせされた肩甲下筋の統計的平均形状（ＳＭＳ）であり得る。初期形状７１５は、患者と同様の状態を有する他の患者から生成されたＳＭＳのような病理学的形状であり得る。別の言い方をすれば、ＳＭＳは位置合わせ及びスケーリングだけが行われるため、健康なＳＭＳは、患者の軟組織の適切なモデルを提供しない可能性がある。しかしながら、いくつかの例では、位置合わせ及び／又はスケーリングされたＳＭＳは、本明細書の図８Ａ～図１１に関して説明した閉曲面修正に従って更に修正され得る。
【0115】
[0162]接続７１４Ａ、７１４Ｂ、及び７１４Ｃ（集合的に「接続７１４」）は、ランドマーク７１３と初期形状７１５のＳＭＳ上のそれぞれの点との間の対応関係を示す。図１８Ａは、患者固有のＣＴデータの軸方向スライスである。
【0116】
[0163]図１８Ｂは、患者固有のＣＴデータの矢状スライスであり、肋骨及び肩甲下筋の異なるビューを示す。単一の肋骨７１６は、初期形状７１５上のそれぞれの点に対応するいくつかの点を含むランドマークであり、接続７１７は、それらの対応関係を示す線である。図１８Ａ及び図１８Ｂは、この位置合わせプロセスの２次元表現であり、いくつかの例では、処理回路５４２が、３次元で位置合わせを実行し得る。肩甲下筋に関して説明されるプロセスは、他の筋肉についても同様に実行され得る。例えば、棘上筋関連のランドマークは、鎖骨及び肩峰の下側で識別され得、棘下筋関連のランドマークは、周囲の皮膚に基づいて識別され得る。
【0117】
[0164]一般に、基準ランドマーク（例えば、ランドマーク７１３及び７１６）が識別されると、ＳＭＳ上のそれらの最も近い対応関係が位置特定される。処理回路５４２は、ランドマーク「ｌ」をＳＭＳ上のその対応点「ｃ」と接続する線（例えば、接続７１３及び７１７）に沿って強度ベースのプロファイルを決定し得る。ある位置「ｖ」でプロファイルの特定の変動が検出されると、「ｖ」と「ｃ」との間のユークリッド距離（ｄ）が、「ｖ」の強度ベースの値（ｉ）と共に記憶される。次いで、処理回路５４２は、以下の方程式を使用することができる：
Ｃｆ＝ｆｕｎ（ｄｎ，ｉｎ），ｎ∈ランドマーク 式（１）
[0165]強度ベースのメトリックは、単にＣＴ画像データの強度値又はその勾配であり得る。強度の場合、特定の変動は、高いもの（骨強度）から低いもの（軟組織構造）へと進むステップであり、勾配の例の場合、軟組織構造の境界を示す接続のプロファイルに沿って正のスパイクが存在する。処理回路５４２は、コスト関数のような最小化アルゴリズムを利用して、初期形状７１５の位置合わせを決定し得る。最小化アルゴリズムは、処理回路５４２が、アルゴリズムの閾値を満たすことによって初期形状７１５（例えば、ＳＭＳ）を変形させて、ＳＭＳの変形バージョンを軟組織構造の骨対筋肉寸法に適合させる一般的なタイプのアルゴリズムを指し得る。例えば、コスト関数は、ユークリッド距離
とｉとの組合せであり得、例えば、
ここで、ｗ１及びｗ２は、経験的に決定された重みである。
Ｃｆ＝ｆｕｎ（ｄｎ，ｉｎ），ｎ∈ランドマーク 式（１）
[0165]強度ベースのメトリックは、単にＣＴ画像データの強度値又はその勾配であり得る。強度の場合、特定の変動は、高いもの（骨強度）から低いもの（軟組織構造）へと進むステップであり、勾配の例の場合、軟組織構造の境界を示す接続のプロファイルに沿って正のスパイクが存在する。処理回路５４２は、コスト関数のような最小化アルゴリズムを利用して、初期形状７１５の位置合わせを決定し得る。最小化アルゴリズムは、処理回路５４２が、アルゴリズムの閾値を満たすことによって初期形状７１５（例えば、ＳＭＳ）を変形させて、ＳＭＳの変形バージョンを軟組織構造の骨対筋肉寸法に適合させる一般的なタイプのアルゴリズムを指し得る。例えば、コスト関数は、ユークリッド距離
【数1】
【数2】
【0118】
[0166]コスト関数はまた、位置合わせの最終的な推定値を平滑化するために使用される、患者に依存しない別の項を有することができる。この項は、正則化項と呼ばれ、（ＳＭＳにおけるそれらの関連性及びノイズに基づいて）初期形状７１５パラメータに適応的な重みを与えることができる。この項（Ｃｆ２）は、前の「差分」項（ここでは（Ｃｆ１）と呼ばれる）に加算され得、その合計は、次を求めるように最適化される：
Ｃｆ＝Ｃｆ１＋Ｃｆ２ 式（３）
[0167]比較可能であるために、Ｃｆ１は、Ｃｆ２と同じスケールであり得る。Ｃｆ２は、その値が正規化されている（すなわち、０と１との間）であろう。Ｃｆ１を同じ間隔にスケーリングするために、それは、剛体レジストレーション後（すなわち、ＳＭＳと患者固有のＣＴデータとの間）の値Ｃｆ１を使用して正規化される。
Ｃｆ＝Ｃｆ１＋Ｃｆ２ 式（３）
[0167]比較可能であるために、Ｃｆ１は、Ｃｆ２と同じスケールであり得る。Ｃｆ２は、その値が正規化されている（すなわち、０と１との間）であろう。Ｃｆ１を同じ間隔にスケーリングするために、それは、剛体レジストレーション後（すなわち、ＳＭＳと患者固有のＣＴデータとの間）の値Ｃｆ１を使用して正規化される。
【0119】
[0168]初期形状７１５が患者に剛体位置合わせされると、初期形状７１５は、以下のその有限パラメータ方程式を使用して患者の軟組織構造に一致するように弾性的に変形され得る：
ここで、それぞれ、ｓ’は初期形状（例えば、ＳＭＳ）であり、λｉは固有値であり、ｖｉは共分散行列の固有ベクトルである（例えば、変動モードとも呼ばれる）。共分散行列は、患者固有の患者データの分散のような、データセットの分散を表す。ｂｉの値は、ｓの形状（例えば、軟組織構造の最終的な患者固有の形状）を決定する。この項ｂｉは、初期形状７１５のスケーリング係数である。処理回路５４２は、このプロセスを使用して、ターゲットの筋肉の患者固有の構造を推定する最終的な形状（複数可）を提供するようなｂｉの値を見つけ得る。例えば、この最良適合は、患者固有のＣＴ画像におけるｓと患者の筋肉（例えば、ｍ）との間の「差」を定義するコスト関数を最小化するために処理回路５４２によって実行される。換言すると、最適化アルゴリズムは、Ｃｆ＝｜ｓ－ｍ｜を最小化するか、又はＣｆ’＝｜ｓ－ｍ｜－１を最大化することができる。
【数3】
【0120】
[0169]ここで、Ｃｆ又はＣｆ’を定義することは、その凸性に基づいて、オプティマイザが全体的又は局所的な最小値又は最大値になったりならなかったりするため、重要であり得る。最適化プロセスの終わりに良好な推定値を得るために、処理回路５４２は、修正された最終的なオブジェクト（複数可）とターゲット（ｍ）との間の「形状差異」を反映するようにＣｆを決定し得る。この差異を計算する変形例は、患者上に位置する限られた数の基準ランドマークまでの、最終的な形状（複数可）の推定値のユークリッド距離に関し得る。
【0121】
[0170]処理回路５４２は、ＳＭＳパラメータ方程式を反復的に適用し、各反復後にＣｆの値に基づいてパラメータ値を変えることによって、コスト関数の最小化のために最適化アルゴリズムを使用し得る。処理回路５４２は、Ｃｆをこれ以上最適化（最小化又は最大化）することができない場合、すなわち最適に到達した場合、又は最大の反復回数に到達した場合、このループを停止し得る。この最適化アルゴリズムの完了時に、処理回路５４２は、修正された初期形状７１５を軟組織構造の最終的な患者固有の形状として最終決定し得る。最小化又は最大化アルゴリズムは、処理回路５４２が、アルゴリズムの閾値を満たすことによって初期形状７１５（例えば、ＳＭＳ）を変形させて、ＳＭＳの変形バージョンを軟組織構造の骨対筋肉寸法に適合させる一般的なタイプのアルゴリズムを指し得る。この閾値は、ＳＭＳの変形されたバージョンが患者固有の画像データ内の軟組織構造に対して最良適合となる、又は誤差を低減するときを示し得る。
【0122】
[0171]図１９は、脂肪浸潤を決定するためにマスク及び閾値処理された例となる最終的な患者固有の形状の概念図である。脂肪浸潤、又は脂肪率もしくは筋肉内の脂肪体積を表す値は、他の点では健康な筋肉からの構造的及び／又は機能的変化を示し得る。このように、筋肉内の脂肪の量は、その筋肉の健康状態を示し得る。次に、筋肉の健康状態は、どのタイプの関節治療が患者にとって適切であるかに影響を与え得る。
【0123】
[0172]本明細書で説明されるように、システム５４０のようなシステムは、閾値強度値に対して、軟組織構造の表現内の患者固有の画像データからのボクセル又はボクセルのグループを閾値化することに基づいて、モデル化された軟組織構造の脂肪浸潤値を決定し得る。表現内の全組織に対する脂肪組織の比率が脂肪浸潤値であると決定され得る。システム５４０は、患者固有の画像データの複数の２次元スライスのピクセル又は３次元画像データセットからのボクセルから脂肪浸潤値を決定し得る。本明細書では３次元アプローチを例として説明するが、例示のために２次元ビューが使用される。例となるＣＴ画像データについて、脂肪に対して使用される強度の閾値は、約－２９ハウンスフィールド単位（ＨＵ）であり得、筋肉については１６０ＨＵであり得る。一例では、脂肪浸潤（ＦＩ）値は、ＦＩ＝１００＊（１－ｘ／Ｘ）のように計算され得、ここで、ｘはマスク内の筋肉の体積であり、Ｘはマスク内の総体積である。いくつかの例では、特定の閾値未満（例えば、１立方ミリメートル未満）の脂肪又は筋肉を有する領域はノイズと見なされ、除去され得る。
【0124】
[0173]図１９に示されるように、患者の画像データ７２０は、ボクセルに適用されたマスクを用いて対象の筋肉に対して生成された患者固有の形状７２２を含む。システムは、最初に、患者固有の形状７２２の外側のデータを除去するために、患者固有の形状７２２にマスクを適用し得る。次に、システムは、マスク下のボクセルに閾値を適用し得る。いくつかの例では、閾値は、個々のボクセルに存在し得るノイズを回避するために、ボクセルのグループに又は２つ以上のボクセルにわたる平均ボクセル強度に適用され得る。このように、システムは、脂肪組織の領域を決定するために患者固有の画像データの強度及び／又は空間特性を分析し得る。ボクセル７２４によって示される黒いエリアは、筋組織を示す閾値強度を上回った筋組織を示す。対照的に、より明るいボクセル７２６は、閾値を下回り、強度が低く、脂肪組織を示す。示されるようなマスクがない場合、脂肪組織のボクセルの強度は、筋肉に関連するボクセルの強度よりも低くなるであろう。次いで、システムは、閾値未満のボクセル７２６を足して、軟組織構造の脂肪体積を決定し得る。次いで、システムは、脂肪体積と軟組織構造の患者固有の形状７２２の総体積とに基づいて脂肪浸潤値を決定することができる。例えば、システム５４０は、軟組織構造の脂肪率を（例えば、パーセンテージとして）決定するために、脂肪体積を総体積で割ることができる。次いで、システム５４０は、軟組織構造の脂肪体積比を出力し得る。いくつかの例では、システム５４０は、どのタイプの関節置換術が患者にとって適切であり得るかを決定するときに、脂肪体積比を入力として使用し得る。いくつかの例では、システム５４０は、上腕骨インプラント又は関節窩インプラントのようなインプラント部品の位置決め及び／又は向きを決定するために、脂肪浸潤のような筋肉品質指標を可動域と共に使用することができる。例えば、システム５４０は、その患者の肩の可動域及び／又は強度を改善するために、１つ又は複数のインプラントを側方に又は内側に移動させることを提案し得る。筋肉の強度又は可撓性が関節窩と上腕骨頭との間の距離に少なくとも部分的に依存し得るため、上腕骨インプラントの位置を変えて（又は異なるサイズの上腕骨インプラントを選択して）上腕骨を関節窩に近づけたり遠ざけたりすることで、臨床医は、埋め込んだ後の肩の可動域及び／又は強度を改善することができるであろう。いくつかの例では、骨移植は上腕骨頭又は関節窩のいずれかに付加するために使用され、上腕骨の所望の側方化又は内側化を達成する（上腕骨インプラントの有無にかかわらず）し得る。
【0125】
[0174]図２０は、軟組織構造の例となる最終的な患者固有の形状７３６及び病前予測７３４の概念図である。図２０の例に示されるように、サジタルビュー７３０は、肩甲骨７３２と、棘上筋の患者固有の形状７３６とを含む。患者固有の形状７３６は、上で説明した閉曲面フィッティングに基づいて決定され得る。しかしながら、関節治療のタイプを選択するときに、筋肉が健康な状態又は病前の状態からどのように変化したかを理解することは有益であり得る。このように、システム５４０は、筋肉の萎縮率を決定し得る。
【0126】
[0175]例えば、システム５４０の処理回路５４２は、患者の軟組織構造の骨対筋肉寸法を決定するように構成され得る。処理回路５４２は、患者固有の形状７３６に従って、筋肉の寸法に対する、肩甲骨７３２のような骨の長さ、幅、及び／又は体積を決定し得る。骨対筋肉寸法は、患者の特定の解剖学的サイズを識別し得る。処理回路５４２は、軟組織構造の統計的平均形状（ＳＭＳ）を取得し得る。ＳＭＳは、多くの健康な被験者の集団からの計算に基づく典型的な筋肉の表現であり得る。しかしながら、いくつかの例では、病理学的構造のＳＭＳが使用され得る。
【0127】
[0176]次に、処理回路５４２は、最小化アルゴリズムを使用してＳＭＳを変形させて、ＳＭＳを軟組織構造の骨対筋肉寸法に適合させ得る。例えば、処理回路５４２は、ＳＭＳを修正して、患者の骨対筋肉寸法により厳密に適合させ、その結果、その筋肉の病前の状態を推定し得る。結果として得られる病前予測７３４は、健康な状態の筋肉の推定値として使用され得る。次いで、処理回路５４２は、変形されたＳＭＳ体積を患者固有の形状７３６によって表される軟組織構造体積で割ることによって、軟組織構造（例えば、患者固有の形状７３６によって表される棘上筋のような筋肉）の萎縮率を決定し得る。この結果が、軟組織構造の萎縮率である。いくつかの例では、処理回路５４２は、表示のため、又は術前計画中の追加の計算での更なる使用のために、萎縮率を出力し得る。
【0128】
[0177]図２１及び図２２は、肩関節の可動域分析への筋肉の寄与をモデル化する例となるばねの概念図である。図２１及び図２２は、リバース型肩関節置換術のための術前計画を例示するが、他の例では、解剖学的肩関節置換術が計画され得る。図２１に示されるように、仮想ビュー７４０は、左側に上腕骨頭７４４及び肩甲骨７４２の後面像を含み、右側に上腕骨頭７４４及び肩甲骨７４２の前部像を含む。上腕骨頭は、関節窩表面に取り付けられた関節窩球体７５０と嵌合するように構成されたスペーサ７４８に取り付けられている。スペーサ７４８用のカップ及びプレートといった他の部品もインプラントに関与し得る。解剖学的肩関節置換術では、代わりにインプラント球体が上腕骨頭７４４に取り付けられるように、これらの部品が反転される。いくつかの例となる部品は、ウェッジベースプレート、中心ねじ、グレのスフィア、及び対称な移植片を有するリバース型関節窩部品を含み得る。標準型インサート及び１．５オフセットトレイを有するステムレスＡｓｃｅｎｄ ＦＬＥＸのリバース型上腕骨部品もまた、リバース型肩関節置換術で使用され得る。
【0129】
[0178]システム５４０は、例えば、肩関節が劣化したときに患者が解剖学的肩関節置換術を受けるべきかリバース型肩関節置換術を受けるべきかに関する決定を実行し得る。この決定の一部は、関節の動きへの１つ又は複数の筋肉の寄与の考慮を含み得る。一例では、システム５４０の処理回路５４２は、３つの回旋腱板筋を、ばね定数Ｋ１、Ｋ２、及びＫ３を有するばねとしてモデル化し得る。図２１に示されるように、棘下筋は、ばね７４６としてモデル化されており、肩甲下筋は、ばね７４７としてモデル化されている。他の例では、より少ない又は追加の筋肉が、この分析の一部としてモデル化され得る。図２２に示されるように、仮想ビュー７６０は、ばね７６２としてモデル化されている棘上筋を例示する。処理回路５４２は、ばね定数を各ばねに、例えば、ばね定数Ｋ１、Ｋ２、及びＫ３をばね７４６、７４７、及び７６２にそれぞれ割り当てることができる。
【0130】
[0179]処理回路５４２は、本明細書で説明されるようにすでにモデル化されているそれぞれの筋肉の計算された脂肪浸潤（例えば、脂肪体積比）及び萎縮率に基づいて、各ばね定数を決定し得る。例えば、処理回路５４２は、各筋肉のばね定数を決定するために、Ｋ＝（Ｒ（ＦＩ），Ｒ（Ａ））のような方程式を採用し得、ここで、Ｋはばね定数であり、ＦＩは脂肪浸潤であり、Ａはそれぞれの筋肉の萎縮である。他の例では、ばね定数を決定するときに、筋肉の患者固有の形状の総体積、長さ、及び／又は断面厚さ、患者の年齢、患者の性別、患者の傷害歴、又は筋肉の機能に影響を及ぼし得る任意の他のタイプの要因のような追加の要因が使用され得る。各ばね７４６、７４７、及び７６２の付着部は、例えば、筋肉の付着点に基づいて、処理回路５４２によって決定され得る。いくつかの例では、各筋肉は、筋肉から骨への各付着部を表す異なるばねのような、２つ以上のばねによって表され得る。他の例では、各筋肉は、ばねよりも複雑な筋機能モデルによって表され得る。いくつかの例では、処理回路５４２は、ばねに印加される荷重を決定し得る。荷重は、骨の構造の重量と（標準的なオブジェクトを持ち上げるような）外部荷重とを組み合わせ得る。ばねは、くつかのモデルとして使用され得るが、他の例では有限要素モデルが使用され得る。
【0131】
[0180]処理回路５４２は、患者の回旋腱板の１つ又は複数のそれぞれの筋肉の脂肪体積比及び萎縮率に基づいて、患者の上腕骨の可動域を決定することによって、上腕骨の可動域を決定し得る。例えば、処理回路５４２は、Ｋ１、Ｋ２、及びＫ３の各々についてのばね定数を計算し、次いで、肩甲骨に対する上腕骨の可動域を決定し得る。処理回路５４２は、いくつかの例では、１つ又は複数の平面又は３次元における可動域を決定し得る。可動域の軸は、事前に定義され得、いくつかの例では、骨衝突は、軟組織がそれらの軸に沿った限定要因ではないとき、可動域のいくつかの角度を定めるように決定され得る。処理回路５４２は、解剖学的置換術又はリバース型置換術のような可能な治療のタイプの各々について、この計算を実行し得る。他の例では、処理回路５４２は、現在の損傷した関節及び骨に対して可動域分析を実行し、この計算を使用して、どのタイプの治療が患者に対して適切であるかを識別し得る。いずれの場合も、処理回路５４２は、解剖学的肩関節置換手術又はリバース型肩関節置換手術のようなどのタイプの肩関節治療が患者のために選択されるべきかを決定し、次いで、表示のために、その選択された肩関節治療タイプを出力し得る。処理回路５４２は、治療の各タイプに対する分析をユーザに提示、例えば、治療の各タイプについての数値スコア又は計算を提示し得る。次いで、ユーザは、各タイプの治療についてのこの提示された情報から、どのタイプの治療を患者に提供すべきかを決定し得る。
【0132】
[0181]図２３Ａは、本開示の技法による、患者固有の画像データを使用して軟組織構造をモデル化するための例となる手順を例示するフローチャートである。システム５４０の処理回路５４２は、図２３Ａの例を実行するものとして説明されるが、仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図２３Ａの例は、図８～図１１に関して上述した図及び説明と同様であり得る。
【0133】
[0182]図２３Ａに示されるように、処理回路５４２は、対象の患者の患者固有の画像データを取得し得る（８００）。この患者固有の画像データは、１つ又は複数の撮像モダリティ（例えば、Ｘ線、ＣＴ、ＭＲＩなど）から生成され、データ記憶デバイスに記憶され得る。次いで、処理回路５４２は、対象の軟組織構造の初期形状を取得する（８０２）。初期形状は、幾何学的形状又は統計的平均形状（Ｓｔａｔｉｓｔｉｃａｌ Ｍｅａｎ Ｓｈａｐｅ：ＳＭＳ）であり得る。この軟組織構造は、筋肉又は他の非骨構造であり得る。しかしながら、他の例では、図２３Ａのプロセス又は本明細書で説明される他の技法は、骨に対して実行され得る。次いで、処理回路５４２は、初期形状を患者固有の画像データに位置合わせする（８０４）。この位置合わせは、初期形状を、患者固有の画像データ内のすでにセグメント化された骨によって識別される骨及び／又は骨の付着点に位置合わせすることを含み得る。予備の筋肉セグメンテーションが患者固有の画像データ内の対象の軟組織構造に対してすでに実行されている他の例では、処理回路５４２は、初期形状をこの予備の筋肉セグメンテーションに位置合わせし得る。
【0134】
[0183]次いで、処理回路５４２は、軟組織構造の境界を表す患者固有の画像データ内の１つ又は複数の輪郭を識別する（８０６）。これらの１つ又は複数の輪郭は、患者固有の画像データ内のすでにセグメント化された骨及び／又は筋肉に関連するボクセルとして識別され得る。他の例では、処理回路５４２は、初期形状の表面からの法線ベクトルを初期形状から内向き及び／又は外向きに伸ばすことによって、各輪郭を決定し得る。患者固有の画像データ内の閾値強度値を超える、各ベクトルが遭遇するボクセル又はピクセルは、輪郭の少なくとも一部を画定するものとして識別され得る。
【0135】
[0184]次いで、処理回路５４２は、初期形状の表面上の表面点を１つ又は複数の輪郭上のそれぞれの点に向かって移動させる（８０８）。これらの表面点の移動は、初期形状の表面全体を変形させる。初期形状を１つ又は複数の輪郭により厳密に適合させるために表面点を再び移動させる必要があると処理回路５４２が決定すると（ブロック８１０の「ＹＥＳ」分岐）、処理回路５４２は、初期形状の変形した表面の表面点を再び移動させる（８０８）。表面点を再び移動させる必要がなく、変形形状が１つ又は複数の輪郭に適合すると処理回路５４２が決定すると（ブロック８１０の「ＮＯ」分岐）、処理回路５４２は、患者の軟組織構造を表す患者固有の形状として最終的な変形形状を出力する（８１２）。患者固有の形状は、ユーザインターフェースを介して提示され得、及び／又は、患者のための治療の術前計画の一部などの更なる分析に使用され得る。
【0136】
[0185]図２３Ｂは、本開示の技法による、患者固有の画像データを使用して軟組織構造をモデル化するための別の例となる手順を例示するフローチャートである。システム５４０の処理回路５４２は、図２３Ｂの例を実行するものとして説明されるが、仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図２３Ｂの例は、図８Ａ～図１１に関して上述した図及び説明と同様であり得る。図２３Ｂの技法はまた、いくつかの態様では、図２３Ａの技法と同様であり得る。
【0137】
[0186]図２３Ｂに示されるように、処理回路５４２は、対象の患者の患者固有の画像データを取得し得る（８２０）。この患者固有の画像データは、１つ又は複数の撮像モダリティ（例えば、Ｘ線、ＣＴ、ＭＲＩなど）から生成され、データ記憶デバイスに記憶され得る。次いで、処理回路５４２は、対象の軟組織構造のＳＭＳである初期形状を取得する（８２１）。次いで、処理回路５４２は、ＳＭＳを患者固有の画像データの１つ又は複数のそれぞれの骨の付着点に位置合わせする（８２２）。他の例では、位置合わせは、ＳＭＳを、骨の付着点に付加的なものである患者固有の画像データ内の予備の筋肉セグメンテーションに位置合わせすることを含み得る。
【0138】
[0187]次いで、処理回路５４２は、ＳＭＳの表面の周囲の複数の表面点を選択し、各表面点からの表面に対して垂直なベクトルを決定する（８２３）。表面点は、所定の密度で、所定の間隔で、及び／又は他の選択要因に従って、ＳＭＳの表面の周囲に均等に分散され得る。いくつかの例では、処理回路５４２は、これらの法線ベクトルを表面点のうちの少なくともいくつかから外向き及び内向きに向け得る。これらのベクトルの各々について、処理回路５４２は、閾値強度値を超える患者固有の画像データ内の点と、その点の包絡線内の潜在的位置とを決定する（８２４）。決定された点は、ボクセル、ピクセル、又はそのボクセルもしくはピクセルに関連する空間内の点であり得る。これらの決定された点は、患者固有の画像データ内で識別される対象の軟組織構造の外面（例えば、１つ又は複数の輪郭）に対応するであろう。包絡線内の潜在的位置は、同じく閾値を超える位置であり、１つ又は複数の輪郭の一部である。包絡線は、ベクトルによって識別された点からの所定の距離、点に隣接する潜在的位置の数（例えば、点から最も近い８つの潜在的位置）、又は他のそのような基準として決定され得る。
【0139】
[0188]これらの潜在的位置は、ＳＭＳが適合される輪郭の変動を識別するために分析される。換言すると、潜在的位置は、ＳＭＳの表面点を移動させる方向をより正確にするために分析される。処理回路５４２は、各ベクトルについて、そのベクトルと表面点からのベクトルとの間の最小角度差を有する潜在的位置を決定する（８２５）。この角度は、２つのベクトル間の余弦と呼ばれ得る。図９の角度６２２は、表面点からのベクトル６２０と輪郭上の潜在的位置からのベクトル６２４との間のこの角度の一例である。潜在的位置がＳＭＳ上の各表面点に対して選択された後、処理回路５４２は、各表面点を輪郭のそれぞれの潜在的位置に向かってある距離だけ移動させる（８２６）。移動された距離は、潜在的位置までの総距離のうちのいくらかの部分、又は割合であり得る。一例では、距離は、潜在的位置までの総距離の約半分である。このように、各反復は、表面点を１つ又は複数の輪郭のより近くに移動させるが、反復ごとに距離はますます短くなる。他の例では、距離は、潜在的位置までの総距離の半分未満であり得るか、又は潜在的位置までの総距離の半分超であり得る。
【0140】
[0189]これらの表面点の移動により、ＳＭＳの表面全体が変形する。ＳＭＳを１つ又は複数の輪郭により厳密に適合させるために表面点を再び移動させる必要があると処理回路５４２が決定すると（ブロック８２７の「ＹＥＳ」分岐）、処理回路５４２は、各ベクトル及びＳＭＳ表面点について閾値を超える点を再び決定する（８２４）前に、ＳＭＳ形状変更関数を更新する（８２８）。ＳＭＳ変更関数は、処理回路５４２がその反復においてＳＭＳをどのように変形させるかを定義し得る。例えば、ＳＭＳ変更関数は、ＳＭＳの変形が次の形状のための「平滑性」と「精度」のバランスをどのようにとるかを定義し得る。例えば、より早い変形は、患者固有の画像データ内の１つ又は複数の輪郭に対する変形の精度を優先させ得るより後の変形よりも平滑であるか又は均一である場合がある。
【0141】
[0190]一例では、ＳＭＳ変更関数は、各表面点のどれだけの移動で別の表面点から逸脱し得るかを定義する耐性因子を利用し得る。例えば、ゼロの許容範囲は、全ての表面点がその反復で同じ距離移動しなければならないことを示し得る。より大きい許容範囲は、表面点が異なる距離だけ移動することを許容し得、その結果、変形されたＳＭＳの平滑性は低くなるが、患者固有の画像データ内の輪郭についての精度は高くなり得る。いくつかの例では、ＳＭＳ変更関数は、異なる閾値強度に対して異なる許容範囲を指定し得る。例えば、患者固有の画像データ内の点が骨を示す閾値を超える場合、ＳＭＳ変更関数は大きい許容範囲を指定し得、これにより、処理回路５４２は、筋肉が骨表面に支えられていると予想され得ることから、その表面点を骨表面のはるかに近くに移動させることができる。いくつかの例では、処理回路５４２は、２つの反復間でＳＭＳ形状変更関数を変更しなくてもよい。
【0142】
[0191]表面点が再び移動される必要がなく、変形されたＳＭＳ形状が１つ又は複数の輪郭に適合すると処理回路５４２が決定すると（ブロック８２７の「ＮＯ」分岐）、処理回路５４２は、患者の軟組織構造を表す患者固有の形状として最終的な変形形状を出力する（８２９）。患者固有の形状は、図２５、図２６、及び図２７の例のうちの１つ又は複数で説明されているように、ユーザインターフェースを介して提示され得、及び／又は、患者のための治療の術前計画の一部などの更なる分析に使用され得る。
【0143】
[0192]図２４は、本開示の技法による、患者固有の画像データを使用して軟組織構造をモデル化するための例となる手順を例示するフローチャートである。システム５４０の処理回路５４２は、図２４の例を実行するものとして説明されるが、仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図２４の例は、図１８Ａ及び図１８Ｂに関して上述した図及び説明と同様であり得る。
【0144】
[0193]図２４に示されるように、処理回路５４２は、対象の患者の患者固有の画像データを取得し得る（８３０）。この患者固有の画像データは、１つ又は複数の撮像モダリティ（例えば、Ｘ線、ＣＴ、ＭＲＩなど）から生成され、データ記憶デバイスに記憶され得る。次いで、処理回路５４２は、対象の軟組織構造の初期形状を取得する（８３１）。初期形状は、幾何学的形状又は統計的平均形状（ＳＭＳ）であり得る。例えば、ＳＭＳは、患者と同様の状態を把握するために病理学的形状であり得る。この軟組織構造は、筋肉又は他の非骨構造であり得る。次いで、処理回路５４２は、初期形状を、患者固有のＣＴデータの１つ又は複数の骨に関連する１つ又は複数の位置に位置合わせする（８３２）。この位置合わせは、初期形状上の点を、隣接する骨に関連する対応する点又は位置に位置合わせすることを含み得る。
【0145】
[0194]次いで、処理回路５４２は、骨の各位置と初期形状上のそれぞれの点との間の対応関係を決定する（８３３）。次いで、処理回路５４２は、対応関係についての強度プロファイルに基づいて、各位置と初期形状上の各点との距離を決定する（８３４）。例えば、患者固有のＣＴデータ内の軟組織構造の境界を識別するために、強度又は勾配プロファイルが使用され得る。処理回路５４２は、全ての利用可能な骨の基準位置に初期形状を適合させるためにコスト関数を採用し得る。
【0146】
[0195]次いで、処理回路５４２は、初期形状と患者固有のＣＴデータの分散との間の差を最小化するスケーリング係数を選択し得る（８３５）。例えば、処理回路５４２は、異なるスケーリング係数を分析し、コスト関数を使用して、患者固有のＣＴデータに対する初期形状の最良適合を取得し得る。次いで、処理回路５４２は、患者の軟組織構造を表す最終的な患者固有の形状を出力し得る。処理回路５４２は、例えば、置換対象の肩関節に関連するいくつかの筋肉について、この分析を実行し得る。
【0147】
[0196]図２５は、本開示の技法による、患者の軟組織構造の脂肪浸潤値を決定するための例となる手順を例示するフローチャートである。システム５４０の処理回路５４２は、図２５の例を実行するものとして説明されるが、仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図２５の例は、図１９に関して上述した図及び説明と同様であり得る。図２５のプロセスは、３次元データセットに関して説明されるが、他の例では、データのいくつかの２次元スライスが同様の方法で分析され得る。
【0148】
[0197]図２５に示されるように、処理回路５４２は、患者の軟組織構造の最終的な患者固有の形状を取得又は受け取り得る（８４０）。次いで、処理回路５４２は、患者固有の形状にマスクを適用する（８４２）。このマスクは、患者固有の形状の外側のデータを除去し得る。次に、処理回路５４２は、マスク下のボクセル又は体積に閾値を適用し得る（８４４）。いくつかの例では、処理回路５４２は、ボクセルのグループが脂肪組織として識別されるべきか否かを決定するために、閾値を２つ以上のボクセルのグループ及び／又はボクセルのグループにわたる平均強度に適用し得る。ボクセルのこのグループ化は、ボクセルが脂肪組織であると決定されるか否かからのノイズの影響を低減し得る。次いで、処理回路５４２は、閾値未満であると決定された強度値を有するボクセルを加えることによって、軟組織構造の脂肪体積を決定する（８４６）。換言すると、閾値未満のボクセルは脂肪組織であると決定され、閾値を超えるボクセルは筋肉であると決定された。次いで、処理回路５４２は、脂肪体積（すなわち、脂肪体積を表す、強度閾値未満の強度値を有するボクセルの数）と、軟組織構造の患者固有の形状の総体積（すなわち、強度閾値未満の強度値を有するボクセルの数及び強度閾値以上の強度値を有するボクセルの数を含む、マスクされた患者固有の形状内の全てのボクセルによって表される総数）とに基づいて脂肪浸潤値を決定する（８４８）。例えば、処理回路５４２は、軟組織構造の脂肪率を決定するために、脂肪体積を患者固有の形状の総体積で割ることができる。処理回路５４２は、患者固有の形状の総体積を計算するか、又は以前に計算された総体積を取得し得る。次いで、処理回路５４２は、脂肪浸潤値として、軟組織構造の脂肪体積比を出力し得る（８５０）。脂肪体積比は、ユーザインターフェースを介して提示され得、及び／又は追加の分析に使用され得る。
【0149】
[0198]図２６は、本開示の技法による、患者の軟組織構造の萎縮率を決定するための例となる手順を例示するフローチャートである。システム５４０の処理回路５４２は、図２６の例を実行するものとして説明されるが、仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図２６の例は、図２０に関して上述した図及び説明と同様であり得る。図２６のプロセスは、３次元データセットに関して説明されるが、他の例では、データのいくつかの２次元スライスが同様の方法で分析され得る。
【0150】
[0199]図２６の例に示されるように、処理回路５４２は、最初に、患者の軟組織構造の骨対筋肉寸法を決定する（８６０）。処理回路５４２は、患者固有の形状に従って、筋肉の寸法に対する、肩甲骨のような骨の長さ、幅、及び／又は体積を決定し得る。骨対筋肉寸法は、患者の特定の解剖学的サイズを識別し得る。次いで、処理回路５４２は、軟組織構造の統計的平均形状（ＳＭＳ）を取得する（８６２）。ＳＭＳは、多くの被験者の集団からの計算に基づく典型的な筋肉寸法の表現であり得る。このＳＭＳは、健康な集団に基づき得る。いくつかの例では、ＳＭＳは、人種、性別、年齢、身長、又は他の要因が患者に類似している患者に基づき得る。
【0151】
[0200]次に、処理回路５４２は、最小化アルゴリズムを使用してＳＭＳを変形させて、ＳＭＳを軟組織構造の骨対筋肉寸法に適合させる（８６４）。例えば、処理回路５４２は、ＳＭＳを修正して、患者の骨対筋肉寸法により厳密に適合させ、その結果、その筋肉の病前の状態を推定し得る。ＳＭＳを患者の解剖学的構造に適合させるために、多種多様のタイプの最小化アルゴリズムが採用され得る。その筋肉についての結果として得られる病前予測は、健康な状態の筋肉の寸法の推定値として使用され得る。次いで、処理回路５４２は、変形されたＳＭＳ体積を患者固有の形状によって表される軟組織構造体積で割ることによって、軟組織構造の萎縮率を決定する（８６６）。この結果が、軟組織構造の萎縮率、すなわち、実際の組織の体積に対する健康な組織の体積の比である。他の例では、萎縮率は、軟組織構造の健康な状態と現在の状態との間の他の寸法の比較に基づいて計算され得る。次いで、処理回路５４２は、ユーザへの表示のために、又は術前計画中の追加の計算での更なる使用のために、萎縮率を出力する（８６８）。例えば、処理回路５４２は、現在の組織又は患者固有の形状を、同じ軟組織構造の病前の又は健康な推定値に重ね合わせて出力し得る。処理回路５４２は、対象の関節（例えば、対象の肩関節の回旋腱板筋）の術前計画を実行するときに、対象の筋肉ごとに、この萎縮率計算を実行し得る。
【0152】
[0201]図２７は、本開示の技法による、患者の決定された軟組織構造に基づいて肩関節治療のタイプを決定するための例となる手順を例示するフローチャートである。システム５４０の処理回路５４２は、図２７の例を実行するものとして説明されるが、仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図２６のプロセスは、３次元データセットに関して説明されるが、他の例では、データのいくつかの２次元スライスが同様の方法で分析され得る。
【0153】
[0202]図２７の例に示されるように、処理回路５４２は、１つ又は複数の回旋腱板筋及び／又は肩関節に関連する他の筋肉をばねとしてモデル化し得る（８７０）。次いで、処理回路５４２は、軟組織構造の各々の脂肪浸潤値及び萎縮率を取得する（８７２）。次いで、処理回路５４２は、各筋肉について、脂肪浸潤値と萎縮率とに基づいてばね定数を決定する（８７４）。次いで、処理回路５４２は、１つ又は複数の筋肉のばね定数に基づいて、肩関節内の上腕骨の可動域を決定することができる（８７６）。次いで、処理回路５４２は、決定された可動域に基づいて、肩関節治療のタイプを決定する（８７８）。例えば、処理回路５４２は、解剖学的肩関節置換手術又はリバース型肩関節置換手術を選択し得る。いくつかの例では、同心性変形性関節症又は回旋腱板広範囲断裂のような病理、筋肉品質指標、年齢、及び関節窩変形状態も、患者にとって適切であるのは解剖学的肩関節置換術であるかリバース型肩関節置換術であるかに影響を及ぼし得る。いくつかの例では、処理回路５４２は、この情報から、インプラントのサイズ、インプラントの位置、又は他の関連情報のような表面の他の側面を決定し得る。いくつかの例では、処理回路５４２は、肩関節治療のタイプを決定するために、１つ又は複数の決定木又はニューラルネットワークを使用し得る。推奨される肩関節治療はまた、年齢、性別、活動、又は任意の他の側面のような他の患者情報に基づき得る。
【0154】
[0203]処理回路５４２は、推奨される肩関節置換手術を表示するようにユーザインターフェースを制御し得る。臨床医が推奨を選択、承認、又は確認することに応答して、処理回路５４２は、選択されたタイプの肩関節置換手術及び患者のための他の術前計画を起動し得る。例えば、処理回路５４２又は図１の仮想計画システム１０２のような他のシステムは、選択された肩関節置換手術のための手術計画を生成し得る。処理回路５４２は、必要とされるインプラント、切断面、アンカー位置、リーミング軸、ねじの穿孔及び／又は配置、サイズ決定、インプラント埋植、手術に対する特定のステップ、並びに選択された手術の任意の他の側面のような、患者のための追加のカスタマイズステップを臨床医が行う際の指針となるようにユーザインターフェースを制御し得る。臨床医はまた、システムによって生成された、患者のための処置、解剖学的構造、及び／又はインプラントを視覚化したものを見ることによって手術計画と対話し得る。これらのタイプのプロセスは、足関節、肘関節、手関節、股関節、膝関節などの他の関節の手術に適用され得る。加えて、図２７のプロセスは、肩関節治療に関連する１つ又は複数のインプラントの位置又は回転角度を決定するために使用され得る。例えば、処理回路５４２は、ばね定数に基づいて、可動域を改善するために、内側化する（例えば、上腕骨頭インプラントを肩甲骨のより近くに移動させるか、又は関節窩を患者の正中線のより近くに移動させる）か、外側化する（例えば、上腕骨頭インプラントを肩甲骨からより遠くに移動させるか、又は関節窩を上腕骨のより近くに移動させる）かを決定し得る。いくつかの例では、処理回路５４２は、肩甲骨に対する上腕骨の所望の位置を達成するために、上腕骨頭及び／又は関節窩への骨移植（骨の除去又は追加）のサイズ及び／又は位置を提案し得る。肩の筋肉の剛性（例えば、筋肉をモデル化するために使用されるときのばね定数）は、肩の適切な可動域及び／又は強度を達成するために、上腕骨頭の適切な位置を決定するために処理回路によって使用され得る。
【0155】
[0204]本明細書で説明されるように、処理回路５４２及び／又は他のシステムは、患者固有の撮像データを使用して、患者の形態学的特性の複数の測定値を決定することができる。そのような測定値には、距離測定値、角度測定値、及び患者の構造の及び／又は構造間の測定可能な関係の他のタイプの数値的特徴付けが含まれ得る。例えば、測定値は、以下のうちの１つ又は複数に関する値の任意の組合せを含み得る：
・関節窩のバージョン：肩甲骨の横軸に対する関節窩の関節面の軸の角度方向。
・関節窩の傾斜：肩甲骨に対する関節窩の上方向／下方向の傾き。
・関節窩の向き／方向：３次元空間における関節窩の３次元の向き。
・関節窩の最良適合球体の半径：患者の関節窩に対する最良適合球体の半径。最良適合球体は、球体のセクタが患者の関節窩と可能な限り同一平面に位置するようにサイズ決定された概念的な球体である。
・関節窩の最良適合球体の二乗平均平方根誤差：患者の関節窩と最良適合球体のセクタとの間の差の平均二乗誤差。
・リバースショルダーアングル：関節窩の下部の傾斜。
・クリティカルショルダーアングル：関節窩の平面と肩峰の最も下外側の点への接続線との間の角度。
・肩峰上腕骨空間：肩峰と上腕骨の上部との間の空間。
・関節窩上腕骨空間：関節窩と上腕骨との間の空間。
・上腕骨のバージョン：上腕骨の向きと上顆軸との間の角度。
・上腕骨頸対角：上腕骨の解剖学的頸部の法線ベクトルと髄内軸との間の角度。
・上腕骨頭の最良適合球体の半径及び二乗平均平方根誤差：患者の上腕骨頭に対する最良適合球体の半径。最良適合球体は、球体のセクタが上腕骨頭の表面に可能な限り一致するようにサイズ決定された概念的な球体である。二乗平均平方根誤差は、最良適合球体と患者の実際の上腕骨頭との間の誤差を示す。
・上腕骨亜脱臼：関節窩に対する上腕骨の亜脱臼の度合い。
・上腕骨の向き／方向：３次元空間における上腕骨頭の向き。
・患者の上腕骨の骨端の測定値、
・患者の上腕骨の骨幹端の測定値、
・患者の上腕骨の骨幹の測定値、
・骨の後傾
[0205]図２８は、本開示の技法による、患者固有の画像データに基づいて肩関節治療のタイプを決定するための例となる手順を例示するフローチャートである。システム５４０の処理回路５４２は、図２８の例を実行するものとして説明されるが、仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図２８のプロセスは、３次元データセットに関して説明されるが、他の例では、データのいくつかの２次元スライスが同様の方法で分析され得る。
・関節窩のバージョン：肩甲骨の横軸に対する関節窩の関節面の軸の角度方向。
・関節窩の傾斜：肩甲骨に対する関節窩の上方向／下方向の傾き。
・関節窩の向き／方向：３次元空間における関節窩の３次元の向き。
・関節窩の最良適合球体の半径：患者の関節窩に対する最良適合球体の半径。最良適合球体は、球体のセクタが患者の関節窩と可能な限り同一平面に位置するようにサイズ決定された概念的な球体である。
・関節窩の最良適合球体の二乗平均平方根誤差：患者の関節窩と最良適合球体のセクタとの間の差の平均二乗誤差。
・リバースショルダーアングル：関節窩の下部の傾斜。
・クリティカルショルダーアングル：関節窩の平面と肩峰の最も下外側の点への接続線との間の角度。
・肩峰上腕骨空間：肩峰と上腕骨の上部との間の空間。
・関節窩上腕骨空間：関節窩と上腕骨との間の空間。
・上腕骨のバージョン：上腕骨の向きと上顆軸との間の角度。
・上腕骨頸対角：上腕骨の解剖学的頸部の法線ベクトルと髄内軸との間の角度。
・上腕骨頭の最良適合球体の半径及び二乗平均平方根誤差：患者の上腕骨頭に対する最良適合球体の半径。最良適合球体は、球体のセクタが上腕骨頭の表面に可能な限り一致するようにサイズ決定された概念的な球体である。二乗平均平方根誤差は、最良適合球体と患者の実際の上腕骨頭との間の誤差を示す。
・上腕骨亜脱臼：関節窩に対する上腕骨の亜脱臼の度合い。
・上腕骨の向き／方向：３次元空間における上腕骨頭の向き。
・患者の上腕骨の骨端の測定値、
・患者の上腕骨の骨幹端の測定値、
・患者の上腕骨の骨幹の測定値、
・骨の後傾
[0205]図２８は、本開示の技法による、患者固有の画像データに基づいて肩関節治療のタイプを決定するための例となる手順を例示するフローチャートである。システム５４０の処理回路５４２は、図２８の例を実行するものとして説明されるが、仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図２８のプロセスは、３次元データセットに関して説明されるが、他の例では、データのいくつかの２次元スライスが同様の方法で分析され得る。
【0156】
[0206]図２８の例に示されるように、処理回路５４２は、患者に関する患者固有の画像データ（例えば、ＣＴ画像データ）を受け取り得る。次いで、処理回路５４２は、患者の１つ又は複数の軟組織構造について、患者固有の画像データから１つ又は複数の軟組織特性を決定する（８９２）。例となる軟組織特性は、軟組織の形状及び体積、脂肪浸潤値、萎縮率、可動域値、又は任意の他のそのようなパラメータを含み得る。次いで、処理回路５４２は、決定された１つ又は複数の軟組織特性に基づいて、肩関節手術タイプの推奨を生成する（８９４）。例えば、処理回路５４２は、解剖学的肩関節全置換術又はリバース型肩関節全置換術を選択し得る。次いで、処理回路５４２は、ユーザインターフェースによる表示のために、患者に対する肩関節手術のタイプに関する決定された推奨を出力し得る（８９６）。
【0157】
[0207]本明細書で説明した、整形外科分類及び手術計画に関する決定のうちの１つ又は複数は、ニューラルネットワークのような人工知能（ＡＩ）技法を採用し得る。一例では、処理回路５４２は、萎縮率、脂肪浸潤、可動域、インプラントのタイプについての推奨（例えば、上腕骨インプラントのステムサイズ）、及び／又は特定のタイプの外科治療（例えば、解剖学的又はリバース型肩関節置換術）についての推奨のような、組織の１つ又は複数の特性を生成するために、様々なＡＩ技法を採用し得る。いくつかの例では、そのようなＡＩ技法は、術前段階３０２（図３）又は外科的ライフサイクルの別の段階中に採用され得る。ディープニューラルネットワーク（ＤＮＮ）は、分類ツールとして大いに有望視されている人工ニューラルネットワーク（ＡＮＮ）のクラスである。ＤＮＮは、入力層と、出力層と、入力層と出力層との間の１つ又は複数の隠れ層とを含む。ＤＮＮは、プーリング層のような１つ又は複数の他のタイプの層も含み得る。
【0158】
[0208]各層は、人工ニューロンのセットを含み得、これは、頻繁に、単に「ニューロン」と呼ばれる。入力層内の各ニューロンは、入力ベクトルから入力値を受け取る。入力層内のニューロンの出力は、ＤＮＮにおける次の層への入力として提供される。入力層の後の層の各ニューロンは、前の層の１つ又は複数のニューロンの出力に伝播関数を適用して、ニューロンへの入力値を生成し得る。次いで、ニューロンは、この入力に活性化関数を適用して、活性化値を計算し得る。次いで、ニューロンは、この活性化値に出力関数を適用して、ニューロンの出力値を生成し得る。ＤＮＮの出力ベクトルは、ＤＮＮの出力層の出力値を含む。
【0159】
[0209]特に肩の病変に関して、整形外科手術を計画することへのＤＮＮの適用に関連する課題がいくつかあった。例えば、いくつかの課題は、ＤＮＮが肩の病変に関する意味のある出力を提供することができるようにするためにはＤＮＮをどのように構築しトレーニングするか、に関する。整形外科手術を計画することへのＤＮＮの適用に関連する課題の別の例では、患者及び医療専門家は、特にコンピュータがどのように決定を行ったかが不明である場合、コンピュータによって行われた決定を信頼することに当然ながら消極的である。従って、問題となるのは、どのようにすれば、患者及び医療専門家がＤＮＮの出力を安心して信頼するような方法で出力を生成することができるかである。
【0160】
[0210]本開示は、これらの課題を解決し、１つ又は複数の入力に基づいて、肩の病変及び／又は推奨される肩関節治療に関する意味のある出力を提供するＤＮＮ構造を提供することができる技法について説明する。例えば、人工ニューラルネットワーク（ＡＮＮ）は、入力層と、出力層と、入力層と出力層との間の１つ又は複数の隠れ層とを有する。入力層は、複数の入力層ニューロンを含む。複数の入力層ニューロン中の各入力層ニューロンは、複数の入力要素中の異なる入力要素に対応する。出力層は、複数の出力層ニューロンを含む。
【0161】
[0211]複数の出力層ニューロン中の各出力層ニューロンは、複数の出力要素中の異なる出力要素に対応する。複数の出力要素中の各出力要素は、１つ又は複数の肩病変分類システムにおける異なる分類に対応する。この例では、コンピューティングシステムは、過去の肩関節手術の症例から複数のトレーニングデータセットを生成し得る。各それぞれのトレーニングデータセットは、複数のトレーニングデータ患者中の異なるトレーニングデータ患者に対応し、それぞれのトレーニング入力ベクトル及びそれぞれのターゲット出力ベクトルを含む。
【0162】
[0212]各それぞれのトレーニングデータセットについて、それぞれのトレーニングデータセットのトレーニング入力ベクトルは、複数の入力要素の各要素の値を含む。各それぞれのトレーニングデータセットについて、それぞれのトレーニングデータセットのターゲット出力ベクトルは、複数の出力要素の各要素の値を含む。この例では、コンピューティングシステムは、複数のトレーニングデータセットを使用して、ニューラルネットワークをトレーニングし得る。加えて、この例では、コンピューティングシステムは、現在の患者に対応する現在の入力ベクトルを取得し得る。コンピューティングシステムは、ＤＮＮを現在の入力ベクトルに適用して、現在の出力ベクトルを生成し得る。次いで、コンピューティングシステムは、現在の出力ベクトルに基づいて、現在の患者の肩の状態の診断を決定し得、これは肩分類とも呼ばれ得る。
【0163】
[0213]この例では、複数の出力要素中の異なる出力要素を１つ又は複数の肩病変分類システムにおける異なるクラスに対応させることによって、ＤＮＮは、患者の肩の状態の診断、解剖学的特性の決定、又は治療についての推奨で使用され得る意味のある出力情報を提供することができる。例えば、これは、出力層中のニューロンの異なる値が異なるクラスに対応するシステムよりも、計算上及びトレーニング時間の観点でより効率的であり得る。更に、いくつかの例では、出力層中のニューロンの出力値は、患者の分類された肩の状態が肩病変分類システムのうちの１つにおける対応クラスに属することの信頼度の度合いを示す。そのような信頼値は、患者が、ＤＮＮを使用してコンピューティングシステムによって決定されたものとは異なるクラスの肩の状態を有し得る可能性をユーザが考慮するのに役立ち得る。更に、同じ出力層ニューロンの出力が、信頼レベルを表現することと、患者の肩の状態の診断（例えば、分類）、組織の特定の特性（例えば、脂肪浸潤値、萎縮値、可動域値）、又はこれらの組織特性のうちの１つ又は複数に基づく手術のタイプに関する推奨を決定するための基礎としての使用されることとを兼ねることは、計算上効率的であり得る。
【0164】
[0214]図２９は、本開示の技法による、患者の解剖学的構造、診断、及び／又は治療の推奨のうちの１つ又は複数の態様を決定するために使用可能なＤＮＮを実装する例となるコンピューティングシステム９０２を例示するブロック図である。コンピューティングシステム９０２は、整形外科手術システム１００（図１）の一部であり得る。コンピューティングシステム９０２は、ＤＮＮを使用して、軟組織特性及び／又は治療のタイプに関する推奨、例えば、患者に有効なのは解剖学的肩関節全置換術であるかリバース型肩関節全置換術であるかを決定し得る。いくつかの例では、コンピューティングシステム９０２は、コンピューティングシステム９０２の動作を実行する１つ又は複数のプロセッサを含むＸＲ視覚化デバイス（例えば、ＭＲ視覚化デバイス又はＸＲ視覚化デバイス）を含む。
【0165】
[0215]図２９の例に示されるように、システム９００は、コンピューティングシステム９０２と、１つ又は複数のクライアントデバイスのセット（集合的に「クライアントデバイス９０４」）とを含む。他の例では、システム９００は、より多くの、より少ない、又は異なるデバイス及びシステムを含み得る。いくつかの例では、コンピューティングシステム９０２及びクライアントデバイス９０４は、インターネットのような１つ又は複数の通信ネットワークを介して通信し得る。
【0166】
[0216]コンピューティングシステム９０２は、１つ又は複数のコンピューティングデバイスを含み得る。コンピューティングシステム９０２及びクライアントデバイス９０４は、サーバコンピュータ、パーソナルコンピュータ、スマートフォン、ラップトップコンピュータ、及び他のタイプのコンピューティングデバイスのような、様々なタイプのコンピューティングデバイスを含み得る。図２９の例では、コンピューティングシステム９０２は、処理回路９０８と、データ記憶システム９１０と、１つ又は複数の通信インターフェース９１２Ａ～９１２Ｎのセット（集合的に「通信インターフェース９１２」）とを含む。データ記憶装置９１０は、データを記憶するように構成される。通信インターフェース９１２は、コンピューティングシステム９０２が、クライアントデバイス９０４のような他のコンピューティングシステム及びデバイスと（例えば、ワイヤレスに又はワイヤを使用して）通信することを可能にし得る。説明を容易にするために、本開示では、処理回路９０６、データ記憶装置９１０、及び通信インターフェース９１２によって実行されるアクションを、コンピューティングシステム９０２全体によって実行されるものとして説明し得る。整形外科手術システム１００（図１）の１つ又は複数のサブシステムは、コンピューティングシステム９０２及びクライアントデバイス９０４を含み得る。例えば、仮想計画システム１０２が、コンピューティングシステム９０２及びクライアントデバイス９０４を含み得る。
【0167】
[0217]ユーザは、コンピューティングシステム９０２によって生成された情報にアクセスするためにクライアントデバイス９０４を使用し得る。例えば、コンピューティングシステム９０２は、現在の患者に対する肩関節治療のタイプについての推奨を生成し得る。推奨は、肩関節治療分類システムにおける複数の肩クラスのうちの１つの肩クラスによって表され得る。この例では、ユーザは、介入についての推奨に関する情報にアクセスするためにクライアントデバイス９０４を使用し得る。コンピューティングシステム９０２はクライアントデバイス９０４から遠隔にあり得るため、クライアントデバイス９０４のユーザは、コンピューティングシステム９０２がクラウドベースのコンピューティングシステム内にあると考え得る。他の例では、コンピューティングシステム９０２の機能性の一部又は全部は、クライアントデバイス９０４のうちの１つ又は複数によって実行され得る。
【0168】
[0218]コンピューティングシステム９０２は、ＤＮＮを実装し得る。記憶システム９１０は、１つ又は複数のコンピュータ可読データ記憶媒体を備え得る。記憶システム９１０は、ＤＮＮのパラメータを記憶し得る。例えば、記憶システム９１０は、ＤＮＮのニューロンの重み、ＤＮＮのニューロンのバイアス値などを記憶し得る。
【0169】
[0219]コンピューティングシステム９０２は、ＤＮＮの出力に基づいて、患者の肩の状態の治療についての推奨を決定し得る。本開示の技法によれば、ＤＮＮの出力要素は、１つ又は複数の肩推奨分類システムにおける異なるクラスに対応する出力要素を含む。肩推奨分類システムは、患者に対する治療のタイプの各々に対して、又は異なる推奨をもたらし得る異なるタイプの病状に対する異なる分類に対して、異なる分類システムを含み得る。例えば、異なる治療は、解剖学的肩関節置換術及びリバース型肩関節置換術を含み得る。しかしながら、他の治療又は手術は、それぞれの分類システムを有し得る。例えば、Ｗａｌｃｈ分類システム及びＦａｖａｒｄ分類システムは、２つの異なる原発性関節窩上腕骨関節炎分類システムである。Ｗａｒｎｅｒ分類システム及びＧｏｕｔａｌｌｉｅｒ分類システムは、２つの異なる回旋腱板分類システムである。いくつかの例では、肩病変分類システムは、原発性関節窩上腕骨関節炎（ＰＧＨＯＡ）、回旋腱板断裂関節症（ＲＣＴＡ）不安定性、回旋腱板広範囲断裂（ＭＲＣＴ）、リウマチ性関節炎、外傷後関節炎、及び変形性関節症のうちの１つ又は複数のような肩の病変のより一般的なカテゴリのクラスを含み得る。これらの分類システムは、治療に関する推奨を決定するために使用され得る。
【0170】
[0220]Ｗａｌｃｈ分類システムは、例えば、１Ａ、１Ｂ、２Ａ、２Ｂ、及び３という５つのクラスを指定する。Ｆａｖａｒｄ分類システムは、別の例として、Ｅ０、Ｅ１、Ｅ２、Ｅ３、及びＥ４という５つのクラスを指定する。Ｗａｒｎｅｒ分類システムは、更なる例として、なし、軽度、中程度、及び重度という４つのクラスの回旋腱板萎縮を特定する。Ｇｏｕｔａｌｌｉｅｒ分類システムは、更なる例として、０（完全に正常な筋肉）、Ｉ（若干脂肪線条がある）、ＩＩ（筋肉の量が脂肪浸潤よりも多い）、ＩＩＩ（筋肉の量が脂肪浸潤と等しい）、ＩＶ（脂肪浸潤の量が筋肉よりも多い）という５つのクラスを指定する。他の例では、分類システムは、患者固有の画像データから計算された脂肪浸潤値又は萎縮率を使用し得る。
【0171】
[0221]いくつかの例では、コンピューティングシステム９０２は、ＤＮＮによって生成された出力要素の値の比較に従って、患者の肩の状態の診断に基づいて治療についての推奨を決定し得る。例えば、出力要素の値は、患者の肩の状態が、その値を生成した出力層ニューロンに対応するクラスに属することの信頼レベルを示す信頼値に対応し得る。例えば、出力要素の値が信頼値であり得るか、又はコンピューティングシステム９０２が出力要素の値に基づいて信頼値を計算し得る。
【0172】
[0222]いくつかの例では、出力層ニューロンの出力関数は信頼値を生成する。更に、コンピューティングシステム９０２は、信頼値のうちのどれが最も高いかを識別し得る。この例では、コンピューティングシステム９０２は、最も高い信頼値に対応する肩の病変のクラスが現在の患者の肩の状態の診断であると決定し得る。いくつかの例では、信頼値がいずれも閾値を上回らない場合、コンピューティングシステム９０２は、コンピューティングシステム９０２が確定診断を行うことができないことを示す出力を生成し得る。従って、コンピューティングシステム９０２は、治療に関する推奨を決定することができない可能性がある。
【0173】
[0223]先に述べたように、いくつかの例では、ＤＮＮの出力要素は信頼値を含む。１つのそのような例では、信頼値関数は信頼値を出力する。信頼値関数は、ＤＮＮの出力層ニューロンの出力関数であり得る。この例では、信頼値関数によって出力される全ての可能な信頼値は、事前に定義された範囲内にある。更に、この例では、コンピューティングシステム９０２は、ＤＮＮを入力ベクトルに適用して出力ベクトルを生成し得る。ＤＮＮを適用することの一部として、コンピューティングシステム９０２は、複数の出力層ニューロン中の各それぞれの出力層ニューロンについて、それぞれの出力層ニューロンの出力値を計算し得る。
【0174】
[0224]次いで、コンピューティングシステム９０２は、信頼値関数への入力としてそれぞれの出力層ニューロンの出力値を有する信頼値関数を適用し得る。信頼値関数は、それぞれの出力層ニューロンの信頼値を出力する。この例では、複数の出力層ニューロン中の各それぞれの出力層ニューロンについて、それぞれの出力層ニューロンに対応する出力要素は、それぞれの出力層ニューロンの信頼値を指定する。更に、複数の出力層ニューロン中の各それぞれの出力層ニューロンについて、それぞれの出力層ニューロンの信頼値は、現在の患者の肩の状態が、それぞれの出力層ニューロンに対応する出力要素に対応する１つ又は複数の肩病変分類システム中のクラスに属することの信頼度の度合いである。
【0175】
[0225]コンピューティングシステム９０２は、様々な信頼値関数を使用し得る。例えば、コンピューティングシステム９０２は、双曲線正接関数、シグモイド関数、又は事前に定義された範囲内にある値を出力する別のタイプの関数を適用し得る。双曲線正接関数（ｔａｎｈ）は、γ（ｃ）＝ｔａｎｈ（ｃ）＝（ｅｃ－ｅ－ｃ）／（ｅｃ＋ｅ－ｃ）の形である。双曲線正接関数は、出力層ニューロンの出力値のような実数値の引数を取り、それらを範囲（－１，１）に変換する。シグモイド関数は、γ（ｃ）＝１／（１＋ｅ－ｃ）の形である。シグモイド関数は、出力層ニューロンの出力値のような実数値の引数を取り、それらを範囲（０，１）に変換する。
【0176】
[0226]コンピューティングシステム９０２は、複数のトレーニングデータセットを使用して、ＤＮＮをトレーニングし得る。各それぞれのトレーニングデータセットは、以前に診断された複数のトレーニングデータ患者中の異なるトレーニングデータ患者に対応し得る。例えば、第１のトレーニングデータセットは第１のトレーニングデータ患者に対応し得、第２のトレーニングデータセットは第２のトレーニングデータ患者に対応し得、以下同様である。トレーニングデータセットは、トレーニングデータセットが患者に関する情報を含み得るという意味で、トレーニングデータ患者に対応し得る。トレーニングデータ患者は、肩の状態の診断を受けた実際の患者であり得る。いくつかの例では、トレーニングデータ患者は、シミュレートされた患者を含み得る。
【0177】
[0227]各それぞれのトレーニングデータセットは、それぞれのトレーニング入力ベクトル及びそれぞれのターゲット出力ベクトルを含み得る。各それぞれのトレーニングデータセットについて、それぞれのトレーニングデータセットのトレーニング入力ベクトルは、複数の入力要素の各要素の値を含む。換言すると、トレーニング入力ベクトルは、ＤＮＮの各入力層ニューロンの値を含み得る。各それぞれのトレーニングデータセットについて、それぞれのトレーニングデータセットのターゲット出力ベクトルは、複数の出力要素の各要素の値を含み得る。換言すると、ターゲット出力ベクトルは、ＤＮＮの各出力層ニューロンの値を含み得る。
【0178】
[0228]いくつかの例では、ターゲット出力ベクトル中の値は信頼値に基づく。そのような信頼値は、次に、整形外科医のような、１人以上のトレーニングされた医療専門家によって表される信頼レベルに基づき得る。例えば、トレーニングされた医療専門家は、トレーニングデータセットのトレーニング入力ベクトル内の情報（又はトレーニングデータセットのトレーニング入力ベクトルが導出される情報）が与えられ得、トレーニングデータ患者が肩病変分類システムの各々の各クラスに属する肩の状態を有することの信頼レベルを提供するように求められ得る。
【0179】
[0229]例えば、肩病変分類システムがＷａｌｃｈ分類システムを含む例では、医療専門家は、トレーニングデータ患者の肩の状態がクラスＡ１に属することの信頼レベルが０であることを示し（これは、トレーニングデータ患者の肩の状態がクラスＡ１に属する肩の状態であると全く信じていないことを意味する）、トレーニングデータ患者の肩の状態がクラスＡ２に属することの信頼レベルが０であることを示し、トレーニングデータ患者の肩の状態がクラスＢ２に属することの信頼レベルが０．７５であることを示し（これは、トレーニングデータ患者の肩の状態がクラスＢ１に属する肩の状態であることを確信していることを意味する）、トレーニングデータ患者の肩の状態がクラスＢ２に属することの信頼レベルが０．２５であることを示し（これは、トレーニングデータ患者の肩の状態がクラスＢ１に属する肩の状態であることをわずかに信じていることを意味する）、トレーニングデータ患者の肩の状態がクラスＣに属することの信頼レベルが０であることを示し得る。いくつかの例では、コンピューティングシステム９０２は、信頼値関数の逆数を医療専門家によって提供された信頼値に適用して、ターゲット出力ベクトルに含める値を生成し得る。いくつかの例では、医療専門家によって提供される信頼値は、ターゲット出力ベクトルに含まれる値である。
【0180】
[0230]異なる医療専門家は、同じトレーニングデータ患者が、肩病変分類システムの各々の各クラスに属する肩の状態を有することの信頼レベルが異なり得る。従って、いくつかの例では、ターゲット出力ベクトル中の値が基づく信頼値は、平均であるか、又は複数の医療専門家によって与えられる信頼レベルから他の方法で決定され得る。同様の信頼値が、ＤＮＮから決定された、識別された病理又は特性に基づいて、治療のタイプに関する推奨について計算され得る。
【0181】
[0231]いくつかのそのような例では、いくつかの医療専門家の信頼レベルは、信頼レベルの加重平均の重みが、他の医療専門家の信頼レベルよりも大きく与えられ得る。例えば、卓越した整形外科医の信頼レベルには、他の整形外科医の信頼レベルよりも大きい重みを与えることができる。別の例では、特定の地域又は病院における医療専門家又はトレーニングデータ患者の信頼レベルは、他の地域又は病院の医療専門家又はトレーニングデータ患者よりも大きい重みを与えられ得る。有利に、そのような加重平均化により、ＤＮＮを様々な基準及び選好に従って調整することができる。
【0182】
[0232]例えば、医療専門家は、信頼レベルが特定の方法で重み付けされるようにトレーニングされたＤＮＮの使用を好む場合がある。トレーニングデータセットが医療専門家自身の症例に基づくトレーニングデータセットを含むいくつかの例では、医療専門家（例えば、整形外科医）は、医療専門家自身の症例がより重く重み付けされたトレーニングデータセットを使用してトレーニングされているか、又は医療専門家自身の症例だけを使用してトレーニングされたＤＮＮの使用を好む場合がある。このように、ＤＮＮは、医療専門家自身の実務スタイルに合わせた出力を生成し得る。更に、先に述べたように、医療専門家及び患者は、コンピューティングシステムの出力を信頼することが困難な場合がある。従って、いくつかの例では、コンピューティングシステム９０２は、ＤＮＮが医療専門家自身及び／又は特に信頼できる整形外科医の決定をエミュレートするようにトレーニングされたことを示す情報を提供し得る。
【0183】
[0233]いくつかの例では、異なるトレーニングデータセットを生成する際に、同じトレーニングデータ患者に対する異なる医療専門家の信頼レベルが使用され得る。例えば、第１のトレーニングデータセットを生成するために特定のトレーニングデータ患者に関する第１の医療専門家の信頼レベルが使用され得、第２のトレーニングデータセットを生成するために同じトレーニングデータ患者に関する第２の医療専門家の信頼レベルが使用され得る。
【0184】
[0234]更に、いくつかの例では、コンピューティングシステム９０２は、１人以上のユーザへの出力のために信頼値を提供し得る。例えば、コンピューティングシステム９０２は、１人以上のユーザへの表示のために信頼値をクライアントデバイス９０４に提供し得る。このように、１人以上のユーザは、コンピューティングシステム９０２が患者の肩関節の治療についての診断及び／又は推奨にどのように至ったかをよりよく理解することができる。
【0185】
[0235]いくつかの例では、トレーニングデータセットの母集団を拡張するために、コンピューティングシステム９０２は、電子医療記録から信頼値を自動的に生成し得る。例えば、一例では、患者の電子医療記録は、コンピューティングシステム９０２が入力ベクトルを形成し得るデータを含み得、外科医による患者の肩の状態の診断及び選択された肩関節治療を示すデータを含み得る。この例では、コンピューティングシステム９０２は、診断からデフォルトの信頼レベルを推測し得る。デフォルトの信頼レベルは、様々な値（例えば、０．７５、０．８など）を有し得る。そのようなデフォルトの信頼レベルは外科医の実際の信頼レベルを反映しない場合があるが、信頼レベルに帰することは、利用可能なトレーニングデータセットの数を増加させるのを助け得、これは、ＤＮＮの精度を改善し得る。
【0186】
[0236]いくつかの例では、トレーニングデータセットは、トレーニングデータ患者の健康転帰に基づいて重み付けされる。例えば、トレーニングデータセットに関連するトレーニングデータ患者が全て肯定的な健康転帰を有していた場合、トレーニングデータセットはより高い重みが与えられ得る。しかしながら、トレーニングデータセットは、関連付けられたトレーニングデータ患者がそれ程肯定的でない健康転帰を有していた場合、より低い重みが与えられ得る。トレーニング中、コンピューティングシステム９０２は、トレーニングデータセットに与えられた重みに基づいてトレーニングデータセットを重み付けする損失関数を使用し得る。
【0187】
[0237]いくつかの例では、トレーニングデータセットを生成することの一部として、コンピューティングシステム９０２は、１つ又は複数のトレーニングデータセット選択基準に基づいてトレーニングデータセットのデータベースから複数のトレーニングデータセットを選択し得る。換言すると、コンピューティングシステム９０２は、特定のトレーニングデータセットがトレーニングデータセット選択基準を満たさない場合、ＤＮＮのトレーニングプロセスからそのトレーニングデータセットを除外し得る。図１２２の例では、データ記憶システム９１０は、過去の肩関節手術の症例からのトレーニングデータセットを含むデータベース９１４を記憶する。
【0188】
[0238]多種多様なトレーニングデータセット選択基準が存在し得る。例えば、一例では、１つ又は複数のトレーニングデータセット選択基準は、どの外科医が複数のトレーニングデータ患者に手術をしたかを含み得る。いくつかの例では、１つ又は複数のトレーニングデータセット選択基準は、トレーニングデータ患者が住んでいる地域を含む。いくつかの例では、１つ又は複数のトレーニングデータセット選択基準は、１人以上の外科医に関連する地域（例えば、１人以上の外科医が、開業している、住んでいる、免許を受けた、トレーニングさを受けた地域など）を含む。
【0189】
[0239]いくつかの例では、１つ又は複数のトレーニングデータセット選択基準は、トレーニングデータ患者の術後の健康転帰を含む。そのような例では、トレーニングデータ患者の術後の健康転帰は、術後の可動域、術後感染症の有無、又は術後疼痛のうちの１つ又は複数を含み得る。従って、そのような例では、ＤＮＮがトレーニングされるトレーニングデータセットは、有害な健康転帰が発生したトレーニングデータセットを除外し得る。
【0190】
[0240]追加のトレーニングデータセットは、経時的にデータベースに追加され得、コンピューティングシステム９０２は、追加のトレーニングデータセットを使用して、ＤＮＮをトレーニングし得る。従って、ＤＮＮは、より多くのトレーニングデータセットがデータベースに追加されるにつれて、経時的に改善し続けることができる。
【0191】
[0241]コンピューティングシステム９０２は、トレーニングデータセットを使用してＤＮＮをトレーニングするために様々な技法のうちの１つを適用し得る。例えば、コンピューティングシステム９０２は、当技術分野で知られている様々な標準バックプロパゲーションアルゴリズムのうちの１つを使用し得る。例えば、ＤＮＮをトレーニングすることの一部として、コンピューティングシステム９０２は、コスト関数を適用して、ＤＮＮによって生成された出力ベクトルとターゲット出力ベクトルとの間の差に基づいてコスト値を決定し得る。次いで、コンピューティングシステム９０２は、バックプロパゲーションアルゴリズムにおいてこのコスト値を使用して、ＤＮＮにおけるニューロンの重みを更新し得る。このように、コンピューティングシステム９０２は、組織体積、ボクセルグループ化、病前の形状体積などの入力に基づいて、患者の軟組織の様々な特性（例えば、脂肪浸潤、萎縮率、可動域など）を決定するようにＤＮＮをトレーニングし得る。いくつかの例では、コンピューティングシステム９０２は、患者固有の画像データからの入力及び／又は異なるＤＮＮから決定されている可能性のある特性のような軟組織の決定された特性を使用して肩関節治療についての推奨を決定するようにＤＮＮをトレーニングし得る。いくつかの例では、コンピューティングシステム９０２は、インプラントを受け入れることになる１つ又は複数の骨（例えば、上腕骨頭）の骨密度を示すか又はそれに関する骨密度メトリックを使用して肩関節治療についての推奨を決定するようにＤＮＮをトレーニングし得る。例えば、コンピューティングシステム９０２は、上腕骨頭に関連する患者固有の撮像データ（例えば、ＣＴデータ）と、それぞれの各患者に対して外科医が選択したタイプの上腕骨インプラント（例えば、ステム付き、この場合はステムの長さを含んでも含まなくてもよい、又はステムレス上腕骨インプラント）とを使用して、ＤＮＮをトレーニングし得る。このトレーニングの出力は、新たな患者の上腕骨頭に関連する患者固有の画像データに基づく推奨されるタイプの上腕骨インプラントとなる。このように、肩関節治療及び／又はインプラントのタイプは、上腕骨内の骨梁の密度又は密度に関し得る他の特性に基づいて決定され得る。
【0192】
[0242]図３０は、図２９のシステムを有するコンピューティングシステム９０２によって実装され得る例となるＤＮＮ９３０を例示する。図３０の例では、ＤＮＮ９３０は、入力層９３２と、出力層９３４と、入力層９３２と出力層９３４との間の１つ又は複数の隠れ層９３６とを含む。図３０の例では、ニューロンが円で表されている。図３０の例では、各層は６つのニューロンを含むものとして示されているが、ＤＮＮ９３０中の層は、より多い又はより少ないニューロンを含み得る。更に、ＤＮＮ９３０は、全結合ネットワークとして図３０に示されているが、ＤＮＮ９３０は、異なるアーキテクチャを有し得る。例えば、ＤＮＮ９３０は、全結合ネットワークでなくてもよく、１つ又は複数の畳み込み層を有し得るか、又はそうでなければ図１２３に示されたものとは異なるアーキテクチャを有し得る。
【0193】
[0243]いくつかの実装形態では、ＤＮＮ９３０は、１つ又は複数の人工ニューラルネットワーク（単にニューラルネットワークとも呼ばれる）であるか、又はそれを含むことができる。ニューラルネットワークは、ニューロン又はパーセプトロンとも呼ばれ得る連結ノードのグループを含むことができる。ニューラルネットワークは、１つ又は複数の層に編成され得る。複数の層を含むニューラルネットワークは、「ディープ」ネットワークと呼ばれ得る。ディープネットワークは、入力層と、出力層と、入力層と出力層との間に配置された１つ又は複数の隠れ層とを含むことができる。ニューラルネットワークのノードは、結合されていても、完全には結合されていなくてもよい。
【0194】
[0244]ＤＮＮ９３０は、１つ又は複数のフィードフォワードニューラルネットワークであるか、又はそれを含むことができる。フィードフォワードネットワークでは、ノード間の結合はサイクルを形成しない。例えば、各結合は、前の層のノードを後の層のノードに結合することができる。
【0195】
[0245]いくつかの事例では、ＤＮＮ９３０は、１つ又は複数のリカレント型ニューラルネットワークであるか、又はそれを含むことができる。いくつかの事例では、リカレント型ニューラルネットワークのノードのうちの少なくともいくつかは、サイクルを形成することができる。リカレント型ニューラルネットワークは、本質的に連続的である入力データを処理するのに特に有用であり得る。具体的には、いくつかの事例では、リカレント型ニューラルネットワークは、リカレント型又は有向の循環型ノード結合の使用を通して、情報を入力データシーケンスの前の部分から入力データシーケンスの後続の部分に渡す又は保持することができる。
【0196】
[0246]いくつかの例では、連続入力データは、時系列データ（例えば、センサデータ対時間又は異なる時間にキャプチャされた画像）を含むことができる。例えば、リカレント型ニューラルネットワークは、スワイプ方向の検出又は予測、手書き文字認識の実行などを行うために、センサデータ対時間を分析することができる。連続入力データは、（例えば、自然言語処理、音声検出又は処理などのための）文中の単語、楽曲中の音符、（例えば、連続アプリケーション使用を検出又は予測するために）ユーザが行う連続アクション、連続オブジェクト状態などを含み得る。例となるリカレント型ニューラルネットワークには、ロングショートターム（ＬＳＴＭ）リカレント型ニューラルネットワーク、ゲートリカレントユニット、双方向リカレント型ニューラルネットワーク、連続時間リカレント型ニューラルネットワーク、ニューラルヒストリコンプレッサ、エコーステートネットワーク、エルマンネットワーク、ジョーダンネットワーク、再帰型ニューラルネットワーク、ホップフィールドネットワーク、完全リカレント型ネットワーク、シーケンスツーシーケンス構成などが含まれる。
【0197】
[0247]いくつかの実装形態では、ＤＮＮ９３０は、１つ又は複数の畳み込みニューラルネットワークであるか、又はそれを含むことができる。いくつかの事例では、畳み込みニューラルネットワークは、学習されたフィルタを使用して入力データ上で畳み込みを実行する１つ又は複数の畳み込み層を含むことができる。フィルタはカーネルとも呼ばれ得る。畳み込みニューラルネットワークは、例えば入力データが静止画像又はビデオのような画像を含むときの視覚問題に特に有用であり得る。しかしながら、畳み込みニューラルネットワークは、自然言語処理にも適用され得る。
【0198】
[0248]ＤＮＮ９３０は、例えば、ディープボルツマンマシン、ディープビリーフネットワーク、スタック型オートエンコーダなど、人工ニューラルネットワークの１つ又は複数の他の形態であるか、又はそれらを含み得る。本明細書で説明されるニューラルネットワークのいずれかを組み合わせて（例えば、スタックして）、より複雑なネットワークを形成し得る。
【0199】
[0249]図３０の例では、入力ベクトル９３８は、複数の入力要素を含む。入力要素の各々は数値であり得る。入力層９３２は、複数の入力層ニューロンを含む。入力層９３２中に含まれる複数の入力層ニューロン中の各入力層ニューロンは、複数の入力要素中の異なる入力要素に対応し得る。換言すると、入力層９３２は、入力ベクトル９３８中の入力要素ごとに異なるニューロンを含み得る。
【0200】
[0250]更に、図３０の例では、出力ベクトル９４０は、複数の出力要素を含む。出力要素の各々は数値であり得る。出力層９３４は、複数の出力層ニューロンを含む。複数の出力層ニューロン中の各出力層ニューロンは、複数の出力要素中の異なる出力要素に対応する。換言すると、出力層９３４中の各出力層ニューロンは、出力ベクトル９４０中の異なる出力要素に対応する。
【0201】
[0251]入力ベクトル９３８は、多種多様な情報を含み得る。例えば、入力ベクトル９３８は、患者の形態学的測定値を含み得る。入力ベクトル９３８が患者の形態の測定値を含むいくつかの例では、入力ベクトル９３８は、ＣＴ画像、ＭＲＩ画像、又は他のタイプの画像のような患者の医用画像に基づいて測定値を決定し得る。例えば、コンピューティングシステム９０２は、現在の患者の医用画像（例えば、患者固有の画像データ）を取得し得る。例えば、コンピューティングシステム９０２は、撮像マシン（例えば、ＣＴマシン、ＭＲＩマシン、又は他のタイプの撮像マシン）、患者の電子医療記録、又は別のデータソースから医用画像を取得し得る。この例では、コンピューティングシステム９０２は、軟組織及び骨のような現在の患者の内部構造を識別するために医用画像をセグメント化し得、いくつかの例では、本明細書で説明されるような骨及び／又は軟組織の患者固有の形状を生成し得る。更に、この例では、コンピューティングシステム９０２は、現在の患者の識別された内部構造の相対位置に基づいて複数の測定値を決定し得る。この例では、複数の入力要素は、複数の測定中の各測定のための入力要素を含み得る。他の入力は、脂肪浸潤値、萎縮率、及び／又は関節の可動域値のような、患者固有の画像データからの他の決定を含み得る。
【0202】
[0252]本開示の他の箇所で述べたように、コンピューティングシステム９０２は、１つ又は複数のコンピューティングデバイスを含み得る。従って、コンピューティングシステム９０２の様々な機能は、コンピューティングシステム９０２のコンピューティングデバイスの様々な組合せによって実行され得る。例えば、いくつかの例では、コンピューティングシステム９０２の第１のコンピューティングデバイスが画像をセグメント化し得、コンピューティングシステム９０２の第２のコンピューティングデバイスがＤＮＮをトレーニングし得、コンピューティングシステム９０２の第３のコンピューティングデバイスがＤＮＮを適用し得る。他の例では、コンピューティングシステム９０２の単一のコンピューティングデバイスが、画像をセグメント化し、ＤＮＮをトレーニングし、ＤＮＮを適用し得る。
【0203】
[0253]いくつかの例では、入力ベクトル９３８は、患者の回旋腱板評価に基づく情報を（例えば、本明細書で説明される０個以上の他の例となるタイプの入力データと組み合わせて）含み得る。例えば、入力ベクトル９３８は、回旋腱板の脂肪浸潤、回旋腱板の萎縮に関する情報及び／又は患者の回旋腱板に関する他の情報を、単独で又は上で説明した形態学的入力と組み合わせて含み得る。いくつかの例では、ニューラルネットワークへの入力として使用される軟組織の脂肪浸潤測定値及び萎縮測定値は、例えば、本願で説明される軟組織モデリング技法のいずれかによって導出され得る。いくつかの例では、患者の回旋腱板に関する情報は、Ｗａｒｎｅｒ分類システム又はＧｏｕｔａｌｌｉｅｒ分類システムのよう肩病変分類システムにおけるクラスに関して表され得る。
【0204】
[0254]いくつかの例では、入力ベクトル９３８は、患者の可動域情報を（例えば、本明細書で説明される０個以上の他の例となるタイプの入力データと組み合わせて）含み得る。いくつかの例では、患者の可動域情報は、本開示の他の箇所で説明されるように、モーショントラッキングデバイスを使用して生成され得る。他の例では、１つ又は複数の可動域値は、本明細書で説明されるように、患者固有の画像データの分析から決定され得る。
【0205】
[0255]更に、いくつかの例では、入力ベクトル９３８は、１つ又は複数の肩病変分類システムにおけるクラスを指定する情報を（例えば、本明細書で説明される０個以上の他の例となるタイプの入力データと組み合わせて）含み得る。そのような例では、出力ベクトルは、肩関節治療についての１つ又は複数の異なる肩関節推奨におけるクラスに対応する出力要素を含み得る。例えば、入力ベクトル９３８は、回旋腱板分類システムにおけるクラスを指定する情報を含み得、出力ベクトル９４０は、推奨されるタイプの肩関節治療（例えば、解剖学的肩関節置換術又はリバース型肩関節置換術）に対応する出力要素を含み得る。
【0206】
[0256]いくつかの例では、入力ベクトル９３８は、上腕骨及び／又は関節窩の骨密度スコアを指定する情報を（例えば、形態入力及び／又は回旋腱板入力を含む、本明細書で説明される０個以上の他の例となるタイプの入力データと組み合わせて）含み得る。入力ベクトル９３８に含まれる他の情報には、患者の年齢、患者の活動、患者の性別、患者の体格指数（ＢＭＩ）などの人口統計情報が含まれ得る。いくつかの例では、入力ベクトル９３８は、症状の発症速度に関する情報（例えば、緩やか又は突然）を含み得る。入力ベクトル９３８内の複数の入力要素はまた、特定の運動／スポーツタイプ、可動域などの活動に参加するための患者の目標を含み得る。
【0207】
[0257]いくつかの例では、出力ベクトルは、複数の手術タイプ出力要素を含み得る。手術タイプ出力要素の各々は、異なるタイプの肩関節手術に対応し得る。出力として提示され得る肩関節手術タイプの例となるタイプには、ステムレス標準肩関節全形成術、ステム付き標準肩関節全形成術、ステムレスリバース型肩関節形成術、ステム付きリバース型肩関節形成術、拡張関節窩標準肩関節全形成術、拡張関節窩リバース型肩関節形成術、及び他のタイプの整形外科的肩関節手術が含まれ得る。肩関節手術は、手術後に、患者の肩関節が、肩関節の肩甲骨側が凹面を有し、肩関節手術の上腕骨側が凸面を有する標準的な解剖学的構成を有するという意味で「標準」であり得る。一方、「リバース型」肩関節手術では、凸状表面が肩甲骨に取り付けられ、凹状表面が上腕骨に取り付けられる反対の構成になる。
【0208】
[0258]加えて、コンピューティングシステム９０２は、現在の出力ベクトルに基づいて、患者に対する推奨される肩関節手術のタイプを決定し得る。例えば、コンピューティングシステム９０２は、出力ベクトル中のどの出力要素が、最大の信頼値を有する肩関節手術のタイプに対応するかを決定し得る。
【0209】
[0259]図３１は、本開示の技法による、患者に対する肩関節手術の推奨されるタイプを決定するためにＤＮＮを使用するコンピューティングシステムの例となる動作を例示するフローチャートである。図３１の例では、コンピューティングシステム９０２は、複数のトレーニングデータセットを生成する（９５０）。この例では、ＤＮＮは、入力層と、出力層と、入力層と出力層との間の１つ又は複数の隠れ層とを有する。入力層は、複数の入力層ニューロンを含む。複数の入力層ニューロン中の各入力層ニューロンは、複数の入力要素中の異なる入力要素に対応する。出力層は、複数の出力層ニューロンを含む。
【0210】
[0260]複数の出力層ニューロン中の各出力層ニューロンは、複数の出力要素中の異なる出力要素に対応する。複数の出力要素は、複数の手術タイプ出力要素を含む。複数の手術タイプ出力要素中の各手術タイプ出力要素は、複数のタイプの肩関節手術中の異なるタイプの肩関節手術に対応する。各それぞれのトレーニングデータセットは、複数のトレーニングデータ患者中の異なるトレーニングデータ患者に対応し、それぞれのトレーニング入力ベクトル及びそれぞれのターゲット出力ベクトルを含む。各それぞれのトレーニングデータセットについて、それぞれのトレーニングデータセットのトレーニング入力ベクトルは、複数の入力要素の各要素の値を含む。各それぞれのトレーニングデータセットについて、それぞれのトレーニングデータセットのターゲット出力ベクトルは、複数の出力要素の各要素の値を含む。
【0211】
[0261]更に、図３１の例では、コンピューティングシステム９０２は、複数のトレーニングデータセットを使用して、ＤＮＮをトレーニングする（９５２）。加えて、コンピューティングシステム９０２は、現在の患者に対応する現在の入力ベクトルを取得し得る（９５４）。コンピューティングシステム９０２は、ＤＮＮを現在の入力ベクトルに適用して、現在の出力ベクトルを生成し得る（９５６）。コンピューティングシステム９０２は、現在の出力ベクトルに基づいて、現在の患者に対する推奨される肩関節手術のタイプを決定し得る（９５８）。コンピューティングシステム９０２は、本開示の他の箇所で提供される例に従ってこれらの活動を実行し得る。
【0212】
[0262]図３２は、患者の肩関節１０００に関する例となる骨の図である。図３２の例に示されるように、肩関節１０００は、上腕骨１００４と、肩甲骨１０１０と、鎖骨１０１６とを含む。上腕骨１００４のシャフト１００６は、上腕骨頭１００８に連結されており、上腕骨頭１００８は、関節窩１０１２と共に関節窩上腕関節１００２を形成する。肩甲骨１０１０の肩峰１０１４は、肩峰－鎖骨関節において鎖骨１０１６に繋がっている。
【0213】
[0263]経時的に、上腕骨頭１００８、関節窩１０１２、及び／又は上腕骨頭１００８と関節窩１０１２との間の結合組織は、摩耗及び／又は疾患により劣化し得る。場合によっては、関節窩上腕関節１００２の劣化を患っている患者には、上腕骨頭１００８、関節窩１０１２、又はその両方の少なくとも一部が人工インプラントと置換される肩関節置換手術が有効であり得る。例えば、上腕骨頭１００８を切断して、上腕骨頭１００８内の低密度の骨梁を露出させ得る。上腕骨インプラントは、新たな上腕骨インプラントを上腕骨１００４のシャフト１００６に固定するために、骨梁に挿入され得る。
【0214】
[0264]図３３Ａ、図３３Ｂ、及び図３３Ｃは、上腕骨インプラントのために準備された例となる上腕骨頭１０２２の概念図である。図３３Ａに示されるように、肩関節形成処置の一部として、臨床医は、上腕骨頭１０２２の解剖頸１０２４を視覚的に推定（例えば、「視認」）し、マーキングすることによって、上腕骨１０２０の上腕骨頭１０２２の切除という外科的ステップを実行し得る。解剖頸１０２４は、上腕骨インプラントを上腕骨１０２０に取り付けることができる表面を生成又は露出させるように上腕骨頭１０２２の一部を二分する平面を指し得る。図３３Ｂの例に示されるように、臨床医は次いで、臨床医のフリーハンドで、すなわち機械的又は視覚的ガイダンスなしで、マーキングされた解剖頸１０２４に沿って切断ツール１０２６（例えば、振動鋸のブレード）を誘導することによって、上腕骨頭１０２２の切除を実行し得る。上腕骨頭１０２２の切除が完了した後、解剖頸１０２４に対応する平面に沿って骨梁領域１０２８が露出する。一般に、上腕骨インプラントは、骨梁領域１０２８の一部に挿入され、所定の位置に固定され得る。骨梁領域１０２８の密度、又は骨梁領域１０２８の体積内の密度の変動は、どのタイプの上腕骨インプラントを上腕骨１０２０に使用することができるかに影響を与え得る。例えば、より高密度の骨梁領域１０２８は、上腕骨インプラント上により長いステムを必要とし得るより低密度又はより軟質の骨梁よりも短い上腕骨インプラントの「ステム」で上腕骨インプラントを支持し得る。
【0215】
[0265]図３４は、解剖学的肩関節置換処置を対象とした例となる上腕骨インプラントの概念図である。肩関節全形成手術（例えば、あるタイプの肩関節置換術又は肩関節治療）では、上腕骨のシャフト内の上腕骨インプラントの機械的固定強度は、主に、インプラントの骨幹ステムの固定によって決定され得る。ステムの埋め込みは、上腕骨インプラントのステムを導入するときの穿孔、リーミング、ブローチ加工、及び他の鈍的衝撃力の間、シャフトに高い機械的力を受けさせる可能性がある。これらの処置の結果、術中の骨折（上腕骨の骨幹）に関連する合併症及び術後の弛緩や応力遮蔽が起きる可能性があり、これは、しばしば、再置換手術を招く。特に骨セメントを使用して埋め込まれているときには、再置換のために上腕骨頭インプラントを抜去することも困難であり得る。
【0216】
[0266]ステムレス上腕骨インプラント、又はより短いステムを有する上腕骨インプラントは、上腕骨のシャフト又はシャフトの一部への埋め込みを回避することによって、シャフト骨折の可能性を排除し、生まれつきの骨ストックの保存を可能にすることができ、これは、再置換の場合に有益であり得る。ステムレス設計により、外科医は、上腕骨のシャフトの向きから独立して関節窩上腕の回転中心を復元し、ステムの埋め込みに関連した合併症を回避することもできる。ステムレス上腕骨インプラントの骨固定は、主に、上腕骨頭及びその中の骨梁ネットワーク内で達成され得る。
【0217】
[0267]管温存型ステムレス上腕骨インプラントの禁忌には、骨質の低下（骨減少症、骨粗鬆症）、他の代謝性骨疾患（嚢胞、腫瘍など）、又は金属部品の骨の支持、内方成長、及び統合に影響を与え得る以前の骨折の存在が含まれ得る。このように、異なる骨密度の密度及び／又は位置のような上腕骨頭内の骨の密度は、より短いステム又はステムレス上腕骨インプラントタイプを支持するのに十分である必要があり得る。外科医は、上腕骨頭のネックカット（近位の上腕骨の骨幹端）の表面を親指で圧迫して、埋め込みのための基体バイアビリティを決定することができる「親指テスト」を主要な術中評価ツールとして使用し得る。この基体バイアビリティは、上腕骨頭内の骨梁の密度に関連するか、又はそれを表し得る。換言すると、上腕骨頭内の骨梁の骨密度を外科医の親指で評価することができる。最小限の力で容易に圧迫可能な（例えば、低密度の）骨は、ステムレス部品の埋込みには適していないと考えられる。容易に圧迫可能でない、すなわちより高い弾性（例えば、高密度）を提供する骨は、ステムレスタイプの上腕骨インプラントに適していると考えられ得る。
【0218】
[0268]このように、外科医は、「親指テスト」の結果に基づいて、ステムレスかステム付きか（更にはステムの長さ）の選択を行うことができる。本明細書で説明されるように、上腕骨頭の骨質に関する履歴データ（例えば、密度、圧縮性、ステム付きインプラント又はステムレスインプラントの選択、又はインプラントを支持するための上腕骨頭の適切なそれ以外の性質など）は、それらの患者に関する患者固有の撮像データと相関され得る。例えば、相関は、特定の患者に関するＣＴデータからの上腕骨頭におけるボクセルからの強度の強度閾値、ハウンスフィールド単位の範囲、又は標準偏差を、それらのそれぞれの患者について患者によって選択された上腕骨インプラントのタイプにマッピングし得る。相関が完了すると、システムは、各タイプの上腕骨インプラントへのＣＴデータマッピングに基づいて特定のタイプの上腕骨インプラントを推奨するために相関を使用し得る。このように、本明細書で説明されるように、システムは、患者固有の画像データ（例えば、ボクセル又はボクセルのグループの強度の大きさ及び／又は大きさの位置）の分析に基づいて、特定のタイプの上腕骨インプラント（例えば、ステム付き、ステムなし、及び／又はステムの長さ）を推奨することができる。
【0219】
[0269]図３４の例に示されるように、上腕骨インプラント１０４０は、関節窩又は関節窩インプラントに接するように構成された滑り面１０４２を有する「ステムレス」上腕骨インプラントの一例である。固定構造１０４４は、上腕骨インプラント１０４０を固定するために骨梁１０２８に埋め込まれるように構成された突起を含むが、上腕骨のシャフトの近くに又はシャフトへと下方に延びるステムは存在しない。
【0220】
[0270]上腕骨インプラント１０５０は、「ステム付き」上腕骨インプラントの一例であり、ステム固定構造１０５４は、上腕骨インプラント１０５０を上腕骨の骨梁内に固定することを容易にする短いステムを含む。上腕骨インプラント１０５０は、関節窩又は関節窩インプラントと接するように構成された滑り面１０５２を含む。上腕骨インプラント１０６０は、「ステム付き」上腕骨インプラントの一例であり、ステム固定構造１０６４は、上腕骨インプラント１０６０を上腕骨の骨梁内に固定することを容易にする長いステムを含む。上腕骨インプラント１０６０は、関節窩又は関節窩インプラントと接するように構成された滑り面１０６２を含む。上腕骨インプラント１０５０及び１０６０は、骨梁が健康な骨から悪化し、上腕骨インプラントの十分な固定を提供するためにステムが必要なときに使用され得る。例えば、骨梁は、上腕骨インプラント１０４０を固定するのに十分な骨密度を提供しないことがあり、そのため、代わりに、上腕骨インプラント１０５０又は１０６０のような「ステム付き」上腕骨インプラントが患者に対して推奨又は選択され得る。
【0221】
[0271]長いステムの固定構造１０６４は、最も密度の低い骨梁を有するか、又は他の理由でより高い安定性を必要とする上腕骨に使用され得る。対照的に、上腕骨インプラント１０４０は、骨梁の密度が、ステムレス固定構造１０４４を用いて上腕骨インプラントを十分に固定することができるほど高いときに使用され得る。固定構造１０４４のものと同様のステムレス設計の利点は、除去される必要がある上腕骨内の骨梁がより少ないこと、治癒がより迅速であること、並びにリーミング及び／又は上腕骨内へのステムの挿入の間の皮質骨への損傷のリスクがより少ないことであり得る。
【0222】
[0272]しかしながら、臨床医は、上腕骨頭が切除されて手動で操作されるまで、上腕骨頭内の骨梁が上腕骨インプラント１０４０のようなステムレス設計を支持することができるかどうかを判断することができない場合がある。本明細書で説明されるように、システムは、手術前の肩関節置換計画を支援するために、患者固有の画像データ（例えば、ＣＴデータ）を使用して上腕骨頭骨梁骨密度メトリックを決定し得る。このように、例となる技法は、コンピュータ分析を使用して、手術時間を短縮するために骨密度を決定する方法を改善する（例えば、どの上腕骨頭タイプを使用すべきかの決定がすでに行われている）、及び／又は手術前の上腕骨頭ンプラントタイプの選択の精度を改善する（例えば、術前計画を改善する）技法の様々な実用的な用途を提供する。
【0223】
[0273]図３５は、上腕骨１０７２に埋め込まれた例となるステム付き上腕骨インプラント１０８０の概念図１０７０である。図３５の例に示されるように、ステム付き上腕骨インプラント１０８０は、滑り面１０８４とステム１０８０とを含む。ステム１０８０は、上腕骨インプラント１０８０を上腕骨頭１０７６に固定するために骨梁１０７８内に挿入されている。ステム１０８０は、図３４の上腕骨インプラント１０５０に類似した短いステムであり得るが、それでもステム１０８０は、少なくとも部分的に上腕骨のシャフト１０７４内に挿入され得る。例となる上腕骨インプラント１０８０は、テネシー州のメンフィスのＷｒｉｇｈｔ Ｍｅｄｉｃａｌ Ｇｒｏｕｐ Ｎ．Ｖ．によって製造されたＡｅｑｕａｌｉｓ Ａｓｃｅｎｄ（登録商標）Ｆｌｅｘに類似し得る。
【0224】
[0274]図３６は、上腕骨頭１１１０に埋め込まれた例となるステムレス上腕骨インプラント１１１２の概念図１１００である。図３６の例に示されるように、ステムレス上腕骨インプラント１１１２は、滑り面１１１６と固定構造１１１４とを含む。固定構造１１１４は、ステムなしで上腕骨頭１１１０内の骨梁に埋め込まれている。上腕骨インプラント１１１２は、図３４の上腕骨インプラント１０４０に類似し得る。例となる上腕骨インプラント１１１２は、テネシー州のメンフィスのＷｒｉｇｈｔ Ｍｅｄｉｃａｌ Ｇｒｏｕｐ Ｎ．Ｖ．によって製造されたＳｉｍｐｌｉｃｉｔｉ（登録商標）肩システムに類似し得る。滑り面１１１６は、肩甲骨１１０２の関節窩表面に埋め込まれた関節窩インプラント１１０６に接するように構成され得る。ステムレス上腕骨インプラント１１１２及び関節窩インプラント１１０６は、上腕骨インプラント１１１２が健康な上腕骨頭の球面に類似した球面を含むため、解剖学的肩関節置換術の一部であり得る。
【0225】
[0275]図３７は、例となるリバース型上腕骨インプラント１１２４の概念図である。リバース型上腕骨インプラント１１２４は、（上腕骨インプラント１０５０又は１０６０と同様に）ステム付きで、又は（インプラント１０４０と同様に）ステムレス設計で構築され、上腕骨１０２０の上腕骨頭１１２２に埋め込まれ得る。しかしながら、リバース型上腕骨インプラント１１２４は、凹状であり、対応する関節窩インプラントの球状又は凸状の接触面に接するように意図された滑り面を有する。システムは、軟組織構造（例えば、回旋腱板の１つ又は複数の筋肉又は他の肩の筋肉）の特性及び／又は上腕骨頭１１２２の骨密度に基づいて、リバース型上腕骨インプラント１１２４を含み得るリバース型肩関節置換術を推奨し得る。
【0226】
[0276]図３８は、本開示の一例による、患者固有の画像データから推定骨密度を決定するように構成されたシステム１１４０の例となる構成要素を例示するブロック図である。システム１１４０及びその中の構成要素は、図６で説明したシステム５４０及び構成要素及び／又は図１の仮想計画システム１０２に類似し得る。このように、システム５４０又は仮想計画システム１０２は、本明細書におけるシステム１１４０に帰する機能を実行し得る。
【0227】
[0277]図３８の例に示されるように、システム１１４０は、処理回路１１４２と、電源１１４６と、ディスプレイデバイス（複数可）１１４８と、入力デバイス（複数可）１１５０と、出力デバイス（複数可）１１５２と、記憶デバイス（複数可）１１５４と、通信デバイス１１４４とを含み得る。ディスプレイデバイス（複数可）１１４８は、不透明又は少なくとも部分的に透明な画面のような、ユーザインターフェースをユーザに提示するための画像を表示し得る。ディスプレイデバイス１１４８は、視覚情報を提示し得、いくつかの例では、オーディオ情報又はユーザに提示される他の情報を提示し得る。例えば、ディスプレイデバイス１１４８は、１つ又は複数のスピーカ、触覚デバイスなどを含み得る。他の例では、出力デバイス（複数可）１１５２は、１つ又は複数のスピーカ及び／又は触覚デバイスを含み得る。ディスプレイデバイス（複数可）１１４８は、不透明な画面（例えば、ＬＣＤ又はＬＥＤディスプレイ）を含み得る。代替的に、ディスプレイデバイス（複数可）１１４８は、例えば、プロジェクタと組み合わせてシースルーホログラフィックレンズを含むＭＲ視覚化デバイスを含み得、それは、ユーザが、現実世界の環境において、レンズを通して現実世界のオブジェクトを見ることと、例えば、Microsoft HOLOLENS（登録商標）デバイスのようなホログラフィック投影システムによって、レンズ内に及びユーザの網膜上に投影された仮想３Ｄホログラフィック画像を見ることとを可能にする。この例では、仮想３Ｄホログラフィックオブジェクトは、現実世界の環境内に配置されているように見え得る。いくつかの例では、ディスプレイデバイス１１４８は、ＬＣＤ表示画面、ＯＬＥＤ表示画面などの１つ又は複数の表示画面を含む。ユーザインターフェースは、骨密度に関する情報のような、特定の患者のための仮想手術計画の詳細の仮想画像を提示し得る。
【0228】
[0278]入力デバイス１１５０は、１つ又は複数のマイクロフォンと、関連する音声認識処理回路又はソフトウェアとを含み得、ユーザが発した音声コマンドを認識し、それに応答して、手術計画、術中ガイダンスなどに関連する様々な機能の選択、アクティブ化、又は非アクティブ化のような様々な動作のいずれかを実行し得る。別の例として、入力デバイス１１５０は、上で説明したような動作を実行するためにジェスチャを検出及び解釈する１つ又は複数のカメラ又は他の光学センサを含み得る。更なる例として、入力デバイス１１５０は、注視方向を感知し、本開示の他の箇所で説明されるような様々な動作を実行する１つ又は複数のデバイスを含む。いくつかの例では、入力デバイス１１５０は、例えば、１つ又は複数のボタン、キーパッド、キーボード、タッチスクリーン、ジョイスティック、トラックボール、及び／又は他の手動入力媒体を含むハンドヘルドコントローラを介して、ユーザから手動入力を受け取り、手動ユーザ入力に応答して、上で説明したような様々な動作を実行し得る。
【0229】
[0279]通信デバイス１１４４は、他のデバイスとのデータ通信を容易にする１つ又は複数の回路又は他の構成要素を含み得る。例えば、通信デバイス１１４４は、システム１１４０に物理的に接続されたときにドライブとシステム１１４０との間のデータの移送を可能にする１つ又は複数の物理ドライブ（例えば、ＤＶＤ、ブルーレイ、又はユニバーサルシリアルバス（ＵＳＢ）ドライブ）を含み得る。他の例では、通信デバイス１１４４がそれを含み得る。通信デバイス１１４４はまた、別のコンピューティングデバイス及び／又はネットワークとのワイヤード及び／又はワイヤレス通信をサポートし得る。
【0230】
[0280]記憶デバイス１１５４は、共通及び／又は別個のデバイスにそれぞれのタイプのデータを記憶する１つ又は複数のメモリ及び／又はリポジトリを含み得る。例えば、ユーザインターフェースモジュール１１５６は、上腕骨の骨密度に関する情報又は関連する外科治療についての推奨のような情報をユーザに提示するためにシステム１１４０がディスプレイデバイス１１４８をどのように制御するかを定義する命令を含み得る。術前モジュール１１５８は、撮像データのような患者データの分析、及び／又は患者データに基づく治療選択肢の決定に関する命令を含み得る。術中モジュール１１６０は、計画された手術に関する詳細及び／又は外科手術に関するフィードバックのような情報を表示のために臨床医に提供する際にシステム１１４０がどのように動作するかを定義する命令を含み得る。患者データ１１６６は、患者固有の画像データを記憶するリポジトリであり得る。
【0231】
[0281]骨密度モデリングモジュール１１６２は、処理回路１１４２が上腕骨頭のような１つ又は複数の骨の少なくとも一部の１つ又は複数の骨密度メトリックをどのように決定するかを定義する命令を含み得る。例えば、骨密度モデリングモジュール１１６２は、患者固有の患者データ（例えば、ＣＴ画像データ）内のボクセルの強度に基づいて骨密度メトリックを決定し得る。処理回路１１４２は、ピクセル又はボクセルの個々又はグループについての強度の所定の範囲（例えば、ハウンスフィールド単位）に従ってピクセル又はボクセルのグループの異なる骨密度カテゴリを決定するために、骨密度モデリングモジュール１１６２を実行し得る。いくつかの例では、処理回路１１４２は、患者固有の画像データ内のボクセルの標準偏差に基づいて骨密度メトリックを生成し得る。骨密度メトリックは、上腕骨頭の２次元又は３次元領域にわたって異なる骨密度値を含み得る。いくつかの例では、骨密度メトリックは、上腕骨頭全体又は上腕骨頭の特定のエリアにわたる平均ピクセル又はボクセル強度に基づいて決定される単一の値であり得る。いくつかの例では、骨密度モデリングモジュール１１６２は、上腕骨インプラントを上腕骨頭内に埋め込むことができる上腕骨インプラントのタイプ（例えばステム付き又はステムレス）及び／又は位置を決定する命令を含み得る。骨密度メトリックは、実際に骨の密度を示すものではなく、骨密度を表すメトリックであり得る。例えば、骨密度メトリックは、単に、分析された患者固有の画像データに対応するインプラントのタイプ（例えば、ステム付き又はステムなし）を示し得る。別の例として、骨密度メトリックは、実際に骨の密度の測定値を提供するのではなく、画像データからのボクセル強度、画像データからのボクセル強度の標準偏差、圧縮性、インデックス、又は密度に関し得るかもしくはそれを表し得る何らかの他の指示を含み得る。
【0232】
[0282]処理回路１１４２は、患者固有の画像データ及び過去の手術における他の患者からの選択されたインプラントタイプ（例えば、その手術の間の親指テスト情報に基づいて過去に選択されたインプラントタイプ）に合わせて骨密度メトリックを較正するために、キャリブレーションモジュール１１６４を実行し得る。歴史的に、臨床医は、自分の親指を使用して、（頭部切断によって露出した）上腕骨頭内の骨梁を圧迫し、骨梁の剛性、ひいては密度を決定し得る。この親指テストは、いくつかあるとき、どのようなタイプのステムが上腕骨インプラントに必要であるかを識別するために実行され得る。キャリブレーションモジュール１１６４は、過去の患者から得られたこの親指テストデータを使用して、親指テスト手順に基づいて行われた上腕骨インプラントタイプの既知の外科的決定を、同じそれぞれの患者の患者固有の画像データと相関させ、現在の患者の骨密度メトリックを決定し得る。このように、キャリブレーションモジュール１１６４は、それぞれの上腕骨インプラントタイプに対応する骨密度メトリックの１つ又は複数の範囲を識別するために使用され得る。例えば、キャリブレーションモジュール１１６４を用いて、処理回路１１４２は、ステムレス上腕骨インプラント１０４０が第１の範囲内の骨密度メトリック用であり、短いステム付き上腕骨インプラント１０５０が第２の範囲内の骨密度メトリック用であり、長いステム付き上腕骨インプラント１０６０が第３の範囲内の骨密度メトリック用であると決定し得る。
【0233】
[0283]上述したように、外科的ライフサイクル３００は、術前段階３０２（図３）を含み得る。１人以上のユーザは、術前段階３０２において整形外科手術システム１００を使用し得る。例えば、整形外科手術システム１００は、１人以上のユーザが、特定の患者の対象の解剖学的構造に合わせてカスタマイズされ得る仮想手術計画を生成するのを助けるために、仮想計画システム１０２（システム１１４０に類似し得る）を含み得る。本明細書で説明されるように、仮想手術計画は、特定の患者の対象の解剖学的構造に対応する３次元仮想モデルと、対象の解剖学的構造を修復するために特定の患者に適合しているか、又は対象の解剖学的構造を修復するために選択された１つ又は複数の人工部品（例えば、インプラント）の３次元モデルとを含み得る。仮想手術計画はまた、外科医が外科手術を行う際、例えば、骨表面又は組織を準備し、そのような骨表面又は組織に対して埋込型の補綴具を埋植する際の指針となるガイダンス情報の３次元仮想モデルを含み得る。
【0234】
[0284]本明細書で説明されるように、処理回路１１４２は、患者の上腕骨頭の少なくとも一部についての骨密度メトリックを、その患者に関する患者固有の画像データに基づいて決定するように構成され得る。例えば、骨密度メトリックは、上腕骨頭又は上腕骨頭の一部の全体的な密度の単一の指示であり得る。別の例として、骨密度メトリックは、患者の上腕骨頭のそれぞれの部分の骨密度値を含み得る。システムは、（骨密度を直接又は間接的に示し得る）骨密度メトリックのグラフィカル表現を提示するように、及び／又は、骨密度メトリックに基づいて上腕骨頭のインプラントタイプに関する推奨を生成するように、ユーザインターフェースモジュール１１５６を介してユーザインターフェースを制御し得る。例えば、骨密度メトリックが上腕骨頭の十分な骨梁密度を示すと、システムは、ステム付き上腕骨インプラントとは対照的にステムレス上腕骨インプラントを推奨し得る。
【0235】
[0285]一例では、処理回路１１４２は、例えば、骨をセグメント化することによって、又は他の方法で上腕骨頭を示すランドマークもしくは形状を識別することによって、患者固有の画像データ内の上腕骨頭を識別するように構成され得る。次いで、処理回路１１４２は、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定し得る。この骨密度メトリックに基づいて、処理回路１１４２は、患者に対する上腕骨インプラントタイプの推奨を生成し得る。例えば、処理回路１１４２は、骨密度メトリックがより低密度の骨を示す場合、ステム付き上腕骨インプラント（ステム付きインプラントタイプ）を推奨し得、処理回路１１４２は、骨密度メトリックがより高密度の骨を示す場合、ステムレス上腕骨インプラント（ステムレスインプラントタイプ）を推奨し得る。次いで、処理回路１１４２は、ユーザインターフェースを介した表示のために、患者に対する上腕骨インプラントタイプの推奨を出力し得る。
【0236】
[0286]いくつかの例では、処理回路１１４２は、ステムを含む上腕骨インプラントタイプのステム長を決定し得る。処理回路１１４２は、上腕骨への十分な固定を提供するためにより低密度の骨により長いステムが必要であることを決定し得るか、又は上腕骨内のより低密度の骨梁の位置により長いステムが必要であることを決定し得る。ステム長自体が識別されてユーザに提示され得るか、又は処理回路１１４２が、推奨される長さ範囲を満たす特定の上腕骨インプラントを推奨し得る。このように、処理回路１１４２は、患者固有の画像データから決定された骨密度メトリックに基づいて、３つ以上の異なるタイプの上腕骨インプラントから選択された特定のインプラント又はインプラントタイプを推奨し得る。
【0237】
[0287]いくつかの例では、骨密度メトリックは、上腕骨頭の少なくとも一部内の骨梁の総合的な密度スコア（例えば、画像データからのボクセル又はピクセル値に基づく値、指数、又はカテゴリ）を表し得る。例えば、処理回路１１４２は、上腕骨頭の領域の平均密度又は加重平均密度を決定し、特定のメトリック値を上腕骨頭のその領域に割り当て得る。他の例では、骨密度メトリックは、そのエリア内の骨密度に対する下限を設けるために、その領域内で見られる骨の最も低い密度を示すように決定され得る。反対に、骨密度メトリックは、上腕骨頭のその領域における最も高い密度を示し得る。骨密度メトリックは、上腕骨頭内のそれぞれの部分についての複数の骨密度値を含み得る。例えば、骨密度メトリックは、上腕骨頭の領域内のそれぞれのボクセル又はボクセルのグループについての特定の骨密度値を含む密度値の行列を含み得る。このように、骨密度メトリックは、上腕骨頭内の骨密度のより高い分解能表現を提供し得る。いずれの場合も、骨密度メトリックは、実際の骨密度値、画像データ強度、及び／又は推奨されるインプラントタイプを示し得る）。
【0238】
[0288]処理回路１１４２は、様々な技法を使用して骨密度メトリックを決定し得る。一例では、処理回路１１４２は、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部内のそれぞれのボクセルの強度を識別することと、それぞれのボクセルの強度を２つ以上の強度レベルのうちの１つに分類することと、２つ以上の強度レベルの各々に分類されたボクセルの数又は２つ以上の強度レベルの各々に分類されたボクセルの上腕骨頭における位置のうちの少なくとも１つに基づいて、骨密度メトリックを決定することとによって、骨密度メトリックを決定し得る。このように、処理回路１１４２は、骨密度メトリックを決定するために、患者固有の画像データ内の異なる強度を異なる強度レベル及び／又はそれらの強度レベルの位置として分類するように構成され得る。例えば、強度レベルの位置は、骨梁の密度がステムレス上腕骨インプラントを支持するのに十分であるか否かに関連し得る。骨梁の全体的な骨密度はより低いが、依然として上腕骨頭の中心がステムレス上腕骨インプラントを支持するために必要とされる閾値密度を上回る場合、処理回路１１４２は、依然として、骨密度メトリックがステムレス上腕骨インプラントを支持するのに十分であると決定し得る。他の例では、処理回路１１４２は、ステムレス上腕骨インプラントが埋め込まれるであろう位置において低密度骨密度のポケットが識別された場合、何らかの比較的高い骨密度レベルであっても、ステム付き上腕骨インプラントを必要とすることを示すものとして、骨密度メトリックを決定し得る。
【0239】
[0289]いくつかの例では、処理回路１１４２は、上腕骨頭全体内の骨梁の体積についての骨密度メトリックを決定し得る。他の例では、処理回路１１４２は、上腕骨インプラントを受け入れるように上腕骨を準備するために上腕骨に行われる上腕骨切断を表す上腕骨頭を通る平面を決定し得る。この上腕骨切断は、上腕骨インプラントが埋め込まれることとなる骨梁の表面を露出させるであろう。次いで、処理回路１１４２は、平面によって二分された上腕骨頭の少なくとも一部についての骨密度メトリックを決定するであろう。いくつかの例では、処理回路１１４２は、平面に対応する（例えば、平面によって露出されるか、又は平面によって二分される）ピクセル又はボクセルについての骨密度メトリックを決定し得る。他の例では、処理回路１１４２は、平面から開始し、上腕骨のシャフトに向かって延在する骨梁の体積についての骨密度メトリックを決定し得る。いくつかの例では、分析される骨梁の体積は、上腕骨の外面を画定する皮質骨まで延在し得る。
【0240】
[0290]骨密度メトリックは、いくつかの例では、例えばユーザインターフェースモジュール１１５６を使用して、ユーザインターフェースを介して表示され得る。処理回路１１４２は、ディスプレイデバイス１１４８又は別のシステムのディスプレイデバイスによる表示のために、患者の上腕骨頭の少なくとも一部の表現上に骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力し得る。骨密度メトリックのグラフィカル表現は、上腕骨の骨梁の上又は代わりに表示される１つ又は複数の形状又は色を含み得る２次元又は３次元グラフィックを含み得る。一例では、骨密度メトリックは、複数の色のヒートマップを含み得、ここで、複数の色の各色は、骨密度値の異なる範囲を表す。このように、異なる色は、骨梁のその体積内の骨密度の変動の空間的表現を示すために異なる骨密度の大きさを表し得る。骨密度メトリックのグラフィカル表現は、上腕骨頭の平面内の骨密度変動の２次元表現を含み得る。他の例では、骨密度メトリックのグラフィカル表現は、上腕骨頭の少なくとも骨梁内の骨密度変動の３次元表現を含み得る。いくつかの例では、ディスプレイデバイス１１４８は、複合現実ディスプレイを含み得、処理回路１１４２は、骨密度メトリックのグラフィカル表現を含むユーザインターフェースを提示するように複合現実ディスプレイを制御し得る。
【0241】
[0291]いくつかの例では、骨密度メトリックは、他の過去の患者からの骨密度データ（例えば、上腕骨頭内の骨構造を示す画像データ又は他のデータ）と、その特定の骨密度データについて臨床医によって選択された上腕骨インプラントのタイプとに関連付けられ得る。骨密度データは、各患者に関する患者固有の画像データと、それぞれの各患者に対して外科医によって選択された結果として得られる上腕骨インプラントのタイプ（例えば、これは、臨床医が自分の親指を使用して上腕骨頭内の骨梁を圧迫し、骨梁をステムレス上腕骨インプラントに対して十分であるか又は不十分であると分類する「親指テスト」に基づき得る）とを使用して、これらの過去の患者に対して生成され得る。処理回路１１４２は、親指テストに基づくこれらの選択されたインプラントタイプを活用して、骨密度メトリックを、将来の患者においてステムレス上腕骨インプラントに適切であるか又は適切でないと分類し得る。このように、処理回路１１４２は、骨密度メトリックを、他の被験者に対して以前に行われた手術において外科医によって選択された上腕骨インプラントのタイプと相関させ得、ここで、親指テストデータは、他の被験者のそれぞれの上腕骨頭内の骨梁の手動で決定された密度範囲（又は骨密度を表す圧縮性）を示す。この相関に基づいて、処理回路１１４２は、患者に対する上腕骨インプラントタイプの推奨を決定し得る。いくつかの例では、処理回路１１４２は、前に選択されたインプラントタイプとそれぞれの患者固有の画像データとを相関させて、将来の患者に利用可能なインプラントの各タイプを示す骨密度メトリックを決定するために、１つ又は複数のニューラルネットワークを採用し得る。例えば、処理回路１１４２は、骨密度メトリック、患者固有の画像データ、及び選択された上腕骨インプラントタイプ（ステム付き、ステムレス、及び／又はステムの長さ）を、ニューラルネットワークへの入力として使用し得る。ニューラルネットワークの出力は、どちらかの上腕骨インプラントタイプに対応するそれらの骨密度メトリックであり得る。
【0242】
[0292]いくつかの例では、処理回路１１４２は、軟組織特性と骨密度メトリックとを使用して、患者に対する肩関節手術の推奨を生成し得る。例えば、処理回路１１４２は、患者固有の撮像データに基づいて、１つ又は複数の軟組織特性（例えば、軟組織量、脂肪浸潤率、萎縮率、及び／又は可動域値）と、患者の上腕骨に関連する骨密度メトリックとを決定し得る。本明細書で説明されるように、処理回路１１４２は、患者に対して行われるべき肩関節手術タイプ（例えば、解剖学的肩関節手術又はリバース型肩関節手術）の推奨を生成し、上腕骨に関連する骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成し得る。次いで、処理回路１１４２は、表示のために、患者に対する肩関節手術タイプ及び上腕骨インプラントタイプの推奨を出力し得る。いくつかの例では、ユーザインターフェースは、複合現実ユーザインターフェースの一部として、１つ又は複数の軟組織特性及び／又は上腕骨に関連する骨密度メトリックの表現を含み得る。
【0243】
[0293]図３９Ａは、骨密度に基づいて上腕骨インプラントのタイプを決定するための例となる手順を例示するフローチャートである。システム１１４０の処理回路１１４２は、図３９Ａの例を実行するものとして説明されるが、システム５４２又は仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図３９Ａのプロセスは、３次元データセットに関して説明されるが、他の例では、データのいくつかの２次元スライスが同様の方法で分析され得る。
【0244】
[0294]図３９Ａの例に示されるように、処理回路１１４２は、３次元ＣＴ画像データのような患者固有の画像データを（例えば、メモリ又は他のシステムから）取得し得る（１２００）。次いで、処理回路１１４２は、患者固有の画像データ内の上腕骨頭を識別し得る（１２０２）。例えば、処理回路１１４２は、上腕骨頭を識別するか、又は上腕骨頭を示すランドマークもしくは形状を決定するために、骨をセグメント化し得る。上腕骨頭の患者固有の画像データを使用して、処理回路１１４２は、患者固有の画像データ内のボクセル又はボクセルのグループの強度に基づいて、上腕骨頭の少なくとも一部についての骨密度メトリックを決定し得る（１２０４）。骨密度メトリックは、上腕骨頭内の骨梁の全体的な密度を示す全体メトリックであり得るか、又は骨密度メトリックは、上腕骨頭の領域内のボクセルのグループの各ボクセルの密度を表す値を含み得る。
【0245】
[0295]次いで、処理回路１１４２は、骨密度メトリックに基づいて、上腕骨インプラントタイプについての推奨を決定し得る（１２０６）。例えば、処理回路１１４２は、骨梁の密度がステムレス上腕骨インプラントを支持するのに十分に高いことを骨密度メトリックが示す又は表す場合、推奨がステムレス上腕骨インプラントであると決定し得る。推奨は、上腕骨インプラントを以前に受けた患者に関する履歴データに基づいて、おそらく処理回路１１４２によって開発される選択アルゴリズム（例えば、１つ又は複数の表、方程式、又はニューラルネットワークのような機械学習アルゴリズム）に基づき得る。例えば、履歴データは、患者固有の画像データ（例えば、ＣＴデータ）と、（例えば、上腕骨頭内の骨梁の骨質又は密度を決定するための親指テストの使用を介して）それぞれの患者に対して外科医によって選択された上腕骨インプラントのタイプ（例えば、ステムレス又はステム付き）とを含み得る。一例では、表は、ボクセル強度又はボクセルのグループ強度をステム付きインプラントタイプ又はステムレスインプラントタイプの推奨にマッピングし得る。別の例では、第１の表は、ボクセル強度を密度値にマッピングし得、第２の表は、密度値をステム付きインプラントタイプ又はステムレスインプラントタイプの推奨にマッピングし得る。システムは、インプラント選択に対する画像データのこのマッピングを使用して、新たな患者の画像データに基づいてその患者に対するインプラントタイプの推奨を通知することができる。次いで、処理回路１１４２は、上腕骨インプラントタイプの推奨を出力し得る（１２０８）。推奨は、別の推奨で使用するために送られ得るか、又はユーザに表示され得る。
【0246】
[0296]図３９Ｂは、上腕骨インプラントのステムサイズを決定するために患者固有の画像データにニューラルネットワークを適用するための例となる手順を例示するフローチャートである。システム１１４０の処理回路１１４２は、図３９Ｂの例を実行するものとして説明されるが、システム５４２又は仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図３９Ｂのプロセスは、３次元データセットに関して説明されるが、他の例では、データのいくつかの２次元スライスが同様の方法で分析され得る。
【0247】
[0297]図３９Ｂの例に示されるように、処理回路１１４２は、３次元ＣＴ画像データのような患者固有の画像データを（例えば、メモリ又は他のシステムから）取得し得る（１２１０）。次いで、処理回路１１４２は、ニューラルネットワークによる適用のために患者固有の画像データの１つ又は複数のサブセットを選択する（１２１２）。例えば、処理回路１１４２は、上腕骨の１つ又は複数の解剖学的領域に対応する３次元ＣＴ画像データの特定の部分を選択し得る。３次元ＣＴ画像データは、いくつかの例では骨密度を示し得る。次いで、処理回路１１４２は、患者固有の画像データの選択されたサブセットにニューラルネットワークを適用する（１２１４）。
【0248】
[0298]ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）を含み得るか、又はそれに基づき得る。上述したように、畳み込みニューラルネットワークは、学習されたフィルタを使用して入力データ上で畳み込みを実行する１つ又は複数の畳み込み層を含むことができる。フィルタはカーネルとも呼ばれ得る。畳み込みニューラルネットワークは、例えば、入力データが３次元ＣＴデータのような静止画像又はＭＲＩデータのような他の撮像モダリティを含むときの視覚問題に特に有用であり得る。
【0249】
[0299]例となるＣＮＮは、インセプションネットワーク（例えば、Ｉｎｃｅｐｔｉｏｎ Ｖ Ｎｅｔ）、残差ニューラルネットワーク（例えば、ＲｅｓＮｅｔ）、又は以前の上腕骨診断に関する以前のデータ及び／又は上腕骨インプラントデータに基づいて適用される転移学習技法を含む他のタイプのネットワークを含み得る。いくつかの例では、ＣＮＮは、Ｎ個の畳み込み層と、それに続くＭ個の全結合層とから構成され得る。各層は、１つ又は複数のフィルタを含み得、これらの層は、スタックされた畳み込み層であり得る。いくつかの例では、１つ又は複数のフィルタが皮質骨に対して指定され得るが、他の１つ又は複数のフィルタが海綿質骨（すなわち骨梁）に対して指定される。ＣＮＮの層は、上腕骨の骨幹端から骨幹までのいくつかの骨の領域を評価するように構築され得る。
【0250】
[0300]処理回路１１３２又は別のプロセッサは、上腕骨ステムサイズ予測のためにＣＮＮをトレーニングし得、数十、数百、又は数千のテスト画像（例えば、ＣＴスキャン画像）に対してモデルをトレーニングすることを含み得る。出力は、ステムサイズ及び充填比（すなわち、上腕骨インプラントのステムが充填された上腕骨管の比率）など、手術中又は手術後に収集された臨床データであり得る。ステムサイズは、上腕骨インプラントの長さ及び／又は断面面の幅もしくは面積を指定し得る。短いステムサイズは、ステムレス上腕骨インプラントと呼ばれ得、長いステムサイズは、ステム付き上腕骨インプラントと呼ばれ得る。ＣＮＮはまた、１つ又は複数のハイパーパラメータを含み得る。いくつかの異なるタイプのハイパーパラメータが、平均分類レートを低減するために使用され得る。１つの例となるハイパーパラメータは、双曲線正接関数又はシグモイド関数のような従来のより遅い解法の代わりに、非線形部分のために正規化線形関数（rectified linear unit）を含み得る。ＣＮＮの学習率は、ＣＮＮに供給されたデータのタイプに基づいて学習率が適応するＡｄａｇｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳｐｒｏｐ、又はＡｄａｍのような、本質的に適応可能な勾配降下アルゴリズムの１つ又は複数の変形例に依存し得る。データのバッチサイズは、ＣＮＮのために選択された学習率に依存し得る。ＣＮＮは、パフォーマンスに従ってテストされた運動量値を利用し得る。一例では、運動量値は、０．９０～０．９９の範囲から選択され得る。しかしながら、他の例では他の運動量値が選択され得る。ＣＮＮは、比較的小さいトレーニングデータセットに起因して、より大きい重み値を含み得る。しかしながら、これらの重みは、他のタイプのトレーニングデータセットについては異なり得る。
【0251】
[0301]ＣＮＮは、ＣＮＮが適用された３次元の患者固有の画像データに従って上腕骨インプラントのステムサイズを出力し得る（１２１６）。ステムサイズは、ステム長及び／又は断面寸法（例えば、直径、円周、面積、又は他のそのようなパラメータ）を含み得る。このように、決定されたステムサイズは、患者の骨梁及び／又は上腕骨の海綿骨の特定の寸法及び／又は骨密度に対応するように選択され得る。ステムサイズに基づいて、処理回路１１３２は、患者に対する上腕骨インプラントタイプの推奨を出力し得る（１２１８）。このように、処理回路１１３２は、患者を治療するのに適切となるのがステム付き上腕骨インプラントであるかステムレス上腕骨インプラントであるかを決定し得る。いくつかの例では、ＣＮＮは、患者固有の撮像データから決定された骨密度メトリックに適用され得る。他の例では、ＣＮＮを骨密度メトリックの代わりに使用して、ＣＮＮが患者固有の撮像データに従って上腕骨インプラントのステムサイズを直接出力することができるようにし得る。いくつかの例では、骨密度モデリングモジュール１１６２は、ＣＮＮ及び関連パラメータを含み得る。
【0252】
[0302]上述したように、処理回路１１３２は、畳み込みニューラルネットワークをトレーニングし、畳み込みニューラルネットワークを患者固有の画像データ（例えば、３Ｄ撮像データ）に適用して、患者固有の画像データが取得された患者の上腕骨インプラントの推奨ステムサイズを生成することができる。一例では、システムは、患者に関する患者固有の画像データを記憶するように構成されたメモリと、畳み込みニューラルネットワークを患者固有の画像データ（又はそのサブセット）に適用することと、患者固有の画像データに適用された畳み込みニューラルネットワークに基づいて、患者の上腕骨インプラントのステムサイズを出力することとを行うように構成された処理回路（例えば、処理回路１１３２）とを含み得る。処理回路はまた、ステムサイズを含む上腕骨インプラントタイプの推奨を出力するように構成され得る。患者固有の画像データは、上腕骨のような、患者の１つ又は複数の骨の一部又は全部の骨密度を表し得る。いくつかの例では、処理回路はまた、上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックの表現を出力し得るが、ＣＮＮが患者固有の画像データに適用される場合、骨密度メトリックは、ステムサイズ推奨を生成するために採用されてもされなくてもよい。
【0253】
[0303]図３９Ｃは、患者固有の画像データから決定された軟組織構造及び骨密度に基づいて肩関節治療についての推奨を決定するための例となる手順を例示するフローチャートである。システム１１４０の処理回路１１４２は、図３９Ｃの例を実行するものとして説明されるが、システム５４２又は仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図３９Ｃのプロセスは、３次元データセットに関して説明されるが、他の例では、データのいくつかの２次元スライスが同様の方法で分析され得る。
【0254】
[0304]図３９Ｃの例に示されるように、処理回路１１４２は、患者固有の画像データに基づいて、１つ又は複数の軟組織構造の特性を決定し得る（１２２０）。これらの特性は、例えば、図２３Ａ、２３Ｂ、２４、２５、２６、及び２７に関して説明されるような１つ又は複数の軟組織構造の体積、脂肪浸潤率、萎縮率、及び／又は可動域を含み得る。処理回路１１４２はまた、図３９Ａにあるように本明細書で説明されるように、患者固有の画像データの強度に基づいて、上腕骨頭の少なくとも一部についての骨密度メトリックを決定し得る（１２２２）。
【0255】
[0305]処理回路１１４２は、軟組織特性と骨密度メトリックとに基づいて肩関節治療についての１つ又は複数の推奨を決定し得る（１２２４）。例えば、処理回路１１４２は、軟組織特性のうちの１つ又は複数に基づいて、肩関節置換術がリバース型肩関節置換術であるべきか解剖学的肩関節置換術であるべきかを決定し得る。加えて、処理回路１１４２は、肩関節置換術に使用される上腕骨インプラントタイプがステムレス上腕骨インプラントタイプであるべきか又はステム付き上腕骨インプラントタイプであるべきかを決定し得る。いくつかの例では、処理回路１１４２は、軟組織特性及び／又は骨密度メトリックに基づいて、上腕骨インプラント又は関節窩インプラントのうちの少なくとも１つの位置を決定し得る。次いで、処理回路１１４２は、患者の肩関節の治療についての決定された１つ又は複数の推奨を出力し得る（１２２６）。このように、処理回路１１４２は、肩関節治療に関する推奨を提供するために、患者固有の画像データ及び他の患者情報から導出された特性、メトリック、又は他の情報のいずれかを使用し得る。
【0256】
[0306]図４０は、骨密度情報を表示するための例となる手順を例示するフローチャートである。システム１１４０の処理回路１１４２は、図４０の例を実行するものとして説明されるが、システム５４２又は仮想計画システム１０２のような他のデバイス又はシステムが、本技法の１つ又は複数の部分を実行し得る。更に、本技法のいくつかの部分は、分散システムを介して２つ以上のデバイス及び／又はシステムの組合せによって実行され得る。図４０のプロセスは、３次元データセットに関して説明されるが、他の例では、データのいくつかの２次元スライスが同様の方法で分析され得る。
【0257】
[0307]図４０の例に示されるように、処理回路１１４２は、図３９Ａで説明したプロセスのように、患者固有の画像データの強度に基づいて上腕骨頭の少なくとも一部についての骨密度メトリックを決定し得る（１２３０）。次いで、処理回路１１４２は、骨密度メトリックのグラフィカル表現を決定し得る（１２３２）。これらのグラフィカル表現は、図４２及び図４３で説明される骨密度メトリックのグラフィカル表現に類似し得る。次いで、処理回路１１４２は、上腕骨頭の少なくとも一部上に骨密度メトリックのグラフィカル表現を提示するようにユーザインターフェースを制御し得る（１２３４）。
【0258】
[0308]図４１は、上腕骨１３３２と切断面１３３８とを含む例となるユーザインターフェース１３００の概念図である。図４１の例に示されるように、ユーザインターフェース１３００は、ナビゲーションバー１３０１とツールバー１３１８及び１３２０とを含む。ナビゲーションバー１３０１は、ユーザによって選択されると、ユーザインターフェース１３００を、肩関節置換術を計画することといった肩関節治療に関する異なる機能性又は情報のビューに変化させる選択可能なボタンを含み得る。
【0259】
[0309]ナビゲーションバー１３０１は、患者に関する情報又は治療のタイプに関する可能なアクションを示す初期画面にユーザを誘導する初期画面ボタン１３０２を含み得る。計画ボタン１３０４は、ユーザインターフェース１３０のビューを、上腕骨１３３２を含むビュー１３３０のような骨及び／又は軟組織構造の表現を含み得る肩関節手術の仮想計画に変更し得る。グラフトボタン１３０６は、手術に関する潜在的な骨又は軟組織移植片のビューを示し得、上腕骨切断ボタン１３０８は、内部の骨梁を露出させるように切断された上腕骨頭１３３２の表現を示し得る。インストールガイドボタン１３１０は、可能な又は推奨される上腕骨インプラントを示し得る。関節窩リーミングボタン１３１４は、関節窩に対して行われる例となるリーミングのビューを示し得、関節窩インプラントボタン１３１６は、患者のために埋め込むことができる可能な又は推奨される関節窩インプラントの例を示し得る。ツールバー１３１８は、選択されると、ユーザインターフェース１３００に、ビュー１３３０のビュー、回転、又はサイズを変更させる選択可能なボタンを含み得る。ツールバー１３２０は、選択されると、ユーザインターフェース１３００を、解剖学的構造の腹側ビュー又は側方ビューのようなビュー１３３０に示された解剖学的構造の解剖学的平面の間で変更させる選択可能なボタンを含み得る。
【0260】
[0310]ビュー１３３０は、シャフト１３３４と上腕骨頭１３３６とを示す上腕骨１３３２の斜視図を含む。切断面１３３８は、上腕骨インプラントを埋め込む前に、上腕骨頭１３３６をどのように切断することができるかを示すために示されている。ユーザインターフェース１３００は、最初に、切断面１３３８の推奨位置を示し得るが、ユーザインターフェース１３００は、ユーザが、計画プロセス中、好きなように切断面１３３８を移動させることを可能にし得る。ユーザが切断面１３３８の位置に満足すると、ユーザインターフェース１３００は、上腕骨頭１３３６の上部を除去して、図４２及び図４３に示されるように、上腕骨インプラントが埋め込まれ得る骨梁の表現を露出させることができる。
【0261】
[0311]図４２は、上腕骨頭１３４２と骨密度メトリック１３４４の表現とを含む例となるユーザインターフェース１３００の概念図である。図４２の例に示されるように、ユーザインターフェース１３００は、図４１の切断面１３３８に沿って上腕骨頭の上部を除去した後の上腕骨頭１３４２が示されるビュー１３４０を含み得る。上腕骨頭１３４２は、患者の上腕骨の表現であり、患者固有の画像データから導出され得る。骨密度メトリック１３４４は、上腕骨１３３２の骨梁に対して生成された骨密度メトリックのグラフィカル表現であり得る。
【0262】
[0312]骨密度メトリック１３４４は、各色の強度のそれぞれの範囲１３４６Ａ及び１３４６Ｂ内に入る強度のボクセルを表す異なる色を含み得る。このように、骨密度メトリック１３４４は、上腕骨頭１３４２内の骨梁のボクセルの異なるグループについての骨密度値を含み得る。例えば、範囲１３４６Ａは、０．３０ｇ／ｃｍ３よりも高い骨密度の表現であり、範囲１３４６Ｂは、０．１５ｇ／ｃｍ３～０．３０ｇ／ｃｍ３の骨密度の表現である。骨密度キー１３４７は、患者固有の画像データから決定された骨密度の可能な範囲に対する異なる色を示す。骨密度キー１３４７に示される３つの範囲は単なる例であり、他の例では、異なる数の範囲又は異なる下限及び上限を有する範囲が使用され得る。
【0263】
[0313]他の例では、ビュー１３４０は、患者固有の画像データからのボクセル強度の範囲を表す画像、又はボクセルの個々もしくはグループからの強度の表現である骨密度メトリック１３４４を提示し得る。一例として、骨密度メトリック１３４４は、単に、同じ切断面１３３８に対応する患者固有の画像データからのボクセル強度を含み得る。換言すると、ビュー１３４０は、上腕骨１３３２の露出した表現に重ね合わされた切断面１３３８に対応する２Ｄ平面に関するＣＴデータのピクチャを含み得る。別の例として、ビュー１３４０は、例えば、ハウンスフィールド単位の異なる範囲（ＣＴデータの例の場合）に対応する異なる色又はパターンを有するヒートマップを含み得る。このように、骨密度メトリック１３４４のような骨密度メトリックは、骨密度に関連するか、又はそれを表し得るが、実際の骨密度メトリックは、そのエリアにおける骨の密度の測定値を実際に反映しない場合がある。
【0264】
[0314]図４３は、上腕骨頭１３４２と、上腕骨インプラントの推奨のタイプに関連する骨密度メトリック１３５２の表現とを含む例となるユーザインターフェース１３００の概念図である。図４３の例に示されるように、ユーザインターフェース１３００は、図４２と同様に、図４１の切断面１３３８に沿って上腕骨頭の上部を除去した後の上腕骨頭１３４２が示されるビュー１３５０を含み得る。上腕骨頭１３４２は、患者の上腕骨の表現であり、患者固有の画像データから導出され得る。骨密度メトリック１３５２は、上腕骨１３３２の骨梁に対して生成された骨密度メトリックのグラフィカル表現であり得る。
【0265】
[0315]骨密度メトリック１３５２は、上腕骨１３３２について決定された骨密度に基づいて、骨梁に埋め込むことができる上腕骨インプラントのタイプを示す。このように、骨密度メトリック１３５２は、患者固有の患者データからの決定された骨密度を、上腕骨１３３２内のその密度の骨によって支持される上腕骨インプラントのタイプに関連するカテゴリの一部として含む。メトリックキー１３５４は、いずれかのタイプの上腕骨インプラントに対応する骨密度メトリック１３５２の色を示す。例えば、より明るい色は、ステムレス上腕骨インプラントを埋め込むことができることを示し、より暗い色は、ステム付き上腕骨インプラントを上腕骨１３３２に埋め込むことができることを示す。図４３の例に示されるように、骨密度メトリック１３５２は、骨梁の密度がステムレス上腕骨インプラントの埋め込みを支持するのに十分であることを示す。いくつかの例では、骨密度メトリック１３５２は、異なる色、パターン、形状、又は他のグラフィカル表現によって、異なるタイプの上腕骨インプラントを区別し得る。一例では、骨密度メトリック１３５２は、上腕骨インプラントのステムの長さを表す画像又はステムレスタイプのような上腕骨インプラント自体のタイプのグラフィカル表現であり得る。
【0266】
[0316]以下の実施例が本明細書で説明される。実施例１：患者の軟組織構造をモデル化するためのシステムであって、患者に関する患者固有の画像データを記憶するように構成されたメモリと、患者固有の画像データを受け取ることと、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定することと、患者固有の形状を出力することとを行うように構成された処理回路とを備えるシステム。
【0267】
[0317]実施例２：処理回路は、初期形状を受け取ることと、初期形状上の複数の表面点を決定することと、初期形状を患者固有の画像データに位置合わせすることと、患者の軟組織構造の少なくとも部分的な境界を表す患者固有の画像データ内の１つ又は複数の輪郭を識別することと、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させて初期形状を患者の軟組織構造を表す患者固有の形状に変化させることとを行うように構成される、実施例１に記載のシステム。
【0268】
[0318]実施例３：処理回路は、複数の表面点の各表面点から、それぞれの表面点から外向き又は内向きのうちの少なくとも１つにベクトルを伸ばすことと、各表面点からのベクトルについて、閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定することと、ここにおいて、複数の表面点の少なくとも１つの表面点についてのそれぞれの位置が１つ又は複数の輪郭を少なくとも部分的に画定する、によって、１つ又は複数の輪郭を識別するように構成される、実施例２に記載のシステム。
【0269】
[0319]実施例４：処理回路は、患者固有の画像データから、２つ以上のボクセル間のより高い強度勾配を含む患者固有の画像データの領域を示すヘシアン特徴画像を決定することと、ヘシアン特徴画像に基づいて、軟組織構造と隣接する軟組織構造との間の１つ又は複数の分離ゾーンを識別することと、１つ又は複数の輪郭の少なくとも一部を、１つ又は複数の分離ゾーンを通過するものとして決定することとによって、１つ又は複数の輪郭を識別するように構成される、実施例２又は３に記載のシステム。
【0270】
[0320]実施例５：処理回路は、所定の強度値超の患者固有の画像データ内のそれぞれの位置を決定することによって、閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定するように構成される、実施例２～４のいずれかに記載のシステム。
【0271】
[0321]実施例６：所定の閾値強度値は、患者固有の画像データにおける骨を表し、処理回路は、骨を表す所定の閾値強度値を超える患者固有の画像データ内の各それぞれの位置について、表面点をそれぞれの位置に移動させるように構成される、実施例５に記載のシステム。
【0272】
[0322]実施例７：処理回路は、所定の強度値未満の患者固有の画像データ内のそれぞれの位置を決定することによって、閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定するように構成される、実施例２～６のいずれかに記載のシステム。
【0273】
[0323]実施例８：処理回路は、それぞれの表面点に関連する強度と患者固有の画像データ内のそれぞれの位置の強度との間の差分閾値超の患者固有の画像データ内のそれぞれの位置を決定することによって、閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定するように構成される、実施例２～７のいずれかに記載のシステム。
【0274】
[0324]実施例９：処理回路は、複数の表面点を移動させる反復ごとに、複数の表面点の各表面点から、それぞれの表面点から及びそれぞれの表面点を含む表面に対して垂直なベクトルを伸ばすことと、各表面点からのベクトルについて、閾値強度値を超える患者固有の画像データ内のそれぞれの点を決定することと、各それぞれの点について、患者固有の画像データ内の閾値強度値を超える、それぞれの点の包絡線内の複数の潜在的位置を決定することと、ここにおいて、複数の潜在的位置は、１つ又は複数の輪郭の表面を少なくとも部分的に画定する、複数の潜在的位置の各々ついて、表面に対して垂直なそれぞれの法線ベクトルを決定することと、それぞれの法線ベクトルの各々について、それぞれの法線ベクトルとそれぞれの表面点からのベクトルとの間の角度を決定することと、各それぞれの表面点について、それぞれの表面点からのベクトルと複数の潜在的位置の各々からのそれぞれの法線ベクトルとの間の最小角度を構成する１つの潜在的位置を複数の潜在的位置の中から選択することと、各それぞれの表面点について、少なくとも部分的に、選択された１つの潜在的位置に向かってそれぞれの表面点を移動させることと、ここにおいて、それぞれの表面点を移動させることで、初期形状を患者固有の形状に向かって修正する、によって、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させるように構成される、実施例２～８のいずれかに記載のシステム。
【0275】
[0325]実施例１０：処理回路は、それぞれの表面点と選択された１つの潜在的位置との間の距離の少なくとも半分だけそれぞれの表面点を移動させるように構成される、実施例９に記載のシステム。
【0276】
[0326]実施例１１：処理回路は、第１の反復において、初期形状から、複数の表面点の各表面点を第１の修正距離の第１の許容範囲内で第１のそれぞれの距離だけ移動させて第２の形状を生成することと、ここで、第１の許容範囲は、第２の形状の平滑性を維持するように選択される、第１の反復に続く第２の反復において、複数の表面点の各表面点を第２の修正距離の第２の許容範囲内で第２のそれぞれの距離だけ移動させて第２の形状から第３の形状を生成することと、ここにおいて、第２の許容範囲は、第１の許容範囲よりも大きい、によって、１つ又は複数の輪郭のそれぞれの潜在的位置に向かって複数の表面点を反復的に移動させるように構成される、実施例９又は１０に記載のシステム。
【0277】
[0327]実施例１２：処理回路は、患者固有の画像データから、２つ以上のボクセル間のより高い強度勾配を含む患者固有の画像データの領域を示すヘシアン特徴画像を決定することと、ヘシアン特徴画像に基づいて、軟組織構造と隣接する軟組織構造との間の１つ又は複数の分離ゾーンを識別することと、１つ又は複数の輪郭の少なくとも一部を、１つ又は複数の分離ゾーンを通過するものとして決定することとによって、１つ又は複数の輪郭を識別するように構成される、実施例２～１１のいずれかに記載のシステム。
【0278】
[0328]実施例１３：処理回路は、初期形状上の複数の位置を、患者固有の画像データにおいて識別された１つ又は複数の骨上の対応する挿入位置に位置合わせすることによって、初期形状を位置合わせするように構成される、実施例２～１２のいずれかに記載のシステム。
【0279】
[0329]実施例１４：初期形状及び患者固有の形状は３次元形状である、実施例２～１３のいずれかに記載のシステム。
【0280】
[0330]実施例１５：初期形状は幾何学的形状を含む、実施例１～１４のいずれかに記載のシステム。
【0281】
[0331]実施例１６：初期形状は、患者とは異なる複数の被験者の軟組織構造を表す解剖学的形状を含む、実施例１～１５のいずれかに記載のシステム。
【0282】
[0332]実施例１７：解剖学的形状は、複数の被験者について撮像された軟組織構造から生成された統計的平均形状を含む、実施例１６に記載のシステム。
【0283】
[0333]実施例１８：患者固有の画像データは、患者から生成されたコンピュータ断層撮影（ＣＴ）画像データを含む、実施例１～１７のいずれかに記載のシステム。
【0284】
[0334]実施例１９：軟組織構造は筋肉を含む、実施例１～１８のいずれかに記載のシステム。
【0285】
[0335]実施例２０：筋肉は、患者の回旋腱板に関連する、実施例１９に記載のシステム。
【0286】
[0336]実施例２１：患者固有の形状は、３次元形状を含む、実施例１～２０のいずれかに記載のシステム。
【0287】
[0337]実施例２２：処理回路は、患者固有の形状の脂肪体積比を決定することと、患者固有の形状の萎縮率を決定することと、患者の軟組織構造の患者固有の形状の脂肪体積比及び萎縮率に基づいて、患者の上腕骨の可動域を決定することと、上腕骨の可動域に基づいて、患者の肩関節治療のタイプを決定することとを行うように構成される、実施例１～２１のいずれかに記載のシステム。
【0288】
[0338]実施例２３：処理回路は、患者の回旋腱板の各筋肉の脂肪体積比及び萎縮率に基づいて、患者の上腕骨の可動域を決定することによって、上腕骨の可動域を決定するように構成される、実施例２２に記載のシステム。
【0289】
[0339]実施例２４：肩関節治療のタイプは、解剖学的肩関節置換手術又はリバース型肩関節置換手術のうちの１つから選択される、実施例２２又は２３に記載のシステム。
【0290】
[0340]実施例２５：処理回路は、患者固有の形状にマスクを適用することと、マスク下のボクセルに閾値を適用することと、閾値未満のボクセルに基づいて脂肪体積を決定することと、脂肪体積と軟組織構造の患者固有の形状の体積とに基づいて脂肪浸潤値を決定することと、軟組織構造の脂肪浸潤値を出力することとを行うように構成される、実施例１～２４のいずれかに記載のシステム。
【0291】
[0341]実施例２６：処理回路は、患者の軟組織構造の骨対筋肉寸法を決定することと、軟組織構造の統計的平均形状（ＳＭＳ）を取得することと、アルゴリズムの閾値を満たすことによってＳＭＳを変形させて、ＳＭＳの変形バージョンを軟組織構造の骨対筋肉寸法に適合させることと、ＳＭＳ体積を軟組織構造体積で割ることによって軟組織構造の萎縮率を決定することと、軟組織構造の萎縮率を出力することとを行うように構成される、実施例１～２５のいずれかに記載のシステム。
【0292】
[0342]実施例２７：患者の軟組織構造をモデル化するための方法であって、メモリによって、患者に関する患者固有の画像データを記憶することと、処理回路によって、患者固有の画像データを受け取ることと、処理回路によって、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定することと、処理回路によって、患者固有の形状を出力することとを含む方法。
【0293】
[0343]実施例２８：初期形状を受け取ることと、初期形状上の複数の表面点を決定することと、初期形状を患者固有の画像データに位置合わせすることと、患者の軟組織構造の境界を表す患者固有の画像データ内の１つ又は複数の輪郭を識別することと、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させて初期形状を患者の軟組織構造を表す患者固有の形状に変化させることとを更に含む、実施例２７に記載の方法。
【0294】
[0344]実施例２９：１つ又は複数の輪郭を識別することは、複数の表面点の各表面点から、それぞれの表面点から外向き又は内向きのうちの少なくとも１つにベクトルを伸ばすことと、各表面点からのベクトルについて、閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定することと、ここにおいて、複数の表面点の少なくとも１つの表面点についてのそれぞれの位置が１つ又は複数の輪郭を少なくとも部分的に画定する、によるものである、実施例２８に記載の方法。
【0295】
[0345]実施例３０：１つ又は複数の輪郭を識別することは、患者固有の画像データから、２つ以上のボクセル間のより高い強度勾配を含む患者固有の画像データの領域を示すヘシアン特徴画像を決定することを含む、実施例２８又は２９に記載の方法。
【0296】
[0346]ヘシアン特徴画像に基づいて、軟組織構造と隣接する軟組織構造との間の１つ又は複数の分離ゾーンを識別することと、１つ又は複数の輪郭の少なくとも一部を、１つ又は複数の分離ゾーンを通過するものとして決定すること。
【0297】
[0347]実施例３１：閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定することは、所定の強度値超の患者固有の画像データ内のそれぞれの位置を決定することを含む、実施例２８～３０のいずれかに記載の方法。
【0298】
[0348]実施例３２：所定の閾値強度値は、患者固有の画像データにおける骨を表し、方法は、骨を表す所定の閾値強度値を超える患者固有の画像データ内の各それぞれの位置について、表面点をそれぞれの位置に移動させることを更に含む、実施例３１の方法。
【0299】
[0349]実施例３３：閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定することは、所定の強度値未満の患者固有の画像データ内のそれぞれの位置を決定することを含む、実施例２８～３２のいずれかに記載の方法。
【0300】
[0350]実施例３４：閾値強度値を超える患者固有の画像データ内のそれぞれの位置を決定することは、それぞれの表面点に関連する強度と患者固有の画像データ内のそれぞれの位置の強度との間の差分閾値超の患者固有の画像データ内のそれぞれの位置を決定することを含む、実施例２８～３３のいずれかに記載の方法。
【0301】
[0351]実施例３５：１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させることは、複数の表面点を移動させる反復ごとに、複数の表面点の各表面点から、それぞれの表面点から及びそれぞれの表面点を含む表面に対して垂直なベクトルを伸ばすことと、各表面点からのベクトルについて、閾値強度値を超える患者固有の画像データ内のそれぞれの点を決定することと、各それぞれの点について、患者固有の画像データ内の閾値強度値を超える、それぞれの点の包絡線内の複数の潜在的位置を決定することと、ここにおいて、複数の潜在的位置は、１つ又は複数の輪郭の表面を少なくとも部分的に画定する、複数の潜在的位置の各々ついて、表面に対して垂直なそれぞれの法線ベクトルを決定することと、それぞれの法線ベクトルの各々について、それぞれの法線ベクトルとそれぞれの表面点からのベクトルとの間の角度を決定することと、各それぞれの表面点について、それぞれの表面点からのベクトルと複数の潜在的位置の各々からのそれぞれの法線ベクトルとの間の最小角度を構成する１つの潜在的位置を複数の潜在的位置の中から選択することと、各それぞれの表面点について、少なくとも部分的に、選択された１つの潜在的位置に向かってそれぞれの表面点を移動させることと、ここにおいて、それぞれの表面点を移動させることで、初期形状を患者固有の形状に向かって修正する、を含む、実施例２８～３４のいずれかに記載の方法。
【0302】
[0352]実施例３６：それぞれの表面点と選択された１つの潜在的位置との間の距離の少なくとも半分だけそれぞれの表面点を移動させることを更に含む、実施例３５に記載の方法。
【0303】
[0353]実施例３７：１つ又は複数の輪郭のそれぞれの潜在的位置に向かって複数の表面点を反復的に移動させることは、第１の反復において、初期形状から、複数の表面点の各表面点を第１の修正距離の第１の許容範囲内で第１のそれぞれの距離だけ移動させて第２の形状を生成することと、ここで、第１の許容範囲は、第２の形状の平滑性を維持するように選択される、第１の反復に続く第２の反復において、複数の表面点の各表面点を第２の修正距離の第２の許容範囲内で第２のそれぞれの距離だけ移動させて第２の形状から第３の形状を生成することと、ここにおいて、第２の許容範囲は、第１の許容範囲よりも大きい、を含む、実施例３５又は３６に記載の方法。
【0304】
[0354]実施例３８：処理回路は、患者固有の画像データから、２つ以上のボクセル間のより高い強度勾配を含む患者固有の画像データの領域を示すヘシアン特徴画像を決定することと、ヘシアン特徴画像に基づいて、軟組織構造と隣接する軟組織構造との間の１つ又は複数の分離ゾーンを識別することと、１つ又は複数の輪郭の少なくとも一部を、１つ又は複数の分離ゾーンを通過するものとして決定することとによって、１つ又は複数の輪郭を識別するように構成される、実施例２８～３７のいずれかに記載の方法。
【0305】
[0355]実施例３９：初期形状を位置合わせすることは、初期形状上の複数の位置を、患者固有の画像データにおいて識別された１つ又は複数の骨上の対応する挿入位置に位置合わせすることを含む、実施例２８～３８のいずれかに記載の方法。
【0306】
[0356]実施例４０：初期形状及び患者固有の形状は３次元形状である、実施例２８～３９のいずれかに記載の方法。
【0307】
[0357]実施例４１：初期形状は幾何学的形状を含む、実施例２７～４０のいずれかに記載の方法。
【0308】
[0358]実施例４２：初期形状は、患者とは異なる複数の被験者の軟組織構造を表す解剖学的形状を含む、実施例２７～４1のいずれかに記載の方法。
【0309】
[0359]実施例４３：解剖学的形状は、複数の被験者について撮像された軟組織構造から生成された統計的平均形状を含む、実施例４２に記載の方法。
【0310】
[0360]実施例４４：患者固有の画像データは、患者から生成されたコンピュータ断層撮影（ＣＴ）画像データを含む、実施例２７～４３のいずれかに記載の方法。
【0311】
[0361]実施例４５：軟組織構造は筋肉を含む、実施例２７～４４のいずれかに記載の方法。
【0312】
[0362]実施例４６：筋肉は、患者の回旋腱板に関連する、実施例４５に記載の方法。
【0313】
[0363]実施例４７：患者固有の形状は、３次元形状を含む、実施例２７～４６のいずれかに記載の方法。
【0314】
[0364]実施例４８：患者固有の形状の脂肪体積比を決定することと、患者固有の形状の萎縮率を決定することと、患者の軟組織構造の患者固有の形状の脂肪体積比及び萎縮率に基づいて、患者の上腕骨の可動域を決定することと、上腕骨の可動域に基づいて、患者の肩関節治療のタイプを決定することとを更に含む、実施例２７～４７のいずれかに記載の方法。
【0315】
[0365]実施例４９：上腕骨の可動域を決定することは、患者の回旋腱板の各筋肉の脂肪体積比及び萎縮率に基づいて、患者の上腕骨の可動域を決定することを含む、実施例４８に記載の方法。
【0316】
[0366]実施例５０：肩関節治療のタイプは、解剖学的肩関節置換手術又はリバース型肩関節置換手術のうちの１つから選択される、実施例４８又は４９に記載の方法。
【0317】
[0367]実施例５１：患者固有の形状にマスクを適用することと、マスク下のボクセルに閾値を適用することと、閾値未満のボクセルに基づいて脂肪体積を決定することと、脂肪体積と軟組織構造の患者固有の形状の体積とに基づいて脂肪浸潤値を決定することと、軟組織構造の脂肪体積値を出力することとを更に含む、実施例２７～５０のいずれかに記載の方法。
【0318】
[0368]実施例５２：患者の軟組織構造の骨対筋肉寸法を決定することと、軟組織構造の統計的平均形状（ＳＭＳ）を取得することと、アルゴリズムの閾値を満たすことによってＳＭＳを変形させて、ＳＭＳの変形バージョンを軟組織構造の骨対筋肉寸法に適合させることと、ＳＭＳ体積を軟組織構造体積で割ることによって軟組織構造の萎縮率を決定することと、軟組織構造の萎縮率を出力することとを更に含む、実施例２７～５１のいずれかに記載の方法。
【0319】
[0369]実施例５３：命令を含むコンピュータ可読記憶媒体であって、命令は、処理回路によって実行されると、処理回路に、患者に関する患者固有の画像データをメモリに記憶することと、患者固有の画像データを受け取ることと、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定することと、患者固有の形状を出力することとを行わせる、コンピュータ可読記憶媒体。
【0320】
[0370]実施例５４：患者の軟組織構造をモデル化するためのシステムであって、患者に関する患者固有の画像データを記憶するための手段と、患者固有の画像データを受け取るための手段と、患者固有の画像データの強度に基づいて、患者の軟組織構造を表す患者固有の形状を決定するための手段と、患者固有の形状を出力するための手段とを備えるシステム。
【0321】
[0371]実施例１０１：患者の軟組織構造をモデル化するためのシステムであって、患者に関する患者固有のコンピュータ断層撮影（ＣＴ）データを記憶するように構成されたメモリと、患者固有のＣＴデータを受け取ることと、患者固有のＣＴデータ内の１つ又は複数の骨構造に関連する１つ又は複数の位置を識別することと、初期形状を１つ又は複数の位置に位置合わせすることと、初期形状を患者の軟組織構造を表す患者固有の形状に修正することと、患者固有の形状を出力することとを行うように構成された処理回路とを備えるシステム。
【0322】
[0372]実施例１０２：１つ又は複数の骨構造に関連する１つ又は複数の位置は、患者固有のＣＴデータにおいて識別された１つ又は複数の骨構造の１つ又は複数の挿入位置を含む、実施例１０１に記載のシステム。
【0323】
[0373]実施例１０３：処理回路は、患者の軟組織構造の少なくとも部分的な境界を表す患者固有のＣＴデータ内の１つ又は複数の輪郭を識別することと、１つ又は複数の輪郭に基づいて、初期形状を患者の軟組織構造を表す患者固有の形状に修正することとを行うように構成される、実施例１０２に記載のシステム。
【0324】
[0374]実施例１０４：処理回路は、初期形状上の複数の表面点を決定することと、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させて初期形状を患者の軟組織構造を表す患者固有の形状に変化させることによって初期形状を修正することとを行うように構成される、実施例１０３に記載のシステム。
【0325】
[0375]実施例１０５：処理回路は、複数の表面点の各表面点から、それぞれの表面点から外向き又は内向きのうちの少なくとも１つにベクトルを伸ばすことと、各表面点からのベクトルについて、閾値強度値を超える患者固有のＣＴデータ内のそれぞれの位置を決定することと、ここにおいて、複数の表面点の少なくとも１つの表面点についてのそれぞれの位置が１つ又は複数の輪郭を少なくとも部分的に画定する、によって、初期形状を修正するように構成される、実施例１０３又は１０４に記載のシステム。
【0326】
[0376]実施例１０６：処理回路は、患者固有のＣＴデータから、２つ以上のボクセル間のより高い強度勾配を含む患者固有のＣＴデータの領域を示すヘシアン特徴画像を決定することと、ヘシアン特徴画像に基づいて、軟組織構造と隣接する軟組織構造との間の１つ又は複数の分離ゾーンを識別することと、１つ又は複数の輪郭の少なくとも一部を、１つ又は複数の分離ゾーンを通過するものとして決定することとによって、１つ又は複数の輪郭を識別するように構成される、実施例１０３～１０５のいずれかに記載のシステム。
【0327】
[0377]実施例１０７：処理回路は、１つ又は複数の位置の各々と初期形状上のそれぞれの点との間の対応関係を決定することと、患者固有のＣＴデータ内の対応関係の各々に沿って強度プロファイルを決定することと、１つ又は複数の位置の各位置について、それぞれの対応関係についての強度プロファイルに基づいて、位置と初期形状上のそれぞれの点との間の距離を決定することと、１つ又は複数の位置と初期形状上の点との間のそれぞれの距離に従って、患者固有のＣＴデータ内の初期形状を方向付けることとによって、初期形状を１つ又は複数の位置に位置合わせするように構成される、実施例１０１～１０６のいずれかに記載のシステム。
【0328】
[0378]実施例１０８：処理回路は、初期形状と軟組織構造を表す患者固有のＣＴデータの分散との間の差を最小化するように初期形状をスケーリングすることによって、初期形状を患者固有の形状に修正するように構成される、実施例１０７に記載のシステム。
【0329】
[0379]実施例１０９：処理回路は、以下のパラメトリック方程式に従って患者固有の形状（複数可）を決定するように構成され、
ここにおいて、ｓ’は患者とは異なる複数の被験者の軟組織構造を表す初期形状であり、λｉは固有値であり、ｖｉは患者固有のＣＴデータの分散を表す共分散行列の固有ベクトルであり、ｂｉは初期形状を修正するスケーリング係数である、実施例１０８に記載のシステム。
【数4】
【0330】
[0380]実施例１１０：初期形状は、患者とは異なる複数の被験者の軟組織構造を表す解剖学的形状を含む、実施例１０１～１０９のいずれかに記載のシステム。
【0331】
[0381]実施例１１１：解剖学的形状は、複数の被験者について撮像された軟組織構造から生成された統計的平均形状を含む、実施例１１０に記載のシステム。
【0332】
[0382]実施例１１２：軟組織構造は筋肉を含む、実施例１０１～１１１のいずれかに記載のシステム。
【0333】
[0383]実施例１１３：筋肉は、患者の回旋腱板に関連する、実施例１１２に記載のシステム。
【0334】
[0384]実施例１１４：患者固有の形状は、３次元形状を含む、実施例１０１～１１３のいずれかに記載のシステム。
【0335】
[0385]実施例１１５：処理回路は、患者固有の形状の脂肪体積比を決定することと、患者固有の形状の萎縮率を決定することと、患者の軟組織構造の患者固有の形状の脂肪体積比及び萎縮率に基づいて、患者の上腕骨の可動域を決定することと、上腕骨の可動域に基づいて、患者の肩関節治療のタイプを決定することとを行うように構成される、実施例１０１～１１４のいずれかに記載のシステム。
【0336】
[0386]実施例１１６：肩関節治療のタイプは、解剖学的肩関節置換手術又はリバース型肩関節置換手術のうちの１つから選択される、実施例１１５に記載のシステム。
【0337】
[0387]実施例１１７：患者の軟組織構造をモデル化するための方法であって、患者に関する患者固有のコンピュータ断層撮影（ＣＴ）データをメモリに記憶することと、処理回路によって、患者固有のＣＴデータを受け取ることと、処理回路によって、患者固有のＣＴデータ内の１つ又は複数の骨構造に関連する１つ又は複数の位置を識別することと、処理回路によって、初期形状を１つ又は複数の位置に位置合わせすることと、処理回路によって、初期形状を患者の軟組織構造を表す患者固有の形状に修正することと、処理回路によって、患者固有の形状を出力することとを含む方法。
【0338】
[0388]実施例１１８：１つ又は複数の骨構造に関連する１つ又は複数の位置は、患者固有のＣＴデータにおいて識別された１つ又は複数の骨構造の１つ又は複数の挿入位置を含む、実施例１１７に記載の方法。
【0339】
[0389]実施例１１９：患者の軟組織構造の少なくとも部分的な境界を表す患者固有のＣＴデータ内の１つ又は複数の輪郭を識別することと、１つ又は複数の輪郭に基づいて、初期形状を患者の軟組織構造を表す患者固有の形状に修正することとを更に含む、実施例１１８に記載の方法。
【0340】
[0390]実施例１２０：初期形状上の複数の表面点を決定することと、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させて初期形状を患者の軟組織構造を表す患者固有の形状に変化させることによって初期形状を修正することとを更に含む、実施例１１９に記載の方法。
【0341】
[0391]実施例１２１：初期形状を修正することは、複数の表面点の各表面点から、それぞれの表面点から外向き又は内向きのうちの少なくとも１つにベクトルを伸ばすことと、各表面点からのベクトルについて、閾値強度値を超える患者固有のＣＴデータ内のそれぞれの位置を決定することと、ここにおいて、複数の表面点の少なくとも１つの表面点についてのそれぞれの位置が１つ又は複数の輪郭を少なくとも部分的に画定する、を含む、実施例１１９又は１２０に記載の方法。
【0342】
[0392]実施例１２２：１つ又は複数の輪郭を識別することは、患者固有のＣＴデータから、２つ以上のボクセル間のより高い強度勾配を含む患者固有のＣＴデータの領域を示すヘシアン特徴画像を決定することと、ヘシアン特徴画像に基づいて、軟組織構造と隣接する軟組織構造との間の１つ又は複数の分離ゾーンを識別することと、１つ又は複数の輪郭の少なくとも一部を、１つ又は複数の分離ゾーンを通過するものとして決定することとを含む、実施例１１９～１２１のいずれかに記載の方法。
【0343】
[0393]実施例１２３：初期形状を１つ又は複数の位置に位置合わせすることは、１つ又は複数の位置の各々と初期形状上のそれぞれの点との間の対応関係を決定することと、患者固有のＣＴデータ内の対応関係の各々に沿って強度プロファイルを決定することと、１つ又は複数の位置の各位置について、それぞれの対応関係についての強度プロファイルに基づいて、位置と初期形状上のそれぞれの点との間の距離を決定することと、１つ又は複数の位置と初期形状上の点との間のそれぞれの距離に従って、患者固有のＣＴデータ内の初期形状を方向付けることとを含む、実施例１１７～１２２のいずれかに記載の方法。
【0344】
[0394]実施例１２４：初期形状と軟組織構造を表す患者固有のＣＴデータの分散との間の差を最小化するように初期形状をスケーリングすることによって、初期形状を患者固有の形状に修正する、実施例１２３に記載の方法。
【0345】
[0395]実施例１２５：患者固有の形状（複数可）を決定することは、以下のパラメトリック方程式に従って患者固有の形状を決定することを含み、
ここにおいて、ｓ’は患者とは異なる複数の被験者の軟組織構造を表す初期形状であり、λｉは固有値であり、ｖｉは患者固有のＣＴデータの分散を表す共分散行列の固有ベクトルであり、ｂｉは初期形状を修正するスケーリング係数である、実施例１２４に記載の方法。
【数5】
【0346】
[0396]実施例１２６：初期形状は、患者とは異なる複数の被験者の軟組織構造を表す解剖学的形状を含む、実施例１１７～１２５のいずれかに記載の方法。
【0347】
[0397]実施例１２７：解剖学的形状は、複数の被験者について撮像された軟組織構造から生成された統計的平均形状を含む、実施例１２６に記載の方法。
【0348】
[0398]実施例１２８：軟組織構造は筋肉を含む、実施例１１７～１２７のいずれかに記載の方法。
【0349】
[0399]実施例１２９：筋肉は、患者の回旋腱板に関連する、実施例１２８に記載の方法。
【0350】
[0400]実施例１３０：患者固有の形状は、３次元形状を含む、実施例１１７～１２９のいずれかに記載の方法。
【0351】
[0401]実施例１３１：患者固有の形状の脂肪体積比を決定することと、患者固有の形状の萎縮率を決定することと、患者の軟組織構造の患者固有の形状の脂肪体積比及び萎縮率に基づいて、患者の上腕骨の可動域を決定することと、上腕骨の可動域に基づいて、患者の肩関節治療のタイプを決定することとを更に含む、実施例１１７～１３０のいずれかに記載の方法。
【0352】
[0402]実施例１３２：肩関節治療のタイプは、解剖学的肩関節置換手術又はリバース型肩関節置換手術のうちの１つから選択される、実施例１３１に記載の方法。
【0353】
[0403]実施例１３３：命令を含むコンピュータ可読記憶媒体であって、命令は、実行されると、プロセッサに、患者に関する患者固有のコンピュータ断層撮影（ＣＴ）データを記憶することと、患者固有のＣＴデータを受け取ることと、患者固有のＣＴデータ内の１つ又は複数の骨構造に関連する１つ又は複数の位置を識別することと、初期形状を１つ又は複数の位置に位置合わせすることと、初期形状を患者の軟組織構造を表す患者固有の形状に修正することと、患者固有の形状を出力することとを行わせる、コンピュータ可読記憶媒体。
【0354】
[0404]実施例２０１：患者に対する肩関節手術タイプの推奨を自動的に生成するためのシステムであって、患者に関する患者固有の画像データを記憶するように構成されたメモリと、メモリから患者固有の画像データを受け取ることと、患者固有の撮像データから１つ又は複数の軟組織特性を決定することと、患者に対して行われるべき肩関節手術タイプの推奨を生成することと、肩関節手術タイプの推奨を出力することとを行うように構成された処理回路とを備えるシステム。
【0355】
[0405]実施例２０２：１つ又は複数の軟組織特性は、患者の軟組織構造の脂肪浸潤率を含む、実施例２０１に記載のシステム。
【0356】
[0406]実施例２０３：処理回路は、軟組織構造を表す患者固有の形状にマスクを適用することと、マスク下のボクセルに閾値を適用することと、閾値未満のボクセルに基づいて脂肪体積を決定することと、脂肪体積と軟組織構造を表す患者固有の形状の体積とに基づいて脂肪浸潤値を決定することとによって、脂肪浸潤率を決定するように構成される、実施例２０２に記載のシステム。
【0357】
[0407]実施例２０４：１つ又は複数の軟組織特性は、患者の軟組織構造の萎縮率を含む、実施例２０１～２０３のいずれかに記載のシステム。
【0358】
[0408]実施例２０５：処理回路は、患者の軟組織構造の骨対筋肉寸法を決定することと、軟組織構造の統計的平均形状（ＳＭＳ）を取得することと、アルゴリズムの閾値を満たすことによってＳＭＳを変形させて、ＳＭＳの変形バージョンを軟組織構造の骨対筋肉寸法に適合させることと、ＳＭＳ体積を軟組織構造体積で割ることによって軟組織構造の萎縮率を決定することとによって、萎縮率を決定するように構成される、実施例２０４に記載のシステム。
【0359】
[0409]実施例２０６：１つ又は複数の軟組織特性は、脂肪浸潤値又は萎縮率のうちの少なくとも１つを含み、処理回路は、患者の１つ又は複数の軟組織構造の脂肪浸潤値又は萎縮率のうちの少なくとも１つに基づいて、患者に対して行われるべき肩関節手術タイプの推奨を生成するように構成される、実施例２０１～２０５のいずれかに記載のシステム。
【0360】
[0410]実施例２０７：処理回路は、脂肪浸潤値又は萎縮率のうちの少なくとも１つに基づいて、１つ又は複数の軟組織構造のばね定数を決定するように構成される、実施例２０６に記載のシステム。
【0361】
[0411]実施例２０８：処理回路は、脂肪浸潤値及び萎縮率の両方に基づいて、１つ又は複数の軟組織構造のばね定数を決定するように構成される、実施例２０７に記載のシステム。
【0362】
[0412]実施例２０９：処理回路は、１つ又は複数の軟組織構造の脂肪浸潤値、萎縮率、又はばね定数のうちの少なくとも１つに基づいて、患者の上腕骨の可動域を決定するように構成される、実施例２０７又は２０８に記載のシステム。
【0363】
[0413]実施例２１０：１つ又は複数の軟組織構造は、患者の回旋腱板の１つ又は複数の筋肉を含む、実施例２０９に記載のシステム。
【0364】
[0414]実施例２１１：１つ又は複数の軟組織特性は、上腕骨の可動域を含む、実施例２０１～２１０のいずれかに記載のシステム。
【0365】
[0415]実施例２１２：処理回路は、ニューラルネットワークを使用して、１つ又は複数の軟組織特性を決定するように構成される、実施例２０１～２１１のいずれかに記載のシステム。
【0366】
[0416]実施例２１３：１つ又は複数の軟組織特性は、患者の１つ又は複数の軟組織構造の脂肪浸潤値、萎縮値、又は可動域値のうちの少なくとも１つを含み、処理回路は、脂肪浸潤値、萎縮値、又は可動域値のうちの少なくとも１つをニューラルネットワークに入力することと、ニューラルネットワークからの出力に基づいて肩関節手術タイプの推奨を生成することとを行うように構成される、実施例２０１～２１２のいずれかに記載のシステム。
【0367】
[0417]実施例２１４：処理回路は、患者の軟組織構造の初期形状を受け取ることと、初期形状上の複数の表面点を決定することと、初期形状を患者固有の画像データに位置合わせすることと、患者の軟組織構造の境界を表す患者固有の画像データ内の１つ又は複数の輪郭を識別することと、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させて初期形状を患者の軟組織構造を表す患者固有の形状に変化させることと、患者固有の形状に基づいて、患者の軟組織構造の１つ又は複数の軟組織特性を決定することとによって、患者固有の撮像データから１つ又は複数の軟組織特性を決定するように構成される、実施例２０１～２１３のいずれかに記載のシステム。
【0368】
[0418]実施例２１５：処理回路は、１つ又は複数の軟組織特性の表現を表示するようにユーザインターフェースを制御するように構成される、実施例２０１～２１４のいずれかに記載のシステム。
【0369】
[0419]実施例２１６：処理回路は、複合現実ユーザインターフェースの一部として１つ又は複数の軟組織特性の表現を表示するようにユーザインターフェースを制御するように構成される、実施例２１５に記載のシステム。
【0370】
[0420]実施例２１７：肩関節手術タイプは、解剖学的肩関節置換術又はリバース型肩関節置換術のうちの１つを含む、実施例２０１～２１６のいずれかに記載のシステム。
【0371】
[0421]実施例２１８：患者に対する肩関節手術タイプの推奨を自動的に生成するための方法であって、メモリによって、患者に関する患者固有の画像データを記憶することと、処理回路によって、メモリから患者固有の画像データを受け取ることと、処理回路によって、患者固有の撮像データから１つ又は複数の軟組織特性を決定することと、処理回路によって、患者に対して行われるべき肩関節手術タイプの推奨を生成することと、処理回路によって、肩関節手術タイプの推奨を出力することとを含む、方法。
【0372】
[0422]実施例２１９：患者の軟組織構造の脂肪浸潤率を決定するための方法であって、患者に関する患者固有の画像データを受け取ることと、患者固有の画像データから、軟組織構造を表す患者固有の形状を決定することと、患者固有の形状にマスクを適用することと、マスク下のボクセルに閾値を適用することと、閾値未満のボクセルに基づいて脂肪体積を決定することと、脂肪体積と軟組織構造を表す患者固有の形状の体積とに基づいて脂肪浸潤値を決定することと、脂肪浸潤値を出力することと、を含む方法。
【0373】
[0423]実施例２２０：患者の軟組織構造の萎縮率を決定するための方法であって、患者に関する患者固有の画像データを受け取ることと、患者固有の画像データから、軟組織構造を表す患者固有の形状を決定することと、患者固有の画像データから、患者の軟組織構造の骨対筋肉寸法を決定することと、軟組織構造の統計的平均形状（ＳＭＳ）を取得することと、アルゴリズムの閾値を満たすことによってＳＭＳを変形させて、ＳＭＳの変形バージョンを軟組織構造の骨対筋肉寸法に適合させることと、ＳＭＳ体積を軟組織構造体積で割ることによって軟組織構造の萎縮率を決定することと、軟組織構造の萎縮率を出力することとを含む方法。
【0374】
[0424]実施例２２１：患者の肩の上腕骨の可動域を決定するための方法であって、患者に関する患者固有の画像データを受け取ることと、患者固有の画像データから、患者の回旋腱板のそれぞれの軟組織構造を表す１つ又は複数の患者固有の形状を決定することと、１つ又は複数の患者固有の形状に基づいて、回旋腱板のそれぞれの軟組織構造の各々の脂肪浸潤率又は萎縮率のうちの少なくとも１つを決定することと、脂肪浸潤率又は萎縮率のうちの少なくとも１つに基づいて、肩の上腕骨の可動域を決定することと、上腕骨の可動域を出力することとを含む方法。
【0375】
[0425]実施例３０１：患者に関する患者固有の画像データを記憶するように構成されたメモリと、患者固有の画像データ内の上腕骨頭を識別することと、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成することと、患者に対する上腕骨インプラントタイプの推奨を出力することとを行うように構成された処理回路とを備えるシステム。
【0376】
[0426]実施例３０２：上腕骨インプラントタイプは、ステム付きインプラントタイプ又はステムレスインプラントタイプのうちの１つを含む、実施例３０１に記載のシステム。
【0377】
[0427]実施例３０３：上腕骨インプラントタイプの推奨は、上腕骨インプラントのステムの長さを示す推奨を含む、実施例３０１又は３０２に記載のシステム。
【0378】
[0428]実施例３０４：骨密度メトリックは、上腕骨頭の少なくとも一部内の骨梁の総合的な密度スコアを表す、実施例３０１～３０３のいずれかに記載のシステム。
【0379】
[0429]実施例３０５：骨密度メトリックは、上腕骨頭内のそれぞれの部分についての複数の骨密度値を含む、実施例３０１～３０４のいずれかに記載のシステム。
【0380】
[0430]実施例３０６：処理回路は、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部内のそれぞれのボクセルの強度を識別することと、それぞれのボクセルの強度を２つ以上の強度レベルのうちの１つに分類することと、２つ以上の強度レベルの各々に分類されたボクセルの数又は２つ以上の強度レベルの各々に分類されたボクセルの上腕骨頭における位置のうちの少なくとも１つに基づいて、骨密度メトリックを決定することとによって、骨密度メトリックを決定するように構成される、実施例３０１～３０５のいずれかに記載のシステム。
【0381】
[0431]実施例３０７：処理回路は、上腕骨頭を通る平面を決定することと、ここで、平面は、上腕骨インプラントを受け入れるために上腕骨を準備するであろう上腕骨における上腕骨切断を表す、平面によって露出した上腕骨頭の少なくとも一部についての骨密度メトリックを決定することとを行うように構成される、実施例３０１～３０６のいずれかに記載のシステム。
【0382】
[0432]実施例３０８：処理回路は、患者の上腕骨頭の少なくとも一部の表現上に骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力するように構成される、実施例３０１～３０７のいずれかに記載のシステム。
【0383】
[0433]実施例３０９：骨密度メトリックは、複数の色のヒートマップを含み、複数の色の各色は、骨密度値の異なる範囲を表す、実施例３０８に記載のシステム。
【0384】
[0434]実施例３１０：複合現実ディスプレイを更に備え、処理回路は、骨密度メトリックのグラフィカル表現を含むユーザインターフェースを提示するように複合現実ディスプレイを制御するように構成される、実施例３０８又は３０９に記載のシステム。
【0385】
[0435]実施例３１１：骨密度メトリックのグラフィカル表現は、上腕骨頭の平面内の骨密度変動の２次元表現を含む、実施例３０８～３１０のいずれかに記載のシステム。
【0386】
[0436]実施例３１２：骨密度メトリックのグラフィカル表現は、上腕骨頭の少なくとも骨梁内の骨密度変動の３次元表現を含む、実施例３０８～３１１のいずれかに記載のシステム。
【0387】
[0437]実施例３１３：処理回路は、上腕骨インプラントのステムサイズを生成するために畳み込みニューラルネットワークを患者固有の画像データに適用するように構成され、患者に対する上腕骨インプラントタイプの推奨は、畳み込みニューラルネットワークから生成されたステムサイズを有する上腕骨インプラントタイプを含む、実施例３０１～３１２のいずれかに記載のシステム。
【0388】
[0438]実施例３１４：処理回路によって、患者の患者固有の画像データ内の上腕骨頭を識別することと、処理回路によって、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、処理回路によって、骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成することと、処理回路によって、患者に対する上腕骨インプラントタイプの推奨を出力することとを含む方法。
【0389】
[0439]実施例３１５：上腕骨インプラントタイプは、ステム付きインプラントタイプ又はステムレスインプラントタイプのうちの１つを含む、実施例３１４に記載の方法。
【0390】
[0440]実施例３１６：上腕骨インプラントタイプの推奨は、上腕骨インプラントのステムの長さを示す推奨を含む、実施例３１４又は３１５に記載の方法。
【0391】
[0441]実施例３１７：骨密度メトリックは、上腕骨頭の少なくとも一部内の骨梁の総合的な密度スコアを表す、実施例３１４～３１６のいずれかに記載の方法。
【0392】
[0442]実施例３１８：骨密度メトリックは、上腕骨頭内のそれぞれの部分についての複数の骨密度値を含む、実施例３１４～３１７のいずれかに記載の方法。
【0393】
[0443]実施例３１９：骨密度メトリックを決定することは、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部内のそれぞれのボクセルの強度を識別することと、それぞれのボクセルの強度を２つ以上の強度レベルのうちの１つに分類することと、２つ以上の強度レベルの各々に分類されたボクセルの数又は２つ以上の強度レベルの各々に分類されたボクセルの上腕骨頭における位置のうちの少なくとも１つに基づいて、骨密度メトリックを決定することとを含む、実施例３１４～３１８のいずれかに記載の方法。
【0394】
[0444]実施例３２０：上腕骨頭を通る平面を決定することと、ここで、平面は、上腕骨インプラントを受け入れるために上腕骨を準備するであろう上腕骨における上腕骨切断を表す、平面によって露出した上腕骨頭の少なくとも一部についての骨密度メトリックを決定することとを更に含む、実施例３１４～３１９のいずれかに記載の方法。
【0395】
[0445]実施例３２１：表示のために、患者の上腕骨頭の少なくとも一部の表現上に骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力することを更に含む、実施例３１４～３２０のいずれかに記載の方法。
【0396】
[0446]実施例３２２：骨密度メトリックは、複数の色のヒートマップを含み、複数の色の各色は、骨密度値の異なる範囲を表す、実施例３２１に記載の方法。
【0397】
[0447]実施例３２３：骨密度メトリックのグラフィカル表現を含むユーザインターフェースを提示するように複合現実ディスプレイを制御することを更に含む、実施例３２１又は３２２に記載の方法。
【0398】
[0448]実施例３２４：骨密度メトリックのグラフィカル表現は、上腕骨頭の平面内の骨密度変動の２次元表現を含む、実施例３２１～３２３のいずれかに記載の方法。
【0399】
[0449]実施例３２５：骨密度メトリックのグラフィカル表現は、上腕骨頭の少なくとも骨梁内の骨密度変動の３次元表現を含む、実施例３２１～３２４のいずれかに記載の方法。
【0400】
[0450]実施例３２６：上腕骨インプラントのステムサイズを生成するために畳み込みニューラルネットワークを患者固有の画像データに適用することを更に含み、患者に対する上腕骨インプラントタイプの推奨は、畳み込みニューラルネットワークから生成されたステムサイズを有する上腕骨インプラントタイプを含む、実施例３１４～３２５のいずれかに記載の方法。
【0401】
[0451]実施例３２７：命令を含むコンピュータ可読記憶媒体であって、命令は、実行されると、処理回路に、患者に関する患者固有の画像データ内の上腕骨頭を識別することと、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成することと、表示のために、患者に対する上腕骨インプラントタイプの推奨を出力することとを行わせる、コンピュータ可読記憶媒体。
【0402】
[0452]実施例３２８：患者に関する患者固有の画像データを記憶するように構成されたメモリと、患者固有の画像データ内の上腕骨頭を識別することと、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、患者の上腕骨頭の少なくとも一部の表現上に骨密度メトリックのグラフィカル表現を提示するようにユーザインターフェースを制御することとを行うように構成された処理回路とを備えるシステム。
【0403】
[0453]実施例３２９：処理回路は、骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成することと、表示のために、患者に対する上腕骨インプラントタイプの推奨を出力することとを行うように構成される、実施例３２８に記載のシステム。
【0404】
[0454]実施例３３０：処理回路は、実施例３１３～３２４のいずれかに記載の方法を実行するように構成される、実施例３２８又は３２９に記載のシステム。
【0405】
[0455]実施例３３１：処理回路によって、患者に関する患者固有の画像データ内の上腕骨頭を識別することと、処理回路によって、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、処理回路によって、患者の上腕骨頭の少なくとも一部の表現上に骨密度メトリックのグラフィカル表現を提示するようにユーザインターフェースを制御することとを含む方法。
【0406】
[0456]実施例３３２：骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成することと、表示のために、患者に対する上腕骨インプラントタイプの推奨を出力することとを更に含む、実施例３３１に記載の方法。
【0407】
[0457]実施例３３３：命令を含むコンピュータ可読記憶媒体であって、命令は、実行されると、処理回路に、患者に関する患者固有の画像データ内の上腕骨頭を識別することと、患者固有の画像データに基づいて、上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、患者の上腕骨頭の少なくとも一部の表現上に骨密度メトリックのグラフィカル表現を提示するようにユーザインターフェースを制御することとを行わせる、コンピュータ可読記憶媒体。
【0408】
[0458]実施例３３４：処理回路は、骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成することと、表示のために、患者に対する上腕骨インプラントタイプの推奨を出力することとを行うように構成される、実施例３３３に記載のシステム。
【0409】
[0459]実施例４０１：患者に対する肩関節手術の推奨を自動的に生成するためのシステムであって、患者に関する患者固有の画像データを記憶するように構成されたメモリと、メモリから患者固有の画像データを受け取ることと、患者固有の撮像データに基づいて、１つ又は複数の軟組織特性と患者の上腕骨に関連する骨密度メトリックとを決定することと、１つ又は複数の軟組織特性に基づいて、患者に対して行われるべき肩関節手術タイプの推奨を生成することと、上腕骨に関連する骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成することと、患者に対する肩関節手術タイプ及び上腕骨インプラントタイプの推奨を出力することとを行うように構成された処理回路とを備えるシステム。
【0410】
[0460]実施例４０２：上腕骨インプラントタイプは、ステム付きインプラントタイプ又はステムレスインプラントタイプのうちの１つを含む、実施例４０１に記載のシステム。
【0411】
[0461]実施例４０３：上腕骨インプラントタイプの推奨は、上腕骨インプラントのステムの長さを示す推奨を含む、実施例４０１又は４０２に記載のシステム。
【0412】
[0462]実施例４０４：処理回路は、表示のために、患者の上腕骨の表現上に骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力するように構成される、実施例４０１～４０３のいずれかに記載のシステム。
【0413】
[0463]実施例４０５：１つ又は複数の軟組織特性は、患者の軟組織構造の脂肪浸潤率を含む、実施例４０１～４０４のいずれかに記載のシステム。
【0414】
[0464]実施例４０６：処理回路は、軟組織構造を表す患者固有の形状にマスクを適用することと、マスク下のボクセルに閾値を適用することと、閾値未満のボクセルに基づいて脂肪体積を決定することと、脂肪体積と軟組織構造を表す患者固有の形状の体積とに基づいて脂肪浸潤値を決定することとによって、脂肪浸潤率を決定するように構成される、実施例４０５に記載のシステム。
【0415】
[0465]実施例４０７：１つ又は複数の軟組織特性は、患者の軟組織構造の萎縮率を含む、実施例４０１～４０６のいずれかに記載のシステム。
【0416】
[0466]実施例４０８：処理回路は、患者の軟組織構造の骨対筋肉寸法を決定することと、軟組織構造の統計的平均形状（ＳＭＳ）を取得することと、アルゴリズムの閾値を満たすことによってＳＭＳを変形させて、ＳＭＳの変形バージョンを軟組織構造の骨対筋肉寸法に適合させることと、ＳＭＳ体積を軟組織構造体積で割ることによって軟組織構造の萎縮率を決定することとによって、萎縮率を決定するように構成される、実施例４０７に記載のシステム。
【0417】
[0467]実施例４０９：１つ又は複数の軟組織特性は、脂肪浸潤値又は萎縮率のうちの少なくとも１つを含み、処理回路は、患者の１つ又は複数の軟組織構造の脂肪浸潤値又は萎縮率のうちの少なくとも１つに基づいて、患者に対して行われるべき肩関節手術タイプの推奨を生成するように構成される、実施例４０１～４０８のいずれかに記載のシステム。
【0418】
[0468]実施例４１０：処理回路は、脂肪浸潤値又は萎縮率のうちの少なくとも１つに基づいて、１つ又は複数の軟組織構造のばね定数を決定するように構成される、実施例４０９に記載のシステム。
【0419】
[0469]実施例４１１：１つ又は複数の軟組織構造は、患者の回旋腱板の１つ又は複数の筋肉を含む、実施例４０９又は４１０に記載のシステム。
【0420】
[0470]実施例４１２：１つ又は複数の軟組織特性は、上腕骨の可動域を含む、実施例４０１～４１１のいずれかに記載のシステム。
【0421】
[0471]実施例４１３：処理回路は、ニューラルネットワークを使用して、上腕骨に関連する骨密度メトリックの１つ又は複数の軟組織特性のうちの少なくとも１つを決定するように構成される、実施例４０１～４１２のいずれかに記載のシステム。
【0422】
[0472]実施例４１４：１つ又は複数の軟組織特性は、患者の１つ又は複数の軟組織構造の脂肪浸潤値、萎縮値、又は可動域値のうちの少なくとも１つを含み、処理回路は、脂肪浸潤値、萎縮値、又は可動域値のうちの少なくとも１つをニューラルネットワークに入力することと、ニューラルネットワークからの出力に基づいて肩関節手術タイプの推奨を生成することとを行うように構成される、実施例４１３に記載のシステム。
【0423】
[0473]実施例４１５：処理回路は、患者の軟組織構造の初期形状を受け取ることと、初期形状上の複数の表面点を決定することと、初期形状を患者固有の画像データに位置合わせすることと、患者の軟組織構造の境界を表す患者固有の画像データ内の１つ又は複数の輪郭を識別することと、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させて初期形状を患者の軟組織構造を表す患者固有の形状に変化させることと、患者固有の形状に基づいて、患者の軟組織構造の１つ又は複数の軟組織特性を決定することとによって、患者固有の撮像データから１つ又は複数の軟組織特性を決定するように構成される、実施例４０１～４１４のいずれかに記載のシステム。
【0424】
[0474]実施例４１６：処理回路は、１つ又は複数の軟組織特性の表現を表示するようにユーザインターフェースを制御するように構成される、実施例４０１～４１５のいずれかに記載のシステム。
【0425】
[0475]実施例４１７：処理回路は、複合現実ユーザインターフェースの一部として、１つ又は複数の軟組織特性又は上腕骨に関連する骨密度メトリックの表現のうちの少なくとも１つを表示するようにユーザインターフェースを制御するように構成される、実施例４１６に記載のシステム。
【0426】
[0476]実施例４１８：肩関節手術タイプは、解剖学的肩関節置換術又はリバース型肩関節置換術のうちの１つを含む、実施例４０１～４１７のいずれかに記載のシステム。
【0427】
[0477]実施例４１９：患者に対する肩関節手術の推奨を自動的に生成するための方法であって、メモリから、患者固有の画像データを受け取ることと、処理回路によって、患者固有の撮像データに基づいて、１つ又は複数の軟組織特性と患者の上腕骨に関連する骨密度メトリックとを決定することと、処理回路によって、１つ又は複数の軟組織特性に基づいて、患者に対して行われるべき肩関節手術タイプの推奨を生成することと、処理回路によって、上腕骨に関連する骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成することと、処理回路によって、患者に対する肩関節手術タイプ及び上腕骨インプラントタイプの推奨を出力することとを含む方法。
【0428】
[0478]実施例４２０：上腕骨インプラントタイプは、ステム付きインプラントタイプ又はステムレスインプラントタイプのうちの１つを含む、実施例４１９に記載の方法。
【0429】
[0479]実施例４２１：上腕骨インプラントタイプの推奨は、上腕骨インプラントのステムの長さを示す推奨を含む、実施例４１９又は４２０に記載の方法。
【0430】
[0480]実施例４２２：処理回路は、表示のために、患者の上腕骨の表現上に骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力するように構成される、実施例４１９～４２１のいずれかに記載の方法。
【0431】
[0481]実施例４２３：１つ又は複数の軟組織特性は、患者の軟組織構造の脂肪浸潤率を含む、実施例４１９～４２２のいずれかに記載の方法。
【0432】
[0482]実施例４２４：処理回路は、軟組織構造を表す患者固有の形状にマスクを適用することと、マスク下のボクセルに閾値を適用することと、閾値未満のボクセルに基づいて脂肪体積を決定することと、脂肪体積と軟組織構造を表す患者固有の形状の体積とに基づいて脂肪浸潤値を決定することとによって、脂肪浸潤率を決定するように構成される、実施例４２３に記載の方法。
【0433】
[0483]実施例４２５：１つ又は複数の軟組織特性は、患者の軟組織構造の萎縮率を含む、実施例４１９～４２４のいずれかに記載の方法。
【0434】
[0484]実施例４２６：処理回路は、患者の軟組織構造の骨対筋肉寸法を決定することと、軟組織構造の統計的平均形状（ＳＭＳ）を取得することと、アルゴリズムの閾値を満たすことによってＳＭＳを変形させて、ＳＭＳの変形バージョンを軟組織構造の骨対筋肉寸法に適合させることと、ＳＭＳ体積を軟組織構造体積で割ることによって軟組織構造の萎縮率を決定することとによって、萎縮率を決定するように構成される、実施例４２５に記載の方法。
【0435】
[0485]実施例４２７：１つ又は複数の軟組織特性は、脂肪浸潤値又は萎縮率のうちの少なくとも１つを含み、処理回路は、患者の１つ又は複数の軟組織構造の脂肪浸潤値又は萎縮率のうちの少なくとも１つに基づいて、患者に対して行われるべき肩関節手術タイプの推奨を生成するように構成される、実施例４１９～４２６のいずれかに記載の方法。
【0436】
[0486]実施例４２８：処理回路は、脂肪浸潤値又は萎縮率のうちの少なくとも１つに基づいて、１つ又は複数の軟組織構造のばね定数を決定するように構成される、実施例４２７に記載の方法。
【0437】
[0487]実施例４２９：１つ又は複数の軟組織構造は、患者の回旋腱板の１つ又は複数の筋肉を含む、実施例４２７又は４２８に記載の方法。
【0438】
[0488]実施例４３０：１つ又は複数の軟組織特性は、上腕骨の可動域を含む、実施例４１９～４２９のいずれかに記載の方法。
【0439】
[0489]実施例４３１：処理回路は、ニューラルネットワークを使用して、上腕骨に関連する骨密度メトリックの１つ又は複数の軟組織特性のうちの少なくとも１つを決定するように構成される、実施例４１９～４３０のいずれかに記載の方法。
【0440】
[0490]実施例４３２：１つ又は複数の軟組織特性は、患者の１つ又は複数の軟組織構造の脂肪浸潤値、萎縮値、又は可動域値のうちの少なくとも１つを含み、処理回路は、脂肪浸潤値、萎縮値、又は可動域値のうちの少なくとも１つをニューラルネットワークに入力することと、ニューラルネットワークからの出力に基づいて肩関節手術タイプの推奨を生成することとを行うように構成される、実施例４３１に記載の方法。
【0441】
[0491]実施例４３３：処理回路は、患者の軟組織構造の初期形状を受け取ることと、初期形状上の複数の表面点を決定することと、初期形状を患者固有の画像データに位置合わせすることと、患者の軟組織構造の境界を表す患者固有の画像データ内の１つ又は複数の輪郭を識別することと、１つ又は複数の輪郭のそれぞれの位置に向かって複数の表面点を反復的に移動させて初期形状を患者の軟組織構造を表す患者固有の形状に変化させることと、患者固有の形状に基づいて、患者の軟組織構造の１つ又は複数の軟組織特性を決定することとによって、患者固有の撮像データから１つ又は複数の軟組織特性を決定するように構成される、実施例４１９～４３２のいずれかに記載の方法。
【0442】
[0492]実施例４３４：処理回路は、１つ又は複数の軟組織特性の表現を表示するようにユーザインターフェースを制御するように構成される、実施例４１９～４３３のいずれかに記載の方法。
【0443】
[0493]実施例４３５：処理回路は、複合現実ユーザインターフェースの一部として、１つ又は複数の軟組織特性又は上腕骨に関連する骨密度メトリックの表現のうちの少なくとも１つを表示するようにユーザインターフェースを制御するように構成される、実施例４３４に記載の方法。
【0444】
[0494]実施例４３６：肩関節手術タイプは、解剖学的肩関節置換術又はリバース型肩関節置換術のうちの１つを含む、実施例４１９～４３５のいずれかに記載の方法。
【0445】
[0495]実施例４３７：コンピュータ可読記憶媒体であって、実行されると、処理回路に、メモリから患者固有の画像データを受け取ることと、患者固有の撮像データに基づいて、１つ又は複数の軟組織特性と患者の上腕骨に関連する骨密度メトリックとを決定することと、１つ又は複数の軟組織特性に基づいて、患者に対して行われるべき肩関節手術タイプの推奨を生成することと、上腕骨に関連する骨密度メトリックに基づいて、患者に対する上腕骨インプラントタイプの推奨を生成することと、表示のために、患者に対する肩関節手術タイプ及び上腕骨インプラントタイプの推奨を出力することとを行わせる、コンピュータ可読記憶媒体。
【0446】
[0496]これらの要因のいずれか１つ又は複数は、患者のための治療計画に使用され得る。本開示で説明される技法は、他のタイプの治療の文脈でも使用され得る。例えば、人工足関節全形成術又は他の関節のような他の関節疾患のための治療が分析され得る。本技法は限られた数の例に関して開示されているが、当業者であれば、本開示の利益を得て、それらから多数の修正例及び変形例を理解するであろう。例えば、説明された例の任意の合理的な組合せが実行され得ることが企図される。添付の特許請求の範囲が、本発明の真の主旨及び範囲内に入るような修正例及び変形例をカバーすることは意図される。
【0447】
[0497]例に応じて、本明細書で説明される技法のいずれかの特定の行為又はイベントが異なる順序で実行され得、追加、マージ、又は完全に省略され得る（例えば、説明される行為又はイベントの全てが技法の実施に必要であるとは限らない）ことが認識されるべきである。更に、特定の例では、行為又はイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通して、同時に実行され得る。
【0448】
[0498]１つ又は複数の例では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せにより実装され得る。ソフトウェアにより実装される場合、これらの機能は、コンピュータ可読媒体上の１つ又は複数の命令又はコードとして記憶又は送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、又は、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの移動を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、又は（２）信号もしくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明される技法の実装のための命令、コード、及び／又はデータ構造を取り出すために、１つもしくは複数のコンピュータ又は１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【0449】
[0499]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、フラッシュメモリ、又は命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用可能であり、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。また、いかなる接続もコンピュータ可読媒体と適切に称される。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、電波、及びマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、又は他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は赤外線、電波、及びマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体が、接続、搬送波、信号、又は他の一時的媒体を含まず、代わりに、非一時的有形記憶媒体を対象とすることは理解されるべきである。ディスク（disk）及びディスク（disc）は、本明細書で使用される場合、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、及びブルーレイディスクを含み、ディスク（disk）は通常磁気的にデータを再生し、ディスク（disc）はレーザで光学的にデータを再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
【0450】
[0500]本開示で説明される動作は、１つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の同等の集積回路もしくは個別論理回路のような、固定機能処理回路、プログラマブル回路、又はそれらの組合せとして実装され得る１つ又は複数のプロセッサによって実行され得る。固定機能回路とは、特定の機能性を提供し、実行可能な動作が予め設定されている回路を指す。プログラマブル回路とは、様々なタスクを実行し、実行可能な動作において柔軟な機能性を提供するようにプログラムされ得る回路を指す。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェア又はファームウェアによって指定された命令を実行し得る。固定機能回路は、（例えば、パラメータを受け取るか、又はパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは一般に不変である。従って、本明細書で使用される場合、「プロセッサ」及び「処理回路」という用語は、前述の構造のいずれか、又は本明細書で説明される技法の実装に適切な任意の他の構造を指し得る。
【0451】
[0501]様々な例を説明してきた。これらの例及び他の例は、以下の特許請求の範囲内である。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［１］ 患者に関する患者固有の画像データを記憶するように構成されたメモリと、
処理回路と、を備えるシステムであって、
前記処理回路は、
前記患者固有の画像データ内の上腕骨頭を識別することと、
前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、
前記骨密度メトリックに基づいて、前記患者に対する上腕骨インプラントタイプの推奨を生成することと、
前記患者に対する前記上腕骨インプラントタイプの前記推奨を出力することと
を行うように構成されている、システム。
［２］ 前記上腕骨インプラントタイプは、ステム付きインプラントタイプ又はステムレスインプラントタイプのうちの１つを含む、［１］に記載のシステム。
［３］ 前記上腕骨インプラントタイプの前記推奨は、上腕骨インプラントのステムの長さを示す推奨を含む、［１］又は［２］に記載のシステム。
［４］ 前記骨密度メトリックは、前記上腕骨頭の少なくとも一部内の骨梁の総合的な密度スコアを表す、［１］～［３］のいずれか一項に記載のシステム。
［５］ 前記骨密度メトリックは、前記上腕骨頭内のそれぞれの部分についての複数の骨密度値を含む、［１］～［４］のいずれか一項に記載のシステム。
［６］ 前記処理回路は、
前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部内のそれぞれのボクセルの強度を識別することと、
前記それぞれのボクセルの前記強度を２つ以上の強度レベルのうちの１つに分類することと、
前記２つ以上の強度レベルの各々に分類されたボクセルの数又は前記２つ以上の強度レベルの各々に分類された前記ボクセルの前記上腕骨頭における位置のうちの少なくとも１つに基づいて、前記骨密度メトリックを決定することと
によって、前記骨密度メトリックを決定するように構成されている、［１］～［５］のいずれか一項に記載のシステム。
［７］ 前記処理回路は、
上腕骨頭を通る平面を決定することと、ここで、前記平面は、上腕骨インプラントを受け入れるために上腕骨を準備するであろう前記上腕骨における上腕骨切断面を表すものであり、
前記平面によって露出した前記上腕骨頭の少なくとも一部についての前記骨密度メトリックを決定することと
を行うように構成されている、［１］～［６］のいずれか一項に記載のシステム。
［８］ 前記処理回路は、前記患者の前記上腕骨頭の少なくとも一部の表現上に前記骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力するように構成されている、［１］～［７］のいずれか一項に記載のシステム。
［９］ 前記骨密度メトリックは、複数の色のヒートマップを含み、前記複数の色の各色は、骨密度値の異なる範囲を表す、［８］に記載のシステム。
［１０］ 複合現実ディスプレイを更に備え、前記処理回路は、前記骨密度メトリックの前記グラフィカル表現を含む前記ユーザインターフェースを提示するように前記複合現実ディスプレイを制御するように構成されている、［８］又は［９］に記載のシステム。
［１１］ 前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の平面内の骨密度変動の２次元表現を含む、［８］～［１０］のいずれか一項に記載のシステム。
［１２］ 前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の少なくとも骨梁内の骨密度変動の３次元表現を含む、［８］～［１１］のいずれか一項に記載のシステム。
［１３］ 前記処理回路は、上腕骨インプラントのステムサイズを生成するために畳み込みニューラルネットワークを前記患者固有の画像データに適用するように構成され、前記患者に対する前記上腕骨インプラントタイプの前記推奨は、前記畳み込みニューラルネットワークから生成された前記ステムサイズを有する前記上腕骨インプラントタイプを含む、［１］～［１２］のいずれか一項に記載のシステム。
［１４］ 処理回路によって、患者の患者固有の画像データ内の上腕骨頭を識別することと、
前記処理回路によって、前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、
前記処理回路によって、前記骨密度メトリックに基づいて、前記患者に対する上腕骨インプラントタイプの推奨を生成することと、
前記処理回路によって、前記患者に対する前記上腕骨インプラントタイプの前記推奨を出力することと
を備える方法。
［１５］ 前記上腕骨インプラントタイプは、ステム付きインプラントタイプ又はステムレスインプラントタイプのうちの１つを含む、［１４］に記載の方法。
［１６］ 前記上腕骨インプラントタイプの前記推奨は、上腕骨インプラントのステムの長さを示す推奨を含む、［１４］又は［１５］に記載の方法。
［１７］ 前記骨密度メトリックは、前記上腕骨頭の少なくとも一部内の骨梁の総合的な密度スコアを表す、［１４］～［１６］のいずれか一項に記載の方法。
［１８］ 前記骨密度メトリックは、前記上腕骨頭内のそれぞれの部分についての複数の骨密度値を含む、［１４］～［１７］のいずれか一項に記載の方法。
［１９］ 前記骨密度メトリックを決定することは、
前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部内のそれぞれのボクセルの強度を識別することと、
前記それぞれのボクセルの前記強度を２つ以上の強度レベルのうちの１つに分類することと、
前記２つ以上の強度レベルの各々に分類されたボクセルの数又は前記２つ以上の強度レベルの各々に分類された前記ボクセルの前記上腕骨頭における位置のうちの少なくとも１つに基づいて、前記骨密度メトリックを決定することと
を含む、［１４］～［１８］のいずれか一項に記載の方法。
［２０］ 上腕骨頭を通る平面を決定することと、ここで、前記平面は、上腕骨インプラントを受け入れるために上腕骨を準備するであろう前記上腕骨における上腕骨切断面を表すものであり、
前記平面によって露出した前記上腕骨頭の少なくとも一部についての前記骨密度メトリックを決定することと
を更に含む、［１４］～［１９］のいずれか一項に記載の方法。
［２１］ 表示のために、前記患者の前記上腕骨頭の少なくとも一部の表現上に前記骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力することを更に含む、［１４］～［２０］のいずれか一項に記載の方法。
［２２］ 骨密度メトリックは、複数の色のヒートマップを含み、複数の色の各色は、骨密度値の異なる範囲を表す、［２１］に記載の方法。
［２３］ 前記骨密度メトリックの前記グラフィカル表現を含む前記ユーザインターフェースを提示するように複合現実ディスプレイを制御することを更に含む、［２１］又は［２２］に記載の方法。
［２４］ 前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の平面内の骨密度変動の２次元表現を含む、［２１］～［２３］のいずれか一項に記載の方法。
［２５］ 前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の少なくとも骨梁内の骨密度変動の３次元表現を含む、［２１］～［２４］のいずれか一項に記載の方法。
［２６］ 上腕骨インプラントのステムサイズを生成するために畳み込みニューラルネットワークを前記患者固有の画像データに適用することを更に含み、前記患者に対する前記上腕骨インプラントタイプの前記推奨は、前記畳み込みニューラルネットワークから生成された前記ステムサイズを有する前記上腕骨インプラントタイプを含む、［１４］～［２５］のいずれか一項に記載の方法。
［２７］ 命令を含むコンピュータ可読記憶媒体であって、前記命令は、実行されると、処理回路に、
患者に関する患者固有の画像データ内の上腕骨頭を識別することと、
前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、
前記骨密度メトリックに基づいて、前記患者に対する上腕骨インプラントタイプの推奨を生成することと、
表示のために、前記患者に対する前記上腕骨インプラントタイプの前記推奨を出力することと
を行わせる、コンピュータ可読記憶媒体。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［１］ 患者に関する患者固有の画像データを記憶するように構成されたメモリと、
処理回路と、を備えるシステムであって、
前記処理回路は、
前記患者固有の画像データ内の上腕骨頭を識別することと、
前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、
前記骨密度メトリックに基づいて、前記患者に対する上腕骨インプラントタイプの推奨を生成することと、
前記患者に対する前記上腕骨インプラントタイプの前記推奨を出力することと
を行うように構成されている、システム。
［２］ 前記上腕骨インプラントタイプは、ステム付きインプラントタイプ又はステムレスインプラントタイプのうちの１つを含む、［１］に記載のシステム。
［３］ 前記上腕骨インプラントタイプの前記推奨は、上腕骨インプラントのステムの長さを示す推奨を含む、［１］又は［２］に記載のシステム。
［４］ 前記骨密度メトリックは、前記上腕骨頭の少なくとも一部内の骨梁の総合的な密度スコアを表す、［１］～［３］のいずれか一項に記載のシステム。
［５］ 前記骨密度メトリックは、前記上腕骨頭内のそれぞれの部分についての複数の骨密度値を含む、［１］～［４］のいずれか一項に記載のシステム。
［６］ 前記処理回路は、
前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部内のそれぞれのボクセルの強度を識別することと、
前記それぞれのボクセルの前記強度を２つ以上の強度レベルのうちの１つに分類することと、
前記２つ以上の強度レベルの各々に分類されたボクセルの数又は前記２つ以上の強度レベルの各々に分類された前記ボクセルの前記上腕骨頭における位置のうちの少なくとも１つに基づいて、前記骨密度メトリックを決定することと
によって、前記骨密度メトリックを決定するように構成されている、［１］～［５］のいずれか一項に記載のシステム。
［７］ 前記処理回路は、
上腕骨頭を通る平面を決定することと、ここで、前記平面は、上腕骨インプラントを受け入れるために上腕骨を準備するであろう前記上腕骨における上腕骨切断面を表すものであり、
前記平面によって露出した前記上腕骨頭の少なくとも一部についての前記骨密度メトリックを決定することと
を行うように構成されている、［１］～［６］のいずれか一項に記載のシステム。
［８］ 前記処理回路は、前記患者の前記上腕骨頭の少なくとも一部の表現上に前記骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力するように構成されている、［１］～［７］のいずれか一項に記載のシステム。
［９］ 前記骨密度メトリックは、複数の色のヒートマップを含み、前記複数の色の各色は、骨密度値の異なる範囲を表す、［８］に記載のシステム。
［１０］ 複合現実ディスプレイを更に備え、前記処理回路は、前記骨密度メトリックの前記グラフィカル表現を含む前記ユーザインターフェースを提示するように前記複合現実ディスプレイを制御するように構成されている、［８］又は［９］に記載のシステム。
［１１］ 前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の平面内の骨密度変動の２次元表現を含む、［８］～［１０］のいずれか一項に記載のシステム。
［１２］ 前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の少なくとも骨梁内の骨密度変動の３次元表現を含む、［８］～［１１］のいずれか一項に記載のシステム。
［１３］ 前記処理回路は、上腕骨インプラントのステムサイズを生成するために畳み込みニューラルネットワークを前記患者固有の画像データに適用するように構成され、前記患者に対する前記上腕骨インプラントタイプの前記推奨は、前記畳み込みニューラルネットワークから生成された前記ステムサイズを有する前記上腕骨インプラントタイプを含む、［１］～［１２］のいずれか一項に記載のシステム。
［１４］ 処理回路によって、患者の患者固有の画像データ内の上腕骨頭を識別することと、
前記処理回路によって、前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、
前記処理回路によって、前記骨密度メトリックに基づいて、前記患者に対する上腕骨インプラントタイプの推奨を生成することと、
前記処理回路によって、前記患者に対する前記上腕骨インプラントタイプの前記推奨を出力することと
を備える方法。
［１５］ 前記上腕骨インプラントタイプは、ステム付きインプラントタイプ又はステムレスインプラントタイプのうちの１つを含む、［１４］に記載の方法。
［１６］ 前記上腕骨インプラントタイプの前記推奨は、上腕骨インプラントのステムの長さを示す推奨を含む、［１４］又は［１５］に記載の方法。
［１７］ 前記骨密度メトリックは、前記上腕骨頭の少なくとも一部内の骨梁の総合的な密度スコアを表す、［１４］～［１６］のいずれか一項に記載の方法。
［１８］ 前記骨密度メトリックは、前記上腕骨頭内のそれぞれの部分についての複数の骨密度値を含む、［１４］～［１７］のいずれか一項に記載の方法。
［１９］ 前記骨密度メトリックを決定することは、
前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部内のそれぞれのボクセルの強度を識別することと、
前記それぞれのボクセルの前記強度を２つ以上の強度レベルのうちの１つに分類することと、
前記２つ以上の強度レベルの各々に分類されたボクセルの数又は前記２つ以上の強度レベルの各々に分類された前記ボクセルの前記上腕骨頭における位置のうちの少なくとも１つに基づいて、前記骨密度メトリックを決定することと
を含む、［１４］～［１８］のいずれか一項に記載の方法。
［２０］ 上腕骨頭を通る平面を決定することと、ここで、前記平面は、上腕骨インプラントを受け入れるために上腕骨を準備するであろう前記上腕骨における上腕骨切断面を表すものであり、
前記平面によって露出した前記上腕骨頭の少なくとも一部についての前記骨密度メトリックを決定することと
を更に含む、［１４］～［１９］のいずれか一項に記載の方法。
［２１］ 表示のために、前記患者の前記上腕骨頭の少なくとも一部の表現上に前記骨密度メトリックのグラフィカル表現を含むユーザインターフェースを出力することを更に含む、［１４］～［２０］のいずれか一項に記載の方法。
［２２］ 骨密度メトリックは、複数の色のヒートマップを含み、複数の色の各色は、骨密度値の異なる範囲を表す、［２１］に記載の方法。
［２３］ 前記骨密度メトリックの前記グラフィカル表現を含む前記ユーザインターフェースを提示するように複合現実ディスプレイを制御することを更に含む、［２１］又は［２２］に記載の方法。
［２４］ 前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の平面内の骨密度変動の２次元表現を含む、［２１］～［２３］のいずれか一項に記載の方法。
［２５］ 前記骨密度メトリックの前記グラフィカル表現は、前記上腕骨頭の少なくとも骨梁内の骨密度変動の３次元表現を含む、［２１］～［２４］のいずれか一項に記載の方法。
［２６］ 上腕骨インプラントのステムサイズを生成するために畳み込みニューラルネットワークを前記患者固有の画像データに適用することを更に含み、前記患者に対する前記上腕骨インプラントタイプの前記推奨は、前記畳み込みニューラルネットワークから生成された前記ステムサイズを有する前記上腕骨インプラントタイプを含む、［１４］～［２５］のいずれか一項に記載の方法。
［２７］ 命令を含むコンピュータ可読記憶媒体であって、前記命令は、実行されると、処理回路に、
患者に関する患者固有の画像データ内の上腕骨頭を識別することと、
前記患者固有の画像データに基づいて、前記上腕骨頭の少なくとも一部の骨密度を表す骨密度メトリックを決定することと、
前記骨密度メトリックに基づいて、前記患者に対する上腕骨インプラントタイプの推奨を生成することと、
表示のために、前記患者に対する前記上腕骨インプラントタイプの前記推奨を出力することと
を行わせる、コンピュータ可読記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33A】
【図33B】
【図33C】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39A】
【図39B】
【図39C】
【図40】
【図41】
【図42】
【図43】
