特表 2022-532348 整形外科インプラント埋植のための骨壁追跡及びガイダンス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-14

(54)【発明の名称】整形外科インプラント埋植のための骨壁追跡及びガイダンス

(51)【国際特許分類】

   A61B 34/20 20160101AFI20220707BHJP

   A61F 2/38 20060101ALI20220707BHJP

【ＦＩ】

A61B34/20

A61F2/38

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021567858

(86)(22)【出願日】2020-05-01

(85)【翻訳文提出日】2021-12-17

(86)【国際出願番号】 US2020031111

(87)【国際公開番号】W WO2020231655

(87)【国際公開日】2020-11-19

(31)【優先権主張番号】62/847,740

(32)【優先日】2019-05-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/847,746

(32)【優先日】2019-05-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】504399967

【氏名又は名称】ハウメディカ・オステオニクス・コーポレーション

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100219542

【弁理士】

【氏名又は名称】大宅 郁治

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】ダッソンビル、バンジャマン

(72)【発明者】

【氏名】ガボリ、バンサン

(72)【発明者】

【氏名】カリウ、ダミアン

(72)【発明者】

【氏名】モルバン、ヤニック

【テーマコード（参考）】

4C097

【Ｆターム（参考）】

4C097AA11

4C097BB04

(57)【要約】

例となる方法は、患者の骨の一部分の仮想モデルを骨の対応する観察部分と位置合わせすることと、ここで、仮想モデルは、骨の壁の表現を含む、インプラント部品の仮想モデルを、対応する観察されたインプラント部品と位置合わせすることと、骨の一部分の位置合わせされた仮想モデル及びインプラント部品の位置合わせされた仮想モデルに基づいて、骨の壁の位置に対するインプラント部品の少なくとも一部分の位置を示すこととを含む。
【選択図】図３１

【特許請求の範囲】

【請求項1】

患者の骨の一部分の仮想モデルを前記骨の対応する観察部分と位置合わせすることと、ここで、前記仮想モデルは、前記骨の壁の表現を含む、
インプラント部品の仮想モデルを、対応する観察されたインプラント部品と位置合わせすることと、
前記骨の一部分の前記位置合わせされた仮想モデル及び前記インプラント部品の前記位置合わせされた仮想モデルに基づいて、前記骨の前記壁の位置に対する前記インプラント部品の少なくとも一部分の位置を示すことと
を備える方法。

【請求項2】

前記骨の一部分の前記仮想モデルは、前記骨の壁に対応する点の３次元メッシュを含み、前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面に対応する点の３次元メッシュを含む、請求項１に記載の方法。

【請求項3】

前記壁が外側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の内側皮質壁に対応する点の３次元メッシュを更に含む、請求項２に記載の方法。

【請求項4】

前記壁が内側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の外側皮質壁に対応する点の３次元メッシュを更に含む、請求項２に記載の方法。

【請求項5】

前記骨の壁の位置に対する前記インプラント部品の少なくとも前記一部分の位置を示すことは、前記インプラント部品の一部分と前記骨の壁の位置との間の推定距離を示すことを含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

少なくとも、
前記骨の一部分の前記仮想モデルの前記メッシュ上の点及び前記インプラント部品の前記仮想モデルの前記メッシュ上の点のそれぞれの対間のそれぞれの距離を決定することと、
前記決定されたそれぞれの距離の最小値を前記推定距離として識別することと
を行うことによって前記推定距離を推定することを更に含む、請求項５に記載の方法。

【請求項7】

前記推定距離を示すことは、前記推定距離の表現を出力することを含む、請求項６に記載の方法。

【請求項8】

前記表現を出力することは、
前記識別された最小距離が閾値距離未満であると決定したことに応答して、警告を出力すること
を含む、請求項７に記載の方法。

【請求項9】

前記推定距離の前記表現を出力することは、触覚出力、オーディオ出力、グラフィック出力、又はテキスト出力のうちの１つ又は複数を使用して前記表現を出力することを含む、請求項１から７のいずれか一項に記載の方法。

【請求項10】

前記表現を出力することは、触覚出力を使用して前記表現を出力することを含み、前記触覚出力は、デバイスを振動させる、請求項９に記載の方法。

【請求項11】

前記表現を出力することは、オーディオ出力を使用して前記表現を出力することを含み、前記オーディオ出力は、可聴トーンの放出を含む、請求項９に記載の方法。

【請求項12】

前記表現を出力することは、少なくとも、デバイスに、前記インプラント部品及び前記骨の相対位置のグラフィカル表現を表示させることによって、グラフィック出力を使用して前記表現を出力することを含む、請求項９に記載の方法。

【請求項13】

前記デバイスに、前記グラフィカル表現を表示させることは、
視覚化デバイスを介して、前記骨の一部分の前記仮想モデルを、前記視覚化デバイスを介して見ることができる前記骨の一部分上に重ねて表示することと、
前記視覚化デバイスを介して、前記インプラント部品の前記仮想モデルを、前記骨の一部分上に重ねて表示することと
を含む、請求項１２に記載の方法。

【請求項14】

前記表現を出力することは、少なくとも、デバイスに、前記推定距離の数値を表示させることによって、テキストを使用して前記表現を出力することを含む、請求項９に記載の方法。

【請求項15】

前記インプラント部品は、インプラントを含む、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

前記インプラントは、上腕骨インプラントのステムを含む、請求項１５に記載の方法。

【請求項17】

前記インプラント部品は、インプラントツールを含む、請求項１から１４のいずれか一項に記載の方法。

【請求項18】

前記インプラントツールは、スターターオウル、サウンダ、パンチ、コンパクタ、又はインサータハンドルのうちの１つ又は複数を含む、請求項１７に記載の方法。

【請求項19】

前記骨は上腕骨である、請求項１から１８のいずれか一項に記載の方法。

【請求項20】

前記上腕骨の一部分の前記仮想モデルは、上腕骨頭が前記上腕骨から切除された後の前記上腕骨の仮想モデルを含む、請求項１９に記載の方法。

【請求項21】

前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面の表現を含む、請求項１から２０のいずれか一項に記載の方法。

【請求項22】

前記インプラント部品の使用をガイドするための仮想ガイダンスを出力すること
を更に含む、請求項１から２１のいずれか一項に記載の方法。

【請求項23】

メモリと、
１つ又は複数のセンサと
処理回路と
を備える仮想手術システムであって、前記処理回路は、
前記１つ又は複数のセンサを使用して、患者の骨の一部分の仮想モデルを前記骨の対応する観察部分と位置合わせすることと、ここで、前記仮想モデルは、前記骨の壁の表現を含む、
前記１つ又は複数のセンサを使用して、インプラント部品の仮想モデルを、対応する観察されたインプラント部品と位置合わせすることと、
前記骨の一部分の前記位置合わせされた仮想モデル及び前記インプラント部品の前記位置合わせされた仮想モデルに基づいて、前記骨の壁の位置に対する前記インプラント部品の少なくとも一部分の位置を示すことと
を行うように構成されている、仮想手術システム。

【請求項24】

前記骨の一部分の前記仮想モデルは、前記骨の壁に対応する点の３次元メッシュを含み、前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面に対応する点の３次元メッシュを含む、請求項２３に記載の仮想手術システム。

【請求項25】

前記壁が外側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の内側皮質壁に対応する点の３次元メッシュを更に含む、請求項２４に記載の仮想手術システム。

【請求項26】

前記壁が内側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の外側皮質壁に対応する点の３次元メッシュを更に含む、請求項２４に記載の仮想手術システム。

【請求項27】

前記骨の壁の位置に対する前記インプラント部品の少なくとも前記一部分の位置を示すことは、前記インプラント部品の一部分と前記骨の壁の位置との間の推定距離を示すことを含む、請求項２３から２６のいずれか一項に記載の仮想手術システム。

【請求項28】

前記処理回路は、少なくとも、
前記骨の一部分の前記仮想モデルの前記メッシュ上の点及び前記インプラント部品の前記仮想モデルの前記メッシュ上の点のそれぞれの対間のそれぞれの距離を決定することと、
前記決定されたそれぞれの距離の最小値を前記推定距離として識別することと
を行うことによって前記推定距離を推定するように更に構成されている、請求項２７に記載の仮想手術システム。

【請求項29】

前記推定距離を示すために、前記処理回路は、前記推定距離の表現を出力するように構成されている、請求項２８に記載の仮想手術システム。

【請求項30】

前記表現を出力するために、前記処理回路は、
前記識別された最小距離が閾値距離未満であると決定したことに応答して、警告を出力する
ように構成されている、請求項２９に記載の仮想手術システム。

【請求項31】

前記推定距離の前記表現を出力するために、前記処理回路は、触覚出力、オーディオ出力、グラフィック出力、又はテキスト出力のうちの１つ又は複数を使用して前記表現を出力するように構成されている、請求項２３から２９のいずれか一項に記載の仮想手術システム。

【請求項32】

前記表現を出力するために、前記処理回路は、触覚出力を使用して前記表現を出力するように構成されており、前記触覚出力は、前記仮想手術システムのデバイスを振動させる、請求項３１に記載の仮想手術システム。

【請求項33】

前記表現を出力するために、前記処理回路は、少なくとも、前記仮想手術システムの１つ又は複数のスピーカに、可聴トーンを放出させることによって、オーディオ出力を使用して前記表現を出力するように構成されている、請求項３１に記載の仮想手術システム。

【請求項34】

前記表現を出力するために、前記処理回路は、少なくとも、前記仮想手術システムのデバイスに、前記インプラント部品及び前記骨の相対位置のグラフィカル表現を表示させることによって、グラフィック出力を使用して前記表現を出力するように構成されている、請求項３１に記載の仮想手術システム。

【請求項35】

前記デバイスに、前記グラフィカル表現を表示させるために、前記処理回路は、前記仮想手術システムの視覚化デバイスに、
前記骨の一部分の前記仮想モデルを、前記視覚化デバイスを介して見ることができる前記骨の一部分上に重ねて表示することと、
前記インプラント部品の前記仮想モデルを、前記骨の一部分上に重ねて表示することと
を行わせるように構成されている、請求項３４に記載の仮想手術システム。

【請求項36】

前記表現を出力するために、前記処理回路は、少なくとも、前記仮想手術システムのデバイスに、前記推定距離の数値を表示させることによって、テキスト出力を使用して前記表現を出力するように構成されている、請求項３１に記載の仮想手術システム。

【請求項37】

前記インプラント部品は、インプラントを含む、請求項２３から３６のいずれか一項に記載の仮想手術システム。

【請求項38】

前記インプラントは、上腕骨インプラントのステムを含む、請求項３７に記載の仮想手術システム。

【請求項39】

前記インプラント部品は、インプラントツールを含む、請求項２３から３６のいずれか一項に記載の仮想手術システム。

【請求項40】

前記インプラントツールは、スターターオウル、サウンダ、パンチ、コンパクタ、又はインサータハンドルのうちの１つ又は複数を含む、請求項３９に記載の仮想手術システム。

【請求項41】

前記骨は上腕骨である、請求項２３から４０のいずれか一項に記載の仮想手術システム。

【請求項42】

前記上腕骨の一部分の前記仮想モデルは、上腕骨頭が前記上腕骨から切除された後の前記上腕骨の仮想モデルを含む、請求項４１に記載の仮想手術システム。

【請求項43】

前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面の表現を含む、請求項２３から４２のいずれか一項に記載の仮想手術システム。

【請求項44】

前記処理回路は、前記インプラント部品の使用をガイドするための仮想ガイダンスを出力するように更に構成されている、請求項２３から４３のいずれか一項に記載の仮想手術システム。

【請求項45】

実行されると、仮想手術システムの１つ又は複数のプロセッサに、請求項１から２２のいずれか一項に記載の方法を実行させる命令を記憶する、コンピュータ可読記憶媒体。

【請求項46】

請求項１から２２のいずれか一項に記載の方法を実行するための手段を備える、仮想手術システム。

【発明の詳細な説明】

【関連出願】

【0001】

[0001]本特許出願は、それぞれの内容全体が参照により本明細書に組み込まれる、２０１９年５月１４日に出願された米国仮特許出願第６２／８４７，７４０号及び２０１９年５月１４日に出願された米国仮特許出願第６２／８４７，７４６号の利益を主張する。

【技術分野】

【0002】

[0002]本開示は、整形外科手術中の骨壁追跡に関する。

【背景技術】

【0003】

[0003]外科的関節修復処置は、損傷又は罹患した関節の修復術及び／又は置換術を含む。多くの場合、一例として関節形成術のような外科的関節修復処置は、損傷した関節を、患者の骨の中に埋め込まれるプロテーゼに置換することを含む。最適な手術結果を確実にするための適切にサイズ決定及び成形されたプロテーゼの適切な選択及びそのプロテーゼの適切な位置決めは困難であり得る。位置決めを支援するために、外科手術では、多くの場合、損傷した骨の表面の成形と、プロテーゼを受け入れるための骨の切断又は穿孔とを制御するために手術器具の使用を伴う。

【0004】

[0004]今日では、関節修復術及び置換術のための術前計画を容易にするために骨の形状の３次元モデリングを使用する視覚化ツールが外科医に利用可能である。これらのツールは、患者の解剖学的構造に厳密に一致するインプラント及びサージカルガイドの設計及び／又は選択に関して外科医を支援することができ、患者ごとに手術計画をカスタマイズすることによって手術結果を改善することができる。

【発明の概要】

【0005】

[0005]本開示は、外科的関節修復処置のための術中ガイダンスのための様々な技法を説明する。本技法は、外科的関節修復処置のための特定の段階若しくは設定をサポートするために、又は外科的関節修復処置をサポートするための多面的生態系を提供するために、独立して又は様々な組合せで使用され得る。様々な例では、本開示は、複合現実（ＭＲ）ベースの視覚化を使用した術中手術ガイダンス、術中手術追跡、及び術後分析のための技法について説明する。

【0006】

[0006]本開示の様々な例の詳細は、添付の図面及び以下の説明に記載されている。様々な特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0007】

【図1】[0007]図１は、本開示の一例による、整形外科手術システムのブロック図である。

【図2】[0008]図２は、本開示の一例による、複合現実（ＭＲ）システムを含む整形外科手術システムのブロック図である。

【図3】[0009]図３は、外科的ライフサイクルの例となる段階を例示するフローチャートである。

【図4】[0010]図４は、本開示の一例による、複合現実（ＭＲ）システムで使用するための視覚化デバイスの概略図である。

【図5】[0011]図５は、本開示の一例による、複合現実（ＭＲ）システムで使用するための視覚化デバイスの例となる構成要素を例示するブロック図である。

【図6】[0012]図６は、外科的ライフサイクルの術前段階における例となるステップを例示するフローチャートである。

【図7】[0013]図７は、肩関節修復手術の例となる段階を例示するフローチャートである。

【図8A】[0014]図８Ａは、関節修復手術中、３次元仮想骨モデルを患者の観察された実際の骨構造と位置合わせするための例となる技法を例示する。

【図8B】図８Ｂは、関節修復手術中、３次元仮想骨モデルを患者の観察された実際の骨構造と位置合わせするための例となる技法を例示する。

【図9】[0015]図９は、肩関節形成処置のための例となる位置合わせプロセスのステップを例示する概念図である。

【図10】[0016]図１０は、図９の肩関節形成処置の例となる位置合わせプロセスの追加のステップを例示する概念図である。

【図11】[0017]図１１は、肩関節形成処置のための例となる位置合わせプロセスを更に例示する概念図である。

【図12】図１２は、肩関節形成処置のための例となる位置合わせプロセスを更に例示する概念図である。

【図13】[0018]図１３は、仮想マーカを使用した例となる位置合わせ手順を例示する概念図である。

【図14】[0019]図１４は、仮想マーカを使用した図１３の例となる位置合わせ手順の追加のステップを例示する概念図である。

【図15】[0020]図１５は、本開示の一例による、複合現実（ＭＲ）システムのオーグメント手術モード（augment surgery mode）にあるときにユーザが知覚可能な画像を例示する。

【図16】[0021]図１６は、本開示の一例による、図１の複合現実（ＭＲ）システムで採用可能な追跡マーカの例を例示する。

【図17】[0022]図１７は、本開示の一例による、複合現実（ＭＲ）システムのオーグメント手術モードにおいて追跡するためのプロセスフローの例である。

【図18A】[0023]図１８Ａは、肩関節形成処置において外科医が上腕骨の上腕骨頭を切除するために実行し得るステップを例示する。

【図18B】図１８Ｂは、肩関節形成処置において外科医が上腕骨の上腕骨頭を切除するために実行し得るステップを例示する。

【図18C】図１８Ｃは、肩関節形成処置において外科医が上腕骨の上腕骨頭を切除するために実行し得るステップを例示する。

【図19】[0024]図１９は、肩関節形成処置において上腕骨頭を切除するための機械的ガイドを例示する。

【図20】[0025]図２０は、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨頭に機械的ガイドを設置するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図21】図２１は、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨頭に機械的ガイドを設置するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図22A】[0026]図２２Ａは、ＭＲシステムが表示し得る仮想マーカの例を例示する。

【図22B】図２２Ｂは、ＭＲシステムが表示し得る仮想マーカの例を例示する。

【図22C】図２２Ｃは、ＭＲシステムが表示し得る仮想マーカの例を例示する。

【図22D】図２２Ｄは、ＭＲシステムが表示し得る仮想マーカの例を例示する。

【図23A】[0027]図２３Ａは、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨頭を切除するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図23B】図２３Ｂは、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨頭を切除するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図23C】図２３Ｃは、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨頭を切除するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図24】[0028]図２４は、本開示の１つ又は複数の技法による、肩関節形成処置において仮想ガイダンスを使用して位置決めされる上腕骨頭切除のための物理的ガイドを例示する概念図である。

【図25】[0029]図２５は、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨にパイロットホールを作成するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図26】図２６は、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨にパイロットホールを作成するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図27】[0030]図２７は、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨をサウンディングするための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図28】[0031]図２８は、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨を穿孔するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図29】[0032]図２９は、本開示の１つ又は複数の技法による、肩関節形成処置において上腕骨をコンパクティングする（compact）ための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図30】[0033]図３０は、本開示の１つ又は複数の技法による、肩関節形成処置においてインプラントを上腕骨に取り付けるための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。

【図31】[0034]図３１は、本開示の１つ又は複数の技法による、インプラント又はインプラントツールと骨との間の空間的関係を監視するための例となるプロセスを例示するフローチャートである。

【図32A】[0035]図３２Ａは、本開示の１つ又は複数の技法による、骨及びインプラントの例となる仮想モデルを例示する概念図である。

【図32B】図３２Ｂは、本開示の１つ又は複数の技法による、骨及びインプラントの例となる仮想モデルを例示する概念図である。

【図32C】図３２Ｃは、本開示の１つ又は複数の技法による、骨及びインプラントの例となる仮想モデルを例示する概念図である。

【図32D】図３２Ｄは、本開示の１つ又は複数の技法による、骨及びインプラントの例となる仮想モデルを例示する概念図である。

【図32E】図３２Ｅは、本開示の１つ又は複数の技法による、骨及びインプラントの例となる仮想モデルを例示する概念図である。

【図33】[0036]図３３は、本開示の技法の別の例による、例となるインプラント部品位置決めデバイスを示す。

【図34】[0037]図３４は、骨壁の外径とインプラント部品の外径との間の距離を測定するために使用されている図３３のインプラント部品位置決めデバイスの例を示す。

【図35】[0038]図３５は、本開示の技法による、例となるインプラント部品位置決めデバイスを示す。

【図36】[0039]図３６は、骨壁の外径とインプラント部品の外径との間の距離を測定するために使用されている図３５のインプラント部品位置決めデバイスの例を示す。

【図37】[0040]図３７は、本開示の技法による、別の例となるインプラント部品位置決めデバイスを示す。

【図38】[0041]図３８は、本開示の技法による、外科チームに提示され得る画像の例を示す。

【図39】[0042]図３９は、本開示の技法による、システムによって実行され得るプロセスを例示するフロー図を示す。

【図40】[0043]図４０は、本開示の１つ又は複数の技法による、ＭＲシステムによって提供され得、二次ビューウィンドウを提供する例となるビューの概念図である。

【発明を実施するための形態】

【0008】

[0044]いくつかの整形外科手術では、骨折などの骨損傷を回避するために、例えば、外科医によるインプラント部品の埋植中に、選択された骨表面に向かうそのような部品のエクスカーションを回避、低減、又は制限することが一般に望ましいであろう。一例として、上腕骨プロテーゼを固定するために、上腕骨インプラントのステムが上腕骨管内に配置され得る。ステムを上腕骨管内に配置する際、ステムが上腕骨の皮質骨の内壁に近づきすぎないようにして、骨折のリスクを低減することが一般に望ましい。追加的に、インプラントの遠位接触により応力遮蔽が生じる可能性があり、これは、時間の経過と共に骨損失を発生させ得る。外科手術中の骨の視認性が低い又はないこと、患者間の骨質の差、及び他の問題により、インプラント部品がいつ上腕骨管の皮質骨の内壁などの選択された骨表面に近づくかを予測することは困難であり得る。本開示の技法は、外科手術中にインプラント又はインプラントツール（一般にインプラント部品と呼ばれる）の少なくとも一部と骨表面との間の空間的関係を監視し、いくつかの例では、外科手術中に監視された空間的関係に基づいて外科医に情報を提供して、例えば、外科医が、骨に向かうインプラント部品の移動を制限し、それによって骨折のリスクを低減することを可能にするための例を含む。外科医に提供される情報は、外科医がインプラント部品を設置する際の指針となり得るか、又は異なるサイズ若しくは形状のインプラント部品が望ましいことを外科医に示し得る。

【0009】

[0045]本開示で使用される場合、インプラント部品という用語は、埋込型プロテーゼ、埋込型プロテーゼの一部、又は埋込型プロテーゼの埋込みに関連する任意の他の部品若しくはツールを指し得る総称であることが意図される。インプラント部品の例には、例えば、上腕骨インプラントの上腕骨ステム、関節窩インプラント、アンカー、ねじ、及びコンパクティングツールが含まれる。

【0010】

[0046]本開示は、インプラント又はインプラントツールと骨表面との間の空間的関係を監視するための複数の異なる技法を含む。これらの技法は、単独で使用され得るか、又は組み合わせて使用され得る。

【0011】

[0047]本開示の第１の技法によれば、第１のセンサとインプラント部品との間の距離を表す第１の距離値を取得し、第２のセンサと骨の外壁との間の距離を表す第２の距離値を取得するために、少なくとも２つのセンサを有するシステムが使用され得る。第１の距離値から第２の距離値を差し引くことによって、システムは、インプラント部品と骨の外壁との間の距離を決定することができる。骨壁の決定又は推定された厚さに基づいて、システムは、追加的又は代替的に、インプラント部品と骨の内壁との間の距離を決定することができる。決定された距離の一方又は両方に基づいて、システムは、外科医が手術を行う際の指針となる１つ又は複数の出力を外科医に提示することができる。出力は、例えば、手術を受けている骨がインプラント部品によって骨折する危険にさらされていないことを示すインジケータとして機能し得るか、又は手術を受けている骨がインプラント部品によって今にも骨折する危険にさらされていることを示すインジケータとして機能し得る。インプラントの進行状況の表示に基づいて又は本開示の技法に従って生成されたアラート若しくは通知に基づいて、外科医は、例えば、骨折が起こる前に現在のインプラント部品の埋込みを停止し得る。場合によっては、そのようなアラート又は通知に基づいて、外科医は、より短い、より小さい円周若しくは直径を有する、異なる形状を有するより小さいインプラント部品などの異なるインプラント部品を埋め込むことを選択し得る。

【0012】

[0048]本開示の第２の技法によれば、システムは、インプラント及び骨の両方の仮想モデルを、インプラント及び骨の対応する観察部分に位置合わせし得る。インプラントの仮想モデルは、少なくとも、インプラントの外面の表現（例えば、メッシュ又は点群）を含み得、骨の仮想モデルは、少なくとも、骨の１つ又は複数の壁（例えば、内壁及び／又は外壁）の表現を含み得る。システムは、仮想モデルの相対位置を監視し得る。仮想モデルが対応する観察された構造（例えば、外部から見える骨及び／又は骨に取り付けられたマーカ）に位置合わせされると、仮想モデルの相対位置は、対応する観察された構造の相対位置に対応し得る。換言すると、仮想モデルによって表されるインプラントの外面と骨の壁（複数可）との相対位置は、インプラントの実際の外面及び骨の実際の壁（複数可）に対応し得る。仮想モデルの相対位置に基づいて、システムは、インプラントと骨との間の距離（例えば、インプラントの外面と骨の内壁との間の距離、及び／又はインプラントの外面と骨の外壁との間の距離の一方又は両方）を決定し得る。第１の技法と同様に、システムは、決定された距離に基づいて外科医がインプラント埋植手術を行う際の指針となることができる１つ又は複数の出力を外科医に提示することができる。

【0013】

[0049]外科チームは、インプラント部品のサイズ（例えば、円周及び長さ）並びにインプラント部品のインプラント深さを選択するために、ＣＴスキャン又はＭＲＩなどの術前撮像に依拠し得る。外科チームはまた、術後撮像を使用して、インプラントが適切に設置されたことを確認することができる。しかしながら、そのような撮像は、一般に、術中の意思決に使用することはできない。本開示の技法により、システムは、インプラント深さ及び皮質壁までの距離に関するより正確な情報を外科医に提供することができ、これにより、いつ骨折する危険があるかについてのより良い見解が外科医に提供され得るため、外科医は、骨折を回避するために異なるサイズ又は形状のインプラント部品を選択するといった措置を取ることができる。

【0014】

[0050]以下でより詳細に説明されるように、本開示のシステムは、単一のデバイスを含み得るか、又はディスプレイデバイスにワイヤード又はワイヤレスで接続されているセンサデバイスなど、２つ以上の別個のデバイスを含み得る。システムは、追加的又は代替的に、インプラント部品及び骨の両方の仮想モデルをインプラント及び骨の対応する観察部分に位置合わせする、１つ又は複数の画像ベースのデバイスを含み得る。本開示の技法の多くは、例示の目的で、肩関節形成処置の一部としてヒトの腕の上腕骨管又は上腕骨の中に埋め込まれる上腕骨インプラントステムに関して説明される。反対に述べられない限り、説明される技法は、他の関節、他の骨、及び他の四肢に対して行われる手術にも適用可能であり得ることが想定されるべきである。従って、本開示で説明される技法は、肩関節形成処置に限定されると見なされるべきではなく、代わりに、他の処置において及び他の関節、骨、又は四肢に対して適用され得る。

【0015】

[0051]整形外科手術は、患者の損傷又は罹患した関節を修復又は置換するために、１つ又は複数の補綴具を埋め込むことを伴い得る。今日では、罹患又は損傷した関節の画像データを使用して、外科医が術前に見たり操作したりすることができる正確な３次元骨モデルを生成する仮想手術計画ツールが利用可能である。これらのツールにより、外科医は、手術をシミュレートすること、患者の実際の骨の輪郭により厳密に一致するインプラントを選択又は設計すること、及び特定の患者の骨を修復するのに特に適している手術器具及びガイドツールを選択又は設計することができ、手術結果を向上させることができる。これらの計画ツールを使用することにより、典型的には、個々の患者のために選択又は製造されるインプラント及び手術器具を備えた術前手術計画が生成される。多くの場合、実際の手術環境に入ると、外科医は、手術中に患者の実際の骨に照らして術前手術計画を検証することを望み得る。

【0016】

[0052]この検証の結果、異なるインプラント、インプラントの異なる位置決め若しくは向き、及び／又は手術計画を実行するための異なるサージカルガイドなど、術前手術計画に対して調整が必要であると決定され得る。加えて、外科医は、インプラント部品をより効率的かつ正確に位置決め及び方向付けするために、実際の処置中に、患者の実際の骨に照らして術前手術計画の詳細を見たい場合がある。例えば、外科医は、インプラント部品の位置決め及び方向付けのためのガイダンス、インプラント部品を受け入れるための骨若しくは組織の準備のためのガイダンス、処置若しくは処置ステップの詳細を検討するためのガイダンス、並びに／又はツール若しくはインプラントの選択及び外科手術ワークフローの追跡のためのガイダンスを提供する術中の視覚化を取得したいと望み得る。

【0017】

[0053]従って、本開示は、複合現実（ＭＲ）視覚化システムを使用して、外科手術の前及びその間の手術計画の作成、実装、検証、及び／又は修正を支援するためのシステム及び方法を説明する。手術計画と対話するためにＭＲ、又はいくつかの事例ではＶＲが使用され得るため、本開示では、手術計画を「仮想」手術計画とも呼び得る。複合現実視覚化システム以外の又はそれに加えて、視覚化ツールが、本開示の技法に従って使用され得る。例えば、Ｗｒｉｇｈｔ Ｍｅｄｉｃａｌ Ｇｒｏｕｐ，Ｎ．Ｖ．から入手可能なＢＬＵＥＰＲＩＮＴ（登録商標）システム若しくは別の手術計画プラットフォームによって生成されるような手術計画は、例えば、骨若しくは組織準備ステップ並びに／又はインプラント部品の選択、修正、及び／若しくは埋植のためのステップを含む手術計画に従って外科医によって患者に対して実行される特定の外科手術ステップの特徴など、外科手術の様々な特徴を定義する情報を含み得る。そのような情報は、様々な例では、外科医によって選択又は修正されることとなるインプラント部品の寸法、形状、角度、表面輪郭、及び／又は向き、骨又は組織準備ステップにおいて外科医によって骨又は組織において画定されることとなる寸法、形状、角度、表面輪郭、及び／又は向き、並びに／あるいは外科医による、患者の骨又は組織に対するインプラント部品の埋植を画定する位置、軸、平面、角度、及び／又は侵入点を含み得る。患者の解剖学的特徴の寸法、形状、角度、表面輪郭、及び／又は向きなどの情報は、撮像（例えば、Ｘ線、ＣＴ、ＭＲＩ、超音波、又は他の画像）、直接観察、又は他の技法から導出され得る。いくつかの例では、仮想

【0018】

[0054]本開示では、「複合現実」（ＭＲ）という用語は、実際の物理的オブジェクトと仮想オブジェクトの両方を含む画像をユーザが見るような仮想オブジェクトの提示を指す。仮想オブジェクトは、共存するものとして提示される物理的な現実世界の環境において実際には存在しないテキスト、２次元表面、３次元モデル、又はユーザ知覚可能な他の要素を含み得る。加えて、本開示の様々な例において説明される仮想オブジェクトは、例えば、３Ｄ仮想オブジェクト又は２Ｄ仮想オブジェクトとして提示されるグラフィックス、画像、アニメーション、又はビデオを含み得る。仮想オブジェクトは、仮想要素とも呼ばれ得る。そのような要素は、現実世界のオブジェクトの類似体であってもなくてもよい。いくつかの例では、複合現実において、カメラは、現実世界の画像をキャプチャし、現実世界のコンテキストにおいて仮想オブジェクトを提示するように画像を修正し得る。そのような例では、修正された画像は、画面上に表示され得、画面は、頭部装着型、手持ち式、又は他の方法でユーザが見ることができるものであり得る。いくつかの例では、複合現実において、導波路と呼ばれ得るシースルー（例えば、透明な）ホログラフィックレンズは、ユーザが、ホログラフィックレンズを通して、現実世界のオブジェクト、すなわち、実際の解剖学的構造などの現実世界の環境における実際のオブジェクトを見ると同時に仮想オブジェクトも見ることを可能にし得る。

【0019】

[0055]ワシントン州レドモンドのマイクロソフト社から入手可能なMicrosoft HOLOLENS（登録商標）ヘッドセットは、ユーザがレンズを通して現実世界のオブジェクトを見ると同時に、投影された３Ｄホログラフィックオブジェクトを見ることを可能にする、導波路と呼ばれることもあるシースルーホログラフィックレンズを含むＭＲデバイスの一例である。Microsoft HOLOLENS（登録商標）ヘッドセット又は同様の導波路ベースの視覚化デバイスは、本開示のいくつかの例に従って使用され得るＭＲ視覚化デバイスの例である。いくつかのホログラフィックレンズは、ユーザが現実世界のオブジェクトと仮想のホログラフィックオブジェクトとを見ることができるように、シースルーホログラフィックレンズを通してある程度の透明性を有するホログラフィックオブジェクトを提示し得る。いくつかの例では、いくつかのホログラフィックレンズは、時々、ユーザに対して現実世界のオブジェクトを全く見えないようにし得、代わりに、ユーザが仮想環境だけを見ることを可能にし得る。複合現実という用語はまた、１人以上のユーザがホログラフィック投影によって生成された１つ又は複数の仮想オブジェクトを知覚することができるシナリオを包含し得る。換言すると、「複合現実」は、ホログラフィックプロジェクタが、ユーザの実際の物理的環境内に存在するようにユーザに表示される要素のホログラムを生成する場合を包含し得る。

【0020】

[0056]いくつかの例では、複合現実において、いくつかの又は全ての提示された仮想オブジェクトの位置は、現実世界における物理的オブジェクトの位置と関係がある。例えば、ユーザがテーブルの方向を見ているときにはユーザが仮想オブジェクトを見ることができるが、テーブルがユーザの視野内にないときには仮想オブジェクトを見ないように、仮想オブジェクトが現実世界のテーブルにテザーされ得る。いくつかの例では、複合現実において、いくつかの又は全ての提示された仮想オブジェクトの位置は、現実世界における物理的オブジェクトの位置とは無関係である。例えば、仮想アイテムは、ユーザがどこを見ているかにかかわらず、常にユーザの視野の右上に表示され得る。

【0021】

[0057]拡張現実（ＡＲ）は、現実世界の要素と仮想要素の両方を提示する点がＭＲと類似しているが、ＡＲは一般に、大部分が現実で、現実世界の提示を「拡張する」ためにいくつかの仮想が追加されている提示を指す。本開示の目的のために、ＭＲは、ＡＲを含むものと見なされる。例えば、ＡＲでは、ユーザの物理的環境の影になっている部分を、ユーザの物理的環境の他の領域を明るくすることなく、選択的に明るくすることができる。この例は、選択的に明るくされたエリアが、ユーザの物理的環境の影になっている部分に重ね合わされた仮想オブジェクトと見なされ得るという点で、ＭＲの事例でもある。

【0022】

[0058]更に、本開示では、「仮想現実」（ＶＲ）という用語は、ユーザがコンピュータによって提供される感覚刺激（視覚及び音など）を通して体験する没入型の人工環境を指す。従って、仮想現実では、ユーザは、現実世界に存在する物理的オブジェクトを見ることはない。仮想世界に設定されたビデオゲームは、ＶＲの一般的な例である。「ＶＲ」という用語はまた、いくつかの仮想オブジェクトの位置が、ユーザに関連する対応する物理的オブジェクトの位置に基づく、完全人工環境がユーザに提示されるシナリオを包含する。ウォークスルーＶＲアトラクションは、このタイプのＶＲの例である。

【0023】

[0059]「エスクテンデッドリアリティ」（ＸＲ）という用語は、仮想現実、複合現実、拡張現実、及びユーザの現実世界の環境には存在しない少なくともいくつかの知覚可能な要素をユーザの環境に存在するように提示することを伴う他のユーザ体験を含む、ユーザ体験のスペクトルを包含する用語である。従って、「エスクテンデッドリアリティ」という用語は、ＭＲ及びＶＲの属と見なされ得る。ＸＲ視覚化は、本開示の他の箇所で述べる複合現実を提示するための技法のいずれかで提示され得るか、又はＶＲゴーグルなどのＶＲを提示するための技法を使用して提示され得る。

【0024】

[0060]これらの複合現実システム及び方法は、手術結果を向上させるために使用され得る複数のサブシステムを含むインテリジェント手術計画システムの一部であり得る。上述した術前及び術中アプリケーションに加えて、インテリジェント手術計画システムは、患者の回復を支援するための術後ツールを含むことができ、それは、将来の外科的再置換又は他の患者のための手術例を支援及び計画するために使用されることができる情報を提供することができる。

【0025】

[0061]従って、計画するのを支援するための人工知能システム、医療提供者及び人工知能システムが使用する術後フィードバックを提供するための埋め込みセンサ付きのインプラント（例えば、スマートインプラント）、並びにリアルタイム又はほぼリアルタイムで患者及び医療提供者に情報を監視及び提供するためのモバイルアプリケーションなどのインテリジェント手術計画システムに組み込まれることができるシステム及び方法もまた本明細書で説明される。

【0026】

[0062]患者画像データを利用して骨輪郭の３次元モデルを生成し、関節修復術及び置換術の術前計画を容易にする視覚化ツールが利用可能である。これらのツールは、外科医が、患者の解剖学的構造に厳密に一致するサージカルガイド及びインプラント部品を設計及び／又は選択することを可能にする。これらのツールは、患者ごとに手術計画をカスタマイズすることによって手術結果を改善することができる。肩関節修復術のためのそのような視覚化ツールの例は、Ｗｒｉｇｈｔ Ｍｅｄｉｃａｌ Ｇｒｏｕｐ，Ｎ．Ｖ．から入手可能なＢＬＵＥＰＲＩＮＴ（登録商標）システムである。ＢＬＵＥＰＲＩＮＴ（登録商標）システムは、骨修復領域の２次元平面ビューだけでなく該修復領域の３次元仮想モデルも外科医に提供する。外科医は、ＢＬＵＥＰＲＩＮＴ（登録商標）システムを使用して、適切なインプラント部品を選択、設計、又は修正すること、インプラント部品を位置決め及び方向付けする最良の方法とこの部品を受け入れるように骨の表面を成形する方法とを決定すること、及び手術計画を実行するためのサージカルガイドツール（複数可）又は器具を設計、選択、又は修正することができる。ＢＬＵＥＰＲＩＮＴ（登録商標）システムによって生成された情報は、実際の手術の前及び最中を含めて、外科医又は他のケア提供者がアクセスすることができる適切な位置（例えば、ワイドエリアネットワーク、ローカルエリアネットワーク、又はグローバルネットワーク内のサーバ上）のデータベースに記憶された患者のための術前手術計画にコンパイルされる。

【0027】

[0063]図１は、本開示の一例による整形外科手術システム１００のブロック図である。整形外科手術システム１００は、サブシステムのセットを含む。図１の例では、サブシステムは、仮想計画システム１０２と、計画支援システム１０４と、製造及び送達システム１０６と、術中ガイダンスシステム１０８と、医療教育システム１１０と、モニタリングシステム１１２と、予測分析システム１１４と、通信ネットワーク１１６とを含む。他の例では、整形外科手術システム１００は、より多い、より少ない、又は異なるサブシステムを含み得る。例えば、整形外科手術システム１００は、医療教育システム１１０、モニタリングシステム１１２、予測分析システム１１４、及び／又は他のサブシステムを省略し得る。いくつかの例では、整形外科手術システム１００は、手術追跡に使用され得、その場合、整形外科手術システム１００は、手術追跡システムと呼ばれ得る。他の場合には、整形外科手術システム１００は、一般に、医療機器システムと呼ばれ得る。

【0028】

[0064]整形外科手術システム１００のユーザは、整形外科手術を計画するために、仮想計画システム１０２を使用し得る。整形外科手術システム１００のユーザは、計画支援システム１０４を使用して、整形外科手術システム１００を使用して生成された手術計画を検討し得る。製造及び送達システム１０６は、整形外科手術を行うために必要とされるアイテムの製造及び送達を支援し得る。術中ガイダンスシステム１０８は、整形外科手術を行う際に整形外科手術システム１００のユーザを支援するためのガイダンスを提供する。医療教育システム１１０は、医療専門家、患者、及び他のタイプの個人のようなユーザの教育を支援し得る。術前及び術後モニタリングシステム１１２は、患者が手術を受ける前及び手術を受けた後に患者を監視することを支援し得る。予測分析システム１１４は、様々なタイプの予測で医療専門家を支援し得る。例えば、予測分析システム１１４は、人工知能技法を適用して、整形外科関節の状態の分類の決定、例えば診断、患者に対してどのタイプの手術を行うか及び／又は手術でどのタイプのインプラントを使用するかの決定、手術中に必要とされ得るアイテムのタイプの決定などを行い得る。

【0029】

[0065]整形外科手術システム１００のサブシステム（すなわち、仮想計画システム１０２、計画支援システム１０４、製造及び送達システム１０６、術中ガイダンスシステム１０８、医療教育システム１１０、術前及び術後モニタリングシステム１１２、並びに予測分析システム１１４）は、様々なシステムを含み得る。整形外科手術システム１００のサブシステム内のシステムは、様々なタイプのコンピューティングシステム、サーバコンピュータ、パーソナルコンピュータ、タブレットコンピュータを含むコンピューティングデバイス、スマートフォン、ディスプレイデバイス、モノのインターネット（ＩｏＴ）デバイス、視覚化デバイス（例えば、複合現実（ＭＲ）視覚化デバイス、仮想現実（ＶＲ）視覚化デバイス、ホログラフィックプロジェクタ、又はエスクテンデッドリアリティ（ＸＲ）視覚化を提示するための他のデバイス）、手術用具などを含み得る。ホログラフィックプロジェクタは、いくつかの例では、ヘッドセットを装着しているユーザだけが見るのではなく、ヘッドセットなしで複数のユーザ又は単一のユーザが全体的に見るためのホログラムを投影し得る。例えば、仮想計画システム１０２は、ＭＲ視覚化デバイス及び１つ又は複数のサーバデバイスを含み得、計画支援システム１０４は、１つ又は複数のパーソナルコンピュータ及び１つ又は複数のサーバデバイスなどを含み得、他も同様である。コンピューティングシステムは、システムとして動作するように構成された１つ又は複数のコンピューティングシステムのセットである。いくつかの例では、１つ又は複数のデバイスが、整形外科手術システム１００のサブシステムのうちの２つ以上の間で共有され得る。例えば、前述の例では、仮想計画システム１０２及び計画支援システム１０４は、同じサーバデバイスを含み得る。

【0030】

[0066]図１の例では、整形外科手術システム１００のサブシステム内に含まれるデバイスは、通信ネットワーク１１６を使用して通信し得る。通信ネットワーク１１６は、インターネット、ローカルエリアネットワークなどの１つ又は複数のワイドエリアネットワークを含む様々なタイプの通信ネットワークを含み得る。いくつかの例では、通信ネットワーク１１６は、ワイヤード及び／又はワイヤレス通信リンクを含み得る。

【0031】

[0067]整形外科手術システム１００の多くの変形例が、本開示の技法に従って可能である。そのような変形例は、図１に示される整形外科手術システム１００のバージョンよりも多い又は少ないサブシステムを含み得る。例えば、図２は、本開示の一例による、１つ又は複数の複合現実（ＭＲ）システムを含む、整形外科手術システム２００のブロック図である。整形外科手術システム２００は、手術計画を作成、検証、更新、修正、及び／又は実装するために使用され得る。いくつかの例では、手術計画は、例えば、仮想手術計画システム（例えば、ＢＬＵＥＰＲＩＮＴ（登録商標）システム）を使用することで手術前に作成され、次いで、例えば、手術計画のＭＲ視覚化を使用して、手術中に検証、修正、更新、及び閲覧され得る。他の例では、整形外科手術システム２００は、必要に応じて、手術の直前に又は術中に手術計画を作成するために使用され得る。いくつかの例では、整形外科手術システム２００は、手術追跡に使用され得、その場合、整形外科手術システム２００は、手術追跡システムと呼ばれ得る。他の場合には、整形外科手術システム２００は、一般に、医療機器システムと呼ばれ得る。

【0032】

[0068]図２の例では、整形外科手術システム２００は、術前手術計画システム２０２と、医療施設２０４（例えば、外科センター又は病院）と、記憶システム２０６と、ネットワーク２０８とを含み、ネットワーク２０８は、医療施設２０４のユーザが、（例として）病歴、損傷した関節又は骨に対応する画像データ、及び術前に記憶された患者情報にアクセスすることを可作成された手術計画に対応する様々なパラメータのような記能にする。術前手術計画システム２０２は、図１の仮想計画システム１０２に相当し得、いくつかの例では、一般に、ＢＬＵＥＰＲＩＮＴ（登録標）システムに類似した又はそれと同一の仮想計画システムに対応し得る。

【0033】

[0069]図２の例では、医療施設２０４は、複合現実（ＭＲ）システム２１２を含む。本開示のいくつかの例では、ＭＲシステム２１２は、以下でより詳細に説明される機能性を提供するための１つ又は複数の処理デバイス（複数可）（Ｐ）２１０を含む。処理デバイス（複数可）２１０は、プロセッサ（複数可）とも呼ばれ得る。加えて、ＭＲシステム２１２の１人以上のユーザ（例えば、外科医、看護師、又は他のケア提供者）は、処理デバイス（複数可）（Ｐ）２１０を使用して、ネットワーク２０８を介して記憶システム２０６に送信される特定の手術計画又は他の患者情報に対する要求を生成することができる。これに応答して、記憶システム２０６は、要求された患者情報をＭＲシステム２１２に返す。いくつかの例では、ユーザは、ＭＲシステム２１２の一部であるが任意の視覚化デバイスの一部ではない１つ又は複数の処理デバイス、又はＭＲシステム２１２の視覚化デバイス（例えば、視覚化デバイス２１３）の一部である１つ又は複数の処理デバイス、又はＭＲシステム２１２の一部であるが任意の視覚化デバイスの一部ではない１つ又は複数の処理デバイスと、ＭＲシステム２１２の一部である視覚化デバイス（例えば、視覚化デバイス２１３）の一部である１つ又は複数の処理デバイスとの組合せのような、他の処理デバイス（複数可）を使用して、情報を要求して受信することができる。

【0034】

[0070]いくつかの例では、複数のユーザがＭＲシステム２１２を同時に使用することができる。例えば、ＭＲシステム２１２は、複数のユーザが各々自分の視覚化デバイスを使用することでユーザが同時に同じ視点から同じ情報を見ることができるスペクテータモードで使用され得る。いくつかの例では、ＭＲシステム２１２は、複数のユーザが各々自分の視覚化デバイスを使用することでユーザが異なる視点から同じ情報を見ることができるモードで使用され得る。

【0035】

[0071]いくつかの例では、処理デバイス（複数可）２１０は、データを表示し、医療施設２０４でユーザから入力を受け取るためのユーザインターフェースを提供することができる。処理デバイス（複数可）２１０は、ユーザインターフェースを提示するように視覚化デバイス２１３を制御するように構成され得る。更に、処理デバイス（複数可）２１０は、３Ｄ仮想モデル、２Ｄ画像などの仮想画像を提示するように視覚化デバイス２１３を制御するように構成され得る。処理デバイス（複数可）２１０は、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、携帯電話、及び他の電子コンピューティングデバイス、又はそのようなデバイス内のプロセッサのような、様々な異なる処理デバイス又はコンピューティングデバイスを含むことができる。いくつかの例では、処理デバイス（複数可）２１０のうちの１つ又は複数は、医療施設２０４から離れて位置し得る。いくつかの例では、処理デバイス（複数可）２１０は、視覚化デバイス２１３内に存在する。いくつかの例では、処理デバイス（複数可）２１０のうちの少なくとも１つは、視覚化デバイス２１３の外部にある。いくつかの例では、１つ又は複数の処理デバイス（複数可）２１０は、視覚化デバイス２１３内に存在し、処理デバイス（複数可）２１０のうちの１つ又は複数は、視覚化デバイス２１３の外部にある。

【0036】

[0072]図２の例では、ＭＲシステム２１２はまた、処理デバイス（複数可）２１０によって実行可能なソフトウェアの命令及びデータを記憶するための１つ又は複数のメモリ又は記憶デバイス（複数可）（Ｍ）２１５を含む。ソフトウェアの命令は、本明細書で説明されるＭＲシステム２１２の機能性に対応することができる。いくつかの例では、ＢＬＵＥＰＲＩＮＴ（登録商標）システムのような仮想手術計画アプリケーションの機能性はまた、メモリ又は記憶デバイス（複数可）（Ｍ）２１５と共に処理デバイス（複数可）２１０によって記憶及び実行され得る。例えば、メモリ又は記憶システム２１５は、仮想手術計画の少なくとも一部に対応するデータを記憶するように構成され得る。いくつかの例では、記憶システム２０６が、仮想手術計画の少なくとも一部に対応するデータを記憶するように構成され得る。いくつかの例では、メモリ又は記憶デバイス（複数可）（Ｍ）２１５は、視覚化デバイス２１３内に存在する。いくつかの例では、メモリ又は記憶デバイス（複数可）（Ｍ）２１５は、視覚化デバイス２１３の外部にある。いくつかの例では、メモリ又は記憶デバイス（複数可）（Ｍ）２１５は、視覚化デバイス２１３内の１つ又は複数のメモリ又は記憶デバイスと、視覚化デバイスの外部の１つ又は複数のメモリ又は記憶デバイスとの組合せを含む。

【0037】

[0073]ネットワーク２０８は、ネットワーク１１６に相当し得る。ネットワーク２０８は、術前手術計画システム２０２及びＭＲシステム２１２を記憶システム２０６に接続する１つ又は複数のワイドエリアネットワーク、ローカルエリアネットワーク、及び／又はグローバルネットワーク（例えば、インターネット）を含むことができる。記憶システム２０６は、患者情報、医療情報、患者の画像データ、及び手術計画を定義するパラメータを含むことができる１つ又は複数のデータベースを含むことができる。例えば、患者の罹患又は損傷した骨の医用画像は、典型的に、整形外科手術に備えて術前に生成される。医用画像は、患者の身体の矢状面及び冠状面に沿って撮影された関連する骨（複数可）の画像を含むことができる。医用画像は、Ｘ線画像、磁気共鳴撮像（ＭＲＩ）画像、コンピュータ断層撮影（ＣＴ）画像、超音波画像、及び／又は関連する手術領域に関する情報を提供する任意の他のタイプの２Ｄ又は３Ｄ画像を含むことができる。記憶システム２０６はまた、特定の患者のために選択されたインプラント部品（例えば、タイプ、サイズなど）、特定の患者のために選択されたサージカルガイド、並びに侵入点、切断面、穿孔軸、リーミング深度などの外科手術の詳細を識別するデータを含むことができる。記憶システム２０６は、例として、（図示されるように）クラウドベースの記憶システムであり得るか、又は医療施設２０４に若しくは術前手術計画システム２０２の位置にあり得るか、又はＭＲシステム２１２若しくは視覚化デバイス（ＶＤ）２１３の一部であり得る。

【0038】

[0074]ＭＲシステム２１２は、手術計画を作成、検討、検証、更新、修正、及び／又は実施するために、外科手術の前（例えば、術前）又は外科手術の最中（例えば、手術中）に外科医によって使用され得る。いくつかの例では、ＭＲシステム２１２はまた、外科手術の結果を検討し、再置換が必要であるかどうかを評価し、又は他の術後タスクを実行するために、外科手術の後（例えば、術後）に使用され得る。そのため、ＭＲシステム２１２は、外科医によって装着され得る視覚化デバイス２１３を含み得、（以下でより詳細に説明されるように）視覚化デバイス２１３は、手術計画の詳細、患者の罹患した、損傷した、又は手術後の関節の３Ｄ仮想画像、例えば、手術計画のために選択された人工インプラント部品の３Ｄ仮想画像と、人工部品、サージカルガイド及び手術器具、並びに損傷した関節へのそれらの配置を適切に方向付け及び位置決めするために、外科手術において、人工部品を位置決めするための侵入点、骨表面を成形する切断ツール又はリーミングツール又は骨表面に１つ又は複数の穴を画定する穿孔ツールをアラインするためのアライメント軸及び切断面の３Ｄ仮想画像と、手術計画を実施するのに外科医にとって有用であり得る任意の他の情報とを含む様々なタイプの情報を表示するように動作可能である。ＭＲシステム２１２は、外科手術の前及び／又は最中に視覚化デバイス２１３のユーザが知覚可能な、この情報の画像を生成することができる。

【0039】

[0075]いくつかの例では、ＭＲシステム２１２は、複数のユーザが同じ画像を同時に見すること及び同じ３Ｄシーンを共有することができるように、複数の視覚化デバイス（例えば、視覚化デバイス２１３の複数のインスタンス）を含む。いくつかのそのような例では、視覚化デバイスのうちの１つがマスタデバイスに指定され得、その他の視覚化デバイスがオブザーバ又はスペクテータに指定され得る。任意のオブザーバデバイスは、ＭＲシステム２１２のユーザが望み得る通りに、いつでもマスタデバイスに再指定され得る。

【0040】

[0076]このようにして、図２は、特定の患者の対象の解剖学的構造を修復するようにカスタマイズされた仮想手術計画を生成するための術前手術計画システム２０２を含む手術計画システムを例示する。例えば、仮想手術計画は、標準肩関節全形成術又はリバース型肩関節形成術のうちの１つのような整形外科的関節修復外科手術のための計画を含み得る。この例では、仮想手術計画の詳細は、関節窩骨の準備又は上腕骨の準備のうちの少なくとも１つに関する詳細を含み得る。いくつかの例では、整形外科的関節修復外科手術は、ステムレス標準肩関節全形成術、ステム付き標準肩関節全形成術、ステムレスリバース型肩関節形成術、ステム付きリバース型肩関節形成術、拡張関節窩標準肩関節全形成術、及び拡張関節窩リバース型肩関節形成術のうちの１つである。

【0041】

[0077]仮想手術計画は、特定の患者の対象の解剖学的構造に対応する３Ｄ仮想モデル、１つ又は複数のツールの３Ｄモデル、及び／又は対象の解剖学的構造を修復するために特定の患者に適合しているか、又は対象の解剖学的構造を修復するために選択された人工部品の３Ｄモデルを含み得る。いくつかの例では、３Ｄモデルは、対応するオブジェクトの特徴を表す点群又はメッシュ（例えば、多角形メッシュ、ワイヤフレームなど）を含み得る。一例として、患者の骨の３Ｄモデルは、骨の壁を表す点群又はメッシュを含み得る。別の例として、患者の骨の３Ｄモデルは、骨の内壁を表す第１の点群又はメッシュと、骨の外壁を表す第２の点群又はメッシュとを含み得る。別の例として、人工部品（例えば、インプラント）の３Ｄモデルは、人工部品の少なくとも一部分（例えば、骨に挿入される部分）の外面を表す点群又はメッシュを含み得る。別の例として、インプラントツールの３Ｄモデルは、インプラントツールの少なくとも一部分（例えば、骨に挿入される部分）の外面を表す点群又はメッシュを含み得る。

【0042】

[0078]更に、図２の例では、手術計画システムは、仮想手術計画に対応するデータを記憶するための記憶システム２０６を含む。図２の手術計画システムはまた、視覚化デバイス２１３を備え得るＭＲシステム２１２を含む。いくつかの例では、視覚化デバイス２１３は、ユーザによって装着可能である。いくつかの例では、視覚化デバイス２１３は、ユーザによって保持されるか、又はユーザがアクセス可能な場所の表面上にある。ＭＲシステム２１２は、視覚化デバイス２１３を介してユーザインターフェースを提示するように構成され得る。ユーザインターフェースは、視覚化デバイス２１３を使用してユーザが視覚的に知覚可能である。例えば、一例では、視覚化デバイス２１３の画面は、現実世界の画像及びユーザインターフェースを画面上に表示し得る。いくつかの例では、視覚化デバイス２１３は、仮想ホログラフィック画像をシースルーホログラフィックレンズ上に投影するだけでなく、ユーザがレンズを通して現実世界の環境の現実世界のオブジェクトを見ることも可能にし得る。換言すると、視覚化デバイス２１３は、１つ又は複数のシースルーホログラフィックレンズと、ユーザインターフェースをユーザに提示するためにホログラフィックレンズを介してユーザに画像を提示する１つ又は複数のディスプレイデバイスとを備え得る。

【0043】

[0079]いくつかの例では、視覚化デバイス２１３は、（ユーザが視覚化デバイス２１３を着用しているか又はそれを他の方法で使用しているときにユーザが視覚的に知覚可能である）ユーザインターフェースをユーザが操作して、対象の解剖学的構造の３Ｄ仮想モデル（例えば、対象の解剖学的構造の３Ｄ仮想骨）及び対象の解剖学的構造を修復するために選択された人工部品の３Ｄモデルを含む、特定の患者のための仮想手術計画の詳細を要求すること及び見ることができるように構成されている。いくつかのそのような例では、視覚化デバイス２１３は、ユーザがユーザインターフェースを操作することで、ユーザが（少なくともいくつかの例では）対象の解剖学的構造の３Ｄ仮想モデル（例えば、対象の解剖学的構造の３Ｄ仮想骨）を含む仮想手術計画を手術中に見ることができるように構成されている。いくつかの例では、ＭＲシステム２１２は、ユーザが手術中にユーザインターフェースを操作することで、ユーザが、実環境に、例えば、特定の患者の対象の実際の解剖学的構造上に投影された仮想手術計画の詳細を視覚的に知覚することができるオーグメント手術モードで動作し得る。本開示では、実際の／実物の（real）及び現実世界（real world）という用語が同様に使用され得る。例えば、ＭＲシステム２１２は、骨表面の準備及び骨表面上への人工インプラントの埋植のためのガイダンスを提供する１つ又は複数の仮想オブジェクトを提示し得る。視覚化デバイス２１３は、例えば、ホログラフィックレンズを通してユーザが見る実際の現実世界の患者の解剖学的構造と共に仮想オブジェクト（複数可）を表示することによって、仮想オブジェクトが現実世界の環境内で患者の実際の実物の解剖学的オブジェクト上に重ねて表示される方法で、１つ又は複数の仮想オブジェクトを提示し得る。例えば、仮想オブジェクトは、実際の現実の解剖学的オブジェクトと共に現実世界の環境内に存在するように表示される３Ｄ仮想オブジェクトであり得る。

【0044】

[0080]図３は、外科的ライフサイクル３００の例となる段階を例示するフローチャートである。図３の例では、外科的ライフサイクル３００は、術前段階（３０２）から始まる。術前段階中に、手術計画が作成される。術前段階の後に製造及び送達段階（３０４）が続く。製造及び送達段階中に、手術計画を実行するために必要なパーツ及び機器などの患者固有のアイテムが製造され、手術部位に送達される。いくつかの例では、手術計画を実行するために患者固有のアイテムを製造する必要はない。術中段階が、製造及び送達段階（３０４）に続く。手術計画は、術中段階中に実行される。換言すると、術中段階中に１人以上の人が患者に手術を行う。術中段階の後に術後段階（３０８）が続く。術後段階は、手術計画が完了した後に行われる活動を含む。例えば、患者は、術後段階中、合併症について監視され得る。

【0045】

[0081]本開示で説明されるように、整形外科手術システム１００（図１）は、術前段階３０２、製造及び送達段階３０４、術中段階３０６、並びに術後段階３０８のうちの１つ又は複数で使用され得る。例えば、仮想計画システム１０２及び計画支援システム１０４は、術前段階３０２で使用され得る。製造及び送達システム１０６は、製造及び送達段階３０４で使用され得る。術中ガイダンスシステム１０８は、術中段階３０６で使用され得る。図１のシステムのうちのいくつかは、図３の複数の段階で使用され得る。例えば、医療教育システム１１０は、術前段階３０２、術中段階３０６、及び術後段階３０８のうちの１つ又は複数で使用され得、術前及び術後モニタリングシステム１１２は、術前段階３０２及び術後段階３０８で使用され得る。予測分析システム１１４は、術前段階３０２及び術後段階３０８で使用され得る。

【0046】

[0082]先に述べたように整形外科手術システム１００のサブシステムのうちの１つ又は複数は、複合現実（ＭＲ）システム２１２（図２）などの１つ又は複数のＭＲシステムを含み得る。各ＭＲシステムは、視覚化デバイスを含み得る。例えば、図２の例では、ＭＲシステム２１２は、視覚化デバイス２１３を含む。いくつかの例では、視覚化デバイスを含むことに加えて、ＭＲシステムは、視覚化デバイスの動作をサポートする外部コンピューティングリソースを含み得る。例えば、ＭＲシステムの視覚化デバイスは、外部コンピューティングリソースを提供するコンピューティングデバイス（例えば、パーソナルコンピュータ、バックパックコンピュータ、スマートフォンなど）に通信可能に結合され得る。代替的に、視覚化デバイスの必要な機能を実行するために、適切なコンピューティングリソースが視覚化デバイス２１３上又は視覚化デバイス２１３内に提供され得る。

【0047】

[0083]図４は、本開示の一例による、図２のＭＲシステム２１２のようなＭＲシステムで使用するための視覚化デバイス２１３の概略図である。図４の例に示されるように、視覚化デバイス２１３は、１つ又は複数のプロセッサ（複数可）４１４（例えば、マイクロプロセッサ又は他のタイプの処理ユニット）と、フレーム４１８上又はフレーム４１８内に取り付けられ得るメモリ４１６とを含む、コンピューティングシステム内に見られる様々な電子部品を含むことができる。更に、図４の例では、視覚化デバイス２１３は、ユーザが視覚化デバイス２１３を装着すると目の高さになる透明な画面４２０を含み得る。いくつかの例では、画面４２０は、１つ又は複数の液晶ディスプレイ（ＬＣＤ）又は他のタイプのディスプレイ画面を含むことができ、それ上の画像は、視覚化デバイス２１３を装着している又は他の方法で使用している外科医が画面４２０を介して知覚可能なものである。他のディスプレイ例には、有機発光ダイオード（ＯＬＥＤ）ディスプレイが含まれる。いくつかの例では、視覚化デバイス２１３は、当技術分野で知られている技法を使用してユーザの網膜上に３Ｄ画像を投影するように動作することができる。

【0048】

[0087]いくつかの例では、画面４２０は、導波路と呼ばれることもあるシースルーホログラフィックレンズを含み得、シースルーホログラフィックレンズは、ユーザがレンズを通して（例えば、レンズ越しに）現実世界のオブジェクトを見ると同時に、視覚化デバイス２１３内のホログラフィック投影システム４３８の一例として動作し、光エンジン又はプロジェクタと呼ばれることもあるＬＣｏＳ（liquid crystal on silicon）ディスプレイデバイスなどのディスプレイによって、レンズに及びユーザの網膜上に投影されたホログラフィック画像を見ることを可能にする。換言すると、視覚化デバイス２１３は、仮想画像をユーザに提示するために１つ又は複数のシースルーホログラフィックレンズを含み得る。従って、いくつかの例では、視覚化デバイス２１３は、例えばホログラフィックレンズによって形成された画面４２０を介してユーザの網膜上に３Ｄ画像を投影するように動作することができる。このようにして、視覚化デバイス２１３は、例えば、仮想画像が現実世界の環境の一部を形成しているように表示されるように、画面４２０を通して観察された現実世界のビュー内で３Ｄ仮想画像をユーザに提示するように構成され得る。いくつかの例では、視覚化デバイス２１３は、マイクロソフト社（米国ワシントン州レドモンド）から入手可能なMicrosoft HOLOLENS（登録商標）ヘッドセット、又は例えば導波路を含む同様のＭＲ視覚化デバイスなどの同様のデバイスであり得る。HOLOLENS（登録商標）デバイスは、ユーザが、ホログラフィックレンズを通して、現実世界のシーン、すなわち現実世界の環境における実際のオブジェクトを見ることを可能にしつつ、ホログラフィックレンズ、すなわち導波路を介して３Ｄ仮想オブジェクトを提示するために使用され得る。

【0049】

[0085]図４の例は視覚化デバイス２１３を頭部装着可能なデバイスとして示しているが、視覚化デバイス２１３は、他の形態及び形状因子を有し得る。例えば、いくつかの例では、視覚化デバイス２１３は、ハンドヘルドスマートフォン又はタブレットであり得る。

【0050】

[0086]視覚化デバイス２１３はまた、例えば、上で説明したようにシースルーホログラフィックレンズ内に投影されたホログラフィック画像としてユーザに見えるユーザインターフェース（ＵＩ）４２２を生成することができる。例えば、ＵＩ４２２は、ユーザが図２の複合現実（ＭＲ）システム２１２などのＭＲシステムと対話することを可能にする様々な選択可能なウィジェット４２４を含むことができる。視覚化デバイス２１３によって提示される画像は、例えば、１つ又は複数の３Ｄ仮想オブジェクトを含み得る。ＵＩ４２２の例の詳細については、本開示の他の箇所で説明する。視覚化デバイス２１３はまた、ユーザの耳に隣接して位置決めされ得るスピーカ又は他の知覚デバイス４２６を含むことができる。知覚デバイス４２６は、視覚化デバイス２１３のユーザを支援するために、可聴情報又は他の知覚可能な情報（例えば、振動）を伝達することができる。

【0051】

[0087]視覚化デバイス２１３はまた、例えばワイヤード通信プロトコル又はワイヤレスプロトコル、例えばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを介して、視覚化デバイス２１３を処理デバイス４１０及び／又はネットワーク２０８及び／又はコンピューティングクラウドに接続するためのトランシーバ４２８を含むことができる。視覚化デバイス２１３はまた、フレーム４１８に、フレーム４１８上に、又はフレーム４１８内に取り付けられた１つ又は複数の光学カメラ（複数可）４３０（又は他の光学センサ）及び１つ又は複数の深度カメラ（複数可）４３２（又は他の深度センサ）など、センサデータを収集するための様々なセンサを含む。いくつかの例では、光学センサ（複数可）４３０は、ＭＲシステム２１２のユーザが位置している物理的環境（例えば、手術室）のジオメトリをスキャンし、２次元（２Ｄ）光学画像データ（モノクロ又はカラーのいずれか）を収集するように動作可能である。深度センサ（複数可）４３２は、例えば、飛行時間、ステレオ、又は深さを決定するための他の既知の若しくは将来開発される技法を採用し、それによって３次元で画像データを生成することによって、３Ｄ画像データを提供するように動作可能である。他のセンサは、動きの追跡を支援するためにモーションセンサ４３３（例えば、慣性マスユニット（ＩＭＵ）センサ、加速度計など）を含むことができる。

【0052】

[0088]ＭＲシステム２１２は、ユーザの環境又は「シーン」における幾何学的、環境的、組織的なランドマーク（例えば、角、縁、又は他の線、壁、床、オブジェクト）などが定義され、そのシーン内の動きが検出され得るように、センサデータを処理する。一例として、視覚化デバイス２１３のユーザが、シーン内で位置決めされ、又は固定され、及び／若しくは移動され得る３Ｄ画像を知覚することができるように、様々なタイプのセンサデータを組み合わせるか又は融合することができる。シーン内に固定されると、ユーザは、３Ｄ画像の周りを歩き、異なる視点から３Ｄ画像を見て、手のジェスチャ、音声コマンド、注視線（又は方向）、及び／又は他の制御入力を使用してシーン内の３Ｄ画像を操作することができる。別の例として、ユーザが、３Ｄ仮想オブジェクト（例えば、骨モデル）をシーン内の観察された物理的オブジェクト（例えば、表面、患者の実際の骨など）上に位置決めすること、及び／又は３Ｄ仮想オブジェクトをシーン内に表示される他の仮想画像と方向付けることができるように、センサデータを処理することができる。更に別の例として、ユーザが、手術室の壁などの表面上に手術計画（又は他のウィジェット、画像、若しくは情報）の仮想表現を位置決め及び固定することができるように、センサデータを処理することができる。また更に、手術器具並びにそれらの器具の位置及び／又は場所を認識するためにセンサデータを使用することができる。

【0053】

[0089]視覚化デバイス２１３は、例えば、視覚化デバイスのフレーム４１８内に、１つ又は複数のプロセッサ４１４及びメモリ４１６を含み得る。いくつかの例では、１つ又は複数の外部コンピューティングリソース４３６は、フレーム内プロセッサ（複数可）４１４及びメモリ４１６の代わりに又はそれに加えて、センサデータなどの情報を処理して記憶する。このようにして、データ処理及び記憶は、視覚化デバイス２１３内の１つ又は複数のプロセッサ４１４及びメモリ４１６によって実行され得、並びに／又は、処理及び記憶要件の一部は、視覚化デバイス２１３からオフロードされ得る
従って、いくつかの例では、視覚化デバイス２１３の動作を制御する１つ又は複数のプロセッサは、例えばプロセッサ（複数可）４１４として視覚化デバイス内にあり得る。代替的に、いくつかの例では、視覚化デバイス２１３の動作を制御するプロセッサのうちの少なくとも１つは、例えばプロセッサ（複数可）２１０として視覚化デバイスの外部にあり得る。同様に、視覚化デバイス２１３の動作は、いくつかの例では、視覚化デバイス内の１つ又は複数のプロセッサ４１４と視覚化デバイスの外部の１つ又は複数のプロセッサ２１０との組合せによって部分的に制御され得る。

【0054】

[0090]例えば、いくつかの例では、視覚化デバイス２１３が図２のコンテキストにあるとき、センサデータの処理は、メモリ又は記憶デバイス（複数可）（Ｍ）２１５と共に処理デバイス（複数可）２１０によって実行され得る。いくつかの例では、フレーム４１８に取り付けられたプロセッサ（複数可）４１４及びメモリ４１６は、カメラ４３０、４３２及びモーションセンサ４３３によって収集されたセンサデータを処理するのに十分なコンピューティングリソースを提供し得る。いくつかの例では、センサデータは、ＳＬＡＭ（Simultaneous Localization and Mapping）アルゴリズム、又は２Ｄ及び３Ｄ画像データを処理してマッピングし、３Ｄシーンにおける視覚化デバイス２１３の位置を追跡するための他の既知の又は将来開発されるアルゴリズムを使用して処理され得る。いくつかの例では、画像追跡は、Microsoft HOLOLENS（登録商標）システムによって提供されるセンサの処理及び追跡機能性を使用して、例えば、Microsoft HOLOLENS（登録商標）デバイス又は同様の複合現実（ＭＲ）視覚化デバイスに実質的に準拠する視覚化デバイス２１３内の１つ又は複数のセンサ及びプロセッサ４１４によって実行され得る。

【0055】

[0091]いくつかの例では、ＭＲシステム２１２はまた、ユーザがＭＲシステム２１２を操作し、（マスタ又はオブザーバのいずれかとして）ＭＲシステム２１２をスペクテータモードで使用し、ＵＩ４２２と対話し、及び／又は他の方法でコマンド若しくは要求を処理デバイス（複数可）２１０若しくはネットワーク２０８に接続された他のシステムに提供することを可能にするユーザ操作制御デバイス（複数可）４３４を含むことができる。例として、制御デバイス（複数可）２３４は、マイクロフォン、タッチパッド、制御パネル、モーションセンサ、又はユーザが対話することができる他のタイプの制御入力デバイスを含むことができる。

【0056】

[0092]図５は、ＭＲシステムで使用するための視覚化デバイス２１３の例となる構成要素を例示するブロック図である。図５の例では、視覚化デバイス２１３は、プロセッサ５１４と、電源５４０と、ディスプレイデバイス（複数可）５４２と、スピーカ５４４と、マイクロフォン（複数可）５４６と、入力デバイス（複数可）５４８と、出力デバイス（複数可）５５０と、記憶デバイス（複数可）５５２と、センサ（複数可）５５４と、通信デバイス５５６とを含む。図５の例では、センサ（複数可）５５４は、深度センサ（複数可）５３２と、光学センサ（複数可）５３０と、モーションセンサ（複数可）５３３と、方位センサ（複数可）５５８とを含み得る。光学センサ（複数可）５３０は、ＲＧＢ（Red-Green-Blue）ビデオカメラ、赤外線カメラ、又は光から画像を形成する他のタイプのセンサなどのカメラを含み得る。ディスプレイデバイス（複数可）５４２は、ユーザにユーザインターフェースを提示するために画像を表示し得る。

【0057】

[0093]スピーカ５４４は、いくつかの例では、図４に示される知覚デバイス５２６の一部を形成し得る。いくつかの例では、ディスプレイデバイス５４２は、図４に示される画面５２０を含み得る。例えば、図４を参照して述べたように、ディスプレイデバイス（複数可）５４２は、プロジェクタと組み合わせて、シースルーホログラフィックレンズを含み得、これは、ユーザが、レンズを通して、現実世界の環境における現実世界のオブジェクトを見ることと、例えば、ホログラフィック投影システムによって、レンズに及びユーザの網膜上に投影された仮想３Ｄホログラフィック画像を見ることとを可能にする。この例では、仮想３Ｄホログラフィックオブジェクトは、現実世界の環境内に配置されているように表示され得る。いくつかの例では、ディスプレイデバイス５４２は、ＬＣＤ表示画面、ＯＬＥＤ表示画面などの１つ又は複数の表示画面を含む。ユーザインターフェースは、特定の患者のための仮想手術計画の詳細の仮想画像を提示し得る。

【0058】

[0094]いくつかの例では、ユーザは、様々な方法で視覚化デバイス２１３と対話したり、それを制御したりし得る。例えば、マイクロフォン５４６及び関連する音声認識処理回路又はソフトウェアは、ユーザが発した音声コマンドを認識し、それに応答して、手術計画、術中ガイダンスなどに関連する様々な機能の選択、アクティブ化、又は非アクティブ化のような様々な動作のいずれかを実行し得る。別の例として、センサ５５４の１つ又は複数のカメラ又は他の光学センサ５３０は、上で説明したような動作を実行するためにジェスチャを検出及び解釈し得る。更なる例として、センサ５５４は、注視方向を感知し、本開示の他の箇所で説明したような様々な動作を実行し得る。いくつかの例では、入力デバイス５４８は、例えば、１つ又は複数のボタン、キーパッド、タッチスクリーン、ジョイスティック、トラックボール、及び／又は他の手動入力媒体を含むハンドヘルドコントローラを介して、ユーザから手動入力を受け取り、手動ユーザ入力に応答して、上で説明したような様々な動作を実行し得る。

【0059】

[0095]上述したように、外科的ライフサイクル３００は、術前段階３０２（図３）を含み得る。１人以上のユーザは、術前段階３０２において整形外科手術システム１００を使用し得る。例えば、整形外科手術システム１００は、１人以上のユーザが、特定の患者の対象の解剖学的構造に合わせてカスタマイズされ得る仮想手術計画を生成するのを助けるために、仮想計画システム１０２を含み得る。本明細書で説明されるように、仮想手術計画は、特定の患者の対象の解剖学的構造に対応する３次元仮想モデルと、対象の解剖学的構造を修復するために特定の患者に適合しているか、又は対象の解剖学的構造を修復するために選択された１つ又は複数の人工部品の３次元モデルとを含み得る。仮想手術計画はまた、外科医が外科手術を行う際、例えば、骨表面又は組織を準備し、そのような骨表面又は組織に対して埋込型の補綴具を埋植する際の指針となるガイダンス情報の３次元仮想モデルを含み得る。

【0060】

[0096]図６は、外科的ライフサイクル３００の術前段階３０２における例となるステップを例示するフローチャートである。他の例では、術前段階３０２は、より多くの、より少ない、又は異なるステップを含み得る。更に、他の例では、図６のステップのうちの１つ又は複数は、異なる順序で実行され得る。いくつかの例では、ステップのうちの１つ又は複数は、仮想計画システム１０２（図１）又は術前手術計画システム２０２（図２）などの手術計画システム内で自動的に実行され得る。

【0061】

[0097]図６の例では、関心領域（region of interest）のモデルが生成される（６００）。例えば、関心領域のスキャン（例えば、ＣＴスキャン、ＭＲＩスキャン、又は他のタイプのスキャン）が実行され得る。例えば、関心領域が患者の肩である場合、患者の肩のスキャンが実行され得る。仮想計画システムは、スキャンに基づいて関心領域の仮想モデル（例えば、３次元仮想モデル）を生成し得る。更に、関心領域内の病変が分類され得る（６０２）。いくつかの例では、関心領域の病変は、関心領域のスキャンに基づいて分類され得る。例えば、関心領域がユーザの肩である場合、外科医は、患者の肩のスキャンに基づいて患者の肩の何が異常であるかを決定し、例えば、原発性関節窩上腕骨関節炎（ＰＧＨＯＡ）、回旋腱板断裂関節症（ＲＣＴＡ）不安定性、回旋腱板広範囲断裂（ＭＲＣＴ）、リウマチ性関節炎、外傷後関節炎、及び変形性関節症などの診断を示す肩分類を提供し得る。

【0062】

[0098]追加的に、病変に基づいて手術計画が選択され得る（６０４）。手術計画は、病変に対処する計画である。例えば、関心領域が患者の肩である例では、手術計画は、解剖学的肩関節形成術、リバース型肩関節形成術、外傷後肩関節形成術、又は以前の肩関節形成術の再置換から選択され得る。次いで、手術計画が患者に合わせて調整され得る（６０６）。例えば、手術計画を調整することは、選択された手術計画を実行するために必要とされる手術アイテムを選択及び／又はサイズ決定することを含み得る。追加的に、手術計画は、骨棘の存在などの患者固有の問題に対処するために、患者に合わせて調整され得る。本開示の他の箇所で詳細に説明されるように、１人以上のユーザは、整形外科手術システム１００の複合現実システムを使用して、手術計画を患者に合わせて調整し得る。

【0063】

[0099]次に、手術計画が検討され得る（６０８）。例えば、手術計画が実行される前に、コンサルティング外科医が手術計画を検討し得る。本開示の他の箇所で詳細に説明されるように、１人以上のユーザは、整形外科手術システム１００の複合現実（ＭＲ）システムを使用して、手術計画を検討し得る。いくつかの例では、外科医は、例えば、異なる処置の選択、インプラントのサイズ決定、形状、若しくは位置決めの変更、又はインプラントに収容するような骨表面の切断若しくはリーミングの角度、深さ、若しくは量の変更を行うために、ＵＩ及び表示された要素と対話することによって、ＭＲシステムを使用して手術計画を修正し得る。

【0064】

[0100]追加的に、図６の例では、手術計画を実行するのに必要な手術アイテムが要求され得る（６１０）。

【0065】

[0101]本開示の以下のセクションで説明されるように、整形外科手術システム１００は、図６の術前ステップのうちの１つ又は複数のものを行う際に、様々なユーザを支援し得る。いくつかの例では、少なくとも１人の外科医を含む１人以上のユーザは、術中セッティングにおいて整形外科手術システム１００を使用して、肩関節手術を実行し得る。

【0066】

[0102]図７は、肩関節修復手術の例となる段階を例示するフローチャートである。上述したように、図７では、肩関節手術のための例となる外科的プロセスが説明される。外科医は、外科的プロセスの各ステップの間、視覚化デバイス２１３を装着するか又は別の方法で使用し得る。他の例では、肩関節手術は、より多い、より少ない、又は異なるステップを含み得る。例えば、肩関節手術は、骨移植片を加えるステップ、セメントを加えるステップ、及び／又は他のステップを含み得る。いくつかの例では、視覚化デバイス２１３は、外科医、看護師、又は他のユーザが手術ワークフロー内のステップを行う際の指針となる仮想ガイダンスを提示し得る。

【0067】

[0103]図７の例では、外科医は、切開プロセス（７００）を実行する。切開プロセス中、外科医は、患者の肩関節を露出させるために一連の切開を行う。いくつかの例では、ＭＲシステム（例えば、ＭＲシステム２１２など）は、例えば、切開をどのようにどこに行うかを例示する仮想ガイダンス画像を表示することによって、外科医が切開プロセスを実行するのを助け得る。

【0068】

[0104]更に、図７の例では、外科医は、上腕骨切断プロセス（７０２）を実行し得る。上腕骨切断プロセス中、外科医は、患者の上腕骨の上腕骨頭の一部を除去し得る。上腕骨頭の一部を除去することにより、外科医は患者の関節窩にアクセスすることができる。追加的に、上腕骨頭の一部を除去することにより、外科医は、その後、上腕骨頭の一部を、外科医が患者の関節窩に埋植する予定の関節窩インプラントと適合する上腕骨インプラントと置換することができる。

【0069】

[0105]上述したように、上腕骨準備プロセスは、外科医が患者の関節窩にアクセスすることを可能にし得る。図７の例では、上腕骨準備プロセスを実行した後、外科医は、視覚化デバイス２１３によって外科医に提示された視野内で、仮想関節窩オブジェクトを患者の実際の関節窩骨と位置合わせする位置合わせプロセス（７０４）を実行し得る。

【0070】

[0109]図８Ａは、３Ｄ仮想骨モデルを患者の実際の観察された骨構造と位置合わせするための技法８００の例を例示する。換言すると、図８Ａは、図２の複合現実システム２１２などの複合現実システムに実装される、仮想骨モデルを観察された骨と位置合わせするための、例えば、視覚化デバイス２１３によって実行されるプロセスフローの例である。以下で説明する図８Ｂは、物理的な位置合わせマーカを使用して３Ｄ仮想骨モデルを骨構造に位置合わせするための別の技法８１８を例示する。図８Ａ及び８Ｂに説明される３Ｄ仮想骨モデル及び実際の観察された骨構造は、例えば、それぞれ、図９～図１６と併せて以下で説明される３Ｄ仮想骨モデル１００８及び実際の観察された骨構造２５２に対応し得る。

【0071】

[0107]図８Ａを更に参照すると、３Ｄ仮想骨モデルは、１つ又は複数の骨の全て又は一部のモデルであり得る。図８Ａのプロセスフローは、図７のステップ７０４の位置合わせプロセスの一部として実行され得る。位置合わせプロセスは、初期化及び最適化（例えば、最小化）という２つのステップで実行され得る。初期化中、ＭＲシステム２１２のユーザは、術前の仮想計画システム１０２から導出される情報、ユーザの頭部の向き（これはユーザの目の方向（「注視」又は「注視線」と呼ばれる）の指示を提供する）、複数の方向へのユーザの頭部の回転、センサ５３０、５３２、及び／若しくは５３３（又は他の取得センサ）によって収集されたセンサデータ、並びに／又は音声コマンド及び／若しくは手のジェスチャと共に視覚化デバイス２１３を使用して、３Ｄ仮想骨モデルと観察された骨構造とのおおよそのアライメントを視覚的に達成する。より具体的には、ブロック８０２において、３Ｄ仮想骨モデルの表面上の関心点（point of interest）又は領域、及びその領域の表面上の関心点（又は領域）に対する仮想法線ベクトルが、仮想計画システム１０２を使用した術前計画中に識別される。

【0072】

[0108]ブロック８０４において、ＭＲシステム２１２は、識別された関心点（又は領域）をユーザの注視点（例えば、視覚化デバイス２１３の視野内の中心点）に接続する。従って、視覚化デバイス２１３のユーザの頭部が移動又は回転すると、３Ｄ仮想骨モデルも空間内で移動及び回転する。

【0073】

[0109]肩関節形成処置の例では、３Ｄ仮想骨モデルの表面上の関心点は、ＢＬＵＥＰＲＩＮＴ（登録商標）計画システムなどの仮想計画システム１０２を使用することによって決定され得る仮想関節窩のおおよその中心であり得る。いくつかの例では、仮想関節窩のおおよその中心は、機械学習アルゴリズム若しくは人工知能システムを用いて重心発見アルゴリズムを使用して又は別のタイプのアルゴリズムを使用して決定され得る。他のタイプの骨修復／置換処置の場合、骨の他の点又は領域が識別され、次いで、ユーザの注視線又は注視点に接続され得る。

【0074】

[0110]ユーザの注視点を中心として空間内で３Ｄ仮想骨モデルを移動及び回転させる能力だけでは、一般に、３Ｄ仮想骨モデルを観察された骨に方向付けるのに十分ではない。従って、初期化手順の一部として、ＭＲシステム２１２はまた、深度センサ５３０、光学センサ５３２、及びモーションセンサ５３３から収集されたセンサデータを使用して、視覚化デバイス２１３と視覚化デバイス２１３の視野内の観察された骨の表面上の１つの点（又は複数の点）との間の距離、及びその表面の向きを決定する（ブロック８０８）。例えば、関節窩は、局所的には平面で近似され得るため、比較的単純な表面である。従って、関節窩の表面の向きは、表面上の点（例えば、中心点）に対して垂直（すなわち、直角）であるベクトルを決定することによって近似され得る。この法線ベクトルは、本明細書では「観察法線ベクトル」と呼ばれる。しかしながら、他の骨が上腕骨又は膝関節などのより複雑な表面を有し得ることは理解されるべきである。これらのより複雑なケースでは、向きを決定するために他の表面記述子が使用され得る。

【0075】

[0111]特定の骨にかかわらず、距離情報は、深度カメラ（複数可）５３２からＭＲシステム２１２によって導出され得る。この距離情報は、観察された骨の表面の幾何学的形状を導出するために使用され得る。すなわち、深度カメラ（複数可）５３２は、深度カメラ（複数可）５３２の視野内の任意の点に対応する距離データを提供するため、観察された骨上のユーザの注視点までの距離が決定され得る。この情報を用いて、次いで、ユーザは、３Ｄ仮想骨モデルを空間内で移動させ、注視点を使用して、関心点又は領域において、観察された骨とおおまかにアラインすることができる（図８Ａのブロック８１０）。すなわち、ユーザが観察された骨構造に注視をシフトすると、仮想骨モデル（これはユーザの注視線に接続される）は、ユーザの注視と共に移動する。次いで、ユーザは、３Ｄ仮想骨モデルの位置を調整するために、手のジェスチャを使用して、音声コマンドを使用して、及び／又は仮想インターフェースを使用して、ユーザの頭部（ひいては注視線）を移動させることによって、３Ｄ仮想骨モデルを観察された骨構造とアラインすることができる。例えば、３Ｄ仮想骨モデルが、観察された骨構造とおおまかにアラインされると、ユーザは、ＭＲシステム２１２に初期アライメントを捕捉させる音声コマンド（例えば、「セット」）を提供し得る。３Ｄモデルの向き（「ヨー」及び「ピッチ」）は、ユーザの頭部を回転させること、手のジェスチャを使用すること、音声コマンドを使用すること、及び／又は仮想オブジェクト及び観察されたオブジェクトの初期（又はおおまかな）アライメントが達成され得るようにユーザの注視線を中心として３Ｄ仮想骨モデルを回転させる仮想インターフェースを使用することによって、調整され得る（図８Ａのブロック８１２）。このようにして、３Ｄ仮想骨モデルは、仮想法線ベクトル及び観察法線ベクトルをアラインすることによって、観察された骨に方向付けられる。必要に応じて、初期アライメントの追加の調整が実行され得る。例えば、音声コマンドを提供した後に、ユーザは追加のユーザ入力を提供して、観察された骨構造に対する３Ｄ仮想骨モデルの向き又は位置を調整し得る。この初期アライメントプロセスは、外科医が仮想骨と観察された骨とをおおまかにアラインすることができるように、手術中に（又はリアルタイムで）実行される。いくつかの例、例えば初期アライメントが不十分であると外科医が判断した場合では、外科医は、点２８０をユーザの注視線にロックし直すために、ＭＲシステム２１２に初期アライメントを解除させるユーザ入力（例えば、「リセット」などの音声コマンド）を提供し得る。

【0076】

[0112]図８Ａのブロック８１４において、３Ｄ仮想骨モデルと観察された骨構造との初期アライメントが（少なくともおおまかに）達成されたことをユーザが検出する（例えば見る）と、ユーザは、微細位置合わせプロセス（すなわち、最適化（例えば、最小化）アルゴリズムの実行）が開始され得ることをＭＲシステム２１２に知らせるために、可聴又は他の知覚可能な指示を提供することができる。例えば、ユーザは、ＭＲシステム２１２に、微細位置合わせプロセスを実行するための最小化アルゴリズムを実行させる音声コマンド（例えば、「マッチ」）を提供し得る。最適化プロセスは、任意の好適な最適化アルゴリズム（例えば、反復最近点又は遺伝的アルゴリズムなどの最小化アルゴリズム）を採用して、３Ｄ仮想骨モデルと観察された骨構造とのアライメントを完成させることができる。図８Ａのブロック８１６において、最適化アルゴリズムの実行が完了すると、位置合わせ手順が完了する。

【0077】

[0113]図９は、肩関節形成処置のための例となる位置合わせプロセスのステップを例示する概念図である。図１０は、図９の肩関節形成処置の例となる位置合わせプロセスの追加のステップを例示する概念図である。図９において、視覚化デバイス２１３のユーザの注視線２７８は、３Ｄ仮想骨モデル１００８（関節窩）の表面２８２上の以前に識別された関心点（又は注視点）２８０と接続される。図９はまた、表面２８２上の点２８０に対する仮想法線ベクトル（ＮＶ）２８４を示す。図１０において、視覚化デバイス２１３のユーザは、注視線２７８を、観察された骨構造２５２の表面２８８上の関心領域２８６にシフトする。注視線２７８は仮想骨モデル１００８の中心点２８０に接続されているため、注視線２７８をシフトすることにより、仮想骨モデル１００８の仮想中心点２８０が、観察された関心領域２８６とアラインされる。しかしながら、図１０に示されるように、注視をシフトするだけでは、中心点／領域２８０、２８６はアラインされても、仮想骨モデル１００８（破線で示される）を観察された骨構造２５２に適切に方向付けられない可能性がある。上述したように観察法線ベクトル（ＮＯ）２９０が決定されると、視覚化デバイス２１３は、適切な向きが達成され（破線で示される）、仮想法線ベクトル（ＮＶ）２８４が観察法線ベクトル２９０とアラインされるまで、仮想骨モデル１００８の向き（ピッチ及びヨー）を調整することができる。ユーザは、仮想骨モデル１００８を対応する実際の骨と適切にアラインするために、関節窩を通るアラインされた軸を中心として仮想骨モデル１００８を回転させ得る。

【0078】

[0114]図１１及び図１２は、肩関節形成処置のための例となる位置合わせプロセスを例示する概念図である。図９に示される位置合わせプロセスと同様に、図１１は、視覚化デバイス２１３のユーザの視点を例示する。図１１に示されるように、関心点２８０は、仮想骨モデル１００８上に示されている。上述したように、ユーザの注視が点２８０に接続されると、ユーザは、ユーザの注視をシフトすることによって仮想骨モデル１００８を移動させることができ、この場合、視覚化デバイス２１３は、注視のシフトを検出し、対応する方法で仮想骨モデルを移動させる。図１２に示されるように、仮想骨モデル１００８を観察された骨構造２５２とアラインさせるために、ユーザは、矢印２８１によって示される方向にユーザの注視をシフトし得る。

【0079】

[0115]肩関節形成術などのいくつかの外科的骨修復処置では、ユーザの注視だけを使用して仮想骨及び観察された骨をアライン及び方向付けすることは困難であり得る。これらの課題は、骨（例えば、関節窩）が皮膚からかなり深いところにあるために、外科的切開が行われた後であっても、視覚化デバイス２１３を骨の近くに位置決めすることが困難である場合があること、影によって骨が見えにくくなる場合があること、対象の骨表面全体が見えない場合があること、及びユーザが安定した凝視を維持することが困難であり得、その結果、仮想骨の位置決めが不安定になり得ること、を含む多くの要因によって生じる。いくつかの例では、これらの課題に対処するために、骨上の特定の位置（複数可）（例えば、肩関節形成処置のための関節窩の中心）に配置された仮想ランドマーク（複数可）を使用することによって位置合わせ手順を容易にすることができる。そのような例では、仮想ランドマークが配置される位置及びその位置における表面法線を使用して、仮想骨及び観察された骨の初期化変換（又は位置合わせ変換）を自動的に決定することができる。所望であれば、仮想ランドマークを使用して仮想骨と観察された骨との間で達成されるアライメントは、ユーザが、音声コマンド、手のジェスチャ、仮想インターフェースボタンを使用することによって、及び／又は骨表面上の様々な位置に追加の仮想マーカを位置決めすることによって、更に調整されることができる。

【0080】

[0116]図１３は、仮想マーカ２９２を使用した例となる位置合わせ手順を例示する。図１４は、仮想マーカを使用した図８Ａの例となる位置合わせ手順の追加のステップを例示する概念図である。図１３及び図１４の例では、視覚化デバイス２１３のユーザは、注視線２７８をシフトして、観察された骨構造２５２の中心領域２８６（例えば、中心点）に仮想マーカ２９２を設定する。仮想的に位置決めされたマーカ２９２、仮想法線ベクトル２８４、及び観察法線ベクトル２９０を活用して、仮想骨モデル１００８と観察された骨構造２５２との間の初期化変換が決定され得る。次いで、上で説明したように、仮想骨モデル１００８と観察された骨構造２５２との間の最適な位置合わせを取得するために、最適化アルゴリズム（又は位置合わせアルゴリズム）が実行される。

【0081】

[0117]いくつかの例では、初期化手順は、関心点ではなく骨表面上の関心領域に基づいて実施され得る。そのような例では、視覚化デバイス２１３の深度カメラ（複数可）５３２及び／又は光学カメラ（複数可）５３０（図４）によって収集された画像データを処理して、観察された骨の位置及び向きの識別を容易にすることとなる表面記述子を検出し、仮想骨と観察された骨との間の初期化変換を決定することができる。

【0082】

[0118]上述したように、いくつかの例では、初期化は、ユーザによって支援され得る（例えば、観察された骨構造２５２の中心領域２８６に仮想マーカ２９２を設定するためにユーザが注視線２７８をシフトすることによって支援され得る）。いくつかの例では、ＭＲシステム２１２は、ユーザからの最小限の支援を受けて又は支援なしで、位置合わせプロセス全体（例えば、任意の初期化ステップを含む）を実行し得る。例えば、ＭＲシステム２１２は、深度カメラ（複数可）５３２及び／又は光学カメラ（複数可）５３０（図４）によって収集された画像データを処理して、対象の解剖学的構造（例えば、観察された骨構造２５２）の位置を自動的に識別し得る。このように、ＭＲシステム２１２は、ユーザが解剖学的構造の一部を見ていることに応答して、解剖学的構造の一部の仮想モデルを解剖学的構造の対応する観察部分に位置合わせし得る（例えば、外科医は、視覚化デバイス２１３を装着している間、解剖学的構造の一部を見るだけでよい）。ＭＲシステム２１２は、任意の好適な技法を使用して位置を自動的に識別し得る。例えば、ＭＲシステム２１２は、機械学習モデルを使用して（すなわち、ランダムフォレストアルゴリズムなどの機械学習を使用して）、画像データを処理し、対象の解剖学的構造の位置を識別し得る。

【0083】

[0119]より一般的に言えば、図８Ａ及び図８Ｂを参照して説明される位置合わせ方法は、３Ｄ仮想モデルに関する第１のローカル基準座標系を決定し、観察される実際の解剖学的構造に関する第２のローカル基準座標系を決定するものと見なされ得る。いくつかの例では、ＭＲシステム２１２はまた、光学カメラ５３０及び／又は深度カメラ５３２及び／又はモーションセンサ５３３（又は任意の他の取得センサ）から収集された光学画像データを使用して、ユーザが位置する環境（例えば、手術室）に関するグローバル基準座標系を決定することができる。他の例では、グローバル基準座標系は、他の方法で定義され得る。いくつかの例では、深度カメラ５３２は、Microsoft HOLOLENS（登録商標）ヘッドセット又は同様のＭＲ視覚化デバイスなどの複合現実ヘッドセットであり得る視覚化デバイス２１３に外部結合される。例えば、深度カメラ５３２は、視覚化デバイス２１３から取り外し可能であり得る。いくつかの例では、深度カメラ５３２は視覚化デバイス２１３の一部であり、これは同じく、複合現実ヘッドセットであり得る。例えば、深度カメラ５３２は、視覚化デバイス２１３の外側ハウジング内に含まれ得る。

【0084】

[0120]位置合わせプロセスは、変換行列の生成をもたらし、変換行列は、仮想骨と観察された骨との間のアライメントを達成及び維持するために、３Ｄ仮想骨モデルのｘ、ｙ、及びｚ軸に沿った並進と、ｘ、ｙ、及びｚ軸を中心とした回転とを可能にする。

【0085】

[0121]いくつかの例では、仮想マーカのうちの１つ又は複数は、例として、光学マーカ又は電磁マーカなどの１つ又は複数の物理的マーカと置換及び／又は補完されることができる。図１６は、実際の観察された骨構造２５２の周りに位置決めされた物理的マーカの例を例示する。一般に、１つ又は複数の物理的マーカは、位置合わせされているオブジェクト（例えば、実際の観察された骨構造２５２又はツール）上又はその周りの様々な位置に位置決めされ得る。図１６の例に示されるように、固定光学マーカ１６０１は、肩関節形成処置において、上腕骨頭が切除された後に上腕骨上の特定の位置を画定するために使用され得る。図１６の例では、固定光学マーカ１６０１は、この光学マーカの単一面上に平面基準マーカ１６０１Ａを含み得る。図１６に示されるように、基準マーカは、マーカ１６０１の先端１６０１Ｂの近位にある物理的マーカの一部上に位置決めされ得る。いくつかの例では、ＭＲシステム２１２は、基準マーカの特徴（例えば、重心又は中心点）と物理的マーカの先端との間の距離を取得し得る。一例として、距離は、予め決定され、ＭＲシステム２１２のメモリに記憶され得る。別の例として、ＭＲシステム２１２は、基準マーカの光学特性に基づいて距離を決定し得る（すなわち、距離は、基準マーカで符号化され得る）。上腕骨の特定の位置の知識（これは仮想的に設定され得る）は、ユーザが頭部の移動及び回転を採用する必要なく、ＭＲシステム２１２が仮想骨を自動的に初期化／位置合わせすることを可能にし得る。

【0086】

[0122]一般に、物理的マーカは、どこにでも配置され得る。例えば、物理的マーカは、患者（例えば、非滅菌野）、外科的に露出された解剖学的構造（滅菌野）、器具、手術視野内のどこか、又は任意の他の好適な位置に取り付けられ得る。

【0087】

[0123]物理的マーカは、実際の観察されたオブジェクト（例えば、骨構造２５２）に対する特定の位置の識別を可能にする任意のタイプのマーカであり得る。物理的マーカの例には、パッシブ物理的マーカ及びアクティブ物理的マーカが含まれるが、必ずしもこれらに限定されない。パッシブ物理的マーカは、ＭＲシステム２１２によるそれらの識別に役立つ物理的なパラメータを有し得る。例えば、物理的マーカは、ＭＲシステム２１２によるそれらの識別に役立つ特定の形状（例えば、実際の観察された骨構造２５２に取り付けられ得る球状マーカ）、及び／又は光学特性（例えば、反射性材料、色（例えば、手術環境においてより見やすい緑色などの色）、バーコード（１次元又はＱＲコード（登録商標）などの２次元バーを含む）など）を有し得る。パッシブ物理的マーカは、３次元又は２次元であり得る。パッシブ物理的マーカは、それらの存在／位置がＭＲシステム２１２によって受動的に検出されるという点でパッシブであると見なされ得る。パッシブ物理的マーカは、例えば、剥離層を剥がすことで露出した裏面粘着層によって、骨、ツール、又は他の構造に接着貼付け可能な平面基準マーカを有する平坦な又は可撓性２次元ステッカーであり得る。代替的に、パッシブ物理的マーカは、例えば、外科用接着剤、ねじ、釘、クランプ、及び／又は他の固定機構を用いて骨に固定され得る。

【0088】

[0124]アクティブ物理的マーカは、ＭＲシステム２１２によるそれらの識別に役立つ１つ又は複数のアクションを実行し得る。例えば、アクティブ物理的マーカは、ＭＲシステム２１２によるそれらの識別に役立つ信号（例えば、電磁信号）を出力し得る。アクティブ物理的マーカの例には、Northern Digital Incから入手可能なｔｒａｋＳＴＡＲ（登録商標）及び／又はｄｒｉｖｅＢＡＹ（登録商標）システム用のセンサ又は送信機が含まれるが、これらに限定されない。

【0089】

[0125]電磁追跡（すなわち、「ＥＭ追跡」と呼ばれる、電磁物理的マーカを使用した追跡）は、磁場発生器（ＦＧ）によって生成され得る既知のジオメトリの磁場内にセンサを位置決めすることによって達成され得る。センサは、磁束又は磁場を測定し得る。追跡デバイスは、ＦＧを制御し、センサから測定値を受信し得る。受信した測定値に基づいて、追跡デバイスは、センサの場所／位置を決定し得る。ＥＭ追跡に関するより詳細な説明は、Ａｌｆｒｅｄ Ｍ．Ｆｒａｎｚらによる、「Electromagnetic Tracking in Medicine-A Review of Technology, Validation, and Applications」、IEEE TRANSACTIONS ON MEDICAL IMAGING、VOL. 33、NO. 8, AUGUST 2014に見られ得る。

【0090】

[0126]図８Ｂは、物理的マーカ（例えば、パッシブ物理的マーカ及びアクティブ物理的マーカの任意の組合せ）を使用して、３Ｄ仮想骨モデル１００８を患者の実際の観察された骨構造２５２と位置合わせするための技法８１８の例を例示する。換言すると、図８Ｂは、図２の複合現実システム２１２などの複合現実システムに実装される、仮想骨モデルを観察された骨と位置合わせするための、例えば、視覚化デバイス２１３によって実行されるプロセスフローの一例である。３Ｄ仮想骨モデル１００８は、１つ又は複数の骨の全て又は一部のモデルであり得る。図８Ｂのプロセスフローは、図７のステップ７０４の位置合わせプロセスの一部として実行され得る。以下で説明されるように、図８Ｂの位置合わせプロセスは、図８Ａの位置合わせプロセスに加えて、又はその代わりに使用され得る。

【0091】

[0127]手術中、施術者は、特定の位置に１つ又は複数の物理的マーカを配置し得る。いくつかの例では、ＭＲシステム２１２は、施術者が物理的マーカをどこに配置すべきかに関する命令を出力し得る。所定の位置は、観察された骨構造２５２に対応する仮想モデル上の特定の位置に対応し得る。例えば、一例では、視覚化デバイス２１３は、（例えば、患者適合ガイド２４２が使用可能であるかどうかにかかわらず）患者適合ガイド２４２の位置に対応する位置に（例えば、外科用接着剤、ねじ、釘、クランプ、及び／又は他の固定機構を用いて）物理的マーカを取り付けるように施術者に求める命令を表示し得る。換言すると、施術者は、患者適合ガイド２４２が存在しない場合であっても、患者適合ガイド２４２が取り付けられたであろう位置に物理的マーカを取り付け得る。他の例では、所定の位置は、マーカの取付け又は他の配置のために物理的な骨又はツール（複数可）上の対応する位置を外科医に選択させるために、テキスト情報、グラフィック情報、又は可聴情報によって示され得る。例えば、ＭＲシステム２１２は、外科医が図１６の光学マーカ１６０１の先端１６０１Ｂを上腕骨に取り付ける際の指針となるグラフィック情報を出力し得る。

【0092】

[0128]ＭＲシステム２１２は、１つ又は複数のセンサ（例えば、図５の視覚化デバイス２１３のセンサ５５４のうちの１つ又は複数）からのデータを利用して、物理的マーカの位置を識別し得る（８２０）。例えば、ＭＲシステム２１２は、深度センサ５３２及び／又は光学センサ５３０の任意の組合せによって生成されたデータを使用して、物理的マーカの各々の特定の位置（例えば、座標）を識別し得る。１つの特定の例として、ＭＲシステム２１２は、光学センサ５３０によって生成された光学データを利用して、図１６の光学マーカ１６０１Ａの重心を識別し得る。次いで、ＭＲシステム２１２は、深度センサ５３２によって生成された深度データ及び／又は光学センサ５３０によって生成された光学データを利用して、識別された重心の位置及び／又は向きを決定し得る。ＭＲシステム２１２は、重心と物理的マーカの取付け点との間の距離を決定し得る。例えば、ＭＲシステム２１２は、図１６の基準マーカ１６０１Ａの重心と光学マーカ１６０１の先端１６０１Ｂとの間の距離を決定し得る。決定された距離（すなわち、重心と取付け点との間の距離）及び重心の決定された位置／向きに基づいて、ＭＲシステム２１２は、取付け点の位置／向きを決定し得る。

【0093】

[0129]ＭＲシステム２１２は、物理的マーカの識別された位置に基づいて、仮想モデルを観察された解剖学的構造と位置合わせし得る（８２２）。例えば、物理的マーカが観察された骨構造２５２に対応する仮想モデル上の特定の位置（複数可）に対応する位置で、観察された骨構造２５２上に配置される場合、ＭＲシステム２１２は、仮想モデルと観察された骨構造２５２との間の変換行列を生成し得る。この変換行列は、仮想骨と観察された骨との間のアライメントを達成及び維持するために、仮想モデルのｘ、ｙ、及びｚ軸に沿った並進と、ｘ、ｙ、及びｚ軸を中心とした回転とを可能にするという点で、上述した変換行列と同様であり得る。いくつかの例では、位置合わせが完了した後、ＭＲシステム２１２は、位置合わせの結果を利用して、ＳＬＡＭ（simultaneous localization and mapping）を実行し、対応する観測されたオブジェクトに対する仮想モデルのアライメントを維持する。

【0094】

[0130]以下でより詳細に述べるように、ＭＲシステム２１２は、位置合わせに基づいて、プロテーゼの取付けのために観察された解剖学的構造を準備するための仮想ガイダンス、又は観察された解剖学的構造にプロテーゼを取り付けるための仮想ガイダンスを表示し得る（８２４）。例えば、ＭＲシステム２１２は、図２０～図３０の任意の組合せを参照して以下に説明されるように、仮想ガイダンスを提供し得る。

【0095】

[0131]上述したように、物理的マーカは、仮想マーカ（例えば、仮想マーカ２９２）に加えて、又はその代わりに使用され得る。換言すると、ＭＲシステム２１２は、物理的マーカと仮想マーカとの任意の組合せを使用して、対応する観察された骨に対する骨の仮想モデルの位置合わせを実行し得る。いくつかの例では、物理的マーカを（単独で又は仮想マーカと共に）使用することで、ＭＲシステム２１２は、位置合わせを実行するのに必要な時間量を低減することができ得、及び／又はより正確な位置合わせが得られ得る。

【0096】

[0132]いくつかの例では、ＭＲシステム２１２は、仮想マーカ又は物理的マーカの一方を一次位置合わせマーカとして使用し、他方を二次、すなわち補足的な、位置合わせマーカとして使用し得る。一例として、ＭＲシステム２１２は、一次位置合わせマーカを使用して位置合わせを実行しようと試みることから位置合わせプロセスを開始し得る。そのような例では、ＭＲシステム２１２が、一次位置合わせマーカだけを使用して位置合わせを適切に完了することができない（例えば、仮想解剖学的構造と観察された解剖学的構造との間の変換行列などのマッピングを生成することができない）場合、ＭＲシステム２１２は、二次位置合わせマーカだけ、又は一次位置合わせマーカと二次位置合わせマーカとの組合せを使用して位置合わせを実行しようと試み得る。１つの特定の例では、ＭＲシステム２１２が仮想マーカ（複数可）だけを使用して位置合わせを適切に完了することができない場合、ＭＲシステム２１２は、物理的マーカ（複数可）だけ、又は仮想位置合わせマーカ（複数可）と物理的な位置合わせマーカ（複数可）との組合せを使用して位置合わせを実行しようと試み得る。

【0097】

[0133]ＭＲシステム２１２が、一次位置合わせマーカだけを使用して位置合わせを適切に完了することができない状況では、ＭＲシステム２１２は、二次位置合わせマーカを使用した位置合わせを可能にするために１つ又は複数のアクションを実行するように施術者に求める要求を出力し得る。一例として、二次位置合わせマーカが物理的マーカである場合、ＭＲシステム２１２は、観察された解剖学的構造に対して特定の位置に物理的マーカを位置決めするよう施術者に求める要求を出力し得る。別の例として、二次位置合わせマーカが仮想マーカである場合、ＭＲシステム２１２は、図８Ａを参照して上述した初期アライメント手順を実行するように施術者に求める要求及び対応するグラフィカルユーザインターフェース（例えば、３Ｄ仮想骨モデル１００８）を出力し得る。

【0098】

[0134]いくつかの例では、施術者は、（例えば、位置合わせが完了した後に）物理的マーカを除去し得る。例えば、ＭＲシステム２１２が物理的マーカを使用して位置合わせプロセスを完了した後、ＭＲシステム２１２は、物理的マーカを除去してもよいことを示す指示を出力し得る。物理的マーカが除去される例では、ＭＲシステム２１２は、仮想マーカ又は任意の他の好適な追跡技法を使用して、観察された骨に対する仮想骨モデルの位置合わせを維持し得る。

【0099】

[0135]いくつかの例では、施術者は、手術において後の時点まで物理的マーカを除去しなくてもよい。例えば、施術者は、観察された骨に対する仮想モデルの位置合わせがもはや必要とされなくなるまで（例えば、位置合わせを使用する全ての仮想ガイダンスが表示され、対応する手術ステップが完了した後）、物理的マーカを除去しなくてもよい。

【0100】

[0136]いくつかの例では、ＭＲシステム２１２は、処置の間中、仮想骨モデルと観察された骨（例えば、関節窩、上腕骨、又は他の骨構造）との間の位置合わせを維持することが可能であり得る。しかしながら、場合によっては、ＭＲシステム２１２は、仮想骨モデルと観察された骨との間の位置合わせを失うか、又は他の理由で維持することができない場合がある。例えば、ＭＲシステム２１２は、（例えば、仮想、物理的、又はその両方の）マーカのうちの１つ又は複数を見失い得る。このような喪失は、体液（例えば、血液）がマーカを閉塞すること、マーカが外れること（例えば、物理的マーカが適所から外れること）などを含むがこれらに限定されない任意の数の要因の結果であり得る。このように、ＭＲシステム２１２は、位置合わせが失われているかどうかを定期的に決定し得る（８２６）。

【0101】

[0137]いくつかの例では、ＭＲシステム２１２は、仮想点と対応する物理点との間の信頼距離が閾値信頼距離（例えば、臨床値）を超える場合、位置合わせが失われたと決定し得る。ＭＲシステム２１２は、現在の位置合わせの精度を表す値として信頼距離を定期的に決定し得る。例えば、ＭＲシステム２１２は、仮想点と対応する物理点との間の距離が３ｍｍ未満であると決定し得る。

【0102】

[0138]いくつかの例では、ＭＲシステム２１２は、信頼距離の表現を出力し得る。一例として、ＭＲシステム２１２は、視覚化デバイス２１３に、信頼距離の数値を表示させ得る。別の例として、ＭＲシステム２１２は、視覚化デバイス２１３に、閾値信頼距離に対する信頼距離のグラフィカル表現を表示させ得る（例えば、信頼距離が閾値信頼距離の半分未満である場合には緑色の円を表示させ、信頼距離が閾値信頼距離の半分から閾値信頼距離までである場合には黄色の円を表示させ、信頼距離が閾値信頼距離よりも大きい場合には赤色の円を表示させ得る）。

【0103】

[0139]いくつかの例では、ＭＲシステム２１２は、外科手術の間中、同じ閾値信頼距離を利用し得る。例えば、ＭＲシステム２１２は、（例えば、図２０～図３０を参照して以下で説明される）全ての上腕骨作業ステップに対して特定の閾値信頼距離を利用し得る。いくつかの例では、ＭＲシステム２１２は、外科手術の様々な部分に対して異なる閾値信頼距離を利用し得る。例えば、ＭＲシステム２１２は、作業ステップの第１のセットに対して第１の閾値信頼距離を利用し、作業ステップの第２のセットに対して第２の閾値信頼距離（これは作業ステップの第１のセットに対する第１の閾値信頼距離とは異なる）を使用し得る。

【0104】

[0140]位置合わせが失われていない場合（８２６の「Ｎｏ」分岐）、ＭＲシステム２１２は、仮想ガイダンスを表示し続け得る（８２４）。しかしながら、ＭＲシステム２１２が位置合わせを失う場合（８２６の「Ｙｅｓ」分岐）、ＭＲシステム２１２は、仮想骨モデルを観察された骨に再位置合わせするために１つ又は複数のアクションを実行し得る。一例として、ＭＲシステム２１２は、施術者からの更なるアクションなしに、自動的に、位置合わせプロセスを実行するように試み得る。例えば、物理的マーカが除去されていない場合である。ＭＲシステム２１２は、物理的マーカを使用して位置合わせプロセスを実行し得る。代替的に、物理的マーカが除去されている（又は配置されたことがない）場合、ＭＲシステム２１２は、物理的マーカを配置するように施術者に求める要求を出力し得る。このように、ＭＲシステム２１２は、仮想モデルを観察された骨に定期的に位置合わせすると見なされ得る。

【0105】

[0141]いくつかの例では、位置合わせが失われている場合に再位置合わせを自動的に試みるのとは対照的に、ＭＲシステム２１２は、位置合わせが依然として必要かどうかに基づいて再位置合わせを選択的に実行し得る（８２８）。いくつかの例では、ＭＲシステム２１２は、追加の仮想ガイダンスが表示されることとなる場合、位置合わせが依然として必要であると決し得る。ＭＲシステム２１２が、位置合わせがもはや必要でないと決定した場合（８２８の「Ｎｏ」分岐）、ＭＲシステム２１２は、位置合わせ手順を終了し得る。

【0106】

[0142]上で説明したように、ＭＲシステム２１２は、対応する観察された構造に対する仮想モデルの位置合わせを可能にするために、仮想マーカと物理的マーカとの任意の組合せを利用し得る。ＭＲシステム２１２は、マーカのいずれかを使用して初期位置合わせを実行し得、必要であれば、ＭＲシステム２１２は、マーカのいずれかを使用して再位置合わせを実行し得る。初期位置合わせに使用されるマーカは、任意の再位置合わせに使用されるマーカと同じであっても異なっていてもよい。

【0107】

[0143]いくつかの例では、位置合わせの精度及び品質を向上させるために、位置合わせプロセスの初期化段階中に、ＭＲシステム２１２は、ユーザの頭部の姿勢及び向きに関する空間的制約を計算及び表示することができる。これらの制約は、ユーザの位置、及び／又は向き、及び／又は観察された骨までの距離、及び／又は深度カメラ特性に依存してリアルタイムで計算され得る。例えば、ＭＲシステム２１２は、観察された骨のより近くに移動するように、ユーザの注視線が、観察された骨の対象の表面に対して垂直になるように頭部位置を調整するように、又は位置合わせプロセスを向上させるのに有用であり得、特定の手術アプリケーション及び／又は対象の特定の解剖学的構造の属性及び／又はＭＲシステム２１２で採用される光学センサ及び深度センサの特性に依存し得る任意の他の調整を行うようにユーザに促し得る。

【0108】

[0144]いくつかの例では、深度カメラ（複数可）５３２は、構造化光アプローチ又は好適な波長を有する光信号の飛行時間を使用することによって距離を検出する。一般に、光信号の波長は、深度カメラ（複数可）５３２によって送信される光信号による、観察された解剖学的構造の表面の浸透が最小限に抑えられるように選択される。しかしながら、距離を検出するための他の既知の又は将来開発される技法も採用され得ることは理解されるべきである。

【0109】

[0145]以下で述べるように、本明細書で説明される位置合わせ技法は、仮想モデル及び観察されたオブジェクトの任意の対に対して実行され得る。一例として、ＭＲシステムは、位置合わせ技法を利用して、骨の仮想モデルを観察された骨に位置合わせし得る。別の例として、ＭＲシステムは、位置合わせ技法を利用して、インプラントの仮想モデルを観察されたインプラントに位置合わせし得る。ＭＲシステムは、位置合わせ技法を利用して、ツールの仮想モデルを観察されたツールに位置合わせし得る。

【0110】

[0146]いくつかの例では、ＭＲシステムは、仮想モデル及び観察されたオブジェクトの特定の対に対して（例えば、特定の外科手術内で）位置合わせ技法を１回実行し得る。例えば、ＭＲシステムは、関節窩の仮想モデルを観察された関節窩と位置合わせし、この位置合わせを利用して、外科手術の複数のステップのための仮想ガイダンスを提供し得る。いくつかの例では、ＭＲシステムは、仮想モデル及び観察されたオブジェクトの特定の対に対して（例えば、特定の外科手術内で）位置合わせ技法を複数回実行し得る。例えば、ＭＲシステムは、最初に、関節窩の仮想モデルを観察された関節窩と位置合わせし、この位置合わせを利用して、外科手術の１つ又は複数のステップのための仮想ガイダンスを提供し得る。次いで、例えば、関節窩から（例えば、リーミングによって）物質が除去された後、ＭＲシステムは、関節窩の別の仮想モデル（これは除去された物質を考慮している）を観察された関節窩と位置合わせし、その後の位置合わせを使用して、外科手術の１つ又は複数の他のステップのための仮想ガイダンスを提供することができる。

【0111】

[0147]位置合わせが完了すると、ＭＲシステム２１２のオーグメント手術モードを使用して手術計画を実行することができる。例えば、図１５は、本開示の一例による、複合現実システムのオーグメント手術モードにあるときにユーザが知覚可能な画像を例示する。図１５の例に示されるように、外科医は、観察された骨構造２５２上の仮想的に計画された侵入点２９４及び穿孔軸２９６を視覚化し、それらの仮想画像を使用して、手術ツールの位置決め及びアライメントを支援することができる。穿孔軸２９６は、リーミング軸とも呼ばれ得、リーミングプロセスをガイドするガイドピンを配置するために穴を関節窩に穿孔するための仮想ガイドを提供する。

【0112】

[0148]位置合わせプロセスは、本開示の他の箇所で説明される仮想計画プロセス及び／又は術中ガイダンスと併用され得る。従って、一例では、特定の患者の対象の解剖学的構造（例えば、特定の患者の肩関節）を修復するために、仮想手術計画が生成されるか又は他の方法で取得される。仮想手術計画が取得される事例では、別のコンピューティングシステムが仮想手術計画を生成し得、ＭＲシステム（例えば、ＭＲシステム２１２）又は他のコンピューティングシステムが、通信媒体又は非一時的記憶媒体などのコンピュータ可読媒体から仮想手術計画を取得する。この例では、仮想手術計画は、術前画像データに基づいて生成された対象の解剖学的構造の３Ｄ仮想モデルと、対象の解剖学的構造を修復するために特定の患者に対して選択された人工部品とを含み得る。更に、この例では、ユーザは、仮想手術計画を実施するためにＭＲシステム（例えば、ＭＲシステム２１２）を使用し得る。この例では、ＭＲシステムを使用することの一部として、ユーザは、特定の患者に対する仮想手術計画を要求し得る。

【0113】

[0149]追加的に、ユーザは、実環境内に投影された手術計画の仮想画像を見ることができる。例えば、ＭＲシステム２１２は、本開示の様々な例で説明されるように、例えば患者の実際の解剖学的構造を有する実環境内に存在するようにオブジェクトが表示されるように３Ｄ仮想オブジェクトを提示し得る。この例では、手術計画の仮想画像は、対象の解剖学的構造の３Ｄ仮想モデル、人工部品の３Ｄモデル、及び対象の解剖学的構造を修復するための手術ワークフローの仮想画像のうちの１つ又は複数を含み得る。更に、この例では、ユーザは、３Ｄ仮想モデルを、特定の患者の対象の実際の解剖学的構造と位置合わせし得る。次いで、ユーザは、この位置合わせに基づいて対象の実際の解剖学的構造を修復するために、仮想的に生成された手術計画を実施し得る。換言すると、オーグメント手術モードでは、ユーザは、視覚化デバイスを使用して、対象の解剖学的構造の３Ｄ仮想モデルを対象の実際の解剖学的構造とアラインすることができる。

【0114】

[0150]そのような例では、ＭＲシステムは、３Ｄ仮想モデルが対象の実際の解剖学的構造とアラインされる（例えば、最適にアラインされる）位置合わせプロセスを実施する。この例では、ユーザは、仮想マーカも物理的マーカも使用することなく、３Ｄ仮想モデルを対象の実際の解剖学的構造と位置合わせし得る。換言すると、３Ｄ仮想モデルは、仮想マーカも物理的マーカも使用することなく、対象の実際の解剖学的構造とアライン（例えば、最適にアライン）され得る。ＭＲシステムは、この位置合わせを使用して、対象の実際の解剖学的構造に対して仮想手術計画を実施している間、対象の実際の解剖学的構造の動きを追跡し得る。いくつかの例では、ＭＲシステムは、追跡マーカを使用することなく、対象の実際の解剖学的構造の動きを追跡し得る。

【0115】

[0151]いくつかの例では、３Ｄ仮想モデルを対象の実際の解剖学的構造と位置合わせすることの一部として、３Ｄ仮想モデルは、（例えば、ユーザによって）対象の実際の解剖学的構造とアラインされ、このアライメントに基づいて３Ｄ仮想モデルと対象の実際の解剖学的構造との間の変換行列を生成することができる。変換行列は、仮想的に生成された手術計画を対象の実際の解剖学的構造に変換するための座標系を提供する。例えば、位置合わせプロセスにより、ユーザは、対象の実際の解剖学的構造上に投影された仮想手術計画のステップを見ることができる。例えば、３Ｄ仮想モデルと対象の実際の解剖学的構造とのアライメントは、対象の実際の解剖学的構造上に投影された仮想手術計画のステップ（例えば、対象の実際の解剖学的構造を修復するために人工インプラントを位置決めするための侵入点の識別）をユーザが見ることを可能にし得る変換行列を生成し得る。

【0116】

[0152]いくつかの例では、位置合わせプロセス（例えば、位置合わせプロセスを使用して生成された変換行列）により、ユーザは、追跡マーカを使用することなく、対象の実際の解剖学的構造に対して仮想手術計画を実施することができる。いくつかの例では、３Ｄ仮想モデルを対象の実際の解剖学的構造とアラインすることは、３Ｄ仮想モデルの表面上の関心点を対象の実際の解剖学的構造の表面上の対応する関心点の位置に位置決めすることと、関心点における仮想面法線が対応する関心点における実際の面法線とアラインされるように３Ｄ仮想モデルの向きを調整することとを含む。いくつかのそのような例では、関心点は、関節窩の中心点である。

【0117】

[0153]引き続き図７を参照すると、位置合わせプロセスを実行した後、外科医は、リーミング軸穿孔プロセス（７０６）を実行し得る。リーミング軸穿孔プロセス中、外科医は、リーミングガイドピンを受け入れるためのリーミング軸ガイドピンホールを患者の関節窩に穿孔し得る。肩関節手術における後の段階で、外科医は、リーミング軸ガイドピンホールにリーミング軸ピンを挿入し得る。いくつかの例では、ＭＲシステム（例えば、ＭＲシステム２１２など）は、仮想リーミング軸を提示して、外科医がこのリーミング軸に合わせて穿孔を実行し、それによって、リーミングガイドピンを正しい位置に正しい向きで配置するのを助け得る。

【0118】

[0154]外科医は、様々な方法のうちの１つでリーミング軸穿孔プロセスを実行し得る。例えば、外科医は、リーミング軸ピンホールを穿孔するために、ガイドベースのプロセスを実行し得る。この場合、リーミング軸ピンホールの穿孔をガイドするために、物理的ガイドが関節窩に配置される。他の例では、外科医は、例えば、適切なアライメントでリーミング軸ピンホールを穿孔するように外科医をガイドする仮想リーミング軸を提示して、ガイドフリープロセスを実行し得る。ＭＲシステム（例えば、ＭＲシステム２１２など）は、リーミング軸ピンホールを穿孔するために、外科医が、これらのプロセスのいずれかを実行するのを助け得る。

【0119】

[0155]更に、図７の外科的プロセスにおいて、外科医は、リーミング軸ピン挿入プロセス（７０８）を実行し得る。リーミング軸ピン挿入プロセス中、外科医は、患者の肩甲骨に穿孔されたリーミング軸ピンホールにリーミング軸ピンを挿入する。いくつかの例では、ＭＲシステム（例えば、ＭＲシステム２１２など）は、外科医がリーミング軸ピン挿入プロセスを実行するのを助けるために、仮想ガイダンス情報を提示し得る。

【0120】

[0156]リーミング軸ピン挿入プロセスを実行した後、外科医は、関節窩リーミングプロセス（７１０）を実行し得る。関節窩リーミングプロセス中、外科医は、患者の関節窩をリーミングする。患者の関節窩をリーミングすることにより、関節窩インプラントを設置するための適切な表面が得られ得る。いくつかの例では、患者の関節窩をリーミングするために、外科医は、外科用ドリルにリーミングビットを取り付け得る。リーミングビットは、リーミングビットの回転軸に沿って軸方向の空洞を定義する。軸方向の空洞は、リーミング軸ピンの外径に対応する内径を有する。リーミングビットを外科用ドリルに取り付けた後、外科医は、リーミング軸ピンがリーミングビットの軸方向の空洞内にくるようにリーミングビットを位置決めし得る。従って、関節窩リーミングプロセス中、リーミングビットは、リーミング軸ピンの周りを回転し得る。このようにして、リーミング軸ピンは、関節窩リーミングプロセス中にリーミングビットがふらつくのを防止し得る。いくつかの例では、複数のツールを使用して患者の関節窩をリーミングし得る。ＭＲシステム（例えば、ＭＲシステム２１２など）は、外科医又は他のユーザが関節窩リーミングプロセスを実行するのを助けるために、仮想ガイダンスを提示し得る。例えば、ＭＲシステムは、外科医などのユーザが関節窩リーミングプロセスで使用するリーミングビットを選択するのを助け得る。いくつかの例では、ＭＲシステムは、外科医がユーザの関節窩をリーミングする深さを外科医が制御するのを助けるために、仮想ガイダンスを提示する。いくつかの例では、関節窩リーミングプロセスは、患者の関節窩の異なる部分をリーミングするために、旧リーミングステップ及び新リーミングステップを含む。

【0121】

[0157]追加的に、図７の外科的プロセスでは、外科医は、関節窩インプラント設置プロセス（７１２）を実行し得る。関節窩インプラント設置プロセス中、外科医は、患者の関節窩に関節窩インプラントを設置する。外科医が解剖学的肩関節形成術を行っているいくつかの事例では、関節窩インプラントは、ユーザの天然の関節窩の代替物として作用する凹面を有する。外科医がリバース型肩関節形成術を行っている他の事例では、関節窩インプラントは、ユーザの天然の上腕骨頭の代替物として作用する凸面を有する。このリバース型肩関節形成術では、外科医は、関節窩インプラントの凸面上を摺動する凹面を有する上腕骨インプラントを設置し得る。図７の肩関節手術の他のステップにあるように、ＭＲシステム（例えば、ＭＲシステム２１２など）は、外科医が関節窩設置プロセスを実行するのを助けるために、仮想ガイダンスを提示し得る。

【0122】

[0158]いくつかの例では、関節窩設置プロセスは、関節窩インプラントを患者の肩甲骨に固定するプロセス（７１４）を含む。いくつかの例では、関節窩インプラントを患者の肩甲骨に固定するプロセスは、１つ又は複数のアンカー孔又は１つ又は複数のねじ孔を患者の肩甲骨に穿孔することと、インプラントの１つ又は複数のペグ又はキールなどのアンカーをアンカー孔（複数可）に位置決めすること、及び／又は、場合によってはセメント又は他の接着剤を使用して、関節窩インプラント及びねじ孔を通してねじを挿入することとを含む。ＭＲシステム（例えば、ＭＲシステム２１２など）は、関節窩インプラントを関節窩骨に固定するプロセスに関して外科医を助けるための仮想ガイダンスを提示し得、これには、例えば、関節窩に穿孔又は他の方法で形成されるアンカー又はねじ孔を示す仮想ガイダンス、及び孔へのアンカー又はねじの配置が含まれる。

【0123】

[0159]更に、図７の例では、外科医は、上腕骨準備プロセス（７１６）を実行し得る。上腕骨準備プロセス中、外科医は、上腕骨インプラントの設置のために上腕骨を準備する。外科医が解剖学的肩関節形成術を行っている事例では、上腕骨インプラントは、患者の天然の上腕骨頭の代替物として作用する凸面を有し得る。上腕骨インプラントの凸面は、関節窩インプラントの凹面内で摺動する。外科医がリバース型肩関節形成術を行っている事例では、上腕骨インプラントは凹面を有し得、関節窩インプラントは対応する凸面を有する。本開示の他の箇所で説明されるように、ＭＲシステム（例えば、ＭＲシステム２１２など）は、外科医が上腕骨準備プロセスを実行するのを助けるための仮想ガイダンス情報を提示し得る。

【0124】

[0160]更に、図７の例となる外科的プロセスでは、外科医は、上腕骨インプラント設置プロセス（７１８）を実行し得る。上腕骨インプラント設置プロセス中、外科医は、患者の上腕骨上に上腕骨インプラントを設置する。本開示の他の箇所で説明されるように、ＭＲシステム（例えば、ＭＲシステム２１２など）は、外科医が上腕骨準備プロセスを実行するのを助けるために、仮想ガイダンスを提示し得る。

【0125】

[0161]上腕骨インプラント設置プロセスを実行した後、外科医は、設置された関節窩インプラントと設置された上腕骨インプラントとをアラインするインプラントアライメントプロセス（７２０）を実行し得る。例えば、外科医が解剖学的肩関節形成術を行っている事例では、外科医は、上腕骨インプラントの凸面を関節窩インプラントの凹面に入れ子にし得る。外科医がリバース型肩関節形成術を行っている事例では、外科医は、関節窩インプラントの凸面を上腕骨インプラントの凹面に入れ子にし得る。その後、外科医は、創縫合プロセス（７２２）を実行し得る。創縫合プロセス中、外科医は、患者の肩の創傷を縫合するために、切開プロセス中に切断された組織を再び繋げ得る。

【0126】

[0162]肩関節形成術アプリケーションの場合、位置合わせプロセスは、仮想化デバイス２１３が、例えば、手術計画システム１０２によって患者の解剖学的構造の術前画像から生成された患者の肩甲骨及び関節窩の３Ｄ仮想骨モデル１００８をユーザに提示することから開始し得る。次いで、ユーザは、手術環境においてユーザが観察している患者の実際の肩甲骨及び関節窩と３Ｄ仮想骨モデル１００８をアライン及び方向付けるように、３Ｄ仮想骨モデル１００８を操作することができる。このように、いくつかの例では、ＭＲシステムは、初期化及び／又は位置合わせに役立つユーザ入力を受信し得る。しかしながら、上述したように、いくつかの例では、ＭＲシステムは、初期化及び／又は位置合わせプロセスを自動的に（例えば、３Ｄ骨モデルを位置決めするためのユーザ入力を受信することなく）実行し得る。膝関節、股関節、足、足関節、又は肘関節などに関する他のタイプの関節形成処置では、異なる関連する骨構造が、仮想３Ｄ画像として表示され、患者の実際の実物の解剖学的構造と同様にアライン及び方向付けられ得る。

【0127】

[0163]関与する関節又は解剖学的構造の特定のタイプにかかわらず、オーグメント手術モードの選択は、３Ｄ仮想骨モデル１００８が観察された骨構造と位置合わせされる手順を開始する。一般に、位置合わせ手順は、古典的な最適化問題（例えば、最小化又は最大化のいずれか）と見なされ得る。肩関節形成処置の場合、最適化（例えば、最小化）分析への既知の入力には、（深度カメラ（複数可）５３２からの深度データを含む、視覚化デバイス２１３からのセンサデータから導出される）観察された患者の骨の３Ｄジオメトリ、及び（例えば、ＢＬＵＥＰＲＩＮＴ（登録商標）システムを使用することによって）仮想手術計画状態中に導出される３Ｄ仮想骨のジオメトリがある。他の入力には、侵入点の位置及び向き、切断面、リーミング軸及び／若しくは穿孔軸、並びに骨構造を成形するためのリーミング若しくは穿孔の深さ、人工部品のタイプ、サイズ、及び形状、並びに人工部品が埋植されることとなる位置及び向き、又は骨折の場合、骨構造を再構築する方法などの手術計画の詳細（同じく、例えば、ＢＬＵＥＰＲＩＮＴ（登録商標）システムを使用することによって仮想手術計画段階中に導出される）が含まれる。

【0128】

[0164]ＭＲシステム２１２（図４）によって提示されたＵＩのウェルカムページから特定の患者を選択すると、その患者に関連する手術計画パラメータが、例えば、視覚化デバイス２１３の１つ又は複数のプロセッサによって、患者の３Ｄ仮想骨モデル１００８に接続される。オーグメント手術モードでは、視覚化デバイス２１３による（接続された事前計画パラメータを有する）３Ｄ仮想骨モデル１００８と観察された骨との位置合わせにより、外科医は、患者上で手術計画パラメータの仮想表現を視覚化することができる。

【0129】

[0165]３Ｄ仮想骨モデル１００８と実際の骨との位置合わせを達成するために実施される最適化（例えば、最小化）分析は、一般に、初期化段階及び最適化（例えば、最小化）段階という２つの段階で実行される。初期化段階中、ユーザは、例えば、注視方向、手のジェスチャ、及び／又は音声コマンドを使用して、仮想骨と観察された実際の骨とのアライメントを位置決め及び方向付けるか、又は別の方法で調整することによって、３Ｄ仮想骨モデル１００８を患者の実際の骨とおおまかにアラインする。初期化段階については、以下でより詳細に説明する。同じく以下で詳細に説明する最適化（例えば、最小化）段階中、光学カメラ（複数可）５３０及び／又は深度カメラ（複数可）５３２及び／又は任意の他の取得センサ（例えば、モーションセンサ５３３）からの情報を使用して３Ｄモデルと対象の観察された解剖学的構造とのアライメントを更に改善する最適化（例えば、最小化）アルゴリズムが実行される。いくつかの例では、最適化（例えば、最小化）アルゴリズムは、例として反復最近点アルゴリズム又は遺伝的アルゴリズムなどの任意の既知の又は将来開発される最小化アルゴリズムを含む最小化アルゴリズムであり得る。

【0130】

[0166]このようにして、一例では、複合現実手術計画方法は、特定の患者の対象の解剖学的構造を修復するために、仮想手術計画を生成することを含む。対象の解剖学的構造の３Ｄ仮想モデルを含む仮想手術計画は、対象の解剖学的構造の修復するために、術前画像データと、特定の患者に対して選択された人工部品とに基づいて生成される。更に、この例では、方法は、ＭＲ視覚化システムを使用して仮想手術計画を実施することを含む。この例では、ＭＲシステムを使用することは、特定の患者に対する仮想手術計画を要求することを含み得る。ＭＲシステムを使用することはまた、実環境内に投影された手術計画の仮想画像を見ることを含む。例えば、視覚化デバイス２１３は、例えば、仮想画像（複数可）が実環境の一部を形成するように表示されるように、実環境内に投影される手術計画の詳細の１つ又は複数の３Ｄ仮想画像を提示するように構成され得る。手術計画の仮想画像は、対象の解剖学的構造の３Ｄ仮想モデル、人工部品の３Ｄモデル、及び対象の解剖学的構造を修復するための手術ワークフローの仮想画像を含み得る。ＭＲシステムを使用することはまた、３Ｄ仮想モデルを特定の患者の対象の実際の解剖学的構造と位置合わせすることを含み得る。追加的に、この例では、ＭＲシステムを使用することは、位置合わせに基づいて対象の実際の解剖学的構造を修復するために仮想的に生成された手術計画を実施することを含み得る。

【0131】

[0167]更に、いくつかの例では、本方法は、仮想マーカも物理的マーカも使用することなく、３Ｄ仮想モデルを対象の実際の解剖学的構造と位置合わせすることを含む。本方法はまた、対象の実際の解剖学的構造に対して仮想手術計画を実施している間、対象の実際の解剖学的構造の移動を追跡するために位置合わせを使用することを含み得る。対象の実際の解剖学的構造の動きは、追跡マーカを使用せずに追跡され得る。いくつかの事例では、３Ｄ仮想モデルを対象の実際の解剖学的構造と位置合わせすることは、３Ｄ仮想モデルを対象の実際の解剖学的構造とアラインすることと、このアライメントに基づいて３Ｄ仮想モデルと対象の実際の解剖学的構造との間の変換行列を生成することとを含み得る。変換行列は、仮想的に生成された手術計画を対象の実際の解剖学的構造に変換するための座標系を提供する。いくつかの例では、アラインすることは、対象の実際の解剖学的構造の表面上の対応する関心領域内で３Ｄ仮想モデルの表面上の関心点を仮想的に位置決めすることと、関心点に関連する仮想表面形状が対応する関心領域に関連する実際の表面形状とアラインされるように３Ｄ仮想モデルの向きを調整することとを含み得る。いくつかの例では、アラインすることは、ユーザの注視線を中心として３Ｄ仮想モデルを回転させることを更に含み得る。関心領域は、対象の解剖学的構造の解剖学的ランドマークであり得る。対象の解剖学的構造は、肩関節であり得る。いくつかの例では、解剖学的ランドマークは、関節窩の中心領域である。

【0132】

[0168]いくつかの例では、位置合わせプロセスが完了した後、オーグメント手術モード中に３Ｄ仮想骨モデル１００８と観察された骨構造２５２との間の位置合わせを連続的かつ自動的に検証する追跡プロセスを開始することができる。手術中、３Ｄ解剖学的モデルと対応する観察された患者の解剖学的構造との間の位置合わせを乱す可能性があるか、又はモデルと観察された解剖学的構造との間の位置合わせを維持するＭＲシステム２１２の能力を妨げる可能性がある多くの事象（例えば、患者が動くこと、器具が動くこと、追跡の損失など）が生じる可能性がある。従って、追跡機能を実施することによって、ＭＲシステム２１２は、位置合わせを連続的又は定期的に検証し、必要に応じて位置合わせパラメータを調整することができる。ＭＲシステム２１２が不適切な位置合わせ（閾値量を超える患者の動きなど）を検出した場合、ユーザは、位置合わせプロセスを再開始するように求められ得る。

【0133】

[0169]いくつかの例では、解剖学的構造上の特定の位置に固定される、図１６に示されるマーカ１６０１などの１つ又は複数の光学マーカを使用して追跡を実施することができる。ＭＲシステム２１２は、３Ｄ空間内において、関連性のある解剖学的構造の位置及び向きを追跡するために光学マーカ（複数可）を監視する。マーカの動きが検出された場合、ＭＲシステム２１２は、動きの量を計算し、次いで、それに応じて位置合わせパラメータを変換することで、位置合わせプロセスを繰り返すことなく３Ｄモデルと観察された解剖学的構造との間のアライメントを維持することができる。

【0134】

[0170]他の例では、追跡はマーカレスである。例えば、光学マーカを使用するのではなく、ＭＲシステム２１２は、対象の観察された解剖学的構造のジオメトリに基づいてマーカレス追跡を実施する。いくつかの例では、マーカレス追跡は、追跡アルゴリズムのための明確なアンカーポイントを提供する骨の解剖学的ランドマークの位置に依存し得る。明確なランドマークが利用できない状況又はアプリケーションでは、可視の骨の形状又は他の解剖学的構造のジオメトリを使用する追跡アルゴリズムを実施することができる。そのような状況では、光学カメラ５３０（複数可）及び／又は深度カメラ５３２（複数可）及び／又はモーションセンサ５３３（例えば、ＩＭＵセンサ）からの画像データを使用して、可視の解剖学的構造のジオメトリ及び動きに関する情報を導出することができる。マーカレス追跡に使用可能な追跡アルゴリズムの例は、Ｄａｖｉｄ Ｊ．Ｔａｎらによる、「6D Object Pose Estimation with Depth Images: A Seamless Approach for Robotic Interaction and Augmented Reality」、arXiv:1709.01459v1 [cs,CV] (Sept. 5, 2017)に記載されているが、任意の好適な追跡システムが使用され得る。いくつかの例では、ＭＲシステム２１２のマーカレス追跡モードは、追跡が開始される前に、追跡アルゴリズムが可視の解剖学的構造のジオメトリを学習する学習段階を含むことができる。学習段階は、限られた処理能力でリアルタイムに追跡を実行することができるように、追跡の性能を向上させることができる。

【0135】

[0171]図１７は、本開示の一例による、ＭＲシステム２１２のオーグメント手術モードで追跡するためのプロセスフロー１７００の例を例示する。図１７のプロセスは、ＭＲシステム２１２の視覚化デバイス２１３によって実行され得る。ブロック１７０２において、学習プロセスが実行され、その間、追跡アルゴリズムは、仮想骨モデルに基づいて、対象の解剖学的構造のジオメトリを学習する。いくつかの例では、学習は、オフラインで（すなわち、手術前に）実行される。ブロック１７０４において、オーグメント手術モード中に追跡が開始される。ブロック１７０６において、対象の解剖学的構造の動きが連続的に（又は定期的に）監視される。ブロック１７０８において、検出された動きが閾値量を超える場合、ユーザは、図８Ａ又は図８Ｂの位置合わせプロセスを再開始するように促され得る（ブロック１７１２）。上述したように、いくつかの例では、ＭＲシステム２１２は、検出された動きが閾値量を超える場合、位置合わせプロセスを自動的に再開始及び／又は実行し得る。そうでない場合、動きの量を使用して、必要に応じて、位置合わせパラメータを変換する（ブロック１７１０）。

【0136】

[0172]いくつかの例では、マーカ及びマーカレス追跡の両方が実施可能である。例えば、光学マーカは、マーカレス追跡アルゴリズムのバックアップとして、又は追跡アルゴリズムの検証として使用され得る。更に、マーカ及び／又はマーカレス追跡を実施するという選択は、ユーザの裁量に任せられ得るか、又は特定の外科手術及び可視である特定の解剖学的特徴に依存し得る。

【0137】

[0173]いくつかの例では、手術計画に従って外科医をガイドするために、上述されたものと同じ追跡技法のいずれかを使用して、手術器具又はツール（マーカ（例えば、可視、赤外線など）又はマーカレス（例えば、ツールジオメトリ））を追跡して、器具の姿勢及び向きが正しいことを確実にすることができる。外科医が手術器具を使用する際に指針となるように、ＭＲシステム２１２は、可視インジケータを表示するか、又は器具を特定の方向に移動させるように外科医に促す他の知覚可能な指示（例えば、振動、可聴ビープ音など）を提供することができる。例えば、ＭＲシステム２１２は、外科医が見ることができる円を生成することができ、この円は、同心であるとき、ツールが手術計画に従ってアラインされていることを示すものである。

【0138】

[0174]本開示の他の箇所で説明したように、整形外科手術は、患者の解剖学的構造に対して様々な作業を行うことを含み得る。行われ得る作業のいくつかの例には、切断、穿孔、リーミング、ねじ留め、接着、及びインパクティングが含まれるが、必ずしもこれらに限定されない。一般に、施術者（例えば、外科医、医師の助手、看護師など）ができるだけ正確に作業を行うことが望ましいであろう。例えば、特定の患者にプロテーゼを埋め込むための手術計画において、患者の解剖学的構造の一部が特定の直径で特定の深さまでリーミングされるべきであることが指定されている場合、（例えば、プロテーゼが計画通りに適合して機能し、それによって患者の良好な健康転帰を促進する可能性を高めるために）外科医が患者の解剖学的構造の一部を特定の直径及び特定の深さにできるだけ近づけるようにリーミングすることが望ましいであろう。

【0139】

[0175]いくつかの例では、外科医は、「フリーハンド」で（すなわち、ツールのための機械的又は視覚的ガイド／補助を伴わずに、ツールを適用すること又は別の方法で使用することによって）１つ又は複数の作業工程を行い得る。例えば、図１８Ａ～１８Ｃに示されるように、肩関節形成処置の最中に、外科医は、上腕骨１８００の解剖学的頸部１８０２を視覚的に推定（例えば、「視認（eyeball）」）し、マーキングすることによって、上腕骨１８００の上腕骨頭１８０４の切除の外科的ステップを実行し得る。次いで、外科医は、外科医のフリーハンドで、すなわち、機械的又は視覚的ガイダンスを用いずに、マーキングされた解剖学的頸部１８０２に沿って切断ツール１８０６（例えば、振動鋸の刃）をガイドすることによって、上腕骨頭１８０４の切除を実行し得る。しかしながら、完全にフリーハンドでこれらのタイプの作業工程を伴う外科的ステップを実行することは、望ましくないエラーを引き起こし得、整形外科手術の結果を損なう可能性がある。

【0140】

[0176]いくつかの例では、整形外科手術の最中に、外科医は、機械的ガイドを用いて、外科的ステップとも呼ばれ得る、１つ又は複数の作業工程を行い得る。例えば、図１９に示されるように、外科医は、（例えば、図７のステップ７０２の上腕骨切断プロセスを実行することの一部として）上腕骨頭１８０４の切除を実行する前に、機械的ガイド１８０８を上腕骨１８００に取り付け得る。外科医は、機械的ガイド１８０８の上面１８１０が上腕骨１８００の解剖学的頸部１８０２と同一平面上となるように、機械的ガイド１８０８の１つ又は複数の部品を調整し得る（例示の目的で、解剖学的頸部１８０２は、破線で例示されている）。機械的ガイド１８０８を上腕骨頭１８０４に取り付けて、機械的ガイドを調整した後に、外科医は、上面１８１０に沿って切断ツール（例えば、振動鋸の刃）をガイドすることによって、上腕骨頭１８０４の切除を実行し得る。しかしながら、機械的ガイドの利用は望ましくない場合がある。一例として、機械的ガイドの取付け及び／又は調整は、外科手術に更なる時間を導入する。別の例として、機械的ガイドは、機械的ガイドのための追加のコスト、並びに／又は（例えば、手術中及び期末前の棚卸し（pre-closing inventory）の間）機械的ガイドを滅菌及び追跡するための追加の時間をもたらし得る追加のツールである。

【0141】

[0177]本開示の１つ又は複数の技法によれば、ＭＲ視覚化システム２１２などの視覚化システムは、患者の解剖学的構造の一部に対して作業を行うための１つ又は複数の仮想ガイドを含む仮想ガイダンスを表示するように構成され得る。例えば、視覚化システムは、仮想切断面を、患者の上腕骨の解剖学的頸部上に重ねて表示し得る。いくつかの例では、外科医などのユーザは、現実世界のシーン内の現実世界のオブジェクトを見ることができる。現実世界のシーンは、外科手術室などの現実世界の環境にあり得る。本開示では、実際の／実物の（real）及び現実世界（real world）という用語が同様に使用され得る。現実世界のシーンにおいてユーザが見る現実世界のオブジェクトは、手術中に露出される、実際の関節窩又は上腕骨などの患者の実際の実物の解剖学的構造を含み得る。ユーザは、視覚化デバイス２１３などの頭部装着型ＭＲ視覚化デバイスのシースルーホログラフィックレンズなどのシースルーの（例えば、透明な）画面を介して、現実世界のオブジェクトを見るだけでなく、例えば、仮想オブジェクトが実際の現実世界のシーンと統合されているようにユーザに表示された状態で、ＭＲガイダンスオブジェクト（複数可）が、現実世界のシーンの一部のように表示されるように、画面上又は現実世界のシーン内に投影されているように表示される仮想ＭＲオブジェクトなどの仮想ガイダンスを見ることもできる。例えば、仮想切断面／線は、切断面が、透明な画面を通して、例えば、シースルーホログラフィックレンズを通して、外科医が見る患者の実際の上腕骨の実際の観察されたビュー上に重ねられて、そしてその視野内に配置されているように表示されるように、視覚化デバイス２１３などのＭＲ視覚化デバイスの画面上に投影され得る。従って、この例では、仮想切断面／線は、実際の現実世界のオブジェクトと共に、現実世界の環境の一部のように表示される仮想３Ｄオブジェクトであり得る。

【0142】

[0178]外科医が実際の実物の解剖学的構造を見るだけでなく、仮想解剖学的構造及び／又は仮想手術ガイダンスなどの仮想オブジェクトも観察する画面は、１つ又は複数のシースルーホログラフィックレンズを含み得る。「導波路」と呼ばれることもあるホログラフィックレンズは、ユーザがレンズを通して現実世界のオブジェクトを見ることと、投影されたホログラフィックオブジェクトをユーザが見るために表示することとを可能にし得る。上述したように、視覚化デバイス２１３のための好適な頭部装着型ＭＲデバイスの例は、米国ワシントン州レドモンドのマイクロソフト社から入手可能なMicrosoft HOLOLENS（登録商標）ヘッドセットである。HOLOLENS（登録商標）ヘッドセットは、投影された画像がユーザに提示される、導波路とも呼ばれるシースルーホログラフィックレンズを含む。HOLOLENS（登録商標）ヘッドセットはまた、内部コンピュータと、カメラ及びセンサと、ホログラフィックレンズを介してホログラフィックコンテンツをユーザが見るために投影する投影システムとを含む。一般に、Microsoft HOLOLENS（登録商標）ヘッドセット又は同様のＭＲ視覚化デバイスは、先に述べたように、例えば、ディスプレイデバイスからの光を光導波路に結合する光学部品を介して、導波路とも呼ばれるホログラフィックレンズに画像を投影するＬＣｏＳディスプレイデバイスを含み得る。導波路は、ユーザが、導波路を介してユーザに提示される３Ｄ仮想画像も見ながら、導波路を通して現実世界のシーンを見ることを可能にし得る。いくつかの例では、導波路は、回折導波路であり得る。

【0143】

[0179]仮想切断面などの提示仮想ガイダンスにより、外科医は、例えば、外科医が実際の上腕骨頭を見ながら視覚化システムを介して表示された仮想切断面に沿って鋸をガイドすることによって、機械的ガイドを必要とせずに上腕骨頭を正確に切除することができる。このようにして、視覚化デバイス２１３を有するＭＲシステム２１２などの視覚化システムにより、外科医は、正確な作業を行うことができるであろう（例えば、機械的ガイドの精度ではあるが、機械的ガイドの使用による欠点なしに）。この「ガイドレス」手術は、いくつかの例では、コスト及び複雑さの低減を提供し得る。

【0144】

[0180]視覚化システム（例えば、ＭＲシステム２１２／視覚化デバイス２１３）は、異なるタイプの仮想ガイドを表示するように構成され得る。仮想ガイドの例には、仮想点、仮想軸、仮想角度、仮想経路、仮想平面、及び仮想表面又は輪郭が含まれるが、これらに限定されない。上述したように、視覚化システム（例えば、ＭＲシステム２１２／視覚化デバイス２１３）は、仮想ガイドが表示される、例えば投影されるレンズを介して、ユーザが、患者の解剖学的構造を直接見ることを可能にし得る。

【0145】

[0181]視覚化システムは、本明細書で説明される仮想手術計画などの仮想手術計画から仮想ガイドのためのパラメータを取得し得る。仮想ガイドのための例となるパラメータには、ガイド位置、ガイド向き、ガイドタイプ、ガイド色などが含まれるが、必ずしもこれらに限定されない。

【0146】

[0182]本開示の技法は、肩関節形成外科手術に関して以下に説明される。肩関節形成術の例には、リバース型関節形成術、拡張リバース型関節形成術、標準肩関節全形成術、拡張肩関節全形成術、及び半関節形成術が含まれるが、これらに限定されない。しかしながら、本技法は、そのように限定されるものではなく、視覚化システムは、任意のタイプの外科手術における仮想ガイドを含む、仮想ガイダンス情報を提供するために使用され得る。仮想ガイドを提供するためにＭＲシステム２１２などの視覚化システムが使用され得る他の例となる処置には、接尾辞「plasty」、「stomy」、「ectomy」、「clasia」、又は「centesis」が付くあらゆるタイプの処置、肘関節、手首、指関節、股関節、膝関節、足関節、若しくは足指などの他の関節のための整形外科手術、又は精密なガイダンスが望ましい任意の他の整形外科手術など、他のタイプの整形外科手術が含まれるが、これらに限定されない。

【0147】

[0183]典型的な肩関節形成術は、患者の肩甲骨に対する様々な作業と、患者の上腕骨に対する様々な作業の実施とを含む。肩甲骨に対する作業は、一般に、インプラント部品の取付けのための肩甲骨（例えば、肩甲骨の関節窩）の準備及び準備された肩甲骨へのインプラント部品の取付けとして説明され得る。同様に、上腕骨に対する作業は、一般に、インプラント部品の取付けのための上腕骨の準備及び準備された上腕骨へのインプラント部品の取付けとして説明され得る。本明細書で説明されるように、視覚化システムは、そのような関節形成処置において行われる任意又は全ての作業のためのガイダンスを提供し得る。

【0148】

[0184]上述したように、ＭＲシステム（例えば、ＭＲシステム２１２など）は、患者にプロテーゼを取り付けること、及び／又はプロテーゼを受け入れるために患者の骨、軟組織、若しくは他の解剖学的構造を準備することを行うための仮想手術計画を受信し得る。仮想手術計画は、行われるべき様々な作業及び行われるべき作業のための様々なパラメータを指定し得る。一例として、仮想手術計画は、リーミングを実行するための患者の関節窩上の位置及びリーミングのための深さを指定し得る。別の例として、仮想手術計画は、患者の上腕骨頭を切除するための表面を指定し得る。別の例として、仮想手術計画は、１つ又は複数の固定位置（例えば、ねじ、ステム、ペグ、キールなど）の位置及び／又は向きを指定し得る。

【0149】

[0185]いくつかの例では、ＭＲシステム２１２は、外科医が患者の上腕骨に対して作業を行うのを支援するための仮想ガイダンスを提供し得る。図２３Ａ～図３０に示されるように、ＭＲシステム２１２は、上腕骨頭の全て又は一部を除去するための切断などの上腕骨準備において外科医を支援するための仮想ガイダンスを提供し得る。図３０は、本開示の１つ又は複数の技法による、インプラントを上腕骨に取り付けるための仮想ガイダンスを提供するＭＲシステム２１２を例示する概念図である。インプラントを上腕骨２０００に取り付けるためにツールが使用され得る。例えば、外科医は、準備された上腕骨２０００内にプロテーゼ２０４２を挿入するためにハンドル２０４０を利用し得る。いくつかの例では、１つ又は複数の接着剤（例えば、糊、セメントなど）が、挿入に先立って、プロテーゼ２０４２及び／又は上腕骨２０００に適用され得る。図３０に示されるように、ＭＲシステム２１２は、インプラントを受け入れるための上腕骨の準備及び上腕骨内でのインプラントの位置決めなど、上腕骨インプラントの位置決めにおいて外科医を支援するための仮想ガイダンスを提供し得る。

【0150】

[0186]プロテーゼを取り付けるために上腕骨を準備し、実際のプロテーゼの取付けを実行するために、多くの異なる技法が使用され得る。使用される技法にかかわらず、ＭＲシステム２１２は、準備及び取付けの一方又は両方を支援するための仮想ガイダンスを提供し得る。このように、以下の技法は、ＭＲシステム２１２が仮想ガイダンスを提供する例であるが、ＭＲシステム２１２は、他の技法のための仮想ガイダンスを提供し得る。

【0151】

[0187]例となる技法では、作業ステップは、上腕骨頭の切除、上腕骨に対するパイロットホールの作成、サウンディング、穿孔、コンパクティング、表面準備、及び上腕骨へのインプラントの取付けを含む。追加的に、いくつかの技法では、作業ステップは、上腕骨頭へのガイドの設置、例えば、関節窩などの骨表面に対するインプラントの増強のためにインプラントと共に配置するための移植片のリーミング、移植片の穿孔、移植片の切断、及び移植片の除去などの骨移植作業ステップを含み得る。

【0152】

[0188]外科医は、患者の上腕骨を露出させるために１つ又は複数のステップを実行し得る。例えば、外科医は、上腕骨頭を含む上腕骨の上部を露出させるために１つ又は複数の切開を行うことができる。外科医は、露出を維持するために１つ又は複数の開創器を位置決めし得る。いくつかの例では、ＭＲシステム２１２は、例えば、切開及び／又は開創器の配置を行うことによって、上腕骨の露出を支援するためのガイダンスを提供し得る。

【0153】

[0189]図２０及び図２１は、本開示の１つ又は複数の技法による、上腕骨頭に機械的ガイドを設置するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。例示の目的で、周囲組織及び一部の骨は、図２０及び図２１並びに他の図から省略されていることに留意されたい。図２０に示されるように、ＭＲシステム２１２は、上腕骨２０００の上腕骨頭２００２上に仮想軸２００４を表示し得る。図２０及び後続の図は、視覚化デバイス２１３を介して見たときに外科医又は他のユーザが見るであろうものを例示する。特に、視覚化デバイス２１３を介して見るとき、外科医は、上腕骨２０００の一部と、上腕骨２０００の一部上に重ねられた仮想軸２００４（及び／又は他の仮想ガイダンス）とを見るであろう。

【0154】

[0190]仮想軸２００４を表示するために、ＭＲシステム２１２は、ガイドが設置されるべき上腕骨２０００の仮想モデル上の位置を決定し得る。ＭＲシステム２１２は、仮想手術計画（例えば、仮想計画システム２０２によって生成されるような上で説明した仮想手術計画）から位置を取得し得る。ＭＲシステム２１２によって取得された位置は、ベクトル及び仮想モデル上の点の座標の一方又は両方を指定し得る。点は、ガイドが設置されるべき位置であり得、ベクトルは、ガイドが設置されるべき角度／傾斜を示し得る。

【0155】

[0191]上述したように、上腕骨２０００の仮想モデルは、仮想モデル上の座標が上腕骨２０００上の座標にほぼ対応するように、上腕骨２０００に位置合わせされ得る。このように、仮想モデル上の決定された位置に仮想軸２００４を表示することによって、ＭＲシステム２１２は、上腕骨２０００上の計画された位置に仮想軸２００４を表示し得る。

【0156】

[0192]外科医は、表示された仮想ガイダンスを使用して物理的ガイドを取り付け得る。例えば、ガイドが、セルフタッピングねじ付き遠位先端を有するガイドピンである場合、外科医は、ガイドピンを表示された仮想軸２００４とアラインし、ドリル又は他の器具を利用してガイドピンを設置し得る。いくつかの例では、ＭＲシステム２１２は、外科医がガイドピンを計画された深さに設置することを可能にするために、深度ガイダンス情報を表示し得る。

【0157】

[0193]図２１は、上腕骨頭２００２に設置されたガイド２００６を例示する概念図である。ガイド２００６は、上腕骨頭に形成された穴に取り付けられるように細長いピンの形態をとり得る。図２０及び図２１に示されるように、仮想軸２００４を表示することによって、外科医は、上腕骨頭２００２上の計画された位置にガイド２００６を設置し得る。このようにして、ＭＲシステム２１２は、追加の機械的ガイドを必要とすることなくガイドを設置することを可能にし得る。

【0158】

[0194]上述したように、ＭＲシステム２１２は、外科医がガイドピンを設置するのを支援するために、仮想マーカなどの仮想ガイダンスを提供し得る。例えば、図２０の例では、ＭＲシステム２１２は、外科医がガイドピンを設置するのを支援するために仮想軸２００４を表示し得る。ＭＲシステム２１２が表示し得る仮想マーカの他の例には、軸、点、円、リング、多角形、Ｘ字形、十字、又は任意の他の形状若しくは形状の組合せが含まれるが、これらに限定されない。ＭＲシステム２１２は、仮想マーカを、静的に又は様々なアニメーション若しくは他の効果付きで表示し得る。

【0159】

[0195]図２２Ａ～図２２Ｄは、ＭＲシステム２１２が表示し得る仮想マーカの例を例示する。図２２Ａは、ＭＲシステム２１２が仮想マーカ２００８Ａを点として表示する例を例示する。図２２Ｂは、ＭＲシステム２１２が仮想マーカ２００８Ｂを十字／Ｘ字形として表示する例を例示する。図２２Ｃは、ＭＲシステム２１２が仮想マーカ２００８Ｃをレチクルとして表示する例を例示する。図２２Ｄは、ＭＲシステム２１２が仮想マーカ２００８Ｄをレチクルと軸との組合せとして表示する例を例示する。

【0160】

[0196]上述したように、いくつかの例では、ＭＲシステム２１２は、様々なアニメーション又は他の効果付きで仮想マーカを表示し得る。一例として、ＭＲシステム２１２は、回転リングを有するレチクルとして仮想マーカを表示し得る。別の例として、ＭＲシステム２１２は、点滅する十字／Ｘ字形として仮想マーカを表示し得る。

【0161】

[0197]ＭＲシステム２１２は、特定の色で仮想マーカを表示し得る。例えば、いくつかの例では、ＭＲシステム２１２は、好ましくは、緑色、青色、黄色など、赤色以外の色で仮想マーカを表示し得る。赤色以外の１つ又は複数の色で仮想マーカを表示することは、１つ又は複数の利益を提供し得る。例えば、血液は赤く見え、血液は対象の解剖学的構造上又はその周りに存在し得るため、赤色の仮想マーカでは見えない場合がある。

【0162】

[0198]上で説明した様々なタイプの仮想マーカの使用は、ガイドピンの設置に限定されない。例えば、ＭＲシステム２１２は、外科医が任意の作業を行うのを支援するために、上で説明した仮想マーカのいずれかを表示し得る。一例として、ＭＲシステム２１２は、外科医が上腕骨２０００に対して任意の作業を行うのを支援するために、上で説明した仮想マーカのいずれかを表示し得る。別の例として、ＭＲシステム２１２は、外科医が肩甲骨又は別の他の骨に対して任意の作業を行うのを支援するために、上で説明した仮想マーカのいずれかを表示し得る。

【0163】

[0199]インプラント部品の埋植に向けて上腕骨を準備するために、外科医は、上腕骨頭を切除、切断、又は別の方法で除去し得る。上腕骨頭切除のためのいくつかのＭＲ支援型技法が企図され、それらには、移植片の除去を伴う上腕骨頭の切断及び移植片の除去を伴わない上腕骨頭の切断を含む技法が含まれる。第１の例となる技法では、ＭＲシステム２１２は、外科医が、例えば移植片を取らずに上腕骨頭を切除する際の指針となる、仮想切断面などの仮想切断表面を表示し得る。この場合、機械的ガイドが必要なくなり得るため、精度を維持しつつ、処置をより簡潔にし、場合によっては費用を削減することができる。第１の例となる技法の更なる詳細については、図２３Ａ～図２３Ｃを参照して以下で説明する。第２の例となる技法では、ＭＲシステム２１２は、外科医が、上腕骨上に物理的ガイド、すなわち機械的ガイドを設置する際の指針となる仮想軸を表示し得、仮想軸は、外科医が、上腕骨頭を切除する際の指針となる。第２の例となる技法の更なる詳細については、図２４を参照して以下で説明する。

【0164】

[0200]図２３Ａ～図２３Ｃは、本開示の１つ又は複数の技法による、上腕骨頭の切除のための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。図２３Ａ及び図２３Ｂに示されるように、ＭＲシステム２１２は、上腕骨２０００上の計画された位置に仮想切断面２０１０を表示し得る。仮想切断面２０１０を表示するために、ＭＲシステム２１２は、上腕骨頭２００２が切除されるべき上腕骨２０００の仮想モデル上の位置を決定し得る。ＭＲシステム２１２は、仮想手術計画（例えば、上で説明した仮想手術計画）から位置を取得し得る。このように、ＭＲシステム２１２は、上腕骨の骨頭の一部の切除をガイドする仮想手術計画から取得された仮想切断表面（例えば、切断面）を表示し得る。

【0165】

[0201]上述したように、上腕骨２０００の仮想モデルは、仮想モデル上の座標が上腕骨２０００上の座標にほぼ対応するように、上腕骨２０００と位置合わせされ得る。このように、仮想モデル上の決定された位置に仮想切断面２０１０を表示することによって、ＭＲシステム２１２は、上腕骨２０００上の計画された位置に仮想切断面２０１０を表示し得る。

【0166】

[0202]外科医は、表示された仮想ガイダンスを使用して上腕骨頭２００２を切除し得る。例えば、外科医は、振動鋸２０１２を利用して、仮想切断面２０１０に沿って切断することによって上腕骨頭２００２を切除し得る。いくつかの例では、ＭＲシステム２１２は、ツール（例えば、振動鋸２０１２）が所定の平面上にあるかどうかを示すために、ターゲティングガイダンスを表示し得る。

【0167】

[0203]図２４は、本開示の１つ又は複数の技法による、仮想ガイダンスを使用して位置決めされる上腕骨頭切除のための物理的ガイドを例示する概念図である。上述したように、第２の例となる技法では、ＭＲシステム２１２は、外科医が物理的ガイドを設置する際の指針となる仮想軸を表示し得、物理的ガイドは、外科医が上腕骨頭を切除する際の指針となる。例えば、ＭＲシステム２１２は、図２０及び図２１を参照して上述したものと同様の技法を使用して、仮想軸などの仮想マーカを表示し得る。外科医は、仮想軸を使用して、物理的ガイド２００６の設置をガイドし得る。このように、ＭＲシステム２１２は、上腕骨内への穴の穿孔及び上腕骨内の穴へのガイドピンの取付けをガイドする、仮想手術計画から取得された仮想穿孔軸を表示し得る。

【0168】

[0204]外科医は、切除ガイド２０１４の設置を支援するためにガイド２００６を使用し得る（例えば、ガイドピンは、上腕骨への切除ガイドの取付けをガイドするように構成され得る）。一般に、切除ガイド２０１４は、上腕骨頭を切除するためのツール（例えば、振動鋸）を物理的にガイドするように構成された物理的アセンブリであり得る。図２４の例では、切除ガイド２０１４は、プレート２０１６Ａ及び２０１６Ｂ（集合的に「プレート２０１６」）と、上部プレート２０２２と、調整ねじ２０２０Ａ及び２０２０Ｂ（集合的に「調整ねじ２０２０」）と、ガイド受容部２０２４とを含む。

【0169】

[0205]ガイド受容部２０２４は、ガイド２００６が切除ガイド２０１４を通り過ぎることができるように、ガイド２００６を受け入れるようにサイズ決定され得る。プレート２０１６は、スロット２０１８を画定し、スロットは、物理的ガイドツール（例えば、振動鋸）を受け入れ、プレート２０１６間で切断面２０２６にわたってガイドするようにサイズ決定され得る。上部プレート２０２２は、上腕骨頭２００２の頂部に接して静止するように構成され得る（自然に又は移植片を除去するために作業が行われた後のいずれかで）。調整ねじ２０２０は、プレート２０１６ひいては切断面２０２６を、上部プレート２０２２に対して位置決めするように、集合的に又は独立して調整され得る。

【0170】

[0206]ＭＲシステム２１２は、切除ガイド２０１４の位置決めを支援するための仮想ガイダンスを提供し得る。一例として、ＭＲシステム２１２は、切断面２０２６の所望の位置に仮想切断面を表示し得る。外科医は、スロット２０１８が仮想切断面とアラインされるまで調整ねじ２０２０を調整し得る。いくつかの例では、ＭＲシステム２１２は、どの調整ねじ２０２０を締めたり緩めたりすべきかに関するガイダンスを提供し得る。切除ガイド２０１４が適切に構成されると（例えば、スロット２０１８が仮想切断面とアラインされると）、外科医は、ツールを操作して上腕骨頭２００２を切除し得る。

【0171】

[0207]図２５及び図２６は、本開示の１つ又は複数の技法による、上腕骨にパイロットホールを作成するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。図２５及び図２６に示されるように、切除のヒンジ点において上腕骨管と一致するパイロットホールを作成するために、スターターオウル２０２８が使用され得る。

【0172】

[0208]ＭＲシステム２１２は、パイロットホールの作成を支援するための仮想ガイダンスを提供し得る。一例として、ＭＲシステム２１２は、外科医がパイロットホールを形成すべき位置を表す仮想マーカ（例えば、仮想点２０３０）などのターゲティングガイダンスを表示し得る。例えば、ＭＲシステム２１２は、上腕骨の骨頭が切除された後に上腕骨へのパイロットホールの作成をガイドする、仮想手術計画から取得される仮想軸を表示し得る。別の例として、ＭＲシステム２１２は、所定の深さまでパイロットホールを作成する際に外科医を支援するために、深度ガイダンスを表示し得る。

【0173】

[0209]図２７は、本開示の１つ又は複数の技法による、上腕骨をサウンディングするための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。図２７に示されるように、上腕骨２０００の遠位部分のサイズ上限を決定するためにサウンダ２０３２が使用され得る。いくつかの例では、本明細書で説明されるように、サイズ上限までの異なるサイズの複数のサウンダが使用され得る。

【0174】

[0210]ＭＲシステム２１２は、サウンディングを支援するための仮想ガイダンスを提供し得る。一例として、ＭＲシステム２１２は、サウンダ２０３２のための仮想ターゲティングガイダンスを表示し得る。例えば、ＭＲシステム２１２は、サウンダ２０３２がどこに挿入されるべきかを示す（例えば、図２２Ａ～図２２Ｄを参照して上述したような）仮想マーカを表示し得る。

【0175】

[0211]図２８は、本開示の１つ又は複数の技法による、上腕骨を穿孔するための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。図２８に示されるように、外科医は、パンチテンプレート２０３４をサウンダ２０３２（又は、サウンディングステップ中に決定された最終サウンダ）に取り付け得る。次いで、外科医は、パンチ２０３６がテンプレート２０３４上で底に達するまで、パンチ２０３６をテンプレート２０３４内に配置し得る。次いで、外科医は、サウンダ２０３２、テンプレート２０３４、及びパンチ２０３６を上腕骨２０００から引き抜くことによって、切り目を入れた骨を除去し得る。

【0176】

[0212]ＭＲシステム２１２は、穿孔を支援するための仮想ガイダンスを提供し得る。一例として、ＭＲシステム２１２は、パンチ２０３６がテンプレート２０３４に適切に位置決めされているかどうかの指示を表示し得る。例えば、パンチ２０３６がテンプレート２０３４に適切に位置決めされている場合、ＭＲシステム２１２は、適切な位置決めを示す仮想マーカ（例えば、チェックマーク）を表示し得る。同様に、パンチ２０３６がテンプレート２０３４に適切に位置決めされていない場合、ＭＲシステム２１２は、不適切な位置決めを示す仮想マーカ（例えば、Ｘ）を表示し得る。

【0177】

[0213]図２９は、本開示の１つ又は複数の技法による、上腕骨をコンパクティングするための仮想ガイダンスを提供するＭＲシステムを例示する概念図である。図２９に示されるように、コンパクタ２０３８は、ハンドル２０４０に取り付けられ、上腕骨２０００内に挿入され得る。いくつかの例では、複数のコンパクタが使用され得る。例えば、外科医は、最終サウンダのサイズの３つ下のサイズのコンパクタから開始し、十分な固定が達成されるまで連続的にコンパクティングすることができる。十分な固定は、ハンドル２０４０のわずかなトルク運動によって評価され得る。十分な固定が達成されていれば、コンパクタ２０３８はこのテスト中上腕骨内で動かないはずである。

【0178】

[0214]ＭＲシステム２１２は、コンパクティングを支援するための仮想ガイダンスを提供し得る。一例として、ＭＲシステム２１２は、十分な固定が達成されたかどうかの指示を表示し得る。例えば、ＭＲシステム２１２が、十分な固定が達成されたと決定した場合、ＭＲシステム２１２は、十分な固定を示す仮想マーカ（例えば、チェックマーク）を表示し得る。同様に、ＭＲシステム２１２が、十分な固定が達成されていないと決定した場合、ＭＲシステム２１２は、不十分な固定を示す仮想マーカ（例えば、Ｘ）を表示し得る。

【0179】

[0215]外科医は、コンパクタ２０３８（例えば、最終コンパクタ）をハンドル２０４０から外すことができる。次いで、外科医は、１つ又は複数の表面準備ステップを実行し得る。

【0180】

[0216]上に示されるように、外科手術の特定のステップは、外科医がインプラント又はインプラントツールを骨の中に挿入することを含み得る。一例として、外科医は、図２５及び図２６を参照して上述したように、スターターオウル２０２８などのスターターオウルを挿入し得る。別の例として、外科医は、図２７を参照して上述したように、サウンダ２０３２などの１つ又は複数のサウンダを挿入し得る。別の例として、外科医は、図２８を参照して上述したように、パンチ２０３６などのパンチを挿入し得る。別の例として、外科医は、図２９を参照して上述したように、コンパクタ２０３８などのコンパクタを挿入し得る。別の例として、外科医は、図３０を参照して上述したように、プロテーゼ２０４２などのインプラント部品（例えば、肩関節置換のための解剖学的又はリバース型上腕骨インプラントなどの上腕骨インプラント用のステム）を挿入し得る。本開示によると、図２のＭＲシステム２１２などのシステムは、インプラント又はインプラントツールと骨の壁（例えば、皮質壁）との間の距離に関する情報を外科医に提供するために、仮想追跡を利用し得る。

【0181】

[0217]図３１は、本開示の１つ又は複数の技法による、インプラント又はインプラントツールと骨との間の空間的関係を監視するための例となるプロセスを例示するフローチャートである。説明のために、図３１のプロセスは、図２のＭＲシステム２１２によって実行されるものとして説明される。しかしながら、図３１のプロセスは、そのように限定されず、他のシステム又はデバイスによって実行され得る。

【0182】

[0218]ＭＲシステム２１２は、インプラント又はインプラントツールの仮想モデルを取得し得る（３０００）。例えば、ＭＲシステム２１２は、インプラント又はインプラントツールの表面（例えば、スターターオウル２０２８、サウンダ２０３２、パンチ２０３６、コンパクタ２０３８、及び／又はプロテーゼ２０４２の外面）の少なくとも一部を表す３Ｄモデル（例えば、点群又はメッシュ）を取得し得る。１つの特定の例として、ＭＲシステム２１２の処理デバイス２１０（複数可）は、メモリ２１５に記憶された仮想手術計画から、インプラント又はインプラントツールの外面を表す点群又はメッシュを取得し得る。

【0183】

[0219]ＭＲシステム２１２は、骨の仮想モデルを取得し得る（３００２）。例えば、ＭＲシステム２１２は、骨の壁の少なくとも一部を表す３Ｄモデル（例えば、点群又はメッシュ）を取得し得る。例えば、ＭＲシステム２１２は、メモリ２１５に記憶された仮想手術計画から、骨の１つ又は複数の壁を表す３Ｄモデルを取得し得る。例えば、ＭＲシステム２１２は、上腕骨１８００の少なくとも一部の内壁を表す第１の点群又はメッシュと、上腕骨１８００の少なくとも一部の外壁を表す第２の点群又はメッシュとを取得し得る。

【0184】

[0220]ＭＲシステム２１２は、骨の仮想モデルを対応する観察された骨に位置合わせし得る（３００４）。例えば、ＭＲシステム２１２は、図２０Ａ～図３１を参照して上述した位置合わせ技法を使用して、上腕骨１８００の仮想モデルを上腕骨１８００の対応する観察部分に位置合わせし得る。上述したように、上腕骨１８００の仮想モデルを上腕骨１８００の対応する観察部分に位置合わせすることは、マーカを使用してもよいし、マーカレスであってもよい。位置合わせが１つ又は複数のマーカを使用する場合、マーカは、任意の好適な位置で上腕骨１８００に取り付けられ得る。一例として、図１６の例に示されるように、マーカ１６０１は、上腕骨に取り付けられ得る。位置合わせの結果、ＭＲシステム２１２は、（例えば、上で説明したようにＳＬＡＭを使用して）観察された骨の位置の変化を骨の仮想モデルにマッピングすることができる。

【0185】

[0221]ＭＲシステム２１２は、インプラント又はインプラントツールの仮想モデルを、対応する観察されたインプラント又はインプラントツールに位置合わせし得る（３００６）。例えば、ＭＲシステム２１２は、図２０Ａ～図３１を参照して上述した位置合わせ技法を使用して、プロテーゼ２０４２の仮想モデルをプロテーゼ２０４２の対応する観察部分に位置合わせし得る。上述したように、プロテーゼ２０４２の仮想モデルをプロテーゼ２０４２の対応する観察部分に位置合わせすることは、マーカを使用してもよいし、マーカレスであってもよい。位置合わせに１つ又は複数のマーカが使用される場合、マーカは、任意の好適な位置において、プロテーゼ２０４２、及び／又はプロテーゼ２０４２を挿入するために使用されるハンドル（例えば、図３０のハンドル２０４０）に取り付けられ得る。位置合わせの結果、ＭＲシステム２１２は、（例えば、上で説明したようにＳＬＡＭを使用して）観察されたインプラント又はインプラントツールの位置の変化をインプラント又はインプラントツールの仮想モデルにマッピングすることができる。

【0186】

[0222]ＭＲシステム２１２は、位置合わせされた仮想モデルに基づいて、インプラント又はインプラントツールと骨の壁との間の距離を推定し得る（３００８）。例えば、ＭＲシステム２１２は、インプラント又はインプラントツールの仮想モデル上の点と骨の仮想モデルとの間の距離を決定し得る。距離推定に関する更なる詳細については、図３２Ａ～図３２Ｅを参照して以下で説明する。

【0187】

[0223]ＭＲシステム２１２は、推定距離の表現を出力し得る（３０１０）。一例として、ＭＲシステム２１２は、推定距離（例えば、インプラント又はインプラントツールの仮想モデル上の点と骨の仮想モデル上の点との間の距離のいずれか）が閾値距離未満である場合にアラートを出力し得る。別の例として、ＭＲシステム２１２は、インプラントと骨の壁との間の１つの推定距離（又は複数の推定距離）を連続的に出力し得る。インプラントと骨の壁との間の距離は、インプラントが骨の壁と接触するまでにどれだけの空間が存在するかを示す残りの距離であり得る。ＭＲシステム２１２はまた、インプラントが皮質骨の壁に最も近くにある場所についての１つ又は複数の位置及び距離の指示、インプラントが骨の壁から閾値量未満の距離にある１つ又は複数の位置及び距離の指示、インプラントと皮質骨の壁との間の平均距離の指示、又は他のそのような指示などの情報をユーザに提示し得る。

【0188】

[0224]ＭＲシステム２１２は、任意のタイプの出力モダリティを使用して、前述の表現、アラート、又は通知のいずれかを出力し得る。例となる出力モダリティには、触覚、オーディオ、グラフィック、テキスト、又は外科医が知覚可能な任意の他の指示が含まれるが、必ずしもこれらに限定されない。一例として、ＭＲシステム２１２は、推定距離が閾値距離未満であると決定したことに応答して、図４の視覚化デバイス２１３の知覚デバイス５２６のスピーカにトーンを発せさせ得る。別の例として、ＭＲシステム２１２は、推定距離が閾値距離未満であると決定したことに応答して、知覚デバイス５２６のうちの１つ又は複数を振動させ得る。別の例として、ＭＲシステム２１２は、視覚化デバイス２１３に、インプラントと骨の壁との相対位置のグラフィック表現を表示させ得る。別の例として、ＭＲシステム２１２は、視覚化デバイス２１３に、インプラントと骨の壁との間の現在の距離を示すテキストを表示させ得る。

【0189】

[0225]上述したように、いくつかの例では、ＭＲシステム２１２は、視覚化デバイス２１３に、インプラントと骨の壁との相対位置のグラフィック表現を表示させ得る。例えば、ＭＲシステム２１２は、視覚化デバイスに、インプラントの仮想モデル及び骨の仮想モデルを表示させ得る。このように、いくつかの例では、外科医は、インプラントと骨との相対位置を見るために、自身の視点を変更する（例えば、自身の頭部を動かす）ことができる。

【0190】

[0226]図３２Ａ～図３２Ｅは、本開示の１つ又は複数の技法による、骨及びインプラントの例となる仮想モデルを例示する概念図である。図３２Ａ～図３２Ｅの各々は、骨仮想モデル３２００及びインプラントツール仮想モデル３２０４を含む。図３２Ａ～図３２Ｅの例に示されるように、骨仮想モデル３２００は、上腕骨２０００の少なくとも一部に対応し得、インプラントツール仮想モデル３２０４は、コンパクタ２０３８の少なくとも一部に対応し得る。しかしながら、他の例では、骨仮想モデル３２００は、他の骨に対応し得、インプラントツール仮想モデル３２０４は、他のインプラントツール又はインプラントに対応し得る。一例として、インプラントツール仮想モデル３２０４は、プロテーゼ２０４２の少なくとも一部に対応し得る。

【0191】

[0227]いくつかの例では、インプラントツール仮想モデル３２０４が、使用中に骨から少なくとも部分的に突出することとなるオブジェクトに対応することが望ましいであろう。例えば、インプラントツール仮想モデル３２０４が、使用中に骨から部分的に突出しないオブジェクトに対応する場合、ＭＲシステム２１２などのＭＲシステムがインプラントツール仮想モデル３２０４の位置合わせを維持することは困難であり得る（例えば、視覚的位置合わせが使用される場合）。本開示の１つ又は複数の技法によれば、インプラントツール仮想モデル３２０４は、使用中に骨から突出しないインプラント又はインプラントツールの部分と、使用中に骨から突出するインプラント又はインプラントツールの部分との両方に対応し得る。例えば、インプラントツール仮想モデル３２０４は、インプラント又はインプラントツールの一部、及びインプラント又はインプラントツールを挿入するために使用されるハンドルに対応し得る。一例として、インプラントツール仮想モデル３２０４は、コンパクタ２０３８の少なくとも一部及びハンドル２０４０に対応し得る。別の例として、インプラントツール仮想モデル３２０４は、プロテーゼ２０４２の少なくとも一部に対応し得る。別の例として、インプラントツール仮想モデル３２０４は、プロテーゼ２０４２の少なくとも一部及びハンドル２０４０に対応し得る。

【0192】

[0228]インプラント又はインプラントツールを挿入するために使用されるハンドルの位置及び向きは、インプラント又はインプラントツールの位置及び向きに固定され得るため、ＭＲシステム２１２は、少なくともハンドルの一部を追跡することによって、インプラント又はインプラントツールの位置を追跡することが可能であり得る。例えば、ＭＲシステム２１２は、ハンドル２０４０の一部に対応するインプラントツール仮想モデル３２０４の一部を追跡することによって、プロテーゼ２０４２の一部に対応するインプラントツール仮想モデル３２０４の一部の位置を決定し得る。

【0193】

[0229]骨仮想モデル３２００及びインプラントツール仮想モデル３２０４の各々は、複数の点を含み得る。図３２Ａ～図３２Ｅの例では、骨仮想モデル３２００は、点３２０２Ａ～３２０２Ｓ（集合的に「点３２０２」）を含み、インプラントツール仮想モデル３２０４は、点３２０６Ａ～３２０６Ｒ（集合的に「点３２０６」）を含む。点３２０２は、上腕骨２０００の内側又は外側皮質壁などの骨の壁を表し得る。点３２０２を含む仮想モデル３２００は、患者の画像（例えば、ＣＴ画像、ＭＲＩ画像など）（例えば、図３の術前段階３０２中にキャプチャされた画像）に基づいて取得され得る。仮想モデル３２００は、外科医がインプラントツール仮想モデル３２０４に対応するインプラント又はインプラントツールを使用するより前に存在することとなる（例えば、存在するように計画されている）のような骨の壁を表し得る。例えば、図３２Ａ～図３２Ｅの例では、仮想モデル３２００は、上腕骨頭が上腕骨２０００から除去された後、（例えば、図２５及び図２６を参照して上で説明したように）スターターオウル２０２８を使用して上腕骨２０００に穴を形成した後、（例えば、図２７を参照して上で説明したように）１つ又は複数のサウンダ２０３２を使用して上腕骨２０００をサウンディングした後、及び（例えば、図２８を参照して上で説明したように）パンチ２０３６を使用して上腕骨２０００を穿孔した後、又はそれらの任意の組合の後の上腕骨２０００の壁を表し得る。

【0194】

[0230]点３２０６は、コンパクタ２０３８の外面などの、インプラント又はインプラントツールの外面を表し得る。点３２０６を含む仮想モデル３２０４は、インプラント又はインプラントツールの製造業者から（例えば、インプラント又はインプラントツールのＣＡＤモデル又は他の仮想表現から）取得され得る。図３２Ａ～図３２Ｅの例では１９個の点を有するものとして例示されているが、骨仮想モデル５０３は、追加の又はより少ない点を含み得る。例えば、骨仮想モデル３２００は、骨の壁を表す数百、数千、数百万の点を含み得る。同様に、仮想モデル３２０４は、ツールの外面を表す数百、数千、数百万の点を含み得る。

【0195】

[0231]上述したように、ＭＲシステム２１２などのシステムは、仮想モデルを位置合わせし、位置合わせされたモデルを使用して、インプラント又はインプラントツールと、例えば、上腕骨の皮質骨の内壁などの骨の壁との間の距離を決定し得る。例えば、ＭＲシステム２１２は、骨仮想モデル３２００を上腕骨２０００に位置合わせし（例えば、図３１のステップ３００４）、インプラントツール仮想モデル３２０４をコンパクタ２０３８及び／又はハンドル２０４０に位置合わせし（例えば、図３１のステップ３００６）、位置合わせされた仮想モデルを使用して、コンパクタ２０３８と上腕骨２０００の壁との間の距離を推定し得る。

【0196】

[0232]ＭＲシステム２１２は、対応する観察された構造が移動されるにつれて、位置合わせされた仮想モデルを追跡し続け得る。例えば、図３２Ａ～図３２Ｅの例に示されるように、ＭＲシステム２１２は、コンパクタ２０３８がハンドル２０４０を使用して上腕骨２０００内に挿入されるとき、骨仮想モデル３２００の位置に対するインプラントツール仮想モデル３２０４の位置を追跡し得る。ＭＲシステム２１２は、挿入段階の任意の組合せで相対位置を追跡し得る。一例として、図３２Ａの例に示されるように、ＭＲシステム２１２は、挿入前、骨仮想モデル３２００とインプラントツール仮想モデル３２０４との相対位置（ひいてはコンパクタ２０３８と上腕骨２０００との相対位置）を追跡し得る。別の例として、図３２Ｂ～図３２Ｄの例に示されるように、ＭＲシステム２１２は、コンパクタ２０３８が上腕骨２０００に挿入されるとき、骨仮想モデル３２００とインプラントツール仮想モデル３２０４との相対位置（ひいてはコンパクタ２０３８と上腕骨２０００との相対位置）を追跡し得る。別の例として、図３２Ｅの例に示されるように、ＭＲシステム２１２は、コンパクタ２０３８が上腕骨２０００内に完全に挿入されるとき、骨仮想モデル３２００とインプラントツール仮想モデル３２０４との相対位置（ひいてはコンパクタ２０３８と上腕骨２０００との相対位置）を追跡し得る。

【0197】

[0233]いくつかの例では、ＭＲシステム２１２は、インプラント仮想モデル上の点と骨仮想モデル上の点とのそれぞれの対の間の距離を決定することによって距離を推定し得る。一例として、ＭＲシステム２１２は、インプラントツール仮想モデル３２０４上の点３２０６Ｌと骨仮想モデル３２００上の点３２０２Ｎとの間の距離としてＤ_ＬＮを決定し得る。別の例として、ＭＲシステム２１２は、インプラントツール仮想モデル３２０４上の点３２０６Ｌと骨仮想モデル３２００上の点３２０２Ｍとの間の距離としてＤ_ＬＭを決定し得る。

【0198】

[0234]いくつかの例では、ＭＲシステム２１２は、インプラントツール仮想モデル３２０４上の全ての点と骨仮想モデル３２００上の全ての点との間の距離を決定し得る。例えば、ＭＲシステム２１２は、インプラントツールの表面に対応する全ての点と骨の壁に対応する全ての点との間の距離を決定し得る。

【0199】

[0235]いくつかの例では、ＭＲシステム２１２は、インプラントツール仮想モデル３２０４上の点のサブセットと骨仮想モデル３２００の点のサブセットとの間の距離を決定し得る。一例として、ＭＲシステム２１２は、インプラントツールの表面上の点のサブセット（例えば、インプラントツールの最遠位部分、又は骨内に最初に導入されるインプラントツールの部分）と、骨上の点のサブセット（例えば、インプラントツールが導入される点に最も近い骨の部分）との間の距離を決定し得る。別の例として、ＭＲシステム２１２は、インプラントツールの表面上の点のサブセット（例えば、インプラントツールの最遠位部分、又は骨内に最初に導入されるインプラントツールの部分）と骨上の全ての点との間の距離を決定し得る。

【0200】

[0236]いくつかの例では、ＭＲシステム２１２は、インプラントツール仮想モデル３２０４上の点と骨仮想モデル３２００上の点のサブセットとの間の距離を決定し得る。一例として、ＭＲシステム２１２は、インプラントツールの表面上の全ての点と骨上の点のサブセット（例えば、インプラントツールが導入される点に最も近い骨の部分）との間の距離を決定し得る。

【0201】

[0237]ＭＲシステム２１２は、任意の好適な技法を使用して２点間の距離を決定し得る。例えば、ＭＲシステム２１２は、以下の式に従って距離Ｄ_ＫＭを決定し得、ここで、３２０６Ｋ_Ｘ、３２０６Ｋ_Ｙ、及び３２０６Ｋ_Ｚは点３２０６Ｋのｘ、ｙ、ｚ座標に対応し、３２０２Ｍ_Ｘ、３２０２Ｍ_Ｙ、及び３２０２Ｍ_Ｚは点３２０２Ｍのｘ、ｙ、ｚ座標に対応する：

【0202】

【数1】

【0203】

[0228]ＭＲシステム２１２は、決定された距離から最小値を決定し得る。例えば、ＭＲシステム２１２が、距離Ｄ_ＬＮを９ｍｍ、Ｄ_ＬＭを１２ｍｍ、Ｄ_ＫＮを１２ｍｍ、Ｄ_ＫＭを４ｍｍ、及びＤ_ＫＮを１２ｍｍと決定する場合、ＭＲシステム２１２は、Ｄ_ＫＭが最小距離（すなわち、インプラントツールと骨壁との間）であると決定し得る。

【0204】

[0239]ＭＲシステム２１２は、決定された最小距離を使用して、様々なエラーの指示を選択的に提供し得る。例えば、上述したように、決定された最小距離が閾値距離（例えば、２ｍｍ、３ｍｍ、４ｍｍ、５ｍｍ）未満である場合、ＭＲシステム２１２は、外科医に警告を出力し得る。

【0205】

[0240]ＭＲシステム２１２は、任意の出力モダリティを使用して警告を出力し得る。例となる出力モダリティには、触覚、オーディオ、グラフィック、テキスト、又は外科医が知覚可能な任意の他の指示が含まれるが、必ずしもこれらに限定されない。一例として、ＭＲシステム２１２は、決定された最小距離が閾値距離未満であると決定したことに応答して、図４の視覚化デバイス２１３の知覚デバイス５２６のスピーカにトーンを発せさせ得る。別の例として、ＭＲシステム２１２は、決定された最小距離が閾値距離未満であると決定したことに応答して、知覚デバイス５２６のうちの１つ又は複数を振動させ得る。別の例として、ＭＲシステム２１２は、決定された最小距離が閾値距離未満であると決定したことに応答して、視覚化デバイス２１３にグラフィック警告（例えば、「Ｘ」、インプラント又は骨仮想モデルの一方又は両方の色付き強調表示など）を表示させ得る。別の例として、ＭＲシステム２１２は、決定された最小距離が閾値距離未満であると決定したことに応答して、視覚化デバイス２１３にテキスト（例えば、「警告」、「皮質接触切迫（Cortical Contact Imminent）」など）を表示させ得る。

【0206】

[0241]図３３は、場合によっては本開示で説明される他のデバイスと共に、インプラント部品に関する埋植の深さ及び／又は骨とインプラント部品との間の距離を決定するように構成され得るデバイス３３００の例を示す。図３３の例では、デバイス３３００は、第１のセンサ３３０２と、第２のセンサ３３０４と、処理回路３３０６と、送信機３３０８と、メモリ３３１０とを含む。第１のセンサ３３０２及び第２のセンサ３３０４は、互いに近接して位置しており、一般に、ほぼ同じ方向を感知するように構成されている。従って、第１のセンサ３３０２及び第２のセンサ３３０４が感知する方向は、ほぼ平行であるか又はわずかに収束している。

【0207】

[0242]デバイス３３００は、術中ガイダンスシステム１０８の構成要素であると見なされ得るか、又は術中ガイダンスシステム１０８とは別個であるが術中ガイダンスシステム１０８と通信する構成要素であると見なされ得る。いくつかの実装形態では、デバイス３３００は、聴覚フィードバック、視覚フィードバック、又は触覚フィードバックのうちの１つ又は組合せを通してユーザに情報を提示することが可能なスタンドアロンデバイスであり得る。

【0208】

[0243]デバイス３３００は、いくつかの形態のいずれか１つをとり得る。デバイス３３００は、例えば、患者の腕若しくは脚の周りに巻き付くストラップ若しくはバンドの一部であり得るか、又は手術を受けている腕若しくは脚を患者が挿入するカフ若しくはスリーブであり得る。他の実装形態では、デバイス３３００は、デバイスユーザが患者の身体の一部を横断して移動させるワンド状若しくはプローブ状のデバイスであり得るか、又はデバイスユーザが患者の腕若しくは脚を軸として回転させる、板状の、例えば実質的に平面の、表面であり得る。

【0209】

[0244]動作中、第１のセンサ３３０２は、第１のセンサと患者内の外側の骨壁との間の距離を示す第１の値を処理回路３３０６に出力するように構成されている。骨壁は、例えば、皮質骨であり得る。上腕骨インプラントの例では、骨壁は、インプラント部品が埋植される上腕骨管の周りの皮質骨壁であり得る。第１のセンサ３３０２は、例えば、音波を（例えば、離散バーストとして）放出し、外側の骨壁からの音波の反射を受信する、超音波センサ（ultrasonic sensor）又は超音波センサ（ultrasound sensor）であり得る。第１のセンサ３３０２又は処理回路３３０６は、超音波センサが音波を放出する時間と超音波センサが音波の反射を受信する時間との間の差に基づいて第１の値を決定し得る。従って、センサ３３０２の出力は、ソノマイクロメトリ（sonomicrometry）又は何らかの他の技法を使用して距離が決定され得る１つの時間値又は複数の時間値であり得る。

【0210】

[0245]センサ３３０４は、患者内の埋込型部品までの距離を示す第２の値を処理回路３３０６に出力するように構成され得る。埋込型部品は、例えば、金属製であり得、センサ３３０４は、金属を検出するように構成され得る。第２のセンサは、例えば、ホール効果センサなどの磁気センサであり得、第２の値は電圧値であり得る。センサ３３０４は、例えば、磁場を放出し、磁場の放出に応答して磁気センサに誘起される電圧変化を検出するように構成され得る。埋込型部品の金属は、磁場の変化を引き起こすことができ、センサ３３０４に誘起される電圧変化は、インプラント部品の金属までの距離に相関することができる。いくつかの事例では、センサ３３０４によって出力される値は、センサの位置において、例えば、肩関節形成処置の場合、患者の腕に沿って、インプラント部品が検出されないことを示し得る。この文脈において、位置とは、骨の長手方向軸に沿った位置を指す。上腕骨の場合、その軸は、上腕骨の骨頭から上腕骨の滑車まで、又はより一般的には、肩関節から肘関節まで延びる。

【0211】

[0246]処理回路３３０６は、第１の値及び第２の値を処理し、送信機３３０８は、第１の値及び第２の値に基づいて出力を送信する。いくつかの例では、処理回路３３０６は、センサ３３０２の出力値を、センサ３３０２と患者内の外側の骨壁との間の距離を表す第１の距離値に変換する。例えば、センサ３３０２の出力が時間値である場合、処理回路３３０６は、ヒト組織内の音速についての既知の値に基づいて、時間値を第１の距離値に変換することができる。処理回路３３０６はまた、センサ３３０４の出力値を、センサ３３０４と患者の中の埋込型部品との間の距離を表す第２の距離値に変換することができる。第２の距離値から第１の距離値を差し引くことによって、処理回路３３０６は、骨の外壁と骨の中に埋め込まれているインプラント部品の外壁との間の距離を決定することができる。骨の外壁とインプラント部品の外壁との間の距離から骨の厚さを差し引くことによって、処理回路３３０６は、骨の内壁と骨の中に埋め込まれているインプラント部品の外壁との間の距離を決定することができる。骨の厚さは、既知の厚さ又は推定された骨の厚さであり得る。

【0212】

[0247]次いで、送信機３３０８は、決定された距離（複数可）を、術中ガイダンスシステム１０８などの別のシステムに送信し得る。インプラント部品が検出されないことを第２の値が示す場合、送信機３３０８は、決定された距離の代わりにその情報を送信し得る。他の例では、送信機３３０８は、第１の値及び第２の値を術中ガイダンスシステム１０８に送信し、術中ガイダンスシステム１０８は、センサ３３０２の出力値を第１の距離値に変換し、同様に、センサ３３０４の出力値を第２の距離値に変換する。次いで、術中ガイダンスシステム１０８は、第２の距離値から第１の距離値を差し引いて、骨の外壁と骨の中に埋め込まれているインプラント部品の外壁との間の距離を決定することができる。また、インプラント部品が検出されないことを第２の値が示す場合、術中ガイダンスシステム１０８は、インプラント部品が存在しないという決定を行うことができる。

【0213】

[0248]図３４は、骨壁の外径とインプラント部品の外径との間の距離を測定するために使用されているデバイス３３００の例を示す。図３４は、軟組織３４０２、上腕骨皮質骨３４０４、及びインプラント部品３４０６を有する腕３４００の例を示す。図３４の例では、インプラント部品３４０６は、ステム付き上腕骨インプラントのステムとして示されており、これは、例えば、関節窩インプラントと係合するための上腕骨ボールも含み得る。しかしながら、本開示の技法は、任意の特定のタイプのインプラント部品に限定されない。デバイス３３００は、センサ３３０２及び３３０４が上腕骨３４０４及びインプラント部品３４０６に向いた状態で、腕３４００の外面に接して配置される。

【0214】

[0249]上で説明したように、デバイス３３００の第１のセンサ３３０２は、皮質骨３４０４の外壁までの距離を示す第１の値を処理回路３３０６に出力するように構成されている。腕３４００内の皮質骨３４０４の外壁までの距離は、図３４において距離ＬＢとして示されている。センサ３３０４は、インプラント部品３４０６の外壁までの距離を示す第２の値を処理回路３３０６に出力するように構成されている。インプラント部品デバイス３４０６の外壁までの距離は、図３４において距離ＬＩとして示される。

【0215】

[0250]デバイス３３００は、第１の値及び第２の値を術中ガイダンスシステム１０８に送信する。第１の値が、第１のセンサ３３０２による音波の放出と音波の受信との間の時間差を示す場合、術中ガイダンスシステム１０８は、軟組織３４０２を通る音速に基づいて、時間差値を距離値ＬＢに変換することができる。他の実装形態では、処理回路３３０６及び／又はセンサ３３０２などのデバイス３３００の構成要素は、距離値ＬＢを決定し得、その場合、デバイス３３００から術中ガイダンスシステム１０８に送信される第１の値は、距離ＬＢの指示であり得る。デバイス３３００から術中ガイダンスシステム１０８に送信される第１の値は、距離ＬＢを直接示す値又は距離ＬＢを導出することができる任意の値であり得る。

【0216】

[0251]第２の値が電圧レベルを示す場合、術中ガイダンスシステム１０８は、センサ３３０４の既知のパラメータに基づいて電圧レベルを距離値ＬＩに変換することができる。他の実装形態では、処理回路３３０６及び／又はセンサ３３０４などのデバイス３３００の構成要素は、距離値ＬＩを決定し得、この場合、デバイス３３００から術中ガイダンスシステム１０８に送信される第２の値は、距離ＬＩの指示であり得る。デバイス３３００から術中ガイダンスシステム１０８に送信される第２の値は、距離ＬＩを直接示す値又は距離ＬＩを導出することができる任意の値であり得る。

【0217】

[0252]術中ガイダンスシステム１０８は、皮質骨３４０４の外壁とインプラント部品３４０６の外壁との間の距離を決定することができる。皮質骨３４０４の外壁とインプラント部品３４０６の外壁との間の距離は、図３４において距離Ｘとして示される。術中ガイダンスシステム１０８は、距離ＬＩから距離ＬＢを差し引くことによって距離Ｘの値を決定することができる。他の実装形態では、デバイス３３００は、距離ＬＩから距離ＬＢを差し引くことによって距離Ｘの値を決定し、距離Ｘの値を術中ガイダンスシステム１０８に送信し得る。

【0218】

[0253]センサ３３０２及びセンサ３３０４は、自動又は手動のいずれかで、肢を上下に及び／又は肢の円周上を移動するように又は移動されるように構成され得る。センサ３３０２及び３３０４を移動させることによって、デバイス３３００は、肢に沿って複数の点において距離Ｘの値を決定し得る。デバイス３３００はまた、センサ３３０４がインプラント部品３４０６の存在を検出することができる肢沿いの最後の軸方向位置と、センサ３３０４がインプラント部品３４０６の存在を検出することができない肢沿いの最初の軸方向位置とを決定することによって、インプラント部品３４０６のインプラント深さを決定するように構成され得る。軸方向位置は、例えば、腕にほぼ対応する軸に沿って肩の近位又は肩部の遠位にあると表され得る。

【0219】

[0254]デバイス３３００及び術中ガイダンスシステム１０８の一方又は両方はまた、骨の外壁とインプラント部品の外壁との間の決定された距離（すなわち、距離Ｘ）から、皮質骨の厚さについての推定された値を差し引くことによって、インプラント部品の外壁と皮質骨の内壁との間の予測又は推定距離を決定するように構成され得る。いくつかの事例では、皮質骨の厚さは、本開示の他の箇所で開示されるように、患者の術前撮像及び／又は予測モデリングから決定され得る。他の事例では、皮質骨の厚さは、性別、年齢、身長などの特定の人口統計学的特性を有する患者についての既知の平均に基づいて決定され得る。

【0220】

[0255]肢に沿った複数の軸方向位置における距離Ｘの複数の値を用いて、デバイス３３００はまた、インプラント部品と骨３４０４の内側皮質壁との間の最初の接触点を予測するか、又は骨折する確率が最も高い可能性のある内側皮質壁の領域を予測するように構成され得る。デバイス３３００は、例えば、本開示の他の箇所で説明される技法を使用して決定される骨のモデルと、設置されるインプラント部品の３Ｄモデルなどのモデルとに基づいて、そのような予測を行い得る。設置されるインプラント部品のモデルは、デバイス３３００によって記憶されるか又は取得可能であり得、インプラント部品の寸法及び形状などの情報を含み得る。

【0221】

[0256]従って、肢に沿った複数の点における距離Ｘの複数の値を用いて、デバイス３３００は、インプラント部品３４０６の現在の位置を決定することができる。肢に沿った複数の点における距離Ｘの複数の値を使用して、デバイス３３００はまた、インプラント部品３４０６の向きを決定することができる。向きとは、例えば、インプラント部品３４０６の先端が骨３４０４の内側又は外側に向かって移動している速度（rate）であり得る。従って、インプラント部品３４０６の位置及び向きに基づいて、並びに骨のモデル及び骨に設置されているインプラント部品のモデルに基づいて、デバイス３３００は、インプラント部品と骨３４０４の内側皮質壁との間の最初の接触点又は骨折する確率が最も高い可能性のある内側皮質壁の領域を予測することができる。

【0222】

[0257]一般的に言えば、センサ３３０２及び３３０４の出力を距離値ＬＢ及びＬＩに変換し、距離ＬＢ及びＬＩに基づいて距離Ｘを決定するための上で説明したステップは、デバイス３３００（例えば、処理回路３３０６並びにセンサ３３０２及び３３０４）及び術中ガイダンスシステム１０８にわたって任意の方法で分散され得る。従って、特定の機能は、デバイス３３００又は術中ガイダンスシステム１０８によって実行されるものとして上で説明されているが、別途明記されない限り、それらの機能は、デバイス３３００又は術中ガイダンスシステム１０８の他方によっても実行され得ると想定されるべきである。

【0223】

[0258]本開示の他の箇所でより詳細に説明されるように、距離Ｘが閾値未満である場合、又は、例えば、推定された骨壁の厚さをＸから引いた差によって決定されるような、インプラント部品３４０６の外壁と皮質骨３４０４の内壁との間の距離が閾値未満である場合、術中ガイダンスシステム１０８は、インプラント部品３４０６が皮質骨３４０４の外壁に近づいているというアラートを外科チームに提供するように構成され得、これは、皮質骨３４０４が骨折の危険にさらされていることを示し得る。術中ガイダンスシステム１０８はまた、アラートに加えて又はその代わりに、インプラント部品と皮質骨の外壁又は代替的に内壁との間の距離を外科チームに連続的に提供するように構成され得る。インプラント部品と皮質骨の外壁又は内壁との間の距離は、インプラント部品が皮質骨の外壁又は代替的に内壁と接触するまでにどれだけの空間が存在するかを示す残りの距離であり得る。

【0224】

[0259]デバイス３５００及び術中ガイダンスシステム１０８が複数の位置において距離Ｘの値を検出する場合、術中ガイダンスシステム１０８はまた、インプラント部品が皮質骨の内壁に最も近くにある場所に関する１つ又は複数の位置及び距離の指示、インプラント部品が皮質骨の内壁又は外壁から閾値量未満の距離にある場所に関する１つ又は複数の位置及び距離の指示、インプラント部品と皮質骨の内壁又は外壁との間の平均距離の指示、又は他のそのような指示などの情報をユーザに提示し得る。本開示の他の箇所でより詳細に説明されるように、術中ガイダンスシステム１０８によって出力される様々なアラート及び他の情報は、いくつかの事例では、デバイス３３００によっても出力され得る。

【0225】

[0260]図３５は、本開示の技法による、インプラント部品位置決めデバイスの別の例であるデバイス３５００を示す。デバイス３５００は、場合によっては本開示で説明される他のデバイスと共に、インプラント部品に関する埋植の深さ及び／又は骨とインプラント部品との間の距離を決定するように構成され得る。デバイス３５００は、センサ３５０２と、処理回路３５０４と、送信機３５０６と、メモリ３５０８とを含む。

【0226】

[0261]デバイス３５００は、術中ガイダンスシステム１０８の構成要素であると見なされ得るか、又は術中ガイダンスシステム１０８とは別個であるが術中ガイダンスシステム１０８と通信する構成要素であると見なされ得る。いくつかの実装形態では、デバイス３５００は、聴覚フィードバック、視覚フィードバック、又は触覚フィードバックのうちの１つ又は組合せを通してユーザに情報を提示することが可能なスタンドアロンデバイスであり得る。デバイス３５００は、いくつかの形態のいずれか１つをとり得る。デバイス３５００は、例えば、患者の腕若しくは脚の周りに巻き付くストラップ若しくはバンドの一部であり得るか、又は外科医、看護師、若しくは技術者が、手術を受けている患者の腕又は脚を挿入するカフ若しくはスリーブであり得る。他の実装形態では、デバイス３３００は、デバイスユーザが患者の身体の一部を横断して移動させるワンド状若しくはプローブ状のデバイスであり得るか、又はデバイスユーザが患者の腕若しくは脚を軸として回転させる、平面状の、例えば、板状の、表面であり得る。

【0227】

[0262]センサ３５０２は、図３５においてセンサ群１～センサ群Ｎとして示される複数のセンサ群を含む。センサ３５０２内の各センサ群は、少なくとも２つのセンサを含む。２つのセンサは、患者内の外側の骨壁までの距離を示す第１の値を処理回路３５０４に出力するように構成された第１のセンサを含む。センサ群内の第１のセンサは、例えば、音波を放出し、この音波の反射を受信する超音波センサであり得る。第１のセンサ又は処理回路３５０４は、超音波センサが音波を放出する時間と超音波センサが音波の反射を受信する時間との差に基づいて第１の値を決定し得る。従って、各センサ群の第１のセンサの出力は、１つの時間値又は複数の時間値であり得る。この点に関して、センサ群１～センサ群Ｎの各センサは、上で説明されたセンサ３３０２として機能する少なくとも１つのセンサを含む。

【0228】

[0263]センサ群の第２のセンサは、患者内の埋め込まれたインプラント部品までの距離を示す第２の値を出力するように構成され得る。処理回路３５０４に
センサ群の第２のセンサは、例えば、ホール効果センサなどの磁気センサであり得、第２の値は、電圧値であり得る。この点に関して、センサ群１～センサ群Ｎの各センサは、上で説明されたセンサ３３０４として機能する少なくとも１つのセンサを含む。各センサ群内の第１のセンサ及び第２のセンサは、互いに近接して位置しており、一般に、ほぼ同じ方向を感知するように構成されていることが企図される。従って、各センサ群内の第１のセンサ及び第２のセンサが感知する方向は、ほぼ平行であるか又はわずかに収束している。

【0229】

[0264]センサ３５０２の各感知グループについて、処理回路３５０４は、第１の値及び第２の値を処理し、送信機３５０６は、第１の値及び第２の値に基づいて出力を送信する。いくつかの例では、処理回路３５０４は、センサ群の第１のセンサの出力値を、第１のセンサから患者の中の骨壁までの距離を表す第１の距離値に変換する。例えば、第１のセンサの出力が時間値である場合、処理回路３５０４は、ヒト組織内の音速についての既知の値に基づいて、時間値を第１の距離値に変換することができる。処理回路３５０４はまた、第２のセンサの出力値を、第２のセンサから患者の中のインプラント部品までの距離を表す第２の距離値に変換することができる。一例では、第２の距離値から第１の距離値を差し引くことによって、処理回路３５０４は、骨の外壁と骨の中に埋め込まれているインプラント部品の外壁との間の距離を決定することができる。別の例では、皮質壁の推定される厚さを更に差し引くことによって、処理回路３５０４は、代替的又は追加的に、皮質骨の内壁と骨の中に埋め込まれているインプラント部品の外壁との間の距離を決定し得る。次いで、送信機３５０６は、決定された距離を、術中ガイダンスシステム１０８などの別のシステムに送信し得る。

【0230】

[0265]他の例では、送信機３５０６は、第１の値及び第２の値を術中ガイダンスシステム１０８に送信し、術中ガイダンスシステム１０８は、第１のセンサの出力値を第１の距離値に変換し、同様に、第２のセンサの出力値を第２の距離値に変換する。次いで、術中ガイダンスシステム１０８は、第２の距離値から第１の距離値を差し引いて、骨の外壁と骨の中に埋め込まれているインプラント部品の外壁との間の距離を決定することができる。皮質壁の推定された厚さを更に差し引くことによって、術中ガイダンスシステム１０８は、代替的又は追加的に、皮質骨の内壁と骨の中に埋め込まれているインプラント部品の外壁との間の距離を決定し得る。

【0231】

[0266]センサ３５０２の各センサ群について、処理回路３５０４は、上で説明した方法で、骨の外壁又は内壁と骨の中に埋め込まれているインプラント部品の外壁との間の距離を決定するか、又は術中ガイダンスシステム１０８に値を送信して、術中ガイダンスシステム１０８が、骨の内壁又は外壁と骨に埋め込まれているインプラント部品の外壁との間の距離を決定することができるようにすることができる。

【0232】

[0267]図３６は、骨３６０４に沿った複数の点について、骨壁の外径とインプラント部品の外径との間の距離を測定するために使用されているデバイス３５００の例を示す。図３６は、軟組織３６０２、上腕骨皮質骨３６０４、及びインプラント部品３６０６を有する腕３６００の例を示す。デバイス３５００は、センサ群１～Ｎのセンサが上腕骨３６０４及びインプラント部品３６０６に向いた状態で、腕３６００の外面に接して配置される。図３６の例では、ＬＢ_１及びＬＩ_１は、センサ群１によって取得された値を使用して決定された距離を表し、ＬＢ_２及びＬＩ_２は、センサ群２によって取得された値を使用して決定された距離を表し、以下同様である。

【0233】

[0268]上で説明したように、各センサ群について、第１のセンサは、皮質骨３４０４の外壁までの距離を示す第１の値を処理回路３５０４に出力するように構成されている。腕３６００内の皮質骨３６０４の外壁までのこれらの距離は、図３６において距離ＬＢ_１、ＬＢ_２、及びＬＢ_Ｎとして示される。各センサ群について、第２のセンサは、インプラント部品３６０６の外壁までの距離を示す第２の値を処理回路３５０４に出力するように構成されている。インプラント部品３６０６の外壁までのこれらの距離は、図３６において距離ＬＩ_１、ＬＩ_２、及びＬＩ_Ｎとして示される。

【0234】

[0269]各センサ群について、デバイス３３００は、第１の値及び第２の値を術中ガイダンスシステム１０８に送信し、術中ガイダンスシステム１０８は、軟組織３６０２を通る音速に基づいて、第１の値を距離値（例えば、距離ＬＢ_１、ＬＢ_２、．．．ＬＢ_Ｎ）に変換する。他の実装形態では、処理回路３５０４及び／又はセンサ３５０２などのデバイス３５００の構成要素は、ＬＢ_１、ＬＢ_２、．．．ＬＢ_Ｎについての距離値を決定し、次いで、それらの距離値を術中ガイダンスシステム１０８に送信し得る。従って、各センサ群について、デバイス３５００は、距離ＬＢ_１、ＬＢ_２、．．．ＬＢ_Ｎを直接示す値又は距離ＬＢ_１、ＬＢ_２、．．．ＬＢ_Ｎを導出することができる値を術中ガイダンスシステム１０８に送信し得る。

【0235】

[0270]術中ガイダンスシステム１０８は、センサ群３５０２内の第２のセンサの既知のパラメータに基づいて、第２の値を距離値（例えば、距離ＬＩ_１、ＬＩ_２．．．ＬＩ_Ｎ）に変換することができる。他の実装形態では、処理回路３５０４及び／又はセンサ３５０２などのデバイス３５００の構成要素は、距離値ＬＩ_１、ＬＩ_２．．．ＬＩ_Ｎを決定し、次いで、距離ＬＩの指示であり得るそれらの距離値を術中ガイダンスシステム１０８に送信し得る。従って、各センサ群について、デバイス３５００は、距離ＬＩ_１、ＬＩ_２．．．ＬＩ_Ｎを直接示す値又は距離ＬＩ_１、ＬＩ_２．．．ＬＩ_Ｎを導出することができる値を術中ガイダンスシステム１０８に送信し得る。

【0236】

[0271]術中ガイダンスシステム１０８は、センサ群１～Ｎの各々について、皮質骨３６０４の外壁とインプラント部品３６０６の外壁との間の距離を決定することができる。各センサ群についての皮質骨３６０４の外壁とインプラント部品３６０６の外壁との間の距離は、ＬＩ_１－ＬＢ_１、ＬＩ_２－ＬＢ_２、．．．ＬＩ_Ｎ－ＬＢ_Ｎに等しい。術中ガイダンスシステム１０８は、追加的又は代替的に、センサ群１～Ｎの各々について、皮質骨３６０４の内壁とインプラント部品３６０６の外壁との間の距離を決定することができる。各センサ群についての皮質骨３６０４の内壁とインプラント部品３６０６の外壁との間の距離は、ＬＩ_１－ＬＢ_１－ＢＴ_１、ＬＩ_２－ＬＢ_２－ＢＴ_２、．．．ＬＩ_Ｎ－ＬＢ_Ｎ－ＢＴ_Ｎに等しく、ここで、ＢＴ_１、ＢＴ_２などは、第１のセンサ及びセンサが外側の骨壁及びインプラント部品までの距離を決定している骨上の点における推定される骨の厚さを指す。

【0237】

[0275]他の実装形態では、デバイス３３００は、ＬＩ_１－ＬＢ_１、ＬＩ_２－ＬＢ_２、．．．ＬＩ_Ｎ－ＬＢ_Ｎに対する値又はＬＩ_１－ＬＢ_１－ＢＴ_１、ＬＩ_２－ＬＢ_２－ＢＴ_２、．．．ＬＩ_Ｎ－ＬＢ_Ｎ－ＢＴ_Ｎに対する値を決定し、それらの値を術中ガイダンスシステム１０８に送信する。一般的に言えば、センサ群１～Ｎの各々について第１のセンサ及び第２のセンサの出力を距離値ＬＢ及びＬＩに変換し、距離値ＬＢ－ＬＩを決定するための上で説明されたステップ、及び距離値ＬＢ－ＬＩをＬＢ－ＬＩ－ＢＴに変換するためのステップは、デバイス３５００（例えば、処理回路３５０４及びセンサ３５０２）及び術中ガイダンスシステム１０８にわたって任意の方法で分散され得る。従って、特定の機能は、デバイス３５００又は術中ガイダンスシステム１０８によって実行されるものとして上で説明されているが、別途明記されない限り、それらの機能は、デバイス３５００又は術中ガイダンスシステム１０８の他方によっても実行され得ると想定されるべきである。

【0238】

[0273]デバイス３５００は複数のセンサ群を有するため、デバイス３５００は、術中ガイダンスシステム１０８と共に、肢に沿った複数の点において骨の内壁又は外壁とインプラント部品の外壁との間の距離を検出するように構成され得る。例えば、図３６は、センサの１Ｄアレイを使用して、腕の長さに沿った異なる軸方向位置で読み取り値を取得するデバイス３５００のセンサ群を示すが、センサ３５０２のセンサ群はまた、例えば、センサの２Ｄアレイを使用して、腕の円周上の異なる点において読み取り値を取得するように構成され得る。いくつかの実装形態では、例えば、デバイス３５００は、肢上でほぼ同じ軸方向位置に方向付けされるが、腕又は腕の一部の周りの異なる周方向位置に位置決めされる、例えば、肢の円周上を４５度、９０度、又は１８０度離れて位置しているセンサ群を有し得る。いくつかの実装形態では、デバイス３５００は、肢上でほぼ同じ軸方向位置に方向付けされ、肢の３６０度の円周を取り囲む３つ以上のセンサ群を有し得る。

【0239】

[0274]デバイス３５００及び術中ガイダンスシステム１０８のシステムはまた、センサ３５０２のセンサ群を使用してインプラント深さを決定するように構成され得る。例えば、図３６は、インプラント部品３６０６からそれぞれ距離ＬＩ_１及びＬＩ_２の距離にあるセンサ群１及び２を示す。しかしながら、センサ群Ｎは、インプラント部品３６０６が埋め込まれた深さよりも下の深さで（例えば、肩に対して遠位方向に更に遠くで）感知するように位置付け及び構成されている。従って、複数のセンサ群が肢に沿って異なる高さに配置されている場合、デバイス３５００は、インプラント部品３６０６の存在を検出する最後のセンサ群及びインプラント部品３６０６の存在を検出しない最初のセンサ群に基づいて、インプラント部品３６０６のインプラント深さを決定することができる。骨３６０４に対するセンサ群１～Ｎ内の様々なセンサ群の位置を知ることによって、デバイス３５００及び術中ガイダンスシステム１０８のシステムは、インプラント部品３６０６の深さを、インプラント部品３６０６の存在を検出する最後のセンサ群とインプラント部品３６０６の存在を検出しない最初のセンサ群との間であると決定することができる。従って、肩から肘への上腕骨の方向により多くのセンサ群を含めることにより、デバイス３５００は、インプラント深さとも呼ばれる、インプラント部品３６０６の軸方向位置をより正確に決定することができる。

【0240】

[0278]以下でより詳細に説明するように、距離（ＬＩ_１－ＬＢ_１）、（ＬＩ_２－ＬＢ_２）、．．．（ＬＩ_Ｎ－ＬＢ_Ｎ）又は（ＬＩ_１－ＬＢ_１－ＢＴ_１）、（ＬＩ_２－ＬＢ_２－ＢＴ_２）、．．．（ＬＩ_Ｎ－ＬＢ_Ｎ－ＢＴ_Ｎ）のいずれかが閾値未満である場合、術中ガイダンスシステム１０８は、インプラント部品３６０６が皮質骨３６０４の内壁又は外壁に近づいているというアラートを外科チームに提供するように構成され得、これは、皮質骨３６０４が骨折の危険にさらされていることを示し得る。更に、術中ガイダンスシステム１０８はまた、アラートに加えて又はその代わりに、複数の位置におけるインプラント部品と皮質骨の内壁又は外壁との間の距離を外科チームに連続的に提供するように構成され得る。インプラント部品と皮質骨の外壁との間の距離は、インプラント部品が皮質骨の外壁と接触するまでにどれだけの空間が存在するかを示す残りの距離であり得る。術中ガイダンスシステム１０８はまた、インプラント部品が皮質骨の内壁又は外壁に最も近くにある場所に関する１つ又は複数の位置及び距離の指示、インプラント部品が皮質骨の内壁から閾値量未満の距離にある場所に関する１つ又は複数の位置及び距離の指示、インプラント部品と皮質骨の内壁との間の平均距離の指示、又は他のそのような指示などの情報をユーザに提示し得る。本開示の他の箇所でより詳細に説明されるように、術中ガイダンスシステム１０８によって出力される様々なアラート及び他の情報は、いくつかの事例では、デバイス３５００によっても出力され得る。

【0241】

[0276]肢に沿った複数の点において骨の内壁又は外壁とインプラント部品の外壁との間の距離を決定することによって、デバイス３５００はまた、インプラント部品と骨３４０４の内側皮質壁との間の最初の接触点を予測するか、又は骨折する確率が最も高い可能性のある内側皮質壁の領域を予測するように構成され得る。肢に沿った複数の点において骨の壁とインプラント部品との間の距離を使用して、デバイス３５００は、上で説明したように、インプラント部品３６０６の向きを決定することができ、インプラント部品と骨３６０４の内側皮質壁との間の最初の接触点、又は骨折する確率が最も高い可能性のある内側皮質壁の領域を予測することができる。

【0242】

[0277]図３７は、場合によっては本開示で説明される他のデバイスと共に、骨とインプラント部品との間の距離を決定するように構成され得るデバイス３７００の例を示す。デバイス３７００はまた、インプラント部品のインプラント深さを決定するように構成され得る。デバイス３７００は、患者の腕を取り囲むカフとして図３７に示されている。

【0243】

[0278]デバイス３７００は、センサ群３７０２Ａ～３７０２Ｆの列（以下、列３７０２Ａ～３７０２Ｆと呼ばれる）を含み、ライト３７０４Ａ及び３７０４Ｂの列も含む。センサ群３７０２Ａ～３７０２Ｆの列は、集合的にセンサの２Ｄアレイを形成する。センサ群のより多くの又はより少ない列及びより多くの又はライトのより少ない列が使用され得る。図３７には示されていないが、デバイス３７００はまた、本明細書で説明される様々な機能を実装するための処理回路、メモリ、送信回路、及び他の回路を含み得る。列３７０２Ａ～３７０２Ｆの各列は、図３７においてＳＧ１～ＳＧＮとして示されている複数のセンサ群を含む。

【0244】

[0279]外科チームのメンバーは、図３７に示されるように、デバイス３７００を患者の肢、例えば腕に適用し得る。図３７では、デバイスは、列３７０２Ａ～３７０２Ｆの各々のセンサ群ＳＧ１が患者の肩に最も近いセンサ群となり、列３７０２Ａ～３７０２Ｆの各々のセンサ群ＳＧＮが患者の肘に最も近いセンサ群となるようなデバイス３７００の向きで患者に適用され得る。ＳＧ１センサ群は全て、患者の肩に対してほぼ同じ軸方向位置であり、ＳＧ２センサ群は全て、患者の肩に対してほぼ同じ高さであり、以下同様である。

【0245】

[0280]患者に適用されるとき、列３７０２Ａ～３７０２Ｆの各列のＳＧ１は、肢の共通の円周上の異なる点において読み取り値を取得する。換言すると、列３７０２ＡのＳＧ１、列３７０２ＢのＳＧ１、列３７０２ＣのＳＧ１などは、肢の共通の円周上の異なる点において読み取り値を取得する。共通の円周とは、一般に、全ての点がほぼ同じ高さにある円周を指し、高さは、例えば、肩から肘に向かって延びる軸上の位置として定義される。この軸は、典型的には、インプラント部品が設置されている骨に対して平行である。

【0246】

[0281]列３７０２Ａ～３７０２Ｆ内の各センサ群は、少なくとも２つのセンサを含む。第１のセンサは、第１のセンサと骨の外壁との間の距離を示す値を決定する。この点に関して、列３７０２Ａ～３７０２Ｆ内のセンサ群の各センサは、上で説明したセンサ３３０２として機能する少なくとも１つのセンサを含む。センサ群の第２のセンサは、患者内の埋め込まれたインプラント部品までの距離を示す第２の値を出力するように構成され得る。この点に関して、列３７０２Ａ～３７０２Ｆ内のセンサ群の各センサは、上で説明したセンサ３３０４として機能する少なくとも１つのセンサを含む。

【0247】

[0282]デバイス３７００は、デバイス３７００が、デバイス３３００及びデバイス３５００に関して上で説明したのと同じ方法で各センサ群についてインプラント部品と骨の内壁又は外壁との間の距離を決定することができるように、処理回路を含む。デバイス３７００はまた、デバイス３３００及びデバイス３５００に関して上で説明したのと同じ方法で、術中ガイダンスシステム１０８と対話し得る。従って、デバイス３７００は、腕の下方及び腕の周囲の両方でインプラント部品と皮質骨の内壁又は外壁との間の距離の複数の決定を取得するように構成されている。

【0248】

[0283]図３７の例では、デバイス３７００は、ライト３７０４Ａ及び３７０４Ｂの列も含み得る。デバイス３７００が患者の腕の周りに巻き付けられているとき、ライト３７０４Ａ及び３７０４Ｂの列は、例えば、９０若しくは１８０度又は何らかの他の分離距離だけ離れて位置しているであろう。ライト３７０４Ａ及び３７０４Ｂの列は、インプラント部品の深さ及び位置に関する情報を外科チームに伝達し得る。各ライトは、例えば、異なる色で照明するように構成され得、異なる色は、インプラント部品に関する異なる情報を意味する。

【0249】

[0284]例えば、列３７０４Ａ及び３７０４Ｂ内のライトは、インプラント部品が検出され、それが皮質骨の内壁から閾値距離超の距離にあることを示すために緑色であるか、インプラント部品が皮質骨の内壁から閾値距離未満の距離で検出されることを示すために赤色であるか、又はインプラント部品が検出されないことを示すためにオフであり得、列内の最初のオフの光は、インプラント部品のインプラント深さも示す。他の実装形態では、列３７０４Ａ及び３７０４Ｂ内のライトは、インプラント部品が皮質骨の内壁から第１の閾値距離未満の距離で検出されることを示すために赤色であるか、インプラント部品が検出され、それが皮質骨の内壁から第１の閾値距離よりも離れているが、皮質骨の内壁から第２の閾値距離未満の距離にあることを示すために黄色であるか、インプラント部品が検出され、それが皮質骨の内壁から第１の閾値距離かつ第２の閾値距離よりも離れていることを示すために緑色であるか、又はインプラント部品が検出されないことを示すためにオフであり得る。これらの例では、赤色の光は、皮質骨が骨折する危険にさらされていることを示す外科医への合図であり得、緑色の光は、皮質骨が骨折する危険にさらされていないことを示す外科医への合図であり得る。黄色の光は、皮質骨には骨折の危険性は差し迫っていないがそのような状態に近づいていることを外科医に知らせるために使用され得る。

【0250】

[0285]センサ３７０２の複数のセンサ群を使用して骨の内壁又は外壁とインプラント部品の外壁との間の距離を決定することによって、デバイス３７００はまた、上でより詳細に説明したように、インプラント部品と骨の内側皮質壁との間の第１の接触点を予測するか、又は骨折する確率が最も高い可能性のある内側皮質壁の領域を予測するように構成され得る。

【0251】

[0286]上で説明したように、外科医は、ガイダンス情報を外科医に提示する術中ガイダンスシステム１０８の頭部装着型ＭＲ視覚化デバイスを装着しながら手術を行い得る。術中ガイダンスシステム１０８は、デバイス３３００、デバイス３５００、又はデバイス３７００のいずれかと通信している間に、インプラントの深さ及び皮質壁までの距離に関する情報を外科医に提供するように構成され得、これにより、いつ骨折する危険があるかについてのより良い見解が外科医に提供され得るため、外科医は、骨折を回避するための措置を取ることができる。

【0252】

[0287]術中ガイダンスシステム１０８は、デバイス３３００、３５００、又は３７００のいずれかから、例えば、骨とインプラント部品との間の１つ又は複数の距離を示すデータを含む信号を受信するように構成された受信回路を含むことができ、骨とインプラント部品との間の１つ又は複数の距離は、骨上の１つ又は複数の位置に対応する。術中ガイダンスシステム１０８はまた、データを処理して、頭部装着型ＭＲ視覚化デバイスなどの出力デバイス又は他のタイプの出力デバイスに、骨とインプラント部品との間の１つ又は複数の距離に基づいて出力を生成させるように構成された処理回路を含むことができる。

【0253】

[0288]出力デバイスは、例えば、聴覚アラート又は通知を生成するように構成された聴覚出力デバイスであり得る。聴覚出力デバイスは、頭部装着型ＭＲ視覚化デバイスに組み込まれ得るが、別個のデバイスの一部であってもよい。聴覚アラートは、インプラント部品が皮質骨の内壁から閾値距離内にあることを示す音声アラートの形態をとり得る。聴覚的通知の例には、インプラント部品と皮質骨の内壁との間の最も近い距離、並びにその最も近い接触点の高さ及び位置（例えば、近位、遠位、中間）の音声指示が含まれる。他の例では、聴覚出力デバイスは、外科医に知られているトーンシーケンスを使用してこの情報を外科医に伝達するように構成され得る。

【0254】

[0289]出力デバイスは、追加的又は代替的に、触覚出力デバイスであり得、頭部装着型ＭＲ視覚化デバイスに組み込まれ得るか又は別個のデバイスの一部であり得る。触覚出力デバイスは、例えば、インプラント部品と皮質骨の内壁との間の距離に基づいて触覚応答を生成するように構成され得る。触覚応答の例には、振動の量又は強度が含まれる。いくつかの実装形態では、触覚出力デバイスは、外科医によって使用されるハンマー又は他のツールに実装され得る。インプラント部品が皮質骨の内壁に近づくと、ハンマー内の振動の量又は強度を増やして、インプラント部品と皮質骨の内壁との間の距離が減少していること又は閾値レベルを下回っていることを外科医に知らせることができる。

【0255】

[0290]術中ガイダンスシステム１０８の処理回路は、本開示の他の箇所で説明されるように、骨の記憶された画像を使用して及び／又は統計的形状モデリング及び骨密度モデリングなどの本開示で説明される様々なモデリング技法を使用して、骨のモデルを決定するように構成され得る。骨のモデルの全部又は一部はまた、既知の平均又は患者の骨に特有でない他の予測技法に基づいて決定され得る。モデルは、２Ｄモデル又は３Ｄモデルのいずれかであり得る。

【0256】

[0291]術中ガイダンスシステム１０８の処理回路は、出力デバイス、例えば、ＭＲ視覚化デバイス又はモニタに、骨のモデルの視覚的表現を表示することと、骨とインプラント部品との間の１つ又は複数の距離に基づいてモデルの視覚的表現にアノテーション付与することとを行わせるように構成され得る。いくつかの実装形態では、術中ガイダンスシステム１０８の処理回路は、出力デバイスに、骨のモデル上に重ねられたインプラント部品のモデルを示させるように構成され得る。術中ガイダンスシステム１０８は、デバイス３３００、３５００、又は３７００によって決定されたインプラント深さ及びインプラント部品と皮質壁との間の距離に基づいて、骨のモデルに対するインプラント部品のモデルの位置を決定することができる。

【0257】

[0292]図３８は、術中ガイダンスシステム１０８によってデバイス３３００、３５００、又は３７００のいずれかのユーザに提示され得る画像の例を示す。図３８の画像は、例えば、頭部装着型ＭＲ視覚化デバイス又は他のタイプのディスプレイを介して、ユーザに提示され得る。画像は、骨３８００のモデル及びインプラント部品３８０２のモデルを含む。骨３８００及びインプラント部品３８０２は、手術を受けている骨及び設置されているインプラント部品の実際の画像ではなく、術中ガイダンスシステム１０８によって決定されたモデルである。

【0258】

[0293]術中ガイダンスシステム１０８の処理回路は、例えば、出力デバイスに、骨（例えば、皮質骨の内壁）とインプラント部品との間の距離が閾値量未満である位置を示させるように構成され得る。出力デバイスは、多数の方法のいずれか１つ又は複数で、例えば、記号（例えば、停止標識タイプの記号）又は（例えば、赤）色を用いて位置にアノテーション付与すること、又はインプラント部品と骨壁との間の距離を伝えるテキストを画像に追加することによって、この位置を示し得る。出力デバイスは、追加的又は代替的に、点滅、強調表示、丸付け、フレーミングなどを使用することによって、この位置を示し得る。

【0259】

[0294]術中ガイダンスシステム１０８の処理回路はまた、出力デバイスに、骨とインプラント部品との間の距離が第１の閾値量よりも大きく第２の閾値量よりも小さい位置を示させるように構成され得る。出力デバイスは、上で使用された記号又は色とは異なる記号（例えば、イールド（先方優先を示す）標識タイプの記号）又は色（例えば、黄色）を用いて、又はインプラント部品と骨壁との間の距離を伝えるテキストを画像に追加することによって、この位置を示し得る。

【0260】

[0295]術中ガイダンスシステム１０８の処理回路はまた、出力デバイスに、骨とインプラント部品との間の距離が第１の閾値量よりも大きくかつ第２の閾値量よりも大きい位置を示させるように構成され得る。出力デバイスは、上で使用された記号又は色とは異なる記号（又は記号の欠如）又は色（例えば、緑色）を用いて、又はインプラント部品と骨壁との間の距離を伝えるテキストを画像に追加することによって、この位置を示し得る。

【0261】

[0296]本明細書で説明される様々な閾値は、患者特有であり得、術中ガイダンスシステム１０８によって自動的に選択若しくは推奨され得るか、又は術中ガイダンスシステム１０８のユーザによって手動で選択され得る。更に、使用される閾値は、肢全体に対して一定であり得るか、又は肢に沿った軸方向位置及び周方向位置によって異なり得る。術中ガイダンスシステム１０８は、例えば、骨の決定されたモデルに基づいて、閾値又は閾値に対する推奨を決定し得る。術中ガイダンスシステム１０８は、例えば、より薄い皮質壁を有する患者よりも、より厚い皮質骨壁を有する患者に対してより低い閾値を選択し得る。同様に、術中ガイダンスシステム１０８は、悪化しているか又は別様に不健康な皮質壁を有する患者よりも、概してより健康で強い皮質壁を有する患者に対してより低い閾値を選択し得る。他の例では、術中ガイダンスシステム１０８は、概してより健康である肢の一部に対してより低い閾値を選択し、悪化しているか又は別様に不健康な皮質壁を有する肢の一部に対してより高い閾値を選択し得る。

【0262】

[0297]上記の例では、第１の閾値は、０．５ｍｍ未満であり得る。従って、インプラント部品上の点が皮質骨の内壁から０．５ｍｍ未満の距離にあると術中ガイダンスシステム１０８が決定した場合、術中ガイダンスシステム１０８は、皮質骨が骨折する危険にさらされているという警告を外科医に提示し得る。この警告は、事実上、視覚的警告、聴覚的警告、又は触覚的警告を含む任意の形態をとり得る。第２の閾値は、例えば３ｍｍであり得る。従って、インプラント部品上の点が皮質骨の内壁から０．５ｍｍより離れているが３ｍｍ未満の距離にあると術中ガイダンスシステム１０８が決定した場合、術中ガイダンスシステム１０８は、骨には骨折の危険性は差し迫っていないがそのような状態に近づいているという警告を外科医に提示し得る。インプラント部品上の点が皮質骨の内壁から３ｍｍ超の距離にあると術中ガイダンスシステム１０８が決定した場合、術中ガイダンスシステム１０８は、骨が亀裂又は骨折する危険にさらされていないこと示す通知を外科医に提示し得る。通知は、例えば、警告の欠如であり得る。

【0263】

[0298]図３９は、本開示の技法による、システムによって実行され得るプロセスを例示するフロー図を示す。図３９のプロセスは、デバイス３３００、デバイス３５００、デバイス３７００、術中ガイダンスシステム１０８のいずれかによって実行され得るか、又は術中ガイダンスシステム１０８と、デバイス３３００、デバイス３５００、若しくはデバイス３７００のうちの１つを両方含むシステムによって実行され得る。説明を容易にするために、図３９の技法は、一般的なシステムに関して説明される。

【0264】

[0299]第１のセンサからのセンサ出力に基づいて、システムは、第１のセンサと骨の外壁との間の距離に対応する第１の距離を決定する（３９００）。第１のセンサは、例えば、音波を放出し、音波の反射を受信するように構成された超音波センサであり得る。システムは、本開示の他の箇所で説明されるように、超音波センサが音波を放出する時間と超音波センサが音波の反射を受信する時間との差に基づいて第１の距離を決定し得る。

【0265】

[0300]第２のセンサからのセンサ出力に基づいて、システムは、第２のセンサとインプラント部品との間の距離に対応する第２の距離を決定する（３９０２）。第２のセンサは、例えば、ホール効果センサなどの磁気センサであり得、システムは、磁場を放出することと、磁場によって誘起される電圧変化を検出することと、電圧変化を距離値に変換することとによって、第２の距離を決定し得る。

【0266】

[0301]第１の距離及び第２の距離に基づいて、システムは、インプラント部品から骨までの距離を決定する（３９０４）。本開示の他の箇所で説明されるように、インプラント部品から骨までの距離は、インプラント部品の外壁から骨の内壁までの距離であり得るか、又はインプラント部品の外壁から骨の外壁までの距離であり得る。

【0267】

[0302]システムは、インプラント部品から骨までの距離に基づいて出力を生成する（３９０６）。

【0268】

[0303]図４０は、本開示の１つ又は複数の技法による、ＭＲシステムによって提供され得、二次ビューウィンドウを提供する例となるビューの概念図である。図４０の例は、整形外科的肩関節手術中にＭＲ視覚化デバイス（例えば、視覚化デバイス２１３）を使用しているときに外科医が見る可能性があるものを示す。特に、図４０の例では、外科医は、上腕骨２０００の露出部分を見ることができる。

【0269】

[0304]上述したように、外科医は、患者の解剖学的構造（例えば、上腕骨２０００など）の一部に対して作業を行うために、１つ又は複数のツールを使用し得る。例えば、外科医は、準備された上腕骨２０００内にプロテーゼ２０４２を挿入するためにハンドル２０４０を使用し得る。いくつかの状況では、外科医が、プロテーゼ２０４２などのツールが組織又は骨にどの程度深く貫入したかを評価することは困難であり得る。これは、外科医がハンドル２０４０の長さ（the length）を上から見ているとき、特に困難であり得る。

【0270】

[0305]従って、本開示の１つ又は複数の技法によれば、ＭＲシステム２１２の視覚化デバイス２１３は、二次ビューウィンドウ４０００を含むＭＲ視覚化を生成し得、二次ビューウィンドウ４０００は、他の仮想ガイダンスなどの任意のコンテンツが重ねられるか、又は他の方法で任意のコンテンツから構成される、メインウィンドウのサブウィンドウであり得る。二次ビューウィンドウ４０００は、他の仮想ガイダンス（例えば、仮想マーカ、深度ガイダンスなど）と共に、外科医の視野において物理的な現実世界のオブジェクトと共に表示され得る。従って、図４０の例では、外科医は、上腕骨２０００の露出部分、ハンドル２０４０、及びプロテーゼ２０４２、並びに仮想軸又は仮想侵入点などの任意の仮想ガイダンスと共に、二次ビューウィンドウ４０００を見ることができる。いくつかの例では、外科医又は他のユーザは、二次ビューウィンドウ４０００のサイズ変更又は再配置を行い得る。

【0271】

[0306]二次ビューウィンドウ４０００は、手術部位に関する異なる視点を表す画像を含む。例えば、図４０の例では、手術部位は患者の上腕骨であり、外科医が上腕骨２０００にプロテーゼ２０４２を挿入している。

【0272】

[0307]外科医は、二次ビューウィンドウ４０００を使用して、ツールが貫入した深さを確認し、及び／又はツールと骨との相対位置を監視し得る。例えば、図４０の例では、外科医は、二次ビューウィンドウ４０００を使用して、上腕骨２０００の位置に対するプロテーゼ２０４２の位置を決定し得る。

【0273】

[0308]二次ビューウィンドウ４０００に提示される画像は、様々な方法で生成され得る。例えば、二次ビューウィンドウ４０００に提示される画像は、仮想オブジェクトを含むか、又は仮想オブジェクトから構成され得る。例えば、二次ビューウィンドウ４０００に提示される画像は、患者の解剖学的構造の仮想３次元モデルを含み得る。追加的に、二次ビューウィンドウ４０００に提示される画像は、外科医によって使用されているツールの仮想３次元モデルを含み得る。従って、図４０の例では、二次ビューウィンドウ４０００は、患者の上腕骨２０００の仮想３次元モデル及びプロテーゼ２０４２の仮想３次元モデルを含み得る。

【0274】

[0309]二次ビューウィンドウ４０００に提示される画像が仮想オブジェクトを含むか又は仮想オブジェクトから構成される例では、患者の解剖学的構造は、本開示の他の箇所で説明されるように、患者の解剖学的構造の対応する仮想モデルと位置合わせされ得る。例えば、患者の上腕骨は、患者の上腕骨の仮想モデルに位置合わせされ得る。従って、コンピューティングシステム（例えば、図２のＭＲシステム２１２）は、３次元空間において患者の解剖学的構造の位置及び向きを決定することができる。更に、コンピューティングシステムは、コンピューティングシステムが同じ３次元空間においてツール（例えば、プロテーゼ２０４２）の位置を決定することを可能にする１つ又は複数のセンサ（例えば、カメラ、モーションセンサなど）から情報を受信し得る。ツール上の１つ又は複数のマーカは、コンピューティングシステムがツールの位置を識別するのを支援し得る。従って、コンピューティングシステムは、患者の解剖学的構造に対するツールの位置を決定し得る。コンピューティングシステムは、患者の解剖学的構造とツールとの相対位置に基づいて二次ビューウィンドウ４０００の画像を生成し得る。従って、図４０の例では、コンピューティングシステムは、患者の上腕骨２０００の仮想３次元モデルとプロテーゼ２０４２の仮想３次元モデルとの相対位置（例えば、骨仮想モデル３２００とインプラントツール仮想モデル３２０４との相対位置）を示すＭＲ視覚化を二次ビューウィンドウ４０００内に生成し得る。

【0275】

[0310]患者の解剖学的構造の及び外科医によって使用されるツールの仮想３次元モデルを提示することは、特定の一連の課題に対処し得る。例えば、看護師が二次ビューウィンドウ４０００に画像を供給するカメラを保持又は装着している例では、看護師の自然な動きで、外科医の気を散らす可能性があるカメラの手ぶれが引き起こされ得る。カメラの手ぶれを補償するために、コンピューティングシステムは、画像安定化を適用する必要があり得るが、これは、計算コストが高く、バッテリを消耗させる可能性があり得、視野を減少させ得る。更に、二次ビューウィンドウ４０００内の仮想３次元モデルは、このようにカメラの手ぶれを受けず、これは、そうでなければ画像安定化に費やされる計算リソースを節約し、潜在的に視野を増大させ、外科医の注意散漫を低減させることができる。

【0276】

[0311]仮想３次元モデルを使用することの別の潜在的な利点は、不要なバックグラウンド情報が二次ビューウィンドウ４０００から省略され得ることであり得る。例えば、図４０の例では、組織又は他の手術野アイテムが、二次ビューウィンドウ４０００内に提示される画像から省略され得る。不要なバックグラウンド情報を省略することにより、外科医の視覚的な注意散漫を更に低減することができる。更に、外科医は、二次ビューウィンドウ４０００に示される仮想３次元モデルの視点を、人間の看護師が手持ち式又は頭部装着型カメラを用いて得ることが実現困難であり得る角度に回転又は別の方法で変更することが可能であり得る。従って、外科医が望み得る視点を達成するためには固定位置のビデオカメラ又は機械腕搭載カメラを使用する必要があり得る。仮想３次元モデルの使用により、そのようなカメラ及び取付けシステムに病院のリソースを費やす必要がなくなり得る。

【0277】

[0312]上述したように、いくつかの例では、ＭＲシステム２１２は、患者の解剖学的構造の仮想３次元モデルとツールの仮想３次元モデルとの相対位置（例えば、骨仮想モデル３２００とインプラントツール仮想モデル３２０４との相対位置）の指示を表示し得る。一例として、ＭＲシステム２１２は、患者の解剖学的構造及びツールの仮想３次元モデルの視覚的表現を表示することによって指示を表示し得る。例えば、図４０の例に示されるように、ＭＲシステム２１２は、ツール仮想モデル３２０４の視覚的表現に対して骨仮想モデル３２００の視覚的表現を表示し得る。別の例として、ＭＲシステム２１２は、患者の解剖学的構造の仮想３次元モデルとツールの仮想３次元モデルとの間の相対距離の指示を表示し得る。例えば、図４０の例に示されるように、ＭＲシステム２１２は、骨仮想モデル３２００とツール仮想モデル３２０４との間の推定距離（例えば、５ｍｍ）のテキスト（例えば、数値）を表示し得る。別の例として、ＭＲシステム２１２は、患者の解剖学的構造の仮想３次元モデル上のどの点とツールの仮想３次元モデル上のどの点が最も近いかを示す指示を表示し得る。例えば、図４０の例に示されるように、ＭＲシステム２１２は、ツール仮想モデル３２０４上の点に最も近い骨仮想モデル３２００上の点を接続する矢印を表示し得る。

【0278】

[0316]本技法は限られた数の例に関して開示されているが、当業者であれば、本開示の利益を得て、それらから多数の修正例及び変形例を理解するであろう。例えば、説明された例の任意の合理的な組合せが実行され得ることが企図される。添付の特許請求の範囲が、本発明の真の主旨及び範囲内に入るような修正例及び変形例をカバーすることは意図される。

【0279】

[0314]例に応じて、本明細書で説明される技法のいずれかの特定の行為又はイベントが異なる順序で実行され得、追加、マージ、又は完全に省略され得る（例えば、説明される行為又はイベントの全てが技法の実施に必要であるとは限らない）ことが認識されるべきである。更に、特定の例では、行為又はイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通して、同時に実行され得る。

【0280】

[0315]１つ又は複数の例では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せにより実装され得る。ソフトウェアにより実装される場合、これらの機能は、コンピュータ可読媒体上の１つ又は複数の命令又はコードとして記憶又は送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、又は、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの移動を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、又は（２）信号若しくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明される技法の実装のための命令、コード、及び／又はデータ構造を取り出すために、１つ若しくは複数のコンピュータ又は１つ若しくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0281】

[0316]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭ若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、フラッシュメモリ、又は命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用可能であり、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。また、いかなる接続もコンピュータ可読媒体と適切に称される。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、電波、及びマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、又は他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は赤外線、電波、及びマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体が、接続、搬送波、信号、又は他の一時的媒体を含まず、代わりに、非一時的有形記憶媒体を対象とすることは理解されるべきである。ディスク（disk）及びディスク（disc）は、本明細書で使用される場合、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、及びブルーレイディスクを含み、ディスク（disk）は通常磁気的にデータを再生し、ディスク（disc）はレーザで光学的にデータを再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。

【0282】

[0317]本開示で説明される動作は、１つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の同等の集積回路若しくは個別論理回路のような、固定機能処理回路、プログラマブル回路、又はそれらの組合せとして実装され得る１つ又は複数のプロセッサによって実行され得る。固定機能回路とは、特定の機能性を提供し、実行可能な動作が予め設定されている回路を指す。プログラマブル回路とは、様々なタスクを実行し、実行可能な動作において柔軟な機能性を提供するようにプログラムされ得る回路を指す。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェア又はファームウェアによって指定された命令を実行し得る。固定機能回路は、（例えば、パラメータを受け取るか、又はパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは一般に不変である。従って、本明細書で使用される場合、「プロセッサ」及び「処理回路」という用語は、前述の構造のいずれか、又は本明細書で説明される技法の実装に好適な任意の他の構造を指し得る。

【0283】

[0318]様々な例を説明してきた。これらの例及び他の例は、以下の特許請求の範囲内である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図18C】

【図19】

【図20】

【図21】

【図22A】

【図22B】

【図22C】

【図22D】

【図23A】

【図23B】

【図23C】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32A】

【図32B】

【図32C】

【図32D】

【図32E】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【手続補正書】

【提出日】2021-12-17

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

患者の骨の一部分の仮想モデルを前記骨の対応する観察部分と位置合わせすることと、ここで、前記仮想モデルは、前記骨の壁の表現を含む、
インプラント部品の仮想モデルを、対応する観察されたインプラント部品と位置合わせすることと、
前記骨の一部分の前記位置合わせされた仮想モデル及び前記インプラント部品の前記位置合わせされた仮想モデルに基づいて、前記骨の前記壁の位置に対する前記インプラント部品の少なくとも一部分の位置を示すことと
を備える方法。

【請求項2】

前記骨の一部分の前記仮想モデルは、前記骨の壁に対応する点の３次元メッシュを含み、前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面に対応する点の３次元メッシュを含む、請求項１に記載の方法。

【請求項3】

前記壁が外側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の内側皮質壁に対応する点の３次元メッシュを更に含む、請求項２に記載の方法。

【請求項4】

前記壁が内側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の外側皮質壁に対応する点の３次元メッシュを更に含む、請求項２に記載の方法。

【請求項5】

前記骨の壁の位置に対する前記インプラント部品の少なくとも前記一部分の位置を示すことは、前記インプラント部品の一部分と前記骨の壁の位置との間の推定距離を示すことを含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

少なくとも、
前記骨の一部分の前記仮想モデルの前記メッシュ上の点及び前記インプラント部品の前記仮想モデルの前記メッシュ上の点のそれぞれの対間のそれぞれの距離を決定することと、
前記決定されたそれぞれの距離の最小値を前記推定距離として識別することと
を行うことによって前記推定距離を推定することを更に含む、請求項５に記載の方法。

【請求項7】

前記推定距離を示すことは、前記推定距離の表現を出力することを含む、請求項６に記載の方法。

【請求項8】

前記表現を出力することは、
前記識別された最小距離が閾値距離未満であると決定したことに応答して、警告を出力すること
を含む、請求項７に記載の方法。

【請求項9】

前記推定距離の前記表現を出力することは、触覚出力、オーディオ出力、グラフィック出力、又はテキスト出力のうちの１つ又は複数を使用して前記表現を出力することを含む、請求項１から７のいずれか一項に記載の方法。

【請求項10】

前記表現を出力することは、少なくとも、デバイスに、前記インプラント部品及び前記骨の相対位置のグラフィカル表現を表示させることによって、グラフィック出力を使用して前記表現を出力することを含む、請求項９に記載の方法。

【請求項11】

前記デバイスに、前記グラフィカル表現を表示させることは、
視覚化デバイスを介して、前記骨の一部分の前記仮想モデルを、前記視覚化デバイスを介して見ることができる前記骨の一部分上に重ねて表示することと、
前記視覚化デバイスを介して、前記インプラント部品の前記仮想モデルを、前記骨の一部分上に重ねて表示することと
を含む、請求項１０に記載の方法。

【請求項12】

前記表現を出力することは、少なくとも、デバイスに、前記推定距離の数値を表示させることによって、テキストを使用して前記表現を出力することを含む、請求項９に記載の方法。

【請求項13】

前記骨は上腕骨であり、前記インプラント部品は上腕骨インプラントのステムを含む、請求項１－１２のいずれか一項に記載の方法。

【請求項14】

前記インプラント部品は、インプラントツールを含み、前記インプラントツールは、スターターオウル、サウンダ、パンチ、コンパクタ、又はインサータハンドルのうちの１つ又は複数を含む、請求項１から１２のいずれか一項に記載の方法。

【請求項15】

前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面の表現を含む、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

前記インプラント部品の使用をガイドするための仮想ガイダンスを出力すること
を更に含む、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

メモリと、
１つ又は複数のセンサと
処理回路と
を備える仮想手術システムであって、前記処理回路は、請求項１－１６のいずれか一項に記載の方法を実行するように構成されている、仮想手術システム。

【請求項18】

実行されると、仮想手術システムの１つ又は複数のプロセッサに、請求項１から１６のいずれか一項に記載の方法を実行させる命令を記憶する、コンピュータ可読記憶媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０２８３

【補正方法】変更

【補正の内容】

【0283】

[0318]様々な例を説明してきた。これらの例及び他の例は、以下の特許請求の範囲内である。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま付記しておく。
［１］ 患者の骨の一部分の仮想モデルを前記骨の対応する観察部分と位置合わせすることと、ここで、前記仮想モデルは、前記骨の壁の表現を含む、
インプラント部品の仮想モデルを、対応する観察されたインプラント部品と位置合わせすることと、
前記骨の一部分の前記位置合わせされた仮想モデル及び前記インプラント部品の前記位置合わせされた仮想モデルに基づいて、前記骨の前記壁の位置に対する前記インプラント部品の少なくとも一部分の位置を示すことと
を備える方法。
［２］ 前記骨の一部分の前記仮想モデルは、前記骨の壁に対応する点の３次元メッシュを含み、前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面に対応する点の３次元メッシュを含む、［１］に記載の方法。
［３］ 前記壁が外側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の内側皮質壁に対応する点の３次元メッシュを更に含む、［２］に記載の方法。
［４］ 前記壁が内側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の外側皮質壁に対応する点の３次元メッシュを更に含む、［２］に記載の方法。
［５］ 前記骨の壁の位置に対する前記インプラント部品の少なくとも前記一部分の位置を示すことは、前記インプラント部品の一部分と前記骨の壁の位置との間の推定距離を示すことを含む、［１］から［４］のいずれか一項に記載の方法。
［６］ 少なくとも、
前記骨の一部分の前記仮想モデルの前記メッシュ上の点及び前記インプラント部品の前記仮想モデルの前記メッシュ上の点のそれぞれの対間のそれぞれの距離を決定することと、
前記決定されたそれぞれの距離の最小値を前記推定距離として識別することと
を行うことによって前記推定距離を推定することを更に含む、［５］に記載の方法。
［７］ 前記推定距離を示すことは、前記推定距離の表現を出力することを含む、［６］に記載の方法。
［８］ 前記表現を出力することは、
前記識別された最小距離が閾値距離未満であると決定したことに応答して、警告を出力すること
を含む、［７］に記載の方法。
［９］ 前記推定距離の前記表現を出力することは、触覚出力、オーディオ出力、グラフィック出力、又はテキスト出力のうちの１つ又は複数を使用して前記表現を出力することを含む、［１］から［７］のいずれか一項に記載の方法。
［１０］ 前記表現を出力することは、触覚出力を使用して前記表現を出力することを含み、前記触覚出力は、デバイスを振動させる、［９］に記載の方法。
［１１］ 前記表現を出力することは、オーディオ出力を使用して前記表現を出力することを含み、前記オーディオ出力は、可聴トーンの放出を含む、［９］に記載の方法。
［１２］ 前記表現を出力することは、少なくとも、デバイスに、前記インプラント部品及び前記骨の相対位置のグラフィカル表現を表示させることによって、グラフィック出力を使用して前記表現を出力することを含む、［９］に記載の方法。
［１３］ 前記デバイスに、前記グラフィカル表現を表示させることは、
視覚化デバイスを介して、前記骨の一部分の前記仮想モデルを、前記視覚化デバイスを介して見ることができる前記骨の一部分上に重ねて表示することと、
前記視覚化デバイスを介して、前記インプラント部品の前記仮想モデルを、前記骨の一部分上に重ねて表示することと
を含む、［１２］に記載の方法。
［１４］ 前記表現を出力することは、少なくとも、デバイスに、前記推定距離の数値を表示させることによって、テキストを使用して前記表現を出力することを含む、［９］に記載の方法。
［１５］ 前記インプラント部品は、インプラントを含む、［１］から［１４］のいずれか一項に記載の方法。
［１６］ 前記インプラントは、上腕骨インプラントのステムを含む、［１５］に記載の方法。
［１７］ 前記インプラント部品は、インプラントツールを含む、［１］から［１４］のいずれか一項に記載の方法。
［１８］ 前記インプラントツールは、スターターオウル、サウンダ、パンチ、コンパクタ、又はインサータハンドルのうちの１つ又は複数を含む、［１７］に記載の方法。
［１９］ 前記骨は上腕骨である、［１］から［１８］のいずれか一項に記載の方法。
［２０］ 前記上腕骨の一部分の前記仮想モデルは、上腕骨頭が前記上腕骨から切除された後の前記上腕骨の仮想モデルを含む、［１９］に記載の方法。
［２１］ 前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面の表現を含む、［１］から［２０］のいずれか一項に記載の方法。
［２２］ 前記インプラント部品の使用をガイドするための仮想ガイダンスを出力すること
を更に含む、［１］から［２１］のいずれか一項に記載の方法。
［２３］ メモリと、
１つ又は複数のセンサと
処理回路と
を備える仮想手術システムであって、前記処理回路は、
前記１つ又は複数のセンサを使用して、患者の骨の一部分の仮想モデルを前記骨の対応する観察部分と位置合わせすることと、ここで、前記仮想モデルは、前記骨の壁の表現を含む、
前記１つ又は複数のセンサを使用して、インプラント部品の仮想モデルを、対応する観察されたインプラント部品と位置合わせすることと、
前記骨の一部分の前記位置合わせされた仮想モデル及び前記インプラント部品の前記位置合わせされた仮想モデルに基づいて、前記骨の壁の位置に対する前記インプラント部品の少なくとも一部分の位置を示すことと
を行うように構成されている、仮想手術システム。
［２４］ 前記骨の一部分の前記仮想モデルは、前記骨の壁に対応する点の３次元メッシュを含み、前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面に対応する点の３次元メッシュを含む、［２３］に記載の仮想手術システム。
［２５］ 前記壁が外側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の内側皮質壁に対応する点の３次元メッシュを更に含む、［２４］に記載の仮想手術システム。
［２６］ 前記壁が内側皮質壁を含み、前記骨の一部分の前記仮想モデルが、前記骨の外側皮質壁に対応する点の３次元メッシュを更に含む、［２４］に記載の仮想手術システム。
［２７］ 前記骨の壁の位置に対する前記インプラント部品の少なくとも前記一部分の位置を示すことは、前記インプラント部品の一部分と前記骨の壁の位置との間の推定距離を示すことを含む、［２３］から［２６］のいずれか一項に記載の仮想手術システム。
［２８］ 前記処理回路は、少なくとも、
前記骨の一部分の前記仮想モデルの前記メッシュ上の点及び前記インプラント部品の前記仮想モデルの前記メッシュ上の点のそれぞれの対間のそれぞれの距離を決定することと、
前記決定されたそれぞれの距離の最小値を前記推定距離として識別することと
を行うことによって前記推定距離を推定するように更に構成されている、［２７］に記載の仮想手術システム。
［２９］ 前記推定距離を示すために、前記処理回路は、前記推定距離の表現を出力するように構成されている、［２８］に記載の仮想手術システム。
［３０］ 前記表現を出力するために、前記処理回路は、
前記識別された最小距離が閾値距離未満であると決定したことに応答して、警告を出力する
ように構成されている、［２９］に記載の仮想手術システム。
［３１］ 前記推定距離の前記表現を出力するために、前記処理回路は、触覚出力、オーディオ出力、グラフィック出力、又はテキスト出力のうちの１つ又は複数を使用して前記表現を出力するように構成されている、［２３］から［２９］のいずれか一項に記載の仮想手術システム。
［３２］ 前記表現を出力するために、前記処理回路は、触覚出力を使用して前記表現を出力するように構成されており、前記触覚出力は、前記仮想手術システムのデバイスを振動させる、［３１］に記載の仮想手術システム。
［３３］ 前記表現を出力するために、前記処理回路は、少なくとも、前記仮想手術システムの１つ又は複数のスピーカに、可聴トーンを放出させることによって、オーディオ出力を使用して前記表現を出力するように構成されている、［３１］に記載の仮想手術システム。
［３４］ 前記表現を出力するために、前記処理回路は、少なくとも、前記仮想手術システムのデバイスに、前記インプラント部品及び前記骨の相対位置のグラフィカル表現を表示させることによって、グラフィック出力を使用して前記表現を出力するように構成されている、［３１］に記載の仮想手術システム。
［３５］ 前記デバイスに、前記グラフィカル表現を表示させるために、前記処理回路は、前記仮想手術システムの視覚化デバイスに、
前記骨の一部分の前記仮想モデルを、前記視覚化デバイスを介して見ることができる前記骨の一部分上に重ねて表示することと、
前記インプラント部品の前記仮想モデルを、前記骨の一部分上に重ねて表示することと
を行わせるように構成されている、［３４］に記載の仮想手術システム。
［３６］ 前記表現を出力するために、前記処理回路は、少なくとも、前記仮想手術システムのデバイスに、前記推定距離の数値を表示させることによって、テキスト出力を使用して前記表現を出力するように構成されている、［３１］に記載の仮想手術システム。
［３７］ 前記インプラント部品は、インプラントを含む、［２３］から［３６］のいずれか一項に記載の仮想手術システム。
［３８］ 前記インプラントは、上腕骨インプラントのステムを含む、［３７］に記載の仮想手術システム。
［３９］ 前記インプラント部品は、インプラントツールを含む、［２３］から［３６］のいずれか一項に記載の仮想手術システム。
［４０］ 前記インプラントツールは、スターターオウル、サウンダ、パンチ、コンパクタ、又はインサータハンドルのうちの１つ又は複数を含む、［３９］に記載の仮想手術システム。
［４１］ 前記骨は上腕骨である、［２３］から［４０］のいずれか一項に記載の仮想手術システム。
［４２］ 前記上腕骨の一部分の前記仮想モデルは、上腕骨頭が前記上腕骨から切除された後の前記上腕骨の仮想モデルを含む、［４１］に記載の仮想手術システム。
［４３］ 前記インプラント部品の前記仮想モデルは、前記インプラント部品の外面の表現を含む、［２３］から［４２］のいずれか一項に記載の仮想手術システム。
［４４］ 前記処理回路は、前記インプラント部品の使用をガイドするための仮想ガイダンスを出力するように更に構成されている、［２３］から［４３］のいずれか一項に記載の仮想手術システム。
［４５］ 実行されると、仮想手術システムの１つ又は複数のプロセッサに、［１］から［２２］のいずれか一項に記載の方法を実行させる命令を記憶する、コンピュータ可読記憶媒体。
［４６］ ［１］から［２２］のいずれか一項に記載の方法を実行するための手段を備える、仮想手術システム。

【国際調査報告】