特表 2023-505956 拡張現実を使用した解剖学的特徴抽出およびプレゼンテーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-14

(54)【発明の名称】拡張現実を使用した解剖学的特徴抽出およびプレゼンテーション

(51)【国際特許分類】

   A61B 8/14 20060101AFI20230207BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022529901

(86)(22)【出願日】2020-12-08

(85)【翻訳文提出日】2022-05-23

(86)【国際出願番号】 US2020063772

(87)【国際公開番号】W WO2021118995

(87)【国際公開日】2021-06-17

(31)【優先権主張番号】62/947,571

(32)【優先日】2019-12-13

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

２．ＢＬＵＥＴＯＯＴＨ

３．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】502032219

【氏名又は名称】スミス アンド ネフュー インコーポレイテッド

(71)【出願人】

【識別番号】510059882

【氏名又は名称】スミス・アンド・ネフュー・オルソペディクス・アーゲー

(71)【出願人】

【識別番号】519295384

【氏名又は名称】スミス・アンド・ネフュー・アジア・パシフィク・ピーティーイー・リミテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ニコウ、コンスタンティノス

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601EE09

4C601EE11

4C601FF11

4C601GA18

4C601GA21

4C601JC08

4C601KK31

(57)【要約】

超音波プローブは、プロセッサによって分析されて、解剖学的構造に関する顕著な特徴を抽出する、患者の解剖学的構造のリアルタイム画像を捕捉する。超音波プローブの場所および配向を追跡することによって、その解剖学的構造のモデルを作成することができる。解剖学的構造のセグメントの位置の視覚的表示は、超音波画像の全容をユーザに提示することなく、拡張現実ヘッドセットのユーザにホログラフィック的に提示されて、ユーザによって視認される実際の解剖の物理的場所に対応するヘッドセットの視界の近似場所での解剖学的構造のモデルのホログラフィック表示などの、超音波撮像から抽出された情報を提供することができる。
【選択図】図８

【特許請求の範囲】

【請求項1】

外科手術システムであって、
外科手術部位の二次元超音波画像を取得するように構成された超音波プローブを備える、超音波システムと、
ヘッドマウントディスプレイと、
前記超音波プローブの姿勢を決定するように構成された追跡システムと、
コンピュータシステムであって、
前記超音波システムから、前記二次元超音波画像を受信することと、
前記二次元超音波画像から、特徴を抽出することであって、前記特徴が、前記外科手術部位の解剖学的構造と関連付けられている、抽出することと、
前記追跡システムを介して、前記超音波プローブの前記姿勢を決定することと、
前記超音波プローブの決定された前記姿勢に基づいて、抽出された前記特徴を有する前記解剖学的構造と関連付けられた三次元特徴モデルを更新することと、
更新された前記三次元特徴モデルの特徴が、前記ヘッドマウントディスプレイの視野に対してどこに位置しているかを決定することと、
前記ヘッドマウントディスプレイの前記視野内に位置している、更新された前記三次元特徴モデルの前記特徴を表示することと、を行うように構成されている、コンピュータシステムと、を備える、外科手術システム。

【請求項2】

前記ヘッドマウントディスプレイが、前記コンピュータシステムを備える、請求項１に記載の外科手術システム。

【請求項3】

前記ヘッドマウントディスプレイが、前記追跡システムを備える、請求項１または２に記載の外科手術システム。

【請求項4】

前記超音波プローブの前記姿勢が、前記ヘッドマウントディスプレイに対して決定される、請求項３に記載の外科手術システム。

【請求項5】

前記姿勢が、第１の姿勢を含み、
前記追跡システムが、前記ヘッドマウントディスプレイの第２の姿勢を決定するようにさらに構成されており、
前記コンピュータシステムが、
前記追跡システムを介して、前記ヘッドマウントディスプレイの前記第２の姿勢を決定することと、
前記超音波プローブの決定された前記第１の姿勢および前記ヘッドマウントディスプレイの決定された前記第２の姿勢に基づいて、前記ヘッドマウントディスプレイに対する前記超音波プローブの相対的な姿勢を決定することと、
前記超音波プローブの前記相対的な姿勢に基づいて、更新された前記三次元特徴モデルの特徴が、前記ヘッドマウントディスプレイの前記視野に対してどこに位置しているかを決定することと、を行うようにさらに構成されている、請求項１または２に記載の外科手術システム。

【請求項6】

前記追跡システムが、前記超音波プローブ上に位置付けられた１つ以上の基準マーカーを識別するように構成されたカメラシステムを備える、請求項１～５のいずれか一項に記載の外科手術システム。

【請求項7】

前記コンピュータシステムが、
更新された前記三次元特徴モデルの前記特徴のうちのいずれかが、閾値期間よりも古いかどうかを決定することと、
前記ヘッドマウントディスプレイの前記視野から、前記閾値期間よりも古い更新された前記三次元特徴モデルの前記特徴を除去することと、を行うようにさらに構成されている、請求項１～６のいずれか一項に記載の外科手術システム。

【請求項8】

前記特徴が、前記解剖学的構造の境界を含む、請求項１～７のいずれか一項に記載の外科手術システム。

【請求項9】

外科手術部位の二次元超音波画像を取得するように構成された超音波プローブを備える、超音波システムと、前記超音波プローブの姿勢を決定するように構成された追跡システムと、を使用して、ヘッドマウントディスプレイを介して解剖学的構造を表示するコンピュータ実装方法であって、前記方法が、
コンピュータシステムによって、前記超音波システムから前記二次元超音波画像を受信することと、
前記コンピュータシステムによって、前記二次元超音波画像から、特徴を抽出することであって、前記特徴が、前記外科手術部位の解剖学的構造と関連付けられている、抽出することと、
前記コンピュータシステムによって、前記追跡システムを介して、前記超音波プローブの前記姿勢を決定することと、
前記コンピュータシステムによって、前記超音波プローブの決定された前記姿勢に基づいて、抽出された前記特徴を有する前記解剖学的構造と関連付けられた三次元特徴モデルを更新することと、
前記コンピュータシステムによって、更新された前記三次元特徴モデルの特徴が、前記ヘッドマウントディスプレイの視野に対してどこに位置しているかを決定することと、
前記コンピュータシステムによって、前記ヘッドマウントディスプレイの前記視野内に位置している、更新された前記三次元特徴モデルの前記特徴を表示することと、を含む、コンピュータ実装方法。

【請求項10】

前記ヘッドマウントディスプレイが、前記コンピュータシステムを備える、請求項９に記載のコンピュータ実装方法。

【請求項11】

前記ヘッドマウントディスプレイが、前記追跡システムを備える、請求項９または１０に記載のコンピュータ実装方法。

【請求項12】

前記超音波プローブの前記姿勢が、前記ヘッドマウントディスプレイに対して決定される、請求項１１に記載のコンピュータ実装方法。

【請求項13】

前記姿勢が、第１の姿勢を含み、
前記追跡システムが、前記ヘッドマウントディスプレイの第２の姿勢を決定するようにさらに構成されており、
前記方法が、
前記コンピュータシステムによって、前記追跡システムを介して、前記ヘッドマウントディスプレイの前記第２の姿勢を決定することと、
前記コンピュータシステムによって、前記超音波プローブの決定された前記第１の姿勢および前記ヘッドマウントディスプレイの決定された前記第２の姿勢に基づいて、前記ヘッドマウントディスプレイに対する前記超音波プローブの相対的な姿勢を決定することと、
前記コンピュータシステムによって、前記超音波プローブの前記相対的な姿勢に基づいて、更新された前記三次元特徴モデルの特徴が、前記ヘッドマウントディスプレイの前記視野に対してどこに位置しているかを決定することと、をさらに含む、請求項９または１０に記載のコンピュータ実装方法。

【請求項14】

前記追跡システムが、前記超音波プローブ上に位置付けられた１つ以上の基準マーカーを識別するように構成されたカメラシステムを備える、請求項９～１３のいずれか一項に記載のコンピュータ実装方法。

【請求項15】

前記コンピュータシステムによって、更新された前記三次元特徴モデルの前記特徴のうちのいずれかが、閾値期間よりも古いかどうかを決定することと、
前記コンピュータシステムによって、前記ヘッドマウントディスプレイの前記視野から、前記閾値期間よりも古い更新された前記三次元特徴モデルの前記特徴を除去することと、をさらに含む、請求項９～１４のいずれか一項に記載のコンピュータ実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

優先権
本出願は、２０１９年１２月１３日に出願された、「ＡＮＡＴＯＭＩＣＡＬ ＦＥＡＴＵＲＥ ＥＸＴＲＡＣＴＩＯＮ ＡＮＤ ＰＲＥＳＥＮＴＡＴＩＯＮ ＵＳＩＮＧ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」と題する米国仮特許出願第６２／９４７，５７１号に対する優先権を主張するものであり、これは参照によりその全体が本明細書に組み込まれる。

【0002】

本開示は、一般に、外科手術ワークフローを強化するための拡張現実ヘッドセットを含む、コンピュータ支援外科手術システムに関連する、方法、システム、および装置に関する。開示されたシステム技術は、術中撮像を利用して、解剖学的理解を強化する、システムに適用され得る。

【背景技術】

【0003】

外科医は、手術中の時間が限られており、ワークフローは、効率的でなければならない。一部のワークフローは、術前撮像データを外科医に提供することに依拠し、手技開始前に詳細な外科手術計画を策定する。一部の外科手術ワークフローは、超音波撮像などの手術室の撮像システムを使用して、術前撮像を補足する（または外科医が手術中に肉眼で見ることができるものを補足する）。術中撮像は、患者の解剖学的構造に関する追加的なインテリジェンスを提供するのに有用であり得るが、術中撮像は、外科手術ワークフローに効率的に導入することは困難であり得る。すなわち、手術は、外科医による集中力を必要とする。外科医が撮像を見るために患者から目をそらす必要のあるスタンドアロンの撮像システムを提供することは、効率性を低下させ得、外科医を混乱させ得、外科医が物理的な患者に対して撮像を方向付ける／相関させることが、困難であり得る。さらに、手術は、術中の撮像から利益を得ることができる各人員を必要とする場合があるが、撮像は、超音波プローブなどの撮像デバイスを保持しない手術室の誰に対しても見当識を失わせる場合がある。見当識を失わせることを最小限にしながら、外科手術スタッフの注意を患者に維持することが望ましい。この目標は、術中の撮像の導入によってしばしば失敗する。

【0004】

さらに、医療撮像は、読みにくい場合がある。放射線学は医学の専門分野全体であり、医療画像を読む専門家を生み出すが、手術室におけるすべての医療スタッフが、放射線学で十分に訓練されていることは稀である。したがって、超音波などの医療画像はいくらかの利益をもたらすが、多くのスタッフにとって見当識を失わせる可能性がある。超音波は、音波を使用して、患者の内部構造を調べるために、軟部組織構造の画像を作成する。典型的には、リアルタイム超音波画像は、白色および灰色／黒色の色調を表示する。明るい（白色の）影付きの領域は、より高密度の組織構造を示し、最も明るい白色は、骨である。より暗い影付きの領域は、密度の低い構造を示し、黒色は構造、特に流体の欠如を示している。典型的な超音波の場合、画像内に関心対象の１つ以上の構造があるが、画像の残りの部分は、無関係なデータであり、外科手術環境でリアルタイムでの関連情報を入手することが困難になる。さらに、関心対象の構造全体が単一の静的超音波画像に捕捉されないことが、しばしばある。複数の捕捉された画像間の関係を、プローブが移動するにつれて概念化することは、リアルタイムで困難であり得る。

【0005】

拡張現実（ＡＲ）ヘッドセット（ＨＭＤ）を手術室に導入するいくつか取り組みが行われている。これは、ＨＭＤの着用者に情報を提示して、着用者が患者から目をそらすことなく情報を見ることができるようにするのに有用であり得る。これにより、コンテキスト切り替えにかかる時間が短縮され、効率性が向上する。医療現場においてＡＲ ＨＭＤに医療画像を導入する取り組みが行われている。しかしながら、これらの取り組みは、典型的には、患者についての観察者の視界を妨害し、さらに見当識を失わせる可能性のある大きな暗いまたは明るい領域を含む、大量の外来性視覚ノイズを含む、超音波画像全体を表示することを伴う。さらに、これらの画像は、患者を見る間、仮想画面を使用して提示され得るが、これらの画像は、視野内の患者と有意に関連付けられない。例えば、脚の超音波は、患者の隣に浮かんでいるように表示され得るが、ＨＭＤの着用者は、その医療画像を、目の前の患者の解剖学的構造に頭の中でマッピングする必要がある。さらに、患者またはプローブの任意の移動は、超音波画像内の構造の場所を患者の場所に関連付けることのさらなる困難をもたらす。

【発明の概要】

【0006】

拡張現実システムにおける、解剖学的特徴を識別し、外科手術スタッフなどのユーザに提示するためのシステムおよび方法が提供される。

【0007】

一部の実施形態では、外科手術システムであって、外科手術部位の二次元超音波画像を取得するように構成された超音波プローブを備える、超音波システムと、ヘッドマウントディスプレイと、超音波プローブの姿勢を決定するように構成された追跡システムと、コンピュータシステムであって、超音波システムから、二次元超音波画像を受信することと、二次元超音波画像から、特徴を抽出することであって、特徴が、外科手術部位の解剖学的構造と関連付けられている、抽出することと、追跡システムを介して、超音波プローブの姿勢を決定することと、超音波プローブの決定された姿勢に基づいて、抽出された特徴を有する解剖学的構造と関連付けられた三次元特徴モデルを更新することと、更新された三次元特徴モデルの特徴が、ヘッドマウントディスプレイの視野に対してどこに位置しているかを決定することと、ヘッドマウントディスプレイの視野内に位置している、更新された三次元特徴モデルの特徴を表示することと、を行うように構成されている、コンピュータシステムと、を備える、外科手術システムが提供されている。

【0008】

一部の実施形態では、ヘッドマウントディスプレイは、コンピュータシステムを備える。

【0009】

一部の実施形態では、ヘッドマウントディスプレイは、追跡システムを備える。

【0010】

一部の実施形態では、超音波プローブの姿勢は、ヘッドマウントディスプレイに対して決定される。

【0011】

一部の実施形態では、姿勢は、第１の姿勢を含み、追跡システムは、ヘッドマウントディスプレイの第２の姿勢を決定するようにさらに構成されており、コンピュータシステムは、追跡システムを介して、ヘッドマウントディスプレイの第２の姿勢を決定することと、超音波プローブの決定された第１の姿勢およびヘッドマウントディスプレイの決定された第２の姿勢に基づいて、ヘッドマウントディスプレイに対する超音波プローブの相対的な姿勢を決定することと、超音波プローブの相対的な姿勢に基づいて、更新された三次元特徴モデルの特徴が、ヘッドマウントディスプレイの視野に対してどこに位置しているかを決定することと、を行うようにさらに構成されている。

【0012】

一部の実施形態では、追跡システムは、超音波プローブ上に位置付けられた１つ以上の基準マーカーを識別するように構成されたカメラシステムを備える。

【0013】

一部の実施形態では、コンピュータシステムは、更新された三次元特徴モデルの特徴のうちのいずれかが、閾値期間よりも古いかどうかを決定することと、ヘッドマウントディスプレイの視野から、閾値期間よりも古い更新された三次元特徴モデルの特徴を除去することと、を行うようにさらに構成されている。

【0014】

一部の実施形態では、特徴は、解剖学的構造の境界を含む。

【0015】

一部の実施形態では、外科手術部位の二次元超音波画像を取得するように構成された超音波プローブを備える、超音波システムと、超音波プローブの姿勢を決定するように構成された追跡システムと、を使用して、ヘッドマウントディスプレイを介して解剖学的構造を表示するコンピュータ実装方法であって、方法が、コンピュータシステムによって、超音波システムから二次元超音波画像を受信することと、コンピュータシステムによって、二次元超音波画像から、特徴を抽出することであって、特徴が、外科手術部位の解剖学的構造と関連付けられている、抽出することと、コンピュータシステムによって、追跡システムを介して、超音波プローブの姿勢を決定することと、コンピュータシステムによって、超音波プローブの決定された姿勢に基づいて、抽出された特徴を有する解剖学的構造と関連付けられた三次元特徴モデルを更新することと、コンピュータシステムによって、更新された三次元特徴モデルの特徴が、ヘッドマウントディスプレイの視野に対してどこに位置しているかを決定することと、コンピュータシステムによって、ヘッドマウントディスプレイの視野内に位置している、更新された三次元特徴モデルの特徴を表示することと、を含む、コンピュータ実装方法が提供されている。

【0016】

一部の実施形態では、姿勢は、第１の姿勢を含み、追跡システムは、ヘッドマウントディスプレイの第２の姿勢を決定するようにさらに構成されており、方法は、コンピュータシステムによって、追跡システムを介して、ヘッドマウントディスプレイの第２の姿勢を決定することと、コンピュータシステムによって、超音波プローブの決定された第１の姿勢およびヘッドマウントディスプレイの決定された第２の姿勢に基づいて、ヘッドマウントディスプレイに対する超音波プローブの相対的な姿勢を決定することと、コンピュータシステムによって、超音波プローブの相対的な姿勢に基づいて、更新された三次元特徴モデルの特徴が、ヘッドマウントディスプレイの視野に対してどこに位置しているかを決定することと、をさらに含む。

【0017】

一部の実施形態では、方法は、コンピュータシステムによって、更新された三次元特徴モデルの特徴のうちのいずれかが、閾値期間よりも古いかどうかを決定することと、コンピュータシステムによって、ヘッドマウントディスプレイの視野から、閾値期間よりも古い更新された三次元特徴モデルの特徴を除去することと、をさらに含む。

【図面の簡単な説明】

【0018】

本明細書に組み込まれ、その一部を形成する添付の図面は、本発明の実施形態を示し、記述とともに、本発明の原理、特徴、および特徴を説明するのに役立つ。図面において、

【図1】一実施形態による、例示のコンピュータ支援外科手術システム（ＣＡＳＳ）を含む、手術室を示している。

【図2】一部の実施形態による、電磁センサデバイスの例を示している。

【図3A】一部の実施形態による、３つの垂直コイルを有する、電磁センサデバイスの代替例を示している。

【図3B】一部の実施形態による、２つの非平行な固定されたコイルを有する、電磁センサデバイスの代替例を示している。

【図3C】一部の実施形態による、２つの非平行な別個のコイルを有する、電磁センサデバイスの代替例を示している。

【図4】一部の実施形態による、電磁センサデバイスおよび患者の骨の例を示している。

【図5A】一実施形態による、外科手術コンピュータがＣＡＳＳの他の構成要素に提供する、例示の制御命令を示している。

【図5B】一実施形態による、ＣＡＳＳの構成要素が外科手術コンピュータに提供する、例示の制御命令を示している。

【図5C】一実施形態による、外科手術コンピュータがネットワークを介して外科手術データサーバに接続されている、例示の実装形態を示している。

【図6】一実施形態による、手術患者ケアシステムおよび例示のデータソースを示している。

【図7A】一実施形態による、術前外科手術計画を決定するための例示の流れ図を示している。

【図7B】一実施形態による、術前、術中、および術後の動作を含む、ケアのエピソードを決定するための例示の流れ図を示している。

【図7C-1】一実施形態による、インプラント配置を示す画像を含む、例示のグラフィカルユーザインターフェースを示している。

【図7C-2】一実施形態による、インプラント配置を示す画像を含む、例示のグラフィカルユーザインターフェースを示している。

【図7C-3】一実施形態による、インプラント配置を示す画像を含む、例示のグラフィカルユーザインターフェースを示している。

【図8】一実施形態による、画像ベースの拡張現実を外科医に提供するための例示のシステムのブロック図を示している。

【図9】一実施形態による、画像から抽出された解剖学的サービスに関連する情報をユーザに表示するための例示のシステムのブロック図を示している。

【図10】一実施形態による、ユーザに表示するための画像を取得および処理するための例示の方法の流れ図を示している。

【図11】代替実施形態による、画像ベースの拡張現実を外科医に提供するための代替システムのブロック図を示している。

【図12】一実施形態による、並列処理プラットフォームのブロック図を示している。

【発明を実施するための形態】

【0019】

本開示の目的のために、用語「インプラント」は、生物学的構造を置換または強化するために製造された人工デバイスまたは構造を指すために使用される。例えば、人工寛骨臼カップ（インプラント）は、人工股関節全置換術において、患者の摩耗または損傷した寛骨臼を置換または強化するために使用される。用語「インプラント」は一般に人工構造（移植とは対照的）を示すものとみなされるが、本明細書の目的では、インプラントは、生物学的構造を置換または強化するために移植された生物学的組織または材料を含み得る。

【0020】

本開示の目的のために、用語「リアルタイム」は、イベントが発生したか、または動作可能なシステムによって入力が受信されたときに、その場で実施される計算または動作を指すために使用される。しかしながら、用語「リアルタイム」の使用は、レイテンシが機械の性能特性によって引き起こされる意図しない結果である限り、入力と応答との間にある程度のレイテンシを引き起こす動作を排除することを意図するものではない。

【0021】

本開示の多くは、特定の職位または役割による外科医またはその他の医療専門家を指すが、本開示のいかなるものも、特定の職位または機能に限定されることを意図していない。外科医または医療専門家には、いくつかの医師、看護師、医療専門家、または技術者を含めることができる。これらの用語または職位のいずれも、別段の明示的な指定がない限り、本明細書に開示されるシステムのユーザと互換的に使用することができる。例えば、外科医への言及はまた、一部の実施形態では、技師または看護師に適用され得る。

【0022】

本明細書に開示されるシステム、方法、およびデバイスは、特に、ＮＡＶＩＯ（登録商標）外科手術ナビゲーションシステムなどの外科手術ナビゲーションシステムを利用する外科手術手技によく適合している。ＮＡＶＩＯは、テネシー州メンフィスのＳＭＩＴＨ＆ＮＥＰＨＥＷ，ＩＮＣ．の子会社である、ペンシルバニア州ピッツバーグのＢＬＵＥ ＢＥＬＴ ＴＥＣＨＮＯＬＯＧＩＥＳ，ＩＮＣ．の登録商標である。

【0023】

ＣＡＳＳエコシステムの概要
図１は、一部の実施形態による、例示のコンピュータ支援外科手術システム（ＣＡＳＳ）１００の図を提供している。以下のセクションでさらに詳細に説明するように、ＣＡＳＳは、コンピュータ、ロボット工学、および撮像技術を使用して、外科医が人工膝関節全置換術（ＴＫＡ）または人工股関節全置換術（ＴＨＡ）などの整形外科手術を実施することを助ける。例えば、外科手術ナビゲーションシステムは、外科医が患者の解剖学的構造を見つけ、外科手術器具を誘導し、高度な精度で医療機器を移植することを助けることができる。ＣＡＳＳ１００などの外科手術ナビゲーションシステムは、多くの場合、様々な形態のコンピューティング技術を採用して、幅広い標準および低侵襲の外科手術手技および技術を実施する。さらに、これらのシステムは、外科医が、患者の身体に対する器具およびインプラントの配置をより正確に計画、追跡、およびナビゲートすること、ならびに術前および術中の身体撮像を行うことを可能にする。

【0024】

エフェクタープラットフォーム１０５は、手術中に患者に対して外科手術ツールを位置付ける。エフェクタープラットフォーム１０５の正確な構成要素は、採用される実施形態に応じて変化するであろう。例えば、膝の手術については、エフェクタープラットフォーム１０５は、使用中に外科手術ツールまたは器具を保持する、エンドエフェクター１０５Ｂを含み得る。エンドエフェクター１０５Ｂは、外科医が使用する手持ち式デバイスまたは器具（例えば、ＮＡＶＩＯ（登録商標）のハンドピースまたは切断ガイドもしくはジグ）であり得、代替的に、エンドエフェクター１０５Ｂは、ロボットアーム１０５Ａによって保持または位置付けられるデバイスまたは器具を含み得る。１つのロボットアーム１０５Ａが図１に示されているが、一部の実施形態では、複数のデバイスが存在し得る。実施例として、手術テーブルＴの両側にロボットアーム１０５Ａが１つ、またはテーブルＴの一方の側に２つのデバイスがあり得る。ロボットアーム１０５Ａは、テーブルＴに直接的に装着され得、フロアプラットフォーム（図示せず）上のテーブルＴの隣に位置し得、床から天井までのポール上に装着され得、または手術室の壁もしくは天井に装着され得る。フロアプラットフォームは、固定され得、または移動可能であり得る。１つの特定の実施形態では、ロボットアーム１０５Ａは、患者の脚または足の間に位置する、床から天井までのポール上に装着される。一部の実施形態では、エンドエフェクター１０５Ｂは、創傷の閉鎖を補助するための縫合ホルダまたはステープラーを含み得る。さらに、２つのロボットアーム１０５Ａの場合、外科手術コンピュータ１５０は、ロボットアーム１０５Ａを駆動して、閉鎖時に創傷を縫合するために協働することができる。代替的に、外科手術コンピュータ１５０は、閉鎖時に創傷をステープルで留めるために、１つ以上のロボットアーム１０５Ａを駆動し得る。

【0025】

エフェクタープラットフォーム１０５は、手術中に患者の肢を位置付けるための肢位置決め器１０５Ｃを含み得る。肢位置決め器１０５Ｃの一例は、ＳＭＩＴＨおよびＮＥＰＨＥＷ ＳＰＩＤＥＲ２システムである。肢位置決め器１０５Ｃは、外科医によって手動で操作されてもよく、または代替的に、外科手術コンピュータ１５０（以下に説明される）から受信した命令に基づいて肢位置を変更してもよい。１つの肢位置決め器１０５Ｃが図１に示されているが、一部の実施形態では、複数のデバイスが存在し得る。実施例として、手術テーブルＴの両側に肢位置決め器１０５Ｃが１つ、またはテーブルＴの一方の側に２つのデバイスがあり得る。肢位置決め器１０５Ｃは、テーブルＴに直接的に装着され得、フロアプラットフォーム（図示せず）上のテーブルＴの隣に位置し得、ポール上に装着され得、または手術室の壁もしくは天井に装着され得る。一部の実施形態では、肢位置決め器１０５Ｃは、リトラクタまたは特定の骨ホルダなどの非従来的な方法で使用され得る。肢位置決め器１０５Ｃは、例として、足首ブーツ、軟部組織クランプ、骨クランプ、またはフックされた、湾曲した、もしくは角度の付いたブレードなどの軟部組織のリトラクタスプーンを含み得る。一部の実施形態では、肢位置決め器１０５Ｃは、創傷の閉鎖を補助するための縫合ホルダを含み得る。

【0026】

エフェクタープラットフォーム１０５は、軸もしくは平面、気泡レベル、ピンドライバ、ピンプラー、平面チェッカ、ポインター、指、またはそれらのいくつかの組み合わせを示すための、ドライバ、光、またはレーザーなどのツールを含み得る。

【0027】

切除装置１１０（図１には図示せず）は、例えば、機械的、超音波、またはレーザー技術を使用して、骨または組織切除を行う。切除装置１１０の例としては、ドリルデバイス、バリ取りデバイス、振動ソーイングデバイス、振動衝突デバイス、リーマー、超音波骨切断デバイス、無線周波数アブレーションデバイス、往復運動デバイス（擦り傷またはブローチなど）、およびレーザーアブレーションシステムが含まれる。一部の実施形態では、切除装置１１０は、手術中に外科医によって保持および操作される。他の実施形態では、エフェクタープラットフォーム１０５は、使用中に切除装置１１０を保持するために使用され得る。

【0028】

エフェクタープラットフォーム１０５はまた、手術中に組織を切除するために使用されるソーまたはドリルを誘導するために使用される、切断ガイドまたはジグ１０５Ｄを含み得る。こうした切断ガイド１０５Ｄは、エフェクタープラットフォーム１０５もしくはロボットアーム１０５Ａの一部として一体的に形成され得、または切断ガイドは、エフェクタープラットフォーム１０５もしくはロボットアーム１０５Ａに嵌合および／もしくは取り外し可能に取り付けられ得る、別個の構造であり得る。エフェクタープラットフォーム１０５またはロボットアーム１０５Ａは、ＣＡＳＳ１００によって制御されて、術前または術中に開発された外科手術計画に従って、患者の解剖学的構造に隣接して切断ガイドまたはジグ１０５Ｄを位置付け、その結果、切断ガイドまたはジグは、外科手術計画に従って正確な骨切断を生成するであろう。

【0029】

追跡システム１１５は、１つ以上のセンサを使用して、患者の解剖学的構造および外科手術器具を特定する、リアルタイム位置データを収集する。例えば、ＴＫＡ手技については、追跡システムは、手技中にエンドエフェクター１０５Ｂの場所および配向を提供し得る。位置データに加えて、追跡システム１１５からのデータをさらに使用して、ツール制御に使用され得る解剖学的構造／計測の速度／加速を推定することができる。一部の実施形態では、追跡システム１１５は、エンドエフェクター１０５Ｂに取り付けられたトラッカーアレイを使用して、エンドエフェクター１０５Ｂの場所および配向を決定し得る。エンドエフェクター１０５Ｂの位置は、追跡システム１１５の位置および配向、ならびに追跡システム１１５とエンドエフェクター１０５Ｂとの間の三次元空間における既知の関係に基づいて推測され得る。本発明の様々な実施形態で、様々なタイプの追跡システムが使用されてもよく、これには、赤外線（ＩＲ）追跡システム、電磁（ＥＭ）追跡システム、ビデオまたは画像ベースの追跡システム、ならびに超音波登録および追跡システムが含まれるが、これらに限定されない。追跡システム１１５によって提供されるデータを使用して、外科手術コンピュータ１５０は、物体を検出し、衝突を防止することができる。例えば、外科手術コンピュータ１５０は、ロボットアーム１０５Ａおよび／またはエンドエフェクター１０５Ｂが軟部組織と衝突することを防止することができる。

【0030】

任意の適切な追跡システムを使用して、外科手術空間内の外科手術対象および患者の解剖学的構造を追跡することができる。例えば、ＩＲカメラと可視光カメラとの組み合わせを、アレイで使用することができる。ＩＲ ＬＥＤ光源などの様々な照明源が、シーンを照明して、三次元撮像を可能にすることができる。一部の実施形態では、これは、立体視、三鏡、四面視などの撮像を含み得る。一部の実施形態では、カートに貼り付けられるカメラアレイに加えて、追加のカメラは、外科手術空間全体にわたって配置され得る。例えば、オペレータ／外科医が着用する手持ち式ツールまたはヘッドセットは、画像を中央プロセッサに通信して、それらの画像をカメラアレイによって捕捉された画像と相関させる、撮像能力を含み得る。これにより、複数の視点を使用したモデリングのための環境のより堅牢な画像が得られ得る。さらに、一部の撮像デバイスは、適切な解像度であり得、または、クイック応答（ＱＲ）コードもしくはバーコードに記憶された情報を捕捉するために、シーンに対して適切な視点を有し得る。これは、システムに手動で登録されていない特定の物体を識別するのに役立ち得る。一部の実施形態では、カメラは、ロボットアーム１０５Ａ上に装着され得る。

【0031】

しかし、本明細書で論じるように、追跡および／またはナビゲーション技術の大部分は、画像ベースの追跡システム（例えば、ＩＲ追跡システム、ビデオまたは画像ベースの追跡システムなど）を利用する。しかしながら、電磁（ＥＭ）ベースの追跡システムは、様々な理由からより一般的になりつつある。例えば、標準的な光学トラッカーの移植には、組織切除（例えば、皮質まで）、ならびにそれに続く皮質ピンのドリル加工および駆動が必要である。さらに、光学トラッカーは、追跡システムとの直接の視線を必要とするため、こうしたトラッカーの配置は、外科医または医療従事者の動きを制限しないようにするために、外科手術部位から遠く離れている必要がある場合がある。

【0032】

一般に、ＥＭベースの追跡デバイスは、１つ以上のワイヤコイルおよび基準フィールドジェネレータを含む。１つ以上のワイヤコイルは、（例えば、有線または無線電源を介して）通電され得る。通電されると、コイルは、１つ以上のワイヤコイルの場所および配向を決定することができる様式で、（例えば、参照電界発生装置または追加のデバイスによって）検出および測定され得る、電磁場を生成する。当業者であれば理解するように、図２に示すような単一のコイルは、合計５つの（５）自由度（ＤＯＦ）の検出に限定される。例えば、センサ２００は、Ｘ、Ｙ、またはＺ方向の動き、ならびにＹ軸２０２またはＺ軸２０１の周りの回転を追跡／決定することが可能であり得る。しかしながら、コイルの電磁特性のため、Ｘ軸の周りの回転運動を適切に追跡することはできない。

【0033】

したがって、ほとんどの電磁追跡用途では、図３Ａに示すような３つのコイルシステムを使用して、三次元空間（すなわち、前方／後方３１０、上／下３２０、左／右３３０、ロール３４０、ピッチ３５０、およびヨー３６０）内で剛体が移動することを可能にする、６つの自由度すべてにおける追跡が可能になる。しかしながら、２つの追加のコイルおよびそれらが位置付けられる９０°のオフセット角度の包含は、追跡デバイスをはるかに大きくする必要がある場合がある。代替的に、当業者が知っているように、６ＤＯＦのすべてを追跡するために、３つ未満の完全なコイルを使用し得る。一部のＥＭベースの追跡デバイスでは、図３Ｂに示すように、２つのコイルが互いに固定され得る。２つのコイル３０１Ｂおよび３０２Ｂは、完全に平行ではなく、互いに強固に固定され、互いに対して既知の位置を有するため、この配設で第６の自由度３０３Ｂを決定することができる。

【0034】

２つの固定されたコイル（例えば、３０１Ｂおよび３０２Ｂ）の使用は、６ＤＯＦにおけるＥＭベースの追跡を可能にするが、センサデバイスは、追加のコイルのために単一のコイルよりも実質的に直径が大きい。したがって、外科手術環境でＥＭベースの追跡システムを使用する実用的な適用は、ＥＭトラッカーの挿入を可能にするために、患者の骨の一部分の組織切除およびドリル加工を必要とし得る。代替的に、一部の実施形態では、ピンのみを使用して（例えば、実質的な骨をドリル加工する、または切り出す必要なく）、単一のコイルまたは５ＤＯＦ ＥＭ追跡デバイスを患者の骨に移植／挿入することが可能であり得る。

【0035】

したがって、本明細書に記載されるように、ＥＭ追跡システムの使用を、小直径の針またはピンを使用して挿入／埋め込むのに十分なほど小さい（すなわち、骨内に新しい切開または大直径の開口部を作成する必要なく）デバイスに制限できるソリューションが必要である。したがって、一部の実施形態では、第１のものに取り付けず、したがって直径が小さい第２の５ＤＯＦセンサを使用して、６ＤＯＦのすべてを追跡してもよい。ここで図３Ｃを参照すると、一部の実施形態では、２つの５ＤＯＦ ＥＭセンサ（例えば、３０１Ｃおよび３０２Ｃ）は、異なる場所および異なる角度配向（例えば、角度３０３Ｃはゼロではない）で、患者（例えば、患者の骨）に挿入され得る。

【0036】

次に図４を参照すると、例示の実施形態が示されており、第１の５ＤＯＦ ＥＭセンサ４０１および第２の５ＤＯＦ ＥＭセンサ４０２が、大部分のＯＲで典型的である標準的な中空針４０５を使用して、患者の骨４０３に挿入される。さらなる実施形態では、第１のセンサ４０１および第２のセンサ４０２は、角度オフセット「α」４０４を有し得る。一部の実施形態では、オフセット角度「α」４０４が所定の値（例えば、０．５０°、０．７５°などの最小角度）よりも大きいことが、必要であり得る。この最小値は、一部の実施形態では、ＣＡＳＳによって決定され、外科手術計画中に外科医または医療専門家に提供され得る。一部の実施形態では、最小値は、例えば、追跡システムの配向精度、第１のＥＭセンサと第２のＥＭセンサとの間の距離などの１つ以上の要因に基づいてもよい。電界発生装置の場所、電界検出器の場所、ＥＭセンサのタイプ、ＥＭセンサの品質、患者の解剖学的構造など。

【0037】

したがって、本明細書で論じるように、一部の実施形態では、ピン／針（例えば、カニューレ状装着針など）を使用して、１つ以上のＥＭセンサを挿入し得る。一般に、ピン／針は、使い捨ての構成要素であり、一方で、センサ自体は、再利用可能であり得る。しかしながら、これは１つの潜在的なシステムであり、ピン／針および／またはＥＭセンサが独立して使い捨て可能または再利用可能な様々な他のシステムが使用されてもよいことが理解されるべきである。さらなる実施形態では、ＥＭセンサは、（例えば、ルアーロック取り付け具などを使用して）装着針／ピンに固定されてもよく、これにより、迅速な組み立ておよび分解が可能となる。追加の実施形態において、ＥＭセンサは、センサの低侵襲的配置を可能にする、代替的なスリーブおよび／またはアンカーシステムを利用し得る。

【0038】

別の実施形態では、上記システムは、電磁追跡システムを悩ませる視野歪みを検出および修正することができる、マルチセンサナビゲーションシステムを可能にし得る。視野歪みは、参照視野内の任意の強磁性材料の移動から生じる場合があることが理解されるべきである。したがって、当業者であれば分かるように、典型的なＯＲは、干渉を引き起こす可能性のある多数のデバイス（例えば、手術台、ＬＣＤディスプレイ、照明装置、撮像システム、外科手術器具など）を有する。さらに、視野歪みは、検出が著しく困難であると知られている。複数のＥＭセンサの使用により、システムは、視野歪みを正確に検出し、および／または現在の位置測定値が正確ではない可能性があることをユーザに警告することができる。センサは骨の解剖学的構造に（例えば、ピン／針を介して）強固に固定されるため、センサ位置（Ｘ、Ｙ、Ｚ）の相対測定を使用して、視野歪みを検出し得る。非限定的な例として、一部の実施形態では、ＥＭセンサが骨に固定された後、２つのセンサ間の相対距離は既知であり、一定に保たれるべきである。したがって、この距離の任意の変化は、視野歪みの存在を示し得る。

【0039】

一部の実施形態では、特定の物体は、外科医によって、システムを術前または術中に手動で登録され得る。例えば、ユーザインターフェースと相互作用することによって、外科医は、ツールまたは骨構造の開始場所を識別し得る。そのツールもしくは骨構造と関連付けられた基準マークを追跡することによって、または他の従来的な画像追跡モダリティを使用することにより、プロセッサは、三次元モデルにおいて、そのツールまたは骨が環境を移動する際に、そのツールまたは骨を追跡し得る。

【0040】

一部の実施形態では、空間内の個人、重要なツール、または骨を識別する、基準マークなどの特定のマーカーは、追跡システムと関連付けられたカメラまたはカメラアレイによってピックアップされ得る、受動的または能動的識別子を含み得る。例えば、ＩＲ ＬＥＤは、固有の識別子をそのパターンのソースに伝達するパターンを点滅させ、動的識別マークを提供することができる。同様に、一次元または二次元の光学コード（バーコード、ＱＲコードなど）を空間内の物体に貼り付けて、画像解析に基づいて発生し得る受動的識別を提供することができる。これらのコードが、物体上に非対称に配置される場合、さらに、識別子の場所を画像中の物体の範囲と比較することによって、物体の配向を決定するのに、これらのコードを使用することができる。例えば、ＱＲコードは、ツールトレーの隅に配置されてもよく、そのトレーの配向および識別性を追跡することができる。その他の追跡モダリティは、全体で説明されている。例えば、一部の実施形態では、拡張現実ヘッドセットは、外科医および他のスタッフによって着用されて、追加のカメラ角度および追跡能力を提供することができる。

【0041】

光学的追跡に加えて、物体の物理的特性を登録し、ツールまたは骨に固定された基準マークなどの追跡可能な物体と関連付けることによって、物体の特定の特徴を追跡することができる。例えば、外科医は、追跡されたツールおよび追跡された骨を、互いに対して操作することができる、手動登録プロセスを実施することができる。ツールの先端を骨の表面に対して押し付けることによって、その基準マークの参照フレームに対する位置および配向と関連付けられたその骨に対して、三次元表面をマッピングすることができる。その骨と関連付けられた基準マークの位置および配向（ポーズ）を光学的に追跡することによって、その表面のモデルを、外挿を介して環境とともに追跡することができる。

【0042】

ＣＡＳＳ１００を患者の関連する解剖学的構造に登録する登録プロセスにはまた、骨または軟骨上の目印などの解剖学的目印の使用を伴うことができる。例えば、ＣＡＳＳ１００は、関連する骨または関節の３Ｄモデルを含み得、外科医は、ＣＡＳＳに接続されたプローブを使用して、患者の実際の骨上の骨の目印の場所に関するデータを術中に収集し得る。骨の目印には、例えば、内果および外果、近位大腿骨および遠位脛骨の端部、ならびに股関節の中心が含まれ得る。ＣＡＳＳ１００は、プローブで外科医が収集した骨の目印の場所データを、３Ｄモデル内の同じ目印の場所データと比較し、登録することができる。代替的に、ＣＡＳＳ１００は、術前画像データなしで、骨の目印の場所データ、およびＣＡＳＳプローブまたは他の手段を使用して外科医によって収集される骨表面を使用して、骨または関節の３Ｄモデルを構築し得る。登録プロセスはまた、関節の様々な軸を決定することを含み得る。例えば、ＴＫＡについては、外科医は、ＣＡＳＳ１００を使用して、大腿骨および脛骨の解剖学的軸および機械的軸を決定することができる。外科医およびＣＡＳＳ１００は、患者の脚をらせん状方向に移動させること（すなわち、外転）によって、股関節の中心を識別し、それにより、ＣＡＳＳが股関節の中心がどこに位置するかを決定することができる。

【0043】

組織ナビゲーションシステム１２０（図１には示されていない）は、外科医に、外科手術領域を囲む患者の骨、軟骨、筋肉、神経、および／または血管組織の術中のリアルタイムビジュアライゼーションを提供する。組織ナビゲーションに採用され得るシステムの例には、蛍光撮像システムおよび超音波システムが含まれる。

【0044】

ディスプレイ１２５は、組織ナビゲーションシステム１２０によって収集された画像、ならびに手術に関連するその他の情報を表示する、グラフィカルユーザインターフェース（ＧＵＩ）を提供する。例えば、一実施形態では、ディスプレイ１２５は、術前または術中に収集された様々なモダリティ（例えば、ＣＴ、ＭＲＩ、Ｘ線、蛍光、超音波など）から収集された画像情報をオーバーレイして、外科医に患者の解剖学的構造およびリアルタイム状態の様々なビューを与える。ディスプレイ１２５は、例えば、１つ以上のコンピュータモニタを含み得る。ディスプレイ１２５の代替または補足として、外科手術スタッフの１人以上のメンバーは、拡張現実（ＡＲ）ヘッドマウントデバイス（ＨＭＤ）を着用してもよい。例えば、図１では、外科医１１１は、例えば、患者に術前画像データをオーバーレイするか、または外科手術計画の提案を提供し得る、ＡＲ ＨＭＤ１５５を着用している。外科手術手技におけるＡＲ ＨＭＤ１５５の様々な例示の使用は、以下のセクションで詳述される。

【0045】

外科手術コンピュータ１５０は、ＣＡＳＳ１００の様々な構成要素に対する制御命令を提供し、それらの構成要素からデータを収集し、手術中に必要とされる様々なデータに対する一般的な処理を提供する。一部の実施形態では、外科手術コンピュータ１５０は、汎用コンピュータである。他の実施形態では、外科手術コンピュータ１５０は、複数の中央処理ユニット（ＣＰＵ）またはグラフィック処理ユニット（ＧＰＵ）を使用して処理を行う、並列コンピューティングプラットフォームであり得る。一部の実施形態では、外科手術コンピュータ１５０は、１つ以上のコンピュータネットワーク（例えば、インターネット）を介してリモートサーバに接続される。リモートサーバは、例えば、データの記憶または計算集約型処理タスクの実行のために使用され得る。

【0046】

外科手術コンピュータ１５０をＣＡＳＳ１００の他の構成要素に接続するために、当技術分野で一般的に知られている様々な技術を使用することができる。さらに、コンピュータは、技術の組み合わせを使用して外科手術コンピュータ１５０に接続し得る。例えば、エンドエフェクター１０５Ｂは、有線（すなわち、シリアル）接続を介して外科手術コンピュータ１５０に接続し得る。追跡システム１１５、組織ナビゲーションシステム１２０、およびディスプレイ１２５は、同様に有線接続を使用して外科手術コンピュータ１５０に接続され得る。代替的に、追跡システム１１５、組織ナビゲーションシステム１２０、およびディスプレイ１２５は、限定されないが、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）、またはＺｉｇｂｅｅなどの無線技術を使用して、外科手術コンピュータ１５０に接続し得る。

【0047】

電動式衝突および寛骨臼リーマーデバイス
図１に関して上述したＣＡＳＳ設計の柔軟性の一部は、特定の外科手術手技をサポートするために必要に応じて、追加的または代替的なデバイスをＣＡＳＳ１００に追加することができることである。例えば、股関節の外科手術の文脈において、ＣＡＳＳ１００は、電動式衝突デバイスを含み得る。衝突デバイスは、外科医がインプラントアライメントなどの活動を行うために使用することができる衝突力を反復して適用するように設計される。例えば、人工股関節全置換術（ＴＨＡ）では、外科医は多くの場合、衝突デバイスを使用して、人工寛骨臼カップをインプラント宿主の寛骨臼内に挿入する。衝突デバイスは、本質的には手動（例えば、外科医がマレットで衝突装置に当てて操作するなど）であるが、電動式衝突デバイスは概して、外科手術設定でより簡単でより速く使用できる。電動式衝突デバイスは、例えば、デバイスに取り付けられた電池を使用して給電され得る。様々な取り付けピースが、手術中に必要に応じて、様々な方法で衝突力が方向付けされるように、電動式衝突デバイスに接続され得る。また、股関節外科手術の文脈において、ＣＡＳＳ１００は、寛骨臼カップインプラントを収容するために寛骨臼をリーミングする、電動のロボット制御エンドエフェクターを含み得る。

【0048】

ロボット支援ＴＨＡでは、患者の解剖学的構造は、ＣＴまたは他の画像データ、解剖学的目印の識別、患者の骨に取り付けられたトラッカーアレイ、および１つ以上のカメラを使用して、ＣＡＳＳ１００に登録され得る。トラッカーアレイは、クランプおよび／または骨ピンを使用して腸骨頂上に装着され得、こうしたトラッカーは、皮膚を通して外部に、またはＴＨＡを実施するために作製された切開部を通して内側（後外側または前外側のいずれか）から装着され得る。ＴＨＡについては、ＣＡＳＳ１００は、近位大腿骨に挿入された１つ以上の大腿骨皮質ねじをチェックポイントとして利用して、登録プロセスを支援することができる。ＣＡＳＳ１００はまた、登録プロセスを支援するために、骨盤に挿入された１つ以上のチェックポイントねじを追加チェックポイントとして利用することができる。大腿骨トラッカーアレイは、大腿骨皮質ねじに固定または装着され得る。ＣＡＳＳ１００は、外科医がディスプレイ１２５上で外科医のために識別された近位大腿骨および骨盤の重要な領域上に正確に置いたプローブを使用して、登録が検証されるステップを採用することができる。トラッカーは、ロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂ上に位置して、アームおよび／またはエンドエフェクターをＣＡＳＳ１００に登録することができる。検証ステップはまた、近位および遠位大腿骨チェックポイントを利用することができる。ＣＡＳＳ１００は、関連する骨およびロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂの登録プロセスが、ある程度の精度（例えば、１ｍｍ以内）で検証されたことを外科医に知らせるために、色プロンプトまたはその他のプロンプトを利用することができる。

【0049】

ＴＨＡについては、ＣＡＳＳ１００は、外科医が術中にブローチの位置および配向を捕捉し、患者の股関節の長さおよびオフセット値を計算することを可能にする、大腿骨アレイを使用したブローチ追跡オプションを含み得る。患者の股関節、ならびにブローチ追跡が完了した後に計画されたインプラントの位置および配向について提供された情報に基づいて、外科医は、外科手術計画を修正または調整することができる。

【0050】

ロボット支援ＴＨＡについては、ＣＡＳＳ１００は、ロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂに接続または取り付けられ、外科手術計画に従って寛骨臼インプラントを受けるように骨盤骨を調製する、１つ以上の電動リーマーを含み得る。ロボットアーム１０５Ａおよび／またはエンドエフェクター１０５Ｂは、外科医に通知し、および／またはリーマーの電力を制御して、寛骨臼が外科手術計画に従って切除（リーミング）されていることを確実にすることができる。例えば、外科医が、外科手術計画に従って切除される骨の境界の外側の骨を切除しようとする場合、ＣＡＳＳ１００は、リーマーの電源をオフにするか、またはリーマーの電源をオフにするように外科医に指示することができる。ＣＡＳＳ１００は、外科医に、リーマーのロボット制御をオフにするか、またはそれを解除するかの選択肢を提供することができる。ディスプレイ１２５は、異なる色を使用して、外科手術計画と比較して、切除される（リーミングされる）骨の進行を示すことができる。外科医は、切除される（リーミングされる）骨の表示を見て、リーマーを誘導して、外科手術計画に従ってリーミングを完了させることができる。ＣＡＳＳ１００は、外科手術計画に従っていない切除が行われていることを外科医に警告する視覚的または可聴のプロンプトを、外科医に提供することができる。

【0051】

リーミング後、ＣＡＳＳ１００は、ロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂに取り付けられるか、または接続される手動または電動のインパクターを用いて、試験インプラントおよび最終的なインプラントを寛骨臼に衝突させることができる。ロボットアーム１０５Ａおよび／またはエンドエフェクター１０５Ｂは、外科手術計画に従って、試験および最終的なインプラントを寛骨臼に衝突させるように、インパクターを誘導するために使用され得る。ＣＡＳＳ１００は、外科医が脚および股関節を操作する際に、試験および最終的なインプラントの配向および位置を、どのように外科手術計画と比較するかについて外科医に知らせるために、表示されるべき骨に対して試験および最終的なインプラントの位置および配向を生じさせ得、またディスプレイ１２５は、インプラントの位置および配向を示し得る。ＣＡＳＳ１００は、外科医が元のインプラント位置および配向に満足しない場合、新しい外科手術計画を準備することによって、外科医に、リーミングおよびインプラントの衝突を再計画および再実行する選択肢を提供することができる。

【0052】

術前、ＣＡＳＳ１００は、股関節の三次元モデル、ならびに脚骨の機械的軸および解剖学的軸、上顆軸、大腿骨頸部軸、大腿骨および股関節の寸法（例えば、長さ）、股関節の正中軸、股関節のＡＳＩＳ軸、および下顎骨の目印などの解剖学的目印の場所、遠位目印、および股関節の回転の中心などの患者に特有のその他の情報に基づいて、提案される外科手術計画を開発することができる。ＣＡＳＳが開発した外科手術計画は、股関節の三次元モデルおよび患者に特有の他の情報に基づいて、推奨される最適なインプラントサイズならびにインプラント位置および配向を提供することができる。ＣＡＳＳが開発した外科手術計画には、オフセット値、傾斜および前傾値、回転中心、カップサイズ、内側化値、上側の嵌合値、大腿骨ステムのサイズおよび長さに関する提案された詳細が含まれ得る。

【0053】

ＴＨＡについては、ＣＡＳＳが開発した外科手術計画を術前および術中に見ることができ、外科医は、ＣＡＳＳが開発した外科手術計画を術前または術中に修正することができる。ＣＡＳＳが開発した外科手術計画は、計画された切除を股関節に示し、計画された切除に基づいて、計画されたインプラントを股関節に重ね合わせることができる。ＣＡＳＳ１００は、外科医の好みに基づいて、外科医に表示される様々な外科手術ワークフローの選択肢を外科医に提供することができる。例えば、外科医は、チェックおよび捕捉される解剖学的目印の数およびタイプ、ならびに／または登録プロセスで使用されるトラッカーアレイの場所および数に基づいて、異なるワークフローから選択することができる。

【0054】

一部の実施形態によれば、ＣＡＳＳ１００とともに使用される電動式衝突デバイスは、様々な異なる設定で動作し得る。一部の実施形態では、外科医は、手動スイッチまたは電動式衝突デバイス上の他の物理的機構を通して設定を調整する。他の実施形態では、例えば、電動式衝突デバイスのタッチスクリーンを介して、入力の設定を可能にするデジタルインターフェースを使用してもよい。こうしたデジタルインターフェースは、例えば、電力取り付けデバイスに接続された取り付け部品のタイプに基づいて、利用可能な設定を変えることを可能にし得る。一部の実施形態では、電動式衝突デバイス自体の設定を調整するのではなく、ＣＡＳＳ１００内のロボットまたは他のコンピュータシステムとの通信を介して、設定を変更することができる。こうした接続は、例えば、電動式衝突デバイス上のＢｌｕｅｔｏｏｔｈまたはＷｉ－Ｆｉネットワーキングモジュールを使用して確立され得る。別の実施形態では、衝突デバイスおよび端片部は、衝突デバイスが、どの端片部（カップインパクター、ブローチハンドルなど）が取り付けられているかを、外科医によって必要な動作なしに認識し、それに応じて設定を調整することを可能にする特徴を含み得る。これは、例えば、ＱＲコード、バーコード、ＲＦＩＤタグ、または他の方法を介して達成され得る。

【0055】

使用され得る設定の例としては、カップ衝突設定（例えば、単一方向、特定された周波数範囲、特定された力および／またはエネルギー範囲）、ブローチ衝突設定（例えば、特定された周波数範囲での双方向／振動、特定された力、および／またはエネルギー範囲）、大腿骨頭衝突設定（例えば、特定された力またはエネルギーでの単一方向／単一吹き）、およびステム衝突設定（例えば、所定の力またはエネルギーを有する、特定された周波数での単一方向）が含まれる。さらに、一部の実施形態では、電動式衝突デバイスは、寛骨臼ライナーの衝突に関連する設定（例えば、指定された力またはエネルギーでの単一方向／単一吹き）を含む。ポリ、セラミック、オキシニウム、またはその他の材料などのライナーの各タイプに対して、複数の設定があり得る。さらに、電動式衝突デバイスは、外科医による術前検査／画像／知識および／または術中評価に基づいて、異なる骨質に対する設定を提供し得る。一部の実施形態では、電動式インパクターデバイスは、二重機能を有し得る。例えば、電動式インパクターデバイスは、衝突力を提供するために往復運動を提供するだけでなく、ブローチまたはラスプのために往復運動を提供することもできる。

【0056】

一部の実施形態では、電動式衝突デバイスは、器具の使用中にデータを収集し、デバイスまたは外科手術コンピュータ１５０内のコントローラなどのコンピューティングデバイスにデータを送信するフィードバックセンサを含む。次に、このコンピューティングデバイスは、後の分析および使用のためにデータを記録することができる。収集され得るデータの例としては、音波、各器具の所定の共鳴周波数、患者の骨からの反応力もしくはリバウンドエネルギー、撮像（例えば、フルオロ、ＣＴ、超音波、ＭＲＩなど）に関するデバイスの場所、および／または骨上の外部歪みゲージが含まれるが、これらに限定されない。

【0057】

データが収集されると、コンピューティングデバイスは、外科医が外科手術手技を実施することを助けるために、リアルタイムまたはほぼリアルタイムに１つ以上のアルゴリズムを実行し得る。例えば、一部の実施形態では、コンピューティングデバイスは、収集されたデータを使用して、適切な最終ブローチサイズ（大腿骨）、ステムが完全に座っているとき（大腿骨側）、またはカップがＴＨＡに対して座っているとき（奥行きおよび／または配向）などの情報を導出する。情報が分かると、その情報は、外科医のレビューのために表示され得、またはハプティックもしくは他のフィードバック機構を起動して、外科手術手技を誘導するために使用され得る。

【0058】

さらに、前述のアルゴリズムから導出されたデータを使用して、デバイスの動作を駆動し得る。例えば、電動式衝突デバイスでの人工寛骨臼カップの挿入中、デバイスは、インプラントを適切な場所に動かす衝突ヘッド（例えば、エンドエフェクター）を自動的に延ばすか、またはインプラントが完全に着座した後、デバイスへの電源をオフにすることができる。１つの実施形態では、導出された情報を使用して、電動式衝突デバイスが、大腿骨／寛骨臼／骨盤の骨折または周囲の組織への損傷を軽減するためにより少ない電力を使用するべきである、骨の質の設定を自動的に調整し得る。

【0059】

ロボットアーム
一部の実施形態では、ＣＡＳＳ１００は、外科手術手技中に使用される様々な器具を安定化および保持するためのインターフェースとして機能する、ロボットアーム１０５Ａを含む。例えば、股関節手術の文脈では、これらの器具は、リトラクタ、矢状または往復式ソー、リーマーハンドル、カップインパクター、ブローチハンドル、およびステムインサータを含み得るが、これらに限定されない。ロボットアーム１０５Ａは、（Ｓｐｉｄｅｒデバイスのような）複数の自由度を有してもよく、（例えば、ボタンを押す、音声起動、外科医がロボットアームから手を取り外す、または他の方法によって）定位置にロックされる能力を有し得る。

【0060】

一部の実施形態では、ロボットアーム１０５Ａの移動は、ロボットアームシステム内に組み込まれた制御パネルの使用によって引き起こされ得る。例えば、表示画面は、ロボットアーム１０５Ａの直接的な移動である、１つ以上のアイコンを有する物理的ボタンまたはユーザインターフェースなどの１つ以上の入力源を含み得る。外科医または他の医療従事者は、外科手術手技を実施するときに、１つ以上の入力源と係合して、ロボットアーム１０５Ａを位置付けてもよい。

【0061】

ロボットアーム１０５Ａに取り付けられるか、またはロボットアーム１０５Ａに組み込まれたツールまたはエンドエフェクター１０５Ｂは、バリ取りデバイス、メス、切断デバイス、リトラクタ、関節張力デバイスなどを含み得るが、これらに限定されない。エンドエフェクター１０５Ｂが使用される実施形態では、エンドエフェクターは、任意のモータ制御動作がロボットアームシステム内で実施されるように、ロボットアーム１０５Ａの端部に位置付けられ得る。ツールが使用される実施形態では、ツールは、ロボットアーム１０５Ａの遠位端に固定されてもよいが、モータ制御動作は、ツール自体の中に存在してもよい。

【0062】

ロボットアーム１０５Ａは、ロボットアームの両方を安定化するために内部的に電動化されてもよく、それによって、ロボットアームが患者、手術台、外科手術スタッフなどに落下し、および当たることを防止し、外科医がその体重を完全に支持することなく、ロボットアームを移動させることが可能になる。外科医がロボットアーム１０５Ａを移動している間、ロボットアームは、ロボットアームがあまりにも速く移動すること、または一度にアクティブになる自由度があまりにも多くなることを防ぐために、ある程度の抵抗を提供し得る。ロボットアーム１０５Ａの位置およびロック状態は、例えば、コントローラまたは外科手術コンピュータ１５０によって追跡され得る。

【0063】

一部の実施形態では、ロボットアーム１０５Ａは、（例えば、外科医によって）手によって、または実施される作業のためのその理想的な位置および配向内に内部モータとともに移動することができる。一部の実施形態では、ロボットアーム１０５Ａは、外科医がアームを制限されることなく所望の位置に位置付けることを可能にする、「自由」モードで動作可能とすることができる。自由モードの間、ロボットアーム１０５Ａの位置および配向は、上述のように、なおも追跡され得る。一実施形態では、ある程度の自由度は、外科手術コンピュータ１５０によって追跡される外科手術計画の特定の部分の間に、ユーザ（例えば、外科医）からの入力時に選択的に解除され得る。ロボットアーム１０５Ａが油圧もしくはモータを通して内部的に電力供給されるか、または同様の手段を介して外部での手動動作に対する抵抗を提供する設計は、電力供給されたロボットアームとして記述され得、一方で、電力フィードバックなしで手動で操作されるが、手動でまたは自動的に定位置にロックされ得るアームは、受動的ロボットアームとして記述され得る。

【0064】

ロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂは、ソーまたはドリルの力を制御するためのトリガまたは他の手段を含み得る。外科医によるトリガまたはその他の手段の係合は、ロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂを、電動アライメントモードから、ソーまたはドリルが係合し、電源がオンであるモードに移行させることができる。さらに、ＣＡＳＳ１００は、起動されたときにシステムが特定の機能を実行させるフットペダル（図示せず）を含み得る。例えば、外科医は、フットペダルを起動して、ロボットアームまたはエンドエフェクターを患者の解剖学的構造に対して適切な位置に持ってきて、必要な切除を行う自動モードに、ロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂを配置するようにＣＡＳＳ１００に指示することができる。ＣＡＳＳ１００はまた、ロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂを、外科医がロボットアームまたはエンドエフェクターを手動で操作し、特定の場所に位置付けることを可能にする協働モードに配置することができる。協働モードは、外科医がロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂを内側または横方向に移動させながら、他の方向への移動を制限することを可能にするように構成され得る。論じるように、ロボットアーム１０５Ａまたはエンドエフェクター１０５Ｂは、切断デバイス（ソー、ドリル、およびバリ）、または切断デバイスを誘導する切断ガイドもしくはジグ１０５Ｄを含み得る。他の実施形態では、ロボットアーム１０５Ａまたはロボット制御式エンドエフェクター１０５Ｂの移動は、外科医または他の医療専門家からの支援もしくは入力なしで、または最小限の支援もしくは入力のみで、ＣＡＳＳ１００によって完全に制御され得る。さらに他の実施形態では、ロボットアーム１０５Ａまたはロボット制御式エンドエフェクター１０５Ｂの移動は、例えば、ジョイスティックまたは対話型のモニタまたは表示制御デバイスを使用して、ロボットアームまたはロボット制御式エンドエフェクターデバイスから分離した制御機構を使用して、外科医または他の医療専門家によって遠隔制御され得る。

【0065】

以下の実施例は、股関節手術の文脈におけるロボットデバイスの使用を説明するが、ロボットアームは膝、肩などを伴う外科手術手技のための他の用途を有し得ることが理解されるべきである。前十字靭帯（ＡＣＬ）グラフトトンネルの形成の文脈におけるロボットアームの使用の一例は、２０１９年８月２８日に出願された「Ｒｏｂｏｔｉｃ Ａｓｓｉｓｔｅｄ Ｌｉｇａｍｅｎｔ Ｇｒａｆｔ Ｐｌａｃｅｍｅｎｔ ａｎｄ Ｔｅｎｓｉｏｎｉｎｇ」と題する、ＷＩＰＯ公開第ＷＯ２０２０／０４７０５１号に記述されており、その全体が参照により本明細書に組み込まれる。

【0066】

ロボットアーム１０５Ａは、リトラクタを保持するために使用され得る。例えば、一実施形態では、ロボットアーム１０５Ａは、外科医によって所望の位置に移動され得る。この時点で、ロボットアーム１０５Ａは、定位置にロックされ得る。一部の実施形態では、ロボットアーム１０５Ａは、患者が動く場合、ロボットアームがそれに応じてリトラクタ位置を調整することができるように、患者の位置に関するデータが提供される。一部の実施形態では、複数のロボットアームを使用してもよく、それによって、複数のリトラクタが保持されるか、または複数の活動（例えば、リトラクタの保持およびリーミング）が同時に実施される。

【0067】

ロボットアーム１０５Ａはまた、大腿骨頸部を切断しながら外科医の手を安定化するのを助けるために使用され得る。この用途では、ロボットアーム１０５Ａの制御は、軟部組織損傷の発生を防止するために、特定の制限を課すことができる。例えば、一実施形態では、外科手術コンピュータ１５０は、ロボットアーム１０５Ａが作動すると、ロボットアーム１０５Ａの位置を追跡する。追跡された場所が、組織損傷が予測される領域に近づく場合、コマンドをロボットアーム１０５Ａに送信して、停止させてもよい。代替的に、ロボットアーム１０５Ａが外科手術コンピュータ１５０によって自動的に制御される場合、外科手術コンピュータは、軟部組織損傷が発生しやすい領域に入る原因となるいかなる命令もロボットアームに提供されないことを確実にし得る。外科手術コンピュータ１５０は、外科医が寛骨臼の内側壁にリーミングしすぎること、または誤った角度もしくは配向でリーミングすることを防止するために、外科医に特定の制限を課すことができる。

【0068】

一部の実施形態では、ロボットアーム１０５Ａは、カップ衝突中にカップインパクターを所望の角度または配向に保持するために使用され得る。最終位置が達成されると、ロボットアーム１０５Ａは、骨盤への損傷を防ぐために、任意のさらなるシーティングを防止し得る。

【0069】

外科医は、ロボットアーム１０５Ａを使用して、ブローチハンドルを所望の位置に位置付け得、外科医がブローチを所望の配向で大腿管内へ衝突させることができる。一部の実施形態では、外科手術コンピュータ１５０が、ブローチが完全に固定されたというフィードバックを受信すると、ロボットアーム１０５Ａは、ハンドルを制限して、ブローチのさらなる前進を防止し得る。

【0070】

ロボットアーム１０５Ａはまた、再表面処理用途に使用され得る。例えば、ロボットアーム１０５Ａは、従来の器具を使用している間に外科医を安定化させ、インプラント構成要素（例えば、ガイドワイヤ配置、面取りカッター、スリーブカッター、プランカッターなど）の適切な配置を可能にするために、特定の制約または制限を提供することができる。バリのみが採用される場合、ロボットアーム１０５Ａは、外科医のハンドピースを安定化させてもよく、外科医が外科手術計画に違反して意図しない骨を除去することを防止するために、ハンドピースに制約を課すことができる。

【0071】

ロボットアーム１０５Ａは、受動的アームであり得る。一例として、ロボットアーム１０５Ａは、ブレインラボＡＧから入手可能なＣＩＲＱロボットアームであり得る。ＣＩＲＱは、ブレインラボＡＧ，Ｏｌｏｆ－Ｐａｌｍｅ－Ｓｔｒ．９ ８１８２９，Ｍｕｎｃｈｅｎ，ＦＥＤ ＲＥＰ ｏｆ ＧＥＲＭＡＮＹの登録商標である。１つの特定の実施形態では、ロボットアーム１０５Ａは、Ｋｒｉｎｎｉｎｇｅｒらの米国特許出願第１５／５２５，５８５号、Ｎｏｗａｔｓｃｈｉｎらの米国特許出願第１５／５６１，０４２号、Ｎｏｗａｔｓｃｈｉｎらの米国特許出願第１５／５６１，０４８号、およびＮｏｗａｔｓｃｈｉｎらの米国特許出願第１０，３４２，６３６号に開示されているようなインテリジェント保持アームであり、その各々の内容全体が参照により本明細書に組み込まれる。

【0072】

外科手術手技データの生成および収集
臨床状態を治療するために医療専門家によって提供される様々なサービスは、総称して、「ケアのエピソード」と呼ばれる。特定の外科的介入については、ケアのエピソードには、術前、術中、および術後の３つの段階が含まれ得る。各段階の間、手技の様々な特徴を理解して、例えば、最小限のヒトの介入で決定を行うためにモデルを訓練する際に使用され得るパターンを識別するために、ケアのエピソードを分析するために使用され得る、データが収集または生成される。ケアのエピソードにわたって収集されたデータは、完全なデータセットとして外科手術コンピュータ１５０または外科手術データサーバ１８０に記憶され得る。したがって、ケアの各エピソードについて、患者について集合的に術前のすべてのデータ、ＣＡＳＳ１００によって術中に収集または記憶されたすべてのデータ、および患者によってまたは患者を監視する医療従事者によって提供される任意の術後データを含む、データセットが存在する。

【0073】

より詳細に説明するように、ケアのエピソード中に収集されたデータは、外科手術手技の性能を向上させるために、または外科手術手技および患者の転帰の全体的理解を提供するために使用され得る。例えば、一部の実施形態では、ケアのエピソードにわたって収集されたデータは、外科手術計画を生成するために使用され得る。一実施形態では、高レベルの術前計画は、手術中にデータが収集される際に術中に精密化される。このようにして、外科手術計画は、ＣＡＳＳ１００の構成要素によって新しいデータが収集されるにつれて、リアルタイムまたはほぼリアルタイムに動的に変化するものとして見ることができる。他の実施形態では、術前画像または他の入力データは、手術中に単純に実行される堅牢な計画を術前に開発するために使用され得る。この場合、手術中にＣＡＳＳ１００によって収集されるデータは、外科医が術前外科手術計画内にとどまることを確実にする推奨を行うために使用され得る。例えば、外科医が特定の所定のカットまたはインプラントアライメントをどのように達成するか定かでない場合、外科手術コンピュータ１５０に推奨を求めることができる。さらに他の実施形態では、術前および術中の計画アプローチは、外科手術手技中に、必要に応じてまたは望ましい場合に、堅牢な術前計画が動的に修正され得るように組み合わされ得る。一部の実施形態では、患者の解剖学的構造のバイオメカニクスベースのモデルは、術前、術中、および術後／リハビリテーション手技の開発においてＣＡＳＳ１００によって考慮されるシミュレーションデータに寄与して、患者のインプラント性能転帰を最適化する。

【0074】

外科手術手技自体を変更する以外に、ケアのエピソード中に収集されたデータは、外科手術に付属する他の手技への入力として使用され得る。例えば、一部の実施形態では、インプラントは、ケアデータのエピソードを使用して設計され得る。設計、サイズ設定、および嵌合インプラントのための例示のデータ駆動技術は、２０１１年８月１５日に出願された「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｏｐｔｉｍｉｚｉｎｇ Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｏｒｔｈｏｐａｅｄｉｃ Ｐｒｏｃｅｄｕｒｅｓ」と題する、米国特許出願第１３／８１４，５３１号、２０１２年７月２０日に出願された「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｏｐｔｉｍｉｚｉｎｇ Ｆｉｔ ｏｆ ａｎ Ｉｍｐｌａｎｔ ｔｏ Ａｎａｔｏｍｙ」と題する、米国特許出願第１４／２３２，９５８号、２００８年９月１９日に出願された「Ｏｐｅｒａｔｉｖｅｌｙ Ｔｕｎｉｎｇ Ｉｍｐｌａｎｔｓ ｆｏｒ Ｉｎｃｒｅａｓｅｄ Ｐｅｒｆｏｒｍａｎｃｅ」と題する、米国特許出願第１２／２３４，４４４号に記載されており、その各々の内容全体が参照により本特許出願に組み込まれる。

【0075】

さらに、データは、教育、研修、または研究目的に使用され得る。例えば、図５Ｃに後述するネットワークベースのアプローチを使用して、他の医師または学生は、ＣＡＳＳ１００の様々な構成要素から収集されるデータを選択的に見ることを可能にする、インターフェースで手術を遠隔で見ることができる。外科手術手技の後、類似のインターフェースを使用して、訓練またはその他の教育目的で手術を「再生」し、または手技の問題もしくは合併症の源を識別することができる。

【0076】

術前フェーズ中に取得されたデータには、一般に、手術の前に収集または生成されたすべての情報が含まれる。したがって、例えば、患者に関する情報は、患者摂取形態または電子医療記録（ＥＭＲ）から取得され得る。収集され得る患者情報の例としては、患者の人口統計、診断、既往歴、経過記録、バイタルサイン、既往歴情報、アレルギー、および臨床検査結果が含まれるが、これらに限定されない。術前データはまた、関心対象の解剖学的領域に関連する画像を含み得る。これらの画像は、例えば、磁気共鳴画像診断法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）、Ｘ線、超音波、または当技術分野で公知の任意の他のモダリティを使用して捕捉され得る。術前データはまた、患者から捕捉された生活の質データを含み得る。例えば、一実施形態では、術前患者は、モバイルアプリケーション（アプリ）を使用して、現在の生活の質に関する質問票に回答する。一部の実施形態では、ＣＡＳＳ１００によって使用される術前データは、活動レベルおよび特定の患者の活動と一致して、外科手術計画を患者にカスタマイズすることができる、患者に関する患者背景、人体計測、文化、またはその他の特定の形質を含む。例えば、特定の文化または患者背景は、毎日しゃがむことを必要とするトイレを使用する可能性がより高い場合がある。

【0077】

図５Ａおよび図５Ｂは、ケアのエピソードの術中段階中に取得され得るデータの例を提供する。これらの実施例は、図１を参照して上述したＣＡＳＳ１００の様々な構成要素に基づくが、手術中に使用される器具のタイプおよびそれらの使用に基づいて、他のタイプのデータが使用され得ることが理解されるべきである。

【0078】

図５Ａは、一部の実施形態による、外科手術コンピュータ１５０がＣＡＳＳ１００の他の構成要素に提供する、制御命令の一部の例を示している。図５Ａの実施例は、エフェクタープラットフォーム１０５の構成要素が各々、外科手術コンピュータ１５０によって直接的に制御されることを想定していることに留意されたい。構成要素が外科医１１１によって手動で制御される実施形態では、ディスプレイ１２５またはＡＲ ＨＭＤ１５５上に、構成要素の移動方法を外科医１１１に指示する命令が提供され得る。

【0079】

エフェクタープラットフォーム１０５に含まれる様々な構成要素は、座標系内でどこに移動するかを構成要素に指示する位置コマンドを提供する、外科手術コンピュータ１５０によって制御される。一部の実施形態では、外科手術コンピュータ１５０は、エフェクタープラットフォーム１０５の構成要素が外科手術計画から逸脱した場合の反応方法を定義する命令をエフェクタープラットフォーム１０５に提供する。これらのコマンドは、図５Ａで「ハプティック」コマンドとして参照されている。例えば、エンドエフェクター１０５Ｂは、切除が計画されている領域の外側の動きに抵抗する力を提供し得る。エフェクタープラットフォーム１０５によって使用され得る他のコマンドには、振動および音声キューが含まれる。

【0080】

一部の実施形態では、ロボットアーム１０５Ａのエンドエフェクター１０５Ｂは、切断ガイド１０５Ｄと動作可能に結合される。手術シーンの解剖学的モデルに応答して、ロボットアーム１０５Ａは、エンドエフェクター１０５Ｂおよび切断ガイド１０５Ｄを、外科手術計画に従って実施される大腿骨または脛骨の切断の場所に合致する位置に移動させることができる。これにより、誤差の可能性を低減することができ、その視覚システムおよびプロセッサを利用して、外科手術計画を実装して、脛骨または大腿骨に対して正確な場所および配向に切断ガイド１０５Ｄを配置し、切断ガイドの切断スロットを、外科手術計画に従って実施される切断と整列させることができる。次に、外科医は、ツールが切断ガイド１０５Ｄの特徴によって機械的に制限されるため、適切な任意のツール、例えば、振動または回転のこぎりまたはドリルを使用して、完璧な配置および配向で切断（または穴を開けること）を行うことができる。一部の実施形態では、切断ガイド１０５Ｄは、切断ガイドを使用して患者の組織の切除を実施する前に、外科医が切断ガイドをドリルでねじ込みまたはピン留めするために使用する、１つ以上のピン穴を含み得る。これにより、ロボットアーム１０５Ａを解放することができ、または切除される骨に対して移動することなく、切断ガイド１０５Ｄが完全に固定されることを確実にすることができる。例えば、この手技は、膝関節全置換術中に大腿骨の第１の遠位切断を作るために使用され得る。関節形成が股関節形成術である一部の実施形態では、切断ガイド１０５Ｄは、それぞれの股関節形成切除のために大腿骨頭または寛骨臼に固定され得る。正確な切断を利用する任意の関節形成術は、ロボットアーム１０５Ａおよび／または切断ガイド１０５Ｄをこのように使用することができることが理解されるべきである。

【0081】

切除装置１１０には、骨または組織の操作を行うための様々なコマンドが提供される。エフェクタープラットフォーム１０５と同様に、位置情報は、切除装置１１０に提供され、切除を実施する際にそれがどこに位置するべきかを指定してもよい。切除装置１１０に提供される他のコマンドは、切除装置のタイプに依存し得る。例えば、機械的または超音波切除ツールの場合、コマンドは、ツールの速度および頻度を指定し得る。無線周波アブレーション（ＲＦＡ）およびその他のレーザーアブレーションツールでは、コマンドは、強度およびパルス持続時間を指定し得る。

【0082】

ＣＡＳＳ１００の一部の構成要素は、外科手術コンピュータ１５０によって直接的に制御される必要はない。むしろ、外科手術コンピュータ１５０は、構成要素を起動させるだけでよく、その後、データを収集し、それを外科手術コンピュータ１５０に提供する手法を指定するソフトウェアをローカルに実行する。図５Ａの例では、この手法で操作される２つの構成要素である、追跡システム１１５および組織ナビゲーションシステム１２０がある。

【0083】

外科手術コンピュータ１５０は、手術中に外科医１１１が必要とする任意のビジュアライゼーションをディスプレイ１２５に提供する。モニタについては、外科手術コンピュータ１５０は、当技術分野で公知の技術を使用して、画像、ＧＵＩなどを表示するための命令を提供し得る。ディスプレイ１２５は、外科手術計画のワークフローの様々な部分を含み得る。登録プロセスの間、例えば、ディスプレイ１２５は、術前に構築された３Ｄ骨モデルを示し、外科医がプローブを使用して患者の解剖学的目印の場所を収集する際に、プローブの場所を示すことができる。ディスプレイ１２５は、外科手術標的領域についての情報を含み得る。例えば、ＴＫＡに関連して、ディスプレイ１２５は、大腿骨および脛骨の機械的軸および解剖学的軸を示すことができる。ディスプレイ１２５は、外科手術計画に基づいて膝関節の内反角および外反角を示すことができ、ＣＡＳＳ１００は、外科手術計画への企図された修正が行われた場合に、そのような角度がどのように影響されるかを示すことができる。したがって、ディスプレイ１２５は、外科手術計画への変更が、骨に取り付けられたインプラントの手技ならびに最終的な位置および配向にどのように影響するかを、動的に更新および表示することができる対話型インターフェースである。

【0084】

ワークフローが骨切断または切除の準備へと進行するにつれて、ディスプレイ１２５は、任意の切断が実施される前に、計画される、または推奨される骨切断を示すことができる。外科医１１１は、ターゲット領域の異なる解剖学的な視点を提供するために画像表示を操作することができ、患者の術中評価に基づいて、計画された骨切断を変更または修正する選択肢を有することができる。ディスプレイ１２５は、計画された骨切断が行われた場合に、選択されたインプラントが骨にどのように取り付けられるかを示すことができる。外科医１１１が以前に計画された骨切断を変えることを選択した場合、ディスプレイ１２５は、骨に取り付けられたときに、修正された骨切断がどのようにインプラントの位置および配向を変えるかを示すことができる。

【0085】

ディスプレイ１２５は、外科医１１１に、患者、計画された外科的介入、およびインプラントに関する様々なデータおよび情報を提供することができる。心拍数、血圧などの患者の健康に関するリアルタイムデータを含む、様々な患者特異的情報を表示することができる。ディスプレイ１２５はまた、目印の場所、解剖学的構造の現在の状態（例えば、任意の切除が行われたかどうか、計画された、および実行された骨切断の深さおよび角度）、および外科手術計画が進行するにつれての解剖学的構造の将来の状態を含む、外科手術標的領域の解剖学的構造についての情報を含み得る。ディスプレイ１２５はまた、外科手術標的領域に関する追加情報を提供することができ、または示すことができる。ＴＫＡについては、ディスプレイ１２５は、大腿骨と脛骨との間のギャップ（例えば、ギャップバランス）、および計画された外科手術計画が実施された場合に、そのようなギャップがどのように変化するかについての情報を提供することができる。ＴＫＡについては、ディスプレイ１２５は、関節の張力（例えば、靭帯弛緩）に関するデータ、ならびに関節の回転およびアライメントに関する情報などの、膝関節に関する追加の関連情報を提供することができる。ディスプレイ１２５は、膝関節が屈曲するにつれて、計画されたインプラントの場所および位置がどのように患者に影響を与えるかを示すことができる。ディスプレイ１２５は、異なるインプラントの使用、または同じインプラントの異なるサイズの使用が、外科手術計画にどのように影響するかを示し、こうしたインプラントが骨上にどのように位置付けられるかをプレビューすることができる。ＣＡＳＳ１００は、ＴＫＡまたはＴＨＡにおいて計画された骨切除の各々に対して、かかる情報を提供することができる。ＴＫＡでは、ＣＡＳＳ１００は、計画された骨切除のうちの１つ以上に対するロボット制御を提供することができる。例えば、ＣＡＳＳ１００は、最初の遠位大腿骨切断のみに対してロボット制御を提供することができ、外科医１１１は、４－ｉｎ－１切断ガイドまたはジグ１０５Ｄなどの従来的な手段を使用して、他の切除（前方、後方および面取り切断）を手動で実施することができる。

【0086】

ディスプレイ１２５は、異なる色を採用して、外科医に外科手術計画のステータスを通知し得る。例えば、切除されていない骨を第１の色で表示することができ、切除された骨を第２の色で表示することができ、計画された切除を第３の色で表示することができる。インプラントは、ディスプレイ１２５で骨上に重ね合わせることができ、インプラントの色は、インプラントの異なるタイプまたはサイズに変わり得るか、または対応し得る。

【0087】

ディスプレイ１２５上に示される情報およびオプションは、実施される外科手術手技のタイプに応じて変化し得る。さらに、外科医１１１は、その外科手術プランの好みに合致するか、またはそれと一致する特定の外科手術ワークフロー表示を要求または選択することができる。例えば、ＴＫＡにおける大腿骨切断の前に通常脛骨切断を実施する外科医１１１については、ディスプレイ１２５および関連するワークフローを、この好みを考慮に入れて適合させることができる。外科医１１１はまた、特定のステップが、標準的な外科手術ワークフロー表示に含まれ、またはそれから削除されることを予め選択することができる。例えば、外科医１１１が切除測定値を使用して、インプラント計画を最終決定するが、インプラント計画を最終決定する際に靭帯ギャップバランスを分析しない場合、外科手術ワークフロー表示は、モジュールに整理され得、外科医は、外科医の好みまたは特定の外科手術の状況に基づいて、どのモジュールを表示するか、およびモジュールが提供される順序を選択することができる。靭帯およびギャップバランスを対象とするモジュールは、例えば、切除前および切除後の靭帯／ギャップバランスを含むことができ、外科医１１１は、こうした靭帯およびギャップバランスを、骨切除の前または後（または両方）に実施するかどうかに応じて、どのモジュールをその既定の外科手術プランのワークフローに含めるかを選択することができる。

【0088】

ＡＲ ＨＭＤなどのより専門化された表示装置については、外科手術コンピュータ１５０は、装置によってサポートされるデータフォーマットを使用して、画像、テキストなどを提供し得る。例えば、ディスプレイ１２５が、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ（商標）、またはＭａｇｉｃ Ｌｅａｐ Ｏｎｅ（商標）などのホログラフィーデバイスである場合、外科手術コンピュータ１５０は、ＨｏｌｏＬｅｎｓアプリケーションプログラムインターフェース（ＡＰＩ）を使用して、外科医１１１の視野内に表示されるホログラムの位置および内容を指定するコマンドを送信してもよい。

【0089】

一部の実施形態では、１つ以上の外科手術計画モデルは、ＣＡＳＳ１００に組み込まれ、外科医１１１に提供される外科手術計画の開発に使用され得る。用語「外科手術計画モデル」は、様々なシナリオの下で生体構造の性能をシミュレートして、切断および他の外科手術活動を実施する最適な方法を決定するソフトウェアを指す。例えば、膝の置換手術については、外科手術計画モデルは、深い膝の屈曲、歩行などの機能活動のためのパラメータを測定し、インプラント配置を最適化するように膝上の切断場所を選択することができる。外科手術計画モデルの一例は、ＳＭＩＴＨ ＡＮＤ ＮＥＰＨＥＷ，ＩＮＣ．からのＬＩＦＥＭＯＤ（商標）シミュレーションソフトウェアである。一部の実施形態では、外科手術コンピュータ１５０は、手術中に外科手術計画モデル（例えば、ＧＰＵベースの並列処理環境）の完全な実行を可能にするコンピューティングアーキテクチャを含む。他の実施形態では、外科手術コンピュータ１５０は、ネットワークを介して、外科手術データサーバ１８０（図５Ｃを参照）などのこうした実行を可能にするリモートコンピュータに接続され得る。外科手術計画モデルの完全な実行の代替として、一部の実施形態では、モデルによって捕捉された数学的演算を１つ以上の予測因子方程式に単純化する、一連の伝達関数が導出される。次に、手術中にすべてのシミュレーションを実行するのではなく、予測因子方程式を使用する。伝達関数の使用に関するさらなる詳細は、２０１９年８月１９日に出願された「Ｐａｔｉｅｎｔ Ｓｐｅｃｉｆｉｃ Ｓｕｒｇｉｃａｌ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ」と題する、ＷＩＰＯ公開第２０２０／０３７３０８号に記述されており、その全体が参照により本明細書に組み込まれる。

【0090】

図５Ｂは、ＣＡＳＳ１００の様々な構成要素から外科手術コンピュータ１５０に提供され得る、一部のタイプのデータの例を示している。一部の実施形態では、構成要素は、手術中にリアルタイムまたはほぼリアルタイムに、データを外科手術コンピュータ１５０にストリーミングし得る。他の実施形態では、構成要素は、データをキューに入れ、設定された間隔（例えば、毎秒）で外科手術コンピュータ１５０に送信し得る。データは、当技術分野で公知の任意のフォーマットを使用して通信され得る。したがって、一部の実施形態では、構成要素はすべて、共通フォーマットでデータを外科手術コンピュータ１５０に伝送する。他の実施形態では、各構成要素は、異なるデータフォーマットを使用してもよく、外科手術コンピュータ１５０は、データの翻訳を可能にする１つ以上のソフトウェアアプリケーションで構成される。

【0091】

一般に、外科手術コンピュータ１５０は、ＣＡＳＳデータが収集される中心点として機能し得る。データの正確な内容は、ソースによって異なる。例えば、エフェクタープラットフォーム１０５の各構成要素は、測定された位置を外科手術コンピュータ１５０に提供する。したがって、測定された位置を外科手術コンピュータ１５０（図５Ｂを参照）により当初指定された位置と比較することによって、外科手術コンピュータは、手術中に起こる偏差を識別することができる。

【0092】

切除装置１１０は、使用される装置のタイプに応じて、様々なタイプのデータを外科手術コンピュータ１５０に送信することができる。送信され得る例示のデータタイプには、測定されたトルク、オーディオシグネチャ、および測定された変位値が含まれる。同様に、追跡技術１１５は、用いられる追跡方法に応じて、異なるタイプのデータを提供することができる。例示の追跡データタイプには、追跡された品目（例えば、解剖学的構造、ツールなど）、超音波画像、および表面または目印の収集点または軸についての位置値が含まれる。組織ナビゲーションシステム１２０は、システムが動作するときに解剖学的場所、形状などを、外科手術コンピュータ１５０に提供する。

【0093】

ディスプレイ１２５は、一般に、ユーザへの提示のためにデータを出力するために使用されるが、さらに外科手術コンピュータ１５０にデータを提供することができる。例えば、ディスプレイ１２５の一部としてモニタが使用される実施形態については、外科医１１１は、ＧＵＩと相互作用して、さらなる処理のために外科手術コンピュータ１５０に送信される入力を提供し得る。ＡＲ用途では、ＨＭＤの測定された位置および変位は、必要に応じて提示されたビューを更新することができるように、外科手術コンピュータ１５０に送信され得る。

【0094】

ケアのエピソードの術後段階の間、様々なタイプのデータを収集して、手術の結果としての患者の状態の全体的な改善または悪化を定量化することができる。データは、例えば、質問票を介して患者によって報告された自己報告情報の形態を取ることができる。例えば、膝関節置換手術の文脈において、機能状態は、Ｏｘｆｏｒｄ Ｋｎｅｅ Ｓｃｏｒｅ質問票を用いて測定され得、術後の生活の質は、ＥＱ５Ｄ－５Ｌ質問票を用いて測定され得る。股関節置換手術の文脈のその他の例には、Ｏｘｆｏｒｄ Ｈｉｐ Ｓｃｏｒｅ、Ｈａｒｒｉｓ Ｈｉｐ Ｓｃｏｒｅ、およびＷＯＭＡＣ（Ｗｅｓｔｅｒｎ ＯｎｔａｒｉｏおよびＭｃＭａｓｔｅｒ大学変形性関節炎指数）が含まれ得る。こうした質問票は、例えば、医療従事者によって、臨床現場において直接的に、または患者が質問に直接的に応答することを可能にするモバイルアプリを使用して、管理され得る。一部の実施形態では、患者は、手術に関連するデータを収集する１つ以上のウェアラブルデバイスを装備し得る。例えば、膝の手術の後、患者は、膝の位置決め、柔軟性などを監視するセンサを含む、膝ブレースを装備し得る。この情報は収集され、外科医によるレビューのために患者の携帯機器に転送されて、外科手術の転帰を評価し、いくつかの問題に対処することができる。一部の実施形態では、１つ以上のカメラは、術後の指定された活動中に患者の身体セグメントの動きを捕捉し、記録することができる。この動きの捕捉は、患者の関節の機能性をより良く理解して、回復の進捗をより良く予測し、必要とされ得るいくつかの可能性のある修正を識別するバイオメカニクスモデルと比較され得る。

【0095】

ケアのエピソードの術後の段階は、患者の生涯にわたって継続することができる。例えば、一部の実施形態では、外科手術コンピュータ１５０またはＣＡＳＳ１００を含む他の構成要素は、手技が実施された後に、外科手術手技に関連するデータを受信および収集し続けることができる。このデータには、例えば、画像、質問に対する回答、「正常な」患者データ（例えば、血液型、血圧、状態、薬剤など）、生体認証データ（例えば、歩行など）、および特定の問題（例えば、膝関節または股関節痛）に関する客観的かつ主観的データが含まれ得る。このデータは、患者または患者の医師によって、外科手術コンピュータ１５０または他のＣＡＳＳ構成要素に明示的に提供され得る。代替的に、または追加的に、外科手術コンピュータ１５０または他のＣＡＳＳ構成要素は、患者のＥＭＲを監視し、利用可能となったときに関連情報を取得することができる。患者の回復のこの長軸方向のビューによって、外科手術コンピュータ１５０または他のＣＡＳＳ構成要素が、患者の転帰のより客観的な分析を提供し、所与の手技の成功または成功の欠如を測定および追跡することができる。例えば、外科手術手技のずっと後に患者が経験する病態は、ケアのエピソードの間に収集された様々なデータ項目の回帰分析を通して、手術に再びリンクされ得る。この解析は、類似の手技を有し、および／または類似の解剖学的構造を有する患者の群に対して解析を実施することによってさらに強化され得る。

【0096】

一部の実施形態では、データは、より簡単な分析および使用を提供するために、中央位置で収集される。一部の実例では、様々なＣＡＳＳ構成要素から手動でデータを収集することができる。例えば、ポータブル記憶デバイス（例えば、ＵＳＢスティック）は、手術中に収集されたデータを取得するために、外科手術コンピュータ１５０に取り付けることができる。次に、データは、例えば、デスクトップコンピュータを介して、集中型ストレージに転送され得る。代替的に、一部の実施形態では、外科手術コンピュータ１５０は、図５Ｃに示すように、ネットワーク１７５を介して中央ストレージに直接的に接続される。

【0097】

図５Ｃは、外科手術コンピュータ１５０がネットワーク１７５を介して外科手術データサーバ１８０に接続される、「クラウドベースの」実装を示している。このネットワーク１７５は、例えば、プライベートイントラネットまたはインターネットであり得る。外科手術コンピュータ１５０からのデータに加えて、他のソースは、関連するデータを外科手術データサーバ１８０に転送することができる。図５Ｃの実施例は、患者１６０、医療従事者１６５、およびＥＭＲデータベース１７０である、３つの追加データソースを示している。したがって、患者１６０は、例えば、モバイルアプリを使用して、術前および手術後のデータを外科手術データサーバ１８０に送信することができる。医療従事者１６５には、外科医およびそのスタッフ、ならびに患者１６０に従事するいくつかのその他の専門家（例えば、かかりつけ医、リハビリテーション専門医など）が含まれる。また、ＥＭＲデータベース１７０は、術前のデータおよび手術後のデータの両方に使用され得ることに留意されたい。例えば、患者１６０が適切な許可を与えたと仮定すると、外科手術データサーバ１８０は、患者の術前のＥＭＲを収集し得る。次に、外科手術データサーバ１８０は、術後のいくつかの更新についてＥＭＲを監視し続けることができる。

【0098】

外科手術データサーバ１８０では、ケアのエピソードデータベース１８５を使用して、患者のケアのエピソードにわたって収集された様々なデータが記憶される。ケアのエピソードデータベース１８５は、当技術分野で公知の任意の技術を使用して実装され得る。例えば、一部の実施形態では、ＳＱＬベースのデータベースは、様々なデータ項目のすべてが、行および列の２つのＳＱＬの集合に容易に組み込まれ得るように構造化されている場合に使用され得る。しかしながら、他の実施形態では、Ｎｏ－ＳＱＬデータベースを使用して、非構造化データを可能にする一方で、クエリーを迅速に処理および応答する能力を提供することができる。当技術分野で理解されるように、用語「Ｎｏ－ＳＱＬ」は、その設計において非リレーショナルであるデータ記憶装置のクラスを定義するために使用される。様々なタイプのＮｏ－ＳＱＬデータベースが、一般にその基礎となるデータモデルに従ってグループ化され得る。これらのグループ化は、列ベースのデータモデル（例えば、Ｃａｓｓａｎｄｒａ）、文書ベースのデータモデル（例えば、ＭｏｎｇｏＤＢ）、キー値ベースのデータモデル（例えば、Ｒｅｄｉｓ）、および／またはグラフベースのデータモデル（例えば、Ａｌｌｅｇｏ）を使用するデータベースを含み得る。任意のタイプのＮｏ－ＳＱＬデータベースを使用して、本明細書に記載される様々な実施形態を実装してもよく、一部の実施形態では、異なるタイプのデータベースが、ケアのエピソードデータベース１８５をサポートしてもよい。

【0099】

データは、当技術分野で公知の任意のデータフォーマットおよび転送技術を使用して、様々なデータソースと外科手術データサーバ１８０との間で転送され得る。図５Ｃに示すアーキテクチャは、データソースから外科手術データサーバ１８０への伝送、ならびにデータソースによる外科手術データサーバ１８０からのデータの取り出しを可能にすることに留意されたい。例えば、以下で詳細に説明するように、一部の実施形態では、外科手術コンピュータ１５０は、過去の手術、機械学習モデルなどからのデータを使用して、外科手術手技を誘導することを助け得る。

【0100】

一部の実施形態では、外科手術コンピュータ１５０または外科手術データサーバ１８０は、非識別化プロセスを実行して、ケアのエピソードデータベース１８５に記憶されたデータが、医療保険の相互運用性および説明責任法（ＨＩＰＡＡ）の基準または法律により義務付けられるその他の要件を満たすことを確実にし得る。ＨＩＰＡＡは、非識別化の際にデータから削除する必要のある特定の識別子のリストを提供する。前述の非識別化プロセスは、記憶のためにケアのエピソードデータベース１８５に転送されるデータ内のこれらの識別子をスキャンすることができる。例えば、一実施形態では、外科手術コンピュータ１５０は、特定のデータ項目または一連のデータ項目の外科手術データサーバ１８０への転送を開始する直前に、非識別化プロセスを実行する。一部の実施形態では、固有の識別子は、必要に応じてデータの再識別を可能にするために、特定のケアのエピソードからのデータに割り当てられる。

【0101】

図５Ａ～図５Ｃは、単一のケアのエピソードの文脈におけるデータ収集について論じているが、一般的な概念は、複数のケアのエピソードからのデータ収集に拡張され得ることが理解されるべきである。例えば、外科手術データは、手術がＣＡＳＳ１００で行われ、外科手術コンピュータ１５０または外科手術データサーバ１８０に記憶されるたびに、ケアの全エピソードにわたって収集され得る。以下でさらに詳細に説明するように、ケアデータのエピソードの堅牢なデータベースは、最適化された値、測定値、距離、またはその他のパラメータ、および外科手術手技に関連するその他の推奨事項の生成を可能にする。一部の実施形態では、様々なデータセットは、外科手術手技中に関連情報の迅速な取得を可能にする方法で、データベースまたは他の記憶媒体にインデックス付けされる。例えば、一実施形態では、特定の患者または特定の患者と類似した患者のセットに関するデータを容易に抽出することができるように、患者中心型の指標セットを使用し得る。この概念は、同様に外科医、インプラントの特徴、ＣＡＳＳ構成要素バージョンなどに適用され得る。

【0102】

ケアデータのエピソードの管理のさらなる詳細は、２０１９年１２月２０日に出願された「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＡＮ ＥＰＩＳＯＤＥ ＯＦ ＣＡＲＥ」と題する、国際特許出願第ＰＣＴ／ＵＳ１９／６７８４５号に記述されており、その全体が参照により本明細書に組み込まれる。

【0103】

オープン対クローズ型デジタルエコシステム
一部の実施形態では、ＣＡＳＳ１００は、自己完結型または「クローズ型」デジタルエコシステムとして動作するように設計される。ＣＡＳＳ１００の各構成要素は、クローズ型エコシステムで使用するように特別に設計され、データは一般に、デジタルエコシステム外部のデバイスからはアクセスすることができない。例えば、一部の実施形態では、各構成要素には、通信、記憶、セキュリティなどの活動の専有プロトコルを実装する、ソフトウェアまたはファームウェアが含まれる。クローズ型デジタルエコシステムの概念は、特定の互換性、セキュリティ、信頼性基準を確実に満たすために、ＣＡＳＳ １００のすべての構成要素を管理したい企業にとって望ましい場合がある。例えば、ＣＡＳＳ１００は、会社が認定しない限り、ＣＡＳＳで新しい構成要素を使用することができないように設計され得る。

【0104】

他の実施形態では、ＣＡＳＳ１００は、「オープン型」デジタルエコシステムとして動作するように設計される。これらの実施形態では、構成要素は、通信、記憶、およびセキュリティなどの活動の基準に従って、様々な異なる企業によって製造され得る。そのため、これらの基準を使用することで、どの企業もＣＡＳＳプラットフォームの独立した準拠構成要素を自由に構築することができる。データは、公開されているアプリケーションプログラミングインターフェース（ＡＰＩ）およびオープンで共有可能なデータフォーマットを使用して、構成要素間で転送され得る。

【0105】

ＣＡＳＳ１００を用いて実施され得る１つのタイプの推奨を説明するために、外科手術パラメータを最適化する技術が以下に開示されている。この文脈における用語「最適化」は、特定の指定基準に基づいて最適であるパラメータの選択を意味する。極端な場合、最適化は、任意の術前データ、所定の時点におけるＣＡＳＳデータの状態、および術後の目標を含む、ケアの全エピソードからのデータに基づいて、最適なパラメータを選択することを指すことができる。さらに、最適化は、例えば、同じ外科医、現在の患者と類似した身体的特徴を有する過去の患者などを含む過去の外科手術中に生成されたデータなどの履歴データを使用して実施され得る。

【0106】

最適化されたパラメータは、操作される患者の解剖学的構造の部分に依存し得る。例えば、膝の外科手術については、外科手術パラメータは、回転アライメント（例えば、内反／外反の回転、外部の回転、大腿骨構成要素の屈曲の回転、脛骨構成要素の後方の傾斜）、切除深度（例えば、内反膝、内反膝）、ならびにインプラントタイプ、サイズおよび位置を含むが、これらに限定されない、大腿骨および脛骨構成要素の位置決め情報を含み得る。位置決め情報には、さらに、全体的肢のアライメント、組み合わせた脛骨大腿側過伸展、および組み合わせた脛骨大腿側切除などの、組み合わせたインプラントの外科手術パラメータが含まれ得る。ＣＡＳＳ１００によって所与のＴＫＡ大腿骨インプラントに対して最適化され得るパラメータの追加的な例には、以下が含まれる。

【表1】

【0107】

ＣＡＳＳ１００によって所与のＴＫＡ脛骨インプラントに対して最適化され得るパラメータの追加的な例には、以下が含まれる。

【表2】

【0108】

股関節外科手術については、外科手術パラメータは、大腿骨頸部切除の場所および角度、カップ傾斜角、カップ前傾角、カップ奥行き、大腿骨ステム設計、大腿骨ステムサイズ、大腿骨ステムの管内への嵌合、大腿骨オフセット、脚長、およびインプラントの大腿骨バージョンを含み得る。

【0109】

肩のパラメータには、上腕骨切除の深度／角度、上腕骨ステムのバージョン、上腕骨オフセット、グレノイドのバージョンおよび傾斜、ならびに上腕骨切除の深度／角度、上腕骨ステムのバージョン、グレノイドの傾斜／バージョン、グレノスフェアの配向、グレノスフェアのオフセットおよびオフセットの方向などの逆肩のパラメータが含まれ得るが、これらに限定されない。

【0110】

外科手術パラメータを最適化するための様々な従来的な技術が存在する。しかしながら、これらの技術は典型的には、計算集約的であり、したがって、パラメータは多くの場合、術前に決定する必要がある。結果として、外科医は、手術中に起こり得る問題に基づいて最適化されたパラメータを修正する能力が制限される。さらに、従来的な最適化技術は、推奨パラメータ値に関する説明がほとんどまたは全くない状態で、典型的には「ブラックボックス」で作動する。したがって、外科医が推奨パラメータ値から逸脱することを決定した場合、外科医は通常、その逸脱が外科手術ワークフローの残りの部分に与える影響、または逸脱が患者の術後の生活の質に与える影響を完全に理解することなく、逸脱を行う。

【0111】

手術患者ケアシステム
最適化の一般的な概念は、図６に示すように、手術データ、ならびに患者６０５および医療従事者６３０からのその他のデータを使用する手術患者ケアシステム６２０を使用して、ケアの全エピソードに拡張されて、転帰および患者の満足度を最適化し得る。

【0112】

従来は、関節全形成術の術前診断、術前手術計画、所定の計画の術中の実行、および術後管理は、個人の経験、公開された文献、および外科医の訓練知識ベース（最終的には、個々の外科医に関するトライバルの知識、ならびに同業者およびジャーナル出版物の「ネットワーク」）、ならびにガイドおよび視覚的な合図を使用して、「バランス」の正確な術中の触覚識別および平面切除の正確な手動実行を行うそれらの本来の能力に基づくものである。この既存の知識ベースおよび実行は、ケアを必要とする患者に提供される転帰の最適化に関して制限される。例えば、適切な最小侵襲の処方ケアに対して患者を正確に診断すること、動的な患者、医療経済、および外科医の好みを患者の望ましい転帰と整合させること、適切な骨アライメントおよびバランスなどをもたらす外科手術計画を実行すること、ならびに異なるバイアスを有する分離されたソースからデータを受信することに関して、限界が存在するが、これらは、全体的な患者フレームワークと整合させることは困難である。したがって、より正確に解剖学的応答をモデル化し、外科手術計画を誘導するデータ駆動型ツールは、既存のアプローチを改善することができる。

【0113】

手術患者ケアシステム６２０は、患者固有のデータ、外科医データ、医療施設データ、および過去の転帰データを利用して、望ましい臨床転帰に基づいて、患者のケアの全エピソード（術前、術前、および術後）に対する最適な全体的な治療計画を提案または推奨するアルゴリズムを開発するように設計される。例えば、一実施形態では、手術患者ケアシステム６２０は、提案されたまたは推奨される計画への順守を追跡し、患者／医療従事者の性能に基づいて計画を調整する。外科手術治療計画が完了すると、収集されたデータは、手術患者ケアシステム６２０によって履歴データベースにログ記録される。このデータベースは、将来の患者および将来の治療計画の開発のためにアクセス可能である。統計モデルおよび数学モデルを活用することに加えて、シミュレーションツール（例えば、ＬＩＦＥＭＯＤ（登録商標））を使用して、予備的または提案された外科手術計画に基づいて、転帰、アライメント、運動学などをシミュレートし、患者のプロファイルまたは外科医の好みに従って、望ましいまたは最適な結果を達成するために予備的または提案された計画を再構成することができる。手術患者ケアシステム６２０は、各患者が個別化された手術およびリハビリテーションケアを受けていることを確実にし、それによって、成功した臨床転帰の可能性を改善し、短期的な改訂に関連する施設の経済的負担を軽減する。

【0114】

一部の実施形態では、手術患者ケアシステム６２０は、データ収集および管理方法を採用して、ＣＡＳＳ１００を使用して監視および／または実行される別個のステップを有する詳細な外科手術ケース計画を提供する。ユーザの性能は、各ステップの完了時に計算され、ケース計画の次のステップへの変更を提案するために使用され得る。ケース計画の生成は、ローカルまたはクラウドストレージデータベースに記憶される一連の入力データに依存する。入力データは、治療を受けている現在の患者、および類似の治療を受けている患者からの履歴データの両方と関連付けされ得る。

【0115】

患者６０５は、現在の患者データ６１０および履歴患者データ６１５などの入力を、手術患者ケアシステム６２０に提供する。当技術分野で一般的に公知の様々な方法を使用して、患者６０５からこうした入力を収集することができる。例えば、一部の実施形態では、患者６０５は、患者データを抽出するために手術患者ケアシステム６２０によって解析される、紙またはデジタル調査に記入する。他の実施形態では、手術患者ケアシステム６２０は、電子医療記録（ＥＭＲ）、病歴ファイル、および支払人／プロバイダーの履歴ファイルなどの既存の情報源から患者データを抽出し得る。さらに他の実施形態では、手術患者ケアシステム６２０は、外部データソースが手術患者ケアシステムにデータをプッシュすることを可能にする、アプリケーションプログラムインターフェース（ＡＰＩ）を提供し得る。例えば、患者６０５は、データ（例えば、心拍数、痛みもしくは不快感のレベル、運動もしくは活動レベル、または任意の数の術前計画基準もしくは状態への患者の順守に対する患者から提出された回答）を収集する携帯電話、ウェアラブルデバイス、またはその他の携帯機器を有し、そのデータを手術患者ケアシステム６２０に提供し得る。同様に、患者６０５は、データを収集し、手術患者ケアシステム６２０に伝送することを可能にする、デジタルアプリケーションを、その携帯またはウェアラブルデバイス上に有し得る。

【0116】

現在の患者データ６１０には、限定されるものではないが、活動レベル、既存の疾患、併存疾患、プリハブパフォーマンス、健康およびフィットネスのレベル、術前期待値（病院、手術、および回復に関連する）、メトロポリタン統計地域（ＭＳＡ）主導のスコア、遺伝子背景、以前の怪我（スポーツ、外傷など）、以前の関節形成術、以前の外傷手技、以前のスポーツ医学手技、対側関節または手足の治療、歩行または生体力学的情報（背中および足首の問題）、痛みまたは不快感のレベル、ケアインフラストラクチャ情報（支払者の補償範囲タイプ、在宅医療インフラストラクチャレベルなど）、ならびに手技の予想される理想的な転帰の表示が含まれ得る。

【0117】

過去の患者データ６１５には、限定されるものではないが、活動レベル、既存の疾患、併存疾患、プリハブパフォーマンス、健康およびフィットネスのレベル、術前期待値（病院、手術、および回復に関連する）、ＭＳＡ主導のスコア、遺伝子背景、以前の怪我（スポーツ、外傷など）、以前の関節形成術、以前の外傷手技、以前のスポーツ医学手技、対側関節または手足の治療、歩行または生体力学的情報（背中および足首の問題）、痛みまたは不快感のレベル、ケアインフラストラクチャ情報（支払者の補償範囲タイプ、在宅医療インフラストラクチャレベルなど）、手技の予想される理想的な転帰、手技の実際の転帰（患者報告転帰［ＰＲＯ］、インプラントの生存率、痛みのレベル、活動レベルなど）、使用したインプラントのサイズ、使用したインプラントの位置／配向／アライメント、達成した軟組織のバランスなどが含まれ得る。

【0118】

手技または治療を実施する医療従事者６３０は、手術患者ケアシステム６２０に様々なタイプのデータ６２５を提供し得る。この医療従事者データ６２５には、例えば、公知の、または好ましい外科手術技術（例えば、十字型保持（ＣＲ）対後部安定化（ＰＳ）、アップサイジング対ダウンサイジング、止血帯対止血帯なし、大腿骨ステムスタイル、ＴＨＡの優先アプローチなど）、医療従事者６３０の訓練のレベル（例えば、何年もの間、フェローシップは訓練され、訓練を受けた場所、それらの技術がエミュレートされている）、過去のデータを含む以前の成功レベル（転帰、患者の満足度）、ならびに可動域、回復日数、およびデバイスの生存に関して期待される理想的な転帰が含まれ得る。医療従事者データ６２５は、例えば、医療従事者６３０に提供された紙またはデジタル調査で、医療従事者によるモバイルアプリケーションへの入力を介して、またはＥＭＲから関連データを抽出することによって、捕捉され得る。さらに、ＣＡＳＳ１００は、プロファイルデータ（例えば、患者固有の膝器具プロファイル）または手術中のＣＡＳＳの使用を記述する履歴ログなどのデータを提供し得る。

【0119】

手技または治療が行われる施設に関する情報が、入力データに含まれ得る。このデータには、以下が含まれるが、これらに限定されない。外来手術センタ（ＡＳＣ）対病院、施設外傷レベル、関節置換プログラム（ＣＪＲ）またはバンドル候補の包括的ケア、ＭＳＡ主導のスコア、コミュニティ対メトロ、学術対非学術、術後ネットワークアクセス（熟練看護施設［ＳＮＦ］のみ、在宅医療など）、医療専門家の利用可能性、インプラントの利用可能性、および外科手術機器の利用可能性。

【0120】

これらの施設入力は、例えば、調査（紙／デジタル）、外科手術スケジューリングツール（例えば、アプリ、ウェブサイト、電子医療記録〔ＥＭＲ〕など）、病院情報のデータベース（インターネット上）などによって捕捉され得るが、これらに限定されない。患者の社会経済的プロファイル、患者が受けるであろう償還の期待レベル、および治療が患者固有である場合を含むが、これらに限定されない、関連する医療経済に関連する入力データがまた、捕捉され得る。

【0121】

これらの医療経済入力は、例えば、限定されるものではないが、調査（紙／デジタル）、直接支払者情報、社会経済的ステータスのデータベース（郵便番号を含むインターネット上の）などによって捕捉され得る。最後に、手技のシミュレーションから導出されたデータが捕捉される。シミュレーション入力には、インプラントのサイズ、位置、および配向が含まれる。シミュレーションは、カスタムまたは市販の解剖学的モデリングソフトウェアプログラム（例えば、ＬＩＦＥＭＯＤ（登録商標）、ＡｎｙＢｏｄｙ、またはＯｐｅｎＳＩＭ）を用いて実行され得る。上述のデータ入力は、すべての患者に利用可能ではなく、治療計画は、利用可能なデータを使用して生成されることに留意されたい。

【0122】

手術の前に、患者データ６１０、６１５および医療従事者データ６２５を捕捉し、クラウドベースのデータベースまたはオンラインデータベース（例えば、図５Ｃに示す外科手術データサーバ１８０）に記憶してもよい。手技に関連する情報は、無線データ転送を介して、またはポータブルメディアストレージの使用により手動でコンピューティングシステムに提供される。コンピューティングシステムは、ＣＡＳＳ１００で使用するためのケース計画を生成するように構成されている。以下に、ケース計画の生成について説明する。システムは、コンピュータ支援の、患者特異的膝用器具（ＰＳＫＩ）選択システムによって、またはＣＡＳＳ１００自体によって自動的に生成されるようなインプラントサイズ、配置、および配向を含む、治療を受けている以前の患者からの履歴データにアクセスできることに留意されたい。これを達成するために、症例ログデータは、オンラインポータルを使用して外科手術販売担当者または症例エンジニアによって履歴データベースにアップロードされる。一部の実施形態では、オンラインデータベースへのデータ転送は、無線および自動化である。

【0123】

オンラインデータベースからの履歴データセットは、例えば、反復ニューラルネットワーク（ＲＮＮ）または他の形態の人工ニューラルネットワークなどの機械学習モデルへの入力として使用される。当技術分野で一般的に理解されるように、人工ニューラルネットワークは、生物学的ニューラルネットワークと類似した機能を持ち、一連のノードおよび接続から構成される。機械学習モデルは、入力データに基づいて１つ以上の値を予測するように訓練される。続くセクションについては、機械学習モデルが、予測因子方程式を生成するように訓練されていると仮定される。これらの予測因子方程式は、最良の結果または満足度レベルを達成するために、インプラントの最適なサイズ、位置、および配向を決定するように最適化され得る。

【0124】

手技が完了すると、すべての患者データおよびＣＡＳＳ１００によって決定されるインプラントのサイズ、位置および配向を含む利用可能な転帰データが収集され、履歴データベースに記憶される。ＲＮＮを介した標的方程式の任意の後続の計算は、この様式で以前の患者からのデータを含み、システムの継続的な改善を可能にする。

【0125】

インプラントの位置決めを決定することに加えて、またはそれの代替として、一部の実施形態では、予測因子方程式および関連する最適化を使用して、ＰＳＫＩシステムで使用するための切除平面を生成することができる。ＰＳＫＩシステムと併用する場合、予測因子方程式の計算および最適化は、手術前に完了される。患者の解剖学的構造は、医療画像データ（ｘ線、ＣＴ、ＭＲＩ）を使用して推定される。予測因子方程式のグローバル最適化は、インプラント構成要素の理想的なサイズおよび位置を提供することができる。インプラント構成要素と患者の解剖学的構造のブール交差は、切除体積として定義される。ＰＳＫＩを作製して、最適化された切除エンベロープを除去することができる。この実施形態では、外科医は、術中に外科手術計画を変更することができない。

【0126】

外科医は、手技の前または手技の最中にいつでも、外科手術ケース計画を変更し得る。外科医が外科手術ケース計画から逸脱することを選択した場合、構成要素の変更されたサイズ、位置、および／または配向がロックされ、（前述の技術を使用して）構成要素の新しいサイズ、位置、および／または配向に基づいてグローバル最適化が更新されて、他の構成要素の新しい理想的な位置、ならびに構成要素の新規に最適化されたサイズ、位置、および／または配向を達成するために実施する必要のある対応する切除を見つける。例えば、外科医が、ＴＫＡにおける大腿骨インプラントのサイズ、位置、および／または配向を術中に更新または修正する必要があると決定した場合、大腿骨インプラント位置は、解剖学的構造に対してロックされ、脛骨の新しい最適化位置は、大腿骨インプラントのサイズ、位置および／または配向に対する外科医の変化を考慮して（グローバル最適化を介して）計算されるであろう。さらに、ケース計画を実施するために使用される外科手術システムがロボット支援（例えば、ＮＡＶＩＯ（登録商標）またはＭＡＫＯ Ｒｉｏと同様に、）される場合、手術中の骨除去および骨形態をリアルタイムで監視することができる。手技中に行われた切除が外科手術計画から逸脱する場合、追加の構成要素のその後の配置は、既に行われた実際の切除を考慮に入れて、プロセッサによって最適化され得る。

【0127】

図７Ａは、手術患者ケアシステム６２０がどのようにケース計画マッチングサービスを実施するように適合され得るかを示している。この実施例では、データは、現在の患者６１０に関連して捕捉され、患者データおよび関連付けられる転帰６１５の履歴データベースのすべてまたは一部分と比較される。例えば、外科医は、現在の患者の計画を、履歴データベースのサブセットに対して比較することを選択し得る。履歴データベース内のデータは、例えば、好ましい転帰を有するデータセット、現在の患者プロファイルと同一もしくは類似のプロファイルを有する患者の履歴外科手術に対応するデータセット、特定の外科医に対応するデータセット、外科手術計画の特定の要素に対応するデータセット（例えば、特定の靭帯が保持される手術のみ）、または外科医もしくは医療専門家によって選択された任意の他の基準のみを含むようにフィルタリングされ得る。例えば、現在の患者データが、良好な転帰を経験した以前の患者のものと合致するか、または相関する場合、以前の患者のケース計画にアクセスして、現在の患者と使用するために適合または採用することができる。予測因子方程式は、ケース計画と関連付けられた動作を識別または決定する術中アルゴリズムと組み合わせて使用され得る。履歴データベースからの関連および／または事前に選択された情報に基づいて、術中アルゴリズムは、外科医が実行する一連の推奨動作を決定する。アルゴリズムの各実行は、ケース計画の次の動作を生成する。外科医が動作を実施する場合、結果が評価される。外科医が動作を実行する結果は、ケース計画の次のステップを生成するための術中アルゴリズムへの入力を精密化し、および更新するために使用される。ケース計画が完全に実行されると、外科医によって推奨される動作から実施されたいくつかの逸脱を含む、ケース計画と関連付けられたすべてのデータが、履歴データのデータベースに記憶される。一部の実施形態では、システムは、一連のケア全体とは対照的に、部分的様式で術前、術中、または術後モジュールを利用する。言い換えれば、介護者は、単一のモジュールの使用を含む、任意の置換または治療モジュールの組み合わせを処方することができる。これらの概念は、図７Ｂに示されており、ＣＡＳＳ１００を利用する任意のタイプの手術に適用され得る。

【0128】

手術プロセスの表示
図１および図５Ａ～図５Ｃに関して上述したように、ＣＡＳＳ１００の様々な構成要素は、手術中に詳細なデータ記録を生成する。ＣＡＳＳ１００は、手術の各ステップ中の外科医の様々な動作および活動を追跡および記録し、実際の活動を術前または術中の外科手術計画と比較することができる。一部の実施形態では、ソフトウェアツールを採用して、このデータを、手術が効果的に「再生」され得るフォーマットに処理してもよい。例えば、一実施形態では、手術中にディスプレイ１２５上に提示されたすべての情報を示す、１つ以上のＧＵＩが使用され得る。これは、異なるツールによって収集されたデータを示すグラフおよび画像で補足され得る。例えば、組織切除中に膝の視覚的描写を提供するＧＵＩは、視覚的描写に隣接する切除装置の測定されたトルクおよび変位を提供し、計画された切除領域から生じた任意の逸脱の理解をより良く提供することができる。外科手術計画の再生をレビューする能力、または実際の手術の異なる段階と外科手術計画との間のトグル能力は、外科医および／または外科手術スタッフに利益を提供し得、そのような人は、将来の手術で修正することができるように、手術の任意の欠陥または困難な段階を識別することができる。同様に、学術的設定では、前述のＧＵＩは、将来の外科医および／または外科手術スタッフを訓練するための教育ツールとして使用され得る。さらに、データセットは、外科医の活動の多くの要素を効果的に記録するため、特定の外科手術手技の正しいまたは不正確な実施の証拠として、他の理由（例えば、法的またはコンプライアンス上の理由）にも使用され得る。

【0129】

経時的に、より多くの外科手術データが収集されるにつれて、異なる患者についての異なる外科医によって、様々なタイプの解剖学的構造（膝、肩、股関節など）に対して実施される外科手術手技を記述する、豊富なデータライブラリが取得され得る。さらに、例えば、インプラントのタイプおよび寸法、患者の人口統計などの情報をさらに使用して、データセット全体を強化することができる。データセットが確立されたら、それを使用して、機械学習モデル（例えば、ＲＮＮ）を訓練し、ＣＡＳＳ１００の現在の状態に基づいて手術がどのように進行するかの予測を行わせることができる。

【0130】

機械学習モデルの訓練は、以下のように実施され得る。ＣＡＳＳ１００の全体的な状態は、手術期間中、複数の期間にわたってサンプリングされ得る。次に、機械学習モデルを訓練して、第１の期間での現在の状態を、異なる期間での将来の状態に変換することができる。個々のデータ項目ではなくＣＡＳＳ１００の全状態を分析することによって、ＣＡＳＳ１００の異なる構成要素間の相互作用の任意の因果関係を捕捉することができる。一部の実施形態では、単一のモデルではなく、複数の機械学習モデルを使用し得る。一部の実施形態では、機械学習モデルは、ＣＡＳＳ１００の状態だけでなく、患者データ（例えば、ＥＭＲから捕捉される）および外科手術スタッフのメンバーの識別情報も使用して訓練され得る。これにより、モデルは、さらに高い特異性で予測を行うことができる。さらに、外科医は、必要に応じて、自身の外科手術経験のみに基づいて選択的に予測を行うことができる。

【0131】

一部の実施形態では、前述の機械学習モデルによって作られる予測または推奨は、外科手術ワークフローに直接的に統合され得る。例えば、一部の実施形態では、外科手術コンピュータ１５０は、今後の動作または外科手術状態に対する予測または推奨をバックグラウンドで行い、機械学習モデルを実行し得る。したがって、複数の状態を、各期間について予測または推奨することができる。例えば、外科手術コンピュータ１５０は、３０秒刻みで次の５分間の状態を予測または推奨し得る。この情報を使用して、外科医は、将来の状態を可視化することを可能にする、手術の「プロセス表示」ビューを利用することができる。例えば、図７Ｃは、インプラント配置インターフェースを示す外科医に表示され得る一連の画像を示している。外科医は、例えば、特定の時間をＣＡＳＳ１００のディスプレイ１２５に入力するか、または触覚、口腔、もしくは他の命令を使用して、特定の時間増分でディスプレイを進めるか、もしくは巻き戻すようにシステムに指示することによって、これらの画像を循環させることができる。一実施形態では、プロセスディスプレイは、ＡＲ ＨＭＤの外科医の視野の上部に提示され得る。一部の実施形態では、プロセスディスプレイは、リアルタイムで更新され得る。例えば、外科医が計画された切除領域の周りに切除ツールを移動させると、その動作が手術の他の要因にどのように影響しているかを外科医が見ることができるように、プロセス表示を更新することができる。

【0132】

一部の実施形態では、機械学習モデルへの入力としてＣＡＳＳ１００の現在の状態を単に使用するのではなく、モデルへの入力は、計画された将来の状態を含み得る。例えば、外科医は、自身が膝関節の特定の骨切除をすることを計画していることを示し得る。この表示は、外科手術コンピュータ１５０に手動で入力されてもよく、または外科医が口頭で表示を提供してもよい。次いで、外科手術コンピュータ１５０は、手術に対する切断の予測された効果を示す、フィルムストリップを作製することができる。こうしたフィルムストリップは、例えば、企図される動作過程が実施される場合、患者の解剖学的構造の変化、インプラント位置および配向の変化、ならびに外科手術介入および器具に関する変化を含む、外科手術がどのように影響を受けるかを特定の時間増分で示すことができる。外科医または医療専門家は、企図される動作が実行される場合、企図される動作過程が外科手術計画にどのように影響するかをプレビューするために、手術の任意の時点で、このタイプのフィルムストリップを起動または要求することができる。

【0133】

さらに、十分に訓練された機械学習モデルおよびロボットＣＡＳＳを用いて、外科医が、例えば、手術の様々なステップの承認のみを提供することによって、最小限にしか関与する必要がないように、手術の様々な要素を自動化することができる。例えば、アームまたは他の手段を使用したロボット制御は、経時的に外科手術ワークフローに徐々に統合されてもよく、外科医はロボット操作と比較して、手動の相互作用に徐々に関与することが少なくなる。この場合の機械学習モデルは、ＣＡＳＳ実装計画の特定の状態を達成するために、ロボットコマンドが何を必要とするかを学習することができる。最終的に、機械学習モデルは、初期状態から手術全体を予測し、かつプレビューすることができる、フィルムストリップ、または類似のビューもしくはディスプレイを作製するために使用され得る。例えば、患者情報、外科手術計画、インプラント特性、および外科医の好みを含む、初期状態が定義され得る。この情報に基づいて、外科医は、手術全体をプレビューして、ＣＡＳＳ推奨計画が外科医の期待および／または要件を満たしていることを確認することができる。さらに、機械学習モデルの出力は、ＣＡＳＳ１００自体の状態であるため、コマンドを導出して、ＣＡＳＳの構成要素を制御して、各予測された状態を達成することができる。極端な場合、したがって、手術全体は、初期の状態情報のみに基づいて自動化され得る。

【0134】

点プローブを使用して、股関節手術中に重要な領域の高解像度を取得する
点プローブの使用は、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｌａｎｎｉｎｇ ａｎｄ Ｐｅｒｆｏｒｍｉｎｇ Ｉｍａｇｅ Ｆｒｅｅ Ｉｍｐｌａｎｔ Ｒｅｖｉｓｉｏｎ Ｓｕｒｇｅｒｙ」と題する、米国特許出願第１４／９５５，７４２号に記載されており、その全体が参照により本明細書に組み込まれる。簡潔に述べると、光学的に追跡された点プローブを使用して、新しいインプラントを必要とする標的骨の実際の表面をマッピングし得る。マッピングは、欠陥または摩耗したインプラントの除去後、ならびに任意の罹患した骨、または別には望ましくない骨の除去後に実施される。残りの骨の全体を点プローブの先端でブラシで磨く、または擦り取ることによって、複数の点が骨表面上に収集される。これは、骨をトレーシングするまたは「ペイントする」と称される。収集された点は、コンピュータ化された計画システム内の骨表面の三次元モデルまたは表面マップを作成するために使用される。次いで、残りの骨の作成された３Ｄモデルを、手技および必要なインプラントサイズの計画のための基礎として使用する。Ｘ線を使用して３Ｄモデルを決定する代替的な技術は、２０１９年４月１７日に出願された「Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｓｅｌｅｃｔｉｖｅ Ｂｏｎｅ Ｍａｔｃｈｉｎｇ」と題する、米国特許出願第１６／３８７，１５１号、および２０２０年２月１３日に出願された「Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｓｅｌｅｃｔｉｖｅ Ｂｏｎｅ Ｍａｔｃｈｉｎｇ」と題する、米国特許出願第１６／７８９，９３０号に記載されており、その各々の全体が参照により本明細書に組み込まれる。

【0135】

股関節用途では、点プローブペインティングを使用して、寛骨臼縁および寛骨臼窩などの重要な領域で高分解能データを取得することができる。これにより、外科医は、リーミング開始前に詳細ビューを取得することが可能になり得る。例えば、一実施形態では、点プローブは、寛骨臼の床（窩）を識別するために使用され得る。当技術分野でよく理解されているように、股関節手術では、内側壁の破壊を避けるために、寛骨臼の床がリーミング中に損なわれていないことを確実にすることが重要である。内側壁が不注意で破壊された場合、手術は、骨移植の追加ステップを必要とする。これを念頭に置いて、点プローブからの情報を使用して、外科手術手技中の寛骨臼リーマーに手術ガイドラインを提供することができる。例えば、寛骨臼リーマーは、外科医が床に到達したとき、またはそうでなければ外科手術計画から逸脱したときに、外科医にハプティックフィードバックを提供するように構成され得る。代替的に、ＣＡＳＳ１００は、床に達したとき、またはリーマーが閾値距離内にあるときに、リーマーを自動的に停止し得る。

【0136】

追加の保護手段として、寛骨臼と内側壁との間の領域の厚さを推定することができる。例えば、寛骨臼縁および寛骨臼窩が一旦ペイントされ、術前３Ｄモデルに登録されると、寛骨臼の表面の場所を内側壁の場所と比較することによって、厚さを容易に推定することができる。この知識を使用して、ＣＡＳＳ１００は、リーミング中に何らかの外科手術活動が寛骨臼壁を通して突出すると予測される場合に、警告またはその他の応答を提供し得る。

【0137】

点プローブはまた、３Ｄモデルを患者に配向するために使用される共通の参照点の高解像度データを収集するために使用され得る。例えば、ＡＳＩＳおよび恥骨結合のような骨盤平面の目印については、外科医は、骨をペイントして、真の骨盤平面を表すために、点プローブを使用し得る。これらの目印のより完全なビューを考慮すると、登録ソフトウェアは、３Ｄモデルを配向するためのより多くの情報を有する。

【0138】

点プローブはまた、インプラント配置の精度を高めるために使用され得る、近位大腿骨参照点を記述する高分解能データを収集するために使用され得る。例えば、大転子（ＧＴ）の先端と大腿骨頭の中心との間の関係は、一般に、股関節形成中に大腿骨構成要素を整列させるための参照点として使用される。アライメントは、ＧＴの適切な場所に大きく依存する。したがって、一部の実施形態では、点プローブは、ＧＴをペイントして、領域の高解像度ビューを提供するために使用される。同様に、一部の実施形態では、小転子（ＬＴ）の高解像度ビューを有することが有用であり得る。例えば、股関節形成術の間、Ｄｏｒｒ分類は、手術中にプレスフィットを達成する能力を最大化して、術後の大腿骨構成要素の微小な動きを防止し、最適な骨の内成長を確実にする、ステムを選択するのに役立つ。当技術分野で理解されているように、Ｄｏｒｒ分類は、ＬＴでの管幅とＬＴの１０ｃｍ下の管幅との間の比を測定する。分類の精度は、関連する解剖学的構造の正しい場所に大きく依存する。したがって、ＬＴをペイントして、領域の高解像度ビューを提供することが有利であり得る。

【0139】

一部の実施形態では、点プローブは、大腿骨頸部をペイントして、外科医が頸部をどこで切断するかをより良く理解することを可能にする高分解能データを提供するために使用される。次いで、ナビゲーションシステムは、外科医が頸部切断を実施する際に、外科医を誘導することができる。例えば、当技術分野で理解されるように、大腿骨頸部の角度は、大腿骨シャフトの中心に１本の線を、大腿骨頸部の中心に第２の線を配置することによって測定される。したがって、大腿骨頸部（および場合により、大腿骨シャフト）の高解像度ビューは、大腿骨頸部角度のより正確な計算を提供するであろう。

【0140】

高分解能大腿骨頭頸部データはまた、ソフトウェア／ハードウェアが、近位大腿骨の準備および大腿骨構成要素の配置において外科医を支援する、ナビゲーションされた再表面化手技にも使用され得る。当技術分野で一般的に理解されるように、股関節の再表面化の間、大腿骨の頭部および頸部は除去されず、むしろ、頭部は、滑らかな金属被覆でトリミングされ、かつ覆われる。この場合、外科医は、大腿骨頭部およびキャップをペイントして、その結果、それぞれの形状の正確な評価を理解し、大腿骨構成要素のトリミングおよび配置を誘導するために使用し得ることが有利であろう。

【0141】

点プローブを使用した、患者の解剖学的構造への術前データの登録
上述のように、一部の実施形態では、３Ｄモデルは、関心対象の解剖学的領域の２Ｄまたは３Ｄ画像に基づいて、術前段階の間に開発される。こうした実施形態では、３Ｄモデルと外科手術部位との間の登録は、外科手術手技の前に実施される。登録された３Ｄモデルは、患者の解剖学的構造および外科手術ツールを術中に追跡および測定するために使用され得る。

【0142】

外科手術手技中、この術前３Ｄモデルの患者の解剖学的構造への登録を容易にするために、目印が取得される。膝の手技については、これらの点は、大腿骨頭部の中心、遠位大腿骨軸の点、内側および外側上顆、内果および外果、近位脛骨機械軸の点、および脛骨Ａ／Ｐ方向を含むことができる。股関節手技については、これらの点は、前上腸骨背骨（ＡＳＩＳ）、恥骨結合、寛骨臼縁に沿った、および半球内の点、大転子（ＧＴ）、および小転子（ＬＴ）を含むことができる。

【0143】

改訂手術では、外科医は、解剖学的欠陥を含む特定の領域をペイントして、インプラント挿入のより良好な可視化およびナビゲーションを可能にし得る。これらの欠陥は、術前画像の分析に基づいて識別され得る。例えば、一実施形態では、各術前画像は、（すなわち、欠陥のない）「健康な」解剖学的構造を示す画像のライブラリと比較される。患者の画像と健康な画像との間のいくつかの著しい偏差は、潜在的な欠陥としてフラグ付けされ得る。次に、手術中、外科医は、ＣＡＳＳ１００のディスプレイ１２５上の視覚的警報を介して、欠陥の可能性について警告を受け得る。次に、外科医は、領域をペイントして、外科手術コンピュータ１５０に、潜在的な欠陥に関するさらなる詳細を提供することができる。

【0144】

一部の実施形態では、外科医は、骨の解剖学的構造の内部切開の登録のための非接触方法を使用し得る。例えば、一実施形態では、レーザー走査が、登録のために採用される。レーザーストライプは、関心対象の解剖学的領域上に投影され、領域の高さの変形は、線の変化として検出される。白色光干渉法または超音波法などの他の非接触光学法は、代替的に、表面高さ測定または解剖学的構造の登録に使用され得る。例えば、超音波技術は、登録点と登録される骨との間に軟部組織がある場合（例えば、ＡＳＩＳ、股関節外科手術における恥骨結合）に有益であり、それによって、解剖学的平面のより正確な定義を提供することができる。

【0145】

拡張現実を使用した解剖学的特徴抽出およびプレゼンテーション
実施形態は、拡張現実を利用して、医療画像から収集した情報をＨＭＤのユーザに表示し、ＨＭＤの視野内の実際の患者の解剖学的構造と空間的に相関する、患者の身体内の解剖学的構造の場所を示す情報を重ね合わせる。ユーザは、骨組織の形状および場所などの、超音波画像（またはＸ線などの他の術中画像）からの最も関連性の高い情報を強調することから利益を得る。他の組織を示す影付きの領域は、特定の値ではなく、外科手術ユーザに提示されることを保留することができる。ユーザは、骨場所（または他の組織構造）の輪郭のみを見ることを望む場合がある。超音波画像上の構造を識別し、患者の対応する場所を大まかに特定する代わりに、画像および患者の両方を同時に表示することができる。画像内の構造の場所は、プロセッサを介して、ユーザの視界内の患者上の対応する場所にマッピングされ、ヘッドセットディスプレイ（例えば、半透明の立体視／ホログラフィックディスプレイ）を介して提示される。

【0146】

超音波画像が捕捉されると、コンピューティングデバイスは、ＨＭＤの視野に対する超音波デバイスの場所および配向を追跡する。超音波のセンサフィールドをＨＭＤの視野に関連付けることによって、表示のためにコンピューティングデバイスによって超音波画像から解剖学的特徴を抽出することができる。解剖学的構造の空間における特定の場所を示す情報は、次に、ＨＭＤ上に表示され得、その結果、画像から抽出された特徴に関連するコンピュータ生成された表面インジケータまたはマーカーは、患者の身体の中のそれらの実際の構造の場所に対応する空間におけるおおよその場所で、三次元空間に浮かんでいるように見える、一次元構造、二次元構造、または三次元構造として、ユーザの視野に重ね合わせることができる。

【0147】

骨表面などの患者の身体の三次元表面は、超音波の二次元断面画像から識別され得、一連の隣接する超音波画像で患者の解剖学的構造をスライスして、三次元表面のモデルを作成することができるようにする。この表面のセグメントの視覚的インジケータは、ＨＭＤを介して、ユーザの視野内のその表面の実際の場所に対応する空間に視覚的に重ね合わせられて、ユーザに提示され得る。これにより、撮像デバイスが移動すると、二次元画像から空間内に仮想三次元構造が作成される。これは、実際の医療画像をユーザに表示するよりも注意をそらすものではない場合がある。複数の超音波画像からの画像解析は、患者表面の三次元モデル（すなわち、空間、形状、および範囲内の位置および配向）を決定し、ユーザの視野に対応する空間内の点を相関させて、任意の視覚的インジケータまたはシンボルを表示して、画像から抽出された任意の解剖学的特徴のサイズ、形状、および姿勢を示すことができる。

【0148】

これにより、患者を見るときに、ユーザの視界を混乱させるか、または遮蔽し得る、医療画像全体などの無関係な情報をユーザに表示することを防ぐ。ユーザは、ＨＭＤ上に表示されるであろう情報の量または関心対象の構造を選択することができる。

【0149】

例えば、患者の膝の手術中、超音波プローブが患者の脚の表面上に移動すると、プロセッサによって骨表面に対応する画像特徴を画像から抽出して、ユーザの視野内の骨表面の場所のモデルを作成することができる。ドット、線、ワイヤフレームなどは、実際の骨表面の場所で患者の解剖学的構造内に浮かんでいるように見えるように、その骨表面のモデルをユーザに重ね合わせるために三次元的に表示され得る。

【0150】

骨表面以外の他の例示的な使用例には、腫瘍または損傷／疾患／不規則な組織の場所を識別し、その場所をユーザに重ね合わせることが含まれ得る。ドップラー超音波撮像を使用して、患者の解剖学的構造における血流を識別することができる。ドップラー超音波からの画像を分析することで、患者の身体内の重要な動脈または静脈構造の場所を識別することができ、その場所をＨＭＤのユーザに重ね合わせることができ、これにより、ユーザは切開時に動脈または静脈を損傷することを避けることができる。同様に、カテーテルまたは腹腔鏡デバイスなどの患者の身体に挿入される器具は、超音波撮像から識別され得、その場所の三次元モデルをユーザに提示して、視野を重ね合わせてもよい。ドップラー撮像と併せて使用される場合、これは、動脈または静脈を通過するカテーテルまたはガイドワイヤデバイス（ステント配置デバイスなど）の誘導において、外科医を補助することができる。

【0151】

一部の実施形態は、ＨＭＤデバイスに対する超音波プローブの場所を追跡し、経時的な超音波プローブの動きをさらに追跡し、プロセッサが、プローブが移動する際に三次元表面の複合モデルを作成することを可能にする。例えば、超音波プローブは、患者の脚に沿って移動し得る。各超音波画像は、患者の脚の二次元のスライスであり、各画像内の関心対象の組織の境界表面（患者の大腿骨の表面など）を表す、画像内の二次元の曲線が抽出され得る。プローブが移動すると、表面を表す一連のほぼ平行な曲線を抽出し、一緒に縫い合わせて、表面の三次元モデルを形成することができる。結果として得られる三次元構造は、プロセッサによって視覚的に再作成され、患者の視界上に、ユーザに対する三次元浮遊構造として重ね合わされ得る。一部の実施形態では、最新の画像において現在検出された表面に対応する三次元に存在する単一の曲線のみが提示される。血管を検出するためにドップラー超音波を使用する場合などの一部の実施形態では、現在の画像の場所に対応する三次元の点のみが提示される。他の実施形態は、複数の最近の画像から抽出された、いくつかの点または曲線（またはその補間モデルのいくつかの可視化）を提示する。

【0152】

一部の実施形態は、古い超音波画像から収集された情報が、時間とともに信頼性が低下するという事実を考慮に入れる。超音波デバイスからのリアルタイム撮像フィードから抽出された特徴は、解剖学的構造の点の場所の信頼できる近似を提供し得る。しかし、数秒前に捕捉された画像は、その解剖学的構造の三次元空間における場所を識別するのに十分な信頼性を提供しない場合がある。例えば、超音波プローブが患者の皮膚の軟部組織に沿って移動するにつれて、この組織の下の骨格構造に関する特徴が患者の皮膚に対して移動してもよく、患者は、移動してもよく、および／またはヘッドセットに対して超音波デバイスを追跡するための追跡モダリティにおける不正確性が時間とともに蓄積してもよい。これらの要因の各々により、数センチ離れて過去数秒で検出された解剖学的構造の場所を正確に識別することが難しくなる。したがって、一部の実施形態では、超音波撮像から抽出された解剖学的構造のモデルは、競合モデルにおいて、エージングまたはフェード化する可能性がある。インターフェース内では、これは、特にプローブがこれらの場所から離れて移動するにつれて、重ね合わされた表面が色を変化させるか、または時間とともにフェード化することを意味する場合がある。一部の実施形態では、これは、特定の表面のみが光を反射させるように患者の身体を通して特別な懐中電灯を照らしているかのように、ユーザに見え得、これらの表面は、特定の時間分解発光を有する。

【0153】

例えば、関節形成性下肢手術では、外科医または技師が患者の脚を超音波ワンドで下る際に、照射された線、ドット、またはグリッドは、外科医のヘッドセット上に立体的に重ね合わせて、患者の大腿骨の場所で三次元空間に浮かんでいるように見え得る。大腿骨表面で光る緑色のグリッドなどの、任意の色、形状、および照明を使用してもよい。このグリッドは、超音波ワンドが最後に置かれた患者の皮膚の下の大腿骨表面が、大腿骨上の古い場所よりも明るく光るように、時間とともにフェードしてもよく、患者の大腿骨表面のモデルは、それらの場所で信頼性が低いことを外科医に示す。外科医がさらなる信頼性を必要とする場合、プローブをそれらの場所に戻して、患者の解剖学的表面のモデルを外科医のＨＭＤの視界に再較正してもよい。任意の適切なビジュアライゼーション支援を使用して、フェーディング、変色、消失など、古い撮像データがエージングしたことを示すことができる。

【0154】

一部の実施形態は、外科医のＨＭＤの立体視または三鏡視のカメラ（またはＩＲ追跡システム）を利用して、外科医の視野、ならびにその視野における超音波プローブの位置および配向を直接的に相関させる。超音波プローブ上に反射基準マークまたはＩＲビーコンの配列などの参照マークを配置することによって、ＨＭＤ上のカメラは、ＨＭＤの視野の三次元空間における超音波デバイスの姿勢（位置および配向）を追跡することができる。一部の実施形態では、カメラの視野は、ＨＭＤのディスプレイの視野よりも大きいか、または小さい場合がある。カメラの視野は、超音波プローブがＨＭＤの配向および位置に対して追跡され得る範囲を画定することができる。これは、ポータブルなスタンドアロンシステムを作成し、それにより、ユーザのＨＭＤ内のプロセッサが、超音波プローブと無線で（または有線接続を介して）通信して、リアルタイム画像データを受信し、画像データを処理して、患者の解剖学的構造の顕著な特徴を抽出し、ＨＭＤの視野に対するプローブの位置および配向をモデル化し、ならびに超音波画像からそれらの特徴の場所をユーザの視野に相関させ、ＨＭＤのディスプレイを使用して、ＨＭＤのプロセッサによって、ユーザの視野内に解剖学的特徴の代表的なモデルを重ね合わせることが可能になる。

【0155】

実施形態が連続する画像から抽出された患者表面の三次元モデルをマッピングすることができる、様々な方法がある。一部の実施形態では、超音波プローブおよびＨＭＤの慣性およびジャイロスコピック動作センサは、プロセッサが、過去の画像が過去数秒間内に現在の視覚的フレーム内のどこにあるかの正確な推定を提供する方法で、固定参照フレームに対するプローブおよびヘッドセットの動きをモデル化することを可能にする。これは、最近検出された表面セグメントをユーザに表示して、時間とともにエージングする表面の三次元モデルを作成するのに十分である。一部の実施形態では、参照フレームを形成するために患者の解剖学的構造に付加された追加の基準マークは、例えば、その全体が参照により本明細書に組み込まれる、２０２０年２月２日に出願された「ＡＬＧＯＲＩＴＨＭ－ＢＡＳＥＤ ＯＰＴＩＭＩＺＡＴＩＯＮ ＦＯＲ ＫＮＥＥ ＡＲＴＨＲＯＰＬＡＳＴＹ ＰＲＯＣＥＤＵＲＥＳ」と題する、国際特許出願公開第ＷＯ２０２０１６３３１４号として公開された、国際特許出願番号ＰＣＴ／ＵＳ２０／１６５５９に記載されている、コンピュータ支援外科手術システム（ＣＡＳＳ）の解剖学的追跡システムで使用される。他の実施形態では、ＨＭＤの１つ以上のカメラによって捕捉されたビデオフィードの処理は、連続したビデオフレームの特徴を相関させて、ビデオ処理を通して最後の数秒間の相対的な動きを推定することができる。これにより、最近の超音波画像（例えば、最後の３～１０秒以内）で捕捉された表面モデルを作成し、動きセンサまたは患者固定マーカーなしで現在の視野と相関させることができる。

【0156】

例示的なＣＡＳＳ追跡システムは、手術室内に位置する外部カメラによって捕捉される基準マークを利用して、様々なツールおよび患者の解剖学的構造の位置および配向を識別する。これにより、各ユーザのＨＭＤの視野に相関させ得る、基準フレームが作成される。これは、超音波プローブのみがＨＭＤカメラを使用してＨＭＤに対して追跡される実施形態に対して、追加の機能を提供することができる。

【0157】

一部の実施形態では、患者の解剖学的構造の位置および配向、ならびにヘッドセットに対する超音波プローブを追跡することによって、仮想点を患者の参照フレームに対する空間内に画定することができる。例えば、超音波プローブを使用して、患者の骨の表面を識別することができ、その位置は、患者の骨に貼り付けられる基準マークの姿勢と相関することができる。外科医が、ドリル加工の場所などのユーザインターフェースを介して、その骨の表面上の特定の場所を識別したい場合、ユーザは、患者の骨内のそれらの場所を識別し得る。これらの場所は、超音波撮像から抽出された特徴に対して外科医によって識別されるが、骨の基準マークと相関し得る。したがって、これらの仮想点は、患者の骨上の基準点を追跡することによって、手術室で追跡することができるようになっている。これは、外科医が手術の計画段階中にこれらの仮想点を作成し、これらの点に基づいて手技を実行する場合に特に有用であり得る。これらの仮想点は、外科手術手技全体について追跡され得る。外科医は、外科医のＨＭＤが骨表面の仮想点およびモデルの両方を重ね合わせることを可能にする、超音波プローブを使用することによって、点が患者の骨表面と相関することを確認し得る。システムが患者の骨を適切に追跡していると仮定すると、この点は、その仮想骨表面と依然として同じ広がりを有するべきである。これらの点は、外科手術計画に画定することができ、外科医は、超音波プローブを使用してこれらの点を特定し、超音波画像から抽出された表面のモデルに基づいて、外科手術計画に対応する点の場所を手動で示すことができる。次に、これらの点は、ＣＡＳＳのメモリに記憶されて、外科手術計画を更新するか、または識別された点に基づいて、外科手術計画の追加的なステップを実行することができる。一部の実施形態では、ＨＭＤ上に表示するために患者の解剖学的構造のモデルを抽出するプロセッサは、外科医がこれらの点を識別することを補助するために、外科手術計画の特徴に対応する候補点を自動的に識別することができる。

【0158】

図８は、一部の実施形態による、患者１４を操作している外科医１２に超音波ベースの拡張現実を提供するためのシステム１０の機能動作を示している。外科医１２は、ＡＲ ＨＭＤ１６を着用している。ＨＭＤ１６は、環境に関する３－Ｄ情報を提供するのに適した、少なくとも１つのカメラおよび１つ以上の追加のカメラまたはＩＲシステムを含む。ＨＭＤ１６はまた、プロセッサおよび関連するハードウェア（例えば、通信インターフェース）、ならびに外科医が患者１４でディスプレイを通して見る際に、外科医１２に三次元／立体的に情報を提示することを可能にする、透明なホログラフィックディスプレイを含む。外科医１２は、ＨＭＤ１６が外科医の視界内の超音波プローブの姿勢を捕捉することを可能にする、複数の基準反射またはＩＲ放射マーカーを含み得る、超音波プローブ１８を保持し得る。超音波プローブ１８の姿勢を知ることによって、ＨＭＤ１６は、外科医１２またはＨＭＤの視界内の超音波スライス１９の場所および配向を決定することができる。超音波スライス１９は、その中に超音波画像が捕捉される、平面を備え得る。

【0159】

プロセス２０は、ＨＭＤ１６のプロセッサなどのプロセッサによって行われ、ＨＭＤ（またはＨＭＤと通信する外部画像処理システム）が超音波プローブ１８からの画像を処理して、ＨＭＤのホログラフィックディスプレイを使用して患者の骨に関する情報を外科医１２に提示する方法を理解するのを助けるために、象徴的に示される。超音波プローブ１８は、外科医１２がプローブを移動する際に、一連の時間変化画像２２を取る。これらの画像２２は、ＨＭＤ１６に無線で（または有線接続を介して）通信される。プロセッサは、これらの画像２２をバッファに記憶して、それらの特徴を患者表面（この場合では、大腿骨）の時間および位置変化モデルに処理する。ＨＭＤプロセッサは、利用可能なカメラおよび位置追跡センサを使用して、各連続する画像について、ＨＭＤ１６の視界における超音波プローブ１８の姿勢を識別する。この情報は、画像２２から抽出された特徴をＨＭＤ１６の視界に関連付けるために記憶され得る。超音波画像２２がＨＭＤ１６によって受信され、バッファに記憶されるのにつれて、個々の画像２４が処理され得る。この処理は、特徴を識別する際に画像プロセッサを補助するために、他の最近の画像上で実施される処理によって誘導され得る。例えば、骨表面は、連続する画像間で一定の閾値を超えて移動してはならず、超音波プローブが移動するのにつれて、その形状がスムーズに変化する必要がある。

【0160】

この実施例では、個々の画像２４は、患者の大腿骨の表面に対応する境界層２６を含む。超音波画像２４内の正確な形状および場所は、閾値を超える曲線連続性を有するその閾値を超える輝度を有する線の検索を含む、任意の従来的な画像処理アルゴリズムによって識別され、骨表面である可能性が高いことを示している。各画像の境界層２６に対応する各連続画像２２に対して抽出される曲線は、捕捉され、任意の画像の歪みに対して調整され得、画像とともに記憶されたＨＭＤ１６の姿勢に基づいて３－Ｄ空間に対するその相関が、計算され得る。各連続的な境界層２６は、表面収集２８として記憶され得、ここで、各線は、バッファからのその線のエージングを補助するタイムスタンプを含む。

【0161】

表面収集２８は、最近捕捉された各境界層２６の計算した場所に対応する視界の場所で、表面収集２８の各最新の線に関する情報を外科医１２に立体視して提示する、ホログラフィックインジケータ３０を表示するために、ＨＭＤ１６によって使用され得る。これは、外科医１２が患者の大腿骨の表面の視覚的理解、およびおおよその場所を理解することを補助し得る。類似のプロセスは、患者１４におけるドップラー撮像を通して識別された腫瘍または重要な動脈もしくは静脈構造の場所を識別するために使用され得る。

【0162】

図９は、超音波画像から抽出された解剖学的サービスに関する情報を、手術室のユーザにホログラフィック表示するための例示的なシステム４０のシステム図である。ここに示す様々な構成要素は、ＨＭＤ１６、ＨＭＤ１６に情報を提供する外部システム、またはそれらの組み合わせに統合され得る。カメラシステム４２は、ＨＭＤ１６に統合され得、または上記参照により組み込まれる国際特許出願第ＰＣＴ／ＵＳ２０／１６５５９号に開示されている、手術室内の物体を追跡するためにＣＡＳＳで使用されるＩＲおよび／または可視光カメラなどの手術室全体にわたる追加のカメラを介して補足され得る。カメラシステム４２は、光学および／またはＩＲ画像センサ、ならびにこれらのセンサからの画像を処理して、ＨＭＤ１６の視野に対する超音波デバイス１８の姿勢のモデルを作成するように構成されたメモリおよび処理ハードウェアの両方を含む。カメラシステム４２は、環境内の超音波デバイス１８の姿勢（配向および場所）を追跡し、一部の実施形態では、各ＨＭＤ１６の相対的な姿勢を追跡するための責任を負う。一部の実施形態では、立体カメラまたはＩＲマッピングを使用して、カメラシステム４２に対する姿勢を識別し得る。これは、超音波デバイス１８上に光または赤外線を反射または放射する、基準マークを配置することによって補助され得る。

【0163】

環境に対する超音波デバイス１８の相対的な姿勢の理解において、カメラシステム４２を補助するために、外科手術環境全体に追加の基準マーク４４を配置し得る。例えば、マーカー４４は、超音波デバイスと同じ時間順序で変化しない参照フレームに対する超音波デバイス１８の姿勢を追跡するために、患者の解剖学的構造（一時的に骨に貼り付けられるか、または軟部組織にストラップで留められる）または手術台に貼り付けられて、カメラシステム４２を補助し得る。

【0164】

一部の実施形態では、カメラシステム４２は、ＨＭＤ１６の外部にある。一部の実施形態では、基準マーク４６は、各ＨＭＤの視野の超音波デバイスの場所へのマッピングにおいて、カメラシステム４２を補助するために、ＨＭＤ１６に貼り付けられて、ＨＭＤの相対的な姿勢に関する情報を提供し得る。これは、（図１１を参照してさらに説明するように）複数のスタッフメンバーがＨＭＤ１６を着用し、単一のカメラシステム４２を共有する場合に特に有用であり得る。一部の実施形態では、カメラシステム４２は、壁またはカートに装着されたカメラなどの外部カメラ、ならびに各ＨＭＤ１６上のカメラを含む。

【0165】

カメラシステム４２は、ローカルネットワーク４８にわたって、この姿勢情報（または画像）を、プロセッサ５２に情報を中継する通信インターフェース５４を介して制御システム５０に報告する。一部の実施形態では、カメラシステム４２からの未加工の画像データは、プロセッサ５２に送信される。プロセッサ５２は、未加工の画像データ上に特徴抽出技術を使用して、基準マークを識別し、必要なすべての処理を提供して、環境内に姿勢の３Ｄモデルを作成し得る。他の実施形態では、カメラシステム４２は、この動作を実施するプロセッサ（図示せず）を含み、それによって、ローカルネットワーク４８を介して制御システム５０に伝送されなければならないデータの量を減少させ、プロセッサ５２から処理オーバーヘッドをオフロードする。プロセッサ（カメラシステム４２またはプロセッサ５２における）は、これらの画像、またはこれらの画像から抽出されたデータを、各カメラ（ＨＭＤ１６およびＨＭＤカメラの外部にある、任意のカメラを含む）から収集し、画像内の基準マークの姿勢の複合モデルを作成して、ＨＭＤおよび超音波デバイス１８の場所および姿勢の３Ｄマップを作成することができる。

【0166】

超音波デバイス１８はまた、通信インターフェース５４に、ローカルネットワーク４８をわたって画像を送信する。したがって、プロセッサ５２（通信インターフェース５４およびローカルネットワーク４８を介して）は、ＨＭＤ１６の視野に対して（および一部の実施形態では、患者参照フレームに対して）少なくとも超音波デバイス１８の姿勢のモデルを作成するのに十分なデータを受信する。ローカルネットワーク４８は、有線ＩＰ／イーサネットネットワーク、または無線ＬＡＮ、または近距離通信ネットワークとすることができる。十分な信頼性、レイテンシ、およびスループットを有する任意の適切なネットワークを使用してもよい。一部の実施形態では、制御システム５０は、大型ＣＡＳＳの外部、スタンドアロンユニットまたは一部である。一部の実施形態では、制御システム５０の機能のすべてまたは一部は、ＨＭＤ１６の一部であるハードウェアで動作する。すなわち、制御システム５０は、ＨＭＤ１６の内部のプロセッサおよび関連ハードウェア上で完全に実行されてもよく、または完全にＨＭＤの外部であり得る。

【0167】

プロセッサ５２は、カメラシステム４２および超音波デバイス１８からデータを受信し、１つ以上のソフトウェアモジュールを使用して、このデータを処理し得る。データおよびソフトウェア命令は、メモリ５６のデータ構造に記憶される。このデータを処理および操作するために使用されるソフトウェアモジュールは、ソフトウェアアプリケーションの制御下で存在するものとして記述され得、画像処理モジュール５８、特徴モデルモジュール６０、ＨＭＤ配向モデルモジュール６２、ディスプレイモジュール６４、ユーザの好みおよび患者データモジュール６６、ならびに物体追跡モジュール７０のうちの任意の１つ以上を含み得る。

【0168】

画像処理モジュール５８は、超音波デバイス１８から受信した画像を処理して、外科医１２の関心対象である解剖学的特徴に関連する顕著な特徴を抽出し得る。一部の実施形態では、画像処理モジュール５８は、強調表示される構造のタイプを選択する、ユーザの好みによって誘導され得る。例えば、好みは、識別されるべき骨などの解剖学的構造のタイプを示し得る。好みはまた、画像処理アルゴリズムで使用される感度または因子を選択する、構成情報を含み得、その調整により、ユーザの好みごとに画像から可能な解剖学的構造が多かれ少なかれ（場合によっては、過小または過大に）識別されることがもたらされ得る。ユーザへのホログラフィック表示のための１つ以上の解剖学的特徴から、関連する解剖学的特徴を抽出するために使用され得る追加の方法およびシステムは、２０２０年１０月８日に出願された「ＭＥＴＨＯＤＳ ＦＯＲ ＩＭＰＲＯＶＥＤ ＵＬＴＲＡＳＯＵＮＤ ＩＭＡＧＩＮＧ ＴＯ ＥＭＰＨＡＳＩＺＥ ＳＴＲＵＣＴＵＲＥＳ ＯＦ ＩＮＴＥＲＥＳＴ ＡＮＤ ＤＥＶＩＣＥＳ ＴＨＥＲＥＯＦ」と題する、国際特許出願第ＰＣＴ／ＵＳ２０／５４７２９号に開示されており、その全体が参照により本明細書に組み込まれる。

【0169】

特徴モデルモジュール６０は、ライブラリファイル、ヒューリスティック値、モデル、訓練セットデータ、識別アルゴリズム、および／または受信した画像の特定の特徴タイプを検索するために画像処理モジュール５８を構成することができる、任意のその他の情報を含み得る。一部の実施形態では、特徴モデルモジュール６０は、画像中の特定のタイプの特徴が特定のタイプの解剖学的構造に対応するかどうかを識別するようにモデルを訓練する、ランダムフォレストなどの訓練セットから作成される。例えば、骨表面を含有する一連の例示的な超音波画像を使用して、骨表面の存在を示す連続的な明るい線のタイプを識別するようにモデルを訓練することができる。次に、この訓練されたモデルを画像処理モジュール５８によって使用して、モデルに従って、患者の骨表面に対応する画像特徴を見つけることができる。

【0170】

ＨＭＤ配向モデルモジュール６２は、超音波デバイス１８上の基準マーク、環境基準マーク４４、および／または各ＨＭＤ１６上に配置された基準マーク４６に関連する、カメラシステム４２からの画像データを処理し得る。カメラシステム４２がＨＭＤ１６上に１つ以上のカメラを含む実施形態では、これらの追加の基準マーク４４／４６は、必要とされない場合がある。ＨＭＤ配向モデルモジュール６２は、画像で識別された基準マークの姿勢を抽出し、ＨＭＤ１６の視野を超音波デバイス１８の姿勢（位置および配向）にマッピングする、モデルを維持し得る。ＨＭＤ配向モデルモジュール６２はまた、超音波デバイス１８または１つ以上のＨＭＤ１６からジャイロスコピック、慣性、またはその他の位置決めセンサ情報を受信して、ＨＭＤ１６の視野における超音波デバイス１８の相対的な姿勢をさらにマッピングおよび追跡し得る。したがって、ＨＭＤ１６および超音波デバイス１８は、一部の実施形態では、動き位置感知情報を通信インターフェース５４に伝送することができる。

【0171】

ディスプレイモジュール６４は、制御信号をＨＭＤ１６の立体視ＡＲディスプレイに送信して、任意の所望の情報をホログラフィックに表示するために使用され得る。こうした実施形態では、ホログラフィック表示された情報は、画像処理モジュール５８によって抽出され、ＨＭＤ配向モデルモジュール６２を介して視界と整列する、患者の解剖学的表面の表現を含み得る。超音波デバイス１８から受信した画像は、特徴モデルモジュール６０からの情報に基づいて画像処理モジュール５８によって処理されて、患者の解剖学的表面のモデルを抽出する。次に、この表面モデルは、ＨＭＤ配向モデルモジュール６２によって作成された配向モデルに基づいて、ＨＭＤ１６の視界に翻訳される。適用の性質およびユーザの好みに基づいて、解剖学的表面の場所を示す情報は、現実世界の三次元表面に対応する立体視視界内のおおよその場所で、ディスプレイモジュール６４の制御下でホログラフィック表示される。

【0172】

患者データモジュール６６は、術前または術中の撮像からの患者データを含むデータを記憶し得る。この患者データは、ディスプレイモジュール６４および画像処理モジュール５８を制御するアプリケーションに通知し、表示のために処理を集中する１つ以上の解剖学的構造を決定することができる。例えば、患者データは、患者が腫瘍を除去するために手術を受けていることを示し得、それによって、画像処理モジュール５８が、特徴モデルモジュール６０から腫瘍抽出モデルを使用して、腫瘍の場所を示す視覚的アーチファクトを抽出し、腫瘍（またはその表面）の三次元モデルを維持することが可能になる。ディスプレイモジュール６４は、腫瘍モデルを受信し、アプリケーションの制御下で、腫瘍情報をユーザに伝達する１つ以上の視覚的インジケータを表示し得る。ユーザの好みはまた、カラースキーム、詳細度、視覚的インジケータの特定の形状、インジケータの強度、表示する患者サービス、患者サービスを決定するための特徴抽出の感度の度合いなどを選択するために使用され得る。また、ユーザの好みを使用して、ドップラー超音波の特徴追跡を可能にし、制御システム５０がドップラー撮像から重要な血管を識別し、それらの血管／静脈／動脈の場所を同じ方法でホログラフィック表示することを可能にすることができる。

【0173】

一部の実施形態では、物体追跡モジュール６８は、カメラシステム４２からのＩＲおよび／または画像データを使用して、超音波デバイス１８の姿勢、ＨＭＤ１６の姿勢、および／または膝関節形成術における患者の大腿骨および脛骨に対応するマーカーなどの手術室内の他の物体の姿勢を追跡し得る。これは、文脈を提供することによって追跡の焦点である解剖学的表面の三次元モデルを決定する際に、および表面の時間変化モデルを維持する際に、プロセッサ５２を補助するために使用され得る。これは、過去の画像が、超音波デバイス１８の現在の場所にあまり隣接していない可能性がある、表面の三次元モデルを作成することを補助することを可能にし得る。例えば、超音波デバイス１８が患者の大腿部に沿って移動する場合、物体追跡モジュール７０は、画像処理モジュール５８と併せて、プロセッサ５２が、固定基準マーク４４に対して患者の大腿骨の三次元モデルを維持し、画像処理モジュールが特徴モデルモジュール６０からの大腿骨モデルを使用するべきであると決定することを可能にすることができる。ＨＭＤ１６の視界に対するこれらのマーク４４の場所をモデル化することによって、大腿骨の三次元モデルのマッピング（切片が超音波デバイス１８の近位であるかどうかに関わらず）を、ＨＭＤの視界への補間を通してマッピングすることができ、それによって、超音波デバイスが移動する際に、大腿骨の比較的安定した仮想モデルをユーザにホログラフィック表示することが可能になる。追加のマーカー４４または物体追跡モジュール７０を使用しない実施形態は、依然として、ホログラフィック表示のために患者の表面の三次元モデルを維持する場合があるが、しかし、現在の画像場所からの経時的なモデルの信頼性および距離は、患者の表面のモデルのより古いまたはより遠いセグメントを、ＨＭＤ１６に確実に表示するには不十分であり得る。これらのセグメントは、時間が経つにつれてフェード化する可能性がある。

【0174】

図１０は、検出された解剖学的特徴とほぼ同じ場所に対応する視野内の場所で、抽出された特徴をホログラフィック的にＨＭＤのユーザに表示するために、超音波画像を取得および処理するための例示的な方法７０のフローチャートである。本明細書で使用される場合、視界内の物理的な患者の三次元場所と一致する場所で解剖学的特徴のモデルを表示することに関して「おおよそ」とは、ハードウェアおよびソフトウェアが、ユーザに対するその情報の検出および表示においてわずかな不正確性をもたらす限界を有する場合があるという事実を指す。ハードウェアおよびソフトウェアは、解剖学的構造の実際の場所と一致する解剖学的構造の特徴モデルを正確に表示するために最善の努力を払うが、使用されるハードウェアの機能的制限または処理オーバーヘッドの制限により、その正確性が制限される場合がある。多くの実施形態では、特徴の表示は、実質的にリアルタイムであり、つまり、ハードウェアは最良の努力をして、表示がリアルタイム表示、およびホログラフィックモデルと物理的な患者の相関としてユーザに現れることを意味する。しかしながら、この表示は、画像化システムの取得時間、これらの画像をプロセッサに送信する送信およびバッファリング時間、特徴を抽出して、それらを視界に関連付けるために必要な処理時間、ならびに情報をユーザに表示するために必要な表示レイテンシおよびレンダリング時間によって制限されるため、完全にリアルタイムであることができない。

【0175】

ステップ７２で、超音波または他の医療撮像デバイスは、患者画像を取得する。これは、オンデマンドであり得、または任意の適切な連続的な間隔で捕捉され得ることが理解されるべきである。

【0176】

ステップ７４で、超音波デバイスは、（無線でまたは有線接続を介して）患者画像を、プロセッサを含む制御システムに伝送する。この制御システムは、ＨＭＤの一部であり得、または手術室のサーバもしくは固定コンピュータの一部であり得る。

【0177】

ステップ７６で、制御システムは、このような特徴を検索するために最適化されたルーチンを使用して、患者画像を処理して、顕著な特徴を抽出する。例えば、制御システムは、超音波画像の骨に対応することができる特定の目に見える特徴を有する明るい線を検索するために、訓練されたアルゴリズムを使用し得る。

【0178】

ステップ７８で、所与の二次元画像に対して特徴が抽出されると、プロセッサは、カメラシステム内の位置センサまたは基準マークに基づいて決定される超音波デバイスの現在の場所を使用して、三次元特徴モデルを更新する。したがって、超音波デバイスが移動すると、連続画像は、三次元解剖学的構造のスライスを取り、それによって、これらのスライスのアマルガムが、解剖学的構造の三次元特徴モデルとして維持することを可能にする。

【0179】

ステップ８０で、プロセッサは、ＨＭＤまたは解剖学的参照フレーム（ステップ７８を補助するために使用され得る）に対する場所を決定し、ここで、現在の画像の中の特徴点は、ＨＭＤの視野内に三次元的に位置付けられる。典型的なＨＭＤは、立体視を有し、ここで、ユーザの各眼は、他方の眼の視野と実質的に重複する、独自の視野を有する。しかしながら、目は瞳孔距離だけ離れているため、２つの視野の間の結果として生じる視差は、三次元情報を含む、ユーザのための立体視画像を作成する。特徴モデルにおける個々の点の三次元場所をこれらの２つの立体視にマッピングすることによって、各立体視表示は、各目の視野内の異なる場所を表示し、この場合、患者の身体内に浮かんでいるように見える、空間に浮かんでいる単一の点の錯覚を作成することができる。

【0180】

三次元空間がユーザの個々の立体視表示に変換されると、ステップ８２で、プロセッサは、特徴モデルで抽出され、かつ維持されている特徴点を、所与の時間、ユーザに表示するべきであると決定する。ステップ８４で、これらの特徴は、ステップ８０で抽出されたＨＭＤ配向および画像配向情報を使用して、視野にマッピングされ得る。ステップ８６では、特徴の各点が、ユーザの視野内にホログラフィック的に提示され、ユーザがＨＭＤの半透明表示を通して患者を見る際に、空間内に立体的に点をオーバーレイするように、特徴を立体視表示に提示し得る。

【0181】

ステップ８８で、プロセッサは、過去の超音波画像からのものを含む、表示されている解剖学的モデルの特徴の任意の部分が、エージングする必要があるかどうかを決定する。実施形態では、エージングされた部分は、例えば、５秒または１０秒超など、過去に閾値時間量を超えて画像から抽出された特徴モデルの任意のセグメントを含み得る。一実施形態では、エージングされた部分は、超音波デバイスの現在の場所から２～１０ｃｍ超などの閾値距離を超える、特徴セグメントを含み得る。

【0182】

ステップ９０で、１つ以上の個々の特徴点をエージングさせる必要がある場合、ディスプレイは、これらの特徴をディスプレイからエージングするように更新される。このエージング効果は、異なる実施形態では、様々な適切な様式で行うことができ、またユーザの好みによって調整され得る。例えば、特徴面は、ユーザに立体的に提示される、光り輝く緑色の三次元グリッドとして提示され得、エージングされる必要のある点および線は、時間とともにより明るい緑色、異なる色、または低強度にフェードアウトし得、最終的にフェードアウトして全く表示されないようにし得る。

【0183】

図１１は、患者の解剖学的構造のモデルを、物理的な患者を見るユーザの視野内にオーバーレイしてホログラフィック表示するためのシステム９２の追加の実施形態である。この実施形態では、システム９２は、外科医に加えて、技術者および居住者を含む、手術室内の複数のスタッフを含む。カメラシステム４２は、外科医上のＨＭＤ１６に加えて、居住者および技術者上のＨＭＤ１６Ａおよび１６Ｂを追跡する。これは、これらのＨＭＤ１６、１６Ａ、１６Ｂに付けられた基準マーク４６、４６Ａ、および４６Ｂによって促進され得る。一部の実施形態では、カメラシステム４２は、複数のカメラを含み、各々が４４Ａなどの基準マーカーを有する。ＨＭＤ１６、１６Ａ、１６Ｂに統合されたカメラは、このマーカーを使用して、カメラシステム４２内の各カメラの姿勢を追跡し、環境中の各ＨＭＤの視野をより良くモデル化するために、ＨＭＤの姿勢モデルで使用され得る、追加の姿勢情報を提供することができる。

【0184】

基準マーク４４Ｂおよび４４Ｃは、一部の実施形態では、手術の領域の近くに基準フレームを提供するために、骨または軟部組織に一時的に貼り付けられるなど、患者の解剖学的構造に貼り付けられ得る。これは、モデルが作成された際に、患者の解剖学的構造（例えば、表面）のモデルの正確な位置および配向を維持するのに補助し得る。これはまた、各々が独自の視野を有する、複数のＨＭＤ１６、１６Ａ、および１６Ｂにモデルをホログラフィック表示するのに補助し得る。これは、ユーザが解剖学的モデルの部位から頭をそらすときに、ＨＭＤ１６、１６Ａ、および１６Ｂの配向および再配向をさらに補助し得る。ＨＭＤ１６、１６Ａ、１６Ｂ、カメラシステム４２、および超音波デバイス１８は、ネットワーク４８を介して、ＣＰＵおよびメモリを含み得る、制御システム５０と通信し得る。様々なシステム間のこのような通信は、図９を参照して上述した方法で動作し得る。さらに、制御システム５０は、超音波デバイス１８によって提供される情報を外科手術ロボットシステム９４に通信することができる。外科手術ロボットシステムは、超音波画像から抽出された情報に基づいて外科手術計画を更新し、外科医が外科手術計画を実施することを補助し得る。この外科手術ロボットシステム９４は、手動で操作されるツールを関節式に操作して保持するロボットアーム、ツール自体を操作するためにエンドエフェクターを使用するロボットアーム、または切断ガイドなどの特定のツールを関節式ロボットアームが所定の場所に移動させて、外科医を切除することを補助するロボットシステムなどの、任意の従来的な外科手術ロボットシステムを含み得る。

【0185】

一部の実施形態では、トレー９６などの追加の物体は、ＱＲコードなどの基準マーカーを使用してマーキングされて、カメラシステム４２または各ＨＭＤ１６、１６Ａ、１６Ｂのカメラに追加情報を伝達することができる。これにより、ＨＭＤ１６、１６Ａ、１６Ｂの着用者は、その視野に拡張され得る追加情報を得ることができ、外科手術作業においてスタッフを補助することができる。

【0186】

一部の実施形態では、超音波画像で検出された解剖学的特徴のセグメントの場所および範囲に関するホログラフィック表示をユーザに提示することに加えて、ユーザはまた、追加的な詳細について超音波画像全体の表示を要求し得る。

【0187】

図１２は、制御システム５０または本発明に従って使用される他のコンピューティングシステムを実装するために利用され得る、並列処理プラットフォーム２０００の実施例を提供する。並列処理プラットフォーム２０００は、例えば、機械学習および処理タスクの並列化から利益を得るであろう他の処理集約型動作に使用され得る。並列処理プラットフォーム２０００は、例えば、ＮＶＩＤＩＡ ＣＵＤＡ（商標）または類似の並列コンピューティングプラットフォームを用いて実装され得る。並列処理プラットフォーム２０００のアーキテクチャは、バス２０１５（例えば、ＰＣＩｅバス）を介して接続されたホストコンピューティングユニット（以下、「ホスト」）２００５およびグラフィック処理ユニット（ＧＰＵ）デバイス（以下、「デバイス」）２０１０を含み得る。ホスト２００５は、中央処理装置、または「ＣＰＵ」（図示せず）、およびＣＰＵがアクセス可能なホストメモリ２０２５を含む。デバイス２０１０は、本明細書ではデバイスメモリと呼ばれる、グラフィック処理ユニット（ＧＰＵ）およびその関連するメモリ２０２０を含む。デバイスメモリ２０２０は、様々なタイプのメモリを含み得、各々が異なるメモリ使用に対して最適化される。例えば、一部の実施形態では、デバイスメモリは、グローバルメモリ、定常メモリ、およびテクスチャメモリを含む。

【0188】

ビッグデータプラットフォームおよび／またはビッグシミュレーションプラットフォームの並列部分は、並列処理プラットフォーム２０００上で、「デバイスカーネル」または単に「カーネル」として実行され得る。カーネルは、特定の関数を実行するように構成されたパラメータ化コードを備える。並列処理プラットフォーム２０００は、パラメータ、設定、およびユーザによって提供される他の選択に基づいて、プラットフォーム全体にわたってこれらのカーネルを最適な様式で実行するように構成される。さらに、一部の実施形態では、並列処理プラットフォーム２０００は、ユーザによって提供される最小限の入力で、最適な様式でカーネルの自動処理を可能にする追加機能を含み得る。

【0189】

各カーネルに必要な処理は、（以下で詳しく説明される）スレッドブロックのグリッドによって実施される。同時カーネル実行、ストリーム、および軽量イベントとの同期を使用して、並列処理プラットフォーム２０００（または類似のアーキテクチャ）が、使用されて、本明細書で論じるスマート編集プロセスの訓練または利用において実施される機械学習ベースの動作の一部分を並列化し得る。例えば、並列処理プラットフォーム２０００は、機械学習モデルの複数のインスタンスを並列に実行するために使用され得る。

【0190】

デバイス２０１０は、デバイスの計算単位を表す、１つ以上のスレッドブロック２０３０を含む。スレッドブロックという用語は、共有メモリを介して協働し、その実行を同期して、メモリアクセスを調整することができる、スレッドのグループを指す。例えば、図１２では、スレッド２０４０、２０４５、および２０５０は、スレッドブロック２０３０で動作し、共有メモリ２０３５にアクセスする。並列処理プラットフォーム２０００に応じて、スレッドブロックは、グリッド構造に整理され得る。次に、計算または一連の計算を、このグリッド上にマッピングし得る。例えば、ＣＵＤＡを利用する実施形態では、計算は、一次元グリッド、二次元グリッド、または三次元グリッド上にマッピングされ得る。各グリッドは、複数のスレッドブロックを含み、各スレッドブロックは、複数のスレッドを含む。例えば、図１２では、スレッドブロック２０３０は、ｍ＋１行およびｎ＋１列を有する、二次元グリッド構造に整理されている。一般に、同じグリッドの異なるスレッドブロック内のスレッドは、互いに通信または同期することができない。しかしながら、同じグリッド内のスレッドブロックは、ＧＰＵ内の同じマルチプロセッサ上で同時に実行することができる。各スレッドブロック内のスレッド数は、ハードウェアまたはソフトウェアの制約によって制限され得る。

【0191】

引き続き図１２を参照すると、レジスタ２０５５、２０６０、および２０６５は、スレッドブロック２０３０に利用可能な高速メモリを表す。各レジスタには、１つのスレッドからしかアクセスすることができない。したがって、例えば、レジスタ２０５５は、スレッド２０４０によってのみアクセスされ得る。逆に、共有メモリは、スレッドブロックごとに割り当てられ、そのため、ブロック内のすべてのスレッドは、同じ共有メモリにアクセスできる。したがって、共有メモリ２０３５は、スレッドブロック２０３０内の各スレッド２０４０、２０４５、および２０５０によって並列にアクセスするように設計される。スレッドは、同じスレッドブロック（例えば、スレッドブロック２０３０）内の他のスレッドによって、デバイスメモリ２０２０からロードされた共有メモリ２０３５内のデータにアクセスすることができる。デバイスメモリ２０２０は、グリッドのすべてのブロックによってアクセスされ、例えば、動的ランダムアクセスメモリ（ＤＲＡＭ）を使用して実装され得る。

【0192】

各スレッドは、１つ以上のレベルのメモリアクセスを有することができる。例えば、並列処理プラットフォーム２０００では、各スレッドは、３つのレベルのメモリアクセスを有し得る。第１に、各スレッド２０４０、２０４５、２０５０は、その対応するレジスタ２０５５、２０６０、および２０６５を読み取るおよび／または書き込むことができる。レジスタは、同期の問題がなく、またレジスタは通常、スレッドを実行するマルチプロセッサの近くに位置するため、スレッドへの最速のメモリアクセスを提供する。第２に、スレッドブロック２０３０内の各スレッド２０４０、２０４５、２０５０は、そのブロック２０３０に対応する共有メモリ２０３５にデータを読み取るおよび／または書き込むことができる。一般に、スレッドが共有メモリにアクセスするのに必要な時間は、スレッドブロック内のすべてのスレッド間のアクセスを同期する必要があるため、レジスタアクセスの時間を超えている。しかしながら、スレッドブロック内のレジスタと同様に、共有メモリは、典型的にはスレッドを実行するマルチプロセッサの近くに位置する。第３のレベルのメモリアクセスにより、デバイス２０１０上のすべてのスレッドがデバイスメモリ２０２０を読み取るおよび／または書き込むことが可能になる。アクセスがデバイス上で動作するスレッドブロック間で同期する必要があるため、デバイスメモリ２０２０は、アクセスに最長の時間がかかる。

【0193】

本開示の実施形態は、ハードウェアおよびソフトウェアの任意の組み合わせで実装され得る。例えば、図１２に提示される並列処理プラットフォーム２０００とは別に、標準的なコンピューティングプラットフォーム（例えば、サーバ、デスクトップコンピュータなど）は、本明細書で論じる技術を実施するように特別に構成され得る。さらに、本開示の実施形態は、例えば、コンピュータ可読の非一時的媒体を有する、製造品（例えば、１つ以上のコンピュータプログラム製品）に含まれ得る。媒体は、本開示の実施形態の機構を提供し、および促進するためのコンピュータ可読プログラムコードをその中に具現化し得る。製造品は、コンピュータシステムの一部として含まれてもよく、または別個に販売され得る。

【0194】

本教示の原理を組み込んだ様々な例示の実施形態が開示されているが、本教示は、本開示の実施形態に限定されない。代わりに、本出願は、本教示の任意の変形、使用、または適合をカバーし、その一般原則を使用することを意図している。さらに、本出願は、これらの教示が関連する技術分野で公知または慣習的慣行の範囲内にある本開示からのかかる逸脱をカバーすることを意図している。

【0195】

上記の詳細な説明では、本明細書の一部を形成する添付図面を参照する。図面では、文脈上別段の指示がない限り、類似の記号は、典型的には類似の構成要素を識別する。本開示に記載される例示の実施形態は、限定することを意図するものではない。本明細書に提示される主題の趣旨または範囲から逸脱することなく、他の実施形態を使用してもよく、その他の変更を行ってもよい。本開示の様々な特徴は、一般に本明細書に記載され、図に示されるように、多種多様な異なる構成で配設、置換、結合、分離、および設計され得、それらのすべては、本明細書に明示的に企図されている。

【0196】

本開示は、様々な特徴の図解として意図される、本出願に記載される特定の実施形態に関して限定されない。当業者には明らかであるように、その趣旨および範囲から逸脱することなく、多くの修正および変形を行うことができる。本明細書に列挙されたものに加えて、本開示の範囲内の機能的に同等の方法および装置は、前述の記載から当業者には明らかであろう。本開示は、特定の方法、試薬、化合物、組成物、または生物学的システムに限定されないが、それらは変化し得ることが理解されるべきである。また、本明細書で使用される用語は、特定の実施形態のみを記述するためのものであり、限定することを意図するものではないことが理解されるべきである。

【0197】

本明細書における実質的に任意の複数形および／または単数形の用語の使用に関して、当業者は、文脈および／または用途に適切なように、複数形から単数形および／または単数形から複数形に翻訳することができる。様々な単数形／複数形の配列は、明確にするために本明細書に明示的に記載され得る。

【0198】

一般に、本明細書で使用される用語は、一般に「オープン」な用語として意図されていること（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むが、これに限定されない」と解釈されるべきであり、用語「有する」は、「少なくとも有する」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むが、これに限定されない」と解釈されるべきであるなど）は、当業者であれば理解されるであろう。様々な組成物、方法、およびデバイスは、様々な構成要素またはステップを「含む（ｃｏｍｐｒｉｓｉｎｇ）」という観点から説明される（「含む（ｉｎｃｌｕｄｉｎｇ）が、これに限定されない」という意味として解釈される）が、組成物、方法、およびデバイスはまた、様々な構成要素およびステップから「本質的になる」または「なる」ことができ、そのような用語は、本質的にクローズドメンバーグループを定義するものとして解釈されるべきである。

【0199】

さらに、特定の数が明示的に列挙されていても、当業者は、このような列挙は、少なくとも列挙された数を意味する（例えば、他の修飾子なしでの「２つの列挙」のありのままの列挙は、少なくとも２つの列挙、または２つ以上の列挙を意味する）と解釈されるべきであることを認識するであろう。さらに、「Ａ、Ｂ、およびＣなどのうちの少なくとも１つ」に類似した慣習が使用されている場合、一般に、こうした構造は、当業者が慣習を理解するという意味で意図されている（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを一緒に、ＡおよびＣを一緒に、ＢおよびＣを一緒に、ならびに／またはＡ、Ｂ、およびＣを一緒に有するシステムなどが含まれるが、これらに限定されない）。「Ａ、Ｂ、またはＣなどのうちの少なくとも１つ」に類似した慣習が使用されている場合、一般に、こうした構造は、当業者が慣習を理解するという意味で意図されている（例えば、「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを一緒に、ＡおよびＣを一緒に、ＢおよびＣを一緒に、ならびに／またはＡ、Ｂ、およびＣを一緒に有するシステムなどが含まれるが、これらに限定されない）。説明、サンプルの実施形態、または図面のいずれにおいても、２つ以上の代替的な用語を提示する実質的に任意の離散的な単語および／または語句は、用語、用語のいずれか、または両方の用語のうちの１つを含む可能性を企図するために理解されるべきであると、当業者によってさらに理解されるであろう。例えば、語句「ＡまたはＢ」は、「Ａ」もしくは「Ｂ」、または「ＡおよびＢ」の可能性を含むと理解されるであろう。

【0200】

さらに、本開示の特徴がマーカッシュグループに関して記述される場合、当業者は、本開示がまた、それにより、マーカッシュグループの任意の個々のメンバーまたはメンバーのサブグループに関して記述されることを認識するであろう。

【0201】

当業者であれば理解するであろうように、書面による説明を提供するなどの任意のおよびすべての目的のために、本明細書に開示されるすべての範囲はまた、任意のおよびすべての可能な部分範囲、ならびにそれらの部分範囲の組み合わせを包含する。いくつかの列挙された範囲は、同じ範囲を少なくとも等しい半分、３分の１、４分の１、５分の１、１０分の１などに分割できるように十分に記述し、可能にするものとして容易に認識され得る。非限定的な例として、本明細書で論じる各範囲は、ローワーサード、ミドルサード、およびアッパーサードなどに容易に分割され得る。また、当業者であれば理解されるように、「最大」、「少なくとも」、およびこれに類するものなどのすべての言語には、列挙された数が含まれ、上記で論じたように、後で部分範囲に実質的に分割することができる範囲を指す。最後に、当業者によって理解されるように、範囲は、各個々のメンバーを含む。したがって、例えば、１～３個のセルを有するグループは、１、２、または３個のセルを有するグループを指す。同様に、１～５個のセルを有するグループは、１個、２個、３個、４個、または５個のセルを有するグループを指す等である。

【0202】

本明細書で使用される場合、用語「約」は、例えば、これらの手技での不注意によるエラーによる、組成物または試薬の製造、供給源、または純度の違い、およびこれに類するものによる、現実世界での測定または取り扱い手技を通じて発生する可能性のある数値の変動を指す。典型的には、本明細書で使用される場合、用語「約」は、記載された値の１／１０だけ記載された値または値の範囲よりも大きいまたは小さいこと（例えば、±１０％）を意味する。用語「約」はまた、当業者によって、そのような変形が先行技術によって実践される既知の値を包含しない限り、等価であると認識される変形を指す。用語「約」が前に付く各値または値の範囲はまた、述べられた絶対値または値の範囲の実施形態を包含することを意図している。用語「約」によって修飾されるか否かにかかわらず、本開示に列挙される定量値は、列挙された値と同等のもの、例えば、発生する可能性があるが、当業者によって同等であると認識されるであろうそのような値の数値の変動を含む。

【0203】

様々な上記で開示されたおよびその他の特徴および機能、またはその代替例は、多くの他の異なるシステムまたは用途に組み合わされ得る。その中の様々な現在予想されないもしくは予期しない代替、修正、変形、または改善は、その後、当業者によって行われ得、これらの各々はまた、開示された実施形態によって包含されることが意図される。

【0204】

本明細書の関数およびプロセスステップは、ユーザコマンドに応答して、自動的に、または全体的にもしくは部分的に実施され得る。自動的に実施される動作（ステップを含む）は、ユーザがその動作を直接的に開始することなく、１つ以上の実行可能な命令またはデバイス動作に応答して実施される。

【0205】

図面のシステムおよびプロセスは排他的ではない。他のシステム、プロセス、およびメニューは、同じ目的を達成するために、本発明の原理に従って導出され得る。本発明は特定の実施形態を参照して記載されてきたが、本明細書に示され、および記載される実施形態および変形は、例示のみを目的としていることが理解されるべきである。本発明の範囲から逸脱することなく、現在の設計に対する修正は、当業者によって実装され得る。本明細書のいかなる特許請求の範囲の要素も、その要素が「のための手段」というフレーズを使用して明示的に引用されていない限りは、米国特許法第１１２条（ｆ）の規定の下では解釈されないものとする。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7A】

【図7B】

【図7C-1】

【図7C-2】

【図7C-3】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】