知財求人 - 知財ポータルサイト「IP Force」
▶ グローバス メディカル インコーポレイティッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-08
(45)【発行日】2023-08-17
(54)【発明の名称】ナビゲートされた脊椎手術のための機械学習システム
(51)【国際特許分類】
A61B 34/20 20160101AFI20230809BHJP
A61B 34/35 20160101ALI20230809BHJP
G16H 50/00 20180101ALI20230809BHJP
G16Y 10/60 20200101ALI20230809BHJP
【ＦＩ】
A61B34/20
A61B34/35
G16H50/00
G16Y10/60
【請求項の数】
20
(21)【出願番号】P 2021092790
(22)【出願日】2021-06-02
(65)【公開番号】P2021186683
(43)【公開日】2021-12-13
【審査請求日】2021-06-02
(31)【優先権主張番号】16/891,870
(32)【優先日】2020-06-03
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】507400686
【氏名又は名称】グローバス メディカル インコーポレイティッド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】デビッド シー．，ポール
(72)【発明者】
【氏名】ノーバート ジョンソン
(72)【発明者】
【氏名】チャド グレールム
【審査官】野口 絢子
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０３０３５５２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／００７８１８０（ＵＳ，Ａ１）
【文献】CHANG MICHAEL ET AL，The Role of Machine Learning in Spine Surgery: The Future Is Now，FRONTIERS IN SURGERY，2020年01月01日，v o l . 7 , 1 January2020
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／００－３４／３７
Ｇ１６Ｈ ５０／００
Ｇ１６Ｙ １０／６０
(57)【特許請求の範囲】
【請求項1】
脊椎手術のコンピュータ支援ナビゲーションのための外科手術ガイダンスシステムであって、前記外科手術ガイダンスシステムが、脊椎手術を受けた複数の以前の患者の各々について、分散型ネットワークコンピュータによって提供される、前記以前の患者の脊椎の幾何学的構造を特徴付け、前記以前の患者に対して行われた外科的処置を特徴付け、前記以前の患者の脊椎に外科的に埋め込まれたインプラントデバイスを特徴付け、前記以前の患者の外科手術のアウトカムを特徴付ける、フィードバックデータを得る、
前記フィードバックデータに基づいて、機械学習モデルをトレーニングする、
計画された外科手術の候補患者の脊椎の幾何学的構造を特徴付ける術前データを、前記分散型ネットワークコンピュータのうちの１つから得る、
前記機械学習モデルを介した前記術前データの処理に基づいて、前記候補患者の外科手術計画を生成する、および
ユーザによる視覚的レビューのために、前記外科手術計画の少なくとも一部分をディスプレイデバイスに提供する、ように動作し、
前記外科手術ガイダンスシステムは、前記ディスプレイデバイスを含むエクステンデッドリアリティ（ＸＲ）ヘッドセットを含み、
前記ＸＲヘッドセットは、視野内で実施されるユーザのハンドジェスチャの識別のためにキャプチャすることによって、ジェスチャセンサとして動作する１つまたは複数のカメラを含み、
前記ユーザは、片手または両手のハンドジェスチャを使って前記外科手術計画を操作してもよく、
前記外科手術ガイダンスシステムは外科手術ロボットと通信し、前記外科手術ロボットはロボット基部と、前記ロボット基部に接続され外科手術器具の動きを誘導するエンドエフェクタに接続するように構成されロボットアームと、前記ロボット基部に対して前記ロボットアームを移動させるように動作可能に接続された少なくとも１つのモータを含み、
前記外科手術ロボットは、少なくとも１つのモータに接続され、脊椎インプラントデバイスの埋め込み中に、計画された軌道に沿って前記外科手術器具の動きを誘導しながら、前記エンドエフェクタの計画された姿勢に対する前記エンドエフェクタの姿勢を決定し、前記エンドエフェクタの計画された姿勢と前記決定された姿勢との比較に基づいて、ナビゲーション情報を生成するように動作する少なくとも１つのコントローラを含み、
前記ナビゲーション情報は、前記外科手術器具が、患者に向かって、計画された軌道に沿って前記エンドエフェクタによって誘導されるように、前記計画された姿勢と一致するように前記エンドエフェクタを移動させる必要のある場所を示し、
動的参照アレイ（ＤＲＡ）がＸＲヘッドセット上に形成され、前記外科手術ガイダンスシステムが前記ＸＲヘッドセットの前記ＤＲＡを追跡し、目標の解剖学的構造体に関連する前記ＤＲＡの姿勢を決定する、
外科手術ガイダンスシステム。
【請求項2】
前記機械学習モデルが、前記候補患者の前記脊椎における外科的埋め込みのために提案された脊椎インプラントデバイスのタイプおよび寸法サイジングを特定する前記外科手術計画を出力するために、前記術前データを処理するように動作する、
請求項１に記載の外科手術ガイダンスシステム。
【請求項3】
前記機械学習モデルが、前記候補患者の前記脊椎における前記脊椎インプラントデバイスの外科的埋め込みから、前記候補患者について予測される外科手術アウトカムの成功の推定レベルのさらなる特定を有する前記外科手術計画を出力するために、前記術前データを処理するようにさらに動作し、外科手術アウトカムの成功の前記推定レベルが、前記候補患者の前記脊椎における前記脊椎インプラントデバイスの外科的埋め込みによって得られる、最も可能性の高い患者報告アウトカム尺度または脊椎変形矯正測定値を示す、請求項２に記載の外科手術ガイダンスシステム。
【請求項4】
前記機械学習モデルが、前記候補患者の前記脊椎における前記脊椎インプラントデバイスの埋め込みのための計画された姿勢のさらなる特定を有する前記外科手術計画を出力するために、前記術前データを処理するようにさらに動作する、請求項２に記載の外科手術ガイダンスシステム。
【請求項5】
前記外科手術計画によって特定された前記候補患者の前記脊椎の前記計画された姿勢への前記脊椎インプラントデバイスの埋め込みのための計画された軌道を決定する、カメラ追跡システムから、前記候補患者の前記脊椎に前記脊椎インプラントデバイスを埋め込むために使用されている外科手術器具の現在の姿勢を得る、
前記外科手術器具の前記現在の姿勢と前記計画された軌道との比較に基づいて、前記計画された軌道と一致させるためにどのように前記外科手術器具を姿勢決めする必要があるかを示す、ナビゲーション情報を生成する、および
前記ナビゲーション情報の少なくとも第１の部分をディスプレイデバイスに提供する、ようにさらに動作する、請求項４に記載の外科手術ガイダンスシステム。
【請求項6】
前記外科手術器具の動きを誘導するエンドエフェクタを有するロボットアームの動きを制御するために、前記ナビゲーション情報の少なくとも第２の部分を、外科手術ロボットに提供するようにさらに動作し、前記ナビゲーション情報の前記少なくとも第２の部分が、前記候補患者の前記脊椎における前記脊椎インプラントデバイスの前記計画された姿勢への前記脊椎インプラントデバイスの埋め込みのために、前記外科手術器具が前記計画された軌道に沿って前記エンドエフェクタによって誘導されるように、前記エンドエフェクタを移動させる必要のある場所を示す、請求項５に記載の外科手術ガイダンスシステム。
【請求項7】
前記機械学習モデルが、スペーサタイプの前記脊椎インプラントデバイスの挿入を可能にするために除去されるべき前記患者の椎間板の一部分のさらなる特定を有する前記外科手術計画を出力するために、前記術前データを処理するようにさらに動作する、請求項２に記載の外科手術ガイダンスシステム。
【請求項8】
前記脊椎インプラントデバイスの三次元モデルを得るために、前記外科手術計画を処理して、エクステンデッドリアリティ（ＸＲ）ヘッドセット内の前記ディスプレイデバイスを介して表示するための前記三次元モデルのグラフィカル表現を、前記候補患者のオーバーレイとして提供するようにさらに動作する、請求項２に記載の外科手術ガイダンスシステム。
【請求項9】
前記機械学習モデルをトレーニングするために使用され、前記以前の患者の外科手術のアウトカムを特徴付ける前記フィードバックデータが、患者報告アウトカム尺度または脊椎変形矯正測定値を特徴付ける術後フィードバックデータを含む、請求項１に記載の外科手術ガイダンスシステム。
【請求項10】
前記機械学習モデルをトレーニングするために使用される前記フィードバックデータが、前記以前の患者に対して行われた脊椎の外科的処置のタイプ、ならびに前記以前の患者に埋め込まれた脊椎インプラントデバイスのタイプおよび寸法サイジングを特徴付ける、請求項１に記載の外科手術ガイダンスシステム。
【請求項11】
前記機械学習モデルをトレーニングするために使用される前記フィードバックデータが、前記以前の患者に埋め込まれたときに、前記脊椎インプラントデバイスとともに使用された骨移植量をさらに特徴付ける、請求項１０に記載の外科手術ガイダンスシステム。
【請求項12】
前記機械学習モデルをトレーニングするために使用される前記フィードバックデータが、術前段階中に計画された前記以前の患者の脊椎矯正の計画されたレベルと、術中段階または術後段階中に測定された前記以前の患者の脊椎矯正の達成されたレベルとの間の偏差、
術前段階中に計画された、計画された外科的処置と、術中段階中に前記以前の患者に対して行われた、使用された外科的処置との間の偏差、
術前段階中に計画された脊椎インプラントデバイスのタイプおよび寸法サイジングと、術中段階中に前記以前の患者に埋め込まれた脊椎インプラントデバイスの使用されたタイプおよび寸法サイジングとの間の偏差、
術前段階中に計画された前記以前の患者の前記脊椎への固定のための脊椎インプラントデバイスの計画された姿勢と、術中段階中の前記以前の患者の前記脊椎への固定後の前記脊椎インプラントデバイスの使用された姿勢との間の偏差、および
術前段階中に計画された前記以前の患者の前記脊椎への前記脊椎インプラントデバイスの埋め込みのための計画された挿入軌道と、術中段階中に前記以前の患者の前記脊椎に埋め込まれたときに、前記脊椎インプラントデバイスがそれに沿って移動された、使用された軌道との間の偏差、のうちの少なくとも１つをさらに特徴付ける、請求項１０に記載の外科手術ガイダンスシステム。
【請求項13】
定義されたルールを満たす類似性を有する前記フィードバックデータのサブセットを形成する、前記各サブセット内で、前記フィードバックデータの少なくともいくつかの値の間の相関関係を特定する、および
前記各サブセットについて特定された前記相関関係に基づいて、前記機械学習モデルをトレーニングする、ようにさらに動作する、請求項１に記載の外科手術ガイダンスシステム。
【請求項14】
前記機械学習モデルが、入力ノードを有する入力層、各々が複数の結合ノードを有する一連の隠れ層、および出力ノードを有する出力層を含むニューラルネットワーク構成要素と、
前記ニューラルネットワーク構成要素の前記入力ノードのうちの異なる入力ノードに、前記術前データの異なるエントリを提供し、前記ニューラルネットワーク構成要素の前記出力ノードの出力に基づいて、前記外科手術計画を生成するように動作する少なくとも１つの処理回路と、を含む、請求項１に記載の外科手術ガイダンスシステム。
【請求項15】
フィードバックトレーニング構成要素をさらに含み、前記フィードバックトレーニング構成要素が、前記フィードバックデータの値に基づいて、前記ニューラルネットワーク構成要素の前記結合ノードによって使用される重みおよび／または発火閾値を適応させるように動作する、請求項１４に記載の外科手術ガイダンスシステム。
【請求項16】
外科手術システムであって、前記外科手術システムが、脊椎手術中のコンピュータ支援ナビゲーションのための外科手術ガイダンスシステムであって、前記外科手術ガイダンスシステムが、
脊椎手術を受けた複数の以前の患者の各々について、分散型ネットワークコンピュータによって提供される、前記以前の患者の脊椎の幾何学的構造を特徴付け、前記以前の患者に対して行われた外科的処置を特徴付け、前記以前の患者の脊椎に外科的に埋め込まれたインプラントデバイスを特徴付け、前記以前の患者の外科手術アウトカムを特徴付ける、フィードバックデータを得る、
前記フィードバックデータに基づいて、機械学習モデルをトレーニングする、
計画された外科手術の候補患者の脊椎の幾何学的構造を特徴付ける術前データを、前記分散型ネットワークコンピュータのうちの１つから得る、および
前記機械学習モデルを介した前記術前データの処理に基づいて、前記候補患者の前記脊椎における外科的埋め込みのための脊椎インプラントデバイスのタイプおよび寸法サイジングを特定し、前記脊椎インプラントデバイスの埋め込みのための計画された軌道を特定する、前記候補患者の外科手術計画を生成する、ように動作する、外科手術ガイダンスシステムと、
前記候補患者の前記脊椎に前記脊椎インプラントデバイスを埋め込むために使用されている外科手術器具の現在の姿勢を決定するように動作する追跡システムと、
前記外科手術器具の前記現在の姿勢と前記計画された軌道との比較に基づいたナビゲーション情報を生成するように動作する少なくとも１つのコントローラであって、前期ナビゲーション情報が、前記計画された軌道と一致させるためにどのように前記外科手術器具を姿勢決めする必要があるかを示し、前記ナビゲーション情報をディスプレイデバイスに提供する、コントローラと、を含み、
前記外科手術ガイダンスシステムは、前記ディスプレイデバイスを含むエクステンデッドリアリティ（ＸＲ）ヘッドセットを含み、
前記ＸＲヘッドセットは、視野内で実施されるユーザのハンドジェスチャの識別のためにキャプチャすることによって、ジェスチャセンサとして動作する１つまたは複数のカメラを含み、
前記ユーザは、片手または両手のハンドジェスチャを使って前記外科手術計画を操作してもよく、
動的参照アレイ（ＤＲＡ）が前記ＸＲヘッドセット上に形成され、前記外科手術ガイダンスシステムが前記ＸＲヘッドセットの前記ＤＲＡを追跡し、目標の解剖学的構造体に関連する前記ＤＲＡの姿勢を決定する、
外科手術システム。
【請求項17】
前記少なくとも１つのコントローラが、前記計画された軌道に沿って前記外科手術器具のオペレータの動きを誘導するために、前記ＸＲヘッドセットの前記ディスプレイデバイスに提供される前記ナビゲーション情報のグラフィカル表現を生成するように動作する、請求項１６に記載の外科手術システム。
【請求項18】
外科手術ロボットであって、ロボット基部と、
前記ロボット基部に接続されたロボットアームであって、前記ロボットアームが、前記外科手術器具の動きを誘導するエンドエフェクタに接続するように構成されている、ロボットアームと、
前記ロボット基部に対して前記ロボットアームを移動させるように動作可能に接続された少なくとも１つのモータと、を含む、外科手術ロボットをさらに含み、
前記少なくとも１つのコントローラが、前記少なくとも１つのモータに接続され、
前記脊椎インプラントデバイスの埋め込み中に、前記計画された軌道に沿って前記外科手術器具の動きを誘導しながら、前記エンドエフェクタの計画された姿勢に対する前記エンドエフェクタの姿勢を決定する、および
前記エンドエフェクタの前記計画された姿勢と前記決定された姿勢との比較に基づいて、前記外科手術器具が、前記患者に向かって、前記計画された軌道に沿って前記エンドエフェクタによって誘導されるように、前記計画された姿勢と一致するように前記エンドエフェクタを移動させる必要のある場所を示す、ナビゲーション情報を生成する、ように動作する、請求項１６に記載の外科手術システム。
【請求項19】
前記少なくとも１つのコントローラが、前記エンドエフェクタの前記決定された姿勢が前記計画された姿勢と一致するように、前記ナビゲーション情報に基づいて、前記エンドエフェクタを再位置決めするために、前記少なくとも１つのモータの動きを制御するようにさらに動作する、請求項１８に記載の外科手術システム。
【請求項20】
前記少なくとも１つのコントローラが、前記エンドエフェクタの前記決定された姿勢が前記計画された姿勢と一致するように、前記ナビゲーション情報を、前記エンドエフェクタのオペレータの動きを視覚的に誘導するための表示のために前記ディスプレイデバイスに提供するようにさらに動作する、請求項１８に記載の外科手術システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療デバイスおよびシステムに関し、より具体的には、脊椎手術のためにユーザおよび／または外科手術ロボットにナビゲーション情報を提供することに関する。
【背景技術】
【0002】
脊椎動物の脊椎は、骨格の軸であり、体の他の部分に構造的な支持を提供する。脊椎の隣接する椎骨は、軸骨格の椎骨分節間の制御された運動を可能にする機械的なクッションとして機能する椎間板によって支持されている。椎間板は、髄核（「核」）、線維輪（「輪」）、および２つの椎骨終板の３つの構成要素で構成される独特の構造である。
【0003】
椎間板は、外傷、病気、変性欠損、または長期間にわたる摩耗により、変位または損傷する可能性がある。例えば、椎間板ヘルニアは、線維輪が弱くなったり裂けたりして、核の内部組織が永久に膨らんだときに発生する。ヘルニア状態の、または「滑った」核組織の塊は、脊髄神経を圧迫し、脚の痛み、筋肉制御の喪失、さらには麻痺を引き起こす可能性がある。さらに、場合によっては、変性した核は、その水結合能力を失い、収縮する可能性があり、それによって核の高さが減少し、特定の領域で輪が座屈する原因となる。
【0004】
椎間板ヘルニアまたは変性によって引き起こされる腰痛を軽減するために、椎間板を除去して、残りの骨の生体構造の融合を促進するインプラントと置換することができる。スペーサまたはケージ本体などのインプラントは、広範囲の負荷条件下で脊椎を支持するのに十分な強度が必要である。インプラントはまた、外科医によって脊椎に位置決めされた後も、所定の位置に留まる可能性が高いように構成する必要がある。さらに、インプラントは、低侵襲的に、または少なくとも比較的小さな切開を通して所望の位置に送達することができなければならない。
【0005】
外科手術アウトカムの成功の程度は、特定の患者のニーズに最適な外科手術計画を設計および実施する外科医の能力に依存する。しかしながら、医学的に受け入れられている脊椎の外科的処置と多数の利用可能なインプラントのタイプおよび構成との無数の組み合わせから選択する際に、過去の診療経験を患者の特定の脊椎形状および矯正ニーズに適応させる外科医の能力には固有の限界があることから、最適な設計および実装を達成できない場合がある。
【0006】
したがって、これらの困難に対処する改善されたプロセスの必要性が残っている。
【発明の概要】
【0007】
本開示のいくつかの実施形態は、脊椎手術中のコンピュータ支援ナビゲーションのための外科手術ガイダンスシステムを対象としている。外科手術ガイダンスシステムは、脊椎手術を受けた複数の以前の患者の各々について、分散型ネットワークコンピュータによって提供されるフィードバックデータを得るように動作する。フィードバックデータは、以前の患者の脊椎の幾何学的構造を特徴付け、以前の患者に行われた外科的処置を特徴付け、以前の患者の脊椎に外科的に埋め込まれたインプラントデバイスを特徴付け、以前の患者の外科手術アウトカムを特徴付ける。外科手術ガイダンスシステムは、フィードバックデータに基づいて、機械学習モデルをトレーニングするように動作する。外科手術ガイダンスシステムは、計画された外科手術の候補患者の脊椎の幾何学的構造を特徴付ける術前データを、分散型ネットワークコンピュータのうちの１つから得て、機械学習モデルを介した術前データの処理に基づいて、候補患者の外科手術計画を生成し、ユーザによる視覚的レビューのために、外科手術計画の少なくとも一部分をディスプレイデバイスに提供する。
【0008】
いくつかの他の実施形態は、外科手術ガイダンスシステム、追跡システム、および少なくとも１つのコントローラを含む外科手術システムを対象としている。外科手術ガイダンスシステムは、脊椎手術を受けた複数の以前の患者の各々について、分散型ネットワークコンピュータによって提供されるフィードバックデータを得て、フィードバックデータに基づいて、機械学習モデルをトレーニングし、計画された外科手術の候補患者の脊椎の幾何学的構造を特徴付ける術前データを、分散型ネットワークコンピュータのうちの１つから得て、機械学習モデルを介した術前データの処理に基づいて、候補患者の外科手術計画を生成するように動作する。外科手術計画は、候補患者の脊椎における外科的埋め込みのための脊椎インプラントデバイスのタイプおよび寸法サイジングを特定し、脊椎インプラントデバイスの埋め込みのための計画された軌道を特定する。追跡システムは、候補患者の脊椎に脊椎インプラントデバイスを埋め込むために使用されている外科手術器具の現在の姿勢を決定するように動作する。少なくとも１つのコントローラは、外科手術器具の現在の姿勢と計画された軌道との比較に基づいて、計画された軌道と一致させるためにどのように外科手術器具を姿勢決めする必要があるかを示すナビゲーション情報を生成し、ナビゲーション情報をディスプレイデバイスに提供するように動作する。
【0009】
外科手術システムは、ディスプレイデバイスを含むエクステンデッドリアリティ（ＸＲ）ヘッドセットをさらに含み得る。少なくとも１つのコントローラは、計画された軌道に沿って外科手術器具のオペレータの動きを誘導するために、ＸＲヘッドセットのディスプレイデバイスに提供されるナビゲーション情報のグラフィカル表現を生成するように動作し得る。
【0010】
外科手術システムは、ロボット基部と、ロボット基部に接続されたロボットアームであって、ロボットアームは、外科手術器具の動きを誘導するエンドエフェクタに接続するように構成されている、ロボットアームと、ロボット基部に対してロボットアームを移動させるように動作可能に接続された少なくとも１つのモータと、を含む、外科手術ロボットをさらに含み得る。少なくとも１つのコントローラは、少なくとも１つのモータに接続され、脊椎インプラントデバイスの埋め込み中に、計画された軌道に沿って外科手術器具の動きを誘導しながら、エンドエフェクタの計画された姿勢に対するエンドエフェクタの姿勢を決定し、エンドエフェクタの計画された姿勢と決定された姿勢との比較に基づいて、ナビゲーション情報を生成するように動作し、ナビゲーション情報は、外科手術器具が、患者に向かって、計画された軌道に沿ってエンドエフェクタによって誘導されるように、計画された姿勢と一致するようにエンドエフェクタを移動させる必要のある場所を示す。
【0011】
実施形態による他の外科手術システム、外科手術ガイダンスシステム、ならびに対応する方法およびコンピュータプログラム製品は、以下の図面および詳細な説明を検討する際に当業者には明らかであるか、または明らかになるであろう。かかる全ての外科手術システム、外科手術ガイダンスシステム、ならびに対応する方法およびコンピュータプログラム製品は、本説明に含まれ、本開示の範囲内にあり、添付の特許請求の範囲によって保護されることが意図される。さらに、本明細書に開示される全ての実施形態は、別個に実装され得るか、または任意の方法および／もしくは組み合わせで組み合わされ得ることが意図される。
【図面の簡単な説明】
【0012】
本開示のさらなる理解を提供するために含まれ、かつ本出願に組み込まれてその一部を構成する添付の図面は、本発明の概念の特定の非限定的な実施形態を示す。図面では、以下のとおりである。
【図1】本開示のいくつかの実施形態による外科手術システムの実施形態を示す。
【図4】ロボットアームに接続可能であり、本開示のいくつかの実施形態に従って構成されている、エンドエフェクタの一実施形態を示す。
【図5】外科手術ロボットおよびカメラシステムが患者の周りに配設されている、医療手術を示す。
【図8】本開示のいくつかの実施形態による、外科手術ロボットのいくつかの電気構成要素のブロック図を示す。
【図9】本開示のいくつかの実施形態による、カメラ追跡システムおよび／または外科手術ロボットに動作可能に接続され得る、コンピュータプラットフォームに接続された撮像デバイスを含む、外科手術システムの構成要素のブロック図を示す。
【図10】本開示の様々な実施形態に従って、コンピュータプラットフォーム、撮像デバイスのうちの１つ以上、および／または外科手術ロボットに動作可能に接続され得るＸＲヘッドセットの電気的構成要素を示す。
【図11】本開示のいくつかの実施形態に従って、医療処置中に、外科手術器具を操作しているユーザに、ナビゲーション支援を提供するためのＸＲヘッドセットを通した例示的なビューを示す。
【図12】いくつかの実施形態に従って構成された外科手術ガイダンスシステム１２２０を使用するナビゲートされる外科手術ワークフローを示す。
【図13】術前段階、術中段階、および術後段階中の関連付けられたデータフローを有する外科手術ガイダンスシステムのブロック図を示し、いくつかの実施形態に従って、ユーザディスプレイおよびロボット外科手術システムに提供される外科手術ガイダンスが示されている。
【図14】いくつかの実施形態に従って、脊椎の椎間板間隙内の計画された姿勢への選択されたスペーサの挿入に適合された、選択された外科手術器具の使用を含む計画された外科的処置を示す。
【図15】いくつかの実施形態に従って、脊椎の椎間板間隙内の計画された姿勢への選択されたスペーサの挿入に適合された、選択された外科手術器具の使用を含む計画された外科的処置を示す。
【図16】いくつかの実施形態に従って、外科手術ガイダンスシステム、コンピュータプラットフォーム、カメラ追跡システム構成要素、および外科手術ロボット４を含み得る外科手術システムによって実行され得る動作のフローチャートを示す。
【発明を実施するための形態】
【0013】
ここで、本発明の概念の例示的な実施形態が示されている添付の図面を参照して、本発明の概念を以下でより完全に説明する。しかしながら、本発明の概念は、多くの異なる形態で具体化されてもよく、本明細書に記載される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、様々な本発明の概念の範囲を当業者に完全に伝えるように提供される。これらの実施形態が相互に排他的ではないことにも留意されたい。ある実施形態からの構成要素が、別の実施形態に存在するか、または別の実施形態で使用されると暗に想定され得る。
【0014】
本明細書に開示される様々な実施形態は、脊椎手術を計画および実施する場合にナビゲートされたガイダンスを提供する外科手術システムの動作の改善を対象としている。機械学習（ＭＬ）ガイダンスシステムが、術前段階の計画中、術中段階の外科的処置中、および術後段階の評価中に、患者にカスタマイズされたガイダンスを提供する。中央データベースには、以前にＭＬガイダンスシステムを使用した、または現在使用している全ての患者の各段階で得られるデータが記憶されている。ＭＬシステムは、中央データベースからのデータに基づいて時間の経過とともにトレーニングされるため、患者にカスタマイズされたガイダンスにより、外科手術アウトカムが改善される。
【0015】
図１は、本開示のいくつかの実施形態による外科手術システム２の実施形態を示す。整形外科手術または他の外科的処置の実施前に、例えば、図１０のＣアーム撮像デバイス１０４または図１１のＯアーム撮像デバイス１０６を使用して、またはコンピュータ断層撮影（ＣＴ）画像もしくはＭＲＩなどの別の医療撮像デバイスから、患者の計画された外科手術エリアの三次元（「３Ｄ」）画像スキャンを行うことができる。このスキャンは、術前（例えば、最も一般的には処置の数週間前）または術中に行うことができる。しかしながら、外科手術システム２の様々な実施形態に従って、任意の既知の３Ｄ画像スキャンまたは２Ｄ画像スキャンを使用することができる。画像スキャンは、カメラ追跡システム構成要素６を含み得る外科手術システム９００のコンピュータプラットフォーム９１０（図９）、外科手術ロボット４（例えば、図１のロボット２）、撮像デバイス（例えば、Ｃ－Ａｒｍ １０４、Ｏ－Ａｒｍ １０６など）、および患者の画像スキャンを格納するための画像データベース９５０など、外科手術システム２と通信するコンピュータプラットフォームに送信される。コンピュータプラットフォーム９１０（図９）のディスプレイデバイス上の画像スキャン（複数可）をレビューする外科医は、患者の解剖学的構造体に対する外科的処置中に使用される外科手術器具の目標姿勢を定義する外科手術計画を生成する。器具とも呼ばれる例示的な外科手術器具として、ドリル、スクリュードライバ、のこぎり、開創器、および、スクリュー、スペーサ、椎体間固定デバイス、プレート、ロッドなどのインプラントを挙げることができるが、これらに限定されるものではない。いくつかの実施形態では、目標平面を画定する外科手術平面は、ディスプレイデバイスに表示される３Ｄ画像スキャンで計画される。
【0016】
本明細書で使用される場合、「姿勢」という用語は、別の物体および／または画定された座標系に対する、ある物体（例えば、動的参照アレイ、エンドエフェクタ、外科手術器具、解剖学的構造など）の位置および／または回転角度を指す。したがって、姿勢は、別の物体および／または画定された座標系に対するある物体の多次元位置のみに基づいて、別の物体および／または画定された座標系に対する物体の多次元回転角度のみに基づいて、または多次元位置と多次元回転角度との組み合わせに基づいて画定され得る。したがって、「姿勢」という用語は、位置、回転角度、またはそれらの組み合わせを指すために使用される。
【0017】
図１の外科手術システム２は、例えば、器具を保持すること、器具を位置合わせすること、器具を使用すること、器具を誘導すること、および／または器具を使用するために位置決めすることによって、医療処置中に外科医を支援することができる。いくつかの実施形態では、外科手術システム２は、外科手術ロボット４およびカメラ追跡システム構成要素６を含む。外科手術ロボット４とカメラ追跡システム構成要素６とを機械的に結合する機能によって、外科手術システム２を単一ユニットとして操作し、移動させることが可能になり、外科手術システム２は、面積の小さいフットプリントを有することが可能になり、狭い通路および曲がり角を通る動きをより容易にすることが可能になり、ならびにより狭い面積内のストレージを可能にすることができる。
【0018】
整形外科手術処置は、外科手術システム２を医療ストレージから医療処置室に移動させることで開始することができる。外科手術システム２は、出入口、ホール、およびエレベータから医療処置室に到達するまで操作することができる。医療処置室内で、外科手術システム２は、２つの別個の異なるシステムである、外科手術ロボット４およびカメラ追跡システム６に、物理的に分離され得る。外科手術ロボット４は、医療従事者を適切に支援するために、任意の好適な場所で患者に隣接して位置決めされ得る。カメラ追跡システム構成要素６は、患者の基部、患者の肩、または、外科手術ロボット４および患者の部分の現在の姿勢と追跡位置の姿勢の移動とを追跡するのに好適な任意の他の場所に位置決めされ得る。外科手術ロボット４およびカメラ追跡システム構成要素６は、内蔵電力源によって電力供給され、かつ／または外壁コンセントに差し込まれ得る。
【0019】
外科手術ロボット４は、医療処置中に器具を保持および／または使用することによって外科医を支援するために使用され得る。器具を適切に利用および保持するために、外科手術ロボット４は、適切に機能する複数のモータ、コンピュータ、および／またはアクチュエータに依存することができる。図１に示されるように、ロボット本体８は、複数のモータ、コンピュータ、および／またはアクチュエータが外科手術ロボット４内に固設され得る構造体として作用し得る。ロボット本体８はまた、ロボット伸縮式支持アーム１６のための支持を提供し得る。ロボット本体８のサイズは、取り付けられた構成要素を支持する強固なプラットフォームを提供することができ、かつ取り付けられた構成要素を動作させることができる複数のモータ、コンピュータ、および／またはアクチュエータを収容し、隠し、かつ保護することができる。
【0020】
ロボット基部１０は、外科手術ロボット４の下部支持として作用し得る。いくつかの実施形態では、ロボット基部１０は、ロボット本体８を支持することができ、かつロボット本体８を複数の動力付きホイール１２に取り付けることができる。ホイールへのこの取り付けにより、ロボット本体８が、空間内を効率的に移動することを可能にし得る。ロボット基部１０は、ロボット本体８の長さおよび幅に及び得る。ロボット基部１０は、約２インチ～約１０インチの高さであり得る。ロボット基部１０は、動力付きホイール１２を被覆、保護、および支持することができる。
【0021】
いくつかの実施形態では、図１に示されるように、少なくとも１つの動力付きホイール１２をロボット基部１０に取り付けることができる。動力付きホイール１２は、任意の場所でロボット基部１０に取り付けられ得る。各個々の動力付きホイール１２は、任意の方向に垂直軸を中心として回転することができる。モータは、動力付きホイール１２の上、その中、またはそれに隣接して配設され得る。このモータにより、外科手術システム２を任意の場所へと操作し、外科手術システム２を安定化、および／または水平にすることが可能となり得る。動力付きホイール１２内またはそれに隣接して位置するロッドは、モータによって表面に押し込まれ得る。図示されていないロッドは、外科手術システム２を持ち上げるのに好適な任意の金属から作製され得る。ロッドは、外科手術システム２を持ち上げることができる動力付きホイール１０を、患者に対して外科手術システム２の向きを水平にするか、または別様に固定するのに必要な任意の高さまで持ち上げることができる。外科手術システム２の重量は、各ホイール上のロッドによって小さな接触面積で支持され、外科手術システム２が医療処置中に移動することを防ぐ。この堅固な位置決めは、物体および／または人々が偶発的に外科手術システム２を移動させることを防ぎ得る。
【0022】
外科手術システム２の移動を、ロボットレール材１４を使用して容易にすることができる。ロボットレール材１４は、ロボット本体８を把持することなく、外科手術システム２を移動させる能力を人に提供する。図１に示されるように、ロボットレール材１４は、ロボット本体８の長さ方向にロボット本体８よりも短く延びていてもよく、および／またはロボット本体８の長さよりも長く延びていてもよい。ロボットレール材１４は、物体および／または従事者がロボット本体８に接触すること、ぶつかること、または衝突することを防ぐことができる、ロボット本体８に対する保護をさらに提供する。
【0023】
ロボット本体８は、以下で「ＳＣＡＲＡ」と呼ばれる、選択的コンプライアンス多関節ロボットアームに支持を提供することができる。ＳＣＡＲＡ ２４は、ロボットアームの再現性およびコンパクトさゆえに、外科手術システム２内で使用するのに有益であり得る。ＳＣＡＲＡのコンパクトさは、医療専門家が過度の動き回りおよび面積を限定することなく医療処置を行うことを可能にし得る追加のスペースを医療処置内に提供することができる。ＳＣＡＲＡ ２４は、ロボット伸縮式支持体１６、ロボット支持アーム１８、および／またはロボットアーム２０を備え得る。ロボット伸縮式支持体１６は、ロボット本体８に沿って配置され得る。図１に示されるように、ロボット伸縮式支持体１６は、ＳＣＡＲＡ ２４およびディスプレイ３４に支持を提供することができる。いくつかの実施形態では、ロボット伸縮式支持体１６は、垂直方向に延在および収縮することができる。ロボット伸縮式支持体１６の本体は、本体に加えられる応力および重量を支持するように構成された任意の幅および／または高さであり得る。
【0024】
いくつかの実施形態では、医療従事者は、医療従事者によって提出されたコマンドを介してＳＣＡＲＡ ２４を移動させることができる。コマンドは、以下にさらに詳細に説明するように、ディスプレイ３４、タブレット、および／またはＸＲヘッドセット（例えば、図９のヘッドセット９２０）で受信した入力から生じ得る。ＸＲヘッドセットは、医療従事者がディスプレイ３４またはタブレットなどの任意の他のディスプレイを参照する必要性を排除することができ、これにより、ディスプレイ３４および／またはタブレットなしでＳＣＡＲＡ ２４を構成することが可能になる。コマンドは、スイッチの押下および／または複数のスイッチの押下によって生成され得、および／または以下でさらに詳細に説明するように、ＸＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／または音声コマンドに基づいて生成され得る。
【0025】
起動アセンブリ６０は、スイッチおよび／または複数のスイッチを含み得る。起動アセンブリ６０は、移動コマンドをＳＣＡＲＡ ２４に送信して、オペレータがＳＣＡＲＡ ２４を手動で操作することを可能にするように動作可能であり得る。スイッチまたは複数のスイッチが押された場合、医療従事者は、適用された手の動きによってＳＣＡＲＡ ２４を移動する能力を有し得る。代替的または追加的に、オペレータは、以下にさらに詳細に説明するように、ＸＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／または音声コマンドによってＳＣＡＲＡ ２４の移動を制御することができる。さらに、ＳＣＡＲＡ ２４が移動するためのコマンドを受信していない場合、ＳＣＡＲＡ ２４は、従事者および／または他の物体による偶発的な移動を防ぐために、所定の位置にロックすることができる。所定の位置にロックすることにより、ＳＣＡＲＡ ２４は、エンドエフェクタ２６が医療処置中に外科手術器具を誘導することができる堅固なプラットフォームを提供する。
【0026】
ロボット支持アーム１８は、様々な機構によってロボット伸縮式支持体１６に接続され得る。いくつかの実施形態では、図１および図２に最もよく見られるように、ロボット支持アーム１８は、ロボット伸縮式支持体１６に対して任意の方向に回転する。ロボット支持アーム１８は、ロボット伸縮式支持体１６の周りで３６０度回転することができる。ロボットアーム２０は、任意の好適な位置で、ロボット支持アーム１８に対して任意の方向への回転を可能にする様々な機構によって、ロボット支持アーム１８に接続され得る。一実施形態では、ロボットアーム２０は、ロボット支持アーム１８に対して３６０度回転することができる。この自由回転により、オペレータは、外科手術計画に従ってロボットアーム２０を位置決めすることができる。
【0027】
図４および図５の受動的なエンドエフェクタ１００は、外科手術ロボット４によって位置決めされたロボットアーム２０のエンドエフェクタカプラ２２などの任意の適切な場所でロボットアーム２０に取り付けることができる。図示の受動的なエンドエフェクタ１００は、外科手術計画に従って、目標の患者の解剖学的構造（例えば、椎骨）に対して姿勢を取るようにロボットアーム２０を制御するナビゲーションシステムによって位置決めされるガイドチューブを含む。次に、外科医は、目標の患者の解剖学的構造に対して器具の適切な軌道を維持するガイドチューブを通して器具を挿入することができる。
【0028】
受動的なエンドエフェクタ１００には、動的参照アレイ５２が取り付けられていてもよい。本明細書で「ＤＲＡ」および「参照アレイ」とも呼ばれる動的参照アレイは、手術室内の従事者によって着用されている１つ以上のＸＲヘッドセット、エンドエフェクタ、外科手術ロボット、ナビゲートされる外科的処置における外科手術器具、および患者の解剖学的構造（例えば、骨）上に取り付けられ得るかまたは形成され得る剛体、マーカ、または他の指標であり得る。カメラ追跡システム構成要素６または他の３Ｄ位置特定システムと組み合わされるコンピュータプラットフォーム９１０は、ＤＲＡの姿勢（例えば、位置および回転の向き）をリアルタイムで追跡するように構成されている。ＤＲＡは、示されるボールの配列などの基準を含み得る。ＤＲＡの３Ｄ座標のこの追跡により、外科手術システム２は、図５の患者５０の目標の解剖学的構造体に関連する任意の多次元空間におけるＤＲＡの姿勢を決定することを可能にし得る。
【0029】
図１に示されるように、光インジケータ２８は、ＳＣＡＲＡ ２４の頂部上に位置決めされ得る。光インジケータ２８は、外科手術システム２が現在動作している「状況」を示すために、任意のタイプの光として照明し得る。いくつかの実施形態では、光は、光インジケータ２８の周りにリングを形成し得るＬＥＤ電球によって生成され得る。光インジケータ２８は、光インジケータ２８の全体にわたって光を輝かせることができる完全に透過性の材料を含み得る。光インジケータ２８は、下部ディスプレイ支持体３０に取り付けられ得る。図２に示されるように、下部ディスプレイ支持体３０により、オペレータが、ディスプレイ３４を任意の好適な場所まで操作することを可能にし得る。下部ディスプレイ支持体３０は、任意の好適な機構によって光インジケータ２８に取り付けられ得る。いくつかの実施形態では、下部ディスプレイ支持体３０は、光インジケータ２８を中心として回転することができるか、または光インジケータ２８に堅固に取り付けられ得る。上部ディスプレイ支持３２は、任意の好適な機構によって下部ディスプレイ支持体３０に取り付けられ得る。
【0030】
いくつかの実施形態では、タブレットをディスプレイ３４と併せて、および／またはディスプレイ３４なしで使用し得る。タブレットは、ディスプレイ３４の代わりに上部ディスプレイ支持体３２上に配設され得、医療手術中に上部ディスプレイ支持体３２から取り外し可能であり得る。さらに、タブレットは、ディスプレイ３４と通信することができる。タブレットは、任意の好適な無線および／または有線接続によって外科手術ロボット４に接続することができる場合がある。いくつかの実施形態では、タブレットは、医療手術中に外科手術システム２をプログラムおよび／または制御することができる場合がある。タブレットを用いて外科手術システム２を制御している場合、全ての入力および出力コマンドをディスプレイ３４上で複製することができる。タブレットの使用により、オペレータが、患者５０の周り、および／または外科手術ロボット４まで移動する必要なしに、外科手術ロボット４を操作することを可能にし得る。
【0031】
図３Ａおよび図５に示されるように、カメラ追跡システム構成要素６は、有線または無線の通信ネットワークを介して外科手術ロボット４と協働する。図１、図３、および図５を参照すると、カメラ追跡システム構成要素６は、外科手術ロボット４と同様のいくつかの構成要素を含むことができる。例えば、カメラ本体３６は、ロボット本体８に見られる機能を提供し得る。ロボット本体８は、カメラ４６がその上に取り付けられる補助追跡バーを提供し得る。ロボット本体８内の構造はまた、カメラ追跡システム構成要素６を動作させるために使用される電子機器、通信デバイス、および電源のための支持体も提供し得る。カメラ本体３６は、ロボット本体８と同じ材料で作製され得る。カメラ追跡システム構成要素６は、無線および／または有線のネットワークによってＸＲヘッドセット、タブレット、および／またはディスプレイ３４と直接通信して、ＸＲヘッドセット、タブレット、および／またはディスプレイ３４がカメラ追跡システム構成要素６の機能を制御することを可能にし得る。
【0032】
カメラ本体３６は、カメラ基部３８によって支持される。カメラ基部３８は、ロボット基部１０として機能し得る。図１の実施形態では、カメラ基部３８は、ロボット基部１０よりも幅広い場合がある。カメラ基部３８の幅により、カメラ追跡システム構成要素６が、外科手術ロボット４と接続することを可能にし得る。図１に示されるように、カメラ基部３８の幅は、ロボット基部１０の外側に嵌合するのに十分な大きさであり得る。カメラ追跡システム構成要素６と外科手術ロボット４とが接続されている場合、カメラ基部３８の追加の幅により、外科手術システム２の追加の操作性と外科手術システム２の支持を可能にし得る。
【0033】
ロボット基部１０と同様に、複数の動力付きホイール１２がカメラ基部３８に取り付けられ得る。動力付きホイール１２により、カメラ追跡システム構成要素６が、ロボット基部１０および動力付きホイール１２の動作と同様に、患者５０に対して固定された向きを安定化して水平にするか、またはそれを設定することを可能にし得る。この安定化により、カメラ追跡システム構成要素６が医療処置中に移動することを防ぐことができ、図３Ａおよび図５に示されるように、補助追跡バー上のカメラ４６が、ＸＲヘッドセットおよび／または外科手術ロボット４に接続されたＤＲＡの追跡を見失うこと、および／または指定された面積５６内の解剖学的構造体５４および／または器具５８に接続された１つ以上のＤＲＡ５２の追跡を見失うことを防ぐことができる。追跡のこの安定性と維持は、カメラ追跡システム構成要素６で効果的に動作する外科手術ロボット４の能力を強化する。さらに、幅広いカメラ基部３８は、カメラ追跡システム構成要素６に追加の支持を提供し得る。具体的には、図３Ａおよび図５に示されるように、幅広いカメラ基部３８は、カメラ４６が患者の上に配設された場合に、カメラ追跡システム構成要素６が転倒するのを防ぎ得る。
【0034】
カメラ伸縮式支持体４０は、補助追跡バー上でカメラ４６を支持し得る。実施形態では、伸縮式支持体４０は、カメラ４６を垂直方向に上下に移動させる。カメラハンドル４８は、任意の好適な位置でカメラ伸縮式支持体４０に取り付けられ得、オペレータが医療手術の前にカメラ追跡システム構成要素６を計画された位置に移動させることを可能にするように構成され得る。いくつかの実施形態では、カメラハンドル４８を使用して、カメラ伸縮式支持体４０を下降および上昇させる。カメラハンドル４８は、ボタン、スイッチ、レバー、および／またはそれらの任意の組み合わせの押下によって、カメラ伸縮式支持体４０の上昇および下降を実施し得る。
【0035】
下部カメラ支持アーム４２は、任意の好適な場所でカメラ伸縮式支持体４０に取り付けられ得、実施形態では、図１に示されるように、下部カメラ支持アーム４２は、伸縮式支持体４０の周りで３６０度回転することができる。この自由な回転により、オペレータが、カメラ４６を任意の好適な場所に位置決めすることを可能にし得る。下部カメラ支持アーム４２は、任意の好適な機構によって伸縮式支持体４０に接続され得る。下部カメラ支持アーム４２を使用して、カメラ４６のための支持を提供することができる。カメラ４６は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けられ得る。カメラ４６は、カメラ４６と下部カメラ支持アーム４２との間の取り付け面積で任意の方向に旋回することができる。実施形態では、湾曲レール４４は、下部カメラ支持アーム４２上に配設され得る。
【0036】
湾曲レール４４は、下部カメラ支持アーム４２上の任意の好適な場所に配設され得る。図３Ａに示されるように、湾曲レール４４は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けられ得る。湾曲レール４４は、任意の好適な形状であり得、好適な形状は、三日月形、円形、卵形、楕円形、および／またはそれらの任意の組み合わせであり得る。カメラ４６は、湾曲レール４４に沿って移動可能に配置され得る。カメラ４６は、例えば、ローラ、ブラケット、ブレース、モータ、および／またはそれらの任意の組み合わせによって、湾曲レール４４に取り付けられ得る。示されていないモータおよびローラを使用して、湾曲レール４４に沿ってカメラ４６を移動させることができる。図３Ａに示されるように、医療処置中に、カメラ４６が１つ以上のＤＲＡを視認することを物体が阻止している場合、モータは、それに応答して湾曲レール４４に沿ってカメラ４６を移動させ得る。この電動化された動きにより、カメラ４６が、カメラ追跡システム構成要素６を移動させることなく、物体によってもはや妨げられない新たな位置に移動することを可能にし得る。カメラ４６が１つ以上の追跡されるＤＲＡを視認することが妨げられている間、カメラ追跡システム構成要素６は、停止信号を外科手術ロボット４、ＸＲヘッドセット、ディスプレイ３４、および／またはタブレットに送信することができる。停止信号は、カメラ４６が追跡されるＤＲＡ５２を再取得するまで、および／またはＸＲヘッドセットを装着しているおよび／またはディスプレイ３４および／またはタブレットを視認しているオペレータに警告することができるまで、ＳＣＡＲＡ ２４が移動することを防ぐことができる。このＳＣＡＲＡ ２４は、カメラ追跡システムがＤＲＡの追跡を再開することができるまで、ベースおよび／またはエンドエフェクタカプラ２２のさらなる移動を停止することによって、停止信号の受信に応答するように構成され得る。
【0037】
エンドエフェクタカプラ２２は、鞍関節と、接続された受動的なエンドエフェクタとの間に介在するロードセルを含み得る。ロードセルは、力を検出および測定するために使用される任意の適切な器具であり得る。いくつかの実施例では、ロードセルは、６軸ロードセル、３軸ロードセル、または単軸ロードセルであり得る。ロードセルを使用して、エンドエフェクタカプラ２２に加えられた力を追跡することができる。いくつかの実施形態では、ロードセルは、複数のモータ８５０、８５１、８５２、８５３、および／または８５４と通信することができる。ロードセルが力を感知すると、加えられた力の量に関する情報を、コントローラ８４６（図８）に配信することができる。コントローラ８４６は、ロードセルから力情報を取得し、それをスイッチアルゴリズムで処理することができる。スイッチアルゴリズムは、コントローラ８４６によって使用されて、モータドライバ８４２を制御する。モータドライバ８４２は、モータのうちの１つ以上の動作を制御する。モータドライバ８４２は、特定のモータに、例えば、モータを介してロードセルによって測定された等しい量の力を生成するように指示することができる。いくつかの実施形態では、生成される力は、コントローラ８４６によって指示されるように、複数のモータ、例えば８５０～８５４から生じ得る。さらに、モータドライバ８４２は、コントローラ８４６から入力を受信することができる。コントローラ８４６は、ロードセルによって感知された力の方向に関してロードセルから情報を受信することができる。コントローラ８４６は、運動コントローラアルゴリズムを使用して、この情報を処理することができる。このアルゴリズムを使用して、特定のモータドライバ８４２に情報を提供することができる。力の方向を複製するために、コントローラ８４６は、特定のモータドライバ８４２を起動および／または起動解除することができる。コントローラ８４６は、１つ以上のモータ、例えば、８５０～８５４のうちの１つ以上を制御して、ロードセルによって感知された力の方向に受動的なエンドエフェクタ１００の動きを誘導することができる。この力制御型の動きにより、オペレータが、ＳＣＡＲＡ ２４および受動的なエンドエフェクタ１００を楽に、および／またはほとんど抵抗なく移動することを可能にし得る。受動的なエンドエフェクタ１００の動きは、医療従事者が使用するために、受動的なエンドエフェクタ１００を任意の好適な姿勢（すなわち、画定された三次元（３Ｄ）直交基準軸に対する場所および角度の向き）に位置決めするように実施され得る。
【0038】
図３Ｂおよび図３Ｃは、図１の外科手術システムとともに使用され得るか、または外科手術ロボットとは独立して使用され得る別のカメラ追跡システム構成要素６’の正面図および等角図を示す。例えば、カメラ追跡システム構成要素６’は、ロボットガイダンスの使用を伴わないナビゲートされる外科手術を提供するために使用され得る。図３Ｂおよび図３Ｃのカメラ追跡システム構成要素６’と図３Ａのカメラ追跡システム構成要素６との違いの１つは、図３Ｂおよび図３Ｃのカメラ追跡システム構成要素６’が、コンピュータプラットフォーム９１０を運搬するハウジングを含むことである。コンピュータプラットフォーム９１０は、カメラ追跡動作を実施してＤＲＡを追跡し、外科手術ナビゲーション情報をディスプレイデバイス、例えば、ＸＲヘッドセットおよび／または他のディスプレイデバイスに提供するナビゲートされる外科手術動作を実施し、本明細書に開示される他の計算動作を実施するように構成され得る。したがって、コンピュータプラットフォーム９１０は、図１４の１つ以上のナビゲーションコンピュータなどのナビゲーションコンピュータを含むことができる。
【0039】
図６は、医療手術に使用される図５の外科手術システムの構成要素のブロック図を示す。図６を参照すると、補助追跡バー上の追跡カメラ４６は、ナビゲーション視野６００を有し、ここで、患者に取り付けられた参照アレイ６０２の姿勢（例えば、位置および向き）、外科手術器具に取り付けられた参照アレイ６０４、およびロボットアーム２０が追跡される。追跡カメラ４６は、以下に記載される動作を実施するように構成されたコンピュータプラットフォーム９１０を含む、図３Ｂおよび図３Ｃのカメラ追跡システム構成要素６’の一部であり得る。参照アレイは、既知のパターンで光を反射することによって追跡を可能にし、既知のパターンがデコードされて、外科手術ロボット４の追跡サブシステムによってそれぞれの姿勢を決定する。患者の参照アレイ６０２と補助追跡バー上の追跡カメラ４６との間の視線が（例えば、医療従事者、器具などによって）遮断された場合、外科手術器具のさらなるナビゲーションを実施することができない可能性があり、応答通知は、ロボットアーム２０および外科手術ロボット４のさらなる移動を一時的に停止し、ディスプレイ３４に警告を表示し、および／または医療従事者に可聴警告を提供することができる。ディスプレイ３４は、外科医６１０および助手６１２がアクセス可能であるが、視認するには、患者から顔をそらし、眼の焦点を異なる距離および場所に変化させる必要がある。ナビゲーションソフトウェアは、外科医からの音声指示に基づいて、技術従事者６１４によって制御され得る。
【0040】
図７は、外科手術システム２のナビゲーション機能を使用する場合に、外科手術ロボット４によって図５および図６のディスプレイ３４上に表示され得る様々なディスプレイ画面を示す。ディスプレイ画面は、開発された外科手術計画に基づいて、および／または追跡される参照アレイのポーズに基づいて、解剖学的構造に対してディスプレイに位置決めされた器具のモデルのグラフィック表現がオーバーレイされた患者の放射線写真、外科的処置の異なる段階および仮想的に投影されたインプラントの寸法パラメータ（例えば、長さ、幅、および／または直径）を制御するためのユーザ選択可能なメニューを含むことができるが、これに限定されない。
【0041】
ナビゲートされる外科手術のために、外科手術の術前計画、例えば、インプラント配置、および計画された外科的処置中の１人または複数のユーザにナビゲーション情報を提供するためのコンピュータプラットフォーム９１０への計画の電子転送を可能にする、以下に記載される様々な処理構成要素（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが提供される。
【0042】
ロボットナビゲーションのために、外科手術の術前計画、例えば、インプラント配置、および外科手術ロボット４への計画の電子転送を可能にする、以下に記載される様々な処理構成要素（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが提供される。外科手術ロボット４は、計画を使用して、ロボットアーム２０および接続されたエンドエフェクタ２６を誘導して、計画された外科的処置のステップのための患者の解剖学的構造に対する手術道具の目標ポーズを提供する。
【0043】
以下の様々な実施形態は、外科医６１０、助手６１２、および／または他の医療従事者が着用できる１つ以上のＸＲヘッドセットを使用して、外科手術ロボット、カメラ追跡システム６／６’、および／または手術室の他の医療機器から情報を受信し、および／またはこれらに制御コマンドを提供するための改善されたユーザインターフェースを提供することを対象とする。
【0044】
図８は、本開示のいくつかの実施形態による、外科手術ロボット４のいくつかの電気的構成要素のブロック図を示す。図８を参照すると、ロードセル（図示せず）は、エンドエフェクタカプラ２２に加えられた力を追跡するように構成されることができる。いくつかの実施形態では、ロードセルは、複数のモータ８５０、８５１、８５２、８５３、および／または８５４と通信することができる。ロードセルが力を感知する際、加えられた力の量に関する情報が、スイッチアレイおよび／または複数のスイッチアレイからコントローラ８４６に配信されることができる。コントローラ８４６は、ロードセルから力情報を取得し、力情報をスイッチアルゴリズムで処理することができる。スイッチアルゴリズムは、コントローラ８４６によって使用されて、モータドライバ８４２を制御する。モータドライバ８４２は、モータ８５０、８５１、８５２、８５３、および８５４のうちの１つ以上の動作を制御する。モータドライバ８４２は、特定のモータに、例えば、モータを介してロードセルによって測定された等しい量の力を生成するように指示することができる。いくつかの実施形態では、生成される力は、コントローラ８４６の指示どおりに、複数のモータ、例えば、８５０～８５４から生じることができる。さらに、モータドライバ８４２は、コントローラ８４６から入力を受信することができる。コントローラ８４６は、ロードセルによって感知された力の方向に関してロードセルから情報を受信することができる。コントローラ８４６は、運動コントローラアルゴリズムを使用して、この情報を処理することができる。このアルゴリズムを使用して、特定のモータドライバ８４２に情報を提供することができる。力の方向を再現するために、コントローラ８４６は、あるモータドライバ８４２を有効にする、かつ／または無効にすることができる。コントローラ８４６は、１つ以上のモータ、例えば８５０～８５４のうちの１つ以上を、ロードセルによって感知された力の方向にエンドエフェクタ２６の動きを誘導するように制御することができる。この力によって制御される運動により、オペレータが、ＳＣＡＲＡ ２４および受動的なエンドエフェクタ２６を楽に、かつ／またはほとんど抵抗なく移動することを可能にし得る。エンドエフェクタ２６の移動は、医療従事者が使用するために、エンドエフェクタ２６を任意の好適なポーズ（すなわち、規定された三次元（３Ｄ）直交基準軸に対する場所および角度の向き）に位置決めするように実行され得る。
【0045】
図５に最もよく例示されている起動アセンブリ６０は、エンドエフェクタカプラ２２を包むブレスレットの形態をなし得る。起動アセンブリ６０は、ＳＣＡＲＡ ２４の任意の部分、エンドエフェクタカプラ２２の任意の部分に位置することができ、医療従事者および／またはそれらの任意の組み合わせによって着用される（および無線で通信する）ことができる。起動アセンブリ６０は、一次ボタンおよび二次ボタンを含み得る。
【0046】
一次ボタンを押し下げることにより、オペレータが、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を移動することを可能にし得る。一実施形態によれば、一旦設置されると、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２は、オペレータがＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を移動させるように外科手術ロボット４をプログラムするまで移動しないことが可能であるか、または一次ボタンを使用して移動される。いくつかの例では、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２がオペレータコマンドに応答する前に、少なくとも２つの隣接しない一次起動スイッチを押し下げることを必要とすることができる。少なくとも２つの一次起動スイッチを押し下げることにより、医療処置中のＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２の偶発的な移動を防止し得る。
【0047】
一次ボタンによって起動されると、ロードセルは、オペレータ、すなわち、医療従事者によってエンドエフェクタカプラ２２に及ぼされる力の大きさおよび／または方向を測定し得る。この情報は、１つ以上のモータ、例えば、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を動かすのに使用され得るＳＣＡＲＡ ２４内の８５０～８５４のうちの１つ以上に転送され得る。ロードセルによって測定された力の大きさおよび方向に関する情報によって、１つ以上のモータ、例えば８５０～８５４のうちの１つ以上に、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２をロードセルによって感知されたのと同じ方向に移動させることができる。この力制御型の動きにより、モータはＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を移動させるのと同時に、オペレータがＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を移動させるために、オペレータが、楽に、かつ大きな労力なしに、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を移動することを可能にし得る。
【0048】
いくつかの例では、二次ボタンは、「選択」デバイスとしてオペレータによって使用されることができる。医療手術中、外科手術ロボット４は、ＸＲヘッドセット（単数または複数）９２０、ディスプレイ３４および／または光インジケータ２８によって特定の状況を医療従事者に通知することができる。ＸＲヘッドセット（複数可）９２０は各々、シースルーディスプレイ画面上に画像を表示して、シースルーディスプレイ画面を通して視認可能な現実世界の物体上にオーバーレイされる拡張現実画像を形成するように構成されている。医療従事者は、外科手術ロボット４によって、機能、モードを選択し、および／または外科手術システム２の状況を評価するように促されることがある。二次ボタンを１回押し下げることにより、特定の機能、モードが起動され、および／またはＸＲヘッドセット（単数または複数）９２０、ディスプレイ３４、および／もしくは光インジケータ２８を介して医療従事者に伝達される情報が確認されることができる。さらに、二次ボタンを素早く連続して複数回押し下げると、追加の機能、モードを起動し、および／またはＸＲヘッドセット（単数または複数）９２０、ディスプレイ３４、および／もしくは光インジケータ２８を介して医療従事者に伝達される情報を選択することができる。
【0049】
図８をさらに参照すると、外科手術ロボット４の電気的構成要素は、プラットフォームサブシステム８０２、コンピュータサブシステム８２０、運動制御サブシステム８４０、および追跡サブシステム８３０を含む。プラットフォームサブシステム８０２は、バッテリ８０６、配電モジュール８０４、コネクタパネル８０８、および充電ステーション８１０を含む。コンピュータサブシステム８２０は、コンピュータ８２２、ディスプレイ８２４、およびスピーカ８２６を含む。運動制御サブシステム８４０は、ドライバ回路８４２、モータ８５０、８５１、８５２、８５３、８５４、スタビライザ８５５、８５６、８５７、８５８、エンドエフェクタコネクタ８４４、およびコントローラ８４６を含む。追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含む。外科手術ロボット４はまた、取り外し可能なフットペダル８８０、および取り外し可能なタブレットコンピュータ８９０を含み得る。
【0050】
入力電力は、配電モジュール８０４に提供され得る電源を介して外科手術ロボット４に供給される。配電モジュール８０４は、入力電力を受け取り、かつ外科手術ロボット４の他のモジュール、構成要素、およびサブシステムに提供される異なる電源電圧を生成するように構成されている。配電モジュール８０４は、コンピュータ８２２、ディスプレイ８２４、スピーカ８２６、ドライバ８４２などの他の構成要素に、例えば、動力モータ８５０～８５４およびエンドエフェクタカプラ８４４に提供され、かつカメラコンバータ８３４および外科手術ロボット４の他の構成要素に提供され得る、異なる電圧供給をコネクタパネル８０８に提供するように構成され得る。配電モジュール８０４はまた、バッテリ８０６に接続されてもよく、バッテリは、配電モジュール８０４が入力電力から電力を受信しない場合の一時的な電源として役立つ。他の場合には、配電モジュール８０４は、バッテリ８０６を充電するのに役立つ場合がある。
【0051】
コネクタパネル８０８は、異なるデバイスおよび構成要素を外科手術ロボット４ならびに／または関連付けられた構成要素およびモジュールに接続するのに役立ち得る。コネクタパネル８０８は、異なる構成要素からの配線または接続部を受容する１つ以上のポートを含有し得る。例えば、コネクタパネル８０８は、外科手術ロボット４を他の機器に接地することができる接地端子ポートと、フットペダル８８０を接続するポートと、位置センサ８３２、カメラコンバータ８３４、およびＤＲＡ追跡カメラ８７０を含むことができる追跡サブシステム８３０に接続するポートとを有し得る。コネクタパネル８０８はまた、コンピュータ８２２などの他の構成要素へのＵＳＢ、Ｅｔｈｅｒｎｅｔ、ＨＤＭＩ通信を可能にする他のポートも含み得る。いくつかの実施形態によれば、コネクタパネル８０８は、１つ以上のＸＲヘッドセット９２０を追跡サブシステム８３０および／またはコンピュータサブシステム８２０に動作可能に接続するための有線および／または無線インターフェースを含むことができる。
【0052】
制御パネル８１６は、外科手術ロボット４の動作を制御し、かつ／またはオペレータが観察するための外科手術ロボット４からの情報を提供する、様々なボタンまたはインジケータを提供し得る。例えば、制御パネル８１６は、外科手術ロボット４の電源を入れたり切ったりするため、垂直支柱１６を持ち上げたり下降させたりするため、ならびにキャスタ１２と係合して外科手術ロボット４を物理的に移動しないようにロックするように設計されることができるスタビライザ８５５～８５８を持ち上げたり下降させたりするための、ボタンを含むことができる。他のボタンは、緊急事態の際に外科手術ロボット４を停止することができ、これにより、全てのモータ電力を取り除いて、機械的ブレーキを適用して、全ての運動の発生を停止することができる。コントロールパネル８１６は、ラインパワー表示器などの特定のシステム状態、またはバッテリ８０６の充電状態を手術者に通知する表示器も備え得る。いくつかの実施形態によれば、１つ以上のＸＲヘッドセット９２０は、例えばコネクタパネル８０８を介して、外科手術ロボット４の動作を制御するよう、かつ／またはＸＲヘッドセット９２０を装着している人による観察対象の外科手術ロボット４によって生成された情報を受信および表示するように、通信することができる。
【0053】
コンピュータサブシステム８２０のコンピュータ８２２は、外科手術ロボット４の割り当てられた機能を動作させるためのオペレーティングシステムおよびソフトウェアを含む。コンピュータ８２２は、情報をオペレータに表示するために、他の構成要素（例えば、追跡サブシステム８３０、プラットフォームサブシステム８０２、および／または運動制御サブシステム８４０）から情報を受信および処理することができる。さらに、コンピュータサブシステム８２０は、スピーカ８２６を介してオペレータに出力を提供することができる。スピーカは、外科手術ロボットの一部であり得るか、ＸＲヘッドセット９２０の一部であり得るか、または外科手術システム２の別の構成要素内にあり得る。ディスプレイ８２４は、図１および図２に示されるディスプレイ３４に対応することができる。
【0054】
追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含むことができる。追跡サブシステム８３０は、図３のカメラ追跡システム構成要素６に対応し得る。ＤＲＡ追跡カメラ８７０は、位置センサ８３２とともに動作して、ＤＲＡ５２の姿勢を判定する。この追跡は、ＬＥＤまたは反射基準（マーカとも呼ばれる）などのＤＲＡ５２の能動的または受動的な要素の場所をそれぞれ追跡する赤外線または可視光技術の使用を含む、本開示に矛盾しない様式で行うことができる。
【0055】
ＤＲＡ５２などのこれらのタイプのマーカを有する構造の場所、向き、および位置は、コンピュータ８２２に提供され、ディスプレイ８２４上でオペレータに示すことができる。例えば、図４および５に示されるように、ＤＲＡ５２を有するか、またはこの様式で追跡されるＤＲＡ５２を有するエンドエフェクタカプラ２２に接続されている、外科手術鋸１０４０（ナビゲーション空間とも称され得る）は、患者の解剖学的構造の三次元画像に関連してオペレータに示され得る。
【0056】
追跡サブシステム８３０およびコンピュータサブシステム８２０の機能的動作は、図３Ａおよび図３Ｂのカメラ追跡システム構成要素６’によって運搬され得るコンピュータプラットフォーム９１０に含まれ得る。追跡サブシステム８３０は、姿勢、例えば、追跡されるＤＲＡの位置および角度の向きを判定するように構成されることができる。コンピュータプラットフォーム９１０はまた、判定された姿勢を使用して、計画された外科的処置中に、位置登録された患者画像および／または追跡される解剖学的構造に対する追跡される器具の動きを誘導するナビゲーション情報をユーザに提供するように構成されたナビゲーションコントローラを含むことができる。コンピュータプラットフォーム９１０は、図３Ｂおよび図３Ｃのディスプレイ、および／または１つ以上のＸＲヘッドセット９２０に情報を表示することができる。コンピュータプラットフォーム９１０は、外科手術ロボットとともに使用される場合、図８のコンピュータサブシステム８２０および他のサブシステムと通信して、エンドエフェクタ２６の動きを制御するように構成され得る。例えば、以下に説明するように、コンピュータプラットフォーム９１０は、患者の解剖学的構造体、外科ツール、ユーザの手などのグラフィカル表現を、表示されたサイズ、形状、色、および／または１つ以上の追跡対象のＤＲＡの確定された姿勢に基づき制御されている姿勢で、生成することができ、表示されるグラフィカル表現は、経時で、確定された姿勢の変化を追跡するように動的に修正され得る。
【0057】
運動制御サブシステム８４０は、垂直支柱１６、上部アーム１８、下部アーム２０を物理的に移動させるか、またはエンドエフェクタカプラ２２を回転させるように構成され得る。物理的な動きは、１つ以上のモータ８５０～８５４を使用することによって行うことができる。例えば、モータ８５０は、垂直支柱１６を垂直に持ち上げるまたは下降させるように構成されることができる。モータ８５１は、図２に示されるように、垂直支柱１６との係合点の周りで上部アーム１８を横方向に移動させるように構成されることができる。モータ８５２は、図２に示されるように、上部アーム１８との係合点の周りで下部アーム２０を横方向に移動させるように構成されることができる。モータ８５３および８５４は、エンドエフェクタカプラ２２を移動させて、三次元軸の周りに沿って並進の動きおよび回転を提供するように構成されることができる。図９に示されるコンピュータプラットフォーム９１０は、エンドエフェクタカプラ２２の動きを誘導するコントローラ８４６に制御入力を与えて、エンドエフェクタカプラ２２に接続されている受動エンドエフェクタを、予定の外科処置中に手術される解剖学的構造体に対する予定の姿勢（すなわち、定義された３Ｄ直交基準軸に対する場所および角度向き）で位置付けることができる。モーションコントロールサブシステム８４０は、一体型位置センサ（例えば、エンコーダ）を使用して、エンドエフェクタカプラ２２および／またはエンドエフェクタ２６の位置を測定するように構成され得る。
【0058】
図９は、本開示のいくつかの実施形態による、カメラ追跡システム構成要素６（図３Ａ）または６’（図３Ｂ、図３Ｃ）、および／または外科手術ロボット４に動作可能に接続され得るコンピュータプラットフォーム９１０に接続された撮像デバイス（例えば、Ｃアーム、Ｏアームなど）を含む外科手術システムの構成要素のブロック図を示す。あるいは、コンピュータプラットフォーム９１０によって実施されるものとして本明細書に開示される少なくともいくつかの動作は、追加的または代替的に、外科手術システムの構成要素によって実施され得る。
【0059】
図９を参照すると、コンピュータプラットフォーム９１０は、ディスプレイ９１２、少なくとも１つのプロセッサ回路９１４（簡潔にするためにプロセッサとも呼ばれる）、コンピュータ可読プログラムコード９１８を内包する少なくとも１つのメモリ回路９１６（簡潔にするためにメモリとも呼ばれる）、および少なくとも１つのネットワークインターフェース９０２（簡潔にするためにネットワークインターフェースとも呼ばれる）を含む。ディスプレイ９１２は、本開示のいくつかの実施形態に従って、ＸＲヘッドセット９２０の一部とすることができる。ネットワークインターフェース９０２は、Ｃアーム撮像デバイス１０４、Ｏアーム撮像デバイス１０６、別の医療撮像デバイス、患者の医療画像を内包する画像データベース９５０、外科手術ロボット４の構成要素、および／または他の電子機器に接続するように構成され得る。
【0060】
外科手術ロボット４とともに使用される場合、ディスプレイ９１２は、図２のディスプレイ３４、および／または図８のタブレット８９０、および／または外科手術ロボット４に動作可能に接続されたＸＲヘッドセット９２０に対応することができ、ネットワークインターフェース９０２は、図８のプラットフォームネットワークインターフェース８１２に対応することができ、プロセッサ９１４は、図８のコンピュータ８２２に対応することができる。ＸＲヘッドセット９２０のネットワークインターフェース９０２は、有線ネットワーク、例えば、シンワイヤＥｔｈｅｒｎｅｔを介して、および／または１つ以上の無線通信プロトコル、例えば、ＷＬＡＮ、３ＧＰＰ ４Ｇおよび／または５Ｇ（新無線）セルラー通信規格などに従って無線ＲＦ送受信リンクを介して通信するように構成されることができる。
【0061】
プロセッサ９１４は、汎用および／または専用プロセッサ、例えば、マイクロプロセッサおよび／またはデジタル信号プロセッサなどの１つ以上のデータ処理回路を含むことができる。プロセッサ９１４は、メモリ９１６内のコンピュータ可読プログラムコード９１８を実行して、外科手術計画、ナビゲートされる外科手術、および／またはロボット外科手術のために実行されるものとして本明細書に記載される動作の一部または全てを含むことができる動作を実行するように構成されている。
【0062】
プロセッサ９１４は、撮像デバイス１０４および１０６のうちの一方から、および／またはネットワークインターフェース９０２を介して画像データベース９５０から受信された骨の画像をディスプレイデバイス９１２上に表示するように動作し得る。プロセッサ９１４は、計画された外科手術（複数可）のためにディスプレイ９１２上の場所を選択するオペレータタッチによって、または計画された手術（複数可）の場所を定義するためにマウスベースのカーソルを使用することなどによって、１つ以上の画像内に示される、切断される、穴が開けられる、または他の外科手術が行われる解剖学的構造、すなわち、１つ以上の骨の場所のオペレータの定義を受信する。
【0063】
コンピュータプラットフォーム９１０は、外科手術計画機能性を提供するように構成され得る。プロセッサ９１４は、撮像デバイス１０４および１０６のうちの一方から、および／またはネットワークインターフェース９０２を介して画像データベース９５０から受信された解剖学的構造、例えば椎骨の画像をディスプレイデバイス９１２および／またはＸＲヘッドセット９２０上に表示するように動作し得る。プロセッサ９１４は、計画された外科的処置のためにオペレータタッチがディスプレイ９１２上の場所を選択することによって、または計画された外科的処置のための場所を定義するためにマウスベースのカーソルを使用することなどによって、１つ以上の画像で示される解剖学的構造が、外科的処置、例えばスクリュー配置を受ける場所のオペレータの定義を受信する。画像がＸＲヘッドセット９２０に表示される場合、ＸＲヘッドセットは、着用者によって形成されたジェスチャベースのコマンドで感知するように、および／または着用者によって話されたボイスベースのコマンドを感知するように構成されることができ、これを使用してメニュー項目間の選択を制御し、および／または以下にさらに詳述するように、ＸＲヘッドセット９２０にオブジェクトがどのように表示されるかを制御することができる。
【0064】
コンピュータプラットフォーム９１０は、生体構造の測定を可能にするように構成することができ、これは、椎骨および椎間板の間隔の寸法測定などの脊椎手術に特に有用であり得る。いくつかの測定は、自動的とすることができ、一方、いくつかの他の測定は、人間の入力または支援を伴う。このコンピュータプラットフォーム９１０により、オペレータが、サイズおよび一致度の選択を含む、患者のための正しいインプラントを選択することが可能になる。以下でさらに説明するように、ＭＬガイダンスシステム１２２０は、術前計画中、および外科手術計画の術中外科手術実行中に、ユーザにガイダンスを提供する。ＭＬガイダンスシステムにより、インプラント（複数可）の自動または半自動（人間の入力を伴う）選択と外科手術計画の生成とが可能になる。
【0065】
外科手術計画コンピュータ９１０により、ＣＴ画像または他の医療画像の自動または半自動（人間の入力を伴う）セグメント化（画像処理）が可能になる。患者の外科手術計画は、外科手術ロボット８００による検索のために中央データベース１２１０（図１２）に記憶され得る。外科手術中、外科医は、コンピュータ画面（例えば、タッチスクリーン）、または、例えば、ヘッドマウントディスプレイを介した拡張現実の相互作用を使用して、外科手術計画のどの構成要素が行われているのかを選択する。外科手術ロボット４は、エンドエフェクタによって誘導されるツールが、患者の目標場所に対して計画された軌道に沿って最適に方向付けされるように、ロボットアーム エンドエフェクタを計画された姿勢に自動的に移動させることができる。
【0066】
椎骨の間にスペーサを挿入することを伴う外科手術計画の場合、例えば、スペーサのための空間を作成した後、外科医は、コンピュータ画面（例えば、タッチスクリーン）、または、例えば、エクステンデッドリアリティ（ＸＲ）ヘッドセット９２０を介したＸＲの相互作用（例えば、ハンドジェスチャベースのコマンドおよび／または音声ベースのコマンド）を使用して、スペーサ挿入のための軌道のためのガイダンスを開始することができる。コンピュータプラットフォーム９１０は、外科的処置を実行するために外科医に視覚的ガイダンスを提供するナビゲーション情報を生成することができる。外科手術ロボット４とともに使用される場合、コンピュータプラットフォーム９１０は、スペーサを挿入するための外科手術器具が、スペーサを受け入れる準備ができている椎間板空間に向かって計画された軌道と一致するように、外科手術ロボット４がエンドエフェクタ２６を目標姿勢に自動的または半自動的に移動することを可能にするガイダンスを提供することができる。
【0067】
システム９００は、ＸＲヘッドセット９２０を動作させて、脊椎上の目標場所にオーバーレイされた、ＸＲヘッドセット９２０を介して視認できるスペーサの三次元（３Ｄ）コンピュータ生成表現を表示することができる。コンピュータ生成表現は、コンピュータプラットフォーム９１０のガイダンス下で、ディスプレイ画面上で患者に対してスケーリングおよび姿勢決めされ、姿勢は、ＸＲヘッドセット９２０を介して視認される間、外科医によって操作されることができる。外科医は、例えば、ＸＲヘッドセット９２０によって感知されるハンドジェスチャベースのコマンドおよび／または音声ベースのコマンドを使用して、解剖学的構造、インプラント、外科手術器具などの表示されたコンピュータ生成表現を操作することができる。
【0068】
例えば、術前段階中、外科医は、仮想インプラント上に表示された仮想ハンドルを視認することができ、仮想ハンドルを操作し（例えば、つかんで移動させ）て、仮想インプラントを所望の姿勢に移動させ、患者の脊椎または他の解剖学的構造のグラフィカル表現に対する計画されたインプラント配置を調整することができる。その後、外科手術中に、コンピュータプラットフォーム９１０は、ＸＲヘッドセット９２０を介して、インプラントを挿入するために外科手術計画により正確に従う、および／または、脊椎に別の外科的処置を行う外科医の能力が増進するナビゲーション情報を表示することができる。外科的処置が骨除去を伴う場合、骨除去の進行、例えば切込みの深さを、ＸＲヘッドセット９２０を介してリアルタイムで表示することができる。
【0069】
コンピュータプラットフォーム９１０は、解剖学的構造を切断するために、オペレータによって選択された場所で、表示された解剖学的構造と交差する１つ以上の切断面をグラフィカルに示すことができる。コンピュータプラットフォーム９１０はまた、外科手術器具の切断面と目標面とが一致して、オペレータが定義された切断を実施するように、エンドエフェクタカプラ２２を位置決めしなければならない角度の向きおよび場所の１つ以上のセットを決定し、それらの角度の向きおよび場所のセットを外科手術計画データ構造内のデータとして記憶する。コンピュータプラットフォーム９１０は、受動的なエンドエフェクタの器具取り付け機構の移動の既知の範囲を使用して、ロボットアーム２０に取り付けられたエンドエフェクタカプラ２２を位置決めする必要がある場所を決定する。
【0070】
外科手術ロボット８００のコンピュータサブシステム８２０は、外科手術計画データ構造からデータを受信し、また、切断される解剖学的構造の現在の姿勢を示し、かつ、受動的なエンドエフェクタおよび／またはＤＲＡを介して追跡された外科手術鋸の現在の姿勢を示す、カメラ追跡システム構成要素６からの情報を受信する。コンピュータサブシステム８２０は、解剖学的構造が切断される場所を定義する外科手術計画に基づいて、かつ、解剖学的構造の姿勢に基づいて、目標面の姿勢を決定することができる。コンピュータサブシステム８２０は、目標面の姿勢と外科手術鋸の姿勢との比較に基づいて操縦情報を生成することができる。操縦情報は、鋸ブレードの切断面と目標面とが一致し、鋸ブレードが、受動的なエンドエフェクタの用具取り付け機構の動きの範囲内にある、切断される解剖学的構造からの距離に位置決めされるように、受動的なエンドエフェクタを移動させる必要がある場所を示す。
【0071】
上で説明されるように、外科手術ロボットは、ロボット基部と、ロボット基部に接続されたロボットアームと、ロボット基部に対してロボットアームを移動させるように動作可能に接続された少なくとも１つのモータと、を含む。外科手術ロボットはまた、少なくとも１つのモータに接続され、動作を実施するように構成されている、少なくとも１つのコントローラ、例えば、コンピュータサブシステム８２０および運動制御サブシステム８４０を含む。
【0072】
自動撮像システムを外科手術計画コンピュータ９１０および／または外科手術システム２と併せて使用して、患者の術前、術中、術後、および／またはリアルタイムの画像データを取得することができる。いくつかの実施形態では、自動撮像システムは、Ｃアーム撮像デバイスまたはＯ－ａｒｍ（登録商標）である。（Ｏ－ａｒｍ（登録商標）は、Ｌｏｕｉｓｖｉｌｌｅ，Ｃｏｌｏ．，ＵＳＡに事業所があるＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．が著作権を所有している）Ｘ線システムで必要とされ得る、患者の頻繁な手動による再位置決めを必要とすることなく、いくつかの異なる位置から患者のＸ線を撮影することが望ましい場合がある。ＣアームＸ線診断機器は、頻繁な手動による再位置決めの問題を解決することができ、外科手術および他の介入処理の医療分野でよく知られている。Ｃアームは、「Ｃ」字形状の対向する遠位端で終端する細長いＣ字形部材を含む。Ｃ字形部材は、Ｘ線源および受像器に取り付けられている。アームのＣアーム内の空間は、Ｘ線支持構造からの干渉が実質的にない状態で、医師が患者に対応する空間を提供する。
【0073】
Ｃアームは、２つの自由度における（すなわち、球面運動における２つの直交軸を中心とする）アームの回転の移動を可能にするように取り付けられている。Ｃアームは、Ｘ線支持構造に摺動可能に取り付けられ、これにより、Ｃアームの曲率中心を中心とした周回回転方向の移動が可能になり、Ｘ線源および受像器を垂直および／または水平方向に選択的に向けることを可能にすることができる。Ｃアームはまた、横方向（すなわち、患者の幅および長さの双方に対するＸ線源および受像器の選択的に調節可能な位置決めを可能にする周回方向に対して直交方向）に回転可能であってもよい。Ｃアーム装置の球面回転の態様により、医師は、撮像されている特定の解剖学的状況に関して決定された最適な角度で患者のＸ線を撮像することができる。
【0074】
Ｏ－ａｒｍ（登録商標）には、図示されていない画像キャプチャ部分を取り囲むことができるガントリハウジングが含まれる。画像キャプチャ部分は、Ｘ線源および／または放射部分と、Ｘ線受信および／または画像受信部分とを含み、これらを互いに約１８０度に配設し、画像キャプチャ部分の軌道に対してロータ上に取り付けることができる。画像キャプチャ部分は、画像取得中に３６０度回転するように動作可能であってもよい。画像キャプチャ部分は、中心点および／または軸を中心として回転することができ、患者の画像データが複数の方向から、または複数の平面で取得されることを可能にする。
【0075】
ガントリハウジングを備えたＯ－ａｒｍ（登録商標）は、撮像される物体の周りに位置決めするための中央開口部と、ガントリハウジングの内部の周りで回転可能な放射線源とを有し、放射線源は、複数の異なる投影角度から放射線を投影するように適合されることができる。検出器システムは、各投影角度で放射線を検出して、物体画像を複数の投影面から擬似的に同時に取得するように適合されている。ガントリは、カンチレバー様式で、ホイールを有するホイール付き移動式カートなどの支持構造Ｏアーム（登録商標）支持構造に取り付けることができる。位置決めユニットは、好ましくはコンピュータ化された運動制御システムの制御下で、ガントリを計画された位置および向きに並進および／または傾斜させる。ガントリは、ガントリ上で互いに対向して配設された供給源および検出器を含むことができる。供給源および検出器は、供給源および検出器を互いに協調させてガントリの内部の周りで回転させることができる電動ロータに固設されることができる。供給源は、ガントリの内側に位置する目標オブジェクトの多平面撮像のために、部分的および／または完全に３６０度の回転にわたって複数の位置および向きでパルス化されることができる。ガントリは、ロータが回転するときにロータを誘導するためのレールおよび支承システムをさらに備えることができ、これは、供給源および検出器を搬送することができる。Ｏ－ａｒｍ（登録商標）およびＣアームの双方および／またはいずれかを自動撮像システムとして使用して、患者をスキャンし、情報を外科手術システム２に送ることができる。
【0076】
自動撮像システムによってキャプチャされた画像は、外科手術計画コンピュータ９１０、外科手術ロボット８００、および／または外科手術システム２の別の構成要素のディスプレイデバイスに表示され得る。
【0077】
図１０は、本開示の様々な実施形態に従って、コンピュータプラットフォーム９１０に、Ｃアーム撮像デバイス１０４、Ｏアーム撮像デバイス１０６、および／もしくは画像データベース９５０などの撮像デバイスのうちの１つ以上に、ならびに／または、外科手術ロボット８００に動作可能に接続され得るＸＲヘッドセット９２０の電気的構成要素を示す。データベース９５０は、過去の医療画像、病歴などを含むことができる患者データのリポジトリとすることができる。
【0078】
ＸＲヘッドセット９２０は、ナビゲートされる外科的処置を実行するための改善されたヒューマンインターフェースを提供する。ＸＲヘッドセット９２０は、例えば、コンピュータプラットフォーム９１０を介して、ハンドジェスチャベースのコマンドおよび／または音声ベースのコマンドの識別、ディスプレイデバイス１０５０上のＸＲグラフィカル物体のうちのいずれか１つ以上を含むが、これらに限定されるわけではない、機能性をもたらすように構成され得る。ディスプレイデバイス１０５０は、表示されたＸＲグラフィカルオブジェクトをディスプレイ画面上に投射するビデオプロジェクタ、フラットパネルディスプレイなどであり得る。ユーザは、ＸＲグラフィカルオブジェクトを、ディスプレイ画面を介して視認される特定の実世界のオブジェクトに固定されたオーバーレイとして視認することができる。ＸＲヘッドセット９２０は、追加的または代替的に、１つ以上のＸＲヘッドセット９２０に取り付けられたカメラおよび他のカメラからのビデオフィードをディスプレイ画面１０５０上に表示するように構成され得る。
【0079】
ＸＲヘッドセット９２０の電気的構成要素は、複数のカメラ１０４０、マイクロフォン１０４２、ジェスチャセンサ１０４４、姿勢センサ（例えば、慣性測定ユニット（ＩＭＵ））１０４６、ディスプレイデバイス１０５０を含有するディスプレイモジュール１０４８、および無線／有線通信インターフェース１０５２を含むことができる。ＸＲヘッドセットのカメラ１０４０は、可視光キャプチャカメラ、近赤外線キャプチャカメラ、または双方の組み合わせとすることができる。
【0080】
カメラ１０４０は、カメラ（複数可）１０４０の視野内で実施されるユーザのハンドジェスチャの識別のためにキャプチャすることによって、ジェスチャセンサ１０４４として動作するように構成され得る。あるいは、ジェスチャセンサ１０４４は、近接センサ、ならびに／またはジェスチャセンサ１０４４に近接して実施されるハンドジェスチャ、および／もしくは物理的接触、例えばセンサまたはエンクロージャ１３０４をタッピングすることを感知するタッチセンサであり得る。姿勢センサ１０４６、例えばＩＭＵは、１つ以上の画定された座標軸に沿ったＸＲヘッドセット９２０の回転および／または加速度を感知することができる多軸加速度計、傾斜センサ、および／または別のセンサを含むことができる。これらの電気的構成要素のいくつかまたは全ては、構成要素エンクロージャ１３０４に内包され得るか、または腰もしくは肩などの他の箇所で着用されるように構成された別のエンクロージャに内包され得る。
【0081】
上で説明したように、外科手術システム２は、カメラ追跡システム構成要素６／６’と、コンピュータプラットフォーム９１０の一部であり得る追跡サブシステム８３０とを含む。外科手術システムは、撮像デバイス（例えば、Ｃ－ａｒｍ １０４、Ｏ－ａｒｍ １０６、および／または画像データベース９５０）および／または外科手術ロボット４を含み得る。追跡サブシステム８３０は、解剖学的構造体、エンドエフェクタ、外科ツールなどに取り付けられたＤＲＡの姿勢を確定するように構成されている。ナビゲーションコントローラ８２８は、例えば、外科処置が解剖学的構造体に対して外科ツールを使用して行われる個所を定義する、図９のコンピュータプラットフォーム９１０によって果たされる外科計画立案機能からの外科計画に基づき、また、追跡サブシステム８３０によって確定された解剖学的構造体の姿勢に基づき、解剖学的構造体対する外科ツールの目標姿勢を確定するように構成されている。ナビゲーションコントローラ８２８は、さらに、外科手術器具の目標姿勢、解剖学的構造の姿勢、および外科手術器具および／またはエンドエフェクタの姿勢に基づいて操舵情報を生成するように構成されることができ、ここで、操舵情報は、外科手術計画を実行するために外科手術器具および／または外科手術ロボットのエンドエフェクタが移動される必要がある場合を示す。
【0082】
ＸＲヘッドセット９２０の電気的構成要素は、有線／無線インターフェース１０５２を介してコンピュータプラットフォーム９１０の電気的構成要素に動作可能に接続され得る。ＸＲヘッドセット９２０の電気的構成要素は、例えば、様々な撮像デバイス、例えば、Ｃアーム撮像デバイス１０４、Ｉ／Ｏアーム撮像デバイス１０６、画像データベース９５０に、および／または有線／無線インターフェース１０５２を介して他の医療機器に対して、コンピュータプラットフォーム９１０を介して動作可能に接続され得るか、または直接接続され得る。
【0083】
外科手術システム２は、ＸＲヘッドセット９２０、コンピュータプラットフォーム９１０、および／または有線ケーブルおよび／または無線通信リンクで接続された別のシステム構成要素に存在し得る少なくとも１つのＸＲヘッドセットコントローラ１０３０（簡潔にするために「ＸＲヘッドセットコントローラ」とも呼ばれる）をさらに含む。様々な機能性は、ＸＲヘッドセットコントローラ１０３０によって実行されるソフトウェアによって提供される。ＸＲヘッドセットコントローラ１０３０は、解剖学的構造に対する外科的処置中にユーザにガイダンスを提供するナビゲーションコントローラ８２８からナビゲーション情報を受信するように構成されており、シースルーディスプレイ画面１３０２上での投影のためのディスプレイデバイス１０５０での表示のためにナビゲーション情報に基づいてＸＲ画像を生成するように構成されている。
【0084】
ディスプレイ画面（「シースルーディスプレイ画面」とも呼ばれる）１３０２に対するディスプレイデバイス１０５０の構成は、ＸＲヘッドセット９２０を装着しているユーザが、実世界にあるように見えるＸＲ画像を、ディスプレイ画面１３０２を介して見るようにＸＲ画像を表示するように構成されている。ディスプレイ画面１３０２は、ユーザの眼の前のヘッドバンド１３０６によって位置決めされ得る。
【0085】
ＸＲヘッドセットコントローラ１０３０は、ディスプレイ画面１３０２を視認する間、ユーザの頭またはユーザの体の他の箇所に着用されるように構成されたハウジング内にあり得るか、またはディスプレイ画面１３０２に通信可能に接続されている間にディスプレイ画面１３０２を視認しているユーザから遠隔に位置付けされ得る。ＸＲヘッドセットコントローラ１０３０は、カメラ１０４０、マイクロフォン１４２、および／または姿勢センサ１０４６からの信号伝達を動作可能に処理するように構成され得、ディスプレイ画面１３０２上で視認するユーザのためにディスプレイデバイス１０５０上にＸＲ画像を表示するように接続されている。したがって、ＸＲヘッドセット９２０内の回路ブロックとして示されるＸＲヘッドセットコントローラ１０３０は、ＸＲヘッドセット９２０の他の図示の構成要素に動作可能に接続されているが、必ずしも共通のハウジング（例えば、図１３の電子構成要素筐体１３０４）内に存在するとは限らないか、またはそうでなければユーザによって移動可能であると理解されるべきである。例えば、ＸＲヘッドセットコントローラ１０３０は、ひいては図３Ｂおよび図３Ｃに示されるコンピュータ追跡システム構成要素６’のハウジング内に存在し得るコンピュータプラットフォーム９１０内に存在し得る。
【0086】
図１１は、本開示のいくつかの実施形態に従って、医療処置中に、外科手術器具１１０２を操作しているユーザに、ナビゲーション支援を提供するためのＸＲヘッドセット９２０のディスプレイデバイス１０５０を介した例示的なビューを示す。図１１を参照すると、外科手術器具１１０２に接続された動的参照アレイ１１３０および１１３２が、ＸＲヘッドセット９２０および／または補助追跡バー４６の追跡カメラの視野内になるように、外科手術器具１１００が、追跡される解剖学的構造（例えば、脊椎の椎骨）の近傍に持ってこられると、器具のグラフィカル表現１１００は、解剖学的構造（脊椎の椎骨）のグラフィカル表現１１１０に関連して、２Ｄおよび／または３Ｄ画像内に表示され得る。ユーザは、視認されたグラフィカル表現を使用して、器具のグラフィカル表現１１００から解剖学的構造のグラフィカル表現１６１０を通って延在するものとして示され得る外科手術器具１１０２の軌道１１２０を調整することができる。あるいは、軌道１１２０は、ユーザが、器具のグラフィカル表現１１００の軌道を、計画された軌道１１２０と一致させることができるように、解剖学的構造のグラフィカル表現１１１０をインターセプトする器具の計画された軌道に対応してもよい。ＸＲヘッドセット９２０はまた、テキスト情報および他のオブジェクト１１４０も表示することができる。視認されるディスプレイ画面を横切って延在する破線１１５０は、ＸＲヘッドセット９２０の異なる不透明度レベルの上側バンドと下側バンドとの間の分割例を表す。
【0087】
ディスプレイデバイス１０５０に表示することができる他のタイプのＸＲ画像（仮想コンテンツ）は、これらに限定されないが、以下のいずれか１つ以上を含むことができる：
１）患者の生体構造の２Ｄの体軸ビュー、矢状ビュー、および／または冠状ビュー、
２）計画された器具と現在追跡されている器具との対比と、外科手術インプラント場所と、のオーバーレイ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオフィード、
５）オプションならびに構成の設定およびボタン、
６）外科手術計画情報を有する患者の生体構造の浮遊３Ｄモデル、
７）浮遊する患者の生体構造に関連する外科手術器具のリアルタイム追跡、
８）指示およびガイダンスを有する患者の生体構造の拡張オーバーレイ、および
９）外科手術機器の拡張オーバーレイ。
１）患者の生体構造の２Ｄの体軸ビュー、矢状ビュー、および／または冠状ビュー、
２）計画された器具と現在追跡されている器具との対比と、外科手術インプラント場所と、のオーバーレイ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオフィード、
５）オプションならびに構成の設定およびボタン、
６）外科手術計画情報を有する患者の生体構造の浮遊３Ｄモデル、
７）浮遊する患者の生体構造に関連する外科手術器具のリアルタイム追跡、
８）指示およびガイダンスを有する患者の生体構造の拡張オーバーレイ、および
９）外科手術機器の拡張オーバーレイ。
【0088】
ナビゲートされる整形外科手術のための機械学習システム：
上で説明したように、外科手術アウトカムの成功の程度は、特定の患者のニーズに最適な外科手術計画を設計および実施する外科医の能力に依存する。しかしながら、医学的に受け入れられている脊椎の外科的処置と多数の利用可能なインプラントのタイプおよび構成との無数の組み合わせから選択する際に、過去の診療経験を患者の特定の脊椎形状および矯正ニーズに適応させる外科医の能力には固有の限界があることから、最適な設計および実装を達成できない場合がある。これは、以前の医療処置および関連する革新では対処されていない問題があることを示唆している。
上で説明したように、外科手術アウトカムの成功の程度は、特定の患者のニーズに最適な外科手術計画を設計および実施する外科医の能力に依存する。しかしながら、医学的に受け入れられている脊椎の外科的処置と多数の利用可能なインプラントのタイプおよび構成との無数の組み合わせから選択する際に、過去の診療経験を患者の特定の脊椎形状および矯正ニーズに適応させる外科医の能力には固有の限界があることから、最適な設計および実装を達成できない場合がある。これは、以前の医療処置および関連する革新では対処されていない問題があることを示唆している。
【0089】
外科手術のアウトカムに影響を与える可能性のある多くの不確定要素がある：
・計画：どのように外科手術をより患者固有のものに適応させるか？モデルからの現在の患者の変形をどのように考慮するか？目標の変形矯正は何であるか？
・選択された患者に最適なインプラントのタイプは何であるか？外科医が患者のために選択することができる利用可能なインプラントのタイプには、数十を超えるタイプがあり得ることに留意されたい。
・計画：どのように外科手術をより患者固有のものに適応させるか？モデルからの現在の患者の変形をどのように考慮するか？目標の変形矯正は何であるか？
・選択された患者に最適なインプラントのタイプは何であるか？外科医が患者のために選択することができる利用可能なインプラントのタイプには、数十を超えるタイプがあり得ることに留意されたい。
【0090】
これらの不確定要素は、選択された患者のための整形外科手術で使用するために、外科医が選択する必要がある多数の可能な組み合わせをもたらす。
【0091】
本開示のいくつかの実施形態は、患者の外科手術の術前段階、術中段階、および術後段階中に得られたおよび／または報告されたデータを処理する機械学習処理回路を含む外科手術ガイダンスシステムを対象としている。時間の経過とともに、機械学習処理回路は、例えば、術前段階中に外科医によって選択された不確定要素（メトリックまたは他のデータ）の間で決定された過去の相関および／または他の傾向、ナビゲートされる外科手術中の追跡された動き、および結果として生じる患者のアウトカムに基づいて、機械学習モデルをトレーニングする。トレーニングには、人工知能（ＡＩ）アルゴリズムのルール、決定動作の１つ以上のセットのうちのルール、ならびに／または、ニューラルネットワークモードのノードの重みおよび／もしくは発火閾値を適応させて、１つ以上の定義されたキーパフォーマンス外科手術アウトカムを、満たされている１つ以上の定義された閾値または他のルール（複数可）に向かわせることが含まれ得る。外科手術ガイダンスシステムは、機械学習モデルを通じて新しい特許の特性についての術前データを処理し、インプラント選択を伴う外科手術計画を生成する際に、術前段階中に、外科医にナビゲートされたガイダンスを提供する。外科手術計画をナビゲーションシステムに提供して、術中段階中に、外科医にガイダンスを提供して、外科医が外科手術計画を実行するのを支援することができる。さらに、外科手術計画をロボット外科手術システムに提供して、外科手術計画の実行中に、外科医を支援するロボットアームの移動を制御することができる。
【0092】
機械学習の文脈において、様々な実施形態が説明されており、機械学習モデルは時間の経過とともにトレーニングされるが、機械学習モデルは、通常、ゼロ知識の開始点から適応されるわけではない。代わりに、これらおよび他の実施形態は、定義された特性を有する患者に対して１つ以上の定義された外科的処置を実行するために、定義された外科手術器具およびインプラントのセットから選択するための人間が定義したベストプラクティスに基づいて事前にプログラムされた機械学習モデルとともに使用され得る。
【0093】
図１２は、いくつかの実施形態に従って構成された外科手術ガイダンスシステム１２２０を使用するナビゲートされる外科手術ワークフローを示す。図１２を参照すると、ワークフローの３つの段階：術前段階１２００、術中段階１２０２、および術後段階１２０４が示されている。術前段階１２００中に、ユーザ（例えば、外科医）は、外科手術ガイダンスシステム１２２０からの支援を受けて、解析された患者画像に基づいて外科手術計画（ケース）を生成する。術中段階１２０２中に、ユーザは、正確な計画実行のための外科手術ロボット４の動作を含み得るナビゲートされる支援を、外科手術ガイダンスシステム１２２０によって提供される。術後段階１２０４中に、外科手術アウトカムを特徴付ける術後フィードバックデータが、患者測定および／または患者調査などによって、外科手術ガイダンスシステム１２２０によって収集される。３つのフェーズ１２００、１２０２、および１２０４にわたって得られるデータは、機械学習処理回路１２２２の機械学習モデルをトレーニングするために、外科手術ガイダンスシステム１２２０が使用するために、中央データベース１２１０に記憶され得る。機械学習モデルには、人工知能（ＡＩ）プロセス、ニューラルネットワーク構成要素などが含まれ得る。機械学習モデルは、時間の経過とともにトレーニングおよび使用されて、改善された外科手術アウトカムをもたらす外科手術計画が生成される。
【0094】
図１２に示される例示的な外科手術ガイダンスシステム１２２０は、術前計画構成要素１２２４、術中ガイダンス構成要素１２２６、機械学習処理回路１２２２、およびフィードバックトレーニング構成要素１２２８を含む。
【0095】
以下にさらに詳述するように、フィードバックトレーニング構成要素１２２８は、複数の患者の外科手術アウトカムに関して分散型ネットワークコンピュータによって提供される術後フィードバックデータを得て、術後フィードバックデータに基づいて、機械学習モデルをトレーニングするように構成されている。図１２は、術後段階１２０４中に、中央データベース１２１０に記憶するために、１つ以上のネットワーク１２３０（例えば、パブリック（インターネット）ネットワークおよび／またはプライベートネットワーク）を介して外科手術ガイダンスシステム１２２０に、術後フィードバックデータを提供する単一のコンピュータ、例えば、スマートフォンを示しているが、多くのネットワークコンピュータ（例えば、数百のコンピュータ）が、多くの以前の患者（例えば、数百の患者）の各々の術後フィードバックデータを、機械学習モデルのトレーニングに使用するために、外科手術ガイダンスシステム１２２０（すなわち、フィードバックトレーニング構成要素１２２８）に提供することを理解されたい。さらに、以下でさらに詳述するように、フィードバックトレーニング構成要素１２２８は、以前の患者の術前段階１２００中に得られた術前データ（例えば、外科手術計画）に基づいて、かつ、以前の患者の術中段階１２０２中に得られた術中データ（例えば、どの外科的処置（複数可）が使用されたか、どのインプラント（複数可）が使用されたか、どの器具（複数可）が使用されたか、特定された外科的処置（複数可）中の器具（複数可）の６自由度（ＤＯＦ）の追跡された移動など）に基づいて、機械学習モデルをさらにトレーニングすることができる。例えば、トレーニングには、ＡＩアルゴリズムのルール、決定動作の１つ以上のセットのうちのルール、ならびに／または、ニューラルネットワークモードのノードの重みおよび／もしくは発火閾値を適応させて、機械学習モデル１３００の１つ以上の出力（例えば、外科手術計画（複数可））を、満たされている１つ以上の定義された閾値または他のルール（複数可）（例えば、術後段階データによって示される、定義されたキーパフォーマンス外科手術アウトカム）に向かわせることが含まれ得る。
【0096】
術前計画構成要素１２２４は、外科手術的矯正が考慮される脊椎状態を有する候補患者を特徴付ける術前データを、分散型ネットワークコンピュータのうちの１つから得て、機械学習モデルを介した術前データの処理に基づいて、候補患者の外科手術計画を生成する。術前計画構成要素１２２４は、ユーザ、例えば、外科医によるレビューのために、外科手術計画をディスプレイデバイスに提供する。したがって、機械学習処理回路１２２２の術前計画構成要素１２２４は、以前の患者の外科手術アウトカムに関する術後フィードバックデータに基づいてトレーニングされた機械学習モデルを使用して、候補患者の外科手術計画を生成する。機械学習モデルのトレーニングは、フィードバックトレーニング構成要素１２２８によってより多くの術後フィードバックが得られるにつれて繰り返すことができるため、生成される外科手術計画は、結果として生じる患者の外科手術アウトカムの継続的な改善をもたらす。
【0097】
図１３は、術前段階、術中段階、および術後段階中の関連付けられたデータフローを有する外科手術ガイダンスシステム１２２０のブロック図を示し、ユーザディスプレイおよびロボット外科手術システムに提供される外科手術ガイダンスを示す。
【0098】
図１３を参照すると、外科手術ガイダンスシステム１２２０は、フィードバックトレーニング構成要素１２２８、術前計画構成要素１２２４、および術中ガイダンス構成要素１２２６を含む。外科手術ガイダンスシステム１２２０はまた、機械学習モジュール１３００を含む機械学習処理回路１２２を含み、機械学習モジュール１３００は、以下でさらに詳述するように、人工知能構成要素および／またはニューラルネットワーク構成要素１３１０を含み得る。図１３は、通信の主要な方向を示すために通信経路上の矢印を含んでいるが、通信は、描かれた矢印とは反対の方向に発生してもよく、また、要素間で発生することができ、これらに対して、図を簡略化するために矢印は示されていないことを理解されたい。
【0099】
機械学習モデルのトレーニング：
フィードバックトレーニング構成要素１２２８は、分散型ネットワーク化コンピュータによって提供される、脊椎状態の治療を試みるためにリハビリテーション療法および／または外科手術を完了した以前の患者の外科手術アウトカムを特徴付ける術後段階フィードバックデータを得るように動作し得る。フィードバックトレーニング構成要素１２２８はまた、以前の患者の術前段階データおよび／または術中段階データを得るように動作し得る。術前段階のデータは、患者およびその脊椎の状態を特徴付けることができる。術中段階データは、以前の患者のために計画された外科的処置（複数可）、以前の患者のために計画された（脊椎インプラント処置のための）外科手術インプラント（複数可）、以前の患者で使用するために計画された外科手術器具（複数可）、外科的処置（複数可）中の器具（複数可）および／または外科手術インプラント（複数可）の計画された軌道および移動、（脊椎減圧処置のための）脊椎減圧量、外科的処置の様々な段階の持続時間測定値、外科的処置の様々な段階で評価された難易度、ならびに以下で説明するその他の情報を特徴付けることができる。フィードバックトレーニング構成要素１２２８は、得られた術前段階データ、術中段階データ、および術後段階データを使用して、機械学習モデル１３００をトレーニングする。
フィードバックトレーニング構成要素１２２８は、分散型ネットワーク化コンピュータによって提供される、脊椎状態の治療を試みるためにリハビリテーション療法および／または外科手術を完了した以前の患者の外科手術アウトカムを特徴付ける術後段階フィードバックデータを得るように動作し得る。フィードバックトレーニング構成要素１２２８はまた、以前の患者の術前段階データおよび／または術中段階データを得るように動作し得る。術前段階のデータは、患者およびその脊椎の状態を特徴付けることができる。術中段階データは、以前の患者のために計画された外科的処置（複数可）、以前の患者のために計画された（脊椎インプラント処置のための）外科手術インプラント（複数可）、以前の患者で使用するために計画された外科手術器具（複数可）、外科的処置（複数可）中の器具（複数可）および／または外科手術インプラント（複数可）の計画された軌道および移動、（脊椎減圧処置のための）脊椎減圧量、外科的処置の様々な段階の持続時間測定値、外科的処置の様々な段階で評価された難易度、ならびに以下で説明するその他の情報を特徴付けることができる。フィードバックトレーニング構成要素１２２８は、得られた術前段階データ、術中段階データ、および術後段階データを使用して、機械学習モデル１３００をトレーニングする。
【0100】
機械学習モデル１３００は、以下に説明するように、術前段階データ、術中段階データ、および術後段階データの間の相関を特定するようにトレーニングされるＡＩ駆動アルゴリズム構成要素および／またはニューラルネットワーク構成要素を含み得る。
【0101】
いくつかの実施形態では、フィードバックトレーニング構成要素１２２８は、各以前の患者の術前段階データ（「術前フィードバックデータ」とも呼ばれる）に基づいて、機械学習モデル１３００をトレーニングするように構成されている。データは、患者の人口統計（例えば、年齢、性別、ＢＭＩ、人種、併存疾患）、患者の病歴、および医療画像解析（例えば、脊椎の湾曲、椎体の寸法、椎骨のエンドキャップの輪郭、椎間孔の面積／ボリューム、脊柱管の面積／ボリューム、ヘルニアおよび／または骨棘の場所など）、のうちのいずれか１つ以上を含み得る。
【0102】
フィードバックトレーニング構成要素１２２８はまた、各以前の患者について、その患者での実行が計画された外科手術の詳細を特徴付ける術前段階データに基づいて、機械学習モデル１３００をトレーニングするように動作し得る。同様に、フィードバックトレーニング構成要素１２２８はまた、外科的処置中に収集され、各以前の患者について、その患者に対して行われた外科手術の詳細を特徴付ける術中段階データ（「術中フィードバックデータ」とも呼ばれる）に基づいて、機械学習モデル１３００をトレーニングするように構成され得る。この術前段階データおよび／または術中段階データは、以下のいずれか１つ以上を含み得る：
（１）術前に計画された、または術中に使用された（「計画されたまたは使用された」）処置タイプ
（ａ）椎骨の減圧、
（ｂ）椎骨の拡散、および
（ｃ）ヘルニア組織および／または椎間板を除去し、スペーサを挿入するための腰椎椎間板切除術など、
（２）インプラント（複数可）の計画されたまたは使用されたタイプ（例えば、Ｇｌｏｂｕｓ Ｍｅｄｉｃａｌ社の側方固定スペーサインプラントタイプであるＣＡＬＩＢＥＲ－Ｌ拡張可能高さスペーサ、ＴｒａｎｓＣｏｎｔｉｎｅｎｔａｌ固定高さスペーサ、ＩｎｔｅｒＣｏｎｔｉｎｅｎｔａｌスペーサ、ＰＬＹＭＯＵＴＨスペーサ、ＥＬＳＡ拡張可能な統合側方椎体間固定スペーサなどの椎体固定スペーサインプラント）、
（３）計画されたまたは使用されたインプラントの寸法サイジング
（ａ）インプラントの長さ、
（ｂ）インプラントの幅、
（ｃ）インプラントの高さ（固定された前方の高さ、拡張可能な前方の高さの範囲、後方のテーパー）、
（ｄ）インプラントのプレート－スペーサ矢状プロファイル（例えば、０°、６°、２０°、２５°前弯）、および／または
（ｅ）インプラントスクリューの長さ、直径、挿入軌道角度、
（４）インプラントとともに使用される（例えば、インプラント内および／またはインプラントの周囲に追加される）骨移植片（例えば、同種移植片、骨形成タンパク質（ＢＭＰ）など）の計画されたまたは使用されたボリューム、
（５）終板に対する計画されたまたは使用されたインプラント場所の配置および構成、
（ａ）インプラントの挿入経路および固定位置、
（ｂ）インプラントの拡張量、
（ｃ）インプラントおよび周囲の椎間板腔の移植片アクセス穴への追加の自家骨移植片挿入の量、および／または
（ｄ）準備されたスクリュー穴の軌道および深さ、ならびに使用された器具（複数可）（例えば、皮質に穴を開けるための突き錐、スクリュー穴を作成するためのドリル）、
（６）計画されたまたは使用された器具（複数可）のタイプ（例えば、インプラント挿入器具、突き錐、ドリル、椎間板ボックスカッタ、椎間板鉗子、ケリソン、キュレット、スクレーパ、およびラスプなど）、ならびに、患者および６ＤＯＦの計画された移動に対する計画されたまたは使用された軌道を含み得る、
（７）計画されたまたは実行された脊椎減圧の量、
（８）計画されたまたは使用された患者の切開の場所、
（９）計画されたまたは使用された、患者に対するカニューレ挿入経路、
（１０）計画されたまたは使用された開創器の構成（例えば、開創器の選択（例えば、ＧｌｏｂｕｓのＭｉｎｉｍａｌ Ａｃｃｅｓｓ Ｒｅｔｒａｃｔｏｒ Ｓｙｓｔｅｍ（ＭＡＲＳ））、ブレードの長さの選択）、
（１１）脊椎の目標場所へのアクセスを得るための計画されたまたは使用された開創器動作（開創器の位置決め、ブレードの挿入経路および深さ、ブレードの側方の動き、ブレードのアンギュレーション）など、
（１２）椎間板準備の計画されたまたは使用された量、
（１３）椎間板準備の計画されたまたは使用された量、および、椎間板および／または骨棘の一部分を除去することにより作成された椎間板腔の量、ならびに、そのプロセス（複数可）のために計画されたまたは使用された器具（複数可）（例えば、椎間板ボックスカッタ、椎間板鉗子、ケリソン、キュレット、スクレーパ、およびラスプ）、
（１４）終板の準備の計画されたまたは使用された量（例えば、出血している骨を露出させるために除去された軟骨終板の表層の量）、および、そのプロセス（複数可）のために計画されたまたは使用された器具（複数可）（例えば、スクレーパおよびラスプ）、
（１５）計画された処置と使用された処置との誤差、
（１６）計画されたインプラント特性と使用されたインプラント特性との誤差（例えば、外科手術中に患者に埋め込まれたインプラントデバイスサイズの、外科手術計画によって定義されたインプラントデバイスサイズからの誤差）、
（１７）計画されたインプラントの位置決めおよび／または挿入軌道と、使用されたインプラントの位置決めおよび／または挿入軌道との誤差（例えば、外科手術中の患者への埋め込み後のインプラントデバイスの姿勢の、術前の外科手術計画によって定義されたインプラントデバイスの姿勢からの誤差を示すデータ）、
（１８）脊椎矯正の計画されたレベルと、術中に達成されたレベルとの誤差、ならびに、
（１９）外科手術イベント（例えば、外科的処置中の問題、失敗、エラー、観察。
（１）術前に計画された、または術中に使用された（「計画されたまたは使用された」）処置タイプ
（ａ）椎骨の減圧、
（ｂ）椎骨の拡散、および
（ｃ）ヘルニア組織および／または椎間板を除去し、スペーサを挿入するための腰椎椎間板切除術など、
（２）インプラント（複数可）の計画されたまたは使用されたタイプ（例えば、Ｇｌｏｂｕｓ Ｍｅｄｉｃａｌ社の側方固定スペーサインプラントタイプであるＣＡＬＩＢＥＲ－Ｌ拡張可能高さスペーサ、ＴｒａｎｓＣｏｎｔｉｎｅｎｔａｌ固定高さスペーサ、ＩｎｔｅｒＣｏｎｔｉｎｅｎｔａｌスペーサ、ＰＬＹＭＯＵＴＨスペーサ、ＥＬＳＡ拡張可能な統合側方椎体間固定スペーサなどの椎体固定スペーサインプラント）、
（３）計画されたまたは使用されたインプラントの寸法サイジング
（ａ）インプラントの長さ、
（ｂ）インプラントの幅、
（ｃ）インプラントの高さ（固定された前方の高さ、拡張可能な前方の高さの範囲、後方のテーパー）、
（ｄ）インプラントのプレート－スペーサ矢状プロファイル（例えば、０°、６°、２０°、２５°前弯）、および／または
（ｅ）インプラントスクリューの長さ、直径、挿入軌道角度、
（４）インプラントとともに使用される（例えば、インプラント内および／またはインプラントの周囲に追加される）骨移植片（例えば、同種移植片、骨形成タンパク質（ＢＭＰ）など）の計画されたまたは使用されたボリューム、
（５）終板に対する計画されたまたは使用されたインプラント場所の配置および構成、
（ａ）インプラントの挿入経路および固定位置、
（ｂ）インプラントの拡張量、
（ｃ）インプラントおよび周囲の椎間板腔の移植片アクセス穴への追加の自家骨移植片挿入の量、および／または
（ｄ）準備されたスクリュー穴の軌道および深さ、ならびに使用された器具（複数可）（例えば、皮質に穴を開けるための突き錐、スクリュー穴を作成するためのドリル）、
（６）計画されたまたは使用された器具（複数可）のタイプ（例えば、インプラント挿入器具、突き錐、ドリル、椎間板ボックスカッタ、椎間板鉗子、ケリソン、キュレット、スクレーパ、およびラスプなど）、ならびに、患者および６ＤＯＦの計画された移動に対する計画されたまたは使用された軌道を含み得る、
（７）計画されたまたは実行された脊椎減圧の量、
（８）計画されたまたは使用された患者の切開の場所、
（９）計画されたまたは使用された、患者に対するカニューレ挿入経路、
（１０）計画されたまたは使用された開創器の構成（例えば、開創器の選択（例えば、ＧｌｏｂｕｓのＭｉｎｉｍａｌ Ａｃｃｅｓｓ Ｒｅｔｒａｃｔｏｒ Ｓｙｓｔｅｍ（ＭＡＲＳ））、ブレードの長さの選択）、
（１１）脊椎の目標場所へのアクセスを得るための計画されたまたは使用された開創器動作（開創器の位置決め、ブレードの挿入経路および深さ、ブレードの側方の動き、ブレードのアンギュレーション）など、
（１２）椎間板準備の計画されたまたは使用された量、
（１３）椎間板準備の計画されたまたは使用された量、および、椎間板および／または骨棘の一部分を除去することにより作成された椎間板腔の量、ならびに、そのプロセス（複数可）のために計画されたまたは使用された器具（複数可）（例えば、椎間板ボックスカッタ、椎間板鉗子、ケリソン、キュレット、スクレーパ、およびラスプ）、
（１４）終板の準備の計画されたまたは使用された量（例えば、出血している骨を露出させるために除去された軟骨終板の表層の量）、および、そのプロセス（複数可）のために計画されたまたは使用された器具（複数可）（例えば、スクレーパおよびラスプ）、
（１５）計画された処置と使用された処置との誤差、
（１６）計画されたインプラント特性と使用されたインプラント特性との誤差（例えば、外科手術中に患者に埋め込まれたインプラントデバイスサイズの、外科手術計画によって定義されたインプラントデバイスサイズからの誤差）、
（１７）計画されたインプラントの位置決めおよび／または挿入軌道と、使用されたインプラントの位置決めおよび／または挿入軌道との誤差（例えば、外科手術中の患者への埋め込み後のインプラントデバイスの姿勢の、術前の外科手術計画によって定義されたインプラントデバイスの姿勢からの誤差を示すデータ）、
（１８）脊椎矯正の計画されたレベルと、術中に達成されたレベルとの誤差、ならびに、
（１９）外科手術イベント（例えば、外科的処置中の問題、失敗、エラー、観察。
【0103】
いくつかの追加のまたは代替の実施形態では、フィードバックトレーニング構成要素１２２８は、術後段階データ（「術後フィードバックデータ」とも呼ばれる）に基づいて、機械学習モデル１３００をトレーニングするように動作する。術後段階データは、患者報告アウトカム尺度、測定されたアウトカム（例えば、変形矯正測定、可動域（ＲＯＭ）テスト、軟組織バランス測定、運動学測定、曲率測定、他の機能的アウトカム）、ログに記録された外科手術イベント、および観測メトリック、のうちのいずれか１つ以上を含み得る。ログに記録される外科手術イベントには、タイミング、問題（例えば、計画からのロボット軸の位置の誤差、計画からのエンドエフェクタの位置の誤差、計画からの外科手術器具の位置の誤差、計画からのインプラントデバイスの位置の誤差、ロボットアームの予測される、計画されていないユーザの再位置決めからのインプラント適合の誤差、計画からのアクション器具の動きの誤差、計画されていない外科手術ステップなど）、失敗（例えば、外科医が、計画の完了前に、外科手術ロボットシステムの使用を時期尚早に停止するなど）、およびエラー（例えば、予測された間隙の実際の間隙からの誤差、カメラ追跡システムの処置ステップ中の追跡マーカの喪失など）を含み得る。一部の術後段階データは、スタンドアロンで動作することができるモバイルアプリケーション（例えば、スマートフォンまたは他のコンピュータのアプリケーション）を使用して収集されてもよいし、また、脊椎手術の前後での体系的なデータ収集（機能データおよび患者報告アウトカム尺度ＰＲＯＭ）のために、１つ以上の患者用ウェアラブルデバイスと通信接続（例えば、ＷｉＦｉまたはＢｌｕｅｔｏｏｔｈペアリング）されていてもよい。
【0104】
フィードバックトレーニング構成要素１２２８は、術前段階データ、術中段階データ、および／または術後段階データを処理して、定義されたルールを満たす類似性を有するデータのサブセットを形成することができる。サブセットの各々において、フィードバックトレーニング構成要素１２２８は、データの少なくともいくつかの値の間の相関を特定し、次に、サブセットの各々について特定された相関に基づいて、機械学習モデルをトレーニングすることができる。トレーニングは、ＡＩアルゴリズムのルール、決定動作の１つ以上のセットのうちのルール、ならびに／または、ニューラルネットワークモードのノードの重みおよび／もしくは発火閾値を、特定された相関に基づいて適応させて、機械学習モデル１３００の１つ以上の出力（例えば、外科手術計画（複数可））を、満たされている１つ以上の定義された閾値または他のルール（複数可）（例えば、術後段階データによって示される、定義されたキーパフォーマンス外科手術アウトカム）に向かわせるように動作し得る。
【0105】
より具体的には、トレーニングにより、機械学習モデル１３００は、以前の患者のセットについて得られたデータのセット間の類似性（相関の閾値レベル）を見つけ、以前の患者の当該セットのうちの１人以上の以前の外科手術患者に対して使用されたことが分かっている、最良の外科手術計画であると学習されたものを特定する。データセット内の要素は、患者にとって最良の外科手術アウトカムを達成する手術計画を生成するプロセスにおいて定義された、または学習された効果のレベルに基づいて、異なる重み付けを有し得る。
【0106】
いくつかの実施形態では、機械学習モデル１３００は、入力ノードを有する入力層、各々が複数の結合ノードを有する一連の隠れ層、および出力ノードを有する出力層を含むニューラルネットワーク構成要素を含む。機械学習モデルは、ニューラルネットワークモデルの入力ノードのうちの異なる入力ノードに、術前データの異なるエントリを提供し、ニューラルネットワーク構成要素の出力ノードの出力に基づいて、術前の外科手術計画を生成するように構成された少なくとも１つの処理回路（すなわち、機械学習処理回路１２２２の）によって処理される。フィードバックトレーニング構成要素１２２８は、術前段階データ、術中段階データ、および／または術後段階データの値に基づいて、ニューラルネットワーク構成要素の結合ノードによって使用される重みおよび／または発火閾値を適応させるように構成され得る。
【0107】
例えば、ランタイムモード１３２２、および／またはフィードバックトレーニング構成要素１２２８を使用するトレーニングモード中、入力層の入力ノード、隠れ層の結合ノード、および出力層の出力ノード間のニューラルネットワークの相互接続された構造は、入力された（処理された）データ値が同時に処理されて、外科手術計画の生成に使用される生成された出力値に影響を与えることができる。入力層の入力ノードの各々は、入力データ値に、入力ノードに割り当てられた重みを掛けて、重み付きノード値を生成する。重み付きノード値が、入力ノードに割り当てられた発火閾値を超えると、入力ノードは、一連の隠れ層のうちの最初の隠れ層のノードの結合ノードに、重み付きノード値を提供する。重み付きノード値が割り当てられた発火閾値を超えるという条件が満たされない限り、入力ノードは、重み付きノード値を出力しない。
【0108】
さらに、ニューラルネットワークは、一連の隠れ層のうちの最初の隠れ層の結合ノードを、それに割り当てられた重みを使用して動作させて、入力ノードによって提供された重み付きノード値を乗算および数学的に結合して結合ノード値を生成する。結合ノードのうちの１つによって生成された結合ノード値が、結合ノードに割り当てられた第１の発火閾値を超えると、一連の隠れ層のうちの次の隠れ層の結合ノードに、結合ノード値を提供する。さらに、ニューラルネットワーク回路は、一連の隠れ層のうちの最後の隠れ層の結合ノードを、それに割り当てられた重みを使用して動作させて、一連の隠れ層のうちの前の隠れ層の複数の結合ノードによって提供された結合ノード値を乗算および結合して結合ノード値を生成する。結合ノードのうちの１つの結合ノードによって生成された結合ノード値が、結合ノード値に割り当てられた第１の発火閾値を超えると、出力層の出力ノードに、結合ノード値を提供する。最後に、出力層の出力ノードを動作させて、一連の隠れ層のうちの最後の隠れ層からの結合ノード値を結合して、外科手術計画の生成に使用される出力値を生成する。
【0109】
様々なタイプの得られたデータの正規化および／または重み付けを提供することなどによって、得られたデータを前処理する機械学習データ事前調整回路１３２０が提供され得る。データは、その後、ランタイムモード１３２２中に機械学習処理回路１２２２に提供されるか、または、機械学習モデル１３００のトレーニングで使用するためのトレーニングモード中にフィードバックトレーニング構成要素１２２８に提供される。いくつかの実施形態では、トレーニングは、トレーニングモード中にのみ実行され、他のいくつかの実施形態では、トレーニングは、ランタイムモード中に継続的にまたは少なくとも時折実行される。
【0110】
術前計画構成要素１２２４は、分散型ネットワークコンピュータのうちの１つからの、候補（定義された）患者を特徴付ける術前データを内包し、機械学習モデル１３００を介して術前データを処理することに基づいて、候補患者の外科手術計画を生成し、ユーザ、例えば、外科医によるレビューのために、ディスプレイデバイスに外科手術計画を提供する。
【0111】
したがって、上で説明したように、トレーニングは、ニューラルネットワークモードのノードの重みおよび／または発火閾値を適応させて、機械学習モデル１３００の１つ以上の出力（例えば、外科手術計画（複数可））を、満たされている１つ以上の定義された閾値または他のルール（複数可）（例えば、術後段階によって示される、定義されたキーパフォーマンス外科手術アウトカム）に向けて駆動することが含まれ得る。
【0112】
術前計画のための機械学習モデルの使用：
本開示の様々な実施形態は、上記のシステムのうちの１つ以上と、または、他の既存のもしくは新規のシステムと連携して、機械学習処理回路１２２２を介して、脊椎矯正外科手術の候補患者について得られた術前段階データを処理して、１つ以上のランク付けされた外科手術計画を生成することができる。
本開示の様々な実施形態は、上記のシステムのうちの１つ以上と、または、他の既存のもしくは新規のシステムと連携して、機械学習処理回路１２２２を介して、脊椎矯正外科手術の候補患者について得られた術前段階データを処理して、１つ以上のランク付けされた外科手術計画を生成することができる。
【0113】
候補患者について得られる術前段階データには、患者の人口統計（例えば、年齢、性別、ＢＭＩ、人種、併存疾患）、患者の病歴、および患者の医療画像解析、のうちのいずれか１つ以上を含み得る。患者の医療画像は、椎骨終板の輪郭、椎間板の間隔、椎体の寸法、脊椎の湾曲、椎間孔の面積／ボリューム、脊柱管の面積／ボリューム、ヘルニアおよび／または骨棘の場所などのトポグラフィー測定を可能にする３Ｄ ＣＴスキャンおよび／または他の撮像手法から得ることができる。画像には、患者の前方／後方（Ａ／Ｐ）および横方向画像が含まれ得る。外科手術ガイダンスシステム１２２０または別のシステムは、椎骨終板の輪郭、椎間板の間隔、椎体の寸法、脊椎の湾曲などのトポグラフィー測定値を決定するように動作し得る。
【0114】
本明細書の様々な実施形態は、Ｇｌｏｂｕｓ ＭｅｄｉｃａｌのＧＥＮＵシステム（術前計画および術中ロボット支援実行を提供する）、ＳｔｒｙｋｅｒのＭＡＫＯロボットシステム（Ｍａｋｏシステム）（手術計画および術中ロボット支援実行を提供する）、Ｓｍｉｔｈ ａｎｄ ＮｅｐｈｅｗのＮＡＶＩＯ（Ｎａｖｉｏシステム）（術中計画および実行を提供する）、Ｚｉｍｍｅｒ ＢｉｏｍｅｔのＲＯＳＡ（Ｒｏｓａシステム）（術前計画、ロボットによる術中実行、ならびに、ウェアラブルズおよびモバイルアプリケーション、例えばｍｙｍｏｂｉｌｉｔｙを使用した術後フォローアップを実装する）、などの現在利用可能な様々な製品と組み合わせて使用することができる。
【0115】
機械学習処理回路１２２２は、機械学習モデル１３００を介して候補患者について得られた術前段階データを処理して、外科手術計画、または、代替外科手術計画のランク付けされたリストを生成することができ、代替外科手術計画の各々は、関連付けられた外科手術計画によって提供されると予測される外科手術アウトカムの成功の推定レベルに基づいた順位を有する。
【0116】
処理は、外科手術を計画されている候補患者の新しい術前段階データと、候補患者の新しい術前段階データと術前段階データが類似している（相関の閾値レベル）１人以上の以前の外科手術患者に使用されていることが決定されている最良の外科手術計画であると学習された（機械学習モデル１３００にトレーニングされた）ものとの類似性を見つけるように動作し得る。
【0117】
１つ以上の外科手術計画を、ユーザ、例えば、外科医に表示するために術前計画構成要素１２２４に提供して、外科医が、外科手術計画の構成要素をレビューおよび受け入れること、または、外科手術計画の構成要素を修正することを可能にし得る。外科手術計画の修正は、機械学習処理回路１２２２をトリガして、修正された外科手術計画に対して処理を繰り返して、修正された外科手術計画によって提供されると予測される外科手術アウトカムの成功のレベルの改良された推定値を提供し得る。修正された外科手術計画によって提供されると予測される外科手術アウトカムの成功のレベルの推定値は、過去の入力（術前段階データおよび／または術中段階データ）と、過去の外科手術アウトカム（術後段階データ）との間で中央データベース１２１０において収集されたデータからのトレーニングを介して学習されたものの類似性を特定することに基づき得る。
【0118】
これらの実施形態は、ユーザが以前の患者のパフォーマンス、および中央データベース１２１０に存在する他の尺度の要約統計量をレビューすることができるダッシュボードを備えた術前計画（すなわち、人工知能（ＡＩ）ベース、ルールベース、またはニューラルネットワークベースの計画アシスタントの有無にかかわらず）に使用することができる。
【0119】
このプロセスにより、ユーザが、術前計画段階中に、外科手術計画の構成要素が外科手術アウトカムの成功の推定レベルにどのように影響するかを理解することができ、外科医が、候補患者に固有の特性に合わせてカスタマイズされ、最適な外科手術アウトカムをもたらす可能性が最も高い外科手術計画を生成することがもたらされ得る。さらに、ユーザは、外科手術計画の構成要素を調整し、そのような調整が外科手術アウトカムに及ぼす影響を即座に観察することができる。
【0120】
生成される各外科手術計画は、以下のいずれか１つまたは複数を特徴付けることができる：
（１）処置タイプ
（２）インプラント（複数可）のタイプ（例えば、Ｇｌｏｂｕｓ Ｍｅｄｉｃａｌ社の側方固定スペーサインプラントタイプであるＣＡＬＩＢＥＲ－Ｌ拡張可能高さスペーサ、ＴｒａｎｓＣｏｎｔｉｎｅｎｔａｌ固定高さスペーサ、ＩｎｔｅｒＣｏｎｔｉｎｅｎｔａｌスペーサ、ＰＬＹＭＯＵＴＨスペーサ、ＥＬＳＡ拡張可能な統合側方椎体間固定スペーサなどの椎体固定スペーサインプラント）、
（３）インプラントの寸法サイジング
（ａ）インプラントの長さ、
（ｂ）インプラントの幅、
（ｃ）インプラントの高さ（固定された前方の高さ、拡張可能な前方の高さの範囲、後方のテーパー）、
（ｄ）インプラントのプレート－スペーサ矢状プロファイル（例えば、０°、６°、２０°、２５°前弯）、および／または
（ｅ）インプラントスクリューの長さ、直径、挿入軌道角度、
（４）インプラントとともに使用される（例えば、インプラント内および／またはインプラントの周囲に追加される）骨移植片（例えば、同種移植片、骨形成タンパク質（ＢＭＰ）など）のボリューム、
（５）終板に対するインプラント場所の配置および構成、
（ａ）インプラントの挿入経路および固定位置、
（ｂ）インプラントの拡張量、
（ｃ）インプラントおよび周囲の椎間板腔の移植片アクセス穴への任意の追加の自家骨移植片挿入の量、および／または
（ｄ）準備されたスクリュー穴の軌道および深さ、ならびに使用された器具（複数可）（例えば、皮質に穴を開けるための突き錐、スクリュー穴を作成するためのドリル）、
（６）計画されたまたは使用された器具（複数可）のタイプ（例えば、インプラント挿入器具、突き錐、ドリル、椎間板ボックスカッタ、椎間板鉗子、ケリソン、キュレット、スクレーパ、およびラスプなど）、ならびに、患者および６ＤＯＦの計画された移動に対する計画されたまたは使用された軌道を含み得る、
（７）脊椎減圧の量、
（８）患者の切開の場所、
（９）患者に対するカニューレ挿入経路、
（１０）開創器の構成（例えば、開創器の選択（例えば、ＧｌｏｂｕｓのＭｉｎｉｍａｌ Ａｃｃｅｓｓ Ｒｅｔｒａｃｔｏｒ Ｓｙｓｔｅｍ（ＭＡＲＳ））、ブレードの長さの選択）、
（１１）脊椎の目標場所へのアクセスを得るための開創器動作（開創器の位置決め、ブレードの挿入経路および深さ、ブレードの側方の動き、ブレードのアンギュレーション）など、
（１２）椎間板および／または骨棘の一部分を計画的に除去することによって椎間板腔を作成するプロセス、および、そのプロセス（複数可）中に使用することが計画される器具（複数可）（例えば、椎間板ボックスカッタ、椎間板鉗子、ケリソン、キュレット、スクレーパ、およびラスプ）、
（１３）終板の準備のためのプロセス（例えば、出血している骨を露出させるために除去される軟骨終板の表層の量）、および、そのプロセス（複数可）のために計画された器具（例えば、スクレーパおよびラスプ）、
（１４）関連付けられた外科手術計画によって提供されると予測される外科手術アウトカムの成功の推定レベル
（ａ）推定される外科手術後の変形矯正（例えば、推定された脊椎の湾曲、椎間板の間隔）、
（ｂ）推定される外科手術後のインプラント適合；
（ｃ）推定される患者報告アウトカム尺度、
（ｄ）推定される外科手術後の可動域（ＲＯＭ）、
（ｅ）他の推定される外科手術後の機能的アウトカム、
（ｆ）計画された外科的処置フェーズの持続時間、
（ｇ）計画された処置と使用された処置との誤差の特定、
（ｈ）計画されたインプラント特性と使用されたインプラント特性との誤差（例えば、外科手術中に患者に埋め込まれたインプラントデバイスサイズの、外科手術計画によって定義されたインプラントデバイスサイズからの誤差）、
（ｉ）計画されたインプラントの位置決めおよび／または挿入軌道と、使用されたインプラントの位置決めおよび／または挿入軌道との誤差（例えば、外科手術中の患者への埋め込み後のインプラントデバイスの姿勢の、術前の外科手術計画によって定義されたインプラントデバイスの姿勢からの誤差を示すデータ）、
（ｊ）脊椎矯正の計画されたレベルと、術中に達成されたレベルとの誤差、ならびに、
（ｋ）定義された外科手術の問題のあるイベントの発生確率
（ｉ）カメラ追跡システムの処置ステップ中の追跡マーカの喪失、
（ｉｉ）計画されたインプラントデバイスのタイプおよび／または寸法の、外科手術インプラントからの誤差、
（Ｉｉｉ）計画されたインプラントデバイスの位置の、外科手術後のインプラント固定位置からの誤差、
（ｉｖ）計画されたインプラントデバイス適合の、外科手術後のインプラント適合からの誤差、
（ｖ）予測された椎間板間隔の間隙の、外科手術後の間隙からの誤差、
（ｖｉ）ナビゲートされる外科手術中に、ユーザが外科手術器具の位置を計画から外す必要性、
（ｖｉｉ）ロボット支援外科手術中に、ユーザがロボット軸の位置を計画から外す必要性、および
（ｖｉｉｉ）ロボット支援外科手術中に、ユーザがエンドエフェクタの位置を計画から外す必要性。
（１）処置タイプ
（２）インプラント（複数可）のタイプ（例えば、Ｇｌｏｂｕｓ Ｍｅｄｉｃａｌ社の側方固定スペーサインプラントタイプであるＣＡＬＩＢＥＲ－Ｌ拡張可能高さスペーサ、ＴｒａｎｓＣｏｎｔｉｎｅｎｔａｌ固定高さスペーサ、ＩｎｔｅｒＣｏｎｔｉｎｅｎｔａｌスペーサ、ＰＬＹＭＯＵＴＨスペーサ、ＥＬＳＡ拡張可能な統合側方椎体間固定スペーサなどの椎体固定スペーサインプラント）、
（３）インプラントの寸法サイジング
（ａ）インプラントの長さ、
（ｂ）インプラントの幅、
（ｃ）インプラントの高さ（固定された前方の高さ、拡張可能な前方の高さの範囲、後方のテーパー）、
（ｄ）インプラントのプレート－スペーサ矢状プロファイル（例えば、０°、６°、２０°、２５°前弯）、および／または
（ｅ）インプラントスクリューの長さ、直径、挿入軌道角度、
（４）インプラントとともに使用される（例えば、インプラント内および／またはインプラントの周囲に追加される）骨移植片（例えば、同種移植片、骨形成タンパク質（ＢＭＰ）など）のボリューム、
（５）終板に対するインプラント場所の配置および構成、
（ａ）インプラントの挿入経路および固定位置、
（ｂ）インプラントの拡張量、
（ｃ）インプラントおよび周囲の椎間板腔の移植片アクセス穴への任意の追加の自家骨移植片挿入の量、および／または
（ｄ）準備されたスクリュー穴の軌道および深さ、ならびに使用された器具（複数可）（例えば、皮質に穴を開けるための突き錐、スクリュー穴を作成するためのドリル）、
（６）計画されたまたは使用された器具（複数可）のタイプ（例えば、インプラント挿入器具、突き錐、ドリル、椎間板ボックスカッタ、椎間板鉗子、ケリソン、キュレット、スクレーパ、およびラスプなど）、ならびに、患者および６ＤＯＦの計画された移動に対する計画されたまたは使用された軌道を含み得る、
（７）脊椎減圧の量、
（８）患者の切開の場所、
（９）患者に対するカニューレ挿入経路、
（１０）開創器の構成（例えば、開創器の選択（例えば、ＧｌｏｂｕｓのＭｉｎｉｍａｌ Ａｃｃｅｓｓ Ｒｅｔｒａｃｔｏｒ Ｓｙｓｔｅｍ（ＭＡＲＳ））、ブレードの長さの選択）、
（１１）脊椎の目標場所へのアクセスを得るための開創器動作（開創器の位置決め、ブレードの挿入経路および深さ、ブレードの側方の動き、ブレードのアンギュレーション）など、
（１２）椎間板および／または骨棘の一部分を計画的に除去することによって椎間板腔を作成するプロセス、および、そのプロセス（複数可）中に使用することが計画される器具（複数可）（例えば、椎間板ボックスカッタ、椎間板鉗子、ケリソン、キュレット、スクレーパ、およびラスプ）、
（１３）終板の準備のためのプロセス（例えば、出血している骨を露出させるために除去される軟骨終板の表層の量）、および、そのプロセス（複数可）のために計画された器具（例えば、スクレーパおよびラスプ）、
（１４）関連付けられた外科手術計画によって提供されると予測される外科手術アウトカムの成功の推定レベル
（ａ）推定される外科手術後の変形矯正（例えば、推定された脊椎の湾曲、椎間板の間隔）、
（ｂ）推定される外科手術後のインプラント適合；
（ｃ）推定される患者報告アウトカム尺度、
（ｄ）推定される外科手術後の可動域（ＲＯＭ）、
（ｅ）他の推定される外科手術後の機能的アウトカム、
（ｆ）計画された外科的処置フェーズの持続時間、
（ｇ）計画された処置と使用された処置との誤差の特定、
（ｈ）計画されたインプラント特性と使用されたインプラント特性との誤差（例えば、外科手術中に患者に埋め込まれたインプラントデバイスサイズの、外科手術計画によって定義されたインプラントデバイスサイズからの誤差）、
（ｉ）計画されたインプラントの位置決めおよび／または挿入軌道と、使用されたインプラントの位置決めおよび／または挿入軌道との誤差（例えば、外科手術中の患者への埋め込み後のインプラントデバイスの姿勢の、術前の外科手術計画によって定義されたインプラントデバイスの姿勢からの誤差を示すデータ）、
（ｊ）脊椎矯正の計画されたレベルと、術中に達成されたレベルとの誤差、ならびに、
（ｋ）定義された外科手術の問題のあるイベントの発生確率
（ｉ）カメラ追跡システムの処置ステップ中の追跡マーカの喪失、
（ｉｉ）計画されたインプラントデバイスのタイプおよび／または寸法の、外科手術インプラントからの誤差、
（Ｉｉｉ）計画されたインプラントデバイスの位置の、外科手術後のインプラント固定位置からの誤差、
（ｉｖ）計画されたインプラントデバイス適合の、外科手術後のインプラント適合からの誤差、
（ｖ）予測された椎間板間隔の間隙の、外科手術後の間隙からの誤差、
（ｖｉ）ナビゲートされる外科手術中に、ユーザが外科手術器具の位置を計画から外す必要性、
（ｖｉｉ）ロボット支援外科手術中に、ユーザがロボット軸の位置を計画から外す必要性、および
（ｖｉｉｉ）ロボット支援外科手術中に、ユーザがエンドエフェクタの位置を計画から外す必要性。
【0121】
図１４および図１５は、脊椎１４２０の隣接する椎骨１４１０ａおよび１４１０ｂ間に作成される椎間板間隙１５１０内の計画された姿勢に、選択されたサイジングのＣＡＬＩＢＥＲ－Ｌ拡張可能高さスペーサ１５００を挿入するように適合された、選択された外科手術器具１４００を使用することを含む計画された外科的処置を示す。術前計画中に、術前計画構成要素１２２４は、外科手術器具１４００、スペーサ１５００、および脊椎１４２０のグラフィカルモデル表現を使用して、ユーザに外科的処置を表示することができる。脊椎１４２０は、患者の医療画像（複数可）から得られたデータに基づいて適合され得るグラフィカルモデルによって表すことができるか、または、患者の医療画像（複数可）自体によって表すことができる。外科手術計画の実行のための術中段階中に、術中ガイダンス構成要素１２２６は、患者にオーバーレイされていると視認され、患者の脊椎内への軌道ナビゲーションを提供するように姿勢決めされ得るナビゲーション情報を表示することができる。
【0122】
機械学習処理回路１２２２によって出力される外科手術計画は、候補患者の術前段階データを処理して、１つ以上の候補外科手術計画、および外科手術アウトカムの成功の計算された推定レベルを提供する。次のステップでは、ユーザは、計画、例えば、インプラントのサイズおよび配置を修正し、医療画像に表示される更新された視覚的フィードバックを提供する外科手術ガイダンスシステム１２２０によるそのような修正の結果を観察することができる。ユーザが、計画の受け入れ可能性を示すと、計画は、外科手術のために承認されたものとして認可される。
【0123】
機械学習処理回路１２２２を介して外科手術ガイダンスシステム１２２０によって生成された外科手術計画は、ユーザ（例えば、外科医）に表示されて、外科医が、視覚ダッシュボードを使用して、パフォーマンスを経時的に追跡するのを助けることができる、ならびに／または、例えば、外科医自身の外科手術および／もしくは他の外科医（匿名化され得る）によって実施された外科手術からの容易にアクセス可能な解析データをレビューすることによって、外科医がパフォーマンスを改善することができる。
【0124】
術前計画構成要素１２２４は、外科手術計画の構成要素を示すデータを、ナビゲーションコントローラ８２８およびコンピュータプラットフォーム９１０（図１０）に提供することができ、コンピュータプラットフォーム９１０は、ＸＲヘッドセット９２０（図９）内のディスプレイデバイスなどのユーザディスプレイ（複数可）上での表示のために、外科手術計画のグラフィカル表現を、患者の医療画像上のオーバーレイとして、および／または、患者の医療画像に基づいてコンピュータ生成されたモデルと組み合わせて生成して、計画された外科的処置を実行しながらユーザにナビゲートされたガイダンスを提供する。
【0125】
術中ガイダンス構成要素１２２６は、ロボット外科手術システムに、外科手術計画の構成要素を示すデータを提供して、計画された外科的処置の自動化または半自動化されたナビゲートされたパフォーマンスを提供し得る。例えば、術中ガイダンス構成要素１２２６は、外科手術ロボット４（図９）の少なくとも１つのコントローラに、エンドエフェクタの一連の姿勢を示すデータを提供して、外科手術が患者に対する姿勢と連続的に一致するように、外科手術ロボットのアームに取り付けられたエンドエフェクタの一連の動きを制御することができる。
【0126】
対応する動作プロセス：
図１６は、外科手術ガイダンスシステム１２２０（図１３）、コンピュータプラットフォーム９１０（図１０）、カメラ追跡システム構成要素６／６’（図１０）、および外科手術ロボット４（図１０）を含み得る外科手術システムによって実行され得る動作のフローチャートを示す。
図１６は、外科手術ガイダンスシステム１２２０（図１３）、コンピュータプラットフォーム９１０（図１０）、カメラ追跡システム構成要素６／６’（図１０）、および外科手術ロボット４（図１０）を含み得る外科手術システムによって実行され得る動作のフローチャートを示す。
【0127】
図１６を参照すると、外科手術システムは、外科手術中のコンピュータ支援ナビゲーションのための外科手術ガイダンスシステムを含む。外科手術ガイダンスシステムは、脊椎手術を受けた複数の以前の患者の各々について、分散型ネットワークコンピュータによって提供されるフィードバックデータを得る（１６００）ように動作する。フィードバックデータは、以前の患者の脊椎の幾何学的構造を特徴付け、以前の患者に対して行われた外科的処置を特徴付け、以前の患者の脊椎に外科的に埋め込まれたインプラントデバイスを特徴付け、以前の患者の外科手術アウトカムを特徴付ける。外科手術ガイダンスシステムは、フィードバックデータに基づいて機械学習モデルをトレーニングする（１６０２）ようにさらに動作する。外科手術ガイダンスシステムは、計画された外科手術の候補患者の脊椎の幾何学的構造を特徴付ける術前データを、分散型ネットワークコンピュータのうちの１つから得（１６０４）、機械学習モデルを介した術前データの処理に基づいて、候補患者の外科手術計画を生成する（１６０６）ようにさらに動作する。外科手術計画は、候補患者の脊椎への外科的埋め込みのための脊椎インプラントデバイスのタイプおよび寸法サイジングを特定し、脊椎インプラントデバイスの埋め込みのための計画された軌道を特定する。外科手術計画の少なくとも一部分は、ユーザによる視覚的レビューのためにディスプレイデバイスに提供される（１６０８）。
【0128】
上で説明したように、術前計画構成要素１２２４（図１３）は、ユーザ、例えば外科医に外科手術計画を表示して、外科医が、外科手術計画の構成要素をレビューおよび受け入れること、または、外科手術計画の構成要素を修正することを可能にし得る。外科手術計画の修正は、機械学習処理回路１２２２（図１３）をトリガして、修正された外科手術計画に対して処理を繰り返して、修正された外科手術計画によって提供されると予測される外科手術アウトカムの成功のレベルの改良された推定値を提供し得る。外科手術計画が、さらなる変更なしに受け入れられると決定される（１６１０）と（すなわち、最終的な外科手術計画）、外科手術計画を処理してナビゲーション情報を生成することができる。
【0129】
少なくとも１つのコントローラ（例えば、ナビゲーションコントローラ８２８）は、外科手術器具および／またはロボットエンドエフェクタの現在の姿勢と、外科手術器具の動きのための計画された軌道との比較に基づいて、ナビゲーション情報を生成するように動作することができ、また、ディスプレイデバイス（例えば、ＸＲヘッドセット９２０）にナビゲーション情報を提供することができる。ナビゲーション情報は、計画された軌道と一致させるために、どのように外科手術器具または外科手術ロボットのエンドエフェクタを姿勢決めする必要があるかを示すことができる。
【0130】
いくつかの実施形態では、ナビゲーション情報は、ロボット基部と、ロボット基部に接続されたロボットアームと、ロボット基部に対してロボットアームを移動させるように動作可能に接続された少なくとも１つのモータとを含む外科手術ロボットに提供される。ロボットアームは、外科手術器具の動きを誘導するエンドエフェクタに接続するように構成されている。少なくとも１つのコントローラは、少なくとも１つのモータに接続され、脊椎インプラントデバイスの埋め込み中に、計画された軌道に沿って外科手術器具の動きを誘導しながら、エンドエフェクタの計画された姿勢に対するエンドエフェクタの姿勢を決定し、エンドエフェクタの計画された姿勢と決定された姿勢との比較に基づいて、ナビゲーション情報を生成するように動作し、ナビゲーション情報は、外科手術器具が、患者に向かって、計画された軌道に沿ってエンドエフェクタによって誘導されるように、計画された姿勢と一致するようにエンドエフェクタを移動させる必要のある場所を示す。
【0131】
いくつかの実施形態では、少なくとも１つのコントローラは、エンドエフェクタの決定された姿勢が計画された姿勢と一致するように、ナビゲーション情報に基づいて少なくとも１つのモータの動きを自律的または半自律的に制御して、エンドエフェクタを再位置決めするように動作する。いくつかの他の実施形態では、少なくとも１つのコントローラは、エンドエフェクタの決定された姿勢が計画された姿勢と一致するように、ナビゲーション情報を、表示のためにディスプレイデバイス（例えば、ヘッドセット９２０として機能する）に提供して、エンドエフェクタのオペレータの動きを視覚的に誘導するように動作する。
【0132】
上で説明したように、機械学習モデルは、術前データを処理して、候補患者の脊椎への外科的埋め込みのために提案された脊椎インプラントデバイスのタイプおよび寸法サイジングを特定する外科手術計画を出力するように動作し得る。
【0133】
機械学習モデルは、術前データを処理して、候補患者の脊椎への脊椎インプラントデバイスの外科的埋め込みから、候補患者について予測される外科手術アウトカムの成功の推定レベルのさらなる特定を有する外科手術計画を出力するようにさらに動作し得る。外科手術アウトカムの成功の推定レベルが、候補患者の脊椎への脊椎インプラントデバイスの外科的埋め込みによって得られる、可能性が最も高い患者報告アウトカム尺度または脊椎変形矯正測定値を示す。
【0134】
機械学習モデルは、術前データを処理して、候補患者の脊椎への脊椎インプラントデバイスの埋め込みのための計画された姿勢のさらなる特定を有する外科手術計画を出力するようにさらに動作し得る。
【0135】
外科手術ガイダンスシステムは、外科手術計画によって特定された候補患者の脊椎における計画された姿勢への脊椎インプラントデバイスの埋め込みのための計画された軌道を決定し、候補患者の脊椎に脊椎インプラントデバイスを埋め込むために使用されている外科手術器具の現在の姿勢を、カメラ追跡システムから得て、外科手術器具の現在の姿勢と計画された軌道との比較に基づいて、計画された軌道と一致させるためにどのように外科手術器具を姿勢決めする必要があるかを示すナビゲーション情報を生成し、ナビゲーション情報の少なくとも第１の部分をディスプレイデバイスに提供するように動作し得る。外科手術ガイダンスシステムは、ナビゲーション情報の少なくとも第２の部分を外科手術ロボットに提供して、外科手術器具の動きを誘導するエンドエフェクタを有するロボットアームの動きを制御するようにさらに動作し得る。ナビゲーション情報の少なくとも第２の部分は、候補患者の脊椎における脊椎インプラントデバイスの計画された姿勢への脊椎インプラントデバイスの埋め込みのために、外科手術器具が、計画された軌道に沿ってエンドエフェクタによって誘導されるように、エンドエフェクタを移動させる必要のある場所を示す。
【0136】
機械学習モデルは、術前データを処理して、スペーサタイプの脊椎インプラントデバイスの挿入を可能にするために除去されるべき患者の椎間板の一部分のさらなる特定を有する外科手術計画を出力するようにさらに動作し得る。
【0137】
外科手術ガイダンスシステムは、外科手術計画を処理して、脊椎インプラントデバイスの三次元モデルを得て、エクステンデッドリアリティ（ＸＲ）ヘッドセット内のディスプレイデバイスを介して表示するための三次元モデルのグラフィカル表現を、候補患者上のオーバーレイとして、提供するように動作し得る。
【0138】
機械学習モデルをトレーニングするために使用され、以前の患者の外科手術アウトカムを特徴付けるフィードバックデータには、患者報告アウトカム尺度または脊椎変形矯正測定値を特徴付ける術後フィードバックデータが含まれ得る。機械学習モデルをトレーニングするために使用されるフィードバックデータは、以前の患者に対して行われた脊椎の外科的処置のタイプ、ならびに、以前の患者に埋め込まれた脊椎インプラントデバイスのタイプおよび寸法サイジングを特徴付け得る。機械学習モデルをトレーニングするために使用されるフィードバックデータは、以前の患者に埋め込まれたときに脊椎インプラントデバイスとともに使用された骨移植片のボリュームを特徴付け得る。
【0139】
機械学習モデルをトレーニングするために使用されるフィードバックデータは、術前段階中に計画された以前の患者の脊椎矯正の計画されたレベルと、術中段階または術後段階中に測定された以前の患者の脊椎矯正の達成されたレベルとの誤差、術前段階中に計画された、計画された外科的処置と、術中段階中に以前の患者に対して行われた、使用された外科的処置との誤差、術前段階中に計画された脊椎インプラントデバイスのタイプおよび寸法サイジングと、術中段階中に以前の患者に埋め込まれた脊椎インプラントデバイスの使用されたタイプおよび寸法サイジングとの誤差、術前段階中に計画された以前の患者の脊椎への固定のための脊椎インプラントデバイスの計画された姿勢と、術中段階中の以前の患者の脊椎への固定後の脊椎インプラントデバイスの使用された姿勢との誤差、および、術前段階中に計画された以前の患者の脊椎への脊椎インプラントデバイスの埋め込みのための計画された挿入軌道と、術中段階中に以前の患者の脊椎に埋め込まれたときに、脊椎インプラントデバイスがそれに沿って移動された、使用された軌道との誤差、のうちの少なくとも１つを特徴付け得る。
【0140】
外科手術ガイダンスシステムは、定義されたルールを満たす類似性を有するフィードバックデータのサブセットを形成し、サブセットの各々において、フィードバックデータの少なくともいくつかの値の間の相関を特定し、サブセットの各々について特定された相関に基づいて、機械学習モデルをトレーニングするようにさらに動作し得る。
【0141】
機械学習モデルは、入力ノードを有する入力層、各々が複数の結合ノードを有する一連の隠れ層、および出力ノードを有する出力層を含むニューラルネットワーク構成要素と、ニューラルネットワークモデルの入力ノードのうちの異なる入力ノードに、術前データの異なるエントリを提供し、ニューラルネットワーク構成要素の出力ノードの出力に基づいて、外科手術計画を生成するように動作する少なくとも１つの処理回路とを含み得る。フィードバックトレーニング構成要素は、フィードバックデータの値に基づいて、ニューラルネットワーク構成要素の結合ノードによって使用される重みおよび／または発火閾値を適応させるように構成され得る。
【0142】
さらなる定義および実施形態：
本発明概念の様々な実施形態の上記の発明を実施するための形態において、本明細書で使用される用語が、特定の実施形態を説明することのみを目的とし、本発明概念を限定することを意図したものではないことを理解されたい。別様に定義されない限り、本明細書において使用される全ての用語（技術用語および科学用語を含む）は、本発明の概念が属する技術の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるような用語は、本明細書および関連する技術分野の文脈におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された、または過度に形式的な意味では解釈されないことがさらに理解されよう。
本発明概念の様々な実施形態の上記の発明を実施するための形態において、本明細書で使用される用語が、特定の実施形態を説明することのみを目的とし、本発明概念を限定することを意図したものではないことを理解されたい。別様に定義されない限り、本明細書において使用される全ての用語（技術用語および科学用語を含む）は、本発明の概念が属する技術の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるような用語は、本明細書および関連する技術分野の文脈におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された、または過度に形式的な意味では解釈されないことがさらに理解されよう。
【0143】
ある要素が別の要素に対して「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型であるように参照される場合、その要素は、他の要素に直接接続、結合、もしくは応答することができるか、または介在する要素が存在してもよい。対照的に、ある要素が別の要素に対して「直接接続された（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」、「直接結合された（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」、「直接応答する（ｄｉｒｅｃｔｌｙ ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型であるように参照される場合、介在する要素は存在しない。同様の符号は、全体を通して同様の要素を指す。さらにまた、本明細書において使用される場合、「結合された（ｃｏｕｐｌｅｄ）」、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型は、無線で結合、接続、または応答することを含むことができる。本明細書において使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈がそうでないことを明確に示さない限り、複数形も含むことを意図している。周知の機能または構造は、簡潔さおよび／または明確さのために詳細に説明されない場合がある。「および／または」という用語は、関連する列挙された項目のうちの１つ以上のいずれかおよび全ての組み合わせを含む。
【0144】
本明細書では、第１、第２、第３などの用語を使用して様々な要素／動作を説明することがあるが、これらの要素／動作は、これらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素／動作を他の要素／動作から区別するためにのみ使用される。したがって、いくつかの実施形態における第１の要素／動作は、本発明の概念の教示から逸脱することなく、他の実施形態における第２の要素／動作と呼ぶことができる。同じ参照番号または同じ参照符号は、明細書全体を通して同じまたは類似の要素を示す。
【0145】
本明細書において使用される場合、「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｖｅ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」という用語、またはそれらの変異型は、限定がなく、１つ以上の記された特徴、整数、要素、ステップ、構成要素、または機能を含むが、１つ以上の他の特徴、整数、要素、ステップ、構成要素、機能、またはそれらのグループの存在もしくは追加を排除するものではない。さらにまた、本明細書において使用される場合、ラテン語の「例えば（ｅｘｅｍｐｌｉ ｇｒａｔｉａ）」から派生した一般的な略語「例えば（ｅ．ｇ．）」は、前述の項目の全般的な例（複数可）を紹介または指定するために使用されてもよく、かかる項目を限定することを意図するものではない。ラテン語の「すなわち（ｉｄ ｅｓｔ）」から派生した一般的な略語「すなわち（ｉ．ｅ．）」は、より全般的な列挙から特定の項目を指定するために使用されてもよい。
【0146】
例示的な実施形態は、コンピュータ実装方法、装置（システムおよび／もしくはデバイス）、ならびに／またはコンピュータプログラム製品を示すブロック図および／またはフローチャート図を参照して本明細書において説明される。ブロック図および／またはフローチャート図のブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組み合わせは、１つ以上のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装されることができることが理解される。これらのコンピュータプログラム命令を汎用コンピュータ回路、専用コンピュータ回路、および／または他のプログラム可能なデータ処理回路のプロセッサ回路に提供して機械を生成することができ、それにより、コンピュータのプロセッサおよび／または他のプログラム可能なデータ処理装置を介して実行される命令は、トランジスタ、メモリの場所に記憶された値、およびかかる回路網内の他のハードウェア構成要素を変換および制御して、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装し、且つそれによって、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装するための手段（機能）および／または構造を作り出す。
【0147】
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令がブロック図および／またはフローチャートブロックまたは複数のブロックにおいて指定された機能／作用を実装する命令を含む製造物品を製造するように、コンピュータまたは他のプログラム可能なデータ処理装置が特定の方法で機能するように指示することができる有形のコンピュータ可読媒体に記憶されてもよい。したがって、本発明の概念の実施形態は、集合的に「回路網」、「モジュール」、またはそれらの変異型と称されることができる、デジタル信号プロセッサなどのプロセッサで動作するハードウェアおよび／またはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で具体化されることができる。
【0148】
また、いくつかの代替実装形態では、ブロックに記載されている機能／作用が、フローチャートに記載されている順序とは異なる順序で発生する場合があることにも留意されたい。例えば、連続して示されている２つのブロックは、関与する機能／作用に応じて、実際には実質的に同時に実行されてもよいかまたはブロックが逆の順序で実行されてもよい。さらに、フローチャートおよび／またはブロック図の所与のブロックの機能は、複数のブロックに分離されてもよく、および／またはフローチャートおよび／またはブロック図の２つ以上のブロックの機能は、少なくとも部分的に統合されてもよい。最後に、本発明の概念の範囲から逸脱することなく、図示されているブロックの間に他のブロックが追加／挿入されてもよく、および／またはブロックまたは動作が省略されてもよい。さらに、いくつかの図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生する場合があることを理解されたい。
【0149】
本発明の概念の原理から実質的に逸脱することなく、実施形態に対して多くの変更および修正を行うことができる。全てのかかる変更および修正は、本発明の概念の範囲内で本明細書に含まれることが意図されている。したがって、上記で開示された主題は、限定的ではなく例示的であると見なされるべきであり、添付の実施形態の例は、本発明の概念の趣旨および範囲内にある全てのかかる修正例、強化例、および他の実施形態を網羅することを意図するものである。したがって、法律によって許される最大限の範囲で、本発明概念の範囲は、以下の実施形態の例およびそれらの均等物を含む本開示の最も広い許容可能な解釈によって決定されるべきであり、前述の発明を実施するための形態に制限または限定されるものではないとする。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
