知財求人 - 知財ポータルサイト「IP Force」
▶ グローバス メディカル インコーポレイティッドの特許一覧
特許7547241予定の器具アタッチメントの仮想モデルの表示により物理的器具アタッチメントの正しい選択を確実にする
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-30
(45)【発行日】2024-09-09
(54)【発明の名称】予定の器具アタッチメントの仮想モデルの表示により物理的器具アタッチメントの正しい選択を確実にする
(51)【国際特許分類】
A61B 34/35 20160101AFI20240902BHJP
A61B 90/50 20160101ALI20240902BHJP
G06F 3/01 20060101ALI20240902BHJP
【ＦＩ】
A61B34/35
A61B90/50
G06F3/01 510
【請求項の数】
13
(21)【出願番号】P 2021024141
(22)【出願日】2021-02-18
(65)【公開番号】P2021129984
(43)【公開日】2021-09-09
【審査請求日】2021-02-18
【審判番号】
【審判請求日】2023-02-06
(31)【優先権主張番号】16/794,496
(32)【優先日】2020-02-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507400686
【氏名又は名称】グローバス メディカル インコーポレイティッド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】ウェストン ヒーリー
(72)【発明者】
【氏名】トーマス キャロウェイ
(72)【発明者】
【氏名】ノーバート ジョンソン
【合議体】
【審判長】佐々木 正章
【審判官】安井 寿儀
【審判官】栗山 卓也
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０１９２２３０（ＵＳ，Ａ１）
【文献】特開２０１９－２２６５８（ＪＰ，Ａ）
【文献】特表２０１９－５３４７１７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
A61B 34/00- 34/20
A61B 34/35
A61B 90/50
(57)【特許請求の範囲】
【請求項1】
外科システムであって、外科処置中にユーザが装着するように構成され、透明表示画面を含むＡＲヘッドセットであって、前記透明表示画面は、器具アタッチメントの仮想モデルを表示し、前記透明表示画面を透過した、前記器具アタッチメントが取り付けられる器具を含む実世界場面の少なくとも物理的器具アタッチメントを前記ユーザが見ることを可能にするように構成されたＡＲヘッドセットと、
前記ユーザが前記ＡＲヘッドセットに対して特定の姿勢で前記器具を配置するとき、前記器具アタッチメントに関連した情報に基づいて、前記器具アタッチメントの前記仮想モデルの形状および姿勢を生成するように構成されたＡＲヘッドセットコントローラを備え、
前記ＡＲヘッドセットは、外科ロボットおよびコンピュータプラットフォームに動作可能に接続されており、
前記コンピュータプラットフォームは、
前記外科処置を行うときに、前記透明表示画面に表示され視覚的ガイダンスを提供するナビゲーション情報を生成し、
前記外科ロボットとともに使用される場合、解剖学的構造体に対して前記外科処置を行うように、エンドエフェクタを目標姿勢に自動的に動かすように構成される、
外科システム。
【請求項2】
前記ＡＲヘッドセットコントローラが、前記透明表示画面を通して見たときに、前記器具に取り付けられて見えるように、前記器具アタッチメントの前記仮想モデルの前記姿勢を確定するようにさらに構成されている、請求項１に記載の外科システム。
【請求項3】
前記実世界場面には、前記器具に取り付けられた、実世界に実在する物理的器具アタッチメントがさらに含まれる、請求項２に記載の外科システム。
【請求項4】
前記ＡＲヘッドセットコントローラが、前記器具アタッチメントの前記仮想モデルが、前記透明表示画面を通して見られている間、前記物理的器具アタッチメントに重ね合わされると、前記物理的器具アタッチメントの少なくとも１つの対応する特徴に位置がほぼ揃うように、それの少なくとも１つが姿勢が決められる、部分的に透明なグラフィカル特徴を有するように、前記器具アタッチメントの前記仮想モデルを生成するようにさらに構成されている、請求項３に記載の外科システム。
【請求項5】
前記ＡＲヘッドセットコントローラが、前記器具アタッチメントの前記仮想モデルが、前記透明表示画面を通して見られている間、実世界に実在する物理的器具アタッチメントに重ね合わされると、前記物理的器具アタッチメントの少なくとも１つの対応する特徴に位置がほぼ揃うように、それの少なくとも１つが姿勢が決められる、不透明なグラフィカル特徴を有するように、前記器具アタッチメントの前記仮想モデルを生成するようにさらに構成されている、請求項１に記載の外科システム。
【請求項6】
前記ＡＲヘッドセットコントローラが、前記器具アタッチメントの前記仮想モデルが、前記透明表示画面を通して見られている間、実世界に実在する物理的器具アタッチメントの背後に位置付けられると、前記物理的器具アタッチメントの少なくとも１つの対応する特徴に位置がほぼ揃うように、それの少なくとも１つが姿勢が決められる、不透明なグラフィカル特徴を有するように、前記器具アタッチメントの前記仮想モデルを生成するようにさらに構成されている、請求項１に記載の外科システム。
【請求項7】
前記ＡＲヘッドセットコントローラが、ユーザ入力に基づいて部分的に透明、不透明のものとして、前記器具アタッチメントの前記仮想モデルのグラフィカル特徴を選択的にレンダリングするようにさらに構成されている、請求項１に記載の外科システム。
【請求項8】
前記ＡＲヘッドセットコントローラが、実世界に実在する物理的器具アタッチメントの背後に、前記物理的器具アタッチメント上の重ね合わせのものとして表示されるように、前記器具アタッチメントの前記仮想モデルの前記姿勢を選択的に確定するようにさらに構成されている、請求項１に記載の外科システム。
【請求項9】
前記ＡＲヘッドセットコントローラが、前記ＡＲヘッドセットに対する実世界に実在する物理的器具アタッチメントの前記姿勢から確定された距離に基づいて、前記器具アタッチメントの前記仮想モデルの前記形状を拡大縮小するようにさらに構成されている、請求項１に記載の外科システム。
【請求項10】
前記実世界場面には、実世界に実在する物理的器具アタッチメントがさらに含まれ、前記ＡＲヘッドセットコントローラが、患者に挿入される金物片である椎弓根スクリューまたは拡張可能ケージのうちの少なくとも１つを表すグラフィカル特徴を有するように、前記器具アタッチメントの前記仮想モデルを生成するようにさらに構成されている、請求項１に記載の外科システム。
【請求項11】
前記ＡＲヘッドセットコントローラが、前記器具アタッチメントの前記仮想モデルを、器具エクステンダを表すグラフィカル特徴を有するように生成するようにさらに構成されている、請求項１に記載の外科システム。
【請求項12】
前記ＡＲヘッドセットコントローラが、前記仮想モデルを、前記器具アタッチメントに関連した前記情報に基づいて、前記器具アタッチメントの特性を示すテキストを含むように、生成するようにさらに構成されている、請求項１に記載の外科システム。
【請求項13】
前記ＡＲヘッドセットに対する前記器具の前記姿勢を確定するように構成された追跡システムと、外科ロボットであって、
ロボット基部、
前記ロボット基部に接続され、前記器具の動きを誘導するように構成されているエンドエフェクタを位置付けるように構成された、ロボットアーム、
前記ロボット基部に対して前記ロボットアームを動かすように動作可能に接続された少なくとも１つのモータ、を含む、外科ロボットと、
ナビゲーションコントローラであって、
解剖学的構造体に対して前記器具を使用して外科処置が行われる部位を定義し、また前記外科処置中に使用される前記器具アタッチメントを定義する、外科的計画に基づいて、前記器具の目標姿勢を確定することと、
前記器具の前記目標姿勢および前記器具の前記姿勢に基づいて、前記少なくとも１つのモータの制御下で前記器具がどこに動かされるかを示す操縦情報を生成することと、を行うように構成されている、ナビゲーションコントローラと、をさらに備える、請求項１に記載の外科システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療デバイスおよびシステムに関し、より具体的には、ロボット外科システムを使用する外科手術におけるコンピュータ支援ナビゲーションに関する。
【背景技術】
【0002】
外科手術におけるコンピュータ支援ナビゲーションは、外科医に、患者の解剖学的構造体の放射線画像に関する外科器具の視覚化向上をもたらす。ナビゲート式外科手術には、通常、単一の近赤外線（ＮＩＲ：Ｎｅａｒ Ｉｎｆｒａｒｅｄ）ステレオカメラ仕組みを使用して、円盤列または球列を介して外科器具の位置および向きを追跡するための構成要素が含まれる。この場合、最適化を目指してともに競い合う３つのパラメータ、（１）正確さ、（２）ロバスト性、および（３）人間工学がある。
【0003】
既存のナビゲーションシステムを使用するナビゲート式外科処置は、人員および／または物体が、患者、ロボット、および外科器具の姿勢を追跡する追跡構成要素の能力を妨げる間に断続的な休止期間の引き金を引く事象に陥りやすい。ナビゲーションシステムの追跡性能を高めることが求められている。
【発明の概要】
【0004】
本明細書に開示されている様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションにおける向上を対象としている。１つ以上の拡張現実（「ＸＲ」）ヘッドセットには、別のＸＲヘッドセット、補助追跡バー、または他の機器の一部である可能性がある他の追跡カメラからの追跡情報と組み合わせる対象の追跡情報を、カメラ追跡システムに提供する追跡カメラが備えられ得る。本明細書に開示されている様々な姿勢連鎖動作を通して、カメラ追跡システムは、より優れたロバスト性で、また多様な動きを通して、ツールおよび他の物体を追跡することができる可能性がある。
【0005】
実施形態によっては、外科システムが提供される。外科システムは、拡張現実（「ＸＲ」）ヘッドセットおよびＸＲヘッドセットコントローラを含む。ＸＲヘッドセットは、外科処置中にユーザが装着するように構成され、予定の器具アタッチメントの仮想モデルを表示し、ユーザが見る対象の実世界場面の少なくとも一部がそれを透過することを可能にするように構成された透明表示画面を含む。実世界場面には、器具が含まれる。ＸＲヘッドセットコントローラは、予定の器具アタッチメントに関連した所定の情報に基づき、またＸＲヘッドセットに対する器具の姿勢に基づき、予定の器具アタッチメントの仮想モデルの形状および姿勢を生成するように構成されている。
【0006】
他の実施形態において、外科システムが提供される。外科システムは、拡張現実（「ＸＲ」）ヘッドセットおよびＸＲヘッドセットコントローラを含む。ＸＲヘッドセットは、外科処置中にユーザが装着するように構成され、予定の器具アタッチメントの仮想モデルを表示し、ユーザが見る対象の実世界場面の少なくとも一部がそれを透過することを可能にするように構成された透明表示画面を含む。実世界場面には、物理的器具アタッチメントが含まれる。ＸＲヘッドセットコントローラは、予定の器具アタッチメントの所定の情報に基づき、またＸＲヘッドセットに対する物理的器具アタッチメントの姿勢に基づき、予定の器具アタッチメントの仮想モデルの形状および姿勢を生成するように構成されている。
【0007】
外科システムおよび関連のロボット型外科システムによる関連の方法を開示する。
【0008】
当業者であれば、以下の図面および発明を実施するための形態を考察した時点で、実施形態による他の外科システム、方法、およびコンピュータプログラム製品が見えてくるであろう。このような外科システム、方法、およびコンピュータプログラム製品が、この発明を実施するための形態の範囲に含まれ、また本開示の範囲内にあり、添付の特許請求の範囲によって保護されることが意図されている。また、本明細書に開示されるすべての実施形態が、別々に実装されても、どのようにもかつ／またはどのような組み合わせでも組み合わせられてよいことが意図されている。
【図面の簡単な説明】
【0009】
以下の添付図面は、本開示のさらなる理解をもたらすために含まれ、本出願の一部を構成するのに組み込まれ、本発明概念の特定の非限定実施形態を示す。図面は、以下の通りである：
【図1】本開示のいくつかの実施形態による、外科システムの一実施形態を示す。
【図4】ロボットアームに接続可能であり、本開示のいくつかの実施形態に従って構成されている、エンドエフェクタの一実施形態を示す。
【図5】外科ロボットおよびカメラシステムが患者の周りに配置されている医療手術を示す。
【図8】本開示のいくつかの実施形態による、外科ロボットのいくつかの電気構成要素のブロック図を示す。
【図9】本開示のいくつかの実施形態による、カメラ追跡システムおよび／または外科ロボットに運用上接続され得る、コンピュータプラットフォームに接続された撮像デバイスを含む外科システムの構成要素のブロック図を示す。
【図10】本開示のいくつかの実施形態による、外科ロボットと組み合わせて使用され得るＣ－Ａｒｍ撮像デバイスの一実施形態を示す。
【図11】本開示のいくつかの実施形態による、外科ロボットと組み合わせて使用され得るＯ－Ａｒｍ撮像デバイスの一実施形態を示す。
【図12】本開示のいくつかの実施形態に従って働くＸＲヘッドセットと補助追跡バーとの対を含む、外科システムの構成要素のブロック図ビューを示す。
【図13】本開示のいくつかの実施形態に従って構成されているＸＲヘッドセットを示す。
【図14】本開示のいくつかの実施形態による、コンピュータプラットフォーム、撮像デバイス、および／または外科ロボットに作動的に接続され得る、ＸＲヘッドセットの電気構成要素を示す。
【図15】本開示のいくつかの実施形態による、ＸＲヘッドセットの光学構成要素の配置を示すブロック図を示す。
【図16】本開示のいくつかの実施形態による、医療処置中にナビゲーション補助を提供して、外科ツールを巧みに操るためのＸＲヘッドセットの表示画面を通したビュー例を示す。
【図17】本開示のいくつかの実施形態に従って構成された２対のステレオカメラを有する補助追跡バーの構成例を示す。
【図18A】器具アタッチメントに関連した仮想モデルまたは情報が本開示のいくつかの実施形態に従って表示される、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図18B】器具アタッチメントに関連した仮想モデルまたは情報が本開示のいくつかの実施形態に従って表示される、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図18C】器具アタッチメントに関連した仮想モデルまたは情報が本開示のいくつかの実施形態に従って表示される、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図19A】本開示のいくつかの実施形態による、器具取り付けの仮想モデルが、器具に基づいた姿勢で表示される、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図19B】本開示のいくつかの実施形態による、器具取り付けの仮想モデルが、器具に基づいた姿勢で表示される、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図19C】本開示のいくつかの実施形態による、器具取り付けの仮想モデルが、器具に基づいた姿勢で表示される、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図20A】本開示のいくつかの実施形態による、器具に基づいた姿勢の器具アタッチメントの仮想モデルが、実世界器具アタッチメントに一致する、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図20B】本開示のいくつかの実施形態による、器具に基づいた姿勢の器具アタッチメントの仮想モデルが、実世界器具アタッチメントに一致する、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図20C】本開示のいくつかの実施形態による、器具に基づいた姿勢の器具アタッチメントの仮想モデルが、実世界器具アタッチメントに一致する、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図21A】本開示のいくつかの実施形態による、器具に基づいた姿勢の器具アタッチメントの仮想モデルが、実世界器具アタッチメントに一致しない、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図21B】本開示のいくつかの実施形態による、器具に基づいた姿勢の器具アタッチメントの仮想モデルが、実世界器具アタッチメントに一致しない、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図21C】本開示のいくつかの実施形態による、器具に基づいた姿勢の器具アタッチメントの仮想モデルが、実世界器具アタッチメントに一致しない、ＸＲヘッドセットの表示画面を通したビューの例を示す。
【図22】本開示のいくつかの実施形態による、外科システムによって行われるプロセスの例であるフローチャートを示す。
【図23】本開示のいくつかの実施形態による、外科システムによって行われるプロセスの例であるフローチャートを示す。
【発明を実施するための形態】
【0010】
以下で、発明概念の実施形態の例が示されている添付図面を参照して、発明概念をより十分に説明することにする。ただし、発明概念は、多くの様々な形態で具体化され得、本明細書に打ち出される実施形態に限定されると解釈されるべきではない。むしろ、本開示が徹底的かつ完全になり、当業者に様々な本発明概念の範囲を完全に伝えるように、これらの実施形態が提供される。これらの実施形態が相互排他的ではないことにも留意されたい。ある実施形態からの構成要素が別の実施形態に存在するまたは使用されることが暗黙のうちに前提とされ得る。
【0011】
本明細書に開示されている様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションにおける向上を対象としている。拡張現実（「ＸＲ」）ヘッドセットが、外科システムに作動的に接続され、外科医、助手、および／または他の従事者がそれを通して患者画像を見て、その中から選択することができ、コンピュータ生成式外科ナビゲーション情報を見て、その中から選択することができ、かつ／または、手術室内の外科機器を制御することができる、双方向環境を提供するように構成されている。以下に説明するように、ＸＲヘッドセットは、コンピュータ生成式ＸＲ画像で実世界場面を増補するように構成され得る。ＸＲヘッドセットは、実世界場面からの光がそこを透過するのを可能にする透明表示画面上に、ユーザが組み合わせて見る対象のコンピュータ生成式ＸＲ画像を表示することによって、拡張現実（「ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」）ビューイング環境を提供するように構成され得る。代替として、ＸＲヘッドセットは、ユーザが表示画面上のコンピュータ生成式ＡＲ画像を見ている間に、実世界場面からの光がユーザに直接見られることを防ぐまたは事実上防ぐことによって、仮想現実（「ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ」）ビューイング世界を提供するように構成され得る。ＸＲヘッドセットは、ＡＲおよびＶＲ両方のビューイング環境を提供するように構成され得る。ある実施形態において、ＶＲビューイング環境が高不透明度帯域と位置が揃ったＸＲ画像に提供され、ＡＲビューイング環境が、低不透明度帯域と位置が揃ったＸＲ画像に提供されるように、ＡＲおよびＶＲ両方のビューイング環境が、透明表示画面と実世界場面との間に配置された事実上不透明度が異なる横方向帯域によって提供される。別の実施形態において、ＡＲおよびＶＲ両方のビューイング環境が、ユーザが見るＸＲ画像との組み合わせ対象の実世界場面からの光がどれくらい透明表示画面を透過するかを可変的に抑制する不透明フィルタのコンピュータ調整式制御によって提供される。したがって、ＸＲヘッドセットは、ＡＲヘッドセットまたはＶＲヘッドセットと呼ばれる場合もある。
【0012】
図１は、本開示のいくつかの実施形態による、外科システム２の一実施形態を示す。整形外科処置または他の外科処置の実施の前に、例えば、図１０のＣ－Ａｒｍ撮像デバイス１０４、または図１１のＯ－Ａｒｍ撮像デバイス１０６を使用して、またはコンピュータ断層撮影（「ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ」）画像またはＭＲＩなどの別の医療撮像デバイスから、患者の予定の外科範囲の３次元（「３Ｄ：Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ」）画像スキャンが、行われ得る。このスキャンは、術前（例えば、最も一般的には処置の数週間前、）または術中に行われ得る。ただし、外科システム２の様々な実施形態に応じて、知られているいずれの３Ｄ画像スキャンまたは２Ｄ画像スキャンも使用され得る。画像スキャンは、カメラ追跡システム構成要素６を含み得る外科システム９００のコンピュータプラットフォーム９１０（図９）、外科ロボット４（例えば、図１のロボット２）、撮像デバイス（例えば、Ｃ－Ａｒｍ １０４、Ｏ－Ａｒｍ １０６など）、および患者の画像スキャンを格納するための画像データベース９５０など、外科システム２と通信するコンピュータプラットフォームに送信される。コンピュータプラットフォーム９１０（図９）の表示デバイス上の画像スキャンを考察する外科医は、患者の解剖学的構造体への外科処置中に使用される外科ツールに対して目標姿勢を定義する外科計画を起こす。ツールとも呼ばれる外科ツール例には、ドリル、ねじ回し、開創器、またねじ、スペーサ、椎体間融合デバイス、プレート、ロッドなどの移植片が含まれ得るが、これらに限定されるわけではない。実施形態によっては、目標平面を定義する外科計画は、表示デバイス上に表示された３Ｄ画像スキャン上に計画される。
【0013】
本明細書で使用される際、「姿勢（ｐｏｓｅ）」という用語は、ある物体（例えば、ダイナミックリファレンスアレイ、エンドエフェクタ、外科ツール、解剖学的構造体など）の別の物体に対するかつ／または定義された座標系に対する位置および／または回転角を指す。本明細書で使用される場合、「ポーズ」という用語は、別の物体および／または定義された座標系に対する、ある物体（例えば、動的参照アレイ、エンドエフェクタ、手術道具、解剖学的構造など）の位置および／または回転角度を指す。したがって、姿勢は、ある物体の別の物体にかつ／または定義された座標系に対する多次元位置のみに、物体の別の物体にかつ／または定義された座標系に対する多次元回転角のみに、あるいは多次元位置と多次元回転角との組み合わせに、基づき定義され得る。したがって、ポーズは、別の物体および／または定義された座標系に対するある物体の多次元位置のみに基づいて、および／または別の物体および／または定義された座標系に対する物体の多次元回転角度のみに基づいて、または多次元位置と多次元回転角度との組み合わせに基づいて定義され得る。したがって、「姿勢（ｐｏｓｅ）」という用語は、位置、回転角、またはそれらの組み合わせを指すように使用される。したがって、「ポーズ」という用語は、位置、回転角度、またはそれらの組み合わせを指すために使用される。
【0014】
図１の外科システム２は、例えば、ツールを保持する、ツールを位置合わせする、ツールを使用する、ツールを誘導する、かつ／または使用に向けてツールを位置付けることによって、医療処置中に外科医を助けることができる。実施形態によっては、外科システム２は、外科ロボット４およびカメラ追跡システム構成要素６を含む。外科ロボット４とカメラ追跡システム構成要素６とを機械的に結合する能力によって、外科システム２が単一ユニットとして巧みに操り、動くのが可能になり、外科システム２が小さな設置面積で済むようにし、狭い通路および曲がり角のより楽な通過が可能になり、またより小さな面積内での収納が可能になる。
【0015】
外科処置は、外科システム２が医療収納部から医療処置室に移動することで始まり得る。外科システム２は、出入口、ホール、およびエレベータを通り、医療処置室に達するように動かされ得る。医療処置室内で、外科システム２は、２つの別個の異なるシステム、外科ロボット４とカメラ追跡システム構成要素６とに物理的に分けられ得る。外科ロボット４は、医療従事者を正しく補助するのに適したいずれの場所にも、患者に隣接して位置付けられ得る。カメラ追跡システム構成要素６は、患者の基部に、患者の肩に、または外科ロボット４および患者の追跡部分のその時の姿勢と、姿勢の動きとを追跡するのに適したいずれの他の場所にも位置付けされ得る。外科ロボット４およびカメラ追跡システム構成要素６は、内蔵電力源によって給電され、かつ／または外壁コンセントに差し込まれ得る。
【0016】
外科ロボット４は、医療処置中にルーツを保持しかつ／または使用することによって外科医を補助するのに使用され得る。ツールを正しく利用し、保持するのに、外科ロボット４は、複数のモータ、コンピュータ、および／またはアクチュエータが正しく機能することに頼る場合がある。図１に示されるロボット本体８は、複数のモータ、コンピュータ、および／またはアクチュエータが外科ロボット４内で固定され得る構造体としての役割を果たし得る。ロボット本体８はまた、ロボット伸縮式支持アーム１６に支持を与えることができる。ロボット本体８のサイズは、取り付けられた構成要素を支持する頑丈なプラットフォームをもたらし、取り付けられた構成要素を働かせることができる、複数のモータ、コンピュータ、および／またはアクチュエータを収容し、隠し、また保護することができる。
【0017】
ロボット基部１０は、外科ロボット４用の下部支持体としての役割を果たし得る。実施形態によっては、ロボット基部１０は、ロボット本体８を支持することができ、ロボット本体８を複数の動力付き車輪１２に取り付けることができる。車輪へのこの取り付けにより、ロボット本体８が空間を効率良く動くことが可能になる。ロボット基部１０は、ロボット本体８の長さおよび幅に及び得る。ロボット基部１０は、約２インチ～約１０インチの高さであり得る。ロボット基部１０は、動力付き車輪１２を覆い、保護し、また支持することができる。
【0018】
実施形態によっては、図１に示されるように、少なくとも１つの動力付き車輪１２がロボット基部１０に取り付けられ得る。動力付き車輪１２は、ロボット基部１０のいずれの場所にでも取り付けてもよい。それぞれの個々の動力付き車輪１２は、いずれの方向にも垂直軸を中心として回転することができる。モータは、動力付き車輪１２の上に、中に、またはそれに隣接して配置され得る。このモータによって、外科システム２は、いずれの場所にも移動し、外科システム２を安定化させかつ／または水平にすることができる。動力付き車輪１２内またはそれに隣接して位置するロッドは、モータによって表面に押し込められ得る。ロッドは、描かれていないが、外科システム２を持ち上げるのに適したいずれの金属からも作られ得る。ロッドは、外科システム２を持ち上げることができる動力付き車輪１０を、患者との関係で外科システム２の向きを水平にする、またはそうでなければ固定するのに必要ないずれの高さにも持ち上げることができる。各車輪上のロッドによる小さな接触範囲を通して支持される、外科システム２の重さは、外科システム２が医療処置中に動くのを防ぐ。この厳格な位置付けは、物体および／または人が偶然に外科システム２を動かすのを防ぐことができる。
【0019】
ロボット手すり１４を使用して、外科システム２を動かすのを楽にすることができる。ロボット手すり１４は、人に、ロボット本体８を掴むことなく、外科システム２を動かす能力を与える。図１に示されるように、ロボット手すり１４は、ロボット本体８よりも短く、ロボット本体８の長さによりわたることがあり、かつ／またはロボット本体８の長さより長くわたることがある。ロボット手すり１４は、物体および／または従事者がロボット本体８に触る、それを打つ、またはそれにぶつかることを防ぐ、保護をロボット本体８にさらに与えることができる。
【0020】
ロボット本体８は、以下で「ＳＣＡＲＡ」と呼ばれる、選択的コンプライアンス多関節ロボットアームに支持を与えることができる。ＳＣＡＲＡ ２４は、ロボットアームの再現性およびコンパクトさゆえに、外科手術システム２内で使用するのに都合の良いものであり得る。ＳＣＡＲＡのコンパクトさは、医療専門家が、過度の動き回りや範囲を限定することなく、医療処置を行うことを可能にし得るさらなるスペースを医療処置内に与えることができる。ＳＣＡＲＡ ２４は、ロボット伸縮式支持体１６、ロボット支持アーム１８、および／またはロボットアーム２０で構成され得る。ロボット伸縮式支持体１６は、ロボット本体８に沿って配置され得る。図１に示されるように、ロボット伸縮式支持体１６は、ＳＣＡＲＡ ２４およびディスプレイ３４に支持を与えることができる。実施形態によっては、ロボット伸縮式支持体１６は、垂直方向に伸縮することができる。ロボット伸縮式支持体１６の本体は、それに掛かる負担および重さを支持するように構成された任意の幅および／または高さであり得る。
【0021】
実施形態によっては、医療従事者は、医療従事者によって提示されたコマンドを通して、ＳＣＡＲＡ ２４を動かすことができる。コマンドは、以下にさらに詳細に説明するように、ディスプレイ３４、タブレット、および／またはＸＲヘッドセット（例えば、図９のヘッドセット９２０）で受信した入力を源とし得る。ＸＲヘッドセットは、医療従事者が、ディスプレイ３４またはタブレットなどの他のいずれかの表示装置を参照する必要をなくすることができ、これにより、ＳＣＡＲＡ ２４がディスプレイ３４および／またはタブレットなしで構成されることを可能にする。コマンドは、１つのスイッチの押下および／または複数のスイッチの押下によって起こされ得、かつ／または以下に、より詳細に説明するように、ＸＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／または音声コマンドに基づき起こされ得る。
【0022】
図５に示されるように、起動組立体６０は、１つのスイッチおよび／または複数のスイッチを含み得る。起動組立体６０は、手術者がＳＣＡＲＡ ２４を手で巧みに操るのを可能にする動きコマンドをＳＣＡＲＡ ２４に送信するように使用可能であり得る。１つのスイッチまたは複数のスイッチが押されると、医療従事者は、適用された手の動きを通してＳＣＡＲＡ ２４を動かす能力を得ることができる。代替としてまたは追加として、手術者は、以下に、より詳細に説明するように、ＸＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／または音声コマンドを通して、ＳＣＡＲＡ ２４の動きを制御することができる。さらに、ＳＣＡＲＡ ２４が動くことを求めるコマンドを受信していない場合、ＳＣＡＲＡ ２４は、従事者および／または他の物体による偶発的な動きを防ぐように所定位置にロックされ得る。所定位置にロックされることによって、ＳＣＡＲＡ ２４は、それを通してエンドファクタ２６が医療処置中に外科ツールを誘導することできる頑丈なプラットフォームをもたらす。
【0023】
ロボット支持アーム１８は、様々な機構によってロボット伸縮式支持体１６に接続され得る。実施形態によっては、図１および２で一番よく分かるが、ロボット支持アーム１８は、ロボット伸縮式支持体１６に対していずれの方向にも回転することができる。ロボット支持アーム１８は、ロボット伸縮式支持体１６を中心として３６０度回転することができる。ロボットアーム２０は、ロボット支持アーム１８の適切ないずれの場所にも、またロボット支持アーム１８に対していずれの方向にも回転することを可能にする様々な機構によって、接続することができる。ある実施形態において、ロボットアーム２０は、ロボット支持アーム１８に対して３６０度回転することができる。この自由回転により、手術者は、外科計画に従って、ロボットアーム２０を位置付けることができる。
【0024】
図４および５に示されるエンドエフェクタ２６は、ロボットアーム２０の適切ないずれの場所にでも取り付けることができる。エンドエフェクタ２６は、外科ロボット４によって位置付けられたロボットアーム２０のエンドエフェクタカプラ２２に取り付けるように構成され得る。エンドエフェクタ２６の例には、外科処置が行われる予定である解剖学的構造体に対する挿入された外科ツールの動きを誘導する管状ガイドが含まれる。
【0025】
実施形態によっては、動的基準配列５２がエンドエフェクタ２６に取り付けられている。本明細書では「ＤＲＡ」とも呼ばれる動的基準配列は、患者の解剖学的構造体（例えば、骨）、手術室内で従事者が装着する１つ以上のＸＲヘッドセット、エンドエフェクタ、外科ロボット、ナビゲート式外科処置における外科ツール、上に配置され得る剛体である。カメラ追跡システム構成要素６または他の３Ｄ位置特定システムと組み合わせたコンピュータプラットフォーム９１０は、ＤＲＡの姿勢（例えば、位置および回転方向）をリアルタイムで追跡するように構成されている。ＤＲＡは、図示されたボールの配置など、基準を含み得る。ＤＲＡの３Ｄ座標のこの追跡は、外科システム２が、図５の患者５０の対象解剖学的構造体との関係におけるいずれの多次元空間ででもＤＲＡの姿勢を確定することを可能にし得る。
【0026】
図１に示されるように、光表示器２８が、ＳＣＡＲＡ ２４の上面上に位置付けられ得る。光表示器２８は、外科システム２がその時働いている「状態」を示すように、任意のタイプの光として照らすことができる。実施形態によっては、光は、光表示器２８の周りに環を形成し得る、ＬＥＤ電球によって生み出される。光表示器２８は、光表示器２８の全体にわたり光を輝かせることができる完全透過性の材料から成り得る。光表示器２８は、下部ディスプレイ支持体３０に取り付けられ得る。下部ディスプレイ支持体３０は、図２に示されるように、手術者が、適切ないずれの場所にもディスプレイ３４をうまく移動させるのを可能にし得る。下部ディスプレイ支持体３０は、任意の適切な機構によって光表示器２８に取り付けることができる。実施形態によっては、下部ディスプレイ支持体３０は、光表示器２８を中心として回転し得るか、または光インジケータ２８に堅固に取り付けられ得る。上部ディスプレイ支持体３２は、任意の適切な機構によって下部ディスプレイ支持体３０に取り付けることができる。
【0027】
実施形態によっては、ディスプレイ３４と併せて、かつ／またはディスプレイ３４なしで、タブレットが使用され得る。タブレットは、ディスプレイ３４の代わりに、上部ディスプレイ支持体３２上に配置され得、医療手術中、上部ディスプレイ支持体３２から取り外し可能であり得る。さらに、タブレットは、ディスプレイ３４と通信することができる。タブレットは、任意の適切な無線接続および／または有線接続によって、外科ロボット４に接続することが可能であり得る。実施形態によっては、タブレットは、医療手術中、外科システム２をプログラムし、かつ／または制御することが可能であり得る。タブレットで外科システム２を制御する際、すべての入力コマンドおよび出力コマンドがディスプレイ上３４に再現され得る。タブレットの使用により、手術者は、患者５０の周りで動くかつ／または外科ロボット４に移動する必要なく外科ロボット４を巧みに操ることができる。
【0028】
以下に、より詳細に説明するように、実施形態によっては、外科医および／または他の従事者は、ディスプレイ３４および／またはタブレットと併せて使用され得るＸＲヘッドセットを装着することができ、またはＸＲヘッドが、ディスプレイ３４および／またはタブレットの使用の必要をなくすることができる。
【0029】
図３Ａおよび５に示されるように、カメラ追跡システム構成要素６は、有線または無線の通信ネットワークを通して外科ロボット４と連動して働く。図１、３、および５を参照すると、カメラ追跡システム構成要素６は、外科ロボット４と同様の構成要素をいくつか含み得る。例えば、カメラ本体３６は、ロボット本体８に見られる機能性をもたらすことができる。ロボット本体８は、カメラ４６が据え付けられる補助追跡バーをもたらすことができる。ロボット本体８内の構造もまた、カメラ追跡システム構成要素６を働かせるのに使用される、電子機器、通信デバイス、および電力源に支持を与えることができる。カメラ本体３６は、ロボット本体８と同じさ材料で作られている可能性がある。カメラ追跡システム構成要素６は、ＸＲヘッドセット、タブレットおよび／またはディスプレイ３４に、無線ネットワークおよび／または有線ネットワークによって直に連絡し、ＸＲヘッドセット、タブレットおよび／またはディスプレイ３４がカメラ追跡システム構成要素６の機能を制御することを可能にすることができる。
【0030】
カメラ本体３６は、カメラ基部３８によって支持されている。カメラ基部３８は、ロボット基部１０として機能し得る。図１の実施形態では、カメラ基部３８は、ロボット基部１０よりも幅が広くなっている可能性がある。カメラ基部３８の幅は、カメラ追跡システム構成要素６が外科ロボット４と接続するのを可能にし得る。図１に示されるように、カメラ基部３８の幅は、外側ロボット基部１０を固定するのに十分に広くすることができる。カメラ追跡システム構成要素６と外科ロボット４とが接続されると、カメラ基部３８の追加の幅により、外科システム２のさらなる移動性および外科システム２に対する支持が可能になり得る。
【0031】
ロボット基部１０と同様に、複数の動力付き車輪１２をカメラ基部３８に取り付けることができる。動力付き車輪１２は、ロボット基部１０および動力付き車輪１２の働きと同様に、カメラ追跡システム構成要素６が患者５０に対して固定された向きを安定化し、水平にするかまたはそれを設定するのを可能にし得る。この安定化により、カメラ追跡システム構成要素６が医療処置中に動くのを防ぐことができ、補助追跡バー上のカメラ４６が、ＸＲヘッドセットおよび／または外科ロボット４に接続されたＤＲＡの軌跡を見失わないように、かつ／または図３Ａおよび５に示されるような指示範囲５６内の解剖学的構造体５４および／またはツール５８に接続された１つ以上のＤＲＡ ５２の軌跡を見失わないようにすることができる。追跡のこの安定性および維持は、カメラ追跡システム構成要素６と事実上働く外科ロボット４の能力を高める。さらに、幅広カメラ基部３８は、カメラ追跡システム構成要素６にさらなる支持を与えることができる。具体的には、幅広カメラ基部３８は、図３Ａおよび５に示されるように、カメラ４６が患者の上に配置されているとき、カメラ追跡システム構成要素６がひっくり返るのを防ぐことができる。
【0032】
カメラ伸縮式支持体４０は、カメラ４６を補助追跡バー上で支持することができる。実施形態によっては、伸縮式支持体４０は、垂直方向にカメラ４６を上げるまたは下げることができる。カメラハンドル４８が、カメラ伸縮式支持体４０の適切ないずれの場所にも取り付けられ、手術者が、医療手術の前に、カメラ追跡システム構成要素６を予定の位置に動かすことを可能にするように構成され得る。実施形態によっては、カメラハンドル４８は、カメラ伸縮式支持体４０を上げ下げするのに使用される。カメラハンドル４８は、ボタン、スイッチ、レバー、および／またはそれらの任意の組み合わせの押下を通して、カメラ伸縮式支持体４０の上昇および下降を行うことができる。
【0033】
下部カメラ支持アーム４２は、図１に示されるように、実施形態において、カメラ伸縮式支持体４０の適切ないずれの場所にでも取り付けることができ、下部カメラ支持アーム４２は、伸縮式支持体４０を中心として３６０度回転することができる。この自由回転により、手術者は、適切ないずれの場所にでもカメラ４６を位置付けることができる。下部カメラ支持アーム４２は、任意の好適な機構によって伸縮式支持体４０に接続することができる。下部カメラ支持アーム４２を使用して、カメラ４６に支持を与えることができる。カメラ４６は、任意の適切な機構によって下部カメラ支持アーム４２に取り付けられ得る。カメラ４６は、カメラ４６と下部カメラ支持アーム４２との間の取り付け個所でいずれの方向にも枢動することができる。実施形態において、下部カメラ支持アーム４２上に湾曲レール４４が配置され得る。
【0034】
湾曲レール４４は、下部カメラ支持アーム４２上の適切ないずれの場所にでも配置され得る。図３Ａに示されるように、湾曲レール４４は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けることができる。湾曲レール４４は、適切ないずれの形状であってもよく、適切な形状は、三日月形、円形、卵形、楕円形、および／またはそれらの任意の組み合わせであり得る。カメラ４６は、湾曲レール４４に沿って移動可能に配置され得る。カメラ４６は、例えば、ローラ、ブラケット、ブレース、モータ、および／またはそれらの任意の組み合わせによって湾曲レール４４に取り付けることができる。モータおよびローラは、図示されていないが、湾曲レール４４に沿ってカメラ４６を動かすのに使用され得る。図３Ａに示されるように、医療処置中、ある物体により、カメラ４６が追跡される１つ以上のＤＲＡを見るのを妨げられる場合、モータが、これに反応して、湾曲レール４４に沿ってカメラ４６を動かすことができる。このモータ駆動式動きにより、カメラ４６は、カメラ追跡システム構成要素６を動かすことなく、物体によってもう邪魔されない新しい位置に移動することができる。カメラ４６が１つ以上の追跡対象ＤＲＡを見ることを妨げられている間、カメラ追跡システム構成要素６は、停止信号を、外科ロボット４、ＸＲヘッドセット、ディスプレイ３４、および／またはタブレットに送信することができる。停止信号は、カメラ４６が追跡対象ＤＲＡ ５２を再取得するかつ／または手術者にＸＲヘッドセットを装着するようかつ／またはディスプレイ３４および／またはタブレットを見るよう注意喚起することができるようになるまで、ＳＣＡＲＡ ２４が動かないようにすることができる。このＳＣＡＲＡ ２４は、カメラ追跡システムがＤＲＡの追跡を再開することができるようになるまで、基部および／またはエンドエフェクタカプラ２２のさらなる動きを止めることによって、停止信号の受信に応答するように構成され得る。
【0035】
図３Ｂと図３Ｃは、図１の外科システムで使用され得る、または外科ロボットから独立して使用され得る、別のカメラ追跡システム構成要素６’の正面図と等角投影図を示す。例えば、カメラ追跡システム構成要素６’が、ロボットガイダンスの使用なしにナビゲート式外科手術を提供するのに使用され得る。図３Ｂおよび３Ｃのカメラ追跡システム構成要素６’と図３Ａのカメラ追跡システム構成要素６との違いのうちの１つは、図３Ｂおよび３Ｃのカメラ追跡システム構成要素６’がコンピュータプラットフォーム９１０を運ぶハウジングを含むことである。コンピュータプラットフォーム９１０は、ＤＲＡを追跡するカメラ追跡作業を行い、表示デバイス、例えばＸＲヘッドセットおよび／または他の表示デバイスに外科ナビゲーション情報を提供する、ナビゲーション式外科手術を行い、また本明細書に開示されている他の計算演算を行うように構成され得る。したがって、コンピュータプラットフォーム９１０は、図１４のナビゲーションコンピュータのうちの１つ以上などのナビゲーションコンピュータを含み得る。
【0036】
図６は、医療手術に使用される図５の外科システムの構成要素のブロック図ビューを示す。図６を参照すると、補助追跡バー上のナビゲーションカメラ４６は、患者に取り付けられた基準配列６０２、外科器具に取り付けられた基準配列６０４、およびロボットアーム２０の姿勢（例えば、位置および向き）が追跡されるナビゲーション視野６００を有する。ナビゲーションカメラ４６は、以下に述べる働きを果たすように構成されたコンピュータプラットフォーム９１０を含む、図３Ｂおよび３Ｃのカメラ追跡システム構成要素６’の一部であり得る。基準配列は、外科ロボット４の追跡サブシステムによってそれらのそれぞれの姿勢を確定するように復号される、知られているパターンで光を反射させることによって追跡を可能にする。患者基準配列６０２と補助追跡バー内のナビゲーションカメラ４６との間の見通し線が遮られている場合（例えば、医療従事者、器具などによって）、外科器具のさらなるナビゲーションを行なうことができなくなる可能性があり、応答通知が、ロボットアーム２０および外科ロボットの４のさらなる動きを一時的に止め、ディスプレイ３４上に警告を表示し、かつ／または医療従事者に可聴警告を与える可能性がある。ディスプレイ３４は、外科医６１０および助手６１２にはアクセス可能であるが、見る際は、患者から頭を背け、目の焦点を異なる距離および場所に変えることが必要となる。ナビゲーションソフトウェアは、外科医からの音声命令に基づき、技術者６１４によって制御され得る。
【0037】
図７は、外科システム２のナビゲーション機能を使用する場合、外科ロボット４によって図５および６のディスプレイ３４上に表示され得る様々な表示画面を示す。表示画面は、限定ではなく、展開される外科計画に基づき、かつ／または追跡対象基準配列の姿勢、外科処置の様々な段階を制御するための様々なユーザ選択可能メニュー、および仮想的に投影された移植片の寸法パラメータ（例えば、長さ、幅、および／または直径）に基づき、解剖学的構造体に対して表示画面で位置付けられる器具のモデルの重なりグラフィカル表現の患者Ｘ線写真を含み得る。
【0038】
ナビゲート式外科手術には、外科処置、例えば、移植片配置の術前計画立案、およびコンピュータプラットフォーム９１０の計画の電子転送が、予定の外科処置中に１人以上のユーザにナビゲーション情報を提供することを可能にする、以下に述べる様々な処理構成要素（例えば、コンピュータプラットフォーム９１０）および関連のソフトウェアが提供される。
【0039】
ロボットナビゲーションには、外科処置、例えば、移植片配置の術前計画立案、および外科ロボット４へのこの計画の電子転送を可能にする、以下に記載の様々な処理構成要素（例えば、コンピュータプラットフォーム９１０）および関連のソフトウェアが提供される。外科ロボット４は、この計画を使用して、予定の外科処置のある段階で患者解剖学的構造体に対して外科ツールに目標姿勢を与えるように、ロボットアーム２０および接続されたエンドエフェクタ２６を誘導する。
【0040】
以下の様々な実施形態は、外科医６１０、助手６１２、および／または他の医療スタッフが装着することができる１つ以上のＸＲヘッドセットを使用して、外科ロボット、カメラ追跡システム構成要素６／６’、および／または手術室内の他の医療機器から情報を受信する、かつ／またはそれらに制御コマンドを与えるための改良型ユーザインターフェースを提供することを対象としている。
【0041】
図８は、本開示のいくつかの実施形態による、外科ロボット４のいくつかの電気構成要素のブロック図を示す。図８を参照すると、ロードセル（図示せず）は、エンドエフェクタカプラ２２に加えられた力を追跡するように構成され得る。実施形態によっては、ロードセルは、複数のモータ８５０、８５１、８５２、８５３、および／または８５４と通信することができる。ロードセルが力を感知するに従って、加えられた力の程度に関する情報が、１つのスイッチアレイおよび／または複数のスイッチアレイからコントローラ８４６に配信され得る。コントローラ８４６は、ロードセルから力情報を取り出し、力情報をスイッチアルゴリズムで処理することができる。スイッチアルゴリズムは、モータドライバ８４２を制御するのにコントローラ８４６によって使用される。モータドライバ８４２は、モータ８５０、８５１、８５２、８５３、および８５４のうちの１つ以上の働きを制御する。モータドライバ８４２は、特定のモータに、例えば、モータを通してロードセルによって測定された同じ程度の力を生み出すよう指示することができる。実施形態によっては、生み出される力は、コントローラ８４６によって指示される通りに、複数のモータ、例えば８５０～８５４から来る可能性がある。さらに、モータドライバ８４２は、コントローラ８４６から入力を受信することができる。コントローラ８４６は、ロードセルによって感知された力の方向に関する情報をロードセルから受信することができる。コントローラ８４６は、この情報を、モーションコントローラアルゴリズムを使用して処理することができる。このアルゴリズムは、特定のモータドライバ８４２に情報を提供するのに使用され得る。力の方向を再現するために、コントローラ８４６は、あるモータドライバ８４２を有効にする、かつ／または無効にすることができる。コントローラ８４６は、１つ以上のモータ、例えば８５０～８５４のうちの１つ以上を、ロードセルによって感知された力の方向にエンドエフェクタ２６の動きを誘導するように制御することができる。この力制御式動きにより、手術者は、ＳＣＡＲＡ ２４およびエンドエフェクタ２６を苦もなくかつ／または非常に小さな抵抗で、動かすことができる。医療スタッフによる使用に適したいずれの姿勢にも（すなわち、定義された３次元（「３Ｄ」）直交基準軸に対する場所および角度方向）エンドエフェクタ２６を位置付けるように、エンドエフェクタ２６を動かすことができる。
【0042】
図５に一番良く示されている起動組立体６０は、エンドエフェクタカプラ２２に巻き付くブレスレットの形態であり得る。起動組立体６０は、ＳＣＡＲＡ ２４のいずれの部分にでも位置し得、エンドエフェクタカプラ２２の任意の部分が医療スタッフによって装着され得（また無線で通信する）、かつ／またはそれらの組み合わせであり得る。起動組立体６０は、一次ボタンおよび二次ボタンで構成され得る。
【0043】
一次ボタンを押し下げることにより、手術者は、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を動かすことが可能になり得る。ある実施形態によれば、所定位置に設定されると、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２は、手術者がＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を動かすように外科ロボット４をプログラムするまで動かないようになり得るか、または一次ボタンを使用して動かされる。例によっては、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２が手術者コマンドに応答するようになる前に、少なくとも２つの非隣接の一次起動スイッチの押下が必要となり得る。少なくとも２つの一次起動スイッチの押下により、医療処置中のＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２の偶発的な動きが防がれ得る。
【0044】
一次ボタンによって起動すると、ロードセルが、手術者、すなわち医療スタッフによってエンドエフフェクタカプラ２２に及ぼされる力の大きさおよび／または方向を測定することができる。この情報は、１つ以上のモータ、例えば、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を動かすのに使用され得るＳＣＡＲＡ ２４内の８５０～８５４のうちの１つ以上に転送され得る。ロードセルによって測定された力の大きさおよび方向に関する情報によって、１つ以上のモータ、例えば８５０～８５４のうちの１つ以上に、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２をロードセルによって感知されたのと同じ方向に移動させることができる。この力制御式動きは、手術者がＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を楽に、また手術者がＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を動かすのと同時にＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２を動かすモータによる大奮闘なしに、動かすことを可能にし得る。
【0045】
例によっては、二次ボタンが、「選択」デバイスとして、手術者によって使用され得る。医療手術中、外科ロボット４は、ＸＲヘッドセット９２０、ディスプレイ３４および／または光表示器２８によって、医療スタッフに特定の状態を通知することができる。ＸＲヘッドセット９２０は、それぞれ、透明表示画面上に画像を表示して、透明表示画面を通して見ることができる実世界物体上に重ね合わせられる拡張現実画像を形成するように構成されている。医療スタッフは、機能、モードを選択するよう、かつ／または外科システム２の状態を見極めるよう、外科ロボット４によって促される可能性がある。二次ボタンを一回押すと、特定の機能、モード、および／またはＸＲヘッドセット９２０、ディスプレイ３４および／または光表示器２８を通して医療スタッフに伝えられる肯定応答情報を有効にすることができる。さらに、二次ボタンを素早く連続して複数回押すと、追加の機能、モード、および／またはＸＲヘッドセット９２０、ディスプレイ３４および／または光表示器２８を通して医療スタッフに伝えられる選択情報を有効にすることができる。
【0046】
さらに図８を参照すると、外科ロボット４の電気構成要素には、プラットフォームサブシステム８０２、コンピュータサブシステム８２０、モーションコントロールサブシステム８４０、および追跡サブシステム８３０が含まれる。プラットフォームサブシステム８０２は、バッテリ８０６、配電モジュール８０４、コネクタパネル８０８、および充電ステーション８１０を含む。コンピュータサブシステム８２０は、コンピュータ８２２、ディスプレイ８２４、およびスピーカ８２６を含む。モーションコントロールサブシステム８４０は、ドライバ回路８４２、モータ８５０、８５１、８５２、８５３、８５４、安定化装置８５５、８５６、８５７、８５８、エンドエフェクタコネクタ８４４、およびコントローラ８４６を含む。追跡サブシステム８３０は、位置センサ８３２およびカメラコンバータ８３４を含む。外科ロボット４は、取り外し式フットペダル８８０および取り外し式タブレットコンピュータ８９０も含み得る。
【0047】
入力電力が配電モジュール８０４に提供され得る電力源を介して外科ロボット４に供給される。配電モジュール８０４は、入力電力を受け取り、外科ロボット４の他のモジュール、構成要素、およびサブシステムに提供される様々な電源電圧を起こすように構成されている。配電モジュール８０４は、例えば、モータ８５０～８５４およびエンドエフェクタカプラ８４４に給電するために、コンピュータ８２２、ディスプレイ８２４、スピーカ８２６、ドライバ８４２などの他の構成要素に提供され得、またカメラコンバータ８３４および外科ロボット４用の他の構成要素に提供され得る、様々な電圧供給をコネクタパネル８０８に提供するように構成され得る。配電モジュール８０４はまた、配電モジュール８０４が入力電力から電力を受け取らない場合、一時的な電力源としての役割を果たすバッテリ８０６に接続され得る。平素は、配電モジュール８０４は、充電電池８０６としての役割を果たすことができる。
【0048】
コネクタパネル８０８は、様々なデバイスおよび構成要素を外科ロボット４ならびに／または関連の構成要素およびモジュールに接続する役割を果たすことができる。コネクタパネル８０８は、様々な構成要素からの線または接続を受け取る１つ以上のポートを含み得る。例えば、コネクタパネル８０８は、外科ロボット４を他の機器、フットペダル８８０を接続するポート、位置センサ８３２を含み得る追跡サブシステム８３０に接続するポート、カメラコンバータ８３４、およびＤＲＡ追跡カメラ８７０に接地させることができる接地端子ポートを備え得る。コネクタパネル８０８は、コンピュータ８２２などの他の構成要素へのＵＳＢ通信、イーサネット通信、ＨＤＭＩ通信を可能にする他のポートも含み得る。いくつかの実施形態によれば、コネクタパネル８０８は、１つ以上のＸＲヘッドセット９２０を追跡サブシステム８３０および／またはコンピュータサブシステム８２０に動作可能に接続するための有線インターフェースおよび／または無線インターフェースを含み得る。
【0049】
コントロールパネル８１６は、外科ロボット４の働きを制御し、かつ／または手術者による観察対象の情報を外科ロボット４から提供する、様々なボタンまたは表示装置を設けることができる。例えば、コントロールパネル８１６は、外科ロボット４の電源を入り切りするボタン、垂直柱１６を上げ下げするボタン、キャスタ１２に係合して外科ロボット４が物理的に動かないようにするように設計され得る安定化装置８５５～８５８を上げ下げするボタンを含み得る。他のボタンは、すべてのモータ電源を取り外し、機械式ブレーキを掛けて、すべての動きが起こらないようにする可能性がある緊急時に、外科ロボット４を止めることができる。コントロールパネル８１６は、ラインパワー表示器などの特定のシステム状態、またはバッテリ８０６の充電状態を手術者に通知する表示器も備え得る。いくつかの実施形態によれば、１つ以上のＸＲヘッドセット９２０は、例えばコネクタパネル８０８を介して、外科ロボット４の働きを制御するよう、かつ／またはＸＲヘッドセット９２０を装着している人による観察対象の外科ロボット４によって生成された情報を受信し、表示するよう、伝達することができる。
【0050】
コンピュータサブシステム８２０のコンピュータ８２２は、外科ロボット４の割り当て機能を働かせるためのオペレーティングシステムおよびソフトウェアを含む。コンピュータ８２２は、手術者に情報を表示するために、他の構成要素（例えば、追跡サブシステム８３０、プラットフォームサブシステム８０２、および／またはモーションコントロールサブシステム８４０）からの情報を受信し、処理することができる。また、コンピュータサブシステム８２０は、手術者にスピーカ８２６を通して出力を提供することができる。スピーカは、外科ロボットの一部、ＸＲヘッドセット９２０の一部、または外科システム２の別の構成要素内であり得る。ディスプレイ８２４は、図１および２に示されるディスプレイ３４に対応し得る。
【0051】
追跡サブシステム８３０は、位置センサ８３２およびカメラコンバータ８３４を含み得る。追跡サブシステム８３０は、図３のカメラ追跡システム構成要素６に対応し得る。ＤＲＡ追跡カメラ８７０は、ＤＲＡ ５２の姿勢を確定するように、位置センサ８３２とともに働く。この追跡は、それぞれ、ＬＥＤまたは反射マーカなどのＤＲＡ ５２の能動要素または受動要素の場所を追跡する赤外光または可視光のテクノロジの使用を含む、本開示と一致するように行われ得る。
【0052】
追跡サブシステム８３０およびコンピュータサブシステム８２０の機能動作は、図３Ａおよび３Ｂのカメラ追跡システム構成要素６’によって運ばれ得る、コンピュータプラットフォーム９１０に含まれ得る。追跡サブシステム８３０は、追跡対象のＤＲＡの姿勢、例えば場所および角度向きを確定するように構成され得る。コンピュータプラットフォーム９１０は、確定された姿勢を使用して、予定の外科処置中に位置見当合わせされた患者画像および／または追跡対象の解剖学的構造体に対して追跡対象のツールのそれらの動きを誘導する、ナビゲーション情報をユーザに提供するように構成されている、ナビゲーションコントローラも含み得る。コンピュータプラットフォーム９１０は、図３Ｂおよび３Ｃのディスプレイ上に、かつ／または１つ以上のＸＲヘッドセット９２０に情報を表示することができる。コンピュータプラットフォーム９１０は、外科ロボットとともに使用される場合、図８のコンピュータサブシステム８２０および他のサブシステムと通信して、エンドエフェクタ２６の動きを制御するように構成され得る。例えば、以下に説明するように、コンピュータプラットフォーム９１０は、患者の解剖学的構造体、外科ツール、ユーザの手などのグラフィカル表現を、表示されたサイズ、形状、色、および／または１つ以上の追跡対象のＤＲＡの確定された姿勢に基づき制御されている姿勢で、生成することができ、表示されるグラフィカル表現は、経時で、確定された姿勢の変化を追跡するように動的に修正され得る。
【0053】
モーションコントロールサブシステム８４０は、垂直柱１６、上部アーム１８、下部アーム２０を物理的に動かすか、またはエンドエフェクタカプラ２２を回転させるように構成され得る。物理的な動きは、１つ以上のモータ８５０～８５４の使用を通して行われ得る。例えば、モータ８５０は、垂直柱１６を垂直に上げるまたは下げるように構成され得る。モータ８５１は、図２に示されるように、垂直柱１６との係合点の周りに上部アーム１８を横方向に動かすように構成され得る。モータ８５２は、図２に示されるように、上部アーム１８との係合点の周りに下部アーム２０を横方向に動かすように構成され得る。モータ８５３および８５４は、三次元軸の周りに沿った並進の動きおよび回転をもたらすようにエンドエフェクタカプラ２２を動かすように構成され得る。図９に示されるコンピュータプラットフォーム９１０は、エンドエフェクタカプラ２２の動きを誘導するコントローラ８４６に制御入力を与えて、エンドエフェクタカプラ２２に接続されている受動エンドエフェクタを、予定の外科処置中に手術される解剖学的構造体に対する予定の姿勢（すなわち、定義された３Ｄ直交基準軸に対する場所および角度向き）で位置付けることができる。モーションコントロールサブシステム８４０は、一体型位置センサ（例えば、エンコーダ）を使用して、エンドエフェクタカプラ２２および／またはエンドエフェクタ２６の位置を測定するように構成され得る。
【0054】
図９は、本開示のいくつかの実施形態による、カメラ追跡システム構成要素６（図３Ａ）もしくは６’（図３Ｂ、図３Ｃ）に、かつ／または外科手術ロボット４に、運用上接続され得るコンピュータプラットフォーム９１０に接続された撮像デバイス（例えば、Ｃ－Ａｒｍ １０４、Ｏ－Ａｒｍ １０６など）を含む外科手術システムの構成要素のブロック図を示す。代替として、コンピュータプラットフォーム９１０によって果たされるとして本明細書に開示されている少なくともいくつかの働きは、追加としてまたは代替として、外科手術システムの構成要素によって果たされ得る。
【0055】
図９を参照すると、コンピュータプラットフォーム９１０は、ディスプレイ９１２、少なくとも１つのプロセッサ回路９１４（簡単にプロセッサとも呼ばれる）、コンピュータ可読プログラムコード９１８が入っている少なくとも１つのメモリ回路９１６（簡単にメモリとも呼ばれる）、および少なくとも１つのネットワークインターフェース９０２（簡単にネットワークインターフェースとも呼ばれる）を含む。ディスプレイ９１２は、本開示のいくつかの実施形態による、ＸＲヘッドセット９２０の一部であり得る。ネットワークインターフェース９０２は、図１０のＣ－Ａｒｍ撮像デバイス１０４、図１１のＯ－Ａｒｍ撮像デバイス１０６、別の医療撮像デバイス、患者の医療画像が入っている画像データベース９５０、外科手術ロボット４の構成要素、および／または他の電子機器に接続するように構成され得る。
【0056】
外科ロボット４とともに使用される場合、ディスプレイ９１２は、図２のディスプレイ３４および／もしくは図８のタブレット８９０、ならびに／または外科手術ロボット４に動作可能に接続されているＸＲヘッドセット９２０に対応し得、ネットワークインターフェース９０２は、図８のプラットフォームネットワークインターフェース８１２に対応し得、プロセッサ９１４は、図８のコンピュータ８２２に対応し得る。ＸＲヘッドセット９２０のネットワークインターフェース９０２は、有線ネットワーク、例えば、シンワイヤイーサネットを通して、かつ／または１つ以上の無線通信プロトコル、例えば、ＷＬＡＮ、３ＧＰＰ ４Ｇおよび／または５Ｇ（Ｎｅｗ Ｒａｄｉｏ）セルラ通信規格などに従って無線ＲＦトランシーバリンクを通して、伝達するように構成され得る。
【0057】
プロセッサ９１４は、汎用および／または特殊目的のプロセッサ、例えば、マイクロプロセッサおよび／またはデジタル信号プロセッサなどの１つ以上のデータ処理回路を含み得る。プロセッサ９１４は、メモリ９１６内のコンピュータ可読プログラムコード９１８を実行して、外科手術計画立案、ナビゲート式外科手術、および／またはロボット型外科手術で行われるとして本明細書に記載の動作の一部またはすべてを含み得る動作を行うように構成されている。
【0058】
コンピュータプラットフォーム９１０は、外科手術計画立案機能性を提供するように構成され得る。プロセッサ９１４は、撮像デバイス１０４および１０６のうちの一方から、かつ／またはネットワークインターフェース９２０を通して画像データベース９５０から受信した解剖学的構造体、例えば椎骨の画像を表示デバイス９１２上にかつ／またはＸＲヘッドセット９２０上に表示するように働くことができる。プロセッサ９１４は、手術者タッチが予定の処置対象のディスプレイ９１２上の場所を選択することによって、またはマウスベースのカーソルを使用して予定の処置対象の場所を定義することによってなど、１つ以上の画像に示される解剖学的構造体が、外科処置、例えばねじ配置を有する場所の手術者の定義を受信する。画像がＸＲヘッドセット９２０に表示される場合、ＸＲヘッドセットは、メニュー項目間の選択を制御するのに、かつ／または以下でさらに詳細に説明するように、ＸＲヘッドセット９２０上に物体がどのように表示されるかを制御するのに使用され得る、装着者によって形成されたジェスチャベースのコマンドで感知するように、かつ／または装着者によって発せられた音声ベースのコマンドを感知するように構成され得る。
【0059】
コンピュータプラットフォーム９１０は、股関節の中心、角度の中心、自然な目印（例えば、上顆軸、ホワイトサイド線、後顆軸など）などを確定する様々な角度の測定のような、膝の外科手術に特に有用であり得る解剖学的構造測定を可能にするように構成され得る。自動である測定もあり得、人間の入力または補助を伴う測定もあり得る。コンピュータプラットフォーム９１０は、手術者が、サイズおよび位置合わせの選択を含む、患者に対して正しい移植片の選択を入力するのを可能にするように構成され得る。コンピュータプラットフォーム９１０は、ＣＴ画像または他の医療画像に対して自動または半自動（人間の入力を伴う）のセグメント化（画像処理）を行うように構成され得る。患者に対する外科手術計画は、外科手術ロボット４による検索のために、データベース９５０に対応し得るクラウドベースのサーバに格納される。
【0060】
外科手術中、例えば、外科医は、コンピュータ画面（例えば、タッチスクリーン）または拡張現実（「ＸＲ」）インタラクション（例えば、ハンドジャスチャベースのコマンドおよび／または音声ベースのコマンド）を例えばＸＲヘッドセット９２０を介して使用して、どこを開創するか（例えば、後部体大骨、近位頚骨など）を選択することができる。コンピュータプラットフォーム９１０は、外科処置を行うのに、外科医に視覚的ガイダンスを提供するナビゲーション情報を生成することができる。外科ロボット４とともに使用される場合、コンピュータプラットフォーム９１０は、外科ツールが目標場所と位置が揃い、解剖学的構造体に対して外科処置を行うように、外科ロボット４がエンドエフェクタ２６を目標姿勢に自動的に動かすのを可能にするガイダンスを提供することができる。
【0061】
実施形態によっては、外科システム９００は、患者の脛骨に接続されたＤＲＡ、および患者の大腿骨に接続されたＤＲＡなど、２つのＤＲＡを使用して、患者の解剖学的構造体位置を追跡することができる。システム９００は、見当合わせおよび確認に、標準ナビゲート式器具（例えば、脊椎外科手術にＧｌｏｂｕｓ ＥｘｃｅｌｓｉｕｓＧＰＳシステムで使用されるものと同様のポインタ）を使用し得る。
【0062】
ナビゲート式外科手術で特に難しい作業は、３Ｄ解剖学的構造体の２Ｄ表現であるコンピュータ画面上で外科医がその作業を行うのに苦労する脊椎、膝、および他の解剖学的構造体における移植片の位置をどのように計画するかである。システム９００は、ＸＲヘッドセット９２０を使用して、解剖学的構造体および候補移植片デバイスの３次元（「３Ｄ」）コンピュータ生成表現を表示することによって、この問題に対処することが可能であり得る。コンピュータ生成表現は、コンピュータプラットフォーム９１０のガイダンスの下、表示画面上に互いに対して拡大縮小され、姿勢が決められ、またＸＲヘッドセット９２０を通して見ながら外科医によって巧みに操られ得る。外科医は、例えば、ＸＲヘッドセット９２０によって感知されるハンドジェスチャベースのコマンドおよび／または音声ベースのコマンドを使用して、解剖学的構造体、移植片、外科ツールなどの表示されたコンピュータ生成表現を巧みに操ることができる。
【0063】
例えば、外科医は、仮想移植片上に表示された仮想ハンドルを見ることができ、仮想ハンドルを巧みに操り（例えば、つかんで、動かし）、仮想移植片を望ましい姿勢に動かし、解剖学的構造体のグラフィカル表現に対して予定の移植片配置を調整することができる。その後、外科手術中に、コンピュータプラットフォーム９１０は、移植片を挿入するための外科計画により正確に従い、かつ／または解剖学的構造体に対して別の外科処置を行う外科医の能力を促進するナビゲーション情報をＸＲヘッドセット９２０を通して表示することができる。外科処置が骨除去を伴う場合、骨除去の進行、例えば切込みの深さが、ＸＲヘッドセット９２０を介してリアルタイムで表示され得る。ＸＲヘッドセット９２０を介して表示され得る他の特徴には、限定ではなく、関節運動の範囲に沿った間隙または靭帯バランス、関節運動の範囲に沿った移植片上の接触線、色または他のグラフィカルレンダリングを通した靭帯の緊張および／または弛緩などが含まれ得る。
【0064】
実施形態によっては、コンピュータプラットフォーム９１０は、標準外科ツールおよび／または移植片、例えば、後方安定化移植片および十字型保持移植片、セメント固定およびセメントレス移植片、例えば、膝関節および／または股関節の全置換または部分置換、および／または外傷に関連した外科手術用の改正システムの使用を計画することを可能にすることができる。
【0065】
自動撮像システムをコンピュータプラットフォーム９１０と併せて使用して、解剖学的構造体の術前、術中、術後、および／またはリアルタイムの画像データを取得することができる。自動撮像システムの例が、図１０および１１に示されている。実施形態によっては、自動撮像システムは、Ｃ－ａｒｍ １０４（図１０）撮像デバイスまたはＯ－ａｒｍ（登録商標）１０６（図１１）である（Ｏ－ａｒｍ（登録商標）の著作権は、米国コロラド州ルイスビルに事業所を置くＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．に帰属する）。Ｘ線システムにおいて要求され得る患者の頻繁な手作業による再位置付けを必要とせずに、いくつかの異なる位置から患者のＸ線写真を撮ることが望ましいであろう。Ｃ－ａｒｍ １０４Ｘ線診断機器は、頻繁な手作業による再位置決めの問題を解決することができ、外科手術および他の介入処置の医療分野でよく知られている可能性がある。図１０に示されるように、Ｃ－ａｒｍは、「Ｃ」形状の対向する遠位端１１２で終端する細長いＣ形状の部材を含む。Ｃ形状の部材は、Ｘ線源１１４および画像受信器１１６に取り付けられている。アームのＣ－ａｒｍ １０４内の空間は、Ｘ線支持構造体からの干渉が実質的にない状態で医師が患者に付き添う余地を提供する。
【0066】
Ｃ－ａｒｍは、２つの自由度でのアームの回転運動を可能にするように（すなわち、球面運動での２つの直角軸を中心として）据え付けられている。Ｃ－ａｒｍは、Ｘ線支持構造体にスライド可能に据え付けられ、これにより、Ｃ－ａｒｍの曲率中心を中心とした周回回転運動が可能になり、Ｘ線源１１４および画像受信器１１６を垂直方向にかつ／または水平方向に選択的に向けるのを可能にすることができる。Ｃ－ａｒｍはまた、横方向（すなわち、患者の幅および長さの両方に対するＸ線源１１４および画像受信器１１６の選択的に調節可能な位置付けを可能にする周回方向に対して直角の方向）に回転可能であり得る。Ｃ－ａｒｍ装置の球面回転の態様により、医師は、撮像されている特定の解剖学的条件に関して確定された通りに最適な角度で患者のＸ線写真を撮ることができる。
【0067】
図１１に示されているＯ－ａｒｍ（登録商標）１０６は、示されていない画像取り込み部分を収めることができるガントリハウジング１２４を含む。画像取り込み部分は、Ｘ線源および／またはＸ線放出部分と、Ｘ線受光および／または画像受信部分と、を含み、これらは、互いに約１８０度離れて配設され、画像取り込み部分の軌道に対してロータ（図示せず）上に据え付けられ得る。画像取り込み部分は、画像取得中に３６０度回転するように動作可能であり得る。画像取り込み部分は、中心点および／または軸を中心として回転することができ、患者の画像データが複数の方向から、または複数の平面で取得されることを可能にする。
【0068】
ガントリハウジング１２４を備えたＯ－ａｒｍ（登録商標）１０６は、撮像される物体の周りに位置付けるための中央開口と、ガントリハウジング１２４の内部を中心に回転可能である放射線源と、を有し、放射線源は、複数の異なる投射角から放射線を投射するように適合され得る。検出器システムは、投射角ごとに放射線を検出して、物体画像を複数の投射平面から擬似同時的に取得するように適合されている。ガントリは、カンチレバー様式で、車輪を備えた車輪付き移動式カートなどの支持構造Ｏ－ａｒｍ（登録商標）支持構造体に取り付けられ得る。位置付けユニットは、好ましくはコンピュータ化されたモーションコントロールシステムの制御下で、ガントリを予定の位置および向きに並進させかつ／または傾斜させる。ガントリは、ガントリ上で互いに対向して配設された供給源と検出器とを含み得る。供給源および検出器は、供給源および検出器を互いに協調する状態でガントリの内部を中心として回転させることができるモータ付きロータに固定され得る。供給源は、ガントリの内側に位置する目標物体の多平面撮像のために、部分的および／または完全３６０度の回転にわたって複数の位置および向きでパルス化され得る。ガントリは、ロータが回転するに従ってロータを誘導するためのレールおよび軸受けシステムをさらに備え得、このシステムは、供給源および検出器を担持することができる。Ｏ－ａｒｍ（登録商標）１０６およびＣ－ａｒｍ １０４の両方および／またはいずれかを自動撮像システムとして使用して、患者をスキャンし、情報を外科手術システム２に送信することができる。
【0069】
撮像システムによって取り込まれた画像は、ＸＲヘッドセット９２０および／またはコンピュータプラットフォーム９１０の別の表示デバイス、外科ロボット４、および／または外科システム９００の別の構成要素上に表示され得る。ＸＲヘッドセット９２０は、例えばコンピュータプラットフォーム９１０を介して、撮像デバイス１０４および／または１０６のうちの１つ以上に、かつ／または画像データベース９５０に接続されて、それらからの画像を表示し得る。ユーザは、ＸＲヘッドセット９２０を通して、制御入力、例えば、ジェスチャベースのコマンドおよび／または音声ベースのコマンドを提供して、撮像デバイス１０４および／もしくは１０６のうちの１つ以上ならびに／または画像データベース９５０の動作を制御し得る。
【0070】
図１２は、図１３に示されるＸＲヘッドセット９２０に対応し、また本開示のいくつかの実施形態に従って働き得るＸＲヘッドセット１２００と１２１０との対（ヘッドマウントディスプレイＨＭＤ１およびＨＭＤ２）を含む外科システムの構成要素のブロック図ビューを示す。
【0071】
図１２の場面例を参照すると、助手６１２と外科医６１０は両方とも、それぞれＸＲヘッドセット１２１０、１２１０を装着している。助手６１２がＸＲヘッドセット１２１０を装着することは任意である。ＸＲヘッドセット１２００および１２１０は、以下でさらに説明するように、それを通して装着者が外科処置に関係する情報を見て、それと相互作用することができる、双方向環境を提供するように構成されている。この双方向ＸＲベースの環境は、技術者６１４が手術室にいる必要性をなくすることができ、図６に示されるディスプレイ３４の使用の必要性をなくすることができる。それぞれのＸＲヘッドセット１２００および１２１０は、器具、解剖学的構造体、エンドエフェクタ２６、および／または他の機器に取り付けられたＤＲＡまたは他の基準配列の追加の追跡源を提供するように構成されている１つ以上のカメラを含み得る。図１２の例では、ＸＲヘッドセット１２００は、ＤＲＡおよび他の物体を追跡するための視野（「ＦＯＶ：Ｆｉｅｌｄ－Ｏｆ－Ｖｉｅｗ」）１２０２を有し、ＸＲヘッドセット１２１０は、ＤＲＡおよび他の物体を追跡するためのＦＯＶ １２０２と部分的に重なり合うＦＯＶ １２１２を有し、ナビゲーションカメラ４６は、ＤＲＡおよび他の物体を追跡するためのＦＯＶ １２０２および１２１２と部分的に重なり合う別のＦＯＶ ６００を有する。
【0072】
１つ以上のカメラが、追跡対象物体、例えば外科器具に取り付けられたＤＲＡを見るのを妨げられているが、ＤＲＡが１つ以上の他のカメラの視野に入っている場合、追跡サブシステム８３０および／またはナビゲーションコントローラ８２８は、ナビゲーションを見失わずに途切れなく物体を追跡し続けることができる。さらに、１つのカメラの視点からＤＲＡが部分的に隠れているが、ＤＲＡ全体が複数のカメラソースを介して見られる場合、カメラの追跡入力をまとめて、ＤＲＡのナビゲーションを続けることができる。ＸＲヘッドセットおよび／またはナビゲーションカメラ４６のうちの１つは、ＸＲヘッドセットのうちの別の１つでＤＲＡを見て、追跡し、コンピュータプラットフォーム９１０（図９および１４）、追跡サブシステム８３０、および／または別のコンピューティング構成要素に、例えば、ＸＲヘッドセット１２００／１２１０、ナビゲーションカメラ４６の１つ以上の定義された座標系、および／または患者、台、および／または部屋に対して定義された別の座標系に対するＤＲＡの姿勢を確定することを可能にさせる。
【0073】
ＸＲヘッドセット１２００および１２１０は、神経モニタリング、顕微鏡、ビデオカメラ、および麻酔システムを含むがこれらに限定されるわけではない手術室内の様々な機器から受信したビデオ、写真、および／または他の情報を見るように、かつ／またはこれらの機器を制御するコマンドを与えるように動作可能に接続され得る。様々な機器からのデータ、例えば、患者のバイタルまたは顕微鏡送りの表示は、ヘッドセット内で処理、表示され得る。
ＸＲヘッドセット構成要素の例と、ナビゲート式外科手術、外科ロボット、およびその他の機器への統合
図１３は、本開示のいくつかの実施形態に従って構成されているＸＲヘッドセット９２０を示す。ＸＲヘッドセットは、ＸＲヘッドセットを装着者の頭に固定するように構成されたヘッドバンド１３０６、ヘッドバンド１３０６によって支持された電子部品筐体１３０４、および電子部品筐体１３０４から横方向にわたって下向きに延在する表示画面１３０２を含む。表示画面１３０２は、透明ＬＣＤ表示デバイスか、または表示デバイスによって装着者の目に向けて投射された画像を反射する半反射レンズであり得る。ＤＲＡ基準集合、例えばドットが、ヘッドセットの片側または両側に設けられた、分かっている間隔を空けて塗装または取り付けられている。ヘッドセット上のＤＲＡは、補助追跡バー上のナビゲーションカメラに、ヘッドセット９２０の姿勢を追跡することを可能にさせ、かつ／または別のＸＲヘッドセットに、ヘッドセット９２０の姿勢を追跡することを可能にさせる。
ＸＲヘッドセット構成要素の例と、ナビゲート式外科手術、外科ロボット、およびその他の機器への統合
図１３は、本開示のいくつかの実施形態に従って構成されているＸＲヘッドセット９２０を示す。ＸＲヘッドセットは、ＸＲヘッドセットを装着者の頭に固定するように構成されたヘッドバンド１３０６、ヘッドバンド１３０６によって支持された電子部品筐体１３０４、および電子部品筐体１３０４から横方向にわたって下向きに延在する表示画面１３０２を含む。表示画面１３０２は、透明ＬＣＤ表示デバイスか、または表示デバイスによって装着者の目に向けて投射された画像を反射する半反射レンズであり得る。ＤＲＡ基準集合、例えばドットが、ヘッドセットの片側または両側に設けられた、分かっている間隔を空けて塗装または取り付けられている。ヘッドセット上のＤＲＡは、補助追跡バー上のナビゲーションカメラに、ヘッドセット９２０の姿勢を追跡することを可能にさせ、かつ／または別のＸＲヘッドセットに、ヘッドセット９２０の姿勢を追跡することを可能にさせる。
【0074】
表示画面１３０２は、表示デバイスの表示パネルからユーザの目に向けて光を反射する、コンバイナとも呼ばれる透明表示画面として働く。表示パネルは、電子構成要素筐体とユーザの頭との間に位置し得、ユーザの目に向けた反射に、表示画面１３０２に向けて仮想コンテンツを投射するように角度付けされ得る。表示画面１３０２が、半透明かつ半反射であることにより、ユーザは、実世界場面のユーザのビューに重ね合わされた反射仮想コンテンツを見ることができる。表示画面１３０２は、下部横方向帯域よりも高い不透明度を有する図示の上部横方向帯域など、様々な不透明度領域を有し得る。表示画面１３０２の不透明度は、実世界場面からの光がどれくらいユーザの目を透過するかを調節するように電子的に制御され得る。表示画面１３０２の高不透明度構成は、実世界場面の薄暗いビュー上に重ねられた高コントラストの仮想画像をもたらす。表示画面１３０２の低不透明度構成は、実世界場面のよりはっきりしたビュー上に重ねられたよりぼんやりした仮想画像をもたらし得る。不透明度は、表示画面１３０２の表面に不透明な材料を塗布することによって制御され得る。
【0075】
いくつかの実施形態によれば、外科システムは、ＸＲヘッドセット９２０およびＸＲヘッドセットコントローラ、例えば、図１４のコントローラ１４３０または図３４のコントローラ３４１０を含む。ＸＲヘッドセット９２０は、外科処置中にユーザが装着するように構成されており、ＸＲ画像を表示するように、またユーザが見る対象の実世界場面の少なくとも一部がそれを透過するのを可能にするように構成されている透明表示画面１３０２を有する。ＸＲヘッドセット９２０は、ユーザが透明表示画面１３０２を見るときに、ユーザの目のうちの少なくとも１つと実世界場面との間に位置付けられた不透明フィルタも含む。不透明フィルタは、実世界場面からの光に不透明性を与えるように構成されている。ＸＲヘッドセットコントローラは、ナビゲーションコントローラ、例えば、図１４のコントローラ８２８Ａ、８２８Ｂ、および／または８２８Ｃと通信して、解剖学的構造体に対する外科処置中にユーザにガイダンスを提供するナビゲーションコントローラからナビゲーション情報を受信するように構成され、透明表示画面１３０２上に表示する対象のナビゲーション情報に基づいて、ＸＲ画像を生成するようにさらに構成されている。
【0076】
表示画面１３０２の不透明度は、表示画面１３０２の上部から下向きの距離でより連続的に変化する不透明度を有する階調として構成され得る。階調の最も暗い点は、表示画面１３０２の上部にあり得、不透明が透明になるかまたはなくなるまで、表示画面１３０２上でさらに下方へと徐々に不透明性が低くなる。さらなる実施形態の例では、階調は、表示画面１３０２のほぼ目の中央高さで、約９０％の不透明度から完全に透明に変化し得る。ヘッドセットが正しく較正され、位置付けられている場合、目の中央高さは、ユーザが真っ直ぐ外を見る場合の点に対応し、階調の端は、目の「水平」線に位置し得る。階調の暗い部分は、仮想コンテンツの鮮明ではっきりした視覚を可能にし、頭上の手術室ライトの邪魔な輝きを遮断するのに役立つ。
【0077】
このように不透明フィルタを使用すると、表示画面１３０２の上部に沿って実世界場面からの光を実質的にまたは完全に遮断することによって、ＸＲヘッドセット９２０が仮想現実（「ＶＲ」）能力をもたらすことが可能になり、また表示画面１３０２の中間部または下部に沿ってＡＲ能力をもたらすことが可能になる。これにより、ユーザは、必要に応じてＡＲを半透明にできるようになり、処置中の患者の解剖学的構造体のはっきりとした光学的特性が可能になる。表示画面１３０２を、より一定の不透明性帯域の代わりに階調として構成することにより、装着者は、上方のビューと下方のビューとのより素早い移行中などに、そうでなければ目を緊張させ得る、実世界場面の輝度および視界深さの急激な変化を受けることなく、よりＶＲタイプのビューからよりＡＲタイプのビューへのより自然な移行を体験できるようになる。
【0078】
表示パネルおよび表示画面１３０２は、広視野の透明ＸＲ表示システムを提供するように構成され得る。構成の一例では、表示パネルおよび表示画面１３０２は、ユーザが仮想コンテンツを見る際に５５°の垂直カバレッジを備えた８０°対角視野（「ＦＯＶ」）を提供する。他の対角ＦＯＶ角度および垂直カバレッジ角度は、様々なサイズの表示パネル、様々な曲率のレンズ、ならびに／または表示パネルと湾曲表示画面１３０２との間の様々な距離および角度向きを通して与えられ得る。実施形態によっては、広い視野を有するＸＲヘッドセットを備えることにより、ＸＲヘッドセットは、ユーザの視野が実世界見当合わせされたＸＲ画像に関連した実世界座標に集中していない間に、実世界見当合わせされたＸＲ画像をユーザに表示することができる。
【0079】
図１４は、コンピュータプラットフォーム９１０に、Ｃ－ａｒｍ撮像デバイス１０４、Ｏ－ａｒｍ撮像デバイス１０６などの撮像デバイスのうちの１つ以上および／または画像データベース９５０に、かつ／または本開示の様々な実施形態による外科ロボット８００に、動作可能に接続され得るＸＲヘッドセット９２０の電気構成要素を示す。
【0080】
ＸＲヘッドセット９２０は、ナビゲート式外科処置を行う際に向上した人間インターフェースを提供する。ＸＲヘッドセット９２０は、例えば、コンピュータプラットフォーム９１０を介して、ハンドジェスチャベースのコマンドおよび／または音声ベースのコマンドの識別、表示デバイス１４５０上のＸＲグラフィカル物体の表示のうちのいずれか１つ以上を含むが、これらに限定されるわけではない、機能性をもたらすように構成され得る。表示デバイス１４５０は、表示されたＸＲグラフィカルオブジェクトを表示画面１３０２上に投射するビデオプロジェクタ、フラットパネルディスプレイなどであり得る。ユーザは、ＸＲグラフィカルオブジェクトを、表示画面１３０２（図１３）を通して見られる特定の実世界物体に固定されたオーバーレイとして見ることができる。ＸＲヘッドセット９２０は、追加としてまたは代替として、１つ以上のＸＲヘッドセット９２０および他のカメラに据え付けられたカメラからのビデオ送りを表示画面上１４５０に表示するように構成され得る。
【0081】
ＸＲヘッドセット９２０の電気構成要素には、複数のカメラ１４４０、マイクロフォン１４４２、ジェスチャセンサ１４４４、姿勢センサ（例えば、慣性計測ユニット（「ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ」））１４４６、表示デバイス１４５０が入っている表示モジュール１４４８、および無線／有線通信インターフェース１４５２が含まれ得る。以下に説明するように、ＸＲヘッドセットのカメラ１４４０は、可視光捕捉カメラ、近赤外線捕捉カメラ、またはその両方の組み合わせであり得る。
【0082】
カメラ１４４０は、カメラ１４４０の視野内で行われるユーザのハンドジェスチャを識別のために捕捉することによって、ジェスチャセンサ１４４４として働くように構成され得る。代替として、ジェスチャセンサ１４４４は、近接センサ、および／またはジェスチャセンサ１４４４に近接して行われるハンドジェスチャを感知し、かつ／または物理的接触、例えばセンサまたは筐体１３０４を軽くたたくことを感知するタッチセンサであり得る。姿勢センサ１４４６、例えばＩＭＵには、１つ以上の定義された座標軸に沿ったＸＲヘッドセット９２０の回転および／または加速を感知することができる多軸加速度計、傾斜センサ、および／または別のセンサが含まれ得る。これらの電気構成要素のうちのいくつかまたはすべては、構成要素筐体１３０４に入っている場合があり、股関節または肩上などの他の個所に装着されるように構成された別の筐体に入っている場合がある。
【0083】
上で説明したように、外科システム２は、カメラ追跡システム構成要素６／６’と、コンピュータプラットフォーム９１０の一部であり得る追跡サブシステム８３０とを含む。外科システムは、撮像デバイス（例えば、Ｃ－ａｒｍ １０４、Ｏ－ａｒｍ １０６、および／または画像データベース９５０）および／または外科ロボット４を含み得る。追跡サブシステム８３０は、解剖学的構造体、エンドエフェクタ、外科ツールなどに取り付けられたＤＲＡの姿勢を確定するように構成されている。ナビゲーションコントローラ８２８は、例えば、外科処置が解剖学的構造体に対して外科ツールを使用して行われる個所を定義する、図９のコンピュータプラットフォーム９１０によって果たされる外科計画立案機能からの外科計画に基づき、また、追跡サブシステム８３０によって確定された解剖学的構造体の姿勢に基づき、解剖学的構造体対する外科ツールの目標姿勢を確定するように構成されている。ナビゲーションコントローラ８２８は、手術ツールの目標姿勢、解剖学的構造体の姿勢、および手術ツールおよび／またはエンドエフェクタの姿勢に基づいて操縦情報を生成するようにさらに構成され得、この場合、操縦情報は、外科計画を行うのに、どこで手術ツールおよび／または外科ロボットのエンドエフェクタを動かすべきかを示す。
【0084】
ＸＲヘッドセット９２０の電気構成要素は、有線／無線インターフェース１４５２を介してコンピュータプラットフォーム９１０の電気構成要素に動作可能に接続され得る。ＸＲヘッドセット９２０の電気構成要素は、例えば、コンピュータプラットフォーム９１０を通して動作可能に接続され得、または様々な撮像デバイス、例えば、Ｃ－ａｒｍ撮像デバイス１０４、Ｉ／Ｏ－ａｒｍ撮像デバイス１０６、画像データベース９５０に直に接続され得、かつ／または有線／無線インターフェース１４５２を通して他の医療機器に接続され得る。
【0085】
外科システム２は、ＸＲヘッドセット９２０、コンピュータプラットフォーム９１０に、かつ／または有線ケーブルおよび／または無線通信リンクを介して接続された別のシステム構成要素に接続された別のシステム構成要素に常駐し得る少なくとも１つのＸＲヘッドセットコントローラ１４３０（簡単に「ＸＲヘッドセットコントローラ」とも呼ばれる）をさらに含む。様々な機能性は、ＸＲヘッドセットコントローラ１４３０によって実行されるソフトウェアによって提供されている。ＸＲヘッドセットコントローラ１４３０は、解剖学的構造体に対する外科処置中にユーザにガイダンスを提供するナビゲーションコントローラ８２８からナビゲーション情報を受信するように構成され、透明表示画面１３０２への投射に表示デバイス１４５０上に表示対象のナビゲーション情報に基づいてＸＲ画像を生成するように構成されている。
【0086】
表示画面（「透明表示画面」とも呼ばれる）１３０２に対する表示デバイス１４５０の構成は、ＸＲヘッドセット９２０を装着しているユーザが表示画面１３０２を通して見るときに、ＸＲ画像が実世界であるように見えてくるように、ＸＲ画像を表示するように構成されている。表示画面１３０２は、ユーザの目の前に、ヘッドバンド１３０６によって位置付けられ得る。
【0087】
ＸＲヘッドセットコントローラ１４３０は、表示画面１３０２を見ている間、ユーザの頭またはユーザの体の他の個所に装着されるように構成されているハウジング内にあり得るか、または表示画面１３０２に通信可能に接続されている間に表示画面１３０２を見るユーザから遠隔に位置し得る。ＸＲヘッドセットコントローラ１４３０は、カメラ１４４０、マイクロフォン１４２、および／または姿勢センサ１４４６からの信号伝達を運用上処理するように構成され得、表示画面１３０２でユーザが見る対象のＸＲ画像を表示デバイス１４５０上に表示するように接続されている。したがって、ＸＲヘッドセット９２０内の回路ブロックとして示されるＸＲヘッドセットコントローラ１４３０は、ＸＲヘッドセット９２０の他の図示の構成要素に使用可能に接続されているが、必ずしも共通のハウジング（例えば、図１３の電子構成要素筐体１３０４）内に常駐するとは限らないか、またはそうでなければユーザによって移動可能であると理解されるべきである。例えば、ＸＲヘッドセットコントローラ１４３０は、コンピュータプラットフォーム９１０内に常駐し得、今度は、コンピュータプラットフォーム９１０が、図３Ｂおよび３Ｃに示されるコンピュータ追跡システム構成要素６’のハウジング内に常駐し得る。
ＸＲヘッドセットを通したユーザビューの例
ＸＲヘッドセットの働きは、２Ｄ画像および３Ｄモデルの両方を表示画面１３０２上に表示することができる。２Ｄ画像が、表示画面１３０２のより不透明な帯域（上部帯域）に表示され得るのが好ましく、３Ｄモデルが、環境領域として別途知られている、表示画面１３０２のより透明な帯域（下部帯域）に表示され得るのがより好ましい。表示画面１３０２が終わる下部帯域の下で、装着者は、手術室の遮るもののないビューを得る。ＸＲコンテンツが表示画面１３０２上に表示される場所が、流動的である可能性があることに留意されたい。コンテンツに対するヘッドセットの位置によっては、３Ｄコンテンツが表示される場所が不透明帯域に移動し、２Ｄコンテンツが表示される場所が透明帯域に置かれ、現世界に安定することができることが可能である。さらに、表示画面１３０２全体を電子制御下で暗くして、ヘッドセットを手術計画立案では仮想現実に変換し、または医療処置中に完全に透明に変換することができる。上で説明したように、ＸＲヘッドセット９２０および関連の働きは、ナビゲート式処置をサポートするだけでなく、ロボット支援処置と併せて行われ得る。
ＸＲヘッドセットを通したユーザビューの例
ＸＲヘッドセットの働きは、２Ｄ画像および３Ｄモデルの両方を表示画面１３０２上に表示することができる。２Ｄ画像が、表示画面１３０２のより不透明な帯域（上部帯域）に表示され得るのが好ましく、３Ｄモデルが、環境領域として別途知られている、表示画面１３０２のより透明な帯域（下部帯域）に表示され得るのがより好ましい。表示画面１３０２が終わる下部帯域の下で、装着者は、手術室の遮るもののないビューを得る。ＸＲコンテンツが表示画面１３０２上に表示される場所が、流動的である可能性があることに留意されたい。コンテンツに対するヘッドセットの位置によっては、３Ｄコンテンツが表示される場所が不透明帯域に移動し、２Ｄコンテンツが表示される場所が透明帯域に置かれ、現世界に安定することができることが可能である。さらに、表示画面１３０２全体を電子制御下で暗くして、ヘッドセットを手術計画立案では仮想現実に変換し、または医療処置中に完全に透明に変換することができる。上で説明したように、ＸＲヘッドセット９２０および関連の働きは、ナビゲート式処置をサポートするだけでなく、ロボット支援処置と併せて行われ得る。
【0088】
図１６は、本開示のいくつかの実施形態による、医療処置中に手術ツール１６０２を巧みに操っているユーザにナビゲーション補助を提供するためのＸＲヘッドセット９２０の表示画面１３０２を通したビュー例を示す。図１６を参照すると、外科ツール１６０２に接続された動的基準配列１６３０および１６３２がカメラ１４４０（図１５）および／または４６（図６）の視野内になるように、手術ツール１６０２が、追跡対象解剖学的構造体の近くにされると、ツールのグラフィカル表現１６００が、解剖学的構造体のグラフィカル表現１６１０との関係で２Ｄ画像および／または３Ｄ画像で表示され得る。ユーザは、見たグラフィカル表現を使用して、ツールのグラフィカル表現２０００から解剖学的構造体のグラフィカル表現１６１０を通って延在するとして示され得る、外科ツール１６０２の軌跡１６２０を調整することができる。ＸＲヘッドセット９２０は、テキスト情報および他のオブジェクト１６４０も表示することができる。見られる表示画面にわたって延びる破線１６５０は、異なる不透明度レベルの上部帯域と下部帯域との分割例を表す。
【0089】
表示画面１３０２上に表示され得る他の類のＸＲ画像（仮想コンテンツ）には、以下のうちのいずれか１つ以上が含まれ得るが、これらに限定されるわけではない。
【0090】
１）患者の解剖学的構造体の２Ｄの軸方向ビュー、矢状ビュー、および／または冠状ビュー、
２）予定の追跡対象ツール対その時追跡対象のツールと外科移植片場所との重ね合わせ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオ送り、
５）オプションおよび構成の設定およびボタン
６）外科手術計画立案情報による患者解剖学的構造体の浮遊３Ｄモデル、
７）浮遊する患者解剖学的構造体に対する外科器具のリアルタイム追跡、
８）命令およびガイダンスによる患者解剖学的構造体の拡張重ね合わせ、および
９）外科機器の拡張重ね合わせ
システム構成要素を追跡するためのカメラの構成例
図１７は、本開示のいくつかの実施形態に従って構成された２対の立体ナビゲーションカメラを有する補助追跡バー４６の構成例を示す。補助追跡バー４６は、図３Ａ、３Ｂ、および３Ｃのカメラ追跡システム構成要素の一部である。一実施形態による、立体ナビゲーションカメラには、立体対の間隔を空けた可視光捕捉カメラと、別の立体対の間隔を空けた近赤外線捕捉カメラとが含まれる。代替として、立体対の可視光捕捉カメラ１つのみ、または立体対の近赤外線捕捉カメラ１つのみが、補助追跡バー４６で使用され得る。任意の複数の近赤外線カメラおよび／または可視光カメラが使用される。
姿勢測定連鎖
上で説明したように、ナビゲート式外科手術は、間隔を空けた基準、例えば知られている様式で配置された円盤または球を含む取り付けられたＤＲＡの姿勢を確定することによるなど、コンピュータビジョン追跡および手術器具の姿勢（例えば、６自由度座標系における位置および向き）の確定を含み得る。コンピュータビジョンは、近赤外光および／または可視光を捕捉するように構成されている、間隔を空けたナビゲーションカメラ、例えば立体カメラを使用する。この場合、最適化をめぐってともに競合する３つのパラメータ、（１）精度、（２）ロバスト性、および（３）外科処置中のユーザ人間工学がある。
２）予定の追跡対象ツール対その時追跡対象のツールと外科移植片場所との重ね合わせ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオ送り、
５）オプションおよび構成の設定およびボタン
６）外科手術計画立案情報による患者解剖学的構造体の浮遊３Ｄモデル、
７）浮遊する患者解剖学的構造体に対する外科器具のリアルタイム追跡、
８）命令およびガイダンスによる患者解剖学的構造体の拡張重ね合わせ、および
９）外科機器の拡張重ね合わせ
システム構成要素を追跡するためのカメラの構成例
図１７は、本開示のいくつかの実施形態に従って構成された２対の立体ナビゲーションカメラを有する補助追跡バー４６の構成例を示す。補助追跡バー４６は、図３Ａ、３Ｂ、および３Ｃのカメラ追跡システム構成要素の一部である。一実施形態による、立体ナビゲーションカメラには、立体対の間隔を空けた可視光捕捉カメラと、別の立体対の間隔を空けた近赤外線捕捉カメラとが含まれる。代替として、立体対の可視光捕捉カメラ１つのみ、または立体対の近赤外線捕捉カメラ１つのみが、補助追跡バー４６で使用され得る。任意の複数の近赤外線カメラおよび／または可視光カメラが使用される。
姿勢測定連鎖
上で説明したように、ナビゲート式外科手術は、間隔を空けた基準、例えば知られている様式で配置された円盤または球を含む取り付けられたＤＲＡの姿勢を確定することによるなど、コンピュータビジョン追跡および手術器具の姿勢（例えば、６自由度座標系における位置および向き）の確定を含み得る。コンピュータビジョンは、近赤外光および／または可視光を捕捉するように構成されている、間隔を空けたナビゲーションカメラ、例えば立体カメラを使用する。この場合、最適化をめぐってともに競合する３つのパラメータ、（１）精度、（２）ロバスト性、および（３）外科処置中のユーザ人間工学がある。
【0091】
本開示のいくつかのさらなる態様は、１つ以上のＸＲヘッドセットに据え付けられた追加のナビゲーションカメラを組み込むことによって、上記の３つのパラメータのうちの１つ以上の最適化を向上させることができるように、測定された姿勢を組み合わせる（連鎖させる）コンピュータ操作を対象としている。図１７に示されるように、立体対の可視光追跡カメラおよび別のステレオ対の近赤外線追跡ナビゲーションカメラが、本開示のいくつかの実施形態による、カメラ追跡システム構成要素の補助追跡バーに取り付けられ得る。完全に観察された、または部分的に観察されたＤＲＡの姿勢を解析し（例えば、ＤＲＡの基準のすべてより少ないものを一対のステレオカメラによって見る場合）、観察された姿勢または部分的な姿勢を、ナビゲート式外科手術中に精度、ロバスト性、および／または人間工学を向上させることができるように、組み合わせる、運用アルゴリズムを開示する。
【0092】
上で説明したように、ＸＲヘッドセットは、コンピュータ生成式ＸＲ画像で実世界場面を拡張するように構成され得る。ＸＲヘッドセットは、ユーザが組み合わせて見る対象の実世界場面からの光がそれを透過するのを可能にする透明表示画面上にコンピュータ生成式ＸＲ画像を表示することによって、ＸＲビューイング環境を提供するように構成され得る。代替として、ＸＲヘッドセットは、実世界場面からの光が、表示されたＸＲ画像のビューイング路に沿ってユーザによって直接見られるのを防ぐまたは実質的に防ぐことによって、ＶＲビューイング環境を提供するように構成され得る。ＸＲヘッドセットは、ＡＲおよびＶＲ両方のビューニング環境を提供するように構成され得る。一実施形態において、ＡＲおよびＶＲのビューイング環境の両方は、ＶＲ視環境が高不透明度帯域と位置が揃ったＸＲ画像に提供され、ＡＲビューイング環境が低不透明度帯域と位置が揃ったＸＲ画像に提供されるように、透明表示画面と実世界場面との間に配置された、実質的にバラツキのある不透明度の横方向帯域によって提供される。別の実施形態では、ＡＲおよびＶＲのビューイング環境の両方が、ユーザが見るＸＲ画像と組み合わせる対象の実世界場面からの光が透明表示画面をどのくらい透過するかを可変的に抑制する不透明フィルタのコンピュータ調整式制御によって提供されている。したがって、ＸＲヘッドセットは、ＡＲヘッドセットまたはＶＲヘッドセットと呼ばれることもある。
【0093】
上でも説明したように、ＸＲヘッドセットは、手術器具、患者解剖学的構造体、他のＸＲヘッドセット、および／またはロボットエンドエフェクタに接続されたＤＲＡの基準を追跡するように構成されている近赤外線追跡カメラおよび／または可視光追跡カメラを含み得る。ＸＲヘッドセットで近赤外線追跡および／または可視光追跡を使用すると、単一の補助追跡バー上のカメラが提供することができるのを超える追加の追跡ボリュームカバレッジが提供される。既存の補助追跡バーに近赤外線追跡カメラを追加すると、ヘッドセット位置を可視光よりもロバストに追跡することができるが、精度は低くなる。可視光追跡座標系および近赤外線追跡座標系を機械的に較正することにより、ステレオマッチングを使用して３Ｄ ＤＲＡ基準三角測量作業を行うように座標系を十分に位置合わせし、可視光追跡座標系と赤外線追跡座標系との間のＤＲＡ基準の姿勢を共同で特定することができる。可視光追跡座標系および近赤外線追跡座標系の両方を使用すると、（ａ）座標系を１つのみ使用すると特定されない可能性があるツールを特定する、（ｂ）姿勢追跡精度の向上、（ｃ）手術器具、患者解剖学的構造体、および／またはロボットエンドエフェクタの追跡を見失うことなく、より広い範囲の動きを可能にする、および（ｄ）ナビゲート対象外科器具と同じ座標系でＸＲヘッドセットを自然に追跡する、のうちのいずれか１つ以上が可能になり得る。
誤った選択を減らすための予定の器具アタッチメントの仮想モデル
外科手術中、器具アタッチメントが器具に取り付けられ得る。器具アタッチメントは、移植片（例えば、椎弓根スクリューまたは拡張可能ケージ）またはツールエンハンサ（例えば、湾曲先端）であり得る。例によっては、外科医が、器具アタッチメントを選択し、器具アタッチメントを器具に取り付ける。追加の例または代替の例では、外科医が器具アタッチメントを要求し、助手（例えば、技術者または看護師）が、器具アタッチメントが外科医または外科ロボットに取り付けられた状態で、器具アタッチメントおよび／または器具を提供する。追加の例または代替の例では、外科計画は、外科医、助手、または外科ロボットに器具アタッチメントを使用するよう指示し、対応する外科医、助手、または外科ロボットは、器具アタッチメントを選択する。この作業（器具アタッチメントの要求／選択の）中に、連絡が間違うと、誤った器具アタッチメントが提供される可能性がある。例えば、間違ったサイズ（例えば、長さ、幅、または直径）の移植片が提供される可能性がある。サイズと製品ファミリの点で移植片には様々な選択肢があるため、看護師または技術者が間違った移植片を選択して準備する可能性がある。また、いくつかの例では、外科医または外科ロボットは、提供された器具アタッチメントが正しくないことに気付かない場合がある。
誤った選択を減らすための予定の器具アタッチメントの仮想モデル
外科手術中、器具アタッチメントが器具に取り付けられ得る。器具アタッチメントは、移植片（例えば、椎弓根スクリューまたは拡張可能ケージ）またはツールエンハンサ（例えば、湾曲先端）であり得る。例によっては、外科医が、器具アタッチメントを選択し、器具アタッチメントを器具に取り付ける。追加の例または代替の例では、外科医が器具アタッチメントを要求し、助手（例えば、技術者または看護師）が、器具アタッチメントが外科医または外科ロボットに取り付けられた状態で、器具アタッチメントおよび／または器具を提供する。追加の例または代替の例では、外科計画は、外科医、助手、または外科ロボットに器具アタッチメントを使用するよう指示し、対応する外科医、助手、または外科ロボットは、器具アタッチメントを選択する。この作業（器具アタッチメントの要求／選択の）中に、連絡が間違うと、誤った器具アタッチメントが提供される可能性がある。例えば、間違ったサイズ（例えば、長さ、幅、または直径）の移植片が提供される可能性がある。サイズと製品ファミリの点で移植片には様々な選択肢があるため、看護師または技術者が間違った移植片を選択して準備する可能性がある。また、いくつかの例では、外科医または外科ロボットは、提供された器具アタッチメントが正しくないことに気付かない場合がある。
【0094】
患者に器具アタッチメントを挿入する前で、器具アタッチメントの無菌性が損なわれた後に、間違った器具アタッチメントが検出されると、無駄な（例えば、使用できない）器具アタッチメントが生じる。器具アタッチメントの挿入または使用を試みた場合、より深刻な合併症が発生する可能性がある。例えば、間違ったサイズである移植片は、患者への移植試行中に患者に損傷を与える可能性がある。
【0095】
本明細書の様々な実施形態は、外科医が、提供された物理的（例えば、実世界）器具アタッチメントが予定の器具アタッチメントであることを確認するのを可能にするように、ＸＲヘッドセットによって外科医に表示される予定の器具アタッチメントの仮想モデルを説明する。予定の器具アタッチメントの仮想モデルを表示すると、間違った器具アタッチメントが使用される（例えば、間違った移植片が患者に入れられる）可能性が低くなる。
【0096】
図１８Ａ～Ｃは、ＸＲヘッドセット９２０を通したビュー例を示す。図１８Ａでは、予定の器具アタッチメントの仮想モデル１８３０は、ＸＲヘッドセット９２０に対して所定のずれおよび／または姿勢で表示されている。予定の器具は、ＸＲヘッドセット９２０を介して、または所定の外科計画に基づいて、外科医によって選択され得る。この例では、物理的器具アタッチメント１８２０（例えば、実世界の器具アタッチメント）も見える。仮想モデル１８３０は、予定の器具アタッチメントの３次元表現を含む。図１８Ｂでは、仮想モデル１８３０は、予定の器具アタッチメントの特徴（例えば、サイズ、ねじタイプ、形状、書字）を記述する仮想テキストを含む。例によっては、仮想モデルは、予定の器具アタッチメントの特徴を記述する３次元表現および仮想テキストの両方を含む。ＸＲヘッドセット９２０を介して物理的器具アタッチメント１８２０および仮想モデル１８３０を見る外科医は、予定の物理的器具が提供されたかどうか（例えば、物理的器具１８２０が予定の器具と一致するかどうか）を判断することができる。
【0097】
実施形態によっては、予定の器具アタッチメントの仮想モデル１８３０は、物理的器具アタッチメント１８２０の姿勢に対するＸＲヘッドセット９２０の姿勢に基づいて表示される。例によっては、ＸＲヘッドセットは、物理的器具アタッチメント１８２０の姿勢に対するＸＲヘッドセット９２０の姿勢の姿勢に基づいて、予定の器具アタッチメントの仮想モデル１８３０の縮尺および／または向きを確定する。結果として、予定の器具アタッチメントの仮想モデル１８３０は、予定の器具アタッチメントの物理的バージョンが物理的器具アタッチメント１８２０の姿勢にある場合に現れるのと同じ縮尺および／または向きでユーザに表示される。
【0098】
図１８Ｃでは、予定の器具アタッチメントの仮想モデル１８３０は、物理的器具アタッチメント１８２０の重ね合わせとして表示されている。この例では、仮想モデル１８３０が部分的に透明であることから、物理的器具アタッチメント１８２０を仮想モデル１８３０を通して見ることができ、外科医は、仮想モデル１８３０と物理的器具アタッチメント１８２０とに差異があるかどうかを観察することができる。追加の例または代替の例では、仮想モデル１８３０は、不透明（例えば、ソリッドカラー）であり、物理的器具アタッチメント１８２０のいずれの部分も外科医に見え、外科医が物理的器具アタッチメント１８２０が間違っていることを確認することができるような、物理的器具アタッチメント１８２０の真正面に現れるように表示され得る。追加の例または代替の例では、仮想モデル１８３０は、不透明であり得、仮想モデルのいずれの部分も見える場合、外科医が物理的器具アタッチメント１８２０が間違っていることを確認することができるような、物理的器具アタッチメント１８２０の真後ろに現れるように表示され得る。外科医は、物理的器具アタッチメント１８２０に対する仮想モデル１８３０の様々な姿勢を制御する、（またそれら間で切り替える）ことができる。
【0099】
図１９Ａ～Ｃは、物理的器具アタッチメント１８２０が、見えるが、物理的（実世界）器具１９５０には取り付けられていない、ＸＲヘッドセット９２０を通したビューの例を示す。図１９Ａでは、器具１９５０は、ＸＲヘッドセット９２０のディスプレイを通して見える。外科医は、ＸＲヘッドセット９２０またはＸＲヘッドセットコントローラにユーザ入力を与えて、図１９Ｂに示されるように、予定の器具アタッチメントの仮想モデル１８３０が、器具１９５０に取り付けられたとして表示されるようにすることができる。器具１９５０は、カメラ追跡システムによって追跡されるマーカを含み得、予定の器具アタッチメントの仮想モデル１８３０は、仮想モデル１８３０を、予定の器具アタッチメントが取り付けられ得る器具１９５０の端から延在するように見えさせるように、ＸＲヘッドセット９２０に対する器具１９５０の姿勢に基づいて表示され得る。
【0100】
例によっては、ユーザ入力は、器具１９５０を、ＸＲヘッドセット９２０に対して特定の実世界の位置または向きに移動させることを含む。追加の例または代替の例では、ユーザ入力は、計画立案段階中にあり、ＸＲヘッドセット９２０が予定の器具アタッチメントを器具１９５０に自動的に関連付けるような、予定の器具アタッチメントを器具１９５０に割り当てることを伴う。
【0101】
図１９Ｃでは、仮想モデル１８３０は、器具１９５０に取り付けられたが、物理的器具アタッチメント１８２０の向きにあるとして表示されている。カメラ追跡システムは、物理的器具アタッチメント１８２０の姿勢を確定することができ、ＸＲヘッドセットは、物理的器具アタッチメント１８２０の姿勢およびＸＲヘッドセット９２０の姿勢に対する器具１９５０の姿勢に基づいて仮想モデル１８３０を表示することができる。
【0102】
実施形態によっては、物理的器具アタッチメント１８２０は、器具１９５０に取り付けられ得、かつ／または外科医は、物理的器具アタッチメント１８２０を器具１９５０に取り付けられるように位置付けることができる。仮想モデル１８３０と物理的器具アタッチメント１８２０とが一列に並んでいる場合、外科医は、正しい選択が行われたというかなりの程度の確実性を有する。
【0103】
図２０Ａ～Ｃは、仮想モデル１８３０が、その時に物理的器具アタッチメント１８２０が取り付けられている器具１９５０に取り付けられたとして表示されている、ＸＲヘッドセット９２０を通したビューの例を示す。図２０Ａでは、仮想モデル１８３０は、部分的に透明であり、物理的器具１８２０は、仮想モデル１８３０を通して部分的に見える。ＸＲヘッドセット９２０を装着している外科医は、物理的器具アタッチメント１８２０と仮想モデル１８３０とのサイズおよび特徴を比較することに基づいて、物理的器具アタッチメント１８２０が正しいと判断することができる。
【0104】
図２０Ｂでは、仮想モデル１８３０は、不透明（例えば、ソリッドカラー）であり、物理的器具アタッチメント１８２０の真正面に現れるように表示されている。ＸＲヘッドセット９２０を装着している外科医は、仮想モデル１８３０の周りの物理的器具１８２０の一部が観察することができないことに基づいて、物理的器具アタッチメント１８２０が正しいと判断することができる。
【0105】
図２０Ｃでは、仮想モデル１８３０は、不透明（例えば、ソリッドカラー）であり、物理的器具アタッチメント１８２０の真後ろに現れるように表示されている。ＸＲヘッドセット９２０を装着している外科医は、物理的器具アタッチメント１８２０の周りの仮想モデル１８３０の一部が観察することができないことに基づいて、物理的器具アタッチメント１８２０が正しいと判断することができる。
【0106】
実施形態によっては、外科医は、物理的器具アタッチメント１８２０が予定の器具アタッチメントに一致するかどうかを判断するために、部分的に透明、不透明で、また物理的器具アタッチメント１８２０の前にあるとして表示される仮想モデル１８３０と、不透明で物理的器具アタッチメント１８２０の後ろにあるとして表示される仮想モデル１８３０とを切り替えることができる。
【0107】
図１８Ａ～Ｃ、１９Ａ～Ｃ、および２０Ａ～Ｃに示される例では、物理的器具アタッチメント１８２０は、仮想モデル１８３０と一致するように見えるため、外科医は、物理的器具アタッチメント１８２０が正しくかつ／または予定の器具アタッチメントであると判断することができる。図２１Ａ～Ｃでは、物理的器具アタッチメント１８２０は、予定の器具アタッチメントの仮想モデル２１３０と一致しないように見える（例えば、異なる長さ、幅、形状、およびねじパターンを有する）。
【0108】
図２１Ａ～Ｃは、仮想モデル２１３０が、その時、物理的器具アタッチメント１８２０が取り付けられている器具１９５０に取り付けられたとして表示されている、ＸＲヘッドセット９２０を通したビューの例を示す。図２１Ａでは、仮想モデル２１３０は、部分的に透明であり、物理的器具１８２０は、仮想モデル２１３０を通して部分的に見える。ＸＲヘッドセット９２０を装着している外科医は、物理的器具アタッチメント１８２０と仮想モデル２１３０との違いを観察することができることに基づいて、物理的器具アタッチメント１８２０が正しくないと判断することができる。
【0109】
図２１Ｂでは、仮想モデル２１３０は、不透明（例えば、ソリッドカラー）であり、物理的器具アタッチメント１８２０の真正面に現れるように表示されている。ＸＲヘッドセット９２０を装着している外科医は、仮想モデル２１３０の周りの物理的器具１８２０の一部が観察することができることに基づいて、物理的器具アタッチメント１８２０が正しくないと判断することができる。
【0110】
図２１Ｃでは、仮想モデル２１３０は、不透明（例えば、ソリッドカラー）であり、物理的器具アタッチメント１８２０の真後ろに現れるように表示されている。ＸＲヘッドセット９２０を装着している外科医は、物理的器具アタッチメント１８２０の周りの仮想モデル２１３０の一部を観察することができることに基づいて、物理的器具アタッチメント１８２０が正しくないと判断することができる。
【0111】
実施形態によっては、外科医は、物理的器具アタッチメント１８２０が予定の器具アタッチメントに一致するかどうかを判断するために、部分的に透明、不透明で、また物理的器具アタッチメント１８２０の前にあるとして表示される仮想モデル２１３０と、不透明で物理的器具アタッチメント１８２０の後ろにあるとして表示される仮想モデル２１３０とを切り替えることができる。
【0112】
実施形態によっては、外科手術は、移植片を患者に挿入することを含む。移植片は、患者に挿入される金物片（例えば、椎弓根スクリューまたは拡張可能ケージなど）である。移植片は、患者の年齢、骨の健康、椎骨のサイズ、および外科医の好みを含む、様々な要因に基づいて外科医によって選択される。追加の実施形態または代替の実施形態では、外科手術は、器具延長部が取り付けられた器具を使用することを含む。器具延長部は、外科医が特定の外科手術を行うことを可能にするために器具に取り付けられる金物片（例えば、湾曲先端）である。器具延長部は、外科手術の種類、外科手術の部位、および外科医の好みを含む様々な要因に基づいて外科医によって選択される。器具アタッチメントが正しいことを確認するためのプロセスのさらなる説明は、移植を伴う外科手術に関して以下に提供されるが、同様のプロセスが、器具延長部を伴う外科手術に適用可能である。
【0113】
外科医が使用する移植片を選択すると、外科医は、ナビゲーションソフトウェアを通して、または担当スタッフに告げることによって、この選択を伝える。選択の伝達は、複雑になる可能性があり、特に手術室が高ストレスでしばしば騒々しい環境になることを考えると、連絡ミスを招く可能性がある。
【0114】
この起こり得る悲惨な状況を防ぐために、ＸＲヘッドセットが外科医によって使用され得る。ＸＲヘッドセットは、最初に、外科医が選択したねじの突起および該当する寸法を表示して、正しい選択が行われ、伝えられたことを承認することができる。
【0115】
それにより、外科医は、正しい移植片が選択されたことを承認するであろう。移植片が器具に取り付けられ、外科医に渡されると、ＸＲヘッドセットが器具を追跡し、移植片の仮想画像を実際にあるはずである場所に重ね合わせることができる。仮想画像と実世界移植片とが、サイズ、形状などの点で一致していないように見える場合、外科医は、間違った移植片が選択されたことが分かるようになる。
【0116】
追加の実施形態または代替の実施形態では、仮想モデルを表示するプロセスは、外科手術の前にシステムチェックを伴う。例えば、仮想モデルを表示することには、カメラが器具およびＸＲヘッドセットを正しく追跡しているか、ＸＲヘッドセットが外科医の頭に正しく位置付けられているか、また仮想コンテンツが適切にレンダリングされているか、を確認することが含まれる。
【0117】
図２２は、外科システム（例えば、外科システム９００）によって行われるプロセスのフローチャートである。ブロック２２１０で、カメラ追跡システム６、６’は、ＸＲヘッドセットに対する器具の姿勢を確定する。
【0118】
ブロック２２２０で、ＸＲヘッドセットコントローラ１４３０は、予定の器具アタッチメントの仮想モデルの形状および姿勢を生成する。実施形態によっては、ＸＲヘッドセットコントローラ１４３０は、予定の器具アタッチメントに関連した所定の情報に基づいて、かつ／またはＸＲヘッドセットに対する器具の姿勢に基づいて、仮想モデルの形状および姿勢を生成する。所定の情報には、サイズおよび形状のうちの少なくとも１つを含む、予定の器具アタッチメントの特性が含まれ得る。追加の実施形態または代替の実施形態では、予定の器具アタッチメントは、移植片（例えば、椎弓根スクリューまたは拡張可能ケージ）である。ＸＲヘッドセットコントローラ１４３０は、移植片を表すグラフィカル特徴を有するように、予定の器具アタッチメントの仮想モデルを生成する。追加の実施形態または代替の実施形態では、予定の器具アタッチメントは、器具エクステンダである。ＸＲヘッドセットコントローラ１４３０は、機器エクステンダを表すグラフィカル特徴を有するように、予定の器具アタッチメントの仮想モデルを生成する。追加の実施形態または代替の実施形態では、ＸＲヘッドセットコントローラ１４３０は、予定の器具アタッチメントの特性を示す仮想テキストを含むように仮想モデルを生成する。
【0119】
実施形態によっては、ＸＲヘッドセットコントローラ１４３０が、透明ディスプレイを通して見たときに、器具上のある場所に取り付けられて見えるように、予定の器具アタッチメントの仮想モデルの姿勢を確定する。実世界場面には、物理的器具アタッチメントが含まれ得る。実施形態によっては、物理器具のアタッチメントは、器具上の場所に取り付けられている。
【0120】
追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラ１４３０は、予定の器具アタッチメントの仮想モデルが、透明ディスプレイを通して見られている間、物理的器具アタッチメントに重ね合わされると、物理的器具アタッチメントの少なくとも１つの対応する特徴とほぼ位置が揃うようにそのうちの少なくとも１つの姿勢が決められる、部分的に透明なグラフィカル特徴を有するように、予定の器具アタッチメントの仮想モデルを生成する。
【0121】
追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラ１４３０は、予定の器具アタッチメントの仮想モデルが、透明ディスプレイを通して見られている間、物理的器具アタッチメントに重ね合わされると、物理的器具アタッチメントの少なくとも１つの対応する特徴とほぼ位置が揃うようにそのうちの少なくとも１つが姿勢が決められる、不透明なグラフィカル特徴を有するように、予定の器具アタッチメントの仮想モデルを生成する。
【0122】
追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラ１４３０は、予定の器具アタッチメントの仮想モデルが、透明ディスプレイを通して見られている間、物理的器具アタッチメントの背後に位置付けられると、物理的器具アタッチメントの少なくとも１つの対応する特徴とほぼ位置が揃うようにそのうちの少なくとも１つが姿勢が決められる、不透明なグラフィカル特徴を有するように、予定の器具アタッチメントの仮想モデルを生成する。
【0123】
追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラ１４３０は、予定の器具アタッチメントの仮想モデルのグラフィカル特徴を、ユーザ入力に基づく部分的に透明、不透明のものとして選択的にレンダリングする。追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラ１４３０は、物理的器具アタッチメントの背後として、またユーザ入力に基づく物理的器具アタッチメントとは別に、物理的器具アタッチメント上の重ね合わせのものとして表示される予定の器具アタッチメントの仮想モデルの姿勢を選択的に確定する。
【0124】
追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラ１４３０は、ＸＲヘッドセットに対する物理的器具アタッチメントの姿勢から確定された距離に基づいて、予定の器具アタッチメントの仮想モデルの形状を拡大縮小する。
【0125】
ブロック２２３０で、ＸＲヘッドセット９２０が、予定の器具アタッチメントの仮想モデルを、ＸＲヘッドセットの透明表示画面上に表示する。実施形態によっては、ＸＲヘッドセット９２０は、外科処置中にユーザが装着するように構成され、透明ディスプレイは、ユーザが見る対象の実世界場面の少なくとも一部がそこを透過するのを可能にする。実世界場面には、器具および物理的器具アタッチメントが含まれ得る。
【0126】
実施形態によっては、仮想モデルを部分的に透明で、物理的器具アタッチメントに重ね合わせられたとして表示することにより、ユーザは、予定の器具アタッチメントの仮想モデルと物理的器具アタッチメントとが同時に見えることに基づき、物理的器具アタッチメントが予定の器具アタッチメントと異なるかどうかを判断することができる。
【0127】
追加の実施形態または代替の実施形態において、仮想モデルを不透明で、物理的器具アタッチメントに重ね合わされたとして表示することにより、ユーザは、物理的器具アタッチメントの一部がユーザに見えるかどうかに基づき、物理的器具アタッチメントが予定の器具アタッチメントとは異なるかどうかを判断することができる。
【0128】
追加の実施形態または代替の実施形態において、仮想モデルを不透明で、物理的器具アタッチメントの背後にあるとして表示することにより、ユーザは、仮想モデルの一部がユーザに見えるかどうかに基づき、物理的器具アタッチメントが予定の器具アタッチメントとは異なるかどうかを判断することができる。
【0129】
図２２のフローチャートからの様々な作業は、外科システムおよび関連の方法のいくつかの実施形態に関して任意であり得る。
【0130】
図２３は、外科システム（例えば、外科システム９００）によって行われるプロセスのフローチャートである。ブロック２２１０で、カメラ追跡システム６、６’が、ＸＲヘッドセットに対する物理的器具アタッチメントの姿勢を確定する。実施形態によっては、物理的器具アタッチメントは、移植片（例えば、椎弓根スクリューまたは拡張可能ケージ）である。追加の実施形態または代替の実施形態において、物理的器具アタッチメントは、器具エクステンダである。追加の実施形態または代替の実施形態において、カメラ追跡システム６、６’が、ＸＲヘッドセットに対する器具の姿勢を確定する。物理的器具アタッチメントは、器具上のある場所に取り付けられ得る。
【0131】
ブロック２２２０で、ＸＲヘッドセットコントローラ１４３０は、予定の器具アタッチメントの仮想モデルの形状および姿勢を生成する。実施形態によっては、予定の器具アタッチメントの仮想モデルの形状および姿勢は、予定の器具アタッチメントの所定の情報に基づき、またＸＲヘッドセットに対する物理的器具アタッチメントの姿勢に基づいている。追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラ１４３０が、物理的器具アタッチメントの姿勢に対して所定の姿勢で予定の器具アタッチメントの仮想モデルの姿勢を生成する。追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラ１４３０が、物理的器具アタッチメントの向きに一致するように、ＸＲヘッドセットに対する予定の器具アタッチメントの仮想モデルの向きを調整する。追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラが、ＸＲヘッドセットに対する物理的器具アタッチメントの姿勢から確定された距離に基づいて、予定の器具アタッチメントの仮想モデルの形状を拡大縮小する。
【0132】
実施形態によっては、ＸＲヘッドセットコントローラは、物理的器具アタッチメントの背後で、またユーザ入力に基づく物理的器具アタッチメントとは別として、物理的器具アタッチメント上の重ね合わせのものとして表示される予定の器具アタッチメントの仮想モデルの姿勢を選択的に確定する。追加の実施形態または代替の実施形態において、ＸＲヘッドセットコントローラは、予定の器具アタッチメントに関連した所定の情報に基づいて、予定の器具アタッチメントの特性を示す仮想テキストを含むように、仮想モデルを生成する。
【0133】
ブロック２２３０で、ＸＲヘッドセット９２０が、予定の器具アタッチメントの仮想モデルを、ＸＲヘッドセットの透明表示画面上に表示する。実施形態によっては、ＸＲヘッドセットは、外科処置中にユーザが装着するように構成されており、透明表示画面は、ユーザが見る対象の実世界場面の少なくとも一部がそれを透過することを可能にする。実世界場面には、物理的器具アタッチメントおよび／または器具が含まれ得る。
【0134】
図２２のフローチャートからの様々な作業は、外科システムおよび関連の方法のいくつかの実施形態に関して任意であり得る。
さらなる定義および実施形態：
本発明概念の様々な実施形態の上記の発明を実施するための形態において、本明細書で使用される用語が、特定の実施形態を説明することのみを目的とし、本発明概念を限定することを意図したものではないことを理解されたい。別段に定義されない限り、本明細書で使用されるすべての用語（技術用語および科学用語を含む）は、本発明概念が属する当技術分野の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるものなどの用語が、本明細書および関連する技術分野の背景におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された意味、または過度に形式的な意味では解釈されないことがさらに理解されるであろう。
さらなる定義および実施形態：
本発明概念の様々な実施形態の上記の発明を実施するための形態において、本明細書で使用される用語が、特定の実施形態を説明することのみを目的とし、本発明概念を限定することを意図したものではないことを理解されたい。別段に定義されない限り、本明細書で使用されるすべての用語（技術用語および科学用語を含む）は、本発明概念が属する当技術分野の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるものなどの用語が、本明細書および関連する技術分野の背景におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された意味、または過度に形式的な意味では解釈されないことがさらに理解されるであろう。
【0135】
ある要素が別の要素に対して「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの異綴り形であるとして言われる場合、その要素は、他の要素に直に接続され得る、結合され得る、もしくは応答するものであり得るか、または介在する要素が存在し得る。対照的に、ある要素が別の要素に対して「直に接続された（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」、「直に結合された（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」、「直に応答する（ｄｉｒｅｃｔｌｙ ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの異綴り形であるとして言われる場合、介在する要素は、存在しない。同じ番号は、全体を通して同じ要素を指す。さらにまた、本明細書で使用される際、「結合された（ｃｏｕｐｌｅｄ）」、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの異綴り形には、無線で結合される、接続される、または応答することが含まれ得る。本明細書で使用される際、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上、そうでないことを明確に示さない限り、複数形も含むことが意図されている。よく知られている機能または構造は、簡潔さおよび／または明確さのために詳細に説明されない場合がある。「および／または（ａｎｄ／ｏｒ）」という用語は、関連する挙げられた項目のうちの１つ以上のありとあらゆる組み合わせを含む。
【0136】
本明細書では、第１、第２、第３などの用語を使用して様々な要素／動作を説明することがあるが、これらの要素／動作は、これらの用語に限定されるべきではないことが理解されるであろう。これらの用語は、ある要素／動作を他の要素／動作から区別するためにのみ使用される。したがって、いくつかの実施形態における第１の要素／動作は、本発明概念の教示から逸脱しない限り、他の実施形態における第２の要素／動作とすることができる。同じ参照番号または同じ参照符号は、本明細書全体を通して同じまたは類似の要素を示す。
【0137】
本明細書で使用される際、「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｖｅ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」という用語、またはそれらの異綴り形は、制約のないもので、１つ以上の述べられた特徴、整数、要素、ステップ、構成要素、または機能を含むが、１つ以上の他の特徴、整数、要素、ステップ、構成要素、機能、またはそれらのグループの存在もしくは追加を排除するものではない。さらにまた、本明細書で使用される際、ラテン語の「例えば（ｅｘｅｍｐｌｉ ｇｒａｔｉａ）」から派生した一般的な略語「例えば（ｅ．ｇ．）」は、前述の項目の一般的な１つまたは複数の例を紹介または明示するのに使用され得、このような項目を限定することを意図するものではない。ラテン語の「すなわち（ｉｄ ｅｓｔ）」から派生した一般的な略語「すなわち（ｉ．ｅ．）」は、より一般的な列挙から特定の項目を明示するのに使用され得る。
【0138】
実施形態例が、コンピュータ実施方法、装置（システムおよび／もしくはデバイス）、ならびに／またはコンピュータプログラム製品のブロック図および／またはフローチャート図を参照して本明細書において説明されている。ブロック図および／またはフローチャート図のブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組み合わせが、１つ以上のコンピュータ回路によって行われるコンピュータプログラム命令によって実施され得ることが理解される。これらのコンピュータプログラム命令を汎用コンピュータ回路、特殊目的コンピュータ回路、および／または他のプログラム可能なデータ処理回路のプロセッサ回路に与えて、コンピュータのプロセッサおよび／または他のプログラム可能なデータ処理装置を介して実行される命令が、ブロック図および／または１つもしくは複数のフローチャートブロックにおいて明示された機能／作用を実施し、それによって、ブロック図および／またはフローチャートブロックにおいて明示された機能／作用を実施するための手段（機能性）および／または構造を作り出すように、トランジスタ、メモリの場所に格納された値、およびこのような回路網内の他のハードウェア構成要素を変換、制御するような、機械を生み出す。
【0139】
これらのコンピュータプログラム命令は、有形のコンピュータ可読媒体にも格納され得、有形のコンピュータ可読媒体は、コンピュータまたは他のプログラム可能なデータ処理装置を、コンピュータ可読媒体に格納された命令が、ブロック図および／または１つもしくは複数のフローチャートブロックに明示された機能／作用を実施する命令を含む製造品を生み出すような特定のやり方で機能させることができる。したがって、本発明概念の実施形態は、集合的に「回路網」、「モジュール」、またはそれらの変異型と呼ばれることがある、デジタル信号プロセッサなどのプロセッサ上で作動するハードウェアでかつ／またはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で具体化され得る。
【0140】
また、いくつかの代替の実装形態において、ブロックに記載されている機能／作用が、フローチャートに記載されている順序から外れて起こる場合があることにも留意されたい。例えば、連続して示されている２つのブロックは、関与する機能性／作用に応じて、実際には実質的に同時に実行されてもよく、またはブロックが逆の順序で実行される場合もある。さらに、フローチャートおよび／またはブロック図の所与のブロックの機能性は、複数のブロックに分けられてもよく、かつ／またはフローチャートおよび／またはブロック図の２つ以上のブロックの機能性が、少なくとも部分的に統合されてもよい。最後に、本発明概念の範囲から逸脱しない限り、示されているブロック間に他のブロックが追加／挿入されてもよく、かつ／またはブロックまたは動作が省かれてもよい。また、図のうちのいくつかは、通信の主要な方向を示すために通信路上に矢印を含んでいるが、通信が、描かれた矢印と反対の方向で起こる場合があることを理解されたい。
【0141】
本発明概念の原理から実質的に逸脱しない限り、実施形態に対して多くの変更および修正を行うことができる。すべてのこのような変更および修正は、本発明概念の範囲内で本明細書に含まれることが意図されている。したがって、上で開示された発明の対象は、限定的ではなく例示的であると見なされるべきであり、付け加えられた実施形態の例は、本発明概念の趣旨および範囲内にあるすべてのこのような修正、強化、および他の実施形態に及ぶことが意図されている。したがって、法律によって許される最大限の範囲で、本発明概念の範囲は、以下の実施形態の例およびそれらの均等物を含む本開示の最も広い許容可能な解釈によって決定されるべきであり、前述の発明を実施するための形態に制限または限定されるものではないとする。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図18C】
【図19A】
【図19B】
【図19C】
【図20A】
【図20B】
【図20C】
【図21A】
【図21B】
【図21C】
【図22】
【図23】
