特開2024-88619複合現実コンピュータ支援手術におけるツールナビゲーション
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024088619
(43)【公開日】2024-07-02
(54)【発明の名称】複合現実コンピュータ支援手術におけるツールナビゲーション
(51)【国際特許分類】
A61B 34/20 20160101AFI20240625BHJP
【ＦＩ】
A61B34/20
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023213512
(22)【出願日】2023-12-19
(31)【優先権主張番号】63/476,203
(32)【優先日】2022-12-20
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】513034866
【氏名又は名称】オーソソフト アンリミティド ライアビリティ コーポレイション
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100211177
【弁理士】
【氏名又は名称】赤木 啓二
(74)【代理人】
【識別番号】100227835
【弁理士】
【氏名又は名称】小川 剛孝
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100098475
【弁理士】
【氏名又は名称】倉澤 伊知郎
(74)【代理人】
【識別番号】100130937
【弁理士】
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100144451
【弁理士】
【氏名又は名称】鈴木 博子
(74)【代理人】
【識別番号】100168871
【弁理士】
【氏名又は名称】岩上 健
(72)【発明者】
【氏名】ピエール クチュール
(72)【発明者】
【氏名】ジェローム カソーボン
(72)【発明者】
【氏名】ルイ－フィリップ アミオ
(72)【発明者】
【氏名】ジャン－セバスチャン メレット
(57)【要約】
【課題】コンピュータ支援整形外科手術及びロボット化コンピュータ支援手術における骨及びツール追跡の改善
【解決手段】コンピュータ支援手術において骨に対して外科ツールを追跡するシステムであって、プロセッシングユニットと、プロセッシングユニットに通信可能に結合された、コンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリとを備え、コンピュータ可読プログラム命令は、骨に対して外科ツールを追跡し、追跡において外科ツール及び骨の仮想モデルを外科ツール及び骨にマージし、外科ツールの作業端が骨に対して隠れた状態において、追跡を使用して骨に対する外科ツールの作業端の位置を計算し、骨に対する外科ツールの作業端の位置を出力する、ようにプロセッシングユニットによって実行可能である、システム。
【選択図】図１
【解決手段】コンピュータ支援手術において骨に対して外科ツールを追跡するシステムであって、プロセッシングユニットと、プロセッシングユニットに通信可能に結合された、コンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリとを備え、コンピュータ可読プログラム命令は、骨に対して外科ツールを追跡し、追跡において外科ツール及び骨の仮想モデルを外科ツール及び骨にマージし、外科ツールの作業端が骨に対して隠れた状態において、追跡を使用して骨に対する外科ツールの作業端の位置を計算し、骨に対する外科ツールの作業端の位置を出力する、ようにプロセッシングユニットによって実行可能である、システム。
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータ支援手術において骨に対して外科ツールを追跡するシステムであって、
プロセッシングユニットと、
前記プロセッシングユニットに通信可能に結合された、コンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリと、
を備え、前記コンピュータ可読プログラム命令は、
前記骨に対して前記外科ツールを追跡し、
前記追跡において前記外科ツール及び前記骨の仮想モデルを前記外科ツール及び前記骨にマージし、
前記外科ツールの作業端が前記骨に対して隠れた状態において、前記追跡を使用して前記骨に対する前記外科ツールの前記作業端の位置を計算し、
前記骨に対する前記外科ツールの前記作業端の位置を出力する、
ように前記プロセッシングユニットによって実行可能である、
システム。
プロセッシングユニットと、
前記プロセッシングユニットに通信可能に結合された、コンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリと、
を備え、前記コンピュータ可読プログラム命令は、
前記骨に対して前記外科ツールを追跡し、
前記追跡において前記外科ツール及び前記骨の仮想モデルを前記外科ツール及び前記骨にマージし、
前記外科ツールの作業端が前記骨に対して隠れた状態において、前記追跡を使用して前記骨に対する前記外科ツールの前記作業端の位置を計算し、
前記骨に対する前記外科ツールの前記作業端の位置を出力する、
ように前記プロセッシングユニットによって実行可能である、
システム。
【請求項2】
前記コンピュータ可読プログラム命令は、前記作業端と前記骨の境界との近接度を示すように前記プロセッシングユニットによって実行可能である、
請求項１に記載のシステム。
請求項１に記載のシステム。
【請求項3】
前記コンピュータ可読プログラム命令は、前記作業端が前記骨の境界に存在するときに前記外科ツールを停止させるように前記プロセッシングユニットによって実行可能である、
請求項１又は２に記載のシステム。
請求項１又は２に記載のシステム。
【請求項4】
前記コンピュータ可読プログラム命令は、前記骨に対する前記外科ツールの隠れた作業端をイメージングして表示するように前記プロセッシングユニットによって実行可能である、
請求項１から３のいずれか１項に記載のシステム。
請求項１から３のいずれか１項に記載のシステム。
【請求項5】
前記コンピュータ可読プログラム命令は、前記骨に対する前記外科ツールの隠れた作業端をオペレータが装着するフェイスシールド上の複合現実内にイメージングして表示するように前記プロセッシングユニットによって実行可能である、
請求項４に記載のシステム。
請求項４に記載のシステム。
【請求項6】
前記コンピュータ可読プログラム命令は、前記外科ツール及び当該外科ツールの作業端のビデオ画像を取得し、前記ビデオ画像を処理して前記外科ツールのモデルのサイズを決定することによって前記外科ツールを校正するように前記プロセッシングユニットによって実行可能である、
請求項１から５のいずれか１項に記載のシステム。
請求項１から５のいずれか１項に記載のシステム。
【請求項7】
前記外科ツール及びその作業端の前記ビデオ画像を取得することは、前記外科ツールを動作させて前記作業端の動きの振幅をイメージングし、前記作業端の動きの前記振幅のサイズを決定することを含む、
請求項６に記載のシステム。
請求項６に記載のシステム。
【請求項8】
前記骨の仮想モデルを術前イメージングから取得することを含む、
請求項１から７のいずれか１項に記載のシステム。
請求項１から７のいずれか１項に記載のシステム。
【請求項9】
前記外科ツールの仮想モデルをメーカーファイルから取得することを含む、
請求項１から８のいずれか１項に記載のシステム。
請求項１から８のいずれか１項に記載のシステム。
【請求項10】
前記コンピュータ可読プログラム命令は、前記ツールの位置及び向きの関数としてロボットアームを制御するように前記プロセッシングユニットによって実行可能である、
請求項１から９のいずれか１項に記載のシステム。
請求項１から９のいずれか１項に記載のシステム。
【請求項11】
前記ツールの位置を継続的に出力することは、前記ロボットアームの位置を継続的に出力することを含む、
請求項１０に記載のシステム。
請求項１０に記載のシステム。
【請求項12】
前記骨に対して前記外科ツールを追跡することは、オペレータの視点で画像取り込み装置から前記骨に対して前記外科ツールを追跡することを含む、
請求項１から１１のいずれか１項に記載のシステム。
請求項１から１１のいずれか１項に記載のシステム。
【請求項13】
前記骨に対して前記外科ツールを追跡することは、静止した画像取り込み装置から第２の追跡フィードを取得することを含む、
請求項１２に記載のシステム。
請求項１２に記載のシステム。
【請求項14】
２つの異なる画像取り込み装置から前記ビデオ画像を取得することが、前記画像取り込み装置の一方からの前記ビデオ画像を前記画像取り込み装置の他方からの前記ビデオ画像よりも優先させることを含む、
請求項１３に記載のシステム。
請求項１３に記載のシステム。
【請求項15】
前記骨に対して前記外科ツールを追跡することは、前記骨に対する前記外科ツールのビデオ画像を取得することを含み、前記追跡において前記外科ツール及び前記骨の仮想モデルを前記外科ツール及び前記骨にマージすることは、前記ビデオ画像を処理することを含む、
請求項１から１４のいずれか１項に記載のシステム。
請求項１から１４のいずれか１項に記載のシステム。
【請求項16】
前記骨に対する前記外科ツールの作業端の位置を計算することは、処理された前記ビデオ画像を使用することを含む、
請求項１５に記載のシステム。
請求項１５に記載のシステム。
【請求項17】
前記ビデオ画像を取得することは、前記ツールが前記骨の遠位にあるときには前記ビデオ画像を低頻度取り込みモードで取得し、前記ツールが前記骨の近位にあるときには前記ビデオ画像を高頻度取り込みモードで取得することを含む、
請求項１５に記載のシステム。
請求項１５に記載のシステム。
【請求項18】
前記ビデオ画像を取得する少なくとも１つのカメラを備えたヘッドマウント型装置を含む、
請求項１５に記載のシステム。
請求項１５に記載のシステム。
【請求項19】
前記ヘッドマウント型装置は、前記少なくとも１つの物体の位置及び向きに関連するデータを出力するディスプレイを有し、前記データは複合現実で出力される、
請求項１８に記載のシステム。
請求項１８に記載のシステム。
【請求項20】
コンピュータ支援手術において骨に対して外科ツールを追跡するシステムであって、
プロセッシングユニットと、
前記プロセッシングユニットに通信可能に結合された、コンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリと、
を備え、前記コンピュータ可読プログラム命令は、
前記骨に対する前記外科ツールのビデオ画像をオペレータの視点から取得し、
前記ビデオ画像を処理して、前記ビデオ画像内で前記外科ツール及び前記骨の仮想モデルを前記外科ツール及び前記骨にマージし、
前記外科ツールの作業端が前記骨に対して隠れた状態において、前記処理されたビデオ画像を使用して前記骨に対する前記外科ツールの前記作業端の位置を計算し、
前記骨に対する前記外科ツールの前記作業端の位置を出力する、
ように前記プロセッシングユニットによって実行可能である、
システム。
プロセッシングユニットと、
前記プロセッシングユニットに通信可能に結合された、コンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリと、
を備え、前記コンピュータ可読プログラム命令は、
前記骨に対する前記外科ツールのビデオ画像をオペレータの視点から取得し、
前記ビデオ画像を処理して、前記ビデオ画像内で前記外科ツール及び前記骨の仮想モデルを前記外科ツール及び前記骨にマージし、
前記外科ツールの作業端が前記骨に対して隠れた状態において、前記処理されたビデオ画像を使用して前記骨に対する前記外科ツールの前記作業端の位置を計算し、
前記骨に対する前記外科ツールの前記作業端の位置を出力する、
ように前記プロセッシングユニットによって実行可能である、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照〕
本出願は、２０２２年１２月２０日に出願された米国特許出願第６３／４７６，２０３号の優先権を主張するものであり、この文献はその全体が本明細書に組み入れられる。
本出願は、２０２２年１２月２０日に出願された米国特許出願第６３／４７６，２０３号の優先権を主張するものであり、この文献はその全体が本明細書に組み入れられる。
【0002】
本出願は、コンピュータ支援整形外科手術及びロボット化コンピュータ支援手術における骨及びツール追跡に関する。
【背景技術】
【0003】
手術器具又はツールのナビゲーションは、コンピュータ支援手術（以下、ＣＡＳ）の不可欠な部分である。ツールは、身体部位に関する相対的情報が得られるようにナビゲートされる、すなわち位置及び／又は向きに関して追跡される。この情報は、手術中の骨修正（ｂｏｎｅ ａｌｔｅｒａｔｉｏｎｓ）、インプラントの位置決め、及び切開などの、身体に対する様々な介入（例えば、整形外科手術、神経学的手術）において使用することができる。
【0004】
整形外科手術では、光学追跡技術が一般的に使用される。追跡する必要があるアイテムには、使用する光学追跡技術に応じて異なるタイプの追跡可能部材が恒久的又は一時的に固定される。例えば、四肢及び異なる手術器具に追跡可能部材を固定し、これらの追跡可能部材を追跡システムによって追跡する。ＣＡＳシステムは、追跡に関連する位置データ及び向きデータを計算し、外科医は、コンピュータによって表示された情報を使用して、操作される（単複の）器具の四肢に対する位置を視覚化し、又は数値で使用する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
光学追跡技術では、光学素子が光学センサデバイスの見通し線内に存在しなければならない。光学追跡システムでの１つの共通制約は、静止した画像取得装置と追跡すべき物体との間に見通し線が必要な点である。従って、光学追跡を採用する手術には、光学センサ装置と光学素子との間の必要な可視性の関数として所与の向きが課されることがある。見通し線が分断された場合には、考えられる結果として光学追跡が一時停止される場合がある。自動化ロボット手術では、光学追跡が中断される結果、人間の介入が必要になる場合がある。これには改善の余地がある。
【0006】
さらに、整形外科手術における進行中の課題は、外科手術がますます低侵襲的アプローチを選択するにつれ、骨の修正／切除の可視性が欠如することである。外科手術では、侵襲性を抑えるために、切開部を小さくして軟組織の創傷を制限する。この結果、骨及びツールの可視性が低下することがある。しかしながら、外科医が正しく手術を行うには骨を大きく露出させる必要があるため、低侵襲手術には一定の限界がある。
【課題を解決するための手段】
【0007】
本開示の第１の態様によれば、コンピュータ支援手術において骨に対して外科ツールを追跡するシステムであって、プロセッシングユニットと、プロセッシングユニットに通信可能に結合された、コンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリとを備え、コンピュータ可読プログラム命令が、骨に対して外科ツールを追跡し、追跡において外科ツール及び骨の仮想モデルを外科ツール及び骨にマージし（ｍｅｒｇｅ）、外科ツールの作業端が骨に対して隠れた状態において、追跡を使用して骨に対する外科ツールの作業端の位置を計算し、骨に対する外科ツールの作業端の位置を出力する、ようにプロセッシングユニットによって実行可能である、システムが提供される。
【0008】
さらに、第１の態様によれば、例えばコンピュータ可読プログラム命令は、作業端と骨の境界との近接度を示すようにプロセッシングユニットによって実行可能である。
【0009】
さらに、第１の態様によれば、例えばコンピュータ可読プログラム命令は、作業端が骨の境界に存在するときに外科ツールを停止させるようにプロセッシングユニットによって実行可能である。
【0010】
さらに、第１の態様によれば、例えばコンピュータ可読プログラム命令は、骨に対する外科ツールの隠れた作業端をイメージングして表示するようにプロセッシングユニットによって実行可能である。
【0011】
さらに、第１の態様によれば、例えばコンピュータ可読プログラム命令は、骨に対する外科ツールの隠れた作業端をオペレータが装着するフェイスシールド上の複合現実内にイメージングして表示するようにプロセッシングユニットによって実行可能である。
【0012】
さらに、第１の態様によれば、例えばコンピュータ可読プログラム命令は、外科ツール及びその作業端のビデオ画像を取得し、ビデオ画像を処理して外科ツールのモデルのサイズを決定することによって外科ツールを校正するようにプロセッシングユニットによって実行可能である。
【0013】
さらに、第１の態様によれば、例えば外科ツール及びその作業端のビデオ画像を取得することは、外科ツールを動作させて作業端の動きの振幅をイメージングし、作業端の動きの振幅のサイズを決定することを含む。
【0014】
さらに、第１の態様によれば、例えば骨の仮想モデルは術前のイメージングから取得される。
【0015】
さらに、第１の態様によれば、例えば外科ツールの仮想モデルはメーカーファイルから取得される。
【0016】
さらに、第１の態様によれば、例えばコンピュータ可読プログラム命令は、ツールの位置及び向きの関数としてロボットアームを制御するようにプロセッシングユニットによって実行可能である。
【0017】
さらに、第１の態様によれば、例えばツールの位置を継続的に出力することは、ロボットアームの位置を継続的に出力することを含む。
【0018】
さらに、第１の態様によれば、例えば骨に対して外科ツールを追跡することは、オペレータの視点で画像取り込み装置から骨に対して外科ツールを追跡することを含む。
【0019】
さらに、第１の態様によれば、例えば骨に対して外科ツールを追跡することは、静止した画像取り込み装置から第２の追跡フィードを取得することを含む。
【0020】
さらに、第１の態様によれば、例えば２つの異なる画像取り込み装置からビデオ画像を取得することが、画像取り込み装置の一方からのビデオ画像を画像取り込み装置の他方よりも優先させることを含む。
【0021】
さらに、第１の態様によれば、例えば骨に対して外科ツールを追跡することは、骨に対する外科ツールのビデオ画像を取得することを含み、追跡において外科ツール及び骨の仮想モデルを外科ツール及び骨にマージすることは、ビデオ画像を処理することを含む。
【0022】
さらに、第１の態様によれば、例えば骨に対する外科ツールの作業端の位置を計算することは、処理されたビデオ画像を使用することを含む。
【0023】
さらに、第１の態様によれば、例えばビデオ画像を取得することは、ツールが骨の遠位にあるときにはビデオ画像を低頻度取り込みモードで取得し、ツールが骨の近位にあるときにはビデオ画像を高頻度取り込みモードで取得することを含む。
【0024】
さらに、第１の態様によれば、例えばビデオ画像を取得する少なくとも１つのカメラを備えたヘッドマウント型装置が提供される。
【0025】
さらに、第１の態様によれば、例えばヘッドマウント型装置は、少なくとも１つの物体の位置及び向きに関連するデータを出力するディスプレイを有し、データは複合現実で出力される。
【0026】
本開示の第２の態様によれば、コンピュータ支援手術において骨に対して外科ツールを追跡するシステムであって、プロセッシングユニットと、プロセッシングユニットに通信可能に結合された、コンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリとを備え、コンピュータ可読プログラム命令が、骨に対する外科ツールのビデオ画像をオペレータの視点から取得し、ビデオ画像を処理して、ビデオ画像内で外科ツール及び骨の仮想モデルを外科ツール及び骨にマージし、外科ツールの作業端が骨に対して隠れた状態において、処理されたビデオ画像を使用して骨に対する外科ツールの作業端の位置を計算し、骨に対する外科ツールの作業端の位置を出力する、ようにプロセッシングユニットによって実行可能である、システムが提供される。
【図面の簡単な説明】
【0027】
【図1】本開示の一態様による、ヘッドマウント型ナビゲーション付きコンピュータ支援手術（ＣＡＳ）システムのブロック図である。
【図2】本開示の別の一態様によるヘッドマウント型装置の斜視図及びブロック図である。
【発明を実施するための形態】
【0028】
図面、具体的には図１を参照すると、任意の複合追跡機能（ｃｏｍｂｉｎｅｄ ｔｒａｃｋｉｎｇ）を有するヘッドマウント型ナビゲーション付きコンピュータ支援手術（ＣＡＳ）システムを大まかに１０で示しており、ＣＡＳシステムは、オペレータによる手術を支援するために使用される。例えば、ＣＡＳシステム１０は、ディスプレイ付きヘッドマウント型装置を装着したオペレータが後述するような術前可動域分析及びインプラント評価計画を含む整形外科手術に関連する手術操作などの手術操作を患者に対して実行するのを支援するために使用することができる。図４及び図５には、仰臥位にある患者の膝関節に対するシステム１０を示しているが、これはほんの一例である。システム１０は、以下が全てではないが、股関節、脊椎及び肩の骨を含む他の身体部分、又はその他のタイプの手術に使用することができる。
【0029】
ＣＡＳシステム１０は、一態様ではロボット化され、ヘッドマウント型装置又は追跡装置２０、１又は２以上の慣性センサユニット３０、ロボットアーム４０、ＣＡＳコントローラ５０、追跡モジュール６０、拡張現実モジュール７０、ロボットドライバ８０、及び別の追跡装置９０、又はこれらのいずれかの組み合わせを有することができ、或いはこれらと共に使用することができる。
・ヘッドマウント型装置２０は、手術を行う外科医などのオペレータによって装着され、ビデオフォーマットなどの画像取り込み能力を有しているためヘッドマウント型追跡装置２０と呼ぶこともできる。ヘッドマウント型装置２０は、装着者にデータを提供するためのディスプレイ画面を有することができるが、ある実施形態ではこれが任意であってもよい。単純にするために、本開示及び図ではヘッドマウント型追跡装置２０及びヘッドマウント型装置２０という表現を同義的に使用する。ヘッドマウント型追跡装置２０は、ユーザに拡張現実／複合現実及び／又は仮想現実での表示を提供するために使用することができる。ヘッドマウント型追跡装置２０は、例えばビデオフィードとして患者の（骨などの）組織及びツールの追跡に使用される手術画像を撮影する任務を負うこともできる。ヘッドマウント型追跡装置２０は、オペレータがＣＡＳシステム１０にコマンドを伝えることができるインターフェイスとして使用することもできる。
・慣性センサユニット３０は任意に存在することができ、骨又はツールの追跡データを提供するために、患者組織上、及び／又は（単複の）ツール及び外科ツール上に配置することができる。慣性センサユニット３０は、任意にヘッドマウント型追跡装置２０上に配置することもできる。
・ロボットアーム４０は、任意にシステム１０の作業端（ｗｏｒｋｉｎｇ ｅｎｄ）として存在することができ（ＣＡＳシステム１０はロボットでないことも可能である）、オペレータ及び／又はＣＡＳコントローラ５０によって計画され、ＣＡＳコントローラ５０によって制御されるように、骨修正をガイド又は実行するために使用することができ、或いは外科医によって操作されるツールＴを支持するために使用することができる。ロボットアーム４０は、オペレータがロボットアーム４０を操作できる協働／協調モードのために構成することもできる。例えば、オペレータは、エンドエフェクタとしても知られているツール端部、及び／又はツール端部におけるツールＴをロボットアーム４０によって支持されながら操作することができる。
・ＣＡＳコントローラ５０は、１又は２以上のワークフローに従ってコンピュータ支援外科手術を実行する（単複の）プロセッサ、並びに適切なハードウェア及びソフトウェアを含む。ＣＡＳコントローラ５０は、追跡モジュール６０、拡張現実モジュール７０及び／又はロボットドライバ８０が存在する場合には、これらを含み又は動作させることができる。さらに、後述するように、ロボットアーム４０が存在する場合には、ＣＡＳコントローラ５０は、計画された外科手術を通じてロボットアーム４０を駆動することもできる。
・追跡モジュール６０は、ヘッドマウント型追跡装置２０によって取得されたデータ（例えば、ビデオフィード）、存在する場合には慣性センサユニット３０によって取得されたデータ（例えば、角度変化率）、及び存在する場合には任意に追跡装置９０によって取得されたデータを使用して、外科手術中に骨及びツールなどの様々な関連する物体の位置及び／又は向きを決定する任務を負う。ＣＡＳコントローラ５０は、これらの位置及び／又は向きを使用してロボットアーム４０を制御することができる。
・拡張現実モジュール７０（別名、複合現実モジュール）は、例えばヘッドマウント型追跡装置２０内に表示するための拡張現実出力をオペレータに対して生成するために提供される。拡張現実モジュール７０は、仮想現実出力を含む他のタイプの出力を生成することもできる。拡張現実モジュール７０は、その出力をヘッドマウントディスプレイ又はウェアラブルディスプレイ以外のディスプレイに提供することができる。例えば、拡張現実モジュール７０は、図１にインターフェイスＩ／Ｆとして示すＣＡＳシステム１０のモニタ上に表示する出力を生成することができる。
・ロボットドライバ８０は、ロボットアーム４０が存在する場合には、オペレータの要求又は手術計画に基づいてロボットアーム４０の様々な関節を作動させて制御する任務を負う。
・追跡装置９０は、任意に患者組織、器具及びロボットアーム４０を追跡するために使用することができる。例えば、追跡装置９０は、ヘッドマウント型追跡装置２０を使用して行われるイメージングと共に実行される追跡を補完することができ、従って二次追跡装置と呼ぶことができる。追跡装置９０は、後述するような任意のパターンプロジェクタを備えた深度カメラなどの、ヘッドマウント型追跡装置２０のものと同様のカメラ技術を採用して、或いは異なるイメージング技術を使用してビデオフィードを提供することができる。追跡装置９０は静止していると考えることができる。ヘッドマウント型追跡装置２０が不在であり又は一時的に手術シーンから外れている場合、或いはヘッドマウント型追跡装置２０が補完的追跡能力を提供する場合には、追跡装置９０が一次追跡装置９０であることができる。例えば、追跡装置９０は、図１及び図４に示すような追跡可能基準９０Ａと共に使用されるＮａｖｉｔｒａｃｋｅｒ（登録商標）装置であることができる。追跡可能基準９０Ａを有する追跡装置９０は、本明細書で説明する実施形態のうちのいずれかにおいて使用することができる。追跡装置９０は、ＣＡＳシステム１０の一次追跡システムであることができる。一態様では、追跡装置９０が、追跡可能基準９０Ａを三角測量によって追跡するＮａｖｉｔｒａｃｋｅｒ（登録商標）であることができる。一態様では、追跡可能基準９０Ａが、受動的に光を反射する図示のような球又はトークンなどの再帰反射素子（ｒｅｔｒｏｒｅｆｌｅｃｔｉｖｅ ｅｌｅｍｅｎｔｓ）を有する。再帰反射素子は、空間内で位置及び向きに関して追跡可能であるように、図示のような正三角形などの特定の認識可能パターンであることができる。通常、追跡可能基準９０ａは、骨又はツールなどの物体に固定される（図１及び図４）。追跡可能基準９０Ａは、侵襲性の観点からねじ又はピンなどの締結具を使用して骨に固定することができる。通常、追跡可能基準９０Ａはステムを有するので、再帰反射素子は、追跡可能基準９０Ａが処置の侵襲性の制限に寄与できるように骨から間隔を空ける。追跡装置９０は超音波を使用することもできる。
・ヘッドマウント型装置２０は、手術を行う外科医などのオペレータによって装着され、ビデオフォーマットなどの画像取り込み能力を有しているためヘッドマウント型追跡装置２０と呼ぶこともできる。ヘッドマウント型装置２０は、装着者にデータを提供するためのディスプレイ画面を有することができるが、ある実施形態ではこれが任意であってもよい。単純にするために、本開示及び図ではヘッドマウント型追跡装置２０及びヘッドマウント型装置２０という表現を同義的に使用する。ヘッドマウント型追跡装置２０は、ユーザに拡張現実／複合現実及び／又は仮想現実での表示を提供するために使用することができる。ヘッドマウント型追跡装置２０は、例えばビデオフィードとして患者の（骨などの）組織及びツールの追跡に使用される手術画像を撮影する任務を負うこともできる。ヘッドマウント型追跡装置２０は、オペレータがＣＡＳシステム１０にコマンドを伝えることができるインターフェイスとして使用することもできる。
・慣性センサユニット３０は任意に存在することができ、骨又はツールの追跡データを提供するために、患者組織上、及び／又は（単複の）ツール及び外科ツール上に配置することができる。慣性センサユニット３０は、任意にヘッドマウント型追跡装置２０上に配置することもできる。
・ロボットアーム４０は、任意にシステム１０の作業端（ｗｏｒｋｉｎｇ ｅｎｄ）として存在することができ（ＣＡＳシステム１０はロボットでないことも可能である）、オペレータ及び／又はＣＡＳコントローラ５０によって計画され、ＣＡＳコントローラ５０によって制御されるように、骨修正をガイド又は実行するために使用することができ、或いは外科医によって操作されるツールＴを支持するために使用することができる。ロボットアーム４０は、オペレータがロボットアーム４０を操作できる協働／協調モードのために構成することもできる。例えば、オペレータは、エンドエフェクタとしても知られているツール端部、及び／又はツール端部におけるツールＴをロボットアーム４０によって支持されながら操作することができる。
・ＣＡＳコントローラ５０は、１又は２以上のワークフローに従ってコンピュータ支援外科手術を実行する（単複の）プロセッサ、並びに適切なハードウェア及びソフトウェアを含む。ＣＡＳコントローラ５０は、追跡モジュール６０、拡張現実モジュール７０及び／又はロボットドライバ８０が存在する場合には、これらを含み又は動作させることができる。さらに、後述するように、ロボットアーム４０が存在する場合には、ＣＡＳコントローラ５０は、計画された外科手術を通じてロボットアーム４０を駆動することもできる。
・追跡モジュール６０は、ヘッドマウント型追跡装置２０によって取得されたデータ（例えば、ビデオフィード）、存在する場合には慣性センサユニット３０によって取得されたデータ（例えば、角度変化率）、及び存在する場合には任意に追跡装置９０によって取得されたデータを使用して、外科手術中に骨及びツールなどの様々な関連する物体の位置及び／又は向きを決定する任務を負う。ＣＡＳコントローラ５０は、これらの位置及び／又は向きを使用してロボットアーム４０を制御することができる。
・拡張現実モジュール７０（別名、複合現実モジュール）は、例えばヘッドマウント型追跡装置２０内に表示するための拡張現実出力をオペレータに対して生成するために提供される。拡張現実モジュール７０は、仮想現実出力を含む他のタイプの出力を生成することもできる。拡張現実モジュール７０は、その出力をヘッドマウントディスプレイ又はウェアラブルディスプレイ以外のディスプレイに提供することができる。例えば、拡張現実モジュール７０は、図１にインターフェイスＩ／Ｆとして示すＣＡＳシステム１０のモニタ上に表示する出力を生成することができる。
・ロボットドライバ８０は、ロボットアーム４０が存在する場合には、オペレータの要求又は手術計画に基づいてロボットアーム４０の様々な関節を作動させて制御する任務を負う。
・追跡装置９０は、任意に患者組織、器具及びロボットアーム４０を追跡するために使用することができる。例えば、追跡装置９０は、ヘッドマウント型追跡装置２０を使用して行われるイメージングと共に実行される追跡を補完することができ、従って二次追跡装置と呼ぶことができる。追跡装置９０は、後述するような任意のパターンプロジェクタを備えた深度カメラなどの、ヘッドマウント型追跡装置２０のものと同様のカメラ技術を採用して、或いは異なるイメージング技術を使用してビデオフィードを提供することができる。追跡装置９０は静止していると考えることができる。ヘッドマウント型追跡装置２０が不在であり又は一時的に手術シーンから外れている場合、或いはヘッドマウント型追跡装置２０が補完的追跡能力を提供する場合には、追跡装置９０が一次追跡装置９０であることができる。例えば、追跡装置９０は、図１及び図４に示すような追跡可能基準９０Ａと共に使用されるＮａｖｉｔｒａｃｋｅｒ（登録商標）装置であることができる。追跡可能基準９０Ａを有する追跡装置９０は、本明細書で説明する実施形態のうちのいずれかにおいて使用することができる。追跡装置９０は、ＣＡＳシステム１０の一次追跡システムであることができる。一態様では、追跡装置９０が、追跡可能基準９０Ａを三角測量によって追跡するＮａｖｉｔｒａｃｋｅｒ（登録商標）であることができる。一態様では、追跡可能基準９０Ａが、受動的に光を反射する図示のような球又はトークンなどの再帰反射素子（ｒｅｔｒｏｒｅｆｌｅｃｔｉｖｅ ｅｌｅｍｅｎｔｓ）を有する。再帰反射素子は、空間内で位置及び向きに関して追跡可能であるように、図示のような正三角形などの特定の認識可能パターンであることができる。通常、追跡可能基準９０ａは、骨又はツールなどの物体に固定される（図１及び図４）。追跡可能基準９０Ａは、侵襲性の観点からねじ又はピンなどの締結具を使用して骨に固定することができる。通常、追跡可能基準９０Ａはステムを有するので、再帰反射素子は、追跡可能基準９０Ａが処置の侵襲性の制限に寄与できるように骨から間隔を空ける。追跡装置９０は超音波を使用することもできる。
【0030】
外科器具及びツールＴ、並びにディスプレイ、画面、コンピュータステーション及びサーバなどのインターフェイスＩ／Ｆなどの他のコンポーネント、装置、システムが存在することもできる。
【0031】
図２に、ヘッドマウント型追跡装置２０の概略例を示す。ヘッドマウント型追跡装置２０は、米国特許第１０，６８７，５６８号に記載されているようなものであることも、或いは他の構成を有することもでき、上記文献はその内容が引用により本明細書に組み入れられる。米国特許第１０，６８７，５６８号に手術用ヘルメットアセンブリとして記載されているヘッドマウント型追跡装置２０は、その構成によって拡張現実環境での使用に適する。ヘッドマウント型追跡装置２０は、オペレータの頭部を取り巻くように成形されたヘッドエンクロージャ２１を有することができる。ヘッドエンクロージャ２１は、ストラップ、リム、ヘルメットなどであることができる。ヘッドエンクロージャ２１の額又は眉領域にはフェイスシールド２２を取り付けることができる。フェイスシールド２２は、ユーザによるシースルービジョンを可能にするように透明であることができるが、任意に拡張現実（ＡＲ）のための画面として機能することもできる。ヘッドマウント型追跡装置２０の他のコンポーネントとしては、スタビライザ、ヘッドバンド、ファン及び通気孔を備えた換気システム、光源、再充電可能電源（例えば、バッテリ）などを挙げることができる。
【0032】
結果として、ヘッドマウント型追跡装置２０は、プロセッサ２０ａと、複合現実セッションを生成するためのコンポーネントとを含むことができる。例えば、ヘッドマウント型追跡装置２０は、後述する方法でフェイスシールド２２上にデータを投影できる統合プロジェクタ２３を有することができる。或いは、フェイスシールド２２は、画像表示能力を有する画面であることができる。一例として、ヘッドマウント型追跡装置２０はＨｏｌｏＬｅｎｓ（登録商標）であることができる。ある実施形態では、フェイスシールド２２が、Ｏｃｕｌｕｓ Ｒｉｆｔ（登録商標）、ヘッドサポート付きスマートフォンなどの、カメラ映像を使用して複合現実出力を形成する（単複の）カメラを内部に有する、仮想現実において使用できるタイプのディスプレイ様ユニットである。ヘッドマウント型追跡装置２０は、ヘッドマウント型追跡装置２０の向きを把握して追跡する（例えば、３０として示す）（単複の）慣性センサユニットなどの１又は２以上の方位センサを含むことができる。
【0033】
ある実施形態によれば、ヘッドマウント型追跡装置２０は、オペレータの視点（ＰＯＶ）から患者組織Ｂ、器具Ｔ及び／又はロボットアーム４０の光学追跡を実行する能力を備える。従って、ヘッドマウント型追跡装置２０は、シーンのビデオ画像、すなわち動いている視覚映像、一定期間にわたる一連の画像を取り込む１又は２以上のイメージングデバイス又は装置を有することができる。一態様では、ビデオ画像が、物体の追跡に使用される光後方散乱（別名、後方散乱放射線）である。本開示では、ヘッドマウント型追跡装置２０を使用して、手術計画に基づいてオペレータを案内するナビゲーションデータを複合現実内で提供するようにツール及び骨を追跡することができる。後方散乱放射線は、骨及びツールの３Ｄ表面形状の取得のために使用することもできる。
【0034】
ヘッドマウント型追跡装置２０は、構造化光３Ｄイメージングで物体を追跡するための構造化光照明を生成することができる。構造化光照明では、物体の一部がパターンプロジェクタ２４又は同様の光源からの１又は２以上のパターンで照明される。構造化光３Ｄイメージングは、パターンプロジェクタ２４から３Ｄ形状面上に光の線を投影すると、パターンプロジェクタ２４の視点以外の視点から見たときに歪んで見える照明の線が生成されるという事実に基づく。従って、このような歪んだ照明線をイメージングすることで、３Ｄ形状面の幾何学的再構成が可能になる。一般に、歪んだ照明線のイメージングは、このような三角測量視点などの異なる視点をもたらすようにパターンプロジェクタ２４から間隔を空けた（例えば、（単複の）レンズ、アパーチャ、ＣＣＤなどのイメージセンサ、画像処理プロセッサなどの適切なコンポーネントを含む）１又は２以上のカメラ２５を使用して実行される。いくつかの実施形態では、パターンプロジェクタ２４が、広いエリア上で複数のサンプルを同時取得できるとの理由で、多くの線を含む構造化光グリッドパターンを一度に投影するように構成される。これらの実施形態では、平行線のパターンを使用することが好都合であると考えられる。しかしながら、他のいくつかの実施形態では構造化光投影の他の変形例を使用することもできる。
【0035】
構造化光グリッドパターンは、パターンプロジェクタ２４を使用して、追跡すべき（単複の）表面上に投影することができる。いくつかの実施形態では、デジタルビデオプロジェクタなどを使用してインコヒーレント光投影によって構造化光グリッドパターンを生成することができ、通常、これらのパターンは、デジタル光変調器を通じて光を伝播させることによって生成される。デジタル光投影技術の例としては、透過型液晶、反射型液晶オンシリコン（ｒｅｆｌｅｃｔｉｖｅ ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ：ＬＣＯＳ）、及びデジタル光処理（ＤＬＰ）変調器が挙げられる。これらの実施形態では、構造化光グリッドパターンの解像度をデジタルプロジェクタの発光画素のサイズによって制限することができる。さらに、このようなデジタルディスプレイプロジェクタによって生成されるパターンは、プロジェクタ内の画素境界に起因するわずかな不連続性を有することがある。しかしながら、一般にこれらの不連続性は、わずかな焦点ぼけの存在時には取るに足らないほど十分に小さなものである。他のいくつかの実施形態では、構造化光グリッドパターンをレーザー干渉によって生成することができる。例えば、このような実施形態では、２又は３以上のレーザービームを互いに干渉させて構造化光グリッドパターンを生成することができ、レーザービーム間の相対的角度を変化させることによって異なるパターンサイズを取得することができる。
【0036】
パターンプロジェクタ２４は、電磁スペクトルの可視領域の内部又は外部の光を放出することができる。例えば、いくつかの実施形態では、放出される光が、医療関係者の目で知覚できないように電磁スペクトルの紫外領域及び／又は赤外領域に存在することができる。しかしながら、これらの実施形態では、このような目に見えない放射線から目を保護するために医療関係者が保護メガネを着用する必要がある場合もあり、フェイスシールド２２も同様に保護能力を有することができる。ヘッドマウント型追跡装置２０は、構造化光の代わりに、数ある中でもいくつかの例として、レーザーレンジファインダ技術又は三角測量と共に動作することもできる。
【0037】
結果として、ヘッドマウント型追跡装置２０は、物体の照明部分の後方散乱画像を取得するカメラ２５を含むことができる。従って、カメラ２５は、物体の部分に投影されたパターンを取り込む。カメラ２５は、光プロジェクタ２４によって生成されたパターンの領域に対応する電磁スペクトルの領域の放射を検出するように適合される。後述するように、追跡モジュール６０は、既知の光パターン特性及びパターン光プロジェクタ２４のカメラ２５に対する既知の向きを使用し、カメラ２５によって取り込まれた後方散乱画像を使用して照明部分の３Ｄ形状を生成する。パターンプロジェクタ２４から間隔を空けた単一のカメラを使用することもできるが、複数のカメラ２５を使用することで、視野を拡大するとともに三角測量を介して表面カバレッジ又は精度を高めることができる。ヘッドマウント型追跡装置２０については、一対のカメラ２５を使用するものとして示す。
【0038】
ヘッドマウント型追跡装置２０は、電磁スペクトルの所定の領域又はスペクトル帯をフィルタ除去するために、カメラ２５の一方又は両方に一体化された１又は２以上のフィルタを有することもできる。フィルタは、任意のカメラ２５の前方に取り外し可能に又は固定して取り付けることができる。例えば、フィルタは、カメラ２５の光路の内外に手動で又は自動的に摺動可能に移動することができる。他のいくつかの実施形態では、異なるスペクトル範囲を有するスペクトル的に分解された画像を異なる瞬間に取得することによって時間依存的スペクトル多重化（ｔｉｍｅ ｄｅｐｅｎｄｅｎｔ ｓｐｅｃｔｒａｌ ｍｕｌｔｉｐｌｅｘｉｎｇ）をもたらすために、所与のカメラの前方に複数のフィルタを周期的に配置することができる。このような実施形態は、例えばフィルタホイール内に複数のフィルタを配置し、フィルタホイール内の各フィルタをカメラ２５のうちの所与の一方カメラの光路内に順番に移動させるように制御可能に回転させることによって達成することができる。
【0039】
いくつかの実施形態では、フィルタが、ヘッドマウント型追跡装置２０によって同時に又は二次追跡装置９０によって別々に取り込まれた視野内の物体のいくつかの所定のスペクトル特徴のみを透過させて、位置合わせの精度及び速度を高めるために抽出できるさらなる特徴として機能させることができる。
【0040】
具体的には、フィルタを使用して異なる材料間の最大コントラストをもたらすことにより、イメージングプロセスを、さらに具体的には軟組織識別プロセスを改善することができる。例えば、いくつかの実施形態では、典型的な軟組織要素、関心のある外科的構造及び（単複の）外科ツール間の高コントラストの後方散乱放射線を取得できるように、フィルタを使用して、軟組織要素、外科的構造及び外科ツールからの後方散乱放射線に共通する帯域をフィルタ除去することができる。これに加えて又は代えて、白色光照明を使用する場合、フィルタは、関心のあるいくつかのスペクトル帯のみを通過させるように構成されたバンドパスフィルタを含むこともできる。例えば、フィルタは、骨、軟組織に起因する後方散乱又は反射に関連するスペクトル帯を通過させる一方で、手術視野内のツール及び手袋などの特定の色のアイテムに関連するスペクトル帯をフィルタ除去するように構成することができる。スペクトル的に狭いエミッタを採用すること、ブロードバンドエミッタをスペクトル的にフィルタ処理すること、及び／又はブロードバンド画像検出器（例えば、カメラ２５）をスペクトル的にフィルタ処理することを含む、スペクトル選択的な検出を行う他の方法を使用することもできる。また、以下で詳述するような二次追跡オプションのために、ヘッドマウント型追跡装置２０に別の光源を設けることもできる。周囲軟組織に対するコントラストを高めるために、骨及びツールなどの追跡すべき部分に特徴的なコーティングを施すことも検討される。
【0041】
別の実施形態によれば、ヘッドマウント型取り込み装置２０は、距離イメージング（ｒａｎｇｅ ｉｍａｇｉｎｇ）を実行し、従って追跡中に取り込まれた画像から位置データを決定するために、やはり２５として示す（単複の）３Ｄカメラを含むことができる。図２には、深度知覚を強化するために、このようなカメラ２５のうちの２つを示す。３Ｄカメラという表現は、取り込んだ画像又は同様の映像内の物体の距離データを提供するカメラの能力を表すために使用するものであるが、３Ｄカメラは、取り込んだ物体の３Ｄレンダリングを生成することも又はしないこともできる。構造化光３Ｄイメージングとは対照的に、距離追跡は、距離計算において特定の照明パターンを探し求めるのではなく、代わりに画像自体と、画像内の物体の地点の距離を決定する３Ｄカメラの能力とに依拠する。換言すれば、測距用の３Ｄカメラは非構造光測距を実行し、本明細書で使用する「測距」という表現は、このような非構造光測距を指定する。このような距離追跡では、好適な追跡の精度及び正確さを達成するように３Ｄカメラを校正する必要がある。ヘッドマウント型追跡装置２０は、校正のために、追跡の開始時にその場で行われる校正において既知の視覚パターンを使用することができ、任意に追跡全体を通じて時間通りに又は継続的に更新される。校正は、起こり得るレンズ歪み（例えば、半径方向歪み、回転歪み）に起因するカメラ取得パラメータを更新するために、従って画像歪みを矯正して距離精度を保証するために必要である。さらに、本明細書で説明するように、遠近法変形（ｐｅｒｓｐｅｃｔｉｖｅ ｄｅｆｏｒｍａｔｉｏｎ）を介してヘッドマウント型追跡装置２０のカメラ２５の視点（ＰＯＶ）を決定するために使用される認識可能なパターン（例えば、ＱＲコード（登録商標））の追跡トークン（ｔｒａｃｋｉｎｇ ｔｏｋｅｎｓ）を使用することもできる。
【0042】
一態様では、ヘッドマウント型追跡装置２０が、例えば（上述したいずれかのタイプの）カメラ２５、任意にパターンプロジェクタ２４を通じたイメージング能力のみを有し、フェイスシールド２２などの他のコンポーネントを有さない。
【0043】
図１を参照すると、骨に固定された任意の慣性センサユニット３０を示しているが、これに加えて又は代えて、慣性センサユニット３０は器具上に存在することもできる。慣性センサユニット３０は、ソースレスセンサ（ｓｏｕｒｃｅｌｅｓｓ ｓｅｎｓｏｒ）、微小電気機械センサユニット（ＭＥＭＳユニット）として知られていることもあり、少なくとも３度の回転内で追跡データを生成する（すなわち、３軸のセットの周囲の向きが追跡される）いずれかの好適な慣性センサのセット（例えば、加速度計、ジャイロスコープ）を有する。センサユニット３０は、骨、器具Ｔ、及びロボットアーム４０が存在する場合にはロボットアーム４０に正確にかつ予め決定された形で接続可能なポッド３１内に自己封入（ｓｅｌｆ－ｅｎｃｌｏｓｅｄ）することができる。例えば、ブラケットを使用して慣性センサユニット３０を骨に固定係止することもできる。ブラケットは、例えば引用により本明細書に組み入れられる米国特許出願公開第２０１９／００５３８１３号に記載されるような内外反調整能力（ｖａｒｕｓ－ｖａｌｇｕｓ ａｄｊｕｓｔｍｅｎｔ ｃａｐａｂｉｌｉｔｙ）を有するダイヤルの形の切断ガイドなどの追加特徴を統合することができ、調整データは慣性センサユニット３０によってナビゲートされ、すなわち追跡される。慣性センサユニット３０は、プロセッサと、プロセッサに通信可能に結合された、プロセッサが実行可能なコンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリとを含むことができる。さらに、慣性センサユニット３０は、動作のために予め校正することができ、独自の動力（ｐｏｗｅｒｉｎｇ）を有することも又は電源に接続することもでき、ディスプレイ（例えば、ＬＥＤインジケータ）などの形態のインターフェイスを有することができるという点で、自己完結型であることができる。
【0044】
図１及び図４を参照すると、ロボットアーム４０が存在する場合には、ロボットアーム４０が、例えば患者を支持する手術室（ＯＲ）テーブルに対して取り付けられているか、それとも分離しているかにかかわらず、テーブルに対して固定された状態でベースから立ち上がることができる。ロボットアーム４０は、患者と相互作用するツールＴを支持するように、いずれかの適切な形態の複数の関節及びリンクを有する。実際には、エンドエフェクタ又はツールヘッドが、オペレータがロボットアーム４０の先端におけるツールＴを操作する協働／協調制御モードのための力／トルクセンサを任意に組み込むことができる。図示のロボットアーム４０は、ツールヘッドが所望の自由度（ＤＯＦ）数で変位可能であるように配置された直列機構である。例えば、ロボットアーム４０は、ツールヘッドの６ＤＯＦの動き、すなわち座標系内のＸ、Ｙ、Ｚ、並びにピッチ、ロール及びヨーを制御する。これより少ない又はさらなるＤＯＦが存在することもできる。単純にするために、関節及びリンクの一般的な図しか示していないが、上述した形でツールヘッドを動かすためにさらに多くの異なるタイプの関節が存在することもできる。関節には、ロボットアーム４０がＣＡＳコントローラ５０によって制御される通りに６ＤＯＦで動くように、また例えば様々な関節上のエンコーダからの読み取り値によって座標系内のツールヘッドの位置及び向きを把握できるように電力が供給される。従って、関節の動力は、ロボットアーム４０のツールヘッドが、数ある可能性の中でもとりわけ、１つの並進ＤＯＦで単一方向に沿って移動すること、又は平面に沿った移動に制約されることなどの正確な動きを実行できるようなものである。このようなロボットアーム４０は、例えば引用により本明細書に組み入れられる米国特許出願番号第１１／６１０，７２８号に記載されているように公知である。ヘッドマウント型追跡装置２０及び／又は二次追跡装置９０は、ロボットアーム４０のエンドエフェクタの追跡のために使用することができ、或いは慣性センサシステムなどの他のシステム、例えば慣性センサユニット３０がロボットアーム４０上に存在することもできる。
【0045】
引き続き図１を参照して分かるように、ＣＡＳコントローラ５０については、ロボット化ＣＡＳシステム１０の他のコンポーネントに比べて詳細に示している。ＣＡＳコントローラ５０は、プロセッサユニット５１（１又は２以上のプロセッサ）と、プロセッシングユニット５１に通信可能に結合された非一時的コンピュータ可読メモリ５２とを有し、ヘッドマウント型追跡装置２０及び／又は追跡装置９０からのカメラフィード、及び（単複の）慣性センサユニット３０からの読み取り値を使用して患者組織及びツールの追跡などのいくつかの機能を実行するための、プロセッシングユニット５１が実行可能なコンピュータ可読プログラム命令を実行するように構成される。ＣＡＳコントローラ５０は、ロボットアーム４０の動きを制御することもできる。ＣＡＳシステム１０は、オペレータに情報が提供されるように様々なタイプのインターフェイスＩ／Ｆを含むことができる。また、ヘッドマウント型追跡装置２０に加えて、インターフェイスＩ／Ｆも、数ある多くの可能性の中でもとりわけ、無線ポータブル装置（例えば、電話機、タブレット）、音声ガイダンス、ＬＥＤディスプレイを含むモニタ及び／又はディスプレイ画面を含むことができる。例えば、インターフェイスＤは、システム１０によって動作するグラフィックユーザインターフェイス（ＧＵＩ）を含む。ＣＡＳコントローラ５０は、ヘッドマウント型追跡装置２０及び／又は追跡装置９０のカメラ２５によって取り込まれた画像を、例えばシステム１０の協働／協調制御モードで使用されるように、或いはシステム１０のオペレータによる視覚的監視のために、例えば拡張現実を使用して表示することもできる。ロボットアーム４０が存在する場合、ＣＡＳコントローラ５０は、術前に行われた手術計画に基づいて、外科手術を実行する際にロボットアーム４０を駆動することができる。ＣＡＳコントローラ５０は、ＣＡＳシステム１０を本明細書で説明するように動作させるために、アルゴリズム、コード、非一時的実行可能命令などの形態の様々なモジュールを実行することができる。ＣＡＳコントローラ５０は、ラップトップ及びデスクトップを含む１又は複数のパーソナルコンピュータ、タブレット、サーバ、クラウドなどのいずれかの好適な（単複の）プロセッサユニットの一部であることができる。
【0046】
追跡モジュール６０は、ＣＡＳコントローラ５０の副部品（ｓｕｂｐａｒｔ）、或いは独立モジュール又はシステムであることができる。追跡モジュール６０は、ヘッドマウント型追跡装置２０及び（存在する場合には）追跡装置９０から、例えば物体の後方散乱画像として手術シーンのビデオフィードを受け取る。追跡モジュール６０は、同時に（単複の）慣性センサユニット３０から追跡データ（例えば、方位データ）を受け取ることもできる。ある実施形態では、システム１０がリアルタイム追跡を実行する際にビデオ画像及び方位データが同時に取得され処理されるので、これらは同期する。他の処理を実行してビデオ映像と方位データとの同期を確実にすることもできる。
【0047】
追跡モジュール６０は、ビデオ画像を処理して骨、器具などの１又は２以上の物体を追跡する。追跡モジュール６０は、物体の相対的位置を決定し、ビデオ画像内の物体をセグメント化することができる。一態様では、追跡モジュール６０がビデオ画像を処理して、ランドマークと呼ぶことができる物体の所与の部分を追跡することができる。ランドマークは、物体の異なる部分、ポッド３１などの物体上の物体、認識可能なパターンを有する追跡トークン３１Ａなどであることができる。
【0048】
追跡モジュール６０に、追跡すべき物体のモデルを与えることもできる。例えば、追跡モジュール６０は骨及びツールを追跡することができ、従って仮想骨モデル及びツールモデルを使用する。骨モデルは、術前イメージング（例えば、ＭＲＩ、ＣＴスキャン）から、例えば３Ｄで、或いは２Ｄ Ｘ線から３Ｄ骨モデルへの技術を含む複数の２Ｄビューで取得することができる。仮想骨モデルは、例えば軟組織の除去、又は露出され追跡される表面の精緻化のための、術前に行われる何らかの画像処理を含むこともできる。仮想骨モデルは、膝手術における膝関節などの、手術中に追跡される骨の部分が高解像度であることができる。骨モデルは、様々な軸（例えば、長手方向軸、力学的軸（ｍｅｃｈａｎｉｃａｌ ａｘｉｓ）など）のようなさらなる方位データを有することもできる。従って、骨モデルは患者固有のものであることができる。骨モデルを骨モデルライブラリから取得し、ビデオ画像から取得されたデータを使用して、生成された骨の３Ｄ表面を骨アトラス（ｂｏｎｅ ａｔｌａｓ）の骨と一致させることも検討される。仮想ツールモデルはツールメーカーが提供することも、或いは（単複の）ツールの仮想３Ｄ表現であるようにいずれかの適切な方法で生成することもできる。一態様では、骨モデルが骨全体を含まずに、例えば切除中の骨の一部などの骨の一部の骨表面のみを含むこともできる。このような部分的骨モデルは、本明細書では骨モデル、３Ｄ骨モデル、仮想骨モデルと呼ばれ、１又は２以上の軸などの追加データを含むことができる。例えば、膝手術における大腿骨の場合には、骨モデルが大腿骨遠位部のみを含むことができる。骨モデルは、イメージングを介して術前に、又は校正手順（例えば、骨盤に対する大腿骨の追跡された動き）を通じて術中に取得できる、大腿骨の力学的軸（ｍｅｃｈａｎｉｃａｌ ａｘｉｓ）を含むこともできる。骨のモデルが部分的なものである一態様では、完全なモデルのために、骨アトラスを使用して同等の、すなわち対応する特徴を有する骨モデルを発見し、この同等の骨モデルを患者の部分的骨モデルにマージすることができる。上述した骨モデルの態様は、全て本明細書で説明する他のいずれかの骨にも適用される。
【0049】
ある一態様では、追跡モジュール６０が、ビデオ画像を使用して３Ｄモデルを生成することができる。例えば、追跡モジュール６０は、３６０度から見たツールのビデオ画像を有することができる場合、後続の追跡に使用できる３Ｄモデルを生成することができる。この術中モデルは、ツールの既存の又は術前のモデルと一致することも又はしないこともできる。
【0050】
ツールの向き（例えば、軸データ及び形状）などの追加データを利用することもできる。追跡モジュール６０は、骨及びツールモデルにアクセスすることによって画像処理内の物体を認識することができ、及び／又は骨又はツールに関連する軸などの追加情報を取得することができる。追跡モジュール６０は、ビデオ画像からの物体を仮想モデルと一致させることができるので、モデルの存在によって追跡モジュール６０による画像処理を支援することができる。
【0051】
例えば、図３Ａ及び図３Ｂに２つの異なるツールＴを示す。図３Ａでは、ツールＴが、ツール本体Ｔ２の作業端にブレードＴ１を有する振動鋸（ｏｓｃｉｌｌａｔｉｎｇ ｓａｗ）である。ツール本体Ｔ２は、作動トリガーを備えた拳銃の形状を有するタイプのものである。例えば、振動鋸は、Ｚｉｍｍｅｒ Ｂｉｏｍｅｔ社製のＸ Ｓｅｒｉｅｓ Ｐｏｗｅｒ Ｓｙｓｔｅｍ（商標）アンサンブルの一部であることができる。ブレードＴ１は、その自由端に刃先を有し、作業範囲（ｗｏｒｋｉｎｇ ｅｎｖｅｌｏｐｅ）ＷＥをカバーするように往復運動を実行する。作業範囲ＷＥの弓状経路は、ブレードＴ１が骨を切除するために移動する経路である。図３Ｂでは、ツールＴが、ツール本体Ｔ１１の作業端にドリルビットＴ１０を有するドリルである。ツール本体Ｔ１１も、作動トリガーを備えた拳銃の形状を有するタイプのものである。ドリルビットＴ１０は、作業範囲ＷＥを有する。図３Ａ及び図３Ｂは、骨に対して修正を実行ために使用されるツールの例を表すものであり、他の複数のツールを使用してＣＡＳシステム１０で追跡することもできる。ツールＴの作業範囲ＷＥは、骨に対する修正を表すという点で関連情報である。従って、作業範囲ＷＥは追跡モジュール６０によって追跡することができる。一態様では、作業範囲ＷＥをモデル化するように校正を実行することができる。例えば、図３Ａの振動鋸Ｔをイメージング中に作動させ、ブレードＴ１の動きの振幅から画像処理によって作業範囲ＷＥを生成することができる。作業範囲ＷＥは、例えばメーカーから仮想モデルとして入手することもできる。いずれにせよ、作業範囲ＷＥは本体Ｔ２に関連することができ（図３ＢのドリルＴにも同じ原理が当てはまり）、本体Ｔ２は固定形状を有し、手術中にヘッドマウント型追跡装置２０を装着したオペレータのＰＯＶから見える。
【0052】
図３Ａ及び図３ＢのツールＴは、いずれもＴ３として示す電源パックを有することができる。電源パックＴ３は、ツールＴの無線動作のためのバッテリを含むことができる。或いは、電源パックＴ３は、ワイヤを介して電力源に接続することも、或いは管体又は配管によって油圧又は空気圧ネットワークなどの別の動力源に接続することもできる。電源パックＴ３は、ＣＡＳシステム１０のＣＡＳコントローラ５０（又はヘッドマウント型追跡装置２０のプロセッサ２０Ａ）に通信可能に結合されてそこから任意にコマンドを受け取る、ツールＴを遮断できるコントローラユニットを含むことができる。従って、電源パックＴ３（又はツールＴの他のいずれかの部分）は無線通信能力を有することができる。従って、追跡モジュール６０などのＣＡＳシステム１０のモジュールのうちの１つが停止条件を識別した場合、ＣＡＳコントローラ５０はツールの動作を停止することができる。この停止条件は、ツールＴの作業端ＷＥと軟組織との近さ、作業端ＷＥがぶつかってはならない軟組織周囲の閾値ゾーン、骨の表面の隠れた境界を含むことができる。
【0053】
一態様では、ランドマークとして使用される物体が、ヘッドマウント型追跡装置２０から見える骨及びツールの一部である。換言すれば、切除される骨及び切除を実行するツールなどの手術部位をオペレータが直接近くで見ることができるので、追跡モジュール６０は、ヘッドマウント型追跡装置２０のＰＯＶからの映像を使用してツールＴを骨Ｂに対してナビゲートする。追跡モジュール６０は、（単複の）カメラ２５のＰＯＶの変動にもかかわらず、ランドマークの既知の寸法を使用して参照系内で物体を追跡する。例えば、ツールＴの本体は、ツールＴの本体のモデル（例えば、図３ＡのＴ２、図３ＢのＴ１１）を通じて、上述したような追跡の基礎として使用することができる。たとえツールＴ又は骨Ｂの一部が隠れている場合、或いは見通し線内に存在しない（例えば、ブレードＴ１が切断部内に存在する）場合でも、ツールＴ及び骨Ｂのモデルを使用することで、図４及び図５のＧＵＩ上などにツールＴ及び骨Ｂの隠れた部分の画像を提供することができる。
【0054】
任意に、（単複の）ツール又は骨上に特定の検出可能なランドマークを提供して、検出可能なランドマークが追跡モジュール６０によって確実に正しくイメージングされ検出されるようにすることも検討される。実際に、いくつかの物体の見え方が制限される事例では、図４の９０などの追跡可能基準を使用することができ、この追跡可能基準は、図５及び図６のロボット上のこのような追跡可能基準を含む。別の例として、骨又はツールなどの物体上に、ラベルのようなＱＲコードなどの所与のパターンを有するトークンを提供することもできる。ある実施形態では、トークンが、予めプログラムできる画像、或いは追跡モジュール６０が認識している又はアクセス可能である寸法の画像を有する。従って、追跡モジュール６０は、ビデオ画像内でこのようなトークンを見ることにより、空間座標系内で物体の位置を特定することができる。この場合も、ビデオ画像のＰＯＶは移動することがあり、物体が追跡のための参照として機能する。参照系は（存在する場合には）ロボットアーム４０のものであることができ、カメラ追跡は参照系に位置情報を提供する。
【0055】
追跡モジュール６０は、骨モデル及びツールモデルへの認識可能なパターン及び／又は３Ｄジオメトリをビデオ画像と一致させる際に異なる戦略を使用してその計算を抑えることができる。（単複の）骨モデルＢは、手術中に修正される骨の部分についてはより高い解像度を有することができる。骨の残り部分は、軸配向、回転中心、中点などのランドマークに関する情報に制限することができる。ツールモデルＣについても同様のアプローチを採用することができ、骨と接触するツールの部分に焦点が合わせられて解像度も高くなる。
【0056】
さらに、（単複の）カメラ２５が物体との見通し線を遮る可能性があることを考慮して、追跡装置９０からのビデオフィードが（単複の）カメラ２５からのビデオフィードを補完し、及び／又は（単複の）カメラ２５からのビデオフィードに取って代わることができる。別の実施形態では、追跡装置９０が、ヘッドマウント型追跡装置２０について上述した技術のうちのいずれかを使用する一次追跡カメラである。従って、追跡モジュール６０は、（単複の）カメラ２５及び／又は追跡装置９０からのビデオフィードを使用して、座標系内の患者の骨及びツールの位置及び／又は向きを継続的に更新して物体の位置及び向きを追跡する。
【0057】
構造化光投影を伴う実施形態では、追跡モジュール６０が、プロジェクタ２４からの構造化光投影の結果として（単複の）カメラ２５又は追跡装置９０から後方散乱画像を受け取る。別の実施形態では、追跡モジュール６０が、深度カメラ構成にあるカメラ２５からビデオ画像を受け取り、取得された画像から行われる測距のために（単複の）カメラ２５又は追跡装置９０を校正する対策を講じることを確実にすることができる。初期校正は、トークンなどにおける校正パターンを使用して行うことができる。校正パターンは、イメージングされるように（単複の）カメラ２５又は追跡装置９０の見通し線内に配置される。校正パターンは、いずれかの適切な形状及び構成であるが、高コントラストの平面的な認識可能パターン、又は骨の所与のランドマーク、或いはツールの形状であることができる。校正には、追跡モジュール６０内にプログラムできる又は追跡モジュール６０がアクセスできる形状を有するツールＴの本体を含む他のアイテムを使用することもできる。追跡モジュール６０は、校正パターンの正確な幾何学的データを含む校正パターンの仮想バージョンを記憶する。従って、追跡モジュール６０は、イメージングされた校正パターンと仮想校正パターンとの間の対応付けを実行する。この対応付けは、平面的なイメージングされた校正パターン上のランドマークと仮想校正パターンとの間のマッピング関数の計算を伴うことができる。この対応付けは、追跡モジュール６０がカメラの画像を補正するための整流値を決定するまで互いに対して校正パターンを投影して（単複の）カメラ２５又は追跡装置９０の画像の歪み特性を決定することを含むことができる。この校正は、例えばカメラ更新要件に基づいて手順を通じて時間通りに繰り返すことができる。この校正は、カメラに対する位置及び向きが既知である校正用反射面と共にカメラを使用することを必要とし得る。校正は、ＣＡＳシステム１０によって自動的に実行することができる。
【0058】
従って、追跡モジュール６０は、既知のパターンの構造化光、又は校正されたカメラ画像、ビデオフィードなどを（単複の）仮想骨モデル及び／又は（単複の）ツールモデルの既知の形状と共に、任意にＱＲトークン又は追跡可能基準９０Ａと共に使用して３Ｄジオメトリ画像処理を実行し、例えば術前モデルを使用して追跡から３Ｄ画像を生成することができる。さらに、骨又はツール上のランドマークの追跡を使用して、生成された３ＤジオメトリをＸ、Ｙ、Ｚ座標系内に配置して、この座標系を骨上に設定することができる。従って、追跡モジュール６０は、照明される（単複の）物体上にランドマークの画像又は３Ｄ形状を生成することができる。その後、追跡モジュール６０は、骨及び／又はツールの仮想モデルをそれぞれ使用して、画像又は３Ｄジオメトリをランドマークの仮想モデルと一致させることができる。この結果、追跡モジュール６０は、ツール部分及び骨表面がオペレータの視点から見えていないにもかかわらず、イメージングされているランドマークと術前の３Ｄモデルとの間の空間的関係を決定して、ツールに対する骨の動的（例えば、リアルタイム又は準リアルタイム）術中追跡を提供する。
【0059】
ある実施形態では、ロボットアーム４０を使用する場合、追跡モジュール６０によって計算される外科ツールの位置及び向きが、ロボットドライバ８０及びロボットアームセンサによって提供される追跡データに対して冗長であることができる。しかしながら、この冗長性は、外科ツールの追跡精度を確保するのに役立つ。例えば、この冗長性は、例えばオペレータが目を離した場合などにヘッドマウント型追跡装置２０と手術部位との間の見通し線が途絶することに対するセーフガードとして使用される。この冗長性は、外科ツールの画像処理頻度の低減を可能にすることもできる。また、追跡モジュール６０を用いたツールの追跡を使用して、ロボットアーム４０上のセンサを通じて計算された外科ツールＴの位置及び向きと、外科ツールの実際の位置及び向きとの間のいずれかの不一致を検出することもできる。例えば、追跡モジュール６０の出力を（例えば、ロボットアーム４０上のエンコーダから取得される）ロボットドライバ８０からの位置及び向きと共に検証すると、追跡モジュール６０の出力からロボットアーム４０のチャック内へのツールＴの不適切な取り付けを検出することができる。オペレータに、インターフェイスＩ／Ｆ又はヘッドマウント型追跡装置２０を介して取り付けを確認するように促すことができる。
【0060】
カメラ２５及び／又は画像取り込み装置９０は、追跡モジュール６０が物体の継続的追跡を行えるように継続的に画像を取り込むことができる。ビデオフィード、画像フィード、ビデオという用語は、ヘッドマウント型追跡装置２０と、任意に追跡装置９０とによる画像の取り込みを表すために使用することができ、１回の画像取り込みとは対照的に一定期間にわたるフレームの取り込みを伴う。取り込み頻度は、様々な要因に従って異なることができる。例えば、手術ワークフロー中には、より動的な（すなわち、より高頻度での）追跡の更新を必要とする局面と、追跡の更新がそれほど重要でない局面という異なる局面が存在する。画像取り込み頻度に影響を与える別の要因は、物体の固定関係である。例えば、追跡モジュール６０がランドマークを識別して画像から骨を追跡すると、骨が固定されている場合、操作が行われていない場合、又は未だ骨修正が開始されていない場合には、カメラ２５及び／又は画像取り込み装置９０による取り込み頻度が低下することができる。また、ツール及び骨の両方を追跡する場合、ツール及び骨が互いに所与の距離だけ離れているときには取り込み頻度が低下し、ツールと骨との間の近さが増すにつれて取り込み頻度が上昇することができる。追跡モジュール６０は、頻度を制御するためにカメラ２５及び／又は追跡装置９０を駆動することができる。例えば、追跡モジュール６０は、例えばワークフローにおける次のステップを予測することなどの手術計画を使用して頻度を適合させることができる。この結果、追跡モジュール６０は、例えば低頻度取り込みモードと高頻度取り込みモードとを切り替えることができる。低頻度取り込みモードは、ツールが骨から所与の距離にあって骨を修正するように駆動されていない事例であることができる。低頻度取り込みモードは、物体が互いに対して固定された関係にあるときにも作動することができる。他のモードも想定される。追跡モジュール６０は、インターフェイスＩ／Ｆに直接データを出力することができる。
【0061】
拡張現実モジュール７０は、ＣＡＳコントローラ５０内に存在することができ、例えばヘッドマウント型追跡装置２０内に表示するための拡張現実（ＡＲ）出力をオペレータに対して生成することができる。拡張現実モジュール７０は、仮想現実出力を含む他のタイプの出力を生成することもできる。拡張現実モジュール７０は、その出力をヘッドマウント型追跡装置２０以外のディスプレイに提供することもできる。例えば、拡張現実モジュール７０は、ＣＡＳシステム１０のモニタ上に表示するための出力を生成することができる。
【0062】
図４～図６で分かるように、インターフェイスＩ／Ｆとして示すフローティングＧＵＩは、ヘッドマウント型追跡装置２０のフェイスシールド２２上に装着者の見通し線内に存在するように投影又は表示することができ、及び／又はインターフェイスＩ／Ｆ上に複製又は出力することができる。ある実施形態では、ヘッドマウント型追跡装置２０が、数ある可能性の中でもとりわけ、骨に軸を追加し、或いはインプラントの位置又はツールＴの隠れたツール端部の位置をシミュレートすることにより、装着者と骨又は器具との間の見通し線を妨げないように、或いは観察中の物体を増強するようにフェイスシールド２２の一部にＡＲ画像を投影する。
【0063】
一態様では、装着者が、ヘッドマウント型追跡装置２０からのＡＲ出力を使用してＣＡＳコントローラ５０と相互作用することもできる。例えば、ヘッドマウント型追跡装置２０は、手術部位から離れて見ている時点又は手術ワークフロー中の所与の時点で仮想タッチゾーンを表示し、このようなタッチゾーンに到達する装着者の腕をカメラ２５で追跡することができる。ヘッドマウント型追跡装置２０及びＣＡＳコントローラ５０は、タッチゾーンの作動に基づいてアクションをトリガーすることができる。
【0064】
従って、拡張現実モジュール７０によって提供されるデータを別のモニタ又は同様のインターフェイス上に表示できる一方で、拡張現実における画像の表示は、装着者が行うべき動作を最小限に抑え、情報に対するアクセス速度を高め、及び／又は利用できないはずの情報を提供することができる。
【0065】
引き続き図１を参照すると、ＣＡＳシステム１０内にロボットアーム４０が存在する場合、ＣＡＳコントローラ５０はロボットドライバモジュール８０を有することができる。ロボットドライバモジュール８０は、ロボットアーム４０の様々な関節に電力を供給し又はこれらの関節を制御する任務を負う。ロボットアーム４０は、骨の損傷を避けるために何らかの力フィードバックを提供することができる。ロボットドライバモジュール８０は、手術計画に基づいてアクションを実行することができる。手術計画は、技術者及び／又は外科医などのオペレータが望む手術パラメータに従って任意の患者専用にプログラムされたモジュールであることができる。パラメータは、選択され計画された骨切断の形状、計画された切断深さ、一連の手術ステップ及びツールによる修正のシーケンス又はワークフロー、使用されるツールなどを含むことができる。
【0066】
【0067】
図４の一態様では、外科医又は他のオペレータが、上述したような追跡技術を含むヘッドマウント型追跡装置２０を有し、（単複の）カメラ２５が視点追跡を実行する。任意に、図示してはいないが、追跡可能基準９０Ａを有する追跡装置９０を使用することもできる。或いは、任意であるが、骨及び／又はツール上、或いは他の場所に追跡パターンが存在することもできる。通常、オペレータは、手術部位との間に直接的な遮るもののないＰＯＶを維持しながら、ヘッドマウント型追跡装置２０からのビデオフィードを用いた追跡により、ＣＡＳシステム１０による障害を抑制することができる。
【0068】
図５の一態様では、外科医又は他のオペレータが、上述したような追跡技術を含むヘッドマウント型追跡装置２０を有し、（単複の）カメラ２５が視点追跡を実行し、ロボットアーム４０が、ツールＴを操作する外科医又は他のオペレータによる切断面の位置決めを支援する切断ガイド４０Ａを有する。ここでも、図示してはいないが、追跡可能基準９０Ａなどを有する追跡装置９０を使用することもできる。任意であるが、骨及び／又はツール上、或いは他の場所に追跡パターンが存在することもできる。通常、オペレータは、手術部位との間に直接的な遮るもののないＰＯＶを維持しながら、ヘッドマウント型追跡装置２０からのビデオフィードを用いた追跡により、ＣＡＳシステム１０による障害を抑制することができる。
【0069】
図６の一態様では、外科医又は他のオペレータが、上述したような追跡技術を含むヘッドマウント型追跡装置２０を有し、（単複の）カメラ２５が視点追跡を実行し、切断ガイド４０Ａは、相補的な固有の係合で骨に当接する（単複の）輪郭一致面（ｃｏｎｔｏｕｒ ｍａｔｃｈｉｎｇ ｓｕｒｆａｃｅ）を有しており、すなわち１箇所でしか嵌合を行うことができないという点で、ＰＳＩ切断ガイドとしても知られている患者固有の切断ガイドである。切断ガイド４０Ａは、ツールＴを操作する外科医又は他のオペレータによる切断面の位置決めを支援し、従ってツールＴがブレードＴ１の平面などに沿った所望の軌道をたどることを確実にするために提供される。ＰＳＩ切断ガイド４０Ａ（又は他のＰＳＩ、すなわち患者専用器具）は、骨の仮想３Ｄモデルに応じてＰＳＩ切断ガイド４０Ａを作製するための仮想３Ｄモデルに関連することができる。具体的には、ＰＳＩの構想では、その仮想モデルを骨の仮想モデルに適用して、その後のＰＳＩ４０Ａと骨との関係を正確にエミュレートすることができる。従って、図６の一態様では、組み立てられたＰＳＩ切断ガイド４０Ａの３Ｄモデル及び骨の３Ｄモデルを使用して、視点追跡によってＰＳＩ切断ガイド４０Ａをナビゲートすることができる。ＣＡＳシステム１０は、骨上のＰＳＩ切断ガイド４０Ａのアセンブリの仮想３Ｄモデルに相補的な固有の係合でアクセスすることができ、従ってこの仮想３Ｄモデル形状は骨の形状よりも完全かつ明確であるため、この仮想３Ｄモデルを使用して、例えばＰＳＩ４０Ａの視覚的追跡を使用してツール及び作業端ＷＥの貫通を計算することができる。ここでも、図示してはいないが、追跡可能基準９０Ａなどを有する追跡装置９０を使用することもできる。任意であるが、骨及び／又はツール上、或いは他の場所に追跡パターンが存在することもできる。通常、オペレータは、手術部位との間に直接的な遮るもののないＰＯＶを維持しながら、ヘッドマウント型追跡装置２０からのビデオフィードを用いた追跡により、ＣＡＳシステム１０による障害を抑制することができる。
【0070】
図４、図５及び／又は図６のＣＡＳシステム１０は、以下のように使用することができる。手術中、ＣＡＳシステム１０は、ヘッドマウント型追跡装置２０を使用して、外科医などのオペレータの視点又は追跡装置９０などの静止した追跡システムから、骨に対する外科ツールＴのビデオ画像を取得することができる。ビデオ画像は、追跡可能基準９０Ａ又は他のいずれかの追跡可能コンポーネントのイメージング、或いは単に物体の画像を含むことができる。ＣＡＳシステム１０は、ビデオ画像を処理して、外科ツール及び骨の仮想モデルをビデオフィード内の（追跡可能基準９０Ａを含む）外科ツール及び骨にマージする。外科ツール及び骨の（及び、図６の例では任意に骨及びＰＳＩの）仮想モデルは、異なるイメージングモダリティからもたらされた術前モデル、ツールのためのメーカーＣＡＤモデル、校正の結果、又はこれらのいずれかの組み合わせであることができ、上述したように骨の一部に制限することなどができる。ＣＡＳシステム１０は、平面切除、骨穿孔などの骨修正手術が行われる際に、骨に対する外科ツールの作業端が隠れた状態で骨に対する外科ツールの作業端の位置を計算して継続的に出力することができる。従って、図４、図５及び図６に示すように、ＣＡＳシステム１０は、特に低侵襲手術における切開部が限られている状況で作業端が隠れている又は見えない場合でも、骨に対する外科ツールの作業端を表示することができる。この表示は、図４に示すような外科ツールの作業範囲ＷＥの表示を含む。従って、オペレータは、骨を貫通する外科ツールの作業端の骨に対するライブ仮想映像をインターフェイスＩ／Ｆ上で見ることができる。従って、ＣＡＳシステム１０は、停止条件を検出すると、例えば作業端が骨の境界に近いことを示すことによってオペレータにアラームを発し、及び／又はツールＴを停止することができる。同時に、ＣＡＳシステム１０は、ヘッドマウント型追跡装置２０上に、例えばオペレータが装着しているフェイスシールド上又はその他のインターフェイス上などに、骨に対する外科ツールの隠れた作業端を複合現実でイメージング又は表示することができる。ＣＡＳシステム１０は、外科ツール及びその作業端のビデオ画像を取得し、これを処理して外科ツールのモデルのサイズを決定することにより、骨修正操作の前に（単複の）ツールを校正することができる。作動端の動きの振幅をイメージングして作動端の動きの振幅のサイズを決定するためにツールを動作させることができる。図５の一態様では、ロボットアーム４０を、ツールの位置及び向きの関数として、及び／又は処理される切断ブロックなどのツールのビデオ画像を通じて制御することができる。従って、ＣＡＳシステム１０は、ロボットアーム４０の（又は図示の切断ブロックなどの、ロボットアーム４０によって支持されるツールの）位置を継続的に出力することができる。ＣＡＳシステムは、追跡装置９０などの静止した画像取り込み装置から第２のビデオ画像フィードを取得することができる。ＣＡＳシステム１０は、画像取り込み装置の一方からのビデオ画像を画像取り込み装置の他方よりも優先させることができ、及び／又はツールが骨の遠位にあるときには低頻度取り込みモードでビデオ画像を取得し、ツールが骨の近位にあるときには高頻度取り込みモードでビデオ画像を取得することができる。
【0071】
患者の脛骨に対するシステム１０の校正を行う。校正は、脛骨の画像を取得すること、動的モーションデータを取得すること、骨ランドマークをデジタル化又は位置合わせすること、ヘッドマウント型追跡装置２０によって骨モデル（例えば、３Ｄ仮想、２Ｄ画像）を作成すること、ヘッドマウント型装置２０による後続の追跡のために脛骨軸を記録する参照系を作成することなどのステップ及び／又はサブステップのうちの１つ又は２つ以上を含むことができる。このように、校正が行われた時点で脛骨のランドマークを組み込んだ参照系が存在し、ＣＡＳコントローラ５０は、ヘッドマウント型追跡装置２０からの脛骨のビデオフィードによって空間内で脛骨をその位置及び／又は向きに関して追跡できるようになる。
【0072】
脛骨切断を行い／追跡する際には、これを異なる視点に応じて異なる方法で実行することができる。システム１０は、ロボットアーム４０を含む場合に切断動作を実行することができる。切断位置の特定は、選択されたインプラント形状（及び頭蓋－尾骨軸に沿った厚み）に基づいて行うべき切断の位置及び／又は向きを決定することを含むことができる。この決定は、外科医からこのようなデータを取得すること、及び／又は外科医に推奨を行うこととして定義することができる。位置及び／又は向きが分かると、その後にヘッドマウント型装置２０を用いた追跡を実行できるように、脛骨の参照系内に仮想的に切断部を配置することができる。従って、骨の外周に対するツールの隠れた作業端の画像を含む、行うべき切断のための追跡ガイダンスを出力することができる。追跡ガイダンスは、ロボットアーム４０に対するもの、或いは外科医又はスタッフに対するものであることができる。外科医への追跡ガイダンスでは、ヘッドマウント型装置２０を使用して、図４、図５及び図６に示すような切断ツールを追跡することができる。例えば、ＣＡＳコントローラ５０にツール（及び図６に示すような切断ガイド）の形状を提供し、ヘッドマウント型装置２０及びそのイメージング能力を使用してツールを参照系に関して追跡することができる。切断の関数としての内外反を含む追加情報を利用することもできる。一態様では、内外反調整能力を有するロボットアーム４０によって支持される図５の切断ガイド４０Ａ、又は図６に示すようなＰＳＩ切断ガイド４０Ａを使用して切断が行われる。
【0073】
従って、任意ではあるが、ＣＡＳシステム１０は、ヘッドマウント型追跡装置２０によって提供される画像フィードにより、手術部位のクローズアップビューを有することができる。追跡モジュール６０は、ＣＡＳシステム１０の画像処理能力を使用して、骨の隠れた表面に対するツールＴの隠れた作業端の空間的位置付けを正確に計算し、その仮想ライブ表現を提供することができる。従って、追跡モジュール６０は、作業端ＷＥによって損傷を受ける恐れがある軟組織との近さなどの停止条件を検出するように構成することができる。追跡モジュール６０は、オペレータにアラーム信号を送信し、ＧＵＩ又は同様のインターフェイスＩ／Ｆ上に近接度をイメージングし、ツールＴを停止して、実質的な軟組織の損傷を防ぐことができる。追跡モジュール６０は、骨の輪郭に近い閾値ゾーン内では作業端ＷＥの動きを減速させるように作業端ＷＥの減速プロファイルを動作させることもできる。
【0074】
本開示では、継続的追跡を行うものとしてシステム１０を参照する。このことは、外科的処置の離散時間中に継続的に追跡を実行できることを意味する。継続的追跡は、例えば骨が修正されていないときには一時停止を伴うことができる。しかしながら、追跡が必要である場合には、システム１０が継続的追跡出力を提供し、追跡出力が中断されるとオペレータにアラーム又はメッセージがトリガーされる。追跡の頻度は変化することができる。
【0075】
一般に、ＣＡＳシステム１０は、プロセッシングユニットと、プロセッシングユニットに通信可能に結合された、プロセッシングユニットが実行可能なコンピュータ可読プログラム命令を含む非一時的コンピュータ可読メモリとを使用して、コンピュータ支援手術において１又は２以上の物体を追跡するシステムとして説明することができる。実行可能なコンピュータ可読プログラム命令は、骨に対する外科ツールのビデオ画像をオペレータの視点から取得し、ビデオ画像を処理して、ビデオ画像内で外科ツール及び骨の仮想モデルを外科ツール及び骨にマージし、外科ツールの作業端が骨に対して隠れた状態において、処理されたビデオ画像を使用して骨に対する外科ツールの作業端の位置を計算し、骨に対する外科ツールの作業端の位置を出力するためのものであることができる。
【0076】
コンピュータ支援手術システムを使用して少なくとも１つの物体を追跡する方法は、骨に対する外科ツールのビデオ画像をオペレータの視点から取得し、ビデオ画像を処理して、ビデオ画像内で外科ツール及び骨の仮想モデルを外科ツール及び骨にマージし、外科ツールの作業端が骨に対して隠れた状態において、処理されたビデオ画像を使用して骨に対する外科ツールの作業端の位置を計算し、骨に対する外科ツールの作業端の位置を出力する、ことができるようにプロセッシングユニットによって実行可能であるコンピュータ可読プログラム命令を含むことができる。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【外国語明細書】