知財求人 - 知財ポータルサイト「IP Force」
▶ グローバス メディカル インコーポレイティッドの特許一覧
特開2024-12198画像内に放射線不透過性基準を使用しない手術ナビゲーション及びロボット誘導のための３Ｄ及び２Ｄ画像の位置合わせ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012198
(43)【公開日】2024-01-25
(54)【発明の名称】画像内に放射線不透過性基準を使用しない手術ナビゲーション及びロボット誘導のための３Ｄ及び２Ｄ画像の位置合わせ
(51)【国際特許分類】
A61B 34/20 20160101AFI20240118BHJP
【ＦＩ】
A61B34/20
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023116723
(22)【出願日】2023-07-18
(31)【優先権主張番号】63/389,691
(32)【優先日】2022-07-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/193,800
(32)【優先日】2023-03-31
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】507400686
【氏名又は名称】グローバス メディカル インコーポレイティッド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】ノルベルト ジョンソン
(72)【発明者】
【氏名】ペイドン トロクセル
(72)【発明者】
【氏名】キャロライン コンラッド
(72)【発明者】
【氏名】マート エラッド
(72)【発明者】
【氏名】ニコラス マリタート
(72)【発明者】
【氏名】マイケル ブラウクマン
(72)【発明者】
【氏名】ニール アール． クロフォード
(57)【要約】 （修正有）
【課題】好ましくは医用画像に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者の医用画像を物理空間内の患者に位置合わせするシステム及び方法が提供される。
【解決手段】１つの方法では、術中２Ｄ医用画像を使用して、術前未位置合わせ３Ｄ医用画像を位置合わせする。２Ｄ医用画像は、画像捕捉時に追跡デバイスによって撮像デバイス上及び患者上の追跡マーカの同時追跡に基づいて位置合わせされる。２Ｄ画像は、術前３Ｄ画像体積から生成された対応するシミュレートされた２Ｄ画像に一致させられる。したがって、患者に対する術前３Ｄ画像の位置合わせは、患者の別の３Ｄスキャンを実行することなく達成される。
【選択図】図28
【解決手段】１つの方法では、術中２Ｄ医用画像を使用して、術前未位置合わせ３Ｄ医用画像を位置合わせする。２Ｄ医用画像は、画像捕捉時に追跡デバイスによって撮像デバイス上及び患者上の追跡マーカの同時追跡に基づいて位置合わせされる。２Ｄ画像は、術前３Ｄ画像体積から生成された対応するシミュレートされた２Ｄ画像に一致させられる。したがって、患者に対する術前３Ｄ画像の位置合わせは、患者の別の３Ｄスキャンを実行することなく達成される。
【選択図】図28
【特許請求の範囲】
【請求項1】
３Ｄ画像体積の位置合わせを復元するためのシステムであって、
撮像追跡マーカ配列（ＩＴＭＡ）を有する携帯型撮像システムと、
患者追跡マーカを含み、患者に取り付け可能な動的基準基部（ＤＲＢ）と、
前記ＩＴＭＡ及び前記ＤＲＢの両方の位置及び配向を同時に追跡するように構成された追跡デバイスと、
前記患者の外科手術を支援し、前記撮像システムと通信するように構成された外科用ロボットであって、基部と、前記基部に結合されたロボットアームと、前記ロボットアームに結合されたエンドエフェクタと、を含む外科用ロボットと、
前記ロボットアーム及び前記エンドエフェクタの移動を制御するように動作可能であり、前記患者に対する前記３Ｄ画像体積の位置合わせが損なわれていることを検出し、そのように実行された場合、前記検出後に、
前記撮像システムによって術中に捕捉された異なる配向での第１及び第２の２Ｄ画像を受信し、
画像捕捉時に前記追跡デバイスから前記患者の対応する光学画像であって、前記ＩＴＭＡ及び前記ＤＲＢを含む、光学画像を受信し、
前記撮像システムからの前記捕捉された画像と、前記ＩＴＲＡ及び前記ＤＲＢを含む前記光学画像とを使用して、前記第１及び第２の２Ｄ画像を前記患者に位置合わせし、
前記第１及び第２の２Ｄ画像を、前記３Ｄ画像体積から生成された対応するシミュレートされた２Ｄ画像に一致させ、
前記一致したシミュレートされた２Ｄ画像に基づいて、前記患者に対する前記３Ｄ画像体積の位置合わせを復元する、ように適合されたプロセッサと、を備える、システム。
撮像追跡マーカ配列（ＩＴＭＡ）を有する携帯型撮像システムと、
患者追跡マーカを含み、患者に取り付け可能な動的基準基部（ＤＲＢ）と、
前記ＩＴＭＡ及び前記ＤＲＢの両方の位置及び配向を同時に追跡するように構成された追跡デバイスと、
前記患者の外科手術を支援し、前記撮像システムと通信するように構成された外科用ロボットであって、基部と、前記基部に結合されたロボットアームと、前記ロボットアームに結合されたエンドエフェクタと、を含む外科用ロボットと、
前記ロボットアーム及び前記エンドエフェクタの移動を制御するように動作可能であり、前記患者に対する前記３Ｄ画像体積の位置合わせが損なわれていることを検出し、そのように実行された場合、前記検出後に、
前記撮像システムによって術中に捕捉された異なる配向での第１及び第２の２Ｄ画像を受信し、
画像捕捉時に前記追跡デバイスから前記患者の対応する光学画像であって、前記ＩＴＭＡ及び前記ＤＲＢを含む、光学画像を受信し、
前記撮像システムからの前記捕捉された画像と、前記ＩＴＲＡ及び前記ＤＲＢを含む前記光学画像とを使用して、前記第１及び第２の２Ｄ画像を前記患者に位置合わせし、
前記第１及び第２の２Ｄ画像を、前記３Ｄ画像体積から生成された対応するシミュレートされた２Ｄ画像に一致させ、
前記一致したシミュレートされた２Ｄ画像に基づいて、前記患者に対する前記３Ｄ画像体積の位置合わせを復元する、ように適合されたプロセッサと、を備える、システム。
【請求項2】
前記プロセッサは、前記受信された２Ｄ画像を、複数の対応する蛍光透視画像をシミュレートする異なる配向での複数の２Ｄデジタル再構成放射線写真（ＤＲＲ）画像と比較することによって、前記受信された２Ｄ画像を一致させるように構成されている、請求項１に記載のシステム。
【請求項3】
前記プロセッサは、
選択された配向で前記３Ｄ画像体積のデジタル再構成放射線写真（ＤＲＲ）画像を合成的に生成することと、
前記受信された２Ｄ画像を前記生成されたＤＲＲ画像と比較することと、
前記受信された２Ｄ画像と前記ＤＲＲ画像との間に一致が見つかるまで、前記合成生成及び比較を繰り返すことと、によって前記受信された２Ｄ画像を一致させるように構成されている、請求項１に記載のシステム。
選択された配向で前記３Ｄ画像体積のデジタル再構成放射線写真（ＤＲＲ）画像を合成的に生成することと、
前記受信された２Ｄ画像を前記生成されたＤＲＲ画像と比較することと、
前記受信された２Ｄ画像と前記ＤＲＲ画像との間に一致が見つかるまで、前記合成生成及び比較を繰り返すことと、によって前記受信された２Ｄ画像を一致させるように構成されている、請求項１に記載のシステム。
【請求項4】
前記プロセッサは、
前記２Ｄ画像として術中超音波画像を受信し、
前記３Ｄ画像体積からシミュレートされた超音波画像を合成的に生成する、請求項３に記載のシステム。
前記２Ｄ画像として術中超音波画像を受信し、
前記３Ｄ画像体積からシミュレートされた超音波画像を合成的に生成する、請求項３に記載のシステム。
【請求項5】
前記プロセッサは、前記受信された２Ｄ画像の骨縁部のコントラストの勾配を対応するＤＲＲ画像と比較するように構成されている、請求項３に記載のシステム。
【請求項6】
前記プロセッサは、前記以前の比較が前記一致の改善又は悪化をもたらしたかどうかに基づいて、新しいＤＲＲ画像を合成的に生成するための新しい配向及びオフセットを合成的に選択するように構成されている、請求項５に記載のシステム。
【請求項7】
前記２Ｄ画像は、第１の２Ｄ画像と、前記第１の２Ｄ画像から選択された角度での第２の２Ｄ画像と、を含み、
前記プロセッサによる前記受信された２Ｄ画像の一致は、
前記３Ｄ画像体積と、前記第１のＤＲＲ画像から前記選択された角度での第２のＤＲＲ画像とから第１のデジタル再構成放射線写真（ＤＲＲ）画像を合成的に生成することと、
前記第１及び第２の２Ｄ画像を前記３Ｄ画像体積の前記第１及び第２のＤＲＲ画像と同時に比較することと、
前記第１及び第２の２Ｄ画像と前記３Ｄ画像体積の前記第１及び第２のＤＲＲ画像との間に一致が見つかるまで、前記生成するステップ及び前記比較するステップを繰り返すことと、
を含む、請求項１に記載のシステム。
前記プロセッサによる前記受信された２Ｄ画像の一致は、
前記３Ｄ画像体積と、前記第１のＤＲＲ画像から前記選択された角度での第２のＤＲＲ画像とから第１のデジタル再構成放射線写真（ＤＲＲ）画像を合成的に生成することと、
前記第１及び第２の２Ｄ画像を前記３Ｄ画像体積の前記第１及び第２のＤＲＲ画像と同時に比較することと、
前記第１及び第２の２Ｄ画像と前記３Ｄ画像体積の前記第１及び第２のＤＲＲ画像との間に一致が見つかるまで、前記生成するステップ及び前記比較するステップを繰り返すことと、
を含む、請求項１に記載のシステム。
【請求項8】
前記プロセッサは、
前記受信された光学画像に基づいて、前記第１の２Ｄ画像が捕捉されるときの前記物理空間内の前記ＤＲＢに対する前記撮像空間内の前記撮像システムの姿勢を表す変換Ａを判定することによって、位置合わせを復元するように構成されている、請求項１に記載のシステム。
前記受信された光学画像に基づいて、前記第１の２Ｄ画像が捕捉されるときの前記物理空間内の前記ＤＲＢに対する前記撮像空間内の前記撮像システムの姿勢を表す変換Ａを判定することによって、位置合わせを復元するように構成されている、請求項１に記載のシステム。
【請求項9】
前記プロセッサは、
前記受信された光学画像に基づいて、前記物理空間内の前記撮像システムに対する前記撮像空間内の前記第１の２Ｄ画像の姿勢を表す変換Ｂを判定することによって、位置合わせを復元するように構成されている、請求項１に記載のシステム。
前記受信された光学画像に基づいて、前記物理空間内の前記撮像システムに対する前記撮像空間内の前記第１の２Ｄ画像の姿勢を表す変換Ｂを判定することによって、位置合わせを復元するように構成されている、請求項１に記載のシステム。
【請求項10】
前記プロセッサは、前記第１の２Ｄ画像と、前記撮像システムの異なる配向での撮像アームの屈曲の量に関連する較正データを用いて調整された前記ＩＴＭＡとの間の空間関係を判定することによって、前記変換Ｂを判定するように構成されている、請求項９に記載のシステム。
【請求項11】
前記プロセッサは、前記ＩＴＭＡの前記位置に対する検出器パネルの位置を判定することによって、前記変換Ｂを判定するように構成されている、請求項９に記載のシステム。
【請求項12】
前記プロセッサは、
前記受信された光学画像に基づいて、前記第１の２Ｄ画像が捕捉されるときの前記物理空間内の前記ＤＲＢに対する前記撮像空間内の前記撮像システムの姿勢を表す変換Ａを判定することと、
前記受信された光学画像に基づいて、前記物理空間内の前記撮像システムに対する前記撮像空間内の前記第１の２Ｄ画像の姿勢を表す変換Ｂを判定することと、
変換Ａに変換Ｂを乗算することにより、前記物理空間内の前記ＤＲＢに対する前記第１の２Ｄ画像の前記姿勢の位置合わせを表す変換Ｃを判定することと、によって、前記第１の２Ｄ画像を前記患者に位置合わせするように構成されている、請求項１に記載のシステム。
前記受信された光学画像に基づいて、前記第１の２Ｄ画像が捕捉されるときの前記物理空間内の前記ＤＲＢに対する前記撮像空間内の前記撮像システムの姿勢を表す変換Ａを判定することと、
前記受信された光学画像に基づいて、前記物理空間内の前記撮像システムに対する前記撮像空間内の前記第１の２Ｄ画像の姿勢を表す変換Ｂを判定することと、
変換Ａに変換Ｂを乗算することにより、前記物理空間内の前記ＤＲＢに対する前記第１の２Ｄ画像の前記姿勢の位置合わせを表す変換Ｃを判定することと、によって、前記第１の２Ｄ画像を前記患者に位置合わせするように構成されている、請求項１に記載のシステム。
【請求項13】
前記プロセッサは、前記３Ｄ画像体積をディスプレイ上に表示し、外科用器具の計画された軌道を重ね合わせ、前記軌道が前記３Ｄ画像体積の前記復元された位置合わせ情報に基づいてユーザによって変更されるにつれて、前記表示された軌道を前記表示された３Ｄ画像体積上に動的に調整するように構成されている、請求項１に記載のシステム。
【請求項14】
前記撮像システムの制御下で、前記プロセッサは、
前記第１及び第２の２Ｄ画像の画像ファイルに位置合わせ情報を付加し、
前記２Ｄ画像と前記位置合わせ情報とを含む前記画像ファイルを前記撮像システムから前記外科用ロボットに転送する、ように構成されており、
前記外科用ロボットは、前記転送された画像ファイルに基づいて、前記患者に対する前記３Ｄ画像体積の位置合わせを復元するように構成されている、請求項１に記載のシステム。
前記第１及び第２の２Ｄ画像の画像ファイルに位置合わせ情報を付加し、
前記２Ｄ画像と前記位置合わせ情報とを含む前記画像ファイルを前記撮像システムから前記外科用ロボットに転送する、ように構成されており、
前記外科用ロボットは、前記転送された画像ファイルに基づいて、前記患者に対する前記３Ｄ画像体積の位置合わせを復元するように構成されている、請求項１に記載のシステム。
【請求項15】
前記プロセッサは、前記撮像システム内に常駐する撮像システムプロセッサと、前記外科用ロボット内に常駐するロボットプロセッサとを含み、
前記撮像システムプロセッサは、前記撮像システムからの前記捕捉された画像と、前記ＩＴＭＡ及び前記ＤＲＢを含む前記光学画像とを使用して、前記第１及び第２の２Ｄ画像を前記患者に位置合わせするように構成されており、
前記ロボットプロセッサは、前記第１及び第２の２Ｄ画像と、前記第１及び第２の２Ｄ画像の前記位置合わせ情報とに基づいて、前記患者に対する前記３Ｄ画像体積の位置合わせを復元するように構成されている、
請求項１に記載のシステム。
前記撮像システムプロセッサは、前記撮像システムからの前記捕捉された画像と、前記ＩＴＭＡ及び前記ＤＲＢを含む前記光学画像とを使用して、前記第１及び第２の２Ｄ画像を前記患者に位置合わせするように構成されており、
前記ロボットプロセッサは、前記第１及び第２の２Ｄ画像と、前記第１及び第２の２Ｄ画像の前記位置合わせ情報とに基づいて、前記患者に対する前記３Ｄ画像体積の位置合わせを復元するように構成されている、
請求項１に記載のシステム。
【請求項16】
３Ｄ画像体積の位置合わせを復元するためのシステムであって、
撮像追跡マーカ配列（ＩＴＭＡ）を有する携帯型撮像システムと、
患者追跡マーカを含み、患者に取り付け可能な動的基準基部（ＤＲＢ）と、
前記ＩＴＭＡ及び前記ＤＲＢの両方の位置及び配向を同時に追跡するように構成された複数のカメラを有する追跡デバイスと、
前記患者の外科手術を支援し、前記撮像システムと通信するように構成された外科用ロボットであって、基部と、前記基部に結合されたロボットアームと、前記ロボットアームに結合されたエンドエフェクタと、を含む外科用ロボットと、
前記ロボットアーム及び前記エンドエフェクタの移動を制御するように動作可能であり、前記患者に対する前記３Ｄ画像体積の位置合わせが損なわれていることを検出し、そのように実行された場合、前記検出後に、
前記撮像システムによって捕捉された、異なる配向での前記患者解剖学的の第１及び第２の術中２Ｄ画像を受信し、
画像捕捉時に前記カメラから前記患者の対応する光学画像であって、前記患者解剖学的構造に取り付けられた前記ＤＲＢ及び前記ＩＴＭＡを含む、光学画像を受信し、
放射線不透過性基準を使用せずに、前記受信された光学画像に含まれるＤＲＢ及びＩＴＭＡに基づいて、前記受信された２Ｄ画像を位置合わせし、
前記受信された２Ｄ画像を、異なる配向での前記３Ｄ画像体積の複数のシミュレートされた２Ｄ画像と比較することに基づいて、前記受信された２Ｄ画像を、前記３Ｄ画像体積から生成された対応するシミュレートされた２Ｄ画像と一致させ、
前記一致したシミュレートされた２Ｄ画像と、前記２Ｄ画像の前記位置合わせ情報とに基づいて、前記ＤＲＢに対する前記３Ｄ画像体積の位置合わせを復元する、ように適合されたプロセッサと、を含む、システム。
撮像追跡マーカ配列（ＩＴＭＡ）を有する携帯型撮像システムと、
患者追跡マーカを含み、患者に取り付け可能な動的基準基部（ＤＲＢ）と、
前記ＩＴＭＡ及び前記ＤＲＢの両方の位置及び配向を同時に追跡するように構成された複数のカメラを有する追跡デバイスと、
前記患者の外科手術を支援し、前記撮像システムと通信するように構成された外科用ロボットであって、基部と、前記基部に結合されたロボットアームと、前記ロボットアームに結合されたエンドエフェクタと、を含む外科用ロボットと、
前記ロボットアーム及び前記エンドエフェクタの移動を制御するように動作可能であり、前記患者に対する前記３Ｄ画像体積の位置合わせが損なわれていることを検出し、そのように実行された場合、前記検出後に、
前記撮像システムによって捕捉された、異なる配向での前記患者解剖学的の第１及び第２の術中２Ｄ画像を受信し、
画像捕捉時に前記カメラから前記患者の対応する光学画像であって、前記患者解剖学的構造に取り付けられた前記ＤＲＢ及び前記ＩＴＭＡを含む、光学画像を受信し、
放射線不透過性基準を使用せずに、前記受信された光学画像に含まれるＤＲＢ及びＩＴＭＡに基づいて、前記受信された２Ｄ画像を位置合わせし、
前記受信された２Ｄ画像を、異なる配向での前記３Ｄ画像体積の複数のシミュレートされた２Ｄ画像と比較することに基づいて、前記受信された２Ｄ画像を、前記３Ｄ画像体積から生成された対応するシミュレートされた２Ｄ画像と一致させ、
前記一致したシミュレートされた２Ｄ画像と、前記２Ｄ画像の前記位置合わせ情報とに基づいて、前記ＤＲＢに対する前記３Ｄ画像体積の位置合わせを復元する、ように適合されたプロセッサと、を含む、システム。
【請求項17】
前記プロセッサは、
前記受信された光学画像に基づいて、前記第１の２Ｄ画像が捕捉されるときの前記物理空間内の前記ＤＲＢに対する前記撮像空間内の前記撮像システムの姿勢を表す変換Ａを判定することによって、位置合わせを復元するように構成されている、請求項１６に記載のシステム。
前記受信された光学画像に基づいて、前記第１の２Ｄ画像が捕捉されるときの前記物理空間内の前記ＤＲＢに対する前記撮像空間内の前記撮像システムの姿勢を表す変換Ａを判定することによって、位置合わせを復元するように構成されている、請求項１６に記載のシステム。
【請求項18】
前記プロセッサは、
前記受信された光学画像に基づいて、前記物理空間内の前記撮像システムに対する前記撮像空間内の前記２Ｄ画像の姿勢を表す変換Ｂを判定することによって、位置合わせを復元するように構成されている、請求項１６に記載のシステム。
前記受信された光学画像に基づいて、前記物理空間内の前記撮像システムに対する前記撮像空間内の前記２Ｄ画像の姿勢を表す変換Ｂを判定することによって、位置合わせを復元するように構成されている、請求項１６に記載のシステム。
【請求項19】
前記プロセッサは、前記第１の２Ｄ画像と、前記撮像システムの異なる配向での撮像アームの屈曲の量に関連する較正データを用いて調整された前記ＩＴＭＡとの間の空間関係を判定することによって、前記変換Ｂを判定するように構成されている、請求項１８に記載のシステム。
【請求項20】
前記プロセッサは、
前記受信された光学画像に基づいて、前記第１の２Ｄ画像が捕捉されるときの前記物理空間内の前記ＤＲＢに対する前記撮像空間内の前記撮像システムの姿勢を表す変換Ａを判定することと、
前記受信された光学画像に基づいて、前記物理空間内の前記撮像システムに対する前記撮像空間内の前記第１の２Ｄ画像の姿勢を表す変換Ｂを判定することと、
変換Ａに変換Ｂを乗算することにより、前記物理空間内の前記ＤＲＢに対する前記第１の２Ｄ画像の前記姿勢の位置合わせを表す変換Ｃを判定する、ことによって、前記第１の２Ｄ画像を位置合わせするように構成されている、請求項１６に記載のシステム。
前記受信された光学画像に基づいて、前記第１の２Ｄ画像が捕捉されるときの前記物理空間内の前記ＤＲＢに対する前記撮像空間内の前記撮像システムの姿勢を表す変換Ａを判定することと、
前記受信された光学画像に基づいて、前記物理空間内の前記撮像システムに対する前記撮像空間内の前記第１の２Ｄ画像の姿勢を表す変換Ｂを判定することと、
変換Ａに変換Ｂを乗算することにより、前記物理空間内の前記ＤＲＢに対する前記第１の２Ｄ画像の前記姿勢の位置合わせを表す変換Ｃを判定する、ことによって、前記第１の２Ｄ画像を位置合わせするように構成されている、請求項１６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２２年７月１５日に出願された米国特許出願第６３／３８９，６９１号に優先権を主張する、２０２３年３月１５日に出願された米国特許出願第１８／１８４，１９２号の継続出願であり、これらの出願の全ては、参照により本明細書に組み込まれる。
本出願は、２０２２年７月１５日に出願された米国特許出願第６３／３８９，６９１号に優先権を主張する、２０２３年３月１５日に出願された米国特許出願第１８／１８４，１９２号の継続出願であり、これらの出願の全ては、参照により本明細書に組み込まれる。
【0002】
本出願はまた、（１）２０１６年６月１３日に出願された米国特許出願第１５／１８０，１２６号（米国特許第１０，８４２，４５３号）、及び（２）２０１６年５月１８日に出願された米国特許出願第１５／１５７，４４４号（米国特許公開第２０１６／０２５６２２５号）に関連するが、それに対する優先権を主張せず、これらの出願の全ては、参照により本明細書に組み込まれる。
【0003】
本発明は、ナビゲーションシステムに関し、より詳細には、撮像空間内の患者の医用画像を物理空間内の患者に位置合わせするシステム及び方法に関する。
【背景技術】
【0004】
手術ナビゲーションは、外科医が、従来の外科的技法とは対照的に、低減された放射線及び手術時間で、インプラントハードウェアを正確かつ反復可能に留置することを可能にすることによって、低侵襲性脊椎手術に変革をもたらした。手術ナビゲーションにおいて、位置センサは、患者基準フレームに位置合わせされた医用画像に対する外科用器具の完全な剛体運動を追跡するために使用される。位置感知の最も一般的な形態は、光学追跡であり、具体的には、配列と呼ばれるパターンで配置された近赤外線（ＮＩＲ）受動型再帰反射マーカ又は能動型ＮＩＲ ＬＥＤである。追跡される器具の位置は、典型的には、医用画像上に重ねられた器具のＣＡＤモデルとして外科医ユーザに表示される。
【0005】
ロボット誘導は、ロボットアームが所望の軌道上に位置付けられ、正確かつ反復可能な軌道上で器具を誘導するために使用される技術である。Ｇｌｏｂｕｓ Ｍｅｄｉｃａｌ，Ｉｎｃ．（Ａｕｄｕｂｏｎ，ＰＡ）からのＥｘｃｅｌｓｉｕｓＧＰＳ（「ｅＧＰＳ」）の発売により、ロボット誘導は、ロボットナビゲーションと呼ばれる単一のシステムにおいて手術ナビゲーションと統合されている。ロボットナビゲーションは、単一の合理化されたシステムにおいて両方の技術の利点を提供する。
【0006】
全ての手術ナビゲーション、ロボット誘導、及びロボットナビゲーションシステムは、システムの基準フレームの使用を通じて患者の解剖学的構造に対する医用画像の位置合わせを必要とする。光学ナビゲーションシステムの位置合わせは、典型的には、埋め込まれた放射線不透過性基準の配列に対して既知の場所に配置された追跡マーカの配列を含む位置合わせ固定具の使用を伴う。固定具は、基準が医用画像に埋め込まれ、追跡マーカが位置センサ（例えば、追跡デバイスの立体カメラ）に見えるように、患者及び撮像システムなどの周囲構造に取り付けられる。画像が捕捉された後、ソフトウェアアルゴリズムは、コンピュータビジョン及び画像処理を使用して、画像内の放射線不透過性基準場所を識別する。固定具上の追跡マーカに対する基準の場所は既知であり、カメラは、患者基準配列（動的基準配列又はＤＲＢとしても知られる）に対する固定具配列内の追跡マーカの位置を識別することができるので、システムは、次いで、医用画像を追跡システムに位置合わせするために複数の変換を計算することができる。
【0007】
術中に位置合わせ固定具を使用することにはいくつかの欠点がある。主な欠点は、患者上の所定の位置に既にある放射線不透過性基準で画像体積を捕捉する必要があることであり、これは術前に撮影された患者のスキャンがナビゲーションに使用できないことを意味する。更なる欠点は、画像体積／領域内に固定具基準を含めることによる、使用可能な画像空間の損失である。加えて、基準は、時に、重要な解剖学的構造の視野を妨げる可能性がある。位置合わせ固定具を用いて画像を捕捉するとき、必要な数の基準が含まれ、背景に対して十分なコントラストで見えることを確実にするように、特別な注意を払わなければならない。最後に、位置合わせ固定具は、保管され、洗浄され、ドレープ／滅菌され、術中に設置されなければならない追加のハードウェア構成要素であり、手術スタッフの時間及び複雑さの増加につながる。
【0008】
これに応じて、いくつかの会社（例えば、Ｍｅｄｔｒｏｎｉｃ Ｏ－ａｒｍ及びＳｔｅａｔｈＳｔａｔｉｏｎ）は、位置合わせ固定具を必要とせずに位置合わせされた術中画像を取得する方法（自動位置合わせ）を開発している。これを達成するために、これらのシステムは、撮像システムの既知の場所で一体化された又は取り外し可能な追跡配列を有する。次いで、関連付けられたナビゲーションシステムを使用して、患者基準配列に対する撮像システムナビゲーション配列の位置を追跡し、画像位置合わせを完了することができる。
【0009】
しかしながら、既存の解決策は、合理化されたシステムにおける手術ナビゲーション及びロボットワークフローに適応するため柔軟性が制限されている。医用画像体積への追跡を位置合わせするための術中スキャナの使用は、患者に再び照射して、新しい画像を捕捉することを必要とする。基準が存在しない状態で撮影された既存の医用画像体積を使用することができる解決策が依然として必要とされている。
【0010】
更に、ナビゲートされた手術の主な失敗の状態は、患者基準配列に対する患者解剖学的構造の移動による位置合わせの喪失である。位置合わせが外科的処置中に喪失した場合、外科チームは、３Ｄ撮像システムを手術部位に戻し、新たな位置合わせされた画像を捕捉する必要がある。この追加の３Ｄ画像の必要性は、患者をかなりの追加の放射線に曝し、麻酔下の時間を増加させ、病院の効率を低下させる。
【0011】
したがって、埋め込まれた放射線不透過性基準を使用せずに、医用画像を患者の解剖学的構造に位置合わせするためのシステム及び方法を提供することが望ましい。更に、手術中に位置合わせが喪失した場合、患者の別の完全な３Ｄスキャンを使用せずに位置合わせを迅速に復元するためのシステム及び方法を提供することが望ましい。
【発明の概要】
【0012】
本発明の一態様によれば、撮像空間内の患者の術前３Ｄ医用画像を追跡空間内の患者に位置合わせするシステム及び方法が開示される。本方法は、術前に撮像デバイスで撮影された患者解剖学的構造の３Ｄ画像を受信する。この時点で、３Ｄ画像は、手術台に横たわっている患者と位置合わせされていない。いったん患者が準備され、手術台上に横たわると、撮像デバイスが巻かれ、患者解剖学的構造の術中２Ｄ画像が、追跡デバイス（例えば、光学又は電磁追跡システム）によって追跡可能な撮像追跡マーカを有する撮像デバイスによって捕捉される。
【0013】
システムは、画像捕捉時に追跡デバイスから患者の対応する光学画像を受信し、光学画像は、撮像追跡マーカと、追跡デバイスによって追跡可能な患者追跡マーカを含む動的基準基部（ＤＲＢ）とを含む。
【0014】
次に、２Ｄ画像は、術前３Ｄ画像からデジタル的に再構成された、選択された配向及び位置における合成的に生成された医用画像である、対応する２Ｄシミュレート医用画像と一致させられる。Ｘ線医用撮像デバイスの場合、シミュレートされた画像は術前３Ｄ画像のＤＲＲ（デジタル再構成放射線写真）である。図示される実施形態では、ＤＲＲは、術前３Ｄ画像（例えば、３Ｄ画像体積の２Ｄスライスのセット／スタック）からデジタル的に再構成された、選択された配向及び角度でのシミュレートされた２Ｄ蛍光透視画像である。超音波の場合、それは、術前３Ｄ画像からの特定の配向及び位置での超音波スキャンを表す合成的に生成された２Ｄ画像である。
【0015】
次に、システムは、一致したＤＲＲと、受信された光学画像に含まれる患者追跡マーカ及び撮像追跡マーカとに基づいて、動的基準基部に対する受信された術前３Ｄ画像の姿勢の位置合わせを判定する。一致したＤＲＲの姿勢は、実際の２Ｄ画像の追跡された姿勢に対応するため、位置合わせが達成される。
【0016】
次に、本方法は、位置合わせされた３Ｄ画像及び３Ｄ画像の任意の選択された２Ｄ ＤＲＲを、視覚ナビゲーション支援のために表示された３Ｄ画像の上に重ね合わされた、追跡された外科用器具、その計画された軌道、及びエンドエフェクタと共にディスプレイ上に表示する。
【0017】
有利なことに、位置合わせ方法は、放射線不透過性基準が医用画像内に存在することを必要とせず、以前必要であったような位置合わせ固定具を撮像デバイスに取り付ける必要がない。その結果、本発明の方法は、処置時間を実質的に短縮し、患者の安全性を高め得る。
【0018】
本発明の別の態様によれば、画像内に基準（例えば、放射線不透過性マーカ）を埋め込むことなく、撮像空間内の患者の術中３Ｄ画像（３Ｄ ＣＴ又はＭＲＩ画像など）を、追跡される物理空間内の物理的患者に位置合わせするシステム及び方法が開示される。本システムは、追跡デバイスによって追跡可能な撮像追跡マーカを有する撮像デバイスによって捕捉された患者解剖学的構造の術中画像を受信し、患者は、追跡デバイスによって追跡可能な患者追跡マーカを含む動的基準基部を有する。本システムはまた、画像捕捉時に追跡デバイスから患者の光学画像を受信し、光学画像は、患者追跡マーカ及び撮像追跡マーカを含む。
【0019】
次に、本方法は、変換Ａ、Ｂ及びＣを判定する。動的基準基部に対する撮像デバイスの姿勢を表す変換Ａは、受信された光学画像に基づいて判定される。撮像デバイスに対する患者解剖学的構造の受信された画像の姿勢を表す変換Ｂは、受信された光学画像に基づいて判定される。動的基準基部に対する受信画像の姿勢を表す変換Ｃは、変換Ａと変換Ｂとを乗算することによって判定される。変換Ｃは、撮像空間内の患者画像の、物理空間内の物理的患者への位置合わせを表し、変換の全ては、いかなる基準も使用せずに行われる。
【0020】
次いで、本方法は、視覚ナビゲーション支援のために、位置合わせされた画像を、表示された３Ｄ画像の上に重ね合わされた追跡された外科用器具、その計画された軌道、及びエンドエフェクタと共にディスプレイ上に表示する。
【0021】
有利なことに、位置合わせ方法は、医用画像内に放射線不透過性基準を必要としないため、本方法は、処置時間を実質的に短縮し、患者の安全性を高め得る。また、患者の術前スキャンが必要ないため、コストを節約することができ、患者への不要な放射線被曝を排除し得る。
【0022】
本発明の別の態様によれば、撮像空間内の患者の３Ｄ画像の、物理空間内の物理的患者への位置合わせを復元するためのシステム及び方法が提供される。本システムは、患者解剖学的構造の３Ｄ画像を受信し、患者追跡マーカを含む動的基準基部に対して受信された３Ｄ画像の姿勢を位置合わせする。次いで、位置合わせされた３Ｄ画像は、外科的処置中に使用される。
【0023】
しかしながら、位置合わせが失われると、位置合わせは、患者の別の完全な３Ｄスキャンを実行することなく再確立される。本システムは、追跡デバイス（例えば、光学又は電磁）によって追跡可能な撮像追跡マーカを有する撮像デバイスによって捕捉された、異なる配向での患者解剖学的構造の２つ以上の術中２Ｄ画像（例えば、蛍光透視又は超音波）を受信する。本システムはまた、画像捕捉時に追跡デバイスから患者の対応する光学画像を受信し、光学画像は、患者追跡マーカ及び撮像追跡マーカを含む。
【0024】
受信された２Ｄ画像は、３Ｄ画像の対応するシミュレートされた２Ｄ画像（例えば、ＤＲＲ）と一致させられる。３Ｄ画像の位置合わせは、一致した対応するＤＲＲと、光学画像に含まれる患者追跡マーカ及び撮像追跡マーカとに基づいて再確立される。
【0025】
次いで、本方法は、視覚ナビゲーション支援のために、位置合わせされた３Ｄ画像を、表示された３Ｄ画像の上に重ね合わされた追跡された外科用器具、その計画された軌道、及びエンドエフェクタと共にディスプレイ上に表示する。
【0026】
有利なことに、位置合わせは、患者の別の完全な３Ｄスキャンを行うことなく少数の２Ｄ画像のみを用いて復元されるため、本方法は、処置時間を実質的に短縮し、患者の安全性を高め得る。
【0027】
本発明の別の態様によれば、撮像空間内の患者の術中２Ｄ医用画像を物理空間内の物理的患者に位置合わせするシステム及び方法が提供される。本システムは、追跡デバイスによって追跡可能な撮像追跡マーカを有する撮像デバイスによって捕捉された、異なる配向での患者解剖学的の術中２Ｄ画像を受信し、患者は、追跡デバイスによって追跡可能な患者追跡マーカを含む動的基準基部を有する。本システムはまた、画像捕捉時に追跡デバイスから患者の対応する光学画像を受信し、光学画像は、患者追跡マーカ及び撮像追跡マーカを含む。
【0028】
受信された各２Ｄ画像について、本方法は、次に、上述のように変換Ａ、Ｂ及びＣを判定する。変換Ｃは、撮像空間内の患者画像を物理空間内の物理的患者に位置合わせすることを表し、変換の全ては、放射線不透過性基準を使用せずに実行される。
【0029】
次いで、本方法は、視覚ナビゲーション支援のために、位置合わせされた２Ｄ画像を、表示された２Ｄ画像の上に重ね合わされた追跡された外科用器具、その計画された軌道、及びエンドエフェクタと共にディスプレイ上に表示する。
【0030】
本発明の別の態様によれば、撮像空間内の患者の術中２Ｄ画像を、物理空間内の物理的患者に位置合わせするシステム及び方法が提供される。本システムは、追跡デバイスによって追跡可能な撮像追跡マーカを有する撮像デバイスによって捕捉された、異なる配向での患者解剖学的の術中２Ｄ画像を受信し、患者は、追跡デバイスによって追跡可能な患者追跡マーカを含む動的基準基部を有する。本システムはまた、画像捕捉時に追跡デバイスから患者の対応する光学画像を受信し、光学画像は、患者追跡マーカ及び撮像追跡マーカを含む。
【0031】
受信された２Ｄ画像及び汎用３Ｄモデルに基づいて、本方法はカスタマイズされた３Ｄモデルを作成する。受信された各２Ｄ画像について、本方法は、２Ｄ画像を位置合わせするために、上述のように変換Ａ、Ｂ、及びＣを判定する。２Ｄ画像は、カスタマイズされた３Ｄモデルの対応するＤＲＲに一致させられ、それにより、カスタマイズされたモデルは、一致したＤＲＲに基づいて位置合わせすることができる。
【0032】
次いで、本方法は、視覚ナビゲーション支援のために、位置合わせされた３Ｄ画像を、表示された２Ｄ画像の上に重ね合わされた追跡された外科用器具、その計画された軌道、及びエンドエフェクタと共にディスプレイ上に表示する。この方法は、３Ｄスキャン撮像デバイスへのアクセスが利用可能でない場合であっても、合成的に作成された３Ｄモデルによるナビゲーションを可能にする。
【図面の簡単な説明】
【0033】
【図1】本発明の一実施形態による撮像システムの斜視図である。
【図2】本発明の一実施形態による撮像コントローラシステム４０の概略図である。
【図5】ケーブル配置を部分的に示すガントリの斜視図である。
【図6】ケーブル配置を示すガントリの斜視図である。
【図7】ケーブル配置を示すガントリの側面図である。
【図8】ガントリのＣアームを入れ子式に制御するためのモータアセンブリを示す。
【図9A】６０度増分でのガントリの３６０度回転を示す。
【図9B】６０度増分でのガントリの３６０度回転を示す。
【図9C】６０度増分でのガントリの３６０度回転を示す。
【図9D】６０度増分でのガントリの３６０度回転を示す。
【図9E】６０度増分でのガントリの３６０度回転を示す。
【図9F】６０度増分でのガントリの３６０度回転を示す。
【図9G】６０度増分でのガントリの３６０度回転を示す。
【図10】外科的処置中のロボットシステム、患者、外科医、及び他の医療従事者の場所に関する潜在的な配置の俯瞰図である。
【図11】一実施形態による患者に対する外科用ロボット及びカメラの位置決めを含むロボットシステムを示す。
【図12】例示的な一実施形態による外科用ロボットシステムを示す。
【図13】例示的な一実施形態による外科用ロボットの一部分を示す。
【図14】例示的な一実施形態による外科用ロボットのブロック図を示す。
【図15】例示的な一実施形態による外科用ロボットを示す。
【図16A】例示的な一実施形態によるエンドエフェクタを示す。
【図16B】例示的な一実施形態によるエンドエフェクタを示す。
【図16C】例示的な一実施形態によるエンドエフェクタを示す。
【図17】一実施形態による、外科用器具をエンドエフェクタのガイド管に挿入する前後の、外科用器具及びエンドエフェクタを示す。
【図18A】例示的な一実施形態によるエンドエフェクタ及びロボットアームの部分を示す。
【図18B】例示的な一実施形態によるエンドエフェクタ及びロボットアームの部分を示す。
【図18C】例示的な一実施形態によるエンドエフェクタ及びロボットアームの部分を示す。
【図19】例示的な一実施形態による、動的参照配列、撮像配列、及び他の構成要素を示す。
【図20】例示的な一実施形態による位置合わせの方法を示す。
【図21A】例示的な実施形態による撮像デバイスの実施形態を示す。
【図21B】例示的な実施形態による撮像デバイスの実施形態を示す。
【図22A】例示的な一実施形態による、ロボットアーム及びエンドエフェクタを含む、ロボットの一部分を示す。
【図22C】一実施形態による、複数の追跡マーカがその上に堅固に取り付けられたツール又は器具である。
【図23A】第１の構成における可動追跡マーカを伴うエンドエフェクタの代替バージョンである。
【図24A】単一の追跡マーカのみが取り付けられたエンドエフェクタの代替バージョンを示す。
【図25】ロボットのエンドエフェクタを所望の標的軌道にナビゲート及び移動させるための方法のブロック図である。
【図26A】固定追跡マーカ及び可動追跡マーカをそれぞれ収縮及び拡張位置に有する、拡張可能インプラントを挿入するための器具を示す。
【図26B】固定追跡マーカ及び可動追跡マーカをそれぞれ収縮及び拡張位置に有する、拡張可能インプラントを挿入するための器具を示す。
【図27A】それぞれ挿入位置及び傾斜位置にある固定追跡マーカ及び可動追跡マーカを有する連接インプラントを挿入するための器具を示す。
【図27B】それぞれ挿入位置及び傾斜位置にある固定追跡マーカ及び可動追跡マーカを有する連接インプラントを挿入するための器具を示す。
【図28】本発明の一態様による、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者画像をカメラ空間内の物理的患者に位置合わせするシステムを示す。
【図29】本発明の別の態様による、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者の術中３Ｄ画像を物理空間内の物理的患者に位置合わせする方法のフローチャートである。
【図30】本発明の別の態様による、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者の術中３Ｄ画像を物理空間内の物理的患者に位置合わせし、術中２Ｄ画像との３Ｄ画像の位置合わせを復元する方法のフローチャートである。
【図31】本発明の別の態様による、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者の術前３Ｄ画像を物理空間内の物理的患者に位置合わせし、術中２Ｄ画像との３Ｄ画像の位置合わせを復元する方法のフローチャートである。
【図32】本発明の別の態様による、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者の術中２Ｄ画像を物理空間内の物理的患者に位置合わせし、術中２Ｄ画像の別のセットとの２Ｄ画像の位置合わせを復元する方法のフローチャートである。
【図33】好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、患者の術中２Ｄ画像に基づいて合成的に作成された３Ｄ画像を位置合わせする方法のフローチャートである。
【図34】本発明の別の態様による撮像デバイスを較正するための較正固定具の斜視図である。
【発明を実施するための形態】
【0034】
本出願の目的上、「コード」、「ソフトウェア」、「プログラム」、「アプリケーション」、「ソフトウェアコード」、「ソフトウェアモジュール」、「モジュール」及び「ソフトウェアプログラム」という用語は、プロセッサによって実行可能なソフトウェア命令を意味するために互換的に使用される。「ユーザ」は、医師又は他の医療専門家であり得る。
【0035】
図１は、本発明の一実施形態による、コンピュータ断層撮影（ＣＴ）Ｘ線スキャナなどの撮像システム１０を示す概略図である。撮像システム１０は、可動ステーション６０及びガントリ５６を含む。可動ステーションは、垂直シャフト５９と、垂直シャフトに回転可能に取り付けられたガントリマウント５８とを含む。可動ステーション６０は、２つの前側全方向車輪６２と２つの後側全方向車輪６４とを含み、これらは共に可動ステーション６０をＸ－Ｙ平面内の任意の方向に移動させる。全方向車輪６２、６４は、例えば、Ａｃｔｉｖｅ Ｒｏｂｏｔｓ Ｌｉｍｉｔｅｄ ｏｆ Ｓｏｍｅｒｓｅｔ，Ｕ．Ｋ．から入手することができる。可動ステーション６０のハウジングに取り付けられた一対のハンドル１３は、ユーザがステーションを手動で操作することを可能にする。
【0036】
垂直シャフト５９に取り付けられたモータ６６は、ガントリマウント５８をＸ軸を中心に完全に３６０度回転させるように設計され、モータ６７は、制御モジュール５１の制御下でガントリマウント５８をｚ軸に沿って垂直に移動させる。
【0037】
ガントリ５６は、ガントリマウント５８に摺動可能に結合された第１のＣアーム７０と、第１のＣアームに摺動可能に結合された第２のＣアーム７２とを含む。図示される実施形態では、第１及び第２のＣアーム７０、７２は、それぞれ外側及び内側Ｃアームである。図示される実施形態では、外側及び内側Ｃアーム７０、７２は、形状が円形であり、中心軸線を中心に円周方向に回転して、ベッド１６に横たわっている患者を移動させる必要なしに患者の撮像を可能にする。
【0038】
Ｘ線ビーム送信器などの撮像信号送信器７４が第２のＣアーム７２の一方の側に取り付けられ、Ｘ線検出器配列などの撮像センサ７４が第２のＣアームの他方の側に取り付けられ、送信器に面している。動作中、Ｘ線送信器７４は、患者（図示せず）の関連部分を通過した後にＸ線検出器７６によって受信されるＸ線ビームを送信する。
【0039】
一実施形態では、システム１０は、手術を念頭において設計されたマルチモダリティＸ線撮像システムである。３つの撮像モダリティは、蛍光透視法、２Ｄ放射線撮影、及びコーンビームＣＴを含む。蛍光透視法は、Ｘ線動画によく似た連続的なＸ線画像をモニタ上に示す医療撮像技術である。２Ｄ放射線撮影は、Ｘ線を使用して、人体などの不均一に構成された不透明な物体の内部構造を見る撮像技術である。ＣアームＣＴとも呼ばれるＣＢＣＴ（コーンビーム３Ｄ撮像又はコーンビームコンピュータ断層撮影）は、Ｘ線が発散してコーンを形成するＸ線コンピュータ断層撮影からなる医療撮像技術である。
【0040】
可動ステーション６０は、（１）患者に対して撮像信号送信器７４を位置決めするために全方向車輪６２、６４、ガントリマウント５８、及びガントリ５６の動きを制御する機能と、（２）ガントリ５６が適切に位置決めされた後に患者を撮像するための撮像機能を制御する機能との二重機能を果たす撮像コントローラシステム４０を含む。
【0041】
ここで図２を参照すると、本発明の撮像コントローラシステム４０は、ＵＳＢ（ユニバーサルシリアルバス）インターフェースなどのＩ／Ｏインターフェース４２を介して通信リンク５２に接続され、Ｉ／Ｏインターフェースは、通信リンク５２から情報を受信し、通信リンク５２を介して情報を送信する。撮像コントローラシステム４０は、ＲＡＭ（ランダムアクセスメモリ）などのメモリ記憶装置４４、プロセッサ（ＣＰＵ）４６、ＲＯＭ又はＥＥＰＲＯＭ（登録商標）などのプログラム記憶装置４８、及びハードディスクなどのデータ記憶装置５０を含み、これらは全てバス５３を介して互いに共通に接続される。プログラム記憶装置４８は、とりわけ、撮像制御モジュール５４及び動き制御モジュール５１を記憶し、それぞれがプロセッサ４６によって実行されるソフトウェアを含む。プロセッサ４６によって実行される動き制御モジュール５１は、可動ステーション６０の車輪６２、６４と、ガントリマウント５８及びガントリ５６内の様々なモータとを制御して、患者の近くにステーション６０を位置決めし、患者の関連部分を撮像するために適切な位置にガントリを位置決めする。
【0042】
プロセッサ４６によって実行される撮像制御モジュール５４は、撮像信号送信器７４及び検出器配列７６を制御して、患者の身体を撮像する。一実施形態では、撮像制御モジュールは、身体の異なる平面層を撮像し、それらをメモリ４４に記憶する。加えて、撮像制御モジュール５４は、メモリ４４に記憶された画像のスタックを処理し、三次元画像を生成することができる。あるいは、記憶された画像は、画像処理のためにホストシステム（図示せず）に送信することができる。
【0043】
動き制御モジュール５１及び撮像制御モジュール５４は、ディスプレイデバイス１１ａ及び１１ｂ、並びにキーボード及びボタン１２及びジョイスティック１４などの入力デバイスを介してユーザと対話するユーザインターフェースモジュールを含む。ハンドル１５に取り付けられた歪みゲージ１３は、Ｉ／Ｏデバイス４２に結合され、以下でより詳細に説明するように、ユーザがハンドル１５を手で保持している間に、任意の方向（Ｘ、Ｙ、揺動）への可動ステーション１２の移動を簡便に提供する。ユーザインターフェースモジュールは、ユーザがガントリ５６を位置決めするのを支援する。プログラム記憶装置４８内のソフトウェアプログラムモジュール及びデータ記憶装置５０からのデータのいずれも、必要に応じてメモリ４４に転送することができ、ＣＰＵ４６によって実行される。ディスプレイデバイス１１ａは、ガントリマウント５８の近くで可動ステーション６０のハウジングに取り付けられ、ディスプレイデバイス１１ｂは、３つの回転可能なディスプレイアーム１６、１８及び２０を介して可動ステーションに結合される。第１のディスプレイアーム１６は可動ステーション６０に回転可能に取り付けられ、第２のディスプレイアーム１８は第１のアーム１６に回転可能に取り付けられ、第３のディスプレイアーム２０は第２のディスプレイアームに回転可能に取り付けられる。ディスプレイデバイス１１ａ、１１ｂは、ユーザに最大の柔軟性を提供するために、モジュール５１及び５４内のユーザインターフェースモジュールの使用を通じて入力デバイスとしても機能するタッチスクリーンを有することができる。
【0044】
ガントリマウント５８上に配置されたナビゲーションマーカ６８は、リンク５２を介して撮像コントローラシステム４０に接続される。動き制御モジュール５１の制御下で、マーカ６８は、ナビゲーションシステム（図示せず）を介して患者ベッド又はＯＲ（手術室）台に対するガントリ５６の自動又は半自動位置決めを可能にする。マーカ６８は、光学的、電磁気的などとすることができる。
【0045】
情報は、ナビゲーションシステムによって提供されて、ガントリ５６又はシステム１０に正確な場所を命じることができる。一例は、外科医がナビゲートされるプローブを所望の配向に保持し、撮像システム１０にその指定された軌道に沿ってＸ線透視画像又は放射線撮影画像を取得するように指示することであろう。有利なことに、これは偵察ショットの必要性を排除し、したがって患者及びＯＲスタッフへのＸ線被曝を低減する。ガントリ５６上のナビゲーションマーカ６８はまた、システム１０によって取得された２Ｄ又は３Ｄ画像の自動位置合わせを可能にする。マーカ６８はまた、患者が移動した場合に、システム１０の正確な再配置を可能にする。
【0046】
図示の実施形態では、システム１０は、全６自由度（「ＤＯＦ」）で大きな範囲の動きを提供する。動き制御モジュール５１の制御下では、２つの主な動きモード、すなわち、可動ステーション６０の位置決めとガントリ５６の位置決めとがある。
【0047】
可動ステーション６０の位置決めは、４つの全方向車輪６２、６４を介して達成される。これらの車輪６２、６４は、可動ステーション６０が水平面（Ｘ、Ｙ、揺動）の周りの３つのＤＯＦ全てにおいて位置決めされることを可能にする。「揺動」は、垂直軸（Ｚ軸）を中心としたシステム１０の回転であり、「Ｘ」は、Ｘ軸に沿ったシステムの前後位置決めであり、「Ｙ」は、Ｙ軸に沿ったシステム１０の横方向の動きである。制御モジュール５１の制御下で、システム１０は、Ｘ、Ｙ、及び揺動（全方向車輪６２、６４の使用による任意のＺ軸を中心とした揺動）の任意の組み合わせにおいて、無制限の運動範囲で位置決めすることができる。特に、全方向車輪６２、６４は、狭い空間、狭い廊下に位置決めすること、又は手術台若しくは患者ベッドの長さを正確に上下に移動することを可能にする。
【0048】
ガントリ５６の位置決めは、（Ｚ、傾斜、回転）について達成される。「Ｚ」はガントリ５６の垂直位置決めであり、「傾斜」は上述したようにＸ軸に平行な水平軸の周りの回転であり、「回転」は上述したようにＹ軸に平行な水平軸の周りの回転である。
【0049】
可動ステーション６０の位置決め及びガントリ５６の位置決めと共に、システム１０は、可動ステーション６０並びに撮像送信器７４及びセンサ７６をそれらが必要とされる場所に正確に配置するために、全６ＤＯＦ（Ｘ、Ｙ、揺動、Ｚ、傾斜、及び回転）における移動範囲を提供する。有利なことに、３Ｄ撮像は、患者が立っているか、座っているか、ベッドに横たわっているかにかかわらず、かつ患者を動かす必要なく実行することができる。
【0050】
システム１０の正確な位置は、記憶メモリ５０に記憶され、動き制御モジュール５１によっていつでも呼び出すことができる。これは、ガントリ５６の位置決めに限定されず、全方向車輪６２、６４によるシステム１０の位置決めも含む。
【0051】
図３に示されるように、ガントリマウント５８、外側Ｃアーム７０、及び内側Ｃアーム７２の各々は、互いに対向する一対の側方フレーム８６、８８、９０をそれぞれ有する。等間隔に配置された複数のローラ８４が、ガントリマウント５８の側方フレーム８６の内側に取り付けられている。外側Ｃアーム７０は、側方フレーム８８の外側に一対のガイドレール７８を有している。ローラ８４は、ガイドレール７８に結合されている。図示されるように、ローラ８４及びガイドレール７８は、外側Ｃアーム７８がガントリマウント５８に沿って伸縮自在に摺動して、Ｃアームがガントリマウントに対してその中心軸を中心に少なくとも１８０度回転できるように設計されている。
【0052】
外側Ｃアーム７０の側方フレーム８８の内側には、等間隔に配置された複数のローラ８０が取り付けられている。内側Ｃアーム７２は、側方フレーム９０の外側に一対のガイドレール８２を有する。ローラ８０は、ガイドレール８２に結合されている。図示されるように、ローラ８０及びガイドレール８２は、内側Ｃアーム７２が外側Ｃアーム７０に沿って入れ子式に摺動して、外側Ｃアームに対してＣアームがその中心軸を中心に少なくとも１８０度回転できるように設計されている。
【0053】
したがって、本明細書で開示する本発明は、有利なことに、ガントリ５６がその中心軸の周りを完全に３６０度回転することを可能にして、患者の妨害を最小限に抑えながら撮像システム１０を位置決めする際に最大の柔軟性を提供する。
【0054】
本発明の別の態様では、撮像システム１０をよりコンパクトにし、視覚的により魅力的にするような、独自のケーブル配置が提供される。図５及び図６に示されるように、ケーブルキャリア／ハーネス９２は、撮像コントローラシステム４０とガントリ５６内の様々なモータ、Ｘ線送信器７４、撮像センサ７６及び様々な電子回路との間で信号を搬送するための電気ケーブルを含む。第１のケーブルルータ９４が外側Ｃアーム７０の外面に取り付けられ、第２のケーブルルータ９６が内側Ｃアーム７２の外面に取り付けられている。各ケーブルルータ９４、９６は、ケーブルキャリア９２が通過する貫通孔９５、９７を有する。
【0055】
ケーブルキャリア９２は、ガントリマウント５６から第１のＣアーム７０の外面上を延び、第１のケーブルルータ９４の貫通孔９５を通り、第２のＣアーム７２の外面上を延びる。第１のＣアーム７０を覆うケーブルキャリア９２は、第１の周方向（図示されるように時計回り）９８に延在し、第１の周方向とは反対の第２の周方向（図示されるように反時計回り）９９に第１のケーブルルータ９４に入り、第１のＣアームの外面上に１８０度のサービスループを形成する。
【0056】
そこから、ケーブルキャリア９２は、第１の円周方向９８に延在し、第２の円周方向９９に第２のケーブルルータに入り、第２のＣアーム７２の外面上に別のサービスループを形成する。
【0057】
サービスループと組み合わされた第１及び第２のケーブルルータ９４、９６の特定の場所は、ケーブルキャリア９２の緩みを可能にして、ケーブルキャリアにおいてもつれたり、応力を引き起こしたりすることなく、ガントリ５６に完全な３６０度回転を提供する。図示される実施形態では、ルータはＣアームの中間点付近に取り付けられている。
【0058】
図８は、外側Ｃアーム７０をガントリマウント５８に対して伸縮自在に回転させ、内側Ｃアーム７２を外側Ｃアームに対して伸縮自在に回転させるために使用することができるモータアセンブリ１０１の一実施形態を示す。各モータアセンブリ１０１は、エンコーダフィードバックを有するサーボモータ１０３と、回転比を変更するためのギアボックス１０５と、駆動プーリ１０７と、アイドラプーリ１０８と、駆動プーリとアイドラプーリとの間に通されたベルト１１１とを含む。１つのモータアセンブリ１０１は、ガントリマウントに対して外側Ｃアーム７０を移動させるようにガントリマウントに搭載され、別のモータアセンブリは、外側Ｃアーム７０に対して内側Ｃアーム７０を移動させるようにアームの中心付近で外側Ｃアーム７０に搭載される。
【0059】
図９Ａ～図９Ｇは、６０度刻みで反時計回り方向にガントリ５６を３６０度回転させた状態を示しており、図９Ａは、撮像センサ７６及び送信器７４の０度位置を表している。図９Ｂは、ガントリ５６の６０度の回転／位置を表す。ガントリ５６が６０度回転する毎に、モータアセンブリ１０１は、動き制御モジュール５１の制御下で、６０度の複合回転のために、内側Ｃアーム７２を反時計回りに３０度回転させ、外側Ｃアーム７０も反時計回りに３０度回転させる。図９Ｇは、ガントリ５６の完全な３６０度回転を表している。図から分かるように、外側Ｃアーム７０及び内側Ｃアーム７２はそれぞれ、図９Ａの元の０度の位置から１８０度移動している。
【0060】
上記で詳細に説明したように、様々な実施形態における本発明は、以下の利点を提供する：（１）全方向車輪６２、６４の使用による任意のＺ軸の周りの揺動を伴う任意のＸ－Ｙ方向におけるシステムの移動、（２）撮像ビームを完全に３６０度回転させるための二重入れ子式Ｃガントリ、（３）立位ＣＢＣＴのような、臥床中、座位、又は立位中の撮像、（４）システム１０及びガントリ５６の位置の記憶及び呼び出し、（５）準同時多断面Ｘ線撮像、（６）ロボット又はナビゲーション座標を介した位置の呼び出し。
【0061】
ここで図面を参照すると、図１０及び図１１は、例示的な一実施形態による外科用ロボットシステム１００を示す。外科用ロボットシステム１００は、例えば、外科用ロボット１０２と、１つ以上のロボットアーム１０４と、基部１０６と、ディスプレイ１１０と、例えばガイド管１１４を含むエンドエフェクタ１１２と、１つ以上の追跡マーカ１１８と、を含み得る。外科用ロボットシステム１００は、患者２１０に（例えば、患者２１０の骨に）直接固定されるように適合された１つ以上の追跡マーカ１１８も含む患者追跡デバイス１１６を含み得る。外科用ロボットシステム１００はまた、例えば、カメラスタンド２０２上に位置付けられたカメラ２００を利用し得る。カメラスタンド２０２は、カメラ２００を所望の位置に移動、配向、及び支持するための任意の好適な構成を有し得る。カメラ２００は、１つ以上の赤外線カメラ（例えば、二焦点又は立体写真測量カメラ）などの任意の好適なカメラ（単数又は複数）を含んでもよく、例えば、カメラ２００の視点から視認可能な所与の測定体積において、アクティブ及びパッシブ追跡マーカ１１８を識別し得る。カメラ２００は、所与の測定体積をスキャンし、三次元においてマーカ１１８の位置を識別し、判定するためにマーカ１１８に由来する光を検出し得る。例えば、アクティブマーカ１１８は、電気信号（例えば、赤外線発光ダイオード（light emitting diode、ＬＥＤ））によってアクティブ化される赤外線発光マーカを含み得、パッシブマーカ１１８は、例えば、カメラ２００又は他の好適なデバイス上の照明器によって発せられる赤外光を反射する（例えば、入射光の方向への入射ＩＲ放射を反射する）再帰反射マーカを含み得る。
【0062】
図１０及び図１１は、手術室環境における外科用ロボットシステム１００の配置に関する潜在的な構成を示す。例えば、ロボット１０２は、患者２１０の近く又はその隣に位置付けられてもよい。患者２１０の頭部の近くに示されているが、ロボット１０２は、手術を受ける患者２１０の領域に応じて、患者２１０の近くの任意の適切な場所に位置付けられ得ることが理解されよう。カメラ２００は、ロボットシステム１００から分離され、患者２１０の足元に位置付けられてもよい。この場所により、カメラ２００は、術野２０８に対する直接的な視線を有することが可能になる。繰り返すが、カメラ２００は、術野２０８への視線を有する任意の適切な位置に配置され得ることが企図される。図示の構成では、外科医１２０は、ロボット１０２の向かい側に位置付けられてもよいが、依然としてエンドエフェクタ１１２及びディスプレイ１１０を操作することができる。外科助手１２６は、エンドエフェクタ１１２及びディスプレイ１１０の両方にアクセスできるように、同じく外科医１２０の向かい側に位置付けられてもよい。必要に応じて、外科医１２０及び助手１２６の場所は逆にされてもよい。麻酔医１２２及び看護師又は外科技術師１２４の従来の領域は、ロボット１０２及びカメラ２００の場所にとらわれない。
【0063】
ロボット１０２の他の構成要素に関して、ディスプレイ１１０は、外科用ロボット１０２に装着することができ、他の例示的な実施形態では、ディスプレイ１１０は、外科用ロボット１０２のある手術室内又は遠隔場所のいずれかにおいて、外科用ロボット１０２から取り外すことができる。エンドエフェクタ１１２は、ロボットアーム１０４に結合され、少なくとも１つのモータによって制御され得る。例示的な実施形態では、エンドエフェクタ１１２は、患者２１０に手術を行うために使用される外科用器具６０８（本明細書で更に説明される）を受容し、配向することができるガイド管１１４を含み得る。本明細書で使用される場合、「エンドエフェクタ」という用語は、「エンドエフェクチュエータ」及び「エフェクチュエータ要素」という用語と互換的に使用される。一般的にガイド管１１４と共に示されるが、エンドエフェクタ１１２は、手術での使用に適した任意の好適な器具類に置き換えられてもよいことが理解されるであろう。いくつかの実施形態では、エンドエフェクタ１１２は、所望の方法で外科用器具６０８の移動をもたらすための任意の既知の構造を含むことができる。
【0064】
外科用ロボット１０２は、エンドエフェクタ１１２の並進及び配向を制御することが可能である。ロボット１０２は、例えば、ｘ、ｙ、及びｚ軸に沿ってエンドエフェクタ１１２を移動させることが可能である。エンドエフェクタ１１２は、ｘ、ｙ、及びｚ軸、並びにＺフレーム軸（エンドエフェクタ１１２に関連するオイラー角（例えば、ロール、ピッチ、及び／又はヨー）のうちの１つ以上が選択的に制御され得るように）のうちの１つ以上を中心に選択的に回転するように構成され得る。いくつかの例示的な実施形態では、エンドエフェクタ１１２の並進及び配向の選択的制御は、例えば、回転軸のみを含む６自由度ロボットアームを利用する従来のロボットと比較して、著しく改善された精度を有する医療処置の実行を可能にすることができる。例えば、外科用ロボットシステム１００は、患者２１０上で動作するために使用され得、ロボットアーム１０４は、患者２１０の身体の上に位置決めすることができ、エンドエフェクタ１１２は、患者２１０の身体に向かってｚ軸に対して選択的に角度付けされている。
【0065】
いくつかの例示的な実施形態では、外科用器具６０８の位置は、外科用ロボット１０２が処置中に常に外科用器具６０８の場所を認識することができるように、動的に更新することができる。その結果、いくつかの例示的な実施形態では、外科用ロボット１０２は、医師からの更なる支援なしに（医師がそのように望む場合を除いて）、外科用器具６０８を所望の位置に迅速に移動させ得る。いくつかの更なる実施形態では、外科用ロボット１０２は、外科用器具６０８が選択された予め計画された軌道から外れる場合、外科用器具６０８の経路を補正するように構成することができる。いくつかの例示的な実施形態では、外科用ロボット１０２は、エンドエフェクタ１１２及び／又は外科用器具６０８の移動の停止、修正、及び／又は手動制御を可能にするように構成することができる。したがって、使用中、例示的な実施形態では、医師又は他のユーザは、システム１００を動作させることができ、エンドエフェクタ１１２及び／又は外科用器具６０８の自律移動を停止、修正、又は手動制御する選択肢を有する。外科用ロボット１０２による外科用器具６０８の制御及び移動を含む外科用ロボットシステム１００の更なる詳細は、同時係属中の米国特許出願第１３／９２４，５０５号に見出すことができ、その全体が参照により本明細書に組み込まれる。
【0066】
ロボット外科用システム１００は、ロボットアーム１０４、エンドエフェクタ１１２、患者２１０、及び／又は外科用器具６０８の移動を三次元で追跡するように構成された１つ以上の追跡マーカ１１８を備え得る。例示的な実施形態では、複数の追跡マーカ１１８は、例えば、限定することなく、ロボット１０２の基部１０６上、ロボットアーム１０４上、又はエンドエフェクタ１１２上などのロボット１０２の外側表面上に取り付けられ得る（ないしは別の方法で固定され得る）。例示的な実施形態では、複数の追跡マーカ１１８のうちの少なくとも１つの追跡マーカ１１８は、エンドエフェクタ１１２に取り付けられるか、又は別の方法で固定され得る。１つ以上の追跡マーカ１１８が、更に患者２１０に取り付けられ得る（ないしは別の方法で固定され得る）。例示的な実施形態では、複数の追跡マーカ１１８は、外科医、外科用ツール、又はロボット１０２の他の部分によって覆い隠される可能性を低減するために、術野２０８から離間して患者２１０上に位置決めすることができる。更に、１つ以上の追跡マーカ１１８は、外科用ツール６０８（例えば、ねじ回し、拡張器、インプラント挿入器など）に更に取り付けられ得る（ないしは別の方法で固定され得る）。このようにして、追跡マーカ１１８は、マーキングされた物体（例えば、エンドエフェクタ１１２、患者２１０、及び外科用ツール６０８）のそれぞれがロボット１０２によって追跡されることを可能にする。例示的な実施形態では、システム１００は、マーキングされた物体のそれぞれから収集された追跡情報を使用して、例えば、エンドエフェクタ１１２、外科用器具６０８（例えば、エンドエフェクタ１１２の管１１４内に位置付けられている）、及び患者２１０の相対位置の配向及び場所を計算し得る。
【0067】
例示的な実施形態では、マーカ１１８のうちの１つ以上は、光学マーカであってもよい。いくつかの実施形態では、エンドエフェクタ１１２上の１つ以上の追跡マーカ１１８の位置決めは、エンドエフェクタ１１２の位置をチェック又は検証する役割を果たすことによって、位置測定の精度を最大化し得る。外科用ロボット１０２及び外科用器具６０８の制御、移動、及び追跡を含む外科用ロボットシステム１００の更なる詳細は、同時係属中の米国特許出願第１３／９２４，５０５号に見出すことができ、その全体が参照により本明細書に組み込まれる。
【0068】
例示的な実施形態は、外科用器具６０８に結合された１つ以上のマーカ１１８を含む。例示的な実施形態では、例えば、患者２１０及び外科用器具６０８に結合されたこれらのマーカ１１８、並びにロボット１０２のエンドエフェクタ１１２に結合されたマーカ１１８は、従来の赤外線発光ダイオード（ＬＥＤ）、又はＯｐｔｏｔｒａｋ（登録商標）などの市販の赤外線光学追跡システムを使用して追跡することができるＯｐｔｏｔｒａｋ（登録商標）ダイオードを含み得る。Ｏｐｔｏｔｒａｋ（登録商標）は、Ｎｏｒｔｈｅｒｎ Ｄｉｇｉｔａｌ Ｉｎｃ．，Ｗａｔｅｒｌｏｏ，Ｏｎｔａｒｉｏ，Ｃａｎａｄａの登録商標である。他の実施形態では、マーカ１１８は、Ｐｏｌａｒｉｓ Ｓｐｅｃｔｒａなどの市販の光学追跡システムを使用して追跡することができる従来の反射球を含み得る。Ｐｏｌａｒｉｓ Ｓｐｅｃｔｒａも、Ｎｏｒｔｈｅｒｎ Ｄｉｇｉｔａｌ，Ｉｎｃ．の登録商標である。例示的な一実施形態では、エンドエフェクタ１１２に結合されたマーカ１１８は、オン及びオフにすることが可能な赤外線発光ダイオードを含むアクティブマーカであり、患者２１０及び外科用器具６０８に結合されたマーカ１１８は、パッシブ反射球を含む。
【0069】
例示的な実施形態では、マーカ１１８から放射された光及び／又はマーカ１１８によって反射された光は、カメラ２００によって検出され得、マーキングされた物体の場所及び移動を監視するために使用され得る。代替の実施形態では、マーカ１１８は、無線周波数及び／又は電磁反射器若しくはトランシーバを含み得、カメラ２００は、無線周波数及び／若しくは電磁トランシーバを含むか、又は無線周波数及び／若しくは電磁トランシーバに置き換えられ得る。
【0070】
外科用ロボットシステム１００と同様に、図１２は、本開示の例示的な一実施形態と一致する、ドッキング構成の外科用ロボットシステム３００及びカメラスタンド３０２を示す。外科用ロボットシステム３００は、ディスプレイ３０４、上部アーム３０６、下部アーム３０８、エンドエフェクタ３１０、垂直カラム３１２、キャスター３１４、キャビネット３１６、タブレットドロワ３１８、コネクタパネル３２０、制御パネル３２２、及び情報のリング３２４を含むロボット３０１を備え得る。カメラスタンド３０２は、カメラ３２６を含み得る。これらの構成要素は、図１４に関してより詳細に説明される。図１２は、例えば、使用されていないときに、カメラスタンド３０２がロボット３０１と入れ子になるドッキング構成の外科用ロボットシステム３００を示す。カメラ３２６及びロボット３０１は、例えば、図１０及び図１１に示されるように、外科的処置中に相互から分離され、任意の適切な場所に位置付けられてもよいことが、当業者には理解されよう。
【0071】
図１３は、本開示の例示的な一実施形態と一致する基部４００を示す。基部４００は、外科用ロボットシステム３００の一部分であってもよく、キャビネット３１６を含んでもよい。キャビネット３１６は、バッテリ４０２、配電モジュール４０４、プラットフォームインターフェースボードモジュール４０６、コンピュータ４０８、ハンドル４１２、及びタブレットドロワ４１４を含むがこれらに限定されない、外科用ロボットシステム３００の特定の構成要素を収容し得る。これらの構成要素間の接続及び関係は、図１４に関してより詳細に説明される。
【0072】
図１４は、外科用ロボットシステム３００の例示的な一実施形態の特定の構成要素のブロック図を示す。外科用ロボットシステム３００は、プラットフォームサブシステム５０２、コンピュータサブシステム５０４、動き制御サブシステム５０６、及び追跡サブシステム５３２を備え得る。プラットフォームサブシステム５０２は、バッテリ４０２、配電モジュール４０４、プラットフォームインターフェースボードモジュール４０６、及びタブレット充電ステーション５３４を更に備え得る。コンピュータサブシステム５０４は、コンピュータ４０８、ディスプレイ３０４、及びスピーカ５３６を更に備え得る。動き制御サブシステム５０６は、ドライバ回路５０８、モータ５１０、５１２、５１４、５１６、５１８、安定器５２０、５２２、５２４、５２６、エンドエフェクタ３１０、及びコントローラ５３８を更に備え得る。追跡サブシステム５３２は、位置センサ５４０及びカメラコンバータ５４２を更に備え得る。システム３００はまた、フットペダル５４４及びタブレット５４６を備え得る。
【0073】
入力電力は、配電モジュール４０４に提供され得る電源５４８を介してシステム３００に供給される。配電モジュール４０４は、入力電力を受信し、システム３００の他のモジュール、構成要素、及びサブシステムに提供される異なる電源電圧を生成するように構成されている。配電モジュール４０４は、プラットフォームインターフェースモジュール４０６に異なる電圧供給を提供するように構成されてもよく、異なる電圧供給は、コンピュータ４０８、ディスプレイ３０４、スピーカ５３６、ドライバ５０８などの他の構成要素に提供され、例えば、モータ５１２、５１４、５１６、５１８及びエンドエフェクタ３１０、モータ５１０、リング３２４、カメラコンバータ５４２、並びにシステム３００の他の構成要素、例えば、キャビネット３１６内の電気構成要素を冷却するためのファンに電力を供給し得る。
【0074】
配電モジュール４０４はまた、タブレットドロワ３１８内に位置し得るタブレット充電ステーション５３４などの他の構成要素に電力を供給し得る。タブレット充電ステーション５３４は、テーブル５４６を充電するためにタブレット５４６と無線又は有線通信し得る。タブレット５４６は、本開示と一致し、本明細書に記載される外科医によって使用され得る。
【0075】
配電モジュール４０４はまた、配電モジュール４０４が入力電力５４８から電力を受信しない場合に一時的な電源として機能するバッテリ４０２に接続されてもよい。他の時点で、配電モジュール４０４は、必要に応じてバッテリ４０２を充電するのに役立ち得る。
【0076】
プラットフォームサブシステム５０２の他の構成要素はまた、コネクタパネル３２０、制御パネル３２２、及びリング３２４を含み得る。コネクタパネル３２０は、異なるデバイス及び構成要素をシステム３００並びに／又は関連付けられた構成要素及びモジュールに接続するのに役立ち得る。コネクタパネル３２０は、異なる構成要素からの回線又は接続を受容する１つ以上のポートを含み得る。例えば、コネクタパネル３２０は、システム３００を他の機器に接地し得る接地端子ポートと、フットペダル５４４をシステム３００に接続するためのポートと、位置センサ５４０、カメラコンバータ５４２、及びカメラスタンド３０２に関連付けられたカメラ３２６を備え得る追跡サブシステム５３２に接続するためのポートと、を有し得る。コネクタパネル３２０はまた、コンピュータ４０８などの他の構成要素へのＵＳＢ、イーサネット（登録商標）、ＨＤＭＩ（登録商標）通信を可能にするための他のポートを含み得る。
【0077】
制御パネル３２２は、システム３００の動作を制御する、及び／又はシステム３００に関する情報を提供する、様々なボタン又はインジケータを提供し得る。例えば、制御パネル３２２は、システム３００の電源をオン又はオフにするためのボタン、垂直カラム３１２を上げ下げするためのボタン、及びキャスター３１４と係合してシステム３００が物理的に移動しないようにロックするように設計され得る安定器５２０～５２６を上げ下げするためのボタンを含み得る。全てのモータ電力を除去し、機械的ブレーキを適用して全ての運動が発生するのを停止させ得る他のボタンは、緊急時にシステム３００を停止させ得る。制御パネル３２２はまた、バッテリ４０２の回線電力インジケータ又は充電状態などの特定のシステム状態をユーザに通知するインジケータを有し得る。
【0078】
リング３２４は、システム３００が動作している種々のモードと、ユーザへの特定の警告とをシステム３００のユーザに通知するための視覚的インジケータであり得る。
【0079】
コンピュータサブシステム５０４は、コンピュータ４０８と、ディスプレイ３０４と、スピーカ５３６と、を含む。コンピュータ５０４は、システム３００を動作させるためのオペレーティングシステム及びソフトウェアを含む。コンピュータ５０４は、情報をユーザに表示するために、他の構成要素（例えば、追跡サブシステム５３２、プラットフォームサブシステム５０２、及び／又は動き制御サブシステム５０６）から情報を受信し、処理し得る。更に、コンピュータサブシステム５０４は、ユーザに音声を提供するために、スピーカ５３６も含み得る。
【0080】
追跡サブシステム５３２は、位置センサ５０４及びコンバータ５４２を含み得る。追跡サブシステム５３２は、図１２に関して説明したようなカメラ３２６を含むカメラスタンド３０２に対応し得る。位置センサ５０４はカメラ３２６であってもよい。追跡サブシステムは、システム３００の異なる構成要素及び／又は外科的処置中にユーザによって使用される器具上に位置する特定のマーカの場所を追跡し得る。この追跡は、ＬＥＤ又は反射マーカなどのアクティブ要素又はパッシブ要素の場所をそれぞれ追跡する赤外線技術の使用を含む、本開示と一致する方法で行われ得る。これらのタイプのマーカを有する構造の場所、配向、及び位置は、コンピュータ４０８に提供され、ディスプレイ３０４上でユーザに示されてもよい。例えば、これらのタイプのマーカを有し、（ナビゲーション空間と称され得る）この方法で追跡される外科用器具６０８は、患者の解剖学的構造の三次元画像に関連してユーザに示されてもよい。
【0081】
動き制御サブシステム５０６は、垂直カラム３１２、上部アーム３０６、下部アーム３０８を物理的に移動させるか、又はエンドエフェクタ３１０を回転させるように構成され得る。物理的な移動は、１つ以上のモータ５１０～５１８の使用を通じて行われ得る。例えば、モータ５１０は、垂直カラム３１２を垂直に上げ下げするように構成され得る。モータ５１２は、図１２に示されるように、垂直カラム３１２との係合点の周りで上部アーム３０８を横方向に移動させるように構成され得る。モータ５１４は、図１２に示されるように、上部アーム３０８との係合点の周りで下部アーム３０８を横方向に移動させるように構成され得る。モータ５１６及び５１８は、１つがロールを制御し得、１つが傾斜を制御し得るような方法でエンドエフェクタ３１０を移動させるように構成されてもよく、それによって、エンドエフェクタ３１０が移動され得る複数の角度を提供する。これらの移動は、エンドエフェクタ３１０上に配設され、ユーザによって起動されるロードセルを介してこれらの移動を制御し、これらのロードセルに係合してシステム３００を所望の方法で移動させ得るコントローラ５３８によって達成され得る。
【0082】
更に、システム３００は、ユーザがディスプレイ３０４（タッチスクリーン入力デバイスであってもよい）上で、ディスプレイ３０４上の患者の解剖学的構造の三次元画像上の外科用器具又は構成要素の場所を示すことを通じて、垂直カラム３１２、上部アーム３０６、及び下部アーム３０８の自動移動を提供し得る。ユーザは、フットペダル５４４を踏むか又は他の何らかの入力手段によって、この自動移動を開始することができる。
【0083】
図１５は、例示的な一実施形態に一致する外科用ロボットシステム６００を示す。外科用ロボットシステム６００は、エンドエフェクタ６０２と、ロボットアーム６０４と、ガイド管６０６と、器具６０８と、ロボット基部６１０と、を備え得る。器具ツール６０８は、１つ以上の追跡マーカ（マーカ１１８など）を含む追跡配列６１２に装着され得、関連付けられた軌道６１４を有し得る。軌道６１４は、器具ツール６０８が、ガイド管６０６を通して位置付けられるか又はガイド管６０６内に固定されると進行するように構成される移動の経路、例えば、器具ツール６０８の患者内への挿入経路を表し得る。例示的な手術において、ロボット基部６１０は、外科用ロボットシステム６００が、患者２１０を手術する際にユーザ（例えば、外科医）を支援し得るように、ロボットアーム６０４及びエンドエフェクタ６０２と電子通信するように構成され得る。外科用ロボットシステム６００は、前述の外科用ロボットシステム１００及び３００と一致し得る。
【0084】
追跡配列６１２は、器具ツール６０８の場所及び配向を監視するために、器具６０８上に取り付けられ得る。追跡配列６１２は、器具６０８に装着され得、追跡マーカ８０４を含み得る。図１７に最もよく見られるように、追跡マーカ８０４は、例えば、発光ダイオード及び／又は他のタイプの反射マーカ（例えば、本明細書の他の場所に記載されるようなマーカ１１８）であってもよい。追跡デバイスは、外科用ロボットシステムに関連付けられた１つ以上の視線デバイスであってもよい。一例として、追跡デバイスは、外科用ロボットシステム１００、３００に関連付けられた１つ以上のカメラ２００、３２６であってもよく、また、ロボットアーム６０４、ロボット基部６１０、エンドエフェクタ６０２、及び／又は患者２１０に対する器具６０８の画定された範囲又は相対的な配向について追跡配列６１２を追跡してもよい。追跡デバイスは、カメラスタンド３０２及び追跡サブシステム５３２に関連して説明される構造と一致してもよい。
【0085】
図１６Ａ、図１６Ｂ、及び図１６Ｃは、例示的な一実施形態に一致するエンドエフェクタ６０２の上面図、正面図、及び側面図をそれぞれ示す。エンドエフェクタ６０２は、１つ以上の追跡マーカ７０２を含み得る。追跡マーカ７０２は、発光ダイオード、又は前述した追跡マーカ１１８などの他のタイプのアクティブマーカ及びパッシブマーカであり得る。例示的な一実施形態では、追跡マーカ７０２は、電気信号（例えば、赤外線発光ダイオード（ＬＥＤ））によってアクティブ化される赤外線発光のアクティブマーカである。したがって、追跡マーカ７０２は、赤外線マーカ７０２がカメラ２００、３２６に可視であるようにアクティブ化されてもよく、又は赤外線マーカ７０２がカメラ２００、３２６に不可視であるように非アクティブ化されてもよい。したがって、マーカ７０２がアクティブであるとき、エンドエフェクタ６０２は、システム１００、３００、６００によって制御され得、マーカ７０２が非アクティブ化されているとき、エンドエフェクタ６０２は、所定の位置にロックされ、システム１００、３００、６００によって移動させることが不可能になり得る。
【0086】
マーカ７０２は、マーカ７０２が１つ以上のカメラ２００、３２６又は外科用ロボットシステム１００、３００、６００に関連付けられた他の追跡デバイスに可視であるように、エンドエフェクタ６０２上又はその内部に配設されてもよい。カメラ２００、３２６又は他の追跡デバイスは、エンドエフェクタ６０２が異なる位置及び視野角に移動する際に、追跡マーカ７０２の移動に追従することによってエンドエフェクタ６０２を追跡し得る。マーカ７０２及び／又はエンドエフェクタ６０２の場所は、外科用ロボットシステム１００、３００、６００に関連付けられたディスプレイ１１０、３０４、例えば、図１１に示されるディスプレイ１１０及び／又は図１２に示されるディスプレイ３０４上に表示され得る。このディスプレイ１１０、３０４は、エンドエフェクタ６０２がロボットアーム６０４、ロボット基部６１０、患者２１０、及び／又はユーザに対して望ましい位置にあることをユーザが確実にすることを可能にし得る。
【0087】
例えば、図１６Ａに示されるように、マーカ７０２は、術野２０８から離れて配置され、ロボット１０２、３０１及びカメラ２００、３２６の方を向いている追跡デバイスが、追跡デバイス１００、３００、６００に対するエンドエフェクタ６０２の共通配向の範囲を通して、マーカ７０２のうちの少なくとも３つを視認することができるように、エンドエフェクタ６０２の表面の周りに配置されてもよい。例えば、このようにマーカ７０２を分散させることにより、エンドエフェクタ６０２が術野２０８内で並進及び回転されるときに、エンドエフェクタ６０２が追跡デバイスによって監視されることが可能になる。
【0088】
加えて、例示的な実施形態では、エンドエフェクタ６０２は、外部カメラ２００、３２６がマーカ７０２を読み取る準備ができているときを検出し得る赤外線（ＩＲ）受信機を装備してもよい。この検出に際し、エンドエフェクタ６０２は次いで、マーカ７０２を照明してもよい。外部カメラ２００、３２６がマーカ７０２を読み取る準備ができていることがＩＲ受信機によって検出されると、発光ダイオードであり得るマーカ７０２のデューティサイクルを外部カメラ２００、３２６に同期させる必要があることが信号で知らされ得る。これはまた、ロボットシステム全体としてのより低い電力消費を可能にし得、マーカ７０２は、連続的に照明される代わりに、適切な時間にのみ照明されることになる。更に、例示的な実施形態では、マーカ７０２は、異なるタイプの外科用器具６０８などの他のナビゲーションツールとの干渉を防止するために、電源オフにされてもよい。
【0089】
図１７は、追跡配列６１２及び追跡マーカ８０４を含む１つのタイプの外科用器具６０８を示す。追跡マーカ８０４は、発光ダイオード又は反射球を含むがこれらに限定されない、本明細書に記載の任意のタイプのものであり得る。マーカ８０４は、外科用ロボットシステム１００、３００、６００に関連付けられた追跡デバイスによって監視され、視線カメラ２００、３２６のうちの１つ以上であり得る。カメラ２００、３２６は、追跡配列６１２及びマーカ８０４の位置及び配向に基づいて、器具６０８の場所を追跡し得る。外科医１２０などのユーザは、例えば、例示的外科用ロボットシステムのディスプレイ１１０上に器具６０８及びマーカ８０４を表示するために、追跡配列６１２及びマーカ８０４が追跡デバイス又はカメラ２００、３２６によって十分に認識されるように、器具６０８を配向することができる。
【0090】
外科医１２０が器具６０８をエンドエフェクタ６０２のガイド管６０６内に配置し、器具６０８を調整し得る方法は、図１７で明らかである。エンドエフェクタ１１２、３１０、６０２の中空管又はガイド管１１４、６０６は、外科用器具６０８の少なくとも一部分を受容するようにサイズ決めされ、構成される。ガイド管１１４、６０６は、外科用器具６０８の挿入及び軌道が患者２１０の身体の中又はその上の所望の解剖学的標的に到達することができるように、ロボットアーム１０４によって配向されるように構成される。外科用器具６０８は、概ね円筒形の器具の少なくとも一部分を含み得る。ねじ回しが外科用ツール６０８として例示されているが、任意の好適な外科用ツール６０８がエンドエフェクタ６０２によって位置付けられ得ることが理解されよう。例として、外科用器具６０８は、ガイドワイヤ、カニューレ、レトラクタ、ドリル、リーマ、ねじ回し、挿入ツール、除去ツールなどのうちの１つ以上を含み得る。中空管１１４、６０６は、概して、円筒形構成を有するものとして示されているが、ガイド管１１４、６０６は、外科用器具６０８を収容し、手術部位にアクセスするために所望される任意の好適な形状、サイズ、及び構成を有し得ることが、当業者には理解されよう。
【0091】
図１８Ａ～図１８Ｃは、例示的な一実施形態と一致するエンドエフェクタ６０２及びロボットアーム６０４の一部分を示す。エンドエフェクタ６０２は、本体１２０２及びクランプ１２０４を更に含み得る。クランプ１２０４は、ハンドル１２０６、ボール１２０８、ばね１２１０、及びリップ１２１２を含み得る。ロボットアーム６０４は、凹部１２１４、取り付けプレート１２１６、リップ１２１８、及び磁石１２２０を更に含み得る。
【0092】
エンドエフェクタ６０２は、１つ以上の結合を介して外科用ロボットシステム及びロボットアーム６０４と機械的に干渉及び／又は係合し得る。例えば、エンドエフェクタ６０２は、位置決め結合部及び／又は補強結合を介してロボットアーム６０４と係合し得る。これらの結合によって、エンドエフェクタ６０２は、可撓性の無菌バリアの外側でロボットアーム６０４と締結し得る。例示的な一実施形態では、位置決め結合は、磁気運動学的マウントであり得、補強結合は、５棒オーバーセンタークランプリンケージであり得る。
【0093】
位置決め結合に関して、ロボットアーム６０４は、非磁性材料であり得る取り付けプレート１２１６、１つ以上の凹部１２１４、リップ１２１８、及び磁石１２２０を含み得る。磁石１２２０は、凹部１２１４のそれぞれの下に取り付けられる。クランプ１２０４の部分は、磁性材料を含み、１つ以上の磁石１２２０によって引き付けられ得る。クランプ１２０４及びロボットアーム６０４の磁気引力によって、ボール１２０８は、それぞれの凹部１２１４内に着座する。例えば、図１８Ｂに示されるようなボール１２０８は、図１８Ａに示されるような凹部１２１４内に着座することになる。この着座は、磁気的に補助された運動学的結合と見なされ得る。磁石１２２０は、エンドエフェクタ６０２の配向にかかわらず、エンドエフェクタ６０２の全重量を支持するのに十分な強度を有するように構成され得る。位置決め結合は、６自由度を独自に拘束する任意の形式の運動学的マウントであり得る。
【0094】
補強結合に関して、クランプ１２０４の部分は、固定接地リンクであるように構成されてもよく、したがって、クランプ１２０４は、５棒リンケージとして役立ち得る。リップ１２１２及びリップ１２１８が、エンドエフェクタ６０２及びロボットアーム６０４を固定するようにクランプ１２０４に係合する際、クランプハンドル１２０６を閉鎖することにより、エンドエフェクタ６０２はロボットアーム６０４に締結され得る。クランプハンドル１２０６が閉鎖されると、クランプ１２０４がロック位置にある一方、ばね１２１０は伸張されるか又は応力が加えられ得る。ロック位置は、中心を越えたリンケージを提供する位置であってもよい。閉鎖位置が中心を越えているため、クランプ１２０４を解放するためにクランプハンドル１２０６に力が加えられなければリンケージは開放されない。したがって、ロック位置では、エンドエフェクタ６０２は、ロボットアーム６０４に堅固に固定され得る。
【0095】
ばね１２１０は、張力がかかった湾曲ビームであってもよい。ばね１２１０は、バージンＰＥＥＫ（ポリエーテルエーテルケトン）などの高い剛性及び高い降伏歪みを呈する材料から構成されてもよい。エンドエフェクタ６０２とロボットアーム６０４との間のリンケージは、２つの結合の締結を妨げることなく、エンドエフェクタ６０２とロボットアーム６０４との間に無菌バリアを提供し得る。
【0096】
補強結合は、複数のばね部材を有するリンケージであってもよい。補強結合は、カム又は摩擦ベースの機構でラッチしてもよい。補強結合はまた、エンドエフェクタ１０２をロボットアーム６０４に締結することを支持する十分に強力な電磁石であってもよい。補強結合は、エンドエフェクタ６０２及び／又はロボットアーム６０４のいずれかから完全に分離したマルチピースカラーであってもよく、エンドエフェクタ６０２とロボットアーム６０４との間の境界面上を摺動し、ねじ機構、オーバーセンターリンケージ、又はカム機構で締め付ける。
【0097】
図１０及び図１１を参照すると、外科的処置の前又は最中に、ナビゲーション空間及び画像空間の両方において物体及び患者２１０の標的解剖学的構造を追跡するために、特定の位置合わせ処置が行われ得る。このような位置合わせを行うために、図１９に示すような位置合わせシステム１４００が使用され得る。
【0098】
患者２１０の位置を追跡するために、患者追跡デバイス１１６は、患者２１０の剛性解剖学的構造に固定される患者固定器具１４０２を含み得、動的基準基部（ＤＲＢ）１４０４は、患者固定器具１４０２にしっかりと装着され得る。例えば、患者固定器具１４０２は、動的基準基部１４０４の開口部１４０６内に挿入され得る。動的基準基部１４０４は、追跡サブシステム５３２などの追跡デバイスに可視であるマーカ１４０８を含み得る。これらのマーカ１４０８は、本明細書で前述したように、追跡マーカ１１８などの光学マーカ又は反射球であり得る。
【0099】
患者固定器具１４０２は、患者２１０の硬い解剖学的構造に装着され、外科的処置を通して装着されたままであってもよい。例示的な一実施形態では、患者固定器具１４０２は、患者２１０の硬い領域、例えば、外科的処置を受ける標的解剖学的構造から離れて位置する骨に装着される。標的解剖学的構造を追跡するために、動的基準基部１４０４は、標的解剖学的構造の場所に動的基準基部１４０４を位置合わせするために、標的解剖学的構造上又はその近くに一時的に配置される位置合わせ固定具を使用することによって、標的解剖学的構造に関連付けられる。
【0100】
位置合わせ固定具１４１０は、枢動アーム１４１２を使用することによって患者固定器具１４０２に装着される。枢動アーム１４１２は、位置合わせ固定具１４１０の開口部１４１４を通して患者固定器具１４０２を挿入することによって患者固定器具１４０２に装着される。枢動アーム１４１２は、例えば、枢動アーム１４１２の開口部１４１８を通してノブ１４１６を挿入することによって、位置合わせ固定具１４１０に装着される。
【0101】
位置合わせ固定具１４１０は、枢動アーム１４１２を使用して、標的解剖学的構造の上に配置されてもよく、その場所は、位置合わせ固定具１４１０上の追跡マーカ１４２０及び／又は基準１４２２を使用して、画像空間及びナビゲーション空間内で決定され得る。位置合わせ固定具１４１０は、ナビゲーション空間内で可視であるマーカ１４２０の集合を含み得る（例えば、マーカ１４２０は、追跡サブシステム５３２によって検出可能であり得る）。追跡マーカ１４２０は、本明細書で前述したように、赤外光で可視の光学マーカであってもよい。位置合わせ固定具１４１０はまた、撮像空間（例えば、三次元ＣＴ画像）内で可視である、例えば、ベアリングボールなどの基準１４２２の集合を含み得る。図２０に関してより詳細に説明されるように、標的解剖学的構造は、位置合わせ固定具１４１０を使用して動的基準基部１４０４と関連付けられ得、それによって、ナビゲーション空間内の物体の描写を解剖学的構造の画像上に重ね合わせることが可能になる。標的解剖学的構造から離れた位置に配置された動的基準基部１４０４は、基準点になり得、それによって、位置合わせ固定具１４１０及び／又は枢動アーム１４１２を手術領域から除去することが可能になる。
【0102】
図２０は、本開示と一致する位置合わせのための例示的な方法１５００を示す。方法１５００は、ステップ１５０２で始まり、標的解剖学的構造のグラフィカル表現（又は画像（複数可））が、システム１００、３００、６００、例えばコンピュータ４０８にインポートされ得る。グラフィカル表現は、位置合わせ固定具１４１０及び基準１４２０の検出可能な撮像パターンを含む、患者２１０の標的解剖学的構造の三次元ＣＴ又は蛍光透視スキャンであり得る。
【0103】
ステップ１５０４において、基準１４２０の撮像パターンが検出され、撮像空間において位置合わせされ、コンピュータ４０８に記憶される。任意選択的に、この時点でステップ１５０６において、位置合わせ固定具１４１０のグラフィカル表現が、標的解剖学的構造の画像上に重ね合わされてもよい。
【0104】
ステップ１５０８において、マーカ１４２０を認識することによって、位置合わせ固定具１４１０のナビゲーションパターンが検出され、位置合わせされる。マーカ１４２０は、位置センサ５４０を介して追跡サブシステム５３２によって赤外光を通してナビゲーション空間内で認識される光学マーカであってもよい。したがって、標的解剖学的構造の場所、配向、及び他の情報は、ナビゲーション空間内で位置合わせされる。したがって、位置合わせ固定具１４１０は、基準１４２２の使用による画像空間と、マーカ１４２０の使用によるナビゲーション空間との両方において認識され得る。ステップ１５１０において、画像空間における位置合わせ固定具１４１０の位置合わせがナビゲーション空間に転送される。この転送は、例えば、マーカ１４２０のナビゲーションパターンの位置と比較した基準１４２２の撮像パターンの相対位置を使用することによって行われる。
【0105】
ステップ１５１２において、（画像空間と位置合わせされた）位置合わせ固定具１４１０のナビゲーション空間の位置合わせは、患者固定器具１４０２に装着された動的位置合わせ配列１４０４のナビゲーション空間に更に転送される。したがって、ナビゲーション空間が画像空間に関連付けられているため、位置合わせ固定具１４１０は除去されてもよく、動的基準基部１４０４が、ナビゲーション空間と画像空間の両方で標的解剖学的構造を追跡するために使用されてもよい。
【0106】
ステップ１５１４及び１５１６において、ナビゲーション空間は、ナビゲーション空間内で可視のマーカを有する画像空間及び物体（例えば、光学マーカ８０４を有する外科用器具６０８）に重ね合わされてもよい。物体は、標的解剖学的構造の画像上の外科用器具６０８のグラフィカル表現を通じて追跡され得る。
【0107】
図２１Ａ～図２１Ｂは、患者２１０の術前、術中、術後、及び／又はリアルタイムの画像データを取得するためにロボットシステム１００、３００、６００と併せて使用され得る撮像デバイス１３０４を示す。任意の適切な対象物が、任意の適切な処置のために、撮像システム１３０４を使用して撮像され得る。撮像システム１３０４は、撮像デバイス１３０６及び／又はＣアーム１３０８デバイスなどの任意の撮像デバイスであり得る。Ｘ線システムにおいて必要とされ得る患者２１０の頻繁な手動再配置を必要とせずに、多数の異なる位置から患者２１０のＸ線を撮ることが望ましい場合がある。図２１Ａに示されるように、撮像システム１３０４は、「Ｃ」字形状の対向する遠位端１３１２で終端する細長いＣ字形部材を含むＣアーム１３０８の形態であってもよい。Ｃ字形部材１１３０は、Ｘ線源１３１４及び画像レセプタ１３１６を更に含んでもよい。アームのＣアーム１３０８内の空間は、医師がＸ線支持構造１３１８からの干渉を実質的に受けずに患者に接する余地を提供し得る。図２１Ｂに示されるように、撮像システムは、図示されない画像捕捉部分を囲い込み得る、車輪１３３２を伴う車輪付き移動カート１３３０などの支持構造撮像デバイス支持構造１３２８に装着されるガントリハウジング１３２４を有する、撮像デバイス１３０６を含み得る。画像捕捉部分は、Ｘ線源及び／又は発光部分並びにＸ線受信部分及び／又は画像受信部分を含み、これらは、互いに約１８０度に配設され、画像捕捉部分の軌道に対してロータ（図示せず）に取り付けられてもよい。画像捕捉部分は、画像取得中に３６０度回転するように動作可能であってもよい。画像捕捉部分は、中心点及び／又は軸の周りを回転してもよく、患者２１０の画像データが複数の方向から又は複数の平面内で取得されることを可能にする。特定の撮像システム１３０４が本明細書において例示されるが、任意の好適な撮像システムが当業者によって選択され得ることが理解されよう。
【0108】
ここで図２２Ａ～２２Ｃを参照すると、外科用ロボットシステム１００、３００、６００は、所望の術野に対するエンドエフェクタ１１２、６０２、外科用器具６０８、及び／又は患者２１０（例えば、患者追跡デバイス１１６）の正確な位置決めに依存する。図２２Ａ～２２Ｃに示される実施形態では、追跡マーカ１１８、８０４は、器具６０８及び／又はエンドエフェクタ１１２の一部に堅固に取り付けられる。
【0109】
図２２Ａは、基部１０６、ロボットアーム１０４、及びエンドエフェクタ１１２を含むロボット１０２を伴う外科用ロボットシステム１００の一部を示す。ディスプレイやカメラなどの図示されていない他の要素も、本明細書で説明されるように存在し得る。図２２Ｂは、エンドエフェクタ１１２に堅固に取り付けられたガイド管１１４及び複数の追跡マーカ１１８を有するエンドエフェクタ１１２の拡大図を示す。本実施形態では、複数の追跡マーカ１１８が、ガイド管１１２に取り付けられている。図２２Ｃは、器具６０８に堅固に取り付けられた複数の追跡マーカ８０４を有する器具６０８（この場合、プローブ６０８Ａ）を示す。本明細書の他の場所で説明されるように、器具６０８は、限定ではないが、ガイドワイヤ、カニューレ、開創器、ドリル、リーマ、ねじ回し、挿入ツール、除去ツール、又は同等物などの任意の好適な外科用器具を含むことができる。
【0110】
器具６０８、エンドエフェクタ１１２、又は３Ｄで追跡される他の物体を追跡するとき、追跡マーカ１１８、８０４の配列は、ツール６０８又はエンドエフェクタ１１２の一部に堅固に取り付けられ得る。好ましくは、追跡マーカ１１８、８０４は、マーカ１１８、８０４が邪魔にならないように（例えば、外科手術、可視性などを妨げないように）取り付けられる。マーカ１１８、８０４は、器具６０８、エンドエフェクタ１１２、又は例えば配列６１２を用いて追跡される他の物体に取り付けられてもよい。通常、３つ又は４つのマーカ１１８、８０４が、配列６１２と共に使用される。配列６１２は、線形部分、横材を含んでもよく、マーカ１１８、８０４が互いに対して異なる相対位置及び場所にあるように非対称であり得る。例えば、図２２Ｃに示されるように、４マーカ追跡配列６１２を伴うプローブ６０８Ａが示され、図２２Ｂは、異なる４マーカ追跡配列６１２を伴うエンドエフェクタ１１２を示す。
【0111】
図２２Ｃでは、追跡配列６１２は、プローブ６０８Ａのハンドル６２０として機能する。したがって、４つのマーカ８０４は、シャフト６２２及び先端６２４の邪魔にならないプローブ６０８Ａのハンドル６２０に取り付けられる。これらの４つのマーカ８０４の立体写真測量追跡は、器具６０８が剛体として追跡されることを可能にし、プローブ６０８Ａが追跡カメラ２００、３２６の前であちこち移動される間に、追跡システム１００、３００、６００が、先端６２４の位置及びシャフト６２２の配向を正確に判定することを可能にする。
【0112】
１つ以上のツール６０８、エンドエフェクタ１１２、又は３Ｄで追跡される他の物体（例えば、複数の剛体）の自動追跡を可能にするために、各ツール６０８、エンドエフェクタ１１２などのマーカ１１８、８０４は、既知のマーカ間間隔で非対称に配置される。非対称位置合わせの理由は、どのマーカ１１８、８０４が剛体上の特定の場所に対応するか、及びマーカ１１８、８０４が前面から見られているか後面から見られているか、すなわち鏡像化されているかが明確になるようにするためである。例えば、マーカ１１８、８０４がツール６０８又はエンドエフェクタ１１２上で正方形に配置された場合、システム１００、３００、６００にとって、どのマーカ１１８、８０４が正方形のどの角に対応したかは不明瞭である。例えば、プローブ６０８Ａでは、どのマーカ８０４がシャフト６２２に最も近いかが不明である。したがって、シャフト６２２が配列６１２からどの方向に延びているかは不明である。したがって、各配列６１２、したがって各ツール６０８、エンドエフェクタ１１２、又は追跡されるべき他の物体は、追跡されている他のツール６０８又は他の物体から識別されることを可能にするために、固有のマーカパターンを有するべきである。非対称性及び固有のマーカパターンは、システム１００、３００、６００が個々のマーカ１１８、８０４を検出し、次いで、記憶されたテンプレートに対してマーカ間隔をチェックして、どのツール６０８、エンドエフェクタ１１２、又は他の物体を表わすかを判定することを可能にする。次に、検出されたマーカ１１８、８０４を自動的にソートし、正しい順序で各追跡対象に割り当てることができる。この情報がなければ、ユーザが、どの検出されたマーカ１１８、８０４が各剛体上のどの位置に対応するかを手動で指定しない限り、剛体計算を実行して、例えば、ツール先端６２４及びシャフト６２２の位置合わせなどの重要な幾何学的情報を抽出することができない。これらの概念は、３Ｄ光学追跡の方法の当業者に一般的に知られている。
【0113】
ここで図２３Ａ～２３Ｄを参照すると、可動追跡マーカ９１８Ａ～９１８Ｄを有するエンドエフェクタ９１２の代替バージョンが示されている。図２３Ａでは、可動追跡マーカ９１８Ａ～９１８Ｄを有する配列が第１の構成で示されており、図２３Ｂでは、可動追跡マーカ９１８Ａ～９１８Ｄが、第１の構成に対して角度が付けられた第２の構成で示されている。図２３Ｃは、例えば、図２３Ａの第１の構成においてカメラ２００、３２６によって見られるような追跡マーカ９１８Ａ～９１８Ｄのテンプレートを示し、図２３Ｄは、例えば、図２３Ｂの第２の構成においてカメラ２００、３２６によって見られるような追跡マーカ９１８Ａ～９１８Ｄのテンプレートを示す。
【0114】
本実施形態では、マーカ９１８Ａ～９１８Ｄが全て剛体に対して固定位置にあるわけではなく、その代わりに、配列マーカ９１８Ａ～９１８Ｄのうちの１つ以上を、例えば試験中に調整して、追跡されるマーカ９１８Ａ～９１８Ｄの自動検出及びソートのためのプロセスを中断することなく、追跡されている剛体に関する更新された情報を与えることができる４マーカ配列追跡が企図される。
【0115】
ロボットシステム１００、３００、６００のエンドエフェクタ９１２に接続されたガイド管９１４などの任意のツールを追跡するとき、追跡配列の主な目的は、カメラ座標系におけるエンドエフェクタ９１２の位置を更新することである。例えば、図２２Ｂに示されるように、剛性システムを使用するとき、反射マーカ１１８の配列６１２は、ガイド管１１４から剛性的に延在する。追跡マーカ１１８は堅固に接続されているため、カメラ座標系におけるマーカ場所を知ることはまた、カメラ座標系におけるガイド管１１４の中心線、先端、及び後端の正確な場所を提供する。典型的には、そのような配列６１２からのエンドエフェクタ１１２の位置についての情報、及び別の追跡されたソースからの目標軌道の場所についての情報は、ガイド管１１４を軌道と整列するように移動させ、先端を軌道ベクトルに沿って特定の場所に移動させるロボット１０２の各軸に対して入力しなければならない必要な移動を計算するために使用される。
【0116】
時には、所望の軌道は厄介な場所又は到達不可能な場所にあるが、ガイド管１１４を旋回させることができれば、到達することができる。例えば、ロボット１０２の基部１０６から離れる方向を指す非常に急勾配の軌道は、ガイド管１１４がピッチ（手首の上下角度）軸の限界を超えて上方に旋回され得る場合に到達可能であり得るが、ガイド管１１４が手首の端部にそれを接続するプレートに平行に取り付けられる場合には到達可能でなくなる可能性がある。そのような軌道に到達するために、ロボット１０２の基部１０６が移動されてもよく、又は異なるガイド管アタッチメントを伴う異なるエンドエフェクタ１１２が、作業エンドエフェクタと交換されてもよい。これらの解決策は両方とも、時間がかかり、面倒であり得る。
【0117】
図２３Ａ及び２３Ｂに最もよく示されるように、配列９０８が、マーカ９１８Ａ～９１８Ｄのうちの１つ以上が固定位置になく、代わりに、マーカ９１８Ａ～９１８Ｄのうちの１つ以上を調整、旋回、旋回、又は移動することができるように構成される場合、ロボット１０２は、検出及び追跡プロセスを中断することなく、追跡されている物体に関する更新された情報を提供することができる。例えば、マーカ９１８Ａ～９１８Ｄのうちの１つは、定位置に固定されてもよく、他のマーカ９１８Ａ～９１８Ｄは、移動可能であってもよい。マーカ９１８Ａ～９１８Ｄのうちの２つは所定の位置に固定されてもよく、他のマーカ９１８Ａ～９１８Ｄは移動可能であってもよい。マーカ９１８Ａ～９１８Ｄのうちの３つは所定の位置に固定されてもよく、他のマーカ９１８Ａ～９１８Ｄは移動可能であってもよい。又は、マーカ９１８Ａ～９１８Ｄの全てが移動可能であってもよい。
【0118】
図２３Ａ及び２３Ｂに示される実施形態では、マーカ９１８Ａ、９１８Ｂは、エンドエフェクタ９１２の基部９０６に直接堅く接続され、マーカ９１８Ｃ、９１８Ｄは、管９１４に堅く接続される。配列６１２と同様に、配列９０８が、マーカ９１８Ａ～９１８Ｄをエンドエフェクタ９１２、器具６０８、又は追跡される他の物体に取り付けるために設けられてもよい。しかしながら、この場合、配列９０８は、複数の別個の構成要素からなる。例えば、マーカ９１８Ａ、９１８Ｂは、第１の配列９０８Ａで基部９０６に接続されてもよく、マーカ９１８Ｃ、９１８Ｄは、第２の配列９０８Ｂでガイド管９１４に接続されてもよい。マーカ９１８Ａは、第１の配列９０８Ａの第１の端部に取り付けられてもよく、マーカ９１８Ｂは、直線距離だけ分離され、第１の配列９０８Ａの第２の端部に取り付けられてもよい。第１の配列９０８は、実質的に直線状であるが、第２の配列９０８Ｂは、屈曲又はＶ字形構成を有し、それぞれの根元端部は、ガイド管９１４に接続され、そこから遠位端にＶ字形に分岐し、マーカ９１８Ｃが一方の遠位端にあり、マーカ９１８Ｄが他方の遠位端にある。本明細書では特定の構成が例示されているが、異なる数及びタイプの配列９０８Ａ、９０８Ｂ、並びに異なる配置、数、及びタイプのマーカ９１８Ａ～９１８Ｄを含む他の非対称設計が企図されることが理解されよう。
【0119】
ガイド管９１４は、例えば、ヒンジ９２０又は基部９０６への他のコネクタを横切って、基部９０６に対して移動可能、旋回可能、又は枢動可能であってもよい。したがって、マーカ９１８Ｃ、９１８Ｄは、ガイド管９１４が枢動、旋回、又は移動するとき、マーカ９１８Ｃ、９１８Ｄも枢動、旋回、又は移動するように移動可能である。図２３Ａに最もよく示されるように、ガイド管９１４は、マーカ９１８Ａ～９１８Ｄが第１の構成を有するように、実質的に垂直又は垂直配向で整列される長手方向軸９１６を有する。ここで図２３Ｂを参照すると、ガイド管９１４は、マーカ９１８Ａ～９１８Ｄが第１の構成とは異なる第２の構成を有するように、長手方向軸９１６が垂直配向に対して角度をなすように枢動、旋回、又は移動される。
【0120】
図２３Ａ～図２３Ｄに関して説明した実施形態とは対照的に、４つのマーカ９１８Ａ～９１８Ｄの全てがガイド管９１４に堅固に取り付けられたままである状態で、ガイド管９１４とアーム１０４（例えば、手首取付具）との間にスイベルが存在し、このスイベルがユーザによって調整された場合、ロボットシステム１００、３００、６００は、ガイド管９１４の配向が変化したことを自動的に検出することができない。ロボットシステム１００、３００、６００は、マーカ配列９０８の位置を追跡し、ガイド管９１４が以前の配向で手首（ロボットアーム１０４）に取り付けられたと仮定して、不正確なロボット軸移動を計算する。１つ以上のマーカ９１８Ａ～９１８Ｄ（例えば、２つのマーカ９１８Ｃ、９１８Ｄ）を管９１４上に堅固に保持し、１つ以上のマーカ９１８Ａ～９１８Ｄ（例えば、２つのマーカ９１８Ａ、９１８Ｂ）をスイベルにわたって保持することによって、新しい位置の自動検出が可能になり、ロボットアーム１０４の端部上の新しいツール又はエンドエフェクタ１１２、９１２の検出に基づいて正しいロボット移動が計算される。
【0121】
マーカ９１８Ａ～９１８Ｄのうちの１つ以上は、任意の好適な手段に従って、移動、枢動、旋回などされるように構成される。例えば、マーカ９１８Ａ～９１８Ｄは、クランプ、ばね、レバー、スライド、トグルなどのヒンジ９２０、又はマーカ９１８Ａ～９１８Ｄを個別に又は組み合わせて移動させ、配列９０８Ａ、９０８Ｂを個別に又は組み合わせて移動させ、エンドエフェクタ９１２の任意の部分を別の部分に対して移動させ、又はツール６０８の任意の部分を別の部分に対して移動させるための任意の他の適切な機構によって移動させることができる。
【0122】
図２３Ａ及び２３Ｂに示されるように、配列９０８及びガイド管９１４は、単にクランプ又はヒンジ９２０を緩め、配列９０８Ａ、９０８Ｂの一部を他の部分９０８Ａ、９０８Ｂに対して移動させ、ガイド管９１４が異なる位置に配向されるようにヒンジ９２０を締め直すことによって再構成可能になり得る。例えば、２つのマーカ９１８Ｃ、９１８Ｄは、管９１４と堅固に相互接続されてもよく、２つのマーカ９１８Ａ、９１８Ｂは、ヒンジ９２０を横断して、ロボットアーム１０４に取り付けられるエンドエフェクタ９１２の基部９０６に堅固に相互接続されてもよい。ヒンジ９２０は、ユーザが第１の構成（図２３Ａ）と第２の構成（図２３Ｂ）との間で迅速に切り替えることを可能にするように、緩められ、再び締められることができる、蝶ナットなどのクランプの形態であってもよい。
【0123】
カメラ２００、３２６は、例えば、図２３Ｃ及び２３Ｄにおいて識別されるテンプレートのうちの１つにおいて、マーカ９１８Ａ～９１８Ｄを検出する。配列９０８が第１の構成（図２３Ａ）にあり、追跡カメラ２００、３２６がマーカ９１８Ａ～９１８Ｄを検出した場合、追跡されたマーカは、図２３Ｃに示すように配列テンプレート１に一致する。配列９０８が第２の構成（図２３Ｂ）であり、追跡カメラ２００、３２６が同じマーカ９１８Ａ～９１８Ｄを検出した場合、追跡されたマーカは、図２３Ｄに示すように配列テンプレート２に一致する。配列テンプレート１及び配列テンプレート２は、システム１００、３００、６００によって、２つの別個のツールとして認識され、各々は、ガイド管９１４と、マーカ９１８Ａ～９１８Ｄと、ロボットアタッチメントとの間で独自に定義された空間関係を有する。したがって、ユーザは、システム１００、３００、６００に変化を通知することなく、第１の構成と第２の構成との間でエンドエフェクタ９１２の位置を調整することができ、システム１００、３００、６００は、軌道上に留まるようにロボット１０２の動きを適切に調整する。
【0124】
本実施形態では、システム１００、３００、６００がアセンブリを２つの異なるツール又は２つの異なるエンドエフェクタとして認識することを可能にする固有のテンプレートにマーカ配列が一致する２つのアセンブリ位置がある。これらの２つの位置（すなわち、それぞれ、図２３Ｃ及び２３Ｄに示される配列テンプレート１及び配列テンプレート２）の間又は外側の旋回の任意の位置において、マーカ９１８Ａ～９１８Ｄは、任意のテンプレートと一致せず、システム１００、３００、６００は、個々のマーカ９１８Ａ～９１８Ｄがカメラ２００、３２６によって検出されているにもかかわらず、存在する任意の配列を検出せず、その結果、マーカ９１８Ａ～９１８Ｄがカメラ２００、３２６の視野から一時的に遮断された場合と同じである。他の配列テンプレートが、例えば、異なる器具６０８又は他のエンドエフェクタ１１２、９１２などを識別する、他の構成のために存在し得ることが理解されるであろう。
【0125】
説明される実施形態では、２つの別個のアセンブリ位置が、図２３Ａ及び２３Ｂに示される。しかしながら、スイベルジョイント、線形ジョイント、スイベルジョイントと線形ジョイントとの組み合わせ、ペグボード、又は他のアセンブリ上に複数の別個の位置が存在する可能性があり、そこで、配列の１つ以上のマーカ９１８Ａ～９１８Ｄの位置を他のマーカに対して調整することによって固有のマーカテンプレートが作成され得、各別個の位置は、特定のテンプレートに整合し、異なる既知の属性を有する固有のツール６０８又はエンドエフェクタ１１２、９１２を画定することを理解されたい。加えて、エンドエフェクタ９１２について例示されているが、可動及び固定マーカ９１８Ａ～９１８Ｄは、任意の好適な器具６０８又は追跡される他の物体と共に使用されてもよいことが理解されるであろう。
【0126】
（例えば、図２２Ａ及び２２Ｂに描写されるように）ロボットのエンドエフェクタ１１２に取り付けられた３つ以上のマーカの完全剛体配列を追跡するために外部３Ｄ追跡システム１００、３００、６００を使用するとき、カメラ２００、３２６の座標系におけるロボット１０２のあらゆる区分の３Ｄ位置を直接追跡又は計算することが可能である。トラッカに対するジョイントの幾何学的配向は、設計によって知られており、ジョイントの直線位置又は角度位置は、ロボット１０２の各モータのエンコーダから既知であり、エンドエフェクタ１１２から基部１１６までの可動部品の全ての３Ｄ位置を完全に定義する。同様に、トラッカがロボット１０２の基部１０６（図示せず）上に搭載された場合、各モータのエンコーダからの既知のジョイント形状及びジョイント位置に基づいて、基部１０６からエンドエフェクタ１１２までのロボット１０２のあらゆるセクションの３Ｄ位置を追跡又は計算することが同様に可能である。
【0127】
いくつかの状況では、エンドエフェクタ１１２に堅固に取り付けられた３つ未満のマーカ１１８からロボット１０２の全てのセグメントの位置を追跡することが望ましい場合がある。具体的には、ツール６０８がガイド管１１４内に導入される場合、１つの追加マーカ１１８のみが追跡される状態で、ロボット９０２の完全剛体運動を追跡することが望ましい場合がある。
【0128】
ここで図２４Ａ～２４Ｅを参照すると、単一の追跡マーカ１０１８のみを有するエンドエフェクタ１０１２の代替バージョンが示されている。エンドエフェクタ１０１２は、本明細書に記載される他のエンドエフェクタと同様であってもよく、長手方向軸１０１６に沿って延在するガイド管１０１４を含み得る。本明細書で説明される他の追跡マーカと同様の単一の追跡マーカ１０１８が、ガイド管１０１４に堅固に取り付けられてもよい。この単一のマーカ１０１８は、完全な剛体追跡を可能にするために失われた自由度を追加する目的を果たすことができる、及び／又はロボット及びカメラの位置決めに関する仮定が有効であることを保証するために監視マーカとして機能する目的を果たすことができる。
【0129】
単一の追跡マーカ１０１８は、任意の好都合な方向に突出し、外科医の視界を妨げない、エンドエフェクタ１０１２への剛性延長部としてロボットエンドエフェクタ１０１２に取り付けられてもよい。追跡マーカ１０１８は、ガイド管１０１４又はエンドエフェクタ１０１２上の任意の他の好適な場所に取り付けられてもよい。ガイド管１０１４に取り付けられると、追跡マーカ１０１８は、ガイド管１０１４の第１の端部と第２の端部との間の場所に位置決めされ得る。例えば、図２４Ａでは、単一の追跡マーカ１０１８は、ガイド管１０１４から前方に延在し、ガイド管１０１４の中点の上でガイド管１０１４の入口の下に長手方向に配置された細いシャフト１０１７の端部に搭載された反射球として示されている。この位置は、マーカ１０１８がカメラ２００、３２６によって概ね可視であることを可能にするが、外科医１２０の視界を妨げたり、手術の近くの他のツール又は物体と衝突したりすることがない。更に、この位置にマーカ１０１８を有するガイド管１０１４は、ガイド管１０１４上の単一のマーカ１０１８が見えるのと同時に、ガイド管１０１４に導入された任意のツール６０８上のマーカ配列が見えるように設計されている。
【0130】
図２４Ｂに示されるように、ぴったりと適合するツール又は器具６０８がガイド管１０１４内に配置されるとき、器具６０８は、６自由度のうちの４つで機械的に拘束されるようになる。すなわち、器具６０８は、ガイド管１０１４の長手方向軸１０１６の周りを除いて任意の方向に回転させることができず、器具６０８は、ガイド管１０１４の長手方向軸１０１６に沿った方向を除いて任意の方向に並進させることができない。換言すれば、器具６０８は、ガイド管１０１４の中心線に沿って並進し、その中心線を中心に回転することのみが可能である。（１）ガイド管１０１４の長手方向軸１０１６を中心とした回転角、及び（２）ガイド管１０１４に沿った位置など、更に２つのパラメータが既知である場合、カメラ座標系におけるエンドエフェクタ１０１２の位置が完全に定義される。
【0131】
ここで図２４Ｃを参照すると、システム１００、３００、６００は、ツール６０８が実際にガイド管１０１４の内側に位置決めされ、代わりにガイド管１０１４の外側ではなく、カメラ２００、３２６の視野内のどこかにあるときを知ることができるはずである。ツール６０８は、長手方向軸又は中心線６１６と、複数の追跡されるマーカ８０４を有する配列６１２とを有する。剛体計算は、ツール６０８上の配列６１２の追跡された位置に基づいて、ツール６０８の中心線６１６がカメラ座標系においてどこに位置するかを判定するために使用され得る。
【0132】
単一のマーカ１０１８からガイド管１０１４の中心線又は長手方向軸１０１６までの固定された法線（垂直）距離ＤＦは固定されており、幾何学的に既知であり、単一のマーカ１０１８の位置を追跡することができる。したがって、ツール中心線６１６から単一のマーカ１０１８までの検出された距離ＤＤが、ガイド管中心線１０１６から単一のマーカ１０１８までの既知の固定距離ＤＦと一致するとき、ツール６０８がガイド管１０１４内にある（ツール６０８及びガイド管１０１４の中心線６１６、１０１６が一致する）か、又はこの距離ＤＤが固定距離ＤＦと一致する可能性のある位置の軌跡内のある点にたまたま位置するかのいずれかであると判定することができる。例えば、図２４Ｃでは、ツール中心線６１６から単一のマーカ１０１８までの通常の検出距離ＤＤは、２つの位置における透明なツール６０８によって表されるデータの両フレーム（追跡されたマーカ座標）において、ガイド管中心線１０１６から単一のマーカ１０１８までの固定距離ＤＦと一致し、したがって、ツール６０８がいつガイド管１０１４内に位置するかを判定するために、追加の考慮事項が必要とされ得る。
【0133】
次に図２４Ｄを参照すると、プログラムされた論理を使用して、ツール６０８がガイド管１０１４内で移動しているという条件を満たすために、ツール６０８が単一球１０１８に対してある最小距離を超えて空間内で移動しているにもかかわらず、ツール中心線６１６から単一のマーカ１０１８までの検出距離ＤＤが正しい長さに固定されたままである追跡データのフレームを探すことができる。例えば、第１のフレームＦ１は、ツール６０８が第１の位置にある状態で検出され得、第２のフレームＦ２は、ツール６０８が第２の位置にある（すなわち、第１の位置に対して直線的に移動された）状態で検出され得る。ツール配列６１２上のマーカ８０４は、第１のフレームＦ１から第２のフレームＦ２に所与の量より多く（例えば、合計５ｍｍ超）移動し得る。この移動があっても、ツール中心線ベクトルＣ’から単一のマーカ１０１８までの検出距離ＤＤは、第１フレームＦ１及び第２フレームＦ２の両方において実質的に同一である。
【0134】
論理的には、外科医１２０又はユーザは、ツール６０８をガイド管１０１４内に配置し、それをわずかに回転させるか、又はガイド管１０１４内に滑り込ませることができ、システム１００、３００、６００は、５つのマーカ（ツール６０８上の４つのマーカ８０４に加えてガイド管１０１４上の単一のマーカ１０１８）の追跡から、ツール６０８がガイド管１０１４内にあることを検出することができる。ツール６０８がガイド管１０１４内にあることを知って、空間内のロボットエンドエフェクタ１０１２の位置及び配向を定義する６自由度全てを計算することができる。単一のマーカ１０１８がなければ、ツール６０８がガイド管１０１４内にあることが確実に分かっていても、ガイド管１０１４がツールの中心線ベクトルＣ’に沿ってどこに位置しているか、及びガイド管１０１４が中心線ベクトルＣ’に対してどのように回転しているかが不明である。
【0135】
図２４Ｅに着目すると、ツール６０８上の４つのマーカ８０４と同様に追跡される単一のマーカ１０１８の存在により、ガイド管１０１４及びツール６０８の中心線ベクトルＣ’と、単一のマーカ１０１８及び中心線ベクトルＣ’を通る法線ベクトルとを構築することが可能である。この法線ベクトルは、手首から遠位のロボットの前腕に対して既知の配向（この例では、そのセグメントに平行に向けられている）であり、特定の固定位置で中心線ベクトルＣ’と交差する配向を有する。便宜上、図２４Ｅに示されるように、ガイド管１０１４の剛体位置及び配向を定義する３つの相互に直交するベクトルｋ’、ｊ’、ｉ’を構築することができる。３つの相互に直交するベクトルｋ’のうちの１つは、中心線ベクトルＣ’から構築され、第２のベクトルｊ’は、単一のマーカ１０１８を通る法線ベクトルから構築され、第３のベクトルｉ’は、第１及び第２のベクトルｋ’、ｊ’のベクトル外積である。これらのベクトルｋ’、ｊ’、ｉ’に対するロボットのジョイント位置は既知であり、全てのジョイントが０であるときに固定され、したがって、剛体計算を使用して、ロボットがホーム位置にあるときのこれらのベクトルｋ’、ｊ’、ｉ’に対するロボットの任意のセクションの場所を判定することができる。ロボットの移動中、ツールマーカ８０４の位置（ツール６０８がガイド管１０１４内にある間）及び単一のマーカ１０１８の位置が追跡システムから検出され、各ジョイントの角度／直線位置がエンコーダから既知である場合、ロボットの任意の部分の位置及び配向を判定することができる。
【0136】
いくつかの実施形態では、ガイド管１０１４に対するツール６０８の配向を固定することが有用であり得る。例えば、エンドエフェクタガイド管１０１４は、機械加工又はインプラントの位置決めを可能にするために、その軸１０１６を中心とした特定の位置に配向され得る。ガイド管１０１４に挿入されたツール６０８に取り付けられたものの配向は、ツール６０８上の追跡されたマーカ８０４から分かるが、カメラ座標系におけるガイド管１０１４自体の回転配向は、ガイド管１０１４上の追加の追跡マーカ１０１８（又は他の実施形態では複数の追跡マーカ）なしでは分からない。このマーカ１０１８は、中心線ベクトルＣ’に対するマーカ１０１８の配向に基づいて、本質的に－１８０度から＋１８０度の「クロック位置」を提供する。したがって、単一のマーカ１０１８は、完全な剛体追跡を可能にする追加の自由度を提供することができ、及び／又はロボット及びカメラの位置決めに関する仮定が有効であることを保証する監視マーカとして機能することができる。
【0137】
図２５は、ロボット１０２のエンドエフェクタ１０１２（又は本明細書に説明される任意の他のエンドエフェクタ）を所望の目標軌道にナビゲート及び移動させるための方法１１００のブロック図である。ロボットエンドエフェクタ１０１２又はガイド管１０１４上の単一マーカ１０１８の別の使用は、方法１１００の一部として、ロボット１０２に取り付けられたフル追跡配列なしでロボット１０２の自動化された安全な移動を可能にすることである。この方法１１００は、追跡カメラ２００、３２６がロボット１０２に対して移動せず（すなわち、それらが固定位置にある）、追跡システムの座標系及びロボットの座標系が相互に位置合わせされ、ガイド管１０１４の位置及び配向が各ロボット軸の符号化された位置のみに基づいてロボットのデカルト座標系において正確に判定され得るようにロボット１０２が較正されるときに機能する。
【0138】
この方法１１００では、トラッカ及びロボットの座標系は相互に位置合わせされなければならず、これは、追跡システムのデカルト座標系からロボットのデカルト座標系への座標変換が必要であることを意味する。便宜上、この座標変換は、ロボット工学の分野でよく知られている並進及び回転の４×４行列とすることができる。この変換は、「カメラからロボットへの変換」を指すためにＴｃｒと呼ばれる。この変換が知られると、追跡データの任意の新しいフレームは、各追跡されたマーカに対するベクトル形式のｘ、ｙ、ｚ座標として受信され、４×４行列によって乗算されることができ、結果として生じるｘ、ｙ、ｚ座標は、ロボットの座標系にある。Ｔｃｒを得るために、ロボット上の完全な追跡配列は、ロボットの座標系において既知な場所でロボットに堅固に取り付けられている間に追跡され、次いで、既知な剛体法を使用して座標の変換を計算する。ロボット１０２のガイド管１０１４に挿入された任意のツール６０８は、追加のマーカ１０１８も読み取られるときに、堅固に取り付けられた配列と同じ剛体情報を提供することができることは明らかである。すなわち、ツール６０８は、固定された位置及び配向ではなく、ガイド管１０１４内の任意の位置及びガイド管１０１４内の任意の回転で挿入される必要があるだけである。したがって、追跡配列６１２を有する任意のツール６０８をガイド管１０１４に挿入し、ツールの配列６１２とガイド管１０１４の単一のマーカ１０１８とを読み取ると同時に、各軸上のエンコーダからロボットの座標系におけるガイド管１０１４の現在場所を判定することによって、Ｔｃｒを判定することが可能である。
【0139】
ロボット１０２を目標軌道にナビゲートして移動させるためのロジックは、図２５の方法１１００において提供される。ループ１１０２に入る前に、変換Ｔｃｒが以前に記憶されたと仮定する。したがって、ループ１１０２に入る前に、ステップ１１０４において、ロボット基部１０６が固定された後、ロボットが静止している間にガイド管に挿入されたツールの追跡データの１フレーム以上が記憶され、ステップ１１０６において、カメラ座標からロボット座標Ｔｃｒへのロボットガイド管位置の変換が、この静止データ及び以前の較正データから計算される。Ｔｃｒは、カメラ２００、３２６がロボット１０２に対して移動しない限り、有効なままであるべきである。カメラ２００、３２６がロボット１０２に対して移動し、Ｔｃｒを再取得する必要がある場合、システム１００、３００、６００は、ユーザにツール６０８をガイド管１０１４に挿入するように促し、次いで必要な計算を自動的に実行するようにすることができる。
【0140】
方法１１００のフローチャートでは、収集されたデータの各フレームは、患者２１０上のＤＲＢ１４０４の追跡された位置、エンドエフェクタ１０１４上の単一マーカ１０１８の追跡された位置、及び各ロボット軸の位置のスナップショットからなる。ロボットの軸の位置から、エンドエフェクタ１０１２上の単一マーカ１０１８の場所が計算される。この計算された位置は、追跡システムから記録されたマーカ１０１８の実際の位置と比較される。値が一致する場合、ロボット１０２が既知の場所にあることを保証することができる。変換Ｔｃｒは、ロボット１０２の目標がロボットの座標系に関して提供され得るように、ＤＲＢ１４０４の追跡された位置に適用される。次いで、ロボット１０２は、移動して目標に到達するように命令され得る。
【0141】
ステップ１１０４、１１０６の後、ループ１１０２は、追跡システムからＤＲＢ１４０４の剛体情報を受信するステップ１１０８、目標先端及び軌道を画像座標から追跡システム座標に変換するステップ１１１０、及び目標先端及び軌道をカメラ座標からロボット座標に変換する（Ｔｃｒを適用する）ステップ１１１２を含む。ループ１１０２は、追跡システムからロボットの単一の迷走マーカ位置を受信するステップ１１１４と、単一の迷走マーカを追跡システム座標からロボット座標に変換する（記憶されたＴｃｒを適用する）ステップ１１１６とを更に含む。ループ１１０２はまた、順運動学からロボット座標系における単一ロボットマーカ１０１８の現在場所を判定するステップ１１１８を含む。ステップ１１１６及び１１１８からの情報は、ステップ１１２０において、変換された追跡位置からの迷走マーカ座標が、所与の許容差未満である計算された座標と一致するかどうかを判定するために使用される。はいの場合、ステップ１１２２に進み、ロボット移動を計算し、目標ｘ、ｙ、ｚ及び軌道に適用する。いいえの場合、ステップ１１２４に進み、停止し、進む前にガイド管１０１４への完全な配列挿入を要求する。ステップ１１２６では、配列が挿入された後、Ｔｃｒを再計算し、次いで、ステップ１１０８、１１１４、及び１１１８を繰り返すことに進む。
【0142】
この方法１１００は、場所を確認するための単一のマーカ１０１８の連続的な監視が省略される方法よりも有利である。単一のマーカ１０１８がない場合、Ｔｃｒを使用してエンドエフェクタ１０１２の位置を判定し、エンドエフェクタ１０１２を目標場所に送ることは依然として可能であるが、ロボット１０２が実際に予想場所にあったことを検証することはできない。例えば、カメラ２００、３２６が衝突し、Ｔｃｒがもはや有効でなくなった場合、ロボット１０２は誤った場所に移動する。このため、単一のマーカ１０１８は、安全性に関する価値を提供する。
【0143】
ロボット１０２の所与の固定位置に対して、追跡カメラ２００、３２６を新たな場所に移動させることが理論的に可能であり、単一の追跡されたマーカ１０１８は、配列ではなく単一の点であるために移動されないままである。そのような場合、システム１００、３００、６００は、単一のマーカ１０１８の計算され追跡された場所が一致するため、いかなるエラーも検出しない。しかしながら、ロボットの軸がガイド管１０１２を新たな場所に移動させると、計算された位置と追跡された位置とが一致せず、安全性チェックが有効になる。
【0144】
「監視マーカ」という用語は、例えば、ＤＲＢ１４０４に対して固定された場所にある単一のマーカに関して使用され得る。この例では、ＤＲＢ１４０４がぶつかるか、又は他の方法で外れた場合、監視マーカの相対場所が変化し、ナビゲーションに問題がある可能性があることを外科医１２０に警告することができる。同様に、本明細書で説明される実施形態では、ロボットのガイド管１０１４上の単一のマーカ１０１８を用いて、システム１００、３００、６００は、カメラ２００、３２６がロボット１０２に対して移動したかどうかを連続的にチェックすることができる。ロボットの座標系に対する追跡システムの座標系の位置合わせが、例えば、カメラ２００、３２６が衝突又は誤動作することによって、あるいはロボットが誤動作することによって失われた場合、システム１００、３００、６００は、ユーザに警告することができ、補正を行うことができる。したがって、この単一のマーカ１０１８は、ロボット１０２のための監視マーカと考えることもできる。
【0145】
ロボット１０２に恒久的に搭載された完全な配列（例えば、図１６Ａ～１６Ｃに示されるエンドエフェクタ６０２上の複数の追跡マーカ７０２）では、カメラ２００、３２６がロボット１０２に対して固定位置にあることが必要とされず、Ｔｃｒがロボット１０２の追跡された位置に基づいて各フレームで更新されるため、ロボット監視マーカとしての単一のマーカ１０１８のそのような機能は必要とされないことは明らかであろう。完全な配列の代わりに単一のマーカ１０１８を使用する理由は、完全な配列は、よりかさばり、邪魔であり、それによって、単一のマーカ１０１８よりも外科医の視野及び術野２０８へのアクセスを遮断し、完全な配列への視線は、単一のマーカ１０１８への視線よりも容易に遮断されるからである。
【0146】
ここで図２６Ａ～２６Ｂ及び２７Ａ～２７Ｂを参照すると、固定及び可動追跡マーカ８０４、８０６の両方を含む、インプラントホルダ６０８Ｂ、６０８Ｃなどの器具６０８が描写される。インプラントホルダ６０８Ｂ、６０８Ｃは、ハンドル６２０と、ハンドル６２０から延在する外側シャフト６２２とを有し得る。シャフト６２２は、図示されるように、ハンドル６２０に対して実質的に垂直に、又は任意の他の好適な配向で位置決めされ得る。内側シャフト６２６は、一端にノブ６２８を有する外側シャフト６２２を通って延在してもよい。インプラント１０、１２は、当業者に公知の典型的な接続機構を使用して、インプラントホルダ６０８Ｂ、６０８Ｃの先端６２４において、他端でシャフト６２２に接続する。ノブ６２８は、例えば、インプラント１０、１２を拡張又は連接するために回転されてもよい。参照により本明細書に組み込まれる米国特許第８，７０９，０８６号及び同第８，４９１，６５９号は、拡張可能な固定デバイス及び設置方法を記載している。
【0147】
インプラントホルダ６０８Ｂ、６０８Ｃなどのツール６０８を追跡するとき、追跡配列６１２は、配列６１２を構成するか、又はインプラントホルダ６０８Ｂ、６０８Ｃに別様に取り付けられる、固定マーカ８０４及び１つ以上の可動マーカ８０６の組み合わせを含み得る。ナビゲーション配列６１２は、インプラントホルダ器具６０８Ｂ、６０８Ｃに対して既知の場所に位置付けられる少なくとも１つ以上（例えば、少なくとも２つ）の固定位置マーカ８０４を含んでもよい。これらの固定マーカ８０４は、器具の幾何学的形状に対していかなる配向にも動くことができず、器具６０８が空間内のどこにあるかを定義するのに有用である。加えて、少なくとも１つのマーカ８０６が存在し、これは、配列６１２又は器具自体に取り付けることができ、固定マーカ８０４に対して所定の境界内で移動（例えば、摺動、回転など）することができる。システム１００、３００、６００（例えば、ソフトウェア）は、可動マーカ８０６の位置をインプラント１０の特定の位置、配向、又は他の属性（図２６Ａ～図２６Ｂに示す拡張可能な椎体間スペーサの高さ、又は図２７Ａ～図２７Ｂに示す連接椎体間スペーサの角度など）に相関させる。したがって、システム及び／又はユーザは、可動マーカ８０６の場所に基づいてインプラント１０、１２の高さ又は角度を判定することができる。
【0148】
図２６Ａ－２６Ｂに示される実施形態では、４つの固定マーカ８０４が、インプラントホルダ６０８Ｂを画定するために使用され、第５の可動マーカ８０６は、インプラント高さ（例えば、収縮位置又は拡張位置）に関するフィードバックを提供するために、所定の経路内で摺動することが可能である。図２６Ａは、初期高さにある拡張可能スペーサ１０を示し、図２６Ｂは、可動マーカ８０６が異なる位置に並進した拡張状態にあるスペーサ１０を示す。この場合、可動マーカ８０６は、インプラント１０が拡張されるときに固定マーカ８０４に近づくが、この移動は、逆であってもよく、又は他の方法で異なってもよいことが企図される。マーカ８０６の線形並進量は、インプラント１０の高さに対応する。２つの位置のみが示されているが、これを連続関数として有することが可能であり、それによって、任意の所与の拡張高さを可動マーカ８０６の特定の位置に相関させることができる。
【0149】
ここで図２７Ａ～２７Ｂを参照すると、４つの固定マーカ８０４が、インプラントホルダ６０８Ｃを画定するために使用され、第５の可動マーカ８０６は、インプラント連接角度に関するフィードバックを提供するために、所定の経路内で摺動するように構成される。図２７Ａは、その初期線形状態にある連接スペーサ１２を示し、図２７Ｂは、可動マーカ８０６が異なる位置に並進した、あるオフセット角度にある連接状態にあるスペーサ１２を示す。マーカ８０６の直線並進量は、インプラント１２の連接角度に対応する。２つの位置のみが示されているが、これを連続関数として有することが可能であり、それによって、任意の所与の連接角度を可動マーカ８０６の特定の位置に相関させることができる。
【0150】
これらの実施形態では、可動マーカ８０６は、位置に基づいてインプラント１０、１２の属性に関するフィードバックを提供するように連続的に摺動する。また、インプラント属性についての更なる情報を提供することも可能である、可動マーカ８０６が存在しなければならない別個の位置が存在し得ることも企図される。この場合、全てのマーカ８０４、８０６の各離散構成は、特定の配向又は特定の高さにおけるインプラントホルダ６０８Ｂ、６０８Ｃ及びインプラント１０、１２の特定の幾何学形状に相関する。加えて、可動マーカ８０６の任意の動きは、任意の他のタイプのナビゲートされるインプラントの他の可変属性のために使用され得る。
【0151】
可動マーカ８０６の線形移動に関して図示及び説明されているが、可動マーカ８０６は、マーカ８０６の回転又は他の移動がインプラント１０、１２に関する情報を提供するのに有用であり得る用途が存在し得るため、摺動のみに限定されるべきではない。一組の固定マーカ８０４と可動マーカ８０６との間の位置の任意の相対的変化は、インプラント１０、１２又は他のデバイスに関する関連情報であり得る。加えて、拡張可能な連接インプラント１０、１２が例示されているが、器具６０８は、スペーサ、ケージ、プレート、締結具、釘、ねじ、ロッド、ピン、ワイヤ構造、縫合糸、アンカークリップ、ステープル、ステント、骨移植片、生物製剤などの他の医療デバイス及び材料と共に機能することができる。
【0152】
本発明の原理によれば、画像に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内のナビゲートされる撮像デバイス１０からの患者画像をカメラ空間内の実際の患者解剖学的構造に位置合わせするためのシステム４２０が提供される。本発明の一般的な実施形態は、術中撮像システム１０と、ナビゲーション及び／又はロボット誘導システム１００と、撮像転送及びデータ追跡デバイス（Ｉ／Ｏ）４２、５２とを含む。
【0153】
術中撮像システム１０は、（１）三次元（３Ｄ）画像（例えば、ＣＴ、ＣＢＣＴ、ＭＣＴ、ＰＥＴ、血管造影図、ＭＲＩ、超音波など）を捕捉すること、（２）２次元（２Ｄ）画像（例えば、蛍光透視法、デジタル放射線撮影、超音波など）を捕捉すること、及び（３）２Ｄ及び３Ｄ画像の画像空間に対して較正される追跡マーカ（例えば、ＮＩＲ再帰反射、ＮＩＲ ＬＥＤ、可視など）を有する一体型又は着脱可能なナビゲーション配列６８を含むことが可能である。
【0154】
ナビゲーション及び／又はロボット誘導システム１００は、（１）様々なワークフロー（例えば、術中３Ｄ、術中２Ｄ、術前３Ｄ－２Ｄ、及び術中３Ｄ－２Ｄなど）における手術計画、ナビゲーション、及び誘導のために位置合わせされた２Ｄ及び／又は３Ｄ画像を使用すること、（２）マーカ１１６、６８、７０２を追跡することができる一体型又は着脱可能な立体追跡カメラ２００を含むことができる。６１２、８０４（例えば、ＮＩＲ再帰反射、ＮＩＲ ＬＥＤ、可視光など）。
【0155】
患者基準配列（ＤＲＢ１１６）は、（１）患者解剖学的構造に堅固に取り付けることができ、（２）追跡マーカ（例えば、ＮＩＲ再帰反射、ＮＩＲ ＬＥＤ、可視光など）の配列を含む。
【0156】
撮像システム１０とナビゲーションシステム１００との間に接続された撮像転送及びデータ追跡デバイス（Ｉ／Ｏ）４２、５２（例えば、有線データ転送、無線データ転送、携帯型記憶デバイスを介したデータ転送など）は、（１）完全な患者登録情報及び関連する画像を転送することができ、（２）画像の送信側（術中撮像システム）及び画像の受信側（ナビゲーション及び／又はロボット誘導システム）のシステムタイプ互換性に基づいて一意のピアツーピア接続を識別及び確立することができる。
【0157】
ガントリを移動させるモータ６６、６７、１０２は、内側及び外側Ｃアーム７０、７２の位置、したがって、Ｘ線透過を検出する検出器パネルの位置を追跡するエンコーダを有する。具体的には、システムは、（垂直シャフト５９を回転させるモータ内のエンコーダを使用して）ピッチ（レインボー）、ロール（チルト）、更にはヨーを追跡する。あるいは、検出器位置を追跡するために、別個の追跡配列をＸ線送信器又は検出器パネルのいずれかの既知の場所に取り付けることができる。
【0158】
図２８に示す実施形態では、位置合わせは、変換行列、特に以下で説明する同次変換行列Ｔを使用して実行されるが、任意の他の処理方法を使用することもできる。
【0159】
本明細書で使用されるように、同次変換行列Ｔは、２つの剛体間の三次元幾何学的配置を表す４つの行及び４つの列を有し、その一例を以下に示す。
【0160】
【表1】
この行列Ｔ内で符号化されるのは、相対的な回転／配向と位置／並進の両方である。配向は、上に示したように、３つの行及び３つの列からなる回転行列として表され、各列は、ｘ軸、ｙ軸、及びｚ軸を中心とした回転を定義し、ｘ成分、ｙ成分、及びｚ成分を有する三次元の相互に直交する単位ベクトルからなる。相対位置／並進は、これらの２つの物体のｘ、ｙ、及びｚ成分（上で「ｐｘ」、「ｐｙ」、及び「ｐｚ」で示されている）からなる三次元ベクトルとして表される。［０，０，０，１］の最後の行は、任意選択の行であり、数式を単純化して単一の行列演算で変換全体（回転及び並進の両方）を可能にするために使用される。次いで、この変換行列Ｔを使用して、三次元空間内の２つの物体間の三次元姿勢（位置及び配向）のシフトを完全に定義することができる。
【0161】
空間に２つの類似の物体（物体Ａ及び物体Ｂ）があるか、又は同じ物体の２つの位置（位置Ａ及び位置Ｂ）があると仮定すると、Ａの姿勢に対するＢの姿勢からのシフトを定義する同次変換Ｔは、Ａ＿Ｘ＿Ｂと表すことができる。第３の物体又は位置Ｃがあり、Ｂに対するその姿勢がＢ＿Ｘ＿Ｃとして定義される場合、Ａに対するＣの姿勢は、これらの２つの変換を乗算することによって計算することができる。
【0162】
ナビゲートされる手術における位置合わせの文脈において、１つの目的は、患者と撮像デバイス１０によって撮影された画像ＩＭとの間の同次変換Ｔを計算することとして定義され得る。患者姿勢の場合、ＤＲＢ１１６は、患者にしっかりと取り付けられているので使用することができる。したがって、患者と画像ＩＭとの間の変換は、「ＤＲＢ＿Ｘ＿ｌＭ」、すなわち、Ｘ線画像ＩＭの位置及び配向に対する撮像時のＤＲＢ１１６の相対位置及び配向を定義する変換として表すことができる。
【0163】
前述したように、ＤＲＢ１１６は、画像追跡マーカの配列を含み、患者の座標系を示す光学トラッカとして機能する。画像ＩＭは、Ａｕｄｕｂｏｎ，ＰＡのＧｌｏｂｕｓ Ｍｅｄｉｃａｌ，Ｉｎｃ．で入手可能なＥｘｃｅｌｓｉｕｓ３Ｄ（以下「Ｅ３Ｄ」）などの撮像システム１０によって捕捉された画像の座標系である。画像ＩＭは、３Ｄスキャン（例えば、ＣＴスキャン又はＭＲＩ）又は２Ｄ蛍光透視／放射線撮影ショットであってもよい。
【0164】
剛体間の同次変換Ｔへの上記の導入により、好ましくは患者画像に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者画像ＩＭを物理空間内の物理的患者に位置合わせする方法を次に説明する。
【0165】
ＤＲＢ＿Ｘ＿Ｉｍａｇｅは、ＤＲＢの座標系の原点と画像の座標系の原点との間の変換である。医用画像の座標系の場所及び方向性を定義することに関して、多くの異なる規格が存在する。例えば、画像空間の前方、下方、患者の右隅に原点を置くＬＰＳ（左、後、上）規格が使用され得る。この３Ｄ座標系の軸は、後方、上方、及び原点から左の患者の方を指す（したがって、略してＬＰＳ）。
【0166】
したがって、このＤＲＢ＿Ｘ＿Ｉｍａｇｅ変換（変換Ｃ）は、物理空間内の患者基準配列ＤＲＢ１１６を介した患者の物理座標系と、画像空間内の画像ＩＭに埋め込まれた患者の仮想座標系との間の相対姿勢をもたらす。これを「患者位置合わせ」と定義する。この変換プロセスは、外科用ロボットシステム１００が３Ｄスキャン／２Ｄショット上でツールを仮想的に追跡し、ロボットアーム１０４及びエンドエフェクタ１１２にナビゲートされたガイダンスを提供して、仮想画像ＩＭ空間内の軌道計画に基づいて患者に対してどこに移動すべきかを知ることを可能にするものである。この位置合わせは、画像ＩＭが取り込まれたときに撮像システム１０のプロセッサによって自動的に計算される。
【0167】
ＤＲＢ＿Ｘ＿Ｉｍａｇｅ（変換Ｃ）を計算するために、いくつかの中間変換（変換Ａ及びＢ）が、画像ＩＭが撮影されるときに計算される。追跡デバイス２００（カメラシステム）は、図２のシステム４０と同様のコンピューティングシステムを含み、ガントリマウント５８に搭載されたＤＲＢ１１６及びＥ３Ｄ配列６８（変換表記のために「Ｅ３Ｄ」として示される）の両方の光学追跡マーカを追跡し、カメラ：ＤＲＢ＿Ｘ＿Ｃａｍｅｒａ及びＥ３Ｄ＿Ｘ＿Ｃａｍｅｒａに対するそれらの相対姿勢を収集することができる。Ｅ３Ｄ＿Ｘ＿Ｃａｍｅｒａは、Ｃａｍｅｒａ＿Ｘ＿Ｅ３Ｄを生成するために反転させることができる（行列反転の数学的演算）。これら２つの行列を乗算すると、ＤＲＢ＿Ｘ＿Ｃａｍｅｒａ＊Ｃａｍｅｒａ＿Ｘ＿Ｅ３Ｄ＝ＤＲＢ＿Ｘ＿Ｅ３Ｄが得られる。したがって、この変換（変換Ａ）、ＤＲＢ＿Ｘ＿Ｅ３Ｄは、ＤＲＢ１１６に対するＥ３Ｄマーカ６８の姿勢を示す。
【0168】
第２の変換（変換Ｂ）Ｅ３Ｄ＿Ｘ＿Ｉｍａｇｅも計算される。Ｅ３Ｄ＿Ｘ＿Ｉｍａｇｅは、Ｅ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒ７６及びＤｅｔｅｃｔｏｒ＿Ｘ＿Ｉｍａｇｅ（「Ｄｅｔｅｃｔｏｒ」は、Ｅ３Ｄ上のＸ線検出器パネル７６の座標系を示す）の二重演算で導出される。
【0169】
Ｅ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒは、Ｅ３Ｄ１０の運動学的構成から計算される。これは、本質的に機械的であり、Ｅ３Ｄ配列６８と検出器パネル７６との間の幾何学的構成を表す。配列６８に対する検出器パネル７６の位置及び配向は、モータ６６、６７、１０２、並びにガントリマウント５８及びガントリ５６内の他のモータ内のエンコーダからの情報から導出される。あるいは、検出器パネル７６又はＸ線送信器７４のいずれかに搭載された別個の光学配列固定具が使用されてもよい。
【0170】
Ｄｅｔｅｃｔｏｒ＿Ｘ＿Ｉｍａｇｅは、画像構成プロセスから収集され、Ｘ線検出器／送信器のレイアウト、及び撮像デバイス１０が結果画像をどのように構成するかの特性である。これら２つの変換を乗算すると、Ｅ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒ＊Ｄｅｔｅｃｔｏｒ＿Ｘ＿Ｉｍａｇｅ＝Ｅ３Ｄ＿Ｘ＿Ｉｍａｇｅ（変換Ｂ）が得られる。
【0171】
全体的な患者位置合わせを計算するために、２つの前に計算された変換、ＤＲＢ＿Ｘ＿Ｅ３Ｄ（変換Ａ）及びＥ３Ｄ＿Ｘ＿ｌｍａｇｅ（変換Ｂ）が一緒に乗算されて、ＤＲＢ＿Ｘ＿Ｅ３Ｄ＊Ｅ３Ｄ＿Ｘ＿ｌｍａｇｅ＝ＤＲＢ＿Ｘ＿ｌｍａｇｅ（全体的な患者位置合わせ変換を表す変換Ｃ）が得られる。
【0172】
変換Ｂを導出することの一部としてＥ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒを判定する際に、撮像デバイス１０は、Ｃアームがそれらの配向に応じて様々な量で屈曲するため、較正される必要があり得る。Ｅ３Ｄマーカ１０がガントリ７０を０でない角度に傾斜させるとき、ガントリを引き下げる重力のためにある量の機械的屈曲が存在する。この屈曲は、これら２つの機械部品の運動学的構成が（場合によっては約数ミリメートルで）変化するので、Ｅ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒ変換に軽微な不一致を引き起こす可能性がある。屈曲の量は、システム自体と、どの程度のガントリ傾斜が使用されるかに依存する。したがって、この較正プロセスは、個々のシステム１０毎に、ガントリ傾斜角及びロータ角のグリッドにわたって完了する。この較正プロセスは、Ｘ線下で可視である、埋め込まれた放射線不透過性基準４１８（例えば、ＢＢｓ）を伴う、放射線透過性較正固定具４１６を要する。固定具４１６はまた、カメラ２００に可視である光学マーカ４２０を一方の側に有し、Ｆｉｘｔｕｒｅ＿Ｘ＿Ｃａｍｅｒａ変換をもたらす。固定具４１６上のマーカ４２０に対する基準４１８の場所は、固定具自体の製造に基づく既知の変換である。この変換は、本質的に機械的であり、ＢＢｓ＿Ｘ＿Ｆｉｘｔｕｒｅをもたらす。これら２つの変換を乗算すると、ＢＢｓ＿Ｘ＿Ｆｉｘｔｕｒｅ＊Ｆｉｘｔｕｒｅ＿Ｘ＿Ｃａｍｅｒａ＝ＢＢｓ＿Ｘ＿Ｃａｍｅｒａが得られる。カメラ２００に対するＥ３Ｄ（又はその配列６８）の位置Ｅ３Ｄ＿Ｘ＿Ｃａｍｅｒａが既知であるため、ＢＢｓ＿Ｘ＿Ｃａｍｅｒａ変換を逆にすることができ、以下Ｅ３Ｄ＿Ｘ＿Ｃａｍｅｒａ＊Ｃａｍｅｒａ＿Ｘ＿ＢＢｓ＝Ｅ３Ｄ＿Ｘ＿ＢＢｓを計算することができる。このＥ３Ｄ＿Ｘ＿ＢＢｓ変換は、Ｅ３Ｄ配列６８に対する固定具ＢＢｓ４１６の真の屈曲補償された物理的姿勢を表す。
【0173】
較正固定具４１６のＸ線画像／ＣＴスキャンがＥ３Ｄ１０で撮影されると、放射線不透過性ＢＢｓ４１６が画像内に現れる。画像内のそれらの位置は、画像処理アルゴリズムを利用して検出することができる。この位置決めを既知のＥ３Ｄ＿Ｘ＿Ｉｍａｇｅと組み合わせると、Ｅ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒ＊Ｄｅｔｅｃｔｏｒ＿Ｘ＿ｌｍａｇｅ＊ｌｍａｇｅ＿Ｘ＿ＤｅｔｅｃｔｅｄＢＢｓ＝Ｅ３Ｄ＿Ｘ＿ＤｅｔｅｃｔｅｄＢＢｓとなる。このＥ３Ｄ＿Ｘ＿ＤｅｔｅｃｔｅｄＢＢｓ変換は、計算の位置合わせ経路に従って、Ｅ３Ｄ配列６８に対するＢＢｓ４１８の検出された物理的姿勢を表し、したがって、Ｅ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒ変換による潜在的誤差を含む。
【0174】
ここで、ＢＢｓ４１８とＥ３Ｄ配列６８との間に同じ物理的姿勢を表す２つの変換、すなわちＥ３Ｄ＿Ｘ＿ＢＢｓ及びＥ３Ｄ＿Ｘ＿ＤｅｔｅｃｔｅｄＢＢｓが存在する。Ｅ３Ｄ＿Ｘ＿ＢＢｓは、真の姿勢（制御値）を表し、Ｅ３Ｄ＿Ｘ＿ＤｅｔｅｃｔｅｄＢＢｓは、検出された潜在的に誤りがちな姿勢を表す。Ｅ３Ｄ＿Ｘ＿ＢＢｓとＥ３Ｄ＿Ｘ＿ＤｅｔｅｃｔｅｄＢＢｓとの間の、配向及び並進の両方に関する差を分析する。この差は、重力によって引き起こされる機械的屈曲を説明するＥ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒに適用されるオフセットとして撮像デバイス１０のメモリに記憶される。このオフセットは、Ｅ３Ｄ＿Ｘ＿ＢＢｓ及びＥ３Ｄ＿Ｘ＿ＤｅｔｅｃｔｅｄＢＢｓが同じ結果として生じる変換を有することを保証し、患者位置合わせプロセスにおいてＥ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒ変換を利用する際に十分な精度を保証する。
【0175】
この較正プロセスは、ガントリ５６の傾斜角及びロータ角の大きな組み合わせにわたって完了され、好ましくは、個々のシステム１０毎に別々に完了される。オフセット較正データは、システム１０のメモリに記憶され、位置合わせプロセスを完了するときに利用され、計算されたＤＲＢ＿Ｘ＿Ｉｍａｇｅ患者位置合わせ変換における精度を保証する。
【0176】
一例として、較正手順中、システム１０は、特定のピッチ角で１０度回転する毎に較正フレーム／固定具４１６の画像を撮影し、これは３６個の画像が撮影されることを意味する。同じ手順が、１０度高いピッチで繰り返される。したがって、Ｃアームを較正するために１，２９６個の画像が全て一緒に撮影され、記憶される。撮像システム１０を使用して１０度増分以外の角度で実際の患者を撮像する場合、１０度離れた２つの周囲較正データ間の補間を使用して較正データをその場で微調整し、これを使用して特定の位置及び配向でのガントリ５６の機械的屈曲を補償した患者位置合わせ変換を求める。
【0177】
一実施形態では、２Ｄ較正のために、Ｅ３Ｄ＿Ｘ＿ＦｏｃａｌＳｐｏｔ（送信器／撮像デバイス１０の焦点）及びＥ３Ｄ＿Ｘ＿Ｄｅｔｅｃｔｏｒ（撮像デバイスの検出器パネル）がメモリに記憶される。所与の取得画像について、カメラモデルを使用して、Ｅ３Ｄ１０撮像マーカ６８に対する焦点及び検出器パネルの場所を計算する。これらの較正場所は、一連の傾斜角及びレインボー角について判定され、将来の使用のためにメモリ／ファイルに記憶される。使用中、所望の位置合わせ場所が捕捉され、境界較正点が判定される。４つの角がある。焦点及び検出器パネル変換は、結果として生じる焦点及び検出器位置に球面双線形補間され、これらは、ナビゲーション／ロボットシステム１００によって使用される４×４投影行列を計算するために使用される。
【0178】
一実施形態では、３Ｄ較正のために、Ｅ３Ｄ＿Ｘ＿ｉｍａｇｅ３Ｄ（３Ｄ画像）が一連の傾斜角で変換され、将来の使用のためにメモリ／ファイルに記憶される。使用中、所望の位置合わせ場所が捕捉され、境界較正点が判定される。２つの較正変換が存在する。これらの変換は、球面補間されて、現在場所の所望のＥ３Ｄ＿Ｘ＿ｉｍａｇｅ３Ｄ変換を生成する。これは、撮像デバイス１０からナビゲーション／ロボットシステム１００に送信される位置合わせ情報（撮像デバイス１０によって計算される）である。
【0179】
図２９は、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者の術中３Ｄ画像を物理空間内の物理的患者に位置合わせする方法のフローチャートである。この方法は、患者位置合わせ目的のために術前画像を必要としない。
【0180】
図２９のステップ及び他の図面における他の全てのフローチャートは、特に断りのない限り、主に撮像デバイス１０の撮像制御モジュール５４によって実行される。
【0181】
ステップ４２２において、患者２１０が手術台に配置され、患者追跡マーカ１１８の配列を有する動的基準基部（「ＤＲＢ」）１１６が患者解剖学的構造（例えば、患者の骨盤骨）にしっかりと取り付けられる。
【0182】
ステップ４２４において、撮像システム１０は、カメラ２００がＤＲＢ１１６及びガントリマウント５８の両側にある撮像追跡マーカ６８の配列に対して良好な可視性を有するように、手術領域内に位置決めされる。
【0183】
ステップ４２６において、ロボットシステム１００の追跡システム／プロセッサ５３２は、カメラ２００から来る光学画像に含まれる撮像追跡マーカ６８から撮像デバイス１０の較正された姿勢（すなわち、位置及び配向）を連続的に追跡し始める。
【0184】
ステップ４２８において、ロボットシステム１００の追跡システム５３２はまた、ＤＲＢ１１６を介して患者姿勢を連続的に追跡し始める。
【0185】
ロボットシステム１００から撮像デバイス１０への接続がロボットシステムのＩ／Ｏを介して確立されると、ロボットシステムのプロセッサ４０８は、通信リンク５２を介して撮像デバイス１０にカメラフレームデータを送信し始め、カメラフレームデータは、撮像追跡マーカ６８からカメラ空間内のＤＲＢ１１６までの相対場所（例えば、撮像デバイス１０及びＤＲＢ１１６の連続的に追跡されるデータ）を含む。カメラ２００は、どんな可視の基準配列６８（ガントリマウント５８の両側の左配列又は右配列）でも使用する。
【0186】
ステップ４３０において、カメラ２００がＤＲＢ１１６を追跡して追跡マーカ６８を撮像している間に、関心のある患者解剖学的構造の３Ｄ画像が撮像デバイス１０によって捕捉される。先に論じたように、撮像デバイス１０は、内側及び外側Ｃアーム７０、７２を回転させて、完全な３６０度の回転で患者を撮像することが可能である。例えば、撮像デバイスは、完全な３ＤＸ線ＣＴスキャンを実行し、次いで、これは、周知のＣＴ変換プロセスに基づいて３Ｄ画像又は画像体積に変換され、このプロセスでは、患者解剖学的構造の周りの異なる角度から撮影された一連のＸ線画像がプロセッサ４６によって処理されて、患者解剖学的構造の一連の断面スライスが作成される。一連の断面スライスは、ヘッダファイルと、各々が典型的に対応する断面スライスを表す一連の画像データとを含むＤＩＣＯＭ（医療におけるデジタル撮像及び通信）ファイルとしてメモリに記憶される。
【0187】
ステップ４３２において、ステップ４３０から取得された３Ｄ画像は、上述したように位置合わせされる。具体的には、変換Ｃによって表されるＤＲＢ＿Ｘ＿Ｉｍａｇｅは、変換Ａと変換Ｂとを乗算することによって導出される。様々な変換によって必要とされる追跡データは、ロボットシステム１００から受信され、位置合わせアルゴリズムによる使用のためにメモリ４４に記憶される。
【0188】
上述のように、変換Ｃは、カメラ２００によって見られるような物理空間内の患者基準配列ＤＲＢ１１６を介した患者の物理座標系と、画像空間内の画像ＩＭに埋め込まれた患者の仮想座標系との間の相対姿勢を表す。次いで、変換Ｃデータは、患者解剖学的構造の３Ｄ画像を表すＤＩＣＯＭファイルのプライベートタグ／ヘッダセクションに埋め込まれる。
【0189】
ステップ４３４において、ヘッダに位置合わせ情報を含むＤＩＣＯＭファイルの形式の位置合わせされた３Ｄ画像（変換Ｃ）が、撮像デバイス１０からロボットシステム１００に転送される。
【0190】
ロボットシステム１００内のソフトウェアは、次いで、３Ｄ画像から患者基準－スキャン変換（変換Ｃ）を抽出し、それをメモリ内に記憶し、ロボットシステムが変換Ｃを使用して器具が画像空間内のどこにあるかを把握しているため、他の外科用器具配列がＤＲＢマーカ１１６に対して追跡される際に、それをナビゲーションのために使用する。
【0191】
ステップ４３６において、撮像デバイス１０は、ここで、手術領域から取り外すことができる。ステップ４３８において、ロボットシステム１００は、ナビゲーション及びロボット手術のために位置合わせされた３Ｄ画像を使用する。例えば、ロボットシステム１００は、骨ねじを挿入するための選択された軌道に沿ってエンドエフェクタを配置するように、エンドエフェクタ（マーカ７０２を通じてカメラ２００によっても追跡されている）を移動させてもよい。ロボットシステム１００はまた、位置合わせされた３Ｄ画像をディスプレイ上に表示し、エンドエフェクタが移動されるにつれて、表示された画像を操作し得る。システム１００はまた、計画された器具軌道と、光学的に追跡される外科用器具６０８及びエンドエフェクタ１１２／１１４の動的に更新された軌道と、追跡される器具の仮想表現とを表示し、これらの全ては、表示された３Ｄ画像及び他の表示された２Ｄ画像（Ａ／Ｐ、横方向、及び軸方向）に重ね合わされる。更に、システム１００はまた、シミュレートされた蛍光透視ショット（例えば、ＤＲＲ画像）又は画像処理によって３Ｄ画像から生成された平面スライスである、例えば、Ａ／Ｐ、側方、及び軸方向ビューなどの３Ｄ医用画像の任意の数の２Ｄビューを表示することができる。
【0192】
ロボットシステム１００はまた、医師の視覚化を支援するために、表示された３Ｄ画像上に重ね合わされる追跡された外科用器具を表示してもよい。
【0193】
ロボットシステムはまた、医師を支援するために、ディスプレイ上に種々の画像を表示することができる。例えば、Ａｐ、側方、軸方向、及びプローブの眼（３Ｄ）画像を含む４つの別個の画像を、同時に表示することができる。計画された軌道の点における骨の水平スライスのビューを表す軸方向ビュー（ＤＲＲ画像又はスライス画像のいずれか）が特に有用であり、３Ｄ画像から正しい配向で正しいスライス又はＤＲＲ画像を合成することによって生成され得る。
【0194】
ステップ４３９において、ロボットシステム１００は、位置合わせが損なわれていることを検出する。これは、例えば、監視マーカからＤＲＢ１１６までの距離が閾値量を超えて変化する場合に検出することができる。次いで、ステップ４２４～４３８が繰り返されて、患者を再位置合わせする。
【0195】
図３０は、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者の術中３Ｄ画像を物理空間内の物理的患者に位置合わせし、術中２Ｄ画像との３Ｄ画像の位置合わせを復元する方法のフローチャートである。
【0196】
術中３Ｄ画像を位置合わせする際の図３０のステップ４２２～４３９は、図２９のステップと同じである。ステップ４３９において位置合わせの喪失が検出されると、ステップ４４０が撮像デバイス１０のプロセッサ４６によって実行される。
【0197】
ステップ４４０において、撮像システム１０は取り出され、カメラ２００がＤＲＢ１１６及びガントリマウント５８のいずれかの側の撮像追跡マーカ６８の配列に対して良好な可視性を有するように、手術領域内に位置決めされる。
【0198】
ステップ４４２において、ロボットシステム１００の追跡システム／プロセッサ５３２は、カメラ２００から来る光学画像に含まれる撮像追跡マーカ６８から撮像デバイス１０の較正された姿勢（すなわち、位置及び配向）を連続的に追跡し始める。
【0199】
ステップ４４４において、ロボットシステム１００の追跡システム５３２はまた、ＤＲＢ１１６を介して患者姿勢を連続的に追跡し始める。
【0200】
ロボットシステム１００から撮像デバイス１０への接続がロボットシステムのＩ／Ｏを介して確立されると、ロボットシステムのプロセッサ４０８は、通信リンク５２を介して撮像デバイス１０にカメラフレームデータを送信し始め、カメラフレームデータは、撮像追跡マーカ６８からカメラ空間内のＤＲＢ１１６までの相対位置（例えば、撮像デバイス１０及びＤＲＢ１１６の連続的に追跡されるデータ）を含む。カメラ２００は、どんな可視の基準配列６８（ガントリマウント５８の両側の左配列又は右配列）でも使用する。
【0201】
ステップ４４６において、関連する患者解剖学的構造の２つの異なる配向、例えばＡ／Ｐ及び横方向での２Ｄ画像のセットが、撮像デバイス１０によって捕捉される。これらの画像は、ユーザによって手動で撮影されてもよいし、撮像デバイス１０によって自動的に撮影されてもよく、撮像デバイス１０は、第２の画像を第１の画像から予め選択された角度、例えば９０度だけ回転する。
【0202】
各画像について、上述した変換（変換Ａ、Ｂ、及びＣ）は、画像空間内の各画像が、ＤＲＢマーカ１１６の形式で表されるような患者座標系において物理的患者に位置合わせされるように実行される。
【0203】
各画像の位置合わせは、いくつかの異なる方法で行うことができる。第１の方法では、撮像デバイス１０は、蛍光収集器（映像増幅器又はフラットパネル）に一時的に搭載された蛍光固定具を使用して追跡される。フルオロ固定具２１００の一例は、２０１６年９月１６日に出願された米国特許出願第１５／２６７，９５０号（特許第１０，７９９，２９８号）に開示されており、これは本明細書に組み込まれる。この固定具は、ＢＢｓの２つの平面を有し、撮像デバイス１０の蛍光Ｘ線エミッタの追跡された位置が、蛍光コレクタの追跡された位置から、したがって撮像空間内の画像ＩＭ位置から正確に外挿され得るように、蛍光画像が処理されることを可能にする。
【0204】
本方法の別の変形例では、好ましくは、撮像デバイスは、例えば、撮像追跡マーカ６８を用いて光学的に追跡され、エミッタ及びコレクタの場所、したがって、画像ＩＭは、上述のような変換（変換Ａ、Ｂ、及びＣ）を使用して正確に外挿される。
【0205】
各画像を用いて、患者に取り付けられたＤＲＢ１１６の位置は、撮像追跡マーカ６８の位置を追跡しながら、同じ光学追跡システム２００によって同時に追跡され、その結果、撮像空間内の画像位置は、患者の物理空間を表すＤＲＢ１１６座標系に相関される。換言すれば、各画像について、変換Ｃが上述のように計算され、画像は、関連する位置合わせ情報を含むヘッダを有するＤＩＣＯＭファイルとして記憶される。
【0206】
ステップ４４６において、ＤＩＣＯＭファイルは、更なる処理のために通信リンク５２を介して外科用ロボットシステム１００に送信される。理解され得るように、２Ｄ画像のＤＩＣＯＭファイルは、一方の２Ｄ画像の他方の２Ｄ画像に対する角度及びオフセット（変位）を含む間隔情報を含み、この情報は、後でマージ動作のために使用され得る。
【0207】
ステップ４５０において、撮像デバイス１０は、ここで、手術領域から取り外すことができる。
【0208】
ステップ４５２は、ロボットシステム１００のコンピュータ４０８内のプロセッサによって実行される。ステップ４５２において、位置合わせされた２Ｄ画像は、ステップ４３０において取得された３Ｄ画像とマージされる。
【0209】
１つのマージ方法では、デジタル再構成放射線写真又はＤＲＲと呼ばれるシミュレートされた透視ショットが３Ｄ画像から作成される。各ＤＲＲ画像は、画像処理を通じてスキャン体積に対する理論的な透視装置の特定の配向及び位置に基づく人工的に又は合成的に作成された蛍光透視画像を表す。ＣＴスキャン体積から導出される３Ｄ画像の場合、ＤＲＲ画像は、ＣＴ体積の一方の側の点源（エミッタ）から発散経路を通って他方の側の平面（コレクタ）へとＣＴスキャン体積を通過する光線によって交差及び蓄積されるピクセル強度を計算することによって生成される。任意選択的に、ＤＲＲ画像、２Ｄ画像又は３Ｄ画像体積は、骨境界の周りのコントラストを強調するためにハイパスフィルタで処理されてもよい。
【0210】
各比較において、２つのＤＲＲ画像が、選択された角度で生成され、互いにオフセットされる。選択された角度及びオフセットは、ステップ４４６において２つの２Ｄ画像（Ａ／Ｐ及び横方向）を捕捉するために使用された既知の（追跡された）角度及びオフセットに基づく。このようにして、生成された２つのＤＲＲ画像は、画像処理アルゴリズムを介して同時に２つの２Ｄ画像と比較することができる。ＤＲＲ画像及び２Ｄ画像上の画像内容（骨縁部のコントラストの勾配）が所与の閾値内でどこでも一致しない場合、２Ｄ画像からのＸ線コレクタ及びエミッタの固定場所に対する３Ｄ画像の理論的位置及び配向がわずかに修正され、２つの新しいＤＲＲ画像が生成される。
【0211】
新しいＤＲＲ画像を生成するとき、理論的なＸ線コレクタ及びエミッタの固定位置に対して３Ｄ画像体積をナッジ（位置及び配向の増分変化）する方向及び角度は、以前のナッジ（増分変化）が実際の２Ｄ蛍光透視画像に対するＤＲＲ画像の画像内容のオフセットの改善又は悪化を引き起こしたかどうかに基づく。
【0212】
理論的なＸ線コレクタ及びエミッタの固定位置に対する３Ｄ画像体積の配向及び位置の更なる微調整がもはや２Ｄ画像コンテンツのＤＲＲ画像へのより良好なマッチングを提供しなくなると、反復が停止する。
【0213】
代替の実施形態では、マッチングは、２つのステッププロセスを使用して実行され、それによって、２つの２Ｄ画像のうちの一方が、上述のマージ方法を使用して特定のＤＲＲ画像にマッチングされ、次いで、２つの２Ｄ画像のうちの他方が、上述のマージ方法でマッチングされる。
【0214】
理論的なエミッタ及びコレクタの位置が画像体積（３Ｄ画像）に対して分かると、理論的なエミッタ及びコレクタの位置は、ＤＲＢ１１６空間内の実際のエミッタ及びコレクタの既知の追跡された位置に対する撮像空間（例えば、ＣＴ空間）における対応する場所を提供するため、位置合わせが達成される。これにより、３Ｄ画像の位置合わせが復元され、位置合わせ情報がロボットシステム１００のメモリに記憶される。
【0215】
代替のマージの方法では、ステップ４４６において、撮像追跡マーカを有する超音波トランスデューサが、撮像デバイス１０の代わりに２Ｄ画像を捕捉するために使用されるとき、シミュレートされた２Ｄ超音波画像が３Ｄ画像体積から作成される。各２Ｄ超音波画像は、３Ｄ体積に対して特定の位置に保持された理論上の超音波撮像ハンドピースから人工的に又は合成的に作成された超音波画像を表す。ＣＴスキャン体積から導出される３Ｄ画像の場合、合成２Ｄ超音波画像は、超音波源（エミッタ）からＣＴスキャン体積を通過し、異なるタイプの組織（骨、軟組織、血液）から反射し、超音波受信機によって監視される音波によって交差及び蓄積されるピクセル強度を計算することによって生成される。任意選択で、シミュレートされた２Ｄ超音波画像、３Ｄ画像体積、又はその両方は、骨境界の周りのコントラストを強調するためにハイパスフィルタで処理され得る。
【0216】
各比較において、２つのシミュレートされた超音波画像が、選択された角度で生成され、互いにオフセットされる。ステップ４４６において、選択された角度は、２つの２Ｄ追跡超音波画像（Ａ／Ｐ及び横方向）を捕捉するために使用された角度及びオフセットに基づく。このようにして、２つのシミュレートされた２Ｄ超音波画像は、画像処理アルゴリズムを介して同時に２つの実際の２Ｄ超音波画像と比較することができる。シミュレートされた画像上及び実際の画像上の画像内容（骨縁部のコントラストにおける勾配）が所与の閾値内のどこでも一致しない場合、２Ｄ画像からの理論的超音波ハンドピースの固定場所に対する３Ｄ画像体積の理論的位置及び配向はわずかに修正され、２つの新しいシミュレートされた２Ｄ超音波画像が生成される。
【0217】
新しい２Ｄシミュレートされた超音波画像を生成するとき、理論上の超音波ハンドピースの位置に対して画像体積をナッジする（位置及び配向の増分変化）方向及び角度は、以前のナッジ（増分変化）が、２Ｄ実際の超音波画像に対する２Ｄシミュレートされた超音波画像の画像コンテンツのオフセットの改善又は悪化を引き起こしたかどうかに基づく。
【0218】
画像体積の配向及び位置の更なる微調整が、シミュレートされた２Ｄ超音波画像に対する実際の２Ｄ超音波画像コンテンツのより良好なマッチングをもはや提供しなくなると、反復は停止する。上述したように２Ｄ画像を生成するための超音波トランスデューサの使用は、撮像デバイス１０を使用する任意の位置合わせ又は位置合わせ復元手順における代替方法として使用されてもよい。
【0219】
ステップ４５４において、ロボットシステム１００は、位置合わせされた３Ｄ画像（復元された位置合わせを有する３Ｄ画像）を、そのアーム１０４及びエンドエフェクタ１１２、並びにディスプレイ１１０の内容を制御するためなどのナビゲーション及びロボット手術のために使用する。ステップ４３８と同様に、プロセッサ／コンピュータ４０８は、位置合わせされた３Ｄ画像及び２つの２Ｄ画像（Ａ／Ｐ及び横方向）を、計画された器具軌道、並びに光学的に追跡された外科用器具６０８及びエンドエフェクタ１１２／１１４の動的に更新された軌道、並びに追跡された器具の仮想表現と共にディスプレイ３０４上に表示し、これらは全て、表示された３Ｄ及び２Ｄ画像上に重ね合わされる。
【0220】
ステップ４５６において、ロボットシステム１００は、位置合わせが再び損なわれていることを検出する。その場合、制御はステップ４４０に戻り、患者の別の完全な３Ｄスキャンを必要とする代わりに、２Ｄ画像のみが３Ｄ画像を再位置合わせするために必要とされる。
【0221】
図３１は、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者の術前３Ｄ画像を物理空間内の物理的患者に位置合わせし、術中２Ｄ画像との３Ｄ画像の位置合わせを復元する方法のフローチャートである。
【0222】
ステップ４５８では、関連する患者解剖学的構造の３Ｄ画像が、手術前に撮像デバイス１０によって捕捉される。例えば、撮像デバイス１０は、完全な３ＤＸ線ＣＴスキャンを実行することができ、これは次に、周知のＣＴ変換プロセスに基づいて３Ｄ画像又は画像体積に変換される。次いで、３Ｄ画像は、ＤＩＣＯＭファイルとしてメモリに記憶される。
【0223】
先の図と同じ参照番号を有するステップの説明は、簡潔にするために省略されている。
【0224】
ステップ４５６において、ロボットシステム１００は、位置合わせが損なわれていることを検出する。そうである場合、制御はステップ４２４に移り、２つの２Ｄ画像（例えば、Ａ／Ｐ画像及び横方向画像）のみを使用して位置合わせを復元し、患者の別の完全な３Ｄスキャンを行うことなくそれらを術前３Ｄ画像にマージすることができ、それにより、全体の処置時間を短縮し、患者の有害なＸ線被曝を低減する。
【0225】
図３２は、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、撮像空間内の患者の術中２Ｄ画像を（図２８に示されるようなカメラ／光学空間によって表されるような）物理空間内の物理的患者に位置合わせし、２Ｄ画像の別のセットとの２Ｄ画像の位置合わせを復元する方法のフローチャートである。
【0226】
この方法は、利用可能な３Ｄ撮像システムがない場合に有用であり得る。図３２のステップ４２２～４２８、４４６～４５４は、他の図のステップと同様である。
【0227】
ステップ４５４の一部として、プロセッサ／コンピュータ４０８は、位置合わせされた２Ｄ画像（Ａ／Ｐ及び横方向）を、光学的に追跡された外科用器具６０８及びエンドエフェクタ１１２／１１４の動的に更新された軌道、並びに追跡された器具の仮想表現と共にディスプレイ３０４上に表示する。
【0228】
ステップ４５６において、位置合わせが損なわれていることが、ロボットシステム１００によって検出される。その場合、制御はステップ４２４に移り、ここで、２つの追加の２Ｄ画像が撮像デバイス１０から取得され、変換Ａ、Ｂ、及びＣを実行することによって位置合わせされ、変換Ｃは最終的に、撮像空間内の２Ｄ画像とカメラ２００空間（物理的患者座標系）におけるＤＲＢ１１６との間の位置合わせ情報を表す。
【0229】
しかしながら、当業者によって理解され得るように、ディスプレイ３０４上に表示される２つの２Ｄ画像のみに基づいてナビゲートすることが容易ではない場合がある。３Ｄ撮像デバイスへのアクセスがない図３２の方法の代替として、３Ｄ画像を、アトラスモデルなどの汎用モデルから合成的に作成することができる。
【0230】
図３３は、好ましくは画像内に埋め込まれた放射線不透過性基準を使用せずに、患者の術中２Ｄ画像に基づいて合成的に作成された３Ｄ画像を位置合わせする方法のフローチャートである。患者からの２Ｄ画像（例えば、Ａ／Ｐ及び横方向）を使用して汎用モデルをカスタマイズするために、統計的形状モデリング及び人工知能又は機械学習モデル技術などの画像処理技術を使用することができる。したがって、ステップ４４８の後、ステップ４６０において、ロボットシステム１００は、一般モデル及び２Ｄ画像に基づいて合成的に作成された３Ｄ画像を生成する。これを行う１つの方法は、２Ｄ画像に基づいて汎用３Ｄモデルを伸張及び圧縮することである。そうする前に、２Ｄ画像をセグメント化のために処理して、各椎骨レベル及びそれらの周知の点を識別することができる。
【0231】
ステップ４５２において、位置合わせされた２Ｄ画像は、ステップ４６０において得られたカスタマイズされた３Ｄ画像とマージされ、次いで、２つの２Ｄ画像に加えて位置合わせされた合成３Ｄ画像がディスプレイ３０４上に表示される。このようにして、表示され、表示された３Ｄ画像及び２Ｄ画像上に重ね合わされる、追跡器具、その軌道、及びエンドエフェクタを使用するナビゲーションは、視覚化するのがより容易であり、より正確であり得る。
【0232】
あるいは、汎用３Ｄモデルがカスタマイズされると、カスタマイズされたモデルの姿勢は既に２Ｄ画像に同期されているので、ステップ４６０及び４５２は同時に又は逆の順序で実行される。その場合、位置合わせステップは、単に、３Ｄ画像姿勢情報（２Ｄ画像の配向に一致するもの）を、外科用ロボットシステム１００によって使用され得る形態に変換することである。
【0233】
本発明のこれら及びその他の利点は、前述の明細書から当業者には明らかであろう。したがって、発明の広範な発明概念から逸脱することなく、上述の実施形態に対して変更又は修正を行い得ることが、当業者によって認識されるであろう。したがって、本発明は、本明細書に記載の特定の実施形態に限定されるものではないが、特許請求の範囲に定義される本発明の範囲及び趣旨内にある全ての変更及び修正を含むことが意図されることを、理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図9F】
【図9G】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図17】
【図18A】
【図18B】
【図18C】
【図19】
【図20】
【図21A】
【図21B】
【図22A】
【図22B】
【図22C】
【図23A】
【図23B】
【図23C】
【図23D】
【図24A】
【図24B】
【図24C】
【図24D】
【図24E】
【図25】
【図26A】
【図26B】
【図27A】
【図27B】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】