特許 6026515 ツールの動作を制御するのに使用されるフレームの位置及び向きの推定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6026515

(24)【登録日】2016年10月21日

(45)【発行日】2016年11月16日

(54)【発明の名称】ツールの動作を制御するのに使用されるフレームの位置及び向きの推定

(51)【国際特許分類】

   B25J 3/00 20060101AFI20161107BHJP

   B25J 9/10 20060101ALI20161107BHJP

   A61B 90/00 20160101ALI20161107BHJP

【ＦＩ】

   B25J3/00 C

   B25J9/10 A

   A61B19/00 502

【請求項の数】32

【全頁数】32

(21)【出願番号】特願2014-510464(P2014-510464)

(86)(22)【出願日】2012年5月10日

(65)【公表番号】特表2014-518775(P2014-518775A)

(43)【公表日】2014年8月7日

(86)【国際出願番号】US2012037310

(87)【国際公開番号】WO2012158458

(87)【国際公開日】20121122

【審査請求日】2015年5月1日

(31)【優先権主張番号】61/485,706

(32)【優先日】2011年5月13日

(33)【優先権主張国】US

(31)【優先権主張番号】13/360,380

(32)【優先日】2012年1月27日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】チャオ，タオ

(72)【発明者】

【氏名】プリスコ，ジュゼッペ，マリー

(72)【発明者】

【氏名】スティーガー，ジョン ライアン

(72)【発明者】

【氏名】ラーキン，デイビッド キュー

【審査官】 臼井 卓巳

(56)【参考文献】

【文献】 米国特許第０６４２４８８５（ＵＳ，Ｂ１）

【文献】 特開平０７−３１１６１０（ＪＰ，Ａ）

【文献】 特開平０９−１２８５４９（ＪＰ，Ａ）

【文献】 特開平１０−０９７３１１（ＪＰ，Ａ）

【文献】 特開平１１−０９０８６８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／０２５８９３８（ＵＳ，Ａ１）

【文献】 特表平０７−５０４３６３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ ３／００− ９／１０

Ａ６１Ｂ １９／００−３４／３５

Ｇ０６Ｆ １９／００

Ｑ６１Ｂ ５／０５

(57)【特許請求の範囲】

【請求項1】

マスタフレームを有するマスタコントロール装置；
固定フレームに対する位置及び向きが１つ又は複数の画像フレーム変換を通じて決定できる画像フレームを有する画像取得システム；
前記画像取得システムの視野内に配置されるとともに前記固定フレームに対する位置及び向きが１つ又は複数のツールフレーム変換を通じて決定できるツールフレームを有する、ツール；並びに
少なくとも１つのプロセッサであって：
前記画像取得システムによって取得された１つ又は複数の画像の情報から前記ツールの姿勢を示すポイントを特定すること；
特定された前記姿勢を示すポイント並びに前記画像フレーム変換及び前記ツールフレーム変換の既知のものを使用することによって前記画像フレーム変換及び前記ツールフレーム変換の未知の１つに関する第１のフレームから第２のフレームへの推定された変換を決定することであって、前記推定された変換は、対応するフレームを互いに関連付けるそれぞれの既知の前記画像フレーム変換及び前記ツールフレーム変換並びに前記ツールフレームを前記画像フレームに関連付けるポイントを示す特定された前記姿勢を用いて、前記第１のフレームと前記第２のフレームとの間のフレームの関係のチェーンから決定される、決定すること；
前記画像フレーム変換及び前記ツールフレーム変換の前記推定された並びに前記既知のものを使用することによってマスタ−ツール変換を更新すること；及び
前記更新されたマスタ−ツール変換を使用することによって前記マスタコントロール装置の動作に応じて前記ツールの動作を指令すること；
を含む動作を実行するようにプログラムされた、少なくとも１つのプロセッサ；を有する、
ロボットシステム。

【請求項2】

オペレータが見ることができるディスプレイであって、アイフレームが前記オペレータの目において定められる、ディスプレイ；及び
前記画像取得システムによって取得された画像の情報を前記ディスプレイに表示するように構成された視覚システム；をさらに有し、
前記少なくとも１つのプロセッサは、アイ−マスタ変換を画像−ツール変換にそろえるオフセットを調整することによって、前記マスタ−ツール変換を更新し、
前記アイ−マスタ変換は、前記マスタフレームのポイントを前記アイフレームの対応するポイントに変換し、
前記画像−ツール変換は、前記ツールフレームのポイントを前記画像フレームの対応するポイントに変換する、
請求項１に記載のロボットシステム。

【請求項3】

前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つは、１つ又は複数の前記ツールフレーム変換の１つである、
請求項１に記載のロボットシステム。

【請求項4】

前記ツールは、ピボットポイントフレームを有するピボットポイントに対して動き、前記ツールは、エンドエフェクタフレームを有するエンドエフェクタを有し、前記未知のツールフレーム変換は、前記ピボットポイントフレームのポイントを前記エンドエフェクタフレームの対応するポイントに変換する、
請求項３に記載のロボットシステム。

【請求項5】

前記未知のツールフレーム変換はツールガイドを特定し、前記エンドエフェクタが前記ツールガイドの遠位端から延びるように前記ツールは前記ツールガイドを通って延び、
特定された前記ツールガイドは、エンドエフェクタ変換への異なるピボットポイントを有する幾つかの候補ツールガイドの１つである、
請求項４に記載のロボットシステム。

【請求項6】

前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つは、１つ又は複数の前記画像フレーム変換の１つである、
請求項１に記載のロボットシステム。

【請求項7】

前記画像取得システムは、機械要素フレームを有する機械要素に繋ぎ止められ、
前記未知の画像フレーム変換は、前記機械要素フレームのポイントを前記画像フレームの対応するポイントに変換する、
請求項６に記載のロボットシステム。

【請求項8】

前記画像取得システムに結合された第１のロボットアームを有する第１の構造であって、第１の構造フレームを有する、第１の構造；及び
前記ツールに結合された第２のロボットアームを有する第２の構造であって、第２の構造フレームを有する、第２の構造；をさらに有し、
前記第１及び第２の構造フレームの一方は前記固定フレームであり、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つは、前記第１及び第２の構造フレームの他方のポイントを前記固定フレームの対応するポイントに変換する変換である、
請求項１に記載のロボットシステム。

【請求項9】

前記第１及び前記第２の構造フレームの他方に対応する前記第１又は第２の構造は、可動構造である、
請求項８に記載のロボットシステム。

【請求項10】

前記固定フレームに対応する前記第１又は第２の構造は、可動構造である、
請求項８に記載のロボットシステム。

【請求項11】

１つ又は複数の前記画像フレーム変換の前記既知のものは、前記画像取得システムに延びる運動学的チェーンに沿って配置された１つ又は複数のセンサを使用して決定される、
請求項１に記載のロボットシステム。

【請求項12】

１つ又は複数の前記画像フレーム変換の前記既知のものは、三角法を前記画像取得システムに機械的に結合された１つ又は複数の構造の既知の寸法に適用することによって決定される、
請求項１に記載のロボットシステム。

【請求項13】

１つ又は複数の前記ツールフレーム変換の前記既知のものは、前記ツールに延びる運動学的チェーンに沿って配置された１つ又は複数のセンサを使用して決定される、
請求項１に記載のロボットシステム。

【請求項14】

１つ又は複数の前記ツールフレーム変換の前記既知のものは、三角法を前記ツールに機械的に結合された１つ又は複数の構造の既知の寸法に適用することによって決定される、
請求項１に記載のロボットシステム。

【請求項15】

前記少なくとも１つのプロセッサは、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の一方の前記推定された変換を平滑化し、平滑化された前記推定された変換を使用して前記マスタ−ツール変換を更新する、
請求項１に記載のロボットシステム。

【請求項16】

前記少なくとも１つのプロセッサは、前記画像フレームに対する前記ツールフレームの前記位置及び向きの以前の推定を周期的に更新することによって、前記画像フレームに対する前記ツールフレームの前記位置及び向きを推定するように、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つに関する前記推定された変換の以前の決定を更新することによって、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つに関する前記推定された変換を決定するように、及び前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つに関する現在及び以前の前記推定された変換を平均することによって、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つに関する前記推定された変換を平滑化するように、プログラムされる、
請求項１５に記載のロボットシステム。

【請求項17】

マスタフレームを有するマスタコントロール装置、固定フレームに対する位置及び向きが１つ又は複数の画像フレーム変換を通じて決定できる画像フレームを有する画像取得システム、前記画像取得システムの視野内に配置されるとともに前記固定フレームに対する位置及び向きが１つ又は複数のツールフレーム変換を通じて決定できるツールフレームを有するツール、を有するロボットシステムに実装される方法であって：
前記画像取得システムによって取得された１つ又は複数の画像の情報から前記ツールの姿勢を示すポイントを特定するステップ；
特定された前記姿勢を示すポイント並びに前記画像フレーム変換及び前記ツールフレーム変換の既知のものを使用することによって前記画像フレーム変換及び前記ツールフレーム変換の未知の１つに関する第１のフレームから第２のフレームへの推定された変換を決定するステップであって、前記推定された変換は、対応するフレームを互いに関連付けるそれぞれの既知の前記画像フレーム変換及び前記ツールフレーム変換並びに前記ツールフレームを前記画像フレームに関連付けるポイントを示す特定された前記姿勢を用いて、前記第１のフレームと前記第２のフレームとの間のフレームの関係のチェーンから決定される、ステップ；
前記画像フレーム変換及び前記ツールフレーム変換の前記推定された並びに前記既知のものを使用することによって、マスタ−ツール変換を更新するステップ；及び
前記更新されたマスタ−ツール変換を使用することによって前記マスタコントロール装置の動作に応じて前記ツールの動作を指令するステップ；を有する
方法。

【請求項18】

前記ロボットシステムは、オペレータが見ることができるディスプレイであって、アイフレームが前記オペレータの目において定められる、ディスプレイ、及び前記画像取得システムによって取得された画像の情報を前記ディスプレイに表示するように構成された視覚システム、をさらに有し、
前記マスタ−ツール変換の前記更新するステップは：
アイ−マスタ変換を画像−ツール変換にそろえるオフセットを調整するステップを有し、
前記アイ−マスタ変換は、前記マスタフレームのポイントを前記アイフレームの対応するポイントに変換し、
前記画像−ツール変換は、前記ツールフレームのポイントを前記画像フレームの対応するポイントに変換する、
請求項１７に記載の方法。

【請求項19】

前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つは、１つ又は複数の前記ツールフレーム変換の１つである、
請求項１７に記載の方法。

【請求項20】

前記ツールは、ピボットポイントフレームを有するピボットポイントに対して動き、前記ツールは、エンドエフェクタフレームを有するエンドエフェクタを有し、前記未知のツールフレーム変換は、前記ピボットポイントフレームのポイントを前記エンドエフェクタフレームの対応するポイントに変換する、
請求項１９に記載の方法。

【請求項21】

前記未知のツールフレーム変換はツールガイドを特定し、前記エンドエフェクタが前記ツールガイドの遠位端から延びるように前記ツールは前記ツールガイドを通って延び、
特定された前記ツールガイドは、エンドエフェクタ変換への異なるピボットポイントを有する幾つかの候補ツールガイドの１つである、
請求項２０に記載の方法。

【請求項22】

前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つは、１つ又は複数の前記画像フレーム変換の１つである、
請求項１７に記載の方法。

【請求項23】

前記画像取得システムは、機械要素フレームを有する機械要素に繋ぎ止められ、
前記未知の画像フレーム変換は、前記機械要素フレームのポイントを前記画像フレームの対応するポイントに変換する、
請求項２２に記載の方法。

【請求項24】

前記ロボットシステムは、前記画像取得システムに結合された第１のロボットアームを有する第１の構造であって、第１の構造フレームを有する、第１の構造、及び前記ツールに結合された第２のロボットアームを有する第２の構造であって、第２の構造フレームを有する、第２の構造、をさらに有し；
前記第１及び第２の構造フレームの一方は前記固定フレームであり、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つは、前記第１及び第２の構造フレームの他方のポイントを前記固定フレームの対応するポイントに変換する変換である、
請求項１７に記載の方法。

【請求項25】

前記第１及び前記第２の構造フレームの他方に対応する前記第１又は第２の構造は、可動構造である、
請求項２４に記載の方法。

【請求項26】

前記固定フレームに対応する前記第１又は第２の構造は、可動構造である、
請求項２４に記載の方法。

【請求項27】

前記画像取得システムに延びる運動学的チェーンに沿って配置された１つ又は複数のセンサを使用して１つ又は複数の前記画像フレーム変換の前記既知のものを決定するステップをさらに含む、
請求項１７に記載の方法。

【請求項28】

三角法を前記画像取得システムに機械的に結合された１つ又は複数の構造の既知の寸法に適用することによって、１つ又は複数の前記画像フレーム変換の前記既知のものを決定するステップをさらに有する、
請求項１７に記載の方法。

【請求項29】

前記ツールに延びる運動学的チェーンに沿って配置された１つ又は複数のセンサを使用することによって、１つ又は複数の前記ツールフレーム変換の前記既知のものを決定するステップをさらに有する、
請求項１７に記載の方法。

【請求項30】

三角法を前記ツールに機械的に結合された１つ又は複数の構造の既知の寸法に適用することによって、１つ又は複数の前記ツールフレーム変換の前記既知のものを決定するステップをさらに有する、
請求項１７に記載の方法。

【請求項31】

前記画像フレーム変換及び前記ツールフレーム変換の前記未知の一方の前記推定された変換を平滑化するステップをさらに有し、
前記マスタ−ツール変換の前記更新するステップは、平滑化された前記推定された変換を使用する、
請求項１７に記載の方法。

【請求項32】

前記画像フレームに対する前記ツールフレームの前記位置及び向きの前記推定するステップは、前記画像フレームに対する前記ツールフレームの前記位置及び向きの以前の推定を周期的に更新するステップを有し；
前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つに関する前記推定された変換の前記決定するステップは、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つに関する前記推定された変換の以前の決定を更新するステップを有し；及び
前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つに関する前記推定された変換の前記平滑化するステップは、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の１つに関する現在及び以前の前記推定された変換を平均するステップを有する、
請求項３１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は概して、ロボットシステム、特に、オペレータが指示したツールの動作を制御するために使用されるフレームの位置及び向きの推定に関する。

【背景技術】

【0002】

低侵襲手術を実行するために使用されるような医療ロボットシステムは、従来の観血手術法に対して、より少ない痛み、より短い入院、通常の活動へのより速い復帰、最小の瘢痕化、減少した回復時間、及び組織のより少ない損傷を含む、多くの利点を提供する。したがって、このような医療ロボットシステムを使用する低侵襲手術に対する需要は強く且つ成長している。

【0003】

医療ロボットシステムの例は、Ｃａｌｉｆｏｒｎｉａ州ＳｕｎｎｙｖａｌｅのＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ， Ｉｎｃ．のｄａ Ｖｉｎｃｉ（登録商標）手術システム Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ、ｄａ Ｖｉｎｃｉ Ｓ（登録商標） Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ、及びｄａ Ｖｉｎｃｉ（登録商標） Ｓｉ ＨＤ（商標） Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍを含む。これらのシステムのそれぞれは、外科医ワークステーション、患者側カート、高性能３次元（「３−Ｄ」）視覚システム、及びＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ独自のＥｎｄｏＷｒｉｓｔ（登録商標）関節式器具を備える。この関節式器具は、手術器具を保持するスレーブマニピュレータの動きが加えられると、少なくとも完全な６自由度の動きが可能になるように、人間の手首に倣って作られ、この完全な６自由度の動きは、観血手術の自然な動きに匹敵又は超えさえする。

【0004】

ｄａ Ｖｉｎｃｉ（登録商標）外科医ワークステーションは高解像度立体ビデオディスプレイを有する。システムは、偏光、シャッタ眼鏡又は他の３−Ｄ表示技法よりも高い忠実度を提示する。それぞれの目は、対物レンズおよび一連の鏡を介して左目または右目の視野を表示する個別のディスプレイを見る。外科医は、手術の間中、楽に座ってこのディスプレイを覗き込み、そこを、外科医にとって３−Ｄの手術中の像を表示して操作するのに理想的な場所にする。

【0005】

患者側カートは典型的には、患者内の手術部位で医療処置を行うとともに見るための手術器具及び画像取得装置等の医療装置を保持するとともに操作するための３つ以上のスレーブマニピュレータを含む。これらの医療装置を操作するために、外科医ワークステーションはまた、それらを操作するために医療装置（及び医療装置を保持するスレーブマニピュレータ）に選択的に関連付けられ得る、マスタコントロール装置も含む。

【0006】

このような医療ロボットシステム、並びに一般の他のロボットシステムでは、マスタコントロール装置のオペレータの操作に応じた手術器具の制御は、１つのフレームのポイントをもう１つのフレームの対応するポイントにマッピングするために、いくつかの定義可能な参照フレーム及び対応するフレーム変換を有し得る。しかし、フレームの１つの位置及び向きが未知であるとき、手術器具の精密な制御は達成することが困難になり得るので、医療ロボットシステムによって治療されているときの患者の安全並びに患者に行われている手術の正常な完了が危うくされ得る。

【発明の概要】

【発明が解決しようとする課題】

【0007】

したがって、本発明の態様の１つの目的は、ロボットシステム及び、その画像がその時取得されるとともにオペレータに表示されるツールのオペレータが指示した動作を制御するために使用されるフレームの位置及び向きを推定するためにロボットシステムに実装される方法である。

【課題を解決するための手段】

【0008】

この及びさらなる目的は、本発明の様々な態様によって達成され、簡単に述べると、１つの態様は：マスタフレームを有するマスタコントロール装置；固定フレームに対する位置及び向きが１つ又は複数の画像フレーム変換を通じて決定できる画像フレームを有する画像取得システム；画像取得システムの視野内に配置されるとともに固定フレームに対する位置及び向きが１つ又は複数のツールフレーム変換を通じて決定できるツール；及び画像取得システムによって取得された１つ又は複数の画像の情報からツールの姿勢を示すポイントを特定するように、特定された姿勢を示すポイント並びに画像及びツールフレーム変換の既知の１つを使用することによって画像及びツールフレーム変換の未知の１つに関する推定された変換を決定するように、推定された並びに既知の画像及びツールフレーム変換の１つを使用することによってマスタ−ツール変換を更新するように、及び更新されたマスタ−ツール変換を使用することによってマスタコントロール装置の動作に応じてツールの動作を指令するように、プログラムされた少なくとも１つのプロセッサ；を有するロボットシステムである。

【0009】

他の態様は、マスタフレームを有するマスタコントロール装置、固定フレームに対する位置及び向きが１つ又は複数の画像フレーム変換を通じて決定できる画像フレームを有する画像取得システム、画像取得システムの視野内に配置されるとともに固定フレームに対する位置及び向きが１つ又は複数のツールフレーム変換を通じて決定できるツールフレームを有するツール、を有するロボットシステムに実装される方法であり、方法は：画像取得システムによって取得された１つ又は複数の画像の情報からツールの姿勢を示すポイントを特定するステップ；特定された姿勢を示すポイント並びに画像及びツールフレーム変換の既知の１つを使用することによって画像及びツールフレーム変換の未知の１つに関する推定された変換を決定するステップ；画像及びツールフレーム変換の推定された並びに既知のものを使用することによってマスタ−ツール変換を更新するステップ；及び更新されたマスタ−ツール変換を使用することによってマスタコントロール装置の動作に応じてツールの動作を指令するステップ；を有する。

【0010】

本発明の多様な態様の追加の目的、特徴及び利点は、以下の好適な実施形態の記述から明らかになり、この記述は添付の図面とともに理解されるべきである。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の態様を利用する医療ロボットシステムを採用した手術室の上面図を示す。

【図2】図２は、内視鏡の観察端部に対するエンドエフェクタの位置及びオペレータの目に対するマスタコントロール装置の対応する位置を示す概略３次元図を示す。

【図3】図３は、画像取得システムの画像フレームに対するエンドエフェクタの位置及び向きを示す概略３次元図を示す。

【図4】図４は、医療ロボットシステムのオペレータの目に関連付けられた目基準系に対するマスタコントロール装置のピンチャ構造の位置及び向きを示す概略３次元図を示す。

【図5】図５は、画像取得システムに関連付けられた画像フレームに対するツールのエンドエフェクタの位置及び向きを決定するためにコントロールシステムによって使用されるフレームの場所を示す手術ステーションの一部の概略側面図を示す。

【図6】図６は、外科医の目に関連付けられた目フレームに対するマスタコントロール装置のピンチャ構造の位置及び向きを決定するために、コントロールシステムによって使用されるフレームの場所を示す外科医ワークステーション２００の一部の概略側面図を示す。

【図7-9】図７−９は、外科医の手、マスタコントロール装置、及びツールのエンドエフェクタの対応するマッピング場所及びそれらの選択のための方法を示す。

【図10】図１０は、マスタ／スレーブロボットシステムの高レベル制御アーキテクチャモデルのブロック図を示す。

【図11】図１１は、ツール及び内視鏡が共通の入口に配置された共通ピボットポイント周りに回転するように、湾曲カニューレを通って内視鏡とともに挿入される左及び右ツールの概略側面図を示す。

【図12】図１２は、ツールを見るために作業部位に繋ぎ止められた内視鏡の概略側面図を示す。

【図13】図１３は、作業部位でロボット制御ツール及び画像取得システムをそれぞれ位置決めするための可動構造の概略側面図を示す。

【図14】図１４は、画像フレームのポイントを固定フレームに変換するために使用される画像フレーム変換及びツールフレームのポイントを固定フレームに変換するために使用されるツールフレーム変換の概略図を示す。

【図15】図１５は、マスタコントロール装置の動作に応じたツールの動作を指示するための未知のフレーム変換を推定するための方法のフロー図を示す。

【発明を実施するための形態】

【0012】

以下の例は医療ロボットシステムへの本発明の応用を説明するが、本発明がそれに限定されるべきでないことが理解されるべきである。特に、本発明は、一般的なロボットシステムに適用可能であり、添付の特許請求の範囲に従う全範囲に一致すべきである。

【0013】

図１は、一例として、医療ロボットシステム１００を採用した手術室の上面図を示す。この場合の医療ロボットシステムは、一又は複数の助手（“Ａ”）の補助により、手術台１１５に仰向けに横たわる患者（“Ｐ”）に対して、診断または手術等、医療処置を行いながら、外科医（“Ｓ”）によって利用されるワークステーション２００を含む。

【0014】

ワークステーション２００は、外科医に対して手術又は作業部位の３−Ｄ画像を表示するための３−Ｄディスプレイ２０２、左及び右マスタコントロール装置７００、７００、フットペダル１０５、及びプロセッサ１０２を含む。コントロール装置７００、７００は、ジョイスティック、グローブ、トリガガン、手動コントローラ、または同類のもの等、種々の入力装置のうちのいずれか１つ又は複数を含み得る。本例では、それらは、開閉され得るとともに、それらのそれぞれ関連する手術ツールの所望の動きに対応するように複数の自由度で動かされ得るピンチャ（ｐｉｎｃｈｅｒｓ）として実装される。プロセッサ１０２は、ワークステーション２００に組み込まれた、隣又はその近くに配置された専用コンピュータであり得る、又は、プロセッサ１０２は、システム１００の全体に渡って分散処理式に分散された幾つかの処理又はコントローラ構成要素に分割され得る。

【0015】

プロセッサ１０２が、それらのそれぞれの関連するロボットアーム組立体１２８，１２９のスレーブマニピュレータをそれらのそれぞれの取り外し可能に連結されたツール１４、１４（「手術器具」とも称される）を適宜に操作させるように、マスタコントロール装置７００、７００（「マスタマニピュレータ」とも称される）を操作することによって外科医が医療処置を行う一方で、外科医は、手術部位が画像取得装置によって撮影されるので、ワークステーション２００ディスプレイ２０２の３−Ｄの手術部位を見る。この画像取得装置は、本例では、立体視のための対応刷る画像を取得する一対のカメラを有する立体視内視鏡３０４である。

【0016】

それぞれのツール１４、１４、並びに内視鏡３０４は、従来通りに、この例では、切開部１６６等の対応する低侵襲切開部を通して手術部位へと下方に延びるよう、ツールガイドを通って患者に挿入される。一度に使用される手術ツールの数及びその結果として、システム１００で使用されているロボットアームの数は、概して、いくつかある要因の中で特に、行われる医療処置及び手術室内のスペースの制約に依存する。処置中に使用されているツールを変える必要がある場合、助手は、もはや使用されないツールをそのロボットアーム組立体から取り外し、それを手術室内のトレイ１１６から他のツール１４と交換し得る。

【0017】

ツール１４、１４が手術部位で操作され得るように、それらはそれぞれ、手首機構の向きを制御するためのジョイント（又は、歯車、スプール他等の他の駆動可能な機械要素）、及び最終的な把持又はツールのほかのエンドエフェクタジョイントを制御する追加ジョイント（又は他の駆動可能な機械要素）を含む手首機構を有する。このようなツールの手首及びエンドエフェクタの機構（及び機械要素及びそれらを駆動する他のリンケージ）のさらなる詳細に関しては、例えば、米国特許第７，７８０，６５１号（２００７年１１月２７日に出願され、“Ａｒｔｉｃｕｌａｔｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｅｒｙ ｗｉｔｈ Ｅｎｈａｎｃｅｄ Ｄｅｘｔｅｒｉｔｙ ａｎｄ Ｓｅｎｓｉｔｉｖｉｔｙ”と題する）、米国特許第６，９３６，９０２号（２００２年４月１６日に出願され、“Ｓｕｒｇｉｃａｌ Ｔｏｏｌｓ ｆｏｒ Ｕｓｅ ｉｎ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｔｅｌｅｓｕｒｇｉｃａｌ Ａｐｐｌｉｃａｔｉｏｎｓ”
と題する）、及び米国特許第７，７３６，３５６号（２００４年１１月１日に出願され、“Ｓｕｒｇｉｃａｌ Ｔｏｏｌ Ｈａｖｉｎｇ Ｐｏｓｉｔｉｖｅｌｙ Ｐｏｓｉｔｉｏｎａｂｌｅ Ｔｅｎｄｏｎ−Ａｃｔｕａｔｅｄ Ｍｕｌｔｉ−Ｄｉｓｋ Ｗｒｉｓｔ Ｊｏｉｎｔ”と題する）を参照されたい。これらは参照により本願に援用される。

【0018】

それぞれのロボットアーム組立体１２２、１２８、１２９は、スレーブアーム（「スレーブマニピュレータ」とも称される）及びセットアップアームを含む。スレーブマニピュレータは、それらのそれぞれ保持された医療装置を操作及び／又は動かすために、モータ制御式ジョイント（本願では「能動ジョイント」とも称される）を使用してロボット式に動かされる。セットアップアームは、それらのそれぞれの医療装置がそれらのそれぞれのツールガイドに挿入され得るように、ロボットアーム組立体１２２、１２８、１２９を水平及び垂直に位置決めするために通常ブレーキをかけられたジョイント（本願では「セットアップジョイント」とも称される）を解放することによって手動で操作され得る。代替的には、セットアップアームは、モータ制御式ジョイントを使用して能動的に制御され得る。

【0019】

ディスプレイ２０２は、外科医が実際に手術部位を直接見下ろしていると感じるように向けられた映像を表示するように、外科医の手の近くに置かれる。そのために、ツール１４、１４の画像は、テレプレゼンスの感覚（例えば、マスタコントロール装置が手術ツールと一体であるという知覚）を外科医に与えるために、実質的に外科医の手が位置するところに位置するように見える。

【0020】

プロセッサ１０２は、システム１００において様々な機能を果たす。それが果たす１つの重要な機能は、外科医がそれらのそれぞれのツール１４、１４を効果的に操作できるように、制御装置７００、７００の機械的運動を、バス１１０を通る制御信号を介して、ロボットアーム組立体１２８、１２９のそれらのそれぞれのスレーブマニピュレータに、変換し、伝達することである。別の重要な機能は、本願で説明されるように、様々なコントロールシステムプロセス及び方法を実装することである。

【0021】

プロセッサとして説明されているが、プロセッサ１０２は、実際においては、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装され得ることが理解されるべきである。また、本願で説明されるようなプロセッサの機能は、１つのユニットによって行われ得るか、または異なる構成要素間で分担され得る。次に、そのそれぞれは、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装され得る。

【0022】

本願に記載されたような医療ロボットシステムの構造及び動作のさらなる詳細に関しては、米国特許第６，４９３，６０８号（１９９９年８月１３日に出願され、“Ｃａｍｅｒａ Ｒｅｆｅｒｅｎｃｅｄ Ｃｏｎｔｒｏｌ ｉｎ ａ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｉｃａｌ Ａｐｐａｒａｔｕｓ”と題する）を参照されたい。これは参照により本願に援用される。

【0023】

使用中、図２の図面に概略的に示されるように、外科医は、手術部位をディスプレイ２０２を通じて見る。各ツール１４に支持されたエンドエフェクタ５８は、その付随するマスタコントロール装置の移動及び動作入力に応じて位置及び向きの動きを実行させられる。マスタコントロール装置は７００、７００で概略的に示される。手術中、エンドエフェクタ５８の画像は、外科医がマスタコントロール装置７００、７００を用いてこのような移動及び動作を制御するとき、外科医がエンドエフェクタ５８の対応する移動及び動作を見るように、手術部位とともに内視鏡３０４によって取得され、ディスプレイ２０２に表示されることが理解されるであろう。コントロールシステム（以下に図１０を参照して説明される）は、以下により詳細に記載されるように、ディスプレイ２０２の画像に見られるエンドエフェクタの向き及び位置の動きをマスタコントロール装置のピンチャ構造の向き及び位置の動きにマッピングさせるように構成される。

【0024】

低侵襲ロボット手術システムのコントロールシステムの動作が今より詳細に記載される。以下の説明では、コントロールシステムは、１つのマスタコントロール装置７００並びにそれに付随するロボットアーム及び手術器具１４と関連して説明される。マスタコントロール装置７００は単に「マスタ」と称されるとともに、それに付随するロボットアーム及び手術器具１４は単に「スレーブ」と称される。

【0025】

マスタ運動と対応するスレーブ運動との間の制御が低侵襲手術システム１００のコントロールシステムによって実現される方法が、概説的に図２−４の図面を参照して、説明される。方法は次に図５−１５の図面を参照してより詳細に説明される。

【0026】

マスタとスレーブ運動との間の制御は、アイ（目）デカルト基準座標系（本願では「アイフレーム」とも称される）でのマスタの位置及び向きをカメラデカルト基準座標系（本願では「カメラフレーム」又はより一般的に「画像フレーム」とも称される）でのスレーブの位置及び向きと比較することによって実現される。理解の容易さと語の節約のために、用語「デカルト基準座標系」は、添付の特許請求の範囲を含む本明細書の残りの部分では単に「フレーム」と称される。したがって、マスタが静止しているとき、カメラフレーム内のスレーブの位置及び向きは、アイフレーム内のマスタの位置及び向きと比較され、カメラフレーム内のスレーブの位置及び／又は向きがアイフレーム内のマスタの位置及び／又は向きと対応しない場合、スレーブは、カメラフレーム内のその位置及び／又は向きがアイフレーム内のマスタの位置及び／又は向きに対応しないカメラフレーム内の位置及び／又は向きに動かされる。図３では、カメラフレームは、参照番号６１０によって概して示され、アイフレームは図４に参照番号６１２によって概して示される。同様に、マスタアライメントモードでは、スレーブが静止し、マスタがカメラフレームのスレーブ位置及び向きに対応するアイフレームの位置及び／又は向きに動かされる。

【0027】

マスタがアイフレーム６１２の新しい位置及び／又は向きに動かされるとき、新しいマスタの位置及び／向きは、カメラフレーム６１０の以前の対応するスレーブの位置及び／又は向きに対応しない。コントロールシステムは次に、スレーブをカメラフレーム６１０の新しい位置及び／又は向きに動かし、この新しい位置及び／又は向きでは、カメラフレーム６１０のその位置及び向きは、アイフレーム６１２のマスタの新位置及び／又は向きに対応する。

【0028】

コントロールシステムは、コントロールシステムの処理サイクル速度によって決まる継続的なマスタ動作入力指令に応じたスレーブの新しい対応する位置及び向きを計算する、少なくとも１つ、典型的には複数のプロセッサを含むことが理解される。討議中のコントロールシステムの典型的な処理サイクル速度は約１３００Ｈｚである。したがって、マスタがある位置から次に位置に動かされるとき、応答するようにスレーブに望まれる対応する動きは約１３００Ｈｚで計算される。当然ながら、コントロールシステムは、コントロールシステムで使用されるプロセッサに応じた任意の適切な処理サイクル速度を有し得る。１つの実装では、全てのリアルタイム・サーボサイクル処理がＤＳＰ（デジタルシグナルプロセッサ）チップで行われる。ＤＳＰｓはこの場合その一定の計算予測性及び再現性のために使用される。ＭａｓｓａｃｈｕｓｅｔｔｓのＡｎａｌｏｇ Ｄｅｖｉｃｅｓ， Ｉｎｃ．のＤＳＰは、本願で望まれる機能を実行するためのこのようなプロセッサの許容される例である。

【0029】

カメラフレーム６１０は、その原点が内視鏡３０４の観察端部３０６に位置するように、位置付けられる。好都合には、カメラフレーム６１０のｚ軸が内視鏡３０４の観察軸６１６に沿って軸方向に延びる。図３では、観察軸６１６は内視鏡３０４のシャフト軸と同軸上に示されているが、観察軸６１６がシャフト軸に対して傾斜され得ることが理解されるべきである。したがって、内視鏡は傾斜スコープの形態であり得る。当然ながら、ｘ及びｙ軸は、ｚ軸に垂直な平面に位置する。内視鏡は典型的には、そのシャフト軸周りに角変位可能である。ｘ、ｙ及びｚ軸は、内視鏡３０４のシャフト軸周りの内視鏡３０４の角変位に一致するシャフト軸周り角度に変位するように、内視鏡３０４の観察軸に対して固定される。

【0030】

コントロールシステムがスレーブの位置及び向きを決定することを可能にするために、フレームがエンドエフェクタ５８上で定義される又はエンドエフェクタ５８に取り付けられる。このフレームは、エンドエフェクタフレーム又はスレーブ先端フレーム又は単にツールフレームと称され、この明細書の残りの部分では、参照番号６１８によって概して示される。エンドエフェクタフレーム６１８は、ピボット接続部６０にその原点を有する。好都合には、フレーム６１８の軸の１つ例えばｚ軸は、エンドエフェクタ５８の対称軸、又は同様のもの、に沿って延びるように定義される。当然ながら、ｚ及びｙ軸は次にｚ軸に垂直に延びる。スレーブの向きが次に、カメラフレーム６１０に対して、ピボット接続部６０にその原点を有するフレーム６１８の向きによって定められることが理解されるであろう。同様に、スレーブの位置は次に、カメラフレーム６１０に対して６０のフレームの原点の位置によって定められる。

【0031】

今、図４の図面を参照すると、アイフレーム６１２は、その原点が、外科医がディスプレイ２０２の手術部位を見ているときに外科医の目が通常位置する位置２０１に対応するように選択される。ｚ軸は、ディスプレイ２０２を通じて手術部位を見るときに、軸６２０によって示される、外科医の視線に沿って延びる。当然、ｘ及びｙ軸は原点２０１においてｚ軸から垂直に延びる。好都合には、ｙ軸はディスプレイ２０２に関連して概して垂直に延びるように選択され、ｘ軸はディスプレイ２０２に関連して概して水平に延びるように選択される。

【0032】

コントロールシステムがディスプレイ６１２内のマスタの位置及び向きを決定することを可能にするために、参照番号６２２で示されるマスタ又はマスタ先端フレームの原点を定めるマスタ上のポイントが選択される。このポイントは、マスタの回転の軸が交わる参照番号３Ａによって示される交点に選択される。好都合には、マスタのマスタフレーム６２２のｚ軸は、回転軸１に沿って同軸に延びるピンチャ構造７０６の対称軸に沿って延びる。ｘ及びｙ軸は次に、原点３Ａの対称軸１から垂直に延びる。したがって、アイフレーム６１２内のマスタの向きは、アイフレーム６１２に対するマスタフレーム６２２の向きによって定められる。アイフレーム６１２のマスタの位置は、アイフレーム６１２に対する原点３Ａの位置によって定められる。

【0033】

どのようにカメラフレーム６１０内のスレーブの位置及び向きがコントロールシステムによって決定されるかが、今図５の図面を参照して説明される。図５は、患者側カート３００に取り付けられたロボットアームの１つ及び手術器具１４の概略図を示す。しかし、図５の説明を開始する前に、カメラフレーム６１０に対するスレーブの向き及び位置の決定に影響を及ぼす患者側カート３００のいくつかの前に述べた態様を記載することが適切である。

【0034】

使用中、低侵襲手術システムを用いて外科手術を行うことが望まれるとき、患者側カート３００は外科手術を必要としている患者のすぐそばに動かされる。患者は通常、手術台、又は同様のもの等の表面に支持される。支持面の様々な高さを考慮に入れるため、及び外科手術が行われることになる手術部位に対する患者側カート３００の様々な位置を考慮に入れるため、患者側カート３００は、初期セットアップ構成を変化させる能力を備える。したがって、ツールスレーブアーム１０、１２及び内視鏡スレーブアーム３０２が、カート３００のベース９９に対して、矢印Ｋで示されるように、高さ調整可能なキャリッジ９７に取り付けられる。さらに、ツールスレーブアーム１０、１２及び内視鏡スレーブアーム３０２は、それらのそれぞれのセットアップアーム９５を用いてキャリッジ９７に取り付けられる。したがって、スレーブアーム１０、１２、３０２の横方向の位置及び向きは、セットアップアーム９５を動かすことによって選択され得る。したがって、外科手術の始まりでは、カート３００は患者に近接した位置に動かされ、キャリッジ９７の適切な高さがベース９９に対する適切な高さにキャリッジを動かすことによって選択され、手術器具１４は、器具１４のシャフト及び内視鏡３０４が、入口を通って、エンドエフェクタ５８及び内視鏡３０４の観察端部３０６が手術部位において適切に位置決めされるとともに支点（すなわちピボットポイント）が入口と一致する位置に導かれるように、キャリッジ９７に対して動かされる。いったん高さ及び位置が選択されると、キャリッジ９７はその適切な高さでロックされ、セットアップアーム９５はその位置及び向きでロックされる。通常、外科手術中、キャリッジ９７は選択された高さに保持され、同様にセットアップアーム９５は選択された位置に保持される。しかし、必要に応じて、内視鏡又は、器具の１つ又は両方が、外科手術中に他の入口を通って導入され得る。

【0035】

カメラフレーム６１０内のスレーブの位置及び向きのコントロールシステムによる決定が説明される。これは、特定の処理サイクル速度を有する１つ又は複数のプロセッサを用いて実現されることが理解される。したがって、必要に応じて、位置及び向きがこの明細書において参照される場合はいつでも、対応する速度もまた容易に決定されることが留意されるべきである。コントロールシステムは、カートフレーム６２４に対するスレーブの位置及び向きを決定することによって並びに同じカートフレーム６２４に対する内視鏡３０４の向き及び位置を決定することによって、カメラフレーム６１０内のスレーブの位置及び向きを決定する。カートフレーム６２４は、図５において参照番号６２６で示される原点を有する。

【0036】

カートフレーム６２４に対するスレーブの位置及び向きを決定するために、支点４９に原点を有する支点フレーム６３０の位置が、破線で矢印６２８によって示されるように、カートフレーム６２４内に決定される。支点４９の位置は通常、手術の間中、手術部位への入口に一致する、同じ場所に留まることが理解される。（図３に示すように）ピボット接続部６０にその原点を有する、スレーブのエンドエフェクタフレーム６１８の位置は、次に、支点フレーム６３０に対して決定され、スレーブのエンドエフェクタフレーム６１８の向きもまた、支点フレーム６３０に対して決定される。カートフレーム６２４に対するエンドエフェクタフレーム６１８の位置及び向きが次に、三角法の関係を使用する所定の計算を用いて決定される。

【0037】

内視鏡３０４のスレーブアーム３０２がツールスレーブアーム１０と同様に動くように強制されることが理解される。したがって、内視鏡３０４もまた、その観察端部３０６が手術部位に向けられるとき、手術部位への入口に一致する支点を定める。内視鏡スレーブアーム３０２は、外科医が外科手術の最中に異なる位置から手術部位を見ることができるように、外科手術中、内視鏡３０４を異なる位置に移動させるように駆動され得る。内視鏡３０４の観察端部３０６の動作が、内視鏡３０４のピボット中心又は支点に対する内視鏡３０４の向きを変化させることによって行われることが理解される。このような動きのオペレータの制御は、一方又は両方のマスタコントロール装置７００、７００の関連付けをツール１４、１４から内視鏡３０４に切り替えることによって行われ得る。一旦内視鏡３０４が所望の位置及び向きに移動されると、スレーブアーム３０４は所定の位置でロックされ得るとともにマスタコントロール装置７００、７００の関連付けがそれらのそれぞれのツールに切り替えて戻され得る。代替的には、フットペダル１０５又は他の従来型の手段が内視鏡３０４を位置決めするために使用され得る。カートフレーム６２４内のカメラフレーム６１０の位置及び向きは、カートフレーム６２４内のスレーブの位置及び向きと同様の方法で決定される。カートフレーム６２４に対するカメラフレーム６１０の位置及び向き、並びにカートフレーム６２４に対するスレーブの位置及び向きが、このような方法で決定されているとき、カメラフレーム６１０に対するスレーブの位置及び向きは、三角法の関係を使用する所定の計算を通じて容易に決定できる。

【0038】

どのようにディスプレイフレーム６１０内のマスタの位置及び向きがコントロールシステムによって決定されるかが、今図６の図面を参照して説明される。図６は、オペレータワークステーション２００のマスタコントロール装置７００の１つの概略図を示す。

【0039】

ワークステーション２００は、外科医に合うようマスタ７００、７００の大体の位置が変化されることを可能にするための、６３２で示されるように、任意選択でセットアップアームも含む。したがって、マスタ７００、７００の大体の位置は、マスタ７００、７００が、外科医に対して快適に位置付けられる位置になるように選択的に変化され得る。したがって、マスタ７００、７００が快適に位置決めされるとき、セットアップアーム６３２は、所定位置でロックされ、通常、手術中を通してこの位置に保持される。

【0040】

図６に示されるように、アイフレーム１２内でマスタ７００の位置及び向きを決定するために、外科医ステーションフレーム６３４に対するアイフレームの位置及び向き、並びに外科医ステーションフレーム６３４に対するマスタ７００の位置及び向きが決定される。外科医ステーションフレーム６３４は、その原点を、外科手術中通常静止し、６３６で示される場所に有する。

【0041】

ステーションフレーム６３４に対するマスタ７００の位置及び向きを決定するために、ステーションフレーム６３４に対する、マスタ７００が取り付けられるセットアップアーム６３２の端部のマスタセットアップフレーム６４０の位置が、破線で矢印６３８によって示されるように、決定される。原点を３Ａに有するマスタ７００のマスタフレーム６２２の位置及び向きが次にマスタセットアップフレーム６４０に対して決定される。このように、ステーションフレーム６３４に対するマスタフレーム６２２の位置及び向きは、三角法の関係を使用する所定の計算を用いて決定され得る。ステーションフレーム６３４に対するアイフレーム６１２の位置及び向きは、同様の方法で決定される。外科医のワークステーション２００の他の部分に対するディスプレイ２０２の位置は、外科医に合うように選択的に変化され得ることが理解される。アイフレーム６１２に対するマスタフレーム６２２の位置及び向きが次に、三角法の関係を使用する所定の計算を用いて外科医ステーションフレーム６３４に対するマスタフレーム６２２及びアイフレーム６１２の位置及び向きから決定され得る。

【0042】

上述の方法で、低侵襲手術装置のコントロールシステムは、カメラフレーム６１０内のエンドエフェクタフレーム６１８を用いてエンドエフェクタ５８の位置及び向きを決定し、同様に、アイフレーム６１２に対するマスタフレーム６２２を用いてマスタのピンチャの位置及び向きを決定する。

【0043】

上述のように、外科医は、親指及び人差し指をピンチャ構造７０６（図４参照）の上に配置することによってマスタを把持する。外科医の親指及び人差し指がピンチャ構造に配置されているとき、交点３Ａは親指及び人差し指先端の内側に位置する。その原点が３Ａにあるマスタフレームは、ディスプレイ２０２で外科医によって見られたとき、その原点をエンドエフェクタ５８のピボット接続部６０に有する、エンドエフェクタフレーム６１８に効率的にマッピングされる。したがって、外科手術を実行し、外科医が、エンドエフェクタ５８の位置及び向きを従わせるようにピンチャ構造７０６の位置及び向きを操作するとき、外科医には、外科医の親指及び人差し指がエンドエフェクタ５８の指部の上にマッピングされるように及びエンドエフェクタ５８のピボット接続部６０が、外科医の親指及び人差し指の先端から内側の外科医の親指及び人差し指の仮想的なピボット点に対応するように、見える。ピンチャ構造の実際の構成、特にピンチャ構造７０６の位置に対する回転軸の交点に応じて、マスタ７００のフレーム６２２は、ピボット接続部６０が略対応するポイントを外科医の手に対して近づけるように、交点３Ａからオフセットされ（ずらされ）得る。

【0044】

したがって、外科手術が実行されているとき、エンドエフェクタの指部の位置及び向きは、外科医の親指及び人差し指の位置及び向きの変化を、自然に直感的な又は重ねられる方法で追随する。さらに、エンドエフェクタ５８の作動、すなわちエンドエフェクタ指部を選択的に開閉させることは、外科医の親指及び人差し指の開閉に直観的に対応する。したがって、エンドエフェクタ５８のピボットポイント６０が外科医の親指と人差し指との間の仮想的なピボットポイント上に適切にマッピングされるので、エンドエフェクタ５８の作動は、ディスプレイ２０２で見ると、外科医によって自然に直感的な方法で行われる。

【0045】

エンドエフェクタフレーム６１８は、必要に応じて、ピボット接続部６０に対してオフセットされ得ることが理解される。したがって、例えば、エンドエフェクタ（ディスプレイに表示されるとき）が比較的長い長さの指部を有する場合、エンドエフェクタフレームの原点は、エンドエフェクタ指に先端に向かう方向にオフセットされ得る。マスタフレーム６２２と交点３Ａとの間の、並びにエンドエフェクタフレーム６１８とピボット接続部６０との間の位置及び／又は向きのオフセットを使用することによって、エンドエフェクタ５８上へのピンチャ構造７０６のマッピングが、例えば、ピンチャ構造の先端をエンドエフェクタの先端上にマッピングするように、移動され得る。これらの代替的なマッピングは図７に示される。

【0046】

一般的に、第１のピンチャ要素７０６Ａは実質的に第１のエンドエフェクタ要素５８．１に結び付けられる一方、第２のピンチャ要素７０６Ｂは実質的に第２のエンドエフェクタ要素５８．２に結び付けられる。任意選択で、ピンチャ要素の間のピボット接続部に隣接する、ポイント３Ａ（理想的には、マスタ７００、７０６Ａ、及び７０６Ｂのジンバル構造の回転中心の近くにある）は、実質的にスレーブのピボット接続部６０に結び付けられ得る。これはまた、外科医はしばしば、手の（外科医の指及び親指の基部の）ピボットポイントをピンチャのピボットポイントに沿って配置された状態でマスタを握るので、外科医の手Ｈのピボットポイントとピボット接続部６０との間の実質的な結び付きを提供する。代替的には、ピンチャ要素の先端の間に配置された中間点ＭＰ１は、エンドエフェクタ要素の先端の間に配置された中間点ＭＰ２に実質的に結び付けられ得る。本願に記載されるより高いレベルの結び付きのそれぞれは、任意選択で、このマッピングによって提供され得る。

【0047】

図８及び９は、マスタコントローラのハンドルとスレーブのエンドエフェクタとの間の対応するマッピングポイントをより明確に示す一方、図９はこれらの対応するマッピングポイントを選択するための方法ステップを概略的に示す。一般的に、異なるエンドエフェクタ要素長さを有する交換可能なエンドエフェクタは、ハンドル又はエンドエフェクタのマッピングポイントを変化させることによって対応され得る。このようなマッピングポイントの変化はまた、ディスプレイに表示された画像の倍率が著しく変化するときにも使用され得る。例えば、エンドエフェクタのピボット接続部６０とハンドルの交点３Ａとの実質的な結び付きは、エンドエフェクタが第１の倍率で表示されるときには適切であり得るが、エンドエフェクタの倍率が著しく増加されるとき、又はより長いエンドエフェクタ要素を有する代替エンドエフェクタがスレーブに取り付けられるとき、不適切になり得る。いずれの状況でも、図８に示されるように、マスタの中間点ＭＰ２をエンドエフェクタの中間点ＭＰ１’に実質的に結び付けるように、マスタ／スレーブ相互作用を変更することが適切であり得る。

【0048】

予備的な事として、ロボット手術システムにおいて、外科医によって握られることになるハンドルに隣接するジンバルポイントＧＰを有するマスタコントローラを提供することが有益である。これは、外科手術中にしばしば生じるような、外科医がハンドルを素早く回転させるときの大きいマスタの慣性を避ける。ジンバルポイントＧＰで交差する多自由度を持つ（理想的にはジンバルポイントで交差する３つの向きの自由度を持つ）マスタを有することによって、及びハンドルに一致するジンバルポイントを有することによって、マスタにおける素早い回転運動の慣性は非常に低くなり得る。

【0049】

上述のように、スレーブのピボット接続部６０の画像が、ピンチャ又は把持要素７０６Ａ、７０６Ｂとの間のピンチャ構造ピボットポイント３Ａに実質的に関連付けられて見えるように、スレーブの運動を調整させることはしばしば有益である。しかし、エンドエフェクタ要素５８．１、５８．２が（マスタコントローラに隣接するディスプレイに表示されるときに）ピボット接続部６０を超えてかなりの距離を延びるとき、外科医は、遠位ピボット接続部からのこれらの長いエンドエフェクタの操作が扱いにくくなると感じるかもしれない。同様に、（マスタコントロールステーションに表示されるときに）マスタハンドルよりはるかに長い外科用メス等の１つのエンドエフェクタ要素を操作するとき、外科医は、容易に制御される外科用メスというよりむしろ、長い柄の剣での切断の印象を与えられるかもしれない。上述のようなグリップ／エンドエフェクタの長さにおける相違を克服するための１つの代替は、エンドエフェクタジョー端部の間及びハンドルグリップ部材端部の間の中間点ＭＰ１、ＭＰ２が実質的に結び付けられるように、手術作業領域及びマスタコントローラ作業領域を一緒にマッピングすることである。中間点が実質的に結び付けられるように手術及びマスタ作業領域をマッピングすることによって、外科医は、エンドエフェクタ要素とグリップ要素との間の長さにおける著しい差にもかかわらず、エンドエフェクタを使用する動作を適合させることができる。

【0050】

マッピングポイントは如何なる特定のポイントにも限定される必要はない。例示的な実施形態では、グリップ部材の中間軸ＭＡＧが、ピンチャ要素７０６Ａ、７０６Ｂの間の中間に定められる一方、同様のエンドエフェクタの中間軸ＭＡＥが、エンドエフェクタ要素５８．１、５８．２の間の中間に定められる。マスタのマッピングポイント（又は実質的な結び付きポイント）は、グリップ中間軸ＭＡＧに沿って、理想的には交点３Ａから中間ポイントＭＰ２の範囲に配置される。同様に、エンドエフェクタのマッピング又は実質的な結び付きポイントは、中間軸に沿って、理想的にはピボット接続部６０から中間ポイントＭＰ１の範囲に配置される。

【0051】

図９は、ハンドル及びエンドエフェクタに沿った実質的に結び付けられたマッピングポイントの場所を決定するための方法を概略的に示す。最初に、マスタハンドルに沿った外科医の手の場所が、ジンバルポイントＧＰに対する外科医の指の位置を決定するために再調査される。１つの実施形態では、外科医の指先の場所とジンバルポイントＧＰとの間のオフセット距離がオフセット距離を定める。このオフセット距離は、倍率を使用して、典型的にはグリップ部材の長さとエンドエフェクタ要素の長さの間の比、ディスプレイの倍率、又は同様のもの等を使用して、拡大／縮小される。例えば、例示的なロボット手術システムに特有の数を使用して、オフセット距離は、グリップ部材が典型的にはエンドエフェクタ要素長さの約３倍の長さを有するので、それに３分の１を掛けることによって縮小される。（より長い又はより短いエンドエフェクタ要素を有するエンドエフェクタが使用されるとき）この倍率は、ツール交換、又は同様のものとともに変化し得る。スレーブ上のマッピングポイントの場所が次に、例えば、拡大／縮小されたオフセット距離だけエンドエフェクタ中間軸ＭＡＥに沿って中間点ＭＰ１からピボット接続部６０に向かった位置に、計算される。エンドエフェクタのこのマッピングポイントは、次に、マスタのジンバルポイントＧＰに実質的に結び付けられ得る。

【0052】

カートフレーム６２４は、その原点がカート３００のベース９９に対して変化しないカート３００上の場所に対応する、任意の都合の良い場所に選択され得ることが理解される。外科医ステーションフレーム６３４は同様に、その原点がそのベース６４２に対して変化しない位置に置かれるような任意の都合の良い場所に選択され得る。さらに、カートフレーム６２４に対するカメラフレーム６１０の位置及び向きを決定するために、複数の異なる中間フレーム経路が使用され得る。カートフレーム６２４に対するエンドエフェクタフレーム６１８の位置及び向きを決定するためにも、複数の異なる中間フレーム経路が使用され得る。

【0053】

しかし、中間フレーム経路が適切に選択された場合、コントロールシステムは、次に交換されるモジュール部品の特性とは異なる特性を有するモジュール部品のモジュール交換に対応するように容易に適合可能に構成されることが見出されている。中間フレームの選択はまた、マスタ及びスレーブの位置及び向きを含む計算プロセスを容易にすることが理解される。

【0054】

再び図５を参照すると、既に述べたように、カートフレームが６２４において選択される。カートフレーム６２４に対する支点フレーム６３０の位置を決定することが、ポテンショメータ、エンコーダ、又は同様のもの等、適切な位置センサを通じて達成されることが理解される。好都合には、カートフレーム６２４に対する支点フレーム位置６３０は、２つの中間フレームによって決定される。フレームの一方は、それに沿ってキャリッジ９７が案内されるガイド上の好都合な場所にその原点を有するキャリッジガイドフレーム６４４である。他方のフレーム、６４６で示されるアームプラットフォームフレームは、スレーブアーム１０が取り付けられるセットアップジョイントアーム９５の端部に位置する。したがって、スレーブの位置及び向きがカートフレーム６２４に対して決定されるとき、カートフレーム６２４に対するキャリッジガイドフレーム６４４位置が決定され、次にキャリッジガイドフレーム６４４に対する支点フレーム６３０が決定され、そして支点フレーム６３０に対するスレーブの向き及び位置が決定され、したがって、カートフレーム６２４に対するスレーブの位置及び向きを決定する。カートフレーム６２４に対するスレーブの位置及び向きは、このように各アーム１０に対して、及び同様の方法でカメラフレーム６１０に関して、カートフレーム６２４に対して、そのアーム３０２を通じて、決定されることが理解される。

【0055】

図６を参照すると、マスタコントロールの位置及び向きが外科医ステーションフレーム６３４に対するベースフレーム６４８の位置を決定することによって決定され、次にベースフレーム６４８に対するプラットフォームフレーム６４０の位置が決定され、そしてプラットフォームフレーム６４０に対するマスタの位置及び向きを決定する。外科医ステーションフレーム６３４に対するマスタフレーム６２２の位置及び向きは次に、三角法の関係を使用する所定の計算を用いて容易に決定される。外科医ワークステーション２００フレーム６３４に対するほかのマスタフレームの位置及び向きは同様の方法で決定されることが理解される。

【0056】

図５を参照すると、上述のようにフレームを選択することによって、同じロボットアームが使用される間に、セットアップジョイント９５は、他のセットアップジョイントと交換され得る。コントロールシステムは次に、新しいセットアップジョイントのみに関する、例えばアーム長さ及び／又は同様のもの等の、情報を用いてプログラムされ得る。同様に、スレーブアーム１０は他のアームと交換することができ、コントロールシステムは次に、新しいスレーブアームのみに関する、例えば支点位置及び／又は同様のもの等の、情報を用いてプログラムすることを必要とする。このように内視鏡スレーブアーム３０２及びそれに付随するセットアップジョイントはまた独立して交換されることもでき、コントロールシステムは次に交換される部品のみに関する情報のプログラミングを必要とすることが理解される。さらに、図６を参照すると、セットアップジョイント及びマスタコントロールもまた独立して交換されることができ、コントロールシステムは新しい部品のみの特性に関する情報のプログラミングを必要とする。

【0057】

図１０は、マスタ／スレーブロボットシステム１００の高レベル制御アーキテクチャモデルを概略的に示す。オペレータ入力で開始すると、外科医１００２が入力装置に対して手動又は人間の力ｆ_ｈを加えることによって、マスタマニピュレータ１００４の入力装置を動かす。マスタマニピュレータ１００４のエンコーダは、マスタジョイント位置θ_ｍを決定するために、マスタ入力／出力プロセッサ１００６によって解釈されるマスタエンコーダ信号ｅ_ｍを生成する。マスタジョイント位置は、マスタ運動学モデル１００８を使用してアイフレームに対するマスタの入力装置のデカルト位置ｘ_ｍを生成するために使用される。

【0058】

今手術環境１０１８からの入力とともにスタートすると、手術作業領域内の組織が、手術エンドエフェクタに対して（及び場合によってツール及び／又はマニピュレータの他の要素に対して）力ｆ_ｅをかける。手術環境１０１８からの環境力ｆ_ｅは、スレーブマニピュレータ１０１６の位置を変えるので、変わっているスレーブエンコーダ値ｅ_ｓがスレーブ入力／出力プロセッサ１０１４に伝達される。スレーブ入力／出力プロセッサ１０１４は、ジョイント位置θ_ｓを決定するために、スレーブエンコーダ値を解釈する。このジョイント位置θ_ｓは次に、スレーブ運動学処理ブロック１０１２によりカメラフレームに対するデカルトスレーブ位置信号ｘ_ｓを生成するために使用される。

【0059】

マスタ及びスレーブデカルト位置ｘ_ｍ、ｘ_ｓは、バイラテラルコントローラ１０１０に入力される。このバイラテラルコントローラ１０１０は、外科医が外科手術を行うために望み通りにスレーブを操作できるように、スレーブによって加えられることになる所望のデカルト力ｆ_ｓを発生させるために、これらの入力を使用する。加えて、バイラテラルコントローラ１０１０は、外科医にフォースフィードバックをもたらすように、マスタによって加えられることになる所望のデカルト力ｆ_ｍを発生させるために、デカルトマスタ及びスレーブ位置ｘ_ｍ、ｘ_ｓを使用する。

【0060】

一般的に、バイラテラルコントローラ１０１０は、望ましい倍率及びオフセットを考慮するマスタ−ツール変換にしたがって、マスタコントローラ作業領域のマスタのデカルト位置を手術作業領域のエンドエフェクタのデカルト位置にマッピングすることによって、スレーブ及びマスタ力ｆ_ｓ、ｆ_ｍを発生させる。倍率は、マスタコントロール入力動作と応答スレーブ出力動作との間の所望のスケール変化を特定する。オフセットは、カメラフレーム６１０に対するエンドエフェクタフレーム６１８の位置及び向きがアイフレーム６１２に対するマスタフレーム６２２の位置及び向きに合わせられるように、考慮される。

【0061】

コントロールシステム１００は、ディスプレイのエンドエフェクタの画像が入力装置に実質的に結び付けられているように見えるように、イメージングシステムから提供される状態変数信号に応じてマスターツール変換を導出する。これらの状態変数は一般的に、画像取得装置を支持しているスレーブマニピュレータによって提供されるのだが、画像取得装置からの視野のデカルト位置を示す。したがって、画像取得マニピュレータ及びスレーブエンドエフェクタマニピュレータの結合は、この変換を導出するのに有益である。明らかに、バイラテラルコントローラ１０１０は、１つより多いスレーブアームを制御するために使用されることができ、及び／又はさらなる入力を備えることができる。

【0062】

一般にマッピングされた作業領域のマスタとスレーブとの間の位置の差に基づいて、バイラテラルコントローラ１０１０は、マスタの位置に従うようにスレーブを付勢するためにデカルトスレーブ力ｆ_ｓを発生させる。スレーブ運動学１０１２は、エンドエフェクタにおいて所望の力をもたらすスレーブのジョイントトルクτ_ｓを発生させるように、デカルトスレーブ力ｆ_ｓを解釈するために使用される。スレーブ入力／出力プロセッサ１０１４は、スレーブモータ電流ｉ_ｓを計算するためにこれらのジョイントトルクを使用する。このスレーブモータ電流ｉ_ｓは、手術作業領域内でスレーブｘ_ｅを再位置決めする。

【0063】

バイラテラルコントローラからの所望のフィードバック力は、マスタジョイントトルクτ_ｓを発生させるためにマスタ運動学１００８に基づいてマスタへのデカルト力ｆ_ｍから同様に解釈される。マスタジョイントトルクは、マスタマニピュレータ１００４へのマスタモータ電流ｉｍを供給するために、マスタ入力／出力コントローラ１００６によって解釈される。このマスタマニピュレータ１００４は外科医の手の中の携帯入力デバイスの位置ｘ_ｈを変化させる。

【0064】

図１０に示されたコントロールシステム１０００は単純化されたものであることが認識される。例えば、外科医は、マスタコントロール装置に対して力を加えるだけでなく、マスタ作業領域内のハンドルも動かす。同様に、外科医がマスタコントローラの位置を保持する場合、マスタマニピュレータのモータに供給されるモータ電流は、動きをもたらさない。それにもかかわらず、モータ電流は、手術環境によってスレーブに加えられる力に基づいて、外科医への触覚型力フィードバックをもたらす。加えて、デカルト座標マッピングが使用されるが、球状、円柱状、又は他のフレームの使用は、本発明の少なくとも幾つかの利点を提供し得る。

【0065】

前述では、付随するマスタコントロール装置７００の動きに応じてツール１４のエンドエフェクタ５８の動きを制御するのに使用され得るように、システムの全ての関連する寸法および角度が、マスタ−ツール変換を決定するために知られていることが仮定されている。しかし、幾つかの状況では、運動学構造の１つ又は複数の静的長さ又は角度が知られていない又は容易に決定可能でない可能性がある。

【0066】

１つ又は複数のこのような長さ及び／又は角度が知られていない１つの例として、図１１は、患者の共通の入口４２８を通って内視鏡１１２とともに挿入されるツール４０６ａ、４０６ｂの概略側面図を示す。ツール４０６ａ、４０６ｂは、図示されるようにそれらのエンドエフェクタ４０８ａ、４０８ｂが作業領域４２４で手術を実行するように位置決めされるように、対向して湾曲したカニューレ（又はより一般的にツールガイド）４１６ａ、４１６ｂを通って挿入されるとともに同カニューレ４１６ａ、４１６ｂから延びる。他方、内視鏡１１２は、エンドエフェクタ４０８ａ、４０８ｂ及び作業領域４２４がその視野４３０内にあるように、直線カニューレ２５２を通って挿入されるとともに直線カニューレ２５２から延びる。それぞれのカニューレ４１６ａ、４１６ｂ、２５２は、入口４２８のポート形部４３２に挿入されるとともにポート形部４３２によって支持される。

【0067】

ツール４０６ａ、４０６ｂ及び内視鏡１１２は、それらのそれぞれの支点（この場合遠隔運動中心とも称される）４２６に対するそれらの運動を駆動するそれらのそれぞれのマニピュレータ２０４ａ、２０４ｂ及び２４２（部分的にのみ示される）に結合される。支点のそれぞれは、図示されるように略入口４２８にあるように位置決めされる。それぞれのツール４０６ａ、４０６ｂは、剛体の１つの部分の湾曲カニューレを収容するために曲げることができるように、可撓性シャフトを有する。異なる手術を実行するために及び／又は異なるツールを収容するために、異なる曲率及び長さを有する異なるカニューレが使用され得る。それらを使用するこのような湾曲カニューレ及びシステムのさらなる詳細は、例えば、米国特許出願第１２／６１８，５８３号（２００９年１１月１３日出願、“Ｃｕｒｖｅｄ Ｃａｎｎｕｌａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ”と題する）で見ることができ、これは参照により本願に援用される。しかし、異なる曲率及び長さを有するカニューレは、エンドエフェクタがこのような湾曲カニューレの遠位端部から延びるので、ツールのエンドエフェクタフレームの異なる位置及び向きをもたらすことが理解されるべきである。

【0068】

オペレータは、システムがツールのエンドエフェクタフレームの位置及び向きを決定するためにカニューレの既知の寸法情報を使用できるように、その時使用されている湾曲カニューレの識別をシステムに手動で提供し得るが、時々、オペレータはどのカニューレが使用されているか認識していない可能性がある。したがって、このような場合、エンドエフェクタフレームの未知の位置及び向きが、付随するマスタコントロール装置の動きに応じてツールの動きを適切に制御するために、ある方法でシステムによって決定されなければならない。

【0069】

１つ又は複数のこのような長さ及び／又は角度が分かっていないもう１つの例として、図１２は、エンドエフェクタが作業領域において手術を行うために使用されている間、ツール１２３０のエンドエフェクタの画像を取得する繋ぎ止められたカメラ１２２０の概略側面図を示す。コード１２０２が一端１２０４においてカメラ１２２０に、そして他端１２０３が従来の手段によって患者構造１２０１に取り付けられる。カメラ先端の位置及び／又は向きは、機械要素１２０６がカメラのテザー１２０５を引くことによって変えられ得る。機械要素１２０６の動きはスレーブマニピュレータによって作動される。この場合、機械要素１２０６のフレーム１２１０の位置及び向きは、運動学的チェーン、テザー１２０５及びコード１２０２の長さに沿ったセンサによって決定され得るが、テザー１２０５を引くことから生じるカメラ１２２０の位置及び向きの変化は外科医又はシステムに分からないかもしれない。したがって、このような場合、カメラフレーム１２２１の未知の位置及び向きが、付随するマスタコントロール装置の動きに応じてカメラフレーム１２２１に対するツールの動きを適切に制御するために、ある方法でシステムによって決定されなければならない。カメラ１２２０からの信号は、テザー１２０５内又はテザー１２０５と並んで配置された光ファイバケーブルを通って伝達され得る、又は代替的に、それらは無線で伝達され得る。

【0070】

１つ又は複数のこのような長さ及び／又は角度が分かっていないさらにもう１つの例として、図１３は、ロボット制御式ツール１３１４及び画像取得システム１３−４を作業領域にそれぞれ位置決めするための可動構造１３１２、１３０２の概略側面図を示す。この場合、システムは、ジョイント位置センサ及びロボットアーム１３０３の既知の寸法を使用することによって、可動構造１３０２に関連付けられたフレーム１３０１に対する画像取得システム１３０４の画像基準フレームの位置及び向きを決定することができる。ジョイント位置センサ及びロボットアーム１３１３の既知の寸法を使用することによって、可動構造１３１２に関連付けられたフレーム１３１１に対するツールフレームの位置及び向きも決定することができる。しかし、可動構造１３１２、１３０２の間の距離及び／又は相対的な向きは分かっていない可能性がある。したがって、このような場合、可動構造１３１２、１３０２の間の又は代替的にそれらのそれぞれのフレーム１３１１、１３０１の間の距離及び／又は相対的な向きが、ツール１３１４の付随するマスタコントロール装置の動きに応じてカメラフレームに対するツール１３１４の動きを適切に制御するために、ある方法でシステムによって決定されなければならない。

【0071】

本発明では、マスタ−ツール変換を決定するために未知の長さ及び／又は角度を推定するというよりむしろ、未知の長さ及び／又は角度に対応するフレームの未知の位置及び向きが、他のフレームの既知の位置及び向きから未知の位置及び向きへの変換を推定することによって、代わりに推定される。例えば、図１１を参照すると、エンドエフェクタの未知の位置及び向きは、エンドエフェクタフレームのポイントをスレーブマニピュレータの対応するポイントに変換する変換
（外１）

を推定するプロセッサ１０２によって決定され；図１２を参照すると、カメラフレームの未知の位置及び向きは、画像フレーム１２２１のポイントを機械要素フレーム１２１０の対応するポイントに変換する変換
（外２）

を推定するプロセッサ１０２によって決定され；図１３を参照すると、可動構造１３０２、１３１２巻の未知の距離及び／又は相対的な向きは、可動構造フレーム１３０１のポイントを、この場合固定フレームであると仮定される可動構造フレーム１３１１の対応するポイントに変換する変換
（外３）

を推定するプロセッサ１０２によって決定される。このような変換の計算、操作、及び用語の詳細については、例えば、Ｊｏｈｎ Ｊ． Ｃｒａｉｇ， Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｒｏｂｏｔｉｃｓ Ｍｅｃｈａｎｉｃｓ ａｎｄ Ｃｏｎｔｒｏｌ， ２^ｎｄ Ｅｄｉｔｉｏｎ， Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ， Ｉｎｃ．， １９８９．を参照されたい。

【0072】

本発明を説明するフレームワークが、画像フレーム変換（例えば、
（外４）

）及びツール変換（例えば、
（外５）

）の一般化された概略図を示す図４に示される。画像フレーム変換はこの場合、画像フレーム６１０、中間フレーム（例えば、１４１２、１４１３）、及び固定フレーム１４０１間のポイントを変換するため又はマッピングするために使用される。同様に、ツールフレーム変換は、ツールフレーム６１８、中間フレーム（例えば、１４０２、１４０３）、及び固定フレーム１４０１間のポイントを変換するため又はマッピングするために使用される。

【0073】

図１５は、例として、ロボットシステムの付随するマスタコントロール装置の動きに応じてツールの動きを制御するためのマスタ−ツール変換を推定及び周期的に更新するための方法のフロー図を示す。１５０１では、方法を実行するプロセッサが、図５を参照して示されるように、カート３００のセットアップアーム９５に関するもののようなセットアップ変換を決定する。このセットアップアーム９５は、ツールが作業領域で手術を行うために入口に適切に位置決めされた後、所定の位置でロックされる。これらの変換は、手術がツールによって行われる間、この例では変化しないので、それらが処理ループの一部として連続的に更新される必要はない。

【0074】

１５０２では、プロセッサは、内視鏡３０４等画像取得システムによって取得された画像の情報へのアクセスを受ける。例として、画像情報は、そこからディスプレイ２０４に画像情報が表示されることになるフレームバッファに記憶される。１５０３では、視覚測定が実行されるべきかどうかの決定が行われる。フレームバッファはディスプレイ２０４に表示される画像をリフレッシュするために周期的に更新されるが、視覚測定はフレームバッファが更新される度に実行される必要がないことが理解されるべきである。したがって、視覚測定は、幾つかのフレームバッファリフレッシュ時の後に周期的に実行されてもよい。

【0075】

１５０３における決定がＮＯである場合、プロセッサは１５０２に戻る。他方、決定がＹＥＳである場合、プロセッサは、プロセッサがスレーブアーム１０の検知されたジョイント及び／又はリンク位置及び既知の寸法を使用することによって、図５を参照して示されるように、カート３００に結合されたスレーブアーム１０に関係するもののようなスレーブマニピュレータ変換を決定する１５０４に進む。１５０４は、視覚測定が実行される度に実行されるように示されているが、スレーブマニピュレータ変換は、対応するスレーブマニピュレータが、前回そのスレーブマニピュレータ変換が決定されてから（並進的又は向きに関して）動かされた場合にのみ決定される必要があることが理解されるべきである。例えば、ツール１４が作業領域において手術を実行するために使用されている間、画像取得装置３０４の位置及び向きが固定されて保持される場合、それが固定された位置及び向きに保持されている期間中、１度より多くそのスレーブマニピュレータ変換を決定する必要は無い。

【0076】

１５０５では、プロセッサは、取得された画像内においてエンドエフェクタ及び／又は運動学的構造の姿勢を示すポイントを識別する。これを行うために、エンドエフェクタ及び／又は運動学的構造の位置及び向き（すなわち姿勢）に関する特徴の測定が画像から行われる。測定は、画像を取得するために使用されるカメラのタイプ（例えば、単眼又はステレオ）及び、画像の特徴又は取得された画像において識別される基準マーカのタイプに応じて異なる形態であり得る。

【0077】

ステレオカメラが使用される場合、２つのカメラの固有パラメータ及びそれらの相対的な姿勢が与えられると、ポイントの深さが三角測量のプロセスによって決定され得る。顕著な特徴が、それら自体をツール、ロボットアーム、及び背景の別の部分によって生成される他の画像の特徴から分離するために必要とされる。基準マーカは、スペクトル特性（例えば、色）、形、幾何学構成、又はそれらの組合せにおいて独特である。
このようなマーカの例及びそれらの使用は、米国特許出願公開第２０１０／０１６８５６２号（２００９年４月２３日出願；“Ｆｉｄｕｃｉａｌ Ｍａｒｋｅｒ Ｄｅｓｉｇｎ ａｎｄ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｌｏｃａｔｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ ｉｎ Ｉｍａｇｅｓ”と題する）及び米国特許出願公開第２０１０／０１６８７６３号（２００９年４月２３日出願；“Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｍａｒｋｅｒ Ｄｅｓｉｇｎ ａｎｄ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｉｎｓｔｒｕｍｅｎｔ Ｔｒａｃｋｉｎｇ”と題する）に記載され、いずれも参照により本願に援用される。

【0078】

単眼カメラが使用される場合、測定は本質的に２次元（２Ｄ）画像領域にある。しかし、ツール及び／又はツール上の基準マーカの確かな知識を有することは、３次元（３Ｄ）測定をそれにもかかわらず可能にすることができる。カメラの固有パラメータが与えられると、既知の幾何形状の物体の３Ｄ姿勢は、姿勢推定と呼ばれる処理によって２Ｄから３Ｄへのポイントの対応を使って復元されることができる。例えば、Ｄａｖｉｄ Ａ． Ｆｏｒｓｙｔｈ ａｎｄ Ｊｅａｎ Ｐｏｎｃｅ， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａ Ｍｏｄｅｒｎ Ａｐｐｒｏａｃｈ， Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， ２００３を参照。特殊な幾何学的形状の姿勢又は部分的な姿勢（例えば、円、球、円筒及び円錐）は、それらの外形から計算され得る。例えば、Ｙｉｕ Ｃ． Ｓｈｉｕ ａｎｄ Ｈａｎｑｉ Ｚｈｕａｎｇ， “Ｐｏｓｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ Ｃｙｌｉｎｄｅｒｓ， Ｃｏｎｅｓ， ａｎｄ Ｓｐｈｅｒｅｓ ｆｒｏｍ Ｐｅｒｓｐｅｃｔｉｖｅ Ｐｒｏｊｅｃｔｉｏｎｓ，” Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ Ｘ： Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ｒｏｂｏｔｉｃｓ， Ｐｒｏｃｅｅｄｉｎｇｓ ＳＰＩＥ， Ｖｏｌ． １７０８， ｐｐ． ７７１−７８２， Ｍａｒｃｈ １９９２を参照。このような幾何学的形状は、手術器具又はツールにおいて一般的である。

【0079】

画像領域の２Ｄ測定が上述の技法を用いて３Ｄに直接変換されることができない場合、３Ｄ姿勢はその代わりに推定され得る。この場合、３Ｄポイント_ｃｐ_ｉ＝［_ｃｘ_ｉ、_ｃｙ_ｉ、_ｃｚ_ｉ］^Ｔの画像投影ベクトルｕ_ｉ＝［ｕ_ｉ、ｖ_ｉ］^Ｔが、

【0080】

【数1】

によって計算され、ｆ_ｘ及びｆ_ｙはそれぞれ撮像装置の水平及び垂直方向の焦点距離であり、ｕ_０及びｖ_０は主点である。

【0081】

１５０６では、プロセッサは１５０４及び１５０５で決定された変換及び他の情報を使用して未知の変換を推定する。その際に、以下の変換方程式を使用し、

【0082】

【数2】

ここで
（外６）

は、画像（又はカメラ“ｃ”）フレームからツール（又はエンドエフェクタ“ｅ”）への変換（これは、１５０５において画像フレームにおけるエンドエフェクタの姿勢を示すポイントを識別した後に数学的に決定され得る）であり、
（外７）

は、画像フレームから固定（又はワールド“ｗ”）フレーム変換であり、
（外８）

は、ツールフレームから固定フレーム変換の逆である。

【0083】

両方の変換
（外９）

及び
（外１０）

は、変換のチェーンを含む。例として、図１４を参照すると、フレーム１４０１が固定フレーム（すなわち、静止フレーム）である場合、ツールフレームから固定フレームへの変換のチェーン（ここでは「ツールフレーム変換」と正される）は、その開始においてフレーム６１８からフレーム１４０３への変換、及びその最後においてフレーム１４０２からフレーム１４０１への変換を含む。また、画像フレームから固定フレームへの変換のチェーン（ここでは「画像フレーム変換」と呼ばれる）は、その開始においてフレーム６１０からフレーム１４１３への変換、及びその最後においてフレーム１４１２からフレーム１４０１への変換を含む。ツールフレーム変換の逆は次に、フレーム１４０１からフレーム１４０２への変換で開始し、フレーム１４０３からフレーム６１８への変換で終了する。

【0084】

したがって、未知の変換がフレーム１４０３からフレーム６１８への変換
（外１１）

である場合、変換方程式（２）を使って以下のように決定され得る：

【0085】

【数3】

【0086】

【数4】

このような解法は、異なる曲率及び長さのカニューレの図１１を必要に応じて参照して、エンドエフェクタの位置及び向きを推定するために使用され得る。

【0087】

他方、未知の変換がフレーム１４１３からフレーム６１０への変換
（外１２）

である場合、変換方程式（２）を使って以下のように決定され得る：

【0088】

【数5】

【0089】

【数6】

このような解法は、繋ぎ止められたカメラの図１２を必要に応じて参照して、カメラの位置及び向きを推定するために使用され得る。

【0090】

さらに、未知の変換がフレーム１４０２から固定フレームへの変換
（外１３）

である場合、方程式（２）を使って以下のように決定され得る：

【0091】

【数7】

【0092】

【数8】

このような解法は、可動構造の一方のフレームが固定フレームとして選択される２つの可動構造１３０２、１３１１に関する図１３を必要に応じて参照して、一方の可動構造のもう一方の可動構造に対する位置及び／又は向きを推定するために使用され得る。両構造１３０２、１３１１は可動であると仮定されるが、解法はまた、構造１３０２、１３１１の一方は、固定基準フレームを定めるために所定の位置に固定される（例えば、天井取り付け式ロボットアームを持つ）一方、構造１３０２、１３１１の他方は可動である（患者側カートにある等）ものに適用可能である。

【0093】

上記例は、
（外１４）

が プロセッサが方程式（３）から（８）の計算を実行し得るように、プロセッサによって最初に決定されることを仮定している。

代替アプローチとして、ツールフレームのポイント^ｅｐが以下の変換によって画像のポイント^ｃｐと結び付けられ得る：

【0094】

【数9】

ここでＲは３×３回転行列であり、ベクトルＴは３Ｄ変換ベクトルであるので：

【0095】

【数10】

したがって、方程式（１０）の
（外１５）

に方程式（２）の右側を代入することによって、画像フレームのポイントは、最初に
（外１６）

を決定すること無しに、ツールフレームのポイントに直接マッピングされ得る。ブロック１５０６を実行するためのこの代替的なアプローチを適用することの例として、方程式（１０）は以下のように一般的な形に書き換えられ得る：

【0096】

【数11】

今、例として、変換
（外１７）

が未知の変換であるとともにその値が時間変化しない場合、方程式（１１）は以下のように書き換えられ得る：

【0097】

【数12】

この形では、未知の変換
（外１８）

（及び、したがって、その逆変換
（外１９）

）はポイントのペア
（外２０）

のセットによって解かれることができ、ここでｉ＝１．．．ｍである。ポイントのペアは、１つの瞬間から又はいくつかの瞬間から導出され得る。方程式（１２）を解く方法の例としては、例えば、Ａ． Ｌｏｒｕｓｓｏ， Ｄ．Ｗ． Ｅｇｇｅｒｔ， ａｎｄ Ｒ．Ｂ． Ｆｉｓｈｅｒ “Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ｆｏｕｒ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｅｓｔｉｍａｔｉｎｇ ３−Ｄ Ｒｉｇｉｄ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ，” Ｐｒｏｃｅｅｄｉｎｇｓ ＢＭＶＣ， １９９５を参照。

【0098】

変換
（外２１）

のいくつかの情報が既知である（例えば、変換の独立パラメータの数が６より少ない）場合、変換は次のように書き換えられ得る：

【0099】

【数13】

ここでΘ＝｛θ_１，．．．．θ_ａ｝は自由パラメータである。この場合、最も一般的な形のΘは、標準的な非線形最適化ルーチン（例えば、ガウス−ニュートン法）を使用する以下のコスト関数を最小化することによってとくことができる：

【0100】

【数14】

方程式（１４）が３Ｄポイントに適用されることに留意されたい。方程式（１）を適用できる２Ｄポイントに関して、未知の変換のパラメータは、以下のコスト関数を最適化することによって解かれ得る：

【0101】

【数15】

ここでベクトルｕ’_ｉ＝［ｕ’_ｉ、ｖ’_ｉ］はポイントの画像座標であり、ベクトルｕ_ｉ＝［ｕ_ｉ、ｖ_ｉ］は３Ｄポイント^ｃｐ_ｉ＝［^ｃｘ_ｉ，^ｃｙ_ｉ，^ｃｚ_ｉ］^Ｔの画像投影である。

【0102】

カメラパラメータが未知である場合、パラメータは、解かれることになる未知の変換とともに推定され得る。レンズが完全ではなく歪み（例えば、半径方向、接線方向）を有する場合、レンズの歪みパラメータもまた、カメラ固有パラメータ（ここには示されない）として同様の方法で推定され得る。例えば、方程式（１５）は以下のように変更され得る：

【0103】

【数16】

上記例から理解され得るように、画像及びツールフレーム変換の間の１つの未知の変換を決定することは、全ての他の変換が知られているとき、直接的である。１つより多い変換からの未知のパラメータが推定される必要があるとき、パラメータは方程式（１４）、（１５）及び（１６）と同様に最適化することによって推定され得る。

【0104】

未知の変換をポイントの対応のセットによって解くことに加えて、フィルタリングが変換に適合させるために又は最適化のために使用され得る。カルマンフィルタ族からのフィルタが使用され得る。特に、拡張カルマンフィルタ及びアンセンテッドカルマンフィルタが非線形システムに使用され得る。このような使用に適用可能な反復拡張情報フィルタは、例えば、米国特許出願第１２／４９５，３０４号（２００９年６月３０日出願；“Ｅｆｆｉｃｉｅｎｔ Ｖｉｓｉｏｎ ａｎｄ Ｋｉｎｅｍａｔｉｃ Ｄａｔａ Ｆｕｓｉｏｎ ｆｏｒ Ｒｏｂｏｔｉｃ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ ａｎｄ Ｏｔｈｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ”と題する）に記載され、これは本願に参照により援用される。フィルタを使用する利点は、時間的な滑らかさ及び計算効率を含む。

【0105】

フィルタが使用されない場合であっても、推定されたパラメータの時間に対する時間的な平滑化は急激な変化を避けることができる。１５０７では、プロセッサは任意選択で、マスタ−ツールフレーム変換を更新するためにそれをすぐに適用するよりむしろ、推定された未知の変換の時間的な平滑化を実行し得る。このような平滑化は、その付随するマスタコントロール装置によるツールの制御における急激な変化を避ける。このような平滑化を行う１つの方法は、プロセッサが連続的に１５０２−１５０８を実行することによって方法をループするとき、未知の変換に関する推定値の移動平均を維持することである。

【0106】

１５０８では、プロセッサは、推定された未知の変換のフィルタリングされたバージョンを使用してマスタ−ツール変換を更新し、マスタコントロール装置の動作に応じたツールの動作指令は更新されたマスタ−ツール変換を使用する。例えば、推定された未知の変換のフィルタリングされたバージョンを使用する修正されたツールフレームからカメラフレームへの変換が決定され得る。次に、マスタフレームからアイフレーム変換が、カメラフレーム６１０に対するツールフレーム６１８の位置及び向きがアイフレーム６１２に対するマスタフレーム６２２の位置及び向きとそろうように、修正され得る。１５０８を実行した後、プロセッサは、次のバージョンの測定サイクルを処理するために１５０２に戻る。

【0107】

本発明の様々な態様が実施形態に関連して記載されているが、本発明は、添付の特許請求の範囲の全範囲内で完全な保護が与えられることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】