(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023010761
(43)【公開日】2023-01-20
(54)【発明の名称】カメラ制御装置
(51)【国際特許分類】
A61B 34/35 20160101AFI20230113BHJP
B25J 3/00 20060101ALI20230113BHJP
【ＦＩ】
A61B34/35
B25J3/00 Z
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022178713
(22)【出願日】2022-11-08
(62)【分割の表示】P 2020544397の分割
【原出願日】2019-02-20
(31)【優先権主張番号】1802992.6
(32)【優先日】2018-02-23
(33)【優先権主張国・地域又は機関】GB
(71)【出願人】
【識別番号】516210894
【氏名又は名称】シーエムアール・サージカル・リミテッド
【氏名又は名称原語表記】ＣＭＲ ＳＵＲＧＩＣＡＬ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】100087941
【弁理士】
【氏名又は名称】杉本 修司
(74)【代理人】
【識別番号】100112829
【弁理士】
【氏名又は名称】堤 健郎
(74)【代理人】
【識別番号】100142608
【弁理士】
【氏名又は名称】小林 由佳
(74)【代理人】
【識別番号】100155963
【弁理士】
【氏名又は名称】金子 大輔
(74)【代理人】
【識別番号】100154771
【弁理士】
【氏名又は名称】中田 健一
(74)【代理人】
【識別番号】100150566
【弁理士】
【氏名又は名称】谷口 洋樹
(74)【代理人】
【識別番号】100213470
【弁理士】
【氏名又は名称】中尾 真二
(74)【代理人】
【識別番号】100220489
【弁理士】
【氏名又は名称】笹沼 崇
(74)【代理人】
【識別番号】100187469
【弁理士】
【氏名又は名称】藤原 由子
(74)【代理人】
【識別番号】100225026
【弁理士】
【氏名又は名称】古後 亜紀
(72)【発明者】
【氏名】マーシャル・キース
(72)【発明者】
【氏名】カスバートソン・レベッカ・アン
(72)【発明者】
【氏名】ディーン・ゴードン・トーマス
(57)【要約】
【課題】外科医が目前の処置を続行できると同時にさらに直感的および簡単に手術部位の見え方を変更可能にできる改良型のマスタ－スレーブシステム提供する。
【解決手段】マスタ－スレーブシステムは、第１のエンドエフェクタを支持する第１のマニピュレータと、第２のエンドエフェクタを支持する第２のマニピュレータと、第１のエンドエフェクタの所望の移動を実行させる第１の移動コマンドと、第２のエンドエフェクタの所望の移動を実行させる第２の移動コマンドとを操作者の手から同時に受けるよう構成された入力装置と、入力装置から受信した第１の移動コマンドおよび第２の移動コマンドに応えて、第１のエンドエフェクタおよび第２のエンドエフェクタそれぞれの所望の移動を決定するよう構成されたプロセッサとを、備える。
【選択図】図７
【解決手段】マスタ－スレーブシステムは、第１のエンドエフェクタを支持する第１のマニピュレータと、第２のエンドエフェクタを支持する第２のマニピュレータと、第１のエンドエフェクタの所望の移動を実行させる第１の移動コマンドと、第２のエンドエフェクタの所望の移動を実行させる第２の移動コマンドとを操作者の手から同時に受けるよう構成された入力装置と、入力装置から受信した第１の移動コマンドおよび第２の移動コマンドに応えて、第１のエンドエフェクタおよび第２のエンドエフェクタそれぞれの所望の移動を決定するよう構成されたプロセッサとを、備える。
【選択図】図７
【特許請求の範囲】
【請求項1】
第１のエンドエフェクタを支持する第１のマニピュレータと、
第２のエンドエフェクタを支持する第２のマニピュレータと、
前記第１のエンドエフェクタの所望のスレーブ装置移動を実行させる第１のマスタ装置移動コマンドと、前記第２のエンドエフェクタの所望のスレーブ装置移動を実行させる第２のマスタ装置移動コマンドとを操作者の手から同時に受けるよう構成された入力装置と、
前記入力装置から受信した前記第１のマスタ装置移動コマンドおよび前記第２のマスタ装置移動コマンドに応えて、前記第１のエンドエフェクタおよび前記第２のエンドエフェクタそれぞれの所望のスレーブ装置移動を決定するよう構成されたプロセッサと、を備えるマスタ－スレーブシステム。
第２のエンドエフェクタを支持する第２のマニピュレータと、
前記第１のエンドエフェクタの所望のスレーブ装置移動を実行させる第１のマスタ装置移動コマンドと、前記第２のエンドエフェクタの所望のスレーブ装置移動を実行させる第２のマスタ装置移動コマンドとを操作者の手から同時に受けるよう構成された入力装置と、
前記入力装置から受信した前記第１のマスタ装置移動コマンドおよび前記第２のマスタ装置移動コマンドに応えて、前記第１のエンドエフェクタおよび前記第２のエンドエフェクタそれぞれの所望のスレーブ装置移動を決定するよう構成されたプロセッサと、を備えるマスタ－スレーブシステム。
【請求項2】
請求項１に記載のシステムにおいて、前記入力装置は、前記操作者によって保持されるための本体であって、通常の使用において前記操作者の片手で把持されるよう構成された本体を備える、システム。
【請求項3】
請求項１または２に記載のシステムにおいて、前記入力装置は、前記第１のエンドエフェクタの前記所望のスレーブ装置移動を実行させる前記第１のマスタ装置移動コマンドを受けるための第１の入力部を備える、システム。
【請求項4】
請求項３に記載のシステムにおいて、前記プロセッサは複数のモードで動作可能であり、前記複数のモードは、
前記入力装置が前記第２のエンドエフェクタに作動可能に結合する結合モードと、
前記入力装置が前記第２のエンドエフェクタから作動可能な結合が解除されている結合解除モードと、
前記第１の入力部が前記第１のエンドエフェクタに作動可能に結合する動作モードと、
前記第１の入力部が前記第１のエンドエフェクタに作動可能な結合が解除されている選択モードとを備える、システム。
前記入力装置が前記第２のエンドエフェクタに作動可能に結合する結合モードと、
前記入力装置が前記第２のエンドエフェクタから作動可能な結合が解除されている結合解除モードと、
前記第１の入力部が前記第１のエンドエフェクタに作動可能に結合する動作モードと、
前記第１の入力部が前記第１のエンドエフェクタに作動可能な結合が解除されている選択モードとを備える、システム。
【請求項5】
請求項４に記載のシステムにおいて、前記プロセッサはクラッチ入力部から受信した信号に応答して前記結合解除モードで作動するよう構成されている、システム。
【請求項6】
請求項４または５に記載のシステムにおいて、前記プロセッサが前記結合モードにあるとき、前記入力装置は、前記第２のエンドエフェクタの前記所望のスレーブ装置移動を実行させる前記第２のマスタ装置移動コマンドを受けるよう構成されている、システム。
【請求項7】
請求項４から６のいずれか一項に記載のシステムにおいて、前記プロセッサが前記動作モードにあるとき、前記第１の入力部は、前記第１のエンドエフェクタの前記所望のスレーブ装置移動を実行させる前記第１のマスタ装置移動コマンドを受けるよう構成されている、システム。
【請求項8】
請求項４から７のいずれか一項に記載のシステムにおいて、前記プロセッサが前記選択モードにあるとき、前記第１の入力部はさらに、前記入力装置と関連付けられる第３のエンドエフェクタを選択するよう構成されている、システム。
【請求項9】
請求項４から８のいずれか一項に記載のシステムにおいて、前記プロセッサはさらに、第２の入力部からの信号の受信に応答して前記動作モードで作動するよう構成されている、システム。
【請求項10】
請求項８に従属する請求項９に記載のシステムにおいて、前記入力装置はさらに、前記第１の入力部による前記第３のエンドエフェクタの選択に応答して前記第３のエンドエフェクタの所望のスレーブ装置移動を実行させる第３のマスタ装置移動コマンドを受けるよう構成されている、システム。
【請求項11】
請求項４から１０のいずれか一項に記載のシステムにおいて、前記プロセッサが前記結合解除モードになると、前記プロセッサはさらに、同時に前記結合解除モードおよび前記選択モードで作動するよう構成されている、システム。
【請求項12】
請求項３から１１のいずれか一項に記載のシステムにおいて、前記入力装置はさらに、
前記第１の入力部に結合された駆動機構であって、前記操作者に力のフィードバックを行うために前記第１の入力部に力を加えるよう構成された駆動機構、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記第１の入力部に加えられた力を感知するよう構成された力センサ、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記操作者がいつ前記第１の入力部に接触しているかを検知するよう構成された静電容量センサ、および
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記本体に対する前記第１の入力部の位置を感知するよう構成された位置センサの、１つ以上を備える、システム。
前記第１の入力部に結合された駆動機構であって、前記操作者に力のフィードバックを行うために前記第１の入力部に力を加えるよう構成された駆動機構、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記第１の入力部に加えられた力を感知するよう構成された力センサ、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記操作者がいつ前記第１の入力部に接触しているかを検知するよう構成された静電容量センサ、および
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記本体に対する前記第１の入力部の位置を感知するよう構成された位置センサの、１つ以上を備える、システム。
【請求項13】
請求項１から１２のいずれか一項に記載のシステムにおいて、前記プロセッサはさらに、
前記第１のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第１のエンドエフェクタ、
前記第２のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第２のエンドエフェクタの、１つ以上の移動を実行させるよう構成されている、システム。
前記第１のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第１のエンドエフェクタ、
前記第２のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第２のエンドエフェクタの、１つ以上の移動を実行させるよう構成されている、システム。
【請求項14】
請求項３から１３のいずれか一項に記載のシステムにおいて、
前記第１のエンドエフェクタは多数の自由度を有し、
前記プロセッサは、前記第１のエンドエフェクタの前記自由度のうちの少なくとも１つを前記第１の入力部に選択的に関連させ、前記第１の入力部の移動に応答して前記第１のエンドエフェクタの前記自由度のうちの前記少なくとも１つの移動を実行させるよう構成されている、システム。
前記第１のエンドエフェクタは多数の自由度を有し、
前記プロセッサは、前記第１のエンドエフェクタの前記自由度のうちの少なくとも１つを前記第１の入力部に選択的に関連させ、前記第１の入力部の移動に応答して前記第１のエンドエフェクタの前記自由度のうちの前記少なくとも１つの移動を実行させるよう構成されている、システム。
【請求項15】
請求項１から１４のいずれか一項に記載のシステムにおいて、前記第１のエンドエフェクタは作業場所の画像を撮像するための画像撮像装置を備える、システム。
【請求項16】
請求項１５に記載のシステムにおいて、前記画像撮像装置は内視鏡である、システム。
【請求項17】
請求項１５または１６に記載のシステムにおいて、撮像した前記画像を表示するための表示装置をさらに備える、システム。
【請求項18】
請求項３から１７のいずれか一項に記載のシステムにおいて、前記プロセッサはさらに、操作者選択参照フレームに対する前記第１の入力部の移動にともなって前記第１のエンドエフェクタの前記所望のスレーブ装置移動を決定するよう構成されている、システム。
【請求項19】
請求項１８に記載のシステムにおいて、前記操作者選択参照フレームは、
前記入力装置に固定されているか、または
前記表示装置に固定されている、システム。
前記入力装置に固定されているか、または
前記表示装置に固定されている、システム。
【請求項20】
請求項３から１９のいずれか一項に記載のシステムにおいて、前記プロセッサはさらに、前記表示装置に表示された前記第１のエンドエフェクタおよび前記第２のエンドエフェクタの移動がそれぞれ前記第１の入力部および前記入力装置の動きに対応するように、入力装置参照フレームと第２のエンドエフェクタ参照フレームとの間の対応付けを継続して更新し、第１の入力部参照フレームと第１のエンドエフェクタ参照フレームとの間の対応付けを継続して更新するように構成されている、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ制御装置に関する。
【背景技術】
【0002】
ロボットマスタ－スレーブシステムにおいて、典型的には、操作者は１つ以上の入力装置を用いて多数の遠隔操作ツールの動きを制御する。その結果、操作者は、これらのツールを制御するために、これらのツールが操作されている作業場所と同じ場所にいる必要はない。操作者が作業場所を目視できるように、カメラなどの画像撮像装置および撮像画像を視覚的に表示するための表示装置が備えられてもよい。ロボットマスタ－スレーブシステムの用途のいくつかは、危険な環境（例えば、水中、原子力または化学プラント）での組み立て、メンテナンス、または探査、および最小のものでは侵襲的な外科手術システムなどである。
【0003】
特に外科手術システムにおいては、外科医、アシスタント、学生、またはその組み合わせであろう操作者は、操作者用コンソール（例えば、外科医用コンソール）で多数の入力装置を操作することで、多数のロボットマニピュレータに支持される多数の（手術器具などの）遠隔ツールを遠隔で操作できる。ロボットマニピュレータは手術器具だけでなく内視鏡などの画像撮像装置を支持して、操作者は外科医用コンソールにおける表示装置上で離れた手術部位を視認できる。
【0004】
手術中、外科医は、入力装置を操作して、手術部位での手術器具の動きを制御する。典型的には、処置で使用される内視鏡を操作するカメラアシスタントが外科医から受け取る口頭による指示に応じてその内視鏡を制御して、外科医は所望する手術部位の視認を行う。あるいは、外科医は、手術器具の動作を停止し、器具を所定の場所にロックし、その後、入力装置を器具から切り離して、内視鏡に連動させて内視鏡の動きを制御する内視鏡モードに入ることで、手術器具を操作するために用いられているのと同じ入力装置を用いて内視鏡を制御できる。内視鏡が操作され所望の視点が得られると、上述の内視鏡モードを終了して、入力装置を内視鏡から引き離し、再度器具に連結させ、これによって外科医は器具の操作を再開できる。
【0005】
しかし、内視鏡のこのような制御方法は非効率でしかない。詳細には、カメラアシスタントが内視鏡を制御する方法は、遅延とエラー（例えば、外科医の位置に対する内視鏡の基準フレームが動くことで外科医が方向を見失う可能性がある）を引き起こす可能性がある。外科医が入力装置を使って内視鏡を制御する方法では、外科医が内視鏡を操作して手術部位における外科医の視点を変更可能にするのに先立って、外科医は外科手術の進行を停止する必要がある。これに対して、一般的な開放型の手術では、外科医は、処置を続けながら、同時に必要または刺激に応じて頭を動かして手術部位における外科医の視点を変えることができる。
【0006】
そのため、外科医が目前の処置を続行できると同時にさらに直感的および簡単に手術部位の見え方を変更可能にできる改良型のマスタ－スレーブシステムが必要とされている。
【発明の概要】
【0007】
したがって、本発明のマスタ－スレーブシステムは、第１のエンドエフェクタを支持する第１のマニピュレータと、第２のエンドエフェクタを支持する第２のマニピュレータと、前記第１のエンドエフェクタの所望の移動を実行させる第１の移動コマンドと、前記第２のエンドエフェクタの所望の移動を実行させる第２の移動コマンドとを操作者の手から
同時に受けるよう構成された入力装置と、前記入力装置から受信した前記第１の移動コマンドおよび前記第２の移動コマンドに応えて、前記第１のエンドエフェクタおよび前記第２のエンドエフェクタの所望の移動を決定するよう構成されたプロセッサとを備える。
同時に受けるよう構成された入力装置と、前記入力装置から受信した前記第１の移動コマンドおよび前記第２の移動コマンドに応えて、前記第１のエンドエフェクタおよび前記第２のエンドエフェクタの所望の移動を決定するよう構成されたプロセッサとを備える。
【0008】
前記入力装置はさらに、操作者によって保持されるための本体を備えていてもよい。前記本体は前記操作者の片手で把持されるよう構成されていてもよい。
【0009】
前記入力装置はさらに、前記第１のエンドエフェクタの所望の移動を実行させる前記第１の移動コマンドを受け取るための第１の入力部を備えていてもよい。
【0010】
前記プロセッサは複数のモードで作動するよう構成されてもよく、前記複数のモードは、前記プロセッサが前記入力装置を前記第２のエンドエフェクタに作動可能に結合させる結合モードと、前記プロセッサが前記入力装置を前記第２のエンドエフェクタから作動可能な結合を解除する結合解除モードと、前記プロセッサが前記第１の入力部を前記第１のエンドエフェクタに作動可能に結合させる動作モードと、前記プロセッサが前記第１の入力部を前記第１のエンドエフェクタから作動可能な結合を解除する選択モードとを備えていてもよい。
【0011】
前記プロセッサはさらに、クラッチ入力部から受信した信号に応答して前記結合解除モードで作動するよう構成されていてもよい。前記プロセッサはさらに、第２の入力部からの信号の受信に応答して前記動作モードで作動するよう構成されていてもよい。前記プロセッサはさらに、前記プロセッサが前記結合解除モードになると、同時に前記結合解除モードおよび前記選択モードで作動するように構成されていてもよい。
【0012】
前記入力装置はさらに、前記プロセッサが前記結合モードで動作しているとき、前記第２のエンドエフェクタの所望の移動を実行させる前記第２の移動コマンドを受け取るよう構成されていてもよい。
【0013】
前記第１の入力部は、前記プロセッサが、前記動作モードで動作しているとき、前記第１のエンドエフェクタの所望の移動を実行させる前記第１の移動コマンドを受け取るよう構成されていてもよい。前記第１の入力部はさらに、前記プロセッサが前記選択モードで動作しているとき、前記入力装置との連結のための第３のエンドエフェクタを選択するよう構成されていてもよい。前記入力装置はさらに、前記第１の入力部による前記第３のエンドエフェクタの選択に応答して前記第３のエンドエフェクタの所望の移動を実行させる第３の移動コマンドを受け取るよう構成されていてもよい。
【0014】
前記入力装置はさらに、前記第１の入力部に結合された駆動機構であって、前記操作者に力のフィードバックを行うために前記第１の入力部に力を加えるよう構成された駆動機構を備えていてもよい。前記入力装置はさらに、前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記第１の入力部に加えられた力を感知するよう構成された力センサを備えていてもよい。前記第１の入力装置はさらに、前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記操作者がいつ前記第１の入力部に接触しているかを検知するよう構成された静電容量センサを備えていてもよい。前記入力装置はさらに、前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記本体に対する前記第１の入力部の位置を感知するよう構成された位置センサを備えていてもよい。
【0015】
前記プロセッサはさらに、前記第１のエンドエフェクタの前記決定された所望の移動に従った前記第１のエンドエフェクタの移動を実行させるよう構成されていてもよい。前記プロセッサはさらに、前記第２のエンドエフェクタの前記決定された所望の移動に従った
前記第２のエンドエフェクタの移動を実行させるよう構成されていてもよい。
前記第２のエンドエフェクタの移動を実行させるよう構成されていてもよい。
【0016】
前記第１のエンドエフェクタは多数の自由度を有していてもよく、前記プロセッサは、前記第１のエンドエフェクタの前記自由度のうちの少なくとも１つを前記第１の入力部に選択的に連結させ、前記第１の入力部の移動に応答して前記第１のエンドエフェクタの前記自由度のうちの前記少なくとも１つの移動を実行させるように構成されていてもよい。
【0017】
前記第１のエンドエフェクタは作業場所の画像を撮像するための画像撮像装置を備えていてもよい。前記画像撮像装置は内視鏡であってもよい。前記マスタ－スレーブシステムはさらに、撮像した前記画像を表示するための表示装置を備えていてもよい。
【0018】
前記プロセッサはさらに、操作者選択参照フレームに対する前記第１の入力部の移動にともなって前記第１のエンドエフェクタの移動を実行させるよう構成されていてもよい。前記操作者選択参照フレームは、前記入力装置に固定されていてもよい。前記操作者選択参照フレームは、前記表示装置に固定されていてもよい。前記プロセッサはさらに、前記表示装置に表示されるような前記第１のエンドエフェクタおよび前記第２のエンドエフェクタの移動がそれぞれ前記第１の入力部および前記入力装置の動きに対応するように、入力装置参照フレームと第２のエンドエフェクタ参照フレームとの間の対応付けを継続して更新し、第１の入力部参照フレームと第１のエンドエフェクタ参照フレームとの間の対応付けを継続して更新するように構成されていてもよい。
【図面の簡単な説明】
【0019】
以下に述べる添付の図面を参照しながら例を用いて本発明を以下に説明する。
【図1】マスタ－スレーブシステムを示す図。
【図2】ツールをそれぞれ支持する複数のロボットマニピュレータを用いて遠隔手術が施されている患者を示す図。
【図4】表示装置および入力装置を備える操作者用コンソールを示す図。
【図5a】入力部およびクラッチ入力部を備える入力装置の上面図。
【発明を実施するための形態】
【0020】
図１は、外科手術システムとしての構成例におけるマスタ－スレーブシステム１０を示す。システム１０は、患者用の台５０と、カート７０と、操作者用コンソール２０とを備える。操作者用コンソール２０によって、操作者Ｏ（図７に示す）は、１つ以上の入力装置２１ａ、２１ｂを用いて、ツール４０ａ、４０ｂ、４０ｃを支持する１つ以上のロボットマニピュレータ８０ａ、８０ｂ、８０ｃ（図２に示す）を遠隔操作して患者Ｐに外科手術処置を行うことができる。操作者Ｏは、例えば、外科医、アシスタント、または学生でありうる。
【0021】
次に図２を参照すると、システム１０は、種々のツール４０ａ、４０ｂ、４０ｃを支持するための１つ以上のロボットマニピュレータ８０ａ、８０ｂ、８０ｃを有する。ロボットマニピュレータ（複数可）８０ａ、８０ｂ、８０ｃは図２、３、および６に示すような
ものでありうる。図２、３、および６のこれらロボットマニピュレータ８０ａ、８０ｂ、８０ｃは、それぞれ、基部９０（図６に示す）から延びるアーム８１を有する。アーム８１は、その長さに沿った一連の回動ジョイント８２、８３、８４によって有節となっている。アーム８１の遠位端には、エンドエフェクタ４１ａ、４１ｂ、４１ｃで終端するツール４０ａ、４０ｂ、４０ｃがある。エンドエフェクタ４１ａ、４１ｂは手術器具であり、例えば、スムーズジョー、鋸歯状ジョー、グリッパ、一丁のはさみ、縫合用の針、レーザ、メス、ステープラ、焼灼器、吸引器、プライヤ、スカルペル、焼灼器電極などでありうるが、これらに限定されない。あるいは、エンドエフェクタ４１ｃは、内視鏡などの画像撮像装置であってもよい。エンドエフェクタ４１ａ、４１ｂ、４１ｃは、アーム８１の遠位端で駆動モータ８６によって移動するよう駆動されうる。駆動モータ８６は、器具のシャフトの内部に沿って延びるケーブルによってエンドエフェクタ４１ａ、４１ｂ、４１ｃに結合されうる。
ものでありうる。図２、３、および６のこれらロボットマニピュレータ８０ａ、８０ｂ、８０ｃは、それぞれ、基部９０（図６に示す）から延びるアーム８１を有する。アーム８１は、その長さに沿った一連の回動ジョイント８２、８３、８４によって有節となっている。アーム８１の遠位端には、エンドエフェクタ４１ａ、４１ｂ、４１ｃで終端するツール４０ａ、４０ｂ、４０ｃがある。エンドエフェクタ４１ａ、４１ｂは手術器具であり、例えば、スムーズジョー、鋸歯状ジョー、グリッパ、一丁のはさみ、縫合用の針、レーザ、メス、ステープラ、焼灼器、吸引器、プライヤ、スカルペル、焼灼器電極などでありうるが、これらに限定されない。あるいは、エンドエフェクタ４１ｃは、内視鏡などの画像撮像装置であってもよい。エンドエフェクタ４１ａ、４１ｂ、４１ｃは、アーム８１の遠位端で駆動モータ８６によって移動するよう駆動されうる。駆動モータ８６は、器具のシャフトの内部に沿って延びるケーブルによってエンドエフェクタ４１ａ、４１ｂ、４１ｃに結合されうる。
【0022】
図３は、内視鏡４１ｃを支持するロボットマニピュレータ８０ｃおよび器具エンドエフェクタ４１ａを支持するロボットマニピュレータ８０ａを示すが、各ロボットマニピュレータ８０ａ、８０ｂ、８０ｃはこれらのエンドエフェクタのいずれも支持できることがわかるであろう。
【0023】
次に図４を参照すると、操作者用コンソール２０は、ロボットマニピュレータ（複数可）８０ａ、８０ｂ、８０ｃを制御するための、連接アセンブリ２６に結合された１つ以上の入力装置２１ａ、２１ｂを備える。操作者用コンソール２０はまた、操作者Ｏに遠隔手術の作業場所を視認させるための表示装置３０を備える。図４、５ａ、および５ｂの入力装置（複数可）２１ａ、２１ｂは、ユーザの手で把持され、システム１０に３次元動作を入力するために設計されている。場合によって、入力装置（複数可）２１ａ、２１ｂで、ユーザがシステム１０に機能入力をできてもよい。
【0024】
上述の記載は単一の表示装置について参照しているが、他の例では、ロボットシステムは複数の表示装置または複数の画面を備えていてもよい。これらの画面は、遠隔の作業場所を２次元画像および／または３次元画像として視覚的に表示するよう適切に構成される。これらの画面を単一の操作者用コンソール２０に備えることができるか、２つ以上のコンソールがそれぞれ少なくとも１つの画面を備えることができる。これにより、例えば、トレーニングのために、コンソール操作者以外の人々が手術の作業場所を視認するのに有用でありうる、追加的に見せるための画面が可能となる。
【0025】
説明をわかりやすくするために、入力装置２１ｂの一例について、図５ａおよび図５ｂに示す互いに直交するＸ、Ｙ、およびＺ軸を参照して述べる。Ｘ軸は、入力装置２１ｂの前後方向の軸に直交する。Ｙ軸は入力装置２１ｂの左右の軸に直交する。Ｚ軸は、入力装置２１ｂの上下の軸に平行で、Ｘ軸およびＹ軸に直交する。換言すれば、入力装置２１ｂのＺ軸は、入力装置２１ｂの本体を上面から底面まで伸びる線である。
【0026】
図５ａおよび図５ｂの入力装置２１ｂの一例は、右手でつかむように意図されている。鏡像である入力装置２１ａは、左手用に意図されていることになる。入力装置２１ｂの本体２７はヘッド２３およびグリップ２４を有する。グリップ２４は、ユーザの手のひらに置かれるように構成される。これにより、ユーザは、クラッチ入力部２２の上に第１指／人差し指を置くことができる。ユーザの親指をクラッチ入力部２２に対してヘッド２３の反対側に置くことができる、あるいは、ユーザの親指をヘッド２３上の入力部２５上に置くことができる。この種の装置のユーザ受入検査では、多数のユーザが、このような態様で、手首をニュートラルな位置に置き親指を他の指に対向させて、このような装置を自然に手に取り把持することが確かめられた。この結果、３次元動作入力のために、ユーザの手首は、屈曲、伸長、内転、および外転で自由に動く。
【0027】
図５ａおよび図５ｂの入力装置２１ｂにおいて、クラッチ入力部２２は、軸（不図示）を中心にヘッド２３に対して回転可能であるトリガーレバーであるとして示されている。クラッチ入力部２２は、つまみまたはつまみ入力装置と種々に呼ばれうる。このようなクラッチ入力装置についてのさらに詳細な説明については、本出願人による「ハンドコントローラグリップ（Hand Controller Grip)」という名称の英国特許出願番号ＧＢ１６１６
０８６．３を参照のこと。さらに、図５ａおよび図５ｂの入力装置２１ｂにおいて、入力部２５は、基部上で旋回し、デフォルトの中央位置に対するその位置を制御装置６０に通知する親指用スティックであるとして示されている。その後、この位置信号は、さらなる動作入力として、そして任意にシステム１０における機能入力として使用されうる。図５ａおよび図５ｂの入力部２５は、ユーザの親指で操作されるよう設計されて、典型的には２次元入力を与える。
０８６．３を参照のこと。さらに、図５ａおよび図５ｂの入力装置２１ｂにおいて、入力部２５は、基部上で旋回し、デフォルトの中央位置に対するその位置を制御装置６０に通知する親指用スティックであるとして示されている。その後、この位置信号は、さらなる動作入力として、そして任意にシステム１０における機能入力として使用されうる。図５ａおよび図５ｂの入力部２５は、ユーザの親指で操作されるよう設計されて、典型的には２次元入力を与える。
【0028】
入力部２５は幾通りかで関節接続されうる。例えば、入力部２５は、入力装置２１ｂのＸ軸を中心に前後方向Ａに旋回可能である。入力部２５は、入力装置２１ｂのＹ軸を中心に左右方向Ｂにも旋回可能である。入力部２５は押しボタンとしても動作し、入力装置２１ｂのＺ軸に沿って入力部２５が上下方向に動きうる。
【0029】
入力部２５は、入力装置２１ａ、２１ｂ上に位置するため、ユーザは簡単および自然な態様で使用でき、不注意に作動されることもない。入力部２５は、デフォルトでは動作不能な状態にあり、この状態では、システムが入力部２５から受信したどのような入力も受理されないであろう。入力部２５は、ユーザが接触していることを検出した場合のみ動作可能となってもよい。このために、接触感知パネル（不図示）を、ユーザの親指が接触可能な入力部２５の表面に備えることができる。接触感知パネルは、静電容量センサ（不図示）を備え、ユーザの親指が入力部２５に接触しているときに入力部２５上にユーザの親指が存在することを検出できる。あるいはまたはさらに、触覚フィードバックを与え、入力部２５は、ユーザの親指が入力部２５に接触している結果起こる任意の揺れおよび振動を検出して、入力部２５上にユーザの親指が存在することを検出できる。
【0030】
入力部２５はデフォルトで動作可能な状態にあることが好ましい。ユーザが行った入力部２５の不注意によるどのような作動も阻止する場合、ニュートラルゾーンを入力部２５の接合範囲内に定めることができ、これによっていかなる出力も行われないであろう。例えば、出力信号が出されて、その結果起こる連結するスレーブ装置の任意の動きがシステム内で生成されるまでは、入力部２５はある一定の閾値を超えて入力装置２１ａ、２１ｂのＸ軸を中心に前後方向に旋回する必要が有りうる。合図を視覚的に表示装置３０および／または入力装置２１ａ、２１ｂに示して、いかなる出力もシステムに対して行うことのない一連の入力値を入力部２５に示してもよい。
【0031】
位置センサをヘッド２３内に設けて、本体２７に対する入力部２５の位置を感知してもよい。位置センサは、入力部２５の位置範囲を識別でき、入力部２５の旋回の程度または押し込みの程度をさらに正確に認識できる。位置センサは、入力部２５の回転軸の周りに配置された回転エンコーダまたは電位差計であってもよい。位置センサに加えてまたは位置センサに代わって、入力装置２１ｂは、入力部２５に加えられる力および／または入力部２５に加えられる旋回軸に対するトルクを検出するための力および／またはトルクセンサを備えていてもよい。
【0032】
追加的なユーザ入力インターフェースがヘッド２３に備えられてもよい。例えば、１つ以上の押しボタン、回転つまみ、ジョイスティック、ロッカースイッチなどがあってもよい。
【0033】
次に図６を参照すると、ロボットマニピュレータ８０ａの一例が制御装置６０によって制御される。制御装置６０は入力装置２１ａ、２１ｂ、ならびに連接アセンブリ２６およびロボットマニピュレータ位置／力センサ８５などの他のソースから入力を受ける。
【0034】
連接アセンブリ２６は、入力装置２１ａ、２１ｂを支持し、６つの自由度で入力装置２１ａ、２１ｂを動かしうる有節のリンク機構である。連接アセンブリ２６の構造は、リンク機構上のセンサにより検出され制御装置６０に伝達されうる。このように、入力装置２１ａ、２１ｂの動きを用いて、ロボットマニピュレータ８０ａの動きを制御できる。連接アセンブリ２６の代わりに、入力装置２１ａ、２１ｂが、位置と向きを推定可能な加速度計を備えていてもよい。
【0035】
制御装置６０は、非一時的な形態でメモリ６２に格納されたコードを実行するプロセッサ６１を備える。コードを実行する際、プロセッサ６０は、ロボットマニピュレータ８０ａのジョイント８２、８３、および８４の動きを命令し、入力装置２１ａ、２１ｂ、連接アセンブリ２６、およびマニピュレータ位置／力センサ８５からの入力に応じて器具４０ａのエンドエフェクタ４１ａを動かすための１セットの信号を決定する。このコードは、基本的に入力装置２１ａ、２１ｂおよび連接アセンブリ２６からの入力によってロボットマニピュレータ８０ａの動作が指示されるように、構成される。例えば、通常動作モードにおいて、（ｉ）エンドエフェクタ４１ａの姿勢は、回転自由度に関する入力装置２１ａ、２１ｂの姿勢によって設定されうる。（ｉｉ）エンドエフェクタ４１ａの位置は、平行移動自由度に関する入力装置２１ａ、２１ｂの位置によって設定されうる。（ｉｉｉ）エンドエフェクタ４１ａのジョーの構成は、本体２１に対するクラッチ入力部２２または入力部２５の位置によって設定されうる。例えば、クラッチ入力部２２は、手術器具エンドエフェクタのジョーを操作するために用いられうる。
【0036】
カメラ制御装置
さらに、ロボットマニピュレータ８０ｃが内視鏡４１ｃなどの画像撮像装置を支持している状態で、コードを実行する際、プロセッサ６０は、ロボットマニピュレータ８０ｃのジョイント８２、８３、および８４の動きを命令し、入力装置２１ａ、２１ｂの入力部２５および位置／力センサからの入力に応じて内視鏡４１ｃを動かすための１セットの信号を決定する。例えば、通常動作モードにおいて、（ｉ）内視鏡４１ｃの遠位端の上下位置は、前後方向Ａにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｉ）内視鏡４１ｃの遠位端の左右の位置は、左右方向Ｂにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｉｉ）内視鏡４１ｃのズームレベルは前後方向Ａにおけるデフォルト位置に対する第２の入力装置２１ｂの入力部２５の位置によって設定されうる。（ｉｖ）内視鏡４１ｃの遠位端の回転は、左右方向Ｂにおけるデフォルト位置に対する第２の入力装置２１ｂの入力部２５の位置によって設定されうる。なお、第１の入力装置２１ａは内視鏡４１ｃの回転とズームレベルを制御し、第２の入力装置２１ｂは内視鏡４１ｃの遠位端の上下および左右の動きを制御するように、入力装置２１ａおよび２１ｂは上述とは逆にも対応付けされうる。あるいは、単一の入力装置２１ａまたは２１ｂを用いて、内視鏡４１ｃの上述の自由度のすべてを制御する。上述のように、（ｉ）内視鏡４１ｃの遠位端の上下位置は、前後方向Ａにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｉ）内視鏡４１ｃの遠位端の左右の位置は、左右方向Ｂにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。この時点で、操作者Ｏは入力部２５を押して、内視鏡４１ｃの遠位端の動作の上下方向および左右方向の制御から内視鏡４１ｃの回転およびズームレベルの制御に切り替えうる。切り替えが行われると、（ｉｉｉ）内視鏡４１ｃのズームレベルは、前後方向Ａにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｖ）内視鏡４１ｃの回転は、左右方向Ｂにおけるデフォルト位置に対
する第１の入力装置２１ａの入力部２５の位置によって設定されうる。あるいは、操作者Ｏは、自身の好みに応じて、入力部２５の前後および左右の動きと、内視鏡４１ｃの上下、左右、回転、およびズームレベルとの間の対応付けを選択してもよい。換言すれば、操作者Ｏは、入力部２５のどの自由度を内視鏡４１ｃのどの自由度に対応付けるかを選択できる。これについては以下にさらに詳細に述べる。これにより、システム１０の操作者Ｏは、単一の入力装置２１ａ、２１ｂを用いて、器具エンドエフェクタ４１ａ、４１ｂまたは内視鏡４１ｃのどちらかの操作を止める必要なく、器具エンドエフェクタ４１ａ、４１ｂおよび内視鏡４１ｃを同時に制御できる。
さらに、ロボットマニピュレータ８０ｃが内視鏡４１ｃなどの画像撮像装置を支持している状態で、コードを実行する際、プロセッサ６０は、ロボットマニピュレータ８０ｃのジョイント８２、８３、および８４の動きを命令し、入力装置２１ａ、２１ｂの入力部２５および位置／力センサからの入力に応じて内視鏡４１ｃを動かすための１セットの信号を決定する。例えば、通常動作モードにおいて、（ｉ）内視鏡４１ｃの遠位端の上下位置は、前後方向Ａにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｉ）内視鏡４１ｃの遠位端の左右の位置は、左右方向Ｂにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｉｉ）内視鏡４１ｃのズームレベルは前後方向Ａにおけるデフォルト位置に対する第２の入力装置２１ｂの入力部２５の位置によって設定されうる。（ｉｖ）内視鏡４１ｃの遠位端の回転は、左右方向Ｂにおけるデフォルト位置に対する第２の入力装置２１ｂの入力部２５の位置によって設定されうる。なお、第１の入力装置２１ａは内視鏡４１ｃの回転とズームレベルを制御し、第２の入力装置２１ｂは内視鏡４１ｃの遠位端の上下および左右の動きを制御するように、入力装置２１ａおよび２１ｂは上述とは逆にも対応付けされうる。あるいは、単一の入力装置２１ａまたは２１ｂを用いて、内視鏡４１ｃの上述の自由度のすべてを制御する。上述のように、（ｉ）内視鏡４１ｃの遠位端の上下位置は、前後方向Ａにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｉ）内視鏡４１ｃの遠位端の左右の位置は、左右方向Ｂにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。この時点で、操作者Ｏは入力部２５を押して、内視鏡４１ｃの遠位端の動作の上下方向および左右方向の制御から内視鏡４１ｃの回転およびズームレベルの制御に切り替えうる。切り替えが行われると、（ｉｉｉ）内視鏡４１ｃのズームレベルは、前後方向Ａにおけるデフォルト位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｖ）内視鏡４１ｃの回転は、左右方向Ｂにおけるデフォルト位置に対
する第１の入力装置２１ａの入力部２５の位置によって設定されうる。あるいは、操作者Ｏは、自身の好みに応じて、入力部２５の前後および左右の動きと、内視鏡４１ｃの上下、左右、回転、およびズームレベルとの間の対応付けを選択してもよい。換言すれば、操作者Ｏは、入力部２５のどの自由度を内視鏡４１ｃのどの自由度に対応付けるかを選択できる。これについては以下にさらに詳細に述べる。これにより、システム１０の操作者Ｏは、単一の入力装置２１ａ、２１ｂを用いて、器具エンドエフェクタ４１ａ、４１ｂまたは内視鏡４１ｃのどちらかの操作を止める必要なく、器具エンドエフェクタ４１ａ、４１ｂおよび内視鏡４１ｃを同時に制御できる。
【0037】
ロボットマニピュレータ８０ｃが内視鏡４１ｃなどの画像撮像装置を支持している状態で、コードを実行する際、プロセッサ６０は、内視鏡４１ｃを所望の方向に移動させる速さも制御できるように、速度制御を用いて、入力装置２１ａ、２１ｂの入力部２５および位置／力センサからの入力に応じて、内視鏡４１ｃを移動させるための１セットの信号を決定してもよい。例えば、入力部２５は、ニュートラル位置に戻るよう付勢される構成であってもよい。通常動作モードにおいて、（ｉ）内視鏡４１ｃの遠位端を上下方向に移動させる速さは、前後方向Ａにおけるデフォルトのニュートラル位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｉ）内視鏡４１ｃの遠位端を左右方向に移動させる速さは、左右方向Ｂにおけるデフォルトのニュートラル位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｉｉ）内視鏡４１ｃのズームレベルを変更する速さは、前後方向Ａにおけるデフォルトのニュートラル位置に対する第２の入力装置２１ｂの入力部２５の位置によって設定されうる。（ｉｖ）内視鏡４１ｃの遠位端の回転が実施される速さは、左右方向Ｂにおけるデフォルトのニュートラル位置に対する第２の入力装置２１ｂの入力部２５の位置によって設定されうる。言い換えれば、操作者Ｏが内視鏡４１ｃを所望の態様で移動させたいとき、関連する入力装置２１ａ、２１ｂの入力部２５を上述の適切な方向のうちの一つへと押すことになる。入力部２５を適切な方向にニュートラル位置からどれだけ離れるように押すかで、内視鏡４１ｃを所望の態様でどれだけ早く移動させるかを決定する。操作者Ｏが入力部２５を放すと、内視鏡４１ｃは移動を止め、入力部２５はニュートラル位置に戻る。なお、第１の入力装置２１ａが内視鏡４１ｃの回転およびズームレベルを制御し、第２の入力装置２１ｂが内視鏡４１ｃの遠位端の上下および左右の動きを制御するように、入力装置２１ａおよび２１ｂは上述とは逆にも対応付けされうる。
【0038】
あるいは、単一の入力装置２１ａまたは２１ｂを用いて、内視鏡４１ｃの上述の自由度のすべてを、速度制御を用いて制御する。上述のように、入力部２５は、ニュートラル位置に戻るよう付勢される構成とされて、（ｉ）内視鏡４１ｃの遠位端を上下方向に移動させる速さは、前後方向Ａにおけるデフォルトのニュートラル位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｉ）内視鏡４１ｃの遠位端を左右方向に移動させる速さは、左右方向Ｂにおけるデフォルトのニュートラル位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。この時点で、操作者Ｏは入力部２５を押して、内視鏡４１ｃの遠位端の動作の上下方向および左右方向の制御から内視鏡４１ｃの回転およびズームレベルの制御に切り替えうる。切り替えが行われると、（ｉｉｉ）内視鏡４１ｃのズームレベルを変更する速さは、前後方向Ａにおけるデフォルトのニュートラル位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。（ｉｖ）内視鏡４１ｃの回転が実施される速さは、左右方向Ｂにおけるデフォルトのニュートラル位置に対する第１の入力装置２１ａの入力部２５の位置によって設定されうる。あるいは、操作者Ｏは、自身の好みに応じて、入力部２５の前後および左右の動きと、内視鏡４１ｃの上下、左右、回転、およびズームレベルとの間の対応付けを選択してもよい。換言すれば、操作者Ｏは、入力部２５のどの自由度を内視鏡４１ｃのどの自由度に対応付けるかを選択できる。これについては以下にさらに詳細に述べる。これにより、システム１０の操作者Ｏは、単一の入力装置２１ａ、２１ｂを用いて、器具エンドエフ
ェクタ４１ａ、４１ｂまたは内視鏡４１ｃのどちらかの操作を止める必要なく、器具エンドエフェクタ４１ａ、４１ｂおよび内視鏡４１ｃを同時に制御できる。
ェクタ４１ａ、４１ｂまたは内視鏡４１ｃのどちらかの操作を止める必要なく、器具エンドエフェクタ４１ａ、４１ｂおよび内視鏡４１ｃを同時に制御できる。
【0039】
このように、システム１０の操作者Ｏは、処置中にその処置を止める必要なく内視鏡４１ｃを再配置して異なる作業場所の撮像を行うことができる。このように、内視鏡４１ｃを別のスレーブ装置エンドエフェクタとみなすことができる。
【0040】
マスタ装置－スレーブ装置の関係
図７を参照して、操作者用コンソール２０を用いて処理を実行している操作者Ｏは、入力装置（複数可）２１ａ、２１ｂ（マスタ装置）を用いて、１つ以上の遠隔ツール４０ａ、４０ｂ、４０ｃ（スレーブ装置）の動きを制御する。操作者Ｏは、表示装置３０を通じて作業場所を見ることができる。ロボットマニピュレータ８０ａおよび８０ｂ上に支持された器具エンドエフェクタ４１ａおよび４１ｂは、連結するそれぞれの入力装置（複数可）２１ａ、２１ｂへの動きおよび機能入力に応じて位置および向きについての移動が実施されるよう操作される。処置中、手術部位とともに器具エンドエフェクタ４１ａ、４１ｂの画像が、ロボットマニピュレータ８０ｃ上で支持された内視鏡４１ｃによって撮像され、表示装置３０に表示されることで、操作者Ｏは、入力装置（複数可）２１ａ、２１ｂを用いて器具エンドエフェクタ４１ａ、４１ｂの反応としての動きおよび動作を制御しながらのこのような動きおよび動作を見ることができる。
図７を参照して、操作者用コンソール２０を用いて処理を実行している操作者Ｏは、入力装置（複数可）２１ａ、２１ｂ（マスタ装置）を用いて、１つ以上の遠隔ツール４０ａ、４０ｂ、４０ｃ（スレーブ装置）の動きを制御する。操作者Ｏは、表示装置３０を通じて作業場所を見ることができる。ロボットマニピュレータ８０ａおよび８０ｂ上に支持された器具エンドエフェクタ４１ａおよび４１ｂは、連結するそれぞれの入力装置（複数可）２１ａ、２１ｂへの動きおよび機能入力に応じて位置および向きについての移動が実施されるよう操作される。処置中、手術部位とともに器具エンドエフェクタ４１ａ、４１ｂの画像が、ロボットマニピュレータ８０ｃ上で支持された内視鏡４１ｃによって撮像され、表示装置３０に表示されることで、操作者Ｏは、入力装置（複数可）２１ａ、２１ｂを用いて器具エンドエフェクタ４１ａ、４１ｂの反応としての動きおよび動作を制御しながらのこのような動きおよび動作を見ることができる。
【0041】
有利にも、制御装置６０は、表示装置３０に表示されている撮像画像において視認されるように、入力装置２１ａ、２１ｂと、それと連結される器具エンドエフェクタ４１ａ、４１ｂとの関係を確立する。この関係において、画像で操作者Ｏに表示されるような器具エンドエフェクタ４１ａまたは４１ｂの向きおよび位置は、操作者の手によって操作されるような連結された入力装置２１ａまたは２１ｂの向きおよび位置に追随対応する。連結された器具エンドエフェクタ４１ａまたは４１ｂの向きおよび位置を入力装置の向きおよび位置に対応させることによって、画像中に表示されるように器具エンドエフェクタ４１ａまたは４１ｂの動きが操作者の手の動きに対応付けられなかった場合に比べて、より直観的に器具エンドエフェクタ４１ａまたは４１ｂの動きを制御することができる。
【0042】
さらには、制御装置６０は、入力部２５とそれに連結された内視鏡４１ｃとの間の関係を確立する。この関係において、内視鏡４１ｃの向きおよび位置は、操作者の手によって操作されるような連結された入力部２５の向きおよび位置に追随対応する。このように連結された内視鏡４１ｃの向きおよび位置を入力部の向きおよび位置に対応させることによって、内視鏡４１ｃの動きが入力部２５の動きに対応付けられなかった場合に比べて、より直観的に内視鏡４１ｃの動きを制御することができる。
【0043】
制御装置６０は、入力装置デカルト座標基準系（入力フレーム）における入力装置の位置および向きを、カメラデカルト座標基準系（カメラフレーム）における器具エンドエフェクタ４１ａまたは４１ｂの位置および向きに対応付けることで、入力装置２１ａ、２１ｂと器具エンドエフェクタ４１ａ、４１ｂとの間の制御を実施する。したがって、操作中、カメラフレーム内での器具エンドエフェクタの位置および向きは、入力フレームでの入力装置２１ａ、２１ｂの位置および向きに対応付けられ、入力フレームでの入力装置２１ａ、２１ｂの現在の位置および向きに対応するカメラフレームでの新しい位置／向きへの器具エンドエフェクタ４１ａまたは４１ｂの移動が実施される。
【0044】
場合によって、制御装置６０は、入力デカルト座標参照系（入力フレーム）における入力装置２１ａ、２１ｂに対する入力部の位置および向きをカメラフレームにおける内視鏡４１ｃの位置および向きに対応付けることで、入力部２５と内視鏡４１ｃとの間の制御を実施する。したがって、操作中、入力フレームでの入力部２５の現在の位置および向きに
対応するカメラフレームでの新しい位置／向きへの内視鏡４１ｃの移動が実施される。
対応するカメラフレームでの新しい位置／向きへの内視鏡４１ｃの移動が実施される。
【0045】
あるいは、制御装置６０は、入力フレームでの、入力装置２１ａ、２１ｂに関する、デフォルトのニュートラル位置に対する入力部の位置をカメラフレームでの内視鏡４１ｃの動作の方向および速さに対応付けることで、速度制御を用いた入力部２５と内視鏡４１ｃとの間の制御を実施する。しがたって、操作中、入力フレームでのデフォルトのニュートラル位置に対する入力部２５の位置に対応する、カメラフレームでの新しい方向への所望の速さによる内視鏡４１ｃの移動が実施される。
【0046】
有利にも、ユーザは入力装置２１ａ、２１ｂを結合解除することができ、入力装置２１ａ、２１ｂをより人間工学的に効率のよい位置および／または向きに動かすことができる。入力装置２１ａ、２１ｂを再係合にすると、入力フレームとカメラフレームとの間の対応付けが更新される。このため、マスタ装置参照フレームを変更でき、入力装置２１ａと入力装置２１ｂとの間でも変更できる。さらに、マスタ装置（入力装置２１ａ、２１ｂ）とスレーブ装置（エンドエフェクタ４１ａ、４１ｂ、４１ｃ）との間の対応付けのこの更新の結果、表示装置３０上で操作者Ｏに表示されるようなスレーブ装置の期待される動作が生成されるように、入力装置２１ａ、２１ｂ経由で移動コマンドが与えられる。
【0047】
画像撮像装置の位置が変わると、視認されている画像における器具エンドエフェクタ４１ａまたは４１ｂの向きおよび位置も変わりうることが理解されるであろう。この結果、有利にも、器具エンドエフェクタ４１ａ、４１ｂの動きの、入力装置２１ａ、２１ｂの動きへの対応付けの関係が、画像撮像装置によるこのような位置変化の後に再確立される。これにより、マスタ装置とスレーブ装置との間の対応付けがこのように連続的に更新される結果、操作者Ｏに表示されるようなスレーブ装置の期待される動作が生成されように、入力装置２１ａ、２１ｂ経由で動作コマンドが与えられるため、処理を行うときに操作者の直観的な「感覚」を高めることになるであろう。
【0048】
さらに、入力部２５の動きと内視鏡４１ｃの遠位端の動きとの間の、さらに直感的な改良された応答を操作者Ｏに与えるために、制御装置６０は、操作者の好みの参照フレームに関連する入力フレームによって、入力部２５の位置および向きに基づいた内視鏡４１ｃの遠位端の所望の位置および向きを決定し達成する。この概念が図８ａおよび図８ｂに例示されており、以下に説明する。
【0049】
図８ａは、入力装置２１ａが表示装置３０の画面でまっすぐ向くように、操作者Ｏが入力装置２１ａを把持している例を示す。操作者Ｏは、好みの参照フレームを入力装置２１ａのそれ（すなわち、入力フレーム）と同等となるように設定することを選択できる。この例では、入力部２５を操作する前、操作者Ｏは表示装置３０に示すように器具エンドエフェクタ４１ａを見ることができる。しかし、入力部２５が入力装置２１の本体に対して左、図８ａにおいて文字Ｌで示す方向に移動すると、内視鏡４１ｃの遠位端も左に移動して、その結果、器具エンドエフェクタ４１ａの表示画像が表示装置３０’に示すように撮像画像の右側に移る。
【0050】
図８ｂは、入力装置２１ａを表示装置３０の画面の右９０度に向かせるように、操作者Ｏが入力装置２１ａを把持している別の例を示す。操作者Ｏが好みの参照フレームを入力フレームと同等になるように設定することを再度選択すると、入力装置２１ａの本体に対して左、図８ｂの文字Ｌに示す方向に入力部２５を操作して移動させる結果、内視鏡４１ｃの遠位端が左に移動し、その結果、器具エンドエフェクタ４１ａの表示画像が表示装置３０’に示すように撮像画像の右側に移ることになるであろう。
【0051】
しかし、操作者Ｏは、好みの参照フレームを画面に対応するよう設定することを選ぶこ
とができる。この例では、入力部２５を図８ｂの文字Ｌに示す方向に動かす結果、内視鏡４１ｃの遠位端が前方向に動き、その結果器具エンドエフェクタ４１ａの表示画像が表示装置３０”に示されるように拡大して見えるようになるであろう。あるいは、操作者Ｏは別の所望の参照フレームを選んでもよい。
とができる。この例では、入力部２５を図８ｂの文字Ｌに示す方向に動かす結果、内視鏡４１ｃの遠位端が前方向に動き、その結果器具エンドエフェクタ４１ａの表示画像が表示装置３０”に示されるように拡大して見えるようになるであろう。あるいは、操作者Ｏは別の所望の参照フレームを選んでもよい。
【0052】
機能入力
上述の例では、画像撮像装置（例えば、内視鏡４１ｃ）の３次元動作を与えるための入力部２５の使用について述べている。以下の例では、システム１０へ機能入力を行うための入力部２５の使用について述べる。
上述の例では、画像撮像装置（例えば、内視鏡４１ｃ）の３次元動作を与えるための入力部２５の使用について述べている。以下の例では、システム１０へ機能入力を行うための入力部２５の使用について述べる。
【0053】
システム１０は、選択的に、入力装置（複数可）２１ａ、２１ｂと器具エンドエフェクタ４１、４１ｂのいずれかとを有効に連結させうる。外科手術処置の多くにおいて、操作者が２つ以上の器具エンドエフェクタ４１ａ、４１ｂから選択できることが望ましい。例えば、入力装置２１ａ、２１ｂを、複数の器具エンドエフェクタ４１ａ、４１ｂを制御するために使用できる。入力装置２１ａ、２１ｂは、器具エンドエフェクタ４１、４１ｂの一方に作動可能に結合されるとき、この一方の器具エンドエフェクタ４１、４１ｂを制御するために使用でき、器具の他方に作動可能に結合されるとき、この他方の器具エンドエフェクタ４１ａ、４１ｂを制御するために使用できる。換言すれば、入力装置２１ａ、２１ｂは、結合モードで作動可能に結合されている器具エンドエフェクタ４０ａ、４０ｂを制御するために使用できる。入力装置２１ａ、２１ｂと器具エンドエフェクタ４１ａ、４１ｂとの結合は、変更可能である。１つの器具エンドエフェクタ４１ａが、複数の入力装置２１ａ、２１ｂによって制御されうる。器具エンドエフェクタ４１ａは、１つの入力装置２１ａに結合可能であり、この１つの入力装置２１ａによって器具エンドエフェクタ４１ａの制御が可能となる。この１つの入力装置２１ａから結合がはずれると、器具エンドエフェクタ４１ａは別の入力装置２１ｂに結合可能となり、この別の入力装置２１ｂによって器具エンドエフェクタ４１ａの制御が可能となる。このように、２つ以上の器具エンドエフェクタ４１ａ、４１ｂは、単一の入力装置２１と有効に連結されうる。
【0054】
入力装置２１ａおよび２１ｂは、一度に１つの器具エンドエフェクタ４１ａ、４１ｂに関連付けられる、つまり作動可能に結合可能である。この関連性または結合は、１つの例では、ソフトウェアの制御で実施される。例えば、入力部２５を用いてインターフェース内のメニューから選択肢を選択するなどのように、それぞれの入力装置２１ａ、２１ｂを操作してそれぞれの器具エンドエフェクタ４１ａ、４１ｂを選択することで、操作者Ｏは所望の結合を選択する。適切な器具エンドエフェクタ４１ａ、４１ｂが選択されると、それは入力装置２１ａ、２１ｂと動作可能に係合／結合し、操作者Ｏは選択された器具エンドエフェクタについて制御できる。これは入力装置２１のクラッチ入力部２２を用いてなされうる。入力装置２１ａ、２１ｂ自体を、この係合を行うために用いる必要はない。操作者用コンソール２０上の足踏みペダルまたはスイッチなどの別のボタンまたは制御装置を入力装置２１ａ、２１ｂの代わりにまたは入力装置２１ａ、２１ｂとともに用いることができる。あるいは、クラッチ入力部２２以外の入力装置２１ａ、２１ｂ上の別のボタンまたは制御装置が、適切な器具エンドエフェクタ４１ａ、４１ｂを入力装置２１ａ、２１ｂに動作可能に係合／結合するための係合入力部として備えられて、操作者Ｏは選択された器具エンドエフェクタについて制御できる。これにより、器具エンドエフェクタ４１ａ、４１ｂの選択に柔軟性を与える。入力装置２１ａ、２１ｂに作動可能に結合された器具エンドエフェクタ４１ａ、４１ｂは、結合器具エンドエフェクタと称されうる。入力装置２１ａ、２１ｂに作動可能に結合されていない器具エンドエフェクタs ４１ａ、４１ｂは、結合解除器具エンドエフェクタと称されうる。結合解除器具エンドエフェクタは入力装置２１ａ、２１ｂによって能動的に制御されていない。適切には、プロセッサ６１は、どの器具エンドエフェクタ４１ａ、４１ｂが結合器具であるかを判定するよう構成される。
【0055】
したがって、プロセッサ６１は、多数のモードで動作できる。すなわち、結合モード、結合解除モード、動作モード、および選択モードで動作できる。結合モードでは、入力装置２１ａ、２１ｂは、器具エンドエフェクタ４１ａ、４１ｂに作動可能に結合する。結合解除モードでは、入力装置２１ａ、２１ｂは、器具エンドエフェクタ４１ａ、４１ｂから作動可能な結合が解除されている。器具エンドエフェクタを入力装置２１ａ、２１ｂに作動可能に結合する上述の同じ機構を用いて、該器具エンドエフェクタを該入力装置２１ａ、２１ｂから作動可能な結合を解除できる。例えば、入力装置２１ａ、２１ｂのクラッチ入力部２２を用いて、結合する器具エンドエフェクタ４１ａ、４１ｂの作動可能な結合を解除できる。この場合も、入力装置２１ａ、２１ｂ自体をこの結合解除を実施するために用いる必要はない。操作者用コンソール２０上の足踏みペダルまたはスイッチなどの別のボタンまたは制御装置を入力装置２１ａ、２１ｂの代わりにまたは入力装置２１ａ、２１ｂとともに用いることができる。あるいは、同様にクラッチ入力部２２以外の入力装置２１ａ、２１ｂ上の別のボタンまたは制御装置を、入力装置２１ａ、２１ｂから連結する器具エンドエフェクタ４１ａ、４１ｂを動作可能な係合／結合からはずすための係合入力部として備えることができる。それまでの器具エンドエフェクタが入力装置２１ａ、２１ｂから作動可能な結合が解除されれば、異なる器具エンドエフェクタが選択されて入力装置２１ａ、２１ｂに作動可能に結合されて、操作者Ｏは選択された器具について制御できる。
【0056】
選択モードでは、器具４０ａ、４０ｂを入力装置２１から結合解除する際に、該入力装置２１ａ、２１ｂの入力部２５が３次元入力部として機能することを停止し、自動的に器具エンドエフェクタ選択装置になり、操作者Ｏが入力装置２１ａ、２１ｂとの連結のための別の器具エンドエフェクタを選択可能となるように、プロセッサ６１がさらに構成されうる。１つの例では、２つ以上の入力装置２１ａ、２１ｂを使用しているとき、入力装置２１ａ、２１ｂのうちの１つが結合解除される結果、この入力装置２１ａ、２１ｂに連結した器具エンドエフェクタが結合解除され、結合解除されている入力装置２１ａ、２１ｂの入力部２５が単に選択装置になる。これにより、プロセッサは、同時に結合解除モードおよび選択モードで動作できる。別の例では、２つ以上の入力装置２１ａ、２１ｂを使用しているとき、入力装置２１ａ、２１ｂのうちの１つが結合解除される結果、連結する器具エンドエフェクタのすべてが結合解除され、すべての入力装置２１ａ、２１ｂの入力部２５が自動的に選択装置になる。
【0057】
すでに述べたように、１つ以上の入力装置２１ａ、２１ｂの入力部２５を用いて、画像撮像装置（例えば、内視鏡４１ｃ）の種々の自由度（上下、左右、拡大／縮小、およびロール）の制御も可能である。これは動作モードで行える。この動作モードでは、例えば、第１の入力装置２１ａの入力部２５が、内視鏡４１ｃに作動可能に結合されて、その上下および左右の動きを制御でき、第２の入力装置２１ｂの入力部２５が、内視鏡４１ｃに作動可能に結合されて、内視鏡４１ｃの拡大／縮小およびロールを制御できる。入力装置２１ａ、２１ｂのクラッチ入力部２２を用いて、プロセッサ６１を動作モードにして、操作者Ｏは内視鏡の要求自由度についての制御ができる。あるいは、上述のような入力装置２１ａ、２１ｂの別の係合入力部、または操作者用コンソール２０上の足踏みペダルもしくはスイッチなどの別のボタンもしくは制御装置をクラッチ入力部２２の代わりにまたはクラッチ入力部２２とともに用いて、プロセッサ６１を動作モードにすることができる。１つの例では、入力装置２１ａ、２１ｂのうちのいずれか１つが連結する器具エンドエフェクタ４１ａ、４１ｂから結合解除され、他方が連結する器具エンドエフェクタ４１ａ、４１ｂに係合したままで、入力装置２１ａおよび２１ｂの両方の入力部２５がプロセッサ６１による内視鏡の自由度の制御からはずれ、両入力部２５が器具選択装置となる。
【0058】
操作者に器具選択装置を提供することに加え、システム１０に別の機能入力（例えば、メニュー型のインターフェースを通じた、操作者に利用可能である別の提供可能な多数の
モードの選択）を提供するように、入力部２５を適合させることができる。１つの例では、システム１０がこれらの他の機能の形態に入ると、すべての入力装置２１ａ、２１ｂを、関連付けられた各器具エンドエフェクタ４１ａ、４１ｂから結合解除するように、プロセッサ６１が構成されている。さらに、プロセッサ６１は、すべての入力部２５を内視鏡４１ｃから結合解除するよう構成されている。
モードの選択）を提供するように、入力部２５を適合させることができる。１つの例では、システム１０がこれらの他の機能の形態に入ると、すべての入力装置２１ａ、２１ｂを、関連付けられた各器具エンドエフェクタ４１ａ、４１ｂから結合解除するように、プロセッサ６１が構成されている。さらに、プロセッサ６１は、すべての入力部２５を内視鏡４１ｃから結合解除するよう構成されている。
【0059】
本発明は、外科用ロボットシステムの文脈の中で述べられてきたが、本発明の異なる局面は、他のマスタ装置－スレーブ装置ロボットシステムに等しく適用されると理解されるべきである。このため、このロボットシステムは、産業用システムまたは他の種類のシステムで有りうる。ロボットは、産業用ロボットまたは他の機能のためのロボットで有りうる。器具は産業用ツールまたは他の形態のツールで有りうる。器具の本体は、ロボットへの解放可能な取り付のためのカップリングおよびカップリングとエンドエフェクタとの間を通る細長いシャフトを備える。
【0060】
ここで述べた制御処理は、装置（複数可）に制御処理を行わせるソフトウェアを実行する１つ以上の物理的処理装置によって行われうる。この物理的処理装置または各物理的処理装置は、ＣＰＵ、固定機能、またはプログラム可能なハードウェアなどの任意の適切なプロセッサで有りうる。
【0061】
本出願人は、本明細書に説明する個別の特徴を単独で、また、それら２つ以上の特徴の任意の組み合わせをここに開示する。この開示によって、本明細書に開示されたいかなる課題もそれらの特徴またはその特徴の組み合わせによって解決されるか否かに関係なく、かつ本願請求項の範囲に限定されることなく、それらの特徴またはその組み合わせを本明細書全体に基づき当業者の一般的な知識を踏まえて実施できる。本出願人は、本発明の態様がかかる個別の特徴またはその組み合わせのいずれによっても構成されうることを明示する。上述の説明に鑑みると、本発明の範囲内でさまざまな変更を加えうることは当業者にとって明白であろう。
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6】
【図7】
【図8a】
【図8b】
【手続補正書】
【提出日】2022-11-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第１のエンドエフェクタを支持する第１のマニピュレータと、
第２のエンドエフェクタを支持する第２のマニピュレータと、
前記第１のエンドエフェクタの所望のスレーブ装置移動を実行させる第１のマスタ装置移動コマンドと、前記第２のエンドエフェクタの所望のスレーブ装置移動を実行させる第２のマスタ装置移動コマンドとを操作者の手から同時に受けるよう構成され、前記操作者によって保持されるための本体と、前記第１のマスタ装置移動コマンドを受けるための第１の入力部とを備える入力装置と、
前記入力装置から受信した前記第１のマスタ装置移動コマンドおよび前記第２のマスタ装置移動コマンドに応えて、前記第１のエンドエフェクタおよび前記第２のエンドエフェクタそれぞれの所望のスレーブ装置移動を決定するよう構成されたプロセッサと、を備え、
前記入力装置はさらに、
前記第１の入力部に結合された駆動機構であって、前記操作者に力のフィードバックを行うために前記第１の入力部に力を加えるよう構成された駆動機構、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記第１の入力部に加えられた力を感知するよう構成された力センサ、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記操作者がいつ前記第１の入力部に接触しているかを検知するよう構成された静電容量センサ、および
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記本体に対する前記第１の入力部の位置を感知するよう構成された位置センサの、１つ以上を備える、
マスタ－スレーブシステム。
第２のエンドエフェクタを支持する第２のマニピュレータと、
前記第１のエンドエフェクタの所望のスレーブ装置移動を実行させる第１のマスタ装置移動コマンドと、前記第２のエンドエフェクタの所望のスレーブ装置移動を実行させる第２のマスタ装置移動コマンドとを操作者の手から同時に受けるよう構成され、前記操作者によって保持されるための本体と、前記第１のマスタ装置移動コマンドを受けるための第１の入力部とを備える入力装置と、
前記入力装置から受信した前記第１のマスタ装置移動コマンドおよび前記第２のマスタ装置移動コマンドに応えて、前記第１のエンドエフェクタおよび前記第２のエンドエフェクタそれぞれの所望のスレーブ装置移動を決定するよう構成されたプロセッサと、を備え、
前記入力装置はさらに、
前記第１の入力部に結合された駆動機構であって、前記操作者に力のフィードバックを行うために前記第１の入力部に力を加えるよう構成された駆動機構、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記第１の入力部に加えられた力を感知するよう構成された力センサ、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記操作者がいつ前記第１の入力部に接触しているかを検知するよう構成された静電容量センサ、および
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記本体に対する前記第１の入力部の位置を感知するよう構成された位置センサの、１つ以上を備える、
マスタ－スレーブシステム。
【請求項2】
請求項１に記載のシステムにおいて、前記本体は、通常の使用において前記操作者の片手で把持されるよう構成されている、システム。
【請求項3】
請求項１または２に記載のシステムにおいて、前記プロセッサはさらに、
前記第１のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第１のエンドエフェクタ、
前記第２のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第２のエンドエフェクタの、１つ以上の移動を実行させるよう構成されている、システム。
前記第１のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第１のエンドエフェクタ、
前記第２のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第２のエンドエフェクタの、１つ以上の移動を実行させるよう構成されている、システム。
【請求項4】
請求項１から３のいずれか一項に記載のシステムにおいて、前記第１のエンドエフェクタは作業場所の画像を撮像するための画像撮像装置を備える、システム。
【請求項5】
請求項４に記載のシステムにおいて、前記画像撮像装置は内視鏡である、システム。
【請求項6】
請求項４または５に記載のシステムにおいて、撮像した前記画像を表示するための表示装置をさらに備える、システム。
【請求項7】
請求項１から６のいずれか一項に記載のシステムにおいて、前記プロセッサはさらに、操作者選択参照フレームに対する前記第１の入力部の移動にともなって前記第１のエンドエフェクタの前記所望のスレーブ装置移動を決定するよう構成されている、システム。
【請求項8】
請求項７に記載のシステムにおいて、前記操作者選択参照フレームは、前記入力装置に固定されている、システム。
【請求項9】
請求項６を引用する７に記載のシステムにおいて、前記操作者選択参照フレームは、前記表示装置に固定されている、システム。
【請求項10】
請求項１から９のいずれか一項に記載のシステムにおいて、前記プロセッサはさらに、前記表示装置に表示された前記第１のエンドエフェクタおよび前記第２のエンドエフェクタの移動がそれぞれ前記第１の入力部および前記入力装置の動きに対応するように、入力装置参照フレームと第２のエンドエフェクタ参照フレームとの間の対応付けを継続して更新し、第１の入力部参照フレームと第１のエンドエフェクタ参照フレームとの間の対応付けを継続して更新するように構成されている、システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【0061】
本出願人は、本明細書に説明する個別の特徴を単独で、また、それら２つ以上の特徴の任意の組み合わせをここに開示する。この開示によって、本明細書に開示されたいかなる課題もそれらの特徴またはその特徴の組み合わせによって解決されるか否かに関係なく、かつ本願請求項の範囲に限定されることなく、それらの特徴またはその組み合わせを本明細書全体に基づき当業者の一般的な知識を踏まえて実施できる。本出願人は、本発明の態様がかかる個別の特徴またはその組み合わせのいずれによっても構成されうることを明示する。上述の説明に鑑みると、本発明の範囲内でさまざまな変更を加えうることは当業者にとって明白であろう。
なお、本発明は、実施の態様として以下の内容を含む。
［態様１］
第１のエンドエフェクタを支持する第１のマニピュレータと、
第２のエンドエフェクタを支持する第２のマニピュレータと、
前記第１のエンドエフェクタの所望のスレーブ装置移動を実行させる第１のマスタ装置移動コマンドと、前記第２のエンドエフェクタの所望のスレーブ装置移動を実行させる第２のマスタ装置移動コマンドとを操作者の手から同時に受けるよう構成された入力装置と、
前記入力装置から受信した前記第１のマスタ装置移動コマンドおよび前記第２のマスタ装置移動コマンドに応えて、前記第１のエンドエフェクタおよび前記第２のエンドエフェクタそれぞれの所望のスレーブ装置移動を決定するよう構成されたプロセッサと、を備えるマスタ－スレーブシステム。
［態様２］
態様１に記載のシステムにおいて、前記入力装置は、前記操作者によって保持されるための本体であって、通常の使用において前記操作者の片手で把持されるよう構成された本体を備える、システム。
［態様３］
態様１または２に記載のシステムにおいて、前記入力装置は、前記第１のエンドエフェクタの前記所望のスレーブ装置移動を実行させる前記第１のマスタ装置移動コマンドを受けるための第１の入力部を備える、システム。
［態様４］
態様３に記載のシステムにおいて、前記プロセッサは複数のモードで動作可能であり、前記複数のモードは、
前記入力装置が前記第２のエンドエフェクタに作動可能に結合する結合モードと、
前記入力装置が前記第２のエンドエフェクタから作動可能な結合が解除されている結合解除モードと、
前記第１の入力部が前記第１のエンドエフェクタに作動可能に結合する動作モードと、
前記第１の入力部が前記第１のエンドエフェクタに作動可能な結合が解除されている選択モードとを備える、システム。
［態様５］
態様４に記載のシステムにおいて、前記プロセッサはクラッチ入力部から受信した信号に応答して前記結合解除モードで作動するよう構成されている、システム。
［態様６］
態様４または５に記載のシステムにおいて、前記プロセッサが前記結合モードにあるとき、前記入力装置は、前記第２のエンドエフェクタの前記所望のスレーブ装置移動を実行させる前記第２のマスタ装置移動コマンドを受けるよう構成されている、システム。
［態様７］
態様４から６のいずれかに記載のシステムにおいて、前記プロセッサが前記動作モードにあるとき、前記第１の入力部は、前記第１のエンドエフェクタの前記所望のスレーブ装置移動を実行させる前記第１のマスタ装置移動コマンドを受けるよう構成されている、システム。
［態様８］
態様４から７のいずれかに記載のシステムにおいて、前記プロセッサが前記選択モードにあるとき、前記第１の入力部はさらに、前記入力装置と関連付けられる第３のエンドエフェクタを選択するよう構成されている、システム。
［態様９］
態様４から８のいずれかに記載のシステムにおいて、前記プロセッサはさらに、第２の入力部からの信号の受信に応答して前記動作モードで作動するよう構成されている、システム。
［態様１０］
態様８に従属する態様９に記載のシステムにおいて、前記入力装置はさらに、前記第１の入力部による前記第３のエンドエフェクタの選択に応答して前記第３のエンドエフェクタの所望のスレーブ装置移動を実行させる第３のマスタ装置移動コマンドを受けるよう構成されている、システム。
［態様１１］
態様４から１０のいずれかに記載のシステムにおいて、前記プロセッサが前記結合解除モードになると、前記プロセッサはさらに、同時に前記結合解除モードおよび前記選択モードで作動するよう構成されている、システム。
［態様１２］
態様３から１１のいずれかに記載のシステムにおいて、前記入力装置はさらに、
前記第１の入力部に結合された駆動機構であって、前記操作者に力のフィードバックを行うために前記第１の入力部に力を加えるよう構成された駆動機構、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記第１の入力部に加えられた力を感知するよう構成された力センサ、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記操作者がいつ前記第１の入力部に接触しているかを検知するよう構成された静電容量センサ、および
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記本体に対する前記第１の入力部の位置を感知するよう構成された位置センサの、１つ以上を備える、システム。
［態様１３］
態様１から１２のいずれかに記載のシステムにおいて、前記プロセッサはさらに、
前記第１のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第１のエンドエフェクタ、
前記第２のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第２のエンドエフェクタの、１つ以上の移動を実行させるよう構成されている、システム。
［態様１４］
態様３から１３のいずれかに記載のシステムにおいて、
前記第１のエンドエフェクタは多数の自由度を有し、
前記プロセッサは、前記第１のエンドエフェクタの前記自由度のうちの少なくとも１つを前記第１の入力部に選択的に関連させ、前記第１の入力部の移動に応答して前記第１のエンドエフェクタの前記自由度のうちの前記少なくとも１つの移動を実行させるよう構成されている、システム。
［態様１５］
態様１から１４のいずれかに記載のシステムにおいて、前記第１のエンドエフェクタは作業場所の画像を撮像するための画像撮像装置を備える、システム。
［態様１６］
態様１５に記載のシステムにおいて、前記画像撮像装置は内視鏡である、システム。
［態様１７］
態様１５または１６に記載のシステムにおいて、撮像した前記画像を表示するための表示装置をさらに備える、システム。
［態様１８］
態様３から１７のいずれかに記載のシステムにおいて、前記プロセッサはさらに、操作者選択参照フレームに対する前記第１の入力部の移動にともなって前記第１のエンドエフェクタの前記所望のスレーブ装置移動を決定するよう構成されている、システム。
［態様１９］
態様１８に記載のシステムにおいて、前記操作者選択参照フレームは、
前記入力装置に固定されているか、または
前記表示装置に固定されている、システム。
［態様２０］
態様３から１９のいずれかに記載のシステムにおいて、前記プロセッサはさらに、前記表示装置に表示された前記第１のエンドエフェクタおよび前記第２のエンドエフェクタの移動がそれぞれ前記第１の入力部および前記入力装置の動きに対応するように、入力装置参照フレームと第２のエンドエフェクタ参照フレームとの間の対応付けを継続して更新し、第１の入力部参照フレームと第１のエンドエフェクタ参照フレームとの間の対応付けを継続して更新するように構成されている、システム。
なお、本発明は、実施の態様として以下の内容を含む。
［態様１］
第１のエンドエフェクタを支持する第１のマニピュレータと、
第２のエンドエフェクタを支持する第２のマニピュレータと、
前記第１のエンドエフェクタの所望のスレーブ装置移動を実行させる第１のマスタ装置移動コマンドと、前記第２のエンドエフェクタの所望のスレーブ装置移動を実行させる第２のマスタ装置移動コマンドとを操作者の手から同時に受けるよう構成された入力装置と、
前記入力装置から受信した前記第１のマスタ装置移動コマンドおよび前記第２のマスタ装置移動コマンドに応えて、前記第１のエンドエフェクタおよび前記第２のエンドエフェクタそれぞれの所望のスレーブ装置移動を決定するよう構成されたプロセッサと、を備えるマスタ－スレーブシステム。
［態様２］
態様１に記載のシステムにおいて、前記入力装置は、前記操作者によって保持されるための本体であって、通常の使用において前記操作者の片手で把持されるよう構成された本体を備える、システム。
［態様３］
態様１または２に記載のシステムにおいて、前記入力装置は、前記第１のエンドエフェクタの前記所望のスレーブ装置移動を実行させる前記第１のマスタ装置移動コマンドを受けるための第１の入力部を備える、システム。
［態様４］
態様３に記載のシステムにおいて、前記プロセッサは複数のモードで動作可能であり、前記複数のモードは、
前記入力装置が前記第２のエンドエフェクタに作動可能に結合する結合モードと、
前記入力装置が前記第２のエンドエフェクタから作動可能な結合が解除されている結合解除モードと、
前記第１の入力部が前記第１のエンドエフェクタに作動可能に結合する動作モードと、
前記第１の入力部が前記第１のエンドエフェクタに作動可能な結合が解除されている選択モードとを備える、システム。
［態様５］
態様４に記載のシステムにおいて、前記プロセッサはクラッチ入力部から受信した信号に応答して前記結合解除モードで作動するよう構成されている、システム。
［態様６］
態様４または５に記載のシステムにおいて、前記プロセッサが前記結合モードにあるとき、前記入力装置は、前記第２のエンドエフェクタの前記所望のスレーブ装置移動を実行させる前記第２のマスタ装置移動コマンドを受けるよう構成されている、システム。
［態様７］
態様４から６のいずれかに記載のシステムにおいて、前記プロセッサが前記動作モードにあるとき、前記第１の入力部は、前記第１のエンドエフェクタの前記所望のスレーブ装置移動を実行させる前記第１のマスタ装置移動コマンドを受けるよう構成されている、システム。
［態様８］
態様４から７のいずれかに記載のシステムにおいて、前記プロセッサが前記選択モードにあるとき、前記第１の入力部はさらに、前記入力装置と関連付けられる第３のエンドエフェクタを選択するよう構成されている、システム。
［態様９］
態様４から８のいずれかに記載のシステムにおいて、前記プロセッサはさらに、第２の入力部からの信号の受信に応答して前記動作モードで作動するよう構成されている、システム。
［態様１０］
態様８に従属する態様９に記載のシステムにおいて、前記入力装置はさらに、前記第１の入力部による前記第３のエンドエフェクタの選択に応答して前記第３のエンドエフェクタの所望のスレーブ装置移動を実行させる第３のマスタ装置移動コマンドを受けるよう構成されている、システム。
［態様１１］
態様４から１０のいずれかに記載のシステムにおいて、前記プロセッサが前記結合解除モードになると、前記プロセッサはさらに、同時に前記結合解除モードおよび前記選択モードで作動するよう構成されている、システム。
［態様１２］
態様３から１１のいずれかに記載のシステムにおいて、前記入力装置はさらに、
前記第１の入力部に結合された駆動機構であって、前記操作者に力のフィードバックを行うために前記第１の入力部に力を加えるよう構成された駆動機構、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記第１の入力部に加えられた力を感知するよう構成された力センサ、
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記操作者がいつ前記第１の入力部に接触しているかを検知するよう構成された静電容量センサ、および
前記第１の入力部で前記操作者からコマンドが受信されていると判定するために前記本体に対する前記第１の入力部の位置を感知するよう構成された位置センサの、１つ以上を備える、システム。
［態様１３］
態様１から１２のいずれかに記載のシステムにおいて、前記プロセッサはさらに、
前記第１のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第１のエンドエフェクタ、
前記第２のエンドエフェクタの前記決定された所望のスレーブ装置移動に従った前記第２のエンドエフェクタの、１つ以上の移動を実行させるよう構成されている、システム。
［態様１４］
態様３から１３のいずれかに記載のシステムにおいて、
前記第１のエンドエフェクタは多数の自由度を有し、
前記プロセッサは、前記第１のエンドエフェクタの前記自由度のうちの少なくとも１つを前記第１の入力部に選択的に関連させ、前記第１の入力部の移動に応答して前記第１のエンドエフェクタの前記自由度のうちの前記少なくとも１つの移動を実行させるよう構成されている、システム。
［態様１５］
態様１から１４のいずれかに記載のシステムにおいて、前記第１のエンドエフェクタは作業場所の画像を撮像するための画像撮像装置を備える、システム。
［態様１６］
態様１５に記載のシステムにおいて、前記画像撮像装置は内視鏡である、システム。
［態様１７］
態様１５または１６に記載のシステムにおいて、撮像した前記画像を表示するための表示装置をさらに備える、システム。
［態様１８］
態様３から１７のいずれかに記載のシステムにおいて、前記プロセッサはさらに、操作者選択参照フレームに対する前記第１の入力部の移動にともなって前記第１のエンドエフェクタの前記所望のスレーブ装置移動を決定するよう構成されている、システム。
［態様１９］
態様１８に記載のシステムにおいて、前記操作者選択参照フレームは、
前記入力装置に固定されているか、または
前記表示装置に固定されている、システム。
［態様２０］
態様３から１９のいずれかに記載のシステムにおいて、前記プロセッサはさらに、前記表示装置に表示された前記第１のエンドエフェクタおよび前記第２のエンドエフェクタの移動がそれぞれ前記第１の入力部および前記入力装置の動きに対応するように、入力装置参照フレームと第２のエンドエフェクタ参照フレームとの間の対応付けを継続して更新し、第１の入力部参照フレームと第１のエンドエフェクタ参照フレームとの間の対応付けを継続して更新するように構成されている、システム。