特許 5707449 コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5707449

(24)【登録日】2015年3月6日

(45)【発行日】2015年4月30日

(54)【発明の名称】コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標

(51)【国際特許分類】

   A61B 19/00 20060101AFI20150409BHJP

【ＦＩ】

   A61B19/00 502

【請求項の数】11

【全頁数】22

(21)【出願番号】特願2013-133899(P2013-133899)

(22)【出願日】2013年6月26日

(62)【分割の表示】特願2009-518470(P2009-518470)の分割

【原出願日】2007年6月22日

(65)【公開番号】特開2013-188574(P2013-188574A)

(43)【公開日】2013年9月26日

【審査請求日】2013年6月26日

(31)【優先権主張番号】11/478,531

(32)【優先日】2006年6月29日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】506410453

【氏名又は名称】インテュイティブ サージカル インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】デイビッド ラーキン

(72)【発明者】

【氏名】トーマス ニクソン

(72)【発明者】

【氏名】デイビッド ミンツ

【審査官】 宮崎 敏長

(56)【参考文献】

【文献】 特開平０１−２８０４４９（ＪＰ，Ａ）

【文献】 特開平０４−２３１０３４（ＪＰ，Ａ）

【文献】 特表平０９−５０７１３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １９／００

Ａ６１Ｂ １／０４

Ａ６１Ｂ ８／００

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８ − Ｇ０６Ｆ ３／０４８９

(57)【特許請求の範囲】

【請求項1】

医療システムであって、該医療システムは、
ツールと、
該ツールを配置および配向することが可能であるように、該ツールに機械的に結合されたロボットアームと、
画像を撮影するための画像装置と、
コンピュータディスプレイ画面であって、該コンピュータディスプレイ画面上の表示領域に該撮影された画像を表示するためのコンピュータディスプレイ画面と、
該ロボットアームと該画像装置と該コンピュータディスプレイ画面とに結合されたプロセッサと
を含み、
該プロセッサは、
該撮影された画像のための該画像装置の視野に対する該ツールの現在の位置を決定することと、
該画像装置によって撮影された画像が該コンピュータディスプレイ画面上の表示領域に表示されるようにすることと、
該ツールが該画像装置の視野の外である場合、該ツールの該決定された現在の位置を示すように、該コンピュータディスプレイ画面上の該表示領域の外側にある境界領域において記号を表示する位置を決定することと、
該境界領域において該決定された位置に記号が表示されるようにすることと
を行うように構成されている、医療システム。

【請求項2】

前記表示される記号は、前記ツールおよび前記ロボットアームのうちの１つを識別する情報を提供する、請求項１に記載の医療システム。

【請求項3】

前記表示される記号は、前記ツールおよび前記ロボットアームのうちの１つを識別する色または数字のうちの少なくとも１つを含む、請求項２に記載の医療システム。

【請求項4】

前記ロボットアームは、複数の接合部を有し、前記プロセッサは、該複数の接合部に対して感知された接合部の位置および該ロボットアームに対する運動方程式を用いることによって、前記ツールの前記現在の位置を決定するように構成されている、請求項１に記載の医療システム。

【請求項5】

前記ツールは、シャフトを含み、該シャフトは、該シャフトの長さに沿って延在する軸を有し、前記プロセッサは、該シャフトの該軸を貫通する線が前記画像装置の前記視野に侵入する場所を決定することによって、前記境界領域における前記記号の前記位置を決定するように構成されている、請求項１に記載の医療システム。

【請求項6】

前記プロセッサは、前記ツールの前記現在の位置から前記画像装置の前記視野内の基準点まで延在する線が該視野に侵入する場所を決定することによって、前記境界領域における前記記号の前記位置を決定するように構成されている、請求項１に記載の医療システム。

【請求項7】

前記プロセッサは、前記ツールの過去の位置および該ツールの前記現在の位置を用いて、該ツールの外挿された軌跡を決定するように構成されており、該プロセッサは、該ツールの該外挿された軌跡が前記画像装置の前記視野に侵入する場所を決定することによって、前記境界領域における前記記号の前記位置を決定するように構成されている、請求項１に記載の医療システム。

【請求項8】

前記プロセッサは、前記画像装置の前記視野内の基準点の固定位置に対する前記ツールの基準点の現在の位置によって示される方向を決定することによって、前記境界領域における前記記号の前記位置を決定するように構成されている、請求項１に記載の医療システム。

【請求項9】

前記表示される記号の色、強度、点滅の頻度のうちの少なくとも１つが、前記ツールの前記基準点の前記現在の位置と前記画像装置の前記視野内の前記基準点の前記固定位置との間の距離を示す、請求項８に記載の医療システム。

【請求項10】

前記表示される記号は、前記ツールの前記基準点の前記現在の位置と前記画像装置の前記視野内の前記基準点の前記固定位置との間の距離を示すテキストを含む、請求項８に記載の医療システム。

【請求項11】

前記プロセッサは、前記ツールの現在の配向を決定するように構成されており、該プロセッサは、該ツールの該決定された現在の配向を示すように、前記記号が前記境界領域の中に表示されるようにするように構成されている、請求項１に記載の医療システム。

【発明の詳細な説明】

【技術分野】

【0001】

（発明の分野）
本発明は、概して、ロボット手術システムに関し、具体的には、コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標に関する。

【背景技術】

【0002】

低侵襲外科的処置を行う際に使用されるもの等のロボット手術システムは、従来の観血手術手技と比べて、より少ない痛み、より短い入院期間、正常活動へのより早い復帰、最小瘢痕化、回復時間の短縮、およびより少ない組織損傷を含む、多くの利点を提示する。結果として、ロボット手術システムを使用した低侵襲手術に対する需要は強く、増大している。

【0003】

ロボット手術システムの一例は、カリフォルニア州、サニーベールのＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．によるｄａ Ｖｉｎｃｉ（登録商標）Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍである。ｄａ Ｖｉｎｃｉ（登録商標）Ｓｙｓｔｅｍは、外科医のコンソール、患者側カート、高性能３−Ｄ視覚システム、およびヒト手関節をモデルにしているＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌの独自のＥｎｄｏＷｒｉｓｔ^ＴＭ連接型器具を含むので、手術器具を保持するロボットアームの運動に加えられると、観血手術の自然運動に匹敵する、全６自由度の運動を可能にする。

【0004】

ｄａ Ｖｉｎｃｉ（登録商標）の外科医のコンソールは、２つの段階走査陰極線管（「ＣＲＴ」）を伴う高解像度立体ビデオディスプレイを有する。該システムは、偏光、シャッタ眼鏡またはその他の技法よりも高い忠実度を提示する。それぞれの目は、対物レンズおよび一連の鏡を介して、左目または右目の視野を表示する個々のＣＲＴを見る。外科医は、手術の間中、楽に座ってこのディスプレイを覗き込むが、それは、外科医が３−Ｄの術中画像を表示して操作するのに理想的な場所にする。

【0005】

立体内視鏡は、手術部位付近に配置され、立体ビデオディスプレイに表示するための左右像を撮影する。しかし、器具がディスプレイ上の表示領域の外側にある時、外科医は、その時点で器具がどれだけ離れているか、またはどの方向にあるか分からない場合がある。このため、外科医が手術部位に器具を誘導することが困難となる。また、器具が不意に視野に現れた場合、外科医を当惑させる場合がある。器具がディスプレイの表示領域内にある時でさえ、外科医は、それがどの器具なのか、またはどの患者側マニピュレータ（例えば、患者側カート上のロボットアーム）に器具が関連しているのか分からない場合がある。これにより、例えば、外科的処置中に外科医が患者側の助手に器具を別のものと交換するように指示することが困難となる。

【0006】

ディスプレイ上の表示領域の外側にある器具の場所を特定するために、器具が表示領域の中に現れるまで内視鏡を移動させる必要があってもよい。この場合、手術器具が手術部位に誘導されている場合、カメラのズームおよび焦点制御もまた、頻繁な調整を必要とする場合があり、プロセスを外科医にとって退屈で時間のかかるものにする。偶然に器具がカメラ視野（「ＦＯＶ」）にあるが、視野に対する拡大調整のために表示領域の外側にある場合、器具が表示領域の中に戻るように、縮小調整を行ってもよい。しかし、そのような縮小は、外科医による厳重な検査を必要とする、細心の注意を要する外科的処置が行われている時に望ましくない場合がある。

【発明の概要】

【課題を解決するための手段】

【0007】

したがって、本発明の様々な側面のうちの１つの目的は、ツールが画面の表示領域の外側にある時に、コンピュータディスプレイ画面に表示されている画像に対するツール位置を示すための方法である。

【0008】

本発明の様々な側面の別の目的は、ツールが画面の表示領域の外側にある時に、コンピュータディスプレイ画面に表示されている画像からのツールの距離を示すための方法である。

【0009】

本発明の様々な側面の別の目的は、ツールが画面の表示領域の外側にある時に、コンピュータディスプレイ画面に表示されている画像に対するツールの配向を示すための方法である。

【0010】

本発明の様々な側面の別の目的は、ツールが画面の表示領域の中に閉塞されている時に、コンピュータディスプレイ画面に表示されている画像に対するツール位置または配向を示すための方法である。

【0011】

本発明の様々な側面のなおも別の目的は、外科医の動作および外科医と助手のコミュニケーションを向上するように、どの患者側マニピュレータがどの手術器具に接続されているかを明確に識別する、コンピュータディスプレイ画面上のツール識別を示すための方法である。

【0012】

これら、および付加的な目的は、本発明の様々な側面によって達成され、簡潔に述べると、１つの側面は、ツールの位置を決定することと、ツールの位置を示すようコンピュータディスプレイ画面の境界領域中で記号の位置を決定することと、境界領域中の決定された位置で記号を表示することとを備える、コンピュータディスプレイ画面にツールの位置を示すためのコンピュータに実装される方法である。

【0013】

別の側面は、コンピュータディスプレイ画面に結び付けられ、ツールの現在の位置を決定し、ツールの位置を示すようコンピュータディスプレイの境界領域中で記号の位置を決定し、記号を境界領域中の決定された位置に表示させるように、構成されるプロセッサを備える、コンピュータディスプレイ画面にツールの位置を示すための装置である。

【0014】

なおも別の側面は、手術用ツールと、手術用ツールを配置して配向することが可能となるように手術用ツールに機械的に連結される第１のロボットアームと、カメラと、カメラを配置して配向することが可能となるようカメラに機械的に連結される第２のロボットアームと、コンピュータディスプレイ画面と、ロボットアーム、カメラ、およびコンピュータディスプレイ画面に連結されるプロセッサとを備えており、プロセッサは、ツールの位置を示すために記号をコンピュータディスプレイ画面の境界領域に表示させるように構成されている、医療ロボットシステムである。

【0015】

該方法、装置、および医療ロボットシステムの好ましい実施形態では、記号は、記号に書かれた、またはそれに隣接して表示されたテキストまたは数値情報等の、関連する色またはその他何らかの手段によってツールおよび／またはその関連する画面に連続的に表示されてもよい。あるいは、ポインティングデバイスを使用して、カーソルが記号の上方に配置された時、または記号がクリックされた時に表示されるだけであってもよい。

【0016】

本発明の様々な側面の付加的な目的、特徴、および利点は、その好ましい実施形態の次の説明により明白となり、その説明は、添付図面と併せて理解するべきである。
本発明は、例えば、以下を提供する。
（項目１）
コンピュータディスプレイ画面にツールの位置を示すコンピュータに実装される方法であって、
該ツールの位置を決定することと、
該ツールの該位置を示すために、該コンピュータディスプレイ画面に表示される画像の周囲の境界領域の中に記号の位置を決定することと、
該境界領域の中の該決定された位置において該記号を表示することと
を備える、方法。
（項目２）
前記記号は、前記ツールを識別する情報を提供する、項目１に記載のコンピュータに実装される方法。
（項目３）
前記記号は、前記ツールと関連する患者側マニピュレータを識別する情報を提供する、項目１に記載のコンピュータに実装される方法。
（項目４）
前記記号は、前記患者側マニピュレータと関連し、かつそれに示される色である、項目３に記載のコンピュータに実装される方法。
（項目５）
前記記号は、前記患者側マニピュレータと関連し、かつそれに示される数字で印される、項目３に記載のコンピュータに実装される方法。
（項目６）
前記ツールの前記位置は、前記コンピュータディスプレイ画面に表示されている前記画像を提供する画像装置の基準フレームにおいて決定される、項目１に記載のコンピュータに実装される方法。
（項目７）
前記ツールの前記位置は、前記ツールを動かす患者側マニピュレータに対する運動像を使用して決定される、項目６に記載のコンピュータに実装される方法。
（項目８）
前記ツールの前記位置は、画像識別技法を使用して決定される、項目６に記載のコンピュータに実装される方法。
（項目９）
前記ツールは、シャフトの長さに沿って延在する軸を有するシャフトを含み、前記境界領域の中における前記記号の前記位置の前記決定は、該シャフトの該軸を貫通する線が該境界領域と交差する場所を決定することを含む、項目１に記載のコンピュータに実装される方法。
（項目１０）
前記ツールの前記位置が、前記コンピュータディスプレイ画面に表示されている前記画像を含む表示領域の中にあるか否かを決定することをさらに備える、項目１に記載のコンピュータに実装される方法。
（項目１１）
前記ツールの前記位置が前記表示領域の外側にある場合、前記境界領域の中の前記記号の前記位置の前記決定は、該ツールの該位置から該表示領域の中の基準点まで延在する線が該境界領域と交差する場所を決定することを備える、項目１０に記載のコンピュータに実装される方法。
（項目１２）
前記ツールの前記位置が前記表示領域の外側にある場合、前記境界領域の中の前記記号の前記位置の前記決定は、該ツールの現在および過去の位置からの該ツールの軌跡を決定することと、該軌跡の外挿が該境界領域と交差する場所を決定することとを備える、項目１０に記載のコンピュータに実装される方法。
（項目１３）
前記ツールの前記位置が前記表示領域の外側にある場合、前記境界領域の中の前記記号の前記表示は、該表示領域の中の基準点の位置からの該ツール上の基準点の位置の距離を決定することと、該距離を示すように該記号のサイズ決定を行うこととを備える、項目１０に記載のコンピュータに実装される方法。
（項目１４）
前記ツールの前記位置が前記表示領域の外側にある場合、前記境界領域の中の前記記号の前記表示は、該表示領域の中の基準点の位置からの該ツール上の基準点の位置の距離を決定することと、その色が該距離を示すように該記号を表示することとを備える、項目１０に記載のコンピュータに実装される方法。
（項目１５）
前記記号の前記色の強度は、前記距離を示す、項目１４に記載のコンピュータに実装される方法。
（項目１６）
色のスペクトルにおける前記記号の色の前記位置は、前記距離を示す、項目１４に記載のコンピュータに実装される方法。
（項目１７）
前記ツールの前記位置が前記表示領域の外側にある場合、前記境界領域の中の前記記号の前記表示は、該表示領域の中の基準点の位置からの該ツール上の基準点の位置の距離を決定することと、該記号の点滅の頻度が該距離を示すように該記号を表示することとを備える、項目１０に記載のコンピュータに実装される方法。
（項目１８）
前記ツールの前記位置が前記表示領域の外側にある場合、前記境界領域の中の前記記号の前記表示は、該表示領域の中の基準点の位置からの該ツール上の基準点の位置の距離を決定することと、該境界領域の中の前記決定された位置の周囲の前記記号の振動の頻度が該距離を示すように、該記号を表示することとを備える、項目１０に記載のコンピュータに実装される方法。
（項目１９）
前記ツールの前記位置が前記表示領域の外側にある場合、前記境界領域の中の前記記号の前記表示は、該表示領域の中の基準点の位置からの該ツール上の基準点の位置の距離を決定することと、該記号に距離数を重ねることによって該距離が示されるように、該記号を表示することとを備える、項目１０に記載のコンピュータに実装される方法。
（項目２０）
前記ツールの前記位置が前記表示領域の外側にある場合、該ツールの該位置の前記決定は、該ツールの先端作動体の配向を決定することを含み、前記境界領域の中の前記記号の前記表示は、該先端作動体の該配向を示すように配向指標が配向されるために、該記号の上方に配向指標を表示することを備える、項目１０に記載のコンピュータに実装される方法。
（項目２１）
前記ツールは、シャフトの長さに沿って延在する軸を有するシャフトを含み、該ツールの前記位置が前記表示領域の外側にある場合、該ツールの該位置の前記決定は、該軸の配向を決定することを含み、前記境界領域の中の前記記号の前記表示は、該軸の該配向を示すように配向指標が配向されるために、該記号の上方に配向指標を表示することを備える、項目１０に記載のコンピュータに実装される方法。
（項目２２）
前記ツールの前記位置が前記表示領域の外側にある場合、該ツールの該位置の前記決定は、該ツールの先端作動体の配向を決定することを含み、前記境界領域の中の前記記号の前記表示は、該先端作動体の該配向を示すように該記号が配向されるために、該記号を表示することを備える、項目１０に記載のコンピュータに実装される方法。
（項目２３）
前記ツールが前記表示領域の中にある場合、該表示領域の中で該ツールの画像を識別することをさらに備える、項目１０に記載のコンピュータに実装される方法。
（項目２４）
前記ツールの前記画像が前記表示領域の中で識別できない場合、該ツールが配置されるべき該表示領域にゴーストツールを表示することを備える、項目２３に記載のコンピュータに実装される方法。
（項目２５）
前記表示領域は、立体的な左右の２次元像を含み、前記ツールの前記画像の前記識別は、
該ツールの３次元コンピュータモデルを生成することと、
該コンピュータディスプレイ画面の前記基準フレームにおける該ツールの前記現在の位置および配向と一致するように該コンピュータモデルを配置および配向することと、
該左右の２次元像のうちの選択された一方に投影する該コンピュータモデルの２次元輪郭を生成することと、
該コンピュータモデルの該２次元輪郭を、該左右の２次元像のうちの該選択された一方と相互相関させることと
を備える、項目２３に記載のコンピュータに実装される方法。
（項目２６）
前記ツールの前記画像が前記左右の２次元像のうちの前記選択された一方において識別されない場合、前記コンピュータ画面に表示されている際に該左右の２次元像のうちの該選択された一方の上のオーバーレイとして表示されるように、少なくとも該ツールの該コンピュータモデルの前記２次元輪郭を表示することをさらに備える、項目２４に記載のコンピュータに実装される方法。
（項目２７）
前記ツールの前記画像が前記左右の２次元像のうちの前記選択された一方において識別されない場合、前記コンピュータディスプレイ画面の前記基準フレームにおける前記ツールの前記位置および配向で該ツールの３次元ゴースト像として現れるように、該左右の２次元像の対応するものにおいて、該ツールの左右の２次元ゴースト像を重ねることをさらに備える、項目２４に記載のコンピュータに実装される方法。
（項目２８）
コンピュータディスプレイ画面にツールの位置を示す装置であって、
該コンピュータディスプレイ画面に結び付けられ、かつ、
前記ツールの現在の位置を決定し、
該ツールの該位置を示すように該コンピュータディスプレイ画面に表示される画像の周囲の境界領域の中で記号の位置を決定し、
該記号を該境界領域の中の該決定された位置に表示させる
ように構成されるプロセッサを備える、装置。
（項目２９）
前記記号は、前記ツールを識別する情報を提供する、項目２８に記載の装置。
（項目３０）
前記記号は、前記ツールと関連する患者側マニピュレータを識別する情報を提供する、項目２８に記載の装置。
（項目３１）
前記記号は、前記患者側マニピュレータと関連し、かつそれに示される色である、項目３０に記載の装置。
（項目３２）
前記記号は、前記患者側マニピュレータと関連し、かつそれに示される数字で印される、項目３０に記載の装置。
（項目３３）
前記ツールの前記位置は、前記コンピュータディスプレイ画面に表示されている前記画像を提供する画像装置の基準フレームにおいて決定される、項目２８に記載の装置。
（項目３４）
前記ツールの前記位置は、前記ツールを動かす患者側マニピュレータに対する運動像を使用して決定される、項目３３に記載の装置。
（項目３５）
前記ツールの前記位置は、画像識別技法を使用して決定される、項目３３に記載の装置。
（項目３６）
前記ツールは、シャフトの長さに沿って延在する軸を有するシャフトを含み、前記プロセッサは、該シャフトの該軸を貫通する線が前記境界領域と交差する場所を決定することによって、前記記号の前記位置を決定する、項目２８に記載の装置。
（項目３７）
前記プロセッサは、前記ツールの前記位置が、前記コンピュータディスプレイ画面に表示されている前記画像を含む表示領域内にあるか否かを決定するようにさらに構成される、項目２８に記載の装置。
（項目３８）
前記ツールの前記位置が前記表示領域の外側にある場合、前記プロセッサは、該ツールの該位置から該表示領域の中の基準点まで延在する線が前記境界領域と交差する場所を決定することによって、該境界領域の中の前記記号の前記位置を決定するように構成される、項目３７に記載の装置。
（項目３９）
前記ツールの前記位置が前記表示領域の外側にある場合、前記プロセッサは、該ツールの現在および過去の位置からの該ツールの軌跡を決定し、かつ該軌跡の外挿が境界領域と交差する場所を決定することによって、該境界領域の中の前記記号の前記位置を決定するように構成される、項目３７に記載の装置。
（項目４０）
前記ツールの前記位置が前記表示領域の外側にある場合、前記プロセッサは、該表示領域の中の基準点の位置からの該ツール上の基準点の位置の距離を決定し、かつ該距離を示すよう前記記号のサイズ決定を行うことによって、前記境界領域に該記号を表示するように構成される、項目３７に記載の装置。
（項目４１）
前記ツールの前記位置が前記表示領域の外側にある場合、前記プロセッサは、該表示領域の中の基準点の位置からの該ツール上の基準点の位置の距離を決定し、かつその色が該距離を示すように、前記記号を表示することによって、前記境界領域に該記号を表示するように構成される、項目３７に記載の装置。
（項目４２）
前記記号の前記色の強度は、前記距離を示す、項目４１に記載の装置。
（項目４３）
色のスペクトルにおける前記記号の色の前記位置は、前記距離を示す、項目４１に記載の装置。
（項目４４）
前記ツールの前記位置が前記表示領域の外側にある場合、前記プロセッサは、該表示領域中の基準点の位置からの該ツール上の基準点の位置の距離を決定することによって前記境界領域に前記記号を表示するように構成され、該記号の点滅の頻度は、該距離を示す、項目３７に記載の装置。
（項目４５）
前記ツールの前記位置が前記表示領域の外側にある場合、前記プロセッサは、該表示領域の中の基準点の位置からの該ツール上の基準点の位置の距離を決定することによって前記境界領域に前記記号を表示するように構成され、該境界領域の中の前記決定された位置の周囲の該記号の振動の頻度は、該距離を示す、項目３７に記載の装置。
（項目４６）
前記ツールの前記位置が前記表示領域の外側にある場合、前記プロセッサは、該表示領域の中の基準点の位置からの該ツール上の基準点の位置の距離を決定することによって前記境界領域に前記記号を表示するように構成され、該距離は、該記号に距離数を重ねることによって示される、項目３７に記載の装置。
（項目４７）
前記ツールの前記位置が前記表示領域の外側にある場合、前記プロセッサは、該ツールの先端作動体の前記位置および配向を決定し、かつ該先端作動体の該配向を示すように配向指標が配向されるために、前記記号の上方に配向指標を表示するように構成される、項目３７に記載の装置。
（項目４８）
前記ツールは、シャフトの長さに沿って延在する軸を有するシャフトを含み、該ツールの前記位置が前記表示領域の外側にある場合、前記プロセッサは、該軸の配向を決定し、かつ該軸の配向を示すように配向指標が配向されるために、前記記号の上方に配向指標を表示するように構成される、項目３７に記載の装置。
（項目４９）
前記ツールが前記表示領域中にある場合、前記プロセッサは、該ツールの先端作動体の前記位置および配向を決定し、かつ該先端作動体の該配向を示すように前記記号が配向されるために、該記号を表示するように構成される、項目３７に記載の装置。
（項目５０）
前記ツールが前記コンピュータディスプレイ画面に表示されている前記表示領域の中にある場合、前記プロセッサは、該表示領域の中で該ツールの画像を識別するようにさらに構成される、項目３７に記載の装置。
（項目５１）
前記ツールの前記画像が前記表示領域の中で識別できない場合、前記プロセッサは、該ツールが配置されるべき該表示領域にゴーストツールを表示するようにさらに構成される、項目５０に記載の装置。
（項目５２）
前記表示領域は、立体的な左右の２次元像を含み、前記プロセッサは、
前記ツールの３次元コンピュータモデルを生成し、
前記コンピュータディスプレイ画面の前記基準フレームにおける該ツールの現在の位置および配向と一致するように該コンピュータモデルを配置および配向し、
該左右の２次元像のうちの選択された一方に投影する該コンピュータモデルの２次元輪郭を生成し、
該コンピュータモデルの前記２次元輪郭を、該左右の２次元像のうちの該選択された一方と相互相関させることによって、該ツールの前記画像を識別するように構成される、項目５０に記載の装置。
（項目５３）
前記ツールの前記画像が前記左右の２次元像のうちの前記選択された一方において識別されない場合、前記プロセッサは、少なくとも該ツールの前記コンピュータモデルの前記２次元輪郭を、前記コンピュータ画面に表示されている際に該左右の２次元像のうちの該選択された一方の上のオーバーレイとして表示させるようにさらに構成される、項目５２に記載のプロセッサ。
（項目５４）
前記ツールの前記画像が前記左右の２次元像のうちの前記選択された一方において識別されない場合、前記プロセッサは、前記コンピュータディスプレイ画面の前記基準フレームにおける該ツールの前記位置および配向で該ツールの３次元ゴースト像として現れるよう、該ツールの左右の２次元ゴースト像を、該左右の２次元像の対応するものにおいて重ねさせるようにさらに構成される、項目５２に記載の装置。
（項目５５）
手術用ツールと、
該手術用ツールを配置および配向することが可能となるように、該手術用ツールに機械的に連結されるロボットアームと、
画像装置と、
コンピュータディスプレイ画面と、
該ロボットアーム、該画像装置、および該コンピュータディスプレイ画面に連結されるプロセッサと
を備えており、
該プロセッサは、該画像装置によって撮影される画像を、該コンピュータディスプレイ画面の表示領域に表示させ、該ツールの位置を示すよう、記号を該表示領域の周囲の境界領域に表示させるように構成される、医療ロボットシステム。
（項目５６）
前記記号は、前記ツールを識別する情報を提供する、項目５５に記載のシステム。
（項目５７）
前記記号は、前記ツールと関連する患者側マニピュレータを識別する情報を提供する、項目５５に記載のシステム。
（項目５８）
前記記号は、前記患者側マニピュレータと関連し、かつそれに示される色である、項目５７に記載のシステム。
（項目５９）
前記記号は、前記患者側マニピュレータと関連し、かつそれに示される数字で印される、項目５７に記載のシステム。
（項目６０）
前記ツールの前記位置は、前記画像装置の基準フレームにおいて決定される、項目５５に記載のシステム。
（項目６１）
前記ツールの前記位置は、前記ツールを動かす患者側マニピュレータに対する運動学を使用して決定される、項目６０に記載のシステム。
（項目６２）
前記ツールの前記位置は、画像識別技法を使用して決定される、項目６０に記載のシステム。
（項目６３）
前記ツールは、シャフトの長さに沿って延在する軸を有するシャフトを含み、前記プロセッサは、該シャフトの該軸を貫通する線が前記境界領域と交差する場所を決定することによって、該境界領域の中の前記記号の前記位置を決定するように構成される、項目５５に記載のシステム。
（項目６４）
前記プロセッサは、前記ツールの前記位置が、前記コンピュータディスプレイ画面に表示されている前記表示領域の中にあるか否かを決定するようにさらに構成される、項目５５に記載のシステム。
（項目６５）
前記ツールが前記表示領域の外側にある時、前記プロセッサは、該ツールの先端作動体の配向を示すよう、前記記号を前記コンピュータディスプレイ画面の前記境界に表示させるようにさらに構成される、項目５５に記載のシステム。
（項目６６）
前記ツールが前記表示領域の外側にある時、前記プロセッサは、前記ツール上の基準点の位置から前記表示領域の基準点の距離を示すよう、前記記号を前記コンピュータディスプレイ画面の前記境界に表示させるようにさらに構成される、項目５５に記載のシステム。
（項目６７）
前記距離は、前記表示された記号のサイズによって示される、項目６６に記載のシステム。
（項目６８）
前記距離は、前記表示された記号の色によって示される、項目６６に記載のシステム。
（項目６９）
前記距離は、前記表示された記号の明るさによって示される、項目６６に記載のシステム。
（項目７０）
前記距離は、前記表示された記号の点滅の頻度によって示される、項目６６に記載のシステム。
（項目７１）
前記点滅の頻度は、前記距離が減少するにつれて増加する、項目７０に記載のシステム。
（項目７２）
前記境界領域の中の前記決定された位置の周囲の前記記号の振動の頻度は、前記距離を示す、項目６６に記載のシステム。
（項目７３）
前記距離は、前記記号に距離数を重ねることによって示される、項目６６に記載のシステム。
（項目７４）
前記画像装置は、少なくとも１つのカメラを含む、項目５５に記載のシステム。
（項目７５）
前記画像装置は、ＭＲＩ像を撮影する、項目５５に記載のシステム。
（項目７６）
前記画像装置は、超音波画像を撮影する、項目５５に記載のシステム。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の側面を利用したロボット手術システムを採用した手術室の上面図を図示する。

【図2】図２は、内視鏡カメラのＦＯＶの中に配置された２つのツールを図示する。

【図3】図３は、内視鏡カメラのＦＯＶの中に配置された１つのツール、および外に配置された１つのツールを図示する。

【図4】図４は、本発明の側面を利用した、ツールが内視鏡カメラのＦＯＶの外にある時にツールの位置を示すための方法によって生じる、第１のコンピュータディスプレイ画面を図示する。

【図5】図５は、本発明の側面を利用した、ツールが内視鏡カメラのＦＯＶの外にある時にツールの位置を示すための方法によって生じる、第２のコンピュータディスプレイ画面を図示する。

【図6】図６は、本発明の側面を利用した、ツールが内視鏡カメラのＦＯＶの外にある時にツールの位置を示すための方法によって生じる、第３のコンピュータディスプレイ画面を図示する。

【図7】図７は、本発明の側面を利用した、ツールが内視鏡カメラのＦＯＶの中に閉塞されている時にツールの位置を示すための方法によって生じる、第４のコンピュータディスプレイ画面を図示する。

【図8】図８は、本発明の側面を利用した、ツールが内視鏡カメラのＦＯＶの外側にある、または中に閉塞されている時にツールの位置を示すための方法のフロー図を図示する。

【図9】図９は、本発明の側面を利用する、図８に関して説明される方法を行うように構成されたロボット手術システムで使用されるような、内視鏡カメラ基準フレームにおける点の左右像を図示する。

【図10】図１０および図１１はそれぞれ、コンピュータモニタの左表示領域に表示される完全な左カメラ像と、コンピュータモニタの左表示領域に表示される部分的な左カメラ像とを示す。

【図11】図１０および図１１はそれぞれ、コンピュータモニタの左表示領域に表示される完全な左カメラ像と、コンピュータモニタの左表示領域に表示される部分的な左カメラ像とを示す。

【図12】図１２は、本発明の側面を利用する図８に関して説明される方法で使用してもよい、カメラ像中でツールを識別するための方法のフロー図を図示する。

【発明を実施するための形態】

【0018】

図１は、一例として、ロボット手術システムを採用した手術室の上面図を図示する。この場合のロボット手術システムは、通常１名以上の助手（「Ａ」）の補助により、手術台（「Ｏ」）に横たわる患者（「Ｐ」）に対して低侵襲診断または外科的処置を行いながら、外科医（「Ｓ」）によって利用されるコンソール（「Ｃ」）を含む低侵襲ロボット手術（ＭＩＲＳ）システム１００である。

【0019】

コンソールは、外科医に対して手術部位の画像を表示するための３−Ｄモニタ１０４、１つ以上の操作可能なマスタマニピュレータ１０８および１０９（本願では、「制御装置」および「入力装置」とも呼ばれる）、およびプロセッサ１０２を含む。制御装置１０８および１０９は、ジョイスティック、グローブ、トリガガン、手動制御器、または同類のもの等の、種々の入力装置のうちのいずれか１つ以上を含んでもよい。プロセッサ１０２は、コンソールに組み込まれた、またはその隣に配置されたパーソナルコンピュータである。

【0020】

プロセッサ１０２が、それらのそれぞれの関連スレーブマニピュレータ１２８および１２９（本願では、「ロボットアーム」および「患者側マニピュレータ」とも呼ばれる）を、それらのそれぞれの取り外し可能に連結された手術器具１３８および１３９（本願では、「ツール」とも呼ばれる）を適宜に操作させるように、制御装置１０８および１０９を操作することによって、外科医は、低侵襲外科的処置を行う一方で、外科医は、手術部位が立体内視鏡１４０（左右の立体像を撮影するための左右のカメラを有する）によって撮影され、コンソール３−Ｄモニタ１０４に表示されると、それを３−Ｄで見る。

【0021】

ツール１３８および１３９のそれぞれ、ならびに内視鏡１４０は、好ましくは、切開１６６等の対応する低侵襲切開を通して手術部位へと下方に伸びるよう、患者の体内にカニューレまたはその他のツールガイド（図示せず）を通して挿入される。ロボットアームのそれぞれは、従来、共に連結されて接合部１６３等のモータ制御接合部を通して操作される、リンケージ１６２等のリンケージで形成されている。

【0022】

一度に使用される手術ツールの数、およびその結果として、システム１００で使用されているロボットアームの数は、概して、いくつかある要因の中で特に、診断および外科的処置、および手術室内の広さの制約に依存する。処置中に使用されているツールのうちの１つ以上を変える必要がある場合、外科医は助手に、もはや使用していないツールをそのロボットアームから取り外し、それを手術室中のトレイ（「Ｔ」）からの別のツール１３１と交換するように指示してもよい。助手が交換されるツールを識別することを補助するために、ロボットアーム１２２、１２８、および１２９のそれぞれには、その設定接合部の上等、その上に印刷された識別番号または色指標があってもよい。

【0023】

好ましくは、モニタ１０４は、外科医が実際に手術部位を直接見下ろしていると感じるように配向された投影像を表示するように、外科医の手の付近に配置される。そのためには、ツール１３８および１３９の画像は、好ましくは、外科医の手が位置する場所に実質的に位置するように見える。こうするために、プロセッサ１０２は、好ましくは、内視鏡１４０によって見えるとおりにそれらの関連ツール１３８および１３９の配向と適合するよう、制御装置１０８および１０９の配向を変える。

【0024】

プロセッサ１０２は、システム１００における様々な機能を果たす。それが果たす１つの重要な機能は、外科医が、それらのそれぞれのツール１３８および１３９を効果的に動かす、および／または操作することができるように、バス１１０をわたる制御信号を介して、それらのそれぞれのロボットアーム１２８および１２９へと、制御装置１０８および１０９の機械的運動を変換し、伝達することである。別の重要な機能は、本願で説明されるように、ツールがモニタ１０４に表示されているカメラ撮影像の外側にある、またはモニタ１０４に表示されているカメラ撮影像の中に閉塞されている時にツールの位置を示すための方法を実装することである。なおも別の重要な機能は、モニタ１０４上でツールおよび／またはそれらのそれぞれの患者側マニピュレータを直ちに識別して、外科医／助手のコミュニケーションを促進するための方法を実装することである。

【0025】

パーソナルコンピュータとして説明されるものの、プロセッサ１０２は、実際においては、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装してもよいことが十分理解される。また、本願で説明されるようなその機能は、１つのユニットによって行われるか、または異なる構成要素間で分担してもよく、次に、そのそれぞれは、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装してもよい。

【0026】

低侵襲外科的処置を行っている間、ツール１３８および１３９は、好ましくは、外科医がモニタ１０４上でそれらを適宜に見て、処置中に使用できるように、モニタ１０４の表示領域２００内に保たれる（図２に示されるように）。しかし、ツール１３８のうちの１つがモニタ１０４の表示領域２００の外側にある時は（図３に示されるように）、外科医は、モニタ１０４上でそのツールを見ることができず、結果として、処置中にそれを適切に使用することができなくなる。また、外科医は、視野外のツールが表示領域２００に対して現在配置されている場所を知らずに、視野外のツールをモニタ１０４の表示領域２００の中に移動させることが困難な場合がある。

【0027】

視野外のまたは閉塞されているツールについて、外科医にツールの位置を示すために、プロセッサ１０２は、図８に関して説明されるように、モニタ１０４にツール位置を示すための方法を実装する、グラフィカルユーザインターフェース（「ＧＵＩ」）コンピュータプログラムにより構成される。しかし、ＧＵＩのこの側面を説明する前に、ＧＵＩによって生成される出力の例を図４〜７に関して図示および説明する。

【0028】

図４〜７のそれぞれにおいて、モニタ１０４の表示領域３００は、図１０で示されるように、内視鏡１４０のＦＯＶに対応してもよく（ＦＯＶ全体の適切な尺度構成を伴う）、または、図１１で示されるように、内視鏡１４０のＦＯＶの一部のみに対応してもよい（モニタ１０４に表示されるＦＯＶの一部における画像の縮小に対応する、適切な尺度構成を伴う）。表示領域３００内のツールは、表示領域３００内の太い線の中に見える。表示領域３００に外接しているのは、境界領域４００であり、そこには対応するツールの位置を示すように、クリック不可の記号またはクリック可能なアイコン（以降、まとめて「記号」と呼ばれる）が配置されている。

【0029】

記号はまた、好ましくは、それらのそれぞれのツールおよび／または関連した患者側マニピュレータを識別する情報を提供する。それらがこれを行うことができる１つの方法は、それらの設定接合部の上等、患者側マニピュレータの上に印刷された色表示と適合するような色によるものである。例えば、患者側マニピュレータ１２２、１２８、および１２９は、それぞれ赤、緑、および黄として色分けしてもよく、それらの取り付けられたツールに対応する記号もまた、同じ方法で色分けしてもよい。あるいは、数字指標および／またはその他の識別情報はまた、それらの設定接合部の上等、患者側マニピュレータの上に印刷された数字と適合してもよい記号の上で、またはそれに隣接して表示してもよい。例えば、患者側マニピュレータ１２２、１２８、および１２９はそれぞれ、１、２、および３と番号をつけてもよく、それらの取り付けられたツールに対応する記号もまた、同じ方法で番号をつけてもよい。テキスト情報が記号に提供される場合、テキストは記号の上に書かれるか、またはそれに隣接して表示されてもよい。それは、コンピュータディスプレイ画面に連続的に表示されるか、または、ポインティングデバイスを使用して、カーソルが記号の上方に配置された時、または記号がクリックされた時に、表示されるだけであってもよい。

【0030】

表示領域３００の外側のツールは、ＧＵＩによって実装される方法のある側面を説明する目的のために、点線で示される。これらの点線のツール（または点線のツールの延長）は、モニタ１０４上では外科医によって見えないことが十分理解される。しかし、図４〜７における表示領域３００に対するそれらの相対的な位置は、内視鏡カメラの基準フレームにおける内視鏡１４０のＦＯＶの中、またはそれに対する相対的な位置に対応する。

【0031】

図４〜７に示されるツールは、２−Ｄ画像のように見えるものの、これは限定として解釈されるものではなく、むしろ説明の目的のためだけの簡略化として解釈されるものであることが、十分理解される。好ましくは、３−Ｄ画像は、表示領域３００に表示される。記号、特に、記号に重ね合わせられる先端作動体またはツールシャフトの配向表示は、境界領域４００の中に２−Ｄまたは３−Ｄで現れてもよい。また、本願で説明される例は、内視鏡１４０によって撮影される画像を指すものの、本発明の様々な側面はまた、モニタ１０４の表示領域３００に表示することができる、ＭＲＩ、超音波、またはその他の画像診断技術を使用するもの等の、その他の種類の画像装置によって撮影される画像にも該当することが、十分理解される。

【0032】

図４は、第１の例として、モニタ１０４に表示されたＧＵＩ生成画面を図示し、第１の記号４１０は、境界領域４００中に配置されて視野外ツール１３８の位置を示し、配向指標４１１は、記号４１０の上に重ね合わせられて視野外ツール１３８の先端作動体２１５の現在の配向を示す。視野内ツール１３９は、境界領域４００中の第２の記号４２０から表示領域３００内へと部分的に延在して示される。

【0033】

この例では、第１の記号４１０の位置は、線４０２と境界領域４００との交点によって決定され、線４０２は、視野外ツール１３８上の基準点からモニタ１０４の表示領域３００の中心点４０１へと延在する。第２の記号４２０の位置は、視野内ツール１３９のシャフト２２２と境界領域４００との交点によって決定される。

【0034】

視野外ツール１３８が表示領域３００から離れている距離は、その記号のサイズ、色、明るさ／強度、点滅頻度、または振動頻度による等、多数の方法で示されてもよい。あるいは、距離は、単純に記号の上方に距離数（センチメートル単位の距離等）を表示することによって示してもよい。例えば、ツール１３９等のツールが視野の中にある時、視野内ツール１３９の記号４２０等の記号は、最大サイズであってもよい。しかし、ツール１３８等のツールが視野外である時、その記号のサイズは、視野外ツールが表示領域３００から離れている距離を示してもよく、ツールが表示領域３００への進入に近づくように移動するにつれてさらに大きくなる。あるいは、記号の色は、色のスペクトルを使用して距離を示してもよく、または、記号の明るさ／強度または記号の点滅頻度が、ツールが表示領域３００への進入に近づいて移動するにつれて増加することによって、距離を示してもよく、または、その正常位置の周囲の記号の振動頻度が、ツールが表示領域３００内に近づくように動かされるにつれて、減少してもよい。

【0035】

図５は、第２の例として、モニタ１０４に表示されたＧＵＩ生成画面を図示し、第１の記号５１０は、境界領域４００の中に配置されて、視野外ツール１３８の位置を示し、配向指標５１１が、記号５１０の上に重ね合わせられて視野外ツール１３８のシャフト２１７の現在の配向を示す。

【0036】

この例では、第１の記号５１０の位置は、線５０２と境界領域４００との交点によって決定され、線５０２は、シャフト２１７の軸に沿って延在する。視野外ツール１３８が表示領域３００から離れている距離は、図４に関する上記と同じ方法で示してもよい。

【0037】

図６は、第３の例として、モニタ１０４に表示されたＧＵＩ生成画面を図示し、第１の記号６１０は、境界領域４００の中に配置されて視野外ツール１３８の位置を示し、配向指標６１１は、記号６１０の上に重ね合わせられて視野外ツール１３８のシャフト２１７の現在の配向を示す。

【0038】

この例では、第１の記号６１０の位置は、軌跡６０２と境界領域４００との交点によって決定され、軌跡６０２は、内視鏡カメラの基準フレームの中を移動するにつれて、視野外ツール１３８上の基準点の経路によって画定される。こうして、記号６１０は、境界領域４００内に配置され、そこで、ツールがその現在の軌跡に沿って続く場合（または、軌跡が逆になったように見える、表示領域３００から離れていく場合）、まず表示領域３００中に現れる。例えば、軌跡を決定するために時間の２つの点のみが使用される場合、ツール１３８が時間ｔ１における第１の場所から時間ｔ２における第２の場所まで移動すると、基準点の経路は、２つの点を通って延在する線によって表される。時間ｔ２が現在の時間であり、時間ｔ１が以前の時間である場合、シャフト２１７の現在の配向は、配向指標６１１によって示される。視野外ツール１３８の軌跡を画定するために時間の２つより多い点を使用することによって、軌跡は、さらに精密な曲線を呈してもよい。視野外ツール１３８が表示領域３００から離れている距離は、図４に関する上記と同じ方法で示してもよい。

【0039】

図７は、第４の例として、モニタ１０４に表示されたＧＵＩ生成画面を図示し、ツール１３８および１３９は両方とも、表示領域３００内となるように配置されているが、ツール１３８の先端作動体は、物体７００によって閉塞されている。この場合、ツールのそれぞれが表示領域３００の中にあるため、それらのそれぞれの記号７１０および４２０は、最大サイズである。ツール１３８の先端作動体は、物体７００によって閉塞されているものの、先端作動体のゴースト像７１１（例えば、コンピュータモデル）が、物体７００の上方に適切な位置および配向で示される。ゴースト像７１１があまりにも邪魔であれば、代わりに、プログラムされた、または外科医の選択によるオプションのいずれかで、先端作動体の輪郭を使用してもよい。

【0040】

前述のように、記号４２０、４１０、５１０、６１０、および７１０は、クリック不可の記号またはクリック可能なアイコンであってもよい。前者の場合、外科医がマウス等のポインティングデバイスのカーソルをクリック不可の記号上を通過させた場合に、関連ツールについての追加情報が提供されてもよい。後者の場合、外科医がポインティングデバイスを使用してクリック可能なアイコンをクリックした場合に、関連ツールについての追加情報が提供されてもよい。いずれの場合も、追加情報は、その関連した患者側マニピュレータを識別する情報に加える情報であり、それは、記号の上またはそれに隣接して常に表示されている、その色または数字によって示されてもよい。そのような追加情報の例は、ツールの種類およびその関連マスタマニピュレータの識別を含んでもよい。追加情報は、ピクチャ・イン・ピクチャ等の別のウィンドウで提供してもよく、または、記号に隣接する、またはそれに重ね合わせられるテキストとして提供してもよい。別のウィンドウが提供されると、追加情報は、内視鏡１４０のＦＯＶ、およびその外側の全てのツールのコンピュータ生成モデルを含む、手術部位の縮小されたコンピュータ生成像をさらに含んでもよい。

【0041】

円として示されているが、記号４２０、４１０、５１０、６１０、および７１０は、多くの異なる形状のうちのいずれか１つ以上で表示されてもよい。例えば、表示領域３００の内側に見えるようにツールが配置されている時、ゴーストシャフトが境界領域４００に表示されるように、記号が、ツールシャフトのコンピュータモデルという形をとってもよい。一方で、表示領域３００の外側になるようにツールが配置されている時、ゴースト先端作動体が境界領域４００に表示されるように、記号が、ツールの遠位端のコンピュータモデルという形をとってもよい。ツールが表示領域３００の外側から表示領域３００の中へと移動するにつれて、そのとき、記号はゴースト先端作動体からゴーストシャフトへシームレスに変わり、ツールが表示領域３００の内側から表示領域３００の外側に移動する時は、逆もまた同様である。ゴーストシャフトまたはゴースト先端作動体の配向は、場合によっては、好ましくは、実際のツールの配向に適合する。ツールが表示領域３００の外側にある時、ゴースト先端作動体のサイズは、記号について前述したように、表示領域３００からのその距離を示してもよい。同様に、ツールおよび／またはその患者側マニピュレータを識別するために、ゴーストシャフトまたはゴースト先端作動体は、場合によっては、記号について前述したように、色分けするか、または数値的に番号をつけてもよい。

【0042】

図８は、一例として、モニタ１０４にツールの位置および識別を示すための方法のフロー図を図示する。該方法は、好ましくは、処理ユニット１０２において実行されるＧＵＩによって、各ツールに対して行われる。８０１において、ツールの位置および配向は、撮影された画像がモニタ１０４に表示されている、画像装置の基準フレームにおいて決定される。この例の目的のために、画像は内視鏡１４０の立体カメラによって撮影されるとして説明されるが、他の画像診断技術を使用した他の画像装置によって撮影される画像もまた、該方法と共に使用してもよいことが十分理解される。また、この例の目的のために、カメラの完全なＦＯＶは、図１０で示されるように、表示領域３００に表示されると仮定される。したがって、そのような場合、ツールがカメラのＦＯＶの外側にある時、ツールの位置および配向は、従来の画像技法を使用して決定できない場合がある。

【0043】

結果として、ツールの位置および配向（本願では「ツール状態」とも呼ばれる）は、まず、ツールのロボットアームにおける接合部センサから情報を受信し、ロボットアームの運動像に情報を適用することによって、ツール基準フレームにおいて推定される。この場合のツール状態は、主にロボットアームの運動像から決定されるため、たとえツールが内視鏡１４０のＦＯＶの外側にある、または内視鏡１４０のＦＯＶの中に閉塞されていても、容易に決定することができる。

【0044】

次いで、推定されたツール状態は、カメラ基準フレームに変換され、あらかじめ決定されたエラー変換を使用して修正される。エラー変換は、そのロボットアームの運動像を使用して決定されるツール状態とビデオ画像処理を使用して決定されるツール状態との差異から決定してもよい。エラー変換は、まず、術前の較正ことで決定し、低侵襲外科的処置中にツールが内視鏡１４０のＦＯＶの中にある時に、周期的に更新してもよい。

【0045】

しかし、図１１の領域１１０１によって示されるように、カメラのＦＯＶの一部のみがモニタ１０４の表示領域３００に表示された場合、図１１の領域１１０２によって示されるように、ツールがモニタ１０４の表示領域３００に表示されていないカメラのＦＯＶの一部の中にある場合にツール位置を決定するために、従来の画像技法を使用することが、なおも可能であってもよい。図１０および１１の両方において、左のカメラ像Ｉ１のみが示されていることに注意されたい。しかし、３−Ｄディスプレイに対して、例えば、図９に関して説明されるように、対応する右のカメラ像Ｉ２も必要であるが、本願では説明を簡素化するために図示されていないことが、十分理解されべきである。

【0046】

ツールの位置および配向を決定するため、具体的には、ツール追跡を行うための付加的な詳細は、例えば、参照することにより本願に組み込まれる、２００５年５月１６日出願の「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ ３−Ｄ
Ｔｏｏｌ Ｔｒａｃｋｉｎｇ ｂｙ Ｆｕｓｉｏｎ ｏｆ Ｓｅｎｓｏｒ ａｎｄ／ｏｒ Ｃａｍｅｒａ ｄｅｒｉｖｅｄ Ｄａｔａ ｄｕｒｉｎｇ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｒｏｂｏｔｉｃ Ｓｕｒｇｅｒｙ」と題された、共同所有された米国出願第１１／１３０，４７１号で説明されている。

【0047】

８０２において、ツールの位置がモニタ１０４の表示領域３００の中にあるか否かの決定が行われ、この例において、これは、ツールが内視鏡１４０のＦＯＶの中にあるか否かを決定するステップと同等である。この後者の決定は、エピポーラ幾何学を使用して行ってもよい。例えば、図９を参照して、内視鏡１４０は、基線距離「ｂ」によって分離され、カメラの焦点距離「ｆ」で画定される像平面Ｉ１およびＩ２を有する、２つのカメラＣ１およびＣ２を含む。像平面Ｉ１およびＩ２は、異なる内部および外部カメラ形態の影響を除去するために、従来のステレオ補正アルゴリズムを使用してゆがめられる。

【0048】

カメラ基準フレームにおける点Ｐは、点Ｐ、カメラＣ１およびＣ２の２つの光心、および像点Ｐ１およびＰ２を含むエピポーラ平面によって、像点Ｐ１およびＰ２において像平面Ｉ１およびＩ２に投影される。次いで、点Ｐの位置は、基線距離「ｂ」および焦点距離「ｆ」に対する既知の値、およびそれらのそれぞれの像平面の中心点（すなわち、ｙ１およびｙ２軸とｘ軸との交点における）からの像点Ｐ１およびＰ２の距離から計算される視差「ｄ」を使用して、カメラ基準フレームにおいて決定してもよい。

【0049】

よって、ツールが内視鏡１４０のＦＯＶの中にあるためには、ツール上の少なくとも１つの点が、２つの像平面Ｉ１およびＩ２のうちの少なくとも一方に投影されなければならない。例えば、近くの点に対して計算された視差情報を使用して、２つの像平面Ｉ１およびＩ２の一方のみに投影されたツール上の点の位置を推定することが可能であってもよいが、好ましくは、視差値を点に対して計算することができ、その結果として、その深度を直接決定することが可能となるように、ツール上の点は、２つの像平面Ｉ１およびＩ２の両方に投影される。また、形の上ではツールが内視鏡１４０のＦＯＶの中にあってもよいが、実際の理由によってツールの１点のみがその中にある場合は、好ましくは、ツールが外科医によってモニタ１０４において視覚的に識別可能となるように、十分な数の点が必要とされる。

【0050】

ここで、８０２において、ツールの位置がモニタ１０４の表示領域３００の外側であると決定された場合、８０３において、表示領域３００に外接する境界領域４００の中の記号に対する位置は、記号の位置が表示領域３００に対するツールの位置を示すように決定される。そのような決定の例は、図４〜６に関して前述している。境界領域４００の中の記号の位置を決定した後、８０４において、記号は、その決定された位置において境界領域４００に表示される。また、配向指標は、図４〜６に関して説明されたように、提供される情報を識別する、記号およびその他のツールおよび／またはそのロボットアームに重ね合わせてもよい。次いで、該方法は、８０１に戻ることによって、別の処理間隔に対して反復する。

【0051】

一方、８０２において、ツールの位置がモニタ１０４の表示領域３００内であると決定された場合、８０５において、内視鏡１４０のＦＯＶの中でツールを識別する試行が行われる。このタスクを行うための一例として図１２を参照すると、１２０１において、ツールの３−Ｄコンピュータモデルが生成される。これは概して、一度きりの術前プロセスである。１２０２において、ツールの３−Ｄコンピュータモデルは、８０１で決定されるツール状態に従って、配置および配向される。１２０３において、ツールのコンピュータモデルの左右の２−Ｄ輪郭は、ツールの３−Ｄコンピュータモデルの輪郭を、内視鏡１４０の左右のカメラＣ１およびＣ２の左右の像平面Ｉ１およびＩ２に投影することによって生成される。１２０４において、左像平面Ｉ１に対して１２０３で生成されたツールのコンピュータモデルの２−Ｄ輪郭は、左カメラＣ１によって撮影される左カメラ像と相互相関し、および／または、右像平面Ｉ２に対して１２０３で生成されたツールのコンピュータモデルの２−Ｄ輪郭は、右カメラＣ２によって撮影される右カメラ像と相互相関する。

【0052】

８０６において、例えば、１２０４で計算される相互相関値が、左右のカメラ像の一方または両方に対する閾値を満たす、または超えるかどうかを決定することによって、ツールが内視鏡１４０のＦＯＶの中で識別されているか否かの決定が行われる。８０６の結果が「はい」であれば、ツールが、右および／または左のカメラ像で識別されている。次いで、この方法は、８０３へと進んで境界領域４００の中の記号位置を決定し、この場合、単純に、境界領域４００とツールシャフトとの交点によって決定してもよい。次いで、該方法は、８０４へと進んで境界領域４００の中の決定された位置に記号を表示し、次いで８０１へと進んで別の処理期間に対して方法を反復する。

【0053】

しかし、８０６の結果が「いいえ」であれば、ツールはおそらく、別の物体によって閉塞されている。その場合、８０７において、ツールの３−Ｄコンピュータモデルを左平面像Ｉ１に投影することによって生成されたツールのコンピュータモデルの２−Ｄ輪郭は、カメラＣ１によって撮影された左カメラ像に重ね合わせられ、ツールの３−Ｄコンピュータモデルを右平面像Ｉ２に投影することによって生成されたツールのコンピュータモデルの２−Ｄ輪郭は、カメラＣ２によって撮影された右カメラ像に重ね合わせられる。結果として、ツールのコンピュータモデルの３−Ｄ輪郭は、閉塞物に重ね合わせられて、モニタ１０４の表示領域３００に表示される。あるいは、ツールの完全３−Ｄコンピュータモデルは、内視鏡１４０のカメラＣ１およびＣ２によって撮影される左右のカメラ像の上に、３−Ｄコンピュータモデルの適切な左右の画像を重ね合わせることによって、閉塞物の上方にその輪郭としてよりもむしろ、ゴーストツールとして表示してもよい。

【0054】

次いで、該方法は、８０３へと進んで境界領域４００の中の記号位置を決定し、この場合、単純に、境界領域４００とツールシャフトとの交点によって決定してもよい。次いで、該方法は、８０４へと進んで境界領域４００の中の決定された位置に記号を表示し、次いで８０１へと進み、別の処理期間に対して方法を反復する。

【0055】

本発明の様々な側面を好ましい実施形態に関して説明したが、本発明は、添付の請求項の全範囲内での完全な保護が与えられることが理解されるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】