特許 6912481 画像ベースのロボット誘導

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6912481

(24)【登録日】2021年7月12日

(45)【発行日】2021年8月4日

(54)【発明の名称】画像ベースのロボット誘導

(51)【国際特許分類】

   A61B 34/32 20160101AFI20210727BHJP

   B25J 9/10 20060101ALI20210727BHJP

【ＦＩ】

   A61B34/32

   B25J9/10 A

【請求項の数】20

【全頁数】21

(21)【出願番号】特願2018-533939(P2018-533939)

(86)(22)【出願日】2016年12月21日

(65)【公表番号】特表2019-502462(P2019-502462A)

(43)【公表日】2019年1月31日

(86)【国際出願番号】IB2016057863

(87)【国際公開番号】WO2017115227

(87)【国際公開日】20170706

【審査請求日】2019年12月19日

(31)【優先権主張番号】62/272,737

(32)【優先日】2015年12月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ポポヴィッチ アレクサンドラ

(72)【発明者】

【氏名】ヌーナン デイビッド ポール

【審査官】 槻木澤 昌司

(56)【参考文献】

【文献】 特表２００５−５２９６３０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００６６３３５（ＵＳ，Ａ１）

【文献】 国際公開第２０１５／１１８４２２（ＷＯ，Ａ１）

【文献】 特開２０１５−１５０４２５（ＪＰ，Ａ）

【文献】 特表２０１３−５０５１０６（ＪＰ，Ａ）

【文献】 米国特許第０６１８７０１８（ＵＳ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／００−３４／３７

(57)【特許請求の範囲】

【請求項1】

２つのモータ軸を有する遠隔運動中心（ＲＣＭ：ｒｅｍｏｔｅ ｃｅｎｔｅｒ ｏｆ ｍｏｔｉｏｎ）機構とロボットの遠位端部に設けられたエンドエフェクタとを有する当該ロボットと、
前記ＲＣＭで交差する２つ以上の光ビームを投影する光投影装置と、
予定進入ポイントと前記ＲＣＭを通る予定パスとを含む手術フィールドにおける前記ＲＣＭ機構の画像を撮影する撮像システムと、
前記ロボットを制御し、前記ＲＣＭ機構を位置決めするロボットコントローラであって、前記撮像システムから撮影された画像を受信し、前記撮影された画像を３次元的手術前画像に対してレジストレーションし、投影された光ビームを使用して前記撮影された画像において前記ＲＣＭに対する進入ポイント及びパスを定め、前記撮影された画像において、前記エンドエフェクタと関連付けられる、既知の形状を有する基準オブジェクトを検知及び追跡する画像プロセッサを含む前記ロボットコントローラと、を含み、
前記ロボットコントローラは、前記エンドエフェクタを前記予定進入ポイント及び前記予定パスに対して位置合わせするロボットジョイント運動パラメータを、定められた進入ポイント、定められたパス、及び検知された基準オブジェクトに応じて計算し、計算されたロボットジョイント運動パラメータに基づいて、前記エンドエフェクタを前記予定進入ポイント及び前記予定パスに対して位置合わせするロボット制御コマンドを生成し、前記ロボット制御コマンドを前記ロボットに通信し、
前記ロボットコントローラは、前記撮影された画像における前記基準オブジェクトの１つ又は複数の幾何学的パラメータを決定し、前記基準オブジェクトが当該基準オブジェクトの予定位置に位置付けられるときに前記撮像システムに現れるように、前記撮影された画像における前記基準オブジェクトの前記１つ又は複数の幾何学的パラメータを、既知の対応する前記基準オブジェクトの１つ又は複数の幾何学的パラメータに対して位置合わせすることによって、前記ロボットジョイント運動パラメータを計算する、システム。

【請求項2】

前記画像プロセッサは、前記投影された光ビームの交差点として前記進入ポイントを検知し、前記ロボットコントローラは、前記投影された光ビームの交差点が前記予定進入ポイントに対して位置合わせされるように前記ロボットを制御する、請求項１に記載のシステム。

【請求項3】

前記画像プロセッサは、前記予定位置における前記基準オブジェクトの既知の形状を前記撮影された画像上に投影し、前記ロボットコントローラは、撮影された画像における前記検知された基準オブジェクトが投影された既知の形状と重畳するように前記ロボットを制御する、請求項１に記載のシステム。

【請求項4】

前記撮像システムは、既知の構成において離間された複数のカメラから、手術フィールドにおける前記ＲＣＭ機構の２次元的（２Ｄ）画像を撮影し、前記画像プロセッサは、前記複数のカメラの各々からの撮影された２Ｄ画像における既知の形状を有する前記基準オブジェクトを検知及び追跡し、前記撮影された２Ｄ画像から前記基準オブジェクトの３次元的（３Ｄ）形状を再構成する、請求項１に記載のシステム。

【請求項5】

前記ＲＣＭ機構は、前記予定進入ポイントを通る挿入軸の周りで前記エンドエフェクタを回転し、前記エンドエフェクタは、前記挿入軸に垂直な平面内でその向きを定める特徴を有し、前記画像プロセッサは、前記撮影された画像において前記特徴を検知し、前記特徴の予定位置を撮影された画像上に投影し、前記ロボットコントローラは、検知された前記特徴と前記予定位置とが位置合わせされるように前記ロボットを制御する、請求項１に記載のシステム。

【請求項6】

前記基準オブジェクトは前記エンドエフェクタである、請求項１に記載のシステム。

【請求項7】

前記撮像システムは、カメラと、前記カメラを移動させるためのアクチュエータとを含み、前記カメラは前記アクチュエータによって前記予定パスに沿って位置決めされ、前記ロボットコントローラは、前記画像プロセッサが前記エンドエフェクタの平行投影を検知するように前記エンドエフェクタの位置を制御する、請求項４に記載のシステム。

【請求項8】

前記撮像システムは、前記予定パスの回転３次元的スキャンを生成するＸ線システムを含む、請求項１に記載のシステム。

【請求項9】

遠位端部にエンドエフェクタを有するロボットの遠隔運動中心（ＲＣＭ：ｒｅｍｏｔｅ ｃｅｎｔｅｒ ｏｆ ｍｏｔｉｏｎ）機構によって定められるＲＣＭにおいて交差する少なくとも２つの光ビームを提供するステップと、
予定進入ポイントと前記ＲＣＭを通る予定パスとを含む手術フィールドにおける前記ＲＣＭ機構の画像を撮影するステップと、
撮影された前記画像を３次元的（３Ｄ）手術前画像に対してレジストレーションするステップと、
投影された光ビームを使用して前記撮影された画像において前記ＲＣＭのための進入ポイント及びパスを定めるステップと、
前記撮影された画像において、前記エンドエフェクタと関連付けられる、既知の形状を有する基準オブジェクトを検知及び追跡するステップと、
前記進入ポイント、前記パス、及び前記基準オブジェクトについての情報に応じて、前記エンドエフェクタを前記予定進入ポイント及び前記予定パスに対して位置合わせするロボットジョイント運動パラメータを計算するステップと、
計算された前記ロボットジョイント運動パラメータに基づいて、前記エンドエフェクタを前記予定進入ポイント及び前記予定パスに対して位置合わせするロボット制御コマンドをロボットに通信するステップと、を有する、方法であって、
前記ロボットジョイント運動パラメータを計算するステップは、前記撮影された画像における前記基準オブジェクトの１つ又は複数の幾何学的パラメータを決定し、前記基準オブジェクトが当該基準オブジェクトの予定位置に位置付けられるときに撮像システムに現れるように、前記撮影された画像における前記基準オブジェクトの前記１つ又は複数の幾何学的パラメータを、既知の対応する前記基準オブジェクトの１つ又は複数の幾何学的パラメータに対して位置合わせするステップを含む、方法。

【請求項10】

前記投影された光ビームの交差点として前記進入ポイントを検知するステップと、前記投影された光ビームの交差点が前記予定進入ポイントに対して位置合わせされるように前記ロボットを制御するステップと、
を有する、請求項９に記載の方法。

【請求項11】

前記予定位置における前記基準オブジェクトの前記既知の形状を前記撮影された画像上に投影するステップと、
前記撮影された画像における検知された前記基準オブジェクトが投影された既知の形状と重畳するよう前記にロボットを制御するステップと、
を有する、請求項９に記載の方法。

【請求項12】

既知の構成において離間された複数のカメラから、前記手術フィールドにおける前記ＲＣＭ機構の２次元的（２Ｄ）画像を撮影するステップと、
前記複数のカメラの各々から撮影された２Ｄ画像における既知の形状を有する前記基準オブジェクトを検知及び追跡するステップと、
前記撮影された２Ｄ画像から前記基準オブジェクトの３Ｄ形状を再構成するステップと、
を有する、請求項９に記載の方法。

【請求項13】

前記予定進入ポイントを通る挿入軸の周りで前記エンドエフェクタを回転させるステップであって、前記エンドエフェクタは、前記挿入軸に垂直な平面内でその向きを定めるような特徴を有する、ステップと、
前記撮影された画像において前記特徴を検知するステップと、
前記特徴の予定位置を撮影された画像上に投影するステップと、
検知された前記特徴と予定位置とが位置合わせされるように前記ロボットを制御するステップと、
を有する、請求項９に記載の方法。

【請求項14】

前記予定パスに沿って位置決めされたカメラを使用して前記ＲＣＭ機構の画像を撮影するステップであって、前記基準オブジェクトは前記エンドエフェクタである、ステップと、
前記撮影された画像において前記エンドエフェクタの平行投影が検知されるように前記エンドエフェクタの位置を制御するステップと、を有する、請求項９に記載の方法。

【請求項15】

２つのモータ軸を有する遠隔運動中心（ＲＣＭ：ｒｅｍｏｔｅ ｃｅｎｔｅｒ ｏｆ ｍｏｔｉｏｎ）機構及び遠位端部に設けられたエンドエフェクタを有するロボットを制御するためのロボットコントローラであって、
前記ロボットコントローラは、前記ＲＣＭで交差する２つ以上の光ビームを投影して撮影された画像であって、予定進入ポイント及びＲＣＭを通る予定パスを含む手術フィールドにおける前記ＲＣＭ機構の撮影された画像を受信し、前記撮影された画像を３次元的（３Ｄ）手術前画像に対してレジストレーションし、前記撮影された画像において前記ＲＣＭに対する進入ポイント及びパスを定め、前記撮影された画像において、前記エンドエフェクタと関連付けられる、既知の形状を有する基準オブジェクトを検知及び追跡する画像プロセッサと、ロボット制御コマンドを前記ロボットに通信するロボット制御コマンドインターフェースと、を備え、
前記ロボットコントローラは、前記エンドエフェクタを前記予定進入ポイント及び前記予定パスに対して位置合わせするロボットジョイント運動パラメータを、定められた前記進入ポイント、定められたパス、及び検知された前記基準オブジェクトに応じて計算する計算されたロボットジョイント運動パラメータに基づいて、前記エンドエフェクタを前記予定進入ポイント及び前記予定パスに対して位置合わせするロボット制御コマンドを生成し、
前記ロボットコントローラは、前記撮影された画像における前記基準オブジェクトの１つ又は複数の幾何学的パラメータを決定し、前記基準オブジェクトが当該基準オブジェクトの予定位置に位置付けられるときに撮像システムに現れるように、前記撮影された画像における前記基準オブジェクトの前記１つ又は複数の幾何学的パラメータを、既知の対応する前記基準オブジェクトの１つ又は複数の幾何学的パラメータに対して位置合わせすることによって、前記ロボットジョイント運動パラメータを計算する、ロボットコントローラ。

【請求項16】

前記画像プロセッサは、投影された光ビームの交差点として前記進入ポイントを検知し、前記ロボットコントローラは、前記投影された光ビームの交差点が前記予定進入ポイントに対して位置合わせされるように前記ロボットを制御する、請求項１５に記載のロボットコントローラ。

【請求項17】

前記画像プロセッサは、前記予定位置における前記基準オブジェクトの既知の形状を前記撮影された画像上に投影し、前記ロボットコントローラは、前記撮影された画像における検知された前記基準オブジェクトが投影された既知の形状と重畳するように前記ロボットを制御する、請求項１５に記載のロボットコントローラ。

【請求項18】

前記画像プロセッサは、既知の構成において離間された複数のカメラから、前記手術フィールドにおける前記ＲＣＭ機構の２次元的（２Ｄ）画像を受信し、前記複数のカメラの各々からの撮影された２Ｄ画像における既知の形状を有する前記基準オブジェクトを検知及び追跡し、撮影された２Ｄ画像から前記基準オブジェクトの３Ｄ形状を再構成する、請求項１５に記載のロボットコントローラ。

【請求項19】

前記ＲＣＭ機構は、前記予定進入ポイントを通る挿入軸の周りで前記エンドエフェクタを回転し、前記エンドエフェクタは、前記挿入軸に垂直な平面内でその向きを定めるような特徴を有し、前記画像プロセッサは、前記撮影された画像において前記特徴を検知し、前記特徴の予定位置を撮影された画像上に投影し、前記ロボットコントローラは、検知された前記特徴と予定位置とが位置合わせされるように前記ロボットを制御する、請求項１５に記載のロボットコントローラ。

【請求項20】

前記ロボットコントローラは、アクチュエータによって予定パスに沿って位置決めされたカメラからの前記撮影された画像を受信し、前記ロボットコントローラは、前記画像プロセッサが前記エンドエフェクタの平行投影を検知するように前記エンドエフェクタの位置を制御する、請求項１５に記載のロボットコントローラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット、ロボットコントローラ、及びロボットの撮影された画像を使用したロボット誘導の方法に関する。

【背景技術】

【0002】

腹腔鏡手術又は生体検査若しくは治療のためのニードル設置などの手術及び介入における従来のタスクは、身体の進入ポイントを通り、ターゲット地点へのパスに沿った剛性のデバイス（例えば、腹腔鏡、ニードル又は他の「ツール」）の位置決めを伴う。ワークフロー及び正確性を向上させ、一貫したツール設置を可能にするために、これらのタスクはロボットによって実施される。これらのロボットは、典型的には、５つ又は６つの自由度（例えば、進入ポイントへの移動のための３つの自由度、及びパスに沿ったツールの配向のための２つ又は３つの自由度）を有している。進入ポイント及びツールのパスの計画は、典型的には、例えばコンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）などを使用して、手術前に取得された３Ｄ画像を使用して行われる。

【0003】

外科手術室においては、典型的には、２Ｄ撮像モダリティが使用可能である。それらは、内視鏡カメラ若しくはナビゲーションカメラ、又は手術中２ＤＸ線、超音波などの手術中カメラを含む。これらの２Ｄ画像は、その開示内容が参照により本明細書に組み込まれる米国特許出願公開第２０１２／０２９４４９８（Ａ１）号、又は米国特許出願公開第２０１３／０１６５９４８（Ａ１）号において開示されているものなどの当技術分野において知られているいくつかの方法を使用して、手術前３Ｄ画像に対してレジストレーションされ得る。このようなレジストレーションは、いくつかの切開ポイント及びツールパスを含む手術前計画が、手術前画像から手術中画像へと転換されることを可能にする。

【0004】

既存のシステム及び方法において、画像座標とロボットジョイント空間との間での数学的変換は、ロボットの制御と手術計画についての情報を保持する手術中画像との間の制御ループを閉じるように確立されなければならない。

【0005】

このプロセスの全体は「システム較正」と呼ばれ、カメラ及びロボットの較正などの様々なステップを必要とする。更に、完全な較正を提供するために、カメラと検討中の臓器／オブジェクトとの間の深度が、画像から又は特別なセンサを使用して、測定されなければならない。カメラ較正は、固有のカメラパラメータ、すなわち、画像の光学的中心、両方向への焦点距離、及びピクセルサイズを確立するプロセスである。通常、これは手術前に行われ、較正オブジェクト（通常、チェス盤状のオブジェクト）のいくつかの画像の取得と、これらの画像からのパラメータの計算とを伴う。ロボット較正は、ロボットのジョイント空間とエンドエフェクタ（この場合は内視鏡）との間の数学的関係を確立するプロセスである。

【0006】

しかしながら、システム較正を得るためのプロセスは様々な複雑さを伴う。例えば、撮像パラメータのうちのいくつかが手術中に変化したなら（例えば、カメラの焦点が変化したなら）、カメラ較正が繰り返される必要がある。更には、ロボット較正は、通常、較正を行うために技術的な専門家を必要とする。また、ユーザ／外科医がロボットに対して相対的に内視鏡を移動させたなら、較正が繰り返される必要がある。これらの複雑さは、手術室スタッフの技術的訓練の必要性、手術室での時間の長期化などを含む多くのワークフローの陥穽につながる。

【発明の概要】

【発明が解決しようとする課題】

【0007】

それ故、撮像システムに対するロボットの手術中の較正又はレジストレーションの必要のない、手術中２Ｄ画像（例えば、内視鏡、Ｘ線、超音波などによって取得されたもの）を使用した多軸ロボットの画像ベースの誘導のためのシステム及び方法を提供することが望ましい。

【課題を解決するための手段】

【0008】

本発明の一態様において、システムは、２つのモータ軸を有する遠隔運動中心（ＲＣＭ：ｒｅｍｏｔｅ ｃｅｎｔｅｒ ｏｆ ｍｏｔｉｏｎ）機構及びロボットの遠位端部に設けられたエンドエフェクタを有するロボットと、ＲＣＭで交差する光ビームを投影するように構成された光投影装置と、予定進入ポイント及びＲＣＭを通る予定パスを含む手術フィールドにおけるＲＣＭ機構の画像を撮影するように構成された撮像システムと、ロボットを制御し、ＲＣＭ機構を位置決めするように構成されたロボットコントローラであって、撮像システムから撮影された画像を受信し、撮影された画像を３次元的（３Ｄ）手術前画像に対してレジストレーションし、投影された光ビームを使用して撮影された画像においてＲＣＭのための進入ポイント及びパスを定め、撮影された画像において既知の形状を有する基準オブジェクトを検知及び追跡するように構成された画像プロセッサを含むロボットコントローラと、を含み、ロボットコントローラは、エンドエフェクタを予定進入ポイント及び予定パスに対して位置合わせするロボットジョイント運動パラメータを、定められた進入ポイント、定められたパス、及び検知された基準オブジェクトに応じて計算し、計算されたロボットジョイント運動パラメータに基づいて、エンドエフェクタを予定進入ポイント及び予定パスに対して位置合わせするロボット制御コマンドを生成し、ロボット制御コマンドをロボットに通信するように構成される。

【0009】

いくつかの実施形態において、画像プロセッサは、投影された光ビームの交差点として進入ポイントを検知するように構成され、ロボットコントローラは、投影された光ビームの交差点が予定進入ポイントに対して位置合わせされるようにロボットを制御するように構成される。

【0010】

いくつかの実施形態において、画像プロセッサは、予定進入ポイントにおける基準オブジェクトの既知の形状を撮影された画像上に投影し、撮影された画像における検知された基準オブジェクトをセグメント化し、撮影された画像におけるセグメント化された基準オブジェクトの幾何学的パラメータを予定進入ポイントにおける基準オブジェクトの投影された既知の形状の幾何学的パラメータに対して位置合わせするように構成され、ロボットコントローラは、撮影された画像における検知された基準オブジェクトが投影された既知の形状と重畳するようにロボットを制御するように構成される。

【0011】

いくつかの実施形態において、撮像システムは、既知の構成において離間された複数のカメラから、手術フィールドにおけるＲＣＭ機構の２次元的（２Ｄ）画像を撮影するように構成され、画像プロセッサは、複数のカメラの各々からの撮影された２Ｄ画像における既知の形状を有する基準オブジェクトを検知及び追跡し、撮影された２Ｄ画像から基準オブジェクトの３Ｄ形状を再構成するように構成される。

【0012】

いくつかの実施形態において、ＲＣＭ機構は、予定進入ポイントを通る挿入軸の周りでエンドエフェクタを回転させるように構成され、エンドエフェクタは、挿入軸に垂直な平面内でその向きを定めるような特徴を有し、画像プロセッサは、撮影された画像においてこの特徴を検知し、特徴の予定位置を撮影された画像上に投影するように構成され、ロボットコントローラは、検知された特徴と予定位置とが位置合わせされるようにロボットを制御するように構成される。

【0013】

いくつかの実施形態において、基準オブジェクトはエンドエフェクタである。

【0014】

これらの実施形態のいくつかのバージョンにおいて、撮像システムは、カメラと、カメラを移動させるためのアクチュエータとを含み、カメラはアクチュエータによって予定パスに沿って位置決めされ、ロボットコントローラは、画像プロセッサがエンドエフェクタの平行投影を検知するようにエンドエフェクタの位置を制御するように構成される。

【0015】

いくつかの実施形態において、撮像システムは、予定パスの回転３次元的（３Ｄ）スキャンを生成するように構成されたＸ線システムを含む。

【0016】

本発明の別の態様において、方法は、遠位端部にエンドエフェクタを有するロボットのＲＣＭ機構によって定められる遠隔運動中心（ＲＣＭ）において交差する少なくとも２つの光ビームを提供するステップと、予定進入ポイント及びＲＣＭを通る予定パスを含む手術フィールドにおけるＲＣＭ機構の画像を撮影するステップと、撮影された画像を３次元的（３Ｄ）手術前画像に対してレジストレーションするステップと、投影された光ビームを使用して撮影された画像においてＲＣＭのための進入ポイント及びパスを定めるステップと、撮影された画像において既知の形状を有する基準オブジェクトを検知及び追跡するステップと、進入ポイント、パス、及び基準オブジェクトについての情報に応じて、エンドエフェクタを予定進入ポイント及び予定パスに対して位置合わせするロボットジョイント運動パラメータを計算するステップと、計算されたロボットジョイント運動パラメータに基づいて、エンドエフェクタを予定進入ポイント及び予定パスに対して位置合わせするロボット制御コマンドをロボットに通信するステップと、を有する。

【0017】

いくつかの実施形態において、方法は、投影された光ビームの交差点として進入ポイントを検知するステップと、投影された光ビームの交差点が予定進入ポイントに対して位置合わせされるようにロボットを制御するステップと、を有する。

【0018】

いくつかの実施形態において、方法は、予定進入ポイントにおける基準オブジェクトの既知の形状を撮影された画像上に投影するステップと、撮影された画像における検知された基準オブジェクトをセグメント化するステップと、撮影された画像におけるセグメント化された基準オブジェクトの幾何学的パラメータを予定進入ポイントにおける基準オブジェクトの投影された既知の形状の幾何学的パラメータに対して位置合わせするステップと、撮影された画像における検知された基準オブジェクトが投影された既知の形状と重畳するようにロボットを制御するステップと、を有する。

【0019】

いくつかの実施形態において、方法は、既知の構成において離間された複数のカメラから、手術フィールドにおけるＲＣＭ機構の２次元的（２Ｄ）画像を撮影するステップと、複数のカメラの各々から撮影された２Ｄ画像における既知の形状を有する基準オブジェクトを検知及び追跡するステップと、撮影された２Ｄ画像から基準オブジェクトの３Ｄ形状を再構成するステップと、を有する。

【0020】

いくつかの実施形態において、方法は、予定進入ポイントを通る挿入軸の周りでエンドエフェクタを回転させるステップであって、エンドエフェクタは、挿入軸に垂直な平面内でその向きを定めるような特徴を有する、ステップと、撮影された画像においてこの特徴を検知するステップと、特徴の予定位置を撮影された画像上に投影するステップと、検知された特徴と予定位置とが位置合わせされるようにロボットを制御するステップと、を有する。

【0021】

いくつかの実施形態において、方法は、予定パスに沿って位置決めされたカメラを使用してＲＣＭ機構の画像を撮影するステップであって、基準オブジェクトはエンドエフェクタである、ステップと、撮影された画像においてエンドエフェクタの平行投影が検知されるようにエンドエフェクタの位置を制御するステップと、を有する。

【0022】

本発明の更に別の態様において、２つのモータ軸を有する遠隔運動中心（ＲＣＭ）機構及び遠位端部に設けられたエンドエフェクタを有するロボットを制御するためのロボットコントローラが提供される。ロボットコントローラは、予定進入ポイント及びＲＣＭを通る予定パスを含む手術フィールドにおけるＲＣＭ機構の撮影された画像を受信し、撮影された画像を３次元的（３Ｄ）手術前画像に対してレジストレーションし、撮影された画像においてＲＣＭのための進入ポイント及びパスを定め、撮影された画像において既知の形状を有する基準オブジェクトを検知及び追跡するように構成された画像プロセッサと、ロボット制御コマンドをロボットに通信するように構成されたロボット制御コマンドインターフェースと、を備え、ロボットコントローラは、エンドエフェクタを予定進入ポイント及び予定パスに対して位置合わせするロボットジョイント運動パラメータを、定められた進入ポイント、定められたパス、及び検知された基準オブジェクトに応じて計算するように構成され、更に、計算されたロボットジョイント運動パラメータに基づいて、エンドエフェクタを予定進入ポイント及び予定パスに対して位置合わせするロボット制御コマンドを生成するように構成される。

【0023】

いくつかの実施形態において、画像プロセッサは、投影された光ビームの交差点として進入ポイントを検知するように構成され、ロボットコントローラは、投影された光ビームの交差点が予定進入ポイントに対して位置合わせされるようにロボットを制御するように構成される。

【0024】

いくつかの実施形態において、画像プロセッサは、予定進入ポイントにおける基準オブジェクトの既知の形状を撮影された画像上に投影し、撮影された画像における検知された基準オブジェクトをセグメント化し、撮影された画像におけるセグメント化された基準オブジェクトの幾何学的パラメータを予定進入ポイントにおける基準オブジェクトの投影された既知の形状の幾何学的パラメータに対して位置合わせするように構成され、ロボットコントローラは、撮影された画像における検知された基準オブジェクトが投影された既知の形状と重畳するようにロボットを制御するように構成される。

【0025】

いくつかの実施形態において、画像プロセッサは、既知の構成において離間された複数のカメラから、手術フィールドにおけるＲＣＭ機構の２次元的（２Ｄ）画像を受信し、複数のカメラの各々からの撮影された２Ｄ画像における既知の形状を有する基準オブジェクトを検知及び追跡し、撮影された２Ｄ画像から基準オブジェクトの３Ｄ形状を再構成するように構成される。

【0026】

いくつかの実施形態において、ＲＣＭ機構は、予定進入ポイントを通る挿入軸の周りでエンドエフェクタを回転させるように構成され、エンドエフェクタは、挿入軸に垂直な平面内でその向きを定めるような特徴を有し、画像プロセッサは、撮影された画像においてこの特徴を検知し、特徴の予定位置を撮影された画像上に投影するように構成され、ロボットコントローラは、検知された特徴と予定位置とが位置合わせされるようにロボットを制御するように構成される。

【0027】

いくつかの実施形態において、ロボットコントローラは、アクチュエータによって予定パスに沿って位置決めされたカメラからの撮影された画像を受信するように構成され、ロボットコントローラは、画像プロセッサがエンドエフェクタの平行投影を検知するようにエンドエフェクタの位置を制御するように構成される。

【図面の簡単な説明】

【0028】

【図1】ロボット式システムの１つの例示的な実施形態のブロック図である。

【図2】ロボット制御ループの例示的な実施形態を示す図である。

【図3】図１のロボット式システムの実施形態の１つのバージョンを示す図である。

【図4】ロボットベースの誘導の方法の１つの実施形態の主要な動作を示すフローチャートである。

【図5】図４の方法の動作のうちの１つを実施する方法の例示的な実施形態の詳細なステップを示すフローチャートである。

【図6】図４の方法の動作のうちの別の１つを実施する方法の例示的な実施形態の詳細なステップを示すフローチャートである。

【図7】撮影されたビデオフレームの例及び撮影されたビデオフレームにおけるツールホルダの例示的な重畳を示す図である。

【図8】ロボットベースの誘導の方法の動作において用いられるフィードバックループの１つの例示的な実施形態を示す図である。

【図9】図１のロボット式システムの実施形態の第２のバージョンを示す図である。

【図10】図１のロボット式システムの実施形態の第３のバージョンを示す図である。

【図11】一連の撮影されたビデオフレームを使用した、円形状のロボットツールホルダの、ロボットツールホルダのための予定位置に対する位置合わせ及び配向のプロセスを示す図である。

【図12】ロボットベースの誘導の方法の動作において用いられる別のフィードバックループの１つの例示的な実施形態を示す図である。

【図13】図１のロボット式システムの実施形態の第４のバージョンを示す図である。

【発明を実施するための形態】

【0029】

これより、本発明は以下おいて、添付の図面を参照してより完全に説明され、図面においては本発明の好ましい実施形態が図示されている。しかしながら、本発明は他の形態でも具現化され得るものであり、本明細書に説明される実施形態に限定されるものと解釈されるべきではない。むしろ、これらの実施形態は本発明の例を教示するものとして提供される。

【0030】

図１は、ロボット式システム２０の１つの例示的な実施形態のブロック図である。

【0031】

図１に図示されるように、ロボット式システム２０は、撮像システム３０と、ロボット４０と、ロボットコントローラ５０とを用いる。概して、ロボット式システム２０は、ロボット４０の自動的運動能力を伴う任意のロボット式処置のために構成される。このようなロボット式処置の例には、医療処置、組み立てライン処置、及び移動式ロボットを伴う処置があるが、これらに限定されない。特には、ロボット式システム２０は、最小侵襲心臓手術（例えば、冠状動脈バイパス移植又は僧帽弁置換）、最小侵襲腹部手術（腹腔鏡検査）（例えば、前立腺切除又は胆嚢切除）、及び自然開口部越経管腔的内視鏡手術を含むがこれらに限定されない医療処置のために利用される。

【0032】

ロボット４０は、本明細書において、特定のロボット式処置のために所望されるロボット４０のエンドエフェクタ４２を操作するための１つ又は複数のジョイント４１の電動制御を有するように構造的に構成された任意のロボット式デバイスとして広く定義される。エンドエフェクタ４２は、グリッパ又はツールホルダを備える。エンドエフェクタ４２は、腹腔鏡検査器具、腹腔鏡、脊椎固定手術におけるネジ設置のためのツール、生体検査若しくは治療のためのニードル、又は任意の他の手術若しくは介入ツールなどのツールを備える。

【0033】

実際上は、ロボット４０は、最小限で３つの自由度、有利には５つ又は６つの自由度を有する。ロボット４０は、エンドエフェクタの軸と交差する２つのモータ軸を有する遠隔運動中心（ＲＣＭ）機構を有する。有利には、ロボット４０には、ＲＣＭ機構の任意の軸に沿って光ビーム（例えば、レーザビーム）を投影するように構成された光投影装置（例えば、一対のレーザ）が関連付けられている。

【0034】

エンドエフェクタ４２の姿勢とは、ロボット４０の座標系内でのエンドエフェクタ４２の位置及び向きである。

【0035】

撮像システム３０は、１つ又は複数のカメラを含む。いくつかの実施形態において、撮像システム３０は、回転３Ｄスキャンを生成するように構成された手術中Ｘ線システムを含む。撮像システムは、エンドエフェクタ４２又はエンドエフェクタ４２に保持されたツール（例えば、手術又は介入処置のためのもの）のための予定進入ポイント及びエンドエフェクタ４２又はエンドエフェクタ４２に保持されたツールのためのＲＣＭを通る予定パスを含む手術フィールドにおけるロボット４０のＲＣＭ機構の画像を撮影するように構成される。

【0036】

撮像システム３０は、フレームグラバー３１も含むか、又はフレームグラバー３１と関連付けられる。ロボット４０は、ジョイント４１（例えば、５つ又は６つのジョイント４１）と、エンドエフェクタ４２とを含む。以下により詳細に説明されるように、いくつかの実施形態において、エンドエフェクタ４２は、ロボット４０によって操作されるツールホルダとして構成される。ロボットコントローラ５０は、以下により詳細に説明されるビジュアルサーボ５１を含む。

【0037】

撮像システム３０は、前方光学視又は斜位光学視を有する任意のタイプのカメラであってよく、事前に定められたフレームレート（例えば、１秒当たり３０フレーム）で一連の２次元的デジタルビデオフレーム３２を取得することが可能で、各デジタルビデオフレーム３２をロボットコントローラ５０に提供することが可能な任意のタイプのフレームグラバー３１を用いてよい。いくつかの実施形態では、フレームグラバー３１は省かれることがあり、この場合、撮像システム３０が、ロボットコントローラ５０にその画像を送る。特には、撮像システム３０は、その視野内でロボット４０のエンドエフェクタ４２及び遠隔運動中心（ＲＣＭ）３４２の画像、及びＲＣＭ３４２がその内部で位置決め及び操作される動作空間の画像を撮影することができるように位置決め及び配向される。有利には、撮像システム３０は、エンドエフェクタ４２の姿勢を特定するために使用され得る既知の形状を有する基準オブジェクトの画像を撮影するようにも位置決めされる。いくつかの実施形態において、撮像システム３０は、モータによって作動されるカメラを含み、以下により詳細に説明されるように、カメラは、撮像システム３０が手術前画像に対してレジストレーションされたときにロボット４０のための予定器具パスに沿って位置決めされ得る。

【0038】

ロボットコントローラ５０は、本明細書において、エンドエフェクタ４２の所望の姿勢を達成するために必要な各ロボットジョイント４１の決定的な移動を命令することによって、特定のロボット式処置のために所望されるエンドエフェクタ４２の姿勢を制御するために、ロボット４０に１つ又は複数のロボット制御コマンド（「ＲＣＣ」）５２を提供するように構造的に構成された任意のコントローラとして広く定義される。

【0039】

例えば、ロボット制御コマンド５２は、ロボット４０のＲＣＭを手術のための予定進入ポイントに対して位置合わせするために１つ又は複数のロボットジョイント４１のセットを制御するため、及びエンドエフェクタ４２を手術のための予定パスに対して位置合わせするために追加のロボットジョイントのペアを制御するために、撮像システム３０による基準オブジェクト（例えば、エンドエフェクタ４２）の追跡を容易にするために必要な１つ又は複数のロボットジョイント４１を移動させる。

【0040】

デジタルビデオフレーム３２内での画像の特徴のロボット式追跡のため、並びに、ロボット４０をエンドエフェクタ４２又はエンドエフェクタ４２に保持されたツールのための予定進入ポイント及び予定パスに対して位置合わせ及び配向するために、ロボットコントローラ５０は、ＲＣＭが予定進入ポイント及びパスに対して位置合わせ及び配向されたときに、各デジタルビデオフレーム３２において特定された基準オブジェクトの画像及び画像上への基準オブジェクトの投影に対するエンドエフェクタ４２の姿勢を、その既知の形状及び位置に基づいて、制御するためのビジュアルサーボ５１を含む。

【0041】

このような目的で、図２に図示されるように、ビジュアルサーボ５１は、フレームグラバー３１によって実現される画像取得３３とロボットジョイント４１の制御された移動４３とを伴う閉ロボット制御ループ２１において、基準オブジェクト特定プロセス５３と、向き設定プロセス５５と、インバースキネマティクス（逆運動力学）プロセス５７とを実現する。実際上は、プロセス５３、５５、及び５７は、任意のプラットフォーム（例えば、一般的なコンピュータ、特定用途向け集積回路（ＡＳＩＣ）など）にインストールされたハードウェア、ソフトウェア、及び／又はファームウェアの任意の組み合わせによって具現化されるビジュアルサーボ５１のモジュールによって実現されてよい。更には、プロセス５３及び５５は、ロボットコントローラ５０の画像プロセッサによって実施されてよい。

【0042】

図２を参照すると、基準オブジェクト特定プロセス５３は、当技術分野において知られている特徴認識アルゴリズムを使用してデジタルビデオフレーム３２内で特定の基準オブジェクトを特定するための各デジタルビデオフレーム３２の個別の処理を伴う。

【0043】

再び図２を参照すると、基準オブジェクト特定プロセス５３は、各デジタルビデオフレーム３２内の基準オブジェクトを示す２次元的画像データ（「２ＤＩＤ」）５４を生成し、向き設定プロセス５５は、基準オブジェクトの向き又は形状を特定するために２Ｄデータ５４を処理する。基準オブジェクトが認識される各デジタルビデオフレーム３２について、向き設定プロセス５５は、デジタルビデオフレーム３２内の基準オブジェクトに対するロボット４０のエンドエフェクタ４２の所望の姿勢を示す３次元的ロボットデータ（「３ＤＲＤ」）５６を生成する。インバースキネマティクスプロセス５７は、当技術分野において知られているように、ロボットジョイント４１の適切なジョイント移動４３のために必要な１つ又は複数のロボット制御コマンド５２を生成し、それによって、デジタルビデオフレーム３２内の基準オブジェクトに対するエンドエフェクタ４２の所望の姿勢を達成するために、３Ｄデータ５６を処理する。

【0044】

動作においては、ロボットコントローラ５０の画像プロセッサは、撮像システム３０から撮影された画像を受信し、撮影された画像を３次元的（３Ｄ）手術前画像に対してレジストレーションし、投影された光ビーム（例えば、レーザビーム）を使用して撮影された画像においてＲＣＭのための進入ポイント及びパスを定め、撮影された画像において基準オブジェクトを検知及び追跡する。更には、ロボットコントローラ５０は、エンドエフェクタ４２を予定進入ポイント及び予定パスに対して位置合わせするロボットジョイント運動パラメータを、定められた進入ポイント、定められたパス、及び検知された基準オブジェクトに応じて計算し、計算されたロボットジョイント運動パラメータに応じて、エンドエフェクタ４２を予定進入ポイント及び予定パスに対して位置合わせするロボット制御コマンド５２を生成し、ロボット制御コマンドをロボット４０に通信する。

【0045】

次に、ロボット式システム２０の様々なバージョンの更なる態様がより詳細に説明される。

【0046】

図３は、図１のロボット式システム２０の第１のバージョンの一部分を示す。図３は、撮像デバイス、特にはカメラ３３０と、ロボット３４０とを図示する。ここで、カメラ３３０は撮像システム３０の１つのバージョンであり、ロボット３４０はロボット４０の１つのバージョンである。カメラ３３０は、その視野内でエンドエフェクタ４２と遠隔運動中心（ＲＣＭ）３４２とを含むロボット３４０の少なくとも一部分の画像、及びＲＣＭ３４２がその内部で位置決め及び操作される動作空間の画像を撮影することができるように位置決め及び配向される。図３には示されていないが、図３に示されるロボット式システムは、図１及び図２に関して上に記載されたロボットコントローラ５０などのロボットコントローラを含むことが理解されるべきである。

【0047】

ロボット３４０は、５つのジョイントｊ１、ｊ２、ｊ３、ｊ４、及びｊ５と、エンドエフェクタ３６０とを有する。ジョイントｊ１、ｊ２、ｊ３、ｊ４、及びｊ５の各々は、ロボット３４０によってロボットコントローラ（例えば、ロボットコントローラ５０）から受信された１つ又は複数のロボット制御コマンド５２に応じてジョイントを操作することができる関連付けられたモータを有する。ジョイントｊ４及びｊ５はＲＣＭ３４２を定める。第１及び第２のレーザ５１２及び５１４は、対応するＲＣＭレーザビーム５１３及び５１５を、それらがＲＣＭ３４２で交差するように投影する。いくつかの実施形態において、第１及び第２のレーザ５１２及び５１４は、ジョイントｊ４及びｊ５のモータ軸に沿ってＲＣＭレーザビーム５１３及び５１５を投影する。図３に示されるような同心円弧システムを有する実施形態において、第１及び第２のレーザ５１２及び５１４は、円弧に沿った場所のどこに位置付けられてもよい。図には、予定パス１１５に沿った対象１０のための予定進入ポイント１５及び検知されたパス１１７に沿った検知された進入ポイント１７も図示されている。

【0048】

図４は、ロボット式システムによって実施されるロボットベースの誘導の方法４００の１つの実施形態の主要な動作を示すフローチャートである。以下の説明において、具体的な例を提供するために、方法４００は、図３に示されたバージョンのロボット式システム２０によって実施されるものと仮定される。

【0049】

動作４１０は、ロボット３４０のための計画（例えば、手術計画）とカメラ３０とのレジストレーションを含む。ここで、ロボット３４０のための計画は、１つ又は複数の手術前３Ｄ画像に対して記述される。それ故、動作４１０において、カメラ３００によって生成された画像（例えば、２Ｄ画像）は、例えば、フィリップスの特許出願（例えば、米国特許出願公開第２０１２／０２９４４９８（Ａ１）号又はＥＰ２６１５９９３Ｂ１）において説明されている方法などの当技術分野において知られているいくつかの方法を使用して手術前３Ｄ画像に対してレジストレーションされる。

【0050】

動作４２０は、予定進入ポイント１５に対するロボット３４０のＲＣＭ３４２の位置合わせを含む。動作４２０の例示的な実施形態の更なる詳細は、図５に関して後述される。

【0051】

動作４３０は、予定パス１１５に対するロボット３４０のＲＣＭ機構（例えば、ジョイントｊ４及びｊ５）の位置合わせを含む。動作４３０の例示的な実施形態の更なる詳細は、図６に関して後述される。

【0052】

図５は、方法４００の動作４２０を実施する方法５００の例示的な実施形態の詳細なステップを示すフローチャートである。ここで、手術前３Ｄ画像とカメラ３００との間のレジストレーションのための動作４１０はすでに完了しているものと仮定される。

【0053】

ステップ５２０において、画像プロセッサ又はロボットコントローラ５０は、３Ｄ予定進入ポイント１５を表す２Ｄポイントをカメラ３３０の撮影された画像（例えば、デジタルビデオフレーム３２）上に投影する。カメラ３３０は対象１０に対して移動していないので、投影された予定進入ポイント１５は静的である。

【0054】

ステップ５３０において、ＲＣＭレーザビーム５１３及び５１５の交差点は、検知された進入ポイント１７を定めるために、カメラ３３０の撮影された画像において検知され得る。有利には、ロボット式システム及び方法５００は、対象１０への予定進入ポイント１５が、通常、対象１０の表面にあり、故に、カメラ３３０のビューによって可視化され得るとともに撮影された画像上に投影され得、一方、ロボット３４０のＲＣＭ３４２の現在の位置及び向きに対する検知された進入ポイント１７を定めるために、レーザ５１２及び５１４から投影され得るレーザドットも撮影された画像において対象１０上に視認可能であるという事実を利用し得る。

【0055】

ステップ５４０において、ロボットコントローラ５０は、ＲＣＭレーザビーム５１３及び５１５の交差点によって定められた進入ポイント１７を予定進入ポイント１５へと駆動するようにＲＣＭ３４２を移動させるために、ロボット３４０にロボット制御コマンド５２を送る。いくつかの実施形態において、ステップ５４０は、米国特許第８，９３４，００３（Ｂ２）号において説明されるアルゴリズムによって実施される。有利には、ステップ５４０は、ジョイントｊ１、ｊ２、及びｊ３の移動を命令するロボット制御コマンド５２によって実施される。有利には、定められた進入ポイント１７が予定進入ポイント１５に対して位置合わせされた後、ジョイントｊ１、ｊ２、及びｊ３は、動作４３０を含む後続の動作のためにロックされる。

【0056】

図６は、方法４００の動作４３０を実施する方法６００の例示的な実施形態の詳細なステップを示すフローチャートである。ここで、方法４００及び方法５００について上に記載されたように、手術前３Ｄ画像とカメラ３００との間のレジストレーションのための動作はすでに完了しているものと仮定される。

【0057】

ステップ６１０において、ロボットコントローラ５０の画像処理サブシステムは、エンドエフェクタ４２が予定器具パス１１５及び予定進入ポイント１５に対して位置合わせされたときにカメラから見えるはずの基準オブジェクトの既知の形状をカメラ３３の撮影された画像（例えば、デジタルビデオフレーム３２）上に重畳又は投影する。以下の議論において、具体的な例を提供するために、基準オブジェクトはエンドエフェクタ４２であると仮定される。しかしながら、一般的に、基準オブジェクトは、カメラ３３０の視野内の、既知の大きさ及び形状を有する任意のオブジェクト又は特徴であってよい。ここで、画像処理システムは、エンドエフェクタ４２の形状及び大きさについて前もって情報を有しているものと仮定される。例えば、エンドエフェクタ４２が円形状を有するならば、この形状は、カメラ３３０と、エンドエフェクタ４２と、予定進入ポイント１５との間の位置的／角度的な関係に応じて、カメラ３３０からは２次元的に楕円形状に見える。この場合、画像プロセッサは、エンドエフェクタ４２が予定パス１１５に沿って予定進入ポイント１５に対して位置合わせ及び配向されたときのエンドエフェクタ４２のターゲット位置及び向きを表すターゲット楕円形状画像をカメラ３３０からの撮影された画像上に投影又は重畳する。更には、画像プロセッサは、エンドエフェクタ４２の形状に依存するエンドエフェクタ４２のターゲット楕円形状画像の他のパラメータ、例えば、円形状のエンドエフェクタ４２の例示的な事例においては、投影された楕円形状の中心及び角度を定める。

【0058】

ステップ６２０において、画像プロセッサは、撮影された画像におけるエンドエフェクタ４２の画像を検知し、これをセグメント化する。

【0059】

ステップ６３０において、画像プロセッサは、撮影された画像におけるエンドエフェクタ４２の画像の形状を検知する。有利には、画像プロセッサは、撮影された画像におけるエンドエフェクタ４２の検知された画像の他のパラメータを検知し、これらはエンドエフェクタ４２の形状に依存する。例えば、エンドエフェクタ４２が円形状を有するものと仮定すると、カメラ３３０の撮影された画像において楕円形状の画像を生み、次いでステップ６３０において、画像プロセッサは、撮影された画像３２におけるエンドエフェクタ４２の検知された画像の中心及び角度を検知する。

【0060】

図７は、撮影された画像７３２の例及び撮影された画像７３２上のエンドエフェクタ４２の例示的な投影された重畳部７６０を示す。ここで、投影された重畳部７６０は、エンドエフェクタ４２が予定パス１１５に沿って予定進入ポイント１５に対して位置合わせ及び配向されたときにエンドエフェクタ４２がカメラ３３０の撮影された画像において有するはずの大きさ及び形状を表すものと仮定される。図７に図示される例において、エンドエフェクタ４２の投影された重畳部７６０の中心７６１２は、エンドエフェクタ４２の検知された画像の中心に対して位置合わせされているが、エンドエフェクタ４２の投影された重畳部７６０とエンドエフェクタ４２の検知された画像との間には回転角度７６１４が存在する。

【0061】

この場合、ステップ６４０において、ロボットコントローラ５０は、最適化アルゴリズムを実行してロボット４０、及び、特には、ジョイントｊ４及びｊ５を備えるＲＣＭ機構を移動させ、カメラによって撮影されたエンドエフェクタ４２の画像を投影された重畳部７６０に対して位置合わせする。エンドエフェクタ４２の撮影された画像が投影された重畳部７６０に対して位置合わせされると、エンドエフェクタ４２は、予定パス１１５に沿って予定進入ポイント１５に対して位置合わせ及び配向される。

【0062】

図８は、例えばロボット式システム２０によって実行されるロボットベースの誘導の方法の動作において用いられるフィードバックループ８００の１つの例示的な実施形態を示す。図８において、機能ブロックとしてフィードバックループ８００の様々な操作子が示されている。フィードバックループ８００は、コントローラ８４０、ロボット８５０、ツールセグメント化動作８５１０、中心検知動作８５１２、角度検知動作８５１４、及び処理動作８５１６を含む。ここで、フィードバックループ８００は、楕円形状の投影を有する（例えば、円形状）基準オブジェクト（例えば、エンドエフェクタ４２）とともに動作するように構成される。いくつかの場合において、ツールセグメント化動作８５１０、中心検知動作８５１２、角度検知動作８５１４、及び処理動作８５１６は、ロボットコントローラ５０などのロボットコントローラによって、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実施される。

【0063】

次に、フィードバックループ８００の例示的な動作が説明される。

【0064】

処理動作８５１６は、エンドエフェクタ４２の撮影された画像の検知された中心及び角度を、エンドエフェクタ４２のターゲット角度及びターゲット中心から減算し、その結果、２つのエラー信号、すなわち中心エラー及び角度エラーがもたらされる。処理動作８５１６は、これらの２つのエラーを組み合わせ（例えば、これらに対応する重みを加算する）、重みづけられた組み合わせをフィードバック信号として、上述したロボットコントローラ５０のコンポーネントとして含まれるコントローラ８５０に供給する。ここでコントローラ８５０は、比例−積分−微分（ＰＩＤ：ｐｒｏｐｏｒｔｉｏｎａｌ−ｉｎｔｅｇｒａｌ−ｄｅｒｉｖａｔｉｖｅ）コントローラ、又はモデル予測コントローラなどの非線形コントローラを含む当技術分野において知られている任意の他の適切なコントローラであってよい。コントローラ８５０の出力は、ＲＣＭ機構ジョイントベロシティのセットである。ジョイントベロシティへのマッピングは、ロボット８４０のエンドエフェクタ４２のヨー及びピッチを撮影された画像のｘ及びｙ座標にマッピングすることによってなされ得る。エンドエフェクタ４２の向きは、撮影された画像におけるエンドエフェクタ４２の検知された形状と撮影された画像上への形状の平行投影との間の射影変換を使用してマッピングされ得る。

【0065】

図９は、図１のロボット式システム２０の第２のバージョンの一部分を示す。図９に示されるロボット式システム２０の第２のバージョンは、図３に示されて上に詳述された第１のバージョンと構造及び動作において類似しており、従って、簡潔さのために、それらの間の相違点のみが説明される。

【0066】

ロボット式システム２０の第２のバージョンにおいて、画像撮影システムは、既知の又は定められた構成において離間された少なくとも２つのカメラ３３０及び３３２を含む。カメラ３３０及び３３２の各々は、その視野内でエンドエフェクタ４２とＲＣＭ３４２とを含むロボット３４０の少なくとも一部分の画像、及びＲＣＭ３４２がその内部で位置決め及び操作される動作空間の画像を撮影することができるように位置決め及び配向される。それ故、ロボット式システム２０のこのバージョンにおいて、画像プロセッサは、各カメラ３３０及び３３２からの撮影された２Ｄ画像における基準オブジェクト（例えば、エンドエフェクタ４２）を検知及び追跡し、撮影された２Ｄ画像からエンドエフェクタ４２の３Ｄ形状を再構成するように構成される。

【0067】

ここで、撮影された画像の縮尺は、エンドエフェクタ４２の既知の大きさ、及びカメラ３３０及び３３２の焦点距離を使用して再構成され得る。再構成された位置及び縮尺は、カメラ３３０及び３３２の座標フレームにおけるロボット３４０の３Ｄ位置を与える。エンドエフェクタ４２の向きは、撮影された画像におけるエンドエフェクタ４２の検知された形状と撮影された画像上への形状の平行投影との間の射影変換を使用して検知され得る。このバージョンは、３Ｄ空間におけるロボット３４０の位置を再構成し、ロボット構成空間をカメラ座標系に対してレジストレーションする。ロボット制御は位置ベースであり得、ロボットモータはロボットジョイント空間において移動されて、エンドエフェクタ４２を初期位置及び向きから予定位置及び向きへと移動させる。

【0068】

ロボット式システム２０の別のバージョンにおいて、ＲＣＭ機構は、予定進入ポイント１５を通るツール挿入軸の周りでエンドエフェクタ４２を回転させることができるような追加的な自由度を備える。ここでも、エンドエフェクタ４２は、挿入軸に垂直な平面内でその向きを定めるような特徴を備え、画像プロセッサは、撮影された画像においてこの特徴を検知し、特徴の予定位置を撮影された画像上に投影するように構成される。例えば、この特徴はピンを有した円形状又は矩形状でよい。ロボットコントローラ５０は、検知された特徴と特徴の予定位置とが位置合わせされるようにロボット３４０を制御するように構成される。

【0069】

このバージョンは、エンドエフェクタ４２が回転対称でないとき、例えば、エンドエフェクタ４２が把持具又は傾いたニードルであるときに有用であり得る。予定進入ポイント１５及びパス１１５に沿ったエンドエフェクタ４２の向きの両者が設定された後、エンドエフェクタ４２は、特徴の予定位置と検知された位置とが位置合わせされるまで、追加的な自由度を使用して回転される。

【0070】

図１０は、図１のロボット式システム２０の第３のバージョンの一部分を示す。図１０に示されるロボット式システム２０の第３のバージョンは、図３に示されて上に詳述された第１のバージョンと構造及び動作において類似しており、従って、簡潔さのために、それらの間の相違点のみが説明される。

【0071】

ロボット式システム２０の第３のバージョンにおいて、カメラ３３０は、予定パス１１５に沿って操作及び位置決めされ得るように、モータ１０００によって作動される。ここでも、カメラ３３０は手術前画像に対してレジストレーションされるものと仮定される。図１０に示された第３のバージョンの場合において、撮影された画像上へのエンドエフェクタ４２の投影は、エンドエフェクタ４２が予定パス１１５に沿って予定進入ポイント１５に対して位置合わせ及び配向されたときの状況を反映して、平行投影となる。例えば、エンドエフェクタ４２の形状が円形状であるなら、投影も円形状である。この場合、コントローラ５０は、撮影された画像において平行投影が検知されるようにエンドエフェクタ４２の位置を制御するように構成され得、これは一意解である。これは、ＲＣＭ３４２が進入ポイント１５に対して位置合わせされる前又は後になされ得る。もしも前になされたなら、ＲＣＭ３４２は、予定重畳におけるエンドエフェクタ４２の投影の中心と撮影された画像におけるエンドエフェクタ４２の検知された位置とを位置合わせすることによって、位置決めされ得る。

【0072】

図１１は、図１０に示されたロボット式システムの第３のバージョンを使用してカメラ３３０によって撮影された一連のビデオフレームを使用した、円形状のロボットエンドエフェクタ４２の、ロボットエンドエフェクタ４２のための予定位置に対する位置合わせ及び配向のプロセスを示す。

【0073】

ここで、カメラ３３０によって撮影された第１の撮影されたビデオフレーム１１３２−１には、エンドエフェクタ４２が予定パス１１５に沿って予定進入ポイント１５に対して位置合わせ及び配向されたならばビデオフレーム１１３２−１において現れるはずのエンドエフェクタ４２の投影１１７１が図示されている。しかしながら、代わりに、エンドエフェクタ４２の検知された画像１１６１は、長軸１１６１３及び短軸１１６１５を有した楕円形状を有しており、投影１１７１の位置から横方向にずれている。

【0074】

カメラ３３０によって撮影された第２のフレーム１１３２−２には、エンドエフェクタの検知された画像１１６１が円形状を有するようにロボット４０のＲＣＭ機構を制御するロボットコントローラ５０によって実行される制御アルゴリズムの結果、エンドエフェクタ４２の検知された画像１１６１がいまや円形状を有している様子が図示されている。しかしながら、第２のフレーム１１３２−２においては、検知された画像１１６１はいまだに投影１１７１の位置から横方向にずれており、投影１１７１よりも大きさが大きいことがわかる。

【0075】

ビデオフレーム１１３２−２において描かれる状況になった後、ロボット３４０のＲＣＭ機構（例えば、ジョイントｊ４及びｊ５）はロックされてよく、位置決め機構はＲＣＭを予定進入口に対して位置合わせするために移動される。

【0076】

両形状はいまや平行投影になっているので、このステップにおいて、例えば米国特許第８，９３４，００３（Ｂ２）号に説明されている方法を使用して、図心が位置合わせされることだけが必要である。図心が位置合わせされたなら、縮尺が合わせられなければならない（検知されたエンドエフェクタ４２の円の大きさを計画に従って投影されたエンドエフェクタ４２の大きさに合わせる）。縮尺は、位置決め機構座標フレームにおいて計算され得るツールパス１１５に沿ったロボット４０の運動によって定められる。

【0077】

カメラ３３０によって撮影された第３のフレーム１１３２−３には、エンドエフェクタ４２の検知された画像１１６１が、いまや投影１１７１と位置合わせされた様子が図示されている。

【0078】

図１２は、ロボットベースの誘導の方法の動作において用いられる別のフィードバックループ１２００の１つの例示的な実施形態を示す。図１２は、例えばロボット式システム２０によって実施されるロボットベースの誘導の方法の動作において用いられるフィードバックループ１２００の１つの例示的な実施形態を示す。図１２において、機能ブロックとしてフィードバックループ１２００の様々な操作子が示されている。フィードバックループ１２００は、コントローラ１２４０、ロボット１２５０、ツールセグメント化動作１２５１０、長軸検知動作１２５１３、短軸検知動作１２５１５、及び処理動作１２５１６を含む。ここで、フィードバックループ１２００は、楕円形状の投影を有する（例えば、円形状）基準オブジェクト（例えば、エンドエフェクタ４２）とともに動作するように構成される。いくつかの場合において、ツールセグメント化動作１２５１０、長軸検知動作１２５１３、短軸検知動作１２５１５、及び処理動作１２５１６は、ロボットコントローラ５０などのロボットコントローラによって、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実施される。

【0079】

次に、フィードバックループ１２００の例示的な動作が説明される。

【0080】

処理動作１２５１６は、エンドエフェクタ４２の撮影された画像の検知された中心及び角度を、エンドエフェクタ４２のターゲット角度及びターゲット中心から減算し、その結果、２つのエラー信号、すなわち中心エラー及び角度エラーがもたらされる。処理動作１２５１６は、これらの２つのエラーを組み合わせ（例えば、これらに対応する重みを加算する）、重みづけられた組み合わせをフィードバック信号として、上述したロボットコントローラ５０のコンポーネントとして含まれるコントローラ１２５０に供給する。ここでコントローラ１２５０は、比例−積分−微分（ＰＩＤ）コントローラ、又はモデル予測コントローラなどの非線形コントローラを含む当技術分野において知られている任意の他の適切なコントローラであってよい。コントローラ１２５０の出力は、ＲＣＭ機構ジョイントベロシティのセットである。ジョイントベロシティへのマッピングは、ロボット１２４０のエンドエフェクタ４２のヨー及びピッチを撮影された画像のｘ及びｙ座標にマッピングすることによってなされ得る。エンドエフェクタ４２の向きは、撮影された画像におけるエンドエフェクタ４２の検知された形状と撮影された画像上への形状の平行投影との間の射影変換を使用してマッピングされ得る。

【0081】

図１３は、図１のロボット式システム２０の第４のバージョンの一部分を示す。図１３に示されるロボット式システム２０の第４のバージョンは、図３に示されて上に詳述された第１のバージョンと構造及び動作において類似しており、従って、簡潔さのために、それらの間の相違点のみが説明される。

【0082】

ロボット式システム２０の第４のバージョンにおいて、カメラ３３０は、予定パス１１５が位置付けられる場所の回転３Ｄスキャンを生成するように構成された手術中Ｘ線システム１３００に取り付けられている。

【0083】

ロボット式システム２０の他のバージョンも可能である。特には、図３、図９、及び図１０などに関して上に記載されたバージョンのうちの任意のものが、手術中Ｘ線システム１３００を含むように修正されてよい。

【0084】

本明細書において、好ましい実施形態が詳細に開示されたが、本発明の概念及び範囲内に依然としてある多くの変形が可能である。このような変形は、本文書において明細書、図面及び特許請求の範囲を検証した後で、当業者には明らかになるであろう。従って、本発明は、添付の特許請求の範囲内にあることを除いては、限定されるものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】