知財求人 - 知財ポータルサイト「IP Force」
▶ ヴィカリアス・サージカル・インコーポレイテッドの特許一覧
特表2024-508820外科用ロボットシステムのカメラ組立品のオートフォーカスのためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-28
(54)【発明の名称】外科用ロボットシステムのカメラ組立品のオートフォーカスのためのシステムおよび方法
(51)【国際特許分類】
A61B 34/20 20160101AFI20240220BHJP
H04N 7/18 20060101ALI20240220BHJP
B25J 13/08 20060101ALI20240220BHJP
【ＦＩ】
A61B34/20
H04N7/18 U
B25J13/08 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023551778
(86)(22)【出願日】2022-02-24
(85)【翻訳文提出日】2023-10-20
(86)【国際出願番号】 US2022017649
(87)【国際公開番号】W WO2022182836
(87)【国際公開日】2022-09-01
(31)【優先権主張番号】63/153,128
(32)【優先日】2021-02-24
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/176,634
(32)【優先日】2021-04-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522440603
【氏名又は名称】ヴィカリアス・サージカル・インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ジャスティン・キーナン
(72)【発明者】
【氏名】サミー・カリファ
【テーマコード（参考）】
3C707
5C054
【Ｆターム（参考）】
3C707AS35
3C707BS26
3C707KS17
3C707KS36
3C707KT02
3C707KT05
5C054CA04
5C054CC02
5C054FA07
5C054HA12
(57)【要約】
外科用ロボットシステムは、センサユニットと、制御装置と、ロボットサブシステムと、を含む。ロボットサブシステムは、センサユニットおよび制御装置と通信する。さらに、ロボットサブシステムは、その遠位端にエンドエフェクトを各々有する複数のロボットアームを含む。ロボットサブシステムはまた、少なくとも二つのカメラ、および該カメラの各々のレンズをオートフォーカスさせるオートフォーカスユニットを有する、カメラ組立品を含む。
【特許請求の範囲】
【請求項1】
外科用ロボットシステムであって、センサユニットと、
制御装置と、
前記センサユニットおよび前記制御装置と通信するロボットサブシステムであって、
その遠位端にエンドエフェクタを各々有する複数のロボットアームと、
少なくとも二つのカメラ、および前記少なくとも二つのカメラの各々のレンズをオートフォーカスさせるように構成されたオートフォーカスユニットを有するカメラ組立品と、を含む、ロボットサブシステムと、を備える、外科用ロボットシステム。
【請求項2】
前記制御装置は、前記センサユニットから受信した前記少なくとも二つのカメラおよび前記複数のロボットアームの状態情報に基づいて、所望の焦点距離を計算するように構成され、前記オートフォーカスユニットは、前記所望の焦点距離に基づいて、前記少なくとも二つのカメラの各々の前記レンズをオートフォーカスさせるように構成される、請求項１に記載の外科用ロボットシステム。
【請求項3】
前記状態情報は、各カメラから、外科医の視野内にある前記複数のロボットアームの各エンドエフェクタまでの距離を含む、請求項２に記載の外科用ロボットシステム。
【請求項4】
前記状態情報は、各カメラおよび各ロボットアームの前記エンドエフェクタの位置情報および配向情報を含む、請求項２に記載の外科用ロボットシステム。
【請求項5】
前記計算された所望の焦点距離に基づいて、前記制御装置は、特定の焦点深度に従って、焦点コマンドを決定するように構成される、請求項２に記載の外科用ロボットシステム。
【請求項6】
前記制御装置は、前記焦点コマンドを前記オートフォーカスユニットに送信するように構成され、それに応答して、前記オートフォーカスユニットは、各カメラの前記レンズの焦点を合わせるために、各カメラの物理的焦点距離を調整するように構成される、請求項５に記載の外科用ロボットシステム。
【請求項7】
前記制御装置は、焦点データの急激な変化を低減するために、前記所望の焦点距離をフィルタリングするように構成される、請求項５に記載の外科用ロボットシステム。
【請求項8】
前記所望の焦点距離をフィルタリングするためのフィルタの強度は、外科医の頭部動作の程度に基づいて、変化される、請求項７に記載の外科用ロボットシステム。
【請求項9】
異なる所望の焦点距離は、前記少なくとも二つのカメラの各々に対して計算される、請求項２に記載の外科用ロボットシステム。
【請求項10】
前記所望の焦点距離は、重み付けアルゴリズムを使用して、さらに計算される、請求項２に記載の外科用ロボットシステム。
【請求項11】
各ロボットアームは、前記重み付けアルゴリズムにおいて、異なる重み付けがされる、請求項１０に記載の外科用ロボットシステム。
【請求項12】
各ロボットアームの重みは、システムパラメータに基づく関数である、請求項１１に記載の外科用ロボットシステム。
【請求項13】
各ロボットアームは、複数の関節部を含む、請求項１２に記載の外科用ロボットシステム。
【請求項14】
前記複数の関節部は、肩関節、肘関節、および手首関節を含む、請求項１３に記載の外科用ロボットシステム。
【請求項15】
前記システムパラメータは、各カメラの視野内の各エンドエフェクタの中心からの距離、各エンドエフェクタの状態、および前記肘関節の位置を含む、請求項１４に記載の外科用ロボットシステム。
【請求項16】
焦点調節速度は、各エンドエフェクタが標的位置から外側に移動するにつれて増加される、請求項２に記載の外科用ロボットシステム。
【請求項17】
焦点調節速度は、各エンドエフェクタが標的位置に向かって移動するにつれて減少される、請求項２に記載の外科用ロボットシステム。
【請求項18】
ロボットサブシステムであって、その遠位端にエンドエフェクタを各々有する複数のロボットアームと、
カメラ組立品であって、
少なくとも二つのカメラと、
制御装置と、
前記少なくとも二つのカメラの各々のレンズをオートフォーカスさせるように構成されたオートフォーカスユニットと、を含む、カメラ組立品と、を備え、
前記制御装置は、センサユニットから受信した前記少なくとも二つのカメラおよび前記複数のロボットアームの状態情報に基づいて、所望の焦点距離を計算するように構成され、
前記オートフォーカスユニットは、前記所望の焦点距離に基づいて、前記少なくとも二つのカメラの各々の前記レンズをオートフォーカスさせるように構成される、ロボットサブシステム。
【請求項19】
焦点調節速度は、前記ロボットアームが標的位置から外側に移動するにつれて増加され、前記ロボットアームが前記標的位置に向かって内側に移動するにつれて減少される、請求項１８に記載のロボットサブシステム。
【請求項20】
前記状態情報は、各カメラから、外科医の視野内にある前記複数のロボットアームの各エンドエフェクタまでの距離、ならびに前記少なくとも二つのカメラおよび前記複数のロボットアームの各エンドエフェクタの位置および配向の情報のうちの少なくとも一つを含む、請求項１８に記載のロボットサブシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本開示は、２０２１年２月２４日出願の米国仮特許出願第６３／１５３，１２８号、および２０２１年４月１９日出願の米国仮特許出願第６３／１７６，６３４号に対する優先権を主張するものであり、その内容全体は、参照により、本明細書に組み込まれる。
本開示は、２０２１年２月２４日出願の米国仮特許出願第６３／１５３，１２８号、および２０２１年４月１９日出願の米国仮特許出願第６３／１７６，６３４号に対する優先権を主張するものであり、その内容全体は、参照により、本明細書に組み込まれる。
【0002】
本開示は、低侵襲外科手術装置および関連する方法を対象とし、より具体的には、選択された外科手術をその中で実施するために、患者に挿入可能なロボット外科手術システムに関する。
【背景技術】
【0003】
低侵襲外科手術の分野は、１９９０年代初頭の登場以来、急速に拡大している。低侵襲外科手術が患者の転帰を大幅に改善するものの、この改善は、外科医の正確かつ容易な手術能力を犠牲にして得られるものである。外科医は、腹腔鏡下手術中、患者の腹壁の小さな切開を通して腹腔鏡器具を挿入しなければならない。器具を、腹壁を通して挿入する特性により、腹腔鏡器具が腹壁への損傷なしには左右に移動できないため、腹腔鏡器具の動きに制約がかかる。標準的な腹腔鏡器具は、四つの運動軸に限定される。これらの四つの運動軸は、トロカール内外での器具の動き（軸１）、トロカール内の器具の回転（軸２）、およびトロカールが腹腔に進入する枢動点を維持しながら、二つの平面におけるトロカールの角度移動（軸３および４）である。低侵襲外科手術の大半は、二十年以上にわたって、これら四つの運動自由度のみを用いて行われてきた。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第１０，２８５，７６５号明細書
【特許文献2】米国特許出願公開第２０１９／００７６１９９号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
既存のロボット外科手術装置は、これら問題の多くの解決を試みた。一部の既存のロボット外科手術装置は、器具の端部に追加の自由度を有する、非ロボット腹腔鏡外科手術を再現する。しかしながら、外科手術処置に費用のかかる多くの変更があっても、既存のロボット外科手術装置は、使用される処置の大部分において、患者転帰の改善を提供することができなかった。さらに、既存のロボット装置では、外科医と外科手術エンドエフェクタとの間で生成される分離が増加する。この増加した分離により、外科医の動作への思い違いおよびロボット装置が加える力に起因する傷害が発生する。多くの既存のロボット装置の自由度が、ヒトのオペレータには不慣れであるため、外科医は、不注意により傷害を起こす可能性を最小限に抑えるために、患者の手術前に、ロボットシミュレータに関する訓練を広範囲にわたって受けなければならない。
【0006】
典型的なロボットシステムは、一つ以上のロボットアームおよび一つ以上の関連するカメラを含む。既存のロボットシステムを制御するために、外科医は、コンソールに着座して、マニピュレータを両方の手と足で制御し、このため、カメラおよびロボットアームを制御する。さらに、カメラは、半固定された位置に留まり得、外科医からの足と手の組み合わされた動作によって動かされる。視野が限定されるこれらの半固定カメラは、結果として、手術視野の可視化を困難にする。
【0007】
従来の外科用ロボットシステムでは、カメラを意図された手術部位で焦点を合わせる複数の方法がある。典型的に、および従来では、外科医は、手動ダイヤルを使用して、またはカメラの画像センサから受信した画像データのみに基づいて、システムのオートフォーカスの特徴に基づいてのいずれかで、焦点調整する必要がある。医療分野の典型的なオートフォーカス機構はまた、位相検出オートフォーカス、飛行時間（光反射）、または他の何らかの光ベースの推定方法を採用することができる。
【0008】
これらの従来型のシステムの欠点は、該システムにより、外科医が外科手術処置を中断し、カメラの焦点を手動で変更する必要があることである。これにより、外科手術処置中に、外科医の注意力が散漫になる。オートフォーカス技術を採用するシステムでは、カメラの焦点または視野は、多くの場合、外科医が視認する必要があり、より大きな視野深度を必要とする、手術部位の実際の部分に整列またはそれを覆うものではない。より大きな視野深度を採用する従来型のカメラは、より多くの光を必要とし、このため、総分解能が小さくなる。
【課題を解決するための手段】
【0009】
本開示のロボット外科手術システムでは、該システムは、カメラの視野および焦点距離または焦点を決定するために、カメラ組立品のカメラの位置、およびロボットアームの把持具またはエンドエフェクタの位置を利用する。カメラに対するエンドエフェクタの位置情報を使用することによって、本開示のシステムが、カメラの焦点距離および焦点を決定することができる一方、該システムにより、外科医は、カメラからの画像データのみに依存する必要がなく、重要なまたは外科医が見ることを望む手術部位の部分を付随して見ることができる。したがって、該システムは、偽陽性が少ない、より正確な焦点を有し、さらに、所望の視野で常に焦点を合わせる能力を有する。
【0010】
一つの実施形態によれば、本開示は、センサユニットと、制御装置と、ロボットサブシステムと、を含む、外科用ロボットシステムを提供する。ロボットサブシステムは、センサユニットおよび制御装置と通信する。さらに、ロボットサブシステムは、その遠位端にエンドエフェクタを各々有する複数のロボットアームと、少なくとも二つのカメラ、および少なくとも二つのカメラの各々のレンズをオートフォーカスさせるように構成されたオートフォーカスユニットを有する、カメラ組立品と、を含む。制御装置は、センサユニットから受信されるカメラおよびロボットアームのステートメント情報に基づいて、所望の焦点距離を計算するように構成され得る。これに応答して、オートフォーカスユニットは、所望の焦点距離に基づいて、少なくとも二つのカメラの各々のレンズをオートフォーカスさせるように構成され得る。
【0011】
状態情報は、各カメラから、外科医の視野内にあるロボットアームの各エンドエフェクタまでの距離を含み得る。さらに、状態情報は、各カメラおよび各エンドエフェクタの位置情報および配向情報を含み得る。計算された所望の焦点距離に基づいて、制御装置は、特定の焦点深度に従って焦点コマンドを決定し、焦点コマンドをオートフォーカスユニットに送信するように構成され得る。それに応答して、オートフォーカスユニットは、カメラの各々のレンズの焦点を合わせるために、各カメラの物理的焦点距離を調整するように構成され得る。
【0012】
さらに、制御装置は、焦点データの急激な変化を低減するために、所望の焦点距離をフィルタリングするように構成され得る。フィルタリングに使用されるフィルタの強度は、外科医の頭部動作の程度に基づいて、変化し得る。異なる所望の焦点距離も、カメラの各々に対して計算され得る。所望の焦点距離は、重み付けアルゴリズムを使用して、さらに計算され得る。ロボットアームの各々は、重み付けアルゴリズムにおいて、異なる重み付けがされ得る。各ロボットアームの重みは、システムパラメータに基づく関数である。
【0013】
特に、各ロボットアームは、複数の関節部を含み得る。これらの関節部は、肩関節、肘関節、および手首関節を含み得る。したがって、システムパラメータは、各カメラの視野内の各エンドエフェクタの中心からの距離、各エンドエフェクタの状態、および肘関節の位置を含み得る。一つの実施形態では、焦点調節速度は、各エンドエフェクタが標的位置から外側に移動するにつれて増加され得、各エンドエフェクタが標的位置に向かって移動するにつれて減少され得る。
【0014】
別の実施形態によれば、本開示は、その遠位端にエンドエフェクタを各々有する複数のロボットアームと、カメラ組立品と、を含む、ロボットサブシステムを提供する。カメラ組立品は、少なくとも二つのカメラと、制御装置と、カメラの各々のレンズをオートフォーカスさせるように構成されたオートフォーカスユニットと、を含み得る。制御装置は、センサユニットから受信した少なくとも二つのカメラおよび複数のロボットアームの状態情報に基づいて、所望の焦点距離を計算するように構成され得る。これに応答して、オートフォーカスユニットは、所望の焦点距離に基づいて、少なくとも二つのカメラの各々のレンズをオートフォーカスさせるように構成され得る。
【0015】
焦点調節速度は、ロボットアームが標的位置から外側に移動するにつれて増加され、ロボットアームが標的位置に向かって内側に移動するにつれて減少される。さらに、状態情報は、各カメラから、外科医の視野内にある複数のロボットアームの各エンドエフェクタまでの距離、ならびに少なくとも二つのカメラおよび複数のロボットアームの各エンドエフェクタの位置および配向の情報のうちの少なくとも一つを含む。
【0016】
本開示のこれらおよび他の特徴および利点は、同様の参照符号が様々な図を通して同様の要素を指す、添付図面と併せて以下の詳細な説明を参照することによって、より完全に理解されるであろう。図面は、本開示の原理を例示し、正確な縮尺ではないが、相対的な寸法を示す。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
以下の説明では、開示された主題の徹底的な理解を提供するために、本開示のシステムおよび方法、ならびに該システムおよび方法が動作し得る環境に関して、多数の具体的な詳細が記載されている。しかしながら、当業者には、開示された主題が、このような具体的な詳細なしに実施され得、また当該技術分野で周知の特定の特徴が、本開示の主題の複雑さを回避し、その明確性を高めるために、詳細に記載されていないことは明白であろう。さらに、以下に提供される任意の実施例は、単に例示であり、限定された様式で解釈されるものではなく、本発明の教示を実施または完遂するために、他のシステム、装置、および／または方法が用いられ得、本発明の範囲内であるとみなされることが本発明者によって想定されることは、理解されるであろう。
【0019】
例示的な実施形態が、例示的なプロセスを実施するために、複数のユニットを使用するものとして説明されているが、例示的なプロセスはまた、一つ以上のモジュールによっても実施され得ることは理解される。さらに、用語である制御装置／制御ユニットが、メモリおよびプロセッサを含み、本明細書に記述されるプロセスを実行するように具体的にプログラムされるハードウェアデバイスを指すことは理解される。メモリは、モジュールを保存するように構成され、プロセッサは、以下でさらに説明される一つ以上のプロセスを実施するために、当該モジュールを実行するように特に構成される。
【0020】
さらに、本開示の制御ロジックは、プロセッサ、制御装置／制御ユニット、またはこれに類するものによって実行される実行可能なプログラム命令を含むコンピュータ可読媒体上の非一時的コンピュータ可読媒体として具体化され得る。コンピュータ可読媒体の例としては、ＲＯＭ、ＲＡＭ、コンパクトディスク（ＣＤ）－ＲＯＭ、磁気テープ、フロッピーディスク、フラッシュドライブ、スマートカード、および光データ記憶装置が挙げられるが、これらに限定されない。コンピュータ可読記録媒体はまた、コンピュータ可読媒体が、例えば、テレマティクスサーバまたは制御装置エリアネットワーク（ＣＡＮ）によって、分散様式で記憶および実行されるように、ネットワーク結合コンピュータシステムに分散され得る。
【0021】
本明細書で使用する用語は、特定の実施形態のみを説明する目的であり、本開示を限定することを意図するものではない。本明細書で使用する単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別段の明確な示唆がない限り、複数の形態も含むことを意図される。用語「ｃｏｍｐｒｉｓｅｓ」および／または「ｃｏｍｐｒｉｓｉｎｇ」は、本明細書において使用する場合、記載された特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、一つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を妨げないことはさらに理解されるであろう。本明細書で使用する用語「および／または」は、関連する列挙された品目のうちの一つ以上の任意のおよびすべての組み合わせを含む。
【0022】
文脈から具体的に記載されない限り、または明白でない限り、本明細書で使用する用語「約」は、当技術分野での通常の公差の範囲内、例えば、平均の２標準偏差以内であると理解される。「約」は、記載値の１０％、９％、８％、７％、６％、５％、４％、３％、２％、１％、０．５％、０．１％、０．０５％、または０．０１％以内であると理解され得る。文脈から別途明らかでない限り、本明細書に提供されるすべての数値は、用語「約」によって修正される。
【0023】
本開示のシステムおよび方法が、仮想現実の外科手術システムの一部として用いられる一つ以上の外科用ロボットシステムと併用するように設計され得る一方、本開示のロボットシステムは、例えば、ロボット外科手術システム、直線スティック型外科手術システム、および腹腔鏡システムを含む、任意の型の外科手術システムに関連して用いられ得る。さらに、本開示のシステムは、ユーザが装置または機器を制御しながら無数の情報へのアクセスを必要とする、他の非外科手術システムで使用され得る。
【0024】
本明細書に開示のシステムおよび方法は、例えば、特許文献１およびＰＣＴ特許出願第ＰＣＴ／ＵＳ２０２０／３９２０３号に開示されたロボット外科手術装置および関連するシステム、および／または特許文献２に開示されたカメラシステムに組み込まれ、かつこれらと共に利用され得、上述の特許、特許出願および公報の全ての内容および教示は、参照により、本明細書に組み込まれる。本開示の一部を形成する外科用ロボットシステムは、ユーザワークステーション、ロボット支援システム（ＲＳＳ）、モータユニット、および一つ以上のロボットアームおよび一つ以上のカメラ組立品を含む移植可能な外科用ロボットサブシステムを有する外科手術システムを含む。移植可能なロボットアームおよびカメラ組立品は、単一の支持軸ロボットシステムの一部を形成し得、または分割アームアーキテクチャロボットシステムの一部を形成し得る。
【0025】
ロボットアームは、ヒト様の動作を提供するために、例えば図３に示すように、ユーザの肩、肘、手首および指と関連付けられる動作と関連付けられ得る、関節部分または領域を有し得る。例えば、ロボット肘関節は、ヒトの肘の位置および配向に追従し得、ロボット手首関節は、ヒトの手首の位置および配向に追従し得る。ロボットアームはまた、それと関連付けられる末端領域を有し得、これは、例えば、ユーザが人差し指と親指を一緒に挟む際に、人差し指など、ユーザの指の一つ以上の動作に追従するエンドエフェクタまたは把持具で終端し得る。ロボットのアームが、ユーザの腕の動作に追従する間、ロボットの肩部は、定位置に固定され得る。一つの実施形態では、ユーザの胴体の位置および配向は、ユーザの腕の位置および配向から差し引かれる。この差し引きにより、ユーザは、ロボットアームが動くことなく、胴体を移動させることが可能である。
【0026】
図１は、本発明の教示に係る、外科用ロボットシステム１０の概略ブロック図である。システム１０は、ディスプレイ装置またはユニット１２と、仮想現実（ＶＲ）計算ユニット１４と、感知および追跡ユニット１６と、計算ユニット１８と、ロボットサブシステム２０と、を含む。ディスプレイユニット１２は、ＶＲ計算ユニット１４、計算ユニット１８、および／またはロボットサブシステム２０によって生成される情報、画像またはビデオを表示するための任意の選択された型のディスプレイであり得る。ディスプレイユニット１２は、例えば、頭部装着式ディスプレイ（ＨＭＤ）、画面またはディスプレイ、三次元（３Ｄ）画面などを含む、またはその一部を形成することができる。ディスプレイユニットはまた、市販の頭部装着式ディスプレイに見出すことができるなど、任意選択のセンサおよび追跡ユニット１６Ａを含むことができる。感知および追跡ユニット１６および１６Ａは、例えば、看護師または外科医などのシステムのユーザに結合される、一つ以上のセンサまたは検出器を含むことができる。センサは、ユーザの腕に結合され得、頭部装着式ディスプレイが使用されない場合、追加のセンサはまた、ユーザの頭部および／または頸部の領域に結合され得る。この配置のセンサは、センサおよび追跡ユニット１６によって表される。ユーザが頭部装着式ディスプレイを用いる場合、目、頭部および／または頸部センサおよび関連する追跡技術は、その装置内に組み込まれる、または用いられ得、それゆえ、任意選択のセンサおよび追跡ユニット１６Ａの一部を形成することができる。
【0027】
外科医の腕に結合されるセンサおよび追跡ユニット１６のセンサは、好ましくは、例えば、肩領域、肘領域、手首または手領域、および望ましい場合には指など、腕の選択された領域に結合され得る。センサは、ユーザの選択された部分の位置を示す位置データを生成する。感知および追跡ユニット１６および／または１６Ａは、ロボットサブシステム２０のカメラ組立品４４およびロボットアーム４２の動作を制御するために利用され得る。センサおよび追跡ユニット１６のセンサによって生成される位置データ３４は、プロセッサ２２によって処理するための計算ユニット１８に伝達され得る。計算ユニット２０は、位置データから、外科医の腕の各部分の位置および／または配向を決定または計算し、このデータをロボットサブシステム２０に伝達するように構成され得る。
【0028】
代替的な実施形態によれば、感知および追跡ユニット１６は、外科医の胴体または他の任意の身体部分に結合されたセンサを用いることができる。さらに、感知および追跡ユニット１６は、センサに加えて、例えば、加速度計、ジャイロスコープ、磁気計、および動作プロセッサを有する慣性運動量ユニット（ＩＭＵ）を用いることができる。磁気計の追加は、磁気方位によって、垂直軸の周りのセンサドリフトを低減できるため、本分野における標準的な実践例である。代替的な実施形態としては、手袋、外科手術用スクラブ、または外科手術用ガウンなどの外科手術材料内に配置されたセンサも含まれる。センサは、再利用可能または使い捨てであってもよい。さらに、センサは、手術室などの部屋の固定された場所など、ユーザの外部に配設され得る。外部センサは、計算ユニットによって処理され得、したがって、システム１０によって用いられ得る外部データ３６を生成するように構成され得る。別の実施形態によれば、ディスプレイユニット１２が、関連するセンサおよび追跡ユニット１６Ａを用いる頭部装着式ディスプレイである場合、該装置は、ＶＲ計算ユニット１４によって受信および処理される追跡および位置データ３４Ａを生成する。さらに、センサおよび追跡ユニット１６は、所望の場合、手部制御装置を含み得る。
【0029】
ディスプレイがＨＭＤである実施形態では、ディスプレイユニット１２は、例えば、Ｏｃｕｌｕｓ Ｒｉｆｔ、Ｖａｒｊｏ ＶＲ－１、またはＨＴＣ Ｖｉｖｅ Ｐｒｏ Ｅｙｅなどの仮想現実の頭部装着式ディスプレイとなり得る。ＨＭＤは、ユーザの頭部に結合または装着されるディスプレイ、ディスプレイの焦点を絞った表示を可能にするレンズ、およびディスプレイの位置および配向の追跡を提供するセンサおよび／または追跡システム１６Ａをユーザに提供し得る。位置および配向センサシステムは、例えば、加速度計、ジャイロスコープ、磁気計、動作プロセッサ、赤外線追跡、アイトラッキング、コンピュータビジョン、交互磁界の放出および感知、ならびに位置および配向の少なくとも一つを追跡する他の任意の方法、またはそれらの任意の組み合わせを含むことができる。周知のように、ＨＭＤは、カメラ組立品４４から外科医の両目に画像データを提供し得る。外科医のための仮想現実の体験を維持するために、センサシステムは、外科医の頭部の位置および配向を追跡し、その後、データをＶＲ計算ユニット１４に、所望の場合は、計算ユニット１８に中継することができる。計算ユニット１８は、ロボットのカメラ組立品４４のパン撮りおよび傾きをさらに調整し得、ユーザの頭部動作に追従する。
【0030】
例えば、ディスプレイユニット１２および／または追跡ユニット１６Ａと関連付けられるなど、ＨＭＤと関連付けられる場合、センサによって生成されるセンサまたは位置データ３４Ａは、直接またはＶＲ計算ユニット１４を介してのいずれかで、計算ユニット１８に伝達され得る。同様に、ユーザの腕および手と関連付けられ得る感知および追跡ユニット１６など、システム内の他のセンサによって生成される追跡および位置データ３４は、計算ユニット１８に伝達され得る。追跡および位置データ３４、３４Ａは、プロセッサ２２によって処理され得、例えば、記憶ユニット２４に記憶され得る。追跡および位置データ３４、３４Ａはまた、制御ユニット２６によって使用され得、この制御ユニットは、それに応答して、ロボットサブシステム２０の一つ以上の部分の動作を制御するための制御信号を生成することができる。ロボットサブシステム２０は、ユーザワークステーションと、ロボット支援システム（ＲＳＳ）と、モータユニット４０と、一つ以上のロボットアーム４２および一つ以上のカメラ組立品４４を含む移植可能な外科用ロボットと、を含み得る。移植可能なロボットアームおよびカメラ組立品は、特許文献１に開示および記載されるような単一の支持軸ロボットシステムの一部を形成し得、またはＰＣＴ特許出願第ＰＣＴ／ＵＳ２０／３９２０３号に開示および記載されるような分割アーム（ＳＡ）アーキテクチャロボットシステムの一部を形成し得る。
【0031】
制御ユニット２６によって生成される制御信号は、ロボットサブシステム２０のモータユニット４０によって受信され得る。モータユニット４０は、ロボットアーム４２およびカメラ組立品４４を別々に駆動するように構成される、一連のサーボモータを含み得る。ロボットアーム４２は、関連するセンサによって感知される外科医の腕の縮小された移動または動作に追従するように制御され得る。ロボットアーム４２は、ユーザの肩関節、肘関節、および手首関節ならびに指と関連付けられ得る動作と関連付けられ得る、部分または領域を有し得る。例えばロボット肘関節は、ヒトの肘の位置および配向に追従し得、ロボット手首関節は、ヒトの手首の位置および配向に追従し得る。ロボットアーム４２はまた、それと関連付けられる末端領域を有し得、これは、例えば、ユーザが人差し指と親指を一緒に挟む際に、人差し指など、ユーザの指の一つ以上の動作に追従するエンドエフェクタで終端し得る。ロボットのアームが、ユーザの腕の動作に追従する間、ロボットの肩部は、定位置に固定される。一つの実施形態では、ユーザの胴体の位置および配向は、ユーザの腕の位置および配向から差し引かれる。この差し引きにより、ユーザは、ロボットアームが動くことなく、胴体を移動させることが可能である。
【0032】
ロボットカメラ組立品４４は、外科医に、例えば、手術または手術部位のライブビデオフィードなどの画像データ４８を提供するだけでなく、外科医がカメラ組立品４４の一部を形成するカメラを作動および制御することを可能にするように構成される。カメラ組立品４４は、好ましくは、一対のカメラ６０Ａ、６０Ｂを含み、その光学軸は、選択された距離だけ軸方向に間隔を置いて配置されて、これは、カメラ間距離として知られ、手術部位の立体視または画像を提供する。外科医は、頭部装着式ディスプレイの動作により、または外科医の頭部に結合されたセンサを介して、もしくはユーザの頭部または腕の動作を追跡する手部制御装置またはセンサを使用してのいずれかで、カメラ６０Ａ、６０Ｂの動作を制御することができ、それによって、外科医が、直感的かつ自然に、手術部位の所望の視界を取得可能である。カメラは、周知のように、例えば、ヨー方向、ピッチ方向およびロール方向を含む、複数の方向に移動可能である。立体カメラの構成要素は、自然で快適に感じるユーザ体験を提供するように構成され得る。一部の実施形態では、カメラ間の軸間距離は、ユーザが知覚する手術部位の深度を調整するように修正され得る。
【0033】
一つの実施形態によれば、カメラ組立品４４は、外科医の頭部動作によって作動され得る。例えば、手術中、外科医が現在の視野（ＦＯＶ）の上方に位置する物体を見ることを望む場合、外科医は上方向を見て、これにより、立体カメラは、ユーザの視点から上向きにピッチ軸の周りに回転される。カメラ組立品４４によって生成される画像またはビデオデータ４８は、ディスプレイユニット１２上に表示され得る。ディスプレイユニット１２が頭部装着式ディスプレイである場合、該ディスプレイは、ＨＭＤのヨー方向、ピッチ方向およびロール方向の未加工の配向データ、ならびにＨＭＤのデカルト空間（ｘ，ｙ，ｚ）内の位置データを取得する、組み込み式追跡およびセンサシステム１６Ａを含み得る。しかしながら、代替的な追跡システムを使用し得、ＨＭＤの組み込み式追跡システムの代わりに、またはそれに加えて、ディスプレイの補足的な位置および配向追跡データを提供する。本開示での使用に好適なカメラ組立品の実施例は、特許文献１および特許文献２に開示されるカメラ組立品を含み、その内容は、参照により、本明細書に組み込まれる。
【0034】
カメラ組立品４４によって生成される画像データ４８は、仮想現実（ＶＲ）計算ユニット１４に伝達され得、ＶＲまたは画像描画ユニット３０によって処理され得る。画像データ４８は、静止写真または画像データならびにビデオデータを含むことができる。ＶＲ描画ユニット３０は、当技術分野で周知のように、画像データを処理し、その後、ディスプレイユニット１２によって表示するための画像データを描画するための好適なハードウェアおよびソフトウェアを含み得る。さらに、ＶＲ描画ユニット３０は、カメラ組立品４４から受信した画像データを、カメラ組立品内のカメラの位置および配向と関連付けられた情報、ならびに外科医の頭部の位置および配向と関連付けられた情報と組み合わせることができる。この情報により、ＶＲ描画ユニット３０は、出力ビデオまたは画像描画信号を生成し得、この信号をディスプレイユニット１２に送信し得る。すなわち、ＶＲ描画ユニット３０は、例えば、外科医が着用するＨＭＤにおけるなど、ディスプレイユニットにおける表示のために、手部制御装置の位置および配向の読み取り値および外科医の頭部位置を描画する。
【0035】
ＶＲ計算ユニット１４はまた、ディスプレイユニット１２内に表示されるＶＲ世界での使用または設置のための、一つ以上の仮想現実（ＶＲ）カメラを生成するための仮想現実（ＶＲ）カメラユニット３８を含み得る。ＶＲカメラユニット３８は、仮想世界で一つ以上の仮想カメラを生成し得、これは、頭部装着式ディスプレイ用の画像を描画するために、システム１０によって用いられ得る。これにより、ＶＲカメラは、頭部装着式ディスプレイを着用しているユーザがキューブマップに見るのと同一の表示を常に描画する。一つの実施形態では、単一のＶＲカメラを使用することができ、別の実施形態では、別個の両目でのＶＲカメラを用い得、ディスプレイ内の別個の両目でのキューブマップ上に描画して、立体視を提供する。ＶＲカメラのＦＯＶ設定は、カメラ組立品４４によって公開されたＦＯＶに対して自己構成し得る。ライブカメラビューまたは画像データ用のコンテキスト背景を提供することに加えて、キューブマップを使用し得、動的反射を仮想物体上に生成する。この効果により、仮想物体上の反射面は、キューブマップから反射を捕捉し、これらの物体が、現実世界の環境を実際に反映しているかのようにユーザには映る。
【0036】
ロボットアーム４２は、例えば、腕の肩領域、肘領域、および手首領域などのヒトの腕の異なる部分を模倣するために、回転および／またはヒンジ式の動作のために構築および組み合わせられ得る関節部を形成する、複数の機械的に連結された作動セクションまたは部分から構成され得る。ロボットアームのアクチュエータセクションは、例えば、ケーブル駆動の回転動作を提供するが、合理的な回転限界内に収まるように構築される。アクチュエータセクションは、最大トルクおよび速度を、最小サイズで提供するように構成される。
【0037】
図２は、本開示のロボットサブシステム２０のカメラ組立品４４のさらなる詳細図である。図示したカメラ組立品４４は、手術部位の立体視を提供するためのカメラ６０Ａおよび６０Ｂを含み得る。カメラは、レンズおよび関連する光学レンズ、画像センサ、制御装置などを含む、既知の要素を含み得る。したがって、カメラ組立品は、例えば、カメラ６０Ａ、６０Ｂのレンズをオートフォーカスさせるためのオートフォーカスユニット６２を含み得る。オートフォーカスユニット６２が、別個のユニットとして示されているが、各カメラに含まれ得る。制御装置６４は、計算ユニット１８および／またはモータユニット４０から受信した制御信号に応答して、カメラ６２Ａ、６２Ｂと同様に、オートフォーカスユニット６２を制御するための制御信号を提供し得る。
【0038】
図示したカメラ組立品４４は、オートフォーカスユニット６２を市販の他の装置よりも重要にする二つの追加的な特性を示す。第一に、カメラ組立品４４は、通常の動作においてはるかに多くの動作を有し、その結果、異なる位置により迅速に焦点を合わせる必要が生じる。第二に、オートフォーカスユニット６２は、そうでなければ必要とされるよりも狭い視野深度を利用するレンズ系を採用し得る。このため、オートフォーカスユニット６２は、より安価なレンズ素子を使用し得る一方、焦点領域においてより良好な明瞭性を提供する。
【0039】
図３は、ロボットサブシステム２０のロボットアーム４２およびカメラ組立品４４の一般的な概略図である。ロボットアーム４２は、例えば、別個のロボットアーム４２Ａおよび４２Ｂを含み得る。ロボットアーム４２Ａ、４２Ｂの各々は、それぞれ、エンドエフェクタまたは把持具４６Ａ、４６Ｂを含み得る。
【0040】
制御装置６４は、モータユニット４０から、および例えば、センサおよび追跡ユニット１６、１６Ａからなど、システムと関連付けられた任意のセンサから受信した位置情報を使用または採用し得、所望の焦点距離を計算または決定し得る。一つの実施形態では、利用される情報は、カメラから、現在外科医の視野内にあるロボットアーム４２Ａ、４２Ｂの各エンドエフェクタ部分４６Ａ、４６Ｂまでの距離である。制御装置６４はまた、工場で距離空間内に較正される各カメラ６０Ａ、６０Ｂの焦点曲線を記憶し得、各カメラの焦点は、外科医がロボットアーム４２を、意図される視野の深度の最小位置として使用して見ている場所と一致するように、オートフォーカスユニット６２によって調整され得る。システム１０がロボットアーム４２またはカメラ組立品４４を移動する際に、カメラ６０Ａ、６０Ｂの焦点は、それに応じて調整され得る。
【0041】
図４に示すように、所望の焦点距離は、システム状態１１０（例えば、アーム位置およびカメラ位置）を決定し、その後、選択された重み付けアルゴリズム１１２を使用して決定され得、システム状態データ１１０を処理する。重み付けアルゴリズム技術１１２は、外科医の関心領域を高い忠実度で合致させ、その後、情景の直接知識または外科医からの直接の入力なしに、カメラ４０Ａ、４０Ｂをオートフォーカスユニット６２により領域で焦点を合わせるように構成され得る。重み付けアルゴリズムは、所望の焦点距離１１４を決定し得る。所望の焦点距離１１４は、所与の所望の焦点深度に対して選択された焦点コマンド１１６を決定するために、較正された焦点曲線１００を使用することを含む、様々な方法をその後利用し得る、制御装置６４に送信され得る。焦点コマンド１１６は、カメラの物理的焦点距離を変更するために、オートフォーカスユニット６２に送信される。重み付けアルゴリズムおよび関連する処理は、計算ユニット１８内で発生し得る。別の方法として、計算は、カメラ制御装置６４内で行われ得る。
【0042】
代替的な実施形態によれば、外科用ロボットシステム１０は、所望の焦点距離１１４を処理するために、フィルタを採用し得る。例えば、図５Ａに示すように、計算ユニット１８を介したシステムは、所望の焦点距離１１４を生成するために、重み付けアルゴリズム技術１１２を採用し得る。その後、所望の焦点距離１１４は、焦点データの大きいまたは迅速な変化を低減するために、ローパスフィルタ１１８などの任意選択のフィルタを通過し得る。ローパスフィルタ１１８の強度は、頭部動作の程度によって調整または変化し得る（すなわち、頭部動作がより大きいほど、フィルタ強度は弱くなる）。ローパスフィルタ１１８の出力は、制御装置６４に伝達され得る。別の方法として、フィルタは、図５Ｂに示すように、オートフォーカスユニット６２の出力で位置決めされ得る。特に、フィルタはローパスフィルタに限定されず、本開示は、他の公知のフィルタを想定する。
【0043】
本開示の別の実践例によれば、所望の焦点距離１１４は、カメラ６０Ａ、６０Ｂの間で変化し得る。カメラ６０Ａ、６０Ｂを、所望の焦点距離１１４からの位置（例えば、一方のカメラをより近く、他方のカメラをより遠く）に焦点を合わせることによって、合成画像は、カメラからの画像が重ね合わせられる場合、より大きな視野深度で作成され得る。
【0044】
システムは、ロボットアームのエンドエフェクタ部分とカメラとの間の距離を取ることによって、および各ロボットアームと関連付けられた選択された加重値を採用することによって、所望の焦点距離を決定し得る。加重値を選択された様式で数学的に組み合わせることによって、制御装置６４は、それから所望の焦点距離１１４を決定し得る。各エンドエフェクタ４６Ａ、４６Ｂに対するカメラ組立品４４の位置および配向は、カメラ組立品の制御装置６４によって、ならびに制御ユニット２６によって決定され得る。その後、制御装置６４は、オートフォーカスユニット６２によって受信される制御信号を生成する。これに応答して、オートフォーカスユニット６２は、既知の技術に従って、カメラ６０Ａの焦点または長さを変更、調整、または制御するための信号を生成する。エンドエフェクタとカメラ組立品との間の距離が変化する際に、オートフォーカスユニット６２は、それに応答して、カメラの焦点または長さを自動調整し得る。
【0045】
一つの実施形態によれば、システム状態データは、入力がシステム１０の出力に与える相対的な影響を調整するために、重み付けアルゴリズムユニットによって処理される。例えば、図６Ａおよび図６Ｂに示すように、ロボットアームおよびカメラの位置（例えば、姿勢）の状態を定義するシステム状態データ１１０は、制御ユニット２６によって生成される。その後、システム状態データ１１０は、所望の焦点距離１１４を決定するための、焦点距離計算器１４０に導入される。焦点距離計算器１４０は、計算ユニット１８の一部を形成し得、またはロボットサブシステム２０の一部を形成し得る。焦点距離計算器１４０は、選択された型のデータを抽出し、処理されたシステム状態データ１４４を生成するためのデータ抽出装置ユニット１４２を含み得る。処理されたシステム状態データ１４４は、重み付けアルゴリズム技術をシステム状態データ１４４に適用するための、重み付けアルゴリズムユニット１４６に伝達される。重み付けアルゴリズムユニット１４６は、システム状態データから所望の焦点距離１１４を生成する。より具体的には、データ抽出装置ユニット１４２は、例えば、左法線距離計算ユニット１４２Ａおよび右法線距離計算ユニット１４２Ｂを含む、各ロボットアームまでのカメラの法線距離を計算するための、複数の異なる距離計算ユニットを採用し得る。例えば、システム状態情報１１０は、左エンドエフェクタの位置および配向の情報、ならびに左法線距離計算ユニット１４２Ａに導入される左カメラの位置および配向の情報を含み得る。
【0046】
さらに、システム状態情報１１０は、右エンドエフェクタの位置および配向の情報、ならびに右法線距離計算ユニット１４２Ａに導入される右カメラの位置および配向の情報を含み得る。左法線距離計算ユニット１４２Ａは、入力データから、左カメラと左エンドエフェクタとの間の距離を示す左距離データ１４４Ａを計算する。同様に、右法線距離計算ユニット１４２Ｂは、対応する入力データから、右カメラと右エンドエフェクタとの間の距離を示す右距離データ１４４Ｂを計算する。その後、距離データ１４４Ａ、１４４Ｂは、さらなる処理のための、重み付けアルゴリズムユニット１４６に導入される。重み付けアルゴリズムユニット１４６は、以下の式を用いて、所望の焦点距離１１４を決定する焦点距離計算ユニットを含み得：
焦点距離＝（Ｗ１×ＺＬ＋Ｗ２×ＺＲ）／（Ｗ１＋Ｗ２）
である。式中、Ｗ１およびＷ２は、それぞれ、左ロボットアームおよび右ロボットアームと関連付けられた選択された加重値を表し、Ｚ１は、左法線距離計算ユニット１４２Ａからの距離値１４４Ａを表し、Ｚ２は、右法線距離計算ユニット１４２Ｂからの距離値１４４Ｂを表す。
焦点距離＝（Ｗ１×ＺＬ＋Ｗ２×ＺＲ）／（Ｗ１＋Ｗ２）
である。式中、Ｗ１およびＷ２は、それぞれ、左ロボットアームおよび右ロボットアームと関連付けられた選択された加重値を表し、Ｚ１は、左法線距離計算ユニット１４２Ａからの距離値１４４Ａを表し、Ｚ２は、右法線距離計算ユニット１４２Ｂからの距離値１４４Ｂを表す。
【0047】
このため、重み付けアルゴリズム技術によると、各ロボットアームは別々に加重され、その後、加重値は、計算された所望の焦点距離１１４が適切な範囲内にあるように、それらの重みの合計で割ることによって正規化される。重み付けアルゴリズム技術の一つの実施形態によると、重みＷ１およびＷ２の両方は、重み付けアルゴリズムが二つの距離の平均値を効果的に計算するように、固定され、１に等しい。重み付けアルゴリズム技術の別の実施形態によれば、二つのロボットアームの重みＷ１およびＷ２は、一方のアームが所望の焦点距離１１４を決定する際に他方に対してより影響があるように、変化され得る。重み付けアルゴリズム技術のさらに別の実施形態では、二つのロボットアームの重みは、他のシステムパラメータに基づく関数（すなわち、固定されていない）であり得る。システムパラメータは、例えば、エンドエフェクタがカメラの視野（ＦＯＶ）内のどの程度中心にあるか、エンドエフェクタの状態（すなわち、把持具が開いているか、閉じているか、またはその間のどこにあるか）、肘関節の位置、またはシステムが測定し、焦点距離計算装置ユニット１４０に中継し得る他の任意のパラメータを含み得る。
【0048】
システムパラメータは、データ抽出装置ユニット１４２によってシステム状態データ１１０から抽出され得る。この技術の実施例を、例えば、図６Ｃに示す。図示した実施形態では、データ抽出装置ユニット１４２は、追加のシステム状態データ１４４を決定するための追加の計算ユニットを含み得る。その後、追加のシステム状態データ１４４は、重み付けアルゴリズムユニット１４６Ａによって処理される。エンドエフェクタがカメラの視野内のどの程度中心にあるか利用する際に、データ抽出装置ユニット１４２は、エンドエフェクタ位置のＸおよびＹの構成要素、およびそれがカメラのＦＯＶにどのように関連するかの幾何学的知識を使用して、ＦＯＶの中心までの所与のエンドエフェクタの距離を計算する。この実施形態では、重み付けアルゴリズム技術における所与のエンドエフェクタの重みは、ＦＯＶの中心までの距離の関数である。例えば、エンドエフェクタがより中心にあるほど、そのエンドエフェクタに対する重みは強くなる。物体が視界から外れる場合、重みは低下する。このような依存性は、ユーザがＦＯＶの中心に焦点を合わせている可能性が高いため、望ましい場合があり、したがって、エンドエフェクタが中心により近いということは、ユーザのそこに焦点を合わせたい望みと相関し得る。
【0049】
カメラ組立品の視野の実施例を、例えば、図７に示す。図示した視野１５０は、中心１５２を有する。ロボットアーム４２は、エンドエフェクタまたは把持具４６Ａを含むロボットアーム４２Ａと、右エンドエフェクタまたは把持具４６Ｂを備えたロボットアーム４２Ｂと、を含む。システムは、画像データから、右ロボットアームおよび左ロボットアームの中心距離データＲ左およびＲ右を決定し得る。
【0050】
図８は、本開示の制御ユニットによって用いられ得るグラフ１６０を示す。グラフ１６０は、Ｙ軸１６２に沿った重み値、およびＸ軸１６４に沿った視野１５２の中心からの距離を示す。視認され得るように、エンドエフェクタによる重みは、ＦＯＶの中心からの距離が増加するにつれて減少する。他の実施形態では、ＦＯＶの中心からの距離と任意の関連する重みとの間の関係は、ポリノミック、対数、逆指数、または当技術分野で公知の他の任意の関係などの他の非線形形態をとり得る。
【0051】
さらに別の実施形態では、各ロボットアーム４２Ａ、４２Ｂの重みは、エンドエフェクタでの把持具の状態（例えば、開または閉、またはその間）に依存し得る。例えば、ユーザが把持具を閉じている場合、これは、ユーザがそのエンドエフェクタで観察したい動作を行っていることを示し得、したがって、そのエンドエフェクタが焦点に合って、したがって、より重み付けされることは望ましい。図９は、本開示の制御ユニットによって用いられ得るグラフ１６０を示す。グラフ１７０は、Ｙ軸１７２に沿った重み値、およびＸ軸１７４に沿った把持具の状態を示す。把持具の状態は、閉状態１７６と開状態１７８との間で変化し得る。視認され得るように、エンドエフェクタによる重みは、把持具が閉状態から開状態に移行するにつれて、減少する。他の実施形態では、把持具の状態と任意の関連する重みとの間の関係は、ポリノミック、対数、逆指数、または当技術分野で既知の他の任意の関係などの他の非線形形態をとり得る。
【0052】
他の実施形態では、より離れているエンドエフェクタに適用され得る重みは、より大きくなり得る。これにより、物体がさらに離れるように出力にバイアスがかけられ、背景は前景よりも見えやすくなる。これにより、エンドエフェクタの深度に二次（またはより高次）の従属関係が効果的に作成される。
【0053】
図１０Ａ～１０Ｃに示されるように、特定の状況では、自動焦点調節を制限することが望ましい。例えば、縫合またはその他の操作中、エンドエフェクタが患者に向かって移動するにつれて、焦点調節の速度を減少させることが望ましい。焦点調節が、ロボットアームのエンドエフェクタが患者または標的位置から離れるように移動する（例えば、外側へ移動）するにつれて迅速であるべきである一方、エンドエフェクタが患者または標的位置に向かって移動するにつれて、調節はより遅くなるべきである。オートフォーカスの速度のこの差により、オートフォーカスの性能がより強く、背景画像がより鮮明に提供される。縫合糸を捨てるなどの小さな動作により、実際の設定焦点位置に生じる変化が最小限にとどまる一方、大きな動作により、より急激な変化がもたらされる。この挙動は、負の動作以上に（負の動作よりも強く）離れた正の動作に影響を与える重みを使用して、生成され得る。非常に重み付けされたＩ／Ｄ項を有する比例積分微分（ＰＩＤ）の制御は、より低い動作変化においてあまり変化を提供しない方法で、負の動作に影響を与え得る。図１０Ａは、焦点が組織のわずかに前方にある、このような動作の実施例を示す。
【0054】
図１０Ｂに示す通り、組織は操作されて、焦点が標的の近くに留まることが望ましい。すなわち、図１０Ｂは、調整されていない手の動作または縫合を示す。例えば、外科医が縫合糸を廃棄し始める場合、焦点を直ちに変更することは望ましくなく、焦点は、腕の中心位置よりも組織により近いままであるべきである。したがって、大きいフィルタが、急速な動作中にオートフォーカスの計算に適用され得る。図１０Ｃは、タスクに向かって焦点位置シフトをもたらす、より長い動作の実施例を示す。この実施例では、焦点は、一緒になるエンドエフェクタ（把持具）が近いほど、より速く前進し得る。エンドエフェクタの近接性は、協調動作を示す。
【0055】
なおさらに、重みＷ１およびＷ２は、複数のシステムパラメータの関数であり、複数のパラメータの個々の重みの簡便な乗法関数であり得る。乗法重みの例は、以下の通りであり：
Ｗ１＝ｗＬＣ×ｗＬＧ×ｗＬＺ
である。式中、Ｗ１は、左エンドエフェクタの総重みであり、ｗＬＣは、左アームの距離からＦＯＶの中心までの重みであり、ｗＬＧは、左把持具の開／閉状態からの重みであり、ｗＬＺは、深度から左エンドエフェクタまでの重みである。
Ｗ１＝ｗＬＣ×ｗＬＧ×ｗＬＺ
である。式中、Ｗ１は、左エンドエフェクタの総重みであり、ｗＬＣは、左アームの距離からＦＯＶの中心までの重みであり、ｗＬＧは、左把持具の開／閉状態からの重みであり、ｗＬＺは、深度から左エンドエフェクタまでの重みである。
【0056】
他の実施形態では、例えば、肘の距離、背景距離、およびオートフォーカスアルゴリズムからの距離など、追加の距離は、重み付けアルゴリズム技術に組み込まれ得る。好適な重み付けアルゴリズム技術の実施例を、例えば、図１１に示す。図示した焦点距離計算装置ユニット１４０は、図示したデータ抽出装置ユニット１４２および図示した重み付けアルゴリズムユニット１４６を含み得る。図示した現在の実施例では、ロボットアームの肘関節は、重み付けされる追加の関心点である。一つの実践例によると、肘関節は、エンドエフェクタと関連付けられた重み値よりも小さい、それと関連付けられた重み値を有し得る。これは、エンドエフェクタがＦＯＶから外れた状態で、肘関節のみを見る場合、重み付けアルゴリズム技術の出力が、肘がカメラから離れている距離によって支配され得るため、望ましい。
【0057】
さらに、ユーザが肘関節を有するエンドエフェクタ部分を視野で視認している場合、肘関節と関連付けられた重み値は、エンドエフェクタと関連付けられた重み値よりも十分に小さくなり得、したがって、出力は、エンドエフェクタの距離によって支配され得る。他の実施形態では、焦点距離計算器１４０は、カメラ組立品からの画像データを入力として受信し得、ＰＤＡＦまたは他のオートフォーカスアルゴリズムを利用し得、画像を焦点に合わせるために、オートフォーカス距離を計算する。これは、他の加重値がゼロ（または一部の実施形態では１）に下がる場合に、特に有用であり得る。さらに他の実施形態では、重み付けアルゴリズムへの入力は、カメラの立体画像データから計算された三次元奥行き情報を含み得、画像の背景までの距離を計算し、その後、その情報を所望の焦点距離１１４の計算において別の入力として使用する。これは、所望の焦点距離１１４が背景により近くなるようにバイアスをかけることができ、さらに離れて焦点を合わせることによって、視野の深度を拡大する一助となるのに有用であり得る。
【0058】
視野は、カメラ内の光学素子によって決定され得る。各カメラはまた、ＦＯＶが正常範囲内（例えば、記載値の対角線の６０６０１＋－１５％内）にあることを確認するために、工場で試験され得る。さらに、焦点が変化するにつれて、カメラのＦＯＶも変化する。焦点に関するＦＯＶ変化に対する補正曲線は、レンズ素子に基づいて、計算され得る。
【0059】
したがって、焦点距離計算装置ユニット１４０は、関心対象の各位置（例えば、肘関節、把持具、背景など）の重みを取り、その後、それを、関心対象の位置のドット積およびカメラの指向ベクトルと掛け算する。他の実施形態では、システムは、球状範囲内の位置に基づいて、重み値を提供するカメラからの影響の球状範囲を計算し得る。視野の領域は、それと関連付けられたより大きな加重値を有するように割り当てられ得、加重値は、該球状範囲の中心でピークに達し得る。カメラが球状の窓を生成せず、むしろ長方形を生成するため、位置は、純粋なドット積ではなく、したがって、軸位置に基づいて、重み付けされる必要がある。そのため、カメラのＸ軸に沿った移動は、Ｘ軸がより大きな視野を有するため、Ｙ軸に沿った移動よりも弱い勾配を有し得る。
【0060】
一部の実施形態では、重み付けアルゴリズムが、上述の正規化された線形の組み合わせとは異なる形態を取り得ることに留意されたい。重み付けアルゴリズムはまた、任意の選択された型のフィルタを使用し得、システム状態データに基づいて、所望の焦点距離を決定する一助とするために、状態データを、例えば、カルマンフィルタまたはさらに機械学習技術などの所望の焦点距離に組み合わせる。
【0061】
図１２は、一つ以上のシステムパラメータに基づいて、カメラ組立品４４のカメラをオートフォーカスさせるために、外科用ロボットシステム１０によって用いられるステップまたは方法を示す概略フローチャート図である。図示のように、例えば、センサ（例えば、磁気計およびＩＭＵ）および他の制御入力などの外科用ロボットシステムの選択された構成要素の未加工の位置データは、集約され、記憶ユニット２４に記憶される。（ステップ７０） 位置データは、制御ユニット２６および／または制御装置６４によって使用され得、三次元空間におけるロボットアーム４２Ａ、４２Ｂおよびカメラ組立品４４の各々の姿勢または位置を決定する（ステップ７２）。
【0062】
すなわち、制御装置は、直接測定技術または間接測定技術のいずれかを使用して、ロボットアームの位置を計算し得る。直接測定技術によると、ロボットアーム４２Ａ、４２Ｂおよびカメラ６０Ａ、６０Ｂは各々、最遠位の関節部に位置する、それらと関連付けられた絶対センサを有する。絶対センサは、ロボットアームの最遠位端の位置および配向を、空間の共通原点に対する六つの自由度（例えば、Ｘ、Ｙ、Ｚ、ヨー、ピッチ、およびロール）で測定し得る。このセンサにより、制御装置は、ロボットアームおよびカメラの相対的位置および配向を簡単に決定することができる。本開示での使用に好適な絶対センサの実施例には、交番磁界追跡（Ｐｏｌｈｅｍｕｓ氏が所有する技術に組み込まれたものなど）、光学追跡方法およびＩＭＵ、ならびに当技術分野で公知の他のものが含まれ得る。
【0063】
間接測定技術によると、ロボットアームおよびカメラの姿勢および位置は、例えば、アーム内の各関節部の個々の角度によってなど、システムにおいて既知の他のパラメータから推定される。その後、各関節部の角度は、ロボットアームの順運動学モデルに入力され、ロボットの最遠位の端部またはカメラの位置および配向を六つの自由度で計算する。ロボットアームまたはカメラの位置は、複数の方法で測定され得るが、すべてシステムの状態を把握することに依存する。一つの実践例によれば、例えば、図１３に示すように、ケーブル駆動外科用ロボットシステムでは、制御装置は、ケーブルの状態を判定し、その後、その情報を使用して、ロボットアーム内の各関節部の位置を推定する。公知のように、ロボットアームに用いられる各ケーブルは、特定の関節位置を変化させ、したがって、ロボットアームおよびカメラ組立品の位置に対する計算可能な影響を有する。
【0064】
例えば、システムは、ロボットアームまたはカメラの所与の関節部に対する駆動ケーブルを制御する、モータユニット４０の出力上に位置決めされたホール効果センサまたは電位差計などの好適な位置センサを採用し得る。この実施例では、モータの動作のロボット関節部の動作に対する比は既知であり、ロボットアームの関節部に使用される任意のモータプーリおよび駆動プーリの形状（例えば、半径）に基づいて固定される。したがって、システムは、モータがＸ度回転する場合、ロボット関節部はＹ度だけ移動すると判定し得、ここで、Ｙ＝Ｘ×Ｒであり、Ｒは、上述の比である。このため、制御ユニット２６は、ロボットアームの各々の関節部に対するモータ位置１２０を決定し得る。制御ユニット２６はまた、Ｒｊ／Ｒｍとして定義され得る選択された関節比１２２を使用することによって、ロボットアームのすべての関節部に対する関節位置１２４を決定し、ここで、Ｒｊは、関節部の半径であり、Ｒｍは、モータの半径である。その後、この計算された関節位置１２４および関節部の関連する動作を、順運動学モデル１２６に入力し得、ロボットアームの最遠位部分の位置および配向１２８を計算する。この方法は、ケーブルが硬いと仮定され、ケーブルに作用する摩擦が低い場合に、最良に機能する。
【0065】
一つの実施形態によれば、図１４に示すように、ロボット関節部の角度位置は、関節部に直接取り付けられるセンサを介して測定され得る。これには、ホール効果センサアレイ、電位差計、または当技術分野で公知の他の方法が含まれ得る。この型の関節部の測定は、ケーブルがあまり硬くない場合、またはケーブルに作用する摩擦が高い場合に、ケーブル駆動システムに役立つ場合がある。一つの実施例では、ロボットアームの関節部に埋め込まれたホール効果センサアレイは、関節部の反対側に埋め込まれた磁石の回転位置を測定し、それによって、その関節部の角度位置の直接測定を可能にする。このため、システムは、センサを介して、ロボットアームの関節位置１３０を決定し得る。関節位置１３０は、関節位置データを処理して、ロボットアームの最遠位部分のロボット位置および配向１２８を計算または決定する、順運動学モデル１２６に導入され得る。
【0066】
全ての間接測定方法および技術では、アームロボットおよびカメラ組立品の順運動学モデル１２６は、共通原点および座標フレームを指す。これは、ロボットアームとカメラ組立品との間の幾何学的関係または量の知識を利用することによって行われ得、順運動モデル１２６における追加のパラメータとして採用され得る。これは、直接測定技術では、それらが既に共通の原点まで戻って本質的に測定しているため、必須ではない。
【0067】
ロボットの位置および配向を決定するためにどの技術が採用されるかにかかわらず、ロボットアームのエンドエフェクタの位置および配向、ならびにカメラの位置および配向が一旦計算されると、カメラと各個々のエンドエフェクタとの間の距離は、計算され得る。さらに、間接測定技術および直接測定技術を組み合わせてもよい。例えば、カメラ組立品は、直接測定され得、ロボットアームは、間接的に測定され得、またはその逆もあり得る。他の実施形態では、測定技術は、一つのシステム内で組み合わせられる。例えば、ロボットは、一つの関節部に対するホール効果センサ、および同一ロボット上の別の関節部に対するモータケーブル測定技術を利用し得る。
【0068】
ロボットアーム４２Ａ、４２Ｂおよびカメラ組立品４４の各々の姿勢または位置がシステム１０によって決定されると、ロボットアームのエンドエフェクタ４６Ａ、４６Ｂの両方からのカメラ組立品４４の距離は、制御ユニット２６によって決定または計算され得る。（ステップ７４）ロボットアームのエンドエフェクタの位置および配向、ならびにカメラの位置および配向が一旦計算されると、カメラと各個々のエンドエフェクタとの間の距離は、計算され得る。これは、ピタゴラスの定理（三次元）、四元数回転および並進移動、ベクトルおよびドット積、ならびに当技術分野で公知の他の多くの方法などの既知の数学的関係を採用することを含む、異なる方法で計算され得る。ピタゴラスの定理を用いる場合、該定理は、Ｘ、Ｙ、Ｚ座標を決定し、その後、以下の様式で、点間の距離を計算し：
Ｄａｒｍ＿ｔｏ＿Ｃａｍｅｒａ＝ｓｑｒｔ［（ＸＥＥ－ＸＣ）２＋（ＹＥＥ－ＹＣ）２＋（ＺＥＥ－ＺＣ）２］、
である。式中、ＸＥＥ、ＹＥＥ、およびＺＥＥは、ロボットアームの遠位エンドエフェクタの座標であり、ＸＣ、ＹＣ、およびＺＣは、カメラの座標である。ベクトルおよびドット積の方法は、所与の状態でのカメラの配向および幾何学的形状から直接決定され得る、カメラのベクトル形態の視線のドット積、およびカメラで開始し、エンドエフェクタで終了するベクトルを利用する。これにより、エンドエフェクタがカメラからカメラの視線に対して垂直な距離がもたらされる。この同一距離は、四元数回転および並進移動を利用して計算され得、エンドエフェクタの位置および配向（Ｘ、Ｙ、Ｚ、ヨー、ピッチ、ロール）をカメラと同一座標フレームに配置する。この動作が一旦実行されると、この新しい座標フレームにおけるエンドエフェクタのＺ項（カメラに対して垂直な方向）は、エンドエフェクタがカメラからカメラの視線に対して垂直な距離である。
Ｄａｒｍ＿ｔｏ＿Ｃａｍｅｒａ＝ｓｑｒｔ［（ＸＥＥ－ＸＣ）２＋（ＹＥＥ－ＹＣ）２＋（ＺＥＥ－ＺＣ）２］、
である。式中、ＸＥＥ、ＹＥＥ、およびＺＥＥは、ロボットアームの遠位エンドエフェクタの座標であり、ＸＣ、ＹＣ、およびＺＣは、カメラの座標である。ベクトルおよびドット積の方法は、所与の状態でのカメラの配向および幾何学的形状から直接決定され得る、カメラのベクトル形態の視線のドット積、およびカメラで開始し、エンドエフェクタで終了するベクトルを利用する。これにより、エンドエフェクタがカメラからカメラの視線に対して垂直な距離がもたらされる。この同一距離は、四元数回転および並進移動を利用して計算され得、エンドエフェクタの位置および配向（Ｘ、Ｙ、Ｚ、ヨー、ピッチ、ロール）をカメラと同一座標フレームに配置する。この動作が一旦実行されると、この新しい座標フレームにおけるエンドエフェクタのＺ項（カメラに対して垂直な方向）は、エンドエフェクタがカメラからカメラの視線に対して垂直な距離である。
【0069】
また、視野（ＦＯＶ）は、カメラ組立品内の光学素子によって決定される。カメラ組立品４４内の各カメラ６０Ａ、６０Ｂは、ＦＯＶが許容可能な範囲内にあることを確実にするために、工場で試験され得る。さらに、ＦＯＶが焦点の変化と直接相関して変化するため、焦点に関するＦＯＶの変化に対する補正曲線は、カメラによって用いられる光学レンズスタックに基づいて、計算され得る。
【0070】
その後、制御装置６４は、オートフォーカスユニット６２によって受信される制御信号を生成し得、オートフォーカスユニットは、カメラ４２Ａ、４２Ｂの焦点を自動調整し得る。（ステップ８４）さらに、システム１０により、外科医またはユーザは、カメラの焦点を手動調整可能にし得る。（ステップ８０）さらに、カメラ組立品のカメラの焦点曲線は、記憶要素２４に予め記憶され得る。（ステップ８２）焦点曲線は、焦点制御装置が所望の焦点距離１１４を、システムがその所望の焦点距離を達成するために使用し得るコマンドに変換する方法の実施例である。このため、所望の焦点距離１１４は、焦点距離に対する焦点要素の位置のルックアップテーブルまたは好適な関数を介して、実装され得る。焦点を物体の距離の関数として調整することを可能にするために、カメラごとにレンズを較正する必要があることが知られている。
【0071】
図１５は、外科用ロボットシステム１０のカメラ６０Ａ、６０Ｂと関連付けられ得る、一つの型の焦点曲線９０の実施例である。焦点曲線９０に図示されるように、距離振幅補正（ＤＡＣ）値が変化するにつれて、焦点までの最適な距離も変化する。記載のように、カメラにより近い標的については、より大きな変更が必要である。これは、現在のコマンドが、レンズ移動に対して逆二乗の関係を有するとともに、ＶＣＭによって必要とされる変化が、距離が遠く離れるにつれて小さくなる、ボイスコイルモジュール（ＶＣＭ）の設計に起因する。
【0072】
図１６は、カメラ組立品４４のカメラの画定された焦点領域を示す曲線である。図示された焦点曲線１００は、互いに重ねられた異なる距離で複数の標的を含む。すべての距離にわたって図示された曲線１００のピークを、上記に示す。距離が遠くに離れるほど、ピークが大きいという理由だけで、画像がより鮮明であることを意味するものではないことに留意されたい。むしろ、重要なのは、その数の距離に対する曲線の幅である。
【0073】
カメラ組立品４４のカメラの焦点曲線は、工場で距離空間内に生成および事前記憶され得、適用され得、カメラの焦点は、意図されるシーンの視野の奥行き上の最小位置としてロボットアームを使用して、外科医が注視している箇所に調整され得る。本明細書で使用する用語である距離空間は、空間内の物理的距離を記載することを意図するものである。
【0074】
カメラ組立品４４のカメラ６０Ａ、６０Ｂは、本開示の外科用ロボットシステム１０に採用される前に、工場で較正され、設定され得る。本開示のカメラ組立品４４は、ロボットアームに対して可能な最大動作範囲を維持しながら、外科医の手術対象箇所（例えば、手術部位）に焦点を当てるように構成される。カメラ組立品４４の較正は、工場で発生し得、カメラ６０Ａ、６０Ｂの分解能を決定するために、選択された試験を含み得る。カメラの較正は、カメラの配置およびカメラデータを選択されたメモリに登録する必要性に起因して、最終組立後に発生し得る。
【0075】
各カメラの出力データは、較正中、蓄積され得、ルックアップテーブルに記憶され得る。ルックアップテーブルは、例えば、各カメラおよび関連するレンズ組立品と関連付けられ得る。カメラを較正するプロセスは、以下の通りである。カメラは、モータユニットに取り付けられ得、カメラおよび関連するセンサの配向および位置を制御する選択された支持器具にロックされ得る。一つの軸ステージは、カメラからの標的の距離を約５ｃｍ～約２０ｃｍで変更するために使用され、カメラをこの範囲内のすべての距離で較正する。カメラ組立品内のカメラ間の１０ｍｍの間隔距離を使用し得、調整し得る。較正標的は、鋭利な縁を有し、較正された解像度標的であることが好ましい。各位置は、様々なＶＣＭ電流でスイープされ、画像の中心領域のラプラシアンの分散によって決定される最高の解像度スコアを得る。中心５０％から中心１０％までの関心領域は、約５０ｍｍ～約２００ｍｍの距離から直線形式で実施され得る。較正の出力データを使用し得、焦点曲線９０を形成する。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【国際調査報告】