特許 6738481 ロボットシステムの動作の実行

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6738481

(24)【登録日】2020年7月21日

(45)【発行日】2020年8月12日

(54)【発明の名称】ロボットシステムの動作の実行

(51)【国際特許分類】

   A61B 34/30 20160101AFI20200730BHJP

【ＦＩ】

   A61B34/30

【請求項の数】13

【全頁数】12

(21)【出願番号】特願2019-506135(P2019-506135)

(86)(22)【出願日】2017年8月22日

(65)【公表番号】特表2019-524284(P2019-524284A)

(43)【公表日】2019年9月5日

(86)【国際出願番号】US2017048067

(87)【国際公開番号】WO2018039268

(87)【国際公開日】20180301

【審査請求日】2019年4月4日

(31)【優先権主張番号】62/379,445

(32)【優先日】2016年8月25日

(33)【優先権主張国】US

(31)【優先権主張番号】15/675,029

(32)【優先日】2017年8月11日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516035068

【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】バラール，ジョエル ケー．

(72)【発明者】

【氏名】ハンナフォード，ブレイク

【審査官】 宮下 浩次

(56)【参考文献】

【文献】 米国特許出願公開第２０１１／００１５６４９（ＵＳ，Ａ１）

【文献】 米国特許第０６１０９２７０（ＵＳ，Ａ）

【文献】 米国特許出願公開第２００４／０２４３１４７（ＵＳ，Ａ１）

【文献】 特表２０１０−５２４６３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／００ − ３４／３７

(57)【特許請求の範囲】

【請求項1】

外科手術ロボットを制御するために前記外科手術ロボットに結合された処理装置によって実行される、処理装置の作動方法であって、
前記外科手術ロボットを使用して外科手術器具を移動させることであって、前記外科手術ロボットは前記外科手術器具を所望の位置まで移動させることを試みる、移動させること、
前記外科手術器具の実際の位置を測定すること、
前記実際の位置と前記所望の位置との間の差を計算すること、および
前記外科手術ロボットを使用して前記差に基づいて前記外科手術器具の前記実際の位置を前記所望の位置に対して調整すること
を含み、
前記実際の位置を調整することが、前記処理装置が前記外科手術ロボットに、前記外科手術器具を移動させるのに足りる力を前記外科手術器具に加えるよう指示する機械学習アルゴリズムを使用することを含み、前記機械学習アルゴリズムが、前記外科手術器具を移動させるのに十分な前記力に基づいて前記外科手術器具が移動する対象である媒体の組成を認識する、方法。

【請求項2】

前記外科手術器具の前記実際の位置を前記所望の位置に対して調整することが繰返し行われ、前記媒体が生体組織を含む、請求項１に記載の方法。

【請求項3】

前記媒体が、光学的外観、前記外科手術器具を移動させるのに十分な前記力、または前記外科手術器具のユーザからの入力、のうちの少なくとも１つによって前記機械学習アルゴリズムによって認識される、請求項１に記載の方法。

【請求項4】

前記外科手術器具の前記実際の位置を測定することが、１つまたは複数の画像センサによって前記実際の位置を光学的に決定すること、マーカーと前記外科手術器具との間の距離を測定すること、または前記外科手術ロボットによって前記外科手術器具の前記実際の位置を機械的に測定すること、のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項5】

前記外科手術器具のモーションスケーリング移動をさらに含む、請求項１に記載の方法。

【請求項6】

前記外科手術器具を移動させるためにユーザから入力を受信すること、
前記外科手術器具を移動させる前にユーザの動作から震えを除去すること
をさらに含む、請求項１に記載の方法。

【請求項7】

１つまたは複数の外科手術器具を保持するように構成された１つまたは複数のアームを含む外科手術ロボットと、
前記外科手術ロボットを制御するために前記外科手術ロボットに結合された処理装置であって、前記処理装置によって実行されると、前記処理装置に、
コントローラから信号を受信すること、
前記信号に応答して前記１つまたは複数の外科手術器具を媒体を通して前記外科手術ロボットによって移動させること、
前記１つまたは複数の外科手術器具の実際の位置を測定すること、
前記実際の位置と所望の位置との間の差を計算すること、および
前記外科手術ロボットを使用して、前記差に基づいて、前記１つまたは複数の外科手術器具の前記実際の位置を前記所望の位置に対して調整すること
を含む操作を実行させる論理を含む処理装置と
を含み、
前記実際の位置を調整することが、前記外科手術ロボットに、前記媒体を通して前記１つまたは複数の外科手術器具を移動させるのに足りる力を前記１つまたは複数の外科手術器具に加えるよう指示する機械学習アルゴリズムを使用することを含み、前記機械学習アルゴリズムが、前記媒体を通して前記１つまたは複数の外科手術器具を移動させるのに十分な前記力に基づいて前記媒体の組成を認識する、ロボット手術システム。

【請求項8】

前記外科手術ロボットが、前記１つまたは複数の外科手術器具を前記媒体を通して移動させるときに抵抗を感知して抵抗信号を出力するために結合された圧力センサを含み、前記処理装置はさらに、前記処理装置によって実行されると、前記処理装置に、
少なくとも前記抵抗信号を使用して前記媒体の前記組成を認識するために前記機械学習アルゴリズムを使用すること
を含む操作を実行させる論理を含む、請求項７に記載のロボット手術システム。

【請求項9】

前記外科手術ロボットがさらに、前記１つまたは複数の外科手術器具の前記実際の位置を光学的に測定するために結合された画像センサを含む、請求項７に記載のロボット手術システム。

【請求項10】

前記画像センサが前記媒体の画像を前記処理装置に出力するために結合され、前記処理装置がさらに、前記処理装置によって実行されると、前記処理装置に、
少なくとも前記画像を使用して前記媒体の前記組成を認識するために前記機械学習アルゴリズムを使用すること
を含む操作を実行させる論理を含む、請求項９に記載のロボット手術システム。

【請求項11】

前記処理装置がさらに、前記処理装置によって実行されると、前記処理装置に、
前記媒体を通した前記１つまたは複数の外科手術器具の移動をモーションスケーリングすることであって、モーションスケーリングすることが、前記コントローラからの前記信号によって示されるよりも少なく前記１つまたは複数の外科手術器具を移動させることを含む、モーションスケーリングすること
を含む操作を実行させる論理を含む、請求項７に記載のロボット手術システム。

【請求項12】

前記信号が前記コントローラのユーザからの震えを含み、前記処理装置がさらに、前記処理装置によって実行されると、前記処理装置に、
前記信号に応答して前記１つまたは複数の外科手術器具を媒体を通して移動させる前に前記信号から前記震えを除去すること
を含む操作を実行させる論理を含む、請求項７に記載のロボット手術システム。

【請求項13】

前記処理装置がさらに、前記処理装置によって実行されると、前記処理装置に、
前記コントローラによって受信される触覚フィードバック信号を出力すること
を含む操作を実行させる論理を含み、前記触覚フィードバック信号が前記コントローラの物理的抵抗を変化させる、
請求項７に記載のロボット手術システム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

［0001］ 本出願は、２０１６年８月２５日に出願され、その内容全体が参照により本明細書に組み込まれる米国仮特許出願第６２／３７９，４４５号の利益を主張する。

【0002】

［0002］ 本開示は概して、ロボットシステムの動作の追跡および修正に関する。

【背景技術】

【0003】

［0003］ 動作が人間によって制御されるロボット工学では、ロボットシステムの機械的不完全性、変わり得るペイロード、および接触力のために、意図されたロボットの動作が完全に実行されることはめったにない。自動システムの場合、動作を計画する際にペイロードを考慮する必要がある。そうしないと、所望の動作と実際の動作との間に不一致が生じる可能性がある。外科手術ロボット工学では、自動手術を行うことを目的とするシステムにおいて、コンプライアンスの欠如が課題となる場合がある。しかしながら、コンプライアンスの欠如はマスター／スレーブシステムにとっても問題となり得る。そのようなシステムでは、外科医は自分の頭の中でこれらの不完全性を補うことを学ぶかもしれず、経験豊富な外科医は無意識のうちにそれを行う。しかしながら、初心者の外科医にとっては、このシステムは直感的ではないかもしれず、彼／彼女は軌道を連続的に調整または修正しなければならない。不正確な位置決めは、手術用ロボット工学を実行することを困難にするものの一部である。器具が予想どおりに正確に動く場合、外科手術ロボット工学の習得が容易になり、それはすべての患者にとってより良い臨床結果につながるであろう。

【0004】

［0004］ 本発明の非限定的かつ非網羅的な実施形態を以下の図面を参照して記載する。図面中、特に明記しない限り、様々な図を通して同様の参照番号は同様の部分を指す。図面は必ずしも一定の縮尺ではなく、その代わりに、記載されている原理を例示することに重点が置かれている。

【図面の簡単な説明】

【0005】

【図1】［0005］本開示の実施形態による、ロボット手術用システムを示す。

【図2A】［0006］本開示の実施形態による、ロボット手術用コントローラを示す。

【図2B】［0007］本開示の実施形態による、補償不可能および補償可能な外科手術器具の経路を示すプロットを示す。

【図3】［0008］本開示の実施形態による、ロボット手術と併せて使用されるデータベースおよび機械学習アルゴリズムを示す。

【図4】［0009］本開示のいくつかの実施形態による、外科手術ロボットの操作の方法を示す。

【図5】［0010］本開示のいくつかの実施形態による、ロボット手術におけるデータ収集の方法を示す。

【発明を実施するための形態】

【0006】

［0011］ ロボットシステムを用いた動作実行のための装置および方法の実施形態が本明細書に記載されている。以下の記載では、実施形態の完全な理解を提供するために多数の特定の詳細が記載される。しかしながら、当業者であれば、本明細書に記載の技術は、１つ以上のそれら特定の詳細なしで、または他の方法、構成要素、材料等を用いて実施できることを認識するであろう。他の例では、特定の態様を曖昧にすることを回避するために、周知の構造、材料または操作は詳細に図示されず、また記載もされない。

【0007】

［0012］ 本明細書全体を通して「一実施形態」または「実施形態」への言及は、その実施形態に関連して記載された特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書を通した様々な箇所での「一実施形態において」または「実施形態において」という句の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。さらに、特定の特徴、構造、または特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。

【0008】

［0013］ 本開示は、外科手術ロボットによる向上した動作実行のためのシステムおよび方法を提供する。より具体的には、これらのシステムおよび方法は、外科手術器具の動作を修正するために使用され得る。機械学習アルゴリズムは、外科手術ロボットに結合されそれによって制御される外科手術器具（例えば、メス、パンチ生検装置等）の動きに関するデータを収集することによって訓練することができる。その後、機械学習アルゴリズムは、人体内の組織の相対的な靭性をよりよく説明するために外科手術器具の動きを調整することができる。例えば、外科手術器具が強靭な筋肉に遭遇した場合、（他の組織に対して）その筋肉を通して外科手術器具を動かすためにより多くの力が必要とされる可能性が高い。次いで、機械学習アルゴリズムは、筋肉の滑らかで正確な切断を確実にするためにこの追加の力を加えるように外科手術ロボットに指示し得る。

【0009】

［0014］ 図１は、本開示の実施形態による、ロボット手術用のシステム１００を示す。システム１００は、外科手術ロボット１０３、処理装置１０５、ネットワーク１１１、および記憶装置１２３を含む。図示のように、外科手術ロボット１０３を用いて、外科手術器具を（例えばアームの遠位端に）保持する、外科手術を行う、病気を診断する、生検を取る、または医師が実行できる他の任意の処置を実行することができる。図示の外科手術ロボット１０３には２本のアームしか具備されていないが、当業者であれば、外科手術ロボット１０３は単なる漫画風のイラストであること、および外科手術ロボット１０３は実施する必要がある手術の種類および他の条件に応じて任意の数の形状をとることができることを認識するだろう。外科手術ロボット１０３は、有線または無線で処理装置１０５、ネットワーク１１１、および／または記憶装置１２３に結合することができる。さらに、外科手術ロボット１０３は、外科医または医師からの指示を受信するために、（無線または有線によって）ユーザ入力／コントローラ（たとえば、図２Ａに示されるコントローラ２０１）に結合されてもよい。コントローラ、およびコントローラのユーザは、外科手術ロボット１０３および患者に非常に近いところに（例えば、同じ部屋に）位置してもよく、または何マイルも離れて位置してもよい。したがって、外科手術ロボット１０３は、専門家が患者から何マイルも離れている場合に外科手術を実行するために使用可能であり、外科医からの指示は、インターネットまたは安全なネットワーク（例えば、ネットワーク１１１）を介して送信される。あるいは、外科医は近くにいて、単に外科手術ロボット１０３を使用することを好むかもしれない。それというのも、外科手術ロボット１０３は外科医の手よりも身体の一部によりよくアクセスすることができるからである。

【0010】

［0015］ 一実施形態では、画像／光学センサ、圧力センサ（応力、歪み等）およびそれらに類する物がすべて、外科手術ロボット１０３を制御し、正確な動作および圧力の適用を確実にするために使用される。さらに、これらのセンサは、外科手術ロボット１０３によって適用される位置、力等を連続的に調整するためにフィードバックループを使用する（外科手術ロボット１０３、処理装置１０５、または他の装置内の）プロセッサに情報を提供することができる。

【0011】

［0016］ 一実施形態では、外科手術ロボット１０３はデータ収集に使用することができ、収集されたデータを使用して、外科手術ロボット１０３を制御するアルゴリズムをさらに改善することができる。例えば、外科手術ロボット１０３は、外科手術器具を媒体（例えばヒト組織）を通して所望の位置まで動かそうとしてもよい。例えば、外科手術ロボット１０３は、メスを３．１ｃｍ左に動かすことによって皮膚片を切断しようと試みてもよい。切断中または切断後に、外科手術器具の実際の位置が測定される。その後、器具の実際の位置と所望の位置との差を計算して記録することができる。例えば、外科手術ロボット１０３は、それが切断していた皮膚の一部が硬化している（これはメスを動かすためにより多くの力を必要とする）ためにメスを左に２．９ｃｍしか動かせなかったかもしれない。したがって、実際の位置と所望の位置との差は０．２ｃｍである。媒体（例えば、皮膚硬結を有する皮膚）の組成および媒体を通して外科手術器具を動かすのに必要な力が記録される。一実施形態では、媒体の組成は光学的に決定される（例えば、画像センサはメスが切断している場所の写真を撮り、画像が画像のデータベースと比較されて媒体が皮膚であることを決定する）。媒体の組成および媒体を通って移動するのに必要な力は、（処理装置１０５上、ネットワーク１１１上、または記憶装置１２３上の）データベースに記憶することができる。これらの装置はすべて分散システムでもよい。

【0012】

［0017］ データベース内の情報は、機械学習アルゴリズムを訓練するために使用されてもよい。機械学習アルゴリズムは、使用中の外科手術器具に適用される実際の位置および力を調整するために、媒体の種類および外科手術器具を動かすのに必要な力から学習する。これにより、外科手術ロボット１０３は、外科手術器具が特定の種類の媒体に遭遇したときに比例的に応答することが可能になる。例えば、機械学習アルゴリズムは、より硬い組織（厚い筋肉、腱等）を認識し、外科手術器具（例えば、メス、生検器具等）がこれらの媒体に遭遇したときに追加の力を適用するように訓練されてもよい。あるいは、外科手術ロボット１０３は、軟組織を進むときにより少ない力を適用するように訓練されてもよい。外科手術ロボット１０３は、光学的に（例えば、画像センサで捕捉された画像から）および／または触覚センサ（例えば、物体を切断するのに要する圧力の量）からの両方で異なる種類の組織を認識することができる。

【0013】

［0018］ 一実施形態では、データベースに収集された情報は、実際の位置と所望の位置との間の差を使用して、外科手術ロボット１０３に関する問題を診断するために使用することができる。所望の位置と実際の位置との間の差は、外科手術ロボット１０３内のハードウェア障害またはソフトウェア障害のうちの少なくとも１つに起因し得る。例えば、外科手術ロボット１０３のユーザは、外科手術器具を既知の媒体（例えば、空気）を通して動かし、そして所望の位置と実際の位置との間の差を測定することができる。所望の位置と実際の位置との間に差異がある場合、これは外科手術ロボット１０３に関する問題を診断するために使用され得る。例えば、外科手術器具の一部分のＹ軸移動は、本来それがするべき移動のわずかな割合しか移動していない場合がある。したがって、外科手術ロボット１０３または処理装置１０５は、外科手術ロボット１０３のその部分のＹアクチュエータを損傷について点検するように技術者に指示することができる。同様に、収集された情報はまた、システム設計に報告され、外科手術ロボット１０３の将来の世代において考慮されるかもしれない。より大きな不一致の領域は根本原因分析を通して調査され、それに従って機械設計は実際の位置と所望の位置との間の不一致を最小にするように調整される。

【0014】

［0019］ 一実施形態では、外科手術ロボット１０３の実際の位置は手術中に修正される。述べたように、外科手術器具は外科手術ロボット１０３を使用して媒体を通して移動させることができ、外科手術ロボット１０３は外科手術器具を所望の位置に移動させようと試みる。外科手術器具の実際の位置と所望の位置との間の差が測定される。次に、外科手術器具の実際の位置が所望の位置に対して調整される。このプロセスは、連続的に（反復的に）、事前設定された間隔で、またはリアルタイムで起こり得る。

【0015】

［0020］ 一実施形態では、外科手術器具の実際の位置を調整することは、特定の生物学的媒体を切断するために必要な力の差異を補償するべく外科手術ロボット１０３を制御するための機械学習アルゴリズムの使用を含む。この実施形態および他の実施形態では、機械学習アルゴリズムは、媒体（例えば、皮膚、筋肉、腱等）の組成を認識し、その媒体を通して外科手術器具を実際の位置から所望の位置まで動かすのに十分な力を出力するように訓練される。例えば、機械学習アルゴリズムは、外科手術ロボット１０３によって保持されているメスが腱を切断しようとしていることを認識することができる。したがって、機械学習アルゴリズムは、滑らかな直接切断を行うためにメスに追加の力を適用することができる。一実施形態では、媒体（例えば、生体組織）は、光学的外観、媒体を通して外科手術器具を動かすのに十分な力、外科手術器具のユーザからの入力、および／または外科手術器具の実際の位置と所望の位置との間の差、のうちの少なくとも１つを介して機械学習アルゴリズムによって認識される。しかしながら、他の実施形態では、外科手術ロボット１０３は、媒体を明確に認識することなく、外科手術器具を媒体を通して動かすのに十分な力を出力してもよい。別のまたは同じ実施形態では、外科手術器具を所望の位置に移動させるときに、実際の位置と所望の位置との間の差を、ユーザに提供される触覚フィードバックに変換することができる（例えば、所望の位置に到達しなかったが、このときユーザはコントローラの振動のためにそれを知る）。

【0016】

［0021］ 図２Ａは、本開示の実施形態による、ロボット手術用のコントローラ２０１を示す。図示の実施形態では、コントローラ２０１は、ユーザ（外科医）が自分の指を通しコントローラ２０１を握るためのいくつかのループを含む。さらに、ユーザが（実際に手術を行うのと同様の）ほぼ自由な動作範囲を有するようにいくつかの枢動点がある。一実施形態では、コントローラ２０１は、手術を行うときにユーザが遭遇する抵抗（例えば、触覚フィードバック）を変えることによって、ユーザが様々な媒体間の違いを感じることを可能にする。例えば、外科手術ロボット（例えば、外科手術ロボット１０３）に取り付けられた外科手術器具が空気を通って移動し、次いで生体組織を通って移動するようにユーザがコントローラ２０１を動かす場合、ユーザは空気を通る移動は比較的最小限の努力で済むことを感じるであろうが、生体組織に遭遇すると、ユーザは、外科手術器具が遭遇する抵抗と等しいまたは比例する抵抗を感じるだろう。いくつかの実施形態では、ユーザがコントローラ２０１を動かすよりも小さいまたは大きい距離を外科手術器具が動くように、コントローラ２０１の動作をスケーリングすることができる。一実施形態では、コントローラ２０１はまた、ユーザの動きから震えまたは散発的な動作を除去してもよい。図２Ａに示すコントローラ２０１の実施形態はいくつかの枢動点および指用ループを有するが、当業者は、異なる種類の手術を容易にするようにコントローラを構成することができる多くの方法があることを認識するであろう。一実施形態では、コントローラ２０１はジョイスティック、ボタンまたはそれらに類する物を有することができる。

【0017】

［0022］ 図２Ｂは、本開示の実施形態による、補償不可能２０３および補償可能２０５外科手術器具経路を示すプロットである。両方のグラフは、外科手術ロボットによって保持される外科手術器具の仮想のＸおよびＹ位置のみを示している。左側のグラフは、補償が不可能な外科手術ロボットの動作を示している。示されるように、外科手術器具が媒体を通ってある距離を移動した後、外科手術器具の所望の位置と外科手術器具の実際の位置との間に差異がある。外科手術器具の所望の差と実際の差とのわずかな差でさえも外科患者に深刻な問題を引き起こす可能性があるため、これは問題がある。さらに、実際の位置と所望の位置との間の差異は、外科手術ロボット工学の訓練をより困難にする可能性がある。外科医は自分の脳内ですべての不完全性を補償することを学ばなければならない。

【0018】

［0023］ 右側のグラフは、補償が可能な外科手術ロボットの動作を示す。図示の実施形態では、外科手術器具の実際の位置は、所望の位置からの最小のずれを確実にするために継続的に調整される。他の実施形態では、調整は離散的な間隔でまたは別の方法で行われてもよい。一実施形態では、外科手術器具の実際の位置を測定することは、１つまたは複数の画像センサを用いて実際の位置を光学的に決定すること、あらかじめ設定されたマーカーと外科手術器具との間の距離を測定すること、または外科手術ロボットを用いて外科手術器具の実際の位置を機械的に測定すること、のうちの少なくとも１つを含む。一実施形態では、視覚的サーボ制御（視覚的位置フィードバック）を使用して軌道を更新し、それをユーザ入力装置（例えば、コントローラ２０１）を使用して外科医によって提供されるように意図する経路に一致させる。例えば、外科医が２ｃｍ右に動いた場合、視覚的サーボ制御は、カメラの基準座標系内で、器具先端が２ｃｍ（または対応するスケーリングされた動作、例えば４の倍率が使用される場合は０．５ｃｍ）だけ右に動かされることを確実にする。これは、外科手術ロボットによって作成される複数の画像センサ配置カットによって達成され得る。外科手術ロボットの活動部分の３Ｄモデルをリアルタイムで構築するために、複数の画像を使用することができる。これにより、外科手術ロボットは、手術が行われている身体の部分に対する活動部分の正確な位置を知ることができる。外科手術ロボットは次に、外科手術ロボットの活動部分の動きを正しい時間に正しい場所にあるように継続的に改善し、潜在的なミスを排除することができる。

【0019】

［0024］ 図３は、本開示の実施形態による、ロボット手術（例えば、外科手術ロボット３０３）と共に使用されるデータベース３０７および機械学習アルゴリズム３０５を示す。図１に関連して上述したように、外科手術ロボット３０３は、遭遇する異なる生物学的物質、およびこれらの物質を切断する、これらの物質を生検する等に必要な力に関して手術中に情報を収集するために使用することができる。図３は、この情報を、組織および外科手術器具を示す画像フレーム（これらはビデオまたは静止画像であり得る）、画像が記録された時間（ここでは記録時間として示される）、外科手術器具の所望の位置、外科手術器具の実際の位置、外科手術器具が遭遇している組織、および組織を切断するのに必要な力を含むデータベース３０７にアップロードする外科手術ロボット３０３を示す。示されるように、データベース３０７内のこれらの列の全ては互いに索引付けされてもよい。

【0020】

［0025］ 次に、データベース３０７内の情報を使用して、機械学習アルゴリズム３０５を訓練し、外科手術用ロボット３０３の実際の位置をよりよく制御するのを助けることができる。これは、光学的に、感覚によって、またはこれらと他のパラメータの組み合わせによって、特定の組織の種類を認識するように機械学習アルゴリズム３０５に教示することを含んでもよい。機械学習アルゴリズム３０５は、１つまたは複数の外科手術ロボットから継続的に更新されてもよい（たとえば、機械学習アルゴリズム３０５はクラウド上に存在し、世界中の複数の外科手術ロボットから訓練データを受信してもよい）。あるいは、外科手術ロボットおよび関連ソフトウェアは定期的に更新されてもよい。当業者であれば、外科手術ロボット３０３を制御するソフトウェアを記憶および更新するための多くの異なる方法があることを認識するであろう。

【0021】

［0026］ 図４は、本開示のいくつかの実施形態による、外科手術ロボットの操作の方法４００を示す。方法４００においてプロセスブロック４０１〜４０７のいくつかまたはすべてが現れる順序は、限定的であると見なされるべきではない。むしろ、本開示の恩恵を受ける当業者は、方法４００が、示されていない様々な順序で、またはさらには並行して実行されてもよいことを理解するであろう。

【0022】

［0027］ ブロック４０１は、外科手術ロボットを使用して媒体を通して外科手術器具を移動させることを示し、外科手術ロボットは外科手術器具を所望の位置に移動させることを試みる。

【0023】

［0028］ ブロック４０３は、外科手術器具の実際の位置を測定することを示す。これは内視鏡に含まれる画像センサを使用して達成することができ、内視鏡は視覚的サーボ制御を可能にし、内視鏡から来るビデオデータはリアルタイムで分析される。他の実施形態では、画像センサは外科手術ロボット自体に取り付けられてもよい。器具および器具の軌道はまた、マーカーを使用して検出され得る。例えば、チェッカーボードパターン（クイックレスポンスコード、バーコード等）、外科手術器具に取り付けられたカラードット、蛍光塗料／蛍光マーカーはすべて、外科手術器具および外科手術ロボットの可動構成要素の位置を決定するために単独でまたは視覚的画像と組み合わせて使用され得る。ラベル／マーカーは、器具／カメラの滅菌に対応し得る。マーカーはまた、手術中の人体への挿入に対して無毒性であり得る。あるいは、器具はラベル付けされず、手術中の外科手術器具のビデオデータを器具の３Ｄモデルのデータベースと比較することによって追跡が行われてもよい。さらに、器具追跡は機械学習されてもよい。ビデオデータを器具データと組み合わせて使用して、どの器具が使用されているか（その３Ｄモデルはその後回収して器具の検出に役立てることができる）およびその予想される位置は何か（これにより器具が各ビデオフレーム内で探索されるスペースが低減される）を知ることができる。この視覚的なフィードバックに加えて、外科手術ロボットのジョイントのモータコントローラからの情報を統合することによって、予想される位置が外科手術ロボットから収集される。いくつかの実施形態では、位置情報はまた、器具上のＲＦＩＤに類するタグおよび／または磁気センサを使用することによって収集され得る。例えば、器具の先端に接触センサを追加することにより（例えば、２つのプレート間の距離から導出される圧縮情報を引き出すための容量回路と共に）、外科手術器具の実際の位置の光学的知覚を高めるために追加情報が提供され得る。

【0024】

［0029］ ブロック４０５は、実際の位置と所望の位置との間の差を計算することを記載している。これは、外科手術器具の実際のＸ、Ｙ、Ｚ座標を取り、それらを所望のＸ、Ｙ、Ｚ座標から差し引くことによって完了され得る。外科手術器具の回転情報もまた考慮に入れることができる。システムは次に、座標セット間の最短距離またはそれに類するものを計算することができる。

【0025】

［0030］ ブロック４０７は、外科手術ロボットを使用して外科手術器具の実際の位置を所望の位置に対して調整することを示している。システム（例えば、図１のシステム１００）は、どの軌道およびどの組織の相互作用が特定の量の補償を必要とするかを経時的に学習し、その情報を使用して数学的意味でリアルタイム補償を正則化することができる。各外科手術器具、器具の軌道、および組織パターンは実際の位置と所望の位置との間の特定の不一致を引き起こすことが予想される。しかし、パターンは、機械学習アルゴリズムおよび／または潜在的な調整のスペースを減らすために実行される次元削減によって決定および学習され得る。リアルタイム調整が常に円滑にかつ安全な範囲内で行われるように追加の制約を追加することができる（例えば、意図された移動の５０％を超える調整がない、または未補償位置の周りの１ｃｍを超える調整がない）。一実施形態では、特定の外科医は、外科手術ロボットが出力する追加の補償量を選択することができる。例えば、外科医は、機械が提供する追加の支援の量に精通していないかもしれず、提供される支援を縮小することを選ぶかもしれない。

【0026】

［0031］ 図５は、本開示のいくつかの実施形態による、ロボット手術におけるデータ収集の方法５００を示す。方法５００においてプロセスブロック５０１〜５０７のいくつかまたはすべてが現れる順序は、限定的であると見なされるべきではない。むしろ、本開示の恩恵を受ける当業者は、方法５００が、図示されていない様々な順序で、またはさらには並行して実行されてもよいことを理解するであろう。

【0027】

［0032］ ブロック５０１は、外科手術ロボットを使用して媒体を通して外科手術器具を移動させることを示し、外科手術ロボットは外科手術器具を所望の位置に移動させることを試みる。一実施形態では、外科手術器具は外科手術ロボットに恒久的に結合されている。しかしながら、他の実施形態では、外科手術ロボットは、その可動構成要素のうちの１つまたは複数に結合する任意の数の外科手術用アタッチメントを受けるように構成され得る。

【0028】

［0033］ ブロック５０３は、外科手術器具の実際の位置を測定することを示す。これは、図４に示す方法４００に関連して上述した方法のうちのいずれか、または他の図に関連して考察した他の方法のうちのいずれかを介して達成することができる。

【0029】

［0034］ ブロック５０５は、実際の位置と所望の位置との間の差を計算することを記載している。これは、図４に示す方法４００に関連して上述した方法のうちのいずれか、または他の図に関連して考察した他の方法のいずれかを介して達成することができる。

【0030】

［0035］ ブロック５０７は、外科手術器具が通過した媒体の組成、および媒体を通して外科手術器具を移動させるのに必要な力で記録することを示す。図３に関連して上述したように、記録することは、この情報を光学的に、機械的にまたはそれらに類する方法で捕捉し、それをデータベースにアップロードして機械学習アルゴリズムを訓練することを含み得る。触覚データも記録することができ、それを補償アルゴリズムに通知するためにモデルに追加することができる。この実施形態では、システムは、機械学習アルゴリズムにさらに通知することができる接触力および摩擦機構に関する有用なフィードバック情報を記録し得る。

【0031】

［0036］ 上で説明したプロセスは、コンピュータソフトウェアおよびハードウェアに関して記載されている。記載された技術は、有形または非一時的な機械（例えばコンピュータ）可読記憶媒体内で実施される機械実行可能命令を構成することができ、それは機械によって実行されると記載された動作を機械に実行させる。さらに、プロセスは、特定用途向け集積回路（「ＡＳＩＣ」）などのハードウェア内で実施されてもよく、そうでなければ他の方法で実施されてもよい。

【0032】

［0037］ 有形の非一時的機械可読記憶媒体は、機械（例えば、コンピュータ、ネットワークデバイス、携帯情報端末、製造ツール、１つまたは複数のプロセッサのセットを有するいずれかの装置、その他）によってアクセス可能な形態で情報を提供する（すなわち記憶する）任意のメカニズムを含む。例えば、機械可読記憶媒体は、記録可能／記録不可能媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置等）を含む。

【0033】

［0038］ 要約に記載されていることを含む本発明の例示された実施形態の上記の記載は、網羅的であることも、本発明を開示された正確な形態に限定することも意図しない。本発明の特定の実施形態およびその例は例示の目的で本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な修正が可能である。

【0034】

［0039］ これらの修正は、上記の詳細な記載に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本明細書に開示された特定の実施形態に本発明を限定すると解釈されるべきではない。むしろ、本発明の範囲は以下の特許請求の範囲によって完全に決定されるべきであり、以下の特許請求の範囲は特許請求の範囲の解釈の確立された原則に従って解釈されるべきである。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】