特許 7493528 エンドエフェクタのフィードバック連続配置制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-23

(45)【発行日】2024-05-31

(54)【発明の名称】エンドエフェクタのフィードバック連続配置制御

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240524BHJP

   A61B 34/10 20160101ALI20240524BHJP

【ＦＩ】

A61B34/20

A61B34/10

【請求項の数】 14

(21)【出願番号】P 2021549795

(86)(22)【出願日】2020-02-21

(65)【公表番号】

(43)【公表日】2022-04-27

(86)【国際出願番号】 EP2020054576

(87)【国際公開番号】W WO2020173815

(87)【国際公開日】2020-09-03

【審査請求日】2023-02-20

(31)【優先権主張番号】62/811,705

(32)【優先日】2019-02-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/825,905

(32)【優先日】2019-03-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/825,914

(32)【優先日】2019-03-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】トポレク グジェゴジ アンドレイ

(72)【発明者】

【氏名】バリキ マーチン アルカディウシュ

(72)【発明者】

【氏名】ポポヴィッチ アレクサンドラ

【審査官】鈴木 敏史

(56)【参考文献】

【文献】特開２０１５－２１３７５３（ＪＰ，Ａ）

【文献】特表２０１０－５０６６００（ＪＰ，Ａ）

【文献】特表２０１９－５０２４６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１５８２０９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００６／０２５８９３８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／２０

Ａ６１Ｂ ３４／１０

(57)【特許請求の範囲】

【請求項1】

イメージングデバイスを含む介入デバイスのための配置制御装置であって、前記配置制御装置は、
イメージングデータを受信するために、及び、前記介入デバイスのナビゲートされたポーズの予測に関連したデータを出力するために、介入デバイスの運動学を使用したイメージング予測モデルと、
誤差配置データを受信するために、及び、前記介入デバイスの修正配置運動の予測に関連したデータを出力するために、介入デバイスの運動学を使用した制御予測モデルと、
を記憶した、メモリと、
前記メモリと通信する少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
前記イメージングデバイスの、又は前記イメージングデバイスに関連した前記介入デバイスの部分の予測されたナビゲートされたポーズをレンダリングするために、前記イメージングデバイスにより生成されたイメージングデータに前記イメージング予測モデルを適用することと、
前記イメージングデバイスの特定された目標ポーズと、前記イメージング予測モデルによりレンダリングされた前記イメージングデバイスの前記予測されたナビゲートされたポーズとの間の差の観点から導出された誤差配置データを生成することと、
前記介入デバイスの予測された修正配置運動をレンダリングするために、生成された前記誤差配置データに前記制御予測モデルを適用することと、
前記介入デバイスの前記予測された修正配置運動に基づいて、前記目標ポーズへの、前記イメージングデバイスの、又は前記イメージングデバイスに関連した前記介入デバイスの前記部分の、前記介入デバイスによる修正配置を制御する配置指示を生成することと、
を行う、
配置制御装置。

【請求項2】

前記イメージング予測モデルが、前記イメージングデバイスによる相対イメージング、及び前記介入デバイスの順運動学の相関に基づいて訓練されており、又は訓練される、及び／又は、前記制御予測モデルが、前記介入デバイスの逆運動学に基づいて訓練されている、又は訓練される逆予測モデルである、
請求項１に記載の配置制御装置。

【請求項3】

前記イメージングデバイスが、前記介入デバイスのエンドエフェクタに関連した、又は前記介入デバイスのエンドエフェクタにより搭載された、
請求項１又は請求項２に記載の配置制御装置。

【請求項4】

前記配置制御装置が、更に、連続配置制御装置として考えられるように、前記配置制御装置が前記配置指示を連続的に生成する、
請求項１から請求項３のいずれか一項に記載の配置制御装置。

【請求項5】

前記イメージング予測モデルが、前記イメージングデバイスにより生成された前記イメージングデータを入力する入力層と、基準画像に対する前記イメージングデータの相対的配置から導出された前記イメージングデバイスの並進移動、回転、及び旋回のうちの少なくとも１つを出力する出力層とを含むニューラルネットワークベースを含み、
前記イメージングデバイスの前記並進移動、前記回転及び前記旋回のうちの前記少なくとも１つが、前記イメージングデバイスの前記予測されたナビゲートされたポーズの推測を表す、
請求項１又は請求項２に記載の配置制御装置。

【請求項6】

前記イメージング予測モデルが、前記イメージングデバイスにより生成された前記イメージングデータを入力する入力層と、基準画像に対する前記イメージングデータの相対的配置からの前記イメージングデバイスの線速度及び角速度のうちの少なくとも１つを出力する出力層とを含むニューラルネットワークベースを含み、
前記イメージングデバイスの前記線速度及び前記角速度のうちの前記少なくとも１つが、前記イメージングデバイスの前記予測されたナビゲートされたポーズの推測を表す、
請求項１又は請求項２に記載の配置制御装置。

【請求項7】

前記イメージング予測モデルが、
前記イメージングデバイスにより生成されたイメージングデータにおける特徴の運動を追跡する特徴抽出部と、
前記イメージングデータにおける前記特徴の追跡された前記運動のヤコビアン変換から導出された前記イメージングデバイスの線速度及び角速度のうちの少なくとも１つを出力する運動変換部と、
を含み、
前記イメージングデバイスの前記線速度及び前記角速度のうちの前記少なくとも１つが、前記イメージングデバイスの前記予測されたナビゲートされたポーズの推測を表す、
請求項１又は請求項２に記載の配置制御装置。

【請求項8】

前記特徴抽出部が、
前記イメージングデバイスにより生成されたイメージングデータから特徴を検出する特徴ディテクターと、
検出された前記特徴の前記運動を追跡するスケール不変特徴変換部と、
を含む、
請求項７に記載の配置制御装置。

【請求項9】

前記制御予測モデルが、前記イメージングデバイスの前記目標ポーズと前記イメージングデバイスの前記予測されたナビゲートされたポーズとの間の差ポーズから導出された誤差データを入力する入力層と、前記イメージングデバイスの前記目標ポーズと前記イメージングデバイスの前記予測されたナビゲートされたポーズとの間の前記差ポーズの回帰から導出された前記介入デバイスの並進移動、回転、及び旋回のうちの少なくとも１つを出力する出力層とを含むニューラルネットワークベースを含み、
前記介入デバイスの前記並進移動、前記回転、及び前記旋回のうちの前記少なくとも１つが、前記介入デバイスの前記予測された修正配置運動の推測を表す、
請求項１又は請求項２に記載の配置制御装置。

【請求項10】

前記制御予測モデルが、前記イメージングデバイスの線速度及び角速度のうちの少なくとも１つと前記イメージングデバイスの予測された線速度及び予測された角速度のうちの少なくとも１つとの間の差運動から導出された誤差データを構成された入力層と、前記イメージングデバイスの前記線速度及び前記角速度のうちの前記少なくとも１つと前記イメージングデバイスの前記予測された線速度及び前記予測された角速度のうちの前記少なくとも１つとの間の前記差運動の回帰からの前記イメージングデバイスの関節速度を出力する出力層とを含むニューラルネットワークベースを含み、
前記介入デバイスの前記関節速度が、前記介入デバイスの予測された配置運動の推測を表す、
請求項１又は請求項２に記載の配置制御装置。

【請求項11】

前記制御予測モデルが、前記介入デバイスの配置運動を予測する前記介入デバイスの逆運動学に対する補助的な前記介入デバイスの少なくとも１つのナビゲーションパラメータに基づいて更に訓練され、
前記少なくとも１つのプロセッサが、更に、前記介入デバイスの予測された配置運動をレンダリングするために、前記誤差配置データと前記介入デバイスの少なくとも１つの補助的なナビゲーションパラメータとの両方に前記逆予測モデルを適用する、
請求項２に記載の配置制御装置。

【請求項12】

前記制御予測モデルが、前記介入デバイスの少なくとも１つの補助的なナビゲーションパラメータを更に受信するために、及び、前記介入デバイスの前記修正配置運動の予測を出力するために、前記少なくとも１つの補助的なナビゲーションパラメータを更に処理し、
前記少なくとも１つのプロセッサが、更に、前記介入デバイスの予測された配置運動をレンダリングするために、前記誤差配置データと前記介入デバイスの前記少なくとも１つの補助的なナビゲーションパラメータとの両方に前記制御予測モデルを適用する、
請求項１に記載の配置制御装置。

【請求項13】

イメージングデバイスを含む介入デバイスに命令するための少なくとも１つのプロセッサによる実行のための命令を含んで符号化された機械可読記憶媒体であって、前記機械可読記憶媒体が、
イメージングデータを受信するために、及び、前記介入デバイスのナビゲートされたポーズの予測に関連したデータを出力するために、介入デバイスの運動学を使用したイメージング予測モデルと、
誤差配置データを受信するために、及び、前記介入デバイスの修正配置運動の予測に関連したデータを出力するために、介入デバイスの運動学を使用した制御予測モデルと、
前記イメージングデバイスの予測されたナビゲートされたポーズをレンダリングするために、前記イメージングデバイスにより生成された前記イメージングデータに前記イメージング予測モデルを適用することと、
前記イメージングデバイスの特定された目標ポーズと前記イメージング予測モデルによりレンダリングされた前記イメージングデバイスの前記予測されたナビゲートされたポーズとの間の差の観点から導出された前記誤差配置データを生成することと、
前記介入デバイスの予測された修正配置運動をレンダリングすることと、前記誤差配置データに前記制御予測モデルを適用することと、
前記介入デバイスの前記予測された修正配置運動に基づいて、前記目標ポーズへの、前記イメージングデバイスの前記介入デバイスによる修正配置を制御する配置指示を生成することと、
を行うための命令と、
を含む、
機械可読記憶媒体。

【請求項14】

イメージングデバイスを含む介入デバイスのための配置制御装置により実行可能な配置方法であって、
前記配置制御装置が、
イメージングデータを受信するために、及び、前記イメージングデバイスのナビゲートされたポーズの予測に関連したデータを出力するために、介入デバイスの運動学を使用したイメージング予測モデルと、
誤差配置データを受信するために、及び、前記介入デバイスの修正配置運動の予測に関連した前記データを出力するために、介入デバイスの運動学を使用した制御予測モデルと、
を含み、
前記配置方法は、
位置制御装置が、
（ｉ）前記イメージングデバイスの予測された前記ナビゲートされたポーズをレンダリングするために、前記イメージングデバイスにより生成されたイメージングデータに前記イメージング予測モデルを適用するステップと、
（ｉｉ）前記イメージングデバイスの特定された目標ポーズと、ステップ（ｉ）によりレンダリングされた前記イメージングデバイスの予測された前記ナビゲートされたポーズとの間の差の観点から導出された誤差配置データを生成するステップと、
（ｉｉｉ）前記介入デバイスの予測された修正配置運動をレンダリングするために、ステップ（ｉｉ）において生成された前記誤差配置データと、ステップ（ｉ）において予測された前記イメージングデバイスの前記ナビゲートされたポーズとに前記制御予測モデルを適用するステップと、
（ｉｖ）前記介入デバイスの前記予測された修正配置運動に基づいて、前記目標ポーズへの、前記イメージングデバイスの前記介入デバイスによる修正配置を制御する配置指示を生成するステップと、
を有する、
配置方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、介入処置（例えば、低侵襲性手術、ビデオ補助式胸部手術、脈管処置、腔内処置、整形外科的処置）において使用される介入デバイスの部分（例えば、介入デバイスのエンドエフェクタ）の配置制御に関する。本開示は、特に、介入処置において使用される介入デバイスのこのような部分の配置制御における予測モデルの組み込みに関する。

【背景技術】

【0002】

連続（又は不連続）制御－特定の作業空間内におけるデバイス部分（例えばエンドエフェクタ）の配置－は、従来の剛性リンクロボットにおいて最も一般的に試みられる形態の制御のうちの１つである。ロボットの別個の剛性リンク構造物を利用することにより、例えば製造といった体系的な用途において所望されるように、介入デバイスの部分（例えばエンドエフェクタ）の正確な配置が実現され得る。しかし、変形可能な軟組織のヒトの臓器の注意を要する性質、及び患者の安全性を理由として、臨床現場では剛性リンクロボットの使用はあまり望まれていない。

【0003】

更には特に、生物学的にインスピレーションを受けたロボットは、軟質の解剖学的物体の操作において非常に効果的であり得るヘビ、象、及びタコと同様の運動をもたらす。それにもかかわらず、臨床現場におけるロボット構造物の効果的な制御、及び、特に効果的な連続制御は、安定制御を可能にするための十分なアクチュエータ入力を数学的にモデル化すること、又は提供することが困難である所望の自由度に対して、連続体（又は準連続体）構造物における複雑さの観点から実現することが非常に困難であることが明らかにされている。

【0004】

例えば、連続体ロボットにより支持されたエンドエフェクタの連続配置制御に対する１つのアプローチは、連続体ロボットの構成のモデル化及び制御を伴い、この場合において、非線形微分方程式の集合として定式化された静的モデルが、屈曲、ねじれ、及び延びに起因した連続体ロボットのランス変形を考慮しようと試みる。しかし、数学的モデル化の正確さは、ロボットコンポーネントの機械的性質に影響を与えるロボットの環境条件（例えば、温度及び湿度）の変化に影響されやすく、及び、任意の製造上の不正確さ、又は様々な作業負荷の存在に影響されやすい。

【0005】

更なる例によると、ロボットにより支持されたエンドエフェクタの配置制御のための別のアプローチは、許容される運動の集合及び許容される力の集合を、マニピュレーター制御に対応した関節空間に射影することによるロボットの操作である。例えば、鼻腔内へのロボットの挿入後、制御装置は測定された一般化力と各エンドディスクにおける想定される一般化力との間の差を大きくするように、ロボットの各セグメントの位置を調節する。しかし、より操作しやすくなるようにロボットの自由度がより多くなることは、ロボットに対する運動学を複雑にする悪影響をもたらす。これは、連続体ロボットの連続制御の場合に特に問題となる。

【0006】

しかし、更に、ロボットにより支持されたエンドエフェクタの効果的な配置制御が実現される場合でも、ロボットシステムの正しくない校正又は使用、又は機械的コンポーネントの一般的な摩耗及び断裂が、ロボット構造物の運動学の予測精度に悪影響を与える。同様に、これは、連続体ロボット（又は連続体ロボット構造物）の連続制御の場合に特に問題となる。

【発明の概要】

【発明が解決しようとする課題】

【0007】

介入デバイスの部分（例えばエンドエフェクタ）の配置制御のために考えられた知られた技術は、限られた利点を提供するものであった。したがって、介入デバイスのこれらの部分の効果的な配置制御を提供するための改善された技術の必要性が依然として存在する。この目的を達成するために、本開示は、フィードフォワード配置制御、フィードバック配置制御、及びデータ収集について教示する。この制御は好ましくは連続的に実行される。

【課題を解決するための手段】

【0008】

この目的のために、本発明は、第１の実施形態として、請求項１から請求項１２のいずれか一項に記載されているように、イメージングデバイスを含む介入デバイスのための配置制御装置を提案する。

【0009】

第２の実施形態及び第３の実施形態として、本発明は、請求項１３に記載されているような、命令を含んで符号化された（任意選択的に非一時的な）機械可読記憶媒体、及び、請求項１４に記載されているような、介入デバイスのための配置制御装置により実行可能な配置する方法を提案する。

【0010】

フィードフォワード（好ましくは連続）配置制御
本開示は、任意選択的にこれらの運動学に基づいて訓練された、介入デバイスの運動学を使用して構成された予測モデルに基づく、介入デバイスにより支持されたデバイス部分（例えばエンドエフェクタ）の手動ナビゲート配置又は自動ナビゲート配置のフィードフォワード（好ましくは連続）配置制御のための予測モデルアプローチを更に教示する。

【0011】

デバイス部分（例えばエンドエフェクタ）のフィードフォワード（好ましくは連続）配置制御のための本開示の１つの他の実施形態は、エンドエフェクタのナビゲートされたポーズを予測する介入デバイスの（任意選択的には順）運動学を使用して構成された（任意選択的には、介入デバイスのこれらの順運動学に基づいて訓練された）順予測モデル、及び／又は、任意選択的に、介入デバイスの配置運動を予測する介入デバイスの逆運動学に基づいて訓練された、介入デバイスの運動学を使用して構成された制御（任意選択的には逆）予測モデルを含む（連続）配置制御装置である。

【0012】

本説明の目的及び本開示の目的において、「ナビゲートされたポーズ」という用語は、介入処置中に空間位置に介入デバイスを介してナビゲートされたときの介入デバイスの部分（例えば、介入デバイスのエンドエフェクタ）のポーズを広く包含し、及び、「配置運動」という用語は、介入処置中に空間位置にこのデバイス部分をナビゲートする介入デバイスの任意の動きを広く包含する。

【0013】

動作中、連続配置制御装置は、エンドエフェクタの予測されたナビゲートされたポーズをレンダリングするように介入デバイスの指示された配置運動に順予測モデルを適用し、デバイス部分の予測されたナビゲートされたポーズに基づいて、目標ポーズへのデバイス部分の介入デバイスによる配置について情報提供する連続配置データを生成する。

【0014】

代替的に、先行的に、又は同時に、（好ましくは連続）配置制御装置が、介入デバイスの予測された配置運動をレンダリングするために、介入デバイスの部分（例えばエンドエフェクタ）の目標ポーズに逆予測モデルを適用し、及び、介入デバイスの予測された配置運動に基づいて、目標ポーズへのデバイス部分の介入デバイスによる配置を制御する（連続）配置指示を生成する。

【0015】

フィードバック（好ましくは連続）配置制御
本開示は、目標ポーズへのイメージングデバイスの（又は、イメージングデバイスにリンクされた介入デバイスの部分－例えばエンドエフェクタ－の）手動ナビゲート配置又は自動ナビゲート配置へのフィードバックとしてイメージングデバイスからイメージングデータを受信するための、（任意選択的に画像データに相関した）介入デバイスの運動学を使用して構成されたイメージング予測モデルに基づく、介入デバイスの部分（例えば介入デバイスのエンドエフェクタ）に関連した、又は装着されたイメージングデバイスの手動ナビゲート配置又は（半）自動ナビゲート配置のフィードバック（好ましくは連続）配置制御のための予測モデルアプローチを更に教示する。予測モデルは、デバイス部分（例えばエンドエフェクタ）により生成された画像に基づいて任意選択的に訓練され、又は訓練されている。

【0016】

イメージングデバイスの（又は、イメージングデバイスにリンクされた介入デバイスの部分－例えばエンドエフェクタ－の）フィードバック（好ましくは連続）制御配置のための本開示の実施形態は、エンドエフェクタによる相対イメージング、及び、エンドエフェクタのナビゲートされたポーズを予測する介入デバイスの順運動学の相関に基づいて訓練されたイメージング予測モデルを含む連続配置制御装置である。（連続）配置制御装置は、介入デバイスの修正配置運動を予測する介入デバイスの運動学を使用して構成された制御予測モデルを更に含む。任意選択的に、この制御予測モデルは、修正配置運動を予測するものを出力するために、介入デバイスの逆運動学に基づいて訓練されており、又は訓練される。

【0017】

本説明の目的及び本開示の目的において、「相対イメージング」という用語は、介入処置の基準画像に対する所与のポーズにおけるエンドエフェクタによる介入処置の画像の生成を広く包含する。

【0018】

動作中、目標ポーズへのデバイス部分（例えばエンドエフェクタ）のナビゲーションの後に、（好ましくは）連続配置制御装置が、デバイス部分（例えばエンドエフェクタ）の予測されたナビゲートされたポーズをレンダリングするために、エンドエフェクタにより生成されたイメージングデータにイメージング予測モデルを適用し、介入デバイスの予測された修正配置運動をレンダリングするために、エンドエフェクタの目標ポーズとエンドエフェクタの予測されたナビゲートされたポーズとの間の差の観点から導出された誤差配置データに制御（又は特に逆）予測モデルを適用し、及び、介入デバイスの予測された修正配置運動に基づいて、目標ポーズへのイメージングデバイス（４０）の介入デバイスによる、又はイメージングデバイスに関連した介入デバイスの部分（例えばエンドエフェクタ）の修正配置を制御する連続配置指示を生成する。

【0019】

訓練データ収集
更に、環境差（例えば患者間の解剖学的差、例えば患者サイズ、心臓位置など）に対して不変な予測モデルを介した介入デバイスの部分（例えばエンドエフェクタ）の手動ナビゲート配置又は自動ナビゲート配置を（任意選択的な連続）配置制御を円滑化するために、本開示は、既定のデータ点パターンを介した介入デバイス部分のナビゲートされた配置、及び、介入デバイスの順運動学又は逆運動学を推測するために予測モデルのための（訓練）データを結果的に収集するための、介入デバイスの空間配置、及び各データ獲得点における介入デバイス部分のポーズの記録を前提とした（任意選択的には訓練）データ収集技術を更に教示する。

【0020】

予測モデルのための（任意選択的には訓練）データの収集のための本開示の実施形態は、介入デバイスの部分（例えばエンドエフェクタ）、及び、位置及び／又は配向及び／又は形状情報を提供するように適応されたセンサーを含む介入デバイスのための（任意選択的には訓練）データ収集システムであり、センサー（３３２）の少なくとも一部は介入デバイス部分に（任意選択的には固定形状により）取り付けられている。このようなセンサーは、イメージングシステム（例えばＸ線、ＭＲＩシステム）、電磁追跡センサー、トランスデューサーセンサー、及び／又は、光ファイバーにより／において提供される光学的形状検出から視認可能なマーキングを含む。

【0021】

この実施形態の１つの特定の実施形態は、介入デバイスの部分（例えばエンドエフェクタ）、及び、光学的形状センサーを含む介入デバイスのための（任意選択的には訓練）データ収集システムであり、光学的形状センサーのセグメントがエンドエフェクタに（任意選択的には固定形状により）取り付けられている。

【0022】

（訓練）データ収集システムは、ロボット制御装置、データ獲得制御装置、配置特定モジュール（又は、上述の特定の実施形態における形状検出制御装置）、及びデータストレージ制御装置を使用する。

【0023】

動作中、データ獲得制御装置は、既定のデータ点パターンに従って介入デバイスの運動変数を制御するようにロボット制御装置に指示し、及び配置特定モジュール（又は、形状検出制御装置）は、既定のデータ点パターンの各データ点における、介入デバイス部分の部分のポーズの推定結果、及び／又は、介入デバイスの配置運動の推定結果を出力するために、センサーから受信された位置及び／又は配向及び／又は形状情報に基づいて位置情報を特定するように構成されている。したがって、特定された位置情報は、任意選択的に運動学又は配置特定モジュールを構成する介入デバイス挙動に基づいて、推定結果を目的として入手され、又は導出され、又は抽出され、又は受信される。特定の実施形態において、配置特定モジュールは、推定結果を特定するために、位置及び／又は配向及び／又は形状情報から、導出された形状データを導出し、又は受信する。この配置特定モジュールが（上述の特定の実施形態におけるもののような）形状検出制御装置である場合、配置特定モジュールは、既定のデータ点パターンの各データ点における、エンドエフェクタのポーズの推定結果、及び、介入デバイスの配置運動の推定結果を含む、光学的形状センサーの形状検出を制御する。

【0024】

「位置及び／又は配向及び／又は形状情報からの形状データの導出」は、「センサー」により提供されるデータから形状を導出する知られた技術に従って実施される。一例として、センサーにより追跡された位置は、これらのセンサーを搭載した介入デバイスのセグメントの全体的な形状の良い標示を与え、（多かれ少なかれ、センサー間の距離、及びこのセグメントに沿ったこの介入デバイスの取り得る形状に従って開発された）アルゴリズムは、この形状を導出するために、又は再構成するために開発されたものである。この配置の動的な追跡は、変形の配向に関する標示を更に与える。センサーは、局所配置及び介入デバイスの配向を示し得るひずみ情報を更に提供し（例えばレイリー又はブラッグ回折格子センサー）、そこから形状が導出され、及び再構成され得る（同様に知られた技術である）。

【0025】

介入デバイス部分（例えばエンドエフェクタ）のポーズの推定結果は、エンドエフェクタに（任意選択的に固定形状により）取り付けられたセンサーの少なくとも一部から導出される。

【0026】

既定のデータ点パターンに従ってロボット制御装置が介入デバイスの運動変数を制御する間にわたって、データストレージ制御装置は、各データ点に対するエンドエフェクタの推定されたポーズの、形状検出制御装置からの通信を受信し、各データ点に対する介入デバイスの推定された配置運動の、配置特定モジュール（又は形状検出制御装置）からの通信を受信し、及び、各データ点に対する介入デバイスの少なくとも１つの運動変数の、ロボット制御装置からの通信を受信する。

【0027】

通信に応答して、データストレージ制御装置は、各データ点におけるエンドエフェクタの推定されたポーズから導出された介入デバイスに対する時間的データシーケンス、各データ点における介入デバイスの推定された空間配置、及び、各データ点における介入デバイスの運動変数を記憶する。時間的データシーケンスは、任意の種類の機械学習モデルのための、特に本開示の予測モデルのための訓練データとして機能する。

【0028】

更に、データ獲得制御装置は、更なる既定のデータ点パターンに従って介入デバイスの運動変数を制御するようにロボット制御装置に更に指示し、この場合において、データストレージ制御装置は、任意の種類の機械学習モデルのための、特に本開示の予測モデルのための更なる時間的データシーケンスを生成する。

【0029】

更に、本開示の説明及び請求項の目的において、以下の通りである。

【0030】

（１）「エンドエフェクタ」、「運動学」、「位置」、「配置」、「ポーズ」、「ポージング」、「運動」、及び「ナビゲーション」を包含するがこれらに限定されない当技術分野の用語は、本開示の技術分野において知られているように、及び本開示において例示的に説明されるように解釈される。

【0031】

（２）エンドエフェクタの例は、本開示の技術分野において知られている、及び以下で検討されている、術中イメージングデバイス、介入型ツール／手術器具、及び外科縫合糸を包含するがこれらに限定されない。

【0032】

（３）「術中イメージングデバイス」という用語は解剖学的物体／領域を示すための、本開示の技術分野において知られている、及び以下で検討されているすべてのイメージングデバイスを広く包含する。術中イメージングデバイスの例は、経食道心エコー検査トランスデューサー（例えば、Ｘ７－２ｔトランスデューサー、Ｐｈｉｌｉｐｓ）、腹腔鏡超音波トランスデューサー（例えば、Ｌ１０－４ｌａｐトランスデューサー、Ｐｈｉｌｉｐｓ）、光学カメラ、及び検出デバイス（例えば、組織スペクトル検出センサー、ＥＣＧ電極、電気生理学的マッピングのためのプローブ）を包含するがこれらに限定されない。

【0033】

（４）介入ツール／手術器具の例は、本開示の技術分野において知られている、及び以下で検討されている、外科用メス、焼灼器、アブレーションデバイス、針、鉗子、ｋワイヤ及び関連するドライバ、内視鏡、突き錐、ねじ回し、骨刀、のみ、槌、キューレット、クランプ、鉗子、ペリオステオーム、及びｊニードルを包含するがこれらに限定されない。

【0034】

（５）「介入デバイス」という用語は、適用中にエンドエフェクタの配置をサポートするための、本開示の技術分野において知られている、及び以下で検討されているすべてのデバイスを広く包含する。介入デバイスの例は、連続体柔軟ロボット、柔軟介入スコープ及びガイドワイヤを包含するがこれらに限定されない。

【0035】

（６）柔軟ロボットの例は、本開示の技術分野において知られている、及び以下で検討されている、超冗長ロボット（例えば、複数の独立リンク、蛇行リンク、又は同心管）、連続バックボーンセクションロボット（例えばケーブル作動型）、腱駆動ロボット、ゲル様軟質ロボット、及び流体充填管作動型ロボットを包含するがこれらに限定されない。

【0036】

（７）柔軟介入スコープの例は、本開示の技術分野において知られている、及び以下で検討されている、経食道心エコー検査（ＴＥＥ）プローブの内視鏡、心腔内エコー検査（ＩＣＥ）プローブの内視鏡、腹腔鏡、及び気管支鏡を包含するがこれらに限定されない。

【0037】

（８）「予測モデル」という用語は、本開示において例示的に説明されている本開示による（任意選択的に）介入デバイスの部分（例えばエンドエフェクタ）の連続配置制御に関連したナビゲーション変数を予測する、本開示の技術分野において知られている、及び以下で検討されているすべての種類のモデルを広く包含する。任意選択的に、これらの予測モデルは、配置データ集合に基づいてこの予測を出力するために運動学を使用して構成される。任意選択的に、予測モデルは、介入デバイスの運動学に基づいて訓練可能であるか、又は訓練される。予測モデルの例は、人工的ニューラルネットワーク（例えば、フィードフォワード畳み込みニューラルネットワーク、回帰型ニューラルネットワーク、長期短期記憶ネットワーク、オートエンコーダネットワーク、敵対的生成ネットワーク、及び多くの他の深層学習ニューラルネットワーク）を包含するがこれらに限定されない。

【0038】

（９）「制御装置」という用語は、本開示において例示的に説明されている本開示の様々な発明の原理の適用を制御するための主回路基板又は集積回路の、本開示の技術分野において理解される及び本開示において例示的に説明されているすべての構造上の構成を広く包含する。制御装置の構造上の構成は、プロセッサ、コンピュータ可用／コンピュータ可読記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺デバイス制御装置、スロット、及びポート、制御するための命令を包含してもよいがこれらに限定されない。制御装置は、ワークステーション内に収容され、又はワークステーションに通信可能にリンクされる。

【0039】

（１０）「アプリケーションモジュール」という用語は、特定のアプリケーションを実行するための、電子回路（例えば電子コンポーネント及び／又はハードウェア）、及び／又は、実行可能プログラム（例えば、非一時的な（又は、そうではない）コンピュータ可読媒体に記憶された実行可能ソフトウェア、及び／又は、ファームウェア）からなる制御装置内に組み込まれた、又は制御装置によりアクセス可能なアプリケーションを広く包含する。

【0040】

（１１）「信号伝達」、「データ」、及び「指示」という用語は、本開示において後で説明される本開示の様々な発明の原理を適用することを支援する情報及び／又は命令を送信するための、本開示の技術分野において理解される、及び本開示において例示的に説明されているすべての形態の検出可能な物理量又はインパルス（例えば、電圧、電流、又は磁場強度）を広く包含する。本開示の様々なコンポーネントの信号伝達／データ／コマンド通信は、任意の種類の有線又は無線データリンクを介した信号伝達／データ／コマンド送信／受信、及び、コンピュータ可用／コンピュータ可読記憶媒体にアップロードされた信号伝達／データ／指示の読み取り値を包含するがこれらに限定されない、本開示の技術分野において知られている任意の通信方法を伴う。

【0041】

本開示の前述の実施形態及び他の実施形態、及び本開示の様々な構造物及び利点が、添付図面とともに読まれる本開示の様々な実施形態の以下の詳細な説明から更に明らかになる。詳細な説明及び図面は、限定ではなく本開示の例示にすぎず、本開示の範囲は添付の請求項及びその均等なものにより規定される。

【図面の簡単な説明】

【0042】

【図1】本開示の技術分野において知られているエンドエフェクタを含む介入デバイスの例示的な実施形態を示す図である。

【図2A】本開示の様々な態様による連続位置制御装置の例示的な実施形態を示す図である。

【図2B】本開示の様々な態様による連続配置ステートマシンの例示的な実施形態を示す図である。

【図3A】本開示の技術分野において知られている経食道心エコー検査（ＴＥＥ）プローブの例示的な実施形態を示す図である。

【図3B】本開示の技術分野において知られている経食道心エコー検査（ＴＥＥ）プローブのハンドルの例示的な実施形態を示す図である。

【図3C-3F】本開示の技術分野において知られている図２ＡのＴＥＥプローブの例示的な運動を示す図である。

【図3G】本開示の技術分野において知られているロボット操作型経胸壁心エコー検査（ＴＴＥ）プローブの例示的な実施形態を示す図である。

【図3H】本開示の技術分野において知られている光学的形状検出される連続体ロボットの例示的な実施形態を示す図である。

【図4A-4E】本開示の順予測モデル及び順予測方法の第１の例示的な実施形態を示す図である。

【図5A-5E】本開示の逆予測モデル及び逆予測方法の第１の例示的な実施形態を示す図である。

【図6A-6E】本開示の順予測モデル及び順予測方法の第２の例示的な実施形態を示す図である。

【図7A-7E】本開示の逆予測モデル及び逆予測方法の第２の例示的な実施形態を示す図である。

【図8A-8E】本開示の順予測モデル及び順予測方法の第３の例示的な実施形態を示す図である。

【図9A-9F】本開示の順予測モデル及び順予測方法の第４の例示的な実施形態を示す図である。

【図11A-11E】本開示の画像予測モデル及び画像予測方法の第１の例示的な実施形態を示す図である。

【図12A-12E】本開示の順予測モデル及び順予測方法の第２の例示的な実施形態を示す図である。

【図13A-13D】本開示の閉ループポーズ制御を示す図である。

【図14A-14D】本開示の閉ループベクトル速度制御を示す図である。

【図15-18】本開示の訓練データ収集システム及び方法を示す図である。

【図19】本開示の連続配置制御装置の例示的な実施形態を示す図である。

【発明を実施するための形態】

【0043】

本開示は、エンドエフェクタの連続位置制御を必要とする多くの、及び様々な用途に適用可能である。このような用途の例は、低侵襲性処置（例えば、内視鏡肝切除、壊死組織切除術、前立腺切除など）、ビデオ補助式胸部手術（例えばロベテクトミーなど）、（例えば、カテーテル、シース、配備システムなどを介した）最小脈管処置、最小医療診断処置（例えば、内視鏡又は気管支鏡を介した腔内処置）、（例えばｋワイヤ、ねじ回しなどを介した）整形外科的処置、及び非医療用途を包含するがこれらに限定されない。

【0044】

本開示は、エンドエフェクタの手動ナビゲート配置又は自動ナビゲート配置を制御する、及び／又は確実にすることに使用される、エンドエフェクタのポーズ及び／又は介入デバイスの配置運動の予測を提供することにより、このような用途中におけるエンドエフェクタの連続位置制御を改善する。

【0045】

本開示の理解を円滑化するために、図１の以下の説明が、本開示の技術分野において知られているエンドエフェクタを含む介入デバイスの例示的な実施形態を教示する。図１の説明から、本開示の当業者は、本開示の技術分野において知られている、及び以下で検討されているエンドエフェクタを含む介入デバイスの更なる実施形態を製造するために、及び使用するために本開示をどのように適用するかを理解する。

【0046】

図１を参照すると、実際には、介入デバイス３０が、エンドエフェクタ４０から延びた矢印により表されているように、適用中にエンドエフェクタ４０の手動ナビゲート配置又は自動ナビゲート配置をサポートする。介入デバイス３０の例は、連続体柔軟ロボット、柔軟介入スコープ、及びガイドワイヤを包含するがこれらに限定されず、エンドエフェクタ４０の例は、術中イメージングデバイス、介入ツール／手術器具、及び外科縫合糸を包含するがこれらに限定されない。

【0047】

動作中、ナビゲーション指示３１、作動信号３２、及び／又はナビゲーション力３３が、介入デバイス３０に通信され／介入デバイス３０に与えられ、この場合において、介入デバイス３０が、ナビゲーション指示３１、作動信号３２、及び／又はナビゲーション力３３に従って並進移動させられ、回転させられ、及び／又は旋回させられ、以て、エンドエフェクタ４０を目標ポーズ（すなわち、適用空間における位置及び配向）にナビゲートする。

【0048】

例えば、図３Ａ及び図３Ｂは、患者Ｐの心臓の画像を捕捉するために患者Ｐの口を通して食道に挿入可能なイメージングエンドエフェクタ１４０を含む介入デバイス３０の実施形態として経食道心エコー検査（ＴＥＥ）プローブ１３０を示し、医師（図示されていない）又はロボット制御装置１００（図２Ｂ）は、ＴＥＥプローブ１３０のハンドル１３２を操作して、患者Ｐ内においてＴＥＥプローブ１３０を再配置し、以て、イメージングエンドエフェクタ１４０を目標ポーズにナビゲートする。

【0049】

更には特に、ＴＥＥプローブ１３０は、可撓性長尺部材１３１、ハンドル１３２、及びイメージングエンドエフェクタ１４０を含む。可撓性長尺部材１３１は、例えば食道といった患者の体管腔内に配置されるように寸法決めされ、及び／又は形作られ、構造的に配置され、及び／又は別様に構成されている。イメージングエンドエフェクタ１４０は、部材１３１の遠位端に搭載されており、１つ又は複数の超音波トランスデューサー要素を含み、この場合において、イメージングエンドエフェクタ１４０は、患者Ｐの解剖学的構造物（例えば心臓）に向けて超音波エネルギーを出射するように構成されている。超音波エネルギーは、患者の脈管構造及び／又は組織構造により反射され、この場合において、イメージングエンドエフェクタ１４０における超音波トランスデューサー要素が反射された超音波エコー信号を受信する。幾つかの実施形態において、ＴＥＥプローブ１３０は、イメージングされている患者Ｐの解剖学的構造物を表す画像信号を生成するために、超音波エコー信号をローカルに処理し得る内部の、又は統合された処理コンポーネントを含む。実際には、超音波トランスデューサー要素は、患者Ｐの解剖学的構造物の二次元（２Ｄ）画像又は三次元（３Ｄ）画像を提供するように構成される。ＴＥＥプローブ１３０により獲得された画像は、本明細書において更に詳細に説明されるイメージングエンドエフェクタ１４０の挿入深さ、回転、及び／又はチルトに依存する。

【0050】

ハンドル１３２は、部材１３１の近位端に結合されている。ハンドル１３２は、イメージングエンドエフェクタ１４０を目標ポーズにナビゲートするための制御要素を含む。示されるように、ハンドル１３２は、ノブ１３３及び１３４、及びスイッチ１３５を含む。ノブ１３３は、患者Ｐ（例えば心臓）の前後平面に沿って部材１３１及びイメージングエンドエフェクタ１４０を曲げる。ノブ１３４は、患者Ｐの左右平面に沿って部材１３１及びイメージングエンドエフェクタ１４０を曲げる。スイッチ１３５は、イメージングエンドエフェクタ１４０におけるビーム形成を制御する（例えば、イメージング面の角度を調節する）。

【0051】

手動ナビゲート式の実施形態では、イメージングエンドエフェクタ１４０を目標ポーズにナビゲートするために必要なときに、医師はノブ１３３及び１３４を手動で回し、及び／又は、スイッチ１３５をオン及び／又はオフに手動で切り替える。医師は、イメージングエンドエフェクタ１４０により生成された画像の表示を見て、以て、ハンドル１３２におけるノブ１３３及び１３４及び／又はスイッチ１３５を制御するためのナビゲーション力３３（図１）を与える。

【0052】

自動ナビゲート式の実施形態では、ロボットシステム（図示されていない）は、ノブ１３３及び１３４を回すように、及び／又はスイッチ１３５をオン及び／又はオフに切り替えるように構成された電気的な、及び／又は機械的コンポーネント（例えば、モーター、ローラー、及びギア）を含み、この場合において、ロボット制御装置１００は、ナビゲーション制御装置（図示されていない）又は入力デバイス（図示されていない）から運動制御指示３１（図１）を受信し、以て、ハンドル１３２におけるノブ１３３及び１３４及び／又はスイッチ１３５を制御する。代替的に、ロボット制御装置１００は、ロボット制御装置１００により実施されるガイダンス方法に基づいて、作動信号３２（図１）を介してＴＥＥプローブ１３０を直接操作するように構成される。

【0053】

ＴＥＥプローブ１３０は、様々な自由度において操作可能である。図３Ｃ～図３Ｆは、ＴＥＥプローブ１３０を操作するための様々なメカニズムを示す。

【0054】

図３Ｃは、矢印１３１ｂにより示されるように患者の食道内に手動で進行させられる、又は、矢印１３１ｃにより示されるように患者の食道から引き抜かれるＴＥＥプローブ１３０を示す概略図である。ＴＥＥプローブ１３０は、矢印１３９ａ及び１３９ｂにより示されるように、それぞれ、ＴＥＥプローブ１３０の長軸１３１ａに対して左に（例えば反時計回りに）又は右に（例えば時計回りに）手動で、又はロボットを使用して回転させられ得る。部材１３１の回転は、γと表記されたパラメータにより説明され得る。

【0055】

図３Ｄは、例えば、ハンドル１３２におけるスイッチ１３５の手動又はロボット制御により、矢印１３６ａ及び１３６ｂにより示されるように（例えばビーム形成のために）０度から１８０度まで電子的に回転させられるＴＥＥプローブ１３０を示す概略図である。イメージング面の回転は、ωと表記されたパラメータにより説明され得る。

【0056】

図３Ｅは、例えばハンドル１３２におけるノブ１３４を手動により、又はロボットにより回すことにより、矢印１３７ａ及び１３７ｂにより示されるように、例えば患者の心臓に対して前後平面に沿って曲げられるＴＥＥプローブ１３０を示す概略図である。前後平面に沿って曲げることは、αと表記されたパラメータにより説明され得る。

【0057】

図３Ｆは、例えばハンドル１３２におけるノブ１３３を手動により、又はロボットにより回すことにより、矢印１３８ａ及び１３８ｂにより示されるように、例えば患者の心臓に対して左右平面に沿って曲げられるＴＥＥプローブ１３０を示す概略図である。左右平面に沿って曲げることは、βと表記されたパラメータにより説明され得る。

【0058】

介入デバイス３０（図１）の例示的な実施形態の更なる例により、図３Ｇは、患者Ｐの体の外部から患者Ｐの解剖学的構造物の超音波画像を捕捉するように構成された経胸壁心エコー検査（ＴＴＥ）プローブ２４０、及び、ＴＴＥプローブ２４０を目標ポーズ（すなわち、患者Ｐに対するＴＴＥプローブ２４０の位置及び／又は配向）に再配置するようにＴＴＥプローブ２４０を手動で、又はロボットを使用してハンドリングするための示されるようなロボット２３０を示す。更には特に、ロボット２３０は、患者Ｐの外面において（例えば心臓をイメージングするために胸部エリアの周囲において）ＴＴＥプローブ２４０を保持するように、及びＴＴＥプローブ２４０を操作するように構成された複数の関節２３２に結合された複数のリンク２３１を含む。

【0059】

手動ナビゲート式の実施形態では、医師がリンク２３１にナビゲーション力３３（図１）を手動で与え、以て、イメージングＴＴＥプローブ２４０を目標ポーズにナビゲートするために、ロボット２３０のリンク２３１を並進移動させ、回転させ、及び／又は旋回させる。医師は、ロボット２３０のリンク２３１の制御の基礎として使用するために、ＴＴＥプローブ２４０により生成された画像の表示を見る。

【0060】

自動ナビゲート式の実施形態では、ロボットシステム（図示されていない）は、ロボット２３０のリンク２３１を操縦するように構成された電気的な、及び／又は機械的コンポーネント（例えば、モーター、ローラー、及びギア）を含み、この場合において、ロボット制御装置１０１は、デカルト速度パラメータ又は関節速度パラメータの形態をとるナビゲーション制御装置（図示されていない）又は入力デバイス（図示されていない）から運動制御指示３２（図１）を受信し、以て、ロボット２３０のリンク２３１を操作する。代替的に、ロボット制御装置１０１は、ロボット制御装置１０１により実施されるガイダンス方法に基づいて、作動信号３２（図１）を介してＴＴＥプローブ２４０を直接操作するように構成される。

【0061】

介入デバイス３０（図１Ａ）の例示的な実施形態の更なる例により、図３Ｈは、エンドエフェクタ３４０を含む連続体ロボット３３１に組み込まれた、又は装着された形状検出されるガイドワイヤ３３２を示す。形状検出されるガイドワイヤ２３２は、本開示の技術分野において知られている光学的形状検出（ＯＳＳ）技術を組み込んだものである。更には特に、形状検出制御装置１０３は、手術介入中におけるデバイスの位置特定及びナビゲーションのためにガイドワイヤ３３２のマルチコア光ファイバー３３３に沿った光を使用する。関与する原理は、特徴的なレイリー後方散乱又は制御された回折格子パターン（例えばファイバーブラッグ回折格子）を使用した光ファイバーにおける分布ゆがみ測定を利用する。実際には、ロボット制御装置１０２又は医師（図示されていない）が目標ポーズにエンドエフェクタ３４０を配置するために患者Ｐ内において連続体ロボット３３１をナビゲートするときに、形状検出制御装置１０３が、形状検出されるガイドワイヤ３３２を介して連続体ロボット３３１の重ね合わされた形状を獲得する。

【0062】

本開示の理解を更に円滑化するために、図２Ａ及び図２Ｂの以下の説明が、それぞれ、本開示の連続位置制御装置及び本開示の連続配置ステートマシンの例示的な実施形態を教示する。図２Ａ及び図２Ｂの説明から、本開示の当業者は、本開示の連続位置制御装置及び本開示の連続配置ステートマシンの更なる実施形態を製造する、及び使用するために本開示をどのように適用するかを理解する。

【0063】

更に、ＴＥＥプローブ１３０（図３Ａ）、ロボット２３０／ＴＴＥプローブ２４０（図３Ｇ）、及び連続体ロボット３３１（図３Ｈ）は、本開示の連続位置制御装置の様々な実施形態の説明をサポートするために、エンドエフェクタ４０（図１）を含む介入デバイス３０の非限定的な例として本明細書において使用される。それにもかかわらず、本開示の当業者は、エンドエフェクタ４０を含む介入デバイス３０の様々な、及び多くの更なる実施形態に本開示をどのように適用するかを理解する。

【0064】

図１、図２Ａ、及び図２Ｂを参照すると、本開示のエンドエフェクタ４０を含む介入デバイス３０、及び連続配置制御装置５０は、連続配置ステートマシン９０を表す。

【0065】

特に、図２Ｂに示されるように、連続配置ステートマシン９０の状態Ｓ９２は、特定の用途（例えば、低侵襲性処置、ビデオ補助式胸部手術、最小脈管処置、最小医療診断処置、又は整形外科的処置）に従ったエンドエフェクタ４０を含む介入デバイス３０のナビゲーションを包含する。実際には、本用途は、目標ポーズへのエンドエフェクタ４０の手動ナビゲーション配置又は自動ナビゲーション配置を伴い、この場合において、本用途は、エンドエフェクタ４０を目標ポーズに配置するための、イメージングガイダンス（例えば、画像セグメント分け、画像重ね合わせ、経路計画など）、介入デバイス追跡（例えば、電磁的、光学的、又は形状検出）、及び／又は任意の他のナビゲーション技術を組み込んだものである。

【0066】

連続配置ステートマシン９０の状態Ｓ９２の実行は、ナビゲーションデータ３４の生成、及び補助データ３５の任意選択的な生成をもたらす。概して、実際には、ナビゲーションデータ３４は、介入デバイス３０に通信された／介入デバイス３０に与えられたナビゲーション指示３１、作動信号３２、及び／又はナビゲーション力３３の形態をとり、補助データ３５は、介入デバイス３０及び／又はエンドエフェクタ４０の画像、介入デバイス３０の動作特性（例えば、形状、ひずみ、ねじる、温度など）、及びエンドエフェクタ４０の動作特性（例えば、ポーズ、力など）の形態をとる。

【0067】

それに応答して、連続配置ステートマシン９０の状態Ｓ９４は、状態Ｓ９２に従った、介入ツール３０及びエンドエフェクタ４０のナビゲーションの連続位置制御装置５０による連続配置制御を包含する。この目的を達成するために、連続位置制御装置５０は、本開示の順予測モデル６０、本開示の逆予測モデル７０、及び／又は本開示のイメージング予測モデル８０を使用する。

【0068】

実際には、本開示において更に説明されるように、順予測モデル６０は、実施される特定の種類の用途において使用される特定のタイプの介入デバイス３０に適した、エンドエフェクタ４０のナビゲートされたポーズへの介入デバイスの配置運動３０の回帰のための任意の種類の機械学習モデル又は同等なもの（例えばニューラルネットワーク）であり、この場合において、順予測モデル６０は、エンドエフェクタ４０のナビゲートされたポーズを予測する介入デバイス３０の順運動学に基づいて訓練される。

【0069】

動作中、順予測モデル６０は、介入デバイス３０の手動ナビゲーション又は自動ナビゲーションに関連したナビゲーションデータ３４（及び、通信される場合、補助データ３５）を入力し、以て、介入デバイス３０のナビゲーションに対応したエンドエフェクタ４０のナビゲートされたポーズを予測し、及び、エンドエフェクタ４０の予測されたナビゲートされたポーズに基づいて、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による配置について情報提供する連続配置データ５１を出力する。連続配置データ５１は、エンドエフェクタ４０を目標ポーズに配置するための介入デバイス３０の手動ナビゲーション又は自動ナビゲーションの正確さを決定するための、及び／又は再校正を実行するための制御として状態Ｓ９２において使用される。

【0070】

実際には、本開示において更に説明されるように、逆予測モデル７０は、実施される特定の種類の用途において使用される特定のタイプの介入デバイス３０に適した、介入デバイス３０の配置運動へのエンドエフェクタ４０の目標ポーズの回帰のための任意の種類の機械学習モデル又は同等なもの（例えばニューラルネットワーク）であり、この場合において、逆予測モデル６０は、介入デバイス３０の配置運動を予測する介入デバイス３０の逆運動学に基づいて訓練される。

【0071】

動作中、逆予測モデル７０は、エンドエフェクタ４０の目標ポーズに関連したナビゲーションデータ３４（及び、通信される場合、補助データ３５）を入力し、以て、エンドエフェクタ４０を目標ポーズに配置するために介入デバイス３０の配置運動を予測し、及び、介入デバイス３０の予測された配置運動に基づいて、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による配置を制御するための連続配置指示５２を出力する。連続配置指示５２は、エンドエフェクタ４０を目標ポーズに配置するための介入デバイス３０の手動ナビゲーション又は自動ナビゲーションを実行するための制御として状態Ｓ９２において使用される。

【0072】

実際には、本開示において更に説明されるように、イメージング予測モデル８０は、実施される特定の種類の用途において使用される特定のタイプのエンドエフェクタ４０に適した、エンドエフェクタ４０のナビゲートされたポーズへのエンドエフェクタ４０による相対イメージングの回帰のための任意の種類の機械学習モデル又は同等なもの（例えばニューラルネットワーク又はスケール不変特徴変換ネットワーク）であり、この場合において、逆予測モデル６０は、エンドエフェクタ４０による相対イメージング、及びエンドエフェクタ４０のナビゲートされたポーズを予測する介入デバイス３０の順運動学の相関に基づいて訓練される。

【0073】

動作中、イメージング予測モデル６０は、１つ又は複数のポーズにおいてエンドエフェクタ４０により生成された画像の形態をとる補助データ３５を入力し、以て、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による修正配置について情報提供するフィードバックデータとしてエンドエフェクタ４０のナビゲートされたポーズを予測する。フィードバックデータは、エンドエフェクタ４０の目標ポーズとエンドエフェクタ４０の予測されたナビゲートされたポーズとの間の差を生成するために状態Ｓ９４の閉ループにおいて使用され、この場合において、逆予測モデル７０は、エンドエフェクタ３０を目標ポーズに再配置するために介入デバイス３０の修正配置運動を予測するために差を入力する。

【0074】

実際には、連続配置制御装置５０の実施形態は、順予測モデル６０、逆予測モデル７０、及び／又はイメージング予測モデル８０を使用する。

【0075】

例えば、連続配置制御装置５０の実施形態は、エンドエフェクタ４０を目標ポーズに配置するための介入デバイス３０の手動ナビゲーション又は自動ナビゲーションの正確さの表示を円滑化するために順予測モデル６０のみを使用する。

【0076】

更には特に、ユーザーインターフェースが、目標ポーズへのエンドエフェクタ４０の試みられたナビゲーションの画像、及び、順予測モデル６０によるエンドエフェクタ４０の予測されたナビゲートされたポーズの画像を表示するために提供される。予測の信頼率がユーザーに示される。予測の不確かさを評価するために、順予測モデル６０の複数のフィードフォワード反復は、本開示の技術分野において知られているように確率的に可能にされたドロップアウトを伴って実施される。

【0077】

更なる例によると、連続配置制御装置５０の実施形態は、エンドエフェクタ４０を目標ポーズに配置するために介入デバイス３０の手動ナビゲーション又は自動ナビゲーションを指示するために逆予測モデル７０のみを使用する。

【0078】

更なる例によると、連続配置制御装置５０の実施形態は、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による修正配置について情報提供するフィードバックデータを提供するためにイメージング予測モデル８０のみを使用する。

【0079】

更なる例によると、連続配置制御装置５０の実施形態は、順予測モデル６０と逆予測モデル７０とを使用し、以て、エンドエフェクタ４０を目標ポーズに配置するために介入デバイス３０の手動ナビゲーション又は自動ナビゲーションを指示し、及びエンドエフェクタ４０を目標ポーズに配置するために介入デバイス３０の手動ナビゲーション又は自動ナビゲーション正確さの表示をする。

【0080】

更なる例により、連続配置制御装置５０の実施形態は、逆予測モデル７０とイメージング予測モデル８０とを使用し、以て、エンドエフェクタ４０を目標ポーズに配置するために介入デバイス３０の手動ナビゲーション又は自動ナビゲーションを指示し、及び、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による修正配置について情報提供するフィードバックデータを提供する。

【0081】

本開示の理解を更に円滑化するために、図４～図１４の以下の説明が、本開示の順予測モデル、逆予測モデル、及びイメージング予測モデルの例示的な実施形態を教示する。図４～図１４の説明から、本開示の当業者は、本開示の順予測モデル、逆予測モデル、及びイメージング予測モデルの更なる実施形態を製造する、及び使用するために本開示をどのように適用するかを理解する。

【0082】

図４Ａ～図４Ｅは、エンドエフェクタ４０（図１）のナビゲートされたポーズを予測し、以て、介入処置中に、エンドエフェクタ４０の予測されたナビゲートされたポーズをレンダリングするための介入デバイス３０の指示された配置運動への順予測モデル６０ａの適用を円滑化する、介入デバイス３０（図１）の順運動学に対して訓練された本開示の順予測モデル６０ａの訓練及び適用を示し、この場合において、連続配置制御装置５０（図１）は、エンドエフェクタ４０の予測されたナビゲートされたポーズに基づいて、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による配置について情報提供する連続配置データ５１を生成する。

【0083】

更には特に、図４Ａを参照すると、順予測モデル６０ａの訓練フェーズは、本開示の図１６～図１８の後述の説明において例示的に教示されているように、グランドトゥルース訓練データ集合Ｄを解釈するように構成された訓練制御装置（図示されていない）の関与を伴う。データ集合Ｄは２要素タプル、すなわちｄ_ｉ＝（Ｔ_ｉ，Ｑ_ｉ）により表されたｉ個のデータ点を含むｎ個のシーケンスＷからなる。２要素タプルは、エンドエフェクタポーズ（Ｔ∈ＳＥ（３））６２ａと、ｔから始まりｔ＋ｊまでの連続した時点において獲得されたｊ個の連続した関節変数のシーケンス（Ｑ∈（ｑ_ｔ、ｑ_ｔ＋１…ｑ_ｔ＋ｊ））６１ａとからなる。要素ｑ_ｔは、ロボット制御装置（図示されていない）により制御されるすべての関節変数を表す。

【0084】

実際には、訓練データ集合Ｄは、介入デバイス３０の異なるナビゲーションの合理的なカバレッジを伴うエキスパートデータの集合体である。この目的を達成するために、学習のための多様なデータ集合訓練データ集合Ｄは、様々な種類のロボットの間の製造差、性能特性、ハードウェアコンポーネントの摩耗及び断裂、及び他のシステムに依存した及びシステムから独立した因子、例えば、ロボットが動作する環境の温度又は湿度を組み込まなければならない。

【0085】

図４Ｂを参照すると、順予測モデル６０ａの適用段階は、連続配置制御装置５０が、エンドエフェクタ４０のナビゲートされたポーズへの介入デバイス３０の指示された配置運動の回帰のためにフィードフォワード予測モデル６０ａを使用した深層学習型アルゴリズムを実行することを伴う。順予測モデル６０ａは、介入デバイス３０のｊ個の連続した関節変数６１ｂのシーケンスＱ（例えば、図３Ｂに示されるパラメータα、β）が与えられたとき、エンドエフェクタ４０のポーズ

【数1】

６２ｂを推測するように構成されている。

【0086】

図４Ｅに示される１つの実施形態において、順予測モデル６０ａは、１つ又は複数の全結合層（ＦＣＬ）１６３ａ、１つ又は複数の畳み込み層（ＣＮＬ）１６４ａ、１つ又は複数のリカレント層（ＲＣＬ）１６５ａ、及び１つ又は複数の長期短期記憶（ＬＳＴＭ）層１６６ａの組み合わせから導出された入力層、隠れ層、及び出力層を含むニューラルネットワークベース１６０ａを使用する。

【0087】

実際には、層の組み合わせが、ポーズ

【数2】

への関節変数Ｑの回帰を実施するように構成される。

【0088】

ポーズ

【数3】

への関節変数Ｑの回帰を実施するための１つの実施形態において、ニューラルネットワークベース１６０ａは、Ｎ個の全結合層１６３ａの集合を含む。

【0089】

ポーズ

【数4】

への関節変数Ｑの回帰を実施するための第２の実施形態において、ニューラルネットワークベース１６０ａは、Ｎ個の畳み込み層１６４ａの集合、及び、その後のＭ個の全結合層１６３ａの集合、又はＷ個のリカレント層１６５ａの集合、又はＷ個の長期短期記憶層１６６ａの集合を含む。

【0090】

ポーズ

【数5】

への関節変数Ｑの回帰を実施するための第３の実施形態において、ニューラルネットワークベース１６０ａは、Ｎ個の畳み込み層１６４ａの集合、及び、その後のＭ個の全結合層１６３ａの集合、及びＷ個のリカレント層１６５ａの集合、又はＷ個の長期短期記憶層１６６ａの集合の組み合わせを含む。

【0091】

実際には、全結合層１６３ａはＫ個のニューロンを含み、ここで、Ｎ、Ｍ、Ｗ、Ｋは任意の正の整数であり、値は、実施形態に応じて変わる。例えば、Ｎは約８であり、Ｍは約２であり、Ｗは約２であり、Ｋは約１０００であり得る。更に、畳み込み層１６４ａは、演算（例えば、バッチ正規化、正規化線形ユニット（ＲｅＬＵ）、プーリング、ドロップアウト、及び／又は畳み込み）の合成関数である非線形変換を実施し、畳み込み層１６４ａは、正規化特徴マップを抽出するように構成された（例えば正規化非線形ＲｅＬＵ演算を含む）非線形性関数を更に含んでもよい。

【0092】

更に実際には、層１６３ａ又は１６４ａのうちの１つが関節変数Ｑのシーケンス１６１ａを入力するための入力層として機能し、この場合において、関節変数Ｑのシーケンスのサイズは、≧１であり、層１６３ａ、１６５ａ、１６６ａのうちの１つが、（例えば、デカルト空間におけるエンドエフェクタ４０の並進移動及び回転といった）デカルト空間におけるエンドエフェクタ４０のポーズ１６２ａを出力するための出力層として機能する。デカルト空間におけるエンドエフェクタ４０の出力されたポーズは、硬質ボディ位置及び配向のベクトルパラメータ化及び／又は非ベクトルパラメータ化として表される。更には特に、パラメータ化は、オイラー角、四元数、行列、指数写像、及び／又は、回転及び／又は（例えば、並進移動に対する方向及び大きさを含む）並進移動を表す角度軸の形態である。

【0093】

更に実際には、出力層は、出力変数の集合を生成するためにニューラルネットワークベース１６０ａの最後の畳み込み層１６４ａの高次元出力を徐々に縮小する非線形全結合層１６３ａである。

【0094】

訓練において、順予測モデル６０ａの訓練重みは、－入力シーケンスＱを与えられた－出力推測順予測モデル

【数6】

を、データメモリ（図示されていない）から系統的に、又はランダムに選択される訓練データ集合ＤのバッチからのグランドトゥルースエンドエフェクタポーズＴ_ｉと比較することにより継続的に更新される。更には特に、フィルタに対する係数は、既定値又は任意値を使用して初期化される。フィルタに対する係数は、前方伝播を介して訓練データ集合Ｄのバッチに適用され、任意の出力誤差を最小化するために後方伝播を介して調節される。

【0095】

適用時に、順予測モデル６０ａは、ｊ個の連続した関節変数６２ａのシーケンスＱが与えられたとき、エンドエフェクタ４０のポーズ

【数7】

６２ａを推測する。

【0096】

更に図４Ｅを参照すると、示されている順予測モデル６０ａの例示的な実施形態のニューラルアーキテクチャは、ｊ個の連続した関節変数６１ａのシーケンスＱを与えられたとき、エンドエフェクタ４０のポーズ

【数8】

６２ａを予測するように規定された出力層１６９ａにおいて指定されるタスクの複雑さに応じた固有の層数をもつ。このニューラルアーキテクチャの訓練のための損失関数は、例えば、

【数9】

のように、並進移動成分と回転成分との間のユークリッド距離の和として規定される。

【0097】

図４Ｃ及び図４Ｄを参照すると、ＴＥＥプローブ１３０（図３Ａ）及びロボット制御装置１００（図３Ｂ）を使用する例示的な介入処置９０ａのステージＳ９２ａは、ロボット制御装置１００が関節変数としてＴＥＥプローブ１３０の位置を受信することと、ＴＥＥプローブ１３０のハンドル１３２（図３Ａ）に動き信号を送信することとを有する。モーター駆動式ノブを使用することにより、ハンドル１３２がＴＥＥプローブ１３０の腱を引く／緩め、このことが、目標ポーズへのエンドエフェクタ１４０（図３Ｃ～図３Ｆ）の運動をもたらす。実際には、関節変数としてのＴＥＥプローブ１３０の位置は、ユーザー又は外部追跡デバイス又はガイダンスシステムにより示される。

【0098】

工程９０ａのステージＳ９４ａは、ロボット制御装置１００、順予測モデル５０ａ、及び表示制御装置１０４の関与を伴う。ロボット制御装置１００は、連続した関節変数（Ｑ）６１ａのシーケンスを記憶し、エンドエフェクタ１４０のナビゲートされたポーズ

【数10】

を予測する順予測モデル６０ａに通信する。連続配置制御装置５０ａは、本開示の技術分野において知られているように確率的に可能にされたドロップアウトを伴って実施される順予測モデル６０ａの不確かな複数のフィードフォワード反復から導出された予測の信頼率を生成する。順予測モデル５０ａは、エンドエフェクタ１４０の予測されたナビゲートされたポーズ

【数11】

及び信頼率を含む連続配置データ５１ａを表示制御装置１０４に通信し、次に、表示制御装置１０４が、目標ポーズへのエンドエフェクタ１４０に対するガイダンス目的のために、エンドエフェクタ１４０のナビゲートされたポーズの画像１０５ａ、エンドエフェクタ１４０のナビゲートされたポーズの画像１０６ａ、及び、信頼率の表示を制御する。

【0099】

図５Ａ～図５Ｅは、介入デバイス３０の配置運動を予測し、以て、介入デバイス３０の関節変数運動（ｑ）７２_ｔをレンダリングするために、介入処置中にエンドエフェクタ４０の目標ポーズ（Ｔ）７１ａへの逆予測モデル７０ａの適用を円滑化する、介入デバイス３０（図１）の逆運動学に基づいて訓練された本開示の逆予測モデル７０ａの訓練及び適用を示し、この場合において、連続配置制御装置５０（図１）は、介入デバイス４０の予測された配置運動に基づいて、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による再配置を制御する連続配置指示を生成する。

【0100】

更には特に、図５Ａを参照すると、逆予測モデル７０ａの訓練フェーズは、図１７～図１８の説明において例示的に教示されているようにグランドトゥルース訓練データ集合Ｄを解釈するように構成された訓練制御装置（図示されていない）の関与を伴う。データ集合Ｄは、２要素タプル、すなわちｄ_ｉ＝（Ｔ_ｉ，Ｑ_ｉ）により表されたｉ個のデータ点を含むｎ個のシーケンスＷからなる。２要素タプルは、エンドエフェクタポーズ（Ｔ∈ＳＥ（３））７１ａと、ｔから始まりｔ＋ｊまでの連続した時点において獲得されたｊ個の連続した関節変数のシーケンス（Ｑ∈（ｑ_ｔ、ｑ_ｔ＋１…ｑ_ｔ＋ｊ））７２ａとからなる。要素ｑ_ｔは、ロボット制御装置（図示されていない）により制御されるすべての関節変数を表す。変数ｊは更に１に等しくてもよく、このことは、予測モデルが１つの関節変数集合を推測するために訓練されることを意味する。

【0101】

実際には、訓練データ集合Ｄは、介入デバイス３０の異なるナビゲーションの合理的なカバレッジを伴うエキスパートデータの集合体である。この目的を達成するために、学習のための多様なデータ集合訓練データ集合Ｄは、様々な種類のロボット間の機械的相違、ハードウェアコンポーネントの摩耗及び断裂、及び他のシステムに依存した因子を組み込んだものでなければならない。

【0102】

図５Ｂを参照すると、逆予測モデル７０ａの適用段階は、連続配置制御装置５０が運動回帰に対する逆予測モデル７０ａを使用して深層学習型アルゴリズムを実行することを伴う。逆予測モデル７０ａは、エンドエフェクタ４０のポーズ（Ｔ∈ＳＥ（３））７１ｔに到達するために、ｊ個の連続した関節変数７２_ｔ（例えば、図３Ｂに示されるパラメータα、β）のシーケンス

【数12】

を推測するように構成されている。

【0103】

図５Ｅに示される１つの実施形態において、逆予測モデル７０ａは、１つ又は複数の全結合層（ＦＣＬ）１７３ａ、１つ又は複数の畳み込み層（ＣＮＬ）１７４ａ、１つ又は複数のリカレント層（ＲＣＬ）１７５ａ、及び１つ又は複数の長期短期記憶（ＬＳＴＭ）層１７６ａの組み合わせから導出された入力層、隠れ層、及び出力層を含むニューラルネットワークベース１７０ａを使用する。

【0104】

実際には、層の組み合わせは、関節変数

【数13】

へのポーズＴの回帰を実施するように構成されている。

【0105】

関節変数

【数14】

へのポーズＴの回帰を実施するための１つの実施形態において、ニューラルネットワークベース１７０ａは、Ｎ個の全結合層１７３ａの集合を含む。

【0106】

関節変数

【数15】

へのポーズＴの回帰を実施するための第２の実施形態において、ニューラルネットワークベース１７０ａは、Ｎ個の畳み込み層１７４ａの集合、及び、その後のＭ個の全結合層１７３ａの集合、又はＷ個のリカレント層１７５ａの集合、又はＷ個の長期短期記憶層１７６ａの集合を含む。

【0107】

関節変数

【数16】

へのポーズＴの回帰を実施する第３の実施形態において、ニューラルネットワークベース１７０ａは、Ｎ個の畳み込み層１７４ａの集合、及び、その後のＭ個の全結合層１７３ａの集合、及びＷ個のリカレント層１７５ａの集合、又はＷ個の長期短期記憶層１７６ａの集合の組み合わせを含む。

【0108】

実際には、全結合層１７３ａはＫ個のニューロンを含み、ここで、Ｎ、Ｍ、Ｗ、Ｋは任意の正の整数であり、値は実施形態に応じて変わる。例えば、Ｎは約８であり、Ｍは約２であり、Ｗは約２であり、Ｋは約１０００であり得る。更に、畳み込み層１７４ａは、演算（例えば、バッチ正規化、正規化線形ユニット（ＲｅＬＵ）、プーリング、ドロップアウト、及び／又は畳み込み）の合成関数である非線形変換を実施し、畳み込み層１７４ａは、正規化特徴マップを抽出するように構成された（例えば正規化非線形ＲｅＬＵ演算を含む）非線形性関数を更に含んでもよい。

【0109】

更に実際には、層１７３ａ又は１７４ａのうちの１つが、（例えばデカルト空間におけるエンドエフェクタ４０の並進移動及び回転といった）デカルト空間におけるエンドエフェクタ４０のポーズ１７１ａを入力するための入力層として機能し、層１７３ａ、１７５ａ及び１７６ａのうちの１つが、関節変数Ｑのシーケンス１７２ａを出力するための出力層として機能し、この場合において、関節変数Ｑのシーケンスのサイズは、≧１である。デカルト空間におけるエンドエフェクタ４０の入力されたポーズは、硬質ボディ位置及び配向のベクトルパラメータ化及び／又は非ベクトルパラメータ化として表される。更には特に、パラメータ化は、（例えば並進移動に対する方向及び大きさを含む）オイラー角、四元数、行列、指数写像、及び／又は、回転を表す角度軸、及び／又は並進移動の形態である。

【0110】

更に実際には、出力層は、出力変数の集合を生成するためにニューラルネットワークベース１７０ａの最後の畳み込み層１７４ａの高次元出力を徐々に縮小する非線形全結合層１７３ａである。

【0111】

訓練において、逆予測モデル７０ａの訓練重みは、－グランドトゥルースエンドエフェクタポーズＴを入力として与えられた－逆予測されたモデル

【数17】

からの出力を、データメモリ（図示されていない）から系統的に、又はランダムに選択される訓練データ集合ＤのバッチからのグランドトゥルースシーケンスＱ_ｉと比較することにより継続的に更新される。更には特に、フィルタに対する係数は、既定値又は任意値を使用して初期化される。フィルタに対する係数は、前方伝播を介して訓練データ集合Ｄのバッチに適用され、任意の出力誤差を最小化するために後方伝播を介して調節される。

【0112】

適用時に、逆予測モデル７０ａは、エンドエフェクタ４０の提供されたポーズ（Ｔ∈ＳＥ（３））７１ｂに到達するために、ｊ個の連続した関節変数７２ｂ（例えば図３Ｂに示されるパラメータα、β）のシーケンス

【数18】

を推測する。

【0113】

更に図５Ｅを参照すると、示されている逆予測モデル７０ａの例示的な実施形態のニューラルアーキテクチャは、エンドエフェクタ４０のポーズ（Ｔ∈ＳＥ（３））７１ｂに到達するために、ｊ個の連続した関節変数７２ｂ（例えば図３Ｂに示されるパラメータα、β）のシーケンス

【数19】

を予測するために規定された出力層１７９ａにおいて指定されたタスクの複雑さに応じた固有の層数をもつ。平均二乗誤差（ＭＳＥ）は損失関数として使用される。

【0114】

図５Ｃ及び図５Ｄを参照すると、ＴＥＥプローブ１３０（図３Ａ）及びナビゲーション制御装置１０３を使用する例示的な介入処置９０ｂのステージＳ９２ｂは、ナビゲーション制御装置１０３がエンドエフェクタ１４０の目標ポーズを決定すること、及び、逆予測モデル７０ａに目標ポーズ７１ａを送信することを有する。実際には、ナビゲーション制御装置１３０は、本開示の技術分野において知られている任意の知られたガイダンスアルゴリズムを実施する。

【0115】

工程９０ｂのステージＳ９４Ａは、逆予測モデル７０ａ及びロボット制御装置１００の関与を伴う。逆予測モデル７０ａは、エンドエフェクタ４０のポーズ（Ｔ∈ＳＥ（３））７１ａに到達するために、ｊ個の連続した関節変数７２ａ（例えば図３Ｂに示されるパラメータα、β）のシーケンス

【数20】

を推測し、連続配置制御装置５０ｂが、介入デバイス４０の予測された配置運動に基づいて、目標ポーズへのエンドエフェクタ４０の介入デバイス３０を介したエンドエフェクタ５０の配置を制御するようにコマンド制御装置１０４と通信する。

【0116】

図６Ａ～図６Ｅは、エンドエフェクタ４０（図１）のナビゲートされたポーズを予測し、以て、介入処置中に、エンドエフェクタ４０の予測された線速度及び／又は角速度をレンダリングするために介入デバイス３０の関節速度の指示されたｎ次元ベクトルに対する順予測モデル６０ｂの適用を円滑化する介入デバイス３０（図１）の順運動学に基づいて訓練された本開示の順予測モデル６０ｂの訓練及び適用を示し、この場合において、連続配置制御装置５０（図１）は、エンドエフェクタ４０の予測された線速度及び／又は角速度に基づいて、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による再配置について情報提供する連続配置データ５１を生成する。

【0117】

更には特に、図６Ａを参照すると、順予測モデル６０ｂの訓練フェーズは、図１６～図１８の説明において例示的に教示されているようにグランドトゥルース訓練データ集合Ｄを解釈するように構成された訓練制御装置（図示されていない）の関与を伴う。データ集合Ｄは、２要素タプル、すなわち

【数21】

により表されたｉ個のデータ点を含むｎ個のシーケンスＷからなる。２要素タプルは、ｊ個の連続した関節速度

【数22】

６１ｂと、エンドエフェクタの線速度及び／又は角速度６２ｂ

【数23】

との指示されたシーケンスからなる。要素

【数24】

は、ロボット制御装置（図示されていない）により制御されるすべての関節速度を表す。シーケンスは、ただ１つの要素を含んでいてもよい。

【0118】

実際には、訓練データ集合Ｄは介入デバイス３０の異なるナビゲーションの合理的なカバレッジを伴うエキスパートデータの集合体である。この目的を達成するために、学習のための多様なデータ集合訓練データ集合Ｄは、様々な種類のロボット間の機械的相違、ハードウェアコンポーネントの摩耗及び断裂、及び他のシステムに依存した因子を組み込んだものでなければならない。

【0119】

図６Ｂを参照すると、順予測モデル６０ｂの適用段階は、連続配置制御装置５０が、エンドエフェクト運動回帰のためにフィードフォワード予測モデル６０ｂを使用した深層学習型アルゴリズムを実行することを伴う。順予測モデル６０ｂは、介入デバイス３０の関節速度６１ｂのｎ次元ベクトルを与えられたとき、エンドエフェクタ４０の線速度及び／又は角速度６２ｂを推測するように構成されている。

【0120】

図６Ｅに示される１つの実施形態において、順予測モデル６０ｂは、１つ又は複数の全結合層（ＦＣＬ）１６３ｂ、１つ又は複数の畳み込み層（ＣＮＬ）１６４ｂ、１つ又は複数のリカレント層（ＲＣＬ）１６５ｂ、及び１つ又は複数の長期短期記憶（ＬＳＴＭ）層１６６ｂの組み合わせから導出された入力層、隠れ層、及び出力層を含むニューラルネットワークベース１６０ｂを使用する。

【0121】

実際には、層の組み合わせは、エンドエフェクタ４０の線速度及び／又は角速度への介入デバイス３０の関節速度の回帰を実施するように構成される。

【0122】

エンドエフェクタ４０の線速度及び／又は角速度への介入デバイス３０の関節速度の回帰を実施するための１つの実施形態において、ニューラルネットワークベース１６０ｂはＮ個の全結合層１６３ｂの集合を含む。

【0123】

エンドエフェクタ４０の線速度及び／又は角速度への介入デバイス３０の関節速度の回帰を実施するための第２の実施形態において、ニューラルネットワークベース１６０ｂは、Ｎ個の畳み込み層１６４ｂの集合、及び、その後のＭ個の全結合層１６３ｂの集合、又はＷ個のリカレント層１６５ｂの集合、又はＷ個の長期短期記憶層１６６ｂの集合を含む。

【0124】

エンドエフェクタ４０の線速度及び／又は角速度への介入デバイス３０の関節速度の回帰を実施するための第３の実施形態において、ニューラルネットワークベース１６０ｂは、Ｎ個の畳み込み層１６４ｂの集合、及び、その後のＭ個の全結合層１６３ｂの集合、及びＷ個のリカレント層１６５ｂの集合、又はＷ個の長期短期記憶層１６６ｂの集合の組み合わせを含む。

【0125】

実際には、全結合層１６３ｂはＫ個のニューロンを含み、ここで、Ｎ、Ｍ、Ｗ、Ｋは任意の正の整数であり、値は実施形態に応じて変わる。例えば、Ｎは約８であり、Ｍは約２であり、Ｗは約２であり、Ｋは約１０００であり得る。更に、畳み込み層１６４ｂは、演算（例えば、バッチ正規化、正規化線形ユニット（ＲｅＬＵ）、プーリング、ドロップアウト、及び／又は畳み込み）の合成関数である非線形変換を実施し、畳み込み層１６４ｂは、正規化特徴マップを抽出するように構成された（例えば正規化非線形ＲｅＬＵ演算を含む）非線形性関数を更に含んでもよい。

【0126】

更に実際には、層１６３ｂ又は１６４ｂのうちの１つは、ｊ個の連続した関節速度のシーケンス

【数25】

を入力するための入力層として機能し、この場合において、ｊ個の連続した関節速度のシーケンス

【数26】

のサイズは、≧１であり、層１６３ｂ、１６５ｂ、及び１６６ｂのうちの１つは、線形又は非線形活性化関数を使用して最後の全結合層（例えば、線速度に対して３ユニット、及び角速度に対して３ユニットの６ユニット）から回帰されたエンドエフェクタの線速度及び角速度

【数27】

を出力するための出力層として機能する。

【0127】

訓練において、順予測モデル６０ｂの訓練重みは、－関節速度のシーケンスを与えられた－順速度予測モデルを介して予測された線速度及び角速度

【数28】

を、データメモリ（図示されていない）から系統的に、又はランダムに選択される訓練データ集合Ｄのバッチからの線速度及び／又は角速度６２ｂと比較することにより継続的に更新される。更には特に、フィルタに対する係数は、既定値又は任意値を使用して初期化される。フィルタに対する係数は、前方伝播を介して訓練データ集合Ｄのバッチに適用され、任意の出力誤差を最小化するために後方伝播を介して調節される。

【0128】

適用時に、順予測モデル６０ｂは、介入デバイス３０の関節速度６１ｂのシーケンスが与えられたとき、エンドエフェクタ４０の線速度及び／又は角速度６２ｂを推測する。

【0129】

更に図６Ｅを参照すると、ニューラルアーキテクチャは、入力、前述のニューラルネットワークベース、及び出力からなる。入力は、関節速度のシーケンスであり、出力は、６ユニットを含む全結合層から回帰され得る線速度及び角速度である。損失関数は、

【数29】

として列記されたＭＳＥである。

【0130】

図６Ｃ及び図６Ｄを参照すると、ロボット２３０（図３Ａ）、ＴＴＥプローブ２４０（図３Ａ）、及びロボット制御装置１０１（図３Ｇ）を使用する例示的な介入処置９０ｃのステージＳ９２ｃは、ロボット制御装置１０１が、介入デバイス３０の関節速度６１ｂのｎ次元ベクトルとしてＴＴＥプローブ２４０の位置を受信すること、及びロボット２３０に介入デバイス３０の関節速度６１ｂのｎ次元ベクトルを送信することを有する。実際には、介入デバイス３０の関節速度６１ｂのｎ次元ベクトルとしてのＴＴＥプローブ２４０の位置は、ユーザー又は外部追跡デバイス又はガイダンスシステムにより示される。

【0131】

工程９０ｃのステージＳ９４ｃはロボット制御装置１０１、順予測モデル５０ａ、及び表示制御装置１０４の関与を伴う。ロボット制御装置１０１は、介入デバイス３０の関節速度６１ｂのｎ次元ベクトルを記憶し、ＴＴＥプローブ２４０の線速度及び／又は角速度６２ｂを予測する順予測モデル６０ｂに通信する。連続配置制御装置５０ｃは、本開示の技術分野において知られているように確率的に可能にされたドロップアウトを伴って実施される順予測モデル６０ｂの不確かな複数のフィードフォワード反復から導出された予測の信頼率を生成する。順予測モデル６０ｂは、ＴＴＥプローブ２４０の予測された線速度及び／又は角速度６２ｂから導出されたＴＴＥプローブ２４０の予測されたナビゲートされたポーズ

【数30】

を含み、及び、信頼率を更に含む連続配置データ５１ｂを表示制御装置１０４に通信し、次に、表示制御装置１０４が、目標ポーズへのエンドエフェクタ２４０に対するガイダンス目的のために、ＴＴＥプローブ２４０のナビゲートされたポーズの画像１０５ａ、ＴＴＥプローブ２４０のナビゲートされたポーズの画像１０６ａ、及び信頼率の表示を制御する。

【0132】

図７Ａ～図７Ｅは、介入デバイス３０の配置運動を予測し、以て、介入処置中に、介入デバイス３０の予測された配置運動をレンダリングするためのエンドエフェクタ４０の目標ポーズへの逆予測モデル７０ｂの適用を円滑化する、介入デバイス３０（図１）の逆運動学に基づいて訓練された本開示の逆予測モデル７０ｂの訓練及び適用を示し、この場合において、連続配置制御装置５０（図１）は、介入デバイス４０の予測された配置運動に基づいて、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による再配置を制御する連続配置指示を生成する。

【0133】

更には特に、図７Ａを参照すると、逆予測モデル７０ｂの訓練フェーズは、図１７～図１８の説明において例示的に教示されているようにグランドトゥルース訓練データ集合Ｄを解釈するように構成された訓練制御装置（図示されていない）の関与を伴う。データ集合Ｄは、２要素タプル、すなわち

【数31】

により表されたｉ個のデータ点を含むｎ個のシーケンスＷからなる。２要素タプルは、エンドエフェクタの線速度及び／又は角速度と、ｔから始まりｔ＋ｊまでの連続した時点において獲得された連続した関節速度のシーケンス

【数32】

とからなる。要素

【数33】

は、ロボット制御装置（図示されていない）により制御されるすべての関節速度を表す。

【0134】

実際には、訓練データ集合Ｄは、介入デバイス３０の異なるナビゲーションの合理的なカバレッジを伴うエキスパートデータの集合体である。この目的を達成するために、学習のための多様なデータ集合訓練データ集合Ｄは、様々な種類のロボット間の機械的相違、ハードウェアコンポーネントの摩耗及び断裂、及び他のシステムに依存した因子を組み込んだものでなければならない。

【0135】

図７Ｂを参照すると、逆予測モデル７０ｂの適用段階は、連続配置制御装置５０が関節速度回帰のために逆予測モデル７０ｂを使用して深層学習型アルゴリズムを実行することを伴う。逆予測モデル７０ｂは、エンドエフェクタ４０の線速度及び／又は角速度６２ｂを与えられたとき、介入デバイス３０の関節速度６１ｂのｎ次元ベクトルを推測するように構成されている。

【0136】

図７Ｅに示される１つの実施形態において、逆予測モデル７０ｂは、１つ又は複数の全結合層（ＦＣＬ）１７３ｂ、１つ又は複数の畳み込み層（ＣＮＬ）１７４ｂ、１つ又は複数のリカレント層（ＲＣＬ）１７５ｂ、及び１つ又は複数の長期短期記憶（ＬＳＴＭ）層１７６ｂの組み合わせから導出された入力層、隠れ層、及び出力層を含むニューラルネットワークベース１７０ｂを使用する。

【0137】

実際には、層の組み合わせは、介入デバイス３０の関節速度へのエンドエフェクタ４０の線速度及び／又は角速度の回帰を実施するように構成される。

【0138】

介入デバイス３０の関節速度へのエンドエフェクタ４０の線速度及び／又は角速度の回帰を実施するための１つの実施形態において、ニューラルネットワークベース１７０ｂはＮ個の全結合層１７３ｂの集合を含む。

【0139】

介入デバイス３０の関節速度へのエンドエフェクタ４０の線速度及び／又は角速度の回帰を実施するための第２の実施形態において、ニューラルネットワークベース１７０ｂはＮ個の畳み込み層１７４ｂの集合、及び、その後のＭ個の全結合層１７３ｂの集合、又はＷ個のリカレント層１７５ｂの集合、又はＷ個の長期短期記憶層１７６ｂの集合を含む。

【0140】

介入デバイス３０の関節速度へのエンドエフェクタ４０の線速度及び／又は角速度の回帰を実施するための第３の実施形態において、ニューラルネットワークベース１７０ｂは、Ｎ個の畳み込み層１７４ｂの集合、及び、その後のＭ個の全結合層１７３ｂの集合及びＷ個のリカレント層１７５ｂの集合又はＷ個の長期短期記憶層１７６ｂの集合の組み合わせを含む。

【0141】

実際には、全結合層１７３ｂはＫ個のニューロンを含み、ここで、Ｎ、Ｍ、Ｗ、Ｋは任意の正の整数であり、値は実施形態に応じて変わる。例えば、Ｎは約８であり、Ｍは約２であり、Ｗは約２であり、Ｋは約１０００であり得る。更に、畳み込み層１７４ｂは、演算（例えば、バッチ正規化、正規化線形ユニット（ＲｅＬＵ）、プーリング、ドロップアウト、及び／又は畳み込み）の合成関数である非線形変換を実施し、畳み込み層１７４ｂは、正規化特徴マップを抽出するように構成された（例えば正規化非線形ＲｅＬＵ演算を含む）非線形性関数を更に含む。

【0142】

更に実際には、層１７３ｂ又は１７４ｂのうちの１つは、角度及び線速度

【数34】

を入力するための入力層として機能し、層１７３ｂ、１７５ｂ、及び１７６ｂのうちの１つは、ＬＳＴＭ層１７６ｂからの出力として提供されるｊ個の連続した関節速度のシーケンス

【数35】

を出力するための出力層として機能する。代替的に、１つの関節速度は、ｍユニットからなる全結合層１７３ｂから回帰され、各ユニットはロボット制御装置により制御されるロボットにおける各連結に対するものである。全結合層１７３ｂは、線形又は非線形活性化関数を含む。

【0143】

訓練において、逆予測モデル７０ｂの訓練重みは、関節速度の予測されたシーケンス

【数36】

を－入力において線速度及び角速度

【数37】

が与えられたとき－データメモリ（図示されていない）から系統的に、又はランダムに選択される訓練データ集合Ｄのバッチからの関節速度のグランドトゥルースシーケンス

【数38】

と比較することにより継続的に更新される。更には特に、フィルタに対する係数は既定値又は任意値を使用して初期化される。フィルタに対する係数が前方伝播を介して訓練データ集合Ｄのバッチに適用され、任意の出力誤差を最小化するために後方伝播を介して調節される。

【0144】

適用時に、逆予測モデル７０ｂがエンドエフェクタ４０の線速度及び／又は角速度６２ｂが与えられたとき、介入デバイス３０の関節速度６１ｂのｎ次元ベクトルを推測する。

【0145】

更に図７Ｅを参照すると、逆速度モデルの例示的な実施形態のニューラルアーキテクチャは、入力、ニューラルネットワークベース、及び出力からなる。入力は角度及び線速度

【数39】

であり、出力はＬＳＴＭ層から出力として提供される関節速度のシーケンス

【数40】

である。代替的に、１つの関節速度は、ｍユニットからなる全結合層から回帰され、各ユニットは、ロボット制御装置により制御されるロボットにおける各連結に対するものである。全結合層は、線形又は非線形活性化関数を含む。

【0146】

図７Ｃ及び図７Ｄを参照すると、ＴＴＥプローブ２４０（図３Ｇ）及びナビゲーション制御装置１０３を使用する例示的な介入処置９０ｄのステージＳ９２ｄは、ナビゲーション制御装置１０３が、目標ポーズへのＴＴＥプローブ２４０の線速度及び／又は角速度６２ｂを決定すること、及び逆予測モデル７０ｂに線速度及び／又は角速度６２ｂを送信することを有する。実際には、ナビゲーション制御装置１３０は、本開示の技術分野において知られている任意の知られたガイダンスアルゴリズムを実施する。

【0147】

工程９０ｄのステージＳ９４ｄは、逆予測モデル７０ｂ及びロボット制御装置１０１の関与を伴う。逆予測モデル７０ｂは、線速度及び／又は角速度６２ｂを与えられたとき、介入デバイス３０の関節速度６１ｂのｎ次元ベクトルを推測し、連続配置制御装置５０ｃがロボット制御装置１０１に連続配置指示５２ｂを通信し、以て、介入デバイス４０の予測された配置運動に基づいて、目標ポーズへのロボット２３０（図３Ｇ）を介したＴＴＥプローブ２４０の配置を制御する。

【0148】

実際には、順予測モデル６０ａ（図４Ａ）、逆予測モデル７０ａ（図５Ａ）、順予測モデル６０ｂ（図６４Ａ）、及び逆予測モデル７０ｂ（図７Ａ）は、例えば例として、解剖学的構造物の画像（例えば、超音波、内視鏡、又はＸ線画像）、エンドエフェクタにおいて測定された力、及び、ロボットの形状といった更なる補助情報を使用する。用途に応じて、スペクトル組織検出デバイスからの情報、ＥＣＧ又はＥＥＧ信号、組織伝導率、又は他の生理学的信号を包含する他の入力が更に含まれ得る。例えば、連続体様ロボットがヒトの心臓の内部において動作する場合、超音波画像及び電気生理学的信号において利用可能な特徴が、解剖学的構造物に対するエンドエフェクタの位置特定を改善し得、したがって、ガイダンスの正確さを改善する。

【0149】

図８Ａ及び図８Ｂを参照すると、順予測モデル６０ｃは、関節変数６１ａのシーケンスＱ及びエンドエフェクタポーズＴ６２ａに加えて介入デバイスの順運動学に加えて介入デバイスの形状３５ａ、画像３５ｂ、及び力３５ｃに基づいて訓練されるものとして示される。したがって、適用時に、順予測モデル６０ｃは、関節変数６１ａのシーケンスＱ、及び介入デバイスの形状３５ａ、画像３５ｂ、及び力３５ｃからエンドエフェクタのナビゲートされたポーズを予測することが可能である。

【0150】

当業者は、介入デバイスの形状３５ａ、画像３５ｂ、及び力３５ｃ、及び任意の他の更なる補助情報を逆予測モデル７０ａ、順予測モデル６０ｂ、及び逆予測モデル７０ｂにどのように適用するかを理解する。

【0151】

図９Ａ～図９Ｅは、エンドエフェクタ４０（図１）のナビゲートされたポーズ及びロボットの形状を予測し、以て、介入処置中に、エンドエフェクタ４０の予測されたナビゲートされたポーズ及び形状をレンダリングするための、組み込まれたＯＳＳ技術を伴う介入デバイス３０の連続した形状のシーケンスへの順予測モデル６０ｄの適用を円滑化する、介入デバイス３０（図１）の順運動学に基づいて訓練された本開示の順予測モデル６０ｄの訓練及び適用を示し、この場合において、連続配置制御装置５０（図１）は、エンドエフェクタ４０の予測されたナビゲートされたポーズに基づいて、目標ポーズへのエンドエフェクタ４０の介入デバイス３０による再配置について情報提供する連続配置データ５１ｃを生成する。

【0152】

更には特に、図９Ａを参照すると、訓練フェーズは、図１６～図１８の説明において例示的に教示されているように、グランドトゥルース訓練データ集合Ｄを解釈するように構成された訓練制御装置（図示されていない）の関与を伴う。このデータ集合は、２要素タプル、すなわちｄ_ｉ＝（Ｈ_ｉ，Ｈ_ｉ＋１）により表されたｉ個のデータ点を含むｎ個のシーケンスＷからなる。この２要素タプルは、ｋ個の連続した形状６１ｄのシーケンス（Ｈ_ｉ∈（ｈ_ｔ、ｈ_ｔ＋１…ｈ_ｔ＋ｋ））からなり、ここで、ｈ∈（ｐ_１…ｐ_ｍ）は、３Ｄユークリッド空間における介入デバイス３０（例えば形状検出されるガイドワイヤ）に組み込まれたＯＳＳセンサーの位置と、例えば、ひずみ、湾曲、及びねじれといった補助形状パラメータとの両方を説明するｍ個のベクトルｐ_ｍの集合である。この２要素タプルは、更に、Ｈ_ｉ＋１∈（ｈ_ｔ＋１、ｈ_ｔ＋２…ｈ_{ｔ＋ｋ＋１}）などの将来の時点ｈ_{ｔ＋ｋ＋１}を含むｋ個の連続した形状６２ｂのシーケンスからなり、ここで、ｈ∈（ｐ_１…ｐ_ｍ）は、３Ｄユークリッド空間におけるＯＳＳ介入デバイス３０の位置と、例えば、ひずみ、湾曲、及びねじれといった補助形状パラメータとの両方を説明するｍ個のベクトルｐ_ｍの集合である。

【0153】

実際には、訓練データ集合Ｄは、ＯＳＳ介入デバイス３０の異なるナビゲーションの合理的なカバレッジを伴うエキスパートデータの集合体である。この目的を達成するために、学習のための多様なデータ集合訓練データ集合Ｄは、異なる湾曲をもつ解剖学的構造物、運動の大きさ、様々な種類のロボット間の機械的相違、ハードウェアコンポーネントの摩耗及び断裂、及び他のシステムに依存しない因子、例えば、環境の温度及び湿度を組み込んだものでなければならない。

【0154】

図９Ｂを参照すると、順予測モデル６０ｄの適用段階は、連続配置制御装置５０ｄが異なる例の合理的なカバレッジを伴うエキスパートデータに基づいて訓練されたリカレント層を含むフォワードを使用して深層学習型アルゴリズムを実行することを伴う。学習のための多様なデータ集合は、様々な作業条件（温度、ファイバー屈曲など）、デバイスの異なる動作運動、及びハードウェア（ファイバー、インテロゲータなど）の相違を組み込んだものである。

【0155】

図９Ｅに示される１つの実施形態において、順予測モデル６０ｄは、入力層１６３ａ、シーケンス間モデル２６３ａ、出力層２６２ａ、及び抽出層２６４を連続して含むニューラルアーキテクチャを使用する。ニューラルアーキテクチャは、ｋ個の形状からなる将来のシーケンス

【数41】

を推測し、したがって、将来の時点におけるＯＳＳ介入デバイス３０の位置を推定するために、予測されたシーケンスにおける最後の形状

【数42】

を使用するように構成されたリカレント層を含む深層畳み込みニューラルネットワークである。

【0156】

訓練において、順予測モデル６０ｄの訓練重みは、－入力シーケンスＨ_ｉを与えられたモデルにより予測された－将来の形状のシーケンス

【数43】

を、データメモリ（図示されていない）から系統的に、又はランダムに選択される訓練データ集合Ｄからのグランドトゥルースな将来のシーケンスＨ_ｉ＋１と比較することにより継続的に更新される。更には特に、フィルタに対する係数は、既定値又は任意値を使用して初期化される。フィルタに対する係数は、前方伝播を介して訓練データ集合Ｄのバッチに適用され、任意の出力誤差を最小化するために後方伝播を介して調節される。

【0157】

適用時に、順予測モデル６０ｄは、ｋ個の形状からなる将来のシーケンス

【数44】

を推測し、したがって、将来の時点におけるＯＳＳ介入デバイス３０の位置を推定するために、予測されたシーケンスにおける最後の形状

【数45】

を使用する。

【0158】

図９Ｆに示される代替的な実施形態において、順予測モデル６０ｄは、シーケンス間モデル２６３ａの代わりに多対１モデル２６３ｂを使用し、この場合において、最終層が最後の形状

【数46】

となる。

【0159】

図９Ｃ及び図９Ｄを参照すると、ＯＳＳガイドワイヤ３３２（図３Ｆ）及び形状検出制御装置１０３（図３Ｆ）を使用する例示的な介入処置９０ｅのステージＳ９２ｅは、形状検出制御装置１０３が目標ポーズへのエンドエフェクタ３４０のナビゲーション中にＯＳＳガイドワイヤ３３２の形状を測定すること、及び記憶することを有する。

【0160】

工程９０ｅのステージＳ９４ｅは、形状検出制御装置１０３、順予測モデル５０ｄ、及び表示制御装置１０４の関与を伴う。形状検出制御装置１０３は、ｋ個の連続した形状のシーケンス６１ｄを順予測モデル６０ｅに通信し、以て、形状の後続のシーケンス

【数47】

を推測し、ここで、最後の形状

【数48】

は、ＯＳＳガイドワイヤ３３２の予測された位置である。表示制御装置１０４は、目標ポーズへのエンドエフェクタ３４０に対するガイダンス目的のために、ＯＳＳガイドワイヤ３３２の検出位置画像１０５ａの表示を制御する。

【0161】

図１１Ａ及び図１１Ｂを参照すると、本開示のイメージング予測モデル８０ａは、異なる例の合理的なカバレッジを伴うエキスパートデータに基づいて訓練されている。このニューラルネットワーク８０ａは、超音波画像８１ａを与えられたとき、基準の解剖学的構造物に対するこの画像８１ａの相対位置８２ａを推測する。結果として、解剖学的構造物（例えば心臓）におけるエンドエフェクタの以前のポーズとエンドエフェクタの現在のポーズとの間の運動は、本明細書において更に詳しく説明されるように計算される。

【0162】

図１１Ａは、イメージング予測モデル８０ａのバッチワイズの訓練を示す。訓練中、ネットワーク継続的イメージング予測モデル８０ａは、超音波画像及び基準の解剖学的構造物に対するこの画像の相対位置からなるグランドトゥルースデータ集合からの２要素タプルを使用してその重みを更新する。

【0163】

図１１Ｂは、画像８１ａを与えられたときに、基準の解剖学的構造物（例えば基準超音波画像）に対するエンドエフェクタの相対ポーズ８２ａを予測するイメージング予測モデル８０ａを使用したリアルタイム推論を示す。

【0164】

訓練フェーズにおいて、データ獲得制御装置（図示されていない）は、ロボット及びエンドエフェクタ（例えば超音波デバイス）と、次の仕様、すなわち、訓練データ集合Ｄが２要素タプル、すなわちｄ_ｉ＝（Ｕ_ｉ，Ｔ_ｉ）により表されたｉ個のデータ点からなるということにより規定された形式によるデータ獲得制御装置（図示されていない）によるデータ記憶媒体（図示されていない）における保存データとの両方からの情報を受信するように、及び解釈するように構成されている。この２要素タプルは、基準位置に対する特定の位置Ｔ∈ＳＥ（３）８２ａにおいて獲得された超音波画像Ｕ_ｉ８１ａからなる。

【0165】

訓練制御装置は、データ記憶媒体に保存された訓練データ集合Ｄを解釈するように構成されている。このデータ集合Ｄは、２要素タプル、すなわちｄ_ｉ＝（Ｕ_ｉ，Ｔ_ｉ）により表されたｉ個のデータ点からなる。この２要素タプルは、解剖学的構造物の超音波画像Ｕ_ｉ８１ａ、及び、超音波画像Ｕ_ｉが獲得されたエンドエフェクタの現在のポーズと何らかの任意に選択された基準位置との間の相対運動Ｔ_ｉ８２ａからなる。

【0166】

図１１Ｅに示される１つの実施形態において、画像予測モデル８０ａは、１つ又は複数の全結合層（ＦＣＬ）１８３ａ、１つ又は複数の畳み込み層（ＣＮＬ）１８４ａ、１つ又は複数のリカレント層（ＲＣＬ）１８５ａ、及び１つ又は複数の長期短期記憶（ＬＳＴＭ）層１８６ａの組み合わせから導出された入力層、隠れ層、及び出力層を含むニューラルネットワークベース１８０ａを使用する。

【0167】

実際には、層の組み合わせは、基準画像に対する画像Ｕ_Ｃの相対的配置、従ってポーズ

【数49】

を実現するように構成されている。

【0168】

基準画像に対する画像Ｕ_Ｃの相対的配置、従って以てポーズ

【数50】

を実現するための１つの実施形態において、ニューラルネットワークベース１８０ａはＮ個の全結合層１８３ａの集合を含む。

【0169】

基準画像に対する画像Ｕ_Ｃの相対的配置、従ってポーズ

【数51】

を実現するための第２の実施形態において、ニューラルネットワークベース１８０ａは、Ｎ個の畳み込み層１８４ａの集合、及び、その後のＭ個の全結合層１８３ａの集合、又はＷ個のリカレント層１８５ａの集合、又はＷ個の長期短期記憶層１８６ａの集合を含む。

【0170】

基準画像に対する画像Ｕ_Ｃの相対的配置、従ってポーズ

【数52】

を実現するための第３の実施形態において、ニューラルネットワークベース１８０ａは、Ｎ個の畳み込み層１８４ａの集合、及び、その後のＭ個の全結合層１８３ａの集合、及びＷ個のリカレント層１８５ａの集合、又はＷ個の長期短期記憶層１８６ａの集合の組み合わせを含む。

【0171】

実際には、全結合層１８３ａはＫ個のニューロンを含み、ここで、Ｎ、Ｍ、Ｗ、Ｋは任意の正の整数であり、値は実施形態に応じて変わる。例えば、Ｎは約８であり、Ｍは約２であり、Ｗは約２であり、Ｋは約１０００であり得る。更に、畳み込み層１８４ａは、演算（例えば、バッチ正規化、正規化線形ユニット（ＲｅＬＵ）、プーリング、ドロップアウト、及び／又は畳み込み）の合成関数である非線形変換を実施し、畳み込み層１８４ａは、正規化特徴マップを抽出するように構成された（例えば正規化非線形ＲｅＬＵ演算を含む）非線形性関数を更に含む。

【0172】

更に実際には、層１８３ａ又は１８４ａのうちの１つが、画像Ｕｃを入力するための入力層として機能し、層１８３ａ、１８５ａ、及び１８６ａのうちの１つが、（例えばデカルト空間におけるエンドエフェクタ４０の並進移動及び回転といった）デカルト空間におけるエンドエフェクタ４０のポーズ１８２ａを出力するための出力層として機能する。デカルト空間におけるエンドエフェクタ４０の出力されたポーズは、硬質ボディ位置及び配向のベクトルパラメータ化及び／又は非ベクトルパラメータ化として表される。更には特に、パラメータ化は、オイラー角、四元数、行列、指数写像、及び／又は回転を表す角度軸、及び／又は（例えば並進移動に対する方向及び大きさを含む）並進移動の形態である。

【0173】

更に実際には、出力層は、出力変数の集合を生成するために、ニューラルネットワークベース１８０ａの最後の畳み込み層１８４ａの高次元出力を徐々に縮小する非線形全結合層１８３ａである。

【0174】

訓練において、画像予測モデル８０ａの訓練重みは、－入力として超音波画像１６１ｃを与えられた－画像予測モデルを使用した何らかの基準の解剖学的構造物に対するエンドエフェクタの予測された相対運動

【数53】

を、データメモリ（図示されていない）から系統的に、又はランダムに選択される訓練データ集合Ｄのバッチからのグランドトゥルース相対運動Ｔと比較することにより継続的に更新される。更には特に、フィルタに対する係数は、既定値又は任意値を使用して初期化される。フィルタに対する係数は、前方伝播を介して訓練データ集合Ｄのバッチに適用され、任意の出力誤差を最小化するために後方伝播を介して調節される。

【0175】

図１２Ａ及び図１２Ｂを参照すると、本開示のイメージング予測モデル８０ｂａは、異なる例の合理的なカバレッジを伴うエキスパートデータに基づいて訓練される。このニューラルネットワーク８０ｂａ、超音波画像８１ａを与えられたとき、基準の解剖学的構造物に対するこの画像８１ａの相対位置８２ａを推測する。結果として、解剖学的構造物（例えば心臓）におけるエンドエフェクタの以前のポーズとエンドエフェクタの現在のポーズとの間の運動は、本明細書において更に詳しく説明されるように計算される。

【0176】

図１２Ａは、イメージング予測モデル８０ｂａのバッチワイズの訓練を示す。訓練中、ネットワーク継続的イメージング予測モデル８０ｂａは、超音波画像及び基準の解剖学的構造物に対するこの画像の相対位置からなるグランドトゥルースデータ集合からの２要素タプルを使用してその重みを更新する。

【0177】

図１２Ｂは、画像８１ａを与えられたときに基準の解剖学的構造物（例えば基準超音波画像）に対するエンドエフェクタの線速度及び角速度を予測８３ａするイメージング予測モデル８０ｂａを使用したリアルタイム推論を示す。

【0178】

訓練フェーズにおいて、データ獲得制御装置（図示されていない）は、ロボット及びエンドエフェクタ（例えば超音波デバイス）と、次の仕様、すなわち、訓練データ集合Ｄが２要素タプル、すなわちｄ_ｉ＝（Ｕ_ｉ，Ｖ_ｉ）により表されたｉ個のデータ点からなることにより規定された形式によるデータ獲得制御装置（図示されていない）によるデータ記憶媒体（図示されていない）における保存データとの両方からの情報を受信するように、及び解釈するように構成されている。この２要素タプルは、エンドエフェクタの線速度及び角速度のベクトル８３ａを介して基準位置に対する特定の位置Ｔ∈ＳＥ（３）８２ａにおいて獲得された超音波画像Ｕ_ｉ８１ａからなる。

【0179】

訓練制御装置は、データ記憶媒体に保存された訓練データ集合Ｄを解釈するように構成されている。このデータ集合Ｄは、２要素タプル、すなわちｄ_ｉ＝（Ｕ_ｉ，Ｖ_ｉ）により表されたｉ個のデータ点からなる。この２要素タプルは、解剖学的構造物の超音波画像Ｕ_ｉ８１ａ、及び、超音波画像Ｕ_ｉが獲得されたエンドエフェクタの線速度及び角速度、及び何らかの任意に選択された基準位置の相対ｎ次元ベクトル８３ａからなる。

【0180】

図１２Ｅに示される１つの実施形態において、画像予測モデル８０ｂは、１つ又は複数の全結合層（ＦＣＬ）１８３ｂ、１つ又は複数の畳み込み層（ＣＮＬ）１８４ｂ、１つ又は複数のリカレント層（ＲＣＬ）１８５ｂ、及び１つ又は複数の長期短期記憶（ＬＳＴＭ）層１８６ｂの組み合わせから導出された入力層、隠れ層、及び出力層を含むニューラルネットワークベース１８０ｂを使用する。

【0181】

実際には、層の組み合わせは、基準画像に対する画像Ｕ_Ｃの相対的配置を実現し、以てエンドエフェクタ４０の線速度及び／又は角速度を導出するように構成されている。

【0182】

基準画像に対する画像Ｕ_Ｃの相対的配置を実施し、以てエンドエフェクタ４０の線速度及び／又は角速度を導出するための１つの実施形態において、ニューラルネットワークベース１８０ｂはＮ個の全結合層１８３ｂの集合を含む。

【0183】

基準画像に対する画像Ｕ_Ｃの相対的配置を実施し、以てエンドエフェクタ４０の線速度及び／又は角速度を導出するための第２の実施形態において、ニューラルネットワークベース１８０ｂはＮ個の畳み込み層１８４ｂの集合、及び、その後のＭ個の全結合層１８３ｂの集合、又はＷ個のリカレント層１８５ｂの集合、又はＷ個の長期短期記憶層１８６ｂの集合を含む。

【0184】

基準画像に対する画像Ｕ_Ｃの相対的配置を実施し、以てエンドエフェクタ４０の線速度及び／又は角速度を導出するための第３の実施形態において、ニューラルネットワークベース１８０ｂはＮ個の畳み込み層１８４ｂの集合、及び、その後のＭ個の全結合層１８３ｂの集合、及びＷ個のリカレント層１８５ｂの集合、又はＷ個の長期短期記憶層１８６ｂの集合の組み合わせを含む。

【0185】

実際には、全結合層１８３ｂはＫ個のニューロンを含み、Ｎ、Ｍ、Ｗ、Ｋは任意の正の整数であり、値は実施形態に応じて変わる。例えば、Ｎは約８であり、Ｍは約２であり、Ｗは約２であり、Ｋは約１０００であり得る。更に、畳み込み層１８４ｂは、演算（例えば、バッチ正規化、正規化線形ユニット（ＲｅＬＵ）、プーリング、ドロップアウト、及び／又は畳み込み）の合成関数である非線形変換を実施し、畳み込み層１８４ｂは、正規化特徴マップを抽出するように構成された（例えば正規化非線形ＲｅＬＵ演算を含む）非線形性関数を更に含む。

【0186】

更に実際には、層１８３ｂ又は１８４ｂのうちの１つが、画像Ｕ_Ｃを入力するための入力層として機能し、層１８３ｂ、１８５ｂ、及び１８６ｂのうちの１つが、線形又は非線形活性化関数を使用した最後の全結合層（例えば、線速度に対して３ユニット、及び角速度に対して３ユニットの６ユニット）から回帰されたエンドエフェクタの線速度及び角速度

【数54】

を出力するための出力層として機能する。

【0187】

訓練において、画像予測モデル８０ｂの訓練重みは、－入力として超音波画像１６１ｃを与えられたときの－何らかの基準の解剖学的構造物に対するエンドエフェクタの予測された線速度及び角速度を、データメモリ（図示されていない）から系統的に、又はランダムに選択される訓練データ集合Ｄのバッチからの何らかの基準の解剖学的構造物に対する運動を説明するグランドトゥルースエンドエフェクタ線速度及び角速度と比較することにより継続的に更新される。更には特に、フィルタに対する係数は、既定値又は任意値を使用して初期化される。フィルタに対する係数は、前方伝播を介して訓練データ集合Ｄのバッチに適用され、任意の出力誤差を最小化するために後方伝播を介して調節される。

【0188】

図１３Ａ及び図１３Ｂを参照すると、連続配置制御装置５０ｆは、フローチャート１９０ａにより表された本開示の閉ループ連続位置制御方法を実行するために、逆予測モデル７０ａ、画像予測モデル８０ａ、減算器５３、及び制御規則５４ａを使用する。

【0189】

１つのＴＥＥプローブの実施形態において、工程１９０ａのステージＳ１９２ａは、ＴＥＥプローブハンドル１３２（図３Ａ）が、ハンドル１３２のダイヤル及びＴＥＥプローブ１３０の回転を制御するために、本開示の技術分野において知られているようにロボット制御装置１００（図３Ｂ）に挿入されることを有する。ＴＥＥトランスデューサー１４０（図３Ａ）は、食道を通して体内に挿入され、例えば心臓といった関心のある解剖学的構造物の近傍に、例えば図１３Ｃに示される中食道位置に配置される。超音波画像パラメータは、ＴＥＥトランスデューサー１４０のこの目標ポーズにおいて規定される。

【0190】

工程１９０ａのステージＳ１９４ａは、画像予測モデル９０が、基準の解剖学的構造物に対するこの画像面の相対位置

【数55】

を予測するために、以前の超音波画像Ｕ_ｆと呼ぶ現在の超音波画像８１ａを処理することを有する。音波検査者は、超音波画像を使用して解剖学的構造物を観測し、その現在位置Ｔ_ｄからのトランスデューサーの所望の動きについて決定する。代替的に、トランスデューサーの所望の運動は、外部追跡デバイス、ユーザーインターフェース、超音波画像に重ね合わされた他のイメージングモダリティ、例えば、ＥｃｈｏＮａｖｉｇａｔｏｒ（Ｐｈｉｌｉｐｓ）を使用して３Ｄ ＴＥＥ画像に重ね合わされたＸ線画像から提供され得る。

【0191】

Ｔ_ｄに基づいて、逆予測モデル７０ａは、ロボットを所望の位置に動かすために必要とされる関節変数

【数56】

７２ａを予測する。ロボット制御装置１００は、関節変数７２ａを受信し、相応にＴＥＥプローブ１３０を動かす。

【0192】

工程１９０ａのステージＳ１９６ａは、超音波画像Ｕ_ｃが獲得される別の位置に超音波トランスデューサーが到達することを有する。画像予測モデル９０ｇは、基準の解剖学的構造物に対する両方の現在の画像面の相対位置

【数57】

を予測するために、現在の超音波画像Ｕ_ｃを処理することを使用する。結果として、例えば心臓といった解剖学的構造物における以前の位置と現在位置との間の運動は、次のように計算され得る。

【数58】

【0193】

第２のＴＥＥプローブの実施形態では、図１３Ｄに示されるように、超音波画像に重ね合わされた外部イメージングモダリティにより生成された画像２０１における経路の選択が、所望の位置Ｔ_ｄを特定するために使用される（例えば、Ｘ線画像、及びコーンビームＣＴ画像が、当技術分野において知られた方法（Ｐｈｉｌｉｐｓ ＥｃｈｏＮａｖｉｇａｔｏｒ）を使用して超音波画像に重ね合わされ得る）。

【0194】

図１４Ａ及び図１４Ｂを参照すると、連続配置制御装置５０ｇは、フローチャート１９０ｂにより表された本開示の閉ループ連続位置制御方法を実行するために、逆予測モデル７０ｂ、画像予測モデル８０ｂ、減算器５３、及び制御規則５４ｂを使用する。

【0195】

１つのＴＥＥプローブの実施形態において、工程１９０ｂのステージＳ１９２ｂは、ＴＥＥプローブハンドル１４２（図３Ａ）が、ハンドル１４２のダイヤル及びＴＥＥプローブ１４０の回転を制御するために、本開示の技術分野において知られているようにロボット制御装置１００（図３Ｂ）に挿入されることを有する。ＴＥＥトランスデューサー１４０（図３Ａ）は、食道を通して体内に挿入され、例えば心臓といった関心のある解剖学的構造物の近傍に、例えば図１４Ｃに示されるように中食道位置に配置される。超音波画像パラメータは、ＴＥＥトランスデューサー１４０のこの目標ポーズにおいて規定される。

【0196】

工程１９０ｂのステージＳ１９４ｂは、ユーザーが、例えば超音波画像２０３における点Ａから点Ｂまでの経路、又は画像面Ａと画像面Ｂとの間の変換を選択することにより、画像空間においてトランスデューサーを動かすことを望むことを有する。この実施形態において、画像における経路により規定された第１の線速度及び角速度２０２は、本開示の技術分野において知られている方法を使用してエンドエフェクタと画像座標系との間の空間的関係を知ることにより計算された^{ｅｎｄ－ｅｆｆｅｃｔｏｒ}Ｊ_{ｉｍａｇｅ}ヤコビアン２０４を使用してエンドエフェクタ座標系に変換される。

【0197】

Ｖ_ｄに基づいて、逆予測モデル７０ｂ（図７Ｂ）は、ロボットを所望の位置に動かすために必要とされる関節速度

【数59】

７２ｂを予測する。ロボット制御装置１００は、関節速度

【数60】

７２ｂを受信し、相応にＴＥＥプローブ１３０を動かす。

【0198】

工程１９０ａのステージＳ１９６ｂは、超音波トランスデューサーが、超音波画像Ｕ_ｃが獲得される別の位置に到達することを有する。画像予測モデル８０ｂは、点Ａと点Ｂとの間のエンドエフェクタの速度ベクトル８３ａを予測するために、現在の超音波画像Ｕ_ｃ８１ａを処理する。画像予測モデル８０ｂは、エンドエフェクタのデカルト速度と関節空間における速度との間の関数を推定し、すなわち、－関節速度のｎ次元ベクトル７２ｃを予測するためにエンドエフェクタ７１ｃの線速度及び角速度からなる６次元ベクトルを与えられたとき－ニューラルネットワークがマニピュレーターヤコビアンをモデル化する。

【0199】

本開示の技術分野における当業者により理解されるように、例えば心臓といった解剖学的構造物の画像間における空間的関係をモデル化するニューラルネットワークは、所与の臓器に特有な大きい訓練データ集合を必要とする。

【0200】

代替的な実施形態において、特徴が、トランスデューサーの位置を検証するために画像から直接抽出される。図１４Ｃに示されるこの実施形態において、ユーザーは、画像２０５におけるオブジェクト、例えば心尖壁を選択し、そのオブジェクトの周囲において、システムが特徴抽出２０６を介して特定の際立った特徴を抽出する。オブジェクトの縁部、形状、及びサイズを包含するこれらの特徴は、まず、本開示の技術分野において知られた方法（例えば、キャニーエッジ検出器、形態的演算など）を使用して検出され、次に、本開示の技術分野において知られているスケール不変特徴変換（ＳＩＦＴ）を使用して追跡される。最後に、システムが、画像において必要とされる運動を示す、選択されたオブジェクトと視野の中心との間の経路を規定する。ＳＩＦＴを使用して際立った特徴を追跡することにより、連続位置制御装置５０ｇ（図１４Ａ）が、閉ループ制御内においてネットワークからの予測を修正し得る。

【0201】

より具体的な、連続体様ロボットの速度ベースの制御システム。画像における所望の運動は、ユーザーが画像における特定のオブジェクト、例えば心尖壁を選択するとすぐに識別される（超音波画像における赤色の点を参照されたい）。運動は、ヤコビアン２０４を使用してエンドエフェクタ空間における線速度及び角速度に変換され得る、視野の中心と選択されたオブジェクトとの間の経路により規定される。次に、このデカルト速度は、関節速度を推測するニューラルネットワークに送信される。到達された位置は、継続的に追跡されるオブジェクト及び視野の中心により規定された経路に対して繰り返し検証される。

【0202】

実際には、図１３及び図１４の閉制御ループは、他のモダリティ、例えば、光学的形状検出（ＯＳＳ）、電磁追跡、又は、例えばＰｈｉｌｉｐｓ ＥｃｈｏＮａｖｉｇａｔｏｒを使用して超音波画像に重ね合わされたＸ線画像を使用して閉じている。

【0203】

更に実際には、ニューラルネットワークの予測精度は、柔軟な内視鏡の構成により影響を受け得る。したがって、心臓に対するトランスデューサーの位置は、まず、取り得る構成のうちの１つを黙示的に規定する、例えばニューラルネットワークｇ、又はＰｈｉｌｉｐｓ ＨｅａｒｔＭｏｄｅｌを使用して規定される。次に、ネットワーク重みの特定の集合が、検出された構成に従ってモデルにロードされ、したがって、予測精度を改善する。

【0204】

同様のアプローチが、最適な画像及びガイダンスが提供され得る位置にユーザーを案内するために使用され得る。

【0205】

更に、機械／深層学習における最も難しい問題のうちの１つは、予測モデルの訓練のための正しい形式による大きいデータのアクセスのしやすさである。更には特に、訓練及び検証集合を収集すること、及び構成することは、それが領域特有の知識情報を必要とするという理由から、非常に時間がかかり、高価である。例えば、良性乳房腫瘍と悪性乳房腫瘍とを正確に区別するために予測モデルを訓練するために、このような訓練は、専門の放射線科医により注釈付けされた、及び訓練アルゴリズムが理解し得る数値表現に変換された数千もの超音波画像を必要とする。更に、画像データ集合は、不正確であり、誤りを含み、又はノイズを伴ってラベル付けされ、すべてが、検出の不正確さをもたらし、大きい医療データ集合の獲得は、倫理的な、及びプライバシー上の懸念、及び多くの他の懸念をもたらす。

【0206】

図１５を参照すると、本開示の訓練データ収集システムは、ロボットの内視鏡１３１と腱駆動マニピュレーター２３１との両方に搭載された光学的形状検出ファイバー３３２における各点に対する３Ｄ位置ベクトル２３３を提供する形状検出制御装置１０３を使用する。光ファイバー３３２の遠位部は、光ファイバーをエンドエフェクタに固く接続する、及び形状内に特定の湾曲を導入するプラスチックケースに埋め込まれている。

【0207】

例えば、図１６Ａ及び図１６Ｂは、図１６Ｃ及び図１６Ｄに示されるようにマニピュレーター２３１の超音波トランスデューサー２３２に固く装着されたプラスチックケーシング３５０に埋め込まれた光学的形状検出ファイバー３３２の遠位端３３２ｄを示す。プラスチックケーシング３５０は、形状における特定の湾曲を補強し、したがって、本開示の技術分野において知られているテンプレートマッチングアルゴリズムを使用したエンドエフェクタポーズの推定を可能にする（例えば、各軸におけるアルファ及びベータを伴う図１７に示されるデータ獲得シーケンス３７０は、図１５に示されるＴＥＥハンドル１３２におけるノブ位置に対応する）。

【0208】

図１６を再度参照すると、概して、このパターンを検出することにより、当技術分野において知られた方法を使用してエンドエフェクタのポーズＴ∈ＳＥ（３）を推定し得る。ロボット制御装置１００は、腱を引く、又は緩めることを担う作動させられるノブを制御するロボットに運動指示を送信する。腱の状態を変えることにより、エンドエフェクタの位置は、図３Ｄ及び図３Ｅに示されるように変えられる。データストレージ制御装置１９０は、形状検出及びロボット制御装置から、それぞれ、光ファイバーの形状ｈ∈（ｐ_１…ｐ_ｎ）、エンドエフェクタのポーズＴ、及び運動指示、すなわち関節位置ｑ_ｔを受信する。データは、ストレージデバイスに３要素タプルとして記憶され、本開示の深層畳み込みニューラルネットワークの訓練のために後で使用される。

【0209】

更には特に、形状検出されるガイドワイヤ３３２は、当技術分野において知られた光学的形状検出（ＯＳＳ）技術を使用する連続体ロボットに組み込まれ、又は装着される。ＯＳＳは、手術介入中におけるデバイスの位置特定及びナビゲーションのためにマルチコア光ファイバーに沿った光を使用する。関与する原理は、特徴的なレイリー後方散乱又は制御された回折格子パターンを使用した、光ファイバーにおける分布ゆがみ測定を使用する。

【0210】

形状検出制御装置１０３は、形状検出されるガイドワイヤ３２２の形状を獲得し、本明細書において既に説明されているようにガイドワイヤにおける特定の湾曲を強制するプラスチックケーシング３５０に固く装着されたエンドエフェクタのポーズＴ∈ＳＥ（３）を推定するように構成されている。ポーズＴを推定する方法は、適切に規定された湾曲及び本開示の技術分野において知られているテンプレートマッチングアルゴリズムに基づく。

【0211】

データ獲得制御装置１９１は、既定の獲得パターン（例えば、螺旋、ラジアル、又は四角形運動など）に従ってモーター指示のシーケンスを生成するように、及び、ロボット制御装置１００に移動コマンドを送信するように構成されている。

【0212】

ロボット制御装置１００は、ロボット位置を受信するように、及びロボットに動き信号を送信するように構成されている。モーター駆動式ノブを使用することにより、ロボットが腱を引き／緩め、このことが、エンドエフェクタの運動をもたらす。ロボット制御装置は、データ獲得制御装置１９１からの情報を受信するように、及び解釈するように、及び、データ獲得制御装置１９１からの情報に基づいてロボット位置を変えるように更に構成されている。

【0213】

データストレージ制御装置１９０は、ロボット制御装置１００と形状検出制御装置１０３との両方からの情報を受信するように、及び解釈するように、及び、次の仕様により規定された形式によるデータ記憶媒体（図示されていない）にデータを保存するように構成されている。

【0214】

第１の仕様は、データ獲得制御装置１９１により既定されたすべての構成に対する訓練データ集合Ｄを獲得するためのものである。データ集合Ｄは、ｎ個のシーケンスＷの集合、すなわち、Ｄ＝｛Ｗ_１，Ｗ_２，…，Ｗ_ｎ｝からなり、各シーケンスＷ_ｎはｉ個のデータ点ｄ_ｉ、すなわち、Ｗ_ｎ＝｛ｄ_１，ｄ_２，…，ｄ_ｉ｝からなり、シーケンスからの各データ点ｄ_ｉは、３要素タプル、すなわちｄ_ｉ＝（Ｔ_ｉ，Ｈ_ｉ，Ｑ_ｉ）により規定される。

【0215】

３要素タプルは、エンドエフェクタポーズＴ∈ＳＥ（３）、ｋ個の連続した形状のシーケンス、例えばＨ∈（ｈ_ｔ、ｈ_ｔ＋１…ｈ_ｔ＋ｋ）であって、ｈ∈（ｐ_１…ｐ_ｍ）が３Ｄユークリッド空間における形状検出されるガイドワイヤの位置と、例えばひずみ、湾曲、及びねじれといった補助形状パラメータとの両方を説明するｍ個のベクトルｐ_ｍの集合、ｋ個の連続した形状のシーケンスと、ｔから始まりｔ＋ｊまでの時点において獲得されたｊ個の連続した関節変数のシーケンスＱ∈（ｑ_ｔ、ｑ_ｔ＋１…ｑ_ｔ＋ｊ）とからなる。例えば、要素ｑ_ｔは、時点ｔにおいて獲得された制御ノブにおける角度α、βであり得る。

【0216】

図１９を参照すると、本開示の訓練データ収集方法３６０は、図１５の訓練データ収集システムにより実行される。

【0217】

図１５と図１９との両方を参照すると、方法３６０のステージＳ３６２は、ロボットが例えば制限スイッチ又は接近センサーを使用してロボット制御装置１００によりホームポジションに動かされることを有する。形状検出されるガイドワイヤ２３２の遠位部は、プラスチックケーシング３５０に提供されるへこみ３５３に挿入される。このへこみ３５３は形状における特定の湾曲を強制する。

【0218】

ケーシング３５０は、連続体様ロボットのエンドエフェクタに固く装着される。

【0219】

方法３６０のステージＳ３６４中に本開示の技術分野において知られているテンプレートマッチングアルゴリズムを使用することにより、形状検出制御装置１０３がこの段階でエンドエフェクタのポーズＴ∈ＳＥ（３）を推定し得る。好ましくは、エンドエフェクタの座標系はテンプレートにより規定されるが、更なる校正行列が使用され得る。ロボットシステムがホームポジションにおいて静止しているとき、エンドエフェクタのポーズがＯＳＳ座標系において獲得される。実験中に獲得される後続のポーズの各々がこの初期位置に対して推定される。

【0220】

データ獲得制御装置１９１は、既定の獲得パターン（例えば図１８のパターン３７０）に従って、運動シーケンス、すなわち関節変数集合を生成する。運動シーケンスは、データ獲得制御装置１９１により、生成された関節変数に従ってロボットを動かすロボット制御装置１００に繰り返し送信される。

【0221】

方法３００のステージＳ３６６は、各時点における、データストレージ制御装置１９０によるデータタプルｄ_ｉ＝（Ｔ_ｉ，Ｈ_ｉ，Ｑ_ｉ）の獲得及び記憶を含む。重要なことは、Ｈ_ｉ及びＱ_ｉは連続しているので、すべての以前の時点がデータストレージ制御装置１９０によりメモリに維持される。

【0222】

本開示の様々な発明のより深い理解を促進するために、図１９の以下の説明は、本開示の連続配置制御装置の例示的な実施形態を教示する。本説明から、当業者は、本開示の連続配置制御装置の更なる実施形態を製造する、及び使用するために本開示の様々な態様をどのように適用するかを理解する。

【0223】

図１９を参照すると、連続配置制御装置４００は、１つ又は複数のシステムバス４０６を介して相互接続された１つ又は複数のプロセッサ４０１、メモリ４０２、ユーザーインターフェース４０３、ネットワークインターフェース４０４、及びストレージ４０５を含む。

【0224】

各プロセッサ４０１は、メモリ４０２又はストレージに記憶された命令を実行すること、又はデータを別様に処理することが可能な本開示の技術分野において知られている、又は以下で検討されている任意のハードウェアデバイスであってもよい。非限定的な例において、プロセッサ４０１は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は他の同様のデバイスを包含する。

【0225】

メモリ４０２は、Ｌ１、Ｌ２、又はＬ３キャッシュ又はシステムメモリが挙げられるがこれらに限定されない本開示の技術分野において知られている、又は以下で検討されている様々なメモリ、例えば非一時的及び／又はスタティックメモリを包含する。非限定的な例において、メモリ４０２は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、又は他の同様のメモリデバイスを包含する。

【0226】

ユーザーインターフェース４０３は、管理者などのユーザーとの通信を可能にするための、本開示の技術分野において知られている、又は、以下で検討されている１つ又は複数のデバイスを包含する。非限定的な例において、ユーザーインターフェースは、ネットワークインターフェース４０４を介して遠隔端末に提示されるコマンドラインインターフェース又はグラフィカルユーザーインターフェースを包含する。

【0227】

ネットワークインターフェース４０４は、他のハードウェアデバイスとの通信を可能にするための本開示の技術分野において知られている、又は、以下で検討されている１つ又は複数のデバイスを含む。非限定的な例において、ネットワークインターフェース４０４は、Ｅｔｈｅｒｎｅｔプロトコルに従って通信するように構成されたネットワークインターフェースカード（ＮＩＣ）を含む。更に、ネットワークインターフェース４０４は、ＴＣＰ／ＩＰプロトコルに従った通信のためのＴＣＰ／ＩＰスタックを実現してもよい。ネットワークインターフェース４０４のための様々な代替的な、又は追加的なハードウェア又は構成が明らかとなる。

【0228】

ストレージ４０５は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、又は同様の記憶媒体を包含するがこれらに限定されない本開示の技術分野において知られている、又は、以下で検討されている１つ又は複数の機械可読記憶媒体を包含する。様々な非限定的な実施形態において、ストレージ４０５は、プロセッサ４０１による実行のための命令、又はプロセッサ４０１が演算対象とするデータを記憶する。例えば、ストレージ４０５は、ハードウェアの様々な基本動作を制御するための基本オペレーティングシステムを記憶する。ストレージ４０５は、本開示において既に説明されている順予測モデル６０、逆予測モデル７０、及びイメージング予測モデル８０を包含するがこれらに限定されない、本開示において既に説明されている、制御装置４００ａの様々な機能を実現するための実行可能ソフトウェア／ファームウェアの形態をとるアプリケーションモジュールを更に記憶する。

【0229】

実際には、制御装置４００は、Ｘ線イメージングシステム５００、介入システム５０１（例えば介入ロボットシステム）、又はＸ線イメージング５００システム及び／又は介入システム５０１と通信する独立型ワークステーション５０２（例えば、クライアントワークステーション又はモバイルデバイス、例えばタブレット）にインストールされてもよい。代替的に、制御装置４００のコンポーネントは、Ｘ線イメージングシステム５００、介入システム５０１、及び／又は独立型ワークステーション５０２の間で分散されてもよい。

【0230】

更に実際には、形状検出制御装置、データストレージ制御装置、及びデータ獲得制御装置を含む本開示の更なる制御装置は、各々が、図１９において構成されている１つ又は複数のシステムバスを介して相互接続された、１つ又は複数のプロセッサ、メモリ、ユーザーインターフェース、ネットワークインターフェース、及びストレージを更に含んでもよく、この場合において、ストレージは、本明細書において既に説明されているように、その制御装置の適用可能なアプリケーションモジュールを含む。代替的に、本開示の２つ以上の制御装置は、１つの制御装置として統合されてもよく、ここで、ストレージは、本明細書において既に説明されている２つ以上の制御装置の適用可能なアプリケーションモジュールを含む。

【0231】

図１～図１９を参照すると、本開示の当業者は本開示の多くの利点を理解する。

【0232】

更に、当業者は、本明細書において提供される教示を考慮して、本開示／明細書において説明されている、及び／又は図に示されている構造物、要素、コンポーネントなどが、ハードウェアとソフトウェアとの様々な組み合わせにより実現されてもよいこと、及び、１つの要素又は複数の要素に組み合わされる機能を提供してもよいことを理解する。例えば、図に示されている／例示されている／描かれている様々な構造物、要素、コンポーネントなどの機能は、専用ハードウェア、及び、追加された機能のための適切なソフトウェアと連携してソフトウェアを実行することが可能なハードウェアの使用を通して提供され得る。プロセッサにより提供される場合、機能が１つの専用プロセッサにより、１つの共用プロセッサにより、又は、複数の個々のプロセッサにより提供されてもよく、そのうちの幾つかがシェアされてもよく、及び／又は多重化されてもよい。更に、「プロセッサ」又は「制御装置」という用語の明示的な使用は、ソフトウェアを実行することが可能なハードウェアを排他的に表すように解釈されてはならず、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、メモリ（例えば、ソフトウェアを記憶するための読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性ストレージなど）、及び、処理を実施及び／又は制御することが可能な（及び／又は、するように構成可能な）（ハードウェア、ソフトウェア、ファームウェア、それらの組み合わせなどを包含する）実質的に任意の手段及び／又は機械を暗示的に包含するがこれらに限定されない。

【0233】

更に、本発明の原理、態様、及び実施形態及びそれらの特定の例について記載した本明細書におけるすべての記述は、それらの構造的に同等なものと機能的に同等なものとの両方を包含することを意図したものである。更に、このような同等なものは、（例えば、構造にかかわらず同じ又は実質的に同様の機能を実施し得る開発される任意の要素といった）現在知られている同等なものと将来的に開発される同等なものとの両方を包含することを意図したものである。したがって、例えば、本明細書において提示される任意のブロック図が本発明の原理を具現化する例示的なシステムコンポーネント及び／又は回路の概念的な図を表し得ることが本明細書において提供される教示を考慮して当業者により理解される。同様に、任意のフローチャート、フロー図などが、コンピュータ可読記憶媒体において実質的に表され得る、及びコンピュータ、プロセッサ、又は処理能力をもつ他のデバイスにより、このようなコンピュータ又はプロセッサが明示的に示されるか否かにかかわらず、相応に実行される様々な工程を表し得ることを、当業者が本明細書において提供される教示を考慮して理解する。

【0234】

本開示の様々な発明及び多くの発明の好ましい、及び例示的な実施形態（本実施形態は例示的であって限定ではないことを意図したものである）を説明してきたが、図面を含む本明細書において提供される教示に基づいて当業者により変更及び変形がなされ得ることに留意されたい。したがって、本開示の好ましい、及び例示的な実施形態において／対して変更が行われてもよく、本変更が本明細書において開示されている実施形態の範囲内であることが理解される。

【0235】

更に、デバイス／システムを組み込んだ、及び／又は実現した対応する、及び／又は関連するシステム又は、本開示によるデバイスにおいて／とともに使用／実現されるものも本開示の範囲に入ると想定され、及び考えられることが想定される。更に、本開示によるデバイス及び／又はシステムを製造する、及び／又は使用するための対応する、及び／又は関連する方法も本開示の範囲に入ると想定され、本開示の範囲に入ると考えられる。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図3G】

【図3H】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図8A】

【図8B】

【図9A】

【図9B】

【図9C】

【図9D】

【図9E】

【図9F】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図13A】

【図13B】

【図13C】

【図13D】

【図14A】

【図14B】

【図14C】

【図14D】

【図15】

【図16A】

【図16B】

【図16C】

【図16D】

【図17】

【図18】

【図19】