IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイオセンス・ウエブスター・(イスラエル)・リミテッドの特許一覧

特開2023-64087ロボットアームを誘導してカテーテルを動作させるためのニューラルネットワークのための訓練システム
<>
  • 特開-ロボットアームを誘導してカテーテルを動作させるためのニューラルネットワークのための訓練システム 図1
  • 特開-ロボットアームを誘導してカテーテルを動作させるためのニューラルネットワークのための訓練システム 図2
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023064087
(43)【公開日】2023-05-10
(54)【発明の名称】ロボットアームを誘導してカテーテルを動作させるためのニューラルネットワークのための訓練システム
(51)【国際特許分類】
   A61B 34/10 20160101AFI20230428BHJP
【FI】
A61B34/10
【審査請求】未請求
【請求項の数】16
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022169712
(22)【出願日】2022-10-24
(31)【優先権主張番号】63/271,270
(32)【優先日】2021-10-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/965,061
(32)【優先日】2022-10-13
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】511099630
【氏名又は名称】バイオセンス・ウエブスター・(イスラエル)・リミテッド
【氏名又は名称原語表記】Biosense Webster (Israel), Ltd.
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】アサフ・ゴバリ
(72)【発明者】
【氏名】アンドレス・クラウディオ・アルトマン
(72)【発明者】
【氏名】バディム・グリナー
(57)【要約】
【課題】訓練システムを提供すること。
【解決手段】ロボットアームを制御して、カテーテルを操作して、侵襲的臨床カテーテルベースの処置をロボット的に実行するように、機械学習(例えば、NN)又は他の人工知能(AI)モデルを訓練するための方法及びシステムが提供される。
【選択図】図1
【特許請求の範囲】
【請求項1】
訓練システムであって、
1つ又は2つ以上の訓練セットアップであって、各訓練セットアップが、
器官に挿入するためのプローブを備え、前記プローブが、
前記プローブのハンドピースに位置する複数のセンサであって、前記プローブを使用して侵襲的処置を行う医師によるプローブ動作を感知するように構成されている、複数のセンサ、及び
前記プローブの遠位端に位置し、前記プローブ動作に対応する前記器官内の前記遠位端の位置を示すように構成されている、遠位センサ、を備える、1つ又は2つ以上の訓練セットアップと、
プロセッサであって、
前記1つ又は2つ以上の訓練セットアップから、各訓練セットアップの前記複数のセンサ及び前記それぞれの遠位センサを使用して取得されたプローブ動作データを受信すること、及び
前記プローブ動作データを使用して、機械学習(ML)モデルを訓練して、ロボットアームを誘導して、前記プローブを動作させて、前記侵襲的処置を行うこと、を行うように構成されている、プロセッサと、を備える、訓練システム。
【請求項2】
前記ハンドピースにおける前記センサが、前記プローブの前記遠位端の位置調整、方向調整、及びロール角度調整からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、請求項1に記載の訓練システム。
【請求項3】
前記ハンドピースにおける前記センサが、前記プローブのシャフトの前記遠位端の前進、後退、偏向、及び回転からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、請求項1に記載の訓練システム。
【請求項4】
前記ハンドピースにおける前記センサが、前記ハンドピースに位置するアクチュエータの1つ又は2つ以上のアクションを感知することによって、前記プローブ動作を感知するように構成されている、請求項1に記載の訓練システム。
【請求項5】
前記アクチュエータが、前記プローブのシースの遠位セクション、親指調整つまみ、ノブ、及びロックボタンのうちの少なくとも1つを備える、請求項4に記載の訓練システム。
【請求項6】
前記ハンドピースにおける前記センサ及び前記遠位センサが、磁気センサ、電気センサ、及び符号化センサのうちの1つである、請求項1に記載の訓練システム。
【請求項7】
前記プロセッサが、前記MLモデルを訓練して、前記器官内の所与の開始場所から前記器官内の前記プローブの前記遠位端の所与の終了場所まで最小数の動きを見出すように構成されている、請求項1に記載の訓練システム。
【請求項8】
前記MLモデルが、ニューラルネットワーク(NN)である、請求項1に記載の訓練システム。
【請求項9】
訓練方法であって、
1つ又は2つ以上の訓練セットアップの各々において、プローブを器官内に挿入することであって、前記プローブが、
前記プローブのハンドピースに位置する複数のセンサであって、前記プローブを使用して侵襲的処置を行う医師によるプローブ動作を感知するように構成されている、複数のセンサ、及び
前記プローブの遠位端に位置し、前記プローブ動作に対応する前記器官内の前記遠位端の位置を示すように構成されている、遠位センサ、を備える、挿入することと、
前記1つ又は2つ以上の訓練セットアップから、各訓練セットアップの前記複数のセンサ及び前記それぞれの遠位センサを使用して取得されたプローブ動作データを受信することと、
前記プローブ動作データを使用して、機械学習(ML)モデルを訓練して、ロボットアームを誘導して、前記プローブを動作させて、前記侵襲的処置を行うことと、を含む、訓練方法。
【請求項10】
前記ハンドピースにおける前記センサが、前記プローブの前記遠位端の位置調整、方向調整、及びロール角度調整からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、請求項9に記載の訓練方法。
【請求項11】
前記ハンドピースにおける前記センサが、前記プローブのシャフトの前記遠位端の前進、後退、偏向、及び回転からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、請求項9に記載の訓練方法。
【請求項12】
前記ハンドピースにおける前記センサが、前記ハンドピースに位置するアクチュエータの1つ又は2つ以上のアクションを感知することによって、前記プローブ動作を感知するように構成されている、請求項9に記載の訓練方法。
【請求項13】
前記アクチュエータが、前記プローブのシースの遠位セクション、親指調整つまみ、ノブ、及びロックボタンのうちの少なくとも1つを備える、請求項12に記載の訓練方法。
【請求項14】
前記ハンドピースにおける前記センサ及び前記遠位センサが、磁気センサ、電気センサ、及び符号化センサのうちの1つである、請求項9に記載の訓練方法。
【請求項15】
前記MLモデルを訓練することが、前記MLモデルを訓練して、前記器官内の所与の開始場所から前記器官内の前記プローブの前記遠位端の所与の終了場所まで最小数の動きを見出すことを含む、請求項9に記載の訓練方法。
【請求項16】
前記MLモデルが、ニューラルネットワーク(NN)である、請求項9に記載の訓練方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2021年10月に出願された米国仮特許出願第63/271,270号の利益を主張し、その開示は、参照により本明細書に組み込まれる。
【0002】
(技術分野)
本発明は、概して、ロボット手術に関し、具体的には、ニューラルネットワーク(neural network、NN)によってロボットアームに結合されたカテーテルの自動誘導及び操縦に関する。
【背景技術】
【0003】
医療ロボットシステムの制御は、特許文献において以前に提案されていた。例えば、米国特許出願公開第2014/0046128号は、主外科用ツール及び補助外科用ツールが結合されているロボットアームを有するスレーブロボットを含む外科用ロボットシステム、及びロボットアームを操作するためのマスタマニピュレータを有するマスタロボットに適用され得る制御方法を説明している。制御方法は、マスタマニピュレータの運動に関するデータを取得することと、取得された運動データ及び外科的タスクを構成する複数の運動を学習した結果に基づいて、オペレータによって実行されるべき基本運動を予測することと、予測された基本運動に基づいて、オペレータの基本運動に対応するように補助外科用ツールを調整することと、を含む。制御方法は、オペレータが手術をより快適に実行し、最適化された外科的位置まで、又は最適化された外科的位置において、必要な外科用ツールを全て移動又は固定することを可能にする。
【0004】
別の例として、米国特許出願公開第2021/0121251号は、治療された患者から患者データを受信するため、複数の治療された患者の各々について外科用ロボットデータを受信するため、かつ患者データ及び外科用ロボットデータに応答して治療される患者の治療計画を出力するための命令で構成されたプロセッサを備える、ロボット手術用の装置を説明している。このアプローチは、改善された治療結果を提供するように、患者及び外科用システムパラメータの間で個々の変動性に順応するという利点を有する。
【0005】
米国特許出願公開第2020/0297444号は、管腔ネットワーク内の医療器具を位置特定及び/又はナビゲートするためのシステム及び手技に関連する特定の態様を説明している。医療システムは、管腔ネットワークに挿入されるように構成された細長い本体、並びに細長い本体の遠位部分上に位置付けられた撮像デバイスを含むことができる。システムは、細長い本体が管腔ネットワーク内にあるときに捕捉された画像を含む撮像デバイス画像データから受信するように構成されたメモリ及びプロセッサを含み得る。画像は、管腔ネットワークの1つ又は2つ以上の分岐を描写することができる。プロセッサは、1つ又は2つ以上の管腔ネットワークの機械学習モデルにアクセスし、機械学習モデル及び1つ又は2つ以上の分岐に関する情報に基づいて、管腔ネットワーク内の細長い本体の遠位部分の場所を判定するように構成され得る。
【0006】
以下の本開示の実施形態の詳細な説明を図面と併せ読むことで、本開示のより完全な理解が得られるであろう。
【図面の簡単な説明】
【0007】
図1】本発明の実施形態による、ロボットアームを誘導して心臓カテーテルを動作させるためのニューラルネットワーク(NN)のための訓練システムの概略的な絵画例解図である。
図2】本発明の実施形態による、ロボットアームを誘導してカテーテルを動作させるために、NNを訓練及び使用するための方法及びアルゴリズムを概略的に例解する複合ブロック図及びフローチャートである。
【発明を実施するための形態】
【0008】
概論
プローブ、例えば、心臓カテーテルなどのカテーテルは、典型的には、心臓などの器官の内部にプローブを正しく位置付けるために、ハンドピース(例えば、ノブ及びアクチュエータなどの調整つまみを装備したハンドル)を動作させる医師によって手動で操作される。例えば、不整脈を診断及び治療するために、医師は、カテーテルを介して心臓内信号を測定し、所見に従ってアブレーションを適用するために、多電極カテーテルを患者の心臓に挿入する必要があり得る。この目的のために、医師は、医師にはカテーテルの動作に高いスキルが求められると同時に、医師の予約状況が制限されるような重労働の状況下で働く必要がある。
【0009】
一般にカテーテル挿入処置、特に心臓カテーテルに基づく処置の可用性を増加させるために、開示される技法のいくつかの実施形態は、特定のカテーテル動作に対する(例えば、接近すべき標的解剖学的構造を指定することによる)医師からの高レベルの要求を、ハンドピースを動作させるロボットアームによるアクションに変換するニューラルネットワーク(NN)により動作されるカテーテル操作を想定している。そのようなハンズフリーロボット制御は、ロボットシステムに現在存在しない訓練データを訓練させるために、NNの訓練データのセットを必要とする。
【0010】
以下に説明される本発明の実施形態は、ロボットアームを制御してカテーテルを操作し、侵襲的臨床カテーテルベースの処置をロボット的に実行するように、機械学習(例えば、NN)又は他の人工知能(artificial intelligence、AI)モデルを訓練するための方法及びシステムを提供する。
【0011】
本発明のいくつかの実施形態は、1つ又は2つ以上の訓練セットアップを提供し、各訓練セットアップは、侵襲的処置を実行する医師によって使用されるプローブ(例えば、カテーテル)のハンドピースに取り付けられたセンサのセットを備える。センサは、ハンドピースの運動、すなわち、ハンドピースの動作によってカテーテルの遠位端が並進、方向転換、回転、及び所定の場所でロックされる様子を記録する。センサはまた、医師によるハンドピースの要素の作動及び動作、例えば、カテーテルの遠位端を偏向させるために使用されるノブを追跡する。以下、「ハンドピース」という用語は、概して、調整つまみが配設されたプローブハンドルの近位セクションを指すが、「ハンドピース」はまた、ハンドル近傍のプローブのシャフト及び/又はシースの近位セクションを含み得、医師が同様に操作することができる。ハンドピースが医師によって操作されると、カテーテルセンサからのカテーテルの対応する場所と同様に、センサの読み取りが記録される。
【0012】
開示された訓練システムの1つ又は2つ以上の訓練セットアップは、1人又は2人以上(典型的には多く)の医師によって使用され、各医師のアクションから取得された訓練データは、NNを訓練(例えば、教示)するために使用されるデータのセットに記録され、組み立てられる。
【0013】
センサは、磁気センサ、電気センサ、「符号化」センサ、すなわちエンコーダを使用するものなど、多数の異なるタイプのものであってよい。その特定のセンサを有するそのような訓練システムの詳細な実施形態は、図1に説明されている。
【0014】
訓練標的は、標的場所に到着することなどの臨床的なアクションであり、(例えば、損失関数によって定義される)NN最適化プロセスは、ハンドピースを介して実行される最小数のカテーテルアクションを使用して、又は各動作工程における遠位端の最小量の空間的動きを使用して、標的に到達することによって達成することができる。例として、カテーテルタスクは、8×8×8cmの心房体積を2mm、すなわち64,000ボクセルを含む分解能で解剖学的にマッピングすることを想定している。動作を行う医師は、心臓カテーテルを移動させることを望み、開始位置(例えば、ボクセル15)及び終了位置(例えば、ボクセル2050)という2つのボクセル番号をネットに提供する。この実施形態では、NNは、所与の開始場所から所与の終了場所まで、最も近い動き、又は一連の動きを見出すように訓練されなければならない(例えば、それは、場所(例えば、位置、方向及び、ロール角度)ボクセル15~ボクセル350まで、次いで350~2050までの二重の動き、又はボクセル15~2050までの単一の動きを見出し得る)。NNが最も近い(すなわち、最小限の)動きを選択すると、ハンドピースの運動、すなわち、ハンドピースへの制御を使用してカテーテルのシャフトの遠位端の並進(例えば、前進/後退)、偏向、及び回転に対応するコマンドをロボットに出力する。
【0015】
上記のような運動を、患者の様々な解剖学的構造に合うように正確かつ一貫してNNに指令させるためには、少なくとも数十個のNN訓練データセットを収集することが想定される。しかしながら、そのような処置は1年間に数百回実行される可能性があるため、訓練システムは非常に広範で堅牢な訓練データコホートを容易に達成することができる。
【0016】
システムの説明
図1は、本発明の実施形態による、ロボットアームを誘導して心臓カテーテルを動作させるためのニューラルネットワーク(NN)のための訓練システム20の概略的な絵画例解図である。図1は、手術台29上の患者28の心臓26のマッピング及び/又はアブレーションを実行するために、マルチアームPentaray(登録商標)カテーテル21を使用している医師30を描写している。挿入図25が示すように、カテーテル21は、その遠位端において、電極42と結合されたマルチアーム遠位端アセンブリ40を備える。カテーテル挿入処置中に、電極42は、心臓26の組織から及び/又は心臓26の組織に電気信号を取得及び/又は注入する。遠位端アセンブリ40は、遠位端アセンブリ40の位置、方向、及び心臓26内のロール角度を示す信号を出力するように構成された磁気場所センサ50と更に結合されている。
【0017】
したがって、センサ50を使用して、コンソール24内のプロセッサ34は、遠位端アセンブリの位置、方向、及びロール角度を判定することができる。この目的のために、コンソール24は駆動回路39を更に備え、この駆動回路は、患者28の外側の既知の位置、例えば、患者の胴体の下方に配置された磁場生成器36を駆動する。医師30は、ユーザディスプレイ32上の心臓26の画像33において遠位端アセンブリ40の場所を視認することができる。
【0018】
この磁気場所感知の方法は、例えば、Biosense Websterが製造するCARTO(商標)システムにおいて実現されており、米国特許第5,391,199号、同第6,690,963号、同第6,484,118号、同第6,239,724号、同第6,618,612号、及び同第6,332,089号、国際公開第96/05768号、並びに米国特許出願公開第2002/0065455(A1)号、同第2003/0120150(A1)号、及び同第2004/0068178(A1)号に詳細に説明されており、それらの開示が全て参照により本明細書に組み込まれる。
【0019】
磁気場所追跡に加えて更に、処置中に、電気場所追跡システムを使用して、各電極取得場所信号を、その信号が取得された心臓の場所に関連付けることによって、電極42のそれぞれの場所を追跡し得る。例えば、米国特許第8,456,182号で説明され、その開示が参照により本明細書に組み込まれるBiosense-Webster(Irvine California)製のActive Current Location(ACL)システムが使用され得る。ACLシステムでは、プロセッサは、カテーテル電極42の各々と患者28の皮膚に結合された複数の表面電極(図示せず)との間で測定されたインピーダンスに基づいて、電極42のそれぞれの場所を推定する。
【0020】
医師30は、右手でカテーテルハンドル31を保持し、左手でシャフトを前進させるか、又はハンドル31の近位端付近の親指調整つまみ43及び/若しくはシース23からの偏向を使用して、シャフト22を操作することによって、シャフト22上に装着される遠位端アセンブリ40を心臓26内の標的場所までナビゲートする。
【0021】
挿入図45が示すように、ハンドル31は、ロックボタン37を有するノブ27を更に含み、医師30は、シャフト22を操作するためにも使用する。以下に説明されるセンサ52~60のセットは、医師の動作を追跡するために様々な場所でカテーテル21に結合される。特に、複数のセンサ52~60は、シース23の近位セクションのハンドル31、及びシャフト22の運動、すなわち、医師30がカテーテル挿入処置中にカテーテル21を並進及び回転させるときの運動を記録する。医師30によるカテーテル21の上で説明される動作を、以下「ハンドピースの操作」と総称し、システム20の目的は、図2で説明したように、プロセッサがロボットアームを使用してカテーテルを誘導するために使用するNNの訓練を可能にする場所データを生成することである。
【0022】
例として、ハンドピースの要素、例えば、カテーテルのシャフト22の遠位端を偏向(44)させる(すなわち、可変的に湾曲させて方向転換する)のに使用されるノブ27と、それを適所にロックするボタン37と、シャフト22を前進又は後退(62)させるとともに、シャフト22を回転(64)させる親指調整つまみ43は、医師によって作動される。ハンドピースが医師によって操作されると、センサ52~60の読み出しが、カテーテルの対応する場所(カテーテル上のセンサ50から、及び/又は前進した場所の電流(advanced location current、ACL)の読み出しから)と同様に記録される。
【0023】
図示される実施形態では、センサ52は、ハンドル31の位置、方向、及びロール角度を示すように構成された磁気センサである。センサ54は、ノブ27の回転の量及び方向を示すように構成された符号化センサである。センサ56は、押しボタン37を使用するタイミング及び持続時間を示すように構成されている。センサ58は、シース23の近位セクションの位置、方向、及びロール角度を示すように構成された磁気センサである。センサ60は、シャフト22の遠位又は近位運動62の量及び方向を示すように構成された符号化センサである。センサ59は、その長手方向軸を中心としたシャフト22の回転64の量及び方向を示すように構成された符号化センサである。記録されたカテーテル場所情報全体は、図2に説明されるように、NNの訓練中に使用されるコンソール24内のメモリ38に記憶される。
【0024】
図1に示される例示的な例解図は、単に概念を明確にする目的で選択されている。センサ52~60の追加的又は代替的なセンサの場所が、使用され得る。他のタイプのセンサ及びカテーテルは、訓練中に同等に採用され得る。センサは、ハンドピースに位置するアクチュエータの1つ又は2つ以上のアクションを感知することができる。
【0025】
組織センサとの接触は、遠位端アセンブリ40に取り付けられ得る。実施形態では、プロセッサ34は、測定中に電極42の各々と心臓組織の内面との間の物理的接触の質を示すように更に構成されている。
【0026】
プロセッサ34は、典型的には、本明細書に説明されている機能を実行するようにプログラムされたソフトウェアとともに汎用コンピュータを備える。特に、プロセッサ34は、図2に含まれている本明細書に開示される専用のアルゴリズムを実行し、これは、以下で更に説明されるように、プロセッサ34が本開示の工程を行うことを可能にする。ソフトウェアは、例えばネットワーク上で、コンピュータに電子形態でダウンロードすることができるか、あるいは、代替的に又は追加的に、磁気メモリ、光学メモリ、若しくは電子メモリなどの、非一時的実体的媒体上に提供及び/又は記憶することができる。
【0027】
ロボットアームを誘導してカテーテルを動作させるために、NNを訓練する
図2は、本発明の実施形態による、ロボットアームを誘導してカテーテルを動作させるために、NN250を訓練及び使用するための方法及びアルゴリズムを概略的に例解する複合ブロック図及びフローチャートである。複合ブロック図及びフローチャートは、訓練段階201及び動作段階202の2つの段階に分割される。
【0028】
訓練段階201は、図1のシステム20などの複数の訓練システムから、及び/又は訓練システム20などのシステム上で実行される複数の処置からの訓練データの収集を伴う。記録された訓練データは、2つの対応するデータセット:
・第1のデータセット236:プローブハンドピースセンサ233(例えば、センサ52~60を有する、図1のカテーテル21のハンドピース)、並びに
・第2のデータセット242:器官内のプローブの遠位端のカテーテル場所読み出し240(例えば、炉床26内のカテーテル21の遠位端アセンブリ40のそれぞれの位置、方向、及びロール角度)からのものを含む。
【0029】
複数のデータセット236及び242は、システム20のメモリ38などのメモリに記憶され、NN250を訓練して訓練済みNN255とするために使用される。
【0030】
動作段階202は、ロボットアームに結合されたプローブを備えるシステム内で訓練済みNNを使用することを含む。そのようなシステムは、例えば、シャフトの動き又はカテーテルの遠位先端の偏向を制御するように適合させることができる親指調整つまみを含む、操縦可能カテーテルとともに使用するための装置を説明する米国特許第8,046,049号に説明されている。装置は、遠位アセンブリ40などの遠位先端部を前進/後退、及び/又は偏向させるために、親指調整つまみ43又はノブ27などの親指調整つまみに結合されるように適合されたエンドエフェクタを有するロボットを含む。米国特許第8,046,049号は、本特許出願の譲受人に割り当てられ、その開示は、参照により本明細書に組み込まれる。
【0031】
図2に見られるように、動作段階202の間、医師は、所望のカテーテル運動260を通信する。例えば、医師30などの医師は、心室及び/又は(例えば、肺静脈の小孔の)その中のアブレーションのマッピングを指示することができる。多数の心室マッピング及び/又はアブレーションセッションからのデータセットの集合体238を使用して訓練された(すなわち、教示された248)NN250は、高レベルの命令260をロボットアームへの実際のコマンド270に変換し、学習されたようにカテーテルを操作する。
【0032】
図2に示されている例示的な複合ブロック図及びフローチャートは、純粋に概念を明確にする目的で選択されたものである。本実施形態はまた、確認要求工程などのアルゴリズムの追加の工程を含み得る。これらの工程及び他の可能な工程は、より単純化された図を提供するために、本明細書における開示内容から意図的に省略されている。
【0033】
本明細書に説明の実施形態は、主に心臓カテーテルベースの用途に対処するが、本明細書に説明の方法及びシステムはまた、任意の医療ロボットアームを訓練して、ロボットアームに結合されたプローブを動作させる際に使用され得る。
【0034】
実施形態の実施例
【実施例0035】
以下で説明される本発明の実施形態は、1つ又は2つ以上の訓練セットアップと、プロセッサ(34)と、を含む、訓練システム(20)を提供する。1つ又は2つ以上の訓練セットアップの各々は、器官に挿入するためのプローブ(21)を含み、プローブは、(i)プローブのハンドピース(31)に位置する複数のセンサ(52~60)であって、センサが、プローブを使用して侵襲的処置を行う医師によるプローブ動作を感知するように構成されている、複数のセンサと、(ii)プローブ(21)の遠位端に位置し、プローブ動作に対応する器官の内部の遠位端の位置を示すように構成されている遠位センサ(50)とを含む。プロセッサ(34)は、(a)1つ又は2つ以上の訓練セットアップから、各訓練セットアップの複数のセンサ(52~60)及びそれぞれの遠位センサ(50)を使用して取得されたプローブ動作データを受信し、(b)プローブ動作データを使用して、機械学習(machine learning、ML)モデル(250)を訓練して、ロボットアームを動作させて侵襲的処置を行うように構成されている。
【実施例0036】
ハンドピース(31)におけるセンサ(52~60)が、プローブ(21)の遠位端の位置調整、方向調整、及びロール角度調整からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、実施例1に記載の訓練システム。
【実施例0037】
ハンドピース(31)におけるセンサ(52~60)が、プローブ(21)のシャフトの遠位端の前進、後退、偏向、及び回転からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、実施例1及び2に記載の訓練システム。
【実施例0038】
ハンドピース(310におけるセンサ(52~60)が、ハンドピースに位置するアクチュエータの1つ又は2つ以上のアクションを感知することによって、プローブ動作を感知するように構成されている、実施例1~3のいずれか1つに記載の訓練システム。
【実施例0039】
アクチュエータが、プローブのシースの遠位セクション、親指調整つまみ、ノブ、及びロックボタンのうちの少なくとも1つを備える、実施例4に記載の訓練システム。
【実施例0040】
ハンドピースにおけるセンサ及び遠位センサが、磁気センサ、電気センサ、及び符号化センサのうちの1つである、実施例1~5のいずれか1つに記載の訓練システム。
【実施例0041】
プロセッサ(34)は、MLモデル(250)を訓練して、器官内の所与の開始場所から器官内のプローブの遠位端の所与の終了場所まで最小数の動きを見出すように構成されている、実施例1~6のいずれか1つに記載の訓練システム。
【実施例0042】
MLモデル(250)が、ニューラルネットワーク(NN)である、実施例1~7のいずれか1つに記載の訓練システム。
【実施例0043】
訓練方法は、1つ又は2つ以上の訓練セットアップの各々において、プローブ(21)を器官に挿入することを含み、プローブは、プローブのハンドピース(31)に位置する複数のセンサ(52~60)を含み、センサは、プローブを使用して侵襲的処置を行う医師によってプローブ動作を感知するように構成されている。プローブ(21)は、プローブの遠位端に位置し、プローブ(21)動作に対応する器官内の遠位端の位置を示すように構成された遠位センサ(50)を更に含む。プローブ動作データは、1つ又は2つ以上の訓練セットアップから受信され、データは、各訓練セットアップの複数のセンサ(52~60)及びそれぞれの遠位センサ(50)を使用して取得され、プローブ動作データを使用して、ロボットアームを誘導してプローブ(21)を動作させ、侵襲的処置を実行するために機械学習(ML)モデル(250)を訓練する。
【0044】
したがって、上で説明される実施形態は例として挙げたものであり、本発明は上述に具体的に図示及び説明されるものに限定されない点が理解されよう。むしろ、本発明の範囲は、上記の明細書に説明される様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに前述の説明を読むことで当業者に想到されるであろう、先行技術において開示されていないそれらの変形例及び修正例を含むものである。
【0045】
〔実施の態様〕
(1) 訓練システムであって、
1つ又は2つ以上の訓練セットアップであって、各訓練セットアップが、
器官に挿入するためのプローブを備え、前記プローブが、
前記プローブのハンドピースに位置する複数のセンサであって、前記プローブを使用して侵襲的処置を行う医師によるプローブ動作を感知するように構成されている、複数のセンサ、及び
前記プローブの遠位端に位置し、前記プローブ動作に対応する前記器官内の前記遠位端の位置を示すように構成されている、遠位センサ、を備える、1つ又は2つ以上の訓練セットアップと、
プロセッサであって、
前記1つ又は2つ以上の訓練セットアップから、各訓練セットアップの前記複数のセンサ及び前記それぞれの遠位センサを使用して取得されたプローブ動作データを受信すること、及び
前記プローブ動作データを使用して、機械学習(ML)モデルを訓練して、ロボットアームを誘導して、前記プローブを動作させて、前記侵襲的処置を行うこと、を行うように構成されている、プロセッサと、を備える、訓練システム。
(2) 前記ハンドピースにおける前記センサが、前記プローブの前記遠位端の位置調整、方向調整、及びロール角度調整からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、実施態様1に記載の訓練システム。
(3) 前記ハンドピースにおける前記センサが、前記プローブのシャフトの前記遠位端の前進、後退、偏向、及び回転からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、実施態様1に記載の訓練システム。
(4) 前記ハンドピースにおける前記センサが、前記ハンドピースに位置するアクチュエータの1つ又は2つ以上のアクションを感知することによって、前記プローブ動作を感知するように構成されている、実施態様1に記載の訓練システム。
(5) 前記アクチュエータが、前記プローブのシースの遠位セクション、親指調整つまみ、ノブ、及びロックボタンのうちの少なくとも1つを備える、実施態様4に記載の訓練システム。
【0046】
(6) 前記ハンドピースにおける前記センサ及び前記遠位センサが、磁気センサ、電気センサ、及び符号化センサのうちの1つである、実施態様1に記載の訓練システム。
(7) 前記プロセッサが、前記MLモデルを訓練して、前記器官内の所与の開始場所から前記器官内の前記プローブの前記遠位端の所与の終了場所まで最小数の動きを見出すように構成されている、実施態様1に記載の訓練システム。
(8) 前記MLモデルが、ニューラルネットワーク(NN)である、実施態様1に記載の訓練システム。
(9) 訓練方法であって、
1つ又は2つ以上の訓練セットアップの各々において、プローブを器官内に挿入することであって、前記プローブが、
前記プローブのハンドピースに位置する複数のセンサであって、前記プローブを使用して侵襲的処置を行う医師によるプローブ動作を感知するように構成されている、複数のセンサ、及び
前記プローブの遠位端に位置し、前記プローブ動作に対応する前記器官内の前記遠位端の位置を示すように構成されている、遠位センサ、を備える、挿入することと、
前記1つ又は2つ以上の訓練セットアップから、各訓練セットアップの前記複数のセンサ及び前記それぞれの遠位センサを使用して取得されたプローブ動作データを受信することと、
前記プローブ動作データを使用して、機械学習(ML)モデルを訓練して、ロボットアームを誘導して、前記プローブを動作させて、前記侵襲的処置を行うことと、を含む、訓練方法。
(10) 前記ハンドピースにおける前記センサが、前記プローブの前記遠位端の位置調整、方向調整、及びロール角度調整からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、実施態様9に記載の訓練方法。
【0047】
(11) 前記ハンドピースにおける前記センサが、前記プローブのシャフトの前記遠位端の前進、後退、偏向、及び回転からなるタイプの群から選択される少なくとも1つのプローブ動作タイプを感知するように構成されている、実施態様9に記載の訓練方法。
(12) 前記ハンドピースにおける前記センサが、前記ハンドピースに位置するアクチュエータの1つ又は2つ以上のアクションを感知することによって、前記プローブ動作を感知するように構成されている、実施態様9に記載の訓練方法。
(13) 前記アクチュエータが、前記プローブのシースの遠位セクション、親指調整つまみ、ノブ、及びロックボタンのうちの少なくとも1つを備える、実施態様12に記載の訓練方法。
(14) 前記ハンドピースにおける前記センサ及び前記遠位センサが、磁気センサ、電気センサ、及び符号化センサのうちの1つである、実施態様9に記載の訓練方法。
(15) 前記MLモデルを訓練することが、前記MLモデルを訓練して、前記器官内の所与の開始場所から前記器官内の前記プローブの前記遠位端の所与の終了場所まで最小数の動きを見出すことを含む、実施態様9に記載の訓練方法。
【0048】
(16) 前記MLモデルが、ニューラルネットワーク(NN)である、実施態様9に記載の訓練方法。
図1
図2
【外国語明細書】