IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オーリス ヘルス インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-28
(45)【発行日】2023-08-07
(54)【発明の名称】器具の位置推定のシステムおよび方法
(51)【国際特許分類】
   A61B 34/32 20160101AFI20230731BHJP
   A61B 1/00 20060101ALI20230731BHJP
   A61B 1/045 20060101ALI20230731BHJP
   A61B 34/20 20160101ALI20230731BHJP
【FI】
A61B34/32
A61B1/00 620
A61B1/045 610
A61B1/00 552
A61B34/20
【請求項の数】 30
(21)【出願番号】P 2020531934
(86)(22)【出願日】2018-12-13
(65)【公表番号】
(43)【公表日】2021-02-22
(86)【国際出願番号】 US2018065530
(87)【国際公開番号】W WO2019118767
(87)【国際公開日】2019-06-20
【審査請求日】2021-12-09
(31)【優先権主張番号】62/598,934
(32)【優先日】2017-12-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518083032
【氏名又は名称】オーリス ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ラフィ-タリ,ヘドイェ
(72)【発明者】
【氏名】ウマラネーニ,リッティク
(72)【発明者】
【氏名】リム,シモン ウェイ クアン
(72)【発明者】
【氏名】ジーヴァン,プラサンス
【審査官】石川 薫
(56)【参考文献】
【文献】米国特許出願公開第2007/0265527(US,A1)
【文献】国際公開第2017/049163(WO,A1)
【文献】米国特許出願公開第2003/0105603(US,A1)
【文献】米国特許出願公開第2015/0313503(US,A1)
【文献】特開2005-205198(JP,A)
【文献】米国特許出願公開第2015/0297864(US,A1)
【文献】米国特許第05550953(US,A)
【文献】米国特許出願公開第2004/0015053(US,A1)
【文献】米国特許出願公開第2010/0290530(US,A1)
【文献】特表2007-527296(JP,A)
【文献】米国特許出願公開第2009/0165580(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 34/20-34/37
A61B 1/00
A61B 1/045
(57)【特許請求の範囲】
【請求項1】
命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、装置のプロセッサに少なくとも、
器具の物理的な操作に関するロボットデータに基づいて、前記器具の第1の動き推定を取得することと、
少なくとも1つの位置センサから受信した位置センサデータに基づいて、前記器具の第2の動き推定を取得することと、
前記第1の動き推定と前記第2の動き推定との比較に基づいて、動き推定の不一致度を特定することと、
前記動き推定の不一致度に基づいて、(a)前記ロボットデータから導出可能な位置の重み係数または(b)前記位置センサデータから導出可能な位置の重み係数を更新することと、
更新された前記重み係数に基づいて、前記器具の位置の推定を特定することと、
を実行させ
前記ロボットデータは、前記器具の少なくとも遠位部分の位置決めを指示するためのコマンドを含むことを特徴とする非一時的なコンピュータ可読記憶媒体。
【請求項2】
前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、(a)前記ロボットデータから導出可能な前記位置の前記重み係数を小さくすること、または(b)前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、を実行させることを特徴とする請求項1に記載の非一時的なコンピュータ可読記憶媒体。
【請求項3】
前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記器具にヒステリシス状態が生じたと特定すること、を実行させることを特徴とする請求項1に記載の非一時的なコンピュータ可読記憶媒体。
【請求項4】
前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、(a)前記ロボットデータから導出可能な前記位置の前記重み係数を小さくすること、または(b)前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、を実行させることを特徴とする請求項1に記載の非一時的なコンピュータ可読記憶媒体。
【請求項5】
前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記器具に座屈状態が生じたと特定すること、を実行させることを特徴とする請求項1に記載の非一時的なコンピュータ可読記憶媒体。
【請求項6】
前記命令が実行されると、前記プロセッサに、前記ロボットデータから導出可能な前記位置の前記重み係数をゼロに更新すること、を実行させることを特徴とする請求項1に記載の非一時的なコンピュータ可読記憶媒体。
【請求項7】
前記命令が実行されると、前記プロセッサに、前記第1の動き推定と前記第2の動き推定との間の差を特定することによって、前記動き推定の不一致度を特定すること、を実行させることを特徴とする請求項1に記載の非一時的なコンピュータ可読記憶媒体。
【請求項8】
前記命令が実行されると、前記プロセッサに、前記差が不一致度の閾値を超える場合に、(a)前記ロボットデータから導出可能な前記位置の前記重み係数、または(b)前記位置センサデータから導出可能な前記位置の前記重み係数、を更新すること、を実行させることを特徴とする請求項7に記載の非一時的なコンピュータ可読記憶媒体。
【請求項9】
前記命令が実行されると、前記プロセッサに、
所定の間隔で前記ロボットデータに基づいて前記器具の前記位置の変化を特定することで、前記第1の動き推定を取得することと、
前記所定の間隔で前記位置センサデータに基づいて前記器具の前記位置の変化を特定することで、前記第2の動き推定を取得することと、
を実行させることを特徴とする請求項1に記載の非一時的なコンピュータ可読記憶媒体。
【請求項10】
前記所定の間隔は、所定の時間間隔であることを特徴とする請求項9に記載の非一時的なコンピュータ可読記憶媒体。
【請求項11】
前記所定の間隔は、所定の距離間隔であることを特徴とする請求項9に記載の非一時的なコンピュータ可読記憶媒体。
【請求項12】
前記位置の推定は、更新された前記重み係数と前記ロボットデータから導出可能な前記位置と前記位置センサデータから導出可能な前記位置とに基づいて特定されることを特徴とする請求項1に記載の非一時的なコンピュータ可読記憶媒体。
【請求項13】
前記命令が実行されると、前記プロセッサに、
前記器具上に配置された画像処理装置から受信した視覚データに基づいて、前記器具の第3の動き推定を取得することと、
前記第2の動き推定と前記第3の動き推定との比較に基づいて、前記動き推定の不一致度を特定することと、
前記動き推定の不一致度に基づいて、(c)前記視覚データから導出可能な前記位置の前記重み係数を更新することと、
を実行させることを特徴とする請求項1に記載の非一時的なコンピュータ可読記憶媒体。
【請求項14】
前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第3の動き推定よりも大きいことを示す場合に、(b)前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、または(c)前記視覚データから導出可能な前記位置の前記重み係数を小さくすること、を実行させることを特徴とする請求項13に記載の非一時的なコンピュータ可読記憶媒体。
【請求項15】
前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第3の動き推定よりも大きいことを示す場合に、前記器具にヒステリシス状態が生じたと特定すること、を実行させることを特徴とする請求項13に記載の非一時的なコンピュータ可読記憶媒体。
【請求項16】
前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第3の動き推定が前記第2の動き推定よりも大きいことを示す場合に、(b)前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、または(c)前記視覚データから導出可能な前記位置の前記重み係数を小さくすること、を実行させることを特徴とする請求項13に記載の非一時的なコンピュータ可読記憶媒体。
【請求項17】
前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第3の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記器具に座屈状態が生じたと特定すること、を実行させることを特徴とする請求項13に記載の非一時的なコンピュータ可読記憶媒体。
【請求項18】
ロボットシステムであって、
長尺の本体と前記長尺の本体上に配置された少なくとも1つの位置センサとを有する器具と、
前記器具に取り付けられ、前記器具を移動させるように構成された器具位置決め装置と、
実行可能な命令が記憶された少なくとも1つのコンピュータ可読メモリと、
前記少なくとも1つのコンピュータ可読メモリと通信する1つまたは複数のプロセッサであって、前記命令を実行して前記ロボットシステムに少なくとも、
前記器具位置決め装置に取り付けられた前記器具の物理的な操作に関するロボットデータに基づいて、前記器具の第1の動き推定を取得することと、
前記少なくとも1つの位置センサから受信した位置センサデータに基づいて、前記器具の第2の動き推定を取得することと、
前記第1の動き推定と前記第2の動き推定との比較に基づいて、動き推定の不一致度を特定することと、
前記動き推定の不一致度に基づいて、(a)前記ロボットデータから導出可能な位置の重み係数、または(b)前記位置センサデータから導出可能な位置の重み係数、を更新することと、
更新された前記重み係数に基づいて、前記器具の位置の推定を特定することと、
を実行させるように構成されている、1つまたは複数のプロセッサと、
を有し、
前記ロボットデータは、前記器具の少なくとも遠位部分の位置決めを指示するためのコマンドを含むことを特徴とするシステム。
【請求項19】
前記器具は、内視鏡を含むことを特徴とする請求項18に記載のシステム。
【請求項20】
前記器具位置決め装置はロボットアームを含むことを特徴とする請求項18に記載のシステム。
【請求項21】
前記少なくとも1つの位置センサは、電磁センサを含むことを特徴とする請求項18に記載のシステム。
【請求項22】
前記少なくとも1つの位置センサは、前記器具に配置された画像処理装置を有し、
前記命令は、前記1つまたは複数のプロセッサに、前記画像処理装置によって取得された画像から位置情報を特定することをさらに実行させる
ことを特徴とする請求項18に記載のシステム。
【請求項23】
前記少なくとも1つの位置センサは、形状感知ファイバ、または加速度計、またはジャイロスコープ、または電磁センサ、または画像処理装置、または超音波センサを含むことを特徴とする請求項18に記載のシステム。
【請求項24】
体の内部領域内で器具をナビゲートするシステムの作動方法であって、前記システムはプロセッサを有し、前記プロセッサは、
前記器具の物理的な操作に関するロボットデータに基づいて取得した、前記器具の第1の動き推定と、
少なくとも1つの位置センサから受信した位置センサデータに基づいて取得した、前記器具の第2の動き推定と、
の比較に基づいて、動き推定の不一致度を特定することと、
前記動き推定の不一致度に基づいて、(a)前記ロボットデータから導出可能な位置の重み係数、または(b)前記位置センサデータから導出可能な位置の重み係数、を更新することと、
更新された前記重み係数に基づいて、前記器具の位置の推定を特定することと、
実行するように構成され、
前記ロボットデータは、前記器具の少なくとも遠位部分の位置決めを指示するためのコマンドを含むことを特徴とするシステムの作動方法。
【請求項25】
前記重み係数を更新することは、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、(a)前記ロボットデータから導出可能な前記位置の前記重み係数を小さくすること、または(b)前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、を含むことを特徴とする請求項24に記載のシステムの作動方法。
【請求項26】
前記重み係数を更新することは、前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、(a)前記ロボットデータから導出可能な前記位置の前記重み係数を小さくすること、または(b)前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、を含むことを特徴とする請求項24に記載のシステムの作動方法。
【請求項27】
前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記ロボットデータから導出可能な前記位置の前記重み係数をゼロに更新すること、をさらに含むことを特徴とする請求項24に記載のシステムの作動方法。
【請求項28】
前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記位置センサデータから導出可能な前記位置の前記重み係数をゼロに更新すること、をさらに含むことを特徴とする請求項24に記載のシステムの作動方法。
【請求項29】
前記動き推定の不一致度を特定することは、前記第1の動き推定と前記第2の動き推定との間の差を特定することを含み、前記差を特定することは、前記差の程度を特定することを含むことを特徴とする請求項24に記載のシステムの作動方法。
【請求項30】
前記プロセッサは、
前記差が不一致度の閾値を超える場合に、(a)前記ロボットデータから導出可能な前記位置の前記重み係数、または(b)前記位置センサデータから導出可能な前記位置の前記重み係数、を更新すること、をさらに実行するように構成されることを特徴とする請求項29に記載のシステムの作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して器具の位置の推定に関し、より具体的には、位置の入力データの比較に基づいてロボット対応医療器具の位置を推定するシステムおよび方法に関する。
【背景技術】
【0002】
内視鏡検査などの医療手技には、診断目的または治療目的で患者の管腔内にアクセスおよび視覚化することが含まれる。気管支鏡検査は、医師が気管支や細気管支などの患者の肺気道の内部状態を検査できる医療手技である。医療手技中に、気管支鏡として知られる薄くて柔軟な管状ツールを患者の口に挿入し、患者の喉を通ってハイに挿入される。器具は、後続の診断と治療のために識別された対象組織部位に向けて、肺の軌道を通ってナビゲートされる。
【0003】
特定の医療手技では、手術具の挿入および/または操作を制御するために手術ロボットシステムが使用される。ロボット対応医療システムは、ロボットアームや、手技中に手術具の位置決め制御に使用するマニピュレータアセンブリなどのその他の器具位置決め装置を有する。
【発明の概要】
【0004】
第1の側面では、命令が記憶された非一時的なコンピュータ可読記憶媒体について説明する。前記命令が実行されると、装置のプロセッサに少なくとも、器具の物理的な操作に関するロボットデータに基づいて、前記器具の第1の動き推定を取得することと、少なくとも1つの位置センサから受信した位置センサデータに基づいて、前記器具の第2の動き推定を取得することと、前記第1の動き推定と前記第2の動き推定との比較に基づいて、動き推定の不一致度を特定することと、前記動き推定の不一致度に基づいて、(a)前記ロボットデータから導出可能な位置の重み係数または(b)前記位置センサデータから導出可能な位置の重み係数を更新することと、前記更新された重み係数に基づいて、前記器具の位置の推定を特定することと、を実行させる。
【0005】
命令が記憶された非一時的なコンピュータ可読記憶媒体は、以下の1つまたは複数の特徴を任意に組み合わせてもよい。(a)前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記ロボットデータから導出可能な位置の前記重み係数を小さくすること、または前記位置センサデータから導出可能な位置の前記重み係数を大きくすること、を実行させる。(b)前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記器具にヒステリシス状態が生じたと特定すること、を実行させる。(c)前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記ロボットデータから導出可能な位置の前記重み係数を小さくすること、または前記位置センサデータから導出可能な位置の前記重み係数を大きくすること、を実行させる。(d)前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記器具に座屈状態が生じたと特定すること、を実行させる。(e)前記命令が実行されると、前記プロセッサに、前記ロボットデータから導出可能な位置の前記重み係数をゼロに更新すること、を実行させる。(f)前記命令が実行されると、前記プロセッサに、前記第1の動き推定と前記第2の動き推定との間の差を特定することによって、前記動き推定の不一致度を特定すること、を実行させる。(g)前記命令が実行されると、前記プロセッサに、前記差が不一致度の閾値を超える場合に、前記ロボットデ
ータから導出可能な位置の前記重み係数、または前記位置センサデータから導出可能な位置の前記重み係数、を更新すること、を実行させる。(h)前記命令が実行されると、前記プロセッサに、所定の間隔で前記ロボットデータに基づいて前記器具の位置の変化を特定することで、前記第1の動き推定を取得することと、前記所定の間隔で前記位置センサデータに基づいて前記器具の位置の変化を特定することで、前記第2の動き推定を取得することと、を実行させる。(i)前記所定の間隔は、所定の時間間隔である。(j)前記所定の間隔は、所定の距離間隔である。(k)前記位置の推定は、前記更新された重み係数と前記ロボットデータから導出可能な前記位置と前記位置センサデータから導出可能な前記位置とに基づいて特定される。(l)前記位置センサは、前記器具上に配置されている。(m)前記位置センサは、電磁センサを含む。(n)前記位置センサは、前記器具上に配置された画像処理装置を有し、前記プロセッサは、前記画像処理装置によって取得された画像から位置情報を特定する。(o)前記少なくとも1つの位置センサは、形状感知ファイバ、加速度計、ジャイロスコープ、電磁センサ、画像処理装置、超音波センサの少なくとも1つを有する。(p)前記命令が実行されると、前記プロセッサに、前記器具上に配置された画像処理装置から受信した視覚データに基づいて、前記器具の第3の動き推定を取得することと、前記第2の動き推定と前記第3の動き推定との比較に基づいて、前記動き推定の不一致度を特定することと、前記動き推定の不一致度に基づいて、前記視覚データから導出可能な位置の重み係数を更新することと、を実行させる。(q)前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記位置センサデータから導出可能な位置の前記重み係数を大きくすること、または前記視覚データから導出可能な位置の前記重み係数を小さくすること、を実行させる。(r)前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記器具にヒステリシス状態が生じたと特定すること、を実行させる。(s)前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第3の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記位置センサデータから導出可能な位置の前記重み係数を大きくすること、または前記視覚データから導出可能な位置の前記重み係数を小さくすること、を実行させる。(t)前記命令が実行されると、前記プロセッサに、前記動き推定の不一致度が、前記第3の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記器具に座屈状態が生じたと特定すること、を実行させる。
【0006】
別の側面では、ロボットシステムについて説明する。ロボットシステムは、長尺の本体と前記長尺の本体上に配置された少なくとも1つの位置センサとを有する器具と、前記器具に取り付けられ、前記器具を移動させる器具位置決め装置と、実行可能な命令が記憶された少なくとも1つのコンピュータ可読メモリと、前記少なくとも1つのコンピュータ可読メモリと通信する1つまたは複数のプロセッサであって、前記命令を実行して前記システムに少なくとも、前記器具位置決め装置に取り付けられた前記器具の物理的な操作に関するロボットデータに基づいて、前記器具の第1の動き推定を取得することと、少なくとも1つの位置センサから受信した位置センサデータに基づいて、前記器具の第2の動き推定を取得することと、前記第1の動き推定と前記第2の動き推定との比較に基づいて、動き推定の不一致度を特定することと、前記動き推定の不一致度に基づいて、(a)前記ロボットデータから導出可能な位置の重み係数、または(b)前記位置センサデータから導出可能な位置の重み係数、を更新することと、前記更新された重み係数に基づいて、前記器具の位置の推定を特定することと、を実行させる、1つまたは複数のプロセッサと、を有する。
【0007】
また、システムは、以下の1つまたは複数の特徴を任意に組み合わせてもよい。(a)前記器具は、内視鏡を含む。(b)前記器具は、位置決め装置はロボットアームを含む。(c)前記少なくとも1つの位置センサは、電磁センサを含む。(d)前記少なくとも1
つの位置センサは、前記器具に配置された画像処理装置を有し、前記命令は、前記1つまたは複数のプロセッサに、前記画像処理装置によって取得された画像から位置情報を特定することをさらに実行させる。(e)前記少なくとも1つの位置センサは、形状感知ファイバ、または加速度計、またはジャイロスコープ、または電磁センサ、または画像処理装置、または超音波センサを含む。(f)前記命令が実行されると、前記1つまたは複数のプロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記ロボットデータから導出可能な前記位置の前記重み係数を小さくすること、または前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、を実行させる。(f)前記命令が実行されると、前記1つまたは複数のプロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記器具にヒステリシス状態が生じたと特定すること、を実行させる。(g)前記命令が実行されると、前記1つまたは複数のプロセッサに、前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記ロボットデータから導出可能な前記位置の前記重み係数を小さくすること、または前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、を実行させる。(h)前記命令が実行されると、前記1つまたは複数のプロセッサに、前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記器具に座屈状態が生じたと特定すること、を実行させる。(i)前記命令が実行されると、前記1つまたは複数のプロセッサに、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記ロボットデータから導出可能な前記位置の前記重み係数をゼロに更新すること、を実行させる。(j)前記命令が実行されると、前記1つまたは複数のプロセッサに、前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記位置センサデータから導出可能な前記位置の前記重み係数をゼロに更新すること、を実行させる。(k)前記命令が実行されると、前記1つまたは複数のプロセッサに、前記第1の動き推定と前記第2の動き推定との間の差を特定することによって、前記動き推定の不一致度を特定すること、を実行させる。(l)前記命令が実行されると、前記1つまたは複数のプロセッサに、前記差が不一致度の閾値を超える場合に、前記ロボットデータから導出可能な前記位置の前記重み係数、または前記位置センサデータから導出可能な位置の前記重み係数、を更新すること、を実行させる。(m)前記命令が実行されると、前記1つまたは複数のプロセッサに、所定の間隔で前記ロボットデータに基づいて前記器具の位置の変化を特定することで、前記第1の動き推定を取得することと、前記所定の間隔で前記位置センサデータに基づいて前記器具の位置の変化を特定することで、前記第2の動き推定を取得することと、を実行させる。(n)前記所定の間隔は、所定の時間間隔である。(o)前記所定の間隔は、所定の距離間隔である。
【0008】
別の側面では、体の内部領域内で器具をナビゲートする方法について説明する。方法は、前記器具の物理的な操作に関するロボットデータに基づいて、器具の第1の動き推定を取得することと、少なくとも1つの位置センサから受信した位置センサデータに基づいて、前記器具の第2の動き推定を取得することと、前記第1の動き推定と前記第2の動き推定との比較に基づいて、動き推定の不一致度を特定することと、前記動き推定の不一致度に基づいて、(a)前記ロボットデータから導出可能な位置の重み係数、または(b)前記位置センサデータから導出可能な位置の重み係数、を更新することと、前記更新された重み係数に基づいて、前記器具の位置の推定を特定することと、を含む。
【0009】
また、方法は、以下の1つまたは複数の特徴を任意に組み合わせてもよい。(a)前記重み係数を更新することは、前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記ロボットデータから導出可能な前記位置の前記重み係数を小さくすること、または前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、を含む。(b)前記動き推定の不一致度が、前記第2
の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記器具にヒステリシス状態が生じたと特定すること、をさらに含む。(c)前記重み係数を更新することは、前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記ロボットデータから導出可能な前記位置の前記重み係数を小さくすること、または前記位置センサデータから導出可能な前記位置の前記重み係数を大きくすること、を含む。(d)前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記器具に座屈状態が生じたと特定すること、をさらに含む。(e)前記動き推定の不一致度が、前記第2の動き推定が前記第1の動き推定よりも大きいことを示す場合に、前記ロボットデータから導出可能な前記位置の前記重み係数をゼロに更新すること、をさらに含む。(f)前記動き推定の不一致度が、前記第1の動き推定が前記第2の動き推定よりも大きいことを示す場合に、前記位置センサデータから導出可能な前記位置の前記重み係数をゼロに更新すること、をさらに含む。(g)前記動き推定の不一致度を特定することは、前記第1の動き推定と前記第2の動き推定との間の差を特定することを含む。(h)前記差を特定することは、前記差の程度を特定することを含む。(i)前記差が不一致度の閾値を超える場合に、前記ロボットデータから導出可能な前記位置の前記重み係数、または前記位置センサデータから導出可能な位置の前記重み係数、を更新すること、をさらに含む。(j)所定の間隔で前記ロボットデータに基づいて前記器具の位置の変化を特定することで、前記第1の動き推定を取得することと、前記所定の間隔で前記位置センサデータに基づいて前記器具の位置の変化を特定することで、前記第2の動き推定を取得することと、をさらに含む。(k)前記所定の間隔は、所定の時間間隔である。(l)前記所定の間隔は、所定の距離間隔である。(m)前記位置センサは、前記器具上に配置されている。(n)前記位置センサは、電磁センサを含む。(o)前記位置センサは、前記器具に配置された画像処理装置を有し、前記方法は、前記画像処理装置によって取得された画像から位置情報を特定することをさらに含む。(p)前記位置センサは、形状感知ファイバ、または加速度計、またはジャイロスコープ、または電磁センサ、または画像処理装置、または超音波センサを含む。
【図面の簡単な説明】
【0010】
本件開示の側面について、添付の図面および表と共に以下に説明するが、例示であって開示の側面を限定するものではなく、同様の構成要素には同様の名称を付す。
【0011】
図1】気管支鏡検査手技の診断および/または治療用に構成されたカートベースのロボットシステムの一実施形態を示す図である。
図2図1のロボットシステムの別の側面を示す図である。
図3】尿管鏡検査用に構成された図1のロボットシステムの一実施形態を示す図である。
図4】血管手技用に構成された図1のロボットシステムの一実施形態を示す図である。
図5】気管支鏡検査手技用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。
図6図5のロボットシステムの代替の図である。
図7】ロボットアームを収容するように構成されたシステムの一例を示す図である。
図8】尿管鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。
図9】腹腔鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。
図10】ピッチ調整または傾き調整された図5~9のテーブルベースのロボットシステムの一実施形態を示す図である。
図11図5~10のテーブルベースのロボットシステムのテーブルとカラムとの間のインタフェースの詳細図である。
図12】例示的な器具駆動部を示す図である。
図13】組になった器具駆動部を有する例示的な医療器具を示す図である。
図14】駆動ユニットの軸が器具の細長いシャフトの軸と平行である、器具駆動部および器具の代替の設計を示す図である。
図15】実施形態の一例における、図13や14の器具の位置など、図1~10のロボットシステム1つまたは複数の要素の位置を推定する位置決めシステムを示すブロック図である。
図16】ロボット制御医療器具によるナビゲーションが可能な管腔ネットワークの一例を示す図である。
図17A】座屈状態が生じている医療器具の一例を示す図である。
図17B】ヒステリシス状態が生じている医療器具の一例を示す図である。
図18A】ロボットデータおよび位置センサデータの比較に基づいて医療器具の位置推定を特定する方法の一例を示すフローチャートである。
図18B】視覚データおよび位置センサデータの比較に基づいて医療器具の位置推定を特定する方法の一例を示すフローチャートである。
図19】位置入力データの比較によって器具位置の推定を提供するロボット対応医療システムの実施形態を示すブロック図である。
【発明を実施するための形態】
【0012】
(1.はじめに)
本件開示の側面は、腹腔鏡検査などの低侵襲の手技や内視鏡検査などの非侵襲の手技を含む種々の医療手技を実行可能なロボット対応医療システムに組み込むことができる。内視鏡検査の手技においては、本システムは、気管支鏡検査、尿管鏡検査、消化器病検査などを実行することができる。
【0013】
本システムは、さまざまな手技を実行できることに加えて、術者を支援する強化された画像取得や誘導など、追加の利点を提供することができる。また、本システムは、扱いにくいアームの動きや位置などに対応する必要なく、人工工学による位置から手技を行うことが可能な機能を術者に提供することができる。さらに、本システムは、システムの1つまたは複数の器具を1人のユーザで制御可能な使いやすさが向上した手技を行うことが可能な機能を術者に提供することができる。
【0014】
以下に、例示目的の図面とともに種々の実施形態について説明する。開示の技術的思想のその他多数の実装が可能であり、さまざまな利点が開示の実装と共に得られる。また、ここには、参照用および多数の節の位置がわかるように見出しが含まれている。これらの見出しは、見出しが示す技術思想の範囲を制限するものではない。それぞれの技術思想は本明細書全体にわたって適用されてよい。
【0015】
(A.ロボットシステム-カート)
ロボット対応医療システムは、特定手技に応じてさまざまに構成することができる。図1は、気管支鏡検査の診断手技および/または治療樹技用に配置されたカートベースのロボット対応システム10の一実施形態を示す。気管支検査時に、システム10は、気管支鏡検査用の手技に特化した気管支鏡を自然開口のアクセスポイント(この例ではテーブルに配置された患者の口など)に操作可能な内視鏡13などの医療器具を搬送して診断用のツールおよび/または治療用のツールを搬送するための、1つまたは複数のロボットアーム12を有するカート11を備える。図に示すように、カート11は、当該アクセスポイントにアクセスするために、患者の上半身に近い位置に配置されている。同様に、ロボットアーム12は、当該アクセスポイントに対して気管支鏡を配置するように作動可能である。図1に示す配置は、胃腸に関する(GI;gastro-intestinal)手技用の特別な内視
鏡である胃鏡を用いた胃腸に関する手技を行うときにも使用できる。図2は、カートの一例である実施形態をより詳細に示す。
【0016】
引き続き図1を参照すると、カート11が適切に位置決めされると、ロボットアーム12は操縦可能な内視鏡13を患者に、ロボットにより、手動により、またはそれらの組み合わせにより挿入することができる。図示のように、操縦可能な内視鏡13は内側リーダ部分および外部シース部分などの少なくとも2つの入れ子式部分を備えることができ、各部分は器具ドライバ28のセットから別個の器具ドライバに結合され、各器具ドライバは個々のロボットアームの遠位端に結合される。リーダ部分をシース部分と同軸に位置合わせすることを容易にする、器具ドライバ28のこの線形配置は、1つ以上のロボットアーム12を異なる角度および/または位置に操作することによって、空間内で再配置され得る「仮想レール」29を作成する。本明細書で説明する仮想レールは破線を使用して図示され、したがって、破線はシステムのいかなる物理的構造も示さない。仮想レール29に沿った器具ドライバ28の移動は外部シース部分に対して内側リーダ部分を入れ子式にし、または内視鏡13を患者から前進または後退させる。仮想レール29の角度は、臨床用途または医師の好みに基づいて、調整、移動、および旋回されてもよい。例えば、気管支鏡検査では、図示のような仮想レール29の角度および位置が内視鏡13を患者の口内に曲げることに起因する摩擦を最小限に抑えながら、内視鏡13への医師のアクセスを提供することの折衷案を表す。
【0017】
内視鏡13は、挿入後、ロボットシステムからの正確なコマンドを使用して、目標位置または手術部位に到達するまで、患者の気管および肺に向けられ得る。患者の肺ネットワークを通るナビゲーションを強化し、かつ/または所望の標的に到達するために、内視鏡13を操作して、外部シース部分から内側リーダ部分を入れ子式に延ばして、関節動作を強化し、曲げ半径を大きくすることができる。別個の器具ドライバ28の使用はまた、リーダ部分およびシース部分が、互いに独立して駆動されることを可能にする。
【0018】
例えば、内視鏡13は例えば、患者の肺内の病変または結節などの標的に生検針を送達するように指示されてもよい。針は病理学者によって解析されるべき組織サンプルを得るために、内視鏡の長さにわたるワーキングチャネルに沿って展開され得る。病理学的結果に応じて、追加のツールが追加の生検のために、内視鏡のワーキングチャネルの下方に配置されてもよい。悪性である結節を同定した後、内視鏡13は、潜在的に癌性の組織を切除するためのツールを内視鏡的に送達し得る。いくつかの例において、診断および治療手技は、別々の手技で送達される必要があり得る。これらの状況では、内視鏡13はまた、基準を送達して、対象結節の位置を「マーキング」するために使用され得る。他の例において、診断および治療手技は、同じ手順の間に送達され得る。
【0019】
システム10はまた、可動タワー30を含むことができ、このタワー30は、支持ケーブルを介してカート11に接続されて、カート11に対する制御、電子機器、流体工学、光学系、センサ、および/または電力のためのサポートを提供することができる。このような機能をタワー30内に配置することにより、より小さなフォームファクタのカート11が可能になり、これは、手術医師およびそのスタッフによって、より容易に調整および/または再配置され得る。さらに、カート/テーブルと支持タワー30との間の機能の分割は手術室の混乱を低減し、臨床作業の流れを改善することを容易にする。カート11を患者の近くに配置することができるが、タワー30は手技中に邪魔にならないように離れた場所に収容することができる。
【0020】
上述のロボットシステムのサポートにおいて、タワー30はコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶するコンピュータベースの制御システムの構成要素を含む
ことができる。これらの命令の実行は、実行がタワー30またはカート11内で行われるかどうかにかかわらず、システム全体またはそのサブシステムを制御することができる。例えば、コンピュータシステムのプロセッサによって実行される場合、命令はロボットシステムの構成要素に、関連するキャリッジおよびアームマウントを作動させ、ロボットアームを作動させ、医療器具を制御させることができる。例えば、制御信号の受信に応じて、ロボットアームのジョイント内のモータは、アームを特定の姿勢に位置決めすることができる。
【0021】
タワー30はまた、内視鏡13を通して展開され得るシステムに制御された潅注および吸引能力を提供するために、ポンプ、流量計、弁制御、および/または流体アクセスを含む。これらの構成要素は、タワー30のコンピュータシステムを使用して制御することもできる。いくつかの実施形態では、洗浄および吸引能力が別個のケーブルを介して内視鏡13に直接送達されてもよい。
【0022】
タワー30はカート11にフィルタされ保護された電力を供給するように設計された電圧およびサージプロテクタを含むことができ、それによって、カート11内に電力変圧器および他の補助電力部品を配置することが回避され、その結果、より小さく、より可動性の高いカート11が得られる。
【0023】
タワー30はまた、ロボットシステム10全体に展開されるセンサのための支持装置を含むことができる。例えば、タワー30はロボットシステム10全体にわたって光学センサまたはカメラから受信したデータを検出し、受信し、処理するための光電子機器を含むことができる。制御システムと組み合わせて、このような光電子機器を使用して、タワー30を含むシステム全体に配置された任意の数のコンソールに表示するためのリアルタイム画像を生成することができる。同様に、タワー30は配置された電磁(EM;Electromagnetic)センサから受信された信号を受信し、処理するための電子サブシステムも含むことができる。タワー30はまた、医療器具内または医療器具上の電磁センサによる検出のために電磁場発生器を収容し、位置決めするために使用されてもよい。
【0024】
タワー30は、システムの残りの部分で利用可能な他のコンソール、例えばカートの頂部に取り付けられたコンソールに加えて、コンソール31を含むこともできる。コンソール31は、ユーザインタフェースと、医師の操作者のためのタッチスクリーンなどの表示画面とを含むことができる。システム10内のコンソールは一般に、ロボット制御と、内視鏡13のナビゲーションおよび位置決め情報などの手術前およびリアルタイム情報との両方を提供するように設計される。コンソール31が医師が利用できる唯一のコンソールではない場合、看護師のような第二の操作者によって、患者の健康状態や活動状態とシステムの動作を監視し、ナビゲーションおよび位置決め情報などの手技固有のデータを提供するために使用することができる。他の実施形態では、コンソール30は、タワー30とは別の筐体内に格納されている。
【0025】
タワー30は、1つまたは複数のケーブルまたは接続部(図示せず)を介してカート11および内視鏡13に結合することができる。いくつかの実施形態では、タワー30からのサポート機能が単一のケーブルを介してカート11に提供されてもよく、手術室を単純化し、混乱を解消する。他の実施形態では、特定の機能が別個のケーブル配線および接続で結合されてもよい。例えば、単一の電力ケーブルを介してカートに電力を供給することができるが、制御、光学、流体、および/またはナビゲーションのための支持体は別個のケーブルを介して提供することができる。
【0026】
図2は、図1に示されたカートベースのロボット使用可能システムからのカートの実施形態の詳細図を提供する。カート11は全体として、細長い支持構造14(しばしば「カ
ラム」と呼ばれる)、カート基部15、およびカラム14の上端部にコンソール16を含む。カラム14は、1つまたは複数のロボットアーム12(図2には3つが示されている)の展開を支持するためのキャリッジ17(あるいは「アーム支持体」)などの1つまたは複数のキャリッジを含むことができる。キャリッジ17は、患者に対してより良好に位置決めするためにロボットアーム12の基部を調整するために垂直軸に沿って回転する個別に構成可能なアームマウントを含むことができる。キャリッジ17はまた、キャリッジ17がカラム14に沿って垂直に移動することを可能にするキャリッジインタフェース19を含む。
【0027】
キャリッジインタフェース19は、キャリッジ17の垂直方向の移動を案内するためにカラム14の両側に配置されたスロット20のようなスロットを介してカラム14に接続されている。スロット20はキャリッジをカート基部15に対して種々の垂直高さに位置決めし、保持するための垂直移動インタフェースを含む。キャリッジ17の垂直移動は、カート11が様々なテーブル高さ、患者サイズ、および医師の好みに合うようにロボットアーム12の到達範囲を調整することを可能にする。同様に、キャリッジ17上の個々に構成可能なアームマウントは、ロボットアーム12のロボットアームベース21が様々な構成で角度付けされることを可能にする。
【0028】
いくつかの実施形態では、スロット20がキャリッジ17が垂直に移動するときに、カラム14の内部チャンバおよび垂直移動インタフェース内への汚れおよび流体の進入を防止するために、スロット表面と面一であり、かつ平行であるスロットカバーで補足されてもよい。スロットカバーは、スロット20の縦上端部および底部の近くに配置されたバネスプールの対を通して展開されてもよい。カバーはキャリッジ17が垂直に上下に平行移動するときに、展開されてそれらのコイル状態から伸縮するまで、スプール内でコイル状に巻かれる。スプールのばね荷重はキャリッジ17がスプールに向かって移動するときにカバーをスプール内に引っ込める力を提供し、一方、キャリッジ17がスプールから離れるように移動するときにも緊密な捺印を維持する。カバーは例えば、キャリッジ17が移動するときにカバーの適切な伸縮を確実にするために、キャリッジインタフェース19内のブラケットを使用して、キャリッジ17に接続されてもよい。
【0029】
カラム14はユーザ入力、例えばコンソール16からの入力に応答して生成される制御信号に応答して機械的な方法でキャリッジ17を移動させるために、垂直に位置合わせされた親ねじを使用するように設計された、歯車およびモータなどの機構を内部に備えることができる。
【0030】
ロボットアーム12は一般に、一連のジョイント24によって接続された一連のリンク機構23によって分離されたロボットアーム基部21およびエンドエフェクタ22を備えることができ、各ジョイントは独立したアクチュエータを備え、各アクチュエータは独立して制御可能なモータを備える。各独立して制御可能なジョイントは、ロボットアームに利用可能な独立した自由度を表す。アーム12のそれぞれは7つのジョイントを有し、したがって、7つの自由度を提供する。多数のジョイントは多数の自由度をもたらし、「冗長である」自由度を可能にする。冗長な自由度は、ロボットアーム12が異なる結合位置および関節角を使用して、空間内の特定の位置、向き、および軌道にそれぞれのエンドエフェクタ22を位置決めすることを可能にする。これにより、システムは医師が腕の関節を患者から離れた臨床的に有利な位置に移動させて、腕の衝突を回避して、より広いアクセス範囲を実現しながら、空間内の所望の位置から医療器具を位置決めしたり方向付けたりすることが可能になる。
【0031】
カート基部15は、床上のカラム14、キャリッジ17、およびアーム12の重量を釣り合わせる。したがって、カート基部15は、電子機器、モータ、電源などのより重い構
成要素、ならびにカートの移動および/または固定のいずれかを可能にする構成要素を収容する。例えば、カート基部15は、手技の前にカートが部屋の周りを容易に移動することを可能にする、回転可能なホイール形状のキャスタ25を含む。適切な位置に到達した後、キャスタ25は、手技中にカート11を所定の位置に保持するためにホイールロックを使用して固定されてもよい。
【0032】
コンソール16はカラム14の垂直端部に配置されているので、ユーザ入力を受け取るためのユーザインタフェースと、医師ユーザに手術前および手術中の両方のデータを提供するための表示画面(または、例えば、タッチスクリーン26などの二目的用装置)との両方を可能にする。タッチスクリーン26上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影(CT)スキャンから導出されたナビゲーションおよびマッピングデータ、および/または術前患者インタビューからの注を含むことができる。ディスプレイ上の手術中データは、器具から提供される光学情報、センサおよびセンサからの座標情報、ならびに呼吸、心拍数、および/または脈拍などの患者の活動統計を含むことができる。コンソール16は医師がキャリッジ17の反対側のカラム14の側からコンソールにアクセスすることができるように、配置され、傾斜されてもよい。この位置から、医師はカート11の背後からコンソール16を操作しながら、コンソール16、ロボットアーム12、および患者を見ることができる。図示のように、コンソール16はまた、カート11の操縦および安定化を補助するためのハンドル27を含む。
【0033】
図3は、尿管鏡検査のために配置されたロボット使用可能システム10の実施形態を示す。尿管鏡手技では、カート11が患者の尿道および尿管を横切るように設計された手技特有の内視鏡である尿管鏡32を患者の下腹部領域に送達するように配置されてもよい。尿管鏡検査では、尿管鏡32を患者の尿道と直接位置合わせして、領域内の繊細な解剖学的構造に対する摩擦および力を低減することが望ましい場合がある。図に示されるように、カート11はロボットアーム12が患者の尿道への直接的な線形アクセスのために尿管鏡32を位置決めすることを可能にするために、テーブルの足に位置合わせすることができる。テーブルの足から、ロボットアーム12は、尿管鏡32を仮想レール33に沿って尿道を通して患者の下腹部に直接挿入することができる。
【0034】
尿道への挿入後、気管支鏡検査におけるのと同様の制御手法を使用して、尿管鏡32は診断および/または治療用途のために、膀胱、尿管、および/または腎臓内にナビゲートされ得る。例えば、尿管鏡32は、尿管鏡32のワーキングチャネルの下に配置されたレーザまたは超音波砕石装置を用いて、尿管および腎臓に向けられて、腎結石の蓄積を破壊することができる。砕石術が完了した後、得られた結石断片は、尿管鏡32の下方に配置されたバスケットを用いて除去され得る。
【0035】
図4は、血管手技のために同様に配置されたロボット使用可能システムの実施形態を示す。血管手技では、システム10がカート11が操縦可能なカテーテルなどの医療器具34を患者の脚の大腿動脈内のアクセスポイントに送ることができるように構成することができる。大腿動脈はナビゲーションのためのより大きな直径と、患者の心臓への比較的遠回りで曲がりくねった経路との両方の特徴があり、このためナビゲーションを単純化できる。尿管鏡手技におけるように、カート11は、ロボットアーム12が患者の大腿/股関節領域における大腿動脈アクセスポイントへの直接的な線形アクセスを有する仮想レール35を提供することを可能にするように、患者の脚および下腹部に向かって配置され得る。動脈内への挿入後、医療器具34は、器具ドライバ28を移動させることによって方向付けられ、挿入されてもよい。あるいは、カートが例えば、肩および手首の近くの頸動脈および上腕動脈などの代替の血管アクセスポイントに到達するために、患者の上腹部の周りに配置されてもよい。
【0036】
(B.ロボットシステム-テーブル)
ロボット対応医療システムの実施形態はまた、患者のテーブルを組み込んでもよい。テーブルを組み込むことにより、カートを取り外すことによって手術室内の資本設備の量が減少し、患者へのアクセスがより大きくなる。図5は、気管支鏡検査手順のために配置されたそのようなロボット使用可能システムの実施形態を示す。システム36は、床の上にプラットフォーム38(「テーブル」または「ベッド」として示される)を支持するための支持構造または支柱37を含む。カートベースのシステムと同様に、システム36のロボットアーム39のエンドエフェクタは、図5の気管支鏡40などの細長い医療器具を、器具ドライバ42の直線的な位置合わせから形成された仮想レール41を通して、またはそれに沿って操作するように設計された器具ドライバ42を備える。実際には、X線透視画像を提供するためのCアームがテーブル38の周りにエミッタおよび検出器を配置することによって、患者の上腹部領域の上に配置され得る。
【0037】
図6は、説明のため患者および医療器具を除いたシステム36の代替図を示す。図示されているように、カラム37はシステム36内にリング形状として示されている1つ以上のキャリッジ43を含むことができ、このキャリッジを基に1つ以上のロボットアーム39を構成することができる。キャリッジ43はロボットアーム39が患者に到達するように配置され得る異なる視点を提供するために、カラム37の長さに沿って延びる垂直カラムインタフェース44に沿って移動してもよい。キャリッジ43は、カラム37内に配置された機械的モータを使用してカラム37の周りを回転して、ロボットアーム39がテーブル38の複数の側、例えば患者の両側にアクセスできるようにすることができる。複数のキャリッジを有する実施形態では、キャリッジがカラム上に個別に配置されてもよく、他のキャリッジとは独立して移動および/または回転してもよい。キャリッジ43はカラム37を取り囲む必要はなく、または円形である必要もないが、図示されるようなリング形状は構造的バランスを維持しながら、カラム37の周りのキャリッジ43の回転を容易にする。キャリッジ43の回転および移動により、システムは、内視鏡および腹腔鏡のような医療器具を患者の異なるアクセスポイントに位置合わせすることができる。他の実施形態(図示せず)では、システム36は、調節可能なアーム支持部を有する患者テーブルまたはベッドを備えてもよく、アーム支持部はテーブルまたはベッドに沿って延伸するバーやレールの形態として設けることができる。1つまたは複数のロボットアーム39(肘関節を有する肩部を介するなどによる)は、上記の調節可能なアーム支持部を垂直方向に調整して取り付けることができる。垂直方向の調整ができることで、ロボットアーム39は、患者テーブルまたは別途の下にコンパクトに収容でき、後で手技時に引き上げることができる。
【0038】
アーム39は、ロボットアーム39に追加の構成要素を提供するために個別に回転および/または入れ子式に延在することができる一連のジョイントを備える一組のアームマウント45を介してキャリッジに取り付けることができる。さらに、アームマウント45は、キャリッジ43が適切に回転されたときに、アームマウント45がテーブル38の同じ側(図6に示す)、テーブル38の反対側(図9に示す)、またはテーブル38の隣接する側(図示せず)のいずれかに配置されるように、キャリッジ43上に配置されてもよい。
【0039】
カラム37は構造的に、テーブル38を支持し、キャリッジを垂直方向に移動させるための経路を提供する。内部においては、カラム37がキャリッジの垂直移動を案内するためのリードスクリューと、リードスクリューに基づいて前記キャリッジの移動を機械化するためのモータとを備えることができる。カラム37はまた、キャリッジ43およびその上に取り付けられたロボットアーム39に電力および制御信号を伝達することができる。
【0040】
テーブル基部46は図2に示すカート11のカート基部15と同様の機能を果たし、テ
ーブル/ベッド38、カラム37、キャリッジ43、およびロボットアーム39をバランスさせるためのより重い構成要素を収容する。テーブル基部46はまた、手技中の安定性を提供するために、硬性キャスタを組み込んでもよい。キャスタはテーブル基部46の下端から展開されて、基部46の両側で反対方向に延在し、システム36を移動させる必要があるときに後退することができる。
【0041】
引き続き図6を参照すると、システム36は、テーブルとタワーとの間でシステム36の機能を分割してテーブルのフォームファクタおよびバルクを低減するタワー(図示せず)を含むこともできる。上記の実施形態と同様に、タワーは、処理、計算、および制御能力、電力、流体工学、ならびに/または光学およびセンサ処理などの様々なサポート機能をテーブルに提供することができる。タワーはまた、医師のアクセスを改善し、手術室を煩雑にしないようにするために、患者から離れて配置されるように移動可能であってもよい。さらに、タワー内に部品を配置することにより、ロボットアームの潜在的な収納のためのテーブル基部内のより大きい収納スペースが実現する。タワーはまた、キーボードおよび/またはペンダントなどのユーザ入力のためのユーザインタフェースと、リアルタイム画像、ナビゲーション、および追跡情報などの術前および術中情報のための表示画面(またはタッチスクリーン)との両方を提供するコンソールを含むことができる。
【0042】
いくつかの実施形態では、テーブル基部が使用されていないときにロボットアームを収納し、格納することができる。図7は、テーブルベースのシステムの一実施形態においてロボットアームを収容するシステム47を示す。システム47では、キャリッジ48がロボットアーム50、アームマウント51、およびキャリッジ48を基部49内に収容するために、基部49内に垂直に移動させることができる。基地カバー52は、キャリッジ48、アームマウント51、およびアーム50を列53の近辺に展開するために移動されて開閉され、使用されていないときにそれらを保護するために閉じられてもよい。基部カバー52は、その開口の縁部に沿って膜54で封止されて、閉鎖時の汚れおよび流体の進入を防止することができる。
【0043】
図8は、尿管鏡検査手順のために構成されたロボット使用可能なテーブルベースのシステムの実施形態を示す。尿管鏡検査では、テーブル38が患者をカラム37およびテーブル基部46から外れた角度に位置決めするための旋回部分55を含むことができる。旋回部分55は旋回部分55の下端を支柱37から離して位置決めするために、旋回点(例えば、患者の頭部の下に位置する)の周りで回転または旋回してもよい。例えば、旋回部分55の旋回は、Cアーム(図示せず)がテーブル38の下のカラム(図示せず)と空間を競合することなく、患者の下腹部の上に配置されることを可能にする。キャリッジ35(図示せず)を支柱37の周りに回転させることによって、ロボットアーム39は、尿管鏡56を仮想レール57に沿って患者の鼠径部に直接挿入して尿道に到達させることができる。尿管鏡検査では、手技中に患者の脚の位置を支持し、患者の鼠径部への明確なアクセスを可能にするために、スターラップ58をテーブル38の旋回部分55に固定することもできる。
【0044】
腹腔鏡手技では、患者の腹壁の小さな切開を通して、最小侵襲性器具(1つ以上の切開のサイズに適応するように細長い形状)が患者の解剖学的構造に挿入され得る。患者の腹腔を膨張させた後、しばしば腹腔鏡と呼ばれる器具は把持、切断、切除、縫合などの手術タスクを実行するように指示されてもよく、図9は腹腔鏡手技のために構成されたロボット使用可能なテーブルベースのシステムの実施形態を示す。図9に示されるように、システム36のキャリッジ43はテーブル38の両側にロボットアーム39の対を位置決めするように回転され、垂直に調整され、その結果、腹腔鏡59は患者の腹腔に到達するために患者の両側の最小切開部を通過するようにアームマウント45を使用して位置決めされ得る。
【0045】
腹腔鏡手技に適応するために、ロボット使用可能テーブルシステムは、プラットフォームを所望の角度に傾斜させることもできる。図10は、ピッチまたはチルト調整を有するロボット使用可能医療システムの実施形態を示す。図10に示すように、システム36は、テーブル38の傾斜に適応して、テーブルの一部分を床から他の部分よりも大きな距離に位置決めすることができる。さらに、アームマウント45はアーム39がテーブル38と同じ平面関係を維持するように、傾きに合わせて回転することができる。より急勾配の角度に適応するために、カラム37は、カラム37の垂直延長部がテーブル38が床に触れたり基部46と衝突したりしないようにする入れ子式部分60を含むこともできる。
【0046】
図11は、テーブル38とカラム37との間のインタフェースの詳細を示す。ピッチ回転機構61は、欄37に対するテーブル38のピッチ角を複数の自由度で変更するように構成されてもよい。ピッチ回転機構61はカラム・テーブル・インタフェースにおける直交軸1、2の位置決めによって可能にすることができ、各軸は、電気的なピッチ角コマンドに応答して各軸が別個のモータ3、4によって作動される。一方のねじ5に沿った回転は一方の軸1における傾斜調整を可能にし、他方のねじ6に沿った回転は、他方の軸2に沿った傾斜調整を可能にする。いくつかの実施形態では、ボールジョイントを用いて、複数の自由度でカラム37に対する相対的なテーブル38のピッチ角を変更することができる。
【0047】
例えば、ピッチ調整は下腹部手術のために、テーブルをトレンデレンブルグ位置に位置決めしようとするとき、すなわち、患者の下腹部を患者の下腹部よりも床から高い位置に位置決めしようとするとき、特に有用である。トレンデレンブルグ位置は患者の内部器官を重力によって患者の上腹部に向かってスライドさせ、腹腔鏡前立腺切除術などの下腹部の手術手技または医療手技を開始して実行するための最小侵襲性ツール(minimally invasive tool)のために腹腔の空間を空ける。
【0048】
(C.器具ドライバとインタフェース)
システムのロボットアームのエンドエフェクタは、(1)医療器具を作動させるための電気機械的手段を組み込む器具ドライバ(あるいは「器具駆動機構」または「器具装置マニピュレータ(IDM;instrument device manipulator)」と呼ばれる)と、(2)モータなどの任意の電気機械的構成要素を削除できる取り外し可能または取り外し可能な医療器具とを備える。この二分法は、医療手技に使用される医療器具を滅菌する必要性、およびそれらの複雑な機械的アセンブリおよび繊細な電子機器のために高価な資本設備を適切に滅菌することができないことが起因となりうる。したがって、医療器具は医師または医師のスタッフによる個々の滅菌または廃棄のために、器具ドライバ(したがってシステム)から取り外し、取り外し、および交換されるように設計されてもよい。対照的に、器具ドライバは、交換または滅菌される必要はなく、保護のためにドレープで覆われてもよい。
【0049】
図12は、例示的な器具ドライバを示す。ロボットアームの遠位端に配置された器具ドライバ62は駆動シャフト64を介して医療器具に制御されたトルクを提供するために、平行軸に配置された1つ以上の駆動ユニット63を備える。各駆動ユニット63は器具と相互作用するための個々の駆動シャフト64と、モータシャフトの回転を所望のトルクに変換するためのギアヘッド65と、駆動トルクを生成するためのモータ66と、モータシャフトの速度を測定し、制御回路にフィードバックを提供するためのエンコーダ67と、制御信号を受信し、駆動ユニットを作動させるための制御回路68とを備える。各駆動ユニット63は独立して制御され、電動化されており、器具ドライバ62は、医療器具に複数(図12に示すように4つ)の独立した駆動出力を提供することができる。動作中、制御回路68は制御信号を受信し、モータ信号をモータ66に送信し、エンコーダ67によ
って測定された結果のモータ速度を所望の速度と比較し、モータ信号を変調して所望のトルクを生成する。
【0050】
無菌環境を必要とする手技では、ロボットシステムが器具ドライバと医療器具との間に位置する、無菌ドレープに接続された無菌アダプタなどの駆動インタフェースを組み込むことができる。無菌アダプタの主な目的は駆動シャフトと駆動入力との間の物理的分離、したがって無菌性を維持しながら、器具ドライバの駆動シャフトから器具の駆動入力に角運動を伝達することである。したがって、例示的な無菌アダプタは、器具ドライバの駆動シャフトおよび器具上の駆動入力と嵌合されることが意図される一連の回転入力および出力を備えてもよい。滅菌アダプタに接続された滅菌ドレープは透明または半透明プラスチックなどの薄い軟性材料からなり、器具ドライバ、ロボットアーム、およびカート(カートベースのシステム内)またはテーブル(テーブルベースのシステム内)などの資本設備を覆うように設計される。ドレープの使用は滅菌を必要としない領域(すなわち、非滅菌領域)に依然として配置されている間に、患者の近くに資本設備を配置することを可能にする。滅菌ドレープの反対側では、医療器具が滅菌を必要とする領域(すなわち、滅菌野)において患者と接触することができる。
【0051】
(D.医療器具)
図13は、組になった器具ドライバを有する例示的な医療器具を示す。ロボットシステムと共に使用するように設計された他の器具と同様に、医療器具70は、細長いシャフト71(または細長い本体)および器具基部72を備える。医師による手動操作向けの設計として「器具ハンドル」とも呼ばれる器具基部72は、全体として、ロボットアーム76の遠位端で器具ドライバ75上の駆動インタフェースを通って延びる駆動出力74と嵌合するように設計された、回転可能な駆動入力73、例えば、レセプタクル、プーリ、またはスプールを備えてもよい。物理的に接続され、ラッチされ、および/または結合されると、器具基部72の嵌合された駆動入力73は器具ドライバ75内の駆動出力74と回転軸を共有し、駆動出力74から駆動入力73へのトルクの伝達が可能になる。いくつかの実施形態では、駆動出力74が駆動入力73上のレセプタクルと嵌合するように設計されたスプラインを備えてもよい。
【0052】
細長いシャフト71は例えば、内視鏡検査におけるように、解剖学的な開口またはルーメン、または、例えば、腹腔鏡検査におけるように、最小侵襲性切開のいずれかを介して送られるように設計される。細長いシャフト66は軟性(例えば、内視鏡と同様の特性を有する)または硬性(例えば、腹腔鏡と同様の特性を有する)のいずれかであり得るか、または軟性部分および硬性部分の両方のカスタマイズされた組み合わせを含む。腹腔鏡検査用に設計される場合、硬性の細長いシャフトの遠位端は回転軸を有するUリンクと、器具ドライバ75の駆動出力74から受け取ったトルクに応じて駆動入力が回転するときにテンドンからの力に基づいて作動され得る、例えば、1つまたは複数の把持器などの手術ツールまたは医療器具とから形成される接合手首を備えるエンドエフェクタに接続されてもよい。内視鏡検査用に設計される場合、可撓性の細長いシャフトの遠位端は、器具ドライバ75の駆動出力74から受け取られるトルクに基づいて関節動作および屈曲され得る、操縦可能または制御可能な屈曲部を含む。
【0053】
器具ドライバ75からのトルクは、シャフト71内のテンドンを使用して細長いシャフト71に伝達される。プルワイヤなどのこれらの個々のテンドンは、器具ハンドル72内の個々の駆動入力73に個々に固定することができる。ハンドル72から、テンドンは、細長いシャフト71内の1つ以上のプルルーメンに向けられ、細長いシャフト71の遠位部分に固定される。腹腔鏡検査では、これらのテンドンが手首、把持器、またはさみなどの遠位に取り付けられたエンドエフェクタに結合されてもよい。このような構成の下では、駆動入力73に及ぼされるトルクがテンドンに表面張力を伝達し、それによってエンド
エフェクタを何らかの方法で作動させる。腹腔鏡検査では、テンドンは関節を軸の周りに回転させ、それによってエンドエフェクタを一指示または別の指示に移動させることができる。あるいはテンドンは細長いシャフト71の遠位端において、把持器の1つ以上の顎に接続され得、ここで、テンドンからの張力によって把持器が閉じる。
【0054】
内視鏡検査では、テンドンは接着剤、制御リング、または他の機械的固定を介して、細長いシャフト71に沿って(例えば、遠位端で)配置された屈曲または関節動作部に結合されてもよい。屈曲部の遠位端に固定して取り付けられると、駆動入力73に及ぼされるトルクがテンドンに伝達され、より柔軟性のある屈曲部(関節部または関節動作領域と呼ばれることもある)を屈曲または関節動作させる。非屈曲部に沿って、個々のテンドンを内視鏡シャフトの壁に沿って(または内側に)向ける個々のプルルーメンを螺旋状または螺旋状にして、プルワイヤの表面張力から生じる半径方向の力を釣り合わせることが効果的であり得る。スパイラルの角度および/またはそれらの間の間隔は特定の目的のために変更または設計されてもよく、スパイラルを緊密にすると荷重力下でのシャフト圧縮が小さくなり、一方、スパイラルを少なくすると荷重力下でのシャフト圧縮が大きくなるが限界曲げとなる。スペクトルの他端では、プルルーメンが細長いシャフト71の長手方向軸に平行に向けられて、所望の屈曲または関節動作可能な部分における制御された関節動作が可能となる。
【0055】
内視鏡検査では、細長いシャフト71がロボットシステム手技を補助するために、いくつかの構成要素を収容する。シャフトは、シャフト71の遠位端における手術領域に手術ツール(または医療器具)、潅注、および/または吸引を展開するためのワーキングチャネルを備えてもよい。シャフト71はまた、ワイヤおよび/または光ファイバを収容して、光学カメラを含む遠位先端の光学アセンブリへ/から信号を伝達し得る。シャフト71はまた、光ファイバを収容して、発光ダイオードなどの近位に位置する光源からシャフトの遠位端に光を運ぶことができる。
【0056】
器具70の遠位端において、遠位先端はまた、診断および/または治療、潅注、および吸引のためのツールを手術部位に送達するためのワーキングチャネルの開口を備え得る。遠位先端はまた、内部解剖学的空間の画像を取得するために、ファイバースコープまたはデジタルカメラなどのカメラのためのポートを含んでもよい。関連して、遠位先端はまた、カメラを使用するときに解剖学的空間を照明するための光源のためのポートを含む。
【0057】
図13の例では駆動シャフト軸、したがって駆動入力軸は細長いシャフトの軸に直交する。しかしながら、この配置では、細長いシャフト71の回転機能が複雑になる。駆動入力73を静止状態に保ちながら、細長いシャフト71をその軸に沿って回転させると、テンドンが駆動入力73から延出して細長いシャフト71内のプルルーメンに入るときに、テンドンの望ましくない絡み合いが生じる。そのようなテンドンによって生じる絡み合いは、内視鏡手技時に可撓性の細長いシャフトの移動を予測することを目的とする任意の制御アルゴリズムの障害となり得る。
【0058】
図14は器具ドライバおよび器具の代替設計を示し、駆動ユニットの軸が器具の細長いシャフトの軸に平行である。図示のように、円形の器具ドライバ80は、ロボットアーム82の端部に平行に位置合わせされた駆動出力81を有する4つの駆動ユニットを備える。駆動ユニットおよびそれぞれの駆動出力81は、アセンブリ83内の駆動ユニットのうちの1つによって駆動される器具ドライバ80の回転アセンブリ83内に収容される。回転駆動ユニットによって提供されるトルクに応じて、回転アセンブリ83は、回転アセンブリ83を器具ドライバの非回転部分84に接続する円形ベアリングに沿って回転する。電気接点を介して器具ドライバ80の非回転部分84から回転アセンブリ83に電力および制御信号を伝達することができ、この信号は、ブラシ付きスリップリング接続(図示せ
ず)による回転によって維持することができる。他の実施形態では、回転アセンブリ83が非回転部分84に一体化され、したがって他の駆動ユニットと平行ではない別個の駆動ユニットに応答することができる。回転機構83は、器具ドライバ80が器具ドライバ軸85の周りに単一のユニットとして、駆動ユニットおよびそれぞれの駆動出力81を回転させることができる。
【0059】
上記に開示した実施形態と同様に、器具86は、細長いシャフト部分88と、器具ドライバ80内の駆動出力81を受けるように構成された複数の駆動入力89(レセプタクル、プーリ、およびスプールなど)を備える器具基部87(説明のために透明な外皮と共に示されている)とを備えることができる。先に開示された実施形態とは異なり、器具シャフト88は、図13の設計におけるように直交するのではなく、駆動入力89の軸に実質的に平行な軸を有する器具基部87の中心から延伸する。
【0060】
器具ドライバ80の回転アセンブリ83に結合されると、器具基部87および器具シャフト88を備える医療器具86は、器具ドライバ軸85の周りで回転アセンブリ83と組み合わせて回転する。器具シャフト88は器具基部87の中心に配置されているので、器具シャフト88は取り付けられたとき、器具ドライバ軸85と同軸である。したがって、回転アセンブリ83の回転は、器具シャフト88をそれ自体の前後軸の周りに回転させる。さらに、器具基部87が器具シャフト88と共に回転するとき、器具基部87の駆動入力89に接続されたテンドンは、回転中に絡み合わない。したがって、駆動出力81、駆動入力89、および器具シャフト88の軸の平行性は、任意の制御テンドンの絡み合いを発生させることなく、シャフトを回転させることができる。
【0061】
(E.ナビゲーションと制御)
従来の内視鏡検査には、X線透視法(例えば、Cアームを介して送達され得るよう)および他の形態の放射線ベースの画像化モダリティの使用が含まれ、操作者の医師に管腔内ガイダンスが提供される。一方、本件開示によって実現されるロボットシステムは、放射線に対する医師の曝露を低減し、手術室内の器具の数を減らすために、非放射線ベースのナビゲーションおよび位置決め手段を提供する。本明細書で使用されるように、用語「位置決め」は、基準座標系における物体の位置を特定および/または監視することを指すことができる。術前マッピング、コンピュータ視覚、リアルタイム電磁追跡、およびロボットコマンドデータなどの技術は放射線を用いない運用環境を達成するために、個別に、または組み合わせて使用されてもよい。放射線ベースの画像モダリティが依然として使用される他の場合には、術前マッピング、コンピュータ視覚、リアルタイム電磁追跡、およびロボットコマンドデータは放射線ベースの画像モダリティによってのみ得られる情報を改善するために、個別に、または組み合わせて使用されてもよい。
【0062】
図15は、例示的な実施形態による、器具の位置など、ロボットシステムの1つまたは複数の要素の位置を推定する位置決めシステム90を示すブロック図である。位置決めシステム90は、1つまたは複数の命令を実行するように構成された1つまたは複数の計算装置のセットとすることができる。計算装置は、上述の1つまたは複数の構成要素内のプロセッサ(または複数のプロセッサ)およびコンピュータ可読メモリによって具現化され得る。限定ではなく例示として、計算装置は、図1に示すタワー30内や、図1~4に示すカート内や、図5~10に示すベッド内などに配置されてよい。
【0063】
図15に示すように、位置決めシステム90は、入力データ91~94を処理して医療器具の遠位先端の位置データ96を生成する位置決めモジュール95を含むことができる。位置データ96は、基準系に対する器具の遠位端の位置および/または向きを表すデータまたはロジックであってもよい。基準系は、患者の解剖学的構造、または電磁場発生器(電磁場発生器については以下の説明を参照)などの既知の物体に対する基準系とするこ
とができる。
【0064】
ここで、さまざまな入力データ91~94についてより詳細に説明する。術前マッピングは、低線量CTスキャンの収集を使用することによって達成することができる。術前CTスキャンは2次元画像を生成し、各画像は、患者の内部解剖学的構造の破断図の「スライス」を表す。集合体で解析される場合、患者の肺ネットワークなどの患者の解剖学的構造の解剖学的空洞、空間、および構造のための画像ベースのモデルが生成され得る。中心線ジオメトリのような手法は、CT画像から決定され、近似されて、モデルデータ91と呼ばれる(術前CTスキャンのみ用いて生成される場合は「術前モデルデータ91」とも呼ばれる)患者の解剖学的構造の3次元ボリュームを展開することができる。中心線ジオメトリの使用については、米国特許第14/523,760号に記載されており、その内容の全体を本願に援用する。また、ネットワークトポロジーモデルは、CT画像から導出されてもよく、気管支鏡検査に特に適している。
【0065】
いくつかの実施形態では、器具が視覚データ92を提供するためにカメラを装備することができる。位置決めモジュール95は1つまたは複数の視覚ベースの位置追跡を可能にするために、視覚データを処理することができる。例えば、手術前モデルデータは医療器具(例えば、内視鏡または内視鏡のワーキングチャネルを通る器具の前進)のコンピュータ視覚ベースの追跡を可能にするために、視覚データ92と共に使用されてもよい。例えば、手術前モデルデータ91を使用して、ロボットシステムは内視鏡の予想される移動経路に基づいてモデルから予想される内視鏡画像のライブラリを生成することができ、各画像はモデル内の位置にリンクされる。手術中に、このライブラリはカメラ(例えば、内視鏡の遠位端にあるカメラ)で取得されたリアルタイム画像を画像ライブラリ内の画像と比較して位置決めを補助するために、ロボットシステムによって参照されてもよい。
【0066】
他のコンピュータ視覚ベースの追跡技術は、カメラ、したがって内視鏡の動きを特定するために特徴追跡を使用する。位置決めモジュール95のいくつかの特徴は解剖学的な管腔に対応する手術前モデルデータ91内の円形の幾何学的形状を識別し、それらの幾何学的形状の変化を追跡して、どの解剖学的な管腔が選択されたかや、カメラの相対的な回転および/または移動運動を特定することができる。トポロジーマップの使用によって、視覚ベースのアルゴリズムまたは方法をさらに強化することができる。
【0067】
別のコンピュータ視覚ベースの技術であるオプティカルフローはカメラの動きを推測するために、視覚データ92のビデオシーケンス内の画像画素の変位および移動を解析することができる。複数の反復にわたる複数のフレームの比較によって、カメラ(したがって、内視鏡)の移動および位置を特定することができる。
【0068】
位置決めモジュール95は、リアルタイム電磁追跡を使用して、手術前モデルによって表される患者の解剖学的構造に位置合わせすることができるグローバル座標系における内視鏡のリアルタイム位置を生成し得る。電磁追跡では医療器具(例えば、内視鏡ツール)の1つ以上の位置および向きに埋め込まれた1つ以上のセンサコイルを備える電磁センサ(トラッカ)は既知の位置に配置された1つ以上の静的電磁場発生器によって生成された電磁場の変動を測定する。電磁センサによって検出された位置情報は、電磁データ記憶される。電磁場発生器(または送信機)は埋め込まれたセンサが検出し得る低強度磁場を生成するために、患者の近くに配置され得る。磁界は電磁センサコイルに小さな電流をガイドし、この電流は、電磁センサと電磁界発生器との間の距離および角度を特定するために解析され得る。これらの距離および向きは、座標系内の単一の位置を患者の解剖学的構造の手術前モデル内の位置と位置合わせさせる幾何学的変換を特定するために、患者の解剖学的構造(例えば、手術前モデル)に対して手術中に「位置合わせ」されてもよい。一旦位置合わせされると、医療器具の1つ以上の位置(例えば、内視鏡の遠位先端)に埋め込
まれた電磁追跡装置は、患者の解剖学的構造を通る医療器具の進歩のリアルタイムの指示を提供し得る。
【0069】
ロボットコマンドおよび運動学データ94はまた、ロボットシステムのための位置データ96を提供するために、位置決めモジュール95によって使用されてもよい、関節動作コマンドから生じる装置ピッチおよびヨーは、手術前較正中に特定され得る。手術中に、これらの較正計量値は器具の位置を推定するために、既知の挿入デプス情報と組み合わせて使用されてもよい。あるいは、これらの計算がネットワーク内の医療器具の位置を推定するために、電磁、視覚、および/またはトポロジーモデリングと組み合わせて解析されてもよい。
【0070】
図15に示すように、多数の他の入力データを位置決めモジュール95によって使用することができる。例えば、図15には示されていないが、形状感知ファイバを用いる器具は、位置決めモジュール95が器具の位置および形状を特定するために使用する形状データを提供することができる。
【0071】
位置決めモジュール95は、入力データ91~94を組み合わせて使用することができる。場合によっては、このような組み合わせは位置決めモジュール95が入力データ91~94のそれぞれから特定された位置に信頼性重みを割り当てる確率的アプローチを使用することができる。したがって、電磁データが信頼できない場合(電磁干渉がある場合のように)、電磁データによって特定される位置の信頼性は低下する可能性があり、位置決めモジュール95は、視覚データ92および/またはロボットコマンドおよび運動学データ94により依存する可能性がある。
【0072】
上記の通り、本明細書で説明するロボットシステムは、上記の技術のうちの1つまたは複数の組合せを組み込むように設計することができる。タワー、ベッドおよび/またはカートに基づくロボットシステムのコンピュータベースの制御システムはコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶することができ、これは、実行時に、システムにセンサデータおよびユーザコマンドを受信および解析させ、システム全体の制御信号を生成させ、グローバル座標系内の器具の位置、解剖学的マップなどのナビゲーションおよび位置決めデータを表示させる。
【0073】
(2.位置入力データの比較による器具位置の推定)
図1~15を参照して説明したようなロボット対応医療システム。内視鏡手技または腹腔鏡手技のような医療手技や手術手技における器具の位置または位置の推定を提供するように構成することができる。手技中に、医師は、患者の内部領域(例えば、管腔、管腔ネットワーク、空洞等)を介して器具をガイドまたは誘導することができる。医師を支援するために、装置の位置推定を特定し、例えば、位置決めシステム90を用いてユーザに表示することができる(図15)。
【0074】
図16は、位置決めシステム90の実施形態をより詳細に示すブロック図である。図に示す例では、位置決めシステム90は、視覚データ92、位置センサデータ93(例えば、電磁データロボットデータ94(例えば、ロボットコマンドおよびキネマティクスデータ)を受信および処理し、それによって、出力として位置データ96を提供するように構成される。位置データ96は、例えば、装置の位置推定値を含むことができる。
【0075】
視覚データ92、位置センサデータ93、ロボットデータ94は、図16において入力データとして図示されているが、位置確認システム90は、また、上記のように、追加の種類の入力データを受信して処理してもよい。一例として、位置決めシステム90は、上
記のように、術前モデルデータ91を受信して処理することもできる。
【0076】
図に示すように、位置決めモジュール95は、視覚ベースのモジュール101、位置センサベースのモジュール103、及びロボットベースのモジュール105を含むことができる。モジュール101、103、105のそれぞれは、種々の入力データを受信して処理するためのソフトウェアおよび/またはハードウェアを備えてもよい。いくつかの実施形態では、モジュール101、103、105のうちの1つ以上を、互いに、および/または他のモジュール(位置推定モジュール108など)と組み合わせることができる。実施例のモジュールは、2016年9月16日出願の米国特許出願第15/268,238号(2017年8月8日に米国特許第9,727,963号として公開)に記載されており、参照により本明細書に援用する。
【0077】
視覚ベースのモジュール101は、視覚データ92を受信して処理するように構成されてもよい。視覚データ92は、画像処理装置(例えば、ファイバスコープまたはカメラ)から受信されてもよい。画像処理装置は、装置上に配置されてもよい。視覚データ92は、1つ以上の画像またはビデオを含むことができる。視覚ベースのモジュール101は、視覚データ92から視覚ベースの位置推定102を決定するように構成されてもよい。例えば、視覚ベースのモジュール101は、上記のように、術前モデル(例えば、術前モデルデータ91)に対する器具の位置を特定するために、器具上に配置された器具装置から受信した画像を処理することができる。
【0078】
位置センサベースのモジュール103は、位置センサデータ93を受信して処理するように構成することができる。位置センサデータ93は、1つまたは複数の位置センサから受信することができる。位置センサは、装置上に配置されてもよい。位置センサは、例えば、電磁センサ、形状感知ファイバ、加速度計、ジャイロスコープ、画像処理装置、超音波センサ等であってもよい。位置センサに基づくモジュール103は、位置センサデータ93から位置センサに基づく位置推定104を特定するように構成することができる。例えば、位置センサベースのモジュール103は、器具上の電磁センサ受信したデータを処理して、術前モデルの座標系に対する器具の位置を決定することができる。
【0079】
ロボットベースのモジュール105は、ロボットデータ94を受信し処理するように構成することができる。ロボットデータ94は、器具の形状および移動を制御するための挿入および/または関節動作コマンドを含むことができる。ロボットベースのモジュール105は、ロボットデータ94からロボットベースの位置推定106を決定するように構成することができる。例えば、手技中に、1つ以上のロボットアームまたは他の器具位置決め装置によって実行されるような、器具の既知または指示された挿入深さおよび/または関節動作またはロール角度に関する情報を使用して、器具の位置を推定することができる。
【0080】
視覚ベースの位置推定102、位置センサベースの位置推定104、およびロボットベースの位置推定106は、図に示すように、位置推定モジュール108に入力されてもよい。他の入力(図示せず)を位置推定器モジュール108にも供給することができる。位置推定器モジュール108は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装することができる。
【0081】
位置推定器モジュール108は、視覚ベースの位置推定102、位置センサベースの位置推定104、および/またはロボットベースの位置推定106を結合して位置データ96を出力するように構成することができる。位置推定器モジュールは、視覚に基づく位置推定102、位置センサに基づく位置推定104、および/またはロボットシステムに基づく位置推定106に信頼度の重み(または重み係数)を割り当てる確率論的アプローチ
を用いて、組み合わせを特定することができる。いくつかの実施形態では、位置推定器モジュール108および/または位置決めシステム90の別の構成要素又はモジュールは、視覚ベースの位置推定102、位置センサベースの位置推定104、および/またはロボットベースの位置推定106のそれぞれに対する重み係数を決定することができる。重み係数を使用して、視覚に基づく位置推定102、位置センサに基づく位置推定104、および/またはロボットシステムに基づく位置推定106の出力位置データ96の特定への寄与度を増加または減少させることができる。
【0082】
例えば、ある場合には、視覚に基づく位置推定102、位置センサに基づく位置推定104、および/またはロボットシステムに基づく位置推定106のうちの1つは、視覚に基づく位置推定102、位置センサに基づく位置推定104、および/またはロボットシステムに基づく位置推定106のうちの別のものよりも信頼性が低いと判断されてもよい。信頼性の低い1つの重み係数を減らし、および/または信頼性の高い1つの重み係数を増やすことができる。その結果、より信頼性の高い入力がより重く加重されているので、出力位置データ96は、装置のより信頼性の高い位置推定値を提供することができる。
【0083】
別の例として、視覚に基づく位置推定102、位置センサに基づく位置推定104、および/またはロボットシステムに基づく位置推定106の1つ以上に対する重み係数は、位置データ96の決定に対するそれらの入力される推定の1つまたは複数の寄与度を排除するために、ゼロに設定されてもよい。
【0084】
位置推定器モジュール108(および/または、視覚ベースのモジュール101、位置センサベースのモジュール103、および/またはロボットベースのモジュール105などの、位置決めシステム90の他の構成要素)は、視覚ベースの位置推定102、位置センサベースの位置推定104、および/またはロボットベースの位置推定106のそれぞれに対する重み係数を特定するように構成されてもよい。一般に、特定の入力される位置推定が信頼性がないと特定され、および/または特定の入力される位置推定が信頼性があると特定されたときに、重み係数が減少されてもよい。
【0085】
本明細書に説明するロボット対応医療システムのいくつかの利点は、システムが、複数種類の入力データ(例えば、視覚データ92、位置センサデータ93、および/またはロボットデータ94)を処理して、複数の位置推定(例えば、視覚ベースの位置推定102、位置センサベースの位置推定104、および/または、ロボットベースの位置推定106)を生成し、システムが、器具の位置推定(例えば、位置データ96)を特定するために(例えば、重み係数に従って)結合される位置確認システム90を有することである。これは、(ある場合またはある状況において)特定のデータ入力の信頼性が低いと判断されたときに、最終的に特定された位置推定に対するそのデータ入力の寄与度が低減または排除される点で有利な場合がある。
【0086】
また、本明細書に説明するシステムは、複数のデータ入力および入力位置推定があるために、これらを互いに比較して、種々のデータ入力および位置推定の信頼性および精度を特定することができる点で有利な場合がある。以下に説明するように、複数のデータ入力と入力位置推定との比較を使用して、重み係数を特定または設定することができる。これにより、医療手技中の器具のナビゲーションおよび追跡を改善することができる、器具の最終的に決定された位置推定がさらに改善される。
【0087】
本開示の残りの部分では、入力データまたは入力位置推定の比較によって、どのように器具の位置が推定され、改善されるかについて説明する。説明の便宜上、器具の座屈状態および器具のヒステリシス状態の特定の事例を例として説明する。他の使用例にも適用可能である。
【0088】
(A.器具の座屈状態の例)
このセクションでは、機器の座屈について説明し、器具位置推定値が、様々な入力データまたは入力位置推定値の比較と共に決定または改善され得る第1の例を提供する。
【0089】
図17Aは、座屈状態が生じている医療器具100の一例を示す。器具100は、例えば、内視鏡13(図1)、尿管鏡32(図3)、器具34(図4)、尿管鏡56(図8)、腹腔鏡59(図9)、器具70(図13)、または上述の器具86(図14)、または器具200(図19を参照して以下に説明)のような本明細書で説明する任意の他の医療器具であってもよい。図17Aに示すように、器具100は、近位端114と遠位端115との間に延びる細長いシャフト113を有する。近位端114は、ロボットアームのような器具位置決め装置111の器具ドライバに接続することができる。上記の通り、器具位置決め装置111は、器具100を移動して患者に対して挿入または後退させることができる。また、器具位置決め装置111は、器具100を関節動作(例えば、形状または姿勢を制御する)させるように構成することもできる。説明を容易にするために、患者の解剖学的構造が、細長いシャフト113の一部(遠位端115を含む)が患者の内側に位置決めされ、細長いシャフト113の別の部分(近位端114を含む)が患者の外側に位置決めされ、器具位置決め装置111が患者の外側に位置決めされるという一般的な描写以外のものを示していない。しかしながら、患者の内部では、細長いシャフト113は、器具100が挿入される患者の解剖学的構造の一般的形状に従うことができてよい。
【0090】
座屈状態を示すために、図17Aでは、器具100の第1の状態が実線で示され、器具100の第2の状態が破線で示されている。第2の状態(破線)では、器具100は、座屈している(すなわち、座屈状態が生じた)。図に示すように、器具位置決め装置111は、第1の状態から第2の状態に移動すると、第1の距離D1を前進する。器具位置決め装置111に取り付けられている器具100の細長いシャフト113の近位端114も、距離D1を前進する。しかしながら、細長いシャフト113の遠位端115は、距離D1より短い距離D2を前進する。図に示すように、細長いシャフト113は、座屈、湾曲、曲げ、たわみ、または他の状態により意図しない方法で変形し、その結果、器具100は、図17Aの破線で示すような座屈状態が生じる。
【0091】
座屈は、例えば、器具100が患者内を前進するときに生じることがある。器具位置決め装置111は、器具100を患者内で距離D1を前進させることができる。一般に、座屈が生じていなければ、器具100の遠位端115は、距離D1を前進すると期待される。しかしながら、場合によっては、遠位先端115が患者の解剖学的構造内で挟まったりブロックされたりして、遠位先端115が距離D1より短い距離D2だけ前進することがある。また、場合によっては、遠位端115は、距離D2がゼロとなり全く前進できないことがある。遠位端115が挟まったりブロックされたりすると、器具が座屈し、細長いシャフト113が意図しない方法で変形(例えば、座屈、湾曲、湾曲、または他の方法で変形)する。
【0092】
図17Aは、細長いシャフト113が第1の状態(実線)で全体としてまっすぐな状態と、細長いシャフト113が第2のまたは座屈状態(破線)で緩やかに湾曲した状態を示すが、一般に、細長いシャフト113は、体内に配置されたときに患者の解剖学的構造に沿って延伸し、座屈は、細長いシャフト113の任意の数の変形によって発生する可能性があることを理解されたい。細長いシャフト113によって形成される形状にかかわらず、遠位端115における動きD2が、例えば近位端114における動きD1に基づく遠位端115の予期される動きよりも小さくなる場合に、座屈状態が発生する。
【0093】
器具100を有するロボット対応医療システムは、例えば、器具100の遠位端115
の位置推定を提供するように構成することができる。システムは、上記の位置決めシステム90(例えば、図15および図16)を有することができる。上記の通り、位置決めシステム90は、位置推定を決定するために、複数種類の入力データを処理し、組み合わせる。
【0094】
器具位置決め装置111の移動は、ロボットデータ94を生成することができ、あるいはロボットデータ94に基づくことができる。例えば、ロボットデータ94は、器具100が距離D1を前進したことを示す。ロボットベースのモジュール105は、ロボットデータ94を処理して、ロボットベースの位置推定106を提供することができ、これは、器具100の遠位端115が、以前の位置から距離D1を前進したことを示す。しかしながら、図17Aに示すように、遠位端115は、器具100が座屈したため、距離D2(距離D1ではない)を前進するに留まる。
【0095】
位置確認システム90は、位置センサから位置センサデータ93を入力として受信することができる。この例では、位置センサは、細長いシャフト113の遠位端115に配置されてもよい。器具100が第1の状態(実線)から第2の状態(破線)に移動すると、位置センサ(遠位先端115に位置決めされる)は、位置センサデータ93を位置決めシステム90に提供することができる。位置センサベースのモジュール103は、位置センサデータ93を処理して、遠位端115が距離D2を前進したことを示す位置センサベースの位置推定104を提供することができる。
【0096】
位置確認システム90は、ロボットベースの位置推定106と位置センサベースの位置推定104とを比較して、それぞれについての重み係数を特定することができる。この例では、位置確認システム90は、ロボットベースの位置推定106によって示される移動が、D1とD2の差によって位置センサベースの位置推定104によって示される移動を超えると判断することができる。位置確認システム90は、この差から、座屈状態が発生したことを認識するように構成されてもよく、それに応じて、ロボットベースの位置推定106に対する重み係数を減少させ、および/または位置センサベースの位置推定104に対する重み係数を増加させてもよい。そして、位置決めシステム90は、特定された重み係数に従って、位置センサベースの位置推定104をロボットベースの位置推定106と組み合わせて、位置データ96として、機器100に対する位置推定を提供および出力することができる。位置確認システム90は、(ロボットベースの位置推定106と位置センサベースの位置推定104とを比較することによって)器具100が座屈したと判断し、それに応じて重み係数を調整することにより、位置データ96としての推定位置出力の精度を向上させることができる。
【0097】
同様の比較を、視覚ベースの位置推定102と位置センサベースの位置推定104および/またはロボットベースの位置推定106との間で行なうことで、座屈を検出し、より高い精度で位置推定を提供することもできる。これらの比較については、以下に、器具のヒステリシス状態の例の説明に続いて詳細に説明する。
【0098】
(B.器具のヒステリシス状態)
器具のヒステリシスは、器具位置の推定が、種々の入力データまたは入力位置推定値の比較によって特定または改善され得ることを示す別の例である。本明細書の説明では、用語「ヒステリシス」は、医療器具に生じ得る特定のクラスのヒステリシス状態を指すことを理解されたい。この特定のクラスのヒステリシスは、医療器具が変形形状から自然状態に戻るか、または自然状態へ移る状態と関連する。非常に具体的な例は、医療器具が座屈状態から座屈していない状態(または座屈が小さい状態)に戻る場合である。ここでは、この種のヒステリシス状態の例について説明する。
【0099】
図17Bは、一種のヒステリシス状態が生じた医療器具100の一例を示す。上記の通り、器具100は、例えば、内視鏡13(図1)、尿管鏡32(図3)、器具34(図4)、尿管鏡56(図8)、腹腔鏡59(図9)、器具70(図13)、または上述の器具86(図14)、または、以下に説明する器具200(図19)のような本明細書で説明する任意の他の医療器具であってもよい。
【0100】
図17Bでは、器具100の第1の状態を実線で示し、器具100の第2の状態を破線で示す。第2の状態(破線)では、器具100にヒステリシスが生じている。図に示すように、第1の状態(実線)では、器具100の細長いシャフト113は、座屈、湾曲、屈曲、または偏向位置にある。第1の状態から第2の状態へ移ると、器具位置決め装置111は第1の距離D1を前進する。器具位置決め装置111に取り付けられている器具100の細長いシャフト113の近位端114も、距離D1を前進する。ヒステリシスのいくつかの例では、器具位置決め装置111および近位端114が全く前進しないことがある(すなわち、距離D1がゼロとなる場合がある)。
【0101】
しかしながら、器具100にヒステリシスが生じると、細長いシャフト113の遠位端115は距離D1より長い距離D2を前進する。これは、器具の座屈、湾曲、曲、または偏向した細長いシャフト113が、より延伸した位置に緩むことで発生し得る。また、ヒステリシスは、患者の解剖学的構造上で挟まったりブロックされたりした器具113が突然自由になった場合にも発生しうる。これらの両方の場合において、遠位端115は、近位端114および器具位置決め装置111によって前進させられる距離D1よりも長い距離D2を前進する。
【0102】
再び図17Bを参照すると、第1の状態(実線)で、かつ第2の状態(破線)で穏やかに直線的に配置された細長いシャフト113を示すが、一般に、細長いシャフト113は、体内に配置されると患者の解剖学的構造に沿って移動し、ヒステリシスは、細長いシャフト113の任意の数の位置で生じうることを理解されたい。細長いシャフト113によって形成される形状にかかわらず、遠位端115における動きD2が、例えば近位端114における動きD1に基づく遠位端115の予期される動きよりも大きい場合にヒステリシス状態が発生する。
【0103】
位置決めシステム90に関して、ヒステリシス状態では、器具位置決め装置111の移動によってロボットデータ94を生成することができる。ロボットデータ94は、器具100が距離D1を前進したことを示すことができる。ロボットベースのモジュール105は、ロボットデータ94を処理して、ロボットベースの位置推定106を提供することができ、これは、器具100の遠位端115が、以前の位置から距離D1を前進したことを示す。しかしながら、図17Bに示すように、器具100にはヒステリシスが発生しているため、遠位端115は距離D2を前進する。
【0104】
器具100が第1の状態(実線)から第2の状態(破線)に移ると、位置センサ(遠位端115に配置される)は、位置センサデータ93を位置確認システム90に提供することができる。位置センサベースのモジュール103は、位置センサデータ93を処理して、遠位端115が距離D2を前進したことを示す位置センサベースの位置推定104を提供することができる。
【0105】
位置確認システム90は、ロボットベースの位置推定106と位置センサベースの位置推定104とを比較して、それぞれについての重み係数を特定することができる。この例では、位置確認システム90は、位置センサに基づく位置推定104によって示される移動が、D1とD2との差によりロボットに基づく位置推定106によって示される移動を超えると判断することができる。位置決めシステム90は、ヒステリシス状態が発生した
ことをこの差から認識し、それに応じて、ロボットベースの位置推定106に対する重み係数を減少させ、位置センサベースの位置推定104に対する重み係数を増加させるように構成されてもよい。そして、位置決めシステム90は、ロボットベースの位置推定106と、特定された重み係数に従って位置センサベースの位置推定104とを組み合わせて、位置データ96として、器具対する位置推定を特定して出力することができる。位置確認システム90は、器具100が(ロボットベースの位置推定106と位置センサベースの位置推定104とを比較することによって)ヒステリシス状態が発生したと判断し、それに応じて、重み係数を調整することにより、位置データ96として推定された位置出力の精度を向上させることができる。
【0106】
同様の比較を、視覚ベースの位置推定102と位置センサベースの位置推定104および/またはロボットベースの位置推定106との間で行うことで、ヒステリシスを検出し、より高い精度で位置推定を提供することもできる。これらの比較については、以下により詳細に説明する。
【0107】
(C.入力データの比較による器具位置の判定方法の例)
図18Aは、ロボットデータ94と位置センサデータ93との比較に基づいて、医療器具100に対する位置推定の精度を特定又は改善するための例示的な方法200を示すフローチャートである。方法200は、図1~15などに示されているロボットシステムのような、特定のロボットシステムに実装されてもよい。方法200は、図15および16の位置決めシステム90内またはそれによって実施することができる。いくつかの実施形態では、1つ以上の計算装置は、方法200を実行するように構成することができる。計算装置は、上述した1つ以上の構成要素において、プロセッサ(またはプロセッサ)およびコンピュータ可読メモリによって実施されてもよい。コンピュータ可読メモリは、方法200を実行するためにプロセッサによって実行可能な命令を記憶してもよい。命令は、1つ以上のソフトウェアモジュールを含むことができる。限定ではなく例示として、計算装置は、図1に示されるタワー30、図1~4に示すカート、図5~10に示すベッドにあってもよい。
【0108】
図18Aに示す方法200は、ブロック201から開始する。ブロック201では、器具の物理的操作に関するロボットデータ(例えば、ロボットデータ94)に基づいて、器具に対する第1の動作推定が取得される。上記の通り、ロボットデータ94は、器具100または器具の一部(例えば、遠位端115)の物理的な動きに関連するデータを含む。ロボットデータ94の一例として、特定の解剖学的部位に到達するか、および/または向きを変更するように遠位端115に指示するコマンドデータを含む(例えば、特定のピッチ、ロール、ヨー、挿入、および/または収縮)。ロボットデータ94は、器具100の細長いシャフト113の機械的な動き、例えば、1つ以上のプルワイヤ又はテンドンの動きを示すデータを含み、実際の動作を駆動したり、医療器具100の姿勢を制御したりすることができる。ロボットデータ94は、上記のロボットアームなど、器具位置決め装置111のうちの1つまたは複数の移動に関するデータを含む。ロボットデータ94から位置又は移動(位置の変化)を特定することができる。
【0109】
動き推定は、器具100の移動の推定を含む。動き推定は、一定の間隔で特定することができる。一部の実装では、この間隔は時間間隔である。例えば、ブロック201では、方法200は、ロボットデータ94に基づいて、約0.1秒、0.2秒、0.25秒、0.5秒、0.75秒、1秒、1.5秒、2秒、または5秒などの時間間隔における位置変化についての推定を特定することを含む。これらの例示の間隔よりも短いあるいは長い、他の時間間隔が用いられてもよい。
【0110】
一部の実装では、この間隔は距離間隔である。例えば、ブロック201において、方法
200は、約0.1mm、0.2mm、0.25mm、0.5mm、0.75mm、1mm、1.5mm、1.5mm、2mm、5mm、10mm、15mm、20mm、25mm、30mm、35mm、40mm、45mm、または50mmなどの距離間隔における位置変化について、ロボットデータ94に基づいて推定を特定することができる。これらの例示の間隔よりも短いあるいは長い、他の距離間隔が用いられてもよい。距離間隔は、器具位置決め装置111、細長いシャフト113の近位端114、および/または細長いシャフト113の遠位端115が移動する距離、指令された挿入距離、器具100の指令された移動距離、計測された挿入距離、器具100の測定された移動距離、視覚ベースのモジュール101、位置センサベースのモジュール103、ロボットベースのモジュール105、および/または位置推定器のモジュール108などによって特定される器具100の推定移動距離を表すことができる。
【0111】
いくつかの実装では、この間隔はローリングウィンドウ(Rolling Window)またはフレームである。この間隔は、ローリングウィンドウまたは時間または距離の基準系であってもよく、現在の時点の直前の時間または距離のウィンドウにわたって、器具100の運動推定を提供する。例えば、各時点において、ブロック201は、各時点の直前の時間間隔における位置の変化を表す新たな運動推定を特定することもできる。
【0112】
いくつかの実装において、ブロック201は、1つ以上の他のデータ入力と併せてロボットデータ91から運動推定を取得ことを含む。例えば、動作推定は、例えば、ロボットデータ91および術前モデルデータ94の一方または両方を使用してブロック201で特定することができる。
【0113】
ブロック203では、少なくとも1つの位置センサから受信した位置センサデータ(例えば、位置センサデータ93)に基づいて、第2の動作推定を取得する。上記の通り、位置センサデータ93は、1つまたは複数の位置センサから受信することができる。いくつかの実施形態では、位置センサは、器具100上、例えば器具100の遠位端114上に配置される。位置センサの位置は、座標系に関する位置センサデータ93から導出することができる。位置センサの座標系は、術前モデルの座標系に位置合わせすることができ、これにより、位置を術前モデルに対して特定することができる。
【0114】
位置センサは、位置を決定するための任意の種類のセンサであってよい。例えば、位置センサは、上記の電磁センサであってもよい。電磁センサ、位置センサデータ93を提供することができ、そこから、電磁センサの位置は、電磁場発生器によって生成される電磁場に対して導出され得る。別の例では、位置センサは、装置上に配置された電磁場発生器であってもよく、電磁場発生器の位置は、患者の体外に配置された電磁センサに対応して決められてもよい。
【0115】
他の例では、位置センサは、形状感知ファイバ、加速度計、ジャイロスコープ、および/または超音波センサであってもよい。別の例では、位置センサは画像処理装置であってもよい。撮像素子は、装置上に配置されてもよい。撮像素子の出力(例えば、画像またはビデオ)は、位置情報を決定するために分析され得る。
【0116】
動き推定は、位置センサデータ93を一定の間隔で分析することによって、位置センサデータ93から取得してもよい。いくつかの実装では、この間隔は、上記の時間間隔または距離間隔であってもよい。また、この間隔は、ローリング間隔またはフレームであってもよい。
【0117】
いくつかの実施形態では、位置センサデータ93から動き推定を取得するために使用される間隔は、ロボットデータ94から動き推定を取得するために使用される間隔と同じ間
隔であってもよい。例えば、ブロック203で使用される間隔は、ブロック201で使用される間隔と一致させることができる。
【0118】
いくつかの実施形態では、ブロック201およびブロック203の順番を変えてもよい。いくつかの実施形態では、ブロック201およびブロック203は、実質的に同時に行われてもよい。
【0119】
ブロック205において、方法200は、第1の動き推定と第2の動き推定との比較に基づいて動き推定を決定することを含む。動き推定は、ブロック201でのロボットデータ94から得られた動き推定とブロック203での位置センサデータ93から得られた動き推定との間の差を表すか、または示すことができる。いくつかの実装形態では、動き推定の不一致度を決定することは、ブロック201においてロボットデータ94から取得する動き推定とブロック203において位置センサデータ93から取得する動き推定との間の差を求めることを含む。いくつかの実施形態では、動き推定の不一致度を特定することは、(上記間隔において)ロボットデータ94から取得する最終位置と、(上記間隔において)位置センサデータ93から取得する最終位置との間の差を求めることを含む。
【0120】
ブロック207において、方法207は、動き推定の不一致度に基づいて、(a)ロボットデータ(例えば、ロボットデータ94)から導出可能な位置に対する重み係数、および/または(b)位置センサデータ(例えば、位置センサデータ93)から導出可能な位置に対する重み係数、を更新するステップを含む。上記の通り、位置決めシステム90は、異なる種類の入力データから推定された位置を組み合わせる際に、重み係数を使用することができる。
【0121】
例えば、ブロック207は、動き推定の不一致度が、ロボットデータ94(ブロック201)に基づく動き推定が位置センサデータ93(ブロック203)に基づく動き推定よりも大きいことを示す場合に、ロボットデータ94から導出可能な位置の重み係数を減少させること、および/または位置センサデータ93から導出可能な位置の重み係数を増加させることを含むことができる。位置センサデータ93に基づく動き推定よりもロボットデータ94に基づく動き推定が大きくなることは、器具100に座屈状態が発生したことを示すことができる。例えば、図17Aに示すように、器具100の器具位置決め装置111および近位端114が器具100の遠位端115よりも長い距離を移動するときに、座屈が生じ得る。この場合、ロボットデータ94に基づく動き推定が位置センサデータ93に基づく動き推定よりも大きくなるため、動き推定の不一致度が座屈を示す。ブロック207は、ロボットデータ94から導出可能な位置に対する重み係数を減少させること、および/または位置センサデータ93から導出可能な位置に対する重み係数を増加させることを含む。その結果、位置確認システム90は、位置センサデータ93からより多く位置データ96を出力し、ロボットデータ94からより少ない位置データ96を出力する。これにより、器具100の位置のより正確な推定が得られる。
【0122】
別の例として、ブロック207は、位置センサデータ93(ブロック203)に基づく動き推定がロボットデータ94(ブロック201)に基づく動き推定よりも大きいことを動き推定の不一致度が示す場合に、ロボットデータ94から導出可能な位置の重み係数を減少させること、および/または位置センサデータ93から導出可能な位置の重み係数を増加させることを含むことができる。位置センサデータ93に基づく動き推定がロボットデータ94に基づく動き推定よりも大きいことは、器具100にヒステリシス状態が発生したことを示すことができる。例えば、図17Bに示すように、ヒステリシスは、器具100の遠位端115が、器具位置決め装置111および器具100の近位端114よりも長い距離を移動すると発生し得る。この場合には、位置センサデータ93に基づく動き推定がロボットデータ94に基づく動き推定よりも大きくなるため、動き推定の不一致度が
ヒステリシスを示す。ブロック207は、ロボットデータ94から導出可能な位置に対する重み係数を減少させること、および/または位置センサデータ93から導出可能な位置に対する重み係数を増加させることを含むことができる。その結果、位置確認システム90は、位置センサデータ93からより多く位置データ96を出力し、ロボットデータ94からより少ない位置データ96を出力する。これにより、器具100の位置のより正確な推定が得られる。
【0123】
いくつかの実施形態では、ロボットデータ94から導出可能な位置に対する重み係数が減少され、および/または位置センサデータ93から導出可能な位置に対する重み係数が、動き推定の大きさに関連する方法で増加される。例えば、動き推定の不一致度が大きいほど、それぞれの重み係数の増加および/または減少が大きくなる。いくつかの実施形態では、重み係数は、動き推定の大きさに比例して増加および/または減少される。
【0124】
いくつかの実施形態では、重み係数は、動き推定の不一致度が閾値を超える場合にのみ更新される。例えば、動き推定の不一致度が閾値よりも大きいことは、座屈状態またはヒステリシス状態を示すことができる。閾値は、約5mm、10mm、15mm、20mm、25mm、30mm、35mm、40mm、45mm、50mm、55mm、または60mmなどの距離であってもよい。閾値の距離として、ここに挙げた例よりも短いあるいは長い他の距離が用いられてよい。
【0125】
いくつかの実施形態では、重み係数の減少することには、関連する入力データが位置決めシステム90から出力される位置データ96を決定する際に使用されないように、重み係数をゼロに設定することが含まれる。例えば、いくつかの実装において、ブロック207は、ロボットデータ94から取得される位置の重み係数をゼロに更新することを含むことができる。すなわち、いくつかの実装形態において、動き推定の不一致度が座屈またはヒステリシスを示す場合、ロボットデータ94から導出可能な位置の重み係数がゼロに設定され、ロボットデータ94は、器具100の最終位置の推定を特定するために使用されなくなる。
【0126】
ブロック209において、更新された重み係数に基づく位置推定が特定される。上記の通り、位置推定は、位置データ96として、位置決めシステム90から出力されてもよい。位置決めシステム90は、入力データ91~94のうちの1つ以上に基づいて位置推定を特定し、関連する重み係数に従って各入力データの寄与度を重み付ける。したがって、方法200は、例えば、器具100に座屈状態またはヒステリシス状態が発生した場合に、ロボットデータ94の寄与度を減少させ、および/または位置センサデータ93の寄与度を増加させることによって、装置のための改善された推定位置を提供することができる。
【0127】
いくつかの実施形態では、方法200はまた、器具100にヒステリシス状態または座屈状態が発生したことを示す表示または警告を提供することを含むことができる。例えば、動き推定の不一致度がヒステリシスまたは座屈を示す場合、その通知(例えば、視覚的または聴覚的な警告)を医師に提供することができる。別の例では、ヒステリシス状態または座屈状態の検出時に、方法200は、器具100の移動(または移動の修正)を行うことができる。例えば、システムは、器具のモーメントを緩和または低減することができる。場合によっては、実行されるアクションは、少なくとも部分的に、動き推定の不一致度の程度に依存する。例えば、動き推定の不一致度がある閾値を下回る場合は、システムは警告を提供することができ、動き推定の不一致度がある閾値を超える場合は、システムは、器具のモーメントを緩和または低減することができる。
【0128】
推定距離を計算するいくつかの追加の詳細は、残りの開示を進める前に、現在議論され
ている。上記の通り、距離のローリングウィンドウを使用して、センサ位置(例えば、位置センサデータ93)およびロボットコマンド(例えば、ロボットデータ94)から特定される動き推定の変化を比較してもよい。ローリングウィンドウは、センサ位置SLから求められる動きとロボットデータRDから求められる動きとのペアとして不一致度を記憶するデータ構成とすることができ、所定の点tについて、SLtとRDtの差分を求めることにより、不一致度を算出することができる。別の実施形態では、不一致度を導出するために使用することができるデータを格納せずに、ローリングウィンドウが、各時点tについて、単純に不一致度を含む。ローリングウィンドウに値を格納するために使用されるデータ構造は、アレイ、多次元アレイ、ルックアップテーブル、または任意の他の適切なデータ構造が含まれる。
【0129】
本明細書における説明の大部分は、ロボットデータおよびセンサ位置から特定される動き間の不一致度の比較に焦点を当てている。しかし、このアプローチだけでは偽陽性の結果となる可能性がある。このようなことは、器具が関節動作(例えば、フレキシブル装置内での角度動作、または手首構造を介しての角度動作)するように命令される場合であり、これは、ロボットデータに移動データがない結果となるが、位置センサにおける何らかの動きをもたらすことになる。このような偽陽性を回避するために、ロボットデータが関節動作コマンドが実行されたことを示す場合は、システムが不一致度の履歴を追跡するために使用するウィンドウ(またはウィンドウ)を再度初期化することができる。システムは、値のウィンドウを格納するために使用するデータ構造をゼロアウトすることによって、ウィンドウを再度初期化してもよい。ウィンドウを初期化すると、データが失われ、ひいては座屈を検出することができなくなることがあるため、システムは、関節動作コマンドがある角度を超える場合にのみウィンドウを初期化するために関節動作の閾値を用いることができる。これにより、偽陽性を引き起こす影響が大きい可能性のある大きな関節動作の再度の初期化が制限される。
【0130】
図18Bは、視覚データ92と位置センサデータ93との比較に基づいて、医療器具100の位置推定を特定するための例示的な方法220を示すフローチャートである。方法220は、図1~15などに示すロボットシステムのような、特定のロボットシステムに実装することができる。方法220は、図15および図16の位置決めシステム90内または位置決めシステム90によって実施することができる。いくつかの実施形態では、1つ以上の計算装置は、方法200を実行するように構成することができる。計算装置は、上述した1つ以上の構成要素において、プロセッサ(またはプロセッサ)およびコンピュータ可読メモリによって実装されてもよい。コンピュータ可読メモリは、方法220を実行するためにプロセッサによって実行可能な命令を記憶してもよい。命令は、一1以上のソフトウェアモジュールを含むことができる。限定ではなく例示として、計算装置は、図1に示すタワー30内、図1~4に示すカート内、図5~10に示すベッド内などに設けることができる。
【0131】
方法220は、ブロック221から開始する。ブロック221では、視覚データ92に基づいて動き推定が得られる。上記の通り、画像処理装置から視覚データ92を受信することができる。画像処理装置は、器具100上に配置されてもよい。視覚データ92は、画像またはビデオを含むことができる。視覚データ92は、種々の方法で位置推定を特定するために使用されてもよい。例えば、視覚データ92のオブジェクトベースの分析は、位置を特定するために、分岐開口や粒子などの視覚データ92の視野に存在する物体を検出および分析することができる。いくつかの実装において、視覚データ92は、1つ以上の他のデータ入力と併せて分析される。例えば、視力データ92を、ロボットデータ94の一方または両方および術前モデルデータ91と併せて分析して、視覚に基づく位置推定を特定することができる。
【0132】
ブロック221において、視覚に基づく動き推定は、視覚データ92から導出された位置推定に基づいて特定されてもよい。例えば、所定の間隔にわたる位置の変化を特定することができる。いくつかの実装では、この間隔は、上記の通り時間間隔または距離間隔であってもよい。また、この間隔は、ローリング間隔またはフレームであってもよい。
【0133】
ブロック223では、位置センサデータ93に基づいて動き推定が得られる。ブロック223は、前述したブロック203と実質的に類似していてもよい。いくつかの実施形態では、位置センサデータ93に基づいて得られる動き推定は、視覚データ92に基づく動き推定と同じ間隔にわたって特定される。例えば、ブロック203で使用される間隔は、ブロック201で使用される間隔と一致させることができる。
【0134】
いくつかの実施形態では、ブロック221およびブロック223の順番を変えてもよい。いくつかの実施形態では、ブロック221およびブロック223は、実質的に同時に行われてもよい。
【0135】
ブロック225において、方法220は、動き推定の不一致度を特定することを含む。動き推定の不一致度は、ブロック221において視覚データ92から得られた動き推定とブロック223において位置センサデータ93から得られた動き推定との間の差を表していてもよく、又は示唆していてもよい。動き推定の不一致度は、上述のように特定することができる。
【0136】
ブロック227において、方法227は、視覚データ92から導出可能な位置に対する重み係数、および/または位置センサデータ93から導出可能な重み係数を更新するステップを含む。例えば、ブロック227は、その場合、動き推定の不一致度が、視覚データ92(ブロック221)に基づく動き推定が、位置センサデータ93(ブロック223)に基づく動き推定よりも大きいことを示す場合に、視覚データ92から導出可能な位置に対する重み係数を減少させること、および/または、位置センサデータ93から導出可能な位置に対する重み係数を増加させることができる。視覚データ92に基づく動き推定が位置センサデータ93に基づく動き推定よりも大きくなることは、器具100に座屈状態が発生したことを示す(図17A)。この場合には、視覚データ92に基づく動き推定が位置センサデータ93に基づく動き推定よりも大きくなるため、動き推定の不一致度が座屈を示す。したがって、ブロック207は、視覚データ92から導出可能な位置に対する重み係数を減少させること、および/または位置センサデータ93から導出可能な位置に対する重み係数を増加させることを含むことができる。これにより、位置確認システム90は、位置センサデータ93からより多く位置データ96を出力し、視覚データ92からより少ない位置データ96を出力することになる。これにより、器具100の位置のより正確な推定が得られる。
【0137】
別の例として、ブロック227は、動き推定の不一致度が、位置センサデータ93(ブロック223)に基づく動き推定が視覚データ92(ブロック221)に基づく動き推定よりも大きいことを示す場合に、視覚データ92から導出可能な位置に対する重み係数を減少させること、および/または位置センサデータ93から導出可能な位置に対する重み係数を増加させることを含むことができる。位置センサデータ93に基づく動き推定がロボットデータ94に基づく動き推定よりも大きくなることは、器具100にヒステリシス状態が発生したことを示すことができる(図17B)。この場合、位置センサデータ93に基づく動き推定が視覚データ92に基づく動き推定よりも大きくなるため、動き推定の不一致度がヒステリシスを示す。したがって、ブロック227は、視覚データ92から導出可能な位置に対する重み係数を減少させること、および/または位置センサデータ93から導出可能な位置に対する重み係数を増加させることを含むことができる。その結果、位置確認システム90は、位置センサデータ93からより多く位置データ96を出力し、
視覚データ92からより少ない位置データ96を出力する。これにより、器具100の位置のより正確な推定が得られる。
【0138】
視覚データ92から導出可能な位置に対する重み係数は、減少させることができ、および/または、位置センサデータ93から導出可能な位置に対する重み係数は、方法200のブロック207に関して説明した方法と同様の方法で増加させることができる。
【0139】
ブロック229において、更新された重み係数に基づく位置推定が特定される。上記の通り、位置推定は、位置データ96として、位置決めシステム90から出力されてもよい。位置決めシステム90は、入力データ91~94のうちの1つ以上に基づいて位置推定を特定し、関連する重み係数に従って各入力データの寄与度を重み付ける。したがって、方法220は、例えば、器具100に座屈状態またはヒステリシス状態が発生した場合に、視覚データ92の寄与度を低減すること、および/または位置センサデータ93の寄与度を増加させることによって、器具のための改善された推定位置を提供することができる。
【0140】
(D.入力データの比較による器具位置の判定システム例)
図19は、本明細書に説明する方法を用いて位置入力データの比較によって装置位置の推定を提供するように構成された、一実施形態またはロボット対応医療システム300を示すブロック図である。システム300は、プロセッサ310およびメモリ312を有する。メモリ312は、例えば、上記の方法200および/または220を実行するようにプロセッサ310を構成または指示する命令を記憶することができる。
【0141】
また、システム300は、器具302を含む。器具302は、例えば、内視鏡13(図1)、尿管鏡32(図3)、器具34(図4)、尿管鏡56(図8)、腹腔鏡59(図9)、器具70(図13)、器具86(図14)、上記の器具100、または本明細書で説明する他の任意の医療器具、またはそれらの変形例であってもよい。器具302は、位置センサ304および画像処理装置306を有してもよい。器具302は、器具位置決め装置308に取り付けられてもよく、器具302を操作し、移動させるように構成されてもよい。器具位置決め装置308は、ロボットアームまたはその構成要素であってもよい。器具位置決め装置308は、いくつかの実施形態において、プロセッサ310によって制御されてもよい。
【0142】
位置センサデータ316は、位置センサ304から受信され、および/または生成されてもよい。位置センサ304は、器具302上に配置されてもよい。位置センサは、形状感知ファイバ、加速度計、ジャイロスコープ、電磁センサ、画像処理装置、または超音波センサであってもよい。
【0143】
視覚データ318は、画像処理装置306から受信され、および/または生成されることができる。撮像素子306は、器具304上に配置されてもよい。撮像素子306は、受光を表すエネルギーを電気信号に変換するように構成された任意の感光性基板又は構造、例えば、電荷結合素子(CCD)又は相補型金属酸化膜半導体(CMOS)イメージセンサであってもよい。いくつかの例では、画像処理装置306は、1つ以上の光ファイバを有することができる。例えば、画像処理装置102は、器具300の遠位端から接眼レンズおよび/またはイメージセンサに画像を表す光を伝送するように構成された光ファイババンドルであってもよい。次いで、画像処理装置306によって取得された画像は、記憶または表示のために、個々のフレームまたは一連の連続フレーム(例えば、ビデオ)としてコンピュータシステムに送信され得る。画像処理装置306によって取得された画像は、器具100の推定位置を特定するために、位置決めシステム90によって視覚データ92として使用することができる。
【0144】
ロボットコマンド及び運動学データ320は、器具位置決め装置308から受信され、および/または生成されることができる。上記の通り、ロボットシステムコマンドおよび運動学データ320は、特定の解剖学的部位に到達するための、および/またはその向きを変更するための(例えば、特定のピッチ、ロール、ヨー、挿入、および/または収縮を伴う)データ命令対応器具300のような、器具300の物理的移動に関連するデータを含むことができる。ロボットコマンドおよび運動学データ320はまた、装置300の機械的移動を表すデータ、例えば実際の移動を駆動する、または装置300の姿勢を制御する1つ以上のプルワイヤまたはテンドンの動きに関連するデータを含むことができる。
【0145】
位置センサデータ316、視覚データ318、およびロボットデータ320は、プロセッサ310へのデータ入力として提供されてもよい。プロセッサ310は、本明細書で説明する方法を実行して、器具302の位置推定326に関する情報を特定して出力することができる。図示の実施形態では、位置推定326に関する情報がディスプレイ324に出力される。いくつかの実施形態では、位置推定326が記憶されてもよい。本明細書で説明する方法を実施することにより、器具300に座屈またはヒステリシスが生じた場合に、位置推定326の精度を高めることができる。
【0146】
(3.システムの実装および用語)
本明細書に開示される実施形態は、入力データの比較によって器具位置を特定するシステム、方法、装置を提供する。ここで説明する種々の実装により、管腔ネットワークのナビゲーションの向上が実現する。
【0147】
本明細書で使用される用語「結合する」、「結合する」、「結合される」、または単語対の他の変更は間接接続または直接接続のいずれかを示すことができ、例えば、第1の構成要素が第2の構成要素に「結合される」場合、第1の構成要素は、別の構成要素を介して第2の構成要素に間接的に接続されるか、または第2の構成要素に直接接続されることができることに留意されたい。
【0148】
本明細書で説明する特徴類似度計算、位置推定、およびロボット動作作動機能は、プロセッサ可読媒体またはコンピュータ可読媒体上に1つまたは複数の命令として格納することができる。用語「コンピュータ可読媒体」は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM(ランダムアクセスメモリ)、ROM(リードオンリメモリ)、EEPROM(電気的消去可能プログラマブルリードオンリメモリ)、フラッシュメモリ、CD-ROM(コンパクトディスクリードオンリ)または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の様式で所望のプログラムコードを格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意されたい。本明細書で使用されるように、用語「コード」は、計算装置またはプロセッサによって実行可能なソフトウェア、命令、コード、またはデータを指すことができる。
【0149】
本明細書で開示される方法は、説明される方法を達成するための1つまたは複数のステップまたはアクションを備える。方法のステップおよび/またはアクションは、代替形態の範囲から逸脱することなく、互いに交換することができる。言い換えれば、ステップまたはアクションの特定の命令が説明されている方法の適切な動作のために必要とされない限り、特定のステップおよび/またはアクションの命令および/または使用は、代替の範囲から逸脱することなく修正され得る。
【0150】
本明細書で使用される場合、用語「複数」は2つ以上を意味する。例えば、複数の構成要素は2つ以上の構成要素を示す。用語「特定すること」が多種多様なアクションを包含し、したがって、「特定すること」は計算すること、計算すること、処理すること、導出すること、調査すること、参照すること(例えば、テーブル、データベース、または別のデータ構造を参照すること)、確認することなどを含むことができ、「特定すること」は受信すること(例えば、情報を受信すること)、アクセスすること(例えば、メモリ内のデータにアクセスすること)などを含むことができる。また、「特定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含むことができる。
【0151】
「に基づく」という語句は特に断らない限り、「のみに基づく」という意味ではない。言い換えれば、「に基づく」という語句は、「のみに基づく」および「少なくともに基づく」の両方を表す。
【0152】
本明細書で使用される場合、用語「約」は長さ、厚さ、数量、時間、その他の計測値の計測範囲を意味する。この計測範囲には、指定された値に対する+10%~-10%あるいはそれ以下の変動、好ましくは+5%~-5%あるいはそれ以下の変動、より好ましくは+1%~-1%あるいはそれ以下の変動、さらに好ましくは+0.1%~-0.1%あるいはそれ以下の変動を含み、本明細書に記載する装置、システム、手法が機能する適切な程度においてこれらの変動が許容される。
【0153】
開示された実施形態の上記の説明は、当業者が本件開示を実現または使用することを可能にするために提供される。これらの実装に対する様々な修正は当業者には容易に明らかであり、本明細書で定義される一般的な原理は、本件開示の範囲から逸脱することなく、他の実装に適用することができる。例えば、当業者は、工具構成要素を固定、取り付け、結合、または係合する等価な方法、特定の作動運動を生成するための等価な機構、および電気エネルギーを送達するための等価な機構などの、いくつかの対応する代替的および等価な構造的詳細を採用することができることが理解されるのであろう。したがって、本件開示は、本明細書に示される実装に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17A
図17B
図18A
図18B
図19