(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-26
(45)【発行日】2024-02-05
(54)【発明の名称】可撓性器具挿入のための装置
(51)【国際特許分類】
A61B 34/30 20160101AFI20240129BHJP
A61B 1/00 20060101ALI20240129BHJP
【FI】
A61B34/30
A61B1/00 655
A61B1/00 552
A61B1/00 554
【外国語出願】
(21)【出願番号】P 2023061290
(22)【出願日】2023-04-05
(62)【分割の表示】P 2019534667の分割
【原出願日】2017-12-27
【審査請求日】2023-04-26
(32)【優先日】2016-12-28
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2016-12-28
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】518083032
【氏名又は名称】オーリス ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100088605
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ヌーナン,デイビッド ピー.
(72)【発明者】
【氏名】タナカ,ドン エー.
【審査官】和田 将彦
(56)【参考文献】
【文献】特表2015-505507(JP,A)
【文献】国際公開第2018/057633(WO,A1)
【文献】米国特許出願公開第2015/0297864(US,A1)
【文献】特開2014-134530(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 34/20 - 34/30
A61B 90/00
A61B 1/00
A61M 25/00
(57)【特許請求の範囲】
【請求項1】
ロボットシステム
を操作するためのコントローラ
の作動方法であって、前記ロボットシステムは、医療器具と、前記
医療器具に結合されたロボットアームとを含み、前記医療器具は長尺体を含み、前記
作動方法は、
前記コントローラが、前記医療器具上の第1のセンサからのセンサデータに少なくとも部分的に基づいた器具データを前記医療器具から受信することであって、前記センサデータは、前記長尺体の現在位置を示す、受信することと、
前記コントローラが、患者に関連付けられた患者データにアクセスすることであって、前記患者データは、前記医療器具の挿入前に前記患者に関連付けられた医療データに少なくとも部分的に基づく、アクセスすることと、
前記コントローラが、前記器具データおよび前記患者データのうちの少なくとも1つに基づいて挿入力閾値を決定することと、
前記コントローラが、前記ロボットアームに結合された第2のセンサ
から、前記ロボットアームによって前記
医療器具に加えられる挿入力を
示すデータを受信することと、
前記コントローラが、前記挿入力
が前記挿入力閾値を越えることを判定することと、
前記挿入力が前記挿入力閾値を超えたことに応答して、
前記コントローラが、前記長尺体が座屈したことを判定することと、
前記長尺体が座屈したという判定に応答して、前記長尺体の動きを制御するために、
前記コントローラが、前記ロボットアームに提供されるコマンドを調整することと、
を含む
作動方法。
【請求項2】
前記長尺体は、リーダおよびシースを有し、前記リーダは、前記シース内に入れ子式に配置され、前記長尺体の一部である、請求項1に記載の
作動方法。
【請求項3】
前記長尺体が、カテーテルおよび内視鏡のうちの少なくとも1つを有する、請求項1に記載の
作動方法。
【請求項4】
前記器具データが、前記長尺体と前記患者の内部の生体構造との間の摩擦力を含む、請求項1に記載の
作動方法。
【請求項5】
前記器具データは、前記長尺体の移動に関連付けられたパラメータを含み、前記パラメータは、
前記長尺体の
前記現在位置と、
前記長尺体の目標位置と、
前記長尺体の挿入長さと、
前記長尺体
の先端部の動きと、
のうちの少なくとも1つを含む、請求項1に記載の
作動方法。
【請求項6】
前記器具データが、前記長尺体の一部に関連付けられた力を含み、
前記力が、前記長尺体
の先端部と
前記患者内の組織の一部との間の接触相互作用力と、前記先端部の力とのうちの少なくとも1つを含む、請求項1に記載の
作動方法。
【請求項7】
前記第1のセンサは、前記患者内に位置する前記長尺体の一部に結合され
ている、請求項1に記載の
作動方法。
【請求項8】
前記第
1のセンサが、位置センサ、
および画像セン
サのうちの少なくとも1つを有する、請求項7に記載の
作動方法。
【請求項9】
前記長尺体は、リーダおよびシースを有し、
前記第
1のセンサが、
前記リーダの先端部付近の体積を覆う第1の領域、
前記患者内の前記長尺体の前記シースの遠位端から前記第1の領域の縁部までの範囲内の前記リーダの一部を覆う第2の領域、または、
前記リーダが延在する前記シースの前記遠位端、およびその遠位端に近位の前記シースの一部を覆う第3の領域、
のうちの1つに沿って位置する前記長尺体に沿った位置において、前記長尺体に結合されている、請求項7に記載の
作動方法。
【請求項10】
前記コントローラが、前記挿入力閾値を決定することは、前記器具データおよび
前記患者データに関連付けられた関数に基づく、請求項1に記載の
作動方法。
【請求項11】
前記コントローラが、前記挿入力閾値を決定することは、前記器具データおよび
前記患者データに関連付けられたルックアップデータに基づく、請求項1に記載の
作動方法。
【請求項12】
前記コントローラが、前記挿入力閾値を決定することは、測定基準を最適化することに基づく、請求項1に記載の
作動方法。
【請求項13】
前記コントローラが、前記挿入力閾値を決定することは、前記器具データおよび
前記患者データを用いた機械学習アルゴリズムに基づく、請求項1に記載の
作動方法。
【請求項14】
前記挿入力閾値があらかじめ決定され、ロボットの術前計画段階の一部として術前モデルの異なる部分にタグ付けされる、請求項1に記載の
作動方法。
【請求項15】
前記コントローラが、信号を
生成することをさらに含み、
前記コントローラが前
記信号を
生成することは、
前記挿入力が、あらかじめ決定された範囲内で前記挿入力閾値に近づくとき、
前記コントローラが、ユーザのための警告信号を
生成することと、
前記コントローラが、前記ユーザのための視覚的フィードバックを
生成することと、
前記コントローラが、前記ユーザのためのオーディオフィードバックを
生成することと、
前記コントローラが、前記長尺体を移動させるための
推奨コマンド
を生成することと、
のうちの少なくとも1つを含む、請求項1に記載の
作動方法。
【請求項16】
前記コントローラが、前記ユーザのための前記視覚的フィードバックを
生成することはさらに、前記挿入力が、あらかじめ決定された範囲内で前記挿入力閾値に近づくとき、
前記コントローラが、前記ユーザ
のための前記視覚的フィードバックを
生成することを含み、
前記コントローラが、前記ユーザのための前記オーディオフィードバックを
生成することはさらに、前記挿入力が、あらかじめ決定された範囲内で前記挿入力閾値に近づくとき、
前記コントローラが、前記ユーザ
のための前記オーディオフィードバックを
生成することを含む、請求項15に記載の
作動方法。
【請求項17】
ロボットシステムであって、
長尺体を有する医療器具と、
前記
医療器具に結合されたロボットアームと、
患者への前記
医療器具の挿入後に、前記
医療器具上の第1のセンサからのセンサデータに少なくとも部分的に基づいた器具データ
であって、前記センサデータは、前記長尺体の現在位置を示す、
前記器具データを前記医療器具から受信し、
前記患者に関連付けられた患者データ
であって、前記患者データは、前記医療器具の挿入前に前記患者に関連付けられた医療データに少なくとも部分的に基づく、
前記患者データにアクセスし、
前記器具データおよび前記患者データのうちの少なくとも1つに基づいて挿入力閾値を決定し、
前記ロボットアームに結合された第2のセンサによって検出された、前記ロボットアームによって前記
医療器具に加えられる挿入力を判定し、
前記挿入力が、前記挿入力閾値を越えることを判定し、
前記挿入力が前記挿入力閾値を超えたことに応答して、前記長尺体が座屈したことを判定し、
前記長尺体が座屈したという判定に応答して、前記長尺体の動きを制御するために、前記ロボットアームに提供されるコマンドを調整するように構成されたコントローラとを有する、ロボットシステム。
【請求項18】
前記器具データが、前記長尺体と前記患者の内部の生体構造との間の摩擦力を含む、請求項17に記載の
ロボットシステム。
【請求項19】
前記器具データは、前記
医療器具の移動に関連付けられたパラメータを含み、前記パラメータは、
前記長尺体の前記現在位置と、
前記長尺体の目標位置と、
前記長尺体の先端部の動きと
のうちの少なくとも1つを含む、請求項17に記載の
ロボットシステム。
【請求項20】
前記器具データが、前記長尺体の一部に関連付けられた力を含み、
前記力が、前記
長尺体の先端部と
前記患者内の組織の一部との間の接触相互作用力と、前記先端部の力とのうちの少なくとも1つを含む、請求項17に記載の
ロボットシステム。
【請求項21】
前記第1のセンサは、前記患者内に位置する前記長尺体の一部に結合されている、請求項17に記載の
ロボットシステム。
【請求項22】
前記第1のセンサが、位置センサ、
および画像セン
サのうちの少なくとも1つを有する、請求項21に記載の
ロボットシステム。
【請求項23】
前記長尺体は、リーダおよびシースを有し、
前記第1のセンサが、
前記リーダの先端部付近の体積を覆う第1の領域、
前記患者内の前記長尺体の前記シースの遠位端から前記第1の領域の縁部までの範囲内の前記リーダの一部を覆う第2の領域、または、
前記リーダが延在する前記シースの前記遠位端、およびその遠位端に近位の前記シースの一部を覆う第3の領域、
のうちの1つに沿って位置する前記長尺体に沿った位置において、前記長尺体に結合されている、請求項21に記載の
ロボットシステム。
【請求項24】
前記挿入力閾値の決定は、前記器具データおよび
前記患者データに関連付けられた関数に基づく、請求項17に記載の
ロボットシステム。
【請求項25】
前記挿入力閾値を決定することは、前記器具データおよび
前記患者データに関連付けられたルックアップデータに基づく、請求項17に記載の
ロボットシステム。
【請求項26】
前記挿入力閾値を決定することは、測定基準を最適化することに基づく、請求項17に記載の
ロボットシステム。
【請求項27】
前記挿入力閾値を決定することは、前記器具データおよび
前記患者データを用いた機械学習アルゴリズムに基づく、請求項17に記載の
ロボットシステム。
【請求項28】
前記挿入力閾値があらかじめ決定され、ロボットの術前計画段階の一部として術前モデルの異なる部分にタグ付けされる、請求項17に記載の
ロボットシステム。
【請求項29】
前記コントローラはさらに
、信号を
生成するように構成され、
前記コントローラが前
記信号を
生成することは、
前記挿入力が、あらかじめ決定された範囲内で前記挿入力閾値に近づいたことに応答して、
前記コントローラが、ユーザのための警告信号を
生成することと、
前記コントローラが、前記ユーザのための視覚的フィードバックを
生成することと、
前記コントローラが、前記ユーザのためのオーディオフィードバックを
生成することと、
前記コントローラが、前記長尺体を移動させるための
推奨コマン
ドを生成することと
のうちの少なくとも1つを含む、請求項17に記載の
ロボットシステム。
【請求項30】
前記ユーザのための前記視覚的フィードバックの
生成はさらに、前記挿入力が、前記あらかじめ決定された範囲内で前記挿入力閾値に近づいたことに応答して、前記ユーザ
のための前記視覚的フィードバックを
生成することを含み、
前記ユーザのための前記オーディオフィードバックの
生成はさらに、前記挿入力が、前記あらかじめ決定された範囲内で前記挿入力閾値に近づいたことに応答して、前記ユーザ
のための前記オーディオフィードバックを
生成することを含む、請求項29に記載の
ロボットシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照 本出願は、「DETECTING ENDOLUMENAL BUCKLING OF FLEXIBLE INSTRUMENTS」と題され2016年12月28日に出願された米国特許出願第15/392,917号と、「FLEXIBLE INSTRUMENT INSERTION USING AN ADAPTIVE INSERTION FORCE THRESHOLD」と題され2016年12月28日に出願された米国特許出願第15/392,868号とに対する優先権を主張する。これらのおのおのは、すべての目的のために全体が参照により本明細書に組み入れられる。
【0002】
本記載は、一般に、手術用ロボット工学に関し、特に、患者の生体構造的内腔内への手術用器具の挿入を制御することに関する。
【背景技術】
【0003】
ロボット技術には様々な用途がある。特に、ロボットアームは、人間が通常実行するであろうタスクを完成させることに役立つ。たとえば、工場では、ロボットアームを使用して、自動車や家電製品を製造している。さらに、科学施設は、マイクロプレートを輸送するなど、実験手順を自動化するためにロボットアームを使用する。最近、内科医および/または外科医は、手術手順の実行に役立てるためにロボットアームを使用し始めている。たとえば、内科医および/または外科医は、ロボットアームを使用して、内視鏡などの手術用器具を制御する。
【0004】
内視鏡は、低侵襲的な方式で手術手順を実行することができる。内視鏡は、肺または血管などの患者の目標位置に向けられる。ロボットアームは、患者の内腔内の目標位置へ向けて、内視鏡を、患者の開いたアクセスポイント、たとえば口、肛門、尿道に挿入するために力を加える。内視鏡が、患者の生体構造へより深く挿入されると、内視鏡は、挿入力が大きすぎると壊れやすく破れやすくなり得る内部の生体構造に対して、ブラッシングし、擦り、そして押し付ける可能性がある。 さらに、内視鏡が目標位置に移動する間、内視鏡は、典型的には、内視鏡の弛みまたは挿入の固着および患者の生体構造と接触することによる偶発的な力に応答して座屈することがある。内視鏡が座屈すると、内科医および/または外科医はスコープを押し続け、内視鏡を前進させるために、挿入力を通常のレベルを超えて増大させる。これは内視鏡の座屈部分が、望ましくない潜在エネルギーを蓄積する危険性を生み出す。これは患者の内腔/腔内で制御不可能な手法で巻き戻る、または内視鏡を損傷させる可能性がある。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示は、座屈を検出するために、可撓性器具の長尺体の1つまたは複数の部分に配置された1つまたは複数のセンサを有する可撓性器具について説明する。1つまたは複数のセンサは、同じ種類でも異なる種類でもよい。コマンドが長尺体に指示されると、1つまたは複数のセンサから捕捉されたセンサデータは、座屈が生じたか否かを判定するためのコマンドに応じて受信されると予想されるデータと比較される。
【0006】
本開示は、器具の座屈または患者への起こり得る損傷を回避するために、患者の内腔内での器具の挿入力を調節するための挿入力閾値の決定について説明する。挿入力閾値は、器具が手術部位に移動するとき、器具から捕捉されたリアルタイムデータ、および、患者に関連付けられるデータに基づいて動的に決定され得る。さらに、または、代わりに、挿入力閾値は、少なくとも部分的にあらかじめ決定され、術前モデルの異なる部分にタグ付けされ得る。
【0007】
他の態様には、方法、構成要素、デバイス、システム、改良、方法、プロセス、アプリケーション、コンピュータ可読媒体、および上記のいずれかに関連する他の技術が含まれる。
【図面の簡単な説明】
【0008】
【
図1-1】一実施形態による手術用ロボットシステムを例示する。
【0009】
【
図1-2】一実施形態による、
図1Aに図示される手術用ロボットシステムに結合されたロボットプラットフォームの様々な斜視図を図示する。
【
図1-3】一実施形態による、
図1Aに図示される手術用ロボットシステムに結合されたロボットプラットフォームの様々な斜視図を図示する。
【
図1-4】一実施形態による、
図1Aに図示される手術用ロボットシステムに結合されたロボットプラットフォームの様々な斜視図を図示する。
【
図1-5】一実施形態による、
図1Aに図示される手術用ロボットシステムに結合されたロボットプラットフォームの様々な斜視図を図示する。
【
図1-6】一実施形態による、
図1Aに図示される手術用ロボットシステムに結合されたロボットプラットフォームの様々な斜視図を図示する。
【0010】
【
図2】一実施形態による、手術用ロボットシステム用のコマンドコンソールを例示する。
【0011】
【
図3-1】一実施形態による、内視鏡の多数の運動度を例示する。
【0012】
【
図3-2】一実施形態による、内視鏡の上面図である。
【0013】
【
図3-3】一実施形態による、内視鏡のリーダの断面等角図である。
【0014】
【
図4-1】一実施形態による、手術用ロボットシステムの器具デバイスマニピュレータの等角図である。
【0015】
【
図4-2】一実施形態による、
図4Aに図示された器具デバイスマニピュレータの分解等角図である。
【0016】
【
図4-3】一実施形態による、
図4Aに図示された器具デバイスマニピュレータの独立駆動機構の等角図である。
【0017】
【
図4-4】一実施形態による、
図4Cに図示された独立駆動機構の歪みゲージによって力がどのように測定され得るかを図示する概念図である。
【0018】
【
図5-1】一実施形態による、記録された画像のシーケンスから内視鏡の移動を判定するためのプロセスのフローチャートである。
【0019】
【
図5-2】一実施形態による、電磁追跡システムの図である。
【0020】
【
図6-1】
図6Aは、一実施形態による、生体構造的内腔内の内視鏡の遠位端を例示する。
【0021】
図6Bは、一実施形態による、手術部位で使用される
図6Aに図示される内視鏡を例示する。
【0022】
【
図6-2】一実施形態による、吸引針を有する
図6Bに図示される内視鏡を例示する。
【0023】
【
図7-1】一実施形態による、内視鏡が手術部位に向けて患者の肺に挿入されたときに生じる管腔内座屈の例を例示する。
【
図7-2】一実施形態による、内視鏡が手術部位に向けて患者の肺に挿入されたときに生じる管腔内座屈の例を例示する。
【0024】
【
図8】一実施形態による、センサを配置するために使用されるセンサ領域の例を例示する。
【0025】
【
図9-1】一実施形態による、測定状態と予想状態との間の比較に基づく管腔内座屈検出の例を例示する。
【
図9-2】一実施形態による、測定状態と予想状態との間の比較に基づく管腔内座屈検出の例を例示する。
【0026】
【
図10】一実施形態による、測定状態と予想状態との間の比較に基づいて管腔内座屈を検出するためのプロセスのフローチャートである。
【0027】
【
図11】一実施形態による、コマンドの前後(または途中)に基づく管腔内座屈検出の例を例示する。
【0028】
【
図12】一実施形態による、センサデータによって示される状態変化に基づいて管腔内座屈を検出するためのプロセスのフローチャートである。
【0029】
【
図13-1】一実施形態による、患者の外部の内視鏡の座屈を検出する例である。
【
図13-2】一実施形態による、患者の外部の内視鏡の座屈を検出する例である。
【0030】
【
図14】一実施形態による、送信機-受信機対を使用することに基づいて患者の外部の座屈を検出するためのプロセスのフローチャートである。
【0031】
【
図15】一実施形態による、患者の外部の内視鏡の座屈を検出する別の例を例示する。
【0032】
【
図16】実施形態による、異なる患者で内視鏡の異なる位置において使用される適応型挿入力閾値の例を例示する。
【0033】
【
図17】一実施形態による、適応型挿入力閾値を用いて内視鏡を挿入するためのプロセスのフローチャートである。
【0034】
図面は、例示のみを目的として本発明の実施形態を描写する。当業者は、本明細書に記載された本発明の原理から逸脱することなく、本明細書に例示された構造および方法の代替実施形態が適用され得ることを以下の議論から容易に認識するであろう。
【発明を実施するための形態】
【0035】
I.ロボット工学的な可撓性器具システムの基本 本明細書に開示されている方法および装置は、「SYSTEM FOR ROBOTIC-ASSISTED ENDOLUMENAL SURGERY AND RELATED METHODS」と題され、2014年10月24日に出願され、米国特許出願第2015/0119637号として公開された米国特許出願第14/523,760号に記載されているような1つまたは複数の内視鏡構成要素またはステップと共に使用するのに非常に適しており、その全開示は参照により本明細書に組み込まれる。前述の出願は、システム構成要素、管腔内システム、仮想レール構成、機構チェンジャインターフェース、器具デバイスマニピュレータ(IDM)、内視鏡ツール設計、制御コンソール、内視鏡、器具デバイスマニピュレータ、管腔内ナビゲーション、および本明細書に開示された実施形態にしたがう組合せのために適切な管腔内手順を記載している。上記出願に記載されている原理はカテーテル設計にも適用可能である。概して、この記載の以下のセクションは内視鏡の実施形態を記載するが、これは単なる一例であり、以下の記載は、カテーテル、またはより一般的には長尺体を有する任意の可撓性器具と連携して実装および/または使用され得る。
【0036】
I.A 手術用ロボットシステム
図1Aは、一実施形態による、手術用ロボットシステム100を例示する。手術用ロボットシステム100は、1つまたは複数のロボットアーム、たとえばロボットアーム102に結合されたベース101を含む。ベース101はコマンドコンソールに通信可能に結合されており、これは
図2を参照してセクションI.B.コマンドコンソールにさらに記載されている。ベース101は、ロボットアーム102が患者に対して手術手順を実行するためのアクセスを有する一方で、内科医などのユーザが、コマンドコンソールの快適さから、手術用ロボットシステム100を制御できるように配置され得る。いくつかの実施形態において、ベース101は、患者を支持するために手術台またはベッドに結合され得る。明確にするために
図1には図示されていないが、ベース101は、制御電子回路、空気圧、電源、光源などのサブシステムを含み得る。ロボットアーム102は、関節111で結合された多数のアームセグメント110を含み、それはロボットアーム102に多数の自由度、たとえば、7つのアームセグメントに対応する7つの自由度を提供する。ベース101は、電源112、空気圧113、および-中央処理装置、データバス、制御回路構成、メモリなどの構成要素-を含む制御およびセンサ電子回路114、およびロボットアーム102を移動させるためのモータなどの関連アクチュエータを含み得る。ベース101内の電子回路114はまた、コマンドコンソールから通信された制御信号を処理し送信し得る。
【0037】
いくつかの実施形態において、ベース101は、手術用ロボットシステム100を搬送するための車輪115を含む。手術用ロボットシステム100の可動性は、手術室における空間的制約に適応するのに役立ち、ならびに手術用器具の適切な位置決めおよび移動を容易にする。さらに、この可動性は、ロボットアーム102が患者、内科医、麻酔科医、または他の任意の機器と干渉しないようにロボットアーム102を構成することを可能にする。手順中、ユーザは、コマンドコンソールなどの制御デバイスを使用してロボットアーム102を制御し得る。
【0038】
いくつかの実施形態では、ロボットアーム102は、ロボットアーム102の位置を維持するためにブレーキとカウンタバランスの組合せを使用するセットアップジョイントを含む。カウンタバランスは、ガススプリングまたはコイルスプリングを含み得る。ブレーキ、たとえばフェールセーフブレーキは、機械的および/または電気的構成要素を含み得る。さらに、ロボットアーム102は、重力支援受動支持型ロボットアームであってもよい。
【0039】
各ロボットアーム102は、機構チェンジャインターフェース(MCI)116を使用して器具デバイスマニピュレータ(IDM)117に結合され得る。IDM117は、取り外されて、異なる種類のIDMと交換され得、たとえば、第1の種類のIDMは内視鏡を操作し、第2の種類のIDMは腹腔鏡を操作する。MCI116は、空気圧、電力、電気信号、および光信号をロボットアーム102からIDM117に伝送するためのコネクタを含む。MCI116は、止めねじまたはベースプレートコネクタとすることができる。IDM117は、直接駆動、ハーモニック駆動、ギヤ駆動、ベルトおよびプーリ、磁気駆動などを含む技術を使用して内視鏡118などの手術用器具を操作する。MCI116は、IDM117の種類に基づいて相互交換可能であり、特定の種類の手術手順用にカスタマイズすることができる。ロボットアーム102は、KUKA AG(R)LBR5ロボットアームのような、関節レベルのトルク感知と、遠位端におけるリストを含むことができる。
【0040】
内視鏡118は、生体構造(たとえば、体組織)の画像を捕捉するために患者の生体構造に挿入される管状の可撓性手術用器具であり、特に、内視鏡118は、画像を捕捉する1つまたは複数の撮像デバイス(たとえば、カメラまたはセンサ)を含む。撮像デバイスは、光ファイバ、ファイバアレイ、またはレンズなどの1つまたは複数の光学構成要素を含むことができる。光学構成要素は、内視鏡118の先端部の移動が、撮像デバイスによって捕捉された画像への変化をもたらすように、内視鏡118の先端部と共に移動する。内視鏡118については、
図3A~
図3Cを参照して、セクションI.C.内視鏡にさらに記載される。
【0041】
手術用ロボットシステム100のロボットアーム102は、長尺移動部材を用いて内視鏡118を操作する。長尺移動部材は、プルまたはプッシュワイヤとも称されるプルワイヤ、ケーブル、ファイバ、または可撓性シャフトを含み得る。たとえば、ロボットアーム102は、内視鏡18に結合された多数のプルワイヤを作動させて、内視鏡118の先端部を撓ませる。プルワイヤは、ステンレス鋼、ケブラー、タングステン、炭素繊維など、金属材料と非金属材料との両方を含み得る。内視鏡118は、長尺移動部材によって加えられる力に応答して非線形挙動を示し得る。非線形挙動は、内視鏡118の剛性および圧縮性、ならびに異なる長尺移動部材間の弛みまたは剛性の変動性に基づき得る。
【0042】
手術用ロボットシステム100は、コントローラ120、たとえばコンピュータプロセッサを含む。コントローラ120は、画像位置合わせモジュール130、および記憶装置135を含む。手術用ロボットシステム100は、内視鏡の移動を判定するために画像位置合わせモジュール130を使用する。これは、セクションI.C.2.光学フローおよびI.C.3.EM位置合わせにさらに記載される。いくつかの実施形態では、コントローラ20のいくつかのまたはすべての機能は、手術用ロボットシステム100の外部で、たとえば、手術用ロボットシステム100に通信可能に結合された別のコンピュータシステムまたはサーバにおいて実行される。
【0043】
図1B~
図1Fは、様々な実施形態による、ロボットプラットフォーム150(または、手術用ベッド)に結合された手術用ロボットシステム100の様々な斜視図を図示する。 具体的には、
図1Bは、ロボットアーム102が内視鏡118を操作して内視鏡を患者の体の内部に挿入し、患者がロボットプラットフォーム150上に横たわっている手術用ロボットシステム100の側面図を図示する。
図1Cは、手術用ロボットシステム100およびロボットプラットフォーム150の上面図を図示しており、ロボットアームによって操作される内視鏡118が患者の体の内部に挿入されている。
図1Dは、手術用ロボットシステム100およびロボットプラットフォーム150の斜視図を図示し、内視鏡118は、ロボットプラットフォームと水平に平行に配置されるように制御される。
図1Eは、手術用ロボットシステム100およびロボットプラットフォーム150の別の斜視図を図示し、内視鏡118は、ロボットプラットフォームに対して比較的垂直に位置決めされるように制御される。より詳細には、
図1Eにおいて、ロボットプラットフォーム150の水平面と内視鏡118との間の角度は75度である。
図1Fは、
図1Eに図示される手術用ロボットシステム100およびロボットプラットフォーム150の斜視図を図示し、より詳細には、内視鏡118の端部180とロボットプラットフォームから比較的遠く離れて配置されているロボットアーム102とを接続している仮想線160と、内視鏡118との間の角度は90度である。
【0044】
1.B コマンドコンソール
図2は、一実施形態による、手術用ロボットシステム100用のコマンドコンソール200を例示する。コマンドコンソール200は、コンソールベース201、ディスプレイモジュール202、たとえばモニタ、および制御モジュール、たとえばキーボード203およびジョイスティック204を含む。いくつかの実施形態では、コマンドモジュール200の機能のうちの1つまたは複数は、手術用ロボットシステム100のベース101、または手術用ロボットシステム100に通信可能に結合された別のシステムに統合され得る。ユーザ205、たとえば内科医は、コマンドコンソール200を使用して人間工学的位置から手術用ロボットシステム100を遠隔制御する。
【0045】
コンソールベース201は、中央処理ユニットと、メモリユニットと、データバスと、カメラ画像などの信号の解釈および処理、および、たとえば
図1に図示される内視鏡118からのセンサデータの追跡を担当する関連付けられたデータ通信ポートとを含み得る。いくつかの実施形態では、コンソールベース201とベース101の両方が、負荷分散のための信号処理を実行する。コンソールベース201はまた、制御モジュール203、204を介してユーザ205によって提供されたコマンドおよび命令を処理し得る。
図2に図示されるキーボード203およびジョイスティック204に加えて、制御モジュールは、他のデバイス、たとえばコンピュータマウス、トラックパッド、トラックボール、制御パッド、ビデオゲームコントローラ、および、手のジェスチャおよび指のジェスチャを捕捉するセンサ(たとえば、運動センサまたはカメラ)を含み得る。
【0046】
ユーザ205は、速度モードまたは位置制御モードでコマンドコンソール200を使用して、内視鏡118などの手術用器具を制御することができる。速度モードでは、ユーザ205は、制御モジュールを用いた直接手動制御に基づいて、内視鏡118の遠位端のピッチおよびヨー運動を直接制御する。たとえば、ジョイスティック204における移動は、内視鏡118の遠位端におけるヨーおよびピッチの移動にマップされ得る。ジョイスティック204は、ユーザ205に触覚フィードバックを提供することができる。たとえば、ジョイスティック204は、内視鏡118がさらに並進または特定の方向に回転できないことを示すために振動する。コマンドコンソール200はまた、内視鏡118が最大の並進または回転に到達したことを示すために、視覚的フィードバック(たとえば、ポップアップメッセージ)および/またはオーディオフィードバック(たとえば、ビープ音)を提供することができる。
【0047】
位置制御モードでは、コマンドコンソール200は、患者の三次元(3D)マップおよび患者のあらかじめ決定されたコンピュータモデルを使用して、手術用器具、たとえば内視鏡118を制御する。コマンドコンソール200は、手術用ロボットシステム100のロボットアーム102に制御信号を提供し、内視鏡118を目標位置に操作する。3Dマップに依存しているため、位置制御モードは、患者の生体構造の正確なマッピングが必要である。
【0048】
いくつかの実施形態では、ユーザ205は、コマンドコンソール200を使用せずに手術用ロボットシステム100のロボットアーム102を手動で操作することができる。手術室でのセットアップ中に、ユーザ205は、患者にアクセスするためにロボットアーム102、内視鏡118、および他の手術用器具を移動させ得る。手術用ロボットシステム100は、ロボットアーム102および機器の適切な構成を決定するために、ユーザ205からの力のフィードバックおよび慣性制御に依存し得る。
【0049】
ディスプレイモジュール202は、電子モニタと、ゴーグルまたは眼鏡などの仮想現実ビューイングデバイスと、および/または、他の手段のディスプレイデバイスとを含み得る。いくつかの実施形態では、ディスプレイモジュール202は、たとえばタッチスクリーンを備えたタブレットデバイスとして、制御モジュールと一体化されている。さらに、ユーザ205は、一体型ディスプレイモジュール202および制御モジュールを使用して、データを見ることも手術用ロボットシステム100にコマンドを入力することもできる。
【0050】
ディスプレイモジュール202は、立体視デバイス、たとえばバイザーまたはゴーグルを使用して3D画像を表示することができる。3D画像は、「内部ビュー」(すなわち、内視鏡ビュー)を提供し、これは患者の生体構造を例示するコンピュータ3Dモデルである。「内部ビュー」は、患者の内部の仮想環境および患者の内部の内視鏡118の予想位置を提供する。ユーザ205は、内視鏡118が患者内の正しい、またはほぼ正しい位置にあることを心の中で方向付け、確認するのに役立てるために、「内部ビュー」モデルを、カメラによって捕捉された実際の画像と比較する。「内部ビュー」は、内視鏡118の遠位端の周りの生体構造的構造、たとえば患者の腸または結腸の形状に関する情報を提供する。ディスプレイモジュール202は、生体構造の3Dモデルスキャンおよびコンピュータ断層撮影(CT)スキャンを、内視鏡118の遠位端付近に同時に表示することができる。さらに、ディスプレイモジュール202は、3DモデルおよびCTスキャン上に内視鏡118のあらかじめ決定された最適なナビゲーション経路を重ね合わせ得る。
【0051】
いくつかの実施形態において、内視鏡8のモデルは、手術手順の状態を示すのに役立てるために3Dモデルと共に表示される。たとえば、CTスキャンは、生検が必要となり得る生体構造内の病巣を特定する。操作中、ディスプレイモジュール202は、内視鏡118の現在位置に対応する、内視鏡118によって捕捉された基準画像を図示し得る。ディスプレイモジュール202は、ユーザ設定および特定の手術手順に応じて内視鏡118のモデルの異なる図を自動的に表示し得る。たとえば、ディスプレイモジュール202は、内視鏡118が患者の手術領域に近づくと、ナビゲーションステップ中に、内視鏡118の俯瞰透視図を図示する。
【0052】
I.C.内視鏡
図3Aは、一実施形態による内視鏡118の多数の運動度を示す。内視鏡118は、
図1に図示される内視鏡118の実施形態である。
図3Aに図示されるように、内視鏡118の先端部301は、長手方向軸306(ロール軸306とも称される)に対して撓みがゼロになるように向けられる。先端部301の異なる方位で画像を捕捉するために、手術用ロボットシステム100は、先端部301を、正のヨー軸302、負のヨー軸303、正のピッチ軸304、負のピッチ軸305、またはロール軸306上に撓ませる。内視鏡118の先端部301または本体310は、長手方向軸306、x軸308、またはy軸309において延長または並進され得る。
【0053】
内視鏡118は、内視鏡118の位置を較正するための基準構造307を含む。たとえば、手術用ロボットシステム100は、基準構造307に対する内視鏡118の撓みを測定する。基準構造307は、内視鏡118の近位端に位置し、キー、スロット、またはフランジを含み得る。基準構造307は、移動を計算するための第1の駆動機構に結合され、手術手順を実行するために第2の駆動機構、たとえばIDM117に結合される。
【0054】
図3Bは、一実施形態による、内視鏡118の平面図である。内視鏡118は、内部に入れ子にされるかまたは部分的に入れ子にされ、シース311の管状構成要素と長手方向に整列され、リーダがシースから入れ子式になっているリーダ315管状構成要素を含む。シース311は、近位シース部312および遠位シース部313を含む。リーダ315は、シース311よりも小さい外径を有し、近位リーダ部316および遠位リーダ部317を含む。シースベース314およびリーダベース318は、たとえば手術用ロボットシステム100の使用者からの制御信号に基づいて、それぞれ遠位シース部313および遠位リーダ部317を作動させる。シースベース314およびリーダベース318は、たとえば、
図1に図示されるIDM117の一部である。
【0055】
シースベース314およびリーダベース318の両方は、シース311およびリーダ315に結合されたプルワイヤを制御するための駆動機構(たとえば、
図4A~
図4Dを参照して、セクションII.C.4.器具デバイスマニピュレータにおいてさらに記載される独立駆動機構)を含む。たとえば、シースベース314は、シース311に結合されたプルワイヤに引張荷重を生成させて遠位シース部313を撓ませる。同様に、リーダベース318は、リーダ315に結合されたプルワイヤに引張荷重を生成させて遠位リーダ部317を撓ませる。シースベース314およびリーダベース318の両方は、空気圧、電力、電気信号、または光信号をそれぞれIDMからシース311およびリーダ314にルーティングするためのカップリングも含み得る。プルワイヤは、シース311またはリーダ315内に、プルワイヤの長さに沿ったスチールコイルパイプを含み得る。スチールコイルパイプは、軸方向の圧縮を、荷重の起点、たとえば、それぞれシースベース314またはリーダベース318に戻す。
【0056】
内視鏡118は、シース311およびリーダ315に結合されたプルワイヤによって提供される多数の自由度によって、患者の生体構造を容易にナビゲートすることができる。たとえば、4つ以上のプルワイヤをシース311および/またはリーダ315のいずれかに使用して、8つ以上の自由度を提供することができる。他の実施形態では、最大3つのプルワイヤを使用して、最大6つの自由度を提供することができる。シース311およびリーダ315は、長手方向軸306に沿って360度まで回転させ、より多くの運動度を提供することができる。回転角度と多自由度との組合せは、手術用ロボットシステム100のユーザに内視鏡118のユーザフレンドリーで直感的な制御を提供する。
【0057】
図3Cは、一実施形態による内視鏡118のリーダ315の断面等角図である。リーダ315は、撮像デバイス349(たとえば、画像センサ、スチルまたはビデオカメラ、2Dまたは3D検出器アレイ、電荷結合素子(CCD)、または相補型金属酸化膜半導体(CMOS)カメラ、イメージファイバ束など)、光源350(たとえば、白色光源、レーザダイオード、発光ダイオード(LED)、光ファイバイルミネータなど)、および他の構成要素用の少なくとも1つのワーキングチャネル343を含む。たとえば、他の構成要素は、カメラワイヤ、通気デバイス、吸引デバイス、電線、光ファイバ、超音波トランスデューサ、位置検知構成要素、電磁(EM)検知構成要素、および光コヒーレンストモグラフィ(OCT)検知構成要素を含む。いくつかの実施形態では、リーダ315は、構成要素のワーキングチャネル343への挿入を収容するためのポケット穴を含む。
【0058】
I.C.1.器具デバイスマニピュレータ
図4Aは、一実施形態による手術用ロボットシステム100の器具デバイスマニピュレータ117の等角図である。ロボットアーム102は、関節運動インターフェース401を介してIDM117に結合されている。IDM117は、内視鏡118に結合されている。関節運動インターフェース401は、ロボットアーム102およびIDM117との間で空気圧、電力信号、制御信号、およびフィードバック信号を伝送し得る。IDM117は、ギヤヘッド、モータ、ロータリエンコーダ、電力回路、および制御回路を含み得る。IDM117から制御信号を受信するためのツールベース403が、内視鏡118の近位端に結合されている。制御信号に基づいて、IDM117は、出力シャフトを作動させることによって内視鏡118を操作する。これについては、
図4Bを参照して以下にさらに記載される。
【0059】
図4Bは、一実施形態による、
図4Aに図示された器具デバイスマニピュレータの分解等角図である。
図4Bでは、内視鏡118は、出力シャフト405、406、407、および408を明らかにするために、IDM117から取り外されている。
【0060】
図4Cは、一実施形態による、
図4Aに図示される器具デバイスマニピュレータ117の独立駆動機構の等角図である。独立駆動機構は、IDM117の出力シャフト405、406、407、および408をそれぞれ回転させることによって、内視鏡のプルワイヤ421、422、423、および424を(たとえば、互いに独立して)締め付け、または、緩めることができる。出力シャフト405、406、407、および408が、角運動を介してそれぞれプルワイヤ421、422、423、および424に力を伝達するように、プルワイヤ421、422、423、および424は、力を出力シャフトに伝達して戻す。IDM117および/または手術用ロボットシステム100は、センサ、たとえば、以下にさらに記載される歪みゲージを使用して、伝達された力を測定することができる。
【0061】
図4Dは、一実施形態による、
図4Cに図示される独立駆動機構の歪みゲージ434によって力がどのように測定され得るかを図示する概念図を例示する。力431は、モータ437のモータマウント433に結合された出力シャフト405から離れる方向に向けられ得る。したがって、力431は、モータマウント433の水平方向の変位をもたらす。さらに、モータマウント433に水平に結合された歪みゲージ434が、力431の方向における歪みを受ける。歪みは、歪みゲージ434の先端部435の水平方向の変位と、歪みゲージ434の水平方向の全幅436との比として測定され得る。
【0062】
いくつかの実施形態では、IDM117は、IDM117の方位を決定するために、たとえば傾斜計または加速度計などの追加のセンサを含む。追加のセンサおよび/または歪みゲージ434からの測定値に基づいて、手術用ロボットシステム100は、歪みゲージ434からの読みを較正して、重力負荷効果を考慮することができる。たとえば、IDM117が、IDM117の水平方向に向けられている場合、IDM117の特定の構成要素の重量が、モータマウント433に負荷をかける可能性がある。したがって、重力負荷効果を考慮せずに、歪みゲージ434は、出力シャフト上の歪みから生じなかった歪みを測定し得る。
【0063】
I.C.2.光学フロー 内視鏡が移動すると、その移動は、ある画像から次の画像への変化に反映される。これらの変化は、ある画像を別の画像に位置合わせする光学フロー技術を使用して検出され得、そこから移動が推定され得る。
【0064】
図5Aは、一実施形態による一連の記録された画像から内視鏡の移動を判定するためのプロセスのフローチャートである。プロセス500は、いくつかの実施形態において
図5Aと連携して記載されたものとは異なるまたは追加のステップを含み得るか、または、
図5Aと連携して記載された順序とは異なる順序でステップを実行し得る。
【0065】
図1に図示される手術用ロボットシステム100の画像位置合わせモジュール130は、内視鏡先端部に結合された画像センサ、たとえば、
図3Cに図示される内視鏡118の撮像デバイス349によって捕捉された画像のサンプルの特性(たとえば、グレースケールまたは色)の変化に基づいて、内視鏡先端部の移動を判定する。画像センサが、内視鏡118に結合されているので、画像位置合わせモジュール130は、試料の一対の画像間の変化が、内視鏡先端部の移動、たとえば、ピッチまたはヨー軸における並進、回転、および/または拡大縮小に対応する画像センサの遠近におけるシフトによるものであると仮定する。
【0066】
画像位置合わせモジュール130は、たとえば、試料を処理するのに必要な時間を短縮するのに役立てるために、試料の1つおきの画像を除去することによって、画像の試料をフィルタすることができる。いくつかの実施形態では、画像位置合わせモジュール130は、画像センサによって捕捉されたビデオから画像のサンプルを抽出する。画像位置合わせは、ソース画像および目標画像が、カメラの後続のフレームであることを必要としない。しかしながら、画像位置合わせによって推定された動きの精度は、画像間の期間が減少するにつれて大きくなる傾向がある。したがって、画像位置合わせモジュール130は、多数の画像を順番に位置合わせすることによって、より正確な動き推定(たとえば、内視鏡の移動に関連付けられたパラメータのほぼ連続的な測定)を生成する。
【0067】
並進移動を判定するために、画像位置合わせモジュール130は、画像のサンプルを受け取り(510)、光学フロー技術を用いてサンプルの画像の対を分析する。一対の画像において、一番目に現れる画像はソース画像と称され、二番目に現れる画像は目標画像と称される。一番目および二番目の画像の順序は任意である。したがって、並進の方向(たとえば、時間的に前後に移動する)は、どの画像がソースとみなされ、どの画像が目標とみなされるかに基づいて決定される。一実施形態では、各画像は、(たとえば、グレースケール画像用の)光強度、(たとえば、カラー画像用の)異なる色の光の強度を表すベクトルなどに対応するN個の画素値の二次元画素アレイである。画像位置合わせモジュール130は、二次元画素アレイを、処理のためにN個の要素を有する対応する一次元アレイに変換することができる。
【0068】
画像位置合わせモジュール130は、一対の画像に基づいて差分アレイDを生成し(520)、勾配アレイGを生成する(530)。いくつかの実施形態において、画像位置合わせモジュール130は、サンプルの画像の各対について差分アレイ(510)および勾配アレイ(520)を生成する。差分アレイDは、目標画像の画素値と、ソース画像の対応する画素値との間の差分に基づく。勾配アレイGは、目標画像の画素値の変化率(たとえば、微分関数)と、ソース画像の対応する画素値の変化率との加重平均に基づく。二次元(たとえば、xとyの次元)画素アレイを有する実施形態では、x次元Gxにおける画素の変化率は、画素と、x方向における2つ以上の隣接画素のおのおのとの間の差分に基づく。同様に、y次元Gyにおける画素の変化率は、画素と、y方向における2つ以上の隣接画素のおのおのとの間の差分に基づく。勾配アレイは、x次元およびy次元における変化率の加重平均、たとえば、等しく加重されたものであり得る。画像位置合わせモジュール130は、2D勾配アレイを、x方向およびy方向の部分的な微分関数にそれぞれ対応する2つのサブアレイGxおよびGyに分解することができる。したがって、画像位置合わせモジュール130は、GをN×2行列、G=(Gx、Gy)として表す。ここで、GxおよびGyはおのおのN個の成分を含む。
【0069】
画像位置合わせモジュール130は、差分アレイDおよび勾配アレイGに基づいて内視鏡ベースの動きを判定する。この動きは、ベクトルpによって表すことができる。ベクトルpは、しばしば1組のモデルパラメータを備え、これらのパラメータの識別情報は、異なる動き特性を検出するために変えられ得る。一般に、pは、Ap=vの形の線形方程式を満たすようにモデル化され得、ここで、Aは、Gおよびpの形によって決定される行列であり、vは、Dに対応するベクトルである。上式におけるpの値は、最小二乗フィッティングなどの方法によって解くことができ、ここで、pは、p=(ATA)-1ATvとして推定することができ、ここで、ATは、Aの転置を表し、(ATA)-1は、ATとAの積の逆数を表す。解かれたpは、内視鏡の動き(たとえば、並進、回転)を表す。画像位置合わせモジュール130は、サンプルの多数の対の画像についてプロセス500のステップ520~540を繰り返すことができる。したがって、画像位置合わせモジュール130は、処理された各画像の対に対応する1組の動きベクトルを生成する。
【0070】
I.C.3.EM位置合わせ
図5Bは、一実施形態による、電磁追跡システムの図である。内視鏡118の先端部に結合された空間センサ550は、内視鏡118の近くにある1つまたは複数のEMF生成器600によって生成された電磁場(EMF)を検出するEMセンサ550である。検出されたEMFの強度は、内視鏡118の位置および/または方位の関数である。一実施形態では、多くのEMF生成器600が、患者の外部に位置する。EMF生成器600は、EMセンサ550によってピックアップされるEM場を放出する。異なるEMF生成器600は、それらの放出された場がEMセンサ550によって捕捉され、コントローラ120(または手術用ロボットシステム100の外部にある任意のコンピュータシステム)によって処理されるときに、それらの信号が分離可能であるように、多くの異なる手法で変調され得る。さらに、EMF生成器600は、EMセンサ550の方位の変化によって、EMセンサ550がいつでもEMF生成器600の少なくとも1つから少なくともいくつかの信号を受信するように、デカルト空間内でゼロではない、非直交角度で互いに対して向けられ得る。
【0071】
コントローラ120は、EMセンサ550によって捕捉されたEMデータを、コンピュータ断層撮影法(CT)スキャンのような、EM以外の異なる技術(または、位置合わせセンサのデータを捕捉するために使用されるあらゆる機構)で捕捉された患者の画像に位置合わせし、EMデータ用の基準フレームを確立する。いくつかの実施形態では、内視鏡の遠位端は、先端部に位置するEMセンサによって追跡され得る。患者内の相対位置は、CTデータから生成された術前モデルを、EM追跡システムによって測定された絶対位置と比較することによって決定され得る。
【0072】
たとえば、CTデータから生成された3Dモデルを用いてEMデータを位置合わせする前に、EMデータから導出されたデータ点は、当初、3Dモデルから予想される計画されたナビゲーション経路に沿って移動する内視鏡先端部の位置から離れて位置する。EMデータと3Dモデルとの間のこの位置差は、EM座標と3Dモデル座標との間の位置合わせの欠如を反映している。コントローラ120は、3Dモデル自体と、先端部の撮像デバイス(たとえば、カメラ)から受信した画像データと、(たとえば、手術用ロボットシステム100のロボットアームに提供された)ロボットコマンドからのロボットデータとの間の相関に基づいて、3Dモデル上の点を決定し調整する。コントローラ120は、これらの点と、収集されたEMデータ点との間の3D変換を使用して、3Dモデル座標系に対するEM座標系の初期位置合わせを決定する。3DモデルにEMデータを位置合わせした後、EMデータから導出されたデータ点は、3Dモデルから導出された計画されたナビゲーション経路に沿っており、データ点中の各データ点は、3Dモデルの座標系における内視鏡先端部の位置の測定値を反映する。
【0073】
I.C.4.内視鏡手順
図6A~
図6Cは、内視鏡、たとえば、
図3Aに図示された内視鏡118を用いた例示的な手術手順を例示する。
図6Aは、一実施形態による生体構造的内腔602内の内視鏡118の遠位端を例示する。内視鏡118はシース311を含み、手術手順のために患者の内側の生体構造的内腔602を通って手術部位603に向かってナビゲートする。
【0074】
図6Bは、一実施形態による、手術部位603で使用されている
図6Aに図示される内視鏡118を例示する。手術部位603に到達した後、内視鏡118は、矢印605によって印される方向に、シース311と長手方向に整列した遠位リーダ部317を延ばす。内視鏡はまた、遠位リーダ部317を関節運動させて手術用器具を手術部位603に向けることができる。
【0075】
図6Cは、一実施形態による吸引針1007を有する
図6Bに図示される内視鏡118を例示する。手術部位603が生検のための病巣を含む場合、遠位リーダ部317は、病巣を目標とするために吸引針1007を送るために矢印606によって印される方向に関節運動する。
【0076】
いくつかの実施形態では、遠位リーダ部317は、シース311(
図6には図示されていない)と一体化されている。遠位リーダ部317は、手術手順のために、シース311と共に患者の内部の生体構造的内腔602を通って手術部位603に向かってナビゲートする。手術部位603に到達した後、手術用ツールは、遠位リーダ部317を介して手術部位603に向けられ得る。
【0077】
いくつかの実施形態では、遠位リーダ部317は、シース311の軸外(中立軸)であるワーキングチャネルを通して展開することができ、これにより、遠位リーダ部317は、シース311の端部(または、内視鏡118の他の任意の位置)に結合された(
図6に図示されていない)イメージセンサを覆うことなく動作することができる。この構成により、内視鏡118が遠位リーダ部317を関節運動させてシース311を静止させたままにしながら、イメージセンサが、生体構造的内腔の内部の画像を捕捉することが可能になる。
【0078】
屈曲部とも称され得る遠位リーダ部317の構造、構成、機能、および用途は、2014年3月7日に出願された米国特許出願第14/201,610号および2014年9月5日に出願された米国特許出願第14/479,095号に開示されており、その全内容は参照により本明細書に組み込まれる。
【0079】
II.管腔内座屈検出 上述したように、管腔内座屈は、生体構造的内腔内を手術部位または切開部位に向かってナビゲートされた可撓性器具(たとえば内視鏡)が、挿入力に応答して、生体構造的内腔内の望ましくない方向に脱出する現象である。
【0080】
図7Aおよび
図7Bは、内視鏡が手術部位710に向けて患者の肺700に挿入されたときに生じる管腔内座屈の例を例示する。内視鏡118は、患者の口の中へ挿入され、患者の気管を下って、特許の肺700へ挿入される。
図7Aに図示されるように、内視鏡は、肺700の左上葉に位置する手術部位710に向かって垂直に曲がる。内視鏡のシース740は、最初に左主気管支へナビゲートされ、次いでリーダ730が、手術部位710に向かって三次気管支内をナビゲートする。
図7Bに図示されるように、リーダ730が手術部位710に向かってナビゲートしているとき、リーダ730の遠位リーダ部は、動けなくなるかまたは塞がれ、したがって前方に移動しない。より大きな挿入力が加えられると、内視鏡の一部は、リーダをさらに進めるのではなく、座屈720する。
【0081】
手術部位710に対するシース740の不適切な配置もまた、内視鏡の望ましくない座屈をもたらし得る。たとえば、シース740が挿入されて気管のみに向けて進められる場合、手術部位710に到達するために患者の肺700の上葉に挿入しようと試みるときにリーダ730は支持されないであろう。この例では、シース740への挿入力は、「下向き」、すなわち、手術部位710が位置する上葉の反対方向に、患者の肺700の下葉に向けられる。対照的に、シース740が肺のより深く、すなわち手術部位に近い位置にあるとき、シース740はより「上方」の位置、または少なくともより「中立」の位置に向けられ、リーダ730上の挿入力ベクトルは、手術部位710の方向に、より揃えられ得る。後者の例では、リーダ730による逸脱または座屈の減少に加えて、シース740に加えられるより少ない量の挿入力で、より大きな挿入が達成され得る。
【0082】
II.A.患者の管腔内での管腔内座屈の検出 管腔内座屈は様々な様式で起こり得る。たとえば、内視鏡のリーダの先端部が動けなくなるか、または、ほとんど動けなくなり、内視鏡がさらに患者の内部に挿入されるにつれて、リーダまたはシースの一部が、大きな曲率で曲がることがある。座屈部分は、潜在的なエネルギーを蓄え、内視鏡を後方に押すことを試みる反力を生成する。
【0083】
したがって、座屈を検出するためにセンサを配置することが有利であり得る多くの関心領域がある。例として、任意の「サイズ」の3つの主な領域を画定することができる。第1の領域は、リーダの先端部付近の体積を覆い得る。第2の領域は、患者内のシースの端部から第1の領域の縁部までの範囲内のリーダの一部を覆う。第3の領域は、リーダが延在するシースの端部、およびその端部に近いシースの一部(遠位シース部とも称される)を覆い得る。
【0084】
各センサ領域に対して、1つまたは複数のセンサをいくつかの位置のうちのいずれかに配置することができる。センサ位置の例は、シースまたはリーダの外面、シースまたはリーダの壁、シースの内腔の内面、リーダまたはシースの導管の内面、リーダまたはシースのプルワイヤ上の1つまたは複数の位置、センサを配置するためのセンサ領域内の別の適切な位置、または、それらの何らかの組合せを含む。
【0085】
図8Aおよび
図8Bは、一実施形態によるセンサを配置するために使用されるセンサ領域の例を例示する。
図8Aは、リーダ730が時間T=T
1860Aにおいて手術部位710に向かって垂直に曲がることを図示し、
図8Bは、リーダ730が時間T=T
2860Bにおいてさらに挿入されたときに、リーダ730が座屈することを図示する。T
1860AおよびT
2860Bは連続しているか、または時間間隔で分離されている。
図8Aおよび
図8Bに図示されているように、関心領域(ROI)810が選択されて拡大される。ROI810は、リーダ730とシース740の一部とを含む。肺構造を含まない拡大されたROIは、それぞれ
図8Aおよび
図8Bの下部に図示されている。センサ領域A820は、リーダ730の先端部と、その先端部に近い小さな部分とを含む。センサ領域B830は、患者内のシース740の端部からリーダ730の先端部までの範囲において、リーダ730の一部を覆っている。センサ領域C840は、シースの端部と、遠位シース部の小さな部分とを含む。
【0086】
各センサ領域には、1つまたは複数の異なる種類のセンサが配置され得る。たとえば、1つまたは複数の位置センサ、1つまたは複数の力センサ、1つまたは複数の形状センサ、またはそれらの何らかの組合せが、各センサ領域に配置され得る。センサの種類の例は、位置センサ(たとえば、EMセンサ、光学センサ、加速度計、ジャイロスコープ、磁力計、動きを検出する別の種類の適切なセンサ、またはそれらの何らかの組合せ)、力センサ(たとえば、抵抗センサ、圧力センサ、歪みゲージ、トルクセンサ、摩擦センサ、様々な種類の力を検出する別の種類の適切なセンサ、またはそれらの何らかの組合せ)、画像センサ(たとえば、CCD、CMOS、NMOS、画像を構成する情報を検出および送る別の種類の適切なセンサ、またはそれらの何らかの組合せ)、形状センサ(たとえば、光ファイバ形状センサ、物体の境界、輪郭、または表面を検出する別の種類の適切なセンサ、またはそれらの何らかの組合せ)を含む。
【0087】
1つまたは複数のセンサ領域から捕捉されたセンサデータは、座屈が生じたか否かを判定するために、予想されるデータ(履歴データまたは基準データとも称される)と比較される。予想されるデータは、ナビゲーション中の内視鏡の動きによって生じる様々な特性に関連付けられたデータを記載する。予想されるデータの例は、内視鏡の動きによって生じる様々な予想状態に関連付けられたデータ、1つまたは複数の異なるセンサ領域から捕捉されたセンサデータ、同じセンサ領域から捕捉された異なる種類のセンサデータ、1つまたは複数の異なるセンサ領域から捕捉された異なる種類のセンサデータ、またはそれらの何らかの組合せを含む。より具体的には、予想されるデータは、内視鏡の動きによって生じる様々な可能性のある状態/複数の状態に関連付けられたデータを含む。予想される状態の例は、シースの先端部または遠位端の予想位置、リーダまたはシースの一部の予想位置、リーダまたはシースの予想される曲げ形状、リーダまたはシースの予想される曲げによって生成される予想される力、リーダまたはシースの先端部によって検出される予想される力、または、限定されないが、形状、距離、長さ、傾き、勾配、曲率、角度等、または、それらの何らかの組合せを含み得る内視鏡の状態に関連する他の任意の測定可能または導出可能な量を含む。
【0088】
操作中に器具内のセンサから収集されたセンサデータ(測定データとも称される)は、それらのセンサが配置されている対応するセンサ領域の実際の動きに基づいて測定された状態を示す。測定された状態の例は、直前の段落で提供された予想される状態のリストと同様の状態のリストを含む。たとえば、先端部における撮像デバイスから収集されたセンサデータ(光学フローデータとも称される)、または、先端部上に位置するEMセンサから収集されたセンサデータは、両方とも測定状態(たとえば、先端部の位置)を示すことができる。いくつかの実施形態では、「内部視界」をセンサデータと比較することによって、手術用ロボットシステム100は、患者内の先端部の相対位置を示す測定状態を判定する。センサデータによって示される測定状態が、予想されるデータによって示される予想状態と一致または相関しない場合、手術用ロボットシステム100は、管腔内座屈が生じたと判定する。例は、セクションII.A.1.にさらに記載されている。
【0089】
1つまたは複数のセンサ領域から捕捉されたセンサデータは、管腔内座屈が生じたか否かを判定するために、同じおよび/または異なるセンサ領域からのセンサデータと比較され得る。たとえば、1つまたは複数のセンサ領域から捕捉されたセンサデータが、内視鏡の、対応するセンサ領域が、第1の状態変化(たとえば、第1の領域における力の変化を示す状態変化)を受けたことを示し、異なるセンサ領域からのセンサデータ、または、同じセンサ領域からの異なる種類のセンサデータが、対応するセンサ領域またはセンサ種類が、第2の状態変化(たとえば、第3の領域における力の変化を示す状態変化、または、先端部が第1の領域内を移動していないことを示す状態変化)を受けたことを示す場合、手術用ロボットシステム100は、管腔内座屈が生じたと判定する。例は、セクションII.A.2.にさらに記載されている。
【0090】
一般に、状態変化は、測定および予想されたセンサデータを含み得る、センサデータからの測定可能または導出可能な量が、ある期間(たとえば、T1およびT2)にわたってしばしば測定される閾値より多く、または、少なく変化したことを示す。状態変化には多くの異なる種類がある。
【0091】
第1の種類の状態変化は、内視鏡のある部分の位置変化が、閾値上の位置よりも小さく、一般に内視鏡挿入コマンドに応答して、内視鏡の一部が、相応な距離を移動していない動きの範囲を表す。第1の種類の状態変化の第1の例は、コマンドに応答して、リーダの先端部または患者内のシースの端が移動していないか、または閾値量未満しか移動していない場合である。たとえば、内視鏡が複雑な管状網(たとえば、可変の屈曲を有する、または可変の直径を有する管状網)を有する臓器に入ると、内視鏡を目標位置に移動させるために特定の挿入力が内視鏡に加えられる。状態変化が、患者内のリーダの先端部またはシースの端部が、コマンドに応答して閾値量未満しか移動していないことを示す場合、手術用ロボットシステム100は、セクションII.A.2.にさらに記載されているように、この状態変化のみに基づいて、または他の種類の状態変化と組み合わせて、管腔内座屈が生じたと判定し得る。第2の例は、コマンドに応答して、リーダの一部またはシースの一部が、予想位置に移動していない場合である。第3の例は、シースの一部(たとえば、シースの端部、遠位シース部)が、コマンドに応答して、後退された場合である。
【0092】
第2の種類の状態変化は、リーダの先端部、遠位先端部の一部、シースの端部、遠位シースの一部で検出されるコマンドに応答した、閾値を超える力の変化である。
【0093】
第3の種類の状態変化は、一般に内視鏡挿入コマンドに応答して、一般に、リーダまたはシースに沿って曲がる、望ましくない動きを識別する。第3の種類の状態変化の一例は、リーダまたはシースに沿った2つ以上の点の間の曲げ変化(たとえば、傾斜変化、勾配変化、曲率変化など)が、曲げ閾値に等しいかまたは超えることを含み、これは、リーダまたはシースが、コマンドに応答して、予想外の方式で、かなりの程度曲がっている状況を表す。第3の種類の状態変化の別の例は、リーダまたはシースに沿った2点間の距離変化が、距離閾値未満であることを含み、これは、2点間の距離が、コマンドに応答して、予想外に短くなった状況を表す。第3の種類の状態変化の別の例は、患者の管腔内網内の曲がりを介して内視鏡をナビゲートするとき、曲げが予想されるが、その曲げが、予想される内視鏡の部分に沿って生じない場合などに生じる。したがって、内視鏡のいくつかの点に沿ってセンサによって測定されるような曲げ変化の欠如は、代わりに曲げが内視鏡に沿った他の場所で生じたことを示唆し得る。
【0094】
上記の記載は、センサが領域に関連付けられているとして記載されているが、この領域の関連付けは、座屈が生じたか否かを判定するためにセンサデータを使用するデータ処理システムにおいて明示的に使用される必要はない。そのような実装形態では、領域へのセンサの割当は、器具内に配置された異なるセンサを区別するための便利な手法として役立つだけであり、実際には、シースまたはリーダに沿った位置などの他の区別可能な特性が使用され得る。
【0095】
II.a.1.測定状態と予想状態との間の比較に基づく管腔内座屈検出
図9A~
図9Lは、一実施形態による、測定状態と予想状態との間の比較に基づく管腔内座屈検出の例を例示する。上述したように、管腔内座屈を検出するために、1つまたは複数の異なる種類のセンサを、同じセンサ領域に配置することができる。
図9Aおよび
図9Bに図示されるように、位置または力センサなどのセンサAが、第1のセンサ領域(たとえば、内視鏡の先端部)に配置されている。
図9Aおよび
図9Bは、センサA910によって示される測定位置A915Aおよび予想位置A915Bを図示する。たとえば、内視鏡を予想位置A915Bに移動させる挿入コマンドに応答して、内視鏡は測定位置A915Aに挿入される。
図9Bに図示される予想位置Aと比較すると、
図9Aに図示される測定位置Aは静止しているか、またはほんのわずかしか移動していないため、座屈が生じたことを示している。同様に、
図9Aで測定された力(たとえば、先端部と肺構造との間で生成された摩擦力)は、コマンド入力に基づいて、
図9Bで予想された力よりも大きくなり得、これによって座屈が生じたことを示す。
【0096】
図9Cおよび
図9Dに図示されるように、センサCおよびセンサDは、第2のセンサ領域(たとえば、リーダの一部)に配置されている。第1の実施形態では、センサCおよびセンサDは、両方とも位置センサである。
図9Cにおいて、第2の領域を予想位置CおよびDに移動させるコマンドに応答して、センサCは、測定位置Cを検出し、センサDは、測定位置Dを検出する。測定位置Cおよび測定位置Dは、予想位置Cおよび予想位置Dと比較される。この比較は、測定された位置(生データ、または、それらの間の距離などのその派生物に基づく)が、予想位置から閾値を超えて(一致しない)、または、閾値未満(一致する)逸脱しているかを示す。測定と予想とが一致すれば、手術用ロボットシステムは、座屈は生じていないと判定し、一致しなければ、座屈が生じたと判定する。座屈を検出するために使用される導出パラメータの例は、傾き、距離、曲率、勾配、2つの位置から導出される別の適切なパラメータ、またはこれらの何らかの組合せを含む。
【0097】
第2の実施形態では、
図9Cにおいて、センサCおよびセンサDは力センサであり、予想される力Aおよび力Bを有する内視鏡を第2の領域に挿入するコマンドに応答して、センサCは、測定された力A(たとえば、第1のトルク)を検出し、センサDは、測定された力B(たとえば、第1のトルク)を検出する。測定された力Aおよび測定された力Bは、予想された力Aおよび予想された力Bと比較される。この比較は、測定された力(生データまたはその派生物に基づく)が、予想された力から閾値を超えて(一致しない)、または閾値未満(一致する)逸脱しているかを示す。測定と予想が一致した力であると、手術用ロボットシステム100は、座屈が生じていないと判定し、一致していなければ、座屈が生じたと判定する。
【0098】
第3の実施形態では、センサCとセンサDは、異なるセンサ種類を有する。たとえば、センサCは位置センサであり、センサDは力センサである。予想位置Cおよび予想された力Bを有する内視鏡を、第2の領域に挿入するコマンドに応答して、センサCは、測定位置Cを検出し、センサDは、測定された力Bを検出する。測定位置Cは、予想位置Cと比較され、測定された力Bは、予想された力Bと比較される。比較は、測定位置Cが予想位置Cから閾値を超えて(一致しない)、または閾値未満(一致する)逸脱しているかと、測定された力Bが予想された力Bから閾値を超えて(一致しない)、または閾値未満(一致する)逸脱しているかとを示す。測定と予想が一致した場合、手術用ロボットシステムは、座屈が生じていないと判定し、一致しない場合、座屈が生じたと判定する
【0099】
図9Eおよび
図9Fに図示されるように、センサBが、第3のセンサ領域(たとえば、遠位シース部の一部)に配置される。内視鏡を第3の領域内の予想位置Eに移動させるコマンドに応答して、測定位置Eは、
図9Fに図示される予想位置Eと比較される。
図9Eに図示される測定位置Eは後方960に向かって移動し、測定位置Eが予想位置Eと一致しないことを示し、手術用ロボットシステムは、座屈が生じたと判定する。センサBは、力センサとすることもできる。たとえば、内視鏡を移動させるコマンドに応答して、内視鏡は、第3の領域において、予想された力Cを有する。センサBは、測定された力C(たとえば、第3のセンサ領域とリーダとの間の摩擦)を検出し、測定された力Cが、予想される力Cと比較される。測定された力は、
図9Fにおける予想された力Cよりも大きく、測定された力Cが、予想された力Cと一致しないことを示し、手術用ロボットシステムは座屈が生じたと判定する。
【0100】
このセクションに例示された例示的な実施形態は、内視鏡のための他の可能なセンサ設定のみならず、座屈が生じたことを識別または検証するために、一度に複数の領域における状態変化の検出を使用する座屈検出プロセスを提供するために、互いに様々に組み合わされ得る。たとえば、
図9Gおよび
図9Hに図示されるように、第1のセンサ領域A内のセンサAからの予想データ対測定データが、第3のセンサ領域内のセンサBからの予想データ対測定データと組み合わされ得る。
図9Cおよび
図9Dと同様に、センサCおよびセンサDは、同じまたは異なるセンサ種類を有することができる。
【0101】
リーダ(またはシース)の形状は、
図9Iおよび
図9Jに図示されるように、多数の位置センサを使用して、または
図9Kおよび
図9Lに図示されるように、形状感知光ファイバによって検出することができる。形状感知光ファイバは、ファイバブラッググレーティング(FBG)のセグメントを含み得る。FBGは、特定の波長の光を反射し、他の波長を透過する。手術用ロボットシステムは、FBGによって反射された光の波長に基づいて反射スペクトルデータを生成する。システムは、反射スペクトルデータを分析して、二次元または三次元空間における内視鏡の位置および方位データを生成することができる。特に、内視鏡が曲がると、内部に埋め込まれた形状感知光ファイバも曲がる。FBGによって反射された光の特定の波長は、形状感知光ファイバの形状に基づいて変化する(たとえば、「真っ直ぐな」内視鏡は、「湾曲した」内視鏡とは異なる形状にある)。したがって、システムは、反射スペクトルデータにおける相違を識別することによって、たとえば、(たとえば、手術用ロボットシステムからのコマンドに応答して)内視鏡が1つまたは複数の方向に何度曲がったかを判定することができる。
【0102】
管腔内座屈は、形状感知光学センサまたは個別のセンサによって提供される測定形状と予想形状との間の比較に基づいて検出される。たとえば、線形補間(たとえば、多項式補間)または非線形補間(たとえば、スプライン補間)、1つまたは複数の適合関数に基づく曲線適合、線形または非線形の回帰分析、またはこれらの何らかの組合せのような関数を用いて、リーダ(またはシース)の形状を推定することができる。
【0103】
図9Kおよび
図9Lに図示されるように、形状感知光ファイバ950がリーダ(または、図示しないシース)に沿って配置される。たとえば、形状感知センサは、プルワイヤがリーダ(または、シース)の壁の長さの内側にある導管内に配置することができる。形状感知センサは、導管の外側であるが、リーダ(または、シース)の壁の長さの内側に配置することができる。
【0104】
図10は、一実施形態による、測定状態と予想状態との間の比較に基づいて管腔内座屈を検出するための一般的なプロセス1000のフローチャートである。手術用ロボットシステムのコントローラ、たとえば、
図1に図示される手術用ロボットシステム100のコントローラ120は、内腔内座屈を検出するためにプロセス1000を使用する。プロセス1000は、いくつかの実施形態において
図10と連携して記載されたものとは異なるまたは追加のステップを含み得るか、または、
図10と連携して記載された順序とは異なる順序でステップを実行し得る。
【0105】
コントローラ120は、患者の内腔内に位置する内視鏡の一部に位置する第1のセンサから生成されたセンサデータを受信し(1010)、センサデータは、内視鏡の一部の実際の動きに基づく測定状態を示す。内視鏡の一部は、
図8Aおよび
図8Bに図示されるように、上述した3つのセンサ領域であり得る。例が、
図9A~
図9Lに記載されている。コントローラ120は、内視鏡の予想される動きによって生じる予想状態に関連付けられたデータを記載する予想データを受け取る(1020)。いくつかの実施形態では、予想データは、内視鏡に物理的に結合された器具デバイスマニピュレータ(EDM)から生成されたロボットコマンドデータであり、ロボットコマンドデータは、IDMを制御して、内視鏡の一部を、予想位置に向けて、患者内を移動させるように構成される。ロボットコマンドデータは、予想される動きに基づいて、予想状態を示す。コントローラ130は、測定状態を、予想状態と比較する(1030)。測定状態が、予想状態から、関連付けられた閾値より多くまたは少なく逸脱したことに応答して、コントローラ130は、内視鏡が座屈したと判定する(1040)。いくつかの実施形態において、閾値は、測定状態と予想状態との間の一致を示す。
【0106】
II.A.2.センサデータにより示される状態変化に基づく管腔内座屈検出 前のセクションでは、座屈は、予想された挙動と測定された挙動との間の相違に基づいて検出されるものとして記載された。このセクションでは、一般に内視鏡による動きコマンド(たとえば、挿入)の実行中、2つの時点間の内視鏡状態の変化に対してどのようにして座屈を検出することができるかについて記載している。
【0107】
図11A~
図11Hは、一実施形態による、コマンドの前後(または途中)に基づく管腔内座屈検出の例を例示する。各センサ領域に対する状態変化検出は、状態変化を検出するために予想データおよび測定データを使用する代わりに、2つの異なる時点における測定データが代わりに使用されることを除いて、
図9A~
図9Hに記載された例と同様である。
【0108】
第1の例として、
図11Aおよび
図11Bに図示されるように、センサA1125が、センサ領域A1120(たとえば、内視鏡の先端部)に配置される。T=T
1において、センサA1125は、測定状態A(たとえば、センサAのセンサタイプに応じて位置A、または力A)を検出する。T=T
2において、センサA1125は、測定状態B(たとえば、位置B、または力B)を検出する。T1およびT2における測定状態が、先端部付近に位置するセンサAについての状態変化(たとえば力の増加、位置の不十分な変化)のうちの1つの閾値の1つをトリガする場合、システムは、座屈が生じたと判定する。
【0109】
状態変化は、座屈を検出するのに十分であり得るが、場合によっては、2つ以上の状態変化の識別は、座屈が生じたことを判定または検証するのに役立つ。これら検出された状態変化は、同じまたは異なる領域内の同じまたは異なる種類の異なるセンサから生じ得る。たとえば、異なる種類の別のセンサ(たとえば、力センサ)がセンサ領域A1120に配置されている場合、他のセンサも、対応する状態変化を検出していれば、座屈が生じたことをより良く判定または検証することができる。
【0110】
同様に、内視鏡が、それぞれのセンサ領域に関連付けられた対応する状態変化を受けたか否かを評価するために、同じセンサ種類の、または異なるセンサ種類の1つまたは複数のセンサを配置することができる。2つの異なる時点での測定データに基づいて、異なる領域から検出された少なくとも2つの状態変化を組み合わせることによって、システムは、それが生じたときに座屈を検出するためのより優れた能力を有するであろう。
図11C~
図11Hは、2つの異なる領域で検出されている2つの状態変化の例を例示する。例は、領域A、領域B、および領域Cにおけるセンサの様々な組合せを含む。
図11Cおよび
図11Dは、領域Aおよび領域Bにおける状態変化に基づいて座屈を検出することを例示する。
図11Eおよび
図11Fは、領域Aおよび領域Cにおける状態変化に基づいて座屈を検出することを例示し、
図11Gおよび
図11Hは、領域Bおよび領域Cにおける状態変化に基づいて座屈を検出することを例示する。図示されていないが、座屈は、3つの領域すべてにおける状態変化に基づいて検出され得る。
【0111】
II.A.3 センサデータと光学フローデータとによって示される状態変化間の比較に基づく管腔内座屈検出
図12は、1つの例示的な実施形態による、センサデータによって示される状態変化に基づいて管腔内座屈を検出するためのプロセス1200のフローチャートである。プロセス1200は、いくつかの実施形態では、
図12と連携して記載されたものとは異なるまたは追加のステップを含み得るか、または、
図12と連携して記載された順序とは異なる順序でステップを実行し得る。
【0112】
手術用ロボットシステムのコントローラ120は、患者の内腔内に位置する内視鏡の一部に配置された第1のセンサから生成された第1のセンサデータを受信し(1210)、第1のセンサデータは、内視鏡の一部の動きを示す。いくつかの実施形態では、第1のセンサは、3つのセンサ領域(たとえば、センサ領域A~C)のうちの1つに位置する。たとえば、第1のセンサは、センサ領域Cに位置する。第1のセンサの例は、位置センサ(たとえば、EMセンサ)、画像センサ、力センサ、または抵抗センサを含む。
【0113】
コントローラ120は、内視鏡の遠位先端部に位置する第2のセンサから生成された第2のセンサデータを受信し(1220)、第2のセンサデータは、内視鏡の遠位端の動きを示す。いくつかの実施形態では、第2のセンサは、遠位先端部に取り付けられた撮像デバイス(たとえば、
図3Cの内視鏡118の撮像デバイス349)である。第2のセンサデータ(光学フローデータとも称される)は、撮像デバイスで撮影された画像である。セクションI.C.2.で記載されたように、第2のセンサデータは、画像の対間の変化に基づいて、内視鏡の動きを推定するために使用される。
【0114】
コントローラ120は、内視鏡の一部が第1の状態変化(たとえば、上述した任意の種類の状態変化)を受けたか否かを判定するために第1のセンサデータを評価する(1230)。コントローラ120は、内視鏡の遠位先端部が第2の状態変化を受けた(たとえば、先端部が移動しない)か否かを判定するために、第2のセンサデータを評価する(1240)。第1のセンサデータが、内視鏡の遠位部分に、第1の状態変化があったことを示し、第2のセンサデータが、内視鏡の遠位先端部に、第2の状態変化があったことを示していると判定することに応答して、コントローラ120は、内視鏡が座屈したと判定する(1250)。
【0115】
II.B.患者の外部での座屈検出 内視鏡の座屈は、患者の外部で生じ得る。たとえば、座屈は、リーダベースとシースベースとの間の近位リーダ部に沿って生じ得る。
図13A~
図13Fは、一実施形態による、患者の外部の内視鏡の座屈を検出する例である。
図13Aに図示されるように、センサ1340は、リーダベース1310とシースベース1320との両方に配置される。2つのセンサが、送信機-受信機対を構成する。たとえば、送信機は、赤外光または可視光の光ビーム1345を送信し、送信機と同軸の、または送信機に隣接する受信機は、光ビーム1345を検出する。送信機1340は、
図13Aに図示されるように受信機1343と反対側に配置され、またはその逆もある。
【0116】
送信機1340は、送信機と出口との間の距離1350で、リーダベース1310上の近位リーダ部1330の出口1315の周りに配置される。対応する受信機1343は、受信機と入口1325との間の同じ距離で、シースベース1320上の近位リーダ部1330の入口1325の周りに配置される。距離1350は閾値内にあり、座屈を検出するための適切な距離範囲を表す。座屈が生じると、
図13D~
図13Fに図示されるように、近位リーダ部の座屈部分が、光ビームを完全にまたは部分的に遮断し、受信機によって光信号が検出されないか、または受信機によって検出される光信号がそれに応じて減少する。
【0117】
図13Cに図示されるように、送信機-受信機対は、近位リーダ部の同じ側に配置され得る。たとえば、送信機-受信機対が、出口1315の周りに配置され、反射体1360が、入口1325の周りに配置され、送信機から、対応する受信機に送信された光ビームを反射する。
図13Cに図示されるように、送信機1340は、距離A1350に配置され、受信機1343は距離B1355に配置される。距離A1350および距離B1355は、座屈を検出するための閾値内にある。座屈が生じると、近位リーダ部の座屈部分が、光ビームを完全にまたは部分的に遮断し、受信機によって光信号が検出されないか、または受信機によって検出された光信号がそれに応じて減少する。
【0118】
異なる方向での座屈を検出するために、一組以上の送信機-受信機対が使用され得る。たとえば、多数の送信機が、各送信機と出口1315との間の出口1315の周りに配置される。多数の送信機-受信機対は、互いに平行な光ビームを生成するように分散され得るか、または、内視鏡の周りの円筒形表面領域をより良く覆うように交差光ビームを生成するように分散され得る。いくつかの実施形態では、送信された光ビームは、レーザビームのように焦点に集められた光であるが、多数の送信機-受信機対は、本来分散され、放射された種類の光を受信するように構成された受信機と一致され得る。
【0119】
図14は、一実施形態による、送信機-受信機対を使用することに基づいて患者の外部の座屈を検出するためのプロセス1400のフローチャートである。手術用ロボットシステムのコントローラ、たとえば、
図1に図示される手術用ロボットシステム100のコントローラ120は、座屈を検出するためにプロセス1400を使用する。プロセス1400は、いくつかの実施形態において、
図14と連携して記載されたものとは異なるまたは追加のステップを含み得るか、または、
図14と連携して記載された順序とは異なる順序でステップを実行し得る。
【0120】
手術手順のために内視鏡118を移動させるために、コントローラ120は、手術用ロボットシステム100からの1つまたは複数のコマンドを、たとえば
図13A~
図13Fに図示されるシースベース1320およびリーダベース1310のような1つまたは複数のアクチュエータへ提供する(1410)。
【0121】
コントローラ120は、患者の外部の内視鏡の長さに沿って配置された、少なくとも1つの送信機-受信機対から生成された受信機データを受信し(1420)、送信機-受信機対は、送信機から受信機へ光ビームを送信するように構成され、受信機データは、受信機が、送信機から送信された光ビームを受信したか否かを示す。たとえば、
図13Bおよび
図13D~
図13Fに図示されるように、送信機は、シースベース上に配置され、受信機は、リーダベース上に配置される。
【0122】
送信機からの光が遮断されたことを示す受信機データに応答して、コントローラ120は、内視鏡が座屈したと判定する(1430)。
【0123】
光学センサを使用するのではなく、代替の実装形態では、患者の外部の座屈を検出するために、1つまたは複数の力センサを、シースベース上の入口の周りのセンサ領域に配置することができる。
図15は、一実施形態による、患者の外部の内視鏡の座屈を検出する別の例を例示する。
図15に図示されるように、リーダベース1520の接続部1525の周りに位置するセンサ領域1540は、近位リーダ部1530と接触している。近位リーダ部に沿って座屈が生じると、センサと近位リーダ部の接触部分との間の力が増加する。センサは、近位リーダ部1530と強固に接続している歪みゲージまたはロードセルを含む。歪み構成の例は、「INSTRUMENT DEVICE MANIPULATOR WITH TENSION SENSING APPARATUS」と題され米国特許出願公開第2015/0119638号として公開された、2014年11月14日出願の米国特許出願第14/542,403号に記載され、その全開示は参照により本明細書に組み込まれる。
【0124】
III.他の座屈に関する考慮事項
コントローラ120は、内視鏡が座屈したことを示す、ユーザのためのフィードバックを生成し、そのフィードバックをユーザに提供する。たとえば、コントローラ120は、内視鏡が座屈したことを示すメッセージまたは警告を生成する。このメッセージまたは警告は、たとえば操作を制御するためにオペレータによって使用されている1つまたは複数のモニタなどのグラフィカルユーザインターフェース(GUT)上に表示するために提供され得る。コントローラ120はまた、ユーザへの推奨を生成することができる。これを行うために、コントローラ120は、内視鏡を移動させるためのコマンドに対する1つまたは複数の修正を決定する。修正は、少なくとも部分的にセンサデータに基づく。たとえば、コントローラ120は、内視鏡の座屈部分を滑らかにするためのコマンドを調整し得る。コマンドの例には、内視鏡を後退させること、先端部の移動を調整すること、IDMによって提供される挿入力を調整すること、内視鏡の移動を調整する別の適切なコマンド、内視鏡の移動を停止させること、またはこれらの組合せを含む。
【0125】
上記の記載は、リーダに焦点を当てた例に関して一般的に記載されているが、内腔内座屈はシースに沿っても生じ得る。リーダについて上述したものと同様の方法を、シースにも適用することができる。たとえば、第1のセンサ領域は、内視鏡の先端部、または、シースの端部の周りの小さな領域であり得る。第2のセンサ領域は、シースの一部であり得る。第3のセンサ領域は、省略されてもよく、または第2の領域よりもシース先端部から遠くに位置するシースに沿った別の領域として解釈されてもよい。
【0126】
IV.適応型挿入力閾値を用いた内視鏡挿入 前述のように、手術用ロボットシステム100は、手術手順のために患者内の内視鏡118を制御するために、1つまたは複数のロボットアーム102を使用する。ロボットアームは、挿入力を加えて内視鏡を挿入し、内視鏡を手術部位まで前進させる。内視鏡が前進するにつれて、内視鏡をさらに前進させるのに必要とされる力は、手術部位の位置、そこに到達するために患者の腔内を通る経路、内視鏡のサイズなどを含む様々な要因に依存して経時的に変化する。それに対応して、少なくとも選択された経路に応じて、患者の内腔を損傷することなく安全に加えられ得る力の量は変化するであろう。たとえば、患者内の単一の肺網内では、損傷を回避するために設定され得る単一の力閾値制限は、すべての肺葉に適用可能ではない。一般に、上葉は、内視鏡がこれらの領域に入るために曲がるので、下葉よりも大きな挿入力を必要とする。そのようなものとして、動的な閾値を超えるレベルの力の適用を依然として回避しながら、手術を安全に実行することを可能にするために、その動的な力挿入閾値が必要とされる。
【0127】
IV.A.適応型挿入力閾値の決定 本明細書に記載されるように、手術用ロボットシステムは、患者への安全ではないさらなる挿入を回避するために、患者の内腔内の異なる位置に対する挿入力を調整するために適応型挿入力閾値を利用する。適応型挿入力閾値は、内視鏡データおよび患者データに基づいて決定される。
【0128】
内視鏡データは、ナビゲーション中の内視鏡に関連付けられたデータを記載している。内視鏡データの例は、シースとリーダとの間の摩擦力、シースと内部の生体構造との間の摩擦力、リーダと内部の生体構造との間の摩擦力、内視鏡の現在位置、内視鏡の目標位置、シースの挿入長さ、リーダの挿入長さ、シースとリーダとの間の距離(たとえば、シースの挿入長さと、リーダの挿入長さとの間の差、シースの遠位端と、内視鏡の先端部との間の距離)、リーダの動き(たとえば、並進、回転、混合など)、シースの動き(たとえば、並進、回転、混合など)、先端部の動き(たとえば、並進、回転、撓みなど)、先端部と患者内の組織の一部との間の接触相互作用(たとえば、接触力)、患者内のリーダへの力、患者内のシースへの力、先端部への力、内視鏡の移動に影響を及ぼす別の適切なデータ、またはこれらの何らかの組合せを含む。
【0129】
内視鏡データは、内視鏡に配置された1つまたは複数のセンサから取得することができる。たとえば、内視鏡の先端部の位置センサまたは画像センサは、内視鏡の現在位置および先端部の動きを取得することができる。先端部上の力センサは、先端部と患者内の組織の一部との間の接触力、または、先端部と、接触する組織との間の他の種類の力(たとえば、摩擦、圧力など)を取得することができる。異なるセンサ種類の1つまたは複数のセンサ(たとえば、位置センサ、力センサ、形状センサなど)を、リーダまたはシースの一部に配置して、長さ、動き、またはリーダもしくはシースに関連付けられた異なる種類の力を検出することができる。例は、上記セクションII.に記載されている。
【0130】
内視鏡によって挿入された患者に関連付けられた患者データが記載される。特許データの例は、医療データ(たとえば、医療診断、医療治療、病気、病歴、ナビゲーションに影響を及ぼす他の適切な医療データ、または、これらの何らかの組合せ)、一般的な情報(たとえば、性別、年齢、習慣など)、または、これらの何らかの組合せ含む。患者データは、ロボット手術システムに含まれ、ロボット手術システムによってアクセス可能なデータベースに記憶され得る。
【0131】
上記で紹介したように、適応型挿入力閾値は、内視鏡データと患者データとに関連付けられた関数によって決定される。第1の実施形態では、適応型挿入力閾値は、挿入力閾値、内視鏡データ、および患者データの間の関係に関連付けられた非線形関数に基づいて決定される。内視鏡データと患者データとを入力することによって、この関数は、挿入力閾値を生成する。第2の実施形態では、適応型挿入力閾値は、測定基準の最適化に基づいて決定される。この測定基準は、安全範囲内で挿入力を加える効果を考慮している。安全範囲は、挿入力が患者内の接触する組織または臓器を損傷しない範囲を表す。たとえば、安全範囲内の最大挿入力を発見するために、最適化関数が使用される。第3の実施形態では、挿入力閾値は、機械学習アルゴリズムに基づいて決定される。たとえば、過去の内視鏡データによって、以前の同様の手術に関する患者データを、トレーニングデータセットとして機械学習モデルに渡すことができ、挿入力閾値を決定するための様々なパラメータが生成される。これらパラメータは、上記で紹介した種類の患者および内視鏡データと同じパラメータであり得るが、追加のまたは異なるパラメータも使用され得る。いくつかの実施形態では、患者データを、上記の実施形態における関数に対する制約として使用することができる。たとえば、患者が喘息疾患を患っている場合、気道の壁は炎症を起こし、過敏になる。その結果、力挿入閾値は、喘息のない患者の場合よりも低い値に設定され得る。
【0132】
挿入力閾値はまた、ルックアップテーブルに基づいて決定され得る。ルックアップテーブルは、様々な特性を有する複数の挿入力閾値を記載するデータを含む。たとえば、ルックアップテーブルは、患者または患者のグループの異なる内視鏡の位置に関連付けられた複数の挿入力閾値を記載する。ルックアップテーブルは、様々な内視鏡データおよび様々な患者データの統計分析、様々な内視鏡データおよび様々な患者データに適用される機械学習、様々な内視鏡データおよび様々な患者データのデータマイニング、または他の任意の適切な方法によって取得され得る。異なる実施形態において、手術用ロボットシステムによって様々な種類のルックアップテーブルが記憶され得る。コントローラによって記憶されるルックアップテーブルの種類の例は、内視鏡の異なる位置に対する挿入力閾値の可能性の確率分布、異なる特性を有する挿入力閾値のクラスタ、または、他の適切な情報(たとえば、数、密度、分類)を含む。一例では、ルックアップテーブルは、1つまたは複数のロボット手術システムによる、異なる特性(たとえば、性別、年齢)を有する患者の適用から取得される。ルックアップテーブルは、患者から取得された挿入力閾値、または、患者の閾値数もしくは割合から取得された、挿入力閾値の特性を識別し得る。いくつかの実施形態では、ルックアップテーブルは各患者について生成される。患者データおよび内視鏡データに基づいて、挿入力閾値が決定され得る。いくつかの実施形態では、ルックアップテーブルは、異なる種類の患者について生成される。
【0133】
図16A~
図16Cは、実施形態による、異なる患者で内視鏡の異なる位置において使用される適応型挿入力閾値の例を例示する。
図16Aは、内視鏡を手術部位に挿入する2つの例を図示する。第1の例は、内視鏡が肺1600の左上葉に位置する手術部位A1610Aに挿入されることを図示する。第2の例は、内視鏡が肺1600の右下葉に位置する手術部位B1610Bに挿入されることを図示する。
図16Aに図示されるように、2つの例は、異なる内視鏡データを有する。たとえば、2つの例は、内視鏡の異なる位置、異なる挿入長さのシース1630、異なる長さのリーダ1620、シース1630とリーダ1620との間の異なる距離、内視鏡の異なる動き(たとえば、リーダ1620Aは、リーダ1620Bよりも大きく曲がる)などを有する。内視鏡データが異なると、挿入力閾値も異なる。たとえば、第1の例は、曲げにより発生する力(たとえば、トルク、摩擦)を克服するために、より多くの挿入力を必要とする。さらに、異なる患者は、同じ手術部位において異なる挿入力閾値を有し得る。
【0134】
図16Bおよび
図16Cに図示されるように、損傷を回避しながら内視鏡の挿入を可能にするための挿入力閾値は、利用可能なデータに基づいて正確に決定することができる値ではない場合がある。その結果、システムは、代わりに、前述した技術のうちのいずれかに基づいて決定されたサイズを用いて挿入力閾値を決定し得る。挿入力閾値領域は、内視鏡の位置(たとえば、手術部位に近い位置)に対して安全である(すなわち、患者に害を及ぼさない)挿入力閾値の可能性の確率分布(たとえば、クラスタまたは密度)、または、内視鏡の位置に対する挿入力閾値の統計データを示す。いくつかの実施形態では、挿入力閾値領域は、手術部位へのナビゲーション中に複数の可能な位置に対する複数の可能な挿入力閾値を示す。
【0135】
図16Bおよび
図16Cは、ともに手術部位A1610Aに関連付けられた、第1の患者1640からの領域1645Aおよび第2の患者1650からの挿入力閾値領域1655Aと、第2の手術部位1610Bに対する第1および第2の患者のための同様な挿入力閾値領域1645B、1655Bを例示する。これらの図は、同様な手術部位および手順についての患者間の閾値領域間の可能性のある差異、ならびに同様な手順についての手術部位間の不一致もまた例示する。
【0136】
いくつかの実施形態において、手術用ロボットシステムは、ナビゲーション中に挿入力閾値を能動的に決定する。いくつかの実施形態において、挿入力閾値は、ロボットによる術前計画段階の一部として、あらかじめ決定され、術前モデルの異なる部分にタグ付けされ得る。
【0137】
手術用ロボットシステムは、挿入力を、決定された挿入力閾値と比較する。挿入力は、手術用ロボットシステムのロボットアームに結合された1つまたは複数の力センサによって検出することができる。挿入力が、あらかじめ画定された範囲内で挿入力閾値に近づいているとき、または挿入力閾値に近づくとき、手術用ロボットシステムは、システムGUIを介して、視覚および/またはオーディオフィードバックをユーザに送信する。たとえば、挿入力が、挿入力閾値に非常に近いか、または挿入力閾値に近づいていることを示す警告。挿入力閾値に対する相対距離を示すために、緑色、黄色、および赤色などの異なる色が使用され得る。他の実施形態では、挿入力閾値に達すると、手術用ロボットシステムはユーザへの推奨を生成する。これを行うために、手術用ロボットシステムは、内視鏡を挿入するためのコマンドに対する1つまたは複数の修正を決定する。修正は、内視鏡データおよび患者データに少なくとも部分的に基づく。コマンドの例は、手術用ロボットシステムからの1つまたは複数の挿入力を止めること、挿入力を減少させること、挿入力を調整する別の適切なコマンド、またはそれらの何らかの組合せを含む。
【0138】
IV.B.適応型挿入力閾値を用いた内視鏡挿入
図17は、一実施形態による、適応型挿入力閾値を用いて内視鏡を挿入するためのプロセス1700のフローチャートである。手術用ロボットシステムのコントローラ、たとえば
図1に図示される手術用ロボットシステム100のコントローラ120は、適応型挿入力閾値を用いて内視鏡を挿入するためにプロセス1700を用いる。プロセス1700は、いくつかの実施形態では、
図17と連携して記載したものとは異なるまたは追加のステップを含み得るか、または、
図17と連携して記載した順序とは異なる順序で、ステップを実行することができる。
【0139】
コントローラ120は、ロボット手術システムの内視鏡から内視鏡データを受信し(1710)、内視鏡データは、内視鏡の現在位置に部分的に基づく。たとえば、コントローラ20は、内視鏡(たとえば、シース、リーダ、または先端部)に配置された1つまたは複数のセンサから、内視鏡データとして、センサデータを取得することができる。
【0140】
コントローラ120は、患者に関連付けられた患者データにアクセスし(1720)、患者データは、患者に関連付けられた医療データに部分的に基づく。たとえば、コントローラ20は、ロボット手術システムに記憶されている患者データのデータベースにアクセスすることができる。コントローラ120は、ネットワークを介して1つまたは複数の外部データベースにアクセスすることによって患者データを取得することができる。
【0141】
コントローラ120は、内視鏡データおよび患者データに基づいて適応力挿入閾値を決定する(1730)。たとえば、コントローラ20は、1つまたは複数の機能またはモデル、ルックアップテーブルに基づいて、または挿入力閾値領域に基づいて、適応力挿入閾値を決定する。
【0142】
コントローラ120は、ロボット手術システムのロボットアームに結合された1つまたは複数の力センサによって検出された挿入力を受け取り(1740)、挿入力は、アームによって内視鏡に加えられる。たとえば、1つまたは複数の力センサを、ロボットアームの1つまたは複数のアームセグメント、ロボットアームの1つまたは複数の関節、ロボットアームとIMDとの間の接続、ロボットアームの移動に影響を及ぼす他の適切な位置、またはこれらの何らかの組合せに配置することができる。
【0143】
コントローラ120は、挿入力を、適応型挿入力閾値と比較する(1750)。適応力閾値を超える挿入力に応答して、コントローラ120は、内視鏡コマンド推奨を、ロボット手術システムに送信する(1760)。たとえば、挿入力が適応力閾値を超える場合、コントローラ120は、挿入力が挿入力閾値を超えることを示すメッセージまたは警告を送信する。コントローラ120は、挿入力を調整するためのコマンドに対する1つまたは複数の修正を決定する。
【0144】
V.別の考慮事項 この開示を読めば、当業者は、本明細書に開示された原理を通して、さらなる追加の代替の構造的および機能的設計を理解するであろう。したがって、特定の実施形態および用途を例示および記載してきたが、開示された実施形態は、本明細書に開示された厳密な構造および構成要素に限定されないことを理解されたい。添付の特許請求の範囲に規定された精神および範囲から逸脱することなく、本明細書に開示された方法および装置の構成、動作および詳細において、当業者に明らかな様々な修正、変更、および変形がなされ得る。
【0145】
本明細書で使用されるとき、「一実施形態」または「実施形態」への言及は、その実施形態に関連して記載された特定の要素、特徴、構造、または特性が、少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な箇所における「一実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を称しているとは限らない。
【0146】
いくつかの実施形態は、派生語と共に「結合された」および「接続された」という表現を使用して記載され得る。たとえば、いくつかの実施形態は、2つ以上の要素が直接的に物理的または電気的に接触していることを示すために「結合された」という用語を使用して記載され得る。しかしながら、「結合された」という用語はまた、2つ以上の要素が互いに直接的に接触していないが、それでもなお互いに協働または相互作用することを意味し得る。別段に明記しない限り、実施形態はこの文脈に限定されない。
【0147】
本明細書で使用されるとき、「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」という用語、またはこれらの他の任意の変形は、非排他的な包含をカバーすることが意図されている。たとえば、要素のリストを備えるプロセス、方法、物品、または装置は、必ずしもそれらの要素だけに限定されず、明示的に列挙されていない、またはそのようなプロセス、方法、物品、または装置に固有の、他の要素を含み得る。さらに、そうではないと明示的に述べられていない限り、「または」は、包括的なまたはを称し、排他的なまたはを称していない。たとえば、条件Aまたは条件Bは、次のうちのいずれかに一方によって満たされる。Aが真(または、存在する)でBが偽(または、存在しない)、Aが偽(または、存在しない)でBが真(または、存在する)、および、AとBとの両方が真(または、存在する)。
【0148】
さらに、「a」または「an」の使用は、本明細書の実施形態の要素および構成要素を記載するために採用されている。これは単に、便宜上、および本発明の一般的な意味を与えるために、行われている。この記載は、そうでないことを意味することが明らかではない限り、1つまたは少なくとも1つを含むように読まれるべきであり、単数形は複数形も含む。