(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-06
(45)【発行日】2023-10-17
(54)【発明の名称】コマンド指示されていない器具の回動を修正するシステムおよび方法
(51)【国際特許分類】
A61B 34/20 20160101AFI20231010BHJP
【FI】
A61B34/20
(21)【出願番号】P 2020530977
(86)(22)【出願日】2018-12-05
(86)【国際出願番号】 US2018064126
(87)【国際公開番号】W WO2019113249
(87)【国際公開日】2019-06-13
【審査請求日】2021-12-03
(32)【優先日】2017-12-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518083032
【氏名又は名称】オーリス ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100088605
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ウマラネーニ,リッティク
(72)【発明者】
【氏名】ジアン,アレン
【審査官】北村 龍平
(56)【参考文献】
【文献】特開2006-116289(JP,A)
【文献】特開2006-218027(JP,A)
【文献】特開2000-079087(JP,A)
【文献】米国特許出願公開第2015/0265368(US,A1)
【文献】特開平07-328016(JP,A)
【文献】特開2003-265500(JP,A)
【文献】特開2014-083156(JP,A)
【文献】特開2014-023818(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 34/00 - 34/37
1/00
(57)【特許請求の範囲】
【請求項1】
患者に挿入されるロボット制御された医療器具
であって、ユーザ指示に基づいて移動された前記医療器具においてコントローラフィードバックシステムを調整する方法であって、
前記ユーザ指示で指示されていない前記医療器具の前記医療器具の長手方向軸を中心とした回転を、下記(A)~(D)によって検出することと、
(A)前記
医療器具の遠位端にある少なくとも1つの画像処理装置または位置センサからデータを受信することと、
(B)前記少なくとも1つの画像処理装置または位置センサからの前記データに基づいて、先端
座標系を特定することであって、前記先端
座標系は、前記
医療器具の前記遠位端の現在の向きを表す、ことと、
(C)解剖学的
座標系またはグローバル
座標系を表す目標
座標系を取得することと、
(D)前記画像処理装置によって取得される画像であって解剖学的特徴の少なくとも1つの画像から導出される1つまたは複数の特徴と、前記解剖学的特徴の少なくとも1つのモデルから導出される1つまたは複数の特徴と、の比較に基づいて、前記先端座標系と前記目標座標系との間の相違を検出すること、
(1)前記画像処理装置の表示出力の向きを表す視覚座標系または(2)前記ユーザ指示と前記医療器具の動きの向きを表す制御座標系の少なくとも一方に対する調整を、前記先端
座標系および前記目標
座標系
の間の相違に基づい
て特定することと、
前記視覚座標系または前記制御座標系が前記目標座標系に一致するように前記特定された調整に基づいて前記視覚
座標系または前記制御
座標系を変換することと、
を含むことを特徴とする方法。
【請求項2】
前記少なくとも1つの位置センサは電磁センサを含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記目標
座標系を取得することは、前記患者の前記1つまたは複数の解剖学的特徴を表す画像の1つまたは複数の画素値に基づくことを特徴とする請求項
1に記載の方法。
【請求項4】
前記目標
座標系を取得することは、前記患者の主竜骨(main carina)の1つまたは複数の解剖学的特徴に基づくことを特徴とする請求項1に記載の方法。
【請求項5】
前記目標
座標系を取得することは、前記患者上に配置された1つまたは複数の電磁パッチからのデータに基づくことを特徴とする請求項1に記載の方法。
【請求項6】
前記調整を特定することは、前記
医療器具の前記遠位端の1つまたは複数の電磁センサからのデータと、前記患者上に配置された1つまたは複数の電磁パッチからのデータとの比較に基づくことを特徴とする請求項1に記載の方法。
【請求項7】
前記調整を特定することは、重力を計測する加速度計からのデータに基づくことを特徴とする請求項1に記載の方法。
【請求項8】
前記視覚
座標系または前記制御
座標系を変換することは、前記視覚
座標系または前記制御
座標系を前記
医療器具の長手方向軸に対して回動することを含むことを特徴とする請求項1に記載の方法。
【請求項9】
前記視覚
座標系または前記制御
座標系を変換すること
が、ユーザ入力に基づ
いて開始されることを特徴とする請求項1に記載の方法。
【請求項10】
前記変換された視覚
座標系または前記変換された制御
座標系を
、
前記医療器具を一方向に移動させることと、
前記視覚座標系または前記制御座標系において、前記医療器具の一方向への移動に応じて予測される変化を計算することと、
(1)前記視覚座標系または前記制御座標系における実際の変化と、(2)前記予測される変化と、を比較することと、
によって検証することをさらに含むことを特徴とする請求項1に記載の方法。
【請求項11】
患者に挿入されるロボット制御された医療器具であって、ユーザ指示に基づいて移動された前記医療器具においてコントローラフィードバックシステムを調整する方法であって、
前記ユーザ指示で指示されていない前記医療器具の前記医療器具の長手方向軸を中心とした回転を、下記(A)~(D)によって検出することと、
(A)前記医療器具の遠位端にある少なくとも1つの画像処理装置または位置センサからデータを受信することと、
(B)前記少なくとも1つの画像処理装置または位置センサからの前記データに基づいて、先端座標系を特定することであって、前記先端座標系は、前記医療器具の前記遠位端の現在の向きを表す、ことと、
(C)前記患者上に配置された1つまたは複数の電磁パッチからのデータに基づいて目標座標系を取得することと、
(D)前記先端座標系と前記目標座標系の間の相違を検出すること、
(1)前記画像処理装置の表示出力の向きを表す視覚座標系または(2)前記ユーザ指示と前記医療器具の動きの向きを表す制御座標系の少なくとも一方に対する調整を、前記先端座標系および前記目標座標系の間の相違に基づいて特定することと、
前記視覚座標系または前記制御座標系が前記目標座標系に一致するように前記特定された調整に基づいて前記視覚座標系または前記制御座標系を変換することと、
を含むことを特徴とする方法。
【請求項12】
前記少なくとも1つの位置センサは電磁センサを含むことを特徴とする請求項11に記載の方法。
【請求項13】
前記目標座標系を取得することは、前記患者の前記1つまたは複数の解剖学的特徴を表す画像の1つまたは複数の画素値に基づくことを特徴とする請求項11に記載の方法。
【請求項14】
前記目標座標系を取得することは、前記患者の主竜骨(main carina)の1つまたは複数の解剖学的特徴に基づくことを特徴とする請求項11に記載の方法。
【請求項15】
前記調整を特定することは、前記医療器具の前記遠位端の1つまたは複数の電磁センサからのデータと、前記患者上に配置された1つまたは複数の電磁パッチからのデータとの比較に基づくことを特徴とする請求項11に記載の方法。
【請求項16】
前記調整を特定することは、重力を計測する加速度計からのデータに基づくことを特徴とする請求項11に記載の方法。
【請求項17】
前記視覚座標系または前記制御座標系を変換することは、前記視覚座標系または前記制御座標系を前記医療器具の長手方向軸に対して回動することを含むことを特徴とする請求項11に記載の方法。
【請求項18】
前記視覚座標系または前記制御座標系を変換することは、ユーザ入力に基づいて開始されることを特徴とする請求項11に記載の方法。
【請求項19】
前記変換された視覚座標系または前記変換された制御座標系を、
前記医療器具を一方向に移動させることと、
前記視覚座標系または前記制御座標系において、前記医療器具の一方向への移動に応じて予測される変化を計算することと、
(1)前記視覚座標系または前記制御座標系における実際の変化と、(2)前記予測される変化と、を比較することと、
によって検証することをさらに含むことを特徴とする請求項11に記載の方法。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、2017年12月6日出願の米国仮出願第62/595,455号の利益を主張し、それを参照により本願に援用する。また、本願と共に提出されたApplication Data
Sheetにおいて特定される外国および国内の優先権主張を伴うすべての出願は、37 CFR 1.56の下、参照により本願に援用する。
【技術分野】
【0002】
本開示は、医療手技に関し、より具体的には、コマンド指示されていない器具の回動を修正するシステムおよび方法に関する。
【背景技術】
【0003】
内視鏡検査(例えば、気管支鏡検査)などの医療手技には、診断目的または治療目的で患者の管腔(例えば、気道、気管支、細気管支)内にアクセスおよび視覚化することが含まれる。特定の手技では、軟性の管状の器具(例えば、内視鏡、カテーテル)が患者の体内に挿入されたり、診断および/または治療目的で識別された組織部位に対して、道具(例えば、把持鉗子、生検鉗子、細胞診ブラシ、バルーン拡張器、スネア、ニードル、バスケット)が軟性の管状の器具に通されたりする。
【発明の概要】
【0004】
本件開示のシステム、方法および装置には、それぞれいくつかの革新的な側面があり、いずれも本明細書に開示する所望の特徴を単独で担うものではない。
【0005】
一側面では、患者に挿入されるロボット制御された医療器具においてコントローラフィードバックシステムを調整する方法であって、前記器具の遠位端にある少なくとも1つの画像処理装置または位置センサからデータを受信することと、前記少なくとも1つの画像処理装置または位置センサからの前記データに基づいて、先端基準系を特定することであって、前記先端基準系は、前記器具の前記遠位端の現在の向きを表す、ことと、解剖学的基準系またはグローバル基準系に関連する基準系を表す目標基準系を取得することと、前記先端基準系および前記目標基準系に基づいて視覚基準系または制御基準系に対する調整を特定することと、前記特定された調整に基づいて前記視覚基準系または前記制御基準系を変換することと、を含むことを特徴とする方法を提供する。
【0006】
また、上記方法は、以下の1つまたは複数の特徴を任意に組み合わせてもよい。(a)前記少なくとも1つの位置センサは電磁センサを含む。(b)前記視覚基準系は、前記器具の前記遠位端にある前記画像処理装置からの画像を表す。(c)前記制御基準系は、前記器具の制御システムの向きを表す。(d)前記目標基準系を取得することは、前記患者の1つまたは複数の解剖学的特徴に基づく。(e)前記目標基準系を取得することは、前記患者の前記1つまたは複数の解剖学的特徴を表す画像の1つまたは複数の画素値に基づく。(f)前記目標基準系を取得することは、前記患者の主竜骨(main carina)の1つ
または複数の解剖学的特徴に基づく。(g)前記目標基準系を取得することは、前記患者上に配置された1つまたは複数の電磁パッチからのデータに基づく。(h)前記目標基準系を取得することは、前記先端基準系に基づく。(i)前記調整を特定することは、解剖学的特徴の少なくとも1つの画像から導出される1つまたは複数の特徴と、前記解剖学的特徴の少なくとも1つのモデルから導出される1つまたは複数の特徴との比較に基づく。(j)解剖学的特徴の前記少なくとも1つの画像は、前記器具の前記遠位端にある前記画像処理装置から取得される。(k)前記調整を特定することは、前記器具の前記遠位端の1つまたは複数の電磁センサからのデータと、前記患者上に配置された1つまたは複数の
電磁パッチからのデータとの比較に基づく。(l)前記調整を特定することは、重力を計測する加速度計からのデータに基づく。(m)前記視覚基準系または前記制御基準系を変換することは、前記視覚基準系または前記制御基準系を前記器具の長手方向軸に対して回動することを含む。(n)前記視覚基準系または前記制御基準系を変換することは、前記視覚基準系または前記制御基準系を前記先端基準系または前記目標基準系に一致するように回動することを含む。(o)前記視覚基準系または前記制御基準系を変換することは、ユーザ入力に基づく。(p)前記変換された視覚基準系または前記変換された制御基準系を検証する。(q)前記変換された視覚基準系または前記変換された制御基準系を検証することは、前記器具を一方向に移動させることと、前記視覚基準系または前記制御基準系において、前記器具の前記移動に応じて予測される変化を計算することと、前記視覚基準系または前記制御基準系における実際の変化と前記予測される変化とを比較することと、を含む。
【0007】
[0005]別の側面では、患者に挿入される医療器具の制御基準系を変換するシステムであって、前記医療器具の移動を特定する制御システムと、実行可能な命令を記憶する少なくとも1つのコンピュータ可読メモリと、前記少なくとも1つのコンピュータ可読メモリと通信する1つまたは複数のプロセッサであって、前記命令を実行して前記システムに少なくとも前記医療器具のモータ制御コマンドとモータ出力との間の関係を表す制御基準系を取得することと、前記医療器具の遠位端にある少なくとも1つの画像処理装置または位置センサからのデータに基づいて、先端基準系を特定することであって、前記先端基準系は、前記医療器具の前記遠位端の現在の向きを表す、ことと、目標基準系を取得することと、前記先端基準系および前記目標基準系に基づいて、前記制御基準系を変換することと、を実行させる1つまたは複数のプロセッサと、を有することを特徴とするシステムを提供する。
【0008】
また、上記システムは、以下の1つまたは複数の特徴を任意に組み合わせてもよい。(a)前記少なくとも1つの位置センサは電磁センサを含む。(b)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記医療器具から前記先端基準系を受信することを実行させる。(c)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記医療器具の前記遠位端にある第2のセンサからデータを受信することと、前記第2のセンサからの前記データに基づいて、前記先端基準系を特定することと、を実行させる。(d)前記器具の前記遠位端にある前記第2のセンサは、少なくとも1つの画像処理装置または位置センサを含む。(e)前記第2のセンサは電磁センサを含む。(f)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記制御システムから前記制御基準系を受信すること、を実行させる。(g)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記医療器具を一方向に移動させることと、前記医療器具の前記移動に基づいて、前記制御基準系を特定することと、を実行させる。(h)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記器具から視覚基準系を受信することと、前記先端基準系および前記目標基準系に基づいて、前記視覚基準系を変換することと、を実行させる。(i)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記医療器具の前記遠位端にある前記少なくとも1つのセンサからデータを受信することと、前記少なくとも1つのセンサからの前記データに基づいて、視覚基準系を特定することと、前記先端基準系および前記目標基準系に基づいて、前記視覚基準系を変換することと、を実行させる。(j)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに
少なくとも前記患者の1つまたは複数の解剖学的特徴に基づいて、前記目標基準系を特定すること、を実行させる。(k)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記患者の前記1つまたは複数の解剖学的特徴を表す画像の1つまたは複数の画素値に基づいて、前記目標基準系を特定すること、を実行させる。(l)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記患者上に配置された1つまたは複数の電磁パッチからのデータに基づいて、前記目標基準系を特定すること、を実行させる。(m)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも解剖学的特徴の少なくとも1つの画像と前記解剖学的特徴の少なくとも1つのモデルとの間の1つまたは複数の違いを特定することと、前記少なくとも1つの画像と前記少なくとも1つのモデルとの間の前記違いに基づいて、前記制御基準系を変換すること、を実行させる。(n)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記制御基準系を前記目標基準系に一致するように前記医療器具の長手方向軸に対して回動すること、を実行させる。(o)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくともユーザ入力に基づいて前記制御基準系を変換すること、を実行させる。(p)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記変換された制御基準系を検証すること、を実行させる。(q)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記医療器具を一方向に移動させることと、前記制御基準系において、前記器具の前記移動に応じて予測される変化を特定することと、前記制御基準系における実際の変化と前記予測される変化とを比較することと、を実行させる。(r)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記医療器具を摺動可能に覆うシースの遠位端の向きを表すシース基準系を取得することと、前記制御基準系または前記目標基準系に基づいて、前記シース基準系を変換することと、を実行させる。
【0009】
さらに別の側面では、ロボット制御操縦可能器具システムであって、操縦可能な器具であって、近位端と、遠位端と、前記器具を通って延伸するチャネルと、前記遠位端にある少なくとも1つのセンサとを有し、患者に挿入される、器具と、前記操縦可能な器具を通って延伸し、前記操縦可能な器具の少なくとも1部と接続される1つまたは複数のプルワイヤと、ロボット器具ドライバと、前記器具ドライバに通信可能に接続され、前記1つまたは複数のプルワイヤを作動させる制御システムと、実行可能な命令を記憶する少なくとも1つのコンピュータ可読メモリと、前記少なくとも1つのコンピュータ可読メモリと通信する1つまたは複数のプロセッサであって、前記命令を実行して前記システムに少なくとも前記器具のモータ制御コマンドとモータ出力との間の関係を表す制御基準系を取得することと、前記器具の遠位端にある少なくとも1つの画像処理装置または位置センサからのデータに基づいて、先端基準系を特定することであって、前記先端基準系は、前記器具の前記遠位端の現在の向きを表す、ことと、目標基準系を取得することと、前記先端基準系および前記目標基準系に基づいて、前記制御基準系を変換することと、を実行させる1つまたは複数のプロセッサと、を有することを特徴とするシステムを提供する。
【0010】
また、上記システムは、以下の1つまたは複数の特徴を任意に組み合わせてもよい。(a)前記位置センサは電磁センサを含む。(b)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記少なくとも1つのセンサからデータを受信することと、前記少なくとも1つのセンサからの前記データに基づいて、前記先端基準系を特定することと、を実行さ
せる。(c)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記制御システムから前記制御基準系を受信すること、を実行させる。(d)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記1つまたは複数のプルワイヤを作動させて前記器具の前記部分を移動させることと、前記器具の前記部分の前記移動に基づいて、前記制御基準系を特定することと、を実行させる。(e)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記少なくとも1つのセンサからデータを受信することと、前記少なくとも1つのセンサからの前記データに基づいて、視覚基準系を特定することと、前記先端基準系および前記目標基準系に基づいて、前記視覚基準系を変換することと、を実行させる。(f)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記患者の1つまたは複数の解剖学的特徴に基づいて、前記目標基準系を特定すること、を実行させる。(g)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記患者上に配置された1つまたは複数の電磁パッチからのデータに基づいて、前記目標基準系を特定すること、を実行させる。(h)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも解剖学的特徴の少なくとも1つの画像と前記解剖学的特徴の少なくとも1つのモデルとの間の1つまたは複数の違いを特定することと、前記少なくとも1つの画像と前記少なくとも1つのモデルとの間の前記違いに基づいて、前記制御基準系を変換すること、を実行させる。(i)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記制御基準系を前記目標基準系に一致するように前記器具の長手方向軸に対して回動すること、を実行させる。(j)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくともユーザ入力に基づいて前記制御基準系を変換すること、を実行させる。(k)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記変換された制御基準系を検証すること、を実行させる。(l)前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記1つまたは複数のプルワイヤを作動させて前記器具の前記一部を移動させることと、前記制御基準系において、前記器具の前記一部の前記移動に応じて予測される変化を特定することと、前記制御基準系における実際の変化と前記予測される変化とを比較することと、を実行させる。(m)前記操縦可能な器具は前記器具の少なくとも一部を摺動可能に覆うシースをさらに有し、前記少なくとも1つのコンピュータ可読メモリと通信する前記1つまたは複数のプロセッサは、前記命令を実行して前記システムに少なくとも前記シースの遠位端の向きを表すシース基準系を取得することと、前記制御基準系または前記目標基準系に基づいて、前記シース基準系を変換することと、を実行させる。
【0011】
一側面では、命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、少なくとも1つのプロセッサに少なくとも、患者に挿入される医療器具のモータ制御コマンドとモータ出力との間の関係を表す制御基準系を取得することと、前記医療器具の遠位端にある少なくとも1つの画像処理装置または位置センサからのデータに基づいて、先端基準系を特定することであって、前記先端基準系は、前記医療器具の前記遠位端の現在の向きを表す、ことと、前記患者上に配置された前記少なくとも1つの画像処理装置または位置センサからのデータに基づいて、目標基準系を取得することと、(1)前記制御基準系と(2)前記目標基準系との間の1つまたは複数の違いを特定することと、を実行させる、ことを特徴とする非一時的なコンピュータ可読記憶媒体に関する。
【0012】
また、上記非一時的なコンピュータ可読記憶媒体は、以下の1つまたは複数の特徴を任意に組み合わせてもよい。(a)前記命令が実行されると、少なくとも1つのプロセッサに少なくとも、患者に挿入される医療器具のモータ制御コマンドとモータ出力との間の関係を表す制御基準系を取得することと、前記医療器具の遠位端にある少なくとも1つの画像処理装置または位置センサからのデータに基づいて、先端基準系を特定することであって、前記先端基準系は、前記医療器具の前記遠位端の現在の向きを表す、ことと、前記患者上に配置された前記少なくとも1つの画像処理装置または位置センサからのデータに基づいて、目標基準系を取得することと、前記制御基準系と記目標基準系との間の1つまたは複数の違いを特定することと、を実行させる(b)前記少なくとも1つの位置センサは電磁センサを含む。(c)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくとも前記医療器具から先端基準系を受信すること、を実行させる。(d)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくとも前記先端基準系に基づいて、前記目標基準系を特定すること、を実行させる。(e)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくとも前記特定された違いに基づいて、視覚基準系または前記制御基準系を変換すること、を実行させる。(f)前記視覚基準系は、前記医療器具の前記遠位端にある前記少なくとも1つの画像処理装置の向きを表す。(g)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくとも前記患者の1つまたは複数の解剖学的特徴に基づいて、前記目標基準系を特定すること、を実行させる。(h)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくとも解剖学的特徴の少なくとも1つの画像から導出される1つまたは複数の特徴と前記解剖学的特徴の少なくとも1つのモデルから導出される1つまたは複数の特徴とを比較することによって、前記1つまたは複数の違いを特定すること、を実行させる。(i)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくとも前記医療器具の前記遠位端にある前記少なくとも1つの位置センサからのデータと前記患者上に配置された1つまたは複数の電磁パッチからのデータとを比較することによって、前記1つまたは複数の違いを特定すること、を実行させる。(j)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくとも前記制御基準系を前記目標基準系に一致するように前記医療器具の長手方向軸に対して回動すること、を実行させる。(k)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくともユーザ入力に基づいて、前記制御基準系を変換すること、を実行させる。(l)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくとも前記変換された制御基準系を検証すること、を実行させる。(m)前記命令が実行されると、前記少なくとも1つのプロセッサに少なくとも前記器具を一方向に移動させることと、前記制御基準系において、前記医療器具の前記移動に応じて予測される変化を特定することと、前記制御基準系における実際の変化と前記予測される変化とを比較することと、を実行させる。
【図面の簡単な説明】
【0013】
本件開示の側面について、添付の図面および表と共に以下に説明するが、例示であって開示の側面を限定するものではなく、同様の構成要素には同様の名称を付す。
【0014】
【
図1】気管支鏡検査手技の診断および/または治療用に構成されたカートベースのロボットシステムの一実施形態を示す図である。
【
図2】
図1のロボットシステムの別の側面を示す図である。
【
図3】尿管鏡検査用に構成された
図1のロボットシステムの一実施形態を示す図である。
【
図4】血管手技用に構成された
図1のロボットシステムの一実施形態を示す図である。
【
図5】気管支鏡検査手技用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。
【
図7】ロボットアームを収容するように構成されたシステムの一例を示す図である。
【
図8】尿管鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。
【
図9】腹腔鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。
【
図10】ピッチ調整または傾き調整された
図5~9のテーブルベースのロボットシステムの一実施形態を示す図である。
【
図11】
図5~10のテーブルベースのロボットシステムのテーブルとカラムとの間のインタフェースの詳細図である。
【
図13】組になった器具駆動部を有する例示的な医療器具を示す図である。
【
図14】駆動ユニットの軸が器具の細長いシャフトの軸と平行である、器具駆動部および器具の代替の設計を示す図である。
【
図15】実施形態の一例における、
図13や14の器具の位置など、
図1~10のロボットシステム1つまたは複数の要素の位置を推定する位置決めシステムを示すブロック図である。
【
図16】本開示のシステムおよび手法の1つまたは複数の側面を実装する運用環境の一例を示す図である。
【
図17】
図16の運用環境においてナビゲートされる管腔ネットワークの一例を示す図である。
【
図18】画像処理機能および電磁感知機能を有する器具の一例の遠位端を示す図である。
【
図19A】医療器具の一例における、先端基準系、視覚基準系、制御基準系、目標基準系を示す図である。
【
図19B】医療器具の一例における、先端基準系、視覚基準系、制御基準系、目標基準系を示す図である。
【
図20A】コマンド指示されていない器具の回動が発生した医療器具の一例における、先端基準系、視覚基準系、制御基準系、目標基準系を示す図である。
【
図20B】コマンド指示されていない器具の回動が発生した医療器具の一例における、先端基準系、視覚基準系、制御基準系、目標基準系を示す図である。
【
図21A】コマンド指示されていない器具の回動の修正後の、
図20A、20Bの医療器具の一例における、先端基準系、視覚基準系、制御基準系、目標基準系を示す図である。
【
図21B】コマンド指示されていない器具の回動の修正後の、
図20A、20Bの医療器具の一例における、先端基準系、視覚基準系、制御基準系、目標基準系を示す図である。
【
図22】コマンド指示されていない器具の回動を修正するための、処理の一例を示すブロック図である。
【
図23】器具の一例における、電磁パッチセンサによって特定される目標の基準系を示す図である。
【
図24A】コマンド指示されていない器具の回動を修正する処理において、ユーザに提示可能なユーザインタフェースの一例を示す図である。
【
図24B】コマンド指示されていない器具の回動を修正する処理において、ユーザに提示可能なユーザインタフェースの一例を示す図である。
【
図24C】コマンド指示されていない器具の回動を修正する処理において、ユーザに提示可能なユーザインタフェースの一例を示す図である。
【
図24D】コマンド指示されていない器具の回動を修正する処理において、ユーザに提示可能なユーザインタフェースの一例を示す図である。
【
図25】コマンド指示されていない器具の回動の調整を特定する処理の一例を示す図である。
【
図26】コマンド指示されていない器具の回動を修正する制御システムを示す図である。
【発明を実施するための形態】
【0015】
(1.はじめに)
本件開示の側面は、腹腔鏡検査などの低侵襲の手技や内視鏡検査などの非侵襲の手技を含む種々の医療手技を実行可能なロボット対応医療システムに組み込むことができる。内視鏡検査の手技においては、本システムは、気管支鏡検査、尿管鏡検査、消化器病検査などを実行することができる。
【0016】
本システムは、さまざまな手技を実行できることに加えて、術者を支援する強化された画像取得や誘導など、追加の利点を提供することができる。また、本システムは、扱いにくいアームの動きや位置などに対応する必要なく、人工工学による位置から手技を行うことが可能な機能を術者に提供することができる。さらに、本システムは、システムの1つまたは複数の器具を1人のユーザで制御可能な使いやすさが向上した手技を行うことが可能な機能を術者に提供することができる。
【0017】
以下に、例示目的の図面とともに種々の実施形態について説明する。開示の技術的思想のその他多数の実装が可能であり、さまざまな利点が開示の実装と共に得られる。また、ここには、参照用および多数の節の位置がわかるように見出しが含まれている。これらの見出しは、見出しが示す技術思想の範囲を制限するものではない。それぞれの技術思想は本明細書全体にわたって適用されてよい。
【0018】
本明細書で使用される場合、「遠位」は、使用時において患者に最も近いスコープ、器具、道具の端部を意味し、「近位」は、操作者(術者やロボット制御システムなど)に最も近いスコープ、器具、道具の端部を意味する。すなわち、ここでは、スコープ、器具、道具、および/またはロボットシステムの構成要素の相対位置が、操作者の視点から説明される。
【0019】
本明細書で使用される場合、用語「約」は長さ、厚さ、数量、時間、その他の計測値の計測範囲を意味する。この計測範囲には、指定された値に対する+10%~-10%あるいはそれ以下の変動、好ましくは+5%~-5%あるいはそれ以下の変動、より好ましくは+1%~-1%あるいはそれ以下の変動、さらに好ましくは+0.1%~-0.1%あるいはそれ以下の変動を含み、本明細書に記載する装置、システム、手法が機能する適切な程度においてこれらの変動が許容される。
【0020】
以下に、例示目的の図面とともに種々の実施形態について説明する。開示の技術的思想のその他多数の実装が可能であり、さまざまな利点が開示の実装と共に得られる。また、ここには、参照用および多数の節の位置がわかるように見出しが含まれている。これらの見出しは、見出しが示す技術思想の範囲を制限するものではない。それぞれの技術思想は本明細書全体にわたって適用されてよい。
【0021】
(A.ロボットシステム-カート)
ロボット対応医療システムは、特定手技に応じてさまざまに構成することができる。
図1は、気管支鏡検査の診断手技および/または治療樹技用に配置されたカートベースのロボット対応システム10の一実施形態を示す。気管支検査時に、システム10は、気管支鏡検査用の手技に特化した気管支鏡を自然開口のアクセスポイント(この例ではテーブルに配置された患者の口など)に操作可能な内視鏡13などの医療器具を搬送して診断用の
道具および/または治療用の道具を搬送するための、1つまたは複数のロボットアーム12を有するカート11を備える。図に示すように、カート11は、当該アクセスポイントにアクセスするために、患者の上半身に近い位置に配置されている。同様に、ロボットアーム12は、当該アクセスポイントに対して気管支鏡を配置するように作動可能である。
図1に示す配置は、胃腸に関する(GI;gastro-intestinal)手技用の特別な内視鏡で
ある胃鏡を用いた胃腸に関する手技を行うときにも使用できる。
図2は、カートの一例である実施形態をより詳細に示す。
【0022】
引き続き
図1を参照すると、カート11が適切に位置決めされると、ロボットアーム12は操縦可能な内視鏡13を患者に、ロボットにより、手動により、またはそれらの組み合わせにより挿入することができる。図示のように、操縦可能な内視鏡13は内側リーダ部分および外部シース部分などの少なくとも2つの入れ子式部分を備えることができ、各部分は器具ドライバ28のセットから別個の器具ドライバに結合され、各器具ドライバは個々のロボットアームの遠位端に結合される。リーダ部分をシース部分と同軸に位置合わせすることを容易にする、器具ドライバ28のこの線形配置は、1つ以上のロボットアーム12を異なる角度および/または位置に操作することによって、空間内で再配置され得る「仮想レール」29を作成する。本明細書で説明する仮想レールは破線を使用して図示され、したがって、破線はシステムのいかなる物理的構造も示さない。仮想レール29に沿った器具ドライバ28の移動は外部シース部分に対して内側リーダ部分を入れ子式にし、または内視鏡13を患者から前進または後退させる。仮想レール29の角度は、臨床用途または医師の好みに基づいて、調整、移動、および旋回されてもよい。例えば、気管支鏡検査では、図示のような仮想レール29の角度および位置が内視鏡13を患者の口内に曲げることに起因する摩擦を最小限に抑えながら、内視鏡13への医師のアクセスを提供することの折衷案を表す。
【0023】
内視鏡13は、挿入後、ロボットシステムからの正確なコマンドを使用して、目標位置または手術部位に到達するまで、患者の気管および肺に向けられ得る。患者の肺ネットワークを通るナビゲーションを強化し、かつ/または所望の標的に到達するために、内視鏡13を操作して、外部シース部分から内側リーダ部分を入れ子式に延ばして、関節動作を強化し、曲げ半径を大きくすることができる。別個の器具ドライバ28の使用はまた、リーダ部分およびシース部分が、互いに独立して駆動されることを可能にする。
【0024】
例えば、内視鏡13は例えば、患者の肺内の病変または結節などの標的に生検針を送達するように指示されてもよい。針は病理学者によって解析されるべき組織サンプルを得るために、内視鏡の長さにわたるワーキングチャネルに沿って展開され得る。病理学的結果に応じて、追加のツールが追加の生検のために、内視鏡のワーキングチャネルの下方に配置されてもよい。悪性である結節を同定した後、内視鏡13は、潜在的に癌性の組織を切除するためのツールを内視鏡的に送達し得る。いくつかの例において、診断および治療手技は、別々の手続で送達される必要があり得る。これらの状況では、内視鏡13はまた、基準を送達して、対象結節の位置を「マーキング」するために使用され得る。他の例において、診断および治療手技は、同じ手順の間に送達され得る。
【0025】
システム10はまた、可動タワー30を含むことができ、このタワー30は、支持ケーブルを介してカート11に接続されて、カート11に対する制御、電子機器、流体工学、光学系、センサ、および/または電力のためのサポートを提供することができる。このような機能をタワー30内に配置することにより、より小さなフォームファクタのカート11が可能になり、これは、手術医師およびそのスタッフによって、より容易に調整および/または再配置され得る。さらに、カート/テーブルと支持タワー30との間の機能の分割は手術室の混乱を低減し、臨床作業の流れを改善することを容易にする。カート11を患者の近くに配置することができるが、タワー30は手技中に邪魔にならないように離れ
た場所に収容することができる。
【0026】
上述のロボットシステムのサポートにおいて、タワー30はコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶するコンピュータベースの制御システムの構成要素を含むことができる。これらの命令の実行は、実行がタワー30またはカート11内で行われるかどうかにかかわらず、システム全体またはそのサブシステムを制御することができる。例えば、コンピュータシステムのプロセッサによって実行される場合、命令はロボットシステムの構成要素に、関連するキャリッジおよびアームマウントを作動させ、ロボットアームを作動させ、医療器具を制御させることができる。例えば、制御信号の受信に応じて、ロボットアームのジョイント内のモータは、アームを特定の姿勢に位置決めすることができる。
【0027】
タワー30はまた、内視鏡13を通して展開され得るシステムに制御された潅注および吸引能力を提供するために、ポンプ、流量計、弁制御、および/または流体アクセスを含む。これらの構成要素は、タワー30のコンピュータシステムを使用して制御することもできる。いくつかの実施形態では、洗浄および吸引能力が別個のケーブルを介して内視鏡13に直接送達されてもよい。
【0028】
タワー30はカート11にフィルタされ保護された電力を供給するように設計された電圧およびサージプロテクタを含むことができ、それによって、カート11内に電力変圧器および他の補助電力部品を配置することが回避され、その結果、より小さく、より可動性の高いカート11が得られる。
【0029】
タワー30はまた、ロボットシステム10全体に展開されるセンサのための支持装置を含むことができる。例えば、タワー30はロボットシステム10全体にわたって光学センサまたはカメラから受信したデータを検出し、受信し、処理するための光電子機器を含むことができる。制御システムと組み合わせて、このような光電子機器を使用して、タワー30を含むシステム全体に配置された任意の数のコンソールに表示するためのリアルタイム画像を生成することができる。同様に、タワー30は配置された電磁(EM;Electromagnetic)センサから受信された信号を受信し、処理するための電子サブシステムも含む
ことができる。タワー30はまた、医療器具内または医療器具上の電磁センサによる検出のために電磁場発生器を収容し、位置決めするために使用されてもよい。
【0030】
タワー30は、システムの残りの部分で利用可能な他のコンソール、例えばカートの頂部に取り付けられたコンソールに加えて、コンソール31を含むこともできる。コンソール31は、ユーザインタフェースと、医師の操作者のためのタッチスクリーンなどの表示画面とを含むことができる。システム10内のコンソールは一般に、ロボット制御と、内視鏡13のナビゲーションおよび位置決め情報などの手術前およびリアルタイム情報との両方を提供するように設計される。コンソール31が医師が利用できる唯一のコンソールではない場合、看護師のような第二の操作者によって、患者の健康状態や活動状態とシステムの動作を監視し、ナビゲーションおよび位置決め情報などの手続固有のデータを提供するために使用することができる。他の実施形態では、コンソール30は、タワー30とは別の筐体内に格納されている。
【0031】
タワー30は、1つまたは複数のケーブルまたは接続部(図示せず)を介してカート11および内視鏡13に結合することができる。いくつかの実施形態では、タワー30からのサポート機能が単一のケーブルを介してカート11に提供されてもよく、手術室を単純化し、混乱を解消する。他の実施形態では、特定の機能が別個のケーブル配線および接続で結合されてもよい。例えば、単一の電力ケーブルを介してカートに電力を供給すること
ができるが、制御、光学、流体、および/またはナビゲーションのための支持体は別個のケーブルを介して提供することができる。
【0032】
図2は、
図1に示されたカートベースのロボット使用可能システムからのカートの実施形態の詳細図を提供する。カート11は全体として、細長い支持構造14(しばしば「カラム」と呼ばれる)、カート基部15、およびカラム14の上端部にコンソール16を含む。カラム14は、1つまたは複数のロボットアーム12(
図2には3つが示されている)の展開を支持するためのキャリッジ17(あるいは「アーム支持体」)などの1つまたは複数のキャリッジを含むことができる。キャリッジ17は、患者に対してより良好に位置決めするためにロボットアーム12の基部を調整するために垂直軸に沿って回動する個別に構成可能なアームマウントを含むことができる。キャリッジ17はまた、キャリッジ17がカラム14に沿って垂直に移動することを可能にするキャリッジインタフェース19を含む。
【0033】
キャリッジインタフェース19は、キャリッジ17の垂直方向の移動を案内するためにカラム14の両側に配置されたスロット20のようなスロットを介してカラム14に接続されている。スロット20はキャリッジをカート基部15に対して種々の垂直高さに位置決めし、保持するための垂直移動インタフェースを含む。キャリッジ17の垂直移動は、カート11が様々なテーブル高さ、患者サイズ、および医師の好みに合うようにロボットアーム12の到達範囲を調整することを可能にする。同様に、キャリッジ17上の個々に構成可能なアームマウントは、ロボットアーム12のロボットアームベース21が様々な構成で角度付けされることを可能にする。
【0034】
いくつかの実施形態では、スロット20がキャリッジ17が垂直に移動するときに、カラム14の内部チャンバおよび垂直移動インタフェース内への汚れおよび流体の進入を防止するために、スロット表面と面一であり、かつ平行であるスロットカバーで補足されてもよい。スロットカバーは、スロット20の縦上端部および底部の近くに配置されたバネスプールの対を通して展開されてもよい。カバーはキャリッジ17が垂直に上下に平行移動するときに、展開されてそれらのコイル状態から伸縮するまで、スプール内でコイル状に巻かれる。スプールのばね荷重はキャリッジ17がスプールに向かって移動するときにカバーをスプール内に引っ込める力を提供し、一方、キャリッジ17がスプールから離れるように移動するときにも緊密な捺印を維持する。カバーは例えば、キャリッジ17が移動するときにカバーの適切な伸縮を確実にするために、キャリッジインタフェース19内のブラケットを使用して、キャリッジ17に接続されてもよい。
【0035】
カラム14はユーザ入力、例えばコンソール16からの入力に応答して生成される制御信号に応答して機械的な方法でキャリッジ17を移動させるために、垂直に位置合わせされた親ねじを使用するように設計された、歯車およびモータなどの機構を内部に備えることができる。
【0036】
ロボットアーム12は一般に、一連のジョイント24によって接続された一連のリンク機構23によって分離されたロボットアーム基部21およびエンドエフェクタ22を備えることができ、各ジョイントは独立したアクチュエータを備え、各アクチュエータは独立して制御可能なモータを備える。各独立して制御可能なジョイントは、ロボットアームに利用可能な独立した自由度を表す。アーム12のそれぞれは7つのジョイントを有し、したがって、7つの自由度を提供する。多数のジョイントは多数の自由度をもたらし、「冗長である」自由度を可能にする。冗長な自由度は、ロボットアーム12が異なる結合位置および関節角を使用して、空間内の特定の位置、向き、および軌道にそれぞれのエンドエフェクタ22を位置決めすることを可能にする。これにより、システムは医師が腕の関節を患者から離れた臨床的に有利な位置に移動させて、腕の衝突を回避して、より広いアク
セス範囲を実現しながら、空間内の所望の位置から医療器具を位置決めしたり方向付けたりすることが可能になる。
【0037】
カート基部15は、床上のカラム14、キャリッジ17、およびアーム12の重量を釣り合わせる。したがって、カート基部15は、電子機器、モータ、電源などのより重い構成要素、ならびにカートの移動および/または固定のいずれかを可能にする構成要素を収容する。例えば、カート基部15は、手技の前にカートが部屋の周りを容易に移動することを可能にする、回動可能なホイール形状のキャスタ25を含む。適切な位置に到達した後、キャスタ25は、手続中にカート11を所定の位置に保持するためにホイールロックを使用して固定されてもよい。
【0038】
コンソール16はカラム14の垂直端部に配置されているので、ユーザ入力を受け取るためのユーザインタフェースと、医師ユーザに手術前および手術中の両方のデータを提供するための表示画面(または、例えば、タッチスクリーン26などの二目的用装置)との両方を可能にする。タッチスクリーン26上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影(CT)スキャンから導出されたナビゲーションおよびマッピングデータ、および/または術前患者インタビューからの注を含むことができる。ディスプレイ上の手術中データは、器具から提供される光学情報、センサおよびセンサからの座標情報、ならびに呼吸、心拍数、および/または脈拍などの患者の活動統計を含むことができる。コンソール16は医師がキャリッジ17の反対側のカラム14の側からコンソールにアクセスすることができるように、配置され、傾斜されてもよい。この位置から、医師はカート11の背後からコンソール16を操作しながら、コンソール16、ロボットアーム12、および患者を見ることができる。図示のように、コンソール16はまた、カート11の操縦および安定化を補助するためのハンドル27を含む。
【0039】
図3は、尿管鏡検査のために配置されたロボット使用可能システム10の実施形態を示す。尿管鏡手技では、カート11が患者の尿道および尿管を横切るように設計された手技特有の内視鏡である尿管鏡32を患者の下腹部領域に送達するように配置されてもよい。尿管鏡検査では、尿管鏡32を患者の尿道と直接位置合わせして、領域内の繊細な解剖学的構造に対する摩擦および力を低減することが望ましい場合がある。図に示されるように、カート11はロボットアーム12が患者の尿道への直接的な線形アクセスのために尿管鏡32を位置決めすることを可能にするために、テーブルの足に位置合わせすることができる。テーブルの足から、ロボットアーム12は、尿管鏡32を仮想レール33に沿って尿道を通して患者の下腹部に直接挿入することができる。
【0040】
尿道への挿入後、気管支鏡検査におけるのと同様の制御手法を使用して、尿管鏡32は診断および/または治療用途のために、膀胱、尿管、および/または腎臓内にナビゲートされ得る。例えば、尿管鏡32は、尿管鏡32のワーキングチャネルの下に配置されたレーザまたは超音波砕石装置を用いて、尿管および腎臓に向けられて、腎結石の蓄積を破壊することができる。砕石術が完了した後、得られた結石断片は、尿管鏡32の下方に配置されたバスケットを用いて除去され得る。
【0041】
図4は、血管手技のために同様に配置されたロボット使用可能システムの実施形態を示す。血管手技では、システム10がカート11が操縦可能なカテーテルなどの医療器具34を患者の脚の大腿動脈内のアクセスポイントに送ることができるように構成することができる。大腿動脈はナビゲーションのためのより大きな直径と、患者の心臓への比較的遠回りで曲がりくねった経路との両方の特徴があり、このためナビゲーションを単純化できる。尿管鏡手技におけるように、カート11は、ロボットアーム12が患者の大腿/股関節領域における大腿動脈アクセスポイントへの直接的な線形アクセスを有する仮想レール35を提供することを可能にするように、患者の脚および下腹部に向かって配置され得る
。動脈内への挿入後、医療器具34は、器具ドライバ28を移動させることによって方向付けられ、挿入されてもよい。あるいは、カートが例えば、肩および手首の近くの頸動脈および上腕動脈などの代替の血管アクセスポイントに到達するために、患者の上腹部の周りに配置されてもよい。
【0042】
(B.ロボットシステム-テーブル)
ロボット対応医療システムの実施形態はまた、患者のテーブルを組み込んでもよい。テーブルを組み込むことにより、カートを取り外すことによって手術室内の資本設備の量が減少し、患者へのアクセスがより大きくなる。
図5は、気管支鏡検査手順のために配置されたそのようなロボット使用可能システムの実施形態を示す。システム36は、床の上にプラットフォーム38(「テーブル」または「ベッド」として示される)を支持するための支持構造または支柱37を含む。カートベースのシステムと同様に、システム36のロボットアーム39のエンドエフェクタは、
図5の気管支鏡40などの細長い医療器具を、器具ドライバ42の直線的な位置合わせから形成された仮想レール41を通して、またはそれに沿って操作するように設計された器具ドライバ42を備える。実際には、X線透視画像を提供するためのCアームがテーブル38の周りにエミッタおよび検出器を配置することによって、患者の上腹部領域の上に配置され得る。
【0043】
図6は、説明のため患者および医療器具を除いたシステム36の代替図を示す。図示されているように、カラム37はシステム36内にリング形状として示されている1つ以上のキャリッジ43を含むことができ、このキャリッジを基に1つ以上のロボットアーム39を構成することができる。キャリッジ43はロボットアーム39が患者に到達するように配置され得る異なる視点を提供するために、カラム37の長さに沿って延びる垂直カラムインタフェース44に沿って移動してもよい。キャリッジ43は、カラム37内に配置された機械的モータを使用してカラム37の周りを回動して、ロボットアーム39がテーブル38の複数の側、例えば患者の両側にアクセスできるようにすることができる。複数のキャリッジを有する実施形態では、キャリッジがカラム上に個別に配置されてもよく、他のキャリッジとは独立して移動および/または回動してもよい。キャリッジ43はカラム37を取り囲む必要はなく、または円形である必要もないが、図示されるようなリング形状は構造的バランスを維持しながら、カラム37の周りのキャリッジ43の回動を容易にする。キャリッジ43の回動および移動により、システムは、内視鏡および腹腔鏡のような医療器具を患者の異なるアクセスポイントに位置合わせすることができる。他の実施形態(図示せず)では、システム36は、調節可能なアーム支持部を有する患者テーブルまたはベッドを備えてもよく、アーム支持部はテーブルまたはベッドに沿って延伸するバーやレールの形態として設けることができる。1つまたは複数のロボットアーム39(肘関節を有する肩部を介するなどによる)は、上記の調節可能なアーム支持部を垂直方向に調整して取り付けることができる。垂直方向の調整ができることで、ロボットアーム39は、患者テーブルまたは別途の下にコンパクトに収容でき、後で手技時に引き上げることができる。
【0044】
アーム39は、ロボットアーム39に追加の構成要素を提供するために個別に回動および/または入れ子式に延在することができる一連のジョイントを備える一組のアームマウント45を介してキャリッジに取り付けることができる。さらに、アームマウント45は、キャリッジ43が適切に回動されたときに、アームマウント45がテーブル38の同じ側(
図6に示す)、テーブル38の反対側(
図9に示す)、またはテーブル38の隣接する側(図示せず)のいずれかに配置されるように、キャリッジ43上に配置されてもよい。
【0045】
カラム37は構造的に、テーブル38を支持し、キャリッジを垂直方向に移動させるための経路を提供する。内部においては、カラム37がキャリッジの垂直移動を案内するた
めのリードスクリューと、リードスクリューに基づいて前記キャリッジの移動を機械化するためのモータとを備えることができる。カラム37はまた、キャリッジ43およびその上に取り付けられたロボットアーム39に電力および制御信号を伝達することができる。
【0046】
テーブル基部46は
図2に示すカート11のカート基部15と同様の機能を果たし、テーブル/ベッド38、カラム37、キャリッジ43、およびロボットアーム39をバランスさせるためのより重い構成要素を収容する。テーブル基部46はまた、手続中の安定性を提供するために、硬性キャスタを組み込んでもよい。キャスタはテーブル基部46の下端から展開されて、基部46の両側で反対方向に延在し、システム36を移動させる必要があるときに後退することができる。
【0047】
引き続き
図6を参照すると、システム36は、テーブルとタワーとの間でシステム36の機能を分割してテーブルのフォームファクタおよびバルクを低減するタワー(図示せず)を含むこともできる。上記の実施形態と同様に、タワーは、処理、計算、および制御能力、電力、流体工学、ならびに/または光学およびセンサ処理などの様々なサポート機能をテーブルに提供することができる。タワーはまた、医師のアクセスを改善し、手術室を煩雑にしないようにするために、患者から離れて配置されるように移動可能であってもよい。さらに、タワー内に部品を配置することにより、ロボットアームの潜在的な収納のためのテーブル基部内のより大きい収納スペースが実現する。タワーはまた、キーボードおよび/またはペンダントなどのユーザ入力のためのユーザインタフェースと、リアルタイム画像、ナビゲーション、および追跡情報などの術前および術中情報のための表示画面(またはタッチスクリーン)との両方を提供するコンソールを含むことができる。
【0048】
いくつかの実施形態では、テーブル基部が使用されていないときにロボットアームを収納し、格納することができる。
図7は、テーブルベースのシステムの一実施形態においてロボットアームを収容するシステム47を示す。システム47では、キャリッジ48がロボットアーム50、アームマウント51、およびキャリッジ48を基部49内に収容するために、基部49内に垂直に移動させることができる。基地カバー52は、キャリッジ48、アームマウント51、およびアーム50を列53の近辺に展開するために移動されて開閉され、使用されていないときにそれらを保護するために閉じられてもよい。基部カバー52は、その開口の縁部に沿って膜54で封止されて、閉鎖時の汚れおよび流体の進入を防止することができる。
【0049】
図8は、尿管鏡検査手順のために構成されたロボット使用可能なテーブルベースのシステムの実施形態を示す。尿管鏡検査では、テーブル38が患者をカラム37およびテーブル基部46から外れた角度に位置決めするための旋回部分55を含むことができる。旋回部分55は旋回部分55の下端を支柱37から離して位置決めするために、旋回点(例えば、患者の頭部の下に位置する)の周りで回動または旋回してもよい。例えば、旋回部分55の旋回は、Cアーム(図示せず)がテーブル38の下のカラム(図示せず)と空間を競合することなく、患者の下腹部の上に配置されることを可能にする。キャリッジ35(図示せず)を支柱37の周りに回動させることによって、ロボットアーム39は、尿管鏡56を仮想レール57に沿って患者の鼠径部に直接挿入して尿道に到達させることができる。尿管鏡検査では、手技中に患者の脚の位置を支持し、患者の鼠径部への明確なアクセスを可能にするために、スターラップ58をテーブル38の旋回部分55に固定することもできる。
【0050】
腹腔鏡手技では、患者の腹壁の小さな切開を通して、最小侵襲性器具(1つ以上の切開のサイズに適応するように細長い形状)が患者の解剖学的構造に挿入され得る。患者の腹腔を膨張させた後、しばしば腹腔鏡と呼ばれる器具は把持、切断、切除、縫合などの手術タスクを実行するように指示されてもよく、
図9は腹腔鏡手技のために構成されたロボッ
ト使用可能なテーブルベースのシステムの実施形態を示す。
図9に示されるように、システム36のキャリッジ43はテーブル38の両側にロボットアーム39の対を位置決めするように回動され、垂直に調整され、その結果、腹腔鏡59は患者の腹腔に到達するために患者の両側の最小切開部を通過するようにアームマウント45を使用して位置決めされ得る。
【0051】
腹腔鏡手技に適応するために、ロボット使用可能テーブルシステムは、プラットフォームを所望の角度に傾斜させることもできる。
図10は、ピッチまたはチルト調整を有するロボット使用可能医療システムの実施形態を示す。
図10に示すように、システム36は、テーブル38の傾斜に適応して、テーブルの一部分を床から他の部分よりも大きな距離に位置決めすることができる。さらに、アームマウント45はアーム39がテーブル38と同じ平面関係を維持するように、傾きに合わせて回動することができる。より急勾配の角度に適応するために、カラム37は、カラム37の垂直延長部がテーブル38が床に触れたり基部46と衝突したりしないようにする入れ子式部分60を含むこともできる。
【0052】
図11は、テーブル38とカラム37との間のインタフェースの詳細を示す。ピッチ回動機構61は、欄37に対するテーブル38のピッチ角を複数の自由度で変更するように構成されてもよい。ピッチ回動機構61はカラム・テーブル・インタフェースにおける直交軸1、2の位置決めによって可能にすることができ、各軸は、電気的なピッチ角コマンドに応答して各軸が別個のモータ3、4によって作動される。一方のねじ5に沿った回動は一方の軸1における傾斜調整を可能にし、他方のねじ6に沿った回動は、他方の軸2に沿った傾斜調整を可能にする。いくつかの実施形態では、ボールジョイントを用いて、複数の自由度でカラム37に対する相対的なテーブル38のピッチ角を変更することができる。
【0053】
例えば、ピッチ調整は下腹部手術のために、テーブルをトレンデレンブルグ位置に位置決めしようとするとき、すなわち、患者の下腹部を患者の下腹部よりも床から高い位置に位置決めしようとするとき、特に有用である。トレンデレンブルグ位置は患者の内部器官を重力によって患者の上腹部に向かってスライドさせ、腹腔鏡前立腺切除術などの下腹部手術手技を開始して実行するための最小侵襲性ツール(minimally invasive tool)のた
めに腹腔の空間を空ける。
【0054】
(C.器具ドライバとインタフェース)
システムのロボットアームのエンドエフェクタは、(1)医療器具を作動させるための電気機械的手段を組み込む器具ドライバ(あるいは「器具駆動機構」または「器具装置マニピュレータ(IDM;instrument device manipulator)」と呼ばれる)と、(2)モ
ータなどの任意の電気機械的構成要素を削除できる取り外し可能または取り外し可能な医療器具とを備える。この二分法は、医療手技に使用される医療器具を滅菌する必要性、およびそれらの複雑な機械的アセンブリおよび繊細な電子機器のために高価な資本設備を適切に滅菌することができないことが起因となりうる。したがって、医療器具は医師または医師のスタッフによる個々の滅菌または廃棄のために、器具ドライバ(したがってシステム)から取り外し、取り外し、および交換されるように設計されてもよい。対照的に、器具ドライバは、交換または滅菌される必要はなく、保護のためにドレープで覆われてもよい。
【0055】
図12は、例示的な器具ドライバを示す。ロボットアームの遠位端に配置された器具ドライバ62は駆動シャフト64を介して医療器具に制御されたトルクを提供するために、平行軸に配置された1つ以上の駆動ユニット63を備える。各駆動ユニット63は器具と相互作用するための個々の駆動シャフト64と、モータシャフトの回動を所望のトルクに変換するためのギアヘッド65と、駆動トルクを生成するためのモータ66と、モータシ
ャフトの速度を測定し、制御回路にフィードバックを提供するためのエンコーダ67と、制御信号を受信し、駆動ユニットを作動させるための制御回路68とを備える。各駆動ユニット63は独立して制御され、電動化されており、器具ドライバ62は、医療器具に複数(
図12に示すように4つ)の独立した駆動出力を提供することができる。動作中、制御回路68は制御信号を受信し、モータ信号をモータ66に送信し、エンコーダ67によって測定された結果のモータ速度を所望の速度と比較し、モータ信号を変調して所望のトルクを生成する。
【0056】
無菌環境を必要とする手技では、ロボットシステムが器具ドライバと医療器具との間に位置する、無菌ドレープに接続された無菌アダプタなどの駆動インタフェースを組み込むことができる。無菌アダプタの主な目的は駆動シャフトと駆動入力との間の物理的分離、したがって無菌性を維持しながら、器具ドライバの駆動シャフトから器具の駆動入力に角運動を伝達することである。したがって、例示的な無菌アダプタは、器具ドライバの駆動シャフトおよび器具上の駆動入力と嵌合されることが意図される一連の回動入力および出力を備えてもよい。滅菌アダプタに接続された滅菌ドレープは透明または半透明プラスチックなどの薄い軟性材料からなり、器具ドライバ、ロボットアーム、およびカート(カートベースのシステム内)またはテーブル(テーブルベースのシステム内)などの資本設備を覆うように設計される。ドレープの使用は滅菌を必要としない領域(すなわち、非滅菌領域)に依然として配置されている間に、患者の近くに資本設備を配置することを可能にする。滅菌ドレープの反対側では、医療器具が滅菌を必要とする領域(すなわち、滅菌野)において患者と接触することができる。
【0057】
(D.医療器具)
図13は、組になった器具ドライバを有する例示的な医療器具を示す。ロボットシステムと共に使用するように設計された他の器具と同様に、医療器具70は、細長いシャフト71(または細長い本体)および器具基部72を備える。医師による手動操作向けの設計として「器具ハンドル」とも呼ばれる器具基部72は、全体として、ロボットアーム76の遠位端で器具ドライバ75上の駆動インタフェースを通って延びる駆動出力74と嵌合するように設計された、回動可能な駆動入力73、例えば、レセプタクル、プーリ、またはスプールを備えてもよい。物理的に接続され、ラッチされ、および/または結合されると、器具基部72の嵌合された駆動入力73は器具ドライバ75内の駆動出力74と回動軸を共有し、駆動出力74から駆動入力73へのトルクの伝達が可能になる。いくつかの実施形態では、駆動出力74が駆動入力73上のレセプタクルと嵌合するように設計されたスプラインを備えてもよい。
【0058】
細長いシャフト71は例えば、内視鏡検査におけるように、解剖学的な開口またはルーメン、または、例えば、腹腔鏡検査におけるように、最小侵襲性切開のいずれかを介して送られるように設計される。細長いシャフト66は軟性(例えば、内視鏡と同様の特性を有する)または硬性(例えば、腹腔鏡と同様の特性を有する)のいずれかであり得るか、または軟性部分および硬性部分の両方のカスタマイズされた組み合わせを含む。腹腔鏡検査用に設計される場合、硬性の細長いシャフトの遠位端は回動軸を有するUリンクと、器具ドライバ75の駆動出力74から受け取ったトルクに応じて駆動入力が回動するときにテンドンからの力に基づいて作動され得る、例えば、1つまたは複数の把持器などの手術用道具とから形成される接合手首を備えるエンドエフェクタに接続されてもよい。内視鏡検査用に設計される場合、可撓性の細長いシャフトの遠位端は、器具ドライバ75の駆動出力74から受け取られるトルクに基づいて関節動作および屈曲され得る、操縦可能または制御可能な屈曲部を含む。
【0059】
器具ドライバ75からのトルクは、シャフト71内のテンドンを使用して細長いシャフト71に伝達される。プルワイヤなどのこれらの個々のテンドンは、器具ハンドル72内
の個々の駆動入力73に個々に固定することができる。ハンドル72から、テンドンは、細長いシャフト71内の1つ以上のプルルーメンに向けられ、細長いシャフト71の遠位部分に固定される。腹腔鏡検査では、これらのテンドンが手首、把持器、またはさみなどの遠位に取り付けられたエンドエフェクタに結合されてもよい。このような構成の下では、駆動入力73に及ぼされるトルクがテンドンに表面張力を伝達し、それによってエンドエフェクタを何らかの方法で作動させる。腹腔鏡検査では、テンドンは関節を軸の周りに回動させ、それによってエンドエフェクタを一指示または別の指示に移動させることができる。あるいはテンドンは細長いシャフト71の遠位端において、把持器の1つ以上の顎に接続され得、ここで、テンドンからの張力によって把持器が閉じる。
【0060】
内視鏡検査では、テンドンは接着剤、制御リング、または他の機械的固定を介して、細長いシャフト71に沿って(例えば、遠位端で)配置された屈曲または関節動作部に結合されてもよい。屈曲部の遠位端に固定して取り付けられると、駆動入力73に及ぼされるトルクがテンドンに伝達され、より柔軟性のある屈曲部(関節部または関節動作領域と呼ばれることもある)を屈曲または関節動作させる。非屈曲部に沿って、個々のテンドンを内視鏡シャフトの壁に沿って(または内側に)向ける個々のプルルーメンを螺旋状または螺旋状にして、プルワイヤの表面張力から生じる半径方向の力を釣り合わせることが効果的であり得る。スパイラルの角度および/またはそれらの間の間隔は特定の目的のために変更または設計されてもよく、スパイラルを緊密にすると荷重力下でのシャフト圧縮が小さくなり、一方、スパイラルを少なくすると荷重力下でのシャフト圧縮が大きくなるが限界曲げとなる。スペクトルの他端では、プルルーメンが細長いシャフト71の長手方向軸に平行に向けられて、所望の屈曲または関節動作可能な部分における制御された関節動作が可能となる。
【0061】
内視鏡検査では、細長いシャフト71がロボットシステム手続を補助するために、いくつかの構成要素を収容する。シャフトは、シャフト71の遠位端における手術領域に手術ツール、潅注、および/または吸引を展開するためのワーキングチャネルを備えてもよい。シャフト71はまた、ワイヤおよび/または光ファイバを収容して、光学カメラを含む遠位先端の光学アセンブリへ/から信号を伝達し得る。シャフト71はまた、光ファイバを収容して、発光ダイオードなどの近位に位置する光源からシャフトの遠位端に光を運ぶことができる。
【0062】
器具70の遠位端において、遠位先端はまた、診断および/または治療、潅注、および吸引のためのツールを手術部位に送達するためのワーキングチャネルの開口を備え得る。遠位先端はまた、内部解剖学的空間の画像を取得するために、ファイバスコープまたはデジタルカメラなどのカメラのためのポートを含んでもよい。関連して、遠位先端はまた、カメラを使用するときに解剖学的空間を照明するための光源のためのポートを含む。
【0063】
図13の例では駆動シャフト軸、したがって駆動入力軸は細長いシャフトの軸に直交する。しかしながら、この配置では、細長いシャフト71の回動機能が複雑になる。駆動入力73を静止状態に保ちながら、細長いシャフト71をその軸に沿って回動させると、テンドンが駆動入力73から延出して細長いシャフト71内のプルルーメンに入るときに、テンドンの望ましくない絡み合いが生じる。そのようなテンドンによって生じる絡み合いは、内視鏡手技時に可撓性の細長いシャフトの移動を予測することを目的とする任意の制御アルゴリズムの障害となり得る。
【0064】
図14は器具ドライバおよび器具の代替設計を示し、駆動ユニットの軸が器具の細長いシャフトの軸に平行である。図示のように、円形の器具ドライバ80は、ロボットアーム82の端部に平行に位置合わせされた駆動出力81を有する4つの駆動ユニットを備える。駆動ユニットおよびそれぞれの駆動出力81は、アセンブリ83内の駆動ユニットのう
ちの1つによって駆動される器具ドライバ80の回動アセンブリ83内に収容される。回動駆動ユニットによって提供されるトルクに応じて、回動アセンブリ83は、回動アセンブリ83を器具ドライバの非回動部分84に接続する円形ベアリングに沿って回動する。電気接点を介して器具ドライバ80の非回動部分84から回動アセンブリ83に電力および制御信号を伝達することができ、この信号は、ブラシ付きスリップリング接続(図示せず)による回動によって維持することができる。他の実施形態では、回動アセンブリ83が非回動部分84に一体化され、したがって他の駆動ユニットと平行ではない別個の駆動ユニットに応答することができる。回動機構83は、器具ドライバ80が器具ドライバ軸85の周りに単一のユニットとして、駆動ユニットおよびそれぞれの駆動出力81を回動させることができる。
【0065】
上記に開示した実施形態と同様に、器具86は、細長いシャフト部分88と、器具ドライバ80内の駆動出力81を受けるように構成された複数の駆動入力89(レセプタクル、プーリ、およびスプールなど)を備える器具基部87(説明のために透明な外皮と共に示されている)とを備えることができる。先に開示された実施形態とは異なり、器具シャフト88は、
図13の設計におけるように直交するのではなく、駆動入力89の軸に実質的に平行な軸を有する器具基部87の中心から延伸する。
【0066】
器具ドライバ80の回動アセンブリ83に結合されると、器具基部87および器具シャフト88を備える医療器具86は、器具ドライバ軸85の周りで回動アセンブリ83と組み合わせて回動する。器具シャフト88は器具基部87の中心に配置されているので、器具シャフト88は取り付けられたとき、器具ドライバ軸85と同軸である。したがって、回動アセンブリ83の回動は、器具シャフト88をそれ自体の前後軸の周りに回動させる。さらに、器具基部87が器具シャフト88と共に回動するとき、器具基部87の駆動入力89に接続されたテンドンは、回動中に絡み合わない。したがって、駆動出力81、駆動入力89、および器具シャフト88の軸の平行性は、任意の制御テンドンの絡み合いを発生させることなく、シャフトを回動させることができる。
【0067】
(E.ナビゲーションと制御)
従来の内視鏡検査には、X線透視法(例えば、Cアームを介して送達され得るよう)および他の形態の放射線ベースの画像化モダリティの使用が含まれ、操作者の医師に管腔内ガイダンスが提供される。一方、本件開示によって実現されるロボットシステムは、放射線に対する医師の曝露を低減し、手術室内の器具の数を減らすために、非放射線ベースのナビゲーションおよび位置決め手段を提供する。本明細書で使用されるように、用語「位置決め」は、基準系における物体の位置を特定および/または監視することを指すことができる。術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、およびロボットコマンドデータなどの技術は放射線を用いない運用環境を達成するために、個別に、または組み合わせて使用されてもよい。放射線ベースの画像モダリティが依然として使用される他の場合には、術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、およびロボットコマンドデータは放射線ベースの画像モダリティによってのみ得られる情報を改善するために、個別に、または組み合わせて使用されてもよい。
【0068】
図15は、例示的な実施形態による、器具の位置など、ロボットシステムの1つまたは複数の要素の位置を推定する位置決めシステム90を示すブロック図である。位置決めシステム90は、1つまたは複数の命令を実行するように構成された1つまたは複数の計算装置のセットとすることができる。計算装置は、上述の1つまたは複数の構成要素内のプロセッサ(または複数のプロセッサ)およびコンピュータ可読メモリによって具現化され得る。限定ではなく例示として、計算装置は、
図1に示すタワー30内や、
図1~4に示すカート内や、
図5~10に示すベッド内などに配置されてよい。
【0069】
図15に示すように、位置決めシステム90は、入力データ91~94を処理して医療器具の遠位先端の位置データ96を生成する位置決めモジュール95を含むことができる。位置データ96は、基準系に対する器具の遠位端の位置および/または向きを表すデータまたはロジックであってもよい。基準系は、患者の解剖学的構造、または電磁場発生器(電磁場発生器については以下の説明を参照)などの既知の物体に対する基準系とすることができる。
【0070】
ここで、さまざまな入力データ91~94についてより詳細に説明する。術前マッピングは、低線量CTスキャンの収集を使用することによって達成することができる。術前CTスキャンは2次元画像を生成し、各画像は、患者の内部解剖学的構造の破断図の「スライス」を表す。集合体で解析される場合、患者の肺ネットワークなどの患者の解剖学的構造の解剖学的空洞、空間、および構造のための画像ベースのモデルが生成され得る。中心線ジオメトリのような手法は、CT画像から決定され、近似されて、術前モデルデータ91と呼ばれる患者の解剖学的構造の3次元ボリュームを展開することができる。中心線ジオメトリの使用については、米国特許第14/523,760号に記載されており、その内容の全体を本願に援用する。また、ネットワークトポロジーモデルは、CT画像から導出されてもよく、気管支鏡検査に特に適している。
【0071】
いくつかの実施形態では、器具が視覚データ92を提供するためにカメラを装備することができる。位置決めモジュール95は1つまたは複数の視覚ベースの位置追跡を可能にするために、視覚データを処理することができる。例えば、手術前モデルデータは医療器具(例えば、内視鏡または内視鏡のワーキングチャネルを通る器具の前進)のコンピュータビジョンベースの追跡を可能にするために、ビジョンデータ92と共に使用されてもよい。例えば、手術前モデルデータ91を使用して、ロボットシステムは内視鏡の予測される移動経路に基づいてモデルから予測される内視鏡画像のライブラリを生成することができ、各画像はモデル内の位置にリンクされる。手術中に、このライブラリはカメラ(例えば、内視鏡の遠位端にあるカメラ)で取得されたリアルタイム画像を画像ライブラリ内の画像と比較して位置決めを補助するために、ロボットシステムによって参照されてもよい。
【0072】
他のコンピュータビジョンベースの追跡技術は、カメラ、したがって内視鏡の動きを特定するために特徴追跡を使用する。位置決めモジュール95のいくつかの特徴は解剖学的な管腔に対応する手術前モデルデータ91内の円形の幾何学的形状を識別し、それらの幾何学的形状の変化を追跡して、どの解剖学的な管腔が選択されたかや、カメラの相対的な回動および/または移動運動を特定することができる。トポロジーマップの使用によって、視覚ベースのアルゴリズムまたは方法をさらに強化することができる。
【0073】
別のコンピュータビジョンベースの技術であるオプティカルフローはカメラの動きを推測するために、ビジョンデータ92のビデオシーケンス内の画像画素の変位および移動を解析することができる。複数の反復にわたる複数のフレームの比較によって、カメラ(したがって、内視鏡)の移動および位置を特定することができる。
【0074】
位置決めモジュール95は、リアルタイム電磁追跡を使用して、手術前モデルによって表される患者の解剖学的構造に位置合わせすることができるグローバル座標系における内視鏡のリアルタイム位置を生成し得る。電磁追跡では医療器具(例えば、内視鏡ツール)の1つ以上の位置および向きに埋め込まれた1つ以上のセンサコイルを備える電磁センサ(トラッカ)は既知の位置に配置された1つ以上の静的電磁場発生器によって生成された電磁場の変動を測定する。電磁センサによって検出された位置情報は、電磁データ記憶される。電磁場発生器(または送信機)は埋め込まれたセンサが検出し得る低強度磁場を生成するために、患者の近くに配置され得る。磁界は電磁センサコイルに小さな電流をガイ
ドし、この電流は、電磁センサと電磁界発生器との間の距離および角度を特定するために解析され得る。これらの距離および向きは、座標系内の単一の位置を患者の解剖学的構造の手術前モデル内の位置と位置合わせさせる幾何学的変換を特定するために、患者の解剖学的構造(例えば、手術前モデル)に対して手術中に「位置合わせ」されてもよい。一旦位置合わせされると、医療器具の1つ以上の位置(例えば、内視鏡の遠位先端)に埋め込まれた電磁追跡装置は、患者の解剖学的構造を通る医療器具の進歩のリアルタイムの指示を提供し得る。
【0075】
ロボットコマンドおよび運動学データ94はまた、ロボットシステムのための位置決めデータ96を提供するために、位置決めモジュール95によって使用されてもよい、関節動作コマンドから生じる装置ピッチおよびヨーは、手術前較正中に特定され得る。手術中に、これらの較正計量値は器具の位置を推定するために、既知の挿入デプス情報と組み合わせて使用されてもよい。あるいは、これらの計算がネットワーク内の医療器具の位置を推定するために、電磁、視覚、および/またはトポロジーモデリングと組み合わせて解析されてもよい。
【0076】
図15に示すように、多数の他の入力データを位置決めモジュール95によって使用することができる。例えば、
図15には示されていないが、形状感知ファイバを用いる器具は、位置決めモジュール95が器具の位置および形状を特定するために使用する形状データを提供することができる。
【0077】
位置決めモジュール95は、入力データ91~94を組み合わせて使用することができる。場合によっては、このような組み合わせは位置決めモジュール95が入力データ91~94のそれぞれから特定された位置に信頼性重みを割り当てる確率的アプローチを使用することができる。したがって、電磁データが信頼できない場合(電磁干渉がある場合のように)、電磁データによって特定される位置の信頼性は低下する可能性があり、位置決めモジュール95は、視覚データ92および/またはロボットコマンドおよび運動学データ94により依存する可能性がある。
【0078】
上記の通り、本明細書で説明するロボットシステムは、上記の技術のうちの1つまたは複数の組合せを組み込むように設計することができる。タワー、ベッドおよび/またはカートに基づくロボットシステムのコンピュータベースの制御システムはコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶することができ、これは、実行時に、システムにセンサデータおよびユーザコマンドを受信および解析させ、システム全体の制御信号を生成させ、グローバル座標系内の器具の位置、解剖学的マップなどのナビゲーションおよび位置決めデータを表示させる。
【0079】
(2.コマンド指示されていない器具の回動の修正について)
本開示の実施形態は、コマンド指示されていない器具の移動を補正するために使用されるシステムおよび手法に関し、これは、特定の実施形態において、コマンド指示されていない器具の回動を修正することを含む。操作者(例えば、医師、手術医、気管支鏡医、またはロボット制御システム)が患者の体内の軟性の管状器具を制御する場合、器具は、器具の向きを変化させるように動作する。例えば、器具は、操作者によるコマンド指示とは無関係に(例えば、器具の長手方向軸に対して)回動することができる。このようなコマンド指示されていない動作は、例えば、軟性の管状器具が気管内チューブを介して挿入される場合、および/または器具が湾曲した解剖学的構造を通過し、その形状が構造に適合する場合のような種々の状況において発生しうる。このコマンド指示されていない回動は、軟性の管状器具の操作者にとって1つまたは複数の座標系に関する問題を引き起こす可能性がある。というのは、コマンド指示されていない回動は、操作者が望むまたは予測す
る基準系と矛盾する視覚基準系および/または制御基準系を表す可能性があるからである。本明細書に開示される特定の実施形態は、そのような意図しない器具の動きを修正するための方法およびシステムに関係する。
【0080】
上述のように、電磁データは、本明細書で議論される実施形態によって、医療器具(例えば、操作可能な器具)のナビゲーションおよび位置特定のために使用されてもよい。電磁データ、医療器具内に配置された1つ以上の電磁センサおよび/または患者上に配置された1つ以上の電磁パッチセンサによって生成されてもよい。
図16は、電磁データを使用して、コマンド指示されていない回動を検出および/または修正するために、開示されたシステムおよび技術の1つ以上の態様を実施する例示的な運用環境100を示す。運用環境100は、患者を支持するテーブル38と、電磁センサ105(後述するように、医療器具上に位置する電磁機器センサと区別されるように、「電磁パッチセンサ」とも呼ばれる)と、電磁場発生器110とを含む。追加のデバイス/要素も含まれてもよいが、
図16には示されていない。例えば、環境100は、医療器具の移動をガイドするように構成されたロボットシステム、ロボットシステムの動作を制御するためのコマンドセンタまたはコンソール、および電磁コントローラを含むこともできる。電磁コントローラは、電磁パッチセンサ105に電気的に接続され、電磁センサ信号を受信することができる。電磁コントローラは、さらに、電磁場発生器110に接続されて、電磁場を生成するための制御信号を電磁場発生器に供給することができる。特定の実施形態では、電磁コントローラは、電磁場発生器110、カート11(
図1参照)、および/またはタワー30(
図1参照)を含む、システムの他の処理装置の1つまたは複数に部分的または完全に組み込まれてもよい。
【0081】
電磁コントローラがシステムに含まれる場合、電磁コントローラは、電磁場発生器110を制御して、変化する電磁場を生成することができる。電磁場は、実施形態に応じて、経時的に変化および/または空間的に変化する。電磁場発生器110は、
図2に示されるカート11と同様に、カート上に配置されてもよく、または1つ以上の支持カラムを介してテーブル38のレールに取り付けられてもよい。他の実施形態では、電磁場発生器110は、例えば、
図1の手術ロボットシステム10に示されているものと同様のロボットアームに取り付けることができ、これにより患者の周囲に柔軟な設定オプションが提供される。電磁場発生器110は、使用時に電磁パッチセンサ105を配置することができる可動範囲を有する。
【0082】
電磁空間計測システムは、電磁センサコイル、例えば、電磁パッチセンサ105(
図16に示されるように)または電磁器具センサ305(下の
図18に示されるように)が埋め込まれるか、または設けられる電磁場内の物体の位置を決定することができる。電磁センサが、本明細書に記載されるように、制御され、変化する電磁場の内部に配置されると、電圧が電磁センサコイルに誘導される。この誘導電圧は、電磁空間計測システムによって、電磁センサ、さらには電磁センサを有する物体の位置および向きを計算するのに使用される。電磁場は弱く人体の組織を安全に通過することができるため、光学空間計測システムにおける照準線の制約なく、物体の位置測定が可能である。電磁場は、電磁場発生器110の座標系に対して定義することができ、管腔ネットワークの3次元モデルの座標系は、電磁場の座標系にマッピングまたは位置合わせすることができる。電磁空間計測システムは、ロボット制御システム(例えば、システム10、36または47)、器具ドライバ(例えば、器具ドライバ62)、コントローラ(例えば、制御回路68)、コンソール(例えば、コンソール16または31)、および/またはコンソールベース(例えば、カートベース15)、またはそれらのコンポーネントに実装することができる。
【0083】
図16に示すように、多数の電磁パッチセンサ105を患者の身体上またはその付近に配置することができる(例えば、
図17に示すように管腔ネットワーク140の領域内な
ど)。これらの位置における異なる変位を追跡するために、多数の異なる電磁パッチセンサ105を体表面上で離間させて配置することができる。例えば、肺の周辺部は、中央気道よりも呼吸による動きが大きく、図に示すように多数の電磁パッチセンサ105を配置することにより、これらの運動をより正確に分析することができる。これにより、管腔ネットワーク140の異なる領域を通って移動する内視鏡に対して、これらの異なる領域を通過する際の患者の呼吸に起因するさまざまな位置ずれが生じる、内視鏡の遠位端を正確に追跡することが可能となる。
【0084】
電磁パッチセンサ105から受信された電磁センサ信号は、電磁場発生器110に対する電磁パッチセンサ105の位置および向きを決定するために使用されてもよい。電磁パッチセンサ105は、各パッチセンサの5自由度(DoF;Degrees-of-Freedom)データ(例えば、3つの位置DoFおよび2つの角度DoF)または6DoFデータ(例えば、3つの位置DoFおよび3つの角度DoF)を提供する。
【0085】
図17は、例えば、
図16の運用環境100内でナビゲートすることができる例示的な管腔ネットワーク140を示す。図示されるように、管腔ネットワーク140は、患者の気道150の分枝構造と、診断および/または治療のために本明細書に記載されるようにアクセスすることができる小結節155とを含む。この例では、小結節155は、気道150の周辺に位置する。内視鏡115は、シース120とリーダ145とを含む。一実施形態では、シース120およびリーダ145は、入れ子式に構成されてもよい。例えば、リーダ145は、シース120のワーキングチャネル内に摺動可能に配置されてもよい。場合によっては、シース120が第1の直径を有し、遠位端を結節155の周りの小さな直径の気道150を通って位置決めすることができないことがある。そこで、リーダ145は、シース120のワーキングチャネルから小結節155までの残りの距離を伸長するように構成することができる。リーダ145は、器具、例えば生検針、細胞診ブラシ、および/または組織サンプリング鉗子を小結節155の目標の組織部位に通すことができる管腔を有する。このような実施形態では、シース120の遠位端とリーダ145の遠位端の両方に、気道150内のそれらの位置を追跡するための電磁器具センサ(例えば、
図18の電磁器具センサ305)を設けることができる。シース120およびリーダ145のこの入れ子式の構成は、いくつかの実施態様において、内視鏡115のより薄い設計が可能となり、シース120を介して構造的なサポートを提供しつつ内視鏡115の曲げ半径を改善することができる。
【0086】
他の実施形態では、内視鏡115の全体の直径は、入れ子式の構成を採用せず、外周に到達するのに十分に小さくてもよく、または、操縦可能でないカテーテルを介して医療器具を展開するために外周に到達するのに十分に小さくてもよい(例えば、2.5~3cm以内)。内視鏡115を介して配置される医療器具は、電磁器具センサ(例えば、
図18の電磁器具センサ305)を備えることができ、以下に記載される位置フィルタリングおよび安全モードナビゲーション技術は、このような医療器具に適用することができる。いくつかの実施形態では、本明細書に記載されるような3次元管腔ネットワークモデルの2次元表示、または3次元モデルの断面を、
図17と同様にすることができる。いくつかの実施形態では、ナビゲーションの安全領域および/またはナビゲーションの経路情報を、それらの表示に重畳することができる。
【0087】
図18は、本明細書に説明する画像および電磁感知機能を有する例示的な器具(例えば、
図17の内視鏡115、シース120、またはリーダ145、および/または
図1の医療器具70または内視鏡13)の遠位端300を示す。しかしながら、本開示の態様は、
図3の尿管鏡32、
図9の腹腔鏡59などの他の操縦可能な器具の使用に関する。
図18に示すように、器具の遠位端300は、画像処理装置315、照明光源310、および電磁センサコイルの端部を含むことができる。遠位端300は、器具のワーキングチャネル
320への開口をさらに有し、器具(例えば、生検針、細胞診ブラシ、鉗子)は器具シャフトに沿って挿入することができ、器具の遠位端300に近い領域へのアクセスが可能になる。
【0088】
照明光源310は、解剖学的空間の一部を照明する光を提供する。照明光源は、それぞれ、選択された波長または波長の範囲で光を放射するように構成された1つまたは複数の発光装置である。波長は、いくつかの例を挙げると、任意の適切な波長、例えば可視スペクトル光、赤外光、X線(例えば、透視法用)である。いくつかの実施形態では、照明光源310は、遠位端310またはその近傍に位置する発光ダイオード(LED)を含む。いくつかの実施形態では、照明光源310は、遠位端300を通って光を遠隔光源、例えばX線発生器から透過させるために、内視鏡の長さを通って延伸する1つ以上の光ファイバを有する。遠位端300が複数の照明光源310を有する場合、これらは、それぞれ、同じまたは異なる波長の光を放射するように構成することができる。
【0089】
画像処理装置315は、受光を表すエネルギーを電気信号に変換するように構成された任意の感光性基板または構造、例えば、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)イメージセンサを含むことができる。画像処理装置315のいくつかの例は、内視鏡の遠位端300から内視鏡の近位端におけるアイピースおよび/またはイメージセンサへ画像を送信するように構成された、1つ以上の光ファイバ、例えば光ファイババンドルを含む。画像処理装置315は、さらに、種々の光学設計に必要とされるように、1つ以上のレンズおよび/または波長透過フィルタまたは波長遮断フィルタを含む。照明光源310から放射される光は、画像処理装置315が患者の管腔ネットワークの内部の画像を取得することを可能にする。これらの画像は、個々のフレームまたは連続した一連のフレーム(例えば、ビデオ)として、処理および/または表示のためのコマンドコンソールなどのコンピュータシステムに送信することができる。
【0090】
遠位端300上に配置された電磁センサ追跡システムと共に使用して、解剖学的システム内にある内視鏡の遠位端300の位置および/または向きを検出することができる。いくつかの実施形態では、電磁センサ、異なる軸に沿った電磁場に対する感応性を与えるように角度付けることができ、開示のナビゲーションシステムに、完全な6DoF(3つの位置DoFおよび3つの角度DoF)を計測する機能を与える。他の実施形態では、単一のコイルまたはセンサのみが、内視鏡の内視鏡シャフトに沿って設けられた軸によって遠位端300上またはその内側に配置されてもよい。単一の電磁コイルまたはセンサのみが器具の遠位端300に配置され、その軸(例えば、長手方向軸)に対してシステムを対称となるようにすると、回動しても単一のコイルまたはセンサを横切る磁束または電束が変化しないため、システムはその軸に対する1つまたは複数の回動を検出することができない。そのようなシステムの回動対称性のため、当該軸周りの回動に対する感応性がない場合があるため、そのような実装においては5DoFのみが検出可能である。システムが平行でない対称軸(例えば、互いに垂直な対称軸)を有する2つ以上のコイルまたはセンサを備える場合、システムは当該軸に対する回動を感知することができる。当該軸に対する回動に感応性を有しない1つ以上の電磁コイルまたはセンサを有するシステムの場合、コマンド指示されていない回動は、電磁コイル以外の1つ以上のセンサまたは検出器を介して検出することができる。いくつかの実施形態では、コマンド指示されていない回動は、画像処理装置(例えば、画像処理装置315また器具の遠位端またはその近傍にある画像処理装置)からの1つ以上の画像を解析することによって特定されてもよい。
【0091】
図19Aおよび
図19Bは、例示的な医療器具(例えば、医療器具350、医療器具70または
図1の内視鏡13)の先端基準系、視覚基準系、制御基準系、および目標基準系を示す。
図19Aは、3次元(3D)空間における医療器具350の先端基準系360と目標基準系368を示す。医療器具350は、
図18に示される医療器具の遠位端300
の構成要素に類似する1つ以上の構成要素(例えば、画像処理装置356および/または電磁センサコイル358)を含む遠位先端352を有する。医療器具350はまた、器具350の遠位先端352を操作または関節動作させるように構成された1つ以上のプルワイヤ354を含む。先端基準系360は、器具350の遠位端352の向きを表す。先端基準系360は、x軸362、y軸364、およびz軸366を含む。以下により詳細に説明されるように、先端基準系360は、1つ以上の画像処理装置(例えば、画像処理装置356)、位置センサ(例えば、電磁パッチセンサ105)、電磁コイル(例えば、電磁センサコイル358)、任意の他の適当なセンサ(例えば、器具350の重力または他の運動を測定する加速度計)、またはこれらの組み合わせによって特定されてもよい。
【0092】
目標基準系368は、視覚基準系および/または制御基準系に対する調整の基となる基準系であってもよい。いくつかの実施形態では、目標基準系368は、システムまたは操作者が視覚基準系および/または制御基準系を変換することを目的とする目標基準系であってもよい。システムは、リクエスト(ユーザ入力によって開始されたりユーザ入力から受信されたりする)などのトリガに基づいてこの変換が実行され、あるいはシステムが、医療手技中に一貫した表示と制御が維持されるように、この変換を継続的に実行される。目標基準系368は、解剖学的基準系(例えば、解剖学的特徴によって特定される基準系)またはグローバル基準系(例えば、重力方向によって特定される基準系)であってもよい。
図19Aでは、目標基準系368は、頂部369が基準方向(例えば、上方向またはz方向)を指す三角錐によって表される。
【0093】
図19Bは、医療器具350の遠位端352における画像装置356からの1つ以上の画像に示される目標基準系368、視覚基準系380、および医療器具350の制御基準系390を示す。視覚基準系380は、医療器具350の画像装置356から取得された画像から生成される出力画像の向きを表す。
図19Bにおいて、視覚基準系380は、視覚基準系380に示される三角形のピラミッドによって表される目標基準系368に一致させられる。すなわち、上方向を表す三角錐の頂部369は、視覚基準系380の上方向に対応する。ここで、以下に説明するように、視覚基準系380は、コマンド指示されていない回動において生じうる先端基準系360に対する変更に関係なく出力画像が目標基準系368と一致するように、先端基準系360への変更に基づいて調整される。
【0094】
制御基準系390は、モータ制御コマンドと器具350のモータ出力との間の関係を表すデータである。
図19Bにおいて、制御基準系390は、制御基準系の指標392、394、396、および398によって表される。制御基準系の指標392、394、396、398は、制御入力が医療器具350を作動させる移動の方向を示すだけであることを理解されたい。例えば、ユーザ入力装置の上方向を押すと、医療器具350の先端部が、制御基準系の指標392が示すように作動する。いくつかの実施形態では、制御基準系の指標392、394、396、および398が画面上に表示されてもよい。これらの実施形態では、制御基準系の指標392、394、396、および398は、操作者(例えば、医師、外科医、気管支鏡医、またはロボット制御システム)が医療器具350に移動(例えば、それぞれ、上下、左、および右)を指示するコマンドを表す1つ以上の形状(例えば、矢印、ドット、または三角形)を含む。視覚基準系380と同様に、制御基準系390は、コマンド指示されていない回動において生じうる先端基準系360に対する変更に関係なくモータ制御コマンドが目標基準系368と一致するように、先端基準系360への変更に基づいて調整される。
【0095】
図20A~20Bは、例示的な医療器具(例えば、医療器具450)の先端基準系460、視覚基準系480、制御基準系490、および目標基準系468における変化を示す。
図20Aは、コマンド指示されていない回動が生じて修正されていない状態における、3次元空間内の医療器具450の先端基準系460および目標基準系468を示す。図に
示す例では、医療器具450の遠位先端452は、遠位先端452が、コマンド指示されていない回動に起因して斜め方向を向いていることを示す。したがって、x軸462、y軸464、およびz軸466を含む先端基準系460もまた、斜め方向を向いている。目標基準系468は、頂点469が上方向を向く三角形のピラミッドによって表される。
【0096】
図20Bは、
図20Aに示すコマンド指示されていない回動が修正されていない状態における、医療器具450の遠位端452にある画像処理装置456からの1つまたは複数の画像に示される、医療器具450の目標基準系468、視覚基準系480、および制御基準系490を示す。
図20Bに示すように、医療器具450の視覚基準系480および制御基準系490(制御基準系の指標492、494、496、および498によって表される)は、目標基準系368と一致しない。この不一致は、エンドユーザにとって方向感覚を失うこととなる可能性がある。例えば、回動をコマンド指示しない場合に、医療器具によって表示される画像は、エンドユーザの予測と矛盾する向きになる可能性がある。この実施例に示すように、制御基準系の指標492(いくつかの実施形態では、操作者は、上方向であると予測する)は、医療器具450のコマンド指示されていない回動が原因で、目標基準系468(頂点469によって示される)の上方向と一致しない。
【0097】
図21Aおよび
図21Bは、
図20Aおよび
図20Bと異なり、コマンド指示されていない回動が修正された後の状態における、例示的な医療器具(例えば、医療器具450)の先端基準系460’、視覚基準系480’、制御基準系490’、および目標基準系468’を図示する。
図21Aは、先端基準系460(x軸462、y軸464、およびz軸466によって表される)および3次元空間における医療器具450の目標基準系468を示す。コマンド指示されていない回動の補正は、以下で説明する視覚基準系480および制御基準系468に対する1つまたは複数の調整を含み、いくつかの実施形態では、視覚基準系480および制御基準系490に対する調整は、先端基準系460を変更することなく行うことができる。
図20Bは、医療器具450の遠位端452における画像装置456からの1つ以上の画像に示される、医療器具450の目標基準系468’、視覚基準系480’、および制御基準系490’(制御基準系の指標492’、494’、496’、および498’によって表される)を示す。調整において、医療器具450の視覚基準系480’および制御基準系490’は、目標基準系468’を表す三角錐の頂点469が表示されるように回動され、その結果、頂点469は上方向を指し、制御基準系の指標492’、494’、496’、および498’は、目標基準系468’に対して、それぞれ、上方向、下方向、左方向、右方向を表す。この調整は、例えば、視覚基準系480’および制御基準系490’を操作者が直感的に把握できる方向に向けることで、操作者による医療器具450の迅速かつ一貫した操作が支援される。視覚基準系および/または制御基準系を、先端基準系および/または目標基準系に基づいて調整または変換するための1つ以上の方法について、以下にさらに説明する。
【0098】
本開示の1つまたは複数の態様によれば、
図22は、本明細書に記載されるような、コマンド指示されていない器具の回動を修正するための例示的な方法または処理600のフローチャートを示す。本明細書に記載されるように、処理600は、装置の制御がより直感的であるように、視覚基準系および/または先端基準系および/または目標基準系に基づいた制御基準系を調整または変換するために使用されてもよい。例えば、処理600は、先端基準系の位置の器具のコマンド指示されていない回動に関わらず、ユーザが予測または希望する方向と視覚基準系および/または制御基準系を一致させることができる。処理600は、例えば、ロボット制御システム(例えば、システム10、36または47)、器具ドライバ(例えば、器具ドライバ62)、コントローラ(例えば、制御回路68)、コンソール(例えば、コンソール16または31)、および/またはコンソールベース(例えば、カートベース15)、またはそれらの構成要素に実装することができる。したがって、以下に説明する処理600を実装するシステムは、ロボット制御システムに限定
されるものではない。いくつかの場合において、例示的な処理600の1つ以上のブロックは、システムのユーザによって実行されてもよい。
【0099】
処理600は、ブロック605から開始する。ブロック605において、システムは、医療器具(例えば、医療器具150、350、または450)の先端基準系(例えば、
図19Aの先端基準系360、または
図20Aおよび
図21Aの先端基準系460)を取得または特定する。
図19A~
図21Bを参照しながら説明したように、先端基準系は、医療器具の遠位端の物理的な向きを表す。いくつかの側面において、システムは、例えば、医療器具上の1つ以上のセンサから、先端基準系を得るように構成されてもよい。例えば、システムは、1つまたは複数の画像処理装置、位置センサ、または電磁コイルまたはセンサからデータを取得し、そのデータに基づいて先端基準系を計算するように構成されてもよい。視覚に基づく例では、1つ以上の画像(例えば、画像処理装置からの1つ以上の画像)を分析することによって、先端基準系を特定することができる。画像の分析において、患者の1つ以上の解剖学的特徴を使用して、先端基準系を特定することができる。以下でさらに説明するように、解剖学的特徴は、手術中の画像データに示される特徴を識別する特徴であり得る。位置に基づく例では、先端基準系は、患者の近くに位置する、患者または装置(例えば、手術ベッド)に取り付けられた医療器具および電磁パッチセンサ上の位置センサからのデータに基づいて特定することができる。
【0100】
ブロック610において、システムは、目標基準系(例えば、目標基準系368または468)を取得または特定することができる。先端基準系を取得するのと同様に、目標基準系は、解剖学的基準系(例えば、患者の解剖学に基づいて)、グローバル基準系(例えば、重力方向などのグローバルな特徴)などに基づいて特定することができる。他の実施形態は、他の基準系を使用することができる。目標基準系が解剖学的基準系から特定される場合には、目標基準系は、術前データ(例えば、1つ以上の解剖学的モデル)または解剖学的特徴に関する仮定から導出される患者の1つ以上の解剖学的特徴に基づいてもよい。例えば、手技前に、解剖学的特徴を特定して目標基準系を決定するために、患者の解剖学的構造のモデルを生成して処理することができる。このような特徴は、モデル内の所与の位置における気道の中心点の向きに基づいてもよい。これに加えてあるいはこの代わりに、患者の解剖学的構造のモデルに由来する特徴を使用するよりも、実施形態は、患者の解剖学的構造の仮定または既知の特徴に基づいて、目標基準系を特定することができる。そのような仮定または既知の特徴の1つは、主竜骨(main carina)の左気管支および右
気管支の中心線が横軸に実質的に一致していることである。患者の解剖学的特徴(例えば、術前データまたは仮定/既知から得られるもの)に基づいて目標基準系を決定するための例示的なプロセスは、
図25を参照しながら以下に説明する。
【0101】
上記の通り、いくつかの実施形態は、患者の近くに位置する(例えば、ベッド上に、または患者の胸部に取り付けられた)静的なパッチセンサから導出される基準系から目標基準系を導出することができる。これらの実施形態では、システムは、例えば、パッチセンサによって形成される平面に基づいて、重力方向を検出することができる。例えば、パッチが患者の胸部または手術台のベッド上に配置される場合、複数のパッチによって形成される平面におけるマイナスのz方向が重力方向であると仮定することができる。そして、システムは、目標基準系が重力方向に対して相対的(例えば、一致する)になるように動作することができる。目標基準系を特定するためにパッチセンサを使用するいくつかの実施形態について、
図23を参照しながらより詳細に説明する。
【0102】
ブロック615において、システムは、目標基準系に対する現在の先端基準系に基づいて、視覚基準系(例えば、視覚基準系380または480)および/または制御基準系(例えば、基準系390または490)に対する調整を特定することができる。調整は、先端基準系と目標基準系との間の違いに基づいて特定でき、そして視覚基準系および/また
は制御基準系に応じて調整できる。視覚基準系および制御基準系に対する調整が目標基準系に基づいて特定される調整プロセス例について、
図19A~
図21B、
図24A~
図24Dを参照しながら説明する。
【0103】
ブロック620において、システムは、特定された調整に基づいて、視覚基準系および/または制御基準系を変換することができる。いくつかの実施形態では、システムは、医療器具の長手方向軸に対して視覚基準系および/または制御基準系を回動させることによって、視覚基準系および/または制御基準系を変換することができる。いくつかの実施形態では、システムは、目標基準系に位置合わせされるまで、視覚基準系および/または制御基準系を回動させることによって、視覚基準系および/または制御基準系を変換することができる。いくつかの実施形態では、システムは、ユーザ入力に基づいて、視覚基準系および/または制御基準系を変換することができる。いくつかの実施形態では、システムは、視覚基準系および/または制御基準系を回動することによって、視覚基準系および/または制御基準系を変換して、器具の遠位端の回動または先端基準系の累積的な回動の影響を低減することができる。
【0104】
ブロック625において、システムはさらに、変換された視覚基準系および/または変換された制御基準系を検証することができる。いくつかの実施形態では、システムは、器具を1つ以上の方向に移動させること、器具の移動に応答して視覚基準系および/または制御基準系における予測される変化を計算または特定すること、および視覚基準系および/または制御基準系における実際の変化および予測される変化を比較することによって、変換された視覚基準系および/または変換された制御基準系を検証することができる。いくつかの実施形態では、器具を1つまたは複数の方向に移動させることは、器具を特定の一連の移動に従って移動させることを含む。いくつかの態様では、視覚的運動の検出方法(例えば、オプティカルフロー)を使用して、視覚基準系および/または制御基準系における実際の変更と予測される変更とを比較してもよい。いくつかの態様において、視覚的運動の検出方法は、器具の遠位端からの画像が器具と同じ向きに(または同じ態様で)移動したかどうかをチェックすることができる。いくつかの態様において、システムはさらに、比較に基づいて、視覚基準系および/または制御基準系を調整することができる。検証ステップは、例えば、器具の回動が180°を超える回動となる場合に特に有用である。
【0105】
システムが入れ子式の医療器具を有する場合、複数の器具が関節動作可能であり、視覚基準系および/または制御基準系に対して同様の調整が可能である。例えば、一つの器具について特定された調整は、他の器具に適用してもよい。いくつかの実施形態では、それぞれの入れ子式の器具は、個別に調節されてもよい。
【0106】
関連する態様において、システムは、患者に挿入されるように構成された医療器具の制御基準系を変換するように構成されてもよい。このシステムは、医療器具の移動を決定するように構成された制御システムと、実行可能な命令を記憶する少なくとも1つのコンピュータ可読メモリと、少なくとも1つのコンピュータ可読メモリと通信する1つ以上のプロセッサとを備えることができ、プロセッサは命令を実行してシステムに少なくとも、医療器具のモータ制御コマンドとモータ出力との間の関係を表わす制御基準系を取得すること、医療器具の遠位端においてあるいはその近傍において、少なくとも1つの画像処理装置(例えば、画像処理装置315、356、もしくは456)または位置センサ(例えば、電磁コイル305、もしくは358、または電磁パッチセンサ105、670、672、もしくは674)からのデータに基づいて、医療器具の遠位端を表わす先端基準系を特定することであって、先端基準系は医療器具の遠位端の現在の向きを表わす、ことと、目標基準系を取得することと、先端基準系および/または目標基準系に基づいて制御基準系を変換することと、を実行させる。
【0107】
図23は、一実施形態による、電磁パッチセンサに基づいて特定できる目標基準系680を示す。
図23は、グローバル基準系から特定できる目標基準系を取得するためのアプローチを示す。
図23に示すように、1つまたは複数の電磁パッチセンサ(例えば、電磁パッチセンサ670、672、および674)を、患者上またはその近傍(例えば、
図16の電磁パッチセンサ105によって示されるような患者の上、あるいは患者が横たわっているベッドの上)に配置することができる。電磁パッチセンサ670、672、および674は、頂点が電磁パッチセンサ670、672、および674の位置にある三角形によって表される平面676を形成してもよい。目標基準系680は、平面676に基づいて特定することもできる。一実施形態では、x軸682およびy軸684は、平行であっても平面676内にあってもよく、z軸686は、平面676に対して垂直であってもよい。いくつかの態様において、目標基準系680は、基準系680のマイナスのz軸(すなわち、z軸686と反対の方向)が重力方向と一致してもよく、または少なくともほぼ一致してもよい(例えば、患者が仰向けであり、かつ電磁パッチセンサが患者の身体に配置される場合)。
【0108】
解剖学に基づくアプローチを用いて、視覚基準系および制御基準系を調整することについて以下に説明する。本開示の1つ以上の態様によれば、
図24A~
図24Dは、本明細書で説明するように、コマンド指示されていない器具の回動(例えば、
図22の処理600)を修正するための処理においてユーザに提示される例示的なユーザインタフェース780、800、820、および840を示す。例えば、ユーザインタフェース780、800、820、または840は、いくつかの実施形態において、コンソール16または31の表示画面に提示される。
【0109】
図24Aは、医療器具(例えば、医療器具350または450、医療器具70、または内視鏡13)が患者に挿入される前に、ユーザに提示される例示的なユーザインタフェース780を示す。例示的なユーザインタフェース780は、視覚表示782、および1つ以上の制御基準系の指標790、792、794、および796を含む。視覚表示782は、医療器具の遠位端またはその近傍で、画像処理装置(例えば、画像処理装置315、356、または456)から取得された1つ以上の画像を示す。医療器具が患者に挿入されていない場合は、視覚表示782には外界(例えば手術室)の画像が表示される。制御基準系の指標790、792、794、および796は、ここでは、ユーザ入力と器具との間の制御の対応を示すために表示され、実際には視覚的に表示されなくてもよい。しかしながら、視覚的指標を表示する実施形態では、任意の適切な形状(例えば、矢印、ドット、または三角形)として指標を表示することもできる。いくつかの実施形態では、例示的なユーザインタフェース780上に任意の数の制御基準系の指標が用いられてよい。例えば、上向きまたは下向きを表す1つの制御基準系の指標のみが表示される形態でもよい。別の例では、1)上方向および下方向のうちの1つ、および2)左方向および右方向のうちの1つを表す、制御基準系の2つの指標が表示されてもよい。さらに別の例では、上方向、下方向、左方向、および右方向以外の方向の指標も加わった、制御基準系の4つ以上の指標が表示されてもよい。
【0110】
いくつかの実施形態では、視覚基準系、制御基準系、および/または先端基準系は、器具が患者に挿入される前に、空中で較正されてもよい。例えば、制御基準系の指標790、792、794、および796(すなわち、制御基準系)の方向および/または位置は、本明細書で説明するように、画像処理装置(例えば、視覚表示782に示される画像)からの画像によって特定することができる。
図24Aに示すように、いくつかの例では、制御基準系の指標790、792、794、および796は、少なくとも実質的に重力基準系と一致していてもよい。さらに、
図24Aに示すように、いくつかの例において、制御基準系の指標790、792、794、および796は、視覚表示782の視覚基準系
と少なくとも実質的に一致していてもよい。例えば、視覚表示782内の上方向、下方向、左方向、および右方向は、制御基準系の指標790、792、794、および796の上方向、下方向、左方向、および右方向に少なくとも実質的に対応してもよい。
【0111】
図24Bは、医療器具が患者内に挿入され、器具の遠位端が患者内の特定の領域(例えば、
図24Bに示すような患者の主竜骨)に到達したときに、ユーザに提示され得る例示的なユーザインタフェース800を示す。例示的なユーザインタフェース800は、視覚表示802と、制御基準系(例えば、それぞれ、上方向、下方向、左方向、および右方向)を表す1つ以上の制御基準系の指標810、812、814、および816とを含む。この例では、医療器具が患者の主竜骨に到達し、視覚表示802は、左気管支804および右気管支806を有する主竜骨の画像を示す。
図24Bに示されるユーザインタフェース800は、コマンド指示されていない回動が発生し、制御基準系または視覚基準系のいずれの修正も行われていない場合の表示例を示す。この場合、ユーザが左気管支804と右気管支806への気道の中心線が実質的に一致すると予測する場合があるため、システムのユーザが方向感覚を失う可能性がある。ただし、
図24Bに示すように、右気管支806は、左気管支804の下方で実質的に回動される。この回動により、システムのユーザは、自らの解剖学の見識を医療器具によって提示される回動された視界に合わせて調整することが可能となる。このような方向の不一致は、上記のような(例えば、医療器具の気管内挿入による器具回動)コマンド指示されていない、ユーザが意図しない、および/または寄生的な器具の回動によるアーチファクトが原因となることがある。
【0112】
図24Cは、視覚基準系が変換された後にユーザに提示される例示的なユーザインタフェース820を示す。例示的なユーザインタフェース820は、視覚表示822と、制御基準系(例えば、それぞれ、上方向、下方向、左方向、および右方向)を表す1つ以上の制御基準系の指標830、832、834、および836とを含む。
図24Bの視覚表示802の画像とは対照的に、視覚表示822の視覚基準系は、視覚基準系が解剖学的基準系(例えば、主竜骨)と一致するように変換される(例えば、回動される)。例えば、左気管支804は視覚表示822の左側に、右気管支806は視覚表示822の右側に配置される。視覚基準系を変換する方法は、本明細書で説明する(例えば、目標基準系、追跡された先端の回動、先端基準系、重力基準系、および/または1つ以上の電磁パッチセンサ、例えば、電磁パッチセンサ105、670、672、および/または674によって測定された基準系に基づく)。
図24Cにおいて、視覚基準系のみが解剖学的基準系に対応するように変換され、制御基準系は依然として解剖学的基準系と一致していない。この不一致は、医療器具の操作者に制御上の問題を生じうる。例えば、医療器具を上方向に移動させるように指示したときに、ユーザインタフェース820に表示される画面に従うと、対角の右上方向に移動することになる場合がある。
【0113】
図24Dは、視覚基準系と制御基準系の両方が変換された後に、ユーザに提示され得る例示的なユーザインタフェース840を示す。例示的なユーザインタフェース840は、視覚表示842と、制御基準系(例えば、それぞれ上方向、下方向、左方向、および右方向)を表す1つ以上の制御基準系の指標850、852、854、および856とを含む。
図24Cの視覚表示822とは対照的に、視覚表示842に示される視覚基準系および制御基準系の両方は、視覚基準系および制御基準系(制御基準系の指標850、852、854および856によって表される)が解剖学的基準系(例えば、主竜骨)と一致するように変換される(例えば、回動される)。例えば、左方向を示す制御基準系の指標854は、左気管支804の位置に対応し、右方向を示す制御基準系の指標856は、右気管支806の位置に対応する。制御基準系を変換する方法について、本明細書で説明する(例えば、目標基準系、追跡された先端の回動、先端基準系、重力基準系、および/または、例えば、電磁パッチセンサ105、670、672、および/または674のような1つ以上の電磁パッチセンサによって測定された基準系に基づく)。
【0114】
本開示の1つ以上の態様によれば、
図25は、コマンド指示されていない回動を特定する例示的な処理を示す。いくつかの実施形態では、計算されたコマンド指示されていない回動を使用して、視覚基準系および/または制御基準系を調整することができる。医療器具(例えば、医療器具350または450、医療器具70、または内視鏡13)の遠位端またはその近くにある画像処理装置(例えば、画像処理装置315、356、または456)から導出される画像860は、患者の主竜骨を示し、左気管支804および右気管支806を有する。画像860は、視覚基準系が解剖学的基準系と一致していないことを示す。この例示的な処理では、解剖学的特徴(例えば、画像860に示す主竜骨)がランドマークとして使用される。肺の解剖学的特徴であることから、主竜骨の最深点は右気管支806である。最深点は、例えば、SFS(Shape From Shading)法などの種々の計算によって特定することができる。
【0115】
SFS法では、まず、画像処理装置から導出される画像860をシェーディング画像865に変換し、シェーディング画像865の各画素は、元の画像860のシェーディングまたは輝度を表す。シェーディング画像865では、最も明るい画素がより暗い色で表現され、最も暗い画素がより明るい色で表現される。シェーディング画像865は、左気管支804および右気管支806のそれぞれデプスピーク867、869の位置を示す。システムは、左気管支804および右気管支806のそれぞれのデプスピーク867、869を、例えば、シェーディング画像865内の1つ以上の局所最大画素(local maximum pixel)を検索することによって位置決めするように構成することができる。
【0116】
SFS法では、次に、左気管支804および右気管支806のそれぞれのデプスピーク267、869の位置に基づいて、視覚基準系および/または制御基準系の回動調整を計算することができる。回動調整880は、元の画像860の水平線874と、左気管支867と右気管支869とを接続する線872との間の角度を計算することによって特定することができる。したがって、2つのデプスピーク867、869を接続する線872が水平になるように視覚基準系に対する回動調整880が行われ、これにより、左気管支804が変換画像における左側領域に位置し、右気管支806が変換画像における右側領域に位置する。制御基準系に対する回動調整は、視覚基準系に対する回動調整880とは同じ値であるが逆方向となるように計算される。制御基準系に対する回動調整により、上記の通り、制御基準系が解剖学的基準系に対応する。いくつかの実施形態では、コマンド指示されていない回動または視覚基準系および/または制御基準系への調整を特定するための処理は、自動化されてもよい。
【0117】
図26は、コマンド指示されていない器具回動を修正するように構成された制御システム900を示す。制御システム910は、1つ以上のデータ記憶装置および1つ以上のハードウェアプロセッサとして、例えば、ロボット制御システム(例えば、システム10、36または47)、器具ドライバ(例えば、器具ドライバ62)、コントローラ(例えば、制御回路68)、コンソール(例えば、コンソール16または31)、および/またはコンソールベース(例えば、カートベース15)、またはそれらの構成要素として、上記のように実装することができる。
【0118】
制御システム900は、視覚基準系のデータリポジトリ902、制御基準系のデータリポジトリ904、先端基準系のデータリポジトリ906、目標基準系のデータリポジトリ908、処理モジュール910、変換された視覚基準系のデータリポジトリ912、および/または変換された制御基準系のデータリポジトリ914を含む。入力リポジトリ902、904、906、および908の各々のデータは、ユーザ入力、1つ以上のプロセッサ、または別のデータリポジトリ(例えば、重力基準系のデータリポジトリ)からのデータであってもよい。いくつかの実施形態では、制御システム900は、入力データリポジ
トリ902、904、906、および908のすべてを有していてもよい。いくつかの実施形態では、制御システム900は、入力データリポジトリ902、904、906、および908のうちの2つ以上を有していてもよい。いくつかの実施形態では、制御システム900は、出力データリポジトリ912および914のすべてを有していなくてもよい。いくつかの実施形態では、制御システム900は、出力データリポジトリ912および914のうちの2つ以上を有していてもよい。以下の説明を明確化する目的で
図24では別々に示されているが、データリポジトリの一部または全部が、単一のメモリまたは一連のメモリにまとめて記憶されてもよい。
【0119】
処理モジュール910は、視覚基準系のデータリポジトリ902、制御基準系のデータリポジトリ904、先端基準系のデータリポジトリ906、および/または目標基準系のデータリポジトリ908から入力データを受け取り、変換された視覚基準系のデータリポジトリ912および/または変換された制御基準系のデータリポジトリ914に出力データを送信するように構成される。処理モジュール910は、1つ以上のプロセッサと、プロセッサに本明細書に説明する方法、処理、およびステップを実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体とを有する。例えば、命令が実行されると、プロセッサに少なくとも、患者に挿入されるように構成された医療器具のモータ制御コマンドとモータ出力との関係を表す制御基準系を取得すること、医療器具の遠位端またはその近傍において、少なくとも1つの画像処理装置(例えば、画像処理装置315、356、もしくは456)または位置センサ(例えば、電磁コイル305、もしくは358、または電磁パッチセンサ105、670、672、もしくは674)からのデータに基づいて先端基準系を特定することと、患者上またはその近傍に配置された少なくとも1つの画像処理装置または位置センサからのデータに基づいて目標基準系を取得することと、(1)制御基準系と(2)目標基準系との間の1つまたは複数の違いを特定することと、を実行させることができる。一実施形態では、命令が実行されると、プロセッサに少なくとも、特定された違いに基づいて、視覚基準系および/または制御基準系を変換することを実行させることができる。一実施形態では、命令が実行されると、プロセッサに少なくとも、医療器具の遠位端にある少なくとも1つの画像処理装置または位置センサからのデータと、患者上またはその近くに配置された1つまたは複数の電磁パッチからのデータとを比較することによって、少なくとも1つまたは複数の違いを特定することを実行させることができる。
【0120】
本開示の実施形態では、医療器具や患者に配置されたパッチセンサなど、外部に配置された他のセンサのセンサデータを介して先端基準系を特定するアプローチについて説明した。これに加えてあるいはこの代わりに、他の実施形態として、システム設定または器具形状に基づいて先端基準系を推定してもよい。例示目的で、いくつかの実施態様では、医療器具が所定の側から特許内に挿入されているかどうかに基づいて、医療器具が特定の方向に回動したことを特定することができる。例えば、医療器具が患者の右側から挿入される場合、システムは、医療器具が特定の方向に回動すると仮定することができる。同様の特定は、検出された内視鏡の形状に基づいてもよい。このように先端基準系が特定されると、システムは、これらの推定された先端基準系を目標基準系と比較したり、上記の方法に補足的に使用して先端基準系を検出したりすることができる。
【0121】
(3.システムの実装および用語)
本明細書に開示される実施形態は、コマンド指示されていない器具の回動を修正するためのシステム、方法、および装置を提供する。
【0122】
本明細書で使用される用語「結合する」、「結合する」、「結合される」、または単語対の他の変更は間接接続または直接接続のいずれかを示すことができ、例えば、第1の構成要素が第2の構成要素に「結合される」場合、第1の構成要素は、別の構成要素を介し
て第2の構成要素に間接的に接続されるか、または第2の構成要素に直接接続されることができることに留意されたい。
【0123】
本明細書で説明する特徴類似度計算、位置推定、およびロボット動作作動機能は、プロセッサ可読媒体またはコンピュータ可読媒体上に1つまたは複数の命令として格納することができる。用語「コンピュータ可読媒体」は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM(ランダムアクセスメモリ)、ROM(リードオンリメモリ)、EEPROM(電気的消去可能プログラマブルリードオンリメモリ)、フラッシュメモリ、CD-ROM(コンパクトディスクリードオンリ)または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の様式で所望のプログラムコードを格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意されたい。本明細書で使用されるように、用語「コード」は、計算装置またはプロセッサによって実行可能なソフトウェア、命令、コード、またはデータを指すことができる。
【0124】
本明細書で開示される方法は、説明される方法を達成するための1つまたは複数のステップまたはアクションを備える。方法のステップおよび/またはアクションは、代替形態の範囲から逸脱することなく、互いに交換することができる。言い換えれば、ステップまたはアクションの特定の命令が説明されている方法の適切な動作のために必要とされない限り、特定のステップおよび/またはアクションの命令および/または使用は、代替の範囲から逸脱することなく修正され得る。
【0125】
本明細書で使用される場合、用語「複数」は2つ以上を意味する。例えば、複数の構成要素は2つ以上の構成要素を示す。用語「特定すること」が多種多様なアクションを包含し、したがって、「特定すること」は計算すること、計算すること、処理すること、導出すること、調査すること、参照すること(例えば、テーブル、データベース、または別のデータ構造を参照すること)、確認することなどを含むことができ、「特定すること」は受信すること(例えば、情報を受信すること)、アクセスすること(例えば、メモリ内のデータにアクセスすること)などを含むことができる。また、「特定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含むことができる。
【0126】
「に基づく」という語句は特に断らない限り、「のみに基づく」という意味ではない。言い換えれば、「に基づく」という語句は、「のみに基づく」および「少なくともに基づく」の両方を表す。
【0127】
本明細書で使用される用語「通信可能に接続」とは、無線WAN(Wireless Wide Area
Network)(1つまたは複数のセルラーネットワーク)、無線LAN(Local Area Network)(IEEE 802.11(Wi-Fi(登録商標)など、1つまたは複数の規格用)、Bluetooth(
登録商標)、データ転送ケーブルなどを含み、これらに限定されない、任意の有線または無線データ転送媒体を表す。
【0128】
開示された実施形態の上記の説明は、当業者が本件開示を実現または使用することを可能にするために提供される。これらの実装に対する様々な修正は当業者には容易に明らかであり、本明細書で定義される一般的な原理は、本件開示の範囲から逸脱することなく、他の実装に適用することができる。例えば、当業者は、工具構成要素を固定、取り付け、結合、または係合する等価な方法、特定の作動運動を生成するための等価な機構、および電気エネルギーを送達するための等価な機構などの、いくつかの対応する代替的および等価な構造的詳細を採用することができることが理解されるのであろう。したがって、本件
開示は、本明細書に示される実装に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。