(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-24
(45)【発行日】2023-04-03
(54)【発明の名称】位置センサベースの分岐予測のためのシステム及び方法
(51)【国際特許分類】
A61B 34/20 20160101AFI20230327BHJP
A61B 1/00 20060101ALI20230327BHJP
【FI】
A61B34/20
A61B1/00 552
(21)【出願番号】P 2020566601
(86)(22)【出願日】2019-05-28
(86)【国際出願番号】 US2019034145
(87)【国際公開番号】W WO2019231895
(87)【国際公開日】2019-12-05
【審査請求日】2022-05-27
(32)【優先日】2018-05-30
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2018-05-31
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】518083032
【氏名又は名称】オーリス ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100088605
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ラフィー-タリ・ヘディー
【審査官】野口 絢子
(56)【参考文献】
【文献】国際公開第2017/049163(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 34/00-34/37
A61B 1/00- 1/32
(57)【特許請求の範囲】
【請求項1】
システムであって、
プロセッサと、
前記プロセッサと通信し、かつ患者の管腔網のモデルを記憶した少なくとも1つのコンピュータ可読メモリと、を含み、前記モデルが、モデル座標系に関連付けられ、前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有しており、
前記コンピュータ実行可能命令が、前記プロセッサに、器具のための一組の1つ又は2つ以上の電磁(EM)位置センサによって生成された第1のEM位置データに基づいて、前記器具の第1の配向を判定すること
、を行わせ、前記第1のEM位置データが、第1の時間におけるEM位置センサ座標系内の前記器具の位置を示
し、
前記コンピュータ実行可能命令が、前記プロセッサに、前記一組のEM位置センサによって生成された第2のEM位置データに基づいて、第2の時間における前記器具の第2の配向を判定すること
、を行わせ、前記器具の遠位端が、前記第1の時間及び前記第2の時間において前記モデルの第1のセグメントに対応する前記管腔網の一部内に位置し、前記第1のセグメントが、2つ又は3つ以上の子セグメントに分岐しており、前記第1のEM位置データ及び前記第2のEM位置データが、前記モデル座標系に位置合わせされていない
ものであり、
前記コンピュータ実行可能命令が、前記プロセッサに、前記第1の配向と前記第2の配向との間の差を示すデータを判定すること
、を行わせ、
前記コンピュータ実行可能命令が、前記プロセッサに、前記差を示す前記データに基づいて、前記器具が、前記第2の時間における前記第1のセグメント内の前記器具の位置から、前記子セグメントのうちの第1の子セグメント内に前進するという予測を判定すること
、を行わせ、前記第1のEM位置データ及び前記第2のEM位置データは、前記予測が判定されるまで、前記モデル座標系に位置合わせされていないままである
、システム。
【請求項2】
前記予測は、前記器具が前記第1の子セグメント内に前進する確率を示すデータを含む、請求項1に記載のシステム。
【請求項3】
前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記差を示す前記データに基づいて、前記器具が前記子セグメントのうちの第2の子セグメント内に前進するという予測を判定することを行わせる、請求項1に記載のシステム。
【請求項4】
前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記一組のEM位置センサによって生成された第3のEM位置データに基づいて、第3の時間における前記器具の第3の配向を判定することと、
前記第3の配向と前記第1の配向との間の角度を判定することと、
前記角度を閾値角度と比較することと、
前記角度が前記閾値角度よりも大きいことに応じて、前記器具が前記第1の子セグメント内に前進するという前記予測を更新することと、を行わせる、請求項1に記載のシステム。
【請求項5】
前記一組のEM位置センサが、EM場内の前記EM位置センサの配向を示すデータを生成するように構成され、
前記EM場が、EM場発生器によって生成され、
前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、前記EM位置センサによって生成された前記データに基づいて、前記第1の配向と前記第2の配向との間のヨー角を判定することを行わせる、請求項1に記載のシステム。
【請求項6】
前記EM場に基づいて判定された前記器具のヨー軸が、前記子セグメントのうちの前記第1の子セグメントと第2の子セグメントとの間の配向の差と実質的に整合する、請求項5に記載のシステム。
【請求項7】
前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記
第1のEM位置データ及び前記第2のEM位置データ、前記器具の移動を制御するために提供される一組のコマンド、及び前記器具が前記第1の子セグメント内に前進するという前記予測を分析することによって、前記モデルに対する前記器具の前記遠位端のポジションを判定することを行わせる、請求項1に記載のシステム。
【請求項8】
前記メモリが、前記メモリに記憶された、
前記モデル内の標的への標的経路と、
対側位置合わせ経路であって、前記標的経路の外側で前記管腔網の第1の分岐に沿って前記器具を駆動することと、前記標的経路に前記器具を戻すことと、前記標的経路の一部である第2の分岐に沿って前記器具を駆動することと、を含む、対側位置合わせ経路と、
コンピュータ実行可能命令であって、前記コンピュータ実行可能命令が、前記プロセッサに、前記器具が前記第1の子セグメント内に前進するという前記予測に基づいて、前記器具が前記対側位置合わせ経路に沿って配置されているかどうかを判定させる、コンピュータ実行可能命令と、を更に有する、請求項1に記載のシステム。
【請求項9】
前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定することと、
前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定したことに応じて、対側位置合わせが失敗したという表示を提供することと、を行わせる、請求項8に記載のシステム。
【請求項10】
非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を有し、
前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、器具のための一組の1つ又は2つ以上の電磁(EM)位置センサによって生成された第1のEM位置データに基づいて、前記器具の第1の配向を判定すること
、を行わせ、前記第1のEM位置データが第1の時間におけるEM位置センサ座標系内の前記器具の位置を示
し、
前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、前記一組のEM位置センサによって生成された第2のEM位置データに基づいて、第2の時間における前記器具の第2の配向を判定すること
、を行わせ、前記器具の遠位端が、前記第1の時間及び前記第2の時間においてモデルの第1のセグメントに対応する管腔網の一部内に位置し、前記第1のセグメントが、2つ又は3つ以上の子セグメントに分岐し、前記モデルが、メモリに記憶され、患者の管腔網をモデル化し、前記モデルが、モデル座標系に関連付けられ、前記第1のEM位置データ及び前記第2のEM位置データが、前記モデル座標系に位置合わせされていない
ものであり、
前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、前記第1の配向と前記第2の配向との間の差を示すデータを判定すること
、を行わせ、
前記命令は、実行されたときに、前記差を示す前記データに基づいて、前記器具が、前記第2の時間における前記第1のセグメント内の前記器具の位置から、前記子セグメントのうちの第1の子セグメント内に前進するという予測を判定すること
、を行わせ、前記第1のEM位置データ及び前記第2のEM位置データは、前記予測が判定されるまで、前記モデル座標系に位置合わせされていないままである
、非一時的コンピュータ可読記憶媒体。
【請求項11】
前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、
前記差を示す前記データに基づいて、前記器具が前記子セグメントのうちの第2の子セグメント内に前進するという予測を判定することを行わせる、請求項10に記載の非一時的コンピュータ可読記憶媒体。
【請求項12】
前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、
前記一組のEM位置センサによって生成された第3のEM位置データに基づいて、第3の時間における前記器具の第3の配向を判定することと、
前記第3の配向と前記第1の配向との間の角度を判定することと、
前記角度を閾値角度と比較することと、
前記角度が前記閾値角度よりも大きいことに応じて、前記器具が前記第1の子セグメント内に前進するという前記予測を更新することと、を行わせる、請求項10に記載の非一時的コンピュータ可読記憶媒体。
【請求項13】
前記一組のEM位置センサが、EM場内の前記EM位置センサの配向を示すデータを生成するように構成され、
前記EM場が、EM場発生器によって生成され、
前記非一時的コンピュータ可読記憶媒体が、前記非一時的コンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、前記EM位置センサによって生成された前記データに基づいて、前記第1の配向と前記第2の配向との間のヨー角を判定することを行わせる、請求項10に記載の非一時的コンピュータ可読記憶媒体。
【請求項14】
前記メモリが、前記メモリに記憶された、
前記モデル内の標的への標的経路と、
対側位置合わせ経路であって、前記標的経路の外側で前記管腔網の第1の分岐に沿って前記器具を駆動することと、前記標的経路に前記器具を戻すことと、前記標的経路の一部である第2の分岐に沿って前記器具を駆動することと、を含む、対側位置合わせ経路と、を更に有し、
前記非一時的コンピュータ可読記憶媒体が、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、前記器具が前記第1の子セグメント内に前進するという前記予測に基づいて、前記器具が前記対側位置合わせ経路に沿って配置されているかどうかを判定させる、請求項10に記載の非一時的コンピュータ可読記憶媒体。
【請求項15】
前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、
前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定することと、
前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定したことに応じて、対側位置合わせが失敗したという表示を提供することと、を行わせる、請求項14に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、2018年5月30日に出願された米国特許仮出願第62/678,160号、及び2018年5月31日に出願された米国特許仮出願第62/678,962号に対して優先権を主張するものであり、これらの各々は、参照によりその全体が本明細書に組み込まれる。
【0002】
(発明の分野)
本明細書に開示されているシステム及び方法は、管腔網における分岐予測を対象とし、より具体的には、位置センサデータに基づいて、器具がどの分岐に前進するのかを予測するための技術を対象とする。
【背景技術】
【0003】
内視鏡検査(例えば、気管支鏡検査)などの医療処置は、診断及び/又は治療目的のために、患者の管腔網(例えば、気道)内への医療用具の挿入を伴うことがある。外科用ロボットシステムが、医療処置中の医療用具の挿入及び/又は操作を制御するために使用されることがある。外科用ロボットシステムは、医療処置前及び医療処置中に医療用具の位置決めを制御するために使用され得るマニピュレータアセンブリを含む少なくとも1つのロボットアームを備え得る。外科用ロボットシステムは、医療用具の遠位端のポジションを示す位置データを生成するように構成された位置センサ(複数可)を更に備えることができる。
【0004】
外科用ロボットシステムは、器具の遠位端のポジションの表示をユーザに提供するための1つ又は2つ以上のディスプレイを更に備えてもよく、それによって、ユーザが患者の管腔網を通して器具をナビゲートするのを支援する。システムは、器具のナビゲーションをサポートする様々な技術を実行するように構成されてもよく、これには、器具が現在の分岐から管腔網のどの分岐内に前進する可能性が高いかを予測することを含む。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示のシステム、方法及びデバイスは各々、いくつかの革新的な態様を有し、そのうちの1つも、本明細書に開示される望ましい属性にのみ関与するものではない。
【0006】
一態様では、システムが提供され、システムは、プロセッサと、プロセッサと通信し、かつ患者の管腔網のモデルを記憶している少なくとも1つのコンピュータ可読メモリと、を含み、メモリは、メモリに記憶されたコンピュータ実行可能命令を有しており、コンピュータ実行可能命令が、プロセッサに、器具のための一組の1つ又は2つ以上の位置センサによって生成された第1の位置データに基づいて、器具の第1の配向を判定することであって、第1の位置データが、第1の時間における位置センサ座標系内の器具の位置を示す、判定することと、一組の位置センサによって生成された第2の位置データに基づいて、第2の時間における器具の第2の配向を判定することであって、器具の遠位端が、第1の時間及び第2の時間においてモデルの第1のセグメント内に位置し、第1のセグメントが、2つ又は3つ以上の子セグメントに分岐している、判定することと、第1の配向と第2の配向との間の差を示すデータを判定することと、その差を示すデータに基づいて、器具が子セグメントのうちの第1の子セグメント内に前進するという予測を判定することと、を行わせる。
【0007】
別の態様では、非一時的コンピュータ可読記憶媒体が提供され、非一時的コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体に記憶された命令を有し、命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、器具のための一組の1つ又は2つ以上の位置センサによって生成された第1の位置データに基づいて、器具の第1の配向を判定することであって、第1の位置データが、第1の時間における位置センサ座標系内の器具の位置を示す、判定することと、一組の位置センサによって生成された第2の位置データに基づいて、第2の時間における器具の第2の配向を判定することであって、器具の遠位端が、第1の時間及び第2の時間においてモデルの第1のセグメント内に位置し、第1のセグメントが、2つ又は3つ以上の子セグメントに分岐し、モデルが、メモリに記憶され、患者の管腔網をモデル化する、判定することと、第1の配向と第2の配向との間の差を示すデータを判定することと、その差を示すデータに基づいて、器具が子セグメントのうちの第1の子セグメント内に前進するという予測を判定することと、を行わせる。
【0008】
更に別の態様では、器具の移動を予測する方法が提供され、この方法は、器具のための一組の1つ又は2つ以上の位置センサによって生成された第1の位置データに基づいて、器具の第1の配向を判定することであって、第1の位置データが、第1の時間における位置センサ座標系内の器具の位置を示す、判定することと、一組の位置センサによって生成された第2の位置データに基づいて、第2の時間における器具の第2の配向を判定することであって、器具の遠位端が、第1の時間及び第2の時間においてモデルの第1のセグメント内に位置し、第1のセグメントが、2つ又は3つ以上の子セグメントに分岐し、モデルがメモリに記憶され、患者の管腔網をモデル化する、判定することと、第1の配向と第2の配向との間の差を示すデータを判定することと、その差を示すデータに基づいて、器具が子セグメントのうちの第1の子セグメント内に前進するという予測を判定することと、含む。
【0009】
更に別の態様では、システムが提供され、システムは、プロセッサと、プロセッサと通信し、かつ患者の管腔網のモデルを記憶している少なくとも1つのコンピュータ可読メモリと、を含み、メモリは、メモリに記憶されたコンピュータ実行可能命令を有しており、コンピュータ実行可能命令が、プロセッサに、器具のための一組の1つ又は2つ以上の位置センサによって生成された位置データに基づいて、モデルに対する器具の配向を判定することであって、器具の遠位端が、モデルの第1のセグメント内に位置し、第1のセグメントが、2つ又は3つ以上の子セグメント内に分岐している、判定することと、子セグメントのうちの第1の子セグメントの配向を判定することと、器具の配向及び第1の子セグメントの配向に基づいて、器具が第1の子セグメント内に前進するという予測を判定することと、を行わせる。
【0010】
別の態様では、非一時的コンピュータ可読記憶媒体が提供され、非一時的コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体に記憶された命令を有し、命令は、実行されたときに、少なくとも1つのコンピュータデバイスに、器具のための一組の1つ又は2つ以上の位置センサによって生成された位置データに基づいて、モデルに対する器具の配向を判定することであって、モデルが、メモリに記憶されて患者の管腔網をモデル化し、器具の遠位端が、モデルの第1のセグメント内に位置し、第1のセグメントが、2つ又は3つ以上の子セグメント内に分岐している、判定することと、子セグメントのうちの第1の子セグメントの配向を判定することと、器具の配向及び第1の子セグメントの配向に基づいて、器具が第1の子セグメント内に前進するという予測を判定することと、を行わせる。
【0011】
更に別の態様では、器具の移動を予測する方法を提供し、本方法は、器具のための一組の1つ又は2つ以上の位置センサによって生成された位置データに基づいて、モデルに対する器具の配向を判定することであって、モデルが、メモリに記憶され、患者の管腔網をモデル化し、器具の遠位端が、モデルの第1のセグメント内に位置し、第1のセグメントが、2つ又は3つ以上の子セグメント内に分岐している、判定することと、子セグメントのうちの第1の子セグメントの配向を判定することと、器具の配向及び第1の子セグメントの配向に基づいて、器具が第1の子セグメント内に前進するという予測を判定することと、を含む。
【図面の簡単な説明】
【0012】
開示される態様は、以下、添付の図面と併せて説明され、開示された態様を例示するが、限定するものではなく、同様の指定は同様の要素を示す。
【
図1】診断及び/又は治療用気管支鏡検査処置(複数可)のために配置されたカートベースのロボットシステムの実施形態である。
【
図2】
図1のロボットシステムの更なる態様である。
【
図3】尿管鏡検査のために配置された
図1のロボットシステムの実施形態である。
【
図4】血管処置のために配置された
図1のロボットシステムの実施形態である。
【
図5】気管支鏡検査処置のために配置されたテーブルベースのロボットシステムの実施形態である。
【
図6】
図5のロボットシステムの代替的な図である。
【
図7】ロボットアーム(複数可)を格納するように構成された例示的なシステムである。
【
図8】尿管鏡検査処置のために構成されたテーブルベースのロボットシステムの実施形態である。
【
図9】腹腔鏡処置のために構成されたテーブルベースのロボットシステムの実施形態である。
【
図10】ピッチ又は傾斜調整を備えた
図5~
図9のテーブルベースのロボットシステムの実施形態である。
【
図11】
図5~
図10のテーブルベースのロボットシステムのテーブルとカラムとの間のインターフェースの詳細な図示である。
【
図13】ペア器具ドライバを備えた例示的な医療器具である。
【
図14】駆動ユニットの軸が器具の細長いシャフトの軸に平行である、器具ドライバ及び器具の代替的な設計である。
【
図15】例示的な実施形態による、
図13及び
図14の器具の位置など、
図1~
図10のロボットシステムの1つ又は2つ以上の要素の位置を推定する位置特定システムを示すブロック図である。
【
図16A】開示する分岐予測システム及び技術の1つ又は2つ以上の態様を実施する例示的な手術環境である。
【
図16B】
図16Aの手術環境においてナビゲートされることができる例示的な管腔網である。
【
図16C】例えば例示的な手術環境においてコマンドコンソールとして使用することができる例示的なコマンドコンソールである。
【
図17A】一実施形態による、ナビゲーション構成システムの例示的なブロック図の概要である。
【
図17B】一実施形態による、
図17Aに示すナビゲーションモジュールの例示的なブロック図である。
【
図17C】一実施形態による、状態推定器に含まれる推定状態データストアの例示的なブロック図である。
【
図17D】本開示の態様による、例示的な位置センサベースの分岐予測システムである。
【
図18A】本開示の態様による、位置合わせされていない位置センサベースの分岐予測のための、ロボットシステム又はその構成要素(複数可)によって動作可能な例示的な方法を示すフローチャートである。
【
図18B】本開示の態様による、器具が管腔網を通して駆動される際に、1つ又は2つ以上の位置センサによって生成され得る例示的な一組の位置データ点である。
【
図19】本開示の態様による、位置センサベースの分岐予測を実行することができる例示的な管腔網である。
【
図20】本開示の態様による、位置合わせされた位置センサベースの分岐予測のための、ロボットシステム又はその構成要素(複数可)によって動作可能な例示的な方法を示すフローチャートである。
【
図21】本開示の態様による、位置センサベースの分岐予測のための、ロボットシステム又はその構成要素(複数可)によって動作可能な例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【0013】
1.概論。
本開示の態様は、腹腔鏡などの低侵襲性、及び内視鏡などの非侵襲性の両方の処置を含む、様々な医療処置を行うことができるロボット制御可能な医療システムに統合され得る。内視鏡処置のうち、システムは、気管支鏡検査、尿管鏡検査、胃鏡検査などを行うことができる。
【0014】
幅広い処置を実行することに加えて、システムは、医師を支援するための強調された撮像及び誘導などの追加の利益を提供することができる。加えて、システムは、厄介なアーム運動及び位置を必要とせずに、人間工学的位置から処置を行う能力を医師に提供することができる。また更に、システムは、システムの器具のうちの1つ又は2つ以上が単一のユーザによって制御され得るように、改善された使いやすさで処置を行う能力を医師に提供することができる。
【0015】
以下、説明を目的として、図面と併せて、様々な実施形態が説明される。開示された概念の多くの他の実施態様が可能であり、開示された実施態様で様々な利点が達成され得ることを理解されたい。見出しが、参照のために本明細書に含まれ、様々なセクションの位置を特定する支援となる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図するものではない。そのような概念は、本明細書全体にわたって適用可能性を有し得る。
【0016】
A.ロボットシステム-カート。
ロボット制御可能な医療システムは、特定の処置に応じて様々な方法で構成され得る。
図1は、診断及び/又は治療用気管支鏡検査処置のために配置された、カートベースのロボット制御可能なシステム10の実施形態を示す。気管支鏡検査の間、システム10は、気管支鏡検査のための処置特有の気管支鏡であり得る操縦可能な内視鏡13などの医療器具を、診断及び/又は治療用具を送達するための自然オリフィスアクセスポイント(すなわち、本実施例ではテーブル上に位置付けられた患者の口)に送達するための1つ又は2つ以上のロボットアーム12を有するカート11を含み得る。図示のように、カート11は、アクセスポイントへのアクセスを提供するために、患者の上部胴体に近接して位置付けられ得る。同様に、ロボットアーム12は、アクセスポイントに対して気管支鏡を位置付けるために作動され得る。
図1の配置はまた、胃腸管(gastro-intestinal、GI)処置を胃鏡(GI処置のための特殊な内視鏡)を用いて実行するときにも利用され得る。
図2は、カートの例示的な実施形態をより詳細に描画する。
【0017】
図1を引き続き参照すると、一旦カート11が適切に位置付けられると、ロボットアーム12は、操縦可能な内視鏡13をロボットで、手動で、又はそれらの組み合わせで患者内に挿入することができる。図示のように、操縦可能な内視鏡13は、内側リーダー部分及び外側シース部分などの少なくとも2つの入れ子式部品を含んでもよく、各部分は、器具ドライバのセット28から別個の器具ドライバに結合され、各器具ドライバは、個々のロボットアームの遠位端に結合されている。リーダー部分をシース部分と同軸上に整合させるのを容易にする器具ドライバ28のこの直線配置は、1つ又は2つ以上のロボットアーム12を異なる角度及び/又は位置に操作することによって空間内に再配置され得る「仮想レール」29を作成する。本明細書に記載される仮想レールは、破線を使用して図に示されており、したがって破線は、システムの物理的構造を示さない。仮想レール29に沿った器具ドライバ28の並進は、外側シース部分に対して内側リーダー部分を入れ子にするか、又は内視鏡13を患者から前進又は後退させる。仮想レール29の角度は、臨床用途又は医師の好みに基づいて調整、並進、及び枢動されてもよい。例えば、気管支鏡検査では、図示されるような仮想レール29の角度及び位置は、内視鏡13を患者の口内に曲げ入れることによる摩擦を最小限に抑えながら内視鏡13への医師のアクセスを提供する妥協を表す。
【0018】
内視鏡13は、対象の目的地又は手術部位に到達するまで、ロボットシステムからの正確なコマンドを使用して挿入後に患者の気管及び肺の下方に指向されてもよい。患者の肺網を通したナビゲーションを高め、及び/又は所望の標的に到達するために、内視鏡13を操縦して、内側リーダー部分を外側シース部分から入れ子状に延在させて、高められた関節運動及びより大きな曲げ半径を得てもよい。別個の器具ドライバ28の使用により、リーダー部分及びシース部分が互いに独立して駆動されることも可能にする。
【0019】
例えば、内視鏡13は、例えば、患者の肺内の病変又は小結節などの標的に生検針を送達するように指向されてもよい。針は、内視鏡の長さにわたる作業チャネルの下方に展開されて、病理医によって分析される組織試料を得てもよい。病理の結果に応じて、追加の生検のために追加のツールが内視鏡の作業チャネルの下方に展開されてもよい。小結節を悪性と識別した後、内視鏡13は、潜在的な癌組織を切除するために器具を内視鏡的に送達してもよい。場合によっては、診断及び治療的処置は、別個の処置で送達される必要があってもよい。これらの状況において、内視鏡13はまた、標的小結節の位置を「マーク」するために基準を送達するために使用されてもよい。他の例では、診断及び治療的処置は、同じ処置中に送達されてもよい。
【0020】
システム10はまた、カート11に支持ケーブルを介して接続されて、カート11への制御、電子機器、流体工学、光学系、センサ、及び/又は電力のためのサポートを提供し得る移動可能なタワー30を含んでもよい。タワー30内にこのような機能を置くことにより、動作を行う医師及びそのスタッフがより容易に調整及び/又は再配置することができるより小さいフォームファクタのカート11が可能となる。追加的に、カート/テーブルと支持タワー30との間の機能の分割は、手術室の乱雑さを低減し、臨床ワークフローの改善を促進する。カート11は患者に近接して配置されてもよいが、タワー30は、処置中に邪魔にならないように遠隔位置に格納されてもよい。
【0021】
上述のロボットシステムのサポートにおいて、タワー30は、例えば、永続的な磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内にコンピュータプログラム命令を記憶するコンピュータベースの制御システムの構成要素(複数可)を含んでもよい。これらの命令の実行は、実行がタワー30内で行われるのか又はカート11で行われるのかにかかわらず、そのシステム又はサブシステム(複数可)全体を制御してもよい。例えば、コンピュータシステムのプロセッサによって実行されるときに、命令は、ロボットシステムの構成要素に、関連するキャリッジ及びアームマウントを作動させ、ロボットアームを作動させ、医療器具を制御させてもよい。例えば、制御信号を受信したことに応答して、ロボットアームの関節内のモータは、アームをある特定の姿勢に配置してもよい。
【0022】
タワー30はまた、内視鏡13を通して展開され得るシステムに制御された灌注及び吸引能力を提供するために、ポンプ、流量計、弁制御、及び/又は流体アクセスを含んでもよい。これらの構成要素はまた、タワー30のコンピュータシステムを使用して制御されてもよい。いくつかの実施形態では、灌注及び吸引能力は、別個のケーブル(複数可)を通して内視鏡13に直接送達されてもよい。
【0023】
タワー30は、フィルタリングされ、保護された電力をカート11に提供するように設計された電圧及びサージ保護具を含んでもよく、それによって、カート11内に電力変圧器及び他の補助電力構成要素を配置することが回避され、カート11はより小さく、より移動可能になる。
【0024】
タワー30はまた、ロボットシステム10全体に配置されたセンサのための支持機器を含んでもよい。例えば、タワー30は、ロボットシステム10のあらゆる場所の光センサ又はカメラから受信したデータを検出、受信、及び処理するためのオプトエレクトロニクス機器を含んでもよい。制御システムと組み合わせて、このようなオプトエレクトロニクス機器は、タワー30内を含むシステム全体に展開された任意の数のコンソール内に表示するためのリアルタイム画像を生成するために使用されてもよい。同様に、タワー30はまた、展開された電磁(electromagnetic、EM)センサから受信した信号を受信及び処理するための電子サブシステムを含んでもよい。タワー30はまた、医療器具内又は医療器具上のEMセンサによる検出のためにEM場発生器を収容し、配置するために使用されてもよい。
【0025】
タワー30はまた、システムの残りの部分で利用可能な他のコンソール、例えば、カートの上部上に装着されたコンソールに追加して、コンソール31を含んでもよい。コンソール31は、医師操作者のためのユーザインターフェース及びタッチスクリーンなどの表示画面を含んでもよい。システム10内のコンソールは、一般に、ロボット制御、並びに内視鏡13のナビゲーション情報及び位置特定情報などの処置の術前及びリアルタイム情報の両方を提供するように設計される。コンソール31が医師に利用可能な唯一のコンソールではない場合、コンソール31は、患者の健康又は生命及びシステムの動作を監視し、並びにナビゲーション及び位置特定情報などの処置固有のデータを提供するために、看護師などの第2の操作者によって使用されてもよい。
【0026】
タワー30は、1つ又は2つ以上のケーブル又は接続(図示せず)を介してカート11及び内視鏡13に結合されてもよい。いくつかの実施形態では、タワー30からの支持機能は、単一ケーブルを通してカート11に提供されることにより、手術室を簡略化し、整理整頓することができる。他の実施形態では、特定の機能は、別個の配線及び接続で結合されてもよい。例えば、単一の電力ケーブルを通してカートに電力が供給されてもよい一方、制御、光学、流体工学、及び/又はナビゲーションのためのサポートは、別個のケーブルを通して提供されてもよい。
【0027】
図2は、
図1に示されるカートベースのロボット制御可能なシステムからのカートの実施形態の詳細な図を提供する。カート11は、概して、細長い支持構造14(「カラム」と呼ばれることが多い)、カート基部15、及びカラム14の頂部にあるコンソール16を含む。カラム14は、1つ又は2つ以上のロボットアーム12(
図2には3つ示されている)の展開を支持するためのキャリッジ17(代替的に「アーム支持体」)などの1つ又は2つ以上のキャリッジを含んでもよい。キャリッジ17は、患者に対してより良好に配置するために垂直軸に沿って回転してロボットアーム12の基部を調整する、個別に構成可能なアームマウントを含んでもよい。キャリッジ17はまた、キャリッジ17がカラム14に沿って垂直方向に並進することを可能にするキャリッジインターフェース19を含む。
【0028】
キャリッジインターフェース19は、キャリッジ17の垂直方向の並進を案内するためにカラム14の両側に配置されたスロット20などのスロットを通してカラム14に接続されている。スロット20は、カート基部15に対して様々な垂直方向の高さでキャリッジを配置及び保持するための垂直方向の並進インターフェースを含む。キャリッジ17の垂直方向の並進により、カート11が、様々なテーブルの高さ、患者のサイズ、及び医師の好みを満たすようにロボットアーム12の到達を調整することを可能にする。同様に、キャリッジ17上の個別に構成可能なアームマウントにより、ロボットアーム12のロボットアーム基部21を様々な構成で角度付けすることが可能となる。
【0029】
いくつかの実施形態では、キャリッジ17が垂直方向に並進する際にカラム14の内部チャンバ及び垂直方向の並進インターフェース内に汚れ及び流体が侵入するのを防止するために、スロット20には、スロット表面と同一平面及び平行であるスロットカバーが追加されてもよい。スロットカバーは、スロット20の垂直方向の頂部及び底部付近に配置されたばねスプールの対を通じて展開されてもよい。カバーは、スプール内でコイル巻きにされており、キャリッジ17が垂直方向に上下に並進して初めて展開して、それらのコイル状態から延伸及び後退する。スプールのばね荷重は、キャリッジ17がスプールに向かって並進するときにカバーをスプール内に後退させるための力を提供する一方で、キャリッジ17がスプールから離れるように並進するときに密封も維持する。カバーは、キャリッジ17が並進する際にカバーが適切に延在及び後退するのを確実にするために、例えば、キャリッジインターフェース19内のブラケットを使用してキャリッジ17に接続されてもよい。
【0030】
カラム14は、例えば、コンソール16からの入力などのユーザ入力に応答して生成された制御信号に応答してキャリッジ17を機械的に並進させるために垂直方向に整合した主ねじを使用するように設計された、歯車及びモータなどの機構を内部に含んでもよい。
【0031】
ロボットアーム12は、一般に、一連の関節24によって接続されている一連の連結部23によって分離されたロボットアーム基部21及びエンドエフェクタ22を含んでもよく、各関節は独立したアクチュエータを含み、各アクチュエータは、独立して制御可能なモータを含む。各独立して制御可能な関節は、ロボットアームが利用可能な独立した自由度を表す。アーム12の各々は、7つの関節を有し、したがって、7つの自由度を提供する。多数の関節は、多数の自由度をもたらし、「冗長」自由度を可能にする。冗長自由度は、ロボットアーム12が、異なる連結位置及び関節角度を使用して空間内の特定の位置、配向、及び軌道で、それらのそれぞれのエンドエフェクタ22を配置することを可能にする。これにより、システムが空間内の所望のポイントから医療器具を配置及び指向させることが可能になると同時に、医師がアーム関節を患者から離れる臨床的に有利な位置へと移動させて、アームの衝突を回避しながらよりよいアクセスを生み出すことを可能にする。
【0032】
カート基部15は、床の上のカラム14、キャリッジ17、及びアーム12の重量の釣り合いをとる。したがって、カート基部15は、電子機器、モータ、電源、並びにカートの移動及び/又は固定化のいずれかを可能にする構成要素などの、より重い部品を収容する。例えば、カート基部15は、処置前にカートが部屋中をあちこちに容易に移動することを可能にする、転動可能なホイール形状のキャスター25を含む。適切な位置に到達した後、キャスター25は、処置中にカート11を定位置に保持するためのホイールロックを使用して静止させられてもよい。
【0033】
カラム14の垂直方向の端部に配置されたコンソール16は、ユーザ入力を受信するためのユーザインターフェース及び表示画面(又は、例えば、タッチスクリーン26などの二重目的デバイス)の両方を可能にして、術前データ及び術中データの両方を医師であるユーザに提供する。タッチスクリーン26上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影(computerized tomography、CT)スキャンから導出されたナビゲーション及びマッピングデータ、及び/又は術前の患者への問診からのメモを含んでもよい。ディスプレイ上の術中データは、ツールから提供される光学情報、センサからのセンサ及び座標情報、並びに呼吸、心拍数、及び/又はパルスなどの不可欠な患者統計を含んでもよい。コンソール16は、医師が、キャリッジ17の反対側のカラム14側からコンソールにアクセスすることを可能にするように配置され、傾斜が付けられてもよい。この位置から、医師は、コンソール16をカート11の背後から操作しながら、コンソール16、ロボットアーム12、及び患者を見ることができる。図示のように、コンソール16はまた、カート11の操作及び安定化を支援するハンドル27を含む。
【0034】
図3は、尿管鏡検査のために配されたロボット制御可能なシステム10の実施形態を示す。尿管鏡検査処置では、カート11は、患者の尿道及び尿管を横断するように設計された処置専用内視鏡である尿管鏡32を患者の下腹部領域に送達するように配置されてもよい。尿管鏡検査では、尿管鏡32が患者の尿道と直接整合して、領域内の敏感な解剖学的構造に対する摩擦及び力を低減することが望ましいことがある。図示のように、カート11は、ロボットアーム12が尿管鏡32を、患者の尿道に直接直線状にアクセスするために配置することを可能にするように、テーブルの脚部に整合されてもよい。テーブルの脚部から、ロボットアーム12は、尿道を通して患者の下腹部に直接、仮想レール33に沿って尿管鏡32を挿入してもよい。
【0035】
気管支鏡検査におけるのと同様の制御技法を使用して尿道に挿入した後、尿管鏡32は、診断及び/又は治療用途のために、膀胱、尿管、及び/又は腎臓にナビゲートされてもよい。例えば、尿管鏡32は、尿管及び腎臓に指向され、尿管鏡32の作業チャネルの下方に展開されたレーザ又は超音波砕石デバイスを使用して、形成された腎臓結石を破壊することができる。砕石術が完了した後、得られた結石片は、尿管鏡32の下方に展開されたバスケットを使用して除去されてもよい。
【0036】
図4は、血管処置のために同様に配されたロボット制御可能なシステムの実施形態を示す。血管処置において、システム10は、カート11が、操縦可能なカテーテルなどの医療器具34を、患者の脚内の大腿動脈内のアクセスポイントに送達することができるように構成され得る。大腿動脈は、ナビゲーションのためのより大きな直径と、患者の心臓への比較的迂回性及び蛇行性でない経路との両方を呈し、これによりナビゲーションが単純化する。尿管鏡処置のように、カート11は、患者の脚及び下腹部に向かって配置されて、ロボットアーム12が患者の大腿/腰領域内の大腿動脈アクセスポイントへの直接的な線形アクセスで仮想レール35を提供することを可能にしてもよい。動脈内への挿入後、器具ドライバ28を並進させることによって医療器具34が指向され、挿入されてもよい。代替的には、カートは、例えば、肩及び手首付近の頸動脈及び腕動脈などの代替的な血管アクセスポイントに到達するために、患者の上腹部の周囲に配置されてもよい。
【0037】
B.ロボットシステム-テーブル。
ロボット制御可能な医療システムの実施形態はまた、患者テーブルを組み込んでもよい。テーブルの組み込みは、カートを除去することによって手術室内の資本設備の量を低減し、患者へのより大きなアクセスを可能にする。
図5は、気管支鏡検査処置のために配されたこのようなロボット制御可能なシステムの一実施形態を示す。システム36は、床の上にプラットフォーム38(「テーブル」又は「ベッド」として図示)を支持するための支持構造体又はカラム37を含む。カートベースのシステムと同様に、システム36のロボットアーム39のエンドエフェクタは、器具ドライバ42の線形整合から形成された仮想レール41を通して、又はそれに沿って、
図5の気管支鏡40などの細長い医療器具を操作するように設計された器具ドライバ42を含む。実際には、X線透視撮像を提供するためのCアームは、放射器及び検出器をテーブル38の周囲に置くことによって、患者の上部腹部領域の上方に配置されてもよい。
【0038】
図6は、考察目的で患者及び医療器具なしのシステム36の代替図を提供する。図示のように、カラム37は、1つ又は2つ以上のロボットアーム39のベースとなり得る、システム36内でリング形状として図示される1つ又は2つ以上のキャリッジ43を含んでもよい。キャリッジ43は、カラム37の長さにわたる垂直方向のカラムインターフェース44に沿って並進して、ロボットアーム39が患者に到達するように配置され得る異なるバンテージポイントを提供してもよい。キャリッジ(複数可)43は、カラム37内に配置された機械的モータを使用してカラム37の周りを回転して、ロボットアーム39が、例えば、患者の両側などのテーブル38の多数の側面へのアクセスを有することを可能にしてもよい。多数のキャリッジを有する実施形態では、キャリッジはカラム上に個別に配置されてもよく、他のキャリッジとは独立して並進及び/又は回転してもよい。キャリッジ43はカラム37を取り囲む必要はなく、又は更には円形である必要はないが、図示されるようなリング形状は、構造的バランスを維持しながらカラム37の周りでキャリッジ43が回転するのを容易にする。キャリッジ43の回転及び並進により、システムは、内視鏡及び腹腔鏡などの医療器具を患者の異なるアクセスポイントに整合させることができる。
【0039】
アーム39は、ロボットアーム39に追加の構成可能性を提供するために個別に回転及び/又は入れ子式に延在し得る一連の関節を含むアームマウント45のセットを介してキャリッジに装着されてもよい。加えて、アームマウント45は、キャリッジ43が適切に回転されるとき、アームマウント45がテーブル38の片側(
図6に示すように)、テーブル38の両側(
図9に示すように)、又はテーブル38の隣接する側部(図示せず)のいずれかに配置され得るように、キャリッジ43に配置され得る。
【0040】
カラム37は、テーブル38の支持、及びキャリッジの垂直方向の並進のための経路を構造的に提供する。内部に、カラム37は、キャリッジの垂直方向の並進を案内するための主ねじ、及び主ねじに基づく当該キャリッジの並進を機械化するためのモータが備えていてもよい。カラム37はまた、キャリッジ43及びその上に装着されたロボットアーム39に電力及び制御信号を伝達してもよい。
【0041】
テーブル基部46は、
図2に示すカート11のカート基部15と同様の機能を果たし、テーブル/ベッド38、カラム37、キャリッジ43、及びロボットアーム39の釣り合いをとるためにより重い構成要素を収容する。テーブル基部46はまた、処置中に安定性を提供するために剛性キャスターを組み込んでもよい。テーブル基部46の底部から展開されるキャスターは、基部46の両側で反対方向に延在し、システム36を移動させる必要があるときに後退してもよい。
【0042】
引き続き
図6によれば、システム36はまた、テーブルとタワーとの間のシステム36の機能を分割して、テーブルのフォームファクタ及びバルクを低減するタワー(図示せず)を含んでもよい。先に開示された実施形態と同様に、タワーは、処理、計算、及び制御能力、電力、流体工学、並びに/又は光学及びセンサ処理などの様々な支持機能をテーブルに提供してもよい。タワーはまた、医師のアクセスを改善し、手術室を整理整頓するために、患者から離れて配置されるように移動可能であってもよい。加えて、タワー内に構成要素を配置することにより、ロボットアームの潜在的な収納のために、テーブル基部内により多くの保管空間を可能にする。タワーはまた、キーボード及び/又はペンダントなどのユーザ入力のためのユーザインターフェース、並びにリアルタイム撮像、ナビゲーション、及び追跡情報などの術前及び術中情報のための表示画面(又はタッチスクリーン)の両方を提供するコンソールを含んでもよい。
【0043】
いくつかの実施形態では、テーブル基部は、使用されていないときにロボットアームを収容して格納してもよい。
図7は、テーブルベースのシステムの一実施形態におけるロボットアームを収容するシステム47を示す。システム47では、キャリッジ48は、ロボットアーム50、アームマウント51、及びキャリッジ48を基部49内に格納するために、基部49内へと垂直方向に並進されてもよい。基部カバー52は、並進及び後退して、キャリッジ48、アームマウント51、及びアーム50をカラム53の周りに展開させるように開き、使用されていないときにそれらを格納して保護するように閉じられてもよい。基部カバー52は、閉じたときに汚れ及び流体が侵入するのを防止するために、その開口部の縁部に沿って膜54で封止されてもよい。
【0044】
図8は、尿管鏡検査処置のために構成されたロボット制御可能なテーブルベースのシステムの一実施形態を示す。尿管鏡検査では、テーブル38は、患者をカラム37及びテーブル基部46からオフアングルに配置するためのスイベル部分55を含んでもよい。スイベル部分55は、スイベル部分55の底部をカラム37から離すように配置するために、旋回点(例えば、患者の頭部の下に位置)を中心に回転又は旋回してもよい。例えば、スイベル部分55の旋回により、Cアーム(図示せず)が、テーブル38の下のカラム(図示せず)と空間を奪い合うことなく、患者の下部腹部の上方に配置されることを可能にする。カラム37の周りにキャリッジ35(図示せず)を回転させることにより、ロボットアーム39は、尿道に到達するように、仮想レール57に沿って、患者の鼠径部領域に直接尿管鏡56を挿入してもよい。尿管鏡検査では、処置中に患者の脚の位置を支持し、患者の鼠径部領域への明確なアクセスを可能にするために、テーブル38のスイベル部分55にあぶみ58が固定されてもよい。
【0045】
腹腔鏡処置では、患者の腹壁内の小さな切開部(複数可)を通して、低侵襲性器具(1つ又は2つ以上の切開部のサイズに適応するように形状が細長い)を患者の解剖学的構造に挿入してもよい。患者の腹腔の膨張後、腹腔鏡と呼ばれることが多い器具は、把持、切断、アブレーション、縫合などの外科的タスクを実行するように指向されてもよい。
図9は、腹腔鏡処置のために構成されたロボット制御可能なテーブルベースのシステムの実施形態を示す。
図9に示されるように、システム36のキャリッジ43は回転し、垂直方向に調整されて、腹腔鏡59が患者の両側の最小切開部を通過して患者の腹腔に到達するようにアームマウント45を使用し配置され得るように、ロボットアーム39の対をテーブル38の両側に位置付けてもよい。
【0046】
腹腔鏡処置に対応するために、ロボット制御可能なテーブルシステムはまた、プラットフォームを所望の角度に傾斜させてもよい。
図10は、ピッチ又は傾斜調整を有するロボット制御可能な医療システムの実施形態を示す。
図10に示すように、システム36は、テーブル38の傾斜に適応して、テーブルの一方側の部分を他方側の部分よりも床から長い距離に位置付けることができる。加えて、アームマウント45は、アーム39がテーブル38と同じ平面関係を維持するように、傾斜に一致するように回転してもよい。急角度に適応するために、カラム37はまた、テーブル38が床に接触するか又は基部46と衝突するのを防ぐためにカラム37が垂直方向に延びるのを可能にする入れ子部分60を含んでもよい。
【0047】
図11は、テーブル38とカラム37との間のインターフェースの詳細な図示を提供する。ピッチ回転機構61は、カラム37に対するテーブル38のピッチ角を多数の自由度で変更するように構成されてもよい。ピッチ回転機構61は、カラム-テーブルインターフェースでの直交軸1、2の配置によって可能にされてもよく、各軸は、電気ピッチ角コマンドに応答して別個のモータ3、4によって作動される。一方のねじ5に沿った回転は、一方の軸1における傾斜調整を可能にし、他方のねじ6に沿った回転は、他方の軸2に沿った傾斜調整を可能にする。
【0048】
例えば、ピッチ調整は、テーブルをトレンデレンブルグ体位に配置しようとするときに、すなわち下腹部手術のために患者の下腹部よりも床からより高い位置に患者の下腹部を位置させようとするときに、特に有用である。トレンデレンブルグ体位は、患者の内臓を重力によって自分の上腹部に向かってスライドさせ、低侵襲性ツールが入って腹腔鏡前立腺切除術などの下腹部外科処置を実施行するために、腹腔を空にする。
【0049】
C.器具ドライバ及びインターフェース。
システムのロボットアームのエンドエフェクタは、(i)医療器具を作動させるための電気機械的手段を組み込む器具ドライバ(代替的には、「器具駆動機構」又は「器具デバイスマニピュレータ」と呼ばれる)と、(ii)モータなどの任意の電気機械的構成要素を欠いていてもよい除去可能な又は取り外し可能な医療器具と、を含む。この二分法は、医療処置に使用される医療器具を滅菌する必要性、それらの複雑な機械的アセンブリ及び敏感な電子機器により、高価な資本設備を十分に滅菌することができないことに牽引され得る。したがって、医療器具は、医師又は医師のスタッフによる個々の滅菌又は廃棄のために、器具ドライバ(したがってそのシステム)から取り外し、除去、及び交換されるように設計され得る。対照的に、器具ドライバは交換又は滅菌される必要がなく、保護のために掛け布がされ得る。
【0050】
図12は、例示的な器具ドライバを示す。ロボットアームの遠位端に配置される器具ドライバ62は、駆動シャフト64を介して医療器具に制御トルクを提供するために平行軸を伴って配された1つ又は2つ以上の駆動ユニット63を含む。各駆動ユニット63は、器具と相互作用するための個々の駆動シャフト64と、モータシャフトの回転を所望のトルクに変換するためのギヤヘッド65と、駆動トルクを生成するためのモータ66と、モータシャフトの速度を測定し、制御回路にフィードバックを提供するエンコーダ67と、制御信号を受信し、駆動ユニットを作動させるための制御回路68と、を含む。各駆動ユニット63は独立して制御及び電動化され、器具ドライバ62は、多数(
図12に示すように4つ)の独立した駆動出力を医療器具に提供してもよい。動作中、制御回路68は、制御信号を受信し、モータ66にモータ信号を送信し、エンコーダ67によって測定された得られたモータ速度を所望の速度と比較し、モータ信号を変調して所望のトルクを生成する。
【0051】
無菌環境を必要とする処置のために、ロボットシステムは、器具ドライバと医療器具との間に位置する、無菌ドレープに接続された無菌アダプタなどの駆動インターフェースを組み込んでもよい。無菌アダプタの主な目的は、器具ドライバの駆動シャフトから器具の駆動入力に角度運動を伝達する一方で、駆動シャフトと駆動入力との間の物理的分離、したがって無菌性を維持することである。したがって、例示的な無菌アダプタは、器具ドライバの駆動シャフトと嵌合されることが意図された一連の回転入力部及び出力部と、器具に対する駆動入力部とで構成され得る。無菌アダプタに接続される無菌ドレープは、透明又は半透明プラスチックなどの薄い可撓性材料で構成され、器具ドライバ、ロボットアーム、及び(カートベースのシステムにおける)カート又は(テーブルベースのシステムにおける)テーブルなどの資本設備を覆うように設計される。ドレープの使用により、滅菌を必要としない領域(すなわち、非滅菌野)に依然として位置している間に、資本設備を患者に近接して配置することが可能となる。滅菌ドレープの反対側では、医療器具は、滅菌(すなわち、滅菌野)を必要とする領域において患者とインターフェースしてもよい。
【0052】
D.医療器具。
図13は、ペアにされた器具ドライバを備えた例示的な医療器具を示す。ロボットシステムと共に使用するために設計された他の器具と同様に、医療器具70は、細長いシャフト71(又は細長い本体)及び器具基部72を含む。医師による手動相互作用が意図されているその設計により「器具ハンドル」とも呼ばれる器具基部72は、概して、ロボットアーム76の遠位端において器具ドライバ75上の駆動インターフェースを通って延在する駆動出力部74と嵌合するように設計された、回転可能な駆動入力部73、例えば、レセプタクル、プーリ、又はスプールを含んでもよい。物理的に接続、ラッチ、及び/又は結合されるときに、器具基部72の嵌合された駆動入力部73は、器具ドライバ75における駆動出力部74と回転軸を共有して、駆動出力部74から駆動入力部73へのトルクの伝達を可能することができる。いくつかの実施形態では、駆動出力部74は、駆動入力部73上のレセプタクルと嵌合するように設計されたスプラインを含んでもよい。
【0053】
細長いシャフト71は、例えば、内視鏡におけるような解剖学的開口部若しくは管腔、又は腹腔鏡検査におけるような低侵襲性切開部のいずれかを通して送達されるように設計される。細長いシャフト66は、可撓性(例えば、内視鏡と同様の特性を有する)若しくは剛性(例えば、腹腔鏡と同様の特性を有する)のいずれかであってもよく、又は可撓性部分及び剛性部分の両方のカスタマイズされた組み合わせを含んでもよい。腹腔鏡検査のために設計される場合、剛性の細長いシャフトの遠位端は、回転軸を有するクレビスから形成される接合された手首と、例えば、駆動入力部が器具ドライバ75の駆動出力部74から受け取ったトルクに応答して回転する際に、腱からの力に基づいて作動され得る把持具又ははさみである手術用ツールとを含むエンドエフェクタに接続され得る。内視鏡検査のために設計される場合、可撓性の細長いシャフトの遠位端は、器具ドライバ75の駆動出力部74から受容したトルクに基づいて関節運動及び屈曲され得る操縦可能又は制御可能な屈曲部を含んでもよい。
【0054】
器具ドライバ75からのトルクは、シャフト71内の腱を使用して細長いシャフト71の下方に伝達される。プルワイヤなどのこれらの個々の腱は、器具ハンドル72内の個々の駆動入力部73に個別に固定されてもよい。ハンドル72から、腱は、細長いシャフト71内の1つ又は2つ以上のプルルーメン(pull lumen)の下方に指向され、細長いシャフト71の遠位部分に固設される。腹腔鏡検査では、これらの腱は、手首、把持具、又ははさみなどの、遠位に装着されたエンドエフェクタに結合されてもよい。このような構成の下で、駆動入力部73に及ぼされるトルクは、腱に張力を伝達し、それによってエンドエフェクタを何らかの方法で作動させる。腹腔鏡検査では、腱は、関節を軸周りに回転させることができ、それによってエンドエフェクタをいずれかの方向に移動させる。あるいは、腱は、細長いシャフト71の遠位端で把持具の1つ又は2つ以上のジョーに接続されてもよく、腱からの張力によって把持具が閉鎖される。
【0055】
内視鏡検査では、腱は、接着剤、制御リング、又は他の機械的固定を介して、細長いシャフト71に沿って(例えば、遠位端に)配置された屈曲部又は関節運動部に結合されてもよい。屈曲部の遠位端に固定的に取り付けられる場合、駆動入力部73に及ぼされるトルクは、腱の下流に伝達され、より軟質の屈曲部(関節運動可能部又は領域と呼ばれることがある)を屈曲又は関節運動させる。非屈曲部分に沿って、個々の腱を内視鏡シャフトの壁に沿って(又は内側に)指向する個々のプルルーメンを螺旋状又は渦巻状にして、プルワイヤにおける張力からもたらされる半径方向の力の釣り合いをとることが有利であり得る。これらの間の螺旋及び/又は間隔の角度は、特定の目的のために変更又は設計されてもよく、より狭い螺旋は負荷力下でより小さいシャフト圧縮を呈する一方で、より少ない量の螺旋は負荷力下でより大きなシャフト圧縮をもたらすが、屈曲制限も呈する。スペクトルのもう一方の端部では、プルルーメンは、細長いシャフト71の長手方向軸に平行に指向されて、所望の屈曲部又は関節運動可能部における制御された関節運動を可能にしてもよい。
【0056】
内視鏡検査では、細長いシャフト71は、ロボット処置を支援するいくつかの構成要素を収容する。シャフトは、シャフト71の遠位端における手術領域への手術ツール、灌注、及び/又は吸引を展開するための作業チャネルを含んでもよい。シャフト71はまた、光学カメラを含んでもよい、遠位先端部の光学アセンブリとの間で信号の授受を行うために、ワイヤ及び/又は光ファイバを収容してもよい。シャフト71はまた、発光ダイオードなどの近位に位置する光源からシャフトの遠位端に光を搬送するための光ファイバを収容してもよい。
【0057】
器具70の遠位端では、遠位先端部はまた、診断及び/又は治療、灌注、及び吸引のためにツールを手術部位に送達するための作業チャネルの開口を含んでもよい。遠位先端部はまた、内部解剖学的空間の画像を捕捉するために、繊維スコープ又はデジタルカメラなどのカメラのためのポートを含んでもよい。関連して、遠位先端部はまた、カメラを使用するときに解剖学的空間を照明するための光源用のポートを含んでもよい。
【0058】
図13の実施例では、駆動シャフト軸、したがって駆動入力軸は、細長いシャフトの軸に直交する。しかしながら、この配置は、細長いシャフト71のロール能力を複雑にする。駆動入力部73を静止させながら、細長いシャフト71をその軸に沿ってロールさせることにより、駆動入力部73から延出し、細長いシャフト71内のプルルーメンに入る際に、腱の望ましくない絡まりをもたらす。そのような腱の得られたもつれは、内視鏡処置中の可撓性の細長いシャフトの移動を予測することを意図した任意の制御アルゴリズムを破壊することがある。
【0059】
図14は、駆動ユニットの軸が器具の細長いシャフトの軸に平行である、器具ドライバ及び器具の代替的な設計を示す。図示のように、円形の器具ドライバ80は、ロボットアーム82の端部において平行に整合された駆動出力部81を備える4つの駆動ユニットを含む。駆動ユニット及びそれらのそれぞれの駆動出力部81は、アセンブリ83内の駆動ユニットのうちの1つによって駆動される器具ドライバ80の回転アセンブリ83内に収容される。回転駆動ユニットによって提供されるトルクに応答して、回転アセンブリ83は、回転アセンブリ83を器具ドライバの非回転部分84に接続する円形ベアリングに沿って回転する。電力及び制御信号は、電気接点を通して器具ドライバ80の非回転部分84から回転アセンブリ83に伝達されてもよく、ブラシ付きスリップリング接続(図示せず)による回転を通して維持されてもよい。他の実施形態では、回転アセンブリ83は、非回転可能部分84に一体化され、したがって他の駆動ユニットと平行ではない別個の駆動ユニットに応答してもよい。回転機構83は、器具ドライバ80が、器具ドライバ軸85周りの単一ユニットとして、駆動ユニット及びそれらのそれぞれの駆動出力部81を回転させることを可能にする。
【0060】
先に開示した実施形態と同様に、器具86は、細長いシャフト88と、器具ドライバ80内の駆動出力部81を受けるように構成された複数の駆動入力部89(レセプタクル、プーリ、及びスプールなど)を含む器具基部87(考察目的で透明な外部スキンで示される)とを含んでもよい。以前に開示されている実施形態とは異なり、器具シャフト88は、
図13の設計と直交するのではなく、駆動入力部89の軸に実質的に平行な軸を有する器具基部87の中心から延在する。
【0061】
器具ドライバ80の回転アセンブリ83に結合されると、器具基部87及び器具シャフト88を含む医療器具86は、器具ドライバ軸85を中心にして回転アセンブリ83と一緒に回転する。器具シャフト88は器具基部87の中心に配置されているため、器具シャフト88は、取り付けられたときに器具ドライバ軸85と同軸である。したがって、回転アセンブリ83の回転により、器具シャフト88は、それ自体の長手方向軸を中心に回転する。更に、器具基部87が器具シャフト88と共に回転すると、器具基部87内の駆動入力部89に接続されたいずれかの腱は、回転中に絡まらない。したがって、駆動出力部81、駆動入力部89、及び器具シャフト88の軸の平行性は、制御腱を絡めることなくシャフト回転を可能にする。
【0062】
E.ナビゲーション及び制御。
従来の内視鏡検査は、操作者である医師に腔内誘導を提供するために、蛍光透視法(例えば、Cアームを通して送達され得るような)、及び他の形態の放射線ベースの撮像モダリティの使用を伴うことがある。対照的に、本開示によって企図されるロボットシステムは、放射線への医師の曝露を低減し、手術室内の機器の量を低減するために、非放射線ベースのナビゲーション及び位置特定手段を提供することができる。本明細書で使用するとき、用語「位置特定」は、基準座標系内のオブジェクトの位置を判定及び/又は監視することを指すことがある。術前マッピング、コンピュータビジョン、リアルタイムEM追跡、及びロボットコマンドデータなどの技術は、放射線を含まない動作環境を達成するために個別に又は組み合わせて使用されてもよい。放射線ベースの撮像モダリティが依然として使用されるその他の場合、術前マッピング、コンピュータビジョン、リアルタイムEM追跡、及びロボットコマンドデータは、放射線ベースの撮像モダリティによってのみ取得される情報を改善するために、個別に又は組み合わせて使用されてもよい。
【0063】
図15は、例示的な実施形態による、器具の位置などのロボットシステムの1つ又は2つ以上の要素の位置を推定する位置特定システム90を示すブロック図である。位置特定システム90は、1つ又は2つ以上の命令を実行するように構成されている1つ又は2つ以上のコンピュータデバイスのセットであってもよい。コンピュータデバイスは、上で考察された1つ又は2つ以上の構成要素内のプロセッサ(又は複数のプロセッサ)及びコンピュータ可読メモリによって具現化されてもよい。例として、限定するものではないが、コンピュータデバイスは、
図1に示されるタワー30内にあってもよく、
図1~
図4に示されるカートであってもよく、
図5~
図10に示されるベッドであってもよく、その他であってもよい。
【0064】
図15に示すように、位置特定システム90は、入力データ91~94を処理して医療器具の遠位先端部のための位置データ96を生成する位置特定モジュール95を含んでもよい。位置データ96は、基準系に対する器具の遠位端のポジション及び/又は配向を表すデータ又は論理であってもよい。基準系は、患者の解剖学的構造、又はEM場発生器(EM場発生器についての以下の考察を参照)などの既知の物体に対する基準系とすることができる。位置データ96はまた、本明細書では、患者の解剖学的構造のモデル(例えば、骨格モデル)に対する医療器具の遠位先端部の現在の状態を説明する「状態データ」とも称され得る。状態データは、所与のサンプル期間にわたる医療器具の遠位先端部のポジション及び配向などの情報を含み得る。例えば、患者の解剖学的構造が、管腔網の中間点に基づいて骨格モデルを使用してモデル化される場合、その位置は、セグメントIDの形態及びセグメントに沿った深さを取り得る。
【0065】
ここで、様々な入力データ91~94についてより詳細に説明する。術前マッピングは、低用量CTスキャンの収集を利用して達成され得る。術前CTスキャンは、例えば、患者の内部解剖学的構造の切欠き図の「スライス」として可視化される3次元(three-dimensional、3D)画像に再構成される。全体として分析される場合、患者の肺網などの患者の解剖学的構造の解剖学的空腔、空間、及び構造のための画像ベースのモデルが生成され得る。中心線幾何学形状などの技法を判定し、CT画像から概算して、術前モデルデータ91と呼ばれる患者の解剖学的構造の3Dボリュームを生成することができる。中心線幾何学形状の使用は、米国特許出願第14/523,760号で考察されており、その内容は、その全体が本明細書に組み込まれる。ネットワーク位相モデルもまた、CT画像から導出されてもよく、気管支鏡検査に特に適している。
【0066】
いくつかの実施形態では、器具はカメラを装備して、視覚データ92を提供してもよい。位置特定モジュール95は、視覚データを処理して、1つ又は2つ以上の視覚ベースの位置追跡を可能にしてもよい。例えば、術前モデルデータは、医療器具(例えば、内視鏡、又は内視鏡の作業チャネルを通って前進する器具)のコンピュータビジョンベースの追跡を可能にするために、視覚データ92と共に使用されてもよい。例えば、術前モデルデータ91を使用して、ロボットシステムは、内視鏡の予想される移動経路に基づいて、モデルから、予測される内視鏡画像のライブラリを生成することができ、各画像はモデル内の位置にリンクされる。手術中に、このライブラリは、カメラ(例えば、内視鏡の遠位端のカメラ)でキャプチャされたリアルタイム画像を画像ライブラリ内のものと比較して、位置特定を支援するために、ロボットシステムによって参照され得る。
【0067】
他のコンピュータビジョンベースの追跡技法は、カメラの動き、したがって内視鏡を判定するための特徴追跡を使用する。位置特定モジュール95のいくつかの特徴は、解剖学的管腔に対応する術前モデルデータ91内の円形幾何学形状を識別し、それらの幾何学的形状の変化を追跡して、どの解剖学的管腔が選択されたか、並びにカメラの相対的な回転及び/又は並進運動を判定することができる。位相マップの使用は、視覚ベースのアルゴリズム又は技法を更に向上させることがある。
【0068】
光学フロー、別のコンピュータビジョンベースの技法は、カメラの動きを推測するために、視覚データ92内のビデオシーケンス内の画像ピクセルの変位及び並進を分析してもよい。光学フロー技術の例としては、動き検出、オブジェクトセグメンテーション計算、輝度、動き補償符号化、立体視差測定などを挙げることができる。複数の反復にわたり多数のフレームを比較することにより、カメラ(及びしたがって内視鏡)の移動及び位置を判定することができる。
【0069】
位置特定モジュール95は、リアルタイムEM追跡を使用して、術前モデルによって表される患者の解剖学的構造に位置合わせされ得るグローバル座標系内に、内視鏡のリアルタイム位置を生成し得る。EM追跡では、医療器具(例えば、内視鏡器具)内に1つ又は2つ以上の位置及び配向で埋め込まれた1つ又は2つ以上のセンサコイルを含むEMセンサ(又はトラッカ)は、既知の位置に配置された1つ又は2つ以上の静的EM場発生器によって生成されるEM場の変動を測定する。EMセンサによって検出された位置情報は、EMデータ93として記憶される。EM場発生器(又は送信機)は、埋め込まれたセンサが検出し得る低強度磁場を生成するために、患者に近接して配置され得る。磁場はEMセンサのセンサコイル内に小さな電流を誘導し、EMセンサとEM場発生器との間の距離及び角度を判定するためにこの電流が分析され得る。これらの距離及び配向は、患者の解剖学的構造の術前モデル内の位置と座標系内の単一の位置を整合させる幾何学的変換を決定するために、患者の解剖学的構造(例えば、術前モデル)に術中「位置合わせ」され得る。一旦位置合わせされると、医療器具の1つ又は2つ以上の位置(例えば、内視鏡の遠位先端部)に埋め込まれたEMトラッカは、患者の解剖学的構造を通る医療器具の進行のリアルタイム表示を提供し得る。
【0070】
ロボットコマンド及び運動学データ94はまた、ロボットシステムのための位置特定データ96を提供するために、位置特定モジュール95によって使用されてもよい。関節運動コマンドから生じるデバイスピッチ及びヨーは、術前較正中に判定され得る。術中、これらの較正測定値は、既知の挿入深度情報と組み合わせて使用されて、器具の位置を推定し得る。あるいは、これらの計算は、ネットワーク内の医療器具の位置を推定するために、EM、視覚、及び/又は位相モデリングと組み合わせて分析され得る。
【0071】
図15が示すように、ある数の他の入力データが位置特定モジュール95によって使用され得る。例えば、
図15には示されていないが、形状検知繊維を利用する器具は、位置特定モジュール95が器具の位置及び形状を判定するために使用することができる形状データを提供することができる。
【0072】
位置特定モジュール95は、入力データ91~94を組み合わせて(複数可)使用し得る。場合によっては、このような組み合わせは、位置特定モジュール95が入力データ91~94の各々から判定された位置に信頼重みを割り当てる確率的アプローチを使用し得る。したがって、EMデータが信頼でき得ない場合(EM干渉が存在する場合など)、EMデータ93によって判定された位置の信頼性を低下させることができ、位置特定モジュール95は、視覚データ92並びに/又はロボットコマンド及び運動学データ94により重く依存してもよい。
【0073】
上で考察されるように、本明細書で考察されるロボットシステムは、上記の技術のうちの1つ又は2つ以上の組み合わせを組み込むように設計され得る。タワー、ベッド、及び/又はカートに基づいているロボットシステムのコンピュータベースの制御システムは、例えば、永続的な磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に、コンピュータプログラム命令を記憶してもよく、コンピュータプログラム命令は、実行されると、システムに、センサデータ及びユーザコマンドを受信及び分析させ、システム全体の制御信号を生成させ、グローバル座標系内の器具の位置、解剖学的マップなどのナビゲーション及び位置特定データを表示させる。
【0074】
2.位置センサベースの分岐予測概論。
本開示の実施形態は、位置センサベースの分岐予測のためのシステム及び技術に関する。システムは、例えば医療処置中に、器具の遠位端の位置特定を行うために、位置センサ(複数可)又は位置感知デバイス(複数可)を使用してもよい。位置センサは、器具の遠位端に若しくはその近くに位置決めされてもよく、又は器具の遠位端から離れて位置決めされてもよい。器具の遠位端に又はその近くに位置決めされ得る位置センサ又は位置感知デバイスの例としては、EMセンサ、ビジョンベースの位置センサ(例えば、カメラ)、形状感知繊維等が挙げられる。器具の遠位端から離れて位置決めされ得る位置センサ又は位置感知デバイスの例としては、X線透視撮像デバイス、1つ又は2つ以上の器具マニピュレータを用いて器具の位置を制御するためのロボットデータを生成又は処理するロボットシステム構成要素(複数可)、リモートビジョンベースの位置センサ、等が挙げられる。
【0075】
位置センサは、例えば、位置センサ座標系に対する器具の遠位端の位置を示す位置データを生成するように構成されてもよい。本明細書で使用するとき、位置センサ座標系は、位置センサによって生成された位置データ(例えば、ユークリッド空間などのマニホールド上)の位置を定義又は判定するために使用することができるいずれかの座標系を指し得る。位置センサが器具の遠位端と並置されるとき、位置データは、位置センサ自体の位置を表すことができ、これをプロセッサが使用して器具の遠位端の位置を判定することができる。ある特定の実施形態では、位置センサ座標系は、位置センサを実現するために使用される特定の技術に基づいて画定され得る、軸及び起点のセットを含んでもよい。
【0076】
例えば、器具内又は器具上に位置するEMセンサは、EM場発生器によって生成されたEM場を測定するように構成され得る。EM場の特性、したがってEMセンサによって測定されるEM値は、EM場発生器の位置及び配向に関して定義され得る。したがって、EM場発生器の位置決めは、EMセンサによって測定された値に影響を及ぼすことができ、EM座標系の位置及び配向を定義することもできる。
【0077】
上述のように、患者の管腔網は、例えば、低量CTスキャンを使用して術前にマッピングされて、管腔網のモデルを生成することができる。モデルは、器具の遠位端の位置を特定するために使用されるものとは異なる技法を介して生成され得るため、モデル座標系は、位置センサ座標系と整合されなくてもよい。したがって、位置センサ座標系を使用して、モデルに対する器具の位置を追跡するために、1つの技術は、(例えば、プロセッサ、位置特定システム、位置特定モジュールなどを含むがこれらに限定されない、ロボットシステムの1つ又は2つ以上の構成要素又はロボットシステムに通信可能に結合された別個のシステムによって)1つ又は2つ以上の位置センサによって使用される座標系を、解剖学的モデルによって使用される座標系などの別の座標系に位置合わせすることを含む。この位置合わせは、例えば、位置データを位置センサ座標系からモデル座標系にマッピングするために位置センサデータに適用される並進及び/又は回転を含んでもよい。
【0078】
システム又はプロセッサは、例えば、処置の初期段階中に、位置センサ座標系のモデル座標系への位置合わせを実行してもよい。実施態様に応じて、プロセッサは、器具が最初に管腔網を通って前進する際に、バックグラウンドにおいて自動的に位置合わせプロセスを実行してもよい。別の実施態様では、プロセッサは、位置合わせプロセスを容易にするために、器具を管腔網内の特定の位置に、又は設定された位置合わせ経路に沿って駆動するための一連の命令をユーザに提供してもよい。したがって、プロセッサは、位置センサ(複数可)から受信した位置データがモデルに位置合わせされていない間、処置の一部分を実行してもよい。
【0079】
医療処置中に器具のナビゲーションに関するフィードバックをユーザに提供するために、「融合」位置特定アルゴリズムを(例えば、
図15の位置特定システム90によって)実行することができる。融合アルゴリズムは、複数のソースから受信した器具の遠位端の位置を示すデータを組み合わせて、器具の位置を判定することができる。融合アルゴリズムの1つの機能はまた、器具が進められ得る管腔網の次の分岐の予測を含んでもよい。この予測は、位置センサデータを含む、融合アルゴリズムで使用されるデータソースの少なくとも一部に基づいてもよい。特定の実施形態では、予測はまた、器具の遠位端の位置の判定における入力として使用されてもよい。
【0080】
位置センサ(複数可)は、医療処置の少なくとも一部分に対して位置合わせされない場合があるため、本開示の特定の態様は、位置合わせされた位置センサデータ又は位置合わせされていない位置センサデータ(一般に「生」の位置センサデータとも称される)に基づいて使用できる分岐予測のための技術に関連し得る。したがって、システムは、位置センサ(複数可)が位置合わせされたかどうかに応じて、位置センサベースの分岐予測に異なる技術又はそれらの組み合わせを選択的に適用することができる。
【0081】
A.EMナビゲーション案内気管支鏡。
以下、位置センサベースの分岐予測のための技術を採用することができる例示的なシステムについて説明する。例えば、システムは、EMナビゲーション誘導気管支鏡処置のために構成されてもよい。しかしながら、本開示の態様はまた、位置データを生成することができる他の位置センサを使用するシステム、並びに他のタイプの医療処置にも適用することができる。
【0082】
図16Aは、開示する分岐予測システム及び技術の1つ又は2つ以上の態様を実施することが可能な例示的な手術環境100を示す。手術環境100は、患者101をサポートするプラットフォーム102と、器具115の移動を案内する外科用又は医療用ロボットシステム110と、ロボットシステム110の動作を制御するためのコマンドセンター105と、EMコントローラ135と、EM場発生器120と、EMセンサ125、130と、を含むことができる。
図16Aはまた、
図16Bにより詳細に示される、患者101内の管腔網140の領域の輪郭も示す。
【0083】
システム110は、患者101の管腔網140を通して器具115を位置決めする及び器具115の移動を案内するための1つ又は2つ以上のロボットアームを含むことができる。コマンドセンター105は、ポジションデータを受信するために及び/又はユーザから受信したユーザコマンドに基づいて生成される制御信号を提供するために、ロボットシステム110に通信可能に結合することができる。本明細書で使用するとき、「通信可能に結合する」は、無線ワイドエリアネットワーク(wireless wide area network、WWAN)(例えば、1つ又は2つ以上のセルラーネットワーク)、無線ローカルエリアネットワーク(wireless local area network、WLAN)(例えば、IEEE802.11(Wi-Fi)などの1つ又は2つ以上の規格用に構成される)、Bluetooth、データ転送ケーブル、及び/又は同類のものが挙げられるが、これらに限定されない、任意の有線及び/又は無線データ転送媒体を指す。ロボットシステム110は、
図1~
図15に関連して上述されるシステムのうちのいずれかであり得る。
【0084】
器具115は、患者の解剖学的構造内に挿入されて解剖学的構造(例えば、体組織)の画像をキャプチャし、ターゲット組織部位に他の医療器具を挿入するための作業チャネルを提供する、管状で可撓性の外科用器具であり得る。上述したように、器具115は、処置特有の内視鏡、例えば、気管支鏡、胃鏡、若しくは尿管鏡であり得るか、又は腹腔鏡若しくは血管操縦可能なカテーテルであり得る。器具115は、その遠位端に1つ又は2つ以上の撮像デバイス(例えば、カメラ又は他のタイプの光学センサ)を含むことができる。撮像デバイスは、光ファイバ、ファイバアレイ、感光性基板、及び/又はレンズ(複数可)などの、1つ又は2つ以上の光学構成要素を含み得る。光学構成要素は、器具115の先端部と共に移動するため、器具115の先端部が移動すると、撮像デバイスによってキャプチャされる画像の視野に、対応する変化がもたらされる。器具115の遠位端には、管腔網140の周りに生成されたEM場内の遠位端のポジションを追跡するための1つ又は2つ以上のEMセンサ125が設けられ得る。
【0085】
EMコントローラ135は、EM場発生器120を制御して、変動するEM場を生成することができる。EM場は、実施形態によって、時間的に変動し得、及び/又は空間的に変動し得る。いくつかの実施形態では、EM場発生器120は、EM場発生ボードであり得る。開示されるシステムのいくつかの実施形態は、患者と患者101をサポートするプラットフォーム102との間に位置決めされたEM場発生器ボードを使用することができ、EM場発生器ボードは、その下に配置された導電又は磁気材料によって生じる追跡歪みを最小にする薄いバリアを組み込むことができる。他の実施形態では、EM場発生器ボードは、例えば、ロボットシステム110に示されるものに類似する、ロボットアーム上に装着することができ、これにより、患者の周りに柔軟な設定オプションを提供することができる。
【0086】
図16Bは、
図16Aの手術環境100内でナビゲートすることができる例示的な管腔網140を示す。管腔網140は、患者101の気道150の分岐構造と、主竜骨156(典型的には、気管支検鏡法ナビゲーション中に遭遇する第1の分岐)につながる気管154と、診断及び/又は処置ために本明細書で説明するようアクセスすることができる小結節(又は病変)155と、を含む。例示されるように、小結節155は、気道150の末端部に位置する。器具115は、第1の直径を有するシース141を備えることができ、したがって、シース141の遠位端は、小結節155の周りのより小さい直径の気道を通して位置付けることができない。したがって、スコープ145は、器具115の作業チャネルから、小結節155までの残りの距離全体にわたって延在する。スコープ145は、器具、例えば、生検針、細胞ブラシ、及び/又は組織サンプリング鉗子を小結節155のターゲット組織部位まで通すことができる管腔を有することができる。そのような実施態様では、シース141の遠位端及びスコープ145の遠位端のどちらにも、気道150内のそれらのそれぞれの位置を追跡するためのEMセンサが設けられ得る。
【0087】
いくつかの実施形態では、本明細書に記載される3D管腔網モデルの二次元(2D)表示、又は3Dモデルの断面は、
図16Bに類似し得る。器具の遠位端の推定位置は、そのような表現の上に重ね合わせることができる。特定の実施態様では、推定位置は、
図16Cに示されるコマンドコンソール160などのコマンドコンソールの表示の上に表示され得る。
【0088】
図16Cは、例えば、例示的な手術環境100においてコマンドコンソール105として使用することができる、例示的なコマンドコンソール160を示す。コマンドコンソール160は、コンソール基部161、1つ又は2つ以上のディスプレイ162(例えば、モニタ)、及び1つ又は2つ以上の制御モジュール(例えば、キーボード163及びジョイスティック164)を含み得る。いくつかの実施形態では、コマンドコンソール160の機能のうちの1つ又は2つ以上は、ロボットシステム110の基部180、又はロボットシステム110に通信可能に結合された別のシステムに統合され得る。ユーザ165、例えば、医師は、コマンドコンソール160を使用して、人間工学的位置からロボットシステム110を遠隔制御する。
【0089】
コンソール基部161は、例えば、
図16A及び
図16Bに示される器具115からの、カメラ画像及び追跡センサデータなどの信号の解釈及び処理に関与する、中央処理ユニット、メモリユニット、データバス、及び関連するデータ通信ポートを含み得る。いくつかの実施形態では、コンソール基部161及び基部180はどちらも、負荷平衡化のための信号処理を実行する。コンソール基部161はまた、ユーザ165によって制御モジュール163及び164を通じて提供されるコマンド及び命令を処理してもよい。
図16Cに示されるキーボード163及びジョイスティック164に加えて、制御モジュールは、他のデバイス、例えば、コンピュータマウス、トラックパッド、トラックボール、制御パッド、ハンドヘルドリモートコントローラなどのコントローラ、並びにハンドジェスチャ及び指ジェスチャをキャプチャするセンサ(例えば、モーションセンサ又はカメラ)を含み得る。コントローラは、器具の動作(例えば、関節運動、駆動、灌水、など)をマッピングする、又はそれにリンクされた、一組のユーザ入力(例えば、ボタン、ジョイスティック、方向パッドなど)を含むことができる。
【0090】
ディスプレイ162としては、電子モニタ(例えば、液晶ディスプレイ、LEDディスプレイ、タッチセンシティブディスプレイ)、仮想現実視覚デバイス、例えば、ゴーグル若しくは眼鏡、及び/又は他のディスプレイデバイスが挙げられ得る。いくつかの実施形態では、ディスプレイモジュール162は、例えば、タッチスクリーンを有するタブレットデバイスとして、制御モジュールに統合される。いくつかの実施形態では、ディスプレイ162のうちの一方は、患者の管腔網及び仮想ナビゲーション情報(例えば、EMセンサのポジションに基づくモデル内の内視鏡の端部の仮想表現)の3Dモデルを表示することができ、一方で、ディスプレイ162のうちの他方は、器具115の端部におけるカメラ又は別の感知デバイスから受信した画像情報を表示することができる。いくつかの実施態様では、ユーザ165は、統合されたディスプレイ162及び制御モジュールを使用して、データを見ることと、システム110にコマンドを入力することとの両方を行うことができる。ディスプレイ162は、立体デバイス、例えば、バイザ又はゴーグルを使用して、3D画像の2Dレンダリング及び/又は3D画像を表示することができる。3D画像は、患者の解剖学的構造を示すコンピュータ3Dモデルである「エンドビュー」(すなわち、内視鏡ビュー)を提供する。「エンドビュー」は、患者の内部の仮想環境、及び患者の内部における器具115の予想される位置を提供する。ユーザ165は、「エンドビュー」モデルを、カメラによってキャプチャされた実際の画像と比較して、器具115が患者の体内の正しい(又は概ね正しい)位置にあるように頭の中において方向付けし確認する助けとする。「エンドビュー」は、器具115の遠位端の周りの解剖学的構造、例えば、患者の気道、循環血管、又は腸若しくは結腸の形状に関する情報を提供する。ディスプレイモジュール162は、器具115の遠位端の周りの解剖学的構造の3Dモデル及びCTスキャンを同時に表示することができる。更に、ディスプレイモジュール162は、器具115の既に判定したナビゲーション経路を、3Dモデル及びCTスキャン画像に重ね合わせることができる。
【0091】
いくつかの実施形態では、外科処置の状態を示すのを支援するために、器具115のモデルが3Dモデルと共に表示される。例えば、CTスキャン画像により、生検が必要であり得る解剖学的構造にある病変が識別される。動作中、ディスプレイモジュール162は、器具115の現在の位置に対応する、器具115によってキャプチャされた基準画像を示すことができる。ディスプレイモジュール162は、ユーザ設定及び特定の外科処置に応じて、器具115のモデルの異なるビューを自動的に表示することができる。例えば、ディスプレイモジュール162は、器具115が患者の手術領域に接近する際のナビゲーション工程中には、器具115の頭上からのX線透視図を示す。
【0092】
B.位置合わせされていない位置データを使用した位置センサベースの分岐予測。
上で考察されるように、医療処置の初期段階は、位置センサ(複数可)が管腔網のモデルに位置合わせされる前に実行されてもよい。しかしながら、位置センサ(複数可)は、位置合わせ前に位置データを生成し得る。モデルに位置合わせされていないが、生の位置センサデータは、特定の位置特定及びナビゲーション機能を提供するのに有用であり得る。例えば、プロセッサは、位置合わせされていない生の位置データに基づいて、異なる時間における器具の相対的な配向を判定することができる。したがって、特定の実施形態では、管腔網の形状及び構造、並びに位置合わせされてないデータに基づいて判定された器具の配向に基づいて、プロセッサは、器具が前進する可能性がある管腔網の次の分岐を予測することを容易にし得る。
【0093】
分岐予測は、ナビゲーション構成システムの一部として含まれてもよい。
図17A~
図17Dは、一実施形態によるナビゲーション構成システム200の例示的なブロック図を示す。より具体的には、
図17Aは、一実施形態によるナビゲーション構成システム200の例示的なブロック図の概要を提供する。
図17Aでは、ナビゲーション構成システム200は、多数の入力データストアと、多数の入力データストアから様々なタイプの入力データを受信するナビゲーションモジュール205と、ナビゲーションモジュールから出力ナビゲーションデータを受信する出力ナビゲーションデータストア290と、を含む。
図17Aに示すナビゲーション構成システム200のブロック図は単なる一例であり、図示されていない代替実施形態では、ナビゲーション構成システム200は、異なる及び/又は追加のエンティティを含むことができる。同様に、システム200の様々なエンティティによって実行される機能は、異なる実施形態に従って異なり得る。ナビゲーション構成システム200は、その全体が参照により本明細書に組み込まれる、2017年3月23日に公開された米国特許出願公開第2017/0084027号に記載されたナビゲーションシステムに類似していてもよい。
【0094】
本明細書で使用されるように、入力データは、内視鏡のための推定状態情報並びに出力ナビゲーションデータを生成するために、入力デバイス(例えば、コマンドモジュール(複数可)、光学センサ(複数可)、EMセンサ(複数可)、IDM(複数可))から収集され、かつ/又は処理された生データを指す。多数の入力データストア210~240は、画像データストア210、EMデータストア220、ロボットデータストア230、及び3Dモデルデータストア240を含む。入力データストア210~240の各タイプは、ナビゲーションモジュール205がアクセスして使用するために、名前が表示されたタイプのデータを格納する。画像データは、器具先端部において撮像デバイスによってキャプチャされた1つ又は2つ以上の画像フレーム、並びにフレームレート又はタイムスタンプなどの情報を含んでもよく、これにより、フレームの対の間で経過した時間の判定が可能になる。ロボットデータは、管状網内の医療器具又は医療器具の一部(例えば、器具先端部又はシース)の物理的移動に関連するデータを含んでもよい。例示的なロボットデータは、特定の解剖学的部位に到達するように及び/又は管状網内で(例えば、特定のピッチ、ロール、ヨー、リーダー、及びシースの一方又は両方についての挿入及び後退を伴うように)その配向を変更するように器具先端部に指示するコマンドデータ、医療器具の一部の挿入運動を表す挿入データ(例えば、器具先端部又はシース)、IDMデータ、及び医療器具の細長い部材の機械的移動、例えば、管状網内の内側器具の実際の動きを駆動する内視鏡の1つ又は2つ以上のプルワイヤ、腱又はシャフトの動き、を表す機械的データと、を含む。EMデータは、上述のEMセンサ及び/又はEM追跡システムによって収集され得る。3Dモデルデータは、上記の2DのCTスキャンから導出され得る。経路データは、1つ又は2つ以上の標的に対する管状網の位相検索によって生成され得る計画されたナビゲーション経路を含む。
【0095】
出力ナビゲーションデータストア290は、ナビゲーションモジュール205によって提供された出力ナビゲーションデータを受信して記憶する。出力ナビゲーションデータは、管状網内の特定の目的位置に到達するように、管状網を通して医療器具を方向付けるのを支援する情報を示し、また、各瞬間における医療器具の推定状態情報に基づいており、推定状態情報は、管状網内の医療器具の位置及び配向を含む。一実施形態では、医療器具が管状網内で移動するとき、医療器具の移動及び位置/配向情報の更新を示す出力ナビゲーションデータはリアルタイムで提供され、これは管状網を通じたそのナビゲーションをより良好に支援する。
【0096】
出力ナビゲーションデータを判定するために、ナビゲーションモジュール205は、管状網内の医療器具の推定状態を位置特定する(又は判定する)。
図17Aに示すように、ナビゲーションモジュール205は、EMベースのアルゴリズムモジュール250、画像ベースのアルゴリズムモジュール260、及びロボットベースのアルゴリズムモジュール270などの、様々なアルゴリズムモジュールを更に含み、これらは各々、主に特定のタイプの入力データを消費し、異なるタイプのデータを状態推定器280に与えることができる。
図17Aに示すように、これらのモジュールによって出力される、EMベースのデータ、画像ベースのデータ、ロボットベースのデータ、及び経路ベースのデータとラベル付けされた異なる種類のデータは、説明のために、一般的に「中間データ」と呼ばれることがある。
【0097】
図17Bは、一実施形態による、
図17Aに示すナビゲーションモジュール205の例示的なブロック図を示す。上記で紹介したように、ナビゲーションモジュール205は、状態推定器280、並びに管状網を通ってナビゲートするための異なるアルゴリズムを用いる多数のアルゴリズムモジュールを更に含む。説明を明確にするために、状態推定器280が最初に説明され、その後、状態推定器280とデータを交換する様々なモジュールの説明が続く。
【0098】
ナビゲーションモジュール205に含まれる状態推定器280は、様々な中間データを受信し、推定された器具先端部の状態を時間の関数として提供し、推定状態は、管状網内の器具先端部の推定位置及び配向情報を示す。推定状態データは、状態推定器280に含まれる推定データストア285に記憶される。
【0099】
図17Cは、一実施形態による、状態推定器280に含まれる推定状態データストア285の例示的なブロック図を示す。推定状態データストア285は、二分岐データストア286、ポジションデータストア287、深度データストア288、及び配向データストア289を含んでもよいが、データ記憶装置のこの特定の内訳は単なる一例であり、図示しない代替実施形態では、異なる及び/又は追加のデータストアを推定状態データストア285に含めることができる。
【0100】
上記の様々なストアは、推定された状態データを様々な方法で表す。具体的には、二分岐データは、管状網内の一連の分岐(例えば、二分岐、三分岐、又は三分岐を超える分割)に対する医療器具の位置を指す。例えば、二分岐データは、器具が管状網を通って横断するときに、例えば、管状網の全体をマッピングする3Dモデルによって提供されるより多数の一連の利用可能な分岐に基づいて器具によって選択される、一連の分岐の選択であってもよい。二分岐データは、例えば、器具先端部が近くにあるがまだ横断しておらず、しかし、3Dモデルに対する先端部の現在ポジション情報に基づいて、又は近づきつつある二分岐をキャプチャした画像に基づいて検出された可能性のある分岐(二分岐)など、器具先端部の位置の前にある情報を更に含むことができる。
【0101】
ポジションデータは、管状網内の医療器具の一部の三次元ポジション、又は管状網自体の一部を示す。ポジションデータは、例えば、管状網の3Dモデルに対する絶対位置又は相対位置の形態であり得る。一例として、ポジションデータは、特定の分岐内にある器具の位置のポジションの表示を含むことができる。特定の分岐の識別はまた、器具先端部が位置するモデルの特定のセグメントを一意に識別するセグメント識別(identification、ID)として記憶されてもよい。
【0102】
深度データは、管状網内の器具先端部の深度情報を示す。例示的な深度データは、患者内への医療器具の総挿入(絶対)深度、並びに識別された分岐(例えば、ポジションデータストア287によって識別されたセグメント)内の(相対的)深度を含む。深度データは、管状網及び医療器具の両方に関するポジションデータに基づいて判定され得る。
【0103】
配向データは、器具先端部の配向情報を示し、3Dモデルに関連した全体的なロール、ピッチ、及びヨー、並びに識別された分岐内のピッチ、ロール、生を含んでもよい。
【0104】
図17Bに戻ると、状態推定器280は、推定状態データをアルゴリズムモジュールに戻して、より正確な中間データを生成し、状態推定器は、これを使用して改善された及び/又は更新された推定状態を生成し、フィードバックループを形成する。例えば、
図17Bに示すように、EMベースのアルゴリズムモジュール250は、タイムスタンプ「t-1」に関連付けられたデータとも称される、以前のEMベースの推定状態データを受信する。状態推定器280は、このデータを使用して、タイムスタンプ「t-1」に関連付けられた「推定状態データ(以前)」を生成する。次いで、状態推定器280は、データをEMベースのアルゴリズムモジュールに戻す。「推定状態データ(以前)」は、異なるアルゴリズムモジュールから生成及び受信されるタイムスタンプ「t-1」に関連付けられた、異なるタイプの中間データ(例えば、ロボットデータ、画像データ)の組み合わせに基づいてもよい。次に、EMベースのアルゴリズムモジュール250は、推定状態データ(以前)を使用してそのアルゴリズムを実行して、状態推定器280に改良かつ更新されたEMベースの推定状態データを出力し、これは、ここでは「EMベースの推定状態データ(現在)」で表され、タイムスタンプtに関連付けられている。このプロセスは、将来のタイムスタンプについても繰り返される。
【0105】
状態推定器280は、管状網内の医療器具の状態の推定値に到達するために、いくつかの異なる種類の中間データを使用してもよいので、状態推定器280は、各タイプの基礎データ(ロボット、EM、画像、経路)及び各タイプのアルゴリズムモジュールが作成し、推定状態を判定する際に考慮するために使用される中間データに持ち込む測定及び分析の両方における様々な異なる種類の誤差及び不確実性を考慮するように構成されている。これらに対処するために、確率分布及び信頼値の2つの概念が考察される。
【0106】
本明細書で使用される「確率分布」の「確率」は、医療器具の可能な位置及び/又は配向の推定が正しいことの尤度を意味する。例えば、異なる確率は、医療器具が管状網内のいくつかの異なる可能な分岐のうちの1つにある相対尤度を示すアルゴリズムモジュールのうちの1つによって計算され得る。一実施形態では、確率分布のタイプ(例えば、離散分布又は連続分布)は、推定状態の特徴(例えば、推定状態のタイプ、例えば、連続ポジション情報対離散分岐選択)と一致するように選択される。一例として、医療器具が三分岐のためにどのセグメントにあるかを識別するための推定状態は、離散確率分布によって表現されてもよく、アルゴリズムモジュールのうちの1つによって判定されるように、3つの分岐の各々の内部の位置にあるとされる確率を表す20%、30%、及び50%の3つの離散値を含んでもよい。別の例として、推定状態は、40±5度の医療器具のロール角を含んでもよく、分岐内の器具先端部のセグメント深度が4±1mmである場合があり、各々が連続確率分布の一種であるガウス分布で表される。異なる方法又はモダリティを使用して確率を生成することができ、これは、後の図を参照して以下により完全に記載されるように、アルゴリズムモジュールによって変化する。
【0107】
対照的に、本明細書で使用される「信頼値」は、1つ又は2つ以上の要因に基づいて、アルゴリズムのうちの1つによって提供される状態の推定における信頼度の尺度を反映する。EMベースのアルゴリズムでは、EM場への歪み、EM位置合わせにおける不正確性、患者の移動又は動き、及び患者の呼吸などの要因は、状態の推定における信頼性に影響を及ぼし得る。特に、EMベースのアルゴリズムによって提供される状態の推定における信頼値は、患者の特定の呼吸周期、患者又はEM場発生器の動き、及び器具先端部が位置する解剖学的構造内の位置に依存し得る。画像ベースのアルゴリズムの場合、状態の推定において信頼値に影響を及ぼし得る例示的な要因としては、画像がキャプチャされる解剖学的構造内の位置に関する照明条件、画像をキャプチャする光学センサに対する、又はそれの前の流体、組織、又は他の障害物の存在、患者の呼吸、管状網内の一般的な流体及び管状網の閉塞などの患者自体の管状網(例えば、肺)の状態、及び、例えば、ナビゲート又は画像キャプチャに使用される特定の操作技術が挙げられる。
【0108】
例えば、一つの要因として、特定のアルゴリズムが患者の肺内の異なる深度において異なる精度レベルを有していることがあり、これにより、特定のアルゴリズムは、気道開口部に比較的近い場合には、医療器具の位置と配向のその推定に高い信頼性を有し得るが、医療器具が肺の底部に更に移動すると、その信頼性の値が低下する可能性がある。一般に、信頼値は、結果が判定されるプロセスに関する1つ又は2つ以上の体系的な要因に基づくものであり、その一方で、確率は、基礎データに基づいて単一のアルゴリズムを用いて、多数の可能性から正しい結果を判定しようと試みるときに生じる相対的な尺度である。
【0109】
一例として、離散確率分布で表される推定状態の結果を計算するための数式(例えば、推定状態の3つの値が関与する三分岐のための分岐/セグメント識別)は、以下のとおりであってもよい。
S1=CEM
*P1,EM+CImage
*P1,Image+CRobot
*P1,Robot、
S2=CEM
*P2,EM+CImage
*P2,Image+CRobot
*P2,Robot、
S3=CEM
*P3,EM+CImage
*P3,Image+CRobot
*P3,Robot。
【0110】
上記の例示的な数式では、Si(i=1、2、3)は、3次元モデル内に3つの可能性のあるセグメントが識別された場合、又は存在する場合の推定状態の可能な値の例を表し、CEM、CImage、及びCRobotは、EMベースのアルゴリズム、画像ベースのアルゴリズム、及びロボットベースのアルゴリズムに対応する信頼値を表し、Pi,EM、
Pi,Image、及びPi,Robotは、セグメントiの確率を表す。
【0111】
推定状態に関連付けられた確率分布及び信頼値の概念をより良く示すために、ここで詳細な実施例が提供される。この実施例では、ユーザは、管状網の中心気道(予測領域)内の特定の三分岐内の器具先端部が位置するセグメントを識別しようとしており、EMベースのアルゴリズム、画像ベースのアルゴリズム、ロボットベースのアルゴリズムを含む3つのアルゴリズムモジュールが使用されている。この実施例では、EMベースのアルゴリズムに対応する確率分布は、第1の分岐では20%、第2の分岐では30%、及び第3の(最後の)分岐では50%であってもよく、このEMベースのアルゴリズム及び中央気道に適用される信頼値は80%である。同じ実施例では、画像ベースのアルゴリズムに対応する確率分布は、第1、第2、及び第3の分岐に対して40%、20%、40%であってもよく、この画像ベースのアルゴリズムに適用される信頼値は30%であり、一方、ロボットベースのアルゴリズムに対応する確率分布は、第1、第2、及び第3の分岐に対して10%、60%、30%であってもよく、この画像ベースのアルゴリズムに適用される信頼値は20%である。EMベースのアルゴリズム及び画像ベースのアルゴリズムに適用される信頼値の差は、EMベースのアルゴリズムが、画像ベースのアルゴリズムと比較して、中央気道におけるセグメント識別のための良い選択であり得ることを示す。最終推定状態の例示的な数学的計算は、以下のとおりとなり得る。
【0112】
第1の分岐の場合、20%*80%+40%*30%+10%*20%=30%、第2の分岐の場合、30%*80%+20%*30%+60%*20%=42%、及び第3の分岐の場合、50%*80%+40%*30%+30%*20%=58%。
【0113】
この実施例では、器具先端部の出力推定状態は、結果値(例えば、結果として得られる30%、42%、58%)であってもよいし、器具先端部が第3の分岐内にあるという判定などの、これらの結果値からの導出値であってもよい。この実施例は、EMベースのアルゴリズム、画像ベースのアルゴリズム、及びロボットベースのアルゴリズムを含むアルゴリズムモジュールの使用について記載しているが、器具先端部の状態の推定はまた、経路ベースのアルゴリズムを含む様々なアルゴリズムモジュールの異なる組み合わせに基づいて提供されてもよい。
【0114】
上記のように、推定状態は、多数の異なる方法で表されてもよい。例えば、推定状態は、気道から器具の先端部の位置までの絶対深度、並びに管状網内で器具が横断する一連の分岐を表すデータのセットを更に含んでもよく、このセットは、例えば、患者の肺の3Dモデルによって提供される一連の分岐全体のサブセットである。推定状態に対する確率分布及び信頼値の適用により、管状網内の器具先端部の位置及び/又は配向の推定精度を改善することができる。
【0115】
図17Bに示すように、アルゴリズムモジュールは、EMベースのアルゴリズムモジュール250、画像ベースのアルゴリズムモジュール260、及びロボットベースのアルゴリズムモジュール270を含む。
図17Bに示すアルゴリズムモジュールは単なる一例であり、代替実施形態では、異なる及び/又は追加のナビゲーションアルゴリズムを含む異なる及び/又は追加のアルゴリズムモジュールもナビゲーションモジュール205に含まれてもよい。
【0116】
B.1.分岐予測システム
EMベースのアルゴリズムモジュール250は、EM位置合わせモジュール252、EM位置特定モジュール254、及びEM分岐予測モジュール256を更に含む。EM位置合わせモジュール252は、3Dモデル座標に対してEM座標の位置合わせを行うことができる。EM位置特定モジュール254は、器具のポジション及び配向の推定値を判定することができる。EM分岐予測モジュール256は、器具が現在位置している現在のセグメントから、器具がモデルのどのセグメントに前進するのかについての予測を判定することができる。
【0117】
図17Dは、本開示の態様による、例示的な位置センサベースの位置特定及び分岐予測システムを示す。具体的には、
図17Dは、EMデータストア220、位置合わせ変換データストア253、3Dモデルデータストア240、EM位置特定モジュール254、EM分岐予測モジュール256、及び推定状態データストア285を含む、位置センサベースの位置特定及び分岐予測システムを示す。位置特定及び分岐予測システムのブロック図は、単なる一例であり、図示されていない他の実施形態では、位置特定及び分岐予測システムは、異なる及び/又は追加の構成要素を含むことができ、例えば、特定の実施態様においては、分岐予測システム210は、EMデータストア220の代わりに、又はそれに加えて、画像データストア220及びロボットデータストア230のうちの1つ又は2つ以上を含み得る。
【0118】
EM位置特定モジュール254は、入力として、推定状態データストア285からの推定状態データ(以前)(例えば、二分岐データ)、EMデータストア220からのEMデータ、位置合わせ変換データストア253からの位置合わせ変換データ、並びに3Dモデルデータストア240からの3Dモデルデータを受信する。受信したデータに基づいて、EM位置特定モジュール254は、管状網の3Dモデルに対する器具先端部のポジション及び配向の推定値を判定し、EMベースの推定状態データ(現在)を状態推定器280に提供する。一例として、EMベースの推定状態データは、確率分布(例えば、上述のように、三分岐の3つのセグメントに対する20%、30%、及び50%の離散分布)として表すことができる。加えて、受信した二分岐データによって示されるような二分岐部にあるとき、EM位置特定モジュール254は、器具の先端部のピッチ及びヨーを、3Dモデル内の各分岐の角度と比較して、横断するのにどの分岐がユーザによって選択されたかを推定することができる。EM位置特定モジュール254は、EMベースの推定状態データ(現在)を推定データストア285及びEM分岐予測モジュール256に出力する。
【0119】
EM分岐予測モジュール256は、器具がモデルのどのセグメントに前進するかについての予測を判定することができる。例えば、器具が位置するモデルの判定された現在のセグメント及び/又は配向データストア289から受信された配向データに基づいて、EM分岐予測モジュール256は、器具が現在のセグメントの子セグメントの各々に前進する予測を判定することができる。予測を判定するためにEM分岐予測モジュール256によって採用され得る多数の異なる技術があってもよく、これらは以下でより詳細に説明される。いくつかの実施形態では、EM分岐予測モジュール256によって使用される特定の技術は、位置データがモデルに対して位置合わせされているかどうかに依存し得る。EM分岐予測モジュール256は、判定された予測を推定状態データストア285に提供することができる。上で考察されたようないくつかの実施形態では、EM分岐予測モジュール256は、配向データストア289から受信した配向データに基づいて予測を判定することができる。他の実施形態では、EM分岐予測モジュール256は、ポジションデータストア287からのポジションデータに基づいて、又は配向データ及びポジションデータの両方に基づいて予測を判定することができる。
【0120】
B.2.器具がとる例示的な経路
例示的な目的で、位置センサベースの分岐予測に関連する本開示の態様は、気管支鏡検査及び気管支内腔網の一部をナビゲートするという状況において説明される。しかしながら、本開示は、他の管腔網及び他の医療処置にも適用することができる。
【0121】
図18Aは、本開示の態様による、位置センサベースの分岐予測を実行することができる例示的な管腔網を示す。
図18Aの実施形態では、図示された管腔網300は、患者の肺の気道に対応しており、第1世代気道305(例えば、気管)を含み、この気道は主気管分岐部310において2つの第2世代気道315及び320(例えば、一次気管支)に分岐する。患者が仰臥位であると仮定すると、気管305は、患者の左気管支320及び患者の右気管支315に分岐する。
【0122】
図18Aはまた、器具が医療処置中に気道を通ってナビゲートされるときに器具が駆動され得る経路325を示す。経路325に沿って駆動されたときの器具の2つの例示的な追跡位置330及び335が示されており、様々な実施形態を考察する際に参照される。位置センサは、以下の
図18Bに関連して詳細に説明されるように、位置センサ座標系内の追跡位置330及び335を表す位置データ(図示せず)を生成することができる。本開示の態様は、第2世代気道315及び320のうちの1つの間で、器具がどの気道に進入するかの予測に関するものであってもよい。後に詳細に説明するように、プロセッサは、分岐予測技術で使用するための器具の初期位置330及び後続位置335を選択してもよい。
【0123】
B.3.処置中に生成される例示的な位置データ
図18Bは、本開示の態様による、器具が管腔網を通して駆動される際に1つ又は2つ以上の位置センサによって生成され得る、例示的な一組の位置データ点を示す。
図18Bでは、ナビゲーション経路345は、処置中に器具が駆動される経路として定義されてもよい。ナビゲーション経路345は、経路計画プログラムなどによって生成された手順を実行する前に、ユーザによって選択されてもよい。便宜上、
図18Bは2Dで図示されているが、本開示はまた、3Dナビゲーション経路にも適用され得ることを理解されたい。ナビゲーション経路345は、患者の管腔網のモデル(例えば、
図20の骨格ベースのモデル500)が定義されるモデル座標系350に関して定義されてもよい。
【0124】
処置中、位置センサは、器具が気道を通ってナビゲートされる際の器具の追跡位置を表す複数の位置合わせされていないデータ点355を生成してもよい。位置合わせされていないデータ点355は、位置センサ座標系360に対して定義されてもよい。EMセンサを利用する実施形態の場合、位置センサ座標系360は、EM発生器からのEM場によって定義されるか、又はこれに対応していてもよい。ロボットシステムで動作するナビゲーションシステム(例えば、
図15に示す位置特定システム)は、位置センサ座標系360とモデル座標系350との間の位置合わせを判定してもよく、これを使用して位置合わせされていないデータ点355をモデル座標系350にマッピングすることができる。位置合わせは、例えば、
図17の位置合わせデータストア225内のメモリに記憶されてもよい。位置センサ座標系360及びモデル座標系350を位置合わせするための1つの技術は、位置合わせされていないデータ点355に適用されたとき、データ点と経路345との間の距離の和を最小化する変換行列を選択することを含んでもよい。位置合わせが位置合わせされていないデータ点355に適用されると、「位置合わせされた」位置データ点は、経路345と実質的に整合し得る。
【0125】
B.4.例示的な分岐予測技術
図19は、本開示の態様による、位置センサによる分岐予測のための、ロボットシステム又はその構成要素(複数可)によって動作可能な例示的な方法を示すフローチャートである。例えば、
図19に示される方法400の工程は、ロボットシステム又は関連システム(複数可)のプロセッサ(複数可)及び/又は他の構成要素(複数可)によって実行され得る。便宜上、方法400は、位置センサベースの分岐予測システムによって実行されるものとして説明され、方法400の説明に関連して単に「システム」とも称される。
【0126】
ブロック405で、位置センサベースの予測システムは、器具のための一組の1つ又は2つ以上の位置センサによって生成された第1の位置データに基づいて、器具の第1の配向を判定する。第1の位置データは、第1の時間における位置センサ座標系内の器具の位置を示してもよい。特定の実施形態において、位置センサは、器具の遠位端に又はその近くに位置してもよく、したがって、位置センサによって生成された位置データは、器具の遠位端の位置を示すことができる。一実施形態では、器具の第1の配向は、
図18の初期位置330などの初期位置における器具の配向に対応し得る。
【0127】
ブロック410において、位置センサベースの分岐予測システムは、一組の位置センサによって生成された第2の位置データに基づいて、第2の時間における器具の第2の配向を判定する。器具の遠位端は、第1の時間及び第2の時間においてモデルの第1のセグメント内に配置されてもよい。第1のセグメントは、2つ又は3つ以上の子セグメントに分岐してもよい。
図18に例示される例示的な実施形態では、第1の時間及び第2の時間におけるに器具の遠位端は、それぞれ、初期位置330及び後続位置335に対応していてもよく、これらは各々、2つの第2世代気道315及び320に分岐する第1世代気道305内に位置する。
【0128】
ブロック415において、位置センサベースの分岐予測システムは、第1の配向と第2の配向との間の差を示すデータを判定する。これは、例えば、位置合わせされていない位置センサデータに基づいて、2つの連続する時点での、器具の配向を判定することを含んでもよい。現在のセグメント内に配置されているときの器具の配向の差に基づいて、システムは、2つ又は3つ以上の子セグメントのうち、器具が最も前進する可能性が高いのはどちらの子セグメントかを予測することができる。すなわち、システムは、モデルから2つの第2世代気道315及び320に分岐する第1世代気道305の各々の配向にアクセスできるので、システムは、器具の配向の変化に基づいて、器具が前進する可能性が最も高いのは子セグメントのうちのどれであるかを予測することができる。
【0129】
一実施態様では、位置センサベースの分岐予測システムは、初期の配向と後続の配向との間の相対変換行列を計算することにより、初期の配向と後続の配向との間の差を判定することができる。システムは、変換行列をロール、ピッチ、及びヨー角に分解して、位置センサ座標系内の器具の配向を定義してもよい。位置センサ(複数可)として採用され得る特定の位置センサ技術(例えば、EM位置センサ)は、患者が所与の処置(例えば、気管支鏡検査処置)のために仰臥位で横たわったときに、少なくとも1つの角度自由度において患者と実質的に整合してもよい。EM実装態様では、EM場発生器は、EM場発生器の配向に対して定義される配向を有するEM場を生成することができる。したがって、患者と整合するようにEM場発生器の配向を整えることによって、システムは、相対変換行列から判定されたヨー角のみを使用して、分岐予測方法400を実行することができる。
【0130】
気管支鏡検査処置において、患者の配向とEM場とが既知であってもよいので、システムは、EMセンサによって生成されたデータに基づいて、初期の配向と後続の配向との間のヨー角を判定することが可能であってもよい。したがって、一次気管支への気管の二分岐は、EMセンサ座標系内のヨー軸に対して定義され得る。したがって、器具が気管305内に位置するとき(
図18Aを参照)、EM場に基づいて判定された器具のヨー角は、一次気管支315と320との間の配向の差と実質的に整合してもよい。したがって、システムは、器具が前進する可能性が高い一次気管支315及び320の予測を更新するための基礎として、初期の配向と後続の配向との間のヨー角の変化を使用してもよい。
【0131】
いくつかの実施形態では、ブロック415はまた、子セグメントの配向の間に形成された角度を判定するシステムを含んでもよい。器具の遠位端の配向の変化量は、器具の挿入方向を子セグメントのうちの1つから他方へ向け直すために、子セグメント間に形成される角度に対応してもよい。後述するように、システムは、子セグメント間に形成された角度を、分岐予測を更新するかどうかを判定するための要因として、及び/又は分岐予測中に子セグメントに確率を割り当てるために使用される要因として使用してもよい。子セグメント間に形成された角度に基づいて閾値を選択する実施形態は、設計時(例えば、閾値は、角度に基づいてシステムの設計者によって選択されたパラメータである)又は実行時(例えば、システムは、手術前又は手術中に閾値を動的に決定するための論理及びデータを含む)に決定されてもよいことが理解されよう。また、実行時アプローチは、閾値を用いて角度を正確に区別するために、システムのハードウェア及びソフトウェア、並びに患者の解剖学的構造に影響を与える可能性があることを理解されたい。
【0132】
ブロック420において、位置センサベースの分岐予測システムは、その差を示すデータに基づいて、器具が子セグメントのうちの第1の子セグメント内に前進するという予測を判定する。実施形態に応じて、予測は、器具が前進させられる可能性が最も高い子セグメントの識別、器具が対応する子セグメントに前進させられる子セグメントの各々に対する確率、最も高い確率から最も低い確率までの子セグメントの順序付きリストなどを含むことができる。システムが、器具が子セグメントに前進する予測を以前に判定していた場合、システムは、ブロック415で判定された配向の差に基づいて予測を更新してもよい。
【0133】
システムが子セグメント間の角度を判定する実施形態では、システムは、予測を判定する際に子セグメントの配向の間に形成された角度を使用してもよい。他の実施形態では、システムは、器具の遠位端の配向と子セグメントの各々の配向との間の差に基づいて予測を判定してもよい。一実施形態では、システムは、残りの子セグメントよりも器具の配向との差が小さい子セグメントに、より高い確率を割り当てることができる。
【0134】
特定の実施形態では、システムは、器具の配向が閾値レベルを超えて変化しない限り、子セグメントの各々の中に前進する器具の確率を調整することを控えてもよい。システムは、特定の実施形態では、子セグメント間の角度に基づいて閾値レベルを調整することができる。例えば、システムは、子セグメント間の角度が第1の閾値角度よりも大きい場合に閾値レベルを上げてもよく、子セグメント間の角度が第2の閾値角度よりも小さい場合に閾値レベルを下げてもよい。システムが、(例えば、所与の1つに進入する確率が他の子セグメントの確率よりも大きいことに基づいて)器具が子セグメントのうちの所与の1つに進入するという予測を一旦判定すると、システムは、その後、一組の位置センサによって生成された後続の位置データに基づいて、第3の時間における器具の配向を判定することができる。システムは、(i)第3の時間(例えば、器具が後続の位置に位置する第2の時間の後の時間)における配向と、(ii)初期の配向と、の間の角度を計算し、計算された角度を閾値角度値と比較する、ように構成されてもよい。システムは、計算された角度が閾値角度値よりも大きいことに応じて、子セグメントの各々に前進する器具の確率を更新するように更に構成されてもよい。したがって、特定の実施態様では、システムは、器具の配向が閾値角度値よりも大きい初期の配向と角度を形成しない限り、各子セグメント内に前進する器具の確率を更新しないことがある。方法400は、ブロック425において終了する。
【0135】
上記の方法400は、位置合わせされていない位置データを使用して実行される場合に特に有利であり得る。すなわち、位置合わせされていない位置データは、モデル座標系への器具の位置及び/又は配向の正確なマッピングを提供しない場合があるので、システムは、2回又は3回以上の連続した時間における器具の相対的な配向を使用して、器具の測定された配向の変化が、子セグメントの1つに向かって関節運動している器具と一致するかどうかを判定してもよい。(例えば、位置センサ座標系内)器具の測定された配向の検出された変化は、子セグメントのうちの1つの物理的配向に近い方向に向けられる器具の物理的配向の変化と一致してもよい。換言すれば、位置センサ座標系における器具の配向の初期の配向から後続の配向への相対的変化は、位置合わせされていない位置データを使用して判定されたときの、子セグメントのうちの1つに向かう器具の前進方向の変化を示してもよい。したがって、位置センサ座標系は、特定の処置の初期段階中にモデル座標系に位置合わせされない場合があるため、方法400は、センサ融合技術(例えば、
図15の位置特定システム90)によって使用され得る初期段階中に分岐予測を提供することができる。
【0136】
一実施例では、初期の配向と後続の配向との間の差を示すデータが、患者の左一次気管支(例えば、第2世代気道320)に向かって前進又は方向付けられている器具と一致する場合、システムは、器具が右一次気管支ではなく左一次気管支内に前進することを予測し得る。したがって、システムは、配向の変化が、器具が対応する子分岐に向かって前進しているか、又は、これから離れていることを示しているかどうかに基づいて、各子分岐の予測を更新することができる。
【0137】
B.5.初期位置の選択
上述のように、方法400は、器具が初期位置に位置しているときに、ブロック405において器具の第1の配向を判定することを含み得る。位置センサベースの分岐予測システムは、状態推定モジュール240の初期化に応じて、器具の初期位置を選択してもよい。特定の実施形態では、位置センサベースの分岐予測システムは、初期位置として初期化後に、状態推定モジュール240によって生成された器具の位置の第1の表示を選択してもよい。しかしながら、他の実施形態では、システムは、状態推定モジュール240によって初期位置として生成された他の位置(例えば、器具の第2、第3などの位置)を選択してもよい。
【0138】
いくつかの実施形態では、システムは、初期位置における器具の配向が現在のセグメントの配向と実質的に整合している(例えば、現在のセグメントの長手方向軸と整合している)という判定に基づいて、器具の初期位置を選択するように構成されてもよい。本明細書で使用するとき、システムは、器具の配向と現在のセグメントとの間の差が閾値差未満であるとき、器具の配向を現在のセグメントの配向と実質的に整合させることを考慮してもよい。しかしながら、受信した位置センサデータは、モデル座標系に対して位置合わせされない場合があるため、システムは、器具の配向を現在のセグメントの配向と直接比較することができない場合がある。
【0139】
一実施態様では、システムは、器具が現在のセグメントと整合しているという表示をユーザから受信するように構成されてもよい。ユーザは、システムの他のセンサ(例えば、器具の遠位端に位置するカメラ)に基づいて、器具の配向が第1世代セグメントと現在整合していることを確認することができてもよい。一実施態様では、システムは、器具を管腔網内の定義された位置(例えば、
図18の気管分岐部310)まで駆動し、定義された位置から少なくとも定義された距離だけ器具を後退させるようにユーザに命令を提供してもよい。システムは、後退前又は後のポジションにおける器具の遠位端の位置を判定し、この点における器具の配向を、現在のセグメントの配向と実質的に整合される初期配向として設定してもよい。
【0140】
他の実施態様では、システムは、ユーザ入力を受信することなく、器具の駆動中に初期位置を自動的に選択するように構成又はプログラムされてもよい。一実施形態では、システムは、器具がある期間にわたって現在のセグメントを通って進むにつれて、器具の配向を追跡してもよく、器具の配向が閾値時間の間に実質的に変化していないことに応じて、システムは、識別された期間中の器具の配向が現在のセグメントの配向と整合していると判定してもよい。いくつかの実施形態では、システムは、ある期間にわたって測定された器具の配向間の最大差が閾値差未満である場合に、器具の配向が実質的に変化していないと判定してもよい。
【0141】
B.6.位置合わせプロセスの確認
特定の実施態様では、システムは、位置センサ(複数可)の座標系を管腔網のモデルの座標系に位置合わせするために、位置合わせプロセスを実行するように構成されてもよい。位置合わせは、
図17に示すように位置合わせデータストア225に記憶されてもよい。位置合わせプロセスは、位置センサ座標系とモデル座標系との間の位置合わせを判定するために、位置合わせされていない位置データの使用を容易にするプロセスを含んでもよい。特定の実施形態では、位置合わせプロセスは、位置センサ(複数可)から受信したデータの履歴を維持し、位置データの履歴によって形成された形状を、解剖学的構造のモデルに基づいて、器具がそれに沿って移動できる候補経路に一致させることに基づいて実行されてもよい。システムは、ユーザに、所定の位置合わせ経路に沿って器具を駆動するように指示を提供し、位置合わせプロセス中にユーザが位置合わせ経路に沿って器具を駆動することに応じて、位置センサに基づいて器具の位置を追跡してもよい。特定の処置では、位置合わせ経路は、器具が位置合わせプロセスのためにそれに沿って駆動される経路の形状を定義する対側位置合わせ経路を含んでもよい。対側位置合わせ経路は、標的の位置に対して管腔網上の対側のセグメントに沿って器具を駆動することと、対側の側から器具を後退させることと、標的までの経路(標的経路ともいう)に沿って管腔網の側方に沿って器具を駆動することとを含んでもよい。したがって、対側位置合わせ経路は、標的経路の外側で管腔網の対側分岐に沿って(例えば、標的に対して管腔網の対側の側にある分岐に沿って)器具を駆動することと、標的経路に器具を戻すことと、標的経路の一部に沿って配置された側方分岐に沿って器具を駆動することとを含んでもよい。
【0142】
特定の処置では、標的は、診断及び/又は治療を容易にするために器具が駆動され得る小結節(又は病変)を含み得る。したがって、メモリは、モデル内の標的への標的経路及び対側位置合わせ経路を記憶してもよい。位置合わせプロセス中に、システムは、器具が子セグメントの各々に沿って前進するかどうかの予測に基づいて、ユーザが現在、対側位置合わせ経路によって定義されているように、器具を管腔網の正しい分岐に駆動しているかどうかを確認するように構成されてもよい。したがって、システムは、予測に基づいて、器具が対側位置合わせ経路に沿って位置しているかどうかを判定することができる。一実施態様では、管腔網内の二分岐(例えば、一次気管支付近の二分岐)に接近するとき、システムは、器具が対側位置合わせ経路に沿って分岐内に前進する確率を閾値確率と比較してもよい。確率が閾値確率未満である場合、システムは、ユーザが正しい分岐に向かって駆動していない可能性があるという表示をユーザに表示してもよい。
【0143】
別の実施態様では、システムは、器具が対側位置合わせ経路を前進される前に標的経路に沿って前進させられたと判定してもよく、これは、ユーザが位置合わせプロセス中に使用された対側位置合わせ経路に対応しない経路に沿って器具を不注意に駆動したことを示し得る。対側位置合わせ経路は、器具が標的経路に沿って駆動される前に、対側経路に沿って器具が駆動されることを必要とする場合があるので、システムは、器具が対側位置合わせ経路に沿って前進させられる前に標的経路に沿って駆動されたとの判定に応じて、対側位置合わせが成功しなかったという表示を提供し得る。
【0144】
システムはまた、ユーザにフィードバックを提供するために、所与の処置中に、モデルに対する器具の位置の表示を表示するように構成されてもよい。したがって、システムは、器具の位置を示す複数のデータソースに基づいて、モデルに対する器具の遠位端のポジションを判定することができる。特定の実施態様では、システムは、位置センサから受信した位置データ、器具の動きを制御するために提供される一連のコマンド、及び器具が現在のセグメントの子セグメント内に前進するという予測のうちの1つ又は2つ以上に基づいて、器具の遠位端のポジションを判定してもよい。したがって、
図19の方法400を用いて判定される予測(複数可)は、器具の位置特定及び/又はナビゲーションにおいてシステムによって使用することができる1つのデータソースであってもよい。
【0145】
C.位置合わせされた位置センサベースの分岐予測。
システムが、位置センサ座標系をモデル座標系に位置合わせする位置合わせプロセスを実行した後、システムは、位置センサ(複数可)によって生成されたデータを使用して、モデル座標系に関連付けられたモデルを参照して、器具の遠位端の位置の表示を判定することができるようにしてもよい。位置合わせされたデータ位置のデータを使用して、システムは、器具が内部に前進する可能性が最も高い管腔網の子セグメントに関する予測を生成することができる。実施態様によっては、位置合わせされていない位置センサデータを使用しても、器具が特定の距離を超えて管腔網内に前進させられた後は、管腔網内での分岐予測に十分な精度が提供されない場合がある。例えば、器具が一次気管支内に前進させられると、システムは、位置合わせされた位置センサデータなしで分岐予測を実行することができない場合がある。したがって、本開示の態様はまた、分岐予測のための位置合わせされた位置データの使用に関する。
【0146】
図20は、管腔網の一部分の例示的な骨格ベースのモデルを示す。特に、骨格ベースのモデル500は、管腔網が、管腔網の個々の管腔に各々対応する複数の離散セグメントを構成し得る「骨格」505としてモデル化される実施態様を例示している。
図20に示すモデル500は、位置特定システム90(
図15を参照)によって使用されて、器具の遠位端のポジション及び配向を計算することができる。骨格505の各セグメントは、固有の「セグメントID」を割り当てられてもよく、骨格505を形成するセグメントの各々は、対応する管腔の中心線に対して定義されてもよい。特定の医療処置の間、器具は、処置の少なくとも一部分について、管腔網を通してナビゲートされてもよい。具体的には、所与の時点で、器具525の遠位端は、モデルの現在のセグメント510内に位置してもよく、現在のセグメント510は、2つの子セグメント515及び520に分岐又は二分岐してもよい。以下で詳細に考察されるように、本開示の態様は、現在のセグメント510内に位置するときの器具の配向に基づいて実行される分岐予測技術に関する。
【0147】
図21は本開示の態様による、位置合わせされていない位置センサベースの分岐予測のための、ロボットシステム又はその構成要素(複数可)によって動作可能な例示的な方法を示すフローチャートである。例えば、
図21に示される方法600の工程は、ロボットシステム又は関連システム(複数可)のプロセッサ(複数可)及び/又は他の構成要素(複数可)によって実行され得る。便宜上、方法600は、位置センサベースの分岐予測システムによって実行されるものとして説明され、また、方法600の説明に関連して単に「システム」とも称される。ロボットシステムは、患者の管腔網のモデルを記憶した、少なくとも1つのコンピュータ可読メモリを含んでもよい。
【0148】
ブロック605で、位置センサベースの分岐予測システムは、器具の一組の1つ又は2つ以上の位置センサによって生成された位置データに基づいて、モデルに対する器具の配向を判定する。特定の実施態様では、位置データは、一組の位置センサから受信した位置合わせされた位置データを含む。位置センサデータがシステムによって受信されるときに、位置センサは、管腔網のモデルに位置合わせされてもよい。位置合わせされた位置データを使用して、システムは、位置データに基づいて、モデルに対する器具の遠位端の位置を判定することが可能であり得る。特定の実施態様では、システムは、多数のデータソースを使用して(例えば、
図15の位置特定システム90を使用することによって)器具の遠位端の位置を判定するセンサ融合技術を用いてもよい。受信された位置データがモデルに対して位置合わせされるので、システムは、モデルに対する器具の位置の測定を行うことが可能であり得る。
【0149】
特定の実施態様では、システムがブロック605において器具の配向を判定するとき、器具の遠位端は、モデルの第1のセグメント内に位置していてもよい。一実施形態では、器具525の遠位端は、
図20に示されるように、2つの子分岐515及び520を含む現在のセグメント525内に位置する。
【0150】
ブロック610において、位置センサベースの分岐予測システムは、子セグメントのうちの第1の子セグメントの配向を判定する。
図20の実施例では、子セグメント515及び520の各々の配向は、モデル座標系に対する骨格505の対応するセグメントの配向に基づいて判定されてもよい。実施態様によっては、現在のセグメントは、2つ又は3つ以上の子セグメントを含む骨格505のセグメントのうちのいずれか1つに対応してもよい。
【0151】
ブロック615において、位置センサベースの分岐予測は、器具の配向及び第1の子セグメントの配向に基づいて、器具が第1の子セグメントの中に前進するという予測を判定する。これは、例えば、システムが、器具525の遠位端の配向と、
図20の実施形態における子セグメント515及び520の各々の配向との間の差を判定することを含んでもよい。モデルは、セグメントの各々の配向を示すデータを含んでもよい。特定の実施形態では、セグメントの配向を示すデータは、骨格505を表すデータに含まれてもよく、骨格505の各セグメントの位置、長さ、及び配向は、メモリ内に定義されてもよい。したがって、システムは、位置合わせされた位置センサデータを使用して、モデル座標系内の器具の配向を判定し、器具の配向を子セグメントの各々の配向と比較してもよい。方法は、ブロック620において終了する。
【0152】
実施形態によっては、予測は、器具が前進させられる可能性が最も高い子セグメントの識別、対応する子セグメントの中に器具が前進させられる子セグメント各々に対する確率、最も高い確率から最も低い確率までの子セグメントの順序付きリストなどを含むことができる。そのため、特定の実施形態では、予測は、器具が子セグメントの各々の中に進む確率を示すデータを含んでもよい。いくつかの実施態様では、システムは、器具の配向との差がより低い配向を有する子セグメントに、より高い確率を割り当てることができる。このように、システムは、対応する確率の判定を支援するために、器具の配向と子セグメントの各々の配向との間の差を示すデータを判定することができる。
【0153】
特定の実施態様では、システムは、器具の配向と子セグメントの各々の配向との間の角度を更に判定することができる。器具の配向と所与の子セグメントとの間の角度は、配向間の差を示し得る。したがって、システムは、所与の子セグメントと器具との間の角度に反比例する所与の子セグメントに、確率を割り当てるように構成されてもよい。一実施態様では、システムは、器具の配向と所与の子セグメントの配向との間のドット積に基づいて、角度を判定することができる。角度が小さいほど、器具の配向と所与の子セグメントとの間の整合が大きいことを示す場合があるため、システムはまた、所与の子セグメントの確率を計算するために、判定された角度の逆数を使用することもできる。
【0154】
この予測は、モデルに対する器具の遠位端の位置を判定するために使用される融合技術(例えば、
図15の位置特定システム90など)のデータソースとしてシステムによって使用されてもよい。特定の実施態様では、システムは、位置センサ(複数可)から受信した位置データ、器具の動きを制御するために提供される一連のコマンド、及び器具が子セグメントの各々の中に前進するという予測のうちの1つ又は2つ以上に基づいて、器具の遠位端のポジションを判定してもよい。
【0155】
特定の実施態様では、システムは、上述の配向ベースの予測に加えて、分岐予測のための補助技術を適用することができる。一実施態様では、補助技術は、器具の遠位端の位置を子セグメントの各々の開始位置と比較する位置ベースの予測を含んでもよい。システムは、器具の遠位端の位置に基づいて、器具が子セグメントの各々の中に前進する補助予測を判定してもよい。予測は、子セグメントの各々に対する器具の遠位端の位置に基づいてもよい。補助技術として使用することができる位置ベースの予測技術の更なる詳細及び例は、上記の米国特許出願公開第2017/0084027号に記載されている。一実施態様では、位置センサデータが、器具の遠位端が別の子セグメントよりもある子セグメントに近い位置にあることを示している場合、システムは、遠い子セグメントよりも近い子セグメントにより高い確率を割り当てることができる。例えば、
図20に戻って参照すると、器具525の遠位端が子セグメント520の第2の子セグメントよりも子セグメント515の第1の子セグメントに近い場合、システムは、第1の子セグメント515により高い確率を割り当てることができる。いくつかの実施態様では、融合技術を使用して、システムは、配向ベースの予測技術及び補助位置ベースの予測技術の両方に基づいて、器具の遠位端の位置を判定することができる。システムは、技術の各々に関連する精度、特定の予測に関連するエラーなどを含む様々な要因に基づいて、分岐予測技術の各々の結果を重み付けすることができる。
【0156】
位置ベースの分岐予測と比べた場合の、配向ベースの位置センサの分岐予測に関連する1つの利点は、配向ベースの予測が、管腔網を通る器具の駆動中に連続的に実行され得ることである。例えば、位置ベースの分岐予測技術は、器具の遠位端が、現在のセグメントの子セグメントへの二分岐の閾値距離内にない限り、正確な予測を提供しない場合がある。位置ベースの予測技術は位置センサデータに依存するため、位置ベースの予測技術は、位置センサの位置合わせにおける誤差、並びに位置センサデータにおけるジッタの影響を受けやすい可能性がある。したがって、器具が子セグメントから比較的遠く離れているとき、器具と子セグメントの各々との間の距離は、ユーザがそれに向かって器具を駆動している子セグメントを示すものではない場合がある。対照的に、器具が子セグメントによって定義された二分岐部から比較的遠く離れている場合であっても、器具の配向は、ユーザが器具をその内部に向けて駆動している子セグメントとより強く相関し得る。したがって、いくつかの実施態様では、本明細書に記載される配向ベースの分岐予測技術は、器具の遠位端が現在のセグメントの始まりから現在のセグメントの終わりまで前進させられるときに適用されてもよい。他の実施形態では、システムは、現在のセグメント内の器具の遠位端のポジションとは独立して、配向ベースの分岐予測技術を適用することができる。
【0157】
3.実施システム及び用語。
本明細書に開示される実施態様は、位置センサベースの分岐予測のためのシステム、方法、及び装置を提供する。
【0158】
本明細書で使用するとき、用語「結合する」、「結合している」、「結合された」、又は単語「結合」の他の変形は、間接的接続又は直接的接続のいずれかを示し得ることに留意されたい。例えば、第1の構成要素が第2の構成要素に「結合される」場合、第1の構成要素は、別の構成要素を介して第2の構成要素に間接的に接続されるか、又は第2の構成要素に直接的に接続されてもよい。
【0159】
本明細書に記載する機能は、プロセッサ可読媒体又はコンピュータ可読媒体上の1つ又は2つ以上の命令として記憶されてもよい。用語「コンピュータ可読媒体」は、コンピュータ又はプロセッサによってアクセスされることができる任意の利用可能な媒体を指す。一例として、限定するものではないが、このような媒体は、ランダムアクセスメモリ(random access memory、RAM)、読み出し専用メモリ(read-only memory、ROM)、電気的消去可能プログラム可能読み出し専用メモリ(electrically erasable programmable read-only memory、EEPROM)、フラッシュメモリ、コンパクトディスク読み出し専用メモリ(compact disc read-only memory、CD-ROM)、又は他の光ディスク記憶装置、磁気ディスク記憶装置、若しくは他の磁気記憶デバイス、又は命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスされることができる任意の他の媒体を含んでもよい。コンピュータ可読媒体は、有形であり、非一時的であってもよいことに留意されたい。本明細書で使用するとき、用語「コード」は、コンピューティングデバイス又はプロセッサによって実行可能であるソフトウェア、命令、コード、又はデータを指してもよい。
【0160】
本明細書に開示される方法は、記載される方法を達成するための1つ又は2つ以上の工程又は行為を含む。方法工程及び/又は行為は、特許請求の範囲の範囲から逸脱することなく互いに交換されてもよい。換言すれば、記載されている方法の適切な動作のために特定の順序の工程又は行為が必要とされない限り、特許請求の範囲の範囲から逸脱することなく、特定の工程及び/又は行為の順序及び/又は使用を修正してもよい。
【0161】
本明細書で使用するとき、用語「複数」は、2つ又は3つ以上を示す。例えば、複数の構成要素は、2つ又は3つ以上の構成要素を示す。用語「判定する」は、多種多様な行為を包含し、したがって、「判定する」は、計算する、演算する、処理する、導出する、調査する、ルックアップする(例えば、テーブル、データベース又は別のデータ構造を参照すること)、確認することなどを含むことができる。また、「判定する」は、受け取る(例えば、情報を受信すること)、アクセスする(例えば、メモリ内のデータにアクセスすること)などを含むことができる。また、「判定する」は、解決する、選択する、選出する、確立するなどを含むことができる。
【0162】
語句「基づく」は、別途明示的に指定されない限り、「のみに基づく」ことを意味しない。換言すれば、語句「基づく」は、「のみに基づく」及び「少なくとも基づく」の両方を記述する。
【0163】
開示される実施態様の前述の説明は、任意の当業者が本発明を製造すること、又は使用することを可能にするために提供される。これらの実施態様に対する種々の修正は、当業者には容易に明らかになり、かつ、本明細書で規定される一般的な原理は、本発明の範囲から逸脱することなく、他の実施態様に適用され得る。例えば、当業者であれば、締結、装着、結合、又は係合ツール構成要素の均等の方法、特定の作動運動を生み出すための均等の機構、及び電気エネルギーを送達するための均等の機構など、多くの対応する代替的かつ均等の構造的詳細を使用することができると理解されるであろう。したがって、本発明は、本明細書に示される実施態様に限定されることを意図するものではなく、本明細書に開示される原則及び新規な特徴と一致する最も広い範囲が与えられるものである。
【0164】
〔実施の態様〕
(1) システムであって、
プロセッサと、
前記プロセッサと通信し、かつ患者の管腔網のモデルを記憶した少なくとも1つのコンピュータ可読メモリと、を含み、前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有しており、前記コンピュータ実行可能命令が、前記プロセッサに、
器具のための一組の1つ又は2つ以上の位置センサによって生成された第1の位置データに基づいて、前記器具の第1の配向を判定することであって、前記第1の位置データが、第1の時間における位置センサ座標系内の前記器具の位置を示す、判定することと、
前記一組の位置センサによって生成された第2の位置データに基づいて、第2の時間における前記器具の第2の配向を判定することであって、前記器具の遠位端が、前記第1の時間及び前記第2の時間において前記モデルの第1のセグメント内に位置し、前記第1のセグメントが、2つ又は3つ以上の子セグメントに分岐している、判定することと、
前記第1の配向と前記第2の配向との間の差を示すデータを判定することと、
前記差を示す前記データに基づいて、前記器具が前記子セグメントのうちの第1の子セグメント内に前進するという予測を判定することと、を行わせる、システム。
(2) 前記予測は、前記器具が前記第1の子セグメント内に前進する確率を示すデータを含む、実施態様1に記載のシステム。
(3) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記差を示す前記データに基づいて、前記器具が前記子セグメントのうちの第2の子セグメント内に前進するという予測を判定することを行わせる、実施態様1に記載のシステム。
(4) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記一組の位置センサによって生成された第3の位置データに基づいて、第3の時間における前記器具の第3の配向を判定することと、
前記第3の配向と前記第1の配向との間の角度を判定することと、
前記角度を閾値角度と比較することと、
前記角度が前記閾値角度よりも大きいことに応じて、前記器具が前記第1の子セグメン内に前進するという前記予測を更新することと、を行わせる、実施態様1に記載のシステム。
(5) 前記一組の位置センサが、電磁(EM)場内のEMセンサの配向を示すデータを生成するように構成された前記EMセンサを含み、
前記EM場が、EM場発生器によって生成され、
前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、前記EMセンサによって生成された前記データに基づいて、前記第1の配向と前記第2の配向との間のヨー角を判定することを行わせる、実施態様1に記載のシステム。
【0165】
(6) 前記EM場に基づいて判定された前記器具のヨー軸が、前記子セグメントのうちの前記第1の子セグメントと第2の子セグメントとの間の配向の差と実質的に整合する、実施態様5に記載のシステム。
(7) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記位置データ、前記器具の移動を制御するために提供される一組のコマンド、及び前記器具が前記第1の子セグメント内に前進するという前記予測を分析することによって、前記モデルに対する前記器具の前記遠位端のポジションを判定することを行わせる、実施態様1に記載のシステム。
(8) 前記位置データが、前記モデルのモデル座標系に位置合わせされていない、実施態様1に記載のシステム。
(9) 前記メモリが、前記メモリに記憶された、
前記モデル内の標的への標的経路と、
対側位置合わせ経路であって、前記標的経路の外側で前記管腔網の第1の分岐に沿って前記器具を駆動することと、前記標的経路に前記器具を戻すことと、前記標的経路の一部である第2の分岐に沿って前記器具を駆動することと、を含む、対側位置合わせ経路と、
コンピュータ実行可能命令であって、前記コンピュータ実行可能命令が、前記プロセッサに、前記器具が前記第1の子セグメント内に前進するという前記予測に基づいて、前記器具が前記対側位置合わせ経路に沿って配置されているかどうかを判定させる、コンピュータ実行可能命令と、を更に有する、実施態様1に記載のシステム。
(10) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定することと、
前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定したことに応じて、対側位置合わせが失敗したという表示を提供することと、を行わせる、実施態様9に記載のシステム。
【0166】
(11) 非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を有し、前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、
器具のための一組の1つ又は2つ以上の位置センサによって生成された第1の位置データに基づいて、前記器具の第1の配向を判定することであって、前記第1の位置データが第1の時間における位置センサ座標系内の前記器具の位置を示す、判定することと、
前記一組の位置センサによって生成された第2の位置データに基づいて、第2の時間における前記器具の第2の配向を判定することであって、前記器具の遠位端が、前記第1の時間及び前記第2の時間においてモデルの第1のセグメント内に位置し、前記第1のセグメントが、2つ又は3つ以上の子セグメントに分岐し、前記モデルが、メモリに記憶され、患者の管腔網をモデル化する、判定することと、
前記第1の配向と前記第2の配向との間の差を示すデータを判定することと、
前記差を示す前記データに基づいて、前記器具が前記子セグメントのうちの第1の子セグメント内に前進するという予測を判定することと、を行わせる、非一時的コンピュータ可読記憶媒体。
(12) 前記予測は、前記器具が前記第1の子セグメント内に前進する確率を示すデータを含む、実施態様11に記載の非一時的コンピュータ可読記憶媒体。
(13) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、
前記差を示す前記データに基づいて、前記器具が前記子セグメントのうちの第2の子セグメント内に前進するという予測を判定することを行わせる、実施態様11に記載の非一時的コンピュータ可読記憶媒体。
(14) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、
前記一組の位置センサによって生成された第3の位置データに基づいて、第3の時間における前記器具の第3の配向を判定することと、
前記第3の配向と前記第1の配向との間の角度を判定することと、
前記角度を閾値角度と比較することと、
前記角度が前記閾値角度よりも大きいことに応じて、前記器具が前記第1の子セグメント内に前進するという前記予測を更新することと、を行わせる、実施態様11に記載の非一時的コンピュータ可読記憶媒体。
(15) 前記一組の位置センサが、電磁(EM)場内のEMセンサの配向を示すデータを生成するように構成された前記EMセンサを含み、
前記EM場が、EM場発生器によって生成され、
前記非一時的コンピュータ可読記憶媒体が、前記非一時的コンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、前記EMセンサによって生成された前記データに基づいて、前記第1の配向と前記第2の配向との間のヨー角を判定することを行わせる、実施態様11に記載の非一時的コンピュータ可読記憶媒体。
【0167】
(16) 前記EM場に基づいて判定された前記器具のヨー軸が、前記子セグメントのうちの前記第1の子セグメントと第2の子セグメントとの間の配向の差と実質的に整合する、実施態様15に記載の非一時的コンピュータ可読記憶媒体。
(17) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、
前記位置データ、前記器具の移動を制御するために提供される一組のコマンド、及び前記器具が前記第1の子セグメント内に前進するという前記予測を分析することによって、前記モデルに対する前記器具の前記遠位端のポジションを判定することを行わせる、実施態様11に記載の非一時的コンピュータ可読記憶媒体。
(18) 前記位置データが、前記モデルのモデル座標系に位置合わせされていない、実施態様11に記載の非一時的コンピュータ可読記憶媒体。
(19) 前記メモリが、前記メモリに記憶された、
前記モデル内の標的への標的経路と、
対側位置合わせ経路であって、前記標的経路の外側で前記管腔網の第1の分岐に沿って前記器具を駆動することと、前記標的経路に前記器具を戻すことと、前記標的経路の一部である第2の分岐に沿って前記器具を駆動することと、を含む、対側位置合わせ経路と、を更に有し、
前記非一時的コンピュータ可読記憶媒体が、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、前記器具が前記第1の子セグメント内に前進するという前記予測に基づいて、前記器具が前記対側位置合わせ経路に沿って配置されているかどうかを判定させる、実施態様11に記載の非一時的コンピュータ可読記憶媒体。
(20) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、前記少なくとも1つのコンピューティングデバイスに、
前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定することと、
前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定したことに応じて、対側位置合わせが失敗したという表示を提供することと、を行わせる、実施態様11に記載の非一時的コンピュータ可読記憶媒体。
【0168】
(21) 器具の移動を予測する方法であって、
前記器具のための一組の1つ又は2つ以上の位置センサによって生成された第1の位置データに基づいて、前記器具の第1の配向を判定することであって、前記第1の位置データが第1の時間における位置センサ座標系内の前記器具の位置を示す、判定することと、
前記一組の位置センサによって生成された第2の位置データに基づいて、第2の時間における前記器具の第2の配向を判定することであって、前記器具の遠位端が、前記第1の時間及び前記第2の時間においてモデルの第1のセグメント内に位置し、前記第1のセグメントが、2つ又は3つ以上の子セグメントに分岐し、前記モデルがメモリに記憶され、患者の管腔網をモデル化する、判定することと、
前記第1の配向と前記第2の配向との間の差を示すデータを判定することと、
前記差を示す前記データに基づいて、前記器具が前記子セグメントのうちの第1の子セグメント内に前進するという予測を判定することと、を含む、方法。
(22) 前記予測は、前記器具が前記第1の子セグメント内に前進する確率を示すデータを含む、実施態様21に記載の方法。
(23) 前記差を示す前記データに基づいて、前記器具が前記子セグメントのうちの第2の子セグメント内に前進するという予測を判定することを更に含む、実施態様21に記載の方法。
(24) 前記一組の位置センサによって生成された第3の位置データに基づいて、第3の時間における前記器具の第3の配向を判定することと、
前記第3の配向と前記第1の配向との間の角度を判定することと、
前記角度を閾値角度と比較することと、
前記角度が前記閾値角度よりも大きいことに応じて、前記器具が前記第1の子セグメント内に前進するという前記予測を更新することと、を更に含む、実施態様21に記載の方法。
(25) 前記一組の位置センサが、電磁(EM)場内のEMセンサの配向を示すデータを生成するように構成された前記EMセンサを含み、
前記EM場が、EM場発生器によって生成され、
前記方法が、前記EMセンサによって生成された前記データに基づいて、前記第1の配向と前記第2の配向との間のヨー角を判定することを更に含む、実施態様21に記載の方法。
【0169】
(26) 前記EM場に基づいて判定された前記器具のヨー軸が、前記子セグメントのうちの前記第1の子セグメントと第2の子セグメントとの間の配向の差と実質的に整合する、実施態様25に記載の方法。
(27) 前記位置データ、前記器具の移動を制御するために提供される一組のコマンド、及び前記器具が前記第1の子セグメント内に前進するという前記予測を分析することによって、前記モデルに対する前記器具の前記遠位端のポジションを判定することを更に含む、実施態様21に記載の方法。
(28) 前記位置データが、前記モデルのモデル座標系に位置合わせされていない、実施態様21に記載の方法。
(29) 前記メモリが、前記メモリに記憶された、
前記モデル内の標的への標的経路と、
対側位置合わせ経路であって、前記標的経路の外側で前記管腔網の第1の分岐に沿って前記器具を駆動することと、前記標的経路に前記器具を戻すことと、前記標的経路の一部である第2の分岐に沿って前記器具を駆動することと、を含む、対側位置合わせ経路と、を更に有し、
前記方法は、前記器具が前記第1の子セグメント内に前進するという前記予測に基づいて、前記器具が前記対側位置合わせ経路に沿って配置されているかどうかを判定することを更に含む、実施態様21に記載の方法。
(30) 前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定することと、
前記対側位置合わせ経路に沿って前進される前に、前記器具が前記標的経路に沿って前進させられたと判定したことに応じて、対側位置合わせが失敗したという表示を提供することと、を更に含む、実施態様21に記載の方法。
【0170】
(31) システムであって、
プロセッサと、
前記プロセッサと通信し、かつ患者の管腔網のモデルを記憶している少なくとも1つのコンピュータ可読メモリであって、前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有しており、前記コンピュータ実行可能命令が、前記プロセッサに、
器具のための一組の1つ又は2つ以上の位置センサによって生成された位置データに基づいて、前記モデルに対する前記器具の配向を判定することであって、前記器具の遠位端が、前記モデルの第1のセグメント内に位置し、前記第1のセグメントが、2つ又は3つ以上の子セグメントに分岐している、判定することと、
前記子セグメントのうちの第1の子セグメントの配向を判定することと、
前記器具の前記配向及び前記第1の子セグメントの前記配向に基づいて、前記器具が前記第1の子セグメント内に前進するという予測を判定することと、を行わせる、システム。
(32) 前記予測は、前記器具が前記第1の子セグメント内に前進する確率を示すデータを含む、実施態様31に記載のシステム。
(33) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記器具の前記配向と前記第1の子セグメントの前記配向との間の差を示すデータを判定することを行わせ、
前記器具が前記第1の子セグメント内に前進するという前記予測が、前記器具の前記配向と前記第1の子セグメントの前記配向との間の前記差を示す前記データに更に基づく、実施態様31に記載のシステム。
(34) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記子セグメントのうちの第2の子セグメントの配向を判定することと、
前記器具の前記配向及び前記第2の子セグメントの前記配向に基づいて、前記器具が前記第2の子セグメント内に前進するという予測を判定することと、を行わせる、実施態様31に記載のシステム。
(35) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記器具の前記配向と前記第1の子セグメントの前記配向との間の角度を判定することを行わせ、
前記器具が前記第1の子セグメント内に前進するという前記予測が、前記角度に更に基づく、実施態様31に記載のシステム。
【0171】
(36) 前記位置データが、前記モデルのモデル座標系に位置合わせされている、実施態様31に記載のシステム。
(37) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記位置データ、前記器具の移動を制御するために提供される一組のコマンド、及び前記器具が前記第1の子セグメント内に前進するという前記予測を分析することによって、前記モデルに対する前記器具の前記遠位端のポジションを判定することを行わせる、実施態様31に記載のシステム。
(38) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記位置データに基づいて、前記モデルに対する前記器具の前記遠位端の位置を判定することと、
前記器具の前記遠位端の前記位置に基づいて、前記器具が前記第1の子セグメント内に前進するという補助予測を判定することと、を行わせ、
前記モデルに対する前記器具の前記遠位端の前記ポジションを判定することが、前記補助予測を分析することに更に基づく、実施態様37に記載のシステム。
(39) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記器具の前記遠位端が前記第1のセグメントの始まりから前記第1のセグメントの終わりまで前進するときに、前記器具が前記第1の子セグメント内に前進するという前記予測を判定することを行わせる、実施態様31に記載のシステム。
(40) 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサに、
前記器具が、前記第1のセグメント内の前記器具の前記遠位端のポジションとは独立して、前記第1のセグメントから前記第1の子セグメント内に前進するという前記予測を判定することを行わせる、実施態様31に記載のシステム。
【0172】
(41) 非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体が、前記非一時的コンピュータ可読記憶媒体に記憶された命令を有し、前記命令が、実行されたときに、少なくとも1つのコンピューティングデバイスに、
器具のための一組の1つ又は2つ以上の位置センサによって生成された位置データに基づいて、モデルに対する前記器具の配向を判定することであって、前記モデルが、メモリに記憶されて患者の管腔網をモデル化し、前記器具の遠位端が、前記モデルの第1のセグメント内に位置し、前記第1のセグメントが、2つ又は3つ以上の子セグメントに分岐している、判定することと、
前記子セグメントのうちの第1の子セグメントの配向を判定することと、
前記器具の前記配向及び前記第1の子セグメントの前記配向に基づいて、前記器具が前記第1の子セグメント内に前進するという予測を判定することと、を行わせる、非一時的コンピュータ可読記憶媒体。
(42) 前記予測は、前記器具が前記第1の子セグメント内に前進する確率を示すデータを含む、実施態様41に記載の非一時的コンピュータ可読記憶媒体。
(43) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、
前記器具の前記配向と前記第1の子セグメントの前記配向との間の差を示すデータを判定することを行わせ、
前記器具が前記第1の子セグメント内に前進するという前記予測が、前記器具の前記配向と前記第1の子セグメントの前記配向との間の前記差を示す前記データに更に基づく、実施態様41に記載の非一時的コンピュータ可読記憶媒体。
(44) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、
前記子セグメントのうちの第2の子セグメントの配向を判定することと、
前記器具の前記配向及び前記第2の子セグメントの前記配向に基づいて、前記器具が前記第2の子セグメント内に前進するという予測を判定することと、を行わせる、実施態様41に記載の非一時的コンピュータ可読記憶媒体。
(45) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、
前記器具の前記配向と前記第1の子セグメントの前記配向との間の角度を判定することを行わせ、
前記器具が前記第1の子セグメント内に前進するという前記予測が、前記角度に更に基づく、実施態様41に記載の非一時的コンピュータ可読記憶媒体。
【0173】
(46) 前記位置データが、前記モデルのモデル座標系に位置合わせされている、実施態様41に記載の非一時的コンピュータ可読記憶媒体。
(47) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、
前記位置データ、前記器具の移動を制御するために提供される一組のコマンド、及び前記器具が前記第1の子セグメント内に前進するという前記予測を分析することによって、前記モデルに対する前記器具の前記遠位端のポジションを判定することを行わせる、実施態様41に記載の非一時的コンピュータ可読記憶媒体。
(48) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、
前記位置データに基づいて、前記モデルに対する前記器具の前記遠位端の位置を判定することと、
前記器具の前記遠位端の前記位置に基づいて、前記器具が前記第1の子セグメント内に前進するという補助予測を判定することと、を行わせ、
前記モデルに対する前記器具の前記遠位端の前記ポジションを判定することが、前記補助予測を分析することに更に基づく、実施態様47に記載の非一時的コンピュータ可読記憶媒体。
(49) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、
前記器具の前記遠位端が前記第1のセグメントの始まりから前記第1のセグメントの終わりまで前進するときに、前記器具が前記第1の子セグメント内に前進するという前記予測を判定することを行わせる、実施態様41に記載の非一時的コンピュータ可読記憶媒体。
(50) 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されたときに、少なくとも1つのコンピューティングデバイスに、
前記器具が、前記第1のセグメント内の前記器具の前記遠位端のポジションとは独立して、前記第1のセグメントから前記第1の子セグメント内に前進するという前記予測を判定することを行わせる、実施態様41に記載の非一時的コンピュータ可読記憶媒体。
【0174】
(51) 器具の移動を予測する方法であって、
器具のための一組の1つ又は2つ以上の位置センサによって生成された位置データに基づいて、モデルに対する前記器具の配向を判定することであって、前記モデルが、メモリに記憶され、患者の管腔網をモデル化し、前記器具の遠位端が、前記モデルの第1のセグメント内に位置し、前記第1のセグメントが、2つ又は3つ以上の子セグメントに分岐している、判定することと、
前記子セグメントのうちの第1の子セグメントの配向を判定することと、
前記器具の前記配向及び前記第1の子セグメントの前記配向に基づいて、前記器具が前記第1の子セグメント内に前進するという予測を判定することと、を含む、方法。
(52) 前記予測は、前記器具が前記第1の子セグメント内に前進する確率を示すデータを含む、実施態様51に記載の方法。
(53) 前記器具の前記配向と前記第1の子セグメントの前記配向との間の差を示すデータを判定することを更に含み、
前記器具が前記第1の子セグメント内に前進するという前記予測が、前記器具の前記配向と前記第1の子セグメントの前記配向との間の前記差を示す前記データに更に基づく、実施態様51に記載の方法。
(54) 前記子セグメントのうちの第2の子セグメントの配向を判定することと、
前記器具の前記配向及び前記第2の子セグメントの前記配向に基づいて、前記器具が前記第2の子セグメント内に前進するという予測を判定することと、を更に含む、実施態様51に記載の方法。
(55) 前記器具の前記配向と前記第1の子セグメントの前記配向との間の角度を判定することを更に含み、
前記器具が前記第1の子セグメント内に前進するという前記予測が、前記角度に更に基づく、実施態様51に記載の方法。
【0175】
(56) 前記位置データが、前記モデルのモデル座標系に位置合わせされている、実施態様51に記載の方法。
(57) 前記位置データ、前記器具の移動を制御するために提供される一組のコマンド、及び前記器具が前記第1の子セグメント内に前進するという前記予測を分析することによって、前記モデルに対する前記器具の前記遠位端のポジションを判定することを更に含む、実施態様51に記載の方法。
(58) 前記位置データに基づいて、前記モデルに対する前記器具の前記遠位端の位置を判定することと、
前記器具の前記遠位端の前記位置に基づいて、前記器具が前記第1の子セグメント内に前進するという補助予測を判定することと、を更に含み、
前記モデルに対する前記器具の前記遠位端の前記ポジションを判定することが、前記補助予測を分析することに更に基づく、実施態様57に記載の方法。
(59) 前記器具の前記遠位端が前記第1のセグメントの始まりから前記第1のセグメントの終わりまで前進するときに、前記器具が前記第1の子セグメント内に前進するという前記予測を判定することを更に含む、実施態様51に記載の方法。
(60) 前記器具が、前記第1のセグメント内の前記器具の前記遠位端のポジションとは独立して、前記第1のセグメントから前記第1の子セグメント内に前進するという前記予測を判定することを更に含む、実施態様51に記載の方法。