IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オーリス ヘルス インコーポレイテッドの特許一覧

特許7314136医療器具のナビゲーションおよびターゲット用のシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-14
(45)【発行日】2023-07-25
(54)【発明の名称】医療器具のナビゲーションおよびターゲット用のシステムおよび方法
(51)【国際特許分類】
   A61B 34/20 20160101AFI20230718BHJP
   A61B 34/35 20160101ALI20230718BHJP
【FI】
A61B34/20
A61B34/35
【請求項の数】 51
(21)【出願番号】P 2020531492
(86)(22)【出願日】2018-12-06
(65)【公表番号】
(43)【公表日】2021-02-18
(86)【国際出願番号】 US2018064357
(87)【国際公開番号】W WO2019113391
(87)【国際公開日】2019-06-13
【審査請求日】2021-12-06
(31)【優先権主張番号】62/596,710
(32)【優先日】2017-12-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518083032
【氏名又は名称】オーリス ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ラフィ-タリ,ヘディエ
(72)【発明者】
【氏名】ジーヴァン,プラサンス
(72)【発明者】
【氏名】ボイド,ダグラス,ティー.
(72)【発明者】
【氏名】テラン,メリッサ エー.
(72)【発明者】
【氏名】シーヒー,アレクサンダー ジェイムス
(72)【発明者】
【氏名】ロバート,ニコラス イー.
(72)【発明者】
【氏名】ドラホシュ,ミロスラフ
(72)【発明者】
【氏名】ハワード,ジェフェリー ディー.
(72)【発明者】
【氏名】ゼルディス,アンドリュー エスベンシェイド
(72)【発明者】
【氏名】マンベンベ,レネ アンゴ
【審査官】野口 絢子
(56)【参考文献】
【文献】特表2017-529882(JP,A)
【文献】特表2017-528175(JP,A)
【文献】米国特許出願公開第2017/0084027(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B34/20-34/30
A61B 1/00- 1/32
(57)【特許請求の範囲】
【請求項1】
細長い本体と少なくとも1つのセンサとを有する医療器具と、
ディスプレイと、
プロセッサと、
管腔ネットワークのマッピングされた部分のモデルと前記モデルに対するターゲットの位置とを記憶するメモリであって、前記メモリはさらにコンピュータ実行可能な命令を記憶し、前記コンピュータ実行可能な命令は前記プロセッサに、
前記少なくとも1つのセンサからのデータに基づいて、前記モデルに対する前記医療器具の遠位端の位置および向きを特定することと、
前記ディスプレイの少なくとも一部に、前記モデルと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置および前記向きとの描画を行うことであって、前記描画は、前記ターゲットを向くビューポイントであって前記医療器具のビューポイントとは異なるビューポイントに基づく、ことと、
前記ディスプレイの前記少なくとも一部に、変更されたビューの描画をさせる、ことと
を実行させる、メモリと、を有し、
前記変更されたビューは、前記ターゲットを回転の中心として、前記モデルの回転されたビューと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置及び前記向きとを含むことを特徴とするシステム。
【請求項2】
ユーザ入力要素をさらに有し、
前記メモリは、前記プロセッサに、
前記ユーザ入力要素を介して、前記ユーザ入力要素との第1の種類のユーザインタラクションを受信することと、
前記ユーザ入力要素との前記第1の種類のユーザインタラクションに基づいて、第1の種類の描画命令を生成することと、
前記第1の種類の描画命令を生成することに応じて、前記ディスプレイの前記一部に、前記モデルの前記変更されたビューと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置および前記向きとの描画を行うことと、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項1に記載のシステム。
【請求項3】
前記第1の種類の描画命令は、前記ターゲットを向く前記ビューポイントを回転させる回転命令を含み、
前記変更されたビューは、前記ターゲットを回転の中心として、前記モデルの前記回転されたビューと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置および前記向きとを含
前記メモリは、前記プロセッサに、
前記ユーザ入力要素を介して、前記ユーザ入力要素との第2の種類のユーザインタラクションを受信することと、
前記ユーザ入力要素との前記第2の種類のユーザインタラクションに基づいて、第2の種類の描画命令を生成することであって、前記第2の種類の描画命令は、前記ターゲットを中心とする基準面と前記ターゲットを向く前記ビューポイントとの間の角度を変更する昇降命令を含む、ことと、
前記第2の種類の描画命令を生成することに応じて、前記ディスプレイの前記一部に、前記基準面と前記ターゲットを向く前記ビューポイントとの間の前記角度が変更された状態の前記モデルの描画を行うことと、
を実行させるコンピュータ実行可能な命令をさらに記憶し、
前記ユーザ入力要素は、ボタンを含み、
前記第1の種類のユーザインタラクションは、閾値時間間隔よりも長い間、前記ボタンを作動させることを含み、
前記第2の種類のユーザインタラクションは、前記閾値時間間隔よりも短い間、前記ボタンを作動させることを含む
ことを特徴とする請求項2に記載のシステム。
【請求項4】
前記メモリは、前記プロセッサに、
前記ユーザ入力要素を介して、前記ユーザ入力要素との第2の種類のユーザインタラクションを受信することと、
前記ユーザ入力要素との前記第2の種類のユーザインタラクションに基づいて、第2の種類の描画命令を生成することであって、前記第2の種類の描画命令は、前記ターゲットを中心とする基準面と前記ターゲットを向く前記ビューポイントとの間の角度を変更する昇降命令を含む、ことと、
前記第2の種類の描画命令を生成することに応じて、前記ディスプレイの前記一部に、前記基準面と前記ターゲットを向く前記ビューポイントとの間の前記角度が変更された状態の前記モデルの描画を行うことと、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項2に記載のシステム。
【請求項5】
前記ユーザ入力要素は、ボタンを含み、
前記第1の種類のユーザインタラクションは、閾値時間間隔よりも長い間、前記ボタンを作動させることを含み、
前記第2の種類のユーザインタラクションは、前記閾値時間間隔よりも短い間、前記ボタンを作動させることを含む
ことを特徴とする請求項4に記載のシステム。
【請求項6】
前記第1の種類の描画命令は、前記描画の前記ビューポイントを、前記医療器具の前記ビューポイントとは異なるビューポイントから、前記医療器具の前記ビューポイントに切り替える、視野切り替え命令を含み、
前記変更されたビューは、前記医療器具の前記ビューポイントからの前記モデルの描画を含む、
ことを特徴とする請求項2に記載のシステム。
【請求項7】
前記メモリは、前記プロセッサに、
前記医療器具の前記遠位端の前記位置および前記向きに基づいて、前記医療器具の前記遠位端から前記医療器具の挿入方向に延伸するグラフィカルインジケータの描画を行うことと、
前記少なくとも1つのセンサからの前記データに基づいて、前記医療器具の前記遠位端の前記位置および前記向きの少なくとも1つの変更を特定することと、
前記医療器具の前記遠位端の前記位置および前記向きの前記少なくとも1つの変更を特定することに応じて、前記グラフィカルインジケータが前記ターゲットと交わることを特定することと、
前記グラフィカルインジケータが前記ターゲットと交わることを特定することに応じて、前記グラフィカルインジケータに対する変更の描画を行うことと、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項1に記載のシステム。
【請求項8】
前記メモリは、前記プロセッサに、
前記少なくとも1つのセンサからの前記データに基づいて、前記医療器具の前記遠位端が前記ターゲットから閾値距離内にあることを特定することと、
前記医療器具の前記遠位端が前記ターゲットから前記閾値距離内にあることを特定することに応じて、グラフィカルインジケータの描画を行うことと、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項1に記載のシステム。
【請求項9】
前記グラフィカルインジケータは、線または円柱または円錐から選択されることを特徴とする請求項8に記載のシステム。
【請求項10】
前記グラフィカルインジケータは円錐であり、前記円錐の開口径は、前記医療器具の前記遠位端の前記向きの予測された誤差範囲に基づくことを特徴とする請求項8に記載のシステム。
【請求項11】
前記メモリは、前記プロセッサに、
前記医療器具の前記遠位端の前記位置および前記向きの少なくとも1つの変更を特定することに応じて、前記グラフィカルインジケータが前記ターゲットの中心と交わることを特定することと、
前記グラフィカルインジケータが前記ターゲットの中心と交わることを特定することに応じて、前記グラフィカルインジケータの色の変更を描画することと、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項8に記載のシステム。
【請求項12】
前記ターゲットは、主本体部と前記主本体部に結合する2次本体部とを有し、前記主本体部は前記2次本体部よりも大きい体積を有し、前記ターゲットの前記中心は前記主本体部の中心に対して定義されることを特徴とする請求項11に記載のシステム。
【請求項13】
前記モデルは、複数のセグメントを有するスケルトンを有し、前記セグメントのそれぞれは、前記管腔ネットワークの前記マッピングされた部分の対応する管腔の中心線に対して定義され、
前記メモリは、前記プロセッサに、
前記医療器具の前記遠位端が配置されるセグメントを識別することと
別された前記セグメントに沿った、前記医療器具の前記遠位端の深さを特定することと
別された前記セグメントおよび前記深さに基づいて、前記医療器具の前記遠位端の前記位置を特定することと、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項1に記載のシステム。
【請求項14】
前記メモリは、前記プロセッサに、
前記医療器具の前記遠位端の特定された前記位置および前記ターゲットの前記位置に基づいて、前記医療器具の前記遠位端と前記ターゲットとの間の距離を特定すること、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項13に記載のシステム。
【請求項15】
前記メモリは、前記プロセッサに、
前記ディスプレイの少なくとも別の部分に、前記医療器具の前記遠位端の特定された前記位置に基づいて、前記医療器具の前記遠位端の前記位置の描画を行うこと、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項13に記載のシステム。
【請求項16】
前記メモリは、前記プロセッサに、
前記医療器具の前記遠位端の前記位置が前記モデルによって定義される体積内にあることを特定することと、
前記医療器具の前記遠位端の特定された前記位置が前記スケルトンに沿って配置されるように制限することと、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項13に記載のシステム。
【請求項17】
前記少なくとも1つのセンサは、電磁センサまたは形状感知ファイバを含み、
前記メモリは、前記プロセッサに、
前記形状感知ファイバの前記電磁センサの1つから受信したデータにのみ基づいて、位置データを生成すること、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項13に記載のシステム。
【請求項18】
命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、少なくとも1つの計算装置に、
医療器具の少なくとも1つのセンサからのデータに基づいて、管腔ネットワークのマッピングされた部分のモデルに対する前記医療器具の遠位端の位置および向きを特定することと、
ディスプレイの少なくとも一部に、前記モデルと、前記モデルに対するターゲットの位置と、前記医療器具の前記遠位端の前記位置および前記向きとの描画を行うことであって、前記描画は、前記ターゲットを向くビューポイントであって前記医療器具のビューポイントとは異なるビューポイントに基づく、ことと、
前記ディスプレイの前記少なくとも一部に、変更されたビューの描画をさせる、ことと
を実行させ
前記変更されたビューは、前記ターゲットを回転の中心として、前記モデルの回転されたビューと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置及び前記向きとを含むことを特徴とする非一時的なコンピュータ可読記憶媒体。
【請求項19】
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に
ーザ入力要素を介して、前記ユーザ入力要素との第1の種類のユーザインタラクションを受信することと、
前記ユーザ入力要素との前記第1の種類のユーザインタラクションに基づいて、第1の種類の描画命令を生成することと、
前記第1の種類の描画命令を生成することに応じて、前記ディスプレイの前記一部に、前記モデルの変更されたビューと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置および前記向きとの描画を行うことと、
を実行させる命令をさらに記憶する
ことを特徴とする請求項18に記載の非一時的なコンピュータ可読記憶媒体。
【請求項20】
前記第1の種類の描画命令は、前記ターゲットを向く前記ビューポイントを回転させる回転命令を含み、
前記変更されたビューは、前記ターゲットを回転の中心として、前記モデルの回転されたビューと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置および前記向きとを含
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に、
前記ユーザ入力要素を介して、前記ユーザ入力要素との第2の種類のユーザインタラクションを受信することと、
前記ユーザ入力要素との前記第2の種類のユーザインタラクションに基づいて、第2の種類の描画命令を生成することであって、前記第2の種類の描画命令は、前記ターゲットを中心とする基準面と前記ターゲットを向く前記ビューポイントとの間の角度を変更する昇降命令を含む、ことと、
前記第2の種類の描画命令を生成することに応じて、前記ディスプレイの前記一部に、前記基準面と前記ターゲットを向く前記ビューポイントとの間の前記角度が変更された状態の前記モデルの描画を行うことと、
を実行させる命令をさらに記憶し、
前記ユーザ入力要素は、ボタンを含み、
前記第1の種類のユーザインタラクションは、閾値時間間隔よりも長い間、前記ボタンを作動させることを含み、
前記第2の種類のユーザインタラクションは、前記閾値時間間隔よりも短い間、前記ボタンを作動させることを含む、
ことを特徴とする請求項19に記載の非一時的なコンピュータ可読記憶媒体。
【請求項21】
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に、
前記ユーザ入力要素を介して、前記ユーザ入力要素との第2の種類のユーザインタラクションを受信することと、
前記ユーザ入力要素との前記第2の種類のユーザインタラクションに基づいて、第2の種類の描画命令を生成することであって、前記第2の種類の描画命令は、前記ターゲットを中心とする基準面と前記ターゲットを向く前記ビューポイントとの間の角度を変更する昇降命令を含む、ことと、
前記第2の種類の描画命令を生成することに応じて、前記ディスプレイの前記一部に、前記基準面と前記ターゲットを向く前記ビューポイントとの間の前記角度が変更された状態の前記モデルの描画を行うことと、
を実行させる命令をさらに記憶する
ことを特徴とする請求項19に記載の非一時的なコンピュータ可読記憶媒体。
【請求項22】
前記ユーザ入力要素は、ボタンを含み、
前記第1の種類のユーザインタラクションは、閾値時間間隔よりも長い間、前記ボタンを作動させることを含み、
前記第2の種類のユーザインタラクションは、前記閾値時間間隔よりも短い間、前記ボタンを作動させることを含む
ことを特徴とする請求項21に記載の非一時的なコンピュータ可読記憶媒体。
【請求項23】
前記第1の種類の描画命令は、前記描画の前記ビューポイントを、前記医療器具の前記ビューポイントとは異なるビューポイントから、前記医療器具の前記ビューポイントに切り替える、視野切り替え命令を含み、
前記変更されたビューは、前記医療器具の前記ビューポイントからの前記モデルの描画を含む、
ことを特徴とする請求項19に記載の非一時的なコンピュータ可読記憶媒体。
【請求項24】
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に、
前記医療器具の前記遠位端の前記位置および前記向きに基づいて、前記医療器具の前記遠位端から前記医療器具の挿入方向に延伸するグラフィカルインジケータの描画を行うことと、
前記少なくとも1つのセンサからの前記データに基づいて、前記医療器具の前記遠位端の前記位置および前記向きの少なくとも1つの変更を特定することと、
前記医療器具の前記遠位端の前記位置および前記向きの前記少なくとも1つの変更を特定することに応じて、前記グラフィカルインジケータが前記ターゲットと交わることを特定することと、
前記グラフィカルインジケータが前記ターゲットと交わることを特定することに応じて、前記グラフィカルインジケータに対する変更の描画を行うことと、
を実行させる命令をさらに記憶する
ことを特徴とする請求項18に記載の非一時的なコンピュータ可読記憶媒体。
【請求項25】
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に、
前記少なくとも1つのセンサからの前記データに基づいて、前記医療器具の前記遠位端が前記ターゲットから閾値距離内にあることを特定することと、
前記医療器具の前記遠位端が前記ターゲットから閾値距離内にあることを特定することに応じて、グラフィカルインジケータの描画を行うことと、
を実行させる命令をさらに記憶する
ことを特徴とする請求項18に記載の非一時的なコンピュータ可読記憶媒体。
【請求項26】
前記グラフィカルインジケータは、線または円柱または円錐から選択されることを特徴とする請求項25に記載の非一時的なコンピュータ可読記憶媒体。
【請求項27】
前記グラフィカルインジケータは円錐であり、前記円錐の開口径は、前記医療器具の前記遠位端の前記向きの予測された誤差範囲に基づくことを特徴とする請求項25に記載の非一時的なコンピュータ可読記憶媒体。
【請求項28】
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に、
前記医療器具の前記遠位端の前記位置および前記向きの少なくとも1つの変更を特定することに応じて、前記グラフィカルインジケータが前記ターゲットの中心と交わることを特定することと、
前記グラフィカルインジケータが前記ターゲットの中心と交わることを特定することに応じて、前記グラフィカルインジケータの色の変更を描画することと、
を実行させる命令をさらに記憶する
ことを特徴とする請求項25に記載の非一時的なコンピュータ可読記憶媒体。
【請求項29】
前記ターゲットは、主本体部と前記主本体部に結合する2次本体部とを有し、前記主本体部は前記2次本体部よりも大きい体積を有し、前記ターゲットの中心は前記主本体部の中心に対して定義されることを特徴とする請求項28に記載の非一時的なコンピュータ可読記憶媒体。
【請求項30】
前記モデルは、複数のセグメントを有するスケルトンを有し、前記セグメントのそれぞれは、前記管腔ネットワークの前記マッピングされた部分の対応する管腔の中心線に対して定義され、
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に、
前記医療器具の前記遠位端が配置されるセグメントを識別することと
別された前記セグメントに沿った、前記医療器具の前記遠位端の深さを特定することと
別された前記セグメントおよび前記深さに基づいて、前記医療器具の前記遠位端の前記位置を特定することと、
を実行させる命令をさらに記憶する
ことを特徴とする請求項28に記載の非一時的なコンピュータ可読記憶媒体。
【請求項31】
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に、
前記医療器具の前記遠位端の特定された前記位置および前記ターゲットの前記位置に基づいて、前記医療器具の前記遠位端と前記ターゲットとの間の距離を特定すること、
を実行させる命令をさらに記憶する
ことを特徴とする請求項30に記載の非一時的なコンピュータ可読記憶媒体。
【請求項32】
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に、
前記ディスプレイの少なくとも別の部分に、前記医療器具の前記遠位端の特定された前記位置に基づいて、前記医療器具の前記遠位端の前記位置の描画を行うこと、
を実行させる命令をさらに記憶する
ことを特徴とする請求項30に記載の非一時的なコンピュータ可読記憶媒体。
【請求項33】
前記非一時的なコンピュータ可読記憶媒体は、実行されると少なくとも1つの計算装置に、
前記医療器具の前記遠位端の前記位置が前記モデルによって定義される体積内にあることを特定することと、
前記医療器具の前記遠位端の特定された前記位置が前記スケルトンに沿って配置されるように制限することと、
を実行させる命令をさらに記憶する
ことを特徴とする請求項30に記載の非一時的なコンピュータ可読記憶媒体。
【請求項34】
前記少なくとも1つのセンサは、電磁センサまたは形状感知ファイバを含み、
前記非一時的なコンピュータ可読記憶媒体は、前記少なくとも1つの計算装置に、
前記形状感知ファイバの前記電磁センサの1つから受信したデータにのみ基づいて、位置データを生成すること、
を実行させるコンピュータ実行可能な命令をさらに記憶する
ことを特徴とする請求項30に記載の非一時的なコンピュータ可読記憶媒体。
【請求項35】
医療器具をナビゲーションする方法であって、
前記医療器具の少なくとも1つのセンサからのデータに基づいて、管腔ネットワークのマッピングされた部分のモデルに対する前記医療器具の遠位端の位置および向きを特定することと、
ディスプレイの少なくとも一部に、前記モデルと、前記モデルに対するターゲットの位置と、前記医療器具の前記遠位端の前記位置および前記向きとの描画を行うことであって、前記描画は、前記ターゲットを向くビューポイントであって前記医療器具のビューポイントとは異なるビューポイントに基づく、ことと、
前記ディスプレイの前記少なくとも一部に、変更されたビューの描画をさせる、ことと
を含
前記変更されたビューは、前記ターゲットを回転の中心として、前記モデルの回転されたビューと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置及び前記向きとを含むことを特徴とする方法。
【請求項36】
ーザ入力要素を介して、前記ユーザ入力要素との第1の種類のユーザインタラクションを受信することと、
前記ユーザ入力要素との前記第1の種類のユーザインタラクションに基づいて、第1の種類の描画命令を生成することと、
前記第1の種類の描画命令を生成することに応じて、前記ディスプレイの前記一部に、前記モデルの変更されたビューと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置および前記向きとの描画を行うことと、
をさらに含むことを特徴とする請求項35に記載の方法。
【請求項37】
前記第1の種類の描画命令は、前記ターゲットを向く前記ビューポイントを回転させる回転命令を含み、
前記変更されたビューは、前記ターゲットを回転の中心として、前記モデルの回転されたビューと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置および前記向きとを含
前記方法はさらに、前記ユーザ入力要素を介して、前記ユーザ入力要素との第2の種類のユーザインタラクションを受信することと、
前記ユーザ入力要素との前記第2の種類のユーザインタラクションに基づいて、第2の種類の描画命令を生成することであって、前記第2の種類の描画命令は、前記ターゲットを中心とする基準面と前記ターゲットを向く前記ビューポイントとの間の角度を変更する昇降命令を含む、ことと、
前記第2の種類の描画命令を生成することに応じて、前記ディスプレイの前記一部に、前記基準面と前記ターゲットを向く前記ビューポイントとの間の前記角度が変更された状態の前記モデルの描画を行うことと、
をさらに含み、
前記ユーザ入力要素は、ボタンを含み、
前記第1の種類のユーザインタラクションは、閾値時間間隔よりも長い間、前記ボタンを作動させることを含み、
前記第2の種類のユーザインタラクションは、前記閾値時間間隔よりも短い間、前記ボタンを作動させることを含む、
ことを特徴とする請求項36に記載の方法
【請求項38】
前記ユーザ入力要素を介して、前記ユーザ入力要素との第2の種類のユーザインタラクションを受信することと、
前記ユーザ入力要素との前記第2の種類のユーザインタラクションに基づいて、第2の種類の描画命令を生成することであって、前記第2の種類の描画命令は、前記ターゲットを中心とする基準面と前記ターゲットを向く前記ビューポイントとの間の角度を変更する昇降命令を含む、ことと、
前記第2の種類の描画命令を生成することに応じて、前記ディスプレイの前記一部に、前記基準面と前記ターゲットを向く前記ビューポイントとの間の前記角度が変更された状態の前記モデルの描画を行うことと、
をさらに含むことを特徴とする請求項36に記載の方法。
【請求項39】
前記ユーザ入力要素は、ボタンを含み、
前記第1の種類のユーザインタラクションは、閾値時間間隔よりも長い間、前記ボタンを作動させることを含み、
前記第2の種類のユーザインタラクションは、前記閾値時間間隔よりも短い間、前記ボタンを作動させることを含む
ことを特徴とする請求項38に記載の方法。
【請求項40】
前記第1の種類の描画命令は、前記描画の前記ビューポイントを、前記医療器具の前記ビューポイントとは異なるビューポイントから、前記医療器具の前記ビューポイントに切り替える、視野切り替え命令を含み、
前記変更されたビューは、前記医療器具の前記ビューポイントからの前記モデルの描画を含む、
ことを特徴とする請求項36に記載の方法。
【請求項41】
前記医療器具の前記遠位端の前記位置および前記向きに基づいて、前記医療器具の前記遠位端から前記医療器具の挿入方向に延伸するグラフィカルインジケータの描画を行うことと、
前記少なくとも1つのセンサからの前記データに基づいて、前記医療器具の前記遠位端の前記位置および前記向きの少なくとも1つの変更を特定することと、
前記医療器具の前記遠位端の前記位置および前記向きの前記少なくとも1つの変更を特定することに応じて、前記グラフィカルインジケータが前記ターゲットと交わることを特定することと、
前記グラフィカルインジケータが前記ターゲットと交わることを特定することに応じて、前記グラフィカルインジケータに対する変更の描画を行うことと、
をさらに含むことを特徴とする請求項35に記載の方法。
【請求項42】
前記少なくとも1つのセンサからの前記データに基づいて、前記医療器具の前記遠位端が前記ターゲットから閾値距離内にあることを特定することと、
前記医療器具の前記遠位端が前記ターゲットから前記閾値距離内にあることを特定することに応じて、グラフィカルインジケータの描画を行うことと、
をさらに含むことを特徴とする請求項35に記載の方法。
【請求項43】
前記グラフィカルインジケータは、線または円柱または円錐から選択されることを特徴とする請求項42に記載の方法。
【請求項44】
前記グラフィカルインジケータは円錐であり、前記円錐の開口径は、前記医療器具の前記遠位端の前記向きの予測された誤差範囲に基づくことを特徴とする請求項42に記載の方法。
【請求項45】
前記医療器具の前記遠位端の前記位置および前記向きの少なくとも1つの変更を特定することに応じて、前記グラフィカルインジケータが前記ターゲットの中心と交わることを特定することと、
前記グラフィカルインジケータが前記ターゲットの中心と交わることを特定することに応じて、前記グラフィカルインジケータの色の変更を描画することと、
をさらに含むことを特徴とする請求項42に記載の方法。
【請求項46】
前記ターゲットは、主本体部と前記主本体部に結合する2次本体部とを有し、前記主本体部は前記2次本体部よりも大きい体積を有し、前記ターゲットの前記中心は前記主本体部の中心に対して定義されることを特徴とする請求項45に記載の方法。
【請求項47】
前記モデルは、複数のセグメントを有するスケルトンを有し、前記セグメントのそれぞれは、前記管腔ネットワークの前記マッピングされた部分の対応する管腔の中心線に対して定義され、
前記方法は、
前記医療器具の前記遠位端が配置されるセグメントを識別することと
別された前記セグメントに沿った、前記医療器具の前記遠位端の深さを特定することと
別された前記セグメントおよび前記深さに基づいて、前記医療器具の前記遠位端の前記位置を特定することと、
をさらに含むことを特徴とする請求項35に記載の方法。
【請求項48】
前記医療器具の前記遠位端の特定された前記位置および前記ターゲットの前記位置に基づいて、前記医療器具の前記遠位端と前記ターゲットとの間の距離を特定すること、
をさらに含むことを特徴とする請求項47に記載の方法。
【請求項49】
前記ディスプレイの少なくとも別の部分に、前記医療器具の前記遠位端の特定された前記位置に基づいて、前記医療器具の前記遠位端の前記位置の描画を行うこと、
をさらに含むことを特徴とする請求項47に記載の方法。
【請求項50】
前記医療器具の前記遠位端の前記位置が前記モデルによって定義される体積内にあることを特定することと、
前記医療器具の前記遠位端の特定された前記位置が前記スケルトンに沿って配置されるように制限することと、
をさらに含むことを特徴とする請求項47に記載の方法。
【請求項51】
前記少なくとも1つのセンサは、電磁センサまたは形状感知ファイバを含み、
前記方法
記形状感知ファイバの前記電磁センサの1つから受信したデータにのみ基づいて、位置データを生成することを含む
ことを特徴とする請求項47に記載の方法。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、2017年12月8日出願の米国仮出願第62/596,710号の利益を主張し、それら全体を参照により本願に援用する。
【技術分野】
【0002】
本件開示のシステムおよび方法は、医療器具のナビゲーションおよびターゲットに関し、より具体的には、医療器具のナビゲーションにおける管腔ネットワーク内の領域のターゲットを支援する技術に関する。
【背景技術】
【0003】
内視鏡検査(例えば、気管支鏡検査)などの医療手技には、診断目的または治療目的で患者の管腔(例えば、気道)内にアクセスおよび視覚化することが含まれる。医療手技において、医療道具の挿入および/または操作を制御するために、手術ロボットシステムが用いられる場合がある。手術ロボットシステムは、医療手技前や医療手技時に医療道具の位置決めを制御するために使用されるマニピュレータアセンブリを有する少なくとも1つのロボットアームを備えることができる。特定の手技(生検手技など)では、医療道具の遠位端を管腔ネットワーク内の目標物(目標の結節など)の近くに位置決めすることが含まれる場合がある。そして、手技時に医療道具の操縦を支援する上で、目標物に対して医療道具の位置情報および/または向き情報を提供するフィードバック機構を備えることが望ましいことがある。
【発明の概要】
【0004】
本件開示のシステム、方法および装置には、それぞれいくつかの革新的な側面があり、いずれも本明細書に開示する所望の特徴を単独で担うものではない。
【0005】
一側面では、細長い本体と少なくとも1つのセンサとを有する医療器具と、ディスプレイと、プロセッサと、管腔ネットワークのマッピングされた部分のモデルと前記モデルに対するターゲットの位置とを記憶するメモリであって、前記メモリはさらにコンピュータ実行可能な命令を記憶し、前記命令は前記プロセッサに、前記少なくとも1つのセンサからのデータに基づいて、前記モデルに対する前記医療器具の遠位端の位置および向きを特定することと、前記ディスプレイの少なくとも一部に、前記モデルと、前記ターゲットの前記位置と、前記医療器具の前記遠位端の前記位置および向きとの描画を行うことであって、前記描画は、前記ターゲットを向くビューポイントであって前記医療器具のビューポイントとは異なるビューポイントに基づく、ことと、
を実行させる、メモリと、を有することを特徴とするシステムを提供する。
【0006】
別の側面では、命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、少なくとも1つの計算装置に、医療器具の少なくとも1つのセンサからのデータに基づいて、管腔ネットワークのマッピングされた部分のモデルに対する前記医療器具の遠位端の位置および向きを特定することと、ディスプレイの少なくとも一部に、前記モデルと、前記モデルに対するターゲットの位置と、前記医療器具の前記遠位端の前記位置および向きとの描画を行うことであって、前記描画は、前記ターゲットを向くビューポイントであって前記医療器具のビューポイントとは異なるビューポイントに基づく、ことと、を実行させることを特徴とする非一時的なコンピュータ可読記憶媒体を提供する。
【0007】
さらに別の側面では、医療器具をナビゲーションする方法であって、前記医療器具の少
なくとも1つのセンサからのデータに基づいて、管腔ネットワークのマッピングされた部分のモデルに対する前記医療器具の遠位端の位置および向きを特定することと、ディスプレイの少なくとも一部に、前記モデルと、前記モデルに対するターゲットの位置と、前記医療器具の前記遠位端の前記位置および向きとの描画を行うことであって、前記描画は、前記ターゲットを向くビューポイントであって前記医療器具のビューポイントとは異なるビューポイントに基づく、ことと、を含むことを特徴とする方法を提供する。
【図面の簡単な説明】
【0008】
本件開示の側面について、添付の図面および表と共に以下に説明するが、例示であって開示の側面を限定するものではなく、同様の構成要素には同様の名称を付す。
【0009】
図1】気管支鏡検査手技の診断および/または治療用に構成されたカートベースのロボットシステムの一実施形態を示す図である。
図2図1のロボットシステムの別の側面を示す図である。
図3】尿管鏡検査用に構成された図1のロボットシステムの一実施形態を示す図である。
図4】血管手技用に構成された図1のロボットシステムの一実施形態を示す図である。
図5】気管支鏡検査手技用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。
図6図5のロボットシステムの代替の図である。
図7】ロボットアームを収容するように構成されたシステムの一例を示す図である。
図8】尿管鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。
図9】腹腔鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。
図10】ピッチ調整または傾き調整された図5~9のテーブルベースのロボットシステムの一実施形態を示す図である。
図11図5~10のテーブルベースのロボットシステムのテーブルとカラムとの間のインタフェースの詳細図である。
図12】例示的な器具駆動部を示す図である。
図13】組になった器具駆動部を有する例示的な医療器具を示す図である。
図14】駆動ユニットの軸が器具の細長いシャフトの軸と平行である、器具駆動部および器具の代替の設計を示す図である。
図15】実施形態の一例における、図13や14の器具の位置など、図1~10のロボットシステム1つまたは複数の要素の位置を推定する位置決めシステムを示すブロック図である。
図16】ロボット制御医療器具によるナビゲーションが可能な管腔ネットワークの一例を示す図である。
図17図16の管腔ネットワークの術前モデルの一例を示す図である。
図18図16の管腔ネットワークに重畳される図17の術前モデルの図であり、術前モデルが管腔ネットワークのマッピングされた部分に対応することを示す図である。
図19】管腔ネットワーク内をナビゲートされる医療器具の一例を示す図である。
図20】医療器具の一例の遠位端の詳細図を示す図である。
図21】医療器具の位置を特定するための電磁システムの一例の特定の構成要素を示す図である。
図22】一実施形態における、医療ロボットシステムの一例のディスプレイを有するコマンドコンソールの一例を示す図である。
図23】管腔ネットワークの一部分のスケルトンベースモデルの一例を示す図である。
図24A】本件開示の側面による医療器具のナビゲーションの1つまたは複数のビューの描画方法の一例を示すフローチャートである。
図24B】本件開示の側面によるスケルトンベースモデルを用いた管腔ネットワーク内の医療器具の位置を特定する方法の別の例を示すフローチャートである。
図25】本件開示の側面によるロボットシステムのユーザに対するナビゲーションのフィードバックを提供するために表示される描画画像の一例を示す図である。
図26】本件開示の側面によるユーザから入力を受信するために使用される入力装置の一例を示す図である。
図27】本件開示の側面による管腔ネットワークのモデル内の医療器具の描画されたビューの一例を示す図である。
図28A】本件開示の側面による回転命令に基づいて生成される、一連の修正された描画ビューを示す図である。
図28B】本件開示の側面による回転命令に基づいて生成される、一連の修正された描画ビューを示す図である。
図28C】本件開示の側面による回転命令に基づいて生成される、一連の修正された描画ビューを示す図である。
図28D】本件開示の側面による回転命令に基づいて生成される、一連の修正された描画ビューを示す図である。
図29A】本件開示の側面による昇降命令に基づいて生成される、一連の修正された描画ビューを示す図である。
図29B】本件開示の側面による昇降命令に基づいて生成される、一連の修正された描画ビューを示す図である。
図30】本件開示の側面による視野切り替え命令に基づいて生成される修正された描画ビューを示す図である。
図31】本件開示の側面による医療手技時にディスプレイに描画可能なビューのさらに別の例を示す図である。
図32】本件開示の側面による医療手技時のディスプレイに描画可能なビューの別の例を示す図である。
【発明を実施するための形態】
【0010】
(1.はじめに)
本件開示の側面は、腹腔鏡検査などの低侵襲の手技や内視鏡検査などの非侵襲の手技を含む種々の医療手技を実行可能なロボット対応医療システムに組み込むことができる。内視鏡検査の手技においては、本システムは、気管支鏡検査、尿管鏡検査、消化器病検査などを実行することができる。
【0011】
本システムは、さまざまな手技を実行できることに加えて、術者を支援する強化された画像取得や誘導など、追加の利点を提供することができる。また、本システムは、扱いにくいアームの動きや位置などに対応する必要なく、人工工学による位置から手技を行うことが可能な機能を術者に提供することができる。さらに、本システムは、システムの1つまたは複数の器具を1人のユーザで制御可能な使いやすさが向上した手技を行うことが可能な機能を術者に提供することができる。
【0012】
以下に、例示目的の図面とともに種々の実施形態について説明する。開示の技術的思想のその他多数の実装が可能であり、さまざまな利点が開示の実装と共に得られる。また、ここには、参照用および多数の節の位置がわかるように見出しが含まれている。これらの見出しは、見出しが示す技術思想の範囲を制限するものではない。それぞれの技術思想は本明細書全体にわたって適用されてよい。
【0013】
(A.ロボットシステム-カート)
ロボット対応医療システムは、特定手技に応じてさまざまに構成することができる。図1は、気管支鏡検査の診断手技および/または治療樹技用に配置されたカートベースのロボット対応システム10の一実施形態を示す。気管支検査時に、システム10は、気管支鏡検査用の手技に特化した気管支鏡を自然開口のアクセスポイント(この例ではテーブルに配置された患者の口など)に操作可能な内視鏡13などの医療器具を搬送して診断用の道具および/または治療用の道具を搬送するための、1つまたは複数のロボットアーム12を有するカート11を備える。図に示すように、カート11は、当該アクセスポイントにアクセスするために、患者の上半身に近い位置に配置されている。同様に、ロボットアーム12は、当該アクセスポイントに対して気管支鏡を配置するように作動可能である。図1に示す配置は、胃腸に関する(GI;gastro-intestinal)手技用の特別な内視鏡で
ある胃鏡を用いた胃腸に関する手技を行うときにも使用できる。図2は、カートの一例である実施形態をより詳細に示す。
【0014】
引き続き図1を参照すると、カート11が適切に位置決めされると、ロボットアーム12は操縦可能な内視鏡13を患者に、ロボットにより、手動により、またはそれらの組み合わせにより挿入することができる。図示のように、操縦可能な内視鏡13は内側リーダ部分および外部シース部分などの少なくとも2つの入れ子式部分を備えることができ、各部分は器具ドライバ28のセットから別個の器具ドライバに結合され、各器具ドライバは個々のロボットアームの遠位端に結合される。リーダ部分をシース部分と同軸に位置合わせすることを容易にする、器具ドライバ28のこの線形配置は、1つ以上のロボットアーム12を異なる角度および/または位置に操作することによって、空間内で再配置され得る「仮想レール」29を作成する。本明細書で説明する仮想レールは破線を使用して図示され、したがって、破線はシステムのいかなる物理的構造も示さない。仮想レール29に沿った器具ドライバ28の移動は外部シース部分に対して内側リーダ部分を入れ子式にし、または内視鏡13を患者から前進または後退させる。仮想レール29の角度は、臨床用途または医師の好みに基づいて、調整、移動、および旋回されてもよい。例えば、気管支鏡検査では、図示のような仮想レール29の角度および位置が内視鏡13を患者の口内に曲げることに起因する摩擦を最小限に抑えながら、内視鏡13への医師のアクセスを提供することの折衷案を表す。
【0015】
内視鏡13は、挿入後、ロボットシステムからの正確なコマンドを使用して、目標位置または手術部位に到達するまで、患者の気管および肺に向けられ得る。患者の肺ネットワークを通るナビゲーションを強化し、かつ/または所望のターゲットに到達するために、内視鏡13を操作して、外部シース部分から内側リーダ部分を入れ子式に延ばして、関節動作を強化し、曲げ半径を大きくすることができる。別個の器具ドライバ28の使用はまた、リーダ部分およびシース部分が、互いに独立して駆動されることを可能にする。
【0016】
例えば、内視鏡13は例えば、患者の肺内の病変または結節などのターゲットに生検針を送達するように指示されてもよい。針は病理学者によって解析されるべき組織サンプルを得るために、内視鏡の長さにわたるワーキングチャネルに沿って展開され得る。病理学的結果に応じて、追加のツールが追加の生検のために、内視鏡のワーキングチャネルの下方に配置されてもよい。悪性である結節を同定した後、内視鏡13は、潜在的に癌性の組織を切除するためのツールを内視鏡的に送達し得る。いくつかの例において、診断および治療手技は、別々の手続で送達される必要があり得る。これらの状況では、内視鏡13はまた、基準を送達して、対象結節の位置を「マーキング」するために使用され得る。他の例において、診断および治療手技は、同じ手順の間に送達され得る。
【0017】
システム10はまた、可動タワー30を含むことができ、このタワー30は、支持ケーブルを介してカート11に接続されて、カート11に対する制御、電子機器、流体工学、
光学系、センサ、および/または電力のためのサポートを提供することができる。このような機能をタワー30内に配置することにより、より小さなフォームファクタのカート11が可能になり、これは、手術医師およびそのスタッフによって、より容易に調整および/または再配置され得る。さらに、カート/テーブルと支持タワー30との間の機能の分割は手術室の混乱を低減し、臨床作業の流れを改善することを容易にする。カート11を患者の近くに配置することができるが、タワー30は手技中に邪魔にならないように離れた場所に収容することができる。
【0018】
上述のロボットシステムのサポートにおいて、タワー30はコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶するコンピュータベースの制御システムの構成要素を含むことができる。これらの命令の実行は、実行がタワー30またはカート11内で行われるかどうかにかかわらず、システム全体またはそのサブシステムを制御することができる。例えば、コンピュータシステムのプロセッサによって実行される場合、命令はロボットシステムの構成要素に、関連するキャリッジおよびアームマウントを作動させ、ロボットアームを作動させ、医療器具を制御させることができる。例えば、制御信号の受信に応じて、ロボットアームのジョイント内のモータは、アームを特定の姿勢に位置決めすることができる。
【0019】
タワー30はまた、内視鏡13を通して展開され得るシステムに制御された潅注および吸引能力を提供するために、ポンプ、流量計、弁制御、および/または流体アクセスを含む。これらの構成要素は、タワー30のコンピュータシステムを使用して制御することもできる。いくつかの実施形態では、洗浄および吸引能力が別個のケーブルを介して内視鏡13に直接送達されてもよい。
【0020】
タワー30はカート11にフィルタされ保護された電力を供給するように設計された電圧およびサージプロテクタを含むことができ、それによって、カート11内に電力変圧器および他の補助電力部品を配置することが回避され、その結果、より小さく、より可動性の高いカート11が得られる。
【0021】
タワー30はまた、ロボットシステム10全体に展開されるセンサのための支持装置を含むことができる。例えば、タワー30はロボットシステム10全体にわたって光学センサまたはカメラから受信したデータを検出し、受信し、処理するための光電子機器を含むことができる。制御システムと組み合わせて、このような光電子機器を使用して、タワー30を含むシステム全体に配置された任意の数のコンソールに表示するためのリアルタイム画像を生成することができる。同様に、タワー30は配置された電磁(電磁;Electromagnetic)センサから受信された信号を受信し、処理するための電子サブシステムも含む
ことができる。タワー30はまた、医療器具内または医療器具上の電磁センサによる検出のために電磁場発生器を収容し、位置決めするために使用されてもよい。
【0022】
タワー30は、システムの残りの部分で利用可能な他のコンソール、例えばカートの頂部に取り付けられたコンソールに加えて、コンソール31を含むこともできる。コンソール31は、ユーザインタフェースと、医師の操作者のためのタッチスクリーンなどの表示画面とを含むことができる。システム10内のコンソールは一般に、ロボット制御と、内視鏡13のナビゲーションおよび位置決め情報などの手術前およびリアルタイム情報との両方を提供するように設計される。コンソール31が医師が利用できる唯一のコンソールではない場合、看護師のような第二の操作者によって、患者の健康状態や活動状態とシステムの動作を監視し、ナビゲーションおよび位置決め情報などの手続固有のデータを提供するために使用することができる。他の実施形態では、コンソール30は、タワー30とは別の筐体内に格納されている。
【0023】
タワー30は、1つまたは複数のケーブルまたは接続部(図示せず)を介してカート11および内視鏡13に結合することができる。いくつかの実施形態では、タワー30からのサポート機能が単一のケーブルを介してカート11に提供されてもよく、手術室を単純化し、混乱を解消する。他の実施形態では、特定の機能が別個のケーブル配線および接続で結合されてもよい。例えば、単一の電力ケーブルを介してカートに電力を供給することができるが、制御、光学、流体、および/またはナビゲーションのための支持体は別個のケーブルを介して提供することができる。
【0024】
図2は、図1に示されたカートベースのロボット使用可能システムからのカートの実施形態の詳細図を提供する。カート11は全体として、細長い支持構造14(しばしば「カラム」と呼ばれる)、カート基部15、およびカラム14の上端部にコンソール16を含む。カラム14は、1つまたは複数のロボットアーム12(図2には3つが示されている)の展開を支持するためのキャリッジ17(あるいは「アーム支持体」)などの1つまたは複数のキャリッジを含むことができる。キャリッジ17は、患者に対してより良好に位置決めするためにロボットアーム12の基部を調整するために垂直軸に沿って回転する個別に構成可能なアームマウントを含むことができる。キャリッジ17はまた、キャリッジ17がカラム14に沿って垂直に移動することを可能にするキャリッジインタフェース19を含む。
【0025】
キャリッジインタフェース19は、キャリッジ17の垂直方向の移動を案内するためにカラム14の両側に配置されたスロット20のようなスロットを介してカラム14に接続されている。スロット20はキャリッジをカート基部15に対して種々の垂直高さに位置決めし、保持するための垂直移動インタフェースを含む。キャリッジ17の垂直移動は、カート11が様々なテーブル高さ、患者サイズ、および医師の好みに合うようにロボットアーム12の到達範囲を調整することを可能にする。同様に、キャリッジ17上の個々に構成可能なアームマウントは、ロボットアーム12のロボットアームベース21が様々な構成で角度付けされることを可能にする。
【0026】
いくつかの実施形態では、スロット20がキャリッジ17が垂直に移動するときに、カラム14の内部チャンバおよび垂直移動インタフェース内への汚れおよび流体の進入を防止するために、スロット表面と面一であり、かつ平行であるスロットカバーで補足されてもよい。スロットカバーは、スロット20の縦上端部および底部の近くに配置されたバネスプールの対を通して展開されてもよい。カバーはキャリッジ17が垂直に上下に平行移動するときに、展開されてそれらのコイル状態から伸縮するまで、スプール内でコイル状に巻かれる。スプールのばね荷重はキャリッジ17がスプールに向かって移動するときにカバーをスプール内に引っ込める力を提供し、一方、キャリッジ17がスプールから離れるように移動するときにも緊密な捺印を維持する。カバーは例えば、キャリッジ17が移動するときにカバーの適切な伸縮を確実にするために、キャリッジインタフェース19内のブラケットを使用して、キャリッジ17に接続されてもよい。
【0027】
カラム14はユーザ入力、例えばコンソール16からの入力に応答して生成される制御信号に応答して機械的な方法でキャリッジ17を移動させるために、垂直に位置合わせされた親ねじを使用するように設計された、歯車およびモータなどの機構を内部に備えることができる。
【0028】
ロボットアーム12は一般に、一連のジョイント24によって接続された一連のリンク機構23によって分離されたロボットアーム基部21およびエンドエフェクタ22を備えることができ、各ジョイントは独立したアクチュエータを備え、各アクチュエータは独立して制御可能なモータを備える。各独立して制御可能なジョイントは、ロボットアームに
利用可能な独立した自由度を表す。アーム12のそれぞれは7つのジョイントを有し、したがって、7つの自由度を提供する。多数のジョイントは多数の自由度をもたらし、「冗長である」自由度を可能にする。冗長な自由度は、ロボットアーム12が異なる結合位置および関節角を使用して、空間内の特定の位置、向き、および軌道にそれぞれのエンドエフェクタ22を位置決めすることを可能にする。これにより、システムは医師が腕の関節を患者から離れた臨床的に有利な位置に移動させて、腕の衝突を回避して、より広いアクセス範囲を実現しながら、空間内の所望の位置から医療器具を位置決めしたり方向付けたりすることが可能になる。
【0029】
カート基部15は、床上のカラム14、キャリッジ17、およびアーム12の重量を釣り合わせる。したがって、カート基部15は、電子機器、モータ、電源などのより重い構成要素、ならびにカートの移動および/または固定のいずれかを可能にする構成要素を収容する。例えば、カート基部15は、手技の前にカートが部屋の周りを容易に移動することを可能にする、回転可能なホイール形状のキャスタ25を含む。適切な位置に到達した後、キャスタ25は、手続中にカート11を所定の位置に保持するためにホイールロックを使用して固定されてもよい。
【0030】
コンソール16はカラム14の垂直端部に配置されているので、ユーザ入力を受け取るためのユーザインタフェースと、医師ユーザに手術前および手術中の両方のデータを提供するための表示画面(または、例えば、タッチスクリーン26などの二目的用装置)との両方を可能にする。タッチスクリーン26上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影(CT)スキャンから導出されたナビゲーションおよびマッピングデータ、および/または術前患者インタビューからの注を含むことができる。ディスプレイ上の手術中データは、器具から提供される光学情報、センサおよびセンサからの座標情報、ならびに呼吸、心拍数、および/または脈拍などの患者の活動統計を含むことができる。コンソール16は医師がキャリッジ17の反対側のカラム14の側からコンソールにアクセスすることができるように、配置され、傾斜されてもよい。この位置から、医師はカート11の背後からコンソール16を操作しながら、コンソール16、ロボットアーム12、および患者を見ることができる。図示のように、コンソール16はまた、カート11の操縦および安定化を補助するためのハンドル27を含む。
【0031】
図3は、尿管鏡検査のために配置されたロボット使用可能システム10の実施形態を示す。尿管鏡手技では、カート11が患者の尿道および尿管を横切るように設計された手技特有の内視鏡である尿管鏡32を患者の下腹部領域に送達するように配置されてもよい。尿管鏡検査では、尿管鏡32を患者の尿道と直接位置合わせして、領域内の繊細な解剖学的構造に対する摩擦および力を低減することが望ましい場合がある。図に示されるように、カート11はロボットアーム12が患者の尿道への直接的な線形アクセスのために尿管鏡32を位置決めすることを可能にするために、テーブルの足に位置合わせすることができる。テーブルの足から、ロボットアーム12は、尿管鏡32を仮想レール33に沿って尿道を通して患者の下腹部に直接挿入することができる。
【0032】
尿道への挿入後、気管支鏡検査におけるのと同様の制御手法を使用して、尿管鏡32は診断および/または治療用途のために、膀胱、尿管、および/または腎臓内にナビゲートされ得る。例えば、尿管鏡32は、尿管鏡32のワーキングチャネルの下に配置されたレーザまたは超音波砕石装置を用いて、尿管および腎臓に向けられて、腎結石の蓄積を破壊することができる。砕石術が完了した後、得られた結石断片は、尿管鏡32の下方に配置されたバスケットを用いて除去され得る。
【0033】
図4は、血管手技のために同様に配置されたロボット使用可能システムの実施形態を示す。血管手技では、システム10がカート11が操縦可能なカテーテルなどの医療器具3
4を患者の脚の大腿動脈内のアクセスポイントに送ることができるように構成することができる。大腿動脈はナビゲーションのためのより大きな直径と、患者の心臓への比較的遠回りで曲がりくねった経路との両方の特徴があり、このためナビゲーションを単純化できる。尿管鏡手技におけるように、カート11は、ロボットアーム12が患者の大腿/股関節領域における大腿動脈アクセスポイントへの直接的な線形アクセスを有する仮想レール35を提供することを可能にするように、患者の脚および下腹部に向かって配置され得る。動脈内への挿入後、医療器具34は、器具ドライバ28を移動させることによって方向付けられ、挿入されてもよい。あるいは、カートが例えば、肩および手首の近くの頸動脈および上腕動脈などの代替の血管アクセスポイントに到達するために、患者の上腹部の周りに配置されてもよい。
【0034】
(B.ロボットシステム-テーブル)
ロボット対応医療システムの実施形態はまた、患者のテーブルを組み込んでもよい。テーブルを組み込むことにより、カートを取り外すことによって手術室内の資本設備の量が減少し、患者へのアクセスがより大きくなる。図5は、気管支鏡検査手順のために配置されたそのようなロボット使用可能システムの実施形態を示す。システム36は、床の上にプラットフォーム38(「テーブル」または「ベッド」として示される)を支持するための支持構造または支柱37を含む。カートベースのシステムと同様に、システム36のロボットアーム39のエンドエフェクタは、図5の気管支鏡40などの細長い医療器具を、器具ドライバ42の直線的な位置合わせから形成された仮想レール41を通して、またはそれに沿って操作するように設計された器具ドライバ42を備える。実際には、X線透視画像を提供するためのCアームがテーブル38の周りにエミッタおよび検出器を配置することによって、患者の上腹部領域の上に配置され得る。
【0035】
図6は、説明のため患者および医療器具を除いたシステム36の代替図を示す。図示されているように、カラム37はシステム36内にリング形状として示されている1つ以上のキャリッジ43を含むことができ、このキャリッジを基に1つ以上のロボットアーム39を構成することができる。キャリッジ43はロボットアーム39が患者に到達するように配置され得る異なる視点を提供するために、カラム37の長さに沿って延びる垂直カラムインタフェース44に沿って移動してもよい。キャリッジ43は、カラム37内に配置された機械的モータを使用してカラム37の周りを回転して、ロボットアーム39がテーブル38の複数の側、例えば患者の両側にアクセスできるようにすることができる。複数のキャリッジを有する実施形態では、キャリッジがカラム上に個別に配置されてもよく、他のキャリッジとは独立して移動および/または回転してもよい。キャリッジ43はカラム37を取り囲む必要はなく、または円形である必要もないが、図示されるようなリング形状は構造的バランスを維持しながら、カラム37の周りのキャリッジ43の回転を容易にする。キャリッジ43の回転および移動により、システムは、内視鏡および腹腔鏡のような医療器具を患者の異なるアクセスポイントに位置合わせすることができる。他の実施形態(図示せず)では、システム36は、調節可能なアーム支持部を有する患者テーブルまたはベッドを備えてもよく、アーム支持部はテーブルまたはベッドに沿って延伸するバーやレールの形態として設けることができる。1つまたは複数のロボットアーム39(肘関節を有する肩部を介するなどによる)は、上記の調節可能なアーム支持部を垂直方向に調整して取り付けることができる。垂直方向の調整ができることで、ロボットアーム39は、患者テーブルまたは別途の下にコンパクトに収容でき、後で手技時に引き上げることができる。
【0036】
アーム39は、ロボットアーム39に追加の構成要素を提供するために個別に回転および/または入れ子式に延在することができる一連のジョイントを備える一組のアームマウント45を介してキャリッジに取り付けることができる。さらに、アームマウント45は、キャリッジ43が適切に回転されたときに、アームマウント45がテーブル38の同じ
側(図6に示す)、テーブル38の反対側(図9に示す)、またはテーブル38の隣接する側(図示せず)のいずれかに配置されるように、キャリッジ43上に配置されてもよい。
【0037】
カラム37は構造的に、テーブル38を支持し、キャリッジを垂直方向に移動させるための経路を提供する。内部においては、カラム37がキャリッジの垂直移動を案内するためのリードスクリューと、リードスクリューに基づいて前記キャリッジの移動を機械化するためのモータとを備えることができる。カラム37はまた、キャリッジ43およびその上に取り付けられたロボットアーム39に電力および制御信号を伝達することができる。
【0038】
テーブル基部46は図2に示すカート11のカート基部15と同様の機能を果たし、テーブル/ベッド38、カラム37、キャリッジ43、およびロボットアーム39をバランスさせるためのより重い構成要素を収容する。テーブル基部46はまた、手続中の安定性を提供するために、硬性キャスタを組み込んでもよい。キャスタはテーブル基部46の下端から展開されて、基部46の両側で反対方向に延在し、システム36を移動させる必要があるときに後退することができる。
【0039】
引き続き図6を参照すると、システム36は、テーブルとタワーとの間でシステム36の機能を分割してテーブルのフォームファクタおよびバルクを低減するタワー(図示せず)を含むこともできる。上記の実施形態と同様に、タワーは、処理、計算、および制御能力、電力、流体工学、ならびに/または光学およびセンサ処理などの様々なサポート機能をテーブルに提供することができる。タワーはまた、医師のアクセスを改善し、手術室を煩雑にしないようにするために、患者から離れて配置されるように移動可能であってもよい。さらに、タワー内に部品を配置することにより、ロボットアームの潜在的な収納のためのテーブル基部内のより大きい収納スペースが実現する。タワーはまた、キーボードおよび/またはペンダントなどのユーザ入力のためのユーザインタフェースと、リアルタイム画像、ナビゲーション、および追跡情報などの術前および術中情報のための表示画面(またはタッチスクリーン)との両方を提供するコンソールを含むことができる。
【0040】
いくつかの実施形態では、テーブル基部が使用されていないときにロボットアームを収納し、格納することができる。図7は、テーブルベースのシステムの一実施形態においてロボットアームを収容するシステム47を示す。システム47では、キャリッジ48がロボットアーム50、アームマウント51、およびキャリッジ48を基部49内に収容するために、基部49内に垂直に移動させることができる。基地カバー52は、キャリッジ48、アームマウント51、およびアーム50を列53の近辺に展開するために移動されて開閉され、使用されていないときにそれらを保護するために閉じられてもよい。基部カバー52は、その開口の縁部に沿って膜54で封止されて、閉鎖時の汚れおよび流体の進入を防止することができる。
【0041】
図8は、尿管鏡検査手順のために構成されたロボット使用可能なテーブルベースのシステムの実施形態を示す。尿管鏡検査では、テーブル38が患者をカラム37およびテーブル基部46から外れた角度に位置決めするための旋回部分55を含むことができる。旋回部分55は旋回部分55の下端を支柱37から離して位置決めするために、旋回点(例えば、患者の頭部の下に位置する)の周りで回転または旋回してもよい。例えば、旋回部分55の旋回は、Cアーム(図示せず)がテーブル38の下のカラム(図示せず)と空間を競合することなく、患者の下腹部の上に配置されることを可能にする。キャリッジ35(図示せず)を支柱37の周りに回転させることによって、ロボットアーム39は、尿管鏡56を仮想レール57に沿って患者の鼠径部に直接挿入して尿道に到達させることができる。尿管鏡検査では、手技中に患者の脚の位置を支持し、患者の鼠径部への明確なアクセスを可能にするために、スターラップ58をテーブル38の旋回部分55に固定すること
もできる。
【0042】
腹腔鏡手技では、患者の腹壁の小さな切開を通して、最小侵襲性器具(1つ以上の切開のサイズに適応するように細長い形状)が患者の解剖学的構造に挿入され得る。患者の腹腔を膨張させた後、しばしば腹腔鏡と呼ばれる器具は把持、切断、切除、縫合などの手術タスクを実行するように指示されてもよく、図9は腹腔鏡手技のために構成されたロボット使用可能なテーブルベースのシステムの実施形態を示す。図9に示されるように、システム36のキャリッジ43はテーブル38の両側にロボットアーム39の対を位置決めするように回転され、垂直に調整され、その結果、腹腔鏡59は患者の腹腔に到達するために患者の両側の最小切開部を通過するようにアームマウント45を使用して位置決めされ得る。
【0043】
腹腔鏡手技に適応するために、ロボット使用可能テーブルシステムは、プラットフォームを所望の角度に傾斜させることもできる。図10は、ピッチまたはチルト調整を有するロボット使用可能医療システムの実施形態を示す。図10に示すように、システム36は、テーブル38の傾斜に適応して、テーブルの一部分を床から他の部分よりも大きな距離に位置決めすることができる。さらに、アームマウント45はアーム39がテーブル38と同じ平面関係を維持するように、傾きに合わせて回転することができる。より急勾配の角度に適応するために、カラム37は、カラム37の垂直延長部がテーブル38が床に触れたり基部46と衝突したりしないようにする入れ子式部分60を含むこともできる。
【0044】
図11は、テーブル38とカラム37との間のインタフェースの詳細を示す。ピッチ回転機構61は、欄37に対するテーブル38のピッチ角を複数の自由度で変更するように構成されてもよい。ピッチ回転機構61はカラム・テーブル・インタフェースにおける直交軸1、2の位置決めによって可能にすることができ、各軸は、電気的なピッチ角コマンドに応答して各軸が別個のモータ3、4によって作動される。一方のねじ5に沿った回転は一方の軸1における傾斜調整を可能にし、他方のねじ6に沿った回転は、他方の軸2に沿った傾斜調整を可能にする。いくつかの実施形態では、ボールジョイントを用いて、複数の自由度でカラム37に対する相対的なテーブル38のピッチ角を変更することができる。
【0045】
例えば、ピッチ調整は下腹部手術のために、テーブルをトレンデレンブルグ位置に位置決めしようとするとき、すなわち、患者の下腹部を患者の下腹部よりも床から高い位置に位置決めしようとするとき、特に有用である。トレンデレンブルグ位置は患者の内部器官を重力によって患者の上腹部に向かってスライドさせ、腹腔鏡前立腺切除術などの下腹部手術手技を開始して実行するための最小侵襲性ツール(minimally invasive tool)のた
めに腹腔の空間を空ける。
【0046】
(C.器具ドライバとインタフェース)
システムのロボットアームのエンドエフェクタは、(1)医療器具を作動させるための電気機械的手段を組み込む器具ドライバ(あるいは「器具駆動機構」または「器具装置マニピュレータ(IDM;instrument device manipulator)」と呼ばれる)と、(2)モ
ータなどの任意の電気機械的構成要素を削除できる取り外し可能または取り外し可能な医療器具とを備える。この二分法は、医療手技に使用される医療器具を滅菌する必要性、およびそれらの複雑な機械的アセンブリおよび繊細な電子機器のために高価な資本設備を適切に滅菌することができないことが起因となりうる。したがって、医療器具は医師または医師のスタッフによる個々の滅菌または廃棄のために、器具ドライバ(したがってシステム)から取り外し、取り外し、および交換されるように設計されてもよい。対照的に、器具ドライバは、交換または滅菌される必要はなく、保護のためにドレープで覆われてもよい。
【0047】
図12は、例示的な器具ドライバを示す。ロボットアームの遠位端に配置された器具ドライバ62は駆動シャフト64を介して医療器具に制御されたトルクを提供するために、平行軸に配置された1つ以上の駆動ユニット63を備える。各駆動ユニット63は器具と相互作用するための個々の駆動シャフト64と、モータシャフトの回転を所望のトルクに変換するためのギアヘッド65と、駆動トルクを生成するためのモータ66と、モータシャフトの速度を測定し、制御回路にフィードバックを提供するためのエンコーダ67と、制御信号を受信し、駆動ユニットを作動させるための制御回路68とを備える。各駆動ユニット63は独立して制御され、電動化されており、器具ドライバ62は、医療器具に複数(図12に示すように4つ)の独立した駆動出力を提供することができる。動作中、制御回路68は制御信号を受信し、モータ信号をモータ66に送信し、エンコーダ67によって測定された結果のモータ速度を所望の速度と比較し、モータ信号を変調して所望のトルクを生成する。
【0048】
無菌環境を必要とする手技では、ロボットシステムが器具ドライバと医療器具との間に位置する、無菌ドレープに接続された無菌アダプタなどの駆動インタフェースを組み込むことができる。無菌アダプタの主な目的は駆動シャフトと駆動入力との間の物理的分離、したがって無菌性を維持しながら、器具ドライバの駆動シャフトから器具の駆動入力に角運動を伝達することである。したがって、例示的な無菌アダプタは、器具ドライバの駆動シャフトおよび器具上の駆動入力と嵌合されることが意図される一連の回転入力および出力を備えてもよい。滅菌アダプタに接続された滅菌ドレープは透明または半透明プラスチックなどの薄い軟性材料からなり、器具ドライバ、ロボットアーム、およびカート(カートベースのシステム内)またはテーブル(テーブルベースのシステム内)などの資本設備を覆うように設計される。ドレープの使用は滅菌を必要としない領域(すなわち、非滅菌領域)に依然として配置されている間に、患者の近くに資本設備を配置することを可能にする。滅菌ドレープの反対側では、医療器具が滅菌を必要とする領域(すなわち、滅菌野)において患者と接触することができる。
【0049】
(D.医療器具)
図13は、組になった器具ドライバを有する例示的な医療器具を示す。ロボットシステムと共に使用するように設計された他の器具と同様に、医療器具70は、細長いシャフト71(または細長い本体)および器具基部72を備える。医師による手動操作向けの設計として「器具ハンドル」とも呼ばれる器具基部72は、全体として、ロボットアーム76の遠位端で器具ドライバ75上の駆動インタフェースを通って延びる駆動出力74と嵌合するように設計された、回転可能な駆動入力73、例えば、レセプタクル、プーリ、またはスプールを備えてもよい。物理的に接続され、ラッチされ、および/または結合されると、器具基部72の嵌合された駆動入力73は器具ドライバ75内の駆動出力74と回転軸を共有し、駆動出力74から駆動入力73へのトルクの伝達が可能になる。いくつかの実施形態では、駆動出力74が駆動入力73上のレセプタクルと嵌合するように設計されたスプラインを備えてもよい。
【0050】
細長いシャフト71は例えば、内視鏡検査におけるように、解剖学的な開口またはルーメン、または、例えば、腹腔鏡検査におけるように、最小侵襲性切開のいずれかを介して送られるように設計される。細長いシャフト66は軟性(例えば、内視鏡と同様の特性を有する)または硬性(例えば、腹腔鏡と同様の特性を有する)のいずれかであり得るか、または軟性部分および硬性部分の両方のカスタマイズされた組み合わせを含む。腹腔鏡検査用に設計される場合、硬性の細長いシャフトの遠位端は回転軸を有するUリンクと、器具ドライバ75の駆動出力74から受け取ったトルクに応じて駆動入力が回転するときにテンドンからの力に基づいて作動され得る、例えば、1つまたは複数の把持器などの手術用道具とから形成される接合手首を備えるエンドエフェクタに接続されてもよい。内視鏡
検査用に設計される場合、可撓性の細長いシャフトの遠位端は、器具ドライバ75の駆動出力74から受け取られるトルクに基づいて関節動作および屈曲され得る、操縦可能または制御可能な屈曲部を含む。
【0051】
器具ドライバ75からのトルクは、シャフト71内のテンドンを使用して細長いシャフト71に伝達される。プルワイヤなどのこれらの個々のテンドンは、器具ハンドル72内の個々の駆動入力73に個々に固定することができる。ハンドル72から、テンドンは、細長いシャフト71内の1つ以上のプルルーメンに向けられ、細長いシャフト71の遠位部分に固定される。腹腔鏡検査では、これらのテンドンが手首、把持器、またはさみなどの遠位に取り付けられたエンドエフェクタに結合されてもよい。このような構成の下では、駆動入力73に及ぼされるトルクがテンドンに表面張力を伝達し、それによってエンドエフェクタを何らかの方法で作動させる。腹腔鏡検査では、テンドンは関節を軸の周りに回転させ、それによってエンドエフェクタを一指示または別の指示に移動させることができる。あるいはテンドンは細長いシャフト71の遠位端において、把持器の1つ以上の顎に接続され得、ここで、テンドンからの張力によって把持器が閉じる。
【0052】
内視鏡検査では、テンドンは接着剤、制御リング、または他の機械的固定を介して、細長いシャフト71に沿って(例えば、遠位端で)配置された屈曲または関節動作部に結合されてもよい。屈曲部の遠位端に固定して取り付けられると、駆動入力73に及ぼされるトルクがテンドンに伝達され、より柔軟性のある屈曲部(関節部または関節動作領域と呼ばれることもある)を屈曲または関節動作させる。非屈曲部に沿って、個々のテンドンを内視鏡シャフトの壁に沿って(または内側に)向ける個々のプルルーメンを螺旋状または螺旋状にして、プルワイヤの表面張力から生じる半径方向の力を釣り合わせることが効果的であり得る。スパイラルの角度および/またはそれらの間の間隔は特定の目的のために変更または設計されてもよく、スパイラルを緊密にすると荷重力下でのシャフト圧縮が小さくなり、一方、スパイラルを少なくすると荷重力下でのシャフト圧縮が大きくなるが限界曲げとなる。スペクトルの他端では、プルルーメンが細長いシャフト71の長手方向軸に平行に向けられて、所望の屈曲または関節動作可能な部分における制御された関節動作が可能となる。
【0053】
内視鏡検査では、細長いシャフト71がロボットシステム手続を補助するために、いくつかの構成要素を収容する。シャフトは、シャフト71の遠位端における手術領域に手術ツール、潅注、および/または吸引を展開するためのワーキングチャネルを備えてもよい。シャフト71はまた、ワイヤおよび/または光ファイバを収容して、光学カメラを含む遠位先端の光学アセンブリへ/から信号を伝達し得る。シャフト71はまた、光ファイバを収容して、発光ダイオードなどの近位に位置する光源からシャフトの遠位端に光を運ぶことができる。
【0054】
器具70の遠位端において、遠位先端はまた、診断および/または治療、潅注、および吸引のためのツールを手術部位に送達するためのワーキングチャネルの開口を備え得る。遠位先端はまた、内部解剖学的空間の画像を取得するために、ファイバースコープまたはデジタルカメラなどのカメラのためのポートを含んでもよい。関連して、遠位先端はまた、カメラを使用するときに解剖学的空間を照明するための光源のためのポートを含む。
【0055】
図13の例では駆動シャフト軸、したがって駆動入力軸は細長いシャフトの軸に直交する。しかしながら、この配置では、細長いシャフト71の回転機能が複雑になる。駆動入力73を静止状態に保ちながら、細長いシャフト71をその軸に沿って回転させると、テンドンが駆動入力73から延出して細長いシャフト71内のプルルーメンに入るときに、テンドンの望ましくない絡み合いが生じる。そのようなテンドンによって生じる絡み合いは、内視鏡手技時に可撓性の細長いシャフトの移動を予測することを目的とする任意の制
御アルゴリズムの障害となり得る。
【0056】
図14は器具ドライバおよび器具の代替設計を示し、駆動ユニットの軸が器具の細長いシャフトの軸に平行である。図示のように、円形の器具ドライバ80は、ロボットアーム82の端部に平行に位置合わせされた駆動出力81を有する4つの駆動ユニットを備える。駆動ユニットおよびそれぞれの駆動出力81は、アセンブリ83内の駆動ユニットのうちの1つによって駆動される器具ドライバ80の回転アセンブリ83内に収容される。回転駆動ユニットによって提供されるトルクに応じて、回転アセンブリ83は、回転アセンブリ83を器具ドライバの非回転部分84に接続する円形ベアリングに沿って回転する。電気接点を介して器具ドライバ80の非回転部分84から回転アセンブリ83に電力および制御信号を伝達することができ、この信号は、ブラシ付きスリップリング接続(図示せず)による回転によって維持することができる。他の実施形態では、回転アセンブリ83が非回転部分84に一体化され、したがって他の駆動ユニットと平行ではない別個の駆動ユニットに応答することができる。回転機構83は、器具ドライバ80が器具ドライバ軸85の周りに単一のユニットとして、駆動ユニットおよびそれぞれの駆動出力81を回転させることができる。
【0057】
上記に開示した実施形態と同様に、器具86は、細長いシャフト部分88と、器具ドライバ80内の駆動出力81を受けるように構成された複数の駆動入力89(レセプタクル、プーリ、およびスプールなど)を備える器具基部87(説明のために透明な外皮と共に示されている)とを備えることができる。先に開示された実施形態とは異なり、器具シャフト88は、図13の設計におけるように直交するのではなく、駆動入力89の軸に実質的に平行な軸を有する器具基部87の中心から延伸する。
【0058】
器具ドライバ80の回転アセンブリ83に結合されると、器具基部87および器具シャフト88を備える医療器具86は、器具ドライバ軸85の周りで回転アセンブリ83と組み合わせて回転する。器具シャフト88は器具基部87の中心に配置されているので、器具シャフト88は取り付けられたとき、器具ドライバ軸85と同軸である。したがって、回転アセンブリ83の回転は、器具シャフト88をそれ自体の前後軸の周りに回転させる。さらに、器具基部87が器具シャフト88と共に回転するとき、器具基部87の駆動入力89に接続されたテンドンは、回転中に絡み合わない。したがって、駆動出力81、駆動入力89、および器具シャフト88の軸の平行性は、任意の制御テンドンの絡み合いを発生させることなく、シャフトを回転させることができる。
【0059】
(E.ナビゲーションと制御)
従来の内視鏡検査には、X線透視法(例えば、Cアームを介して送達され得るよう)および他の形態の放射線ベースの画像化モダリティの使用が含まれ、操作者の医師に管腔内ガイダンスが提供される。一方、本件開示によって実現されるロボットシステムは、放射線に対する医師の曝露を低減し、手術室内の器具の数を減らすために、非放射線ベースのナビゲーションおよび位置決め手段を提供する。本明細書で使用されるように、用語「位置決め」は、基準座標系における物体の位置を特定および/または監視することを指すことができる。術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、およびロボットコマンドデータなどの技術は放射線を用いない運用環境を達成するために、個別に、または組み合わせて使用されてもよい。放射線ベースの画像モダリティが依然として使用される他の場合には、術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、およびロボットコマンドデータは放射線ベースの画像モダリティによってのみ得られる情報を改善するために、個別に、または組み合わせて使用されてもよい。
【0060】
図15は、例示的な実施形態による、器具の位置など、ロボットシステムの1つまたは複数の要素の位置を推定する位置決めシステム90を示すブロック図である。位置決めシ
ステム90は、1つまたは複数の命令を実行するように構成された1つまたは複数の計算装置のセットとすることができる。計算装置は、上述の1つまたは複数の構成要素内のプロセッサ(または複数のプロセッサ)およびコンピュータ可読メモリによって具現化され得る。限定ではなく例示として、計算装置は、図1に示すタワー30内や、図1~4に示すカート内や、図5~10に示すベッド内などに配置されてよい。
【0061】
図15に示すように、位置決めシステム90は、入力データ91~94を処理して医療器具の遠位先端の位置データ96を生成する位置決めモジュール95を含むことができる。位置データ96は、基準系に対する器具の遠位端の位置および/または向きを表すデータまたはロジックであってもよい。基準系は、患者の解剖学的構造、または電磁場発生器(電磁場発生器については以下の説明を参照)などの既知の物体に対する基準系とすることができる。
【0062】
ここで、さまざまな入力データ91~94についてより詳細に説明する。術前マッピングは、低線量CTスキャンの収集を使用することによって達成することができる。術前CTスキャンは2次元画像を生成し、各画像は、患者の内部解剖学的構造の破断図の「スライス」を表す。集合体で解析される場合、患者の肺ネットワークなどの患者の解剖学的構造の解剖学的空洞、空間、および構造のための画像ベースのモデルが生成され得る。中心線ジオメトリのような手法は、CT画像から決定され、近似されて、術前モデルデータ91と呼ばれる患者の解剖学的構造の3次元ボリュームを展開することができる。中心線ジオメトリの使用については、米国特許第14/523,760号に記載されており、その内容の全体を本願に援用する。また、ネットワークトポロジーモデルは、CT画像から導出されてもよく、気管支鏡検査に特に適している。
【0063】
いくつかの実施形態では、器具が視覚データ92を提供するためにカメラを装備することができる。位置決めモジュール95は1つまたは複数の視覚ベースの位置追跡を可能にするために、視覚データを処理することができる。例えば、手術前モデルデータは医療器具(例えば、内視鏡または内視鏡のワーキングチャネルを通る器具の前進)のコンピュータビジョンベースの追跡を可能にするために、ビジョンデータ92と共に使用されてもよい。例えば、手術前モデルデータ91を使用して、ロボットシステムは内視鏡の予想される移動経路に基づいてモデルから予想される内視鏡画像のライブラリを生成することができ、各画像はモデル内の位置にリンクされる。手術中に、このライブラリはカメラ(例えば、内視鏡の遠位端にあるカメラ)で取得されたリアルタイム画像を画像ライブラリ内の画像と比較して位置決めを補助するために、ロボットシステムによって参照されてもよい。
【0064】
他のコンピュータビジョンベースの追跡技術は、カメラ、したがって内視鏡の動きを特定するために特徴追跡を使用する。位置決めモジュール95のいくつかの特徴は解剖学的な管腔に対応する手術前モデルデータ91内の円形の幾何学的形状を識別し、それらの幾何学的形状の変化を追跡して、どの解剖学的な管腔が選択されたかや、カメラの相対的な回転および/または移動運動を特定することができる。トポロジーマップの使用によって、視覚ベースのアルゴリズムまたは方法をさらに強化することができる。
【0065】
別のコンピュータビジョンベースの技術であるオプティカルフローはカメラの動きを推測するために、ビジョンデータ92のビデオシーケンス内の画像画素の変位および移動を解析することができる。複数の反復にわたる複数のフレームの比較によって、カメラ(したがって、内視鏡)の移動および位置を特定することができる。
【0066】
位置決めモジュール95は、リアルタイム電磁追跡を使用して、手術前モデルによって表される患者の解剖学的構造に位置合わせすることができるグローバル座標系における内
視鏡のリアルタイム位置を生成し得る。電磁追跡では医療器具(例えば、内視鏡ツール)の1つ以上の位置および向きに埋め込まれた1つ以上のセンサコイルを備える電磁センサ(トラッカ)は既知の位置に配置された1つ以上の静的電磁場発生器によって生成された電磁場の変動を測定する。電磁センサによって検出された位置情報は、電磁データ記憶される。電磁場発生器(または送信機)は埋め込まれたセンサが検出し得る低強度磁場を生成するために、患者の近くに配置され得る。磁界は電磁センサコイルに小さな電流をガイドし、この電流は、電磁センサと電磁界発生器との間の距離および角度を特定するために解析され得る。これらの距離および向きは、座標系内の単一の位置を患者の解剖学的構造の手術前モデル内の位置と位置合わせさせる幾何学的変換を特定するために、患者の解剖学的構造(例えば、手術前モデル)に対して手術中に「位置合わせ」されてもよい。一旦位置合わせされると、医療器具の1つ以上の位置(例えば、内視鏡の遠位先端)に埋め込まれた電磁追跡装置は、患者の解剖学的構造を通る医療器具の進歩のリアルタイムの命令を提供し得る。
【0067】
ロボットコマンドおよび運動学データ94はまた、ロボットシステムのための位置決めデータ96を提供するために、位置決めモジュール95によって使用されてもよい、関節動作コマンドから生じる装置ピッチおよびヨーは、手術前較正中に特定され得る。手術中に、これらの較正計量値は器具の位置を推定するために、既知の挿入デプス情報と組み合わせて使用されてもよい。あるいは、これらの計算がネットワーク内の医療器具の位置を推定するために、電磁、視覚、および/またはトポロジーモデリングと組み合わせて解析されてもよい。
【0068】
図15に示すように、多数の他の入力データを位置決めモジュール95によって使用することができる。例えば、図15には示されていないが、形状感知ファイバを用いる器具は、位置決めモジュール95が器具の位置および形状を特定するために使用する形状データを提供することができる。
【0069】
位置決めモジュール95は、入力データ91~94を組み合わせて使用することができる。場合によっては、このような組み合わせは位置決めモジュール95が入力データ91~94のそれぞれから特定された位置に信頼性重みを割り当てる確率的アプローチを使用することができる。したがって、電磁データが信頼できない場合(電磁干渉がある場合のように)、電磁データによって特定される位置の信頼性は低下する可能性があり、位置決めモジュール95は、視覚データ92および/またはロボットコマンドおよび運動学データ94により依存する可能性がある。
【0070】
上記の通り、本明細書で説明するロボットシステムは、上記の技術のうちの1つまたは複数の組合せを組み込むように設計することができる。タワー、ベッドおよび/またはカートに基づくロボットシステムのコンピュータベースの制御システムはコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶することができ、これは、実行時に、システムにセンサデータおよびユーザコマンドを受信および解析させ、システム全体の制御信号を生成させ、グローバル座標系内の器具の位置、解剖学的マップなどのナビゲーションおよび位置決めデータを表示させる。
【0071】
(2.ナビゲーション中のターゲット)
本件開示の実施形態は、医療器具のナビゲーション中に管腔ネットワーク内の特定の領域をターゲットとするためのシステムおよび手法に関する。特定の医療手技は、ターゲット領域(本明細書では単に「ターゲット」とも呼ばれる)に隣接する所定の位置に医療器具を駆動することを含む。例えば、患者の術前撮像は、診断および/または治療のために関心領域(例えば、結節、病変など)を明らかにすることができる。一実装において、医
療手技は、医療器具をターゲットの結節からの閾値作業距離内にナビゲーションし、ターゲットの結節の生検を行うことを含む。しかし、本明細書で説明するターゲット方法および技術は、生検手技に限定されず、ターゲットへの医療器具のナビゲーションを含む任意の医療手技に適用できる。
【0072】
特定の実施形態では、医療器具が管腔ネットワークを通ってナビゲートされるとき、器具の位置が特定されてもよく、器具の位置を示す視覚的な指標が表示されて(例えば、プロットされたり、他の方法で表示されたり)、視覚的フィードバックが提供されてもよい。また、視覚的な指標は、ターゲットおよび/または医療器具に対する管腔ネットワークの形状を視覚化するために使用することができる。
【0073】
(A.管腔ネットワークおよびモデルの例)
図16は、本明細書で説明する方法およびシステムを使用してナビゲートすることができる患者の例示的な管腔ネットワーク130を示す。図示の実施形態では、管腔ネットワーク130は、患者の肺内の気道の気管支ネットワークである。図に示すように、管腔ネットワーク130は、分岐構造に配置された複数の管腔132を含む。図示された管腔ネットワーク130は、複数の分岐管腔132を有するが、いくつかの例では管腔ネットワーク130は単一の管腔132のみを有するものであってもよい。すなわち、場合によっては、管腔ネットワーク130が管腔132の分岐配置を有していなくてもよい。説明を容易にするために、図16は、管腔ネットワーク130を2次元構造として示す。これは、本件開示を2次元の管腔ネットワークに限定するものと解釈されるべきではない。一般に、管腔ネットワーク130は、3次元構造を含む。
【0074】
図16には特定の管腔ネットワーク130を示すが、本明細書で説明する器具ナビゲーションおよびターゲット方法およびシステムは種々の管腔ネットワーク130のナビゲーションに実装することができる。管腔ネットワーク130として、例えば、気管支ネットワーク、腎臓ネットワーク、循環器ネットワーク(例えば、動脈および静脈)、胃腸管、尿管などを含む。ここで説明する器具ナビゲーションとターゲットの方法とシステムは、分岐および非分岐の管腔ネットワーク130の両方のナビゲーションに実装することができる。
【0075】
図17は、図16の管腔ネットワーク130の例示的なモデル150を示す。特定の実施形態では、モデル150が管腔ネットワーク130の術前撮像から形成されてもよい。しかしながら、他の実施形態では、モデル150が医療手技時に撮像された術中画像を使用して形成されてもよく、または術中画像に加えて術前画像を使用して形成されてもよい。以下に詳細を説明するように、いくつかの例において、モデルは、管腔ネットワーク130を通る医療器具のナビゲーションを容易にするために使用することができる。いくつかの例では、モデル150は、管腔ネットワーク130のナビゲーション前および/またはナビゲーション中に、ユーザに表示されてもよい。
【0076】
モデル150は、医療器具によってナビゲートされている管腔ネットワーク130の1つまたは複数の部分を表すことができる。いくつかの実装形態では、モデル150は、種々の術前撮像およびマッピング手法のうちの1つまたは複数を使用して、管腔ネットワークのナビゲーションの前に生成することができる。例えば、術前マッピングは、一群の低線量コンピュータ断層撮影(CT)スキャンを用いて行うこともできる。上記の通り、術前CTスキャンは2次元画像を生成することができ、各画像は患者の解剖学的構造の切離像の「スライス」を表している。集合体で分析される場合、患者の肺ネットワーク(すなわち、管腔ネットワーク)など、患者の解剖学的構造の解剖学的空洞、空間、および構造のための画像ベースモデルが生成されてもよい。また、手術中のCTスキャンの使用を含む、モデル150を生成するための他の方法も適用可能である。
【0077】
図に示す実施形態では、モデル150が複数のセグメント152を含む。モデル150のセグメント152は、管腔ネットワーク130の管腔132の少なくとも一部に対応する。したがって、管腔ネットワーク130が管腔132の分岐配置を含む場合、モデル150は、セグメント152の対応する分岐配置を有する。管腔ネットワーク130が単一の管腔132を有する場合は、モデル150は、対応する単一の分岐152を有する。一般に、モデル150は、管腔ネットワーク130の3次元形状の少なくとも一部に対応する3次元形状を含む。モデル150は3次元形状を含んでもよいが、図17では説明を容易にするために、モデル150を2次元形状として図示する。いくつかの例では、3次元モデル150の断面が2次元ディスプレイ上に表示されてもよい。
【0078】
図16の管腔ネットワーク130と図17のモデル150とを比較すると、いくつかの例では、モデル150は、管腔ネットワーク130の一部のみを表すか、または管腔ネットワーク130の一部のみに対応することが分かる。これは、管腔ネットワーク130上に重畳されたモデル150の図である図18にさらに示されている。いくつかの例では、モデル150を生成するために使用される画像およびマッピング手法における制限があるために、管腔ネットワーク130全体に対応するモデルが生成できない場合がある。例えば、管腔ネットワーク内の一定の分岐管腔132は、一般的な画像化およびマッピング手法では明確に描写および分析することができないほどに小さいことがある。したがって、モデル150は、例えば、管腔ネットワーク130の様々な部分をモデル150内にマッピングされていないおよび/または表現されていないままにして、管腔ネットワーク130の完全な表現を提供しなくてもよい。
【0079】
例えば、図18に示すように、モデル150は、管腔ネットワーク130のマッピングされた部分155に対応することができる。モデル150によって表現されていない管腔ネットワーク130のマッピングされていない部分135は、マッピングされた部分155を越えて延在してもよい。
【0080】
いくつかの実施形態では、モデル150は、管腔ネットワークを含む器官の外面の表現を含んでもよい。例えば、肺の場合、モデルは、気道の少なくとも一部分と肺の外面との表現を含むことができる。
【0081】
(B.医療器具を用いた管腔ネットワークのナビゲーション)
図19は、管腔ネットワーク230内に配置された、例えば、シース215およびリーダ245を有する医療器具の例を示す。図に示すように、管腔ネットワーク230(上記の管腔ネットワーク130と同様であってもよい)は、気道250(管腔132と同様であってもよい)の分岐構造を有する。この例では、シース215が管腔ネットワーク230を通って、診断および/または治療のためのターゲット(例えば、結節255)または関心領域に向かってナビゲート(例えば、誘導、誘導、移動など)される。図に示す例では、結節255が管腔ネットワーク230および気道250の周辺に位置する。シース215は第1の直径を有するため、その遠位端を、シース215の第1の直径より小さい直径を有する結節255の周りのより小さい直径の気道を通って位置決めすることができない場合がある。したがって、リーダ245は、シース215のワーキングチャネルを通ってガイドされるか、またはワーキングチャネル内に配置され、気道250内の残りの距離を通って結節255まで前進することができる。例えば、リーダ245は、シース215および/または気道250のワーキングチャネルを通って駆動される関節運動可能なカテーテルを有してもよい。リーダ245は、生検針、細胞診ブラシ、組織サンプリング鉗子などの器具が結節255の目標の組織部位に通される管腔を有する。このような実施形態では、シース215の遠位端およびリーダ245の遠位端の両方に、気道250内のそれらの位置を追跡するための電磁器具センサ(および/または他の位置センサ)を設けるこ
とができる。他の実施形態ではシース215の全体的な直径が十分に小さく、リーダ245を用いることなく上記周辺に到達したり、あるいは、操縦可能でないリーダ245などを通じて上記周辺の近傍(例えば、2.5~3cm以内)に到達したりして、医療器具を展開することができる。シース215を通して展開される医療器具は、電磁器具センサ(および/または他の位置センサ)を備えることもできる。
【0082】
上記の通り、図19の例では、結節255が管腔ネットワーク230の周辺に位置する。これはモデルによって表現されない管腔ネットワーク230の領域内にあってもよい(例えば、管腔ネットワーク230の術前撮像、および/または図17および18に示される管腔ネットワーク130の例示的モデル150と同様、医療手技中に撮られた管腔ネットワーク230の術中画像から形成)。すなわち、結節255は、場合によっては管腔ネットワーク230のマッピングされていない部分(図18に示す管腔ネットワーク130のマッピングされていない部分135と同様)に位置することができる。別の例では、結節255が管腔ネットワーク230に隣接して位置する場合でもよく、モデル150の外側に位置してもよい。
【0083】
図20は、例示的な医療器具300の遠位端の詳細図を示す。医療器具300は、図19のシース215またはリーダ245を代表するものである。医療器具300は図1の内視鏡13、図3の尿管鏡32、図9の腹腔鏡59などを含むが、これらに限定されず、本件開示全体にわたって示す任意の医療器具を代表するものである。図20において、器具300の遠位端は、電磁器具センサを形成する、画像処理装置315、照明源310、および電磁センサコイル305の端部を含む。遠位端は生検針、細胞診ブラシ、鉗子などの手術(または医療用)器具が挿入され(例えば、器具300の近位端で)、器具シャフトに沿って前進し、器具300の遠位端または先端付近の領域へのアクセスを可能にする、器具300のワーキングチャネル320への開口部をさらに有する。
【0084】
電磁コイル305(電磁位置センサ305とも呼ばれる)は器具300の遠位端上に配置することができ、管腔ネットワーク内にあるときに器具300の遠位端の位置および向きを検出するために、電磁追跡システム(例えば、以下に記載される図21を参照のこと)とともに使用することができる。いくつかの実施形態では、コイル305が異なる軸に沿った電磁場に感応性を与えるように角度をつけることができ、開示されたナビゲーションシステムに、完全な6自由度(DoF)、すなわち3つの位置DoFおよび3つの角度DoFを計測する機能を与える。他の実施形態では、単一のコイル305がその軸が器具シャフトに沿って配向された状態で、遠位端上または遠位端内に配置されてもよい。このシステムは回転対称性があるため、単一のコイル305を配置する場合、その軸の周りの回転に対して感応性を有さず、このような実装では、5つの自由度のみを検出することができる。電磁コイル305は、ナビゲーションおよび位置決めシステム(例えば、図15のシステム90および電磁データを参照)が器具300の位置を特定または推定することができる電磁データを提供するように構成されてもよい。いくつかの実施形態では、電磁コイル305が器具300の位置を検出または特定するための他の種類の位置センサに置き換えられてもよいし、あるいは加えて用いられてもよい。
【0085】
図21は、電磁コイル305によって生成された電磁データ医療器具の位置を決定するための例示的な電磁システム400の一定の構成要素を示す。システム400は、器具300(図示せず)上に配置された電磁場発生器410および電磁コイル305を有してもよい。システム400は、患者を支持するためのテーブルを含む運用環境に実装することができる。図21には示されていないが、特定の追加のデバイス/要素を備えてもよい。例えば、この環境はまた、医療器具の移動をガイドするように構成されたロボットシステムや、手術(または医療)ロボットシステムの動作を制御するためのコマンドセンタ/コンソールや、電磁コントローラを備えてもよい。電磁コントローラはさらに、電磁場発生
器410に接続されて、電磁場を生成するための制御信号を電磁場発生器に供給することができる。特定の実施形態では、電磁コントローラが電磁場発生器410および/または環境内の他のデバイス(例えば、図1に示すカート11および/またはタワー30)を含む、システムの他の処理デバイスのうちの1つまたは複数に部分的にまたは完全に組み込むこともできる。
【0086】
電磁コントローラは、システムに組み込まれる場合は、電磁場発生器410を制御して、電磁場を生成する。電磁場は、変化する電磁場であってもよい。例えば、電磁場は、実施形態に応じて、時間的に変化する、および/または空間的に変化する電磁場であってよい。電磁場発生器410は図2に示すカート11と同様にカート上に配置することができ、あるいは1つまたは複数の支持カラムを介してテーブルのレールに取り付けることができる。他の実施形態では電磁場発生器410は、図1の手術(または医療)ロボットシステム10に示されるものと同様のロボットアームに取り付けることができ、これにより患者の周りに柔軟な設定オプションを提供し得る。
【0087】
電磁空間計測システムは電磁センサコイル、例えば、(図20に示す)電磁コイル305が埋め込まれた又は設けられた電磁場内の物体の位置を特定することができる。電磁センサは、本明細書で説明するように、制御および変化する電磁場内に配置されると、電磁センサコイルに電圧が誘導される。この誘電電圧は、電磁空間計測システムによって、電磁センサ、さらには電磁センサを有する物体の位置および向きを計算するのに使用することができる。電磁場の強さは弱く人体の組織を安全に透過できるため、光学空間計測システムにおける照準線に伴う制約なく、物体の位置計測が可能となる。
【0088】
電磁場は電磁場生成器410の座標系に対して定義することができ、管腔ネットワーク130のモデル150の座標系は電磁場の座標系にマッピング(または位置合わせ)されてもよい。したがって、電磁場内の器具上の電磁器具センサ305の位置によって特定される器具の位置はモデルの座標系内で決定することができるが、位置を決定するためにモデルに依存することはない。
【0089】
したがって、システム400は、器具の位置を決定するために位置決めシステム90によって使用することができる電磁データ93を返すことができる。上記の通り、電磁データ93は、モデル150にマッピングまたは位置合わせされた座標系内の位置を特定するために使用することができるモダリティを提供することができる。
【0090】
図20に戻ると、器具300は、解剖学的空間の一部を照明するための光を提供する照明源310を有することができる。照射源310は、それぞれ、選択された波長または波長範囲で光を放射するように構成された1つまたは複数の発光デバイスである。波長はいくつかの例を挙げると、任意の適切な波長、例えば、可視スペクトル光、赤外線、X線(例えば、蛍光透視法用)である。いくつかの実施形態では、照明源310は、器具300の遠位端に配置される発光ダイオード(LED)を含む。いくつかの実施形態では、照明源310は、遠隔光源、例えば、X線発生器から遠位端を通って光を伝達するために、器具300を通って延在する1つ以上の光ファイバを有してもよい。例えば、遠位端は、互いに同じまたは異なる波長の光を放射するように構成された複数の照明源310を有してもよい。
【0091】
画像処理装置315は受光を表すエネルギーを電気信号に変換するように構成された任意の感光性基板または構造、例えば、電荷結合素子又は相補型金属酸化膜半導体画像処理装置を含む。画像処理装置315のいくつかの例は、器具300の遠位端から、器具300の遠位端の近傍に配置された接眼レンズおよび/または画像センサに、画像を表す光を伝送するように構成された、1つまたは複数の光ファイバ、例えば、光ファイババンドル
を含む。画像処理装置315は、様々な光学設計に用いられる、1つまたは種々のレンズおよび/または波長通過フィルタまたはカットオフフィルタをさらに含む。照明源310から放射された光により、画像処理装置315は、例えば患者の管腔ネットワークの内部の画像を取得することができる。そして、これらの画像は個々のフレームまたは一連の連続するフレーム(例えば、ビデオ)として、例えば、図22に示すコマンドコンソール500などのコンピュータシステムまたはその構成要素に送信することができる。
【0092】
図22は、本明細書で説明するシステムの特定の実装形態で使用することができる例示的なコマンドコンソール500を示す。図示のように、いくつかの実施形態では、コマンドコンソール500がコンソールベース501と、ディスプレイ502(例えば、1つまたは複数のモニタ)と、1つまたは複数の制御モジュール(例えば、キーボード503および/またはジョイスティック504)とを備える。ユーザ505(例えば、医師)はコマンドコンソール500を使用して(例えば、人間工学的な位置から)、ロボットシステムおよび/または関連するシステム/サブシステム(例えば、図1~15を参照して説明したシステム)を遠隔制御することができる。例えば、ユーザ505は、患者の管腔ネットワーク内で器具をナビゲートするためにコマンドコンソール500を使用することができる。コマンドコンソール500は、管腔ネットワークのナビゲーションを支援するために使用することができる情報をユーザ505に表示することもできる。
【0093】
ディスプレイ502は、電子モニタ(例えば、LCDディスプレイ、LEDディスプレイ、タッチセンシティブディスプレイ)、表示装置(例えば、ゴーグルまたは眼鏡)、および/または他の表示装置(例えば、表示装置による仮想現実)を含む。いくつかの実施形態では、ディスプレイ502のうちの1つまたは複数が、患者の管腔ネットワーク130のモデル150を表示する。ディスプレイ502はまた、管腔ネットワーク130内の器具上に配置されたカメラまたは別の感知デバイスから受信した画像情報を表示することができる。いくつかの実施形態では、器具のモデルまたは表現が手術手技または医療手技の状態の表示を支援するように、モデル150と共に表示される。
【0094】
いくつかの実施形態では、コンソールベース501が中央処理装置(CPUまたはプロセッサ)、メモリユニット(コンピュータ可読メモリ)、データバス、および、例えば、患者の管腔ネットワーク内に配置された医療器具からの、カメラ画像および追跡センサデータなどの信号を解釈および処理する関連データの通信ポートを含む。いくつかの例では、本明細書で説明する器具のナビゲーションおよびターゲットのための方法がコンソールベース501のプロセッサによって実行される。コンソールベース501は、制御モジュール503、504を介してユーザ505によって提供されるコマンドおよび命令を処理することもできる。一例では、図22を参照しながら説明したように、制御モジュール503はキーボードを備えてもよく、制御モジュール504はコントローラを備えてもよい。制御モジュールは、コンピュータマウス、トラックパッド、トラックボール、制御パッド、ハンドヘルド遠隔制御デバイスなどの制御デバイス、および手のジェスチャおよび指のジェスチャを捕捉するセンサ(例えば、モーションセンサまたはカメラ)などの他のデバイスを含んでもよい。コントローラは、器具の動作(例えば、関節動作、駆動、灌流等)にマッピングされた一組のユーザ入力(例えば、ボタン、ジョイスティック、方向パッド等)を含む。コンソールベース500の制御モジュール503、504を使用して、ユーザ505は、管腔ネットワーク130を通して器具をナビゲートすることができる。制御モジュール503および504のうちの1つまたは複数は、例えば触覚エンジンを介してユーザに触覚フィードバックを提供するように構成することもできる。
【0095】
(C. スケルトンベースの管腔ネットワークのモデリングおよびナビゲーションの例)
図23は、管腔ネットワークの一部分のスケルトンベースのモデルを示す。具体的には、スケルトンベースのモデル150は、管腔ネットワーク130が「スケルトン」154
としてモデル化される実施形態を示し、これは複数の別個のセグメント152を含む。位置決めシステム90(図15を参照)は、図23に示すモデル150を用いて、医療器具の遠位端の位置および向きを計算することができる。モデルの各セグメント152には、一意の「セグメントID」を割り当てることができ、スケルトン154を形成するセグメント152の各々は管腔ネットワーク130のモデル150における対応する管腔(例えば、図16の管腔132)の中心線に対して定義することができる。特定の医療手技において、医療器具は、医療手技の少なくとも一部において、管腔ネットワーク130を通ってナビゲートすることもできる。したがって、医療器具の遠位端がモデル150によって定義される体積内にある間、医療器具の遠位端の位置は、スケルトン154に沿った点として位置決めシステム90によって推定されることができる。
【0096】
システムは、スケルトン154を含むモデル150を使用して、医療器具の遠位端の位置を定義することができる。例えば、この位置は、医療器具の遠位端が配置される(管腔ネットワーク130の)管腔132に対応するセグメント152を識別し、セグメント152に沿った医療器具の遠位端の深さを決定することによって定義することができる。したがって、医療器具の遠位端の位置は2つの情報、すなわち、セグメント152のセグメントIDおよびセグメント152に沿った遠位端の深さによって定義され得る。システムは、識別されたセグメント152に沿っているものとして医療器具の遠位端の位置を計算することができる。管腔の直径は、アクセスポイント付近では医療器具の直径よりも大きくても、医療器具が管腔ネットワーク130内にさらに前進した場合、セグメント152の各々に対応する気道分岐の管腔の直径が医療器具の直径と同程度になることがある。したがって、医療器具の遠位端のための位置としてスケルトン154に沿った点を選択すると、ナビゲーションのために十分な精度を提供しうる。医療器具の遠位端の向きは、例えば、医療器具内に配置された形状感知ファイバによって生成される電磁位置センサ305のデータを使用して計測された電磁データの位置/向きデータを使用して特定することもできる。
【0097】
図24Aは、本件開示の態様による、医療器具のナビゲーションのための1つまたは複数のビューを描画するための、手術ロボットシステムまたはその構成要素によって動作可能な例示的な方法を示すフローチャートである。例えば、図24Aに示される方法600のステップは、手術ロボットシステムのプロセッサによって実行されてもよい。便宜上、方法600は、システムのプロセッサによって実行されるものとして説明する。
【0098】
方法600は、ブロック601から開始する。プロセッサは、細長い本体および少なくとも1つのセンサ(例えば、図20の電磁センサ305)を有する医療器具(例えば、図20の器具300)と、ディスプレイと、プロセッサと、管腔ネットワークのマッピングされた部分のモデル(例えば、図17、18または23のモデル150)およびモデルに対するターゲットの位置を記憶するメモリとを有するシステムの一部として含まれてもよい。ブロック605において、プロセッサは、少なくとも1つのセンサからのデータに基づいて、モデルに対する医療器具の遠位端の位置および向きを特定する。ブロック610において、プロセッサはディスプレイの少なくとも一部に、モデル、ターゲットの位置、および医療器具の遠位端の位置および向きの描画を行う。描画は、ターゲットを向くビューポイントであって、医療器具のビューポイントとは異なるビューポイントに基づくことができる。方法600は、ブロック615で終了する。
【0099】
図24Bは、本件開示の態様による、スケルトンベースのモデルを使用して管腔ネットワーク内の医療器具の位置を決定するための別の例示的な方法を示すフローチャートである。方法650は、図1~15などに示すロボットシステムなど、特定のロボットシステムに実装することができる。方法650は、図15のナビゲーションまたは位置決めシステム90などのナビゲーションシステム内においてあるいはナビゲーションシステムによ
って実装することができる。いくつかの実施形態では、1つまたは複数のコンピュータデバイスが方法650を実行するように構成することができる。計算装置は、上記の1つ以上の構成要素における、プロセッサ(またはプロセッサ)およびコンピュータ読み取り可能メモリによって実現することができる。コンピュータ可読メモリは、方法650を実行するためにプロセッサによって実行可能な命令を記憶することができる。命令は、1つ以上のソフトウェアモジュールを含むことができる。限定ではなく例示として、計算装置は、図1に示すタワー30、図1~4に示すカート、図5~10に示すベッド、図22に示すコマンドコンソール500、図22に示す1つまたは複数のディスプレイ502に設けることができる。
【0100】
方法650は、ブロック651から開始する。例えば、方法650は、医療器具が例えば、図18に示すように、管腔ネットワーク130を通ってナビゲートされるときに実行できる。したがって、方法650は、いくつかの実施形態では、医療器具が管腔ネットワーク130に導入されるときに起動されてもよい。いくつかの実施形態において、方法650は例えば、ユーザ入力またはコマンドが受信されたときに、手動でトリガされてもよい。いくつかの実施形態では、方法650が医療器具の遠位端が管腔ネットワーク130のマッピングされた部分(例えば、モデル150などのモデル内)と共に配置されるときに実行される。上述のように、方法650は分岐管腔ネットワーク(気管支ネットワーク、腎臓ネットワーク、循環器ネットワーク(例えば、動脈および静脈)など)および非分岐(例えば、単一の管腔)管腔ネットワーク(例えば、胃腸管、尿管など)を含む、種々の管腔ネットワークのナビゲーションに適用することができる。
【0101】
方法650は、管腔ネットワーク130のモデル150内の医療器具の遠位端の位置を特定することを含む。モデル150は複数のセグメント(例えば、セグメント152)を含むスケルトン(例えば、スケルトン154)を有してもよい。セグメントのそれぞれは、管腔ネットワークのマッピングされた部分の対応する管腔の中心線に対して定義することができる。スケルトン154を有するモデル150は、管腔ネットワーク130の術前(および/または術中)画像(例えば、CTスキャン)に基づいて構築することができる。ブロック655において、システムは、医療器具の遠位端が位置するセグメントを識別する。システムは1つ以上の種類の入力データ(例えば、モデルデータ91、視覚データ92、電磁データロボットコマンドおよび運動学データ94)を使用して、医療器具の遠位端の状態(例えば、セグメントIDおよびセグメントに沿った深さ)を特定することができる。医療器具の遠位端の位置および/または向きは、その状態に基づいて特定することができる。
【0102】
ブロック660で、システムは、ブロック655で識別されたセグメントのスケルトンに沿って医療器具の遠位端の深さを特定することができる。一実施形態では、システムがロボットコマンドおよび運動学データ94に基づいて患者に挿入された医療器具の長さを計算し、アクセスポイントから識別されたセグメントまでの計算された経路に沿って医療器具の遠位端の深さを特定することができる。そして、システムは、経路および深さデータに基づいて、識別されたセグメントに沿った医療器具の遠位端の深さを特定することができる。他の実施形態では、医療器具の遠位端の深さは経路データを使用せずに、モデルデータ91、視覚データ92、電磁データロボットコマンドおよび運動学データ94に基づいて識別されてもよい。ブロック665において、システムは、識別されたセグメントおよび特定された深さに基づいて、医療器具の遠位端の位置を特定することができる。医療器具の遠位端の位置は、特定された深さで識別されたセグメントのスケルトンに沿うように特定することができる。特定の実施形態では、医療器具の遠位端の位置がモデルによって定義される体積内にあると特定することに応じて、システムは、医療器具の遠位端の特定された位置を、スケルトンに沿った位置となるように制限できる。方法650は、ブロック670で終了する。
【0103】
スケルトンベースのモデル150に基づいて特定された位置は、ナビゲーション関連のターゲットにおけるさまざまな実施例に用いることができる。例えば、システムは、医療器具の遠位端の特定された位置およびターゲットの位置に基づいて、医療器具の遠位端とターゲットとの間の距離を特定してもよい。ターゲットの位置は、術前CTスキャンに基づいて特定されるか、または管腔ネットワークの術中CTスキャンに基づいて手術ロボットシステムのユーザによって選択される。例えば、システムは、医療器具の遠位端の位置とターゲットの位置との間のユークリッド距離を特定することができる。
【0104】
以下でより詳細に説明するように、システムは、ディスプレイに、モデルに対する医療器具の遠位端の位置を描画することができる。上記の通り、医療器具の遠位端の描画された位置は、管腔ネットワークのスケルトンベースのモデルを使用して特定された位置に基づくことができる。
【0105】
スケルトンベースのナビゲーションの使用に関する本件開示の特定の側面は、医療器具の遠位端が管腔ネットワークのモデル内に位置する場合に、医療器具の遠位端の位置を特定する際のシステムの精度を向上させることができる。例えば、図15を参照しながら説明するように、位置決めシステム90は医療器具の遠位端の位置を特定するために、複数の種類の入力データ(例えば、モデルデータ91、視覚データ92、電磁データ93、および/またはロボットコマンドおよび運動学データ94)を使用することができる。スケルトン上に配置される医療器具の遠位端の位置を推定することによって(例えば、モデル内の識別されたセグメントに対する位置および識別されたセグメントの中心線に沿った深さを定義することによって)、スケルトンベースのモデルを使用しない医療器具の遠位端の位置の推定における誤差を低減することができる。上記の通り、これは、医療器具の遠位端が管腔ネットワークのマッピングされた部分内にあるときに、医療器具の遠位端が管腔ネットワーク内に位置する可能性が高いことに起因する。
【0106】
スケルトンベースのモデルを使用することによって補正できる誤差の1つの潜在的な原因は、組織の変形による誤差である。例えば、管腔がそのマッピングされた位置(これは手術前に特定され得る)から変形する場合、管腔の一部の位置は管腔の一部のマッピングされた位置から変位する可能性がある。このような変形は、医療器具および/または自然の生物学的方法から管腔に加わる力によって生じ得る。変形時に、入力データは、医療器具の遠位端の位置が管腔ネットワークの外側に移動したことを示す。モデルのスケルトンに沿って配置される医療器具の遠位端の位置を推定することによって、このような変形の誤差を低減することができる。
【0107】
スケルトンベースのモデルに加えて、医療器具の遠位端を位置決めする際に複数の種類の入力データを使用することは、単一種類の入力データを使用する位置決め方法以上の改善をもたらすことができる。しかしながら、本件開示の側面は、単一種類の入力データを使用する位置決めシステムにも適用することができる。単一の入力データを用いるシステム(例えば、電磁のみのシステム、視覚のみのシステム、または形状感知ファイバなど)は、上記の歪み誤差の種類などの特定の誤差の影響を受けやすい場合がある。このような単一の入力データを用いるシステムをスケルトンベースのモデルと組み合わせることによって、これらの誤差を低減することができる。特定の実施形態では、システムは、単一のセンサ(例えば、電磁センサまたは形状感知ファイバ)から受信されたデータのみに基づいて、医療器具の遠位端を表す位置データを特定するように構成することができる。
【0108】
(D.医療器具ナビゲーションのための描画されたビューの例)
図25は、本件開示の態様による、ロボットシステムのユーザにナビゲーションフィードバックを提供するために表示される描画された画像の例を示す。図25に示す画像70
0は、図22に示すディスプレイ502などのディスプレイ上に描画することができる。他の実施形態では、画像700はまた、プロジェクタ(例えば、ホログラフィック画像プロジェクタ)、ウェアラブルディスプレイ(例えば、拡張現実(AR)メガネまたは仮想現実(VR)ヘッドセットなどのヘッドマウントディスプレイ)、3Dモニタ(例えば、高周波モニタ)など、1つまたは複数の他のディスプレイ技術を使用して描画されてもよい。特定のロボット手術システムは1つ以上の描画された画像を提供して、位置および/またはガイド情報をシステムのユーザに提供し、医療手技中の医療器具のナビゲーションを支援することができる。図25の例では、描画された画像が第1~第5のビュー705~725を有し、それぞれのビューは位置および/またはナビゲーションガイド情報を提供する視覚情報を描画することができる。描画された画像700には5つのビュー705~725が示されているが、任意の数のビューを描画することができ、特定の実装において、位置、サイズ、ビューの数などをユーザが選択または変更することができる。
【0109】
第1のビュー705~第5のビュー725のうちの1つまたは複数は、術前データおよび/または術中データに基づいて生成され得る。例えば、ビュー705~725のうちの2つが、管腔ネットワークのスキャンを提供し、管腔ネットワーク内の医療器具の少なくとも一部の位置を表すことができる。そして他のビューは、図20の画像処理装置415などの医療器具上に配置された画像処理装置で取得された画像の描画されたビューを提供することができる。スキャンおよび/または画像処理装置による取得画像は、医療器具の遠位端の位置の実質的にリアルタイムの表現をユーザに提供することができる。
【0110】
本件開示の態様は、管腔ネットワーク、医療器具、および/または対象のモデルに基づいて仮想的に描画される追加の画像の描画に関する。上記の通り、システムは管腔ネットワークの術前および/または術中スキャンに基づいて、管腔ネットワークのモデル(例えば、図17図18または図23のモデル150)を生成することができる。さらに、システムは1つ以上の種類の入力データ(例えば、モデルデータ91、視覚データ92、電磁データロボットコマンドおよび運動学データ94)に基づいて、医療器具の遠位端の位置を特定することができる。したがって、モデルの視覚的な表現、医療器具の遠位端の位置および/または向き、ならびにターゲットはディスプレイの少なくとも一部分(例えば、描画された画像700内の第1のビュー705~第5のビュー725のうちの1つ)に表示するために描画することができる。
【0111】
さらに、ナビゲーションを支援するために、テキスト情報および/または視覚情報をディスプレイの一部に重畳することができる。例えば、医療器具の遠位端の決定された位置および向き、ならびに対象の位置に基づいて、システムは医療器具の遠位端と対象との間の距離、および医療器具の挿入方向と対象との間の角度のうちの1つまたは複数を決定し、表示することができる。提供され得る付加情報のタイプの実施形態は、以下で詳細に説明される。
【0112】
システムのユーザは、入力装置800を使用して、医療器具の移動を制御するためのおよび/または描画された画像700の1つまたは複数の側面を調整するための、命令を提供することができる。図26は、本件開示の態様による、ユーザからの入力を受信するために使用される入力装置の例を示す。入力装置800(例えば、コントローラ)は、複数のユーザ入力要素805~815を備えることができる。ユーザ入力要素805および810は、医療器具の遠位端を前進/後退および/または関節動作させるための命令など、医療器具の遠位端の移動に関連するユーザ入力命令を受信するように構成することができる。ユーザ入力要素815は、ディスプレイ上に描画された1つ以上のビューを修正するためのユーザ入力命令を受信するように構成されてもよい。
【0113】
図26の例では、ユーザ入力要素815は、ユーザによって作動されるように構成され
たボタンである。しかし、他の実施形態では、1つまたは複数の軸を有するジョイスティック、トリガボタンなどの他の種類の入力要素を備えもよい。手術ロボットシステムを使用する場合においては、より単純化された制御スキームによって、ユーザの認知負荷を低減し、ユーザが、医療手技の間にシステムを制御するような、手技の重要な側面に集中できるようになる。例えば、ユーザは、ユーザ入力要素805および810を使用して、医療器具の遠位端の移動を制御することができる。したがって、ディスプレイ内に描画された一定のビューの選択または変更を単一のボタンとリンクさせることで、ユーザが、医療器具の移動の制御と、表示されたビューの変更とを混同する可能性を低下させることができる。したがって、一定の実施形態では、ディスプレイ上に描画された1つまたは複数のビューの変更を、ユーザ入力要素815を用いた特定の種類のユーザインタラクションにマッピングすることができる。可能な種類のユーザインタラクションの例としては、第1の閾値期間より短い間のユーザ入力要素815の作動、第1の閾値期間より長い間のユーザ入力要素815の作動、第2の閾値期間内の2回のユーザ入力要素815の作動などが挙げられる。他の実装では、複数のユーザ入力要素を含み、各ユーザ入力要素が、描画されたビューを修正するための1つ以上の命令にマッピングされる。
【0114】
図27は、本件開示の態様による、医療手技中に表示される描画されたビューの例を示す。特に、ビュー900は、管腔ネットワークのモデル905内の医療器具の遠位端910の相対位置の視覚化を提供するために、ディスプレイの少なくとも一部に描画されてもよい。描画されたビュー900はまた、ターゲット920(例えば、生検手技におけるターゲットである結節)を含むことができる。ターゲット920はモデル905の内部又はそれに隣接する領域であってもよく、医療手技はターゲット920の閾値距離内で医療器具の遠位端910を駆動させることを含む。生検の例においては、1つ以上の道具(例えば、生検針など)がターゲット920から閾値距離内にあるときにターゲット920から1つ以上の組織サンプルを回収するために、医療器具から展開されてもよい。この例では、ターゲット920が患者の肺内の病変または結節であってもよい。
【0115】
上記の通り、モデル905およびターゲット920は管腔ネットワークの術前および/または術中スキャン(例えば、CTスキャン、MRIなど)に基づいて生成することもできる。特定の医療手技では、医療器具がターゲット920の閾値距離内まで管腔ネットワークをナビゲートするように構成された細長い本体を有することができる。医療器具は、医療器具の遠位端910またはその近くに配置され、出力信号を生成するように構成された、少なくとも1つのセンサ(例えば、電磁センサコイル305および/または画像処理装置415、図20を参照)を有してもよい。システムは、少なくとも1つのセンサからの信号出力に基づいて、医療器具の遠位端910の位置を示すデータを生成するように構成されてもよい。システムは、位置データに基づいて、モデル905に対する医療器具の遠位端910の位置および/または向きを特定するように構成されてもよい。特定の実施形態では、上記の通り、システムが、管腔ネットワークのスケルトンベースのモデルに基づいて、医療器具の遠位端910の位置および/または向きを特定することができる。したがって、システムは、モデルの識別されたセグメントと、識別されたセグメントのスケルトンに沿った医療器具の遠位端910の特定された深さとに基づいて、医療器具の遠位端910の位置を特定することができる。
【0116】
次に、システムは、ディスプレイの少なくとも一部に、モデル905、ターゲット920の位置、ならびに医療器具の遠位端910の位置および向きの描画を行うことができる。このような描画の一例を図27に示す。ある実施形態では、描画は、医療器具のビューポイントとは異なるターゲット920を向くビューポイントに基づく。本明細書において、用語「ビューポイント」は、概して、描画された画像に対する位置であって、当該位置から描画された画像が見られる位置のことを意味する。
【0117】
一例では、描画された画像は、医療器具の遠位端910の中心ではなく、ターゲット920の中心に配置されてもよい。上記の通り、描画は、医療器具の遠位端910上に配置された画像処理装置によって取得された画像などの他のビューに加えて、ディスプレイの一部に表示されてもよい。医療手技を補完する視覚化を、画像処理装置によって取得された画像に提供するため、描画されたビュー900を、医療器具の遠位端910に対して「第三者」視点のビューポイントから生成することもできる。この例では、画像処理装置によって取得された画像を、医療器具の遠位端910の視野の「一人称」視点のビューポイントとみなすこともできる。
【0118】
モデル905の形状に起因して、描画されたビュー900が生成される視点は、描画されたビュー900内で見えるオブジェクトに影響を及ぼし得る。例えば、視点により近いモデル905の部分は、より近い部分の背後に位置する他のオブジェクトの視界を妨げることがある。ユーザが医療器具またはターゲットを駆動しようとするモデル905の部分が視界から遮られている場合、描画されたビュー900は、ユーザが医療器具をナビゲートするのを支援しない場合がある。したがって、システムはユーザ入力要素(例えば、図26のユーザ入力要素815)の作動に基づいて、描画された画像900の視点を修正して、障害物を視野に入れるように構成されてもよい。別の実施形態では、システムがモデル905の一部分が1つまたは複数の他の描画されたオブジェクトのビューを妨害するときに、モデル905の少なくとも一部分を半透明(または代替的に完全に透明)に描画するように構成され得る。
【0119】
一実施形態では、システムがユーザ入力要素を介して、ユーザ入力要素との第1の種類のユーザインタラクションを受信するように構成されてもよい。次に、システムは、ユーザ入力要素との第1の種類のユーザインタラクションに基づいて、第1の種類の描画命令を生成することができる。第1の種類の描画命令の生成に応じて、システムはディスプレイの一部に、モデルの変更されたビュー、ターゲットの位置、および医療器具の遠位端の位置および向きの描画を行うことができる。
【0120】
特定の実施形態では、システムがファジー論理または機械学習などのアルゴリズムを使用して、モデルのビューを変更するための方法を自動的に選択することができる。例えば、システムは医療手技中に特定のビューポイントに対するユーザの好みを特定するために、医療手技中にユーザの入力を用いることができる。いくつかの実施形態では、システムがユーザごとにビューポイントを適応的に調整することができ、これにより、描画された画像をどのように調整または変更するかを特定するために、現在のユーザのための以前の入力のみを使用することができる。他の実施形態では、システムは、複数のユーザのユーザアクションを推論し、ユーザ入力データをプールして、変更されたビューを自動的に生成するために使用するグローバル統計を生成することができる。グローバル統計およびユーザ固有統計に対しては、ユーザのプールからの特定の統計を追加的に組み込むユーザ固有アルゴリズムを作成するために、重み付けがされてもよい。
【0121】
上記の通り、システムは、ユーザがユーザ入力要素との対話において、複数の異なる種類のユーザインタラクションを検出することができる。システムは、ユーザ入力要素とのそれぞれの種類のユーザインタラクションを、描画されたビュー900の異なる変更にマッピングすることができる。例えば、システムは、ユーザ入力要素との検出可能な各種ユーザインタラクションに対応する種々の種類の描画命令を生成することができる。したがって、システムは、ユーザ入力要素との第1の種類のユーザインタラクションに応じて、第1の種類の描画命令を生成することができる。
【0122】
一実施形態では、第1の種類の描画命令がターゲットを向くビューポイントを回転させるための回転命令を含むことができる。変更されたビューには、ターゲットを回転の中心
とした、モデルの回転されたビュー、ターゲットの位置、医療器具の遠位端の位置および向きが含まれてよい。したがって、描画されたビュー900のビューポイントを、回転命令に応じてターゲットの周りに回転することができる。
【0123】
図28A~28Dは、本件開示の側面における、回転命令に基づいて生成された一連の変更された描画ビューを示す。一実施形態では、第1の種類のユーザインタラクションは、ユーザが閾値期間よりも長い間ユーザ入力要素を作動させることを含む。例えば、ユーザは閾値期間よりも長い間、ボタンを押す(例えば、押し下げる)。そして、ボタンが閾値時間よりも長い間作動されると、システムは、描画されたビューのビューポイントの回転を開始する。システムは、ボタンが作動されている間、描画されたビューを回転し続ける。そして、ボタンが解除されると、システムは、描画されたビューのビューポイントの回転を停止する。
【0124】
図28A~28Dに示すように、回転命令に応じて生成された描画ビューのそれぞれは、ビューが回転するように構成されたターゲットを通過する回転軸と所定の角度を形成するビューポイントを有するように生成することができる。例えば、図28A~28Dに示すように、ターゲットを原点とする座標系を定義することができる。図28A~28Dの各ビューは、ターゲットの中心を通る回転軸周りに回転させることができる。さらに、各描画ビューにおけるビューポイントは、ビューポイントが回転する軸と同じ角度を形成することができる。
【0125】
しかしながら、図28A~28Dの例では、ビューポイントと基準面との間の角度は一定であるため、一定の障害物については、回転命令だけを使用して描画された画像内では判別しにくい場合がある。したがって、システムは、ユーザ入力要素との第2の種類のユーザインタラクションを検出することができる。例えば、システムは、ユーザ入力要素との第2の種類のユーザインタラクションに基づいて、第2の種類の描画命令を生成することができる。いくつかの実装形態では、第2の種類の描画命令が回転軸とターゲットを向くビューポイントとの間の角度を変更する昇降(上下移動)命令を含む。第2の種類の描画命令の生成に応じて、システムは、ディスプレイの一部に、回転軸とターゲットを向くビューポイントとの間の角度が変更されたモデルの描画を行うことができる。
【0126】
図29Aおよび図29Bは、本件開示の側面による、昇降命令に基づいて生成された一連の変更された描画ビューを示す。一実施形態では、第2の種類のユーザインタラクションは、ユーザが閾値期間より短い間ユーザ入力要素を作動させることを含む。例えば、ユーザは、ボタンを押して閾値期間が経過する前にボタンを開示する場合がある。システムは、第2の種類のユーザインタラクションを検出すると、システムは、描画ビューのビューポイントの昇降の変更を開始することができる。システムは、第2の種類のユーザインタラクションを検出するたびに、2つ以上の所定の仰角の間で切り替えてもよい。
【0127】
また、システムは、ユーザ入力要素との第3の種類のユーザインタラクションを検出することもできる。例えば、第3の種類のユーザインタラクションは「ダブルクリック」タップ、または同様のジェスチャであってもよく、ここで、ボタンの作動期間は閾値期間内である(第1および第2の種類のユーザインタラクションを検出するために用いられる閾値とは異なる閾値であってよい)。図30は、本件開示の側面による視野切り替え命令に基づいて生成される、変更された描画ビューを示す。例えば、システムは、「第三者」の視点の描画ビュー(図27~29に示す)を、医療器具の遠位端のビューポイントからの「一人称」の視点の描画ビューに切り替えることができる。システムは、ユーザ入力要素との第3の種類のユーザインタラクションに基づいて、第3の種類の描画命令を生成することができる。第3の種類の描画命令は、描画されたモデルの表示されたビューポイントを切り替える視野切り替え命令を含む。ビューポイントの切り替えは、現在のビューポイ
ント(例えば、医療器具のビューポイントとは異なるビューポイント)から医療器具のビューポイントに、ビューポイントを変更することを含む。第3の種類の描画命令の生成に応じて、システムは、ディスプレイの一部に、医療器具のビューポイントからのモデルの描画を行うことができる。他の実施形態では、システムは、第1の種類のユーザインタラクション(例えば、閾値期間よりも長い間ユーザ入力要素を作動させること)を検出することに応じて、「第3者」の視点の描画ビューと「一人称」の視点の描画ビューとの間で切り替えることができる。
【0128】
医療器具のビューポイントに基づいて描画された画像は、医療器具の遠位端に配置された画像処理装置によって取得された画像に対応する、管腔ネットワークの内部の視覚的表現をユーザに提供することができる。特定の状況では、画像処理装置によって生成される画像が、管腔ネットワークの形状が原因で、および/または照明源から照射されて画像処理装置に戻る光の反射が不十分であることが原因で、および/または画像処理装置の視界を遮る物質(例えば、血液、汚れ、病理など)が存在することが原因で、システムのユーザに判別しにくい場合がある。したがって、ユーザは、医療器具の遠位端の視点からのモデルの描画を参照して、画像処理装置によって取得される画像に照らし合わせることで、ナビゲーションに役立てることができる。
【0129】
また、システムは、医療器具のナビゲーションを支援するために、1つ以上の描画された画像に重畳された追加の視覚化および/またはテキストによる説明を提供することもできる。図31は、本件開示の側面による、医療手技中に表示される描画ビューのさらに別の例を示す。描画された画像1000は、医療器具の遠位端910と、医療器具の現在の挿入方向に沿ったターゲット920の表面(「境界面」または単に「境界」とも称する)との間の距離の第1の表示1005を含む。描画された画像1000は、医療器具の電流挿入方向に沿ったターゲット920の厚さの第2の表示1010も含む。第1の表示1005および第2の表示1010は、医療器具の現在の挿入方向に沿って生検を行うための医療器具の遠位端910の位置の適合性に関する情報をユーザに提供することができる。他の実施形態では、第1の表示1005が医療器具の遠位端910とターゲット920内の最も密度の高い位置との間の距離を表す。図に示す実施形態では、システムは、ターゲット920の位置を示すテキストラベル「T1」をさらに描画することができる。
【0130】
システムは、描画されたモデル上にグラフィカルインジケータ1015を描画することもできる。例えば、システムは、医療器具の遠位端910の位置および向きに基づいて、医療器具の遠位端910から医療器具の現在の挿入方向に延伸するグラフィカルインジケータ1015の描画を行うことができる。特定の実施形態では、システムは、医療器具の遠位端910がターゲット920の閾値距離内にあることに応じて、グラフィカルインジケータを描画することができる。また、システムは、少なくとも1つのセンサからのデータに基づいて、医療器具の遠位端910の位置および向きのうちの少なくとも1つの変化を特定し、医療器具の遠位端910の位置および向きのうちの少なくとも1つの変化を特定することに応じて、システムは、グラフィカルインジケータ1015がターゲット920と交わることを特定することができる。
【0131】
システムは、その線がターゲット920と交わることと特定したことに応じて、グラフィカルインジケータ1015に対する変化を描画することができる。一例では、システムは、グラフィカルインジケータ1015がターゲット920の部分と交わるか否かに基づいて、グラフィカルインジケータ1015の色を変更することができる。この色の変更は、挿入方向がターゲット920と整列しているという視覚的表示をユーザに提供することができる。医療器具がターゲット920と整列し、ターゲット920の閾値距離内にあるときに、例えば、医療道具が医療器具の遠位端910から展開されて、ターゲット920の生検を行うことができる。
【0132】
システムは、グラフィカルインジケータ1015がターゲット920の特定の部分と交わることに応じて、グラフィカルインジケータ1015の色を変更してもよい。例えば、ユーザは、ターゲット920の一部を選択して生検を行うこともでき、ターゲット920の中心を選択して生検を行うこともできる。したがって、グラフィカルインジケータ1015がターゲット920の選択された部分と交わるときに、システムは、グラフィカルインジケータ1015の表示された色を変更することで、ターゲット920の選択された領域の生検にために医療器具が適切に配置されていることを信号で伝えることができる。ある場合においては、ターゲット920は、より大きい主本体部と、主本体部に結合されたより小さい2次本体部とを含む、均一ではない形状である場合がある。主本体部は、2次本体部よりも大きな体積を有する。2次本体部の体積が閾値体積未満であると、2次本体部の生検を行うために医療器具を整列させることができない場合がある。したがって、システムは、主本体部の中心に対してターゲット920の中心を定義することができる。そして、システムは、グラフィカルインジケータ1015が主本体部の中心と交わることに応じて、グラフィカルインジケータ1015の色を変更することができる。
【0133】
図31に示す実施形態では、グラフィカルインジケータ1015が医療器具の遠位端910から延伸する線であってもよい。ただし、他の実施形態では、グラフィカルインジケータが円柱、円錐、医療器具によって尖った表面上の投影点または他の形状、または他の適切な任意のインジケータとすることができる。さらに、これらのインジケータのそれぞれは、任意の適切な色、シェーディング、またはパターン(例えば、点線または破線)を用いて描画されてもよい。図32は、本件開示の側面による、医療手技中に表示される円錐形状のグラフィカルインジケータを有する描画ビューの別の例を示す。上記の通り、図32の実施形態では、グラフィカルインジケータ1020は円錐である。円錐は円錐の開口径を定義する所定の角度で形成され、開口は医療器具の遠位端910の向きの推定誤差範囲に基づく。本明細書は、円錐の開口径は、概して、円錐の側面間の最大角度、または円錐の軸と円錐の側面との間の角度の2倍を指す。例えば、システムは、医療器具上に配置された1つ以上の電磁センサを使用して検出された電磁データに基づいて、医療器具の遠位端910の向きの推定誤差を特定することができる。したがって、計測された向きの誤差は、推定誤差に基づいて円錐の開口径を変更することによってユーザに伝達され得る。他の実施形態では、円錐1020の開口径は、医療器具の遠位端910とターゲット920との間の距離に関連し得る(また、当該距離に従って調節され得る)。例えば、円錐の開口径は、医療器具の遠位端910とターゲット920との間の距離が短くなるについて小さくなってもよい。
【0134】
(3.システムの実装および用語)
本明細書に開示される実施形態は、医療器具のナビゲーションおよびターゲット用のシステム、方法、および装置を提供する。
【0135】
本明細書で使用される用語「結合する」、「結合する」、「結合される」、または単語対の他の変更は間接接続または直接接続のいずれかを示すことができ、例えば、第1の構成要素が第2の構成要素に「結合される」場合、第1の構成要素は、別の構成要素を介して第2の構成要素に間接的に接続されるか、または第2の構成要素に直接接続されることができることに留意されたい。
【0136】
本明細書で説明する特徴類似度計算、位置推定、およびロボット動作作動機能は、プロセッサ可読媒体またはコンピュータ可読媒体上に1つまたは複数の命令として格納することができる。用語「コンピュータ可読媒体」は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM(ランダムアクセスメモリ)、ROM(リードオンリメモリ)、EEPROM
(電気的消去可能プログラマブルリードオンリメモリ)、フラッシュメモリ、CD-ROM(コンパクトディスクリードオンリ)または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の様式で所望のプログラムコードを格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意されたい。本明細書で使用されるように、用語「コード」は、計算装置またはプロセッサによって実行可能なソフトウェア、命令、コード、またはデータを指すことができる。
【0137】
本明細書で開示される方法は、説明される方法を達成するための1つまたは複数のステップまたはアクションを備える。方法のステップおよび/またはアクションは、代替形態の範囲から逸脱することなく、互いに交換することができる。言い換えれば、ステップまたはアクションの特定の命令が説明されている方法の適切な動作のために必要とされない限り、特定のステップおよび/またはアクションの命令および/または使用は、代替の範囲から逸脱することなく修正され得る。
【0138】
本明細書で使用される場合、用語「複数」は2つ以上を意味する。例えば、複数の構成要素は2つ以上の構成要素を示す。用語「特定すること」が多種多様なアクションを包含し、したがって、「特定すること」は計算すること、計算すること、処理すること、導出すること、調査すること、参照すること(例えば、テーブル、データベース、または別のデータ構造を参照すること)、確認することなどを含むことができ、「特定すること」は受信すること(例えば、情報を受信すること)、アクセスすること(例えば、メモリ内のデータにアクセスすること)などを含むことができる。また、「特定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含むことができる。
【0139】
「に基づく」という語句は特に断らない限り、「のみに基づく」という意味ではない。言い換えれば、「に基づく」という語句は、「のみに基づく」および「少なくともに基づく」の両方を表す。
【0140】
開示された実施形態の上記の説明は、当業者が本件開示を実現または使用することを可能にするために提供される。これらの実装に対する様々な修正は当業者には容易に明らかであり、本明細書で定義される一般的な原理は、本件開示の範囲から逸脱することなく、他の実装に適用することができる。例えば、当業者は、工具構成要素を固定、取り付け、結合、または係合する等価な方法、特定の作動運動を生成するための等価な機構、および電気エネルギーを送達するための等価な機構などの、いくつかの対応する代替的および等価な構造的詳細を採用することができることが理解されるのであろう。したがって、本件開示は、本明細書に示される実装に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24A
図24B
図25
図26
図27
図28A
図28B
図28C
図28D
図29A
図29B
図30
図31
図32