特許 7478143 解剖学的境界を規定するためのグラフィカルユーザインターフェイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-23

(45)【発行日】2024-05-02

(54)【発明の名称】解剖学的境界を規定するためのグラフィカルユーザインターフェイス

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240424BHJP

   G06T 7/00 20170101ALI20240424BHJP

   G06T 7/11 20170101ALI20240424BHJP

   G16H 30/00 20180101ALI20240424BHJP

   A61B 10/02 20060101ALI20240424BHJP

   A61B 6/12 20060101ALI20240424BHJP

   A61B 6/46 20240101ALI20240424BHJP

【ＦＩ】

A61B6/03 577

G06T7/00 U

G06T7/11

G16H30/00

A61B10/02 300Z

A61B6/12

A61B6/46 536Q

A61B6/03 560D

【請求項の数】 12

(21)【出願番号】P 2021518448

(86)(22)【出願日】2019-09-30

(65)【公表番号】

(43)【公表日】2022-01-11

(86)【国際出願番号】 US2019053820

(87)【国際公開番号】W WO2020072360

(87)【国際公開日】2020-04-09

【審査請求日】2022-09-26

(31)【優先権主張番号】62/741,157

(32)【優先日】2018-10-04

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ザオ，タオ

(72)【発明者】

【氏名】クルーズ，セカンド，エナジー

(72)【発明者】

【氏名】ドゥインダム，ヴィンセント

(72)【発明者】

【氏名】ロ，ペチン チェン パウ

(72)【発明者】

【氏名】マ，ジュン

(72)【発明者】

【氏名】サラザール，オスカー ジー．

(72)【発明者】

【氏名】ワン，バイ

(72)【発明者】

【氏名】ザン，フイ

【審査官】蔵田 真彦

(56)【参考文献】

【文献】米国特許出願公開第２０１８／００１４８９１（ＵＳ，Ａ１）

【文献】特開平１０－０５７３７１（ＪＰ，Ａ）

【文献】特表２０１１－５１９６０５（ＪＰ，Ａ）

【文献】国際公開第２０１８／０６５９７１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００８／００７１２９２（ＵＳ，Ａ１）

【文献】特表２００２－５１０２３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／５８、３４／００－３４／３７

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

医療システムであって、当該医療システムは、
表示システムと、
ユーザ入力装置と、
少なくとも前記表示システム、及び前記ユーザ入力装置に通信可能に結合された制御システムと、を含み、
該制御システムは、
前記表示システムを介して、３次元解剖学的領域に対応する画像データを表示することと、
前記ユーザ入力装置を介して、第１のユーザ入力を受け取って、前記３次元解剖学的領域に第１の曲線を生成することと、
前記３次元解剖学的領域における第２の曲線の配置を支援するために、前記表示システムを介してガイダンス情報を表示することと、
前記ユーザ入力装置を介して、第２のユーザ入力を受け取って、前記３次元解剖学的領域に前記第２の曲線を生成することと、
前記第１の曲線及び前記第２の曲線によって境界が定められる解剖学的境界を決定することであって、前記解剖学的境界は、前記３次元解剖学的領域に解剖学的構造の表面を示す、ことと、
解剖学的標的と、医療ツールが延びるように構成された、医療器具の出口点とに基づいて３次元ゾーンを生成することと、
前記ゾーンの２次元投影を前記画像データと共に表示して、前記表面と前記ゾーンとの間の交差部に基づいて前記表面のリスク部分を決定することと、を行うように構成され、
前記リスク部分には、前記医療ツールが前記解剖学的標的を超えて延びた場合に、穿刺の危険がある部分が含まれる、
医療システム。

【請求項2】

前記制御システムは、
前記ユーザ入力装置を介して、第３のユーザ入力を受け取って、前記３次元解剖学的領域に第３の曲線を生成することと、
前記第１の曲線、前記第２の曲線、及び前記第３の曲線によって境界が定められるように前記解剖学的境界を調整することと、
前記表示システムを介して、前記画像データと共に前記調整した解剖学的境界を表示することと、を行うようにさらに構成される、請求項１に記載の医療システム。

【請求項3】

前記制御システムは、コンピュータビジョンを前記画像データに適用して候補の解剖学的境界を特定するようにさらに構成され、前記解剖学的境界は、前記候補の解剖学的境界にスナップされる、請求項１に記載の医療システム。

【請求項4】

前記ガイダンス情報は、前記解剖学的境界の現在の範囲外の領域において前記解剖学的境界の外挿された投影を含む、請求項１に記載の医療システム。

【請求項5】

前記制御システムは、
前記表示システムを介して、前記画像データから導出された解剖学的モデル上にオーバーレイされた前記解剖学的境界を表示することと、
患者の解剖学的構造の動きに基づいて、前記解剖学的モデルの変形に一致するように前記解剖学的境界を変形させることと、を行うようにさらに構成される、請求項１に記載の医療システム。

【請求項6】

前記制御システムは、患者の処置中に得られた透視画像データにオーバーレイされた前記解剖学的境界を表示するようにさらに構成される、請求項１に記載の医療システム。

【請求項7】

前記制御システムは、
前記医療器具が前記３次元解剖学的領域内に位置する間に、第３のユーザ入力を受け取ることと、
該第３のユーザ入力に応答して、前記医療器具の先端部の向きを前記解剖学的境界から遠ざける方向に向けることと、を行うようにさらに構成される、請求項１に記載の医療システム。

【請求項8】

前記制御システムは、仮想医療器具の先端部と前記解剖学的境界との間の距離を決定するようにさらに構成される、請求項１に記載の医療システム。

【請求項9】

前記制御システムは、前記医療器具の先端部と前記解剖学的境界との間の距離を決定するようにさらに構成される、請求項１に記載の医療システム。

【請求項10】

前記制御システムは、前記決定した距離に基づいて前記医療器具の調整される前進速度を決定するようにさらに構成される、請求項９に記載の医療システム。

【請求項11】

前記制御システムは、前記医療器具の１つ又は複数の提案された展開位置を提供するようにさらに構成され、前記１つ又は複数の提案された展開位置は、前記解剖学的境界から少なくとも閾値距離に位置する、請求項１に記載の医療システム。

【請求項12】

前記第１の曲線は、前記画像データに対して前記リスク部分をマークするために、前記交差部に沿って少なくとも部分的に生成される、請求項１に記載の医療システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、２０１８年１０月４日に出願した米国仮出願第６２／７４１，１５７号の利益を主張するものであり、この文献はその全体が参照により本明細書に組み込まれる。

【0002】

本開示は、画像誘導処置を計画及び実行するためのシステム及び方法、より具体的には、グラフィカルユーザインターフェイスを使用して解剖学的境界を規定するためのシステム及び方法に関する。

【背景技術】

【0003】

低侵襲性医療技術は、医療処置中に損傷を受ける組織の量を減らし、それによって患者の回復時間、不快感、及び有害な副作用を減らすことを目的としている。そのような低侵襲性技術は、患者の解剖学的構造の自然オリフィスを通して、或いは１つ又は複数の外科的切開部を通して行うことができる。これらの自然オリフィス又は切開部を通して、臨床医は、低侵襲性医療器具（外科的、診断的、治療的、又は生検的器具を含む）を挿入して、ターゲット組織の位置に到達させることができる。そのような低侵襲性技術の１つは、解剖学的通路内に挿入され、患者の解剖学的構造内の関心領域に向けてナビゲートされ得る、操縦可能であり得るカテーテル等の可撓性の細長い装置を使用することである。画像誘導処置中の医療関係者によるそのような細長い装置の制御は、少なくとも細長い装置の挿入及び後退、並びにこの装置の操縦又は曲げ半径の管理を含む、いくつかの自由度の管理を伴う。さらに、様々な動作モードもサポートされる場合がある。

【0004】

従って、低侵襲性医療技術を含む医療処置の直感的な計画をサポートするグラフィカルユーザインターフェイスを提供することは有利になるろう。

【発明の概要】

【0005】

本発明の実施形態は、詳細な説明に続く特許請求の範囲によって最もよく要約される。

【0006】

一実施形態では、医療システムは、表示システム及びユーザ入力装置を含む。医療システムは、表示システム及びユーザ入力装置に通信可能に結合された制御システムも含む。制御システムは、表示システムを介して、３次元解剖学的領域に対応する画像データを表示し、ユーザ入力装置を介して、第１のユーザ入力を受け取って、３次元解剖学的領域に第１の曲線（curve）を生成するように構成される。制御システムは、ユーザ入力装置を介して、第２のユーザ入力を受け取って、３次元解剖学的領域に第２の曲線を生成し、第１の曲線及び第２の曲線によって境界が定められる解剖学的境界を決定するように構成される。解剖学的境界は、３次元解剖学的領域における解剖学的構造の表面を示す。

【0007】

別の実施形態では、医療処置を計画する方法は、表示システムを介して、３次元解剖学的領域に対応する画像データを表示するステップと、ユーザ入力装置を介して、複数のユーザ入力を受け取って、３次元解剖学的領域に複数の曲線を生成するステップを含む。この方法は、複数の曲線から解剖学的境界を決定するステップも含む。解剖学的境界は、３次元解剖学的領域の脆弱な部分の境界を定める。この方法は、表示システムを介して、画像データ上にオーバーレイされた解剖学的境界を表示するステップも含む。

【0008】

別の実施形態では、非一時的な機械可読媒体は、複数の機械可読命令を含み、この命令が計画ワークステーションに関連する１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに以下の段階を実行させるように適合される。この段階は、表示システムを介して肺に対応するＣＴ画像データを表示することと、ユーザ入力装置を介して、複数のユーザ入力を受け取って、ＣＴ画像データの異なるスライスに複数の曲線を生成することとを含む。この段階は、複数の曲線の間を補間して、ＣＴ画像データにおける肺の胸膜の位置を示す解剖学的境界を決定することと、表示システムを介して、ＣＴ画像データにオーバーレイされた解剖学的境界を表示することも含む。

【0009】

前述の一般的な説明と以下の詳細な説明との両方は、本質的に例示的且つ説明的であり、本開示の範囲を制限することなく本開示の理解を与えることを目的としていることを理解されたい。その点に関して、本開示の追加の態様、特徴、及び利点は、以下の詳細な説明から当業者には明らかになろう。

【図面の簡単な説明】

【0010】

特許ファイル又は出願ファイルは、カラーで実行された少なくとも１つの図面を含む。この特許又は特許出願の公開物とカラー図面のコピーは、要求と必要な料金の支払いに応じて、オフィスから提供される。

【図1】いくつかの実施形態による医療システムの簡略図である。

【図2A】いくつかの実施形態による、挿入アセンブリに取り付けられた医療器具を含む患者座標空間の側面図の簡略図である。

【図2B】いくつかの実施形態による、挿入アセンブリに取り付けられた医療器具を含む患者座標空間の側面図の簡略図である。

【図3A】いくつかの実施形態による解剖学的境界を規定するための方法の簡略図である。

【図3B】他の実施形態による解剖学的境界を規定するための方法の図である。

【図3C】いくつかの実施形態による解剖学的境界を提示するための方法の図である。

【図3D】いくつかの実施形態による、解剖学的境界の決定を導くガイダンス情報を提供するための方法の図である。

【図3E】いくつかの実施形態によるガイダンス情報を提供するための方法の図である。

【図3F】いくつかの実施形態によるガイダンス情報を提供するための方法の図である。

【図3G】いくつかの実施形態によるガイダンス情報を提供するための方法の図である。

【図4A】いくつかの実施形態による、解剖学的境界を規定するための方法の実行中のグラフィカルユーザインターフェイスの簡略図である。

【図4B】いくつかの実施形態による、解剖学的境界を規定するための方法の実行中のグラフィカルユーザインターフェイスの簡略図である。

【図4C】いくつかの実施形態による、解剖学的境界を規定するための方法の実行中のグラフィカルユーザインターフェイスの簡略図である。

【図4D】いくつかの実施形態による、解剖学的境界を規定するための方法の実行中のグラフィカルユーザインターフェイスの簡略図である。

【図4E】いくつかの実施形態による、解剖学的境界を規定するための方法の実行中のグラフィカルユーザインターフェイスの簡略図である。

【図4F】いくつかの実施形態による、解剖学的境界を規定するための方法の実行中のグラフィカルユーザインターフェイスの簡略図である。

【図5A】いくつかの実施形態による解剖学的境界に関連する範囲ガイダンスを示す簡略図である。

【図5B】いくつかの実施形態による解剖学的境界に関連する範囲ガイダンスを示す簡略図である。

【図5C】２次元画像データと共に範囲ガイダンスを提示するグラフィカルユーザインターフェイスを示す図である。

【発明を実施するための形態】

【0011】

本開示の実施形態及びそれらの利点は、以下の詳細な説明を参照することによって最もよく理解される。同様の参照符号は、１つ又は複数の図に示される同様の要素を識別するために使用され、その中の表示は、本開示の実施形態を示す目的であり、その実施形態を限定する目的ではないことを理解されたい。

【0012】

以下の説明では、本開示と一致するいくつかの実施形態を説明する特定の詳細が示される。実施形態の完全な理解を与えるために、多数の特定の詳細が示される。しかしながら、いくつかの実施形態は、これらの特定の詳細の一部又は全部なしで実施し得ることが当業者には明らかであろう。本明細書に開示される特定の実施形態は、例示を意図するが、限定するものではない。当業者は、本明細書では具体的に説明していないが、本開示の範囲及び精神の範囲内にある他の要素を理解し得る。さらに、不必要な繰返しを避けるために、一実施形態に関連して示し説明する１つ又は複数の特徴は、他に具体的に説明されない限り、或いは１つ又は複数の特徴が実施形態を非機能的にする場合を除いて、他の実施形態に組み込まれ得る。

【0013】

いくつかの例では、実施形態の態様を不必要に不明瞭にしないように、周知の方法、手順、構成要素、及び回路は詳細に説明していない。

【0014】

本開示は、様々な器具及び器具の部分を３次元空間におけるそれらの状態に関して説明する。本明細書で使用される場合に、「位置」という用語は、３次元空間（例えば、デカルトのｘ、ｙ、及びｚ座標に沿った３つの並進自由度）における物体又は物体の一部の位置を指す。本明細書で使用される場合に、「向き」という用語は、物体又は物体の一部の回転配置（例えば、ロール、ピッチ、及びヨー等の３つの回転自由度）を指す。本明細書で使用される場合に、「姿勢」という用語は、少なくとも１つの並進自由度における物体又は物体の一部の位置、及び少なくとも１つの回転自由度におけるその物体又は物体の一部の向き（合計６つの自由度まで）を指す。本明細書で使用される場合に、「形状」という用語は、物体に沿って測定された姿勢、位置、又は向きのセットを指す。

【0015】

図１に示されるように、医療システム１００は、一般に、患者Ｐに対して様々な処置を行う際に医療器具１０４を操作するためのマニピュレータ・アセンブリ１０２を含む。医療器具１０４は、患者Ｐの体の開口部を介して患者Ｐの体内の内部手術部位に延びることができる。医療システム１００は、遠隔操作、非遠隔操作、又はこれら２つのハイブリッドであり得る。マニピュレータ・アセンブリ１０２は、電動式及び／又は遠隔操作であり得る選択した動きの自由度、及び非電動式及び／又は非遠隔操作であり得る選択した動きの自由度を伴う遠隔操作、非遠隔操作、又はハイブリッド遠隔操作及び非遠隔操作アセンブリであり得る。マニピュレータ・アセンブリ１０２は、手術台Ｔに又はその近くに取り付けられる。マスター・アセンブリ１０６は、オペレータＯ（例えば、図１に示される外科医、臨床医、又は医師）が介入部位を観察し、マニピュレータ・アセンブリ１０２を制御するのを可能にする。

【0016】

マスター・アセンブリ１０６は、患者Ｐが配置される手術台の側面等、通常は手術台Ｔと同じ部屋に配置されるオペレータコンソールに配置することができる。しかしながら、オペレータＯは、患者Ｐとは異なる部屋又は完全に異なる建物に位置してもよいことを理解されたい。マスター・アセンブリ１０６は、一般に、マニピュレータ・アセンブリ１０２を制御するための１つ又は複数の制御装置を含む。制御装置は、ジョイスティック、トラックボール、データグローブ、トリガーガン、手動コントローラ、音声認識装置、体動又は存在センサ等の様々な入力装置の任意数を含み得る。

【0017】

マニピュレータ・アセンブリ１０２は、医療器具１０４を支持し、そして１つ又は複数の非サーボ制御リンク（例えば、手動で所定の位置に位置付け及びロックされ得る１つ又は複数のリンク、例えば、一般にセットアップと呼ばれる）、及び／又は１つ又は複数のサーボ制御リンク（例えば、制御システムからのコマンドに応答して制御され得る１つ又は複数のリンク）、及びマニピュレータの運動学的構造を含み得る。マニピュレータ・アセンブリ１０２は、オプションで、制御システム（例えば、制御システム１１２）からのコマンドに応答して、医療器具１０４の入力を駆動する複数のアクチュエータ又はモータを含むことができる。アクチュエータは、オプションで、医療器具１０４に結合されたときに、医療器具１０４を自然に又は外科的に形成された解剖学的オリフィスに前進させることができる駆動システムを含み得る。他の駆動システムは、医療器具１０４の先端部を複数の自由度で動かすことができ、この自由度は、３つの線形自由度（例えば、Ｘ、Ｙ、Ｚデカルト軸に沿った線形運動）及び３つの回転自由度（例えば、Ｘ、Ｙ、Ｚデカルト軸を中心とした回転）を含み得る。さらに、アクチュエータを使用して、医療器具１０４の関節式エンドエフェクタを作動させて、生検装置等の顎部で組織を把持することができる。

【0018】

医療システム１００は、マニピュレータ・アセンブリ１０２及び／又は医療器具１０４に関する情報を受信するための１つ又は複数のサブシステムを含むセンサシステム１０８を含み得る。そのようなサブシステムは、位置／配置センサシステム（例えば、電磁（ＥＭ）センサシステム）；医療器具１０４を構成し得る可撓性本体に沿った先端部及び／又は１つ又は複数のセグメントの位置、向き、速さ、速度、姿勢、及び／又は形状を決定するための形状センサシステム；医療器具１０４の先端部から画像を取り込むための視覚化システム；及び器具１０４を制御するモータの回転及び向きを記述するレゾルバ、エンコーダ、ポテンショメータ等のアクチュエータ位置センサを含み得る。

【0019】

医療システム１００は、手術部位及び医療器具１０４の画像又は表現を表示するための表示システム１１０も含む。表示システム１１０及びマスター・アセンブリ１０６は、オペレータＯが医療器具１０４及びマスター・アセンブリ１０６をテレプレゼンスの認識によって制御できるように向き合わせされ得る。

【0020】

いくつかの実施形態では、医療器具１０４は、手術部位の同時又はリアルタイム画像を記録し、且つ表示システム１１０の１つ又は複数のディスプレイを介して画像をオペレータＯに提供する画像取込みアセンブリを含み得る視覚化システムを含み得る。同時画像は、例えば、手術部位内に位置付けされた内視鏡によって取り込まれた２次元又は３次元画像であり得る。いくつかの実施形態では、視覚化システムは、医療器具１０４に一体的又は取り外し可能に結合され得る内視鏡構成要素を含む。しかしながら、いくつかの実施形態では、別個のマニピュレータ・アセンブリに取り付けられた別個の内視鏡を医療器具１０４と共に使用して、手術部位を画像化することができる。視覚化システムは、制御システム１１２のプロセッサを含み得る１つ又は複数のコンピュータプロセッサと相互作用するか、又は他に実行されるハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せとして実装され得る。

【0021】

表示システム１１０は、視覚化システムによって取り込まれた手術部位及び医療器具の画像を表示することもできる。いくつかの例では、医療システム１００は、医療器具の相対位置がオペレータＯの目及び手の相対位置と同様になるように、医療器具１０４及びマスター・アセンブリ１０６のコントロールを構成することができる。このようにして、オペレータＯは、ワークスペースを実質的に真の存在下で見ているかのように、医療器具１０４及びハンドコントロールを操作することができる。真の存在とは、画像の提示が、医療器具１０４を物理的に操作している医師の視点をシミュレートする真の斜視画像であることを意味する。

【0022】

いくつかの例では、表示システム１１０は、コンピュータ断層撮影（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、透視、サーモグラフィ、超音波、光コヒーレンストモグラフィー（ＯＣＴ）、熱イメージング、インピーダンスイメージング、レーザイメージング、ナノチューブＸ線イメージング等のイメージング技術からの画像データを使用して、術前又は術中に記録した手術部位の画像を提示し得る。術前又は術中の画像データは、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像として、及び／又は術前又は術中の画像データセットから形成されたモデルからの画像として提示され得る。

【0023】

いくつかの実施形態では、しばしば画像誘導医療処置の目的で、表示システム１１０は、医療器具１０４の実際の位置が術前又は同時画像／モデルに位置合わせされる（すなわち、動的に参照される）仮想ナビゲーション画像を表示することができる。これは、医療器具１０４の観点からの内部手術部位の虚像をオペレータＯに提示するために行うことができる。

【0024】

医療システム１００は、制御システム１１２も含み得る。制御システム１１２は、医療器具１０４と、マスター・アセンブリ１０６と、センサシステム１０８と、表示システム１１０との間の制御をもたらすための少なくとも１つのコンピュータプロセッサ（図示せず）及び少なくとも１つのメモリを含む。制御システム１１２は、表示システム１１０に情報を提供するための命令を含む、本明細書に開示される態様に従って説明する方法の一部又は全てを実施するためのプログラムされた命令（例えば、命令を格納する非一時的な機械可読媒体）も含む。制御システム１１２は、図１の簡略化した概略図において単一のブロックとして示される一方、システムは、２つ以上のデータ処理回路を含み得、処理の一部は、マニピュレータ・アセンブリ１０２上で又はこれに隣接してオプションで実行され、処理の別の部分は、マスター・アセンブリ１０６等で実行される。制御システム１１２のプロセッサは、本明細書に開示され、以下でより詳細に説明するプロセスに対応する命令を含む命令を実行することができる。いくつかの実施形態では、制御システム１１２は、医療器具１０４から力及び／又はトルクフィードバックを受け取ることができる。フィードバックに応答して、制御システム１１２は、マスター・アセンブリ１０６に信号を送信することができる。いくつかの例では、制御システム１１２は、マニピュレータ・アセンブリ１０２の１つ又は複数のアクチュエータに指示する信号を送信して、医療器具１０４を動かすことができる。

【0025】

制御システム１１２は、オプションで、画像誘導医療処置中に医療器具１０４を制御するときに、オペレータＯにナビゲーション支援を提供するための仮想視覚化システムをさらに含み得る。仮想視覚化システムを使用する仮想ナビゲーションは、解剖学的通路の取得した術前又は術中データセットへの参照に基づくことができる。オペレータ入力と組み合わせて使用され得るソフトウェアは、記録した画像を、解剖学的器官又は解剖学的領域の一部又は全体のセグメント化した２次元又は３次元の複合表現に変換するために使用される。画像データセットは、複合表現に関連付けられる。仮想視覚化システムは、患者Ｐの解剖学的構造に関して医療器具１０４のおおよその位置を計算するために使用される、センサシステム１０８からのセンサデータを取得する。システムは、センサシステム１０８を実装して、医療器具を術前又は術中に記録した手術画像と位置合わせし、表示することができる。例えば、国際公開２０１６／１９１２９８（２０１６年１２月１日に公開）（“Systems and Methods of Registration for Image Guided Surgery”を開示する）は、そのような１つのシステムを開示し、この文献は、その全体が参照により本明細書に組み込まれる。

【0026】

医療システム１００は、照明システム、操縦制御システム、洗浄システム、及び／又は吸引システム等のオプションの操作及びサポートシステム（図示せず）をさらに含み得る。いくつかの実施形態では、医療システム１００は、２つ以上のマニピュレータ・アセンブリ及び／又は２つ以上のマスター・アセンブリを含み得る。マニピュレータ・アセンブリの正確な数は、とりわけ、医療処置及び手術室内のスペースの制約等の要因に依存するだろう。マスター・アセンブリ１０６は、同じ場所に配置すること、又は別個の位置に位置付けすることもできる。複数のマスター・アセンブリを使用すると、複数のオペレータが１つ又は複数のマニピュレータ・アセンブリを様々な組み合わせで制御することができる。

【0027】

図２Ａ及び図２Ｂは、いくつかの実施形態による、挿入アセンブリに取り付けられた医療器具を含む患者座標空間の側面図の簡略図である。図２Ａ及び図２Ｂに示されるように、患者Ｐを含む外科的環境３００は、図１のテーブルＴ上に位置付けされる。患者Ｐは、鎮静剤の投与、拘束、及び／又は他の手段によって患者の全体的な動きが制限されるという意味で、手術環境内で静止し得る。患者Ｐの呼吸及び心臓の運動を含む周期的な解剖学的動きが継続し得る。外科的環境３００内で、医療器具３０４は、例えば、手術、生検、焼灼、照明、洗浄、吸引、又はシステム位置合せ手順を含み得る医療処置を行うために使用される。医療器具３０４は、例えば、器具１０４であり得る。器具３０４は、器具本体３１２に結合された可撓性の細長い装置３１０（例えば、カテーテル）を含む。細長い装置３１０は、医療ツール（図示せず）を受け入れるようにサイズ決め及び成形された１つ又は複数のチャネル（図示せず）を含む。

【0028】

細長い装置３１０は、１つ又は複数のセンサ（例えば、センサシステム１０８の構成要素）も含み得る。いくつかの実施形態では、光ファイバ形状センサ３１４は、器具本体３１２上の基端点３１６に固定される。いくつかの実施形態では、光ファイバ形状センサ３１４の基端点３１６は、器具本体３１２とともに移動可能であるが、基端点３１６の位置は、（例えば、追跡センサ又は他の追跡装置を介して）既知であり得る。形状センサ３１４は、細長い装置３１０の基端点３１６から先端部３１８等の別の点までの形状を測定する。形状センサ３１４は、（例えば、内部チャネル（図示せず）内に提供されるか、又は外部に取り付けられる）可撓性の細長い装置３１０と整列させることができる。一実施形態では、光ファイバは、約２００マイクロメートル（μｍ）の直径を有する。他の実施形態では、寸法はこれより大きくてもより小さくてもよい。形状センサ３１４を使用して、可撓性の細長い装置３１０の形状を決定することができる。１つの代替案では、ファイバブラッググレーティング（ＦＢＧ）を含む光ファイバを使用して、構造内のひずみ測定を１つ又は複数の次元で提供する。３次元で光ファイバの形状及び相対位置を監視するための様々なシステム及び方法は、米国特許出願第１１／１８０，３８９号（２００５年７月１３日に出願）（“Fiber optic position and shape sensing device and method relating
thereto”を開示する）；米国特許出願第１２／０４７，０５６号（２００４年７月１６日に出願）（“Fiber-optic
shape and relative position sensing”を開示する）；及び米国特許第６，３８９，１８７号（１９９８年６月１７日に出願）（“Optical Fibre Bend Sensor”を開示する）に記載されており、これらの文献は全て、その全体が参照により本明細書に組み込まれる。いくつかの実施形態におけるセンサは、レイリー散乱、ラマン散乱、ブリルアン散乱、及び蛍光散乱等の他の適切なひずみ感知技術を使用することができる。光ファイバセンサを使用して手術器具を手術画像と位置合わせ及び表示するための様々なシステムが、国際公開２０１６／１９１２９８（２０１６年１２月１日に公開）（“Systems and Methods of Registration for Image Guided Surgery”を開示する）に提供されており、この文献は、その全体が参照により本明細書に組み込まれる。

【0029】

様々な実施形態において、電磁（ＥＭ）センサ等の位置センサは、医療器具３０４に組み込まれ得る。様々な実施形態において、一連の位置センサは、細長い装置３１０に沿って位置付けされ、次に、形状感知に使用され得る。いくつかの実施形態では、位置センサは、６つの自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚ、及び基点のピッチ、ヨー、及びロールを示す３つの向き角度、又は５つの自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚ、及び基点のピッチ及びヨーを示す２つの向き角度を測定するように構成及び位置付けされ得る。位置センサシステムの更なる説明は、米国特許第６，３８０，７３２号（１９９９年８月１１日に出願）（“Six-Degree of Freedom Tracking System Having a Passive Transponder
on the Object Being Tracked”を開示する）に提供され、この文献は、その全体が参照により本明細書に組み込まれる。

【0030】

細長い装置３１０は、器具本体３１２と先端部３１８との間に延びるケーブル、リンケージ、又は他の操縦コントロール（図示せず）を収容して、先端部３１８を制御可能に曲げることができる。いくつかの例では、少なくとも４本のケーブルが、独立した、先端部３１８のピッチを制御するための「上下」操縦及び先端部３１８のヨーを制御するための「左右」操縦を提供するために使用される。操縦可能な細長い装置は、米国特許出願第１３／２７４，２０８号（２０１１年１０月１４日に出願）（“Catheter with Removable Vision Probe”を開示する）に詳細に記載されており、この文献は、その全体が参照により本明細書に組み込まれる。器具本体３１２は、マニピュレータ・アセンブリのアクチュエータ等の駆動要素に取り外し可能に結合し、その駆動要素から動力を受け取る駆動入力を含み得る。

【0031】

器具本体３１２は、器具キャリッジ３０６に結合され得る。器具キャリッジ３０６は、手術環境３００内に固定された挿入ステージ３０８に取り付けられる。あるいはまた、挿入ステージ３０８は、移動可能であるが、（例えば、追跡センサ又は他の追跡装置を介して）手術環境３００内に既知の位置を有し得る。器具キャリッジ３０６は、医療器具３０４に結合して挿入運動（すなわち、Ａ軸に沿った運動）、及びオプションで細長い装置３１０の先端部３１８のヨー、ピッチ、及びロールを含む複数の方向への動き制御するマニピュレータ・アセンブリ（例えば、マニピュレータ・アセンブリ１０２）の構成要素であり得る。器具キャリッジ３０６又は挿入ステージ３０８は、挿入ステージ３０８に沿った器具キャリッジ３０６の動きを制御するサーボモータ（図示せず）等のアクチュエータを含み得る。

【0032】

センサシステム１０８の構成要素であり得るセンサ装置３２０は、その器具本体３１２が挿入ステージ３０８上を挿入軸Ａに沿って移動するときの器具本体３１２の位置に関する情報を提供する。センサ装置３２０は、器具キャリッジ３０６の動き、従って器具本体３１２の動きを制御するアクチュエータの回転及び／又は向きを決定するレゾルバ、エンコーダ、電位差計、及び／又は他のセンサを含み得る。いくつかの実施形態では、挿入ステージ３０８は線形である。いくつかの実施形態では、挿入ステージ３０８は、湾曲しているか、又は湾曲したセクションと線形のセクションとの組合せを有し得る。

【0033】

図２Ａは、挿入ステージ３０８に沿って後退した位置にある器具本体３１２及び器具キャリッジ３０６を示す。この後退した位置では、基端点３１６は軸Ａ上の位置Ｌ_０にある。挿入ステージ３０８に沿ったこの位置では、基端点３１６の位置は、挿入ステージ３０８上の器具キャリッジ３０６、従って基端点３１６の位置を記述するためのベース基準を提供するために、ゼロ及び／又は別の基準値に設定することができる。器具本体３１２及び器具キャリッジ３０６のこの後退位置で、細長い装置３１０の先端部３１８は、患者Ｐの入口オリフィスのすぐ内側に位置付けされ得る。また、この位置において、センサ装置３２０は、ゼロ及び／又は別の基準値（例えば、Ｉ＝０）に設定され得る。図２Ｂでは、器具本体３１２及び器具キャリッジ３０６は、挿入ステージ３０８の線形トラックに沿って前進し、細長い装置３１０の先端部３１８は、患者Ｐ内に前進する。この前進位置では、基端点３１６は、軸Ａ上の位置Ｌ_１にある。いくつかの例では、エンコーダ及び／又は、挿入ステージ３０８に沿った器具キャリッジ３０６の運動を制御する１つ又は複数のアクチュエータ、及び／又は器具キャリッジ３０６及び／又は挿入ステージ３０８に関連する１つ又は複数の位置センサからの他の位置データを使用して、位置Ｌ_０に対する基端点３１６の位置Ｌ_ｘを決定する。いくつかの例では、位置Ｌ_ｘは、細長い装置３１０の先端部３１８が患者Ｐの解剖学的構造の通路に挿入される距離又は挿入深さのインジケータとしてさらに使用され得る。

【0034】

例示的な用途では、医療システム１００等の医療システムは、肺生検処置で使用するためのロボットカテーテルシステムを含み得る。ロボットカテーテルシステムのカテーテルは、病変、結節、腫瘍等の、肺生検の１つ又は複数の解剖学的ターゲットが存在する気道内の位置に送達される内視鏡、気管支内超音波（ＥＢＵＳ）プローブ、及び／又は生検ツール等のツールのための導管を提供する。カテーテルが解剖学的構造を通して駆動される場合に、典型的に、内視鏡は、外科医Ｏ等の臨床医がカテーテルの先端部のライブカメラフィード（feed）を監視できるように設置される。ライブカメラフィード及び／又は他のリアルタイムナビゲーション情報は、グラフィカルユーザインターフェイスを介して臨床医に表示され得る。生検処置を監視するためのグラフィカルユーザインターフェイスの例は、米国仮出願第６２／４８６，８７９号（２０１７年４月１８日に出願）（“Graphical User Interface for Monitoring an Image-Guided Procedure”という表題）に記載されており、この文献は、その全体が参照により本明細書に組み込まれる。

【0035】

ロボットカテーテルシステムを使用して生検処置を行う前に、生検処置を計画するために術前計画ステップが実行され得る。術前計画ステップは、解剖学的構造の３Ｄモデルを作成するための患者ＣＴスキャン等の画像データのセグメンテーション、３Ｄモデル内の解剖学的ターゲットの選択、モデル内の気道の決定、気道の成長による気道の接続ツリーの形成、及びターゲットと接続ツリーとの間の軌道の計画を含み得る。これらのステップの１つ又は複数は、生検を行うために使用されるのと同じロボットカテーテルシステムで実行することができる。代替的又は追加的に、計画は、術前計画専用のワークステーション等の異なるシステムで実行され得る。生検処置の計画は、（例えば、１つ又は複数のデジタルファイルとして）保存され、生検処置を行うために使用されるロボットカテーテルシステムに転送され得る。保存された計画は、３Ｄモデル、気道の識別、ターゲット位置、ターゲット位置への軌道、３Ｄモデルを通る経路等を含み得る。

【0036】

上記の肺生検処置を含むがこれに限定されない、医療処置を計画するためのグラフィカルユーザインターフェイスの例示的な実施形態を以下に提供する。グラフィカルユーザインターフェイスは、データ選択モード、ハイブリッドセグメンテーション及び計画モード、プレビューモード、保存モード、管理モード、及びレビューモードを含む複数のモードを含み得る。グラフィカルユーザインターフェイスのいくつかの態様は、２０１６年６月３０日に出願された“Graphical User Interface for Displaying Guidance Information During
and Image-Guided Procedure”という表題の米国仮出願第６２／３５７，２１７号、及び２０１６年６月３０日に出願された“Graphical User Interface for Displaying Guidance Information in a
Plurality of Modes During and Image-Guided Procedure”という表題の米国仮出願第６２／３５７，２５８号に記載されている特徴に類似しており、これらの文献は、その全体が参照により本明細書に組み込まれる。

【0037】

医療処置の計画及び実行において、解剖学的境界又は仮想の「ハザードフェンス（hazard fence）」は、医療処置中に医療器具が交差してはならない表面を特定することによって規定され得る。解剖学的境界は、ターゲット位置の近傍にある解剖学的構造の脆弱な部分又は他の関心のある部分が、医療器具によって不注意に貫通されるのを防ぐことができる。脆弱な解剖学的構造又は表面を含む関心のある部分には、例えば、肺胸膜、肺裂、大きな水疱、及び血管が含まれ得る。例えば、医療処置中に肺胸膜を穿刺すると、患者に危険な気胸を引き起こす可能性がある。そのような実施形態と一致して、肺胸膜に対応する解剖学的境界を規定することにより、オペレータは、解剖学的構造の脆弱な部分を回避するように医療器具の経路を制約することができる。例えば、候補経路は、その候補経路が解剖学的構造の脆弱な部分の閾値距離内を通過するとき、解剖学的構造の脆弱な部分に違反するとき等、無効になり得る。

【0038】

図３Ａは、いくつかの実施形態による解剖学的境界を規定するための方法４００Ａの簡略図である。図４Ａ～図４Ｆは、いくつかの実施形態による方法４００Ａの実行中のグラフィカルユーザインターフェイス５００の対応する簡略図である。図１～図２Ｂと一致するいくつかの実施形態では、グラフィカルユーザインターフェイス５００は、表示システム１１０等の表示システム及び／又は独立した計画ワークステーションの表示システムに表示可能であり得る。

【0039】

グラフィカルユーザインターフェイス５００は、オペレータＯ等のユーザが見ることができる１つ又は複数のビューに医療処置の計画に関連する情報を表示する。ビューの例示的な配置が図４Ａ～図４Ｆに示されるが、グラフィカルユーザインターフェイス５００は、任意の適切な数のビューを、任意の適切な配置で及び／又は任意の適切な数の画面上に表示することができることを理解すべきである。いくつかの例では、同時に表示されるビューの数は、ビューを開く／閉じること、ビューを最小化及び最大化すること、グラフィカルユーザインターフェイス５００の前景と背景の間でビューを移動すること、画面を切り替えること、及び／又は他にビューを完全に又は部分的に隠すことによって変えることができる。同様に、ビューの配置（それらのサイズ、形状、向き、順序（ビューが重なっている場合）等を含む）は、変化する可能性があり、及び／又はユーザが構成可能であり得る。

【0040】

本明細書に開示する方法は、一連の操作又はプロセスとして示される。示した方法の全ての実施形態において、示したプロセスの全てが実行され得るわけではない。さらに、明示的に示していない１つ又は複数のプロセスが、示したプロセスの前、後、中に、又はその一部として含まれ得る。いくつかの実施形態では、１つ又は複数のプロセスは、少なくとも部分的に、非一時的で有形の機械可読媒体に格納された実行可能コードの形式で実装され得、コードが１つ又は複数のプロセッサ（例えば、制御システムのプロセッサ）によって実行されると、１つ又は複数のプロセッサに１つ又は複数のプロセスを実行させることができる。１つ又は複数の実施形態では、プロセスは、制御システム１１２によって実行され得る。

【0041】

プロセス４１０において、患者Ｐの３次元解剖学的領域に対応する画像データ５１０は、グラフィカルユーザインターフェイス５００を介して表示される。図４Ａ～図４Ｆに示されるように、画像データ５１０は、例えば、コンピュータ断層撮影（ＣＴ）画像データを含み得る。画像データ５１０は、画像データの単一の平面又は「スライス」を示す図４Ａの３次元解剖学的領域の複数の画像を含み得る。追加的又は代替的に、画像データ５１０は、グラフィカルユーザインターフェイス５００のサムネイルビュー５１２に示されるような、３Ｄ解剖学的モデルを含み得る。いくつかの実施形態では、画像データ５１０は、ＣＴ画像データから識別される、肺の気道、血管等の解剖学的特徴の位置を示すセグメンテーションデータ５１４を含み得る。いくつかの実施形態では、画像データ５１０は、生検部位等の、医療処置の解剖学的ターゲット５１６を含み得る。様々な代替実施形態において、画像データは、磁気共鳴イメージング（ＭＲＩ）、透視、サーモグラフィ、超音波、光コヒーレンストモグラフィー（ＯＣＴ）、熱イメージング、インピーダンスイメージング、レーザイメージング、ナノチューブＸ線イメージング等の他の画像化技術を使用して生成され得る。

【0042】

プロセス４２０において、３次元解剖学的領域において曲線５２０を生成又は規定するための第１のユーザ入力は、ユーザ入力装置を介して受け取られる。曲線５２０は、画像データ５１０の１つの平面（plane）で生成される。いくつかの実施形態では、第１のユーザ入力は、マウス、タッチスクリーン、スタイラス等を介してオペレータによって提供され得る。図４Ｂに示されるように、曲線５２０は、グラフィカルユーザインターフェイス５００を介して表示され得る。この実施形態では、曲線５２０は、肺胸膜の一部としてオペレータによって識別された表面に対応し得る。

【0043】

プロセス４３０において、３次元解剖学的領域において第２の曲線５３０を生成又は規定するための第２のユーザ入力は、ユーザ入力装置を介して受け取られる。曲線５３０は、曲線５２０が規定された画像計画とは異なる画像データ５１０の平面内に生成される。図４Ｃに示されるように、曲線５３０は、グラフィカルユーザインターフェイス５００を介して表示され得る。

【0044】

プロセス４４０において、オプションで、追加のユーザ入力を受け取ることができ、追加の各ユーザ入力は、３次元解剖学的領域において追加の曲線（例えば、追加の曲線５３２、図４Ｄ）を生成又は規定する。一般に、曲線５３０、５３２及び任意の追加の曲線は、曲線５２０と同様の方法で規定される。任意の追加の曲線は、曲線５２０、５３０に対して画像データ５１０の異なる平面（例えば、ＣＴ画像データの異なるスライス）に、及び任意の順序で互いに位置付けされ得る。

【0045】

プロセス４５０において、図４Ｅに示されるように、曲線５２０、曲線５３０、及び任意の追加の曲線によって境界が定められる解剖学的境界５４０が決定されている。いくつかの実施形態では、解剖学的境界は、境界５４０を定める中間曲線を補間又は他の方法で識別することによって決定される。いくつかの実施形態によれば、解剖学的境界５４０は、３次元解剖学的領域の表面又は脆弱な表面、若しくは関心がある表面を示し、医療処置中に医療器具が交差することはない。

【0046】

オプションで、プロセス４６０において、解剖学的境界５４０は、グラフィカルユーザインターフェイス５００を介して表示される。いくつかの実施形態によれば、解剖学的境界５４０の視覚的表現は、画像データ上にオーバーレイ（overlay：重ね合わ）され得る。図４Ｅ及び図４Ｆに示されるように、解剖学的境界５４０の断面表現は、ＣＴスライス上にオーバーレイされた曲線として表示され得、解剖学的境界５４０の３次元表現は、サムネイルビュー５１２等の３Ｄ解剖学的モデル上に半透明又はグリッドワイヤメッシュとして表示され得る。

【0047】

場合によっては、解剖学的境界５４０の補間された部分は、オペレータが規定しようとする実際の解剖学的境界を正確に追跡しない可能性がある。例えば、図４Ｅに示される例示的な例では、肺の胸膜を追跡することを目的とする、曲線５２０と曲線５３０との間の解剖学的境界５４０の補間された部分は、胸膜から目に見えてずれている。このずれを修正するために、方法４００Ａは、プロセス４２０～４６０に戻って、解剖学的境界５４０を更新して所望の解剖学的境界（図４Ｆに示される）により密接して整列させるために使用される追加の曲線を規定する追加のユーザ入力を受け取ることができる。このようにして、プロセス４２０～４５０は、満足のいく整列が達成されるまで繰り返し実行され得る。同様の方法で、解剖学的境界５４０の範囲は、プロセス４２０～４５０に戻って、解剖学的境界５４０の現在の範囲外にある追加の曲線を規定する追加のユーザ入力を受け取ることによって拡張され得る。

【0048】

図３Ｂは、いくつかの実施形態による解剖学的境界を規定するための方法４００Ｂの図である。方法４００Ｂのいくつかのプロセスは、図４００Ａで特定されたものと同じであり、同じ参照符号で示される。

【0049】

プロセス４１０での画像データの表示の前又は後に、オプションのプロセス４１２において、ユーザには、フリーハンド及びポリライン（polyline：多角形）形式を含む曲線描画オプションの選択可能な選択肢が提示され得る。いくつかの実施形態では、曲線５２０は、フリーハンドで、ポリライン形式で、一連のプロットした点等で描かれ得る。ポリライン入力（例えば、一連の直線セグメント）又は一連のプロットした点の場合に、曲線５２０は、例えば、スプラインフィッティングによって決定され得る。オプションで、全ての点（point：ポイント）を受け取ったときにスプラインフィッティングを実行できる。オプションで、スプラインフィッティングは、全ての受け取った点に対して実行でき、新しい点を受け取ると更新される。オプションで、スプラインフィッティングは、受け取った全ての点及び現在のマウスの位置によって実行できるため、ユーザは、点を受け取る前に、フィットした曲線の形状をリアルタイムで確認することができる。いくつかの実施形態によれば、第１のユーザ入力は、オペレータによる解剖学的境界ツール５１８の選択の受信に応答して受け取られ得る。解剖学的境界ツール５１８の選択は、オペレータがグラフィカルユーザインターフェイス５００を介して解剖学的境界を規定することを意図していることを示す。

【0050】

プロセス４５０において、解剖学的境界５４０は、複数の頂点を含む３次元表面メッシュとして格納又は表示されることに基づいて決定され得る。図３Ｃは、いくつかの実施形態による解剖学的境界を提示するための方法４７０を示す。プロセス４７２において、解剖学的境界５４０は、複数の頂点を含む３次元表面メッシュとして生成され得る。１つのオプションの技術では、プロセス４７３において、３次元表面メッシュの頂点は、曲線５２０、曲線５３０、及び任意の追加の曲線のそれぞれを同じ数のサンプル点に再サンプリングすることによって決定され得る。プロセス４７４において、スプラインフィッティングは、それぞれの曲線からの一致するサンプル点同士の間で実行され、複数のスプラインを生成する。プロセス４７５において、複数のスプラインのそれぞれを再サンプリングして、３次元表面メッシュの頂点が生成される。別のオプションの技術では、プロセス４７６において、３次元スプライン曲面を曲線５２０、曲線５３０、及び任意の追加の曲線にフィットさせることによって、３次元表面メッシュの頂点を決定することができる。プロセス４７７において、３次元スプライン曲面を再サンプリングして、３次元表面メッシュの頂点が生成される。

【0051】

再び図３Ｂを参照すると、オプションのプロセス４５２において、解剖学的境界５４０は、画像データ５１０の特性に基づいてさらに決定され得る。例えば、解剖学的境界５４０は、高輝度勾配（high intensity gradient）が関心のある表面（例えば、肺の胸膜、血管壁等）の存在を示すので、高輝度勾配を有する画像データ５１０の領域にスナップ（snap）され得る。同様に、機械学習アルゴリズムを含むコンピュータビジョン技術を画像データ５１０に適用して、候補の解剖学的境界を特定することができる。そのような実施形態と一致して、解剖学的境界５４０は、そのようなコンピュータビジョン又は機械学習技術によって決定された候補の解剖学的境界にスナップされ得る。

【0052】

オプションのプロセス４６２において、解剖学的境界５４０は、患者の運動に基づいて変形し得る。ナビゲーション中に、患者の解剖学的構造、従ってモデルは、例えば、医療器具、肺の呼気及び吸気、及び鼓動する心臓からの力によって移動又は変形する可能性がある。変形は、例えば、医療器具の形状センサによって測定され得るか、又はシミュレーションによって予測され得、そして変形は、モデルに適用され得る。解剖学的境界５４０は、同様に、モデルの変形に対応するように調整又は変形され得る。

【0053】

図３Ｄは、いくつかの実施形態による解剖学的境界を規定するための方法４００Ｃの図である。方法４００Ｃのいくつかのプロセスは、方法４００Ａで特定されたものと同じであり、同じ参照符号で示される。プロセス４１４、４２２、及び４５２において、様々なガイダンス情報及び視覚化補助が、解剖学的境界５４０を規定又は調整する際にオペレータを支援するために、グラフィカルユーザインターフェイス５００を介して表示され得る。

【0054】

プロセス４１４において、解剖学的境界５４０がカバーすべき範囲又は形状を示唆するために、ガイダンス情報及び視覚化補助がさらに表示され得る。従って、範囲ガイダンス情報は、図５Ａ～図５Ｂを参照して以下でさらに詳細に議論するように、解剖学的境界５４０によって提供される保護の範囲を改善するために表示され得る。

【0055】

図５Ａ及び図５Ｂは、いくつかの実施形態による、解剖学的境界５４０等の解剖学的境界に関連する範囲ガイダンス６００を示す簡略図である。図５Ｃは、曲線を描く際にユーザを支援及び案内するために、範囲ガイダンス６００を２次元画像データ５１０とともに提示するグラフィカルユーザインターフェイス６７０を示す。前に議論したように、解剖学的境界５４０は、一般に、ターゲット６２０の部位での医療処置中に医療器具によって穿刺されたり、或いは他の方法で接触又は交差されたりしてはならない肺胸膜等の表面６１０を特定する。図５Ａ及び図５Ｂに示されるように、医療処置は、カテーテル６３０がターゲット６２０の近傍に挿入される生検処置に対応し得る。生検処置中に、針は、カテーテル６３０の出口点６３５からターゲット６２０に向けられる。従って、生検処置（及び器具をカテーテル６３０からターゲット６２０に向けて延ばし得る他の様々なタイプの処置）では、解剖学的境界５４０を使用して、出口点６３５に対してターゲット６２０の後ろにある表面６１０の部分、従って、針（又は他の器具）がターゲット６２０をはるかに超えて延びると、穿刺されるリスク部分を識別することができる。

【0056】

図５Ａに示されるように、表面６１０の３次元リスク部分６４０は、解剖学的表面６１０と３次元ゾーンとの交差部に基づいて決定される。ゾーンは、例えば、出口点６３５からターゲット６２０を通って延びる円錐形の投影６４２であり得る。いくつかの実施形態では、リスク部分６４０は、投影６４２内の領域を直接超えた追加のマージン６４４を含み得る。いくつかの実施形態では、リスク部分６４０は、２元的な方法（例えば、所与の部分が、リスクがある又はリスクがないのいずれかとみなされる）で、又は異なる位置での様々なレベルのリスクを反映するために段階的又は継続的な方法で決定され得る。

【0057】

表面６１０のリスク部分６４０の決定に基づいて、方法４００Ａの間に規定された解剖学的境界５４０が表面６１０のリスク部分６４０に十分な保護を提供することを確実にするために、ガイダンス情報が画像データ５１０においてオペレータに提供され得る。例えば、リスク部分６４０、投影６４２、又はその両方の視覚的表現は、グラフィカルユーザインターフェイス５００を介して表示され得る。

【0058】

図３Ｅは、ガイダンス情報を提供するための方法４１４ａを示すことによって、ガイダンスプロセス４１４の一実施形態をより詳細に示す。プロセス４８０において、３次元ゾーン（例えば、円錐形の投影６４２）が、器具出口点６３５からターゲット６２０に向けて延びるように生成される。プロセス４８２において、３次元ゾーンの２次元投影が画像データ５１０と共に表示される。図５Ｃに示されるように、３次元ゾーン（例えば、円錐６４２）の２次元投影領域６５０が、ターゲット６２０を描写する２次元画像データ５１０上にオーバーレイした状態で提供される。プロセス４８４において、投影６５０をガイドとして用いて、ユーザは、プロセス４２０及び４３０で説明したように曲線６５２を生成することができる。曲線６５２は、領域６５０内に、及びオプションで領域６５０を超えて延びるように描かれて、リスク部分６４０の境界を規定することができる。前述のように、追加の曲線は、解剖学的境界５４０を生成するために使用される複数の曲線を生成するために、２次元画像データ５１０の追加のスライスに描かれ得る。いくつかの実施形態では、リスク領域のピクセルは、異なる陰影（shade）、色、又は半透明の色のオーバーレイで表示され得る。ガイダンスは、自動的に、ユーザ選択によって、又は組み合わせて、オン又はオフにすることができる。追加的又は代替的に、解剖学的境界５４０がリスク部分６４０を完全に保護するかどうかのインジケータは、グラフィカルユーザインターフェイス５００を介して表示され得るか、又は他にオペレータに伝達され得る。

【0059】

図５Ｂに示されるように、様々なレベルのリスクを生じさせ得る１つの要因は、医療処置に関連する不確実性（例えば、出口点６３５の位置の不確実性、ターゲット６２０の位置の不確実性、又はその両方）である。様々なレベルのリスクを生じさせ得る他の要因には、表面６１０と出口点６３５との間の距離が含まれる。出口点６３５から離れた位置は、一般に、より近い位置よりもリスクが低い。

【0060】

計画手順中に、器具が境界５４０に違反する（を破る）可能性を示す安全スコアが計算され、オペレータに提供され得る。スコアに基づいて、計画したナビゲーション経路は、より安全なルートを達成するために調整又は修正され得る。安全スコアが異なる様々な経路をオペレータに提供して選択させることができる。

【0061】

再び図３Ｄを参照すると、追加のガイダンス情報及び視覚化補助がプロセス４２２で提供され得る。図３Ｆは、ガイダンス情報を提供するための方法４２２ａを示すことによって、ガイダンスプロセス４２２の一実施形態をより詳細に示す。プロセス４８６において、曲線５２０の投影又は陰影を画像データ５１０の他の平面に表示することができ、そうでなければ（例えば、曲線５２０を含むスライス以外の画像データ５１０のＣＴスライスにおいて）曲線５２０は表示されない。従って、曲線５２０の投影又は陰影は、曲線５３０を規定するときに、曲線５２０の特性（例えば、開始点、終了点、長さ等）のオペレータへのリマインダーの形式でガイダンスを提供する。そのようなリマインダーがないと、オペレータは、曲線５２０とは著しく異なる特性（例えば、著しく異なる開始位置、終了位置、又は長さ）を有する曲線５３０を不注意に規定する可能性がある。そのような場合に、解剖学的境界５４０は、不規則な形状を有し得るか、又はそうでなければ、所望の解剖学的境界に対応しない可能性がある。

【0062】

プロセス４８８において、ガイダンス情報は、第１の曲線の開始点及び終了点を含み得る。いくつかの実施形態では、解剖学的境界５４０はまた、曲線５３０が曲線５２０に対して不注意に反転されたときに（例えば、それぞれの開始点及び終了点が曲線の反対端になるときに）、不規則な形状を有し得る。例えば、解剖学的境界５４０は、方向が反転されたときにねじれた形状を有し得る。従って、ガイダンス情報を表示して、曲線５３０を曲線５２０に一致させるように向き合わせすべきことを示すことができる。例えば、上記の曲線５２０の投影又は陰影（又は同様に、解剖学的境界５４０の投影）に関して、開始点は、終了点から視覚的に区別できる方法で（例えば、異なる色、パターン、テクスチャ等を使用して）表示することができる。

【0063】

再び図３Ｄを参照すると、器具又は境界調整ガイダンス情報は、プロセス４５２において提供され得る。図３Ｇは、ガイダンス情報を提供するための方法４５２ａを示すことによって、ガイダンスプロセス４５２の一実施形態をより詳細に示す。例えば、オプションのプロセス４９０において、解剖学的境界５４０の投影又は陰影は、解剖学的境界５４０の現在の範囲外の領域に外挿及び表示されて、解剖学的境界５４０の範囲を拡張するときにオペレータにガイダンスを提供し得る。いくつかの実施形態では、解剖学的境界５４０の投影又は陰影は、解剖学的境界５４０自体と視覚的に区別できる方法で（例えば、異なる色、パターン、テクスチャ等を使用して）表示され、現在表示される断面が解剖学的境界５４０の現在の範囲内又は外であるかどうかをオペレータに警告することができる。前述のように、解剖学的境界５４０を含む生検処置の計画は、保存され、制御システムによって使用されて、生検処置を行うために医療器具の自動ナビゲーション又はオペレータナビゲーション支援を提供することができる。ナビゲーション中に、境界５４０は、解剖学的領域の３次元解剖学的モデル（例えば、ビュー５１２）、管腔内ビュー、又はユーザディスプレイに提示される他の解剖学的ビューと共に表示され得る。境界５４０はまた、又は代わりに、医療処置中に得られた透視画像等の他の画像化技術からの位置合わせした画像と共に表示され得る（例えば、オーバーレイされ得る）。

【0064】

オプションのプロセス４９１において、医療器具の提案された展開位置が提供され得る。例えば、３次元モデルを患者の解剖学的構造に位置合わせするための位置合せ手順中に、点収集医療器具を使用して、患者の解剖学的構造内の推奨される点群に触れることができる。推奨される点群は、境界５４０に対するそれらの位置に基づいて決定され得る。例えば、点は、その点が境界５４０から閾値距離内にある場合にのみ推奨され得る。同様に、生検処置中に、推奨される生検位置は、境界５４０に対するそれらの位置に基づいて決定され得る。例えば、生検点は、その生検点が境界５４０から閾値距離内にある場合にのみ推奨され得る。

【0065】

オプションのプロセス４９２において、医療処置中に、解剖学的境界５４０に対する医療器具の位置及び向きを監視することができる。医療器具と解剖学的境界５４０との間の距離は、例えば、器具の先端部分から、又は解剖学的境界５４０に最も近い器具の部分から測定することができる。プロセス４９３において、器具と解剖学的境界５４０との間の距離が所定の閾値距離の値よりも小さくなると、インジケータをオペレータに提供することができる。例えば、グラフィカルユーザインターフェイス５００上の視覚的インジケータは、色の変化、テキストによる警告、強調表示した器具、強調表示した境界５４０、又は他の視覚的警告信号の形式で提供され得る。インジケータは、可聴、触覚、又は他のオペレータが知覚できる信号の形式で提供される場合もある。追加的又は代替的に、プロセス４９４において、制御システム１１２は、距離を監視し、器具速度を遅くするか、又は器具が境界５４０に対応する表面に近づくにつれてその器具を完全に停止させることができる。追加的又は代替的に、プロセス４９５において、オペレータは、医療器具の先端部を境界５４０に対応する表面から遠ざける方向に向けるユーザ入力（例えば、ボタンの押下）を提供し得る。追加的又は代替的に、距離ベースのインジケータは、仮想医療器具を用いた計画手順で使用され得る。

【0066】

本開示の実施形態における１つ又は複数の要素は、制御処理システム等のコンピュータシステムのプロセッサ上で実行するためにソフトウェアで実現され得る。ソフトウェアで実現される場合に、本発明の実施形態の要素は、本質的に、必要なタスクを実行するためのコードセグメントである。プログラム又はコードセグメントは、伝送媒体又は通信リンクを介して搬送波で具体化されたコンピュータデータ信号を介してダウンロードされた可能性があるプロセッサ可読記憶媒体又は装置に格納することができる。プロセッサ可読記憶装置は、光媒体、半導体媒体、及び磁気媒体を含む、情報を記憶することができる任意の媒体を含み得る。プロセッサ可読記憶装置の例には、電子回路、半導体装置、半導体メモリ装置、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能なプログラム可能な読取り専用メモリ（ＥＰＲＯＭ）、フロッピーディスク、ＣＤ－ＲＯＭ、光ディスク、ハードディスク、又は他のストレージ装置が含まれる。コードセグメントは、インターネット、イントラネット等のコンピュータネットワークを介してダウンロードできる。様々な集中型又は分散型のデータ処理アーキテクチャのいずれかを使用できる。プログラムされた命令は、いくつかの別個のプログラム又はサブルーチンとして実現され得るか、又はそれら命令は、本明細書に記載されるシステムの他のいくつかの態様に統合され得る。一実施形態では、制御システムは、ブルートゥース（登録商標）、ＩｒＤＡ、ホームＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ、及びワイヤレステレメトリ等のワイヤレス通信プロトコルをサポートする。

【0067】

本明細書に開示される可撓性の細長い装置又はカテーテルを介して送達され得る医療ツールは、例えば、画像取込みプローブ、生検器具、レーザ焼灼ファイバ、及び／又は他の外科的、診断的、又は治療的ツールを含み得る。医療ツールは、メス、ブラント（blunt）ブレード、光ファイバ、電極等の単一の作動部材を有するエンドエフェクタを含み得る。他のエンドエフェクタは、例えば、鉗子、把持器、はさみ、クリップアプライヤ等を含み得る。他のエンドエフェクタは、電気外科電極、トランスデューサ、センサ等の電気的に活性化されるエンドエフェクタをさらに含み得る。医療ツールは、画像（ビデオ画像を含む）を取り込むための立体カメラ又はモノスコピックカメラを含む画像取込みプローブを含み得る。医療ツールは、その基端部と先端部との間に延びるケーブル、リンケージ、又は他の作動制御（図示せず）をさらに収容して、医療器具３０４の先端部を制御可能に曲げることができる。操縦可能な器具は、米国特許第７，３１６，６８１号（２００５年１０月４日に出願）（“Articulated Surgical Instrument for Performing Minimally Invasive
Surgery with Enhanced Dexterity and Sensitivity”を開示する）、及び米国特許出願第１２／２８６，６４４号（２００８年９月３０日に出願）（“Passive Preload and Capstan Drive for Surgical Instruments”を開示する）に詳細に記載されており、これらの文献は、その全体が参照により本明細書に組み込まれる。

【0068】

本明細書に記載のシステムは、肺、結腸、腸、腎臓及び腎杯、脳、心臓、血管系を含む循環器系等を含む様々な解剖学的システムのいずれかにおいて、自然又は外科的に形成された接続通路を介した解剖学的組織のナビゲーション及び治療に適している可能性がある。

【0069】

提示するプロセス及びディスプレイは、特定のコンピュータ又は他の機器に本質的に関連していない可能性があることに留意されたい。様々な汎用システムが、本明細書の教示に従ったプログラムと共に使用され得るか、又は説明した操作を実行するためのより特殊な機器を構築することが便利であることが証明され得る。これらの様々なシステムに必要な構造は、特許請求の範囲の要素として表示される。さらに、本発明の実施形態は、特定のプログラミング言語を参照して説明していない。本明細書に記載されるように、本発明の教示を実施するために様々なプログラミング言語を使用してもよいことが理解されよう。

【0070】

本発明の特定の例示的な実施形態は、添付の図面に記載及び示されるが、そのような実施形態は、広範な発明を単に例示するものであり、限定するものではなく、本発明の実施形態は、様々な他の変更が当業者に想起され得るので、示し説明した特定の構造及び配置に限定されないことを理解されたい。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図3G】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図16】

【図5A】

【図5B】

【図5C】