知財求人 - 知財ポータルサイト「IP Force」
▶ インテュイティブ サージカル オペレーションズ， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133606
(43)【公開日】2023-09-22
(54)【発明の名称】細長いデバイスに関するシステム及び方法
(51)【国際特許分類】
A61B 8/12 20060101AFI20230914BHJP
A61B 5/00 20060101ALI20230914BHJP
【ＦＩ】
A61B8/12
A61B5/00 G
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023127865
(22)【出願日】2023-08-04
(62)【分割の表示】P 2020558890の分割
【原出願日】2019-04-23
(31)【優先権主張番号】62/662,440
(32)【優先日】2018-04-25
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ソーパー，ティモシー ディー．
(72)【発明者】
【氏名】アデバー，トロイ ケイ．
(72)【発明者】
【氏名】カールソン，クリストファー アール．
(72)【発明者】
【氏名】コーン，ベンジャミン ジー．
(72)【発明者】
【氏名】ドゥインダム，ヴィンセント
(72)【発明者】
【氏名】ガッダ，テレサ ジー．
(72)【発明者】
【氏名】ワグナー，オリバー ジェイ．
(57)【要約】
【課題】最小侵襲医療技法の間に操作者を助けるために、標的組織場所の改良されたリアルタイム視覚化を提供する。
【解決手段】医療システムは、カテーテルと、プロセッサとを含む。カテーテルは、第１のチャネルと、カテーテル基準系と関連付けられる遠位端部分とを含む。プロセッサは、患者解剖学的構造内のカテーテルによって提供される第１の撮像デバイスによって取り込まれる第１の画像を受信し、患者解剖学的構造の外側から第２の撮像デバイスによって取り込まれる患者解剖学的構造の第２の画像を受信する、ように構成される。第２の画像は、カテーテルと、第１の撮像デバイスとを含む。プロセッサは、更に、第２の画像に基づいて第１の撮像デバイスとカテーテルの遠位端との間の相対的な姿勢を決定し、第１の画像内の標的構造と関連付けられる標的場所を決定し、相対的な姿勢に基づいて第１の画像と関連付けられる画像基準系内の標的場所をカテーテル基準系に変換する、ように構成される。
【選択図】図４
【解決手段】医療システムは、カテーテルと、プロセッサとを含む。カテーテルは、第１のチャネルと、カテーテル基準系と関連付けられる遠位端部分とを含む。プロセッサは、患者解剖学的構造内のカテーテルによって提供される第１の撮像デバイスによって取り込まれる第１の画像を受信し、患者解剖学的構造の外側から第２の撮像デバイスによって取り込まれる患者解剖学的構造の第２の画像を受信する、ように構成される。第２の画像は、カテーテルと、第１の撮像デバイスとを含む。プロセッサは、更に、第２の画像に基づいて第１の撮像デバイスとカテーテルの遠位端との間の相対的な姿勢を決定し、第１の画像内の標的構造と関連付けられる標的場所を決定し、相対的な姿勢に基づいて第１の画像と関連付けられる画像基準系内の標的場所をカテーテル基準系に変換する、ように構成される。
【選択図】図４
【特許請求の範囲】
【請求項1】
命令を格納する非一時的な機械可読媒体であって、
前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
患者解剖学的構造の内側の撮像プローブから解剖学的構造の第１の画像を受信させ、前記第１の画像は、画像基準系を有し、前記撮像プローブは、カテーテルの遠位端を越えて遠位に延出可能であり、前記カテーテルの前記遠位端は、カテーテル基準系を有し、
第１の外部撮像デバイスから前記患者解剖学的構造の第１の外部画像を受信させ、前記第１の外部画像は、前記カテーテル及び前記撮像プローブを含み、
前記第１の外部画像に基づいて前記撮像プローブと前記カテーテルの前記遠位端との間の相対的な姿勢を決定させ、
前記第１の画像中の標的構造と関連する標的場所を決定させ、
前記相対的な姿勢に基づいて前記画像基準系内の前記標的場所を前記カテーテル基準系に変換させる、
非一時的な機械可読媒体。
前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
患者解剖学的構造の内側の撮像プローブから解剖学的構造の第１の画像を受信させ、前記第１の画像は、画像基準系を有し、前記撮像プローブは、カテーテルの遠位端を越えて遠位に延出可能であり、前記カテーテルの前記遠位端は、カテーテル基準系を有し、
第１の外部撮像デバイスから前記患者解剖学的構造の第１の外部画像を受信させ、前記第１の外部画像は、前記カテーテル及び前記撮像プローブを含み、
前記第１の外部画像に基づいて前記撮像プローブと前記カテーテルの前記遠位端との間の相対的な姿勢を決定させ、
前記第１の画像中の標的構造と関連する標的場所を決定させ、
前記相対的な姿勢に基づいて前記画像基準系内の前記標的場所を前記カテーテル基準系に変換させる、
非一時的な機械可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の参照）
本出願は、２０１８年４月２５日に出願された米国仮出願第６２／６６２，４４０号の利益を主張し、その全文を参照によって本明細書に援用する。
本出願は、２０１８年４月２５日に出願された米国仮出願第６２／６６２，４４０号の利益を主張し、その全文を参照によって本明細書に援用する。
【0002】
本開示は、操縦可能な細長いデバイスを制御するシステム及び方法に向けられている。
【背景技術】
【0003】
最小侵襲医療技法は、医療処置中に損傷を受ける組織の量を減らし、それによって、患者の回復時間、不快感、有害な副作用を減らすことを意図している。そのような最小侵襲技術は、患者解剖学的構造にある自然開口部を通じて或いは１つ又はそれよりも多くの外科的切開部を通じて実施されることがある。操作者は、これらの自然開口部又は切開部を通じて、標的組織場所に到達するために、（外科的、診断的、治療的、又は生検的器具を含む）最小侵襲医療器具を挿入することがある。１つのそのような最小侵襲技法の１つは、解剖学的通路に挿入されて、患者解剖学的構造内の関心領域に向かって進められる(ナビゲートされる)ことができる、可撓性カテーテルのような、可撓性及び／又は操縦可能な細長いデバイスを使用することである。標的組織場所に到達するのを助けるために、医療器具の場所及び動きは、患者解剖学的構造の術前又は術中画像と相関させられることがある。画像と相関させられる画像誘導器具を用いるならば、器具は、肺、結腸、腸、腎臓、心臓、循環系などのような解剖学的系内の、自然な又は外科的に作られた通路を進む(ナビゲートする)ことがある。しかしながら、最小侵襲医療デバイスは、例えば、標的組織場所が、最小侵襲医療デバイスを導入する通路の表面の下に位置するときには、標的組織場所を識別するのに十分な撮像能力を操作者（例えば、外科医又は他の医療従事者）に必ずしも提供するとは限らない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従って、最小侵襲医療技法の間に操作者を助けるために、標的組織場所の改良されたリアルタイム視覚化を提供することが有利である。
【課題を解決するための手段】
【0005】
本発明の実施形態は、本記述に続く請求項によって最良に要約される。
【0006】
幾つかの実施形態と一致して、方法がコンピューティングシステムによって実行される。方法は、患者解剖学的構造の内側の撮像プローブから解剖学的構造の第１の画像を受信することを含む。第１の画像は、画像基準系を有する。撮像プローブは、カテーテルの遠位端を越えて遠位に延出可能である。カテーテルの遠位端は、カテーテル基準系を有する。方法は、第１の外部撮像デバイスから患者解剖学的構造の第１の外部画像を受信することを更に含む。第１の外部画像は、カテーテルと、撮像プローブとを含む。方法は、第１の外部画像に基づいて撮像プローブとカテーテルの遠位端との間の相対的な姿勢を決定すること、第１の画像中の標的構造と関連付けられる標的場所を決定すること、及び相対的な姿勢に基づいて画像基準系内の標的場所をカテーテル基準系に変換することを更に含む。
【0007】
幾つかの実施形態と一致して、医療システムが、第１のチャネルと、遠位端部分とを含む、カテーテルを含む。遠位端部分は、カテーテル基準系と関連付けられる。医療システムは、プロセッサを更に含む。プロセッサは、患者解剖学的構造内のカテーテルによって提供される第１の撮像デバイスによって取り込まれる第１の画像を受信し、患者解剖学的構造の外側から第２の撮像デバイスによって取り込まれる患者解剖学的構造の第２の画像を受信する、ように構成される。第２の画像は、カテーテルと、第１の撮像デバイスとを含む。プロセッサは、第２の画像に基づいて、第１の撮像デバイスとカテーテルの遠位端との間の相対的な姿勢を決定し、第１の画像中の標的構造と関連付けられる標的場所を決定し、相対的な姿勢に基づいて第１の画像と関連付けられる画像基準系内の標的場所をカテーテル基準系に変換する、ように更に構成される。
【0008】
前述の一般的な記述及び以下の詳細な記述は、本質的に例示的かつ説明的であり、本開示の範囲を制限することなく本開示の理解を提供することを意図することが理解されるべきである。その点に関して、本開示の追加的な態様、構成、及び利点は、以下の詳細な記述から当業者に明らかであろう。
【図面の簡単な説明】
【0009】
【図1】幾つかの実施形態に従った遠隔操作医療システムの簡略図である。
【0010】
【図2A】幾つかの実施形態に従った医療機器システムの簡略図である。
【0011】
【図2B】幾つかの実施形態に従った拡張医療ツールを備えた医療器具の簡略図である。
【0012】
【図3A】幾つかの実施形態に従った挿入アセンブリに取り付けられた医療器具を含む患者座標空間の簡略化された側面図である。
【図3B】幾つかの実施形態に従った挿入アセンブリに取り付けられた医療器具を含む患者座標空間の簡略化された側面図である。
【0013】
【図4】幾つかの実施形態に従った撮像システムを含むカテーテルを図示している。
【0014】
【0015】
【図6】幾つかの実施形態に従った患者解剖学的構造の外側の撮像システムによって生成された患者解剖学的画像の外部画像を図示している。
【0016】
【図7】幾つかの実施形態に従った撮像システムとツールとを含むカテーテルを図示している。
【0017】
【0018】
【図9】幾つかの実施形態に従った患者解剖学的構造の外側の撮像システムによって生成された患者解剖学的構造の外部画像を図示している。
【0019】
【図10】幾つかの実施形態に従った撮像システムを使用して標的構造の場所を決定する方法を記載するフローチャートを図示している。
【0020】
【図11】幾つかの実施形態に従ったディスプレイシステム上に仮想視覚化画像を提供する方法を記載するフローチャートを図示している。
【0021】
【図12A】幾つかの実施形態に従った仮想視覚化画像を図示している。
【0022】
【図12B】幾つかの実施形態に従った仮想視覚化画像を図示している。
【0023】
【図13】幾つかの実施形態に従った仮想視覚化画像を図示している。
【0024】
【図14】幾つかの実施形態に従った仮想視覚化画像を図示している。
【発明を実施するための形態】
【0025】
本開示の実施形態及びそれらの利点は、以下の詳細な記述を参照することによって最良に理解される。同等の参照番号は、図のうちの１つ又はそれよりも多くの図に図示される同等の要素を識別するために使用され、それらの中の表示は、本開示の実施形態を図示する目的のためのものであり、それらを限定する目的のためのものでないことが理解されるべきである。
【0026】
以下の記述では、本開示と矛盾しない幾つかの実施形態を記載する特定の詳細が説明される。実施形態の完全な理解を提供するために、多数の具体的な詳細が説明される。しかしながら、幾つかの実施形態は、これらの特定の詳細の一部又は全部を伴わずに実施されてよいことが、当業者に明らかであろう。本明細書に開示する具体的な実施形態は例示的であるが、限定的でないことを意味する。当業者は、本明細書に具体的に記載していないが本開示の範囲及び精神内にある他の要素を認識することがある。加えて、不要な反復を避けるために、１つの実施形態に関連して示し且つ記載する１つ又はそれよりも多くの構成は、他のことが特に記載されない限り或いは１つ又はそれよりも多くの構成が実施形態を非機能的にしない限り、他の実施形態に組み込まれてよい。
【0027】
幾つかの例において、よく知られている方法、手順、構成要素(コンポーネント)、及び回路は、実施形態の態様を不要に不明瞭にしないよう、詳細に記載されない。
【0028】
この開示は、様々な器具及び器具の一部分を、三次元空間におけるそれらの状態に関して記載する。本明細書で使用するとき、「位置(position)」という用語は、三次元空間（例えば、デカルトｘ、ｙ、及びｚ座標に沿う３つの並進自由度）における物体又は物体の一部分の場所を指す。本明細書で使用するとき、「向き(orientation)」という用語は、物体又は物体の一部分の回転配置（３つの回転自由度、例えば、ロール、ピッチ、及びヨー）を指す。本明細書で使用するとき、「姿勢(pose)」という用語は、少なくとも１つの並進自由度における物体又は物体の一部分の位置を指し、少なくとも１つの回転自由度（最大で６つの自由度）における物体又は物体の一部分の向きを指す。本明細書で使用するとき、「形状(shape)」という用語は、物体に沿って測定される姿勢、位置、又は向きのセットを指す。
【0029】
図１は、幾つかの実施形態に従った遠隔操作医療システム１００の簡略図である。幾つかの実施形態において、遠隔操作医療システム１００は、例えば、外科的、診断的、治療的、又は生検的処置における使用に適している。本明細書において、幾つかの実施形態は、そのような処置に関して提供されるが、医療的又は外科的器具及び医療的又は外科的方法へのいかなる言及も非限定的である。本明細書に記載のシステム、器具、及び方法は、動物、人間の死体、動物の死体、人間又は動物の解剖学的構造の一部分、非外科的診断、ならびに産業システム及び汎用ロボット又は遠隔操作システムに使用されてよい。
【0030】
図１に示すように、医療システム１００は、一般的に、患者Ｐに対して様々な処置を行う際に医療器具１０４を作動させるためのマニピュレータアセンブリ１０２を含む。マニピュレータアセンブリ１０２は、遠隔操作アセンブリ、非遠隔操作アセンブリ、又は動力化されることがあり且つ／或いは遠隔操作されることがある選択自由度と動力化されないことがあり且つ／或いは遠隔操作されないことがある選択自由度とを備えるハイブリッドの遠隔操作及び非遠隔操作アセンブリであってよい。マニピュレータアセンブリ１０２は、手術台Ｔに又はその付近に取り付けられる。マスタアセンブリ１０６は、操作者（例えば、図１に図示する外科医、臨床医、又は医師）が、介入部位を調べて、マニピュレータアセンブリ１０２を制御することを可能にする。
【0031】
マスタアセンブリ１０６は、通常、患者Ｐが配置される手術台の側面のような、手術台Ｔと同じ部屋に配置される、操作者コンソールに配置されてよい。しかしながら、操作者Ｏは、患者Ｐと異なる部屋又は全く異なる建物に配置されることができることが理解されるべきである。マスタアセンブリ１０６は、一般的に、マニピュレータアセンブリ１０２を制御するための１つ又はそれよりも多くの制御デバイスを含む。制御デバイスは、ジョイスティック、トラックボール、データグローブ、トリガガン、手動コントローラ、音声認識デバイス、身体運動又は存在センサ、及び／又は同等物のような、任意の数の様々な入力デバイスを含んでよい。器具１０４を直接的に制御しているという強い感覚を操作者Ｏに提供するために、制御デバイスは、関連する医療器具１０４と同じ自由度を備えてよい。このようにして、制御デバイスは、テレプレゼンス又は制御デバイスが医療器具１０４と一体的であるという知覚を操作者Ｏに提供する。
【0032】
幾つかの実施形態において、制御デバイスは、関連する医療器具１０４よりも多い又は少ない自由度を有して、操作者Ｏに依然としてテレプレゼンスを提供することがある。幾つかの実施形態において、制御デバイスは、任意的に、６自由度で動く手動入力デバイスであってよく、手動入力デバイスは、器具を作動させる（例えば、把持ジョーを閉じる、電極に電位を印加する、医薬治療を給送する、且つ／或いは同等のことを行う）ための、作動可能なハンドルを含んでもよい。
【0033】
マニピュレータアセンブリ１０２は、医療器具１０４を支持し、１つ又はそれよりも多くの非サーボ制御リンク（例えば、一般的にセットアップ構造と呼ばれる、手作業で位置付けられて、所定の場所にロックされることがある、１つ又はそれよりも多くのリンク）、及び／又は１つ又はそれよりも多くのサーボ制御リンク（例えば、制御システムからのコマンドに応答して制御されてよい１つ又はそれよりも多くのリンク）、及びマニピュレータの運動学的構造を含んでよい。マニピュレータアセンブリ１０２は、任意的に、制御システム（例えば、制御システム１１２）からのコマンドに応答して医療器具１０４への入力を駆動する複数のアクチュエータ又はモータを含んでよい。アクチュエータは、任意的に、医療器具１０４に連結されるときに医療器具１０４を自然に又は外科的に作られた解剖学的開口部に前進させることがある駆動システムを含んでよい。他の駆動システムは、３つの程度の線形運動（例えば、Ｘ、Ｙ、Ｚデカルト軸に沿う線形運動）及び３つの程度の回転運動（例えば、Ｘ、Ｙ、Ｚデカルト軸についての回転）を含む複数の自由度において医療器具１０４の遠位端を移動させてよい。加えて、アクチュエータを用いて、生検デバイス及び／又は同等物のジョー内で組織を把持するための医療器具１０４の関節作動可能なエンドエフェクタを作動させることができる。レゾルバ、エンコーダ、ポテンショメータ、及び他の機構のようなアクチュエータ位置センサは、モータシャフトの回転及び向きを記述するセンサデータを医療システム１００に提供してよい。この位置センサデータは、アクチュエータによって操作される物体の動きを決定するために使用されてよい。
【0034】
遠隔操作医療システム１００は、マニピュレータアセンブリ１０２の器具に関する情報を受信するための１つ又はそれよりも多くのサブシステムを備えるセンサシステム１０８を含んでよい。そのようなサブシステムは、位置／場所センサシステム（例えば、電磁（ＥＭ）センサシステム）、医療器具１０４を構成することがある可撓性本体(フレキシブル本体)に沿う遠位端及び／又は１つ又はそれよりも多くのセグメントの位置、向き、速さ、速度、姿勢、及び／又は形状を決定するための形状センサシステム、及び／又は医療器具１０４の遠位端から画像を取り込むための視覚化システム(visualization system)を含んでよい。
【0035】
遠隔操作医療システム１００は、センサシステム１０８のサブシステムによって生成される医療機器１０４及び手術部位の画像又は表現を表示するためのディスプレイシステム１１０を含んでもよい。ディスプレイシステム１１０及びマスタアセンブリ１０６は、操作者Ｏがテレプレゼンスの知覚を伴って医療器具１０４及びマスタアセンブリ１０６を制御し得るように方向付けられてよい。
【0036】
幾つかの実施形態において、医療器具１０４は、（以下でより詳細に議論する）視覚化システムを有してよく、視覚化システムは、手術部位の同時の又はリアルタイムの画像を記録し、ディスプレイシステム１１０の１つ又はそれよりも多くのディスプレイのような、医療システム１００の１つ又はそれよりも多くのディスプレイを通じて、画像を操作者又は操作者Ｏに提供する、視認スコープアセンブリ(viewing scope assembly)を含んでよい。同時画像は、例えば、手術部位内に位置付けられる内視鏡によって取り込まれる二次元又は三次元画像であってよい。幾つかの実施形態において、視覚化システムは、医療器具１０４に一体的に又は取り外し可能に連結されてよい内視鏡構成要素を含む。しかしながら、幾つかの実施形態では、別個のマニピュレータアセンブリに取り付けられる別個の内視鏡を医療器具１０４と共に用いて、手術部位を撮像してよい。視覚化システムは、制御システム１１２のプロセッサを含むことがある１つ又はそれよりも多くのコンピュータプロセッサと相互作用するか或いはさもなければそれ（それら）によって実行される、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせとして実装されてよい。
【0037】
ディスプレイシステム１１０は、視覚化システムによって取り込まれる医療器具及び手術部位の画像を表示してもよい。幾つかの例において、遠隔操作医療システム１００は、医療器具の相対的な位置が操作者Ｏの両眼及び両手の相対的な位置に類似するように、医療器具１０４及びマスタアセンブリ１０６の制御装置を構成してよい。このようにして、操作者Ｏは、あたかも実質的に真の存在(true presence)において作業空間を見るかのように、医療器具１０４及び手動制御装置を操作することができる。真の存在とは、画像の提示が、医療器具１０４を物理的に操作している医師の視点をシミュレートする真の透視画像であることを意味する。
【0038】
幾つかの例において、ディスプレイシステム１１０は、コンピュータ断層撮影（ＣＴ）、磁気共鳴映像（ＭＲＩ）、蛍光透視、サーモグラフィ、超音波、光干渉断層撮影（ＯＣＴ）、熱撮像、インピーダンス撮像、レーザ撮像、ナノチューブＸ線撮像、及び／又は同等物のような、撮像技術からの画像データを用いて、術前又は術中に記録される手術部位の画像を提示してよい。術前又は術中画像データは、二次元、三次元、又は（例えば、時間ベース又は速度ベースの情報を含む）四次元画像として、及び／又は術前又は術中画像データセットから作成されるモデルからの画像として提示されてよい。
【0039】
幾つかの実施形態では、しばしば画像誘導外科的処置の目的のために、ディスプレイシステム１１０は、医療器具１０４の実際の場所が術前又は同時画像／モデルと位置合わせされる（すなわち、動的に参照される）仮想ナビゲーション画像を表示してよい。これは医療器具１０４の観点から内部手術部位の仮想画像を操作者Ｏに提示するために行われてよい。幾つかの例において、視点は、医療器具１０４の先端からのものであってよい。医療器具１０４の先端の画像及び／又は他のグラフィカル又は英数字インジケータを仮想画像上に重ね合わせて、操作者Ｏが医療器具１０４を制御するのを助けてよい。幾つかの例において、医療器具１０４は、仮想画像内で見えないことがある。
【0040】
幾つかの実施形態において、ディスプレイシステム１１０は、外部視点から手術部位内の医療器具１０４の仮想画像を操作者Ｏに提示するために、医療器具１０４の実際の場所が術前又は同時画像と位置合わせされる仮想ナビゲーション画像を表示してよい。医療器具１０４の一部分の画像又は他のグラフィカル又は英数字インジケータを仮想画像上に重ね合わせて、医療器具１０４の制御において操作者Ｏを助けてよい。本明細書に記載するように、データポイントの視覚的表現は、ディスプレイシステム１１０に描画(レンダリング)されてよい。例えば、測定されたデータポイント、移動させられたデータポイント、位置合わせされたデータポイント、及び本明細書に記載する他のデータポイントは、視覚的表現においてディスプレイシステム１１０に表示されてよい。データポイントは、ディスプレイシステム１１０上の複数のポイント又はドットによって、或いはデータポイントのセットに基づいて作成されるメッシュ又はワイヤモデルのような描画(レンダリング)されたモデルとして、ユーザインターフェースにおいて視覚的に表現されてよい。幾つかの例において、データポイントは、それらが表すデータに従ってカラーコード化されてよい。幾つかの実施形態では、各処理操作がデータポイントを変更するために実施された後に、視覚的表現がディスプレイシステム１１０においてリフレッシュされてよい。
【0041】
遠隔操作医療システム１００は、制御システム１１２を含んでもよい。制御システム１１２は、少なくとも１つのメモリと、医療器具１０４、マスタアセンブリ１０６、センサシステム１０８、及びディスプレイシステム１１０の間の制御を行うための少なくとも１つのコンピュータプロセッサ（図示せず）とを含む。制御システム１１２は、ディスプレイシステム１１０に情報を提供するための命令を含む、本明細書に開示する態様に従って記載する方法の一部又は全部を実施するためのプログラムされた命令（例えば、命令を格納する非一時的な機械可読媒体）も含む。制御システム１１２は、図１の簡略化された概略図において単一のブロックとして示されているが、システムは、２つ又はそれよりも多くのデータ処理回路を含んでよく、処理の１つの部分は、マニピュレータアセンブリ１０２上で又はマニピュレータアセンブリ１０２に隣接して任意的に実行され、処理の別の部分は、マスタアセンブリ１０６で実行される、及び／又は他のことである。制御システム１１２のプロセッサは、本明細書に開示し且つ以下により詳細に記載するプロセスに対応する命令を含む命令を実行してよい。任意の多種多様な集中型又は分散型データ処理アーキテクチャが使用されてよい。同様に、プログラムされた命令は、多数の別個のプログラム又はサブルーチンとして実装されてよく、或いはそれらは本明細書に記載する遠隔操作システムの多数の他の態様に統合されてよい。１つの実施形態において、制御システム１１２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ、ＨｏｍｅＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ、及びＷｉｒｅｌｅｓｓ Ｔｅｌｅｍｅｔｒｙのような、無線通信プロトコルをサポートする。
【0042】
幾つかの実施形態において、制御システム１１２は、医療器具１０４からの力及び／又はトルクフィードバックを受信してよい。フィードバックに応答して、制御システム１１２は、マスタアセンブリ１０６に信号を送信してよい。幾つかの例において、制御システム１１２は、マニピュレータアセンブリ１０２の１つ又はそれよりも多くのアクチュエータに命令して、医療器具１０４を移動させてよい。医療器具１０４は、患者Ｐの身体にある開口部を介して患者Ｐの身体内の内部手術部位内に延びてよい。任意の適切な従来的な及び／又は特殊化されたアクチュエータが使用されてよい。幾つかの例において、１つ又はそれよりも多くのアクチュエータは、マニピュレータアセンブリ１０２から分離されてよく、或いはマニピュレータアセンブリ１０２と一体にされてよい。幾つかの実施形態において、１つ又はそれよりも多くのアクチュエータ及びマニピュレータアセンブリ１０２は、患者Ｐ及び手術台Ｔに隣接して位置付けられる遠隔操作カートの一部として提供される。
【0043】
制御システム１１２は、任意的に、画像誘導外科的処置の間に医療器具１０４を制御するときに操作者Ｏにナビゲーション支援を提供するために、仮想視覚化システムを更に含んでよい。仮想視覚化システムを使用する仮想ナビゲーションは、取得した解剖学的通路の術前又は術中データセットの参照に基づいてよい。仮想視覚化システムは、コンピュータ断層撮影（ＣＴ）、磁気共鳴映像（ＭＲＩ）、蛍光透視、サーモグラフィ、超音波、光干渉断層撮影（ＯＣＴ）、熱撮像、インピーダンス撮像、レーザ撮像、ナノチューブＸ線撮像、及び／又は同等のことのような、撮像技術を用いて撮像される手術部位の画像を処理する。手動入力との組み合わせにおいて使用されてよいソフトウェアを用いて、記録された画像を、部分的又は全体的な解剖学的臓器又は解剖学的領域のセグメント化された二次元又は三次元の複合表現に変換してよい。画像データセットは、複合表現と関連付けらる。複合表現及び画像データセットは、通路の様々な場所よび形状並びにそれらの接続性を記述する。複合表現を生成するために使用される画像は、臨床処置中に術前又は術中に記録されてよい。幾つかの実施形態において、仮想視覚化システムは、標準的表現（すなわち、患者特異的でない表現）又は標準的表現及び患者特異的データのハイブリッドを用いてよい。複合表現及び複合表現によって生成された仮想画像は、運動の１つ又はそれよりも多くの段階（例えば、肺の吸気／呼気サイクル）の間の変形可能な解剖学的領域の静止姿勢を表すことがある。
【0044】
仮想ナビゲーション処置の間に、センサシステム１０８を用いて、患者Ｐの解剖学的構造に対する医療器具１０４の近似場所を計算してよい。その場所を用いて、患者Ｐの解剖学的構造のマクロレベル（外部）トラッキング(追跡)画像及び患者Ｐの解剖学的構造の仮想内部画像の両方を生成することができる。システムは、１つ又はそれよりも多くの電磁センサ、光ファイバセンサ、及び／又は他のセンサを実装して、仮想視覚化システムからの術前記録外科画像のような術前記録外科画像と共に医療器具を位置合わせ及び表示してよい。例えば、その全文を参照によって本明細書に援用する、（「Systems and Methods of Registration for Image Guided Surgery」を開示する）（２０１６年１２月１日に公開された）特許文献１は、そのような１つのシステムを開示している。遠隔操作医療システム１００は、照明システム、操縦制御システム、洗浄システム、及び／又は吸引システムのような、任意的な操作及び支持システム（図示せず）を更に含んでよい。幾つかの実施形態において、遠隔操作医療システム１００は、１つよりも多くのマニピュレータアセンブリ及び／又は１つよりも多くのマスタアセンブリを含んでよい。遠隔操作マニピュレータアセンブリの正確な数は、他の要因の中でも、外科的処置及び手術室内の空間的制約に依存する。マスタアセンブリ１０６は、同じ場所に配置されてよく、或いは別個の場所に位置付けられてよい。複数のマスタアセンブリは、１人よりも多くの操作者が１つ又はそれよりも多くの遠隔操作マニピュレータアセンブリを様々な組み合わせにおいて制御することを可能にする。
【0045】
図２Ａは、幾つかの実施形態に従った医療器具システム２００の簡略図である。幾つかの実施形態において、医療器具システム２００は、遠隔操作医療システム１００で実行される画像誘導医療処置において医療器具１０４として使用されてよい。幾つかの例において、医療器具システム２００は、非遠隔操作探索的処置のために、或いは内視鏡のような従来的な手動操作医療器具を含む処置において使用されてよい。任意的に、医療器具システム２００は、患者Ｐのような患者の解剖学的通路内の場所に対応するデータポイントのセットを収集する（すなわち、測定する）ために使用されてよい。
【0046】
医療器具システム２００は、駆動ユニット２０４に連結される、可撓性カテーテルのような、細長いデバイス２０２を含む。細長いデバイス２０２は、近位端２１７と、遠位端又は先端部分２１８とを有する、可撓性本体２１６を含む。幾つかの実施態様において、可撓性本体２１６は、約３ｍｍの外径を有する。他の可撓性本体の外径は、より大きくてもより小さくてもよい。
【0047】
医療器具システム２００は、以下に更に詳細に記載するように、１つ又はそれよりも多くのセンサ及び／又は撮像デバイスを使用して、可撓性本体２１６に沿う１つ又はそれよりも多くのセグメント２２４及び／又は遠位端２１８の位置、向き、速さ、速度、姿勢、及び／又は形状を決定するためのトラッキングシステム２３０を更に含む。遠位端２１８と近位端２１７との間の可撓性本体２１６の全長は、セグメント２２４に効果的に分割されてよい。トラッキングシステム２３０は、任意的に、図１の制御システム１１２のプロセッサを含んでよい１つ又はそれよりも多くのコンピュータプロセッサと相互作用するか或いはさもなければそれ（それら）によって実行される、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせとして実装されてよい。
【0048】
トラッキングシステム２３０は、任意的に、形状センサ２２２を使用して、遠位端２１８及び／又はセグメント２２４の１つ又はそれよりも多くをトラッキングしてよい。形状センサ２２２は、任意的に、可撓性本体２１６と整列させられる（例えば、内部チャネル（図示せず）内に設けられる、或いは外部に取り付けられる）光ファイバを含んでよい。１つの実施形態において、光ファイバは、約２００μｍの直径を有する。他の実施形態において、寸法は、より大きくてもより小さくてもよい。形状センサ２２２の光ファイバは、可撓性本体２１６の形状を決定するための光ファイバ曲げセンサを形成する。１つの代替では、ファイバブラッググレーティングを含む光ファイバが、１つ又はそれよりも多くの次元において構造のひずみ測定値を提供するために使用される。三次元における光ファイバの形状及び相対的な位置をモニタリング(監視)するための様々なシステム及び方法は、（「Fiber optic position and shape sensing device and method relating thereto」を開示する）（２００５年７月１３日に出願された）特許文献２、（「Fiber-optic shape and relative position sensing」を開示する）（２００４年７月１６日に出願された）特許文献３、及び（「Optical Fibre Bend Sensor」を開示する）（１９９８年６月１７日に出願された）特許文献４に記載されており、それらは全て文献の全文を参照によって本明細書に援用する。幾つかの実施形態におけるセンサは、レイリー散乱、ラマン散乱、ブリユアン散乱、及び蛍光散乱のような、他の適切なひずみ感知技法を利用してよい。幾つかの実施形態において、細長いデバイスの形状は、他の技法を用いて決定されてよい。例えば、可撓性本体２１６の遠位端姿勢の履歴を使用して、時間間隔に亘る可撓性本体２１６の形状を再構成することができる。幾つかの実施形態において、トラッキングシステム２３０は、位置センサシステム２２０を使用して遠位端２１８を任意的に及び／又は追加的にトラッキングしてよい。位置センサシステム２２０は、外部的に生成される電磁場に曝されることがある１つ又はそれよりも多くの導電性コイルを含む位置センサシステム２２０を備えるＥＭセンサシステムの構成要素であってよい。その場合、ＥＭセンサシステムの各コイルは、外部的に生成される電磁場に対するコイルの位置及び向きに依存する特性を有する誘導電気信号を生成する。幾つかの実施形態において、位置センサシステム２２０は、６自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚ、並びに基点のピッチ、ヨー、及びロールを示す３つの配向角、又は５つの自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚ、並びに基点のピッチ及びヨーを示す２つの配向角を測定するように構成及び位置決めされてよい。位置センサシステムの更なる記述は、（「Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked」を開示する）（１９９９年８月１１日に出願された）特許文献５に提供されており、その全文を参照によって本明細書に援用する。
【0049】
幾つかの実施形態において、トラッキングシステム２３０は、代替的に及び／又は追加的に、呼吸のような交互運動のサイクルに沿う器具システムの既知のポイントについて格納された履歴的な姿勢、位置、又は向きデータに依存してよい。この格納されたデータは、可撓性本体２１６に関する形状情報を開発するために使用されてよい。幾つかの例では、位置センサ２２０内のセンサに類似する電磁（ＥＭ）センサのような一連の位置センサ（図示せず）が、可撓性本体２１６に沿って位置付けられてよく、次に、形状感知のために使用されてよい。幾つかの例では、特に解剖学的通路が一般的に静止的であるならば、処置中に取られるこれらのセンサのうちの１つ又はそれよりも多くのセンサからのデータの履歴を使用して、細長いデバイス２０２の形状を表現してよい。
【0050】
可撓性本体２１６は、医療器具２２６を受け入れるようなサイズ及び形状とされたチャネル２２１を含む。図２Ｂは、幾つかの実施形態に従って延在させられた医療器具２２６を備える可撓性本体２１６の簡略図である。幾つかの実施形態において、医療器具２２６は、手術、生検、切除(アブレーション)、照明、洗浄、又は吸引のような処置のために使用されてよい。医療器具２２６は、可撓性本体２１６のチャネル２２１を通じて展開されることができ、解剖学的構造内の標的場所で使用されることができる。医療器具２２６は、例えば、画像キャプチャプローブ、生検機器、レーザ切除ファイバ、及び／又は他の外科的、診断的、又は治療的ツールを含んでよい。医療器具は、メス、鈍らブレード、光ファイバ、電極、及び／又は同等物のような、単一の作業部材を有するエンドエフェクタを含んでよい。他のエンドエフェクタは、例えば、鉗子、グラスパ(把持器)、はさみ、クリップアプライヤ、及び／又は同等物を含んでよい。他のエンドエフェクタは、電気外科手術電極、トランスデューサ、センサ、及び／又は同等物のような、電気的に活性化されたエンドエフェクタを更に含んでよい。様々な実施形態において、医療器具２２６は、標的解剖学的場所から試料組織又は細胞のサンプリングを除去するために使用されてよい生検器具である。医療器具２２６は、同様に可撓性本体２１６内の画像キャプチャプローブと共に使用されてよい。様々な実施形態において、医療器具２２６は、表示のために視覚化システム２３１によって処理される且つ／或いは遠位端２１８及び／又はセグメント２２４の１つ又はそれよりも多くのトラッキングをサポートするようトラッキングシステム２３０に提供される（ビデオ画像を含む）画像を取り込むために可撓性本体２１６の遠位端２１８に又はその付近に立体視又は平面視カメラを備える遠位部分を含む、画像キャプチャプローブであってよい。画像キャプチャプローブは、取り込んだ画像データを送信するためにカメラに連結されるケーブルを含んでよい。幾つかの例において、画像キャプチャ器具は、視覚化システム２３１に連結するファイバスコープのような光ファイバ束であってよい。画像キャプチャ器具は、例えば、可視スペクトル、赤外スペクトル、及び／又は紫外スペクトルのうちの１つ又はそれよりも多くの画像データを取り込む、単一又は複数スペクトルであってよい。代替的に、医療器具２２６自体が画像キャプチャプローブであってよい。医療器具２２６は、処置を行うためにチャネル２２１の開口から前進させられ、次に、処置が完了したときに、チャネル内に後退させられてよい。医療器具２２６は、可撓性本体２１６の近位端２１７から或いは可撓性本体２１６に沿う別の任意的な器具ポート（図示せず）から取り外されてよい。
【0051】
医療器具２２６は、追加的に、医療器具２２６の遠位端を制御可能に曲げるために、その近位端と遠位端との間に延在する、ケーブル、リンケージ(リンク装置)、又は他の作動制御装置（図示せず）を収容してよい。操縦可能な器具は、（「Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity」を開示する）（２００５年１０月４日に出願された）特許文献６及び（「Passive Preload and Capstan Drive for Surgical Instruments」を開示する）（２００８年９月３０日に出願された）特許文献７に詳細に記載されており、それらの全文を参照によって本明細書に援用する。
【0052】
可撓性本体２１６は、例えば、遠位端２１８の破点線描写２１９によって示すように、遠位端２１８を制御可能に曲げるために駆動ユニット２０４と遠位端２１８との間に延在する、ケーブル、リンケージ、又は他の操縦制御装置（図示せず）も収容してよい。幾つかの例では、少なくとも４つのケーブルが、遠位端２１８のピッチを制御するための独立的な「上下」操縦と、遠位端２８１のヨーを制御するための「左右」操縦とを提供するために使用される。操縦可能な細長いデバイスは、（「Catheter with Removable Vision Probe」を開示する）（２０１１年１０月１４日に出願された）特許文献８に詳細に記載されており、その全文を参照によって本明細書に援用する。医療器具システム２００が遠隔操作アセンブリによって作動させられる実施形態において、駆動ユニット２０４は、遠隔操作アセンブリのアクチュエータのような駆動要素に取り外し可能に連結し、そのような駆動要素から電力を受け取る、駆動入力を含んでよい。幾つかの実施形態において、医療器具システム２００は、医療器具システム２００の動きを手動制御するための、把持機能、手動アクチュエータ、又は他の構成要素を含んでよい。細長いデバイス２０２は、操縦可能であってよく、或いは、代替的に、システムは、遠位端２１８の曲げの操作者制御のための一体化された機構を備えずに操縦不能であってい。幾つかの例において、医療器具を展開して、標的手術場所で使用することができる、１つ又はそれよりも多くの管腔が、可撓性本体２１６の壁に画定される。
【0053】
幾つかの実施形態において、医療器具システム２００は、肺の検査、診断、生検、又は治療における使用のための、気管支鏡又は気管支カテーテルのような、可撓気管支器具を含んでよい。医療器具システム２００は、結腸、腸、腎臓及び腎杯、脳、心臓、血管系を含む循環系、及び／又は同等器官を含む、様々な解剖学的系のいずれかにおける、自然に又は外科的に作られた接続された通路を介した、他の組織のナビゲーション及び治療にも適している。
【0054】
追跡システム２３０からの情報は、ナビゲーションシステム２３２に送信され、ナビゲーションシステム２３２で、視覚化システム２３１からの情報及び／又は術前に得られたモデル（例えば、患者解剖学的構造の解剖学的構造モデル）と組み合わされて、医師又は他の操作者にリアルタイムの位置情報を提供する。幾つかの例において、リアルタイム位置情報は、医療器具システム２００の制御における使用のために、図１のディスプレイシステム１１０に表示されてよい。幾つかの例において、図１の制御システム１１６は、医療器具システム２００を位置決めするためのフィードバックとして位置情報を利用してよい。手術用器具を外科画像と位置合わせし且つ表示するために光ファイバセンサを使用するための様々なシステムが、「Medical System Providing Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery」を開示する２０１１年５月１３日に出願された特許文献９に提供されており、その全文を参照によって本明細書に援用する。
【0055】
幾つかの例において、医療器具システム２００は、図１の医療システム１００内で遠隔操作されてよい。幾つかの実施形態において、図１のマニピュレータアセンブリ１０２は、直接操作者制御と置換されてよい。幾つかの例では、直接操作者制御は、器具の手持ち操作のための様々なハンドル及び操作者インターフェースを含んでよい。
【0056】
図３Ａ及び図３Ｂは、幾つかの実施形態に従った挿入アセンブリに取り付けられた医療器具を含む患者座標空間の簡略化された側面図である。図３Ａ及び図３Ｂに示すように、外科環境３００は、図１の台Ｔに位置付けられた患者Ｐを含む。患者Ｐは、患者の大きな移動が鎮静、拘束、及び／又は他の手段によって制限されるという意味において、手術環境内で静止的であってよい。患者Ｐの呼吸及び心臓の動きを含む周期的な解剖学的な動きは、患者が息を止めて呼吸の動きを一時的に停止させることを求められない限り、継続することがある。従って、幾つかの実施形態において、データは、特定の呼吸相で集められ、その位相でタグ付けされ、識別されてよい。幾つかの実施形態において、データが収集される位相は、患者Ｐから収集される生理学的情報から推測されてよい。外科環境３００内で、点収集器具３０４(point gathering instrument)が、器具キャリッジ３０６に連結される。幾つかの実施形態において、点収集器具３０４は、ＥＭセンサ、形状センサ、及び／又は他のセンサモダリティを使用してよい。器具キャリッジ３０６は、外科環境３００内に固定された挿入ステージ３０８に取り付けられる。代替的に、挿入ステージ３０８は、可動であってよいが、外科環境３００内に（例えば、トラッキングセンサ又は他のトラッキングデバイスを介して）既知の位置を有してよい。器具キャリッジ３０６は、挿入運動（すなわち、Ａ軸に沿う動き）、任意的に、ヨー、ピッチ、及びロールを含む多方向における細長いデバイス３１０の遠位端３１８の動きを制御するために点収集器具３０４に連結する、マニピュレータアセンブリ（例えば、マニピュレータアセンブリ１０２）の構成要素であってよい。器具キャリッジ３０６又は挿入ステージ３０８は、挿入ステージ３０８に沿う器具キャリッジ３０６の動きを制御するサーボモータ（図示せず）のようなアクチュエータを含んでよい。
【0057】
細長いデバイス３１０は、器具本体３１２に連結される。器具本体３１２は、器具キャリッジ３０６に対して連結され且つ固定される。幾つかの実施形態では、光ファイバ形状センサ３１４が、器具本体３１２上で近位点３１６に固定される。幾つかの実施形態において、光ファイバ形状センサ３１４の近位点３１６は、器具本体３１２と共に移動可能であってよいが、近位点３１６の場所は、（例えば、トラッキングセンサ又は他のトラッキングデバイスを介して）知られていることがある。形状センサ３１４は、近位点３１６から細長いデバイス３１０の遠位端３１８のような別の点への形状を測定する。点収集装置３０４は、医療器具システム２００と実質的に類似してよい。
【0058】
位置測定デバイス３２０が、器具本体３１２が挿入軸Ａに沿って挿入ステージ３０８上を移動するときに、器具本体３１２の位置に関する情報を提供する。位置測定デバイス３２０は、器具キャリッジ３０６の動き、結果的に、器具本体３１２の動きを制御するアクチュエータの回転及び／又は向きを決定する、レゾルバ、エンコーダ、ポテンショメータ、及び／又は他のセンサを含んでよい。幾つかの実施態様において、挿入ステージ３０８は、直線的である。幾つかの実施形態において、挿入ステージ３０８は、湾曲させられてよく、或いは湾曲区画と線形区画との組み合わせを有してよい。
【0059】
図３Ａは、挿入ステージ３０８に沿った後退位置にある器具本体３１２及び器具キャリッジ３０６を示している。この後退位置において、近位点３１６は、軸Ａ上の位置Ｌ０にある。挿入ステージ３０８に沿うこの位置において、近位点３１６の場所のＡ成分は、挿入ステージ３０８上の器具キャリッジ３０６、よって、近位点３１６の位置を記述するベース基準を提供するために、ゼロ及び／又は別の基準値に設定されてよい。器具本体３１２及び器具キャリッジ３０６のこの後退位置に伴って、細長いデバイス３１０の遠位端３１８は、患者Ｐの入口オリフィスの正に内側に位置付けられることがある。また、この位置において、位置測定デバイス３２０は、ゼロ及び／又は別の基準値（例えば、Ｉ＝０）に設定されてよい。図３Ｂにおいて、器具本体３１２及び器具キャリッジ３０６は、挿入ステージ３０８の線形トラックに沿って前進し、細長いデバイス３１０の遠位端３１８は患者Ｐ内に前進している。この前進位置において、近位点３１６は、軸Ａ上の位置Ｌ１にある。幾つかの例では、挿入ステージ３０８に沿う器具キャリッジ３０６の動きを制御する１つ又はそれよりも多くのアクチュエータ及び／又は器具キャリッジ３０６及び／又は挿入ステージ３０８と関連付けられた１つ又はそれよりも多くの位置センサからのエンコーダ及び／又は他の位置データを用いて位置Ｌ０に対する近位点３１６の位置Ｌｘを決定する。幾つかの例において、位置Ｌｘは、細長いデバイス３１０の遠位端３１８が患者Ｐの解剖学的構造の通路内に挿入される距離又は挿入深さのインジケータとして更に使用されてよい。
【0060】
図４、図５、図６、図７、図８、図９、及び図１０を参照すると、幾つかの実施形態において、標的構造の場所は、カテーテル内に統合される或いはカテーテルによって送達される撮像プローブ（例えば、超音波プローブ）を使用して確認／決定されてよい。様々な実施形態において、標的構造場所を決定及び／又は確認するための超音波技術の使用は、小さな直径（例えば、約１０ｍｍ以下）の結節に向けられた生検又は他の巣状療法(focal therapies)におけるより高い精度を可能にすることがある。図４、図５、及び図６は、撮像プローブ又はツールのいずれかを挿入するために使用されてよいチャネルを含むカテーテルを図示している。図７、図８、及び図９は、撮像プローブ及びツールを同時に提供するように構成されたカテーテルを図示している。図１０は、撮像プローブを使用して標的構造の場所を決定するための方法を図示している。
【0061】
図４の例は、標的構造ＰＭ（例えば、腫瘍、病変、結節）及び付近の解剖学的通路４０２の仮想画像４００を図示している。通路４０２は、通路壁４０４を含む。通路４０２は、座標系（Ｘｐ、Ｙｐ、Ｚｐ）を備える患者基準系(patient reference frame)内に配置される。患者基準系は、固定的な基準系（すなわち、医療処置中に移動しない基準系）であってよい。（例えば、術前又は術中モデリングから得られる）複数の通路４０２の画像は、図１を参照して前述した方法を使用して患者基準系に位置合わせされてよい。標的構造ＰＭの場所は、術前又は術中撮像内で決定され、よって、患者基準系内で知られる。この実施形態において、解剖学的通路は、肺の気管支通路であるが、この開示のシステム及び方法は、結腸、腸、腎臓、心臓、及び／又は類似器官のような解剖学的構造を含む、循環系、消化系、腎系、及び生殖器系のような、解剖学的系における他の自然に又は外科的に作られた通路における使用に適することがある。
【0062】
（可撓性本体２１６に実質的に類似する）可撓性カテーテル本体４０８は、標的構造へのアクセスを可能にするカテーテル駐機場所(park location)にナビゲートされて(進められて)よい。カテーテルは、カテーテルの遠位端部分が標的構造に向かう方向に照準される(pointed)ことを可能にする向きにおいて、カテーテル駐機位置に位置付けられてよい。このようにして、可撓性カテーテル本体４０８を通じて挿入されるツールは、標的構造への照準ベクトル(pointing vector)に沿って挿入される。カテーテルは、例えば、視覚内視鏡、ＥＭセンサ、及び／又は光ファイバ形状ベースのナビゲーション技法を用いて、ナビゲートされてよい。可撓性カテーテル本体４０８を通じて撮像プローブ４０６を挿入することができる。１つの実施形態において、撮像プローブ４０６は、超音波プローブ４０６である。超音波プローブ４０６は、側面向き(side-facing)トランスデューサ、前方向き(forward-facing)トランスデューサ、湾曲トランスデューサ、半径方向トランスデューサ、及び／又は同等物のような、超音波トランスデューサを使用してよい。ある例において、超音波プローブは、トランスデューサの回転軸に対して概ね垂直な方向における撮像のための回転超音波トランスデューサを含む、側面撮像トランスデューサを使用する。側面撮像(side-imaging)プローブは、撮像平面４１２に沿う断面（すなわち、半径方向）画像を生成する。任意的に、超音波プローブ４０６は、図４に示すように、交換可能でありよりもむしろ、カテーテルと一体的であってよい。カテーテル基準系及び座標系（Ｘｃ、Ｙｃ、Ｚｃ）が、カテーテル４０８の遠位端部分４１０に画定され、図１を参照して前述した方法を用いて患者座標系と位置合わせされる。図４の実施形態において、トランスデューサの回転軸は、カテーテル基準系のＺｃ方向に概ね沿っている。
【0063】
幾つかの態様では、側面撮像プローブが、解剖学的通路の外側に位置する組織を含む、回転軸から半径方向距離にある組織の画像を生成する。他の実施形態では、前方視(forward-looking)超音波プローブを使用して撮像トランスデューサの遠位の組織を撮像してよい。超音波プローブは、狭い解剖学的通路をナビゲートするために比較的小さくてよい。例えば、超音波プローブは、約１．４ｍｍの遠位端直径を有してよい。
【0064】
図５は、図４に示す撮像平面４１２内の超音波プローブ４０６によって生成された画像５００を図示している。画像５００は、基準座標系及び座標系（ＸＩ、ＹＩ、ＺＩ）を有する。標的構造５０２（ＰＩ）は、画像基準系内で識別される。それは、例えば、臨床医によって、画像分析アルゴリズムによって、又はこれら２つの組み合わせによって識別されてよい。超音波スキャンは、呼吸サイクル及び／又は心サイクルのためにゲート化されてよい。画像５００は、二次元であるが、三次元画像が、複数の二次元超音波スキャンから構築されてよい。画像基準系内の標的構造ＰＩの場所と関連付けられるデータが、カテーテル座標系又は（カテーテル座標系と位置合わせされた）患者座標系にＰＰとして変換される。超音波プローブによって決定された標的構造ＰＰの場所は、補正ベクトル４１４を決定するために、カテーテル又は患者基準系内の術前又は術中撮像から決定された標的構造ＰＭの場所と比較されてよい。補正ベクトル４１４は、標的構造ＰＭの場所と標的構造ＰＰの場所との間のオフセット値である。
【0065】
様々な実施形態では、画像座標系をカテーテル座標系に変換するために、画像座標系とカテーテル座標系との間の相対的な三次元姿勢が決定される。幾つかの実施形態において、それは撮像プローブ及びカテーテル上のセンサによって直接的に測定される。そのようなセンサは、ＥＭセンサ、光ファイバ形状センサ、又は同等物を含んでよい。撮像プローブ及びカテーテル上のセンサは、同じタイプである必要はない。
【0066】
幾つかの実施形態において、画像座標系（ＸＩ、ＹＩ、ＺＩ）とカテーテル座標系（ＸＣ、ＹＣ、ＺＣ）との間の相対的な姿勢は、撮像プローブがカテーテルの先端を越えて直線的に延び、カテーテル端の姿勢が知られていると仮定すると、カテーテル座標系に対する画像座標系の挿入長Ｌ及び／又はロール角を測定することによって計算されることができる。幾つかの実施形態において、相対的な姿勢は、カテーテル遠位端に対する標的の相対的な位置の仮定（例えば、カテーテル端は標的を指している）に基づいて決定される。それらの実施形態において、カテーテルによって送達される撮像プローブは、カテーテルの照準方向に沿って位置すると仮定され、よって、カテーテル遠位端からの距離のみが決定される必要がある。そのような距離は、仮定された距離であってよく、或いは外部撮像を用いて決定されてよい。一例では、（例えば、取り込んだ超音波画像から）カテーテル基準系内の標的場所及び画像基準系内の標的場所を決定した後に、画像基準系とカテーテル基準系との間の変換が決定されてよい。
【0067】
幾つかの例において、挿入長Ｌは、例えば、エンコーダ又はステッピングモータを用いて決定されてよい。ロール角は、様々な技法を用いて決定されてよい。例えば、超音波プローブは、カテーテルにキー止めされる(keyed)ロールアライメント構成(ロール整列構成)を含んでよく、その場合、ロールアライメント構成は、超音波プローブに、カテーテルを通じて延びるカテーテルロール軸（Ｚｃ）についての固定的な向きを維持させる。ロールアライメント構成は、画像基準系及び座標系（ＸＩ、ＹＩ、ＺＩ）のロール角が、カテーテル基準系及び座標系（ＸＣ、ＹＣ、ＺＣ）に対して位置合わせされることを可能にする。幾つかの実施形態において、ロールアライメント構成は、カテーテル内の同様に形作られたチャネルと整合する(match)ようにキー止めされた成形突起(shaped protrusion)である。代替的な実施形態において、ロールアライメント構成は、カテーテル内の突起と整合するように形作られたチャネルであってよい。１つよりも多くのロールアライメント構成を用いて、カテーテルロール軸についての固定的な向きにプローブを維持してよい。別の代替的な実施形態において、カテーテル座標系に対する画像座標系のロール角は、患者解剖学的構造の外側に配置されるロールセンサによって決定されてよい。更に別の代替的な実施形態において、ロール角は、撮像プローブによって記録された画像内のカテーテルに対する既知の角度を有する１つ又はそれよりも多くのマーカ又は他の構成によって決定されてよい。例えば、構成又はマーカは、カテーテルの周囲に配置されてよく、カテーテルに対するコントラスト（例えば、超音波コントラスト）を有してよい。別の代替的な実施形態において、組み合わせられたロール及び挿入長は、カテーテルの近位端の周りのプローブ上のパターンを観察することによって、或いはプローブの近位端の周りのカテーテル上のパターンを観察することによって決定されてよい。様々な位置合わせ技法（例えば、オプティカルフロー(optical flow)）を用いて、画像座標系及びカテーテル座標系を位置合わせしてよい。
【0068】
図６を参照すると、幾つかの実施形態において、画像座標系とカテーテル座標系との間の相対的な姿勢は、１つ又はそれよりも多くの外部画像を用いて決定され、その場合、各外部画像は、カテーテル画像と、撮像プローブ画像とを含む。そのような外部画像は、コンピュータ断層撮影（ＣＴ）、磁気共鳴映像（ＭＲＩ）、蛍光透視、サーモグラフィ、超音波、光干渉断層撮影（ＯＣＴ）、熱撮像、インピーダンス撮像、レーザ撮像、ナノチューブＸ線撮像、及び／又は同等物（例えば、蛍光透視）によって提供されてよい。図６の例では、ディスプレイシステム１１０が、外部蛍光透視撮像デバイスからの患者解剖学的構造の同時の又はリアルタイムの外部画像６０２を表示する。外部画像６０２は、カテーテル４０８、超音波プローブ４０６、及び患者解剖学的構造内の骨（例えば、肋骨６０４－１、６０４－２）の画像を含む。幾つかの実施形態では、操作者が、（例えば、入力デバイスを用いて）入力を提供して、超音波プローブ４０６及びカテーテル４０８の遠位端４１０の場所位置を識別してよい。図６の例において、ディスプレイシステム１１０は、タッチスクリーンを含み、操作者は、タッチスクリーンを使用して、外部画像６０２内で（例えば、マーカ「Ｘ」を使用することによって）カテーテル４０８の遠位端４１０を識別してよく、（例えば、マーカ「Δ」を使用することによって）超音波プローブ４０６を識別してよい。操作者は、ボタン６０６を選択することによって、識別された場所を制御システムに送信してよい。
【0069】
幾つかの実施形態において、制御システムは、画像６０２を分析して画像６０２内の超音波プローブ４０６及びカテーテル４０８の遠位端４１０の位置を自動的に検出する画像分析アルゴリズムを使用することによって、画像座標系とカテーテル座標系との間の相対的な姿勢を決定してよい。幾つかの例では、画像６０２内の既知の解剖学的ランドマーク寸法（例えば、連続する鎖骨６０４－１及び６０４－２の間の距離ｄ１）を用いて、画像６０２内の超音波プローブ４０６及びカテーテル４０８の遠位端４１０の位置の間の距離ｄ２を決定してよい。
【0070】
幾つかの実施態様では、２つ又はそれよりも多くの外部画像を用いて、超音波プローブ４０６及びガイドカテーテル４０８の遠位端４１０の場所及び／又は相対的な位置を決定する。２つ又はそれよりも多くの外部画像を使用することによって、超音波プローブ４０６とカテーテル４０８とを含む患者解剖学的構造の三次元画像が、各外部画像上の超音波プローブ４０６及びカテーテル４０８の遠位端４１０の場所に基づいて複数の二次元外部画像から構築されてよい。各外部画像上の超音波プローブ４０６及びカテーテル４０８の遠位端４１０の場所は、操作者入力又は制御システムによって実行されるデジタル画像処理のいずれかに基づいて識別されてよい。幾つかの実施態様において、２つ又はそれよりも多くの外部画像は、異なる視野方向から同じ外部撮像デバイス（例えば、蛍光透視撮像デバイス）によって提供される。代替的な実施形態において、２つ又はそれよりも多くの外部画像は、異なる撮像技術（コンピュータ断層撮影（ＣＴ）、磁気共鳴映像（ＭＲＩ）、蛍光透視、サーモグラフィ、超音波、光干渉断層撮影（ＯＣＴ）、熱撮像、インピーダンス撮像、レーザ撮像、又はナノチューブＸ線撮像など）を用いて、２つ又はそれよりも多くの外部撮像デバイスで提供される。
【0071】
図７、図８、及び図９を参照すると、幾つかの実施形態において、カテーテルは、ツールと同時に撮像プローブ（例えば、超音波プローブ）を提供してよい。それらの実施形態において、撮像プローブからの第１の画像は、ツール及び標的構造の両方を含むことがあり、それは標的構造及びツールの先端の位置を確認又は決定するために使用されてよい。幾つかの実施形態では、ツールの先端の追加的な場所データが、標的構造の場所を決定するために用いられることがある第１の画像以外のソース（例えば、患者解剖学的構造の外部画像、カテーテルの遠位端の既知の姿勢）に基づいて決定されてよい。撮像プローブからの第１の画像及びツールの先端の場所データを用いることによって、標的構造の位置は、医療処置（例えば、生検、切除など）の間に決定されることがある。一例では、患者解剖学的構造の仮想視覚化画像が、生検処置の間に操作者に提供されてよく、それは生検器具の画像及び標的構造の画像を含み、標的構造内への生検器具の挿入の視覚化を提供する。
【0072】
図７の例を参照すると、標的構造８１０及び付近の解剖学的通路８０２の仮想画像８００が図示されている。通路８０２は、通路壁８０４を含む。図７に示すように、生検器具８０６は、生検処置中にカテーテル８０８のチャネルに挿入される。カテーテル８０８は、標的構造８１０へのアクセスを提供する位置及び／又は向きに操縦される。カテーテルの操縦は、カテーテルの能動的な操縦制御によって直接的に或いは操縦可能な生検器具８０６をナビゲートすることによって間接的に達成されてよい。生検器具８０６は、カテーテル８０８から解剖学的通路８０２の壁８０４を通じて標的構造８１０に接触するように延出されて、組織サンプルが採取されることが可能にされるが、幾つかの例では、生検器具８６０の延出は、カテーテル８０８の遠位端８１４が適切に位置決めされるまで遅らされてよい。代替的な例において、生検器具８０６は、切除ツール又は解剖ツールのような治療デバイスと置換されてよい。
【0073】
図７の例において、カテーテル８０８は、カテーテル８０８の遠位端８１４に統合された撮像プローブ８１２（例えば、超音波プローブ）を含む。代替的な実施形態では、撮像プローブ（例えば、超音波プローブ）は、カテーテルの第２のチャネルを通して同時に挿入されてよい一方で、生検器具は、カテーテルの第１のチャネルを通じて挿入される。撮像プローブ８１２は、生検器具８０６及び標的構造８１０の術中及びリアルタイムの画像を取得するために通路８０２内に配置される。様々な実施形態において、生検器具８０６及び標的構造８１０のそれらの画像は、撮像プローブ８１２によって取り込まれた画像を位置合わせし、且つ／或いは標的構造８１０、生検器具８０６及び生検器具８０６のツール先端８１６に対して撮像プローブ８１２を局所化することを更に支援するために使用されてよい。
【0074】
図７の例において、撮像プローブ８１２は、前方向き超音波プローブであり、それは撮像プローブ８１２の遠位にある（例えば、生検器具８０６が標的構造８１０を貫通するときの）標的構造８１０及び生検器具８０６の両方の画像を取り込むために用いられる。代替的な実施形態において、撮像プローブ８１２は、側面撮像プローブ８１２の撮像平面（例えば、図４の撮像プローブ４０６の撮像平面４１２）に沿う断面（すなわち、半径方向）画像を生成することによって、標的構造８１０及び生検器具８０６の両方の画像を取り込むための側面撮像プローブを含む。様々な実施形態では、超音波プローブを使用することによって、解剖学的通路の外側に位置する物体（例えば、標的構造８１０、生検器具８０６の一部分）の画像が取り込まれることがある。
【0075】
図８の例を参照すると、図７に示す前方向き超音波プローブ８１２によって生成された画像８５０を図示している。画像８５０は、画像基準系及び座標系（ＸＩ、ＹＩ、ＺＩ）を有し、標的構造８１０の画像と、ツール先端８１６を含む生検器具８０６の画像とを含む。様々な実施形態において、標的構造８１０、生検器具８０６、及びツール先端８１６は、画像基準系内で識別される。それらは、例えば、操作者（例えば、臨床医）によって、画像分析アルゴリズムによって、或いはこれらの２つの組み合わせによって識別されてよい。画像８５０は、二次元であるが、三次元画像が、複数の２次元超音波画像から構築されてよい。画像基準系内のツール先端８１６及び標的構造８１０の場所と関連付けられるデータが、カテーテル座標系又は（カテーテル座標系と位置合わせされた）患者座標系に変換される。カテーテル座標系又は患者座標系内の標的構造８１０及びツール先端８１６の場所データは、ディスプレイシステム１１０上で視覚的仮想化画像を提供するために用いられてよい。
【0076】
様々な実施形態では、撮像プローブ８１２によって提供される画像８５０に基づいて決定されるツール先端８１６の第１の場所データに加えて、ソース（例えば、カテーテル８０８の遠位端８１４の既知の姿勢、外部撮像デバイスからの外部画像）に基づいてツール先端８１６の第２の場所データを用いて、標的構造８１０の場所を決定してよい。幾つかの実施形態において、ツール先端８１６のそのような第２の場所データは、カテーテル８０８の遠位端８１４の既知の姿勢に基づいて決定される。例えば、ツール先端８１６の第２の場所データは、ツール先端８１６がカテーテル８０８の遠位端８１４と同じ方向に沿っていることを示してよい。更に、例えば、ツール先端８１６の第２の位置データは、ツール先端８１６がカテーテル８０８の遠位端８１４から所定の距離（例えば、１５ｍｍ）にあることを示してよい。
【0077】
図９を参照すると、幾つかの実施形態では、ツール先端８１６の第２の場所データが、外部撮像デバイスによって提供される患者解剖学的構造の外部画像に基づいて決定されてよい。図９は、外部透視撮像デバイスからの患者解剖学的構造の同時又はリアルタイムの外部画像９０２を表示するディスプレイシステム１１０を図示している。外部画像９０２は、カテーテル８０８、カテーテル８０８の遠位端８１４に統合された超音波プローブ８１２、生検器具８０６、及び生検器具８０６のツール先端８１６の画像を含む。
【0078】
幾つかの実施形態において、操作者（例えば、臨床医）は、外部画像９０２中のカテーテル８０８の遠位端８１４及びツール先端８１６の場所を識別するよう（例えば、入力デバイスを用いて）入力を提供してよい。図９の例において、ディスプレイシステム１１０は、タッチスクリーンを含み、操作者は、タッチスクリーンを用いて、外部画像９０２上で（例えば、マーカ「Ｘ」を用いて）カテーテル８０８の遠位端８１４の場所を識別し、（例えば、マーカ「Δ」を用いて）ツール先端８１６の場所を識別してよい。次に、操作者は、（例えば、ボタン９０６を用いて）識別された場所を制御システムに提出してよい。
【0079】
幾つかの実施形態において、制御システムは、画像分析アルゴリズムを使用することによって、外部画像９０２中のカテーテル８０８の遠位端８１４及びツール先端８１６の場所を識別してよい。例えば、画像分析アルゴリズムを使用して、外部画像９０２中のカテーテル８０８の遠位端８１４及びツール先端８１６を自動的に検出してよい。幾つかの例において、外部画像９０２中の既知の解剖学的ランドマーク寸法（例えば、連続する鎖骨９０４－１及び９０４－２の間の距離ｄ３）を使用して、カテーテル８０８の遠位端８１４とツール先端８１６との間の距離ｄ４を決定してよい。
【0080】
図１０の例を参照すると、幾つかの実施形態に従った撮像プローブを使用して標的構造場所を決定する方法１０００が例示されている。方法１０００は、一連の操作又はプロセス１００２乃至１０１４として図示されている。例示のプロセス１００２乃至１０１４の全てが、方法１０００の全ての実施形態において実施されることがあるとは限らない。加えて、図１０に明示的に示されていない１つ又はそれよりも多くのプロセスが、プロセス１００２乃至１０１４の前に、後に、間に、或いはそれらの一部として含められてよい。幾つかの実施形態において、プロセスのうちの１つ又はそれよりも多くは、少なくとも部分的に、非一時的な有形の機械可読媒体に格納される実行可能なコードの形態で実装されてよく、実行可能なコードは、１つ又はそれよりも多くのプロセッサ（例えば、制御システム１１２のプロセッサ）によって実行されるときに、１つ又はそれよりも多くのプロセッサにプロセスのうちの１つ又はそれよりも多くを実行させることがある。
【0081】
方法１０００は、プロセス１００２で開始し、プロセス１００２では、解剖学的構造の第１の画像が患者解剖学的構造の内側に配置される撮像プローブ（例えば、超音波プローブ）から受信される。幾つかの実施態様では、図４に示すように、撮像プローブ４０６は、カテーテル４０８の遠位端４１０を越えて遠位に延出可能である。プロセス１００２で、制御システム１１２が、図４の撮像プローブ４０６から標的構造ＰＩを含む解剖学的構造の図５の画像５００を受信する。代替的な実施形態では、図７に示すように、撮像プローブ８１２は、カテーテル８０８と一体化され、カテーテル８０８の遠位端８１２に配置される。プロセス１００２で、制御システム１１２が、図７の撮像プローブ８０６によって取り込まれる標的構造８１０を含む解剖学的構造の図８の画像８５０を受信する。更に他の代替的な実施形態では、撮像プローブが、カテーテルの第２のチャネルを通じて同時に挿入されてよい一方で、器具（例えば、生検器具）は、カテーテルの第１のチャネルを通じて挿入される。
【0082】
プロセス１００４で、制御システム１１２は、患者解剖学的構造の外側に位置する外部撮像デバイスから患者解剖学的構造の１つ又はそれよりも多くの外部画像を受信し、その場合、そのような外部画像は、カテーテル、撮像プローブ、及び／又は器具の画像を含む。幾つかの実施形態では、図６に示すように、制御システム１１２は、患者解剖学的構造の外側に配置される外部撮像デバイスから図６の１つ又はそれよりも多くの外部画像６０２を受信する。外部画像の各々は、カテーテル４０８の画像と、図４の撮像プローブ４０６の画像とを含む。幾つかの実施形態では、図９に示すように、制御システム１１２が、患者解剖学的構造の外側に配置される外部撮像デバイスから図９の１つ又はそれよりも多くの外部画像９０２を受信する。外部画像９０２の各々は、カテーテル８０８の画像、撮像プローブ８１２の画像、及び図８のツール８０６を含む。
【0083】
次に、方法１０００は、プロセス１０１０に進み、プロセス１０１０では、撮像プローブと関連付けられる画像基準系とカテーテルの遠位端と関連付けられるカテーテル基準系との間の相対的な姿勢が決定される。そのような相対的な姿勢は、画像基準系の第１の画像中の標的構造及び器具（例えば、ツール先端）の場所データをカテーテル基準系に変換するために使用されてよい。幾つかの実施形態において、相対的な姿勢は、撮像プローブ及びカテーテル上のセンサによって直接的に測定されてよい。そのようなセンサは、ＥＭセンサ、光ファイバ形状センサ、又は同等物を含んでよい。代替的な実施形態において、相対的な姿勢は、（例えば、患者解剖学的構造に対する異なる視野方向を有する外部撮像デバイスによって提供される）２つ又はそれよりも多くの外部画像を使用することによって決定されてよい。それらの実施形態において、撮像プローブ及びカテーテルの両方の三次元位置が、２つ又はそれよりも多くの外部画像を使用して決定されてよく、相対的な姿勢は、撮像プローブ及びカテーテルのそれらの三次元位置を使用して決定されてよい。
【0084】
幾つかの実施形態において、プロセス１０１０は、１つ又はそれよりも多くの外部画像に基づいて撮像プローブとカテーテルの遠位端との間の相対的な位置を決定するためにプロセス１００６を使用し、撮像プローブとカテーテルの遠位端との間の相対的な向きを決定するためにプロセス１００８を使用する。それらの実施形態において、プロセス１０１０は、プロセス１００６で決定される相対的な位置及びプロセス１００８で決定される相対的な向きを使用して相対的な姿勢を決定する。
【0085】
幾つかの実施形態では、プロセス１００６で、撮像プローブとカテーテルの遠位端との間の相対的な位置が、撮像プローブとカテーテルの遠位端との間の一定の距離（例えば、１５ｍｍ）を仮定することによって並びに撮像プローブがカテーテルの遠位端と同じ向きに沿っていると仮定することによって提供される。別の代替的な実施形態では、図６及び図９に示すように、撮像プローブとカテーテルの遠位端との間の相対的な位置は、（例えば、操作者入力、画像分析アルゴリズム、及び／又はそれらの組み合わせを用いて）１つ又はそれよりも多くの外部画像に基づいて決定される。例えば、図６に示すように、外部画像６０２中のカテーテル４０８の遠位端４１０及び撮像プローブ４０６の位置は、操作者入力、画像分析アルゴリズム、及び／又はそれらの組み合わせによって識別されてよい。
【0086】
プロセス１００８で、撮像プローブとカテーテルの遠位端との間の相対的な向きが決定される。幾つかの実施形態では、プロセス１００８で、カテーテルは、カテーテル駐機場所にナビゲーションされ、カテーテル駐機場所で、カテーテルの遠位端は、解剖学的ランドマーク（例えば、分岐）と整列させられる。それらの実施形態では、撮像プローブとカテーテルの遠位端との間の相対的な向きは、（例えば、操作者入力、画像分析アルゴリズム、及び／又はそれらの組み合わせを用いて）撮像プローブからの第１の画像中に検出される同じ解剖学的ランドマークに基づいて決定される。代替的な実施形態において、撮像プローブは、固定的な向きを維持するためにカテーテル内に直接的に統合される。ある例において、撮像プローブは、カテーテルの遠位端で埋め込まれてよい。別の例において、撮像プローブは、撮像プローブにカテーテルを通じて延びるカテーテルロール軸（Ｚｃ）についての固定的な向きを維持させるために、カテーテルにキー止めされるロールアライメント構成を含んでよい。更に別の例において、撮像プローブは、少なくとも部分的に、カテーテルに対して回転可能に固定される（例えば、キー止めされる）シースによって取り囲まれる。キー止めされるシースは、第１の画像中に識別可能な領域を生成するための１つ又はそれよりも多くのマーカ（例えば、エコー発生構成）を含んでよく、次に、それは撮像プローブとカテーテルの遠位端との間の基準ロール角として使用されてよい。更に他の代替的な実施形態では、撮像プローブとカテーテルとの間のロール角が、患者解剖学的構造の外側に配置されるロールセンサを使用して決定されてよい。別の実施形態において、カテーテルは、標的が画像のほぼ中央にあるように方向付けられる。その実施形態において、カテーテルは、標的がカテーテルシャフトに沿って真っ直ぐ前方にあり、撮像プローブとカテーテルの遠位端との間の相対的な向きが必要とされないように、方向付けられる。
【0087】
プロセス１０１２で、撮像プローブ及びツールを（例えば、生検中に）同時に提供するカテーテルについて、ツールの先端についての第１の場所データ及び第２の場所データが決定される。図８に示すように、ツール先端の第１の場所データは、図７の撮像プローブ８１２によって提供される画像８５０を使用して決定される。図９に示すように、ツール先端の第２の場所データは、（例えば、操作者入力、画像分析アルゴリズム、及び／又はそれらの組み合わせを使用して）外部撮像デバイスによって提供される外部画像９０２に基づいて決定される。
【0088】
プロセス１０１４で、カテーテル基準系及び／又は患者基準系内の標的構造の場所データは、画像基準系内の標的構造の場所データ、撮像プローブとカテーテルの遠位端との間の相対的な姿勢、第１のツール先端場所データ、第２のツール先端場所データ、及び／又はそれらの組み合わせに基づいて決定されてよい。例えば、第１の画像中の標的構造の場所データは、相対的な姿勢に基づいて画像基準系からカテーテル基準系に変換されてよい。更に、例えば、カテーテル基準系内の標的構造の場所データは、患者基準系に変換されてよい。カテーテル基準系及び／又は患者基準系内の標的構造のそれらの場所データを使用して、標的構造を含む患者解剖学的構造の仮想視覚化画像を操作者に提供してよい。
【0089】
図１１、図１２Ａ、図１２Ｂ、図１３及び図１４を参照すると、様々な視覚的仮想化画像が、カテーテル基準系及び／又は患者基準系内の標的構造の場所データを用いて操作者に提供されてよい。図１１は、撮像プローブからの第１の画像に基づいて決定される標的構造の場所データを使用して、ディスプレイシステム上に仮想視覚化画像中の標的構造を提示する方法１１００を例示している。図１２Ａ～図１２Ｂは、患者解剖学的構造の解剖学的モデルにおける標的構造の仮想表現を含む、様々な仮想視覚化画像を図示している。図１３及び図１４は、患者解剖学的構造の外部画像中の標的構造の仮想表現を含む様々な仮想視覚化画像を図示している。
【0090】
図１１を参照すると、撮像プローブからの第１の画像に基づいて決定される標的構造の場所データを使用してディスプレイシステム上に仮想視覚化画像内の標的構造を提示する方法１１００が例示されている。方法１１００は、一連の操作又はプロセス１１０２乃至１１１０として例示されている。例示のプロセス１１０２乃至１１１０の全てが、方法１１００の全ての実施形態で実施されることがあるとは限らない。加えて、図１１に明示的に例示されていない１つ又はそれよりも多くのプロセスが、プロセス１１０２乃至１１１０の前に、後に、間に、或いはその一部として含められてよい。幾つかの実施形態では、１つ又はそれよりも多くのプロセスが、少なくとも部分的に、非一時的な有形の機械可読媒体に格納される実行可能なコードの形態で実装されてよく、実行可能なコードは、１つ又はそれよりも多くのプロセッサ（例えば、制御システム１１２のプロセッサ）によって実行されるときに、１つ又はそれよりも多くのプロセッサにプロセスのうちの１つ又はそれよりも多くを実行させることがある。
【0091】
方法１１００は、プロセス１１０２で開始し、プロセス１１０２では、視覚化基準系（例えば、解剖学的モデルと関連付けられたモデル基準系又は外部画像と関連付けられた患者基準系）に変換された標的構造の場所データが受信される。視覚化基準系内の標的構造の場所データは、方法１０００において記載したように、撮像プローブによって提供される画像に基づいて決定されてよい。
【0092】
プロセス１１０４で、幾つかの実施形態では、患者解剖学的構造の患者解剖学的モデルの画像と標的構造の画像とを含む仮想視覚化画像が、操作者に提供される。それらの実施形態において、視覚化基準系は、モデル基準系である。図１２Ａを参照すると、幾つかの例において、仮想視覚化画像は、解剖学的モデルの全体的眺望(ビュー)を含む。具体的には、図１２Ａに図示するように、幾つかの例において、ディスプレイシステム１１０は、患者解剖学的構造の仮想視覚化画像１２０２を、通路を含む解剖学的モデル１２０４として表示する。解剖学的モデル１２０４は、前述のように外部撮像ソースを用いて収集される術前又は術中から生成されることができる。仮想視覚化画像１２０２は、追加的に、モデル基準系内の標的構造１２１４の場所データを使用して、標的構造１２１４の同時の、更新された、又はリアルタイムの画像の視覚的表現を提供することができる。幾つかの実施形態において、標的構造１２１４の画像は、撮像プローブによって提供される複数の画像を使用して生成される三次元画像である。撮像プローブによって提供される１つ又はそれよりも多くの画像に基づいて仮想視覚化画像１２０２内の正しい場所及び向きを備える標的構造１２１４の画像を投影することによって、仮想視覚化画像１２０２は、病変が位置した標的構造の場所の改良された空間認識を操作者に提供する。加えて、仮想視覚化画像１２０２は、解剖学的モデル１２０４の通路１２０８内のカテーテル１２０６及びカテーテル１２０６の遠位端１２１０から延びるツール１２１２の同時の又はリアルタイムの仮想画像を含むことができる。
【0093】
図１２Ｂに示すように、幾つかの例において、ディスプレイシステム１１０は、図１２Ａの解剖学的モデル１２０４の通路１２０８の内部図を含む患者解剖学的構造の同時又はリアルタイムの仮想視覚化画像１２５０を表示する。仮想視覚化画像１２５０は、カテーテル１２０６及びカテーテル１２０６の遠位端１２１０から延びるツール１２１２の仮想画像を提供する。
【0094】
プロセス１１０６で、幾つかの実施形態において、仮想視覚化画像は、撮像プローブによって提供される画像に基づいて決定される標的構造の更新された標的場所を含む患者解剖学的構造の解剖学的モデル上の画像を含む。そのような更新された標的場所は、更に、標的構造への最適なアクセスのためのより良好な照準方向(aiming direction)を提供することがある。
【0095】
幾つかの実施形態では、プロセス１１０６で、仮想視覚化画像は、撮像プローブによって提供される画像に基づいて標的構造への最適なアクセスのための最適なカテーテル駐機場所の表示(indication)を含む。幾つかの実施形態において、最適なカテーテル駐機場所は、撮像プローブが通路１２０８の複数の異なる場所（例えば、標的構造の画像を取り込むことを可能にする通路１２０８のセグメントの異なる場所）及び／又は異なる向きにあるときに撮像プローブによって取り込まれる複数の順次的な画像に基づいて決定される。それらの順次的な画像の各々について、標的構造表面積測定が（例えば、画像のピクセルの総数に亘る標的構造ピクセル数の比を使用して）計算される。幾つかの実施形態において、標的構造表面積測定値は、撮像プローブを、標的構造表面積測定値を最大化する最適な姿勢に導くことがある。幾つかの実施形態では、（例えば、生検を実施するための）最適なカテーテル駐機場所及び／又は最適なカテーテルの向きが、最適な撮像プローブの姿勢に基づいて決定される。
【0096】
幾つかの実施形態において、自動化された最適化は、標的構造表面積測定値に基づいて決定されるカテーテル駆動経路を生成するために使用されてよい。カテーテル駆動経路は、最適な標的構造表面積測定を達成するために標的構造表面積測定の勾配に沿ってカテーテルを駆動することを可能にする。幾つかの例では、最適なカテーテル駐機場所及び最適なカテーテルの向きを使用して、領域内のカテーテルの先端を用いた自動スキャニングを駆動することができる。
【0097】
プロセス１１０８で、患者解剖学的構造の外側の外部撮像デバイスからの外部画像と標的構造の画像とを含む仮想視覚化画像が、操作者に提供される。標的構造の画像が、患者基準系内の標的構造の場所データを用いて仮想視覚化画像内に提供される。例えば、図１３に示すように、ディスプレイシステム１１０が、生検中のリアルタイムの外部画像１３０２を含む仮想視覚化画像１３００を含む。リアルタイムの外部画像１３０２は、カテーテル８０８の画像、カテーテル８０８の遠位端８１４に統合された撮像プローブ８１２、ツール８０６、及びツール先端８１６を含む。標的構造１３０４の画像が、患者基準系内の撮像プローブによって提供される標的構造の場所データを使用して、仮想視覚化画像中に提供される。図１３の例では、生検中の標的構造１３０４内へのツール先端８１６の挿入の仮想視覚化は、標的構造１３０４及びツール先端８１６の両方の画像を取り込む撮像プローブを使用することによって実現される。
【0098】
プロセス１１１０で、撮像プローブの場所データに基づく基準カテーテル画像及び患者解剖学的構造の外側の外部撮像デバイスからの外部画像を含む仮想視覚化画像が、操作者に提供される。図１４の例では、ディスプレイシステム１１０が、仮想視覚化画像１４０２を含む。仮想視覚化画像１４０２は、カテーテル１４０６のリアルタイム画像を含む、生検中のリアルタイム外部画像１４０４を含む。プロセス１１１０で、撮像プローブがカテーテルのチャネルから除去され、ツール１４１０（例えば、生検針）がそのチャネルに挿入される。図１４の例では、標的構造１４０８の画像が、患者基準系内の標的構造の場所データに基づいて外部画像１４０４中に提供される。更に、カテーテル１４１２の基準画像が、撮像プローブが標的構造の画像を取り込むように駆動されるときに、撮像プローブ及びカテーテルの事前収集場所データに基づいて、外部画像１４０４中に提供される。
【0099】
この開示のシステム及び方法は、肺の接続された気管支通路のために使用されることがある。システム及び方法は、結腸、腸、腎臓、脳、心臓、循環系、又は同等器官を含む、様々な解剖学的系のいずれかにおいて、自然に又は外科的に作られた接続された通路を介して、他の組織のナビゲーション及び治療にも適することがある。システム及び方法は、器官のトレース可能な表面の周りのナビゲーションにも適することがある。この開示の方法及び実施形態は、非外科用途にも適している。
【0100】
本発明の実施形態における１つ又はそれよりも多くの要素は、制御システム１１２のようなコンピュータシステムのプロセッサ上で実行するようソフトウェアにおいて実装されてよい。ソフトウェアにおいて実装されるとき、本発明の実施形態の要素は、本質的に、必要なタスクを実行するコードセグメントである。プログラム又はコードセグメントは、伝送媒体又は通信リンクを通じて搬送波に具現化されるコンピュータデータ信号によってダウンロードされてよいプロセッサ可読記憶媒体又はデバイスに格納されることができる。プロセッサ可読記憶デバイスは、光媒体、半導体媒体、及び磁気媒体を含む、情報を格納することができる任意の媒体を含んでよい。プロセッサ可読記憶デバイスの例は、電子回路、半導体デバイス、半導体メモリデバイス、読出し専用記憶装置（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読出し専用記憶装置（ＥＰＲＯＭ）、フロッピーディスケット、ＣＤ－ＲＯＭ、光ディスク、ハードディスク、又は他の記憶デバイスを含む。コードセグメントは、インターネット、イントラネットなどのような、コンピュータネットワークを介してダウンロードされてよい。
【0101】
提示されるプロセス及びディスプレイは、本来的には、如何なる特定のコンピュータ又は他の装置にも関連しない場合があることに留意のこと。様々な汎用システムが、本明細書中の教示に従ったプログラムと共に使用されてよく、或いは記載の動作を実行するためにより特殊化された装置を構築することが便利なことが分かる場合がある。様々なこれらのシステムのための所要の構造は、請求項中に要素として現れる。加えて、本発明の実施形態は、如何なる特定のプログラミング言語をも参照して記載されない。様々なプログラミング言語を使用して本明細書に記載の本発明の教示を実装してよいことが理解されるであろう。
【0102】
本発明の特定の例示的な実施形態が添付の図面に記載され且つ示されているが、そのような実施形態は例示であるに過ぎず、広範な本発明を限定するものではないこと、及び本発明の実施形態は、図示及び記載の特定の構成及び配置に限定されないことが理解されるべきである。何故ならば、様々な端お修正が当業者の心に思い浮かぶことがあるからである。
【先行技術文献】
【特許文献】
【0103】
【特許文献1】国際公開第２０１６／１９１２９８号
【特許文献2】米国特許出願第１１／１８０，３８９号明細書
【特許文献3】米国特許出願第１２／０４７，０５６号明細書
【特許文献4】米国特許第６，３８９，１８７号明細書
【特許文献5】米国特許第６，３８０，７３２号明細書
【特許文献6】米国特許第７，３１６，６８１号明細書
【特許文献7】米国特許出願第１２／２８６，６４４号明細書
【特許文献8】米国特許出願第１３／２７４，２０８号明細書
【特許文献9】米国特許出願第１３／１０７，５６２号明細書
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14】
【外国語明細書】