ホーム > 特許ランキング > ＭＡＧＮＩＳＩＴＹ ＬＴＤ
知財求人 - 知財ポータルサイト「IP Force」
特表2024-534970動的変形可能な管腔マップを使用した自己操縦管腔内装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-26
(54)【発明の名称】動的変形可能な管腔マップを使用した自己操縦管腔内装置
(51)【国際特許分類】
A61B 34/20 20160101AFI20240918BHJP
A61B 34/10 20160101ALI20240918BHJP
【ＦＩ】
A61B34/20
A61B34/10
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024515451
(86)(22)【出願日】2022-09-08
(85)【翻訳文提出日】2024-05-01
(86)【国際出願番号】 IL2022050978
(87)【国際公開番号】W WO2023037367
(87)【国際公開日】2023-03-16
(31)【優先権主張番号】63/242,101
(32)【優先日】2021-09-09
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/340,512
(32)【優先日】2022-05-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】522089893
【氏名又は名称】マグニシティ リミテッド
【氏名又は名称原語表記】ＭＡＧＮＩＳＩＴＹ ＬＴＤ
【住所又は居所原語表記】１６ Ｌｏｔｅｍ Ｓｔｒｅｅｔ， Ｈｏｄ－ＨａＳｈａｒｏｎ， Ｉｓｒａｅｌ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】バラク ロン
(72)【発明者】
【氏名】グリーンバーグ ベンジャミン
(72)【発明者】
【氏名】クライン エヤル
(72)【発明者】
【氏名】ガルドッシュ ドロール
(57)【要約】
本発明は、自己操縦管腔内システムであって、操縦可能な細長い本体を含む管腔内装置と、１つ以上のモジュールを含むコンピューターメモリ記憶媒体であって、１つ以上のモジュールは、デジタル管腔内マップ内で選択された所望の場所に到達するために、前記管腔内装置の前記操縦可能な細長い本体によって実行されるべきナビゲーション動作を生成するための命令を含むナビゲーションモジュールと、実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価するための命令を含む変形モジュールと、前記ナビゲーション動作によって生じる前記管腔上の潜在的な応力レベルを評価するための命令を含む応力モジュールと、前記ナビゲーションモジュール、変形モジュール、及び応力モジュールのうちの１つ以上から情報を受け取り、それに応じて前記管腔内装置の前記操縦可能な細長い本体を駆動し、任意選択でさらに駆動するための命令を生成するための命令を含む高レベルモジュールと、を含むコンピューターメモリ記憶媒体と、を含む自己操縦管腔内システムに関する。
【選択図】図１０
【選択図】図１０
【特許請求の範囲】
【請求項1】
自己操縦管腔内システム用の操縦計画を生成する方法であって、ａ．自己操縦管腔内装置が到達する必要があるデジタル管腔内マップ内の１つ以上の管腔を通してアクセス可能な場所を選択することと、
ｂ．前記管腔内装置が前記場所に到達するためのナビゲーション動作を生成することと、
ｃ．前記管腔内装置によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価することと、
ｄ．前記自己操縦管腔内システムが前記場所に到達している間に、前記潜在的な変形を評価した結果に従って前記操縦計画を更新することと、を含む前記方法。
【請求項2】
前記場所に到達するまで前記ナビゲーション動作を実行することをさらに含む、請求項１に記載の方法。
【請求項3】
前記操縦計画を前記更新することはリアルタイムで実行される、請求項１または請求項２に記載の方法。
【請求項4】
前記方法は、前記管腔内装置によって実行される前記ナビゲーション動作によって生じる前記管腔上の潜在的な応力レベルを評価することをさらに含む、請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記方法は、前記潜在的な応力レベルが所定閾値を下回るまで実行される、請求項４に記載の方法。
【請求項6】
前記自己操縦管腔内システムに前記計画を提供することをさらに含む、請求項１～５のいずれか１項に記載の方法。
【請求項7】
画像に基づいて、前記１つ以上の管腔を含む前記デジタル管腔内マップを生成することをさらに含む、請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記画像はＣＴスキャンである、請求項７に記載の方法。
【請求項9】
前記画像は血管造影図である、請求項７に記載の方法。
【請求項10】
前記ナビゲーション動作を生成することは、前記ナビゲーション動作の第１のシミュレーションを実行することを含む、請求項１～９のいずれか１項に記載の方法。
【請求項11】
前記潜在的な変形を評価することは、前記潜在的な変形の第２のシミュレーションを実行することを含む、請求項１～１０のいずれか１項に記載の方法。
【請求項12】
前記第２のシミュレーションにおいてシミュレートした前記潜在的な変形に従って、前記デジタル管腔内マップを更新することをさらに含む、請求項１１に記載の方法。
【請求項13】
前記潜在的な応力レベルを評価することは、前記潜在的な応力レベルのシミュレーションを実行することを含む、請求項４に記載の方法。
【請求項14】
前記潜在的な応力レベルを下げるために前記ナビゲーション動作を更新することをさらに含む、請求項１３に記載の方法。
【請求項15】
前記潜在的な変形を評価することは、呼吸、心臓の鼓動、及び他の外因によって生じる変形を評価することをさらに含む、請求項１～１４のいずれか１項に記載の方法。
【請求項16】
自己操縦管腔内システムであって、ａ．自己操縦可能な細長い本体を含む管腔内装置と、
ｂ．１つ以上のモジュールを含むコンピューターメモリ記憶媒体であって、前記１つ以上のモジュールは、
ｉ．デジタル管腔内マップ内で選択された所望の場所に到達するために、前記管腔内装置の前記操縦可能な細長い本体によって実行されるべきナビゲーション動作を生成するための命令を含むナビゲーションモジュールと、
ｉｉ．前記管腔内装置の前記操縦可能な細長い本体によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価するための命令を含む変形モジュールと、
ｉｉｉ．前記ナビゲーションモジュール及び前記変形モジュールのうちの１つ以上から情報を受け取り、それに応じて前記管腔内装置の前記操縦可能な細長い本体を駆動するための命令を含む高レベルモジュールと、を含む前記コンピューターメモリ記憶媒体と、を含む前記自己操縦管腔内システム。
【請求項17】
前記コンピューターメモリ記憶媒体は、前記管腔内装置の前記操縦可能な細長い本体によって実行される前記ナビゲーション動作によって生じる前記管腔上の潜在的な応力レベルを評価するための命令を含む応力モジュールをさらに含む、請求項１６に記載のシステム。
【請求項18】
前記高レベルモジュールは、前記応力モジュールから情報を受け取り、それに応じて前記管腔内装置の前記操縦可能な細長い本体を駆動する命令をさらに含む、請求項１７に記載のシステム。
【請求項19】
前記管腔内装置は、前記ナビゲーション動作中の前記管腔内装置の場所をモニタリングするための１つ以上のセンサーを含む、請求項１６～１８のいずれか１項に記載のシステム。
【請求項20】
前記モニタリングを可能にするための外部送信機をさらに含む、請求項１９に記載のシステム。
【請求項21】
前記ナビゲーションモジュールは、デジタル管腔内マップ内で選択された所望の場所に到達するのを助けるために、前記管腔内装置の前記操縦可能な細長い本体によって実行されるべきナビゲーション動作を生成するための命令を含む、請求項１６～２０のいずれか１項に記載のシステム。
【請求項22】
前記高レベルモジュールは、前記受け取った情報に基づいて操縦計画を生成するための命令をさらに含む、請求項１６～２１のいずれか１項に記載のシステム。
【請求項23】
前記高レベルモジュールは、画像に基づいて、前記１つ以上の管腔を含む前記デジタル管腔内マップを生成するための命令をさらに含む、請求項１６～２２のいずれか１項に記載のシステム。
【請求項24】
前記画像はＣＴスキャンである、請求項２３に記載のシステム。
【請求項25】
前記画像は血管造影図である、請求項２３に記載のシステム。
【請求項26】
前記ナビゲーションモジュールは、前記ナビゲーション動作の第１のシミュレーションを実行するための命令をさらに含む、請求項１６～２５のいずれか１項に記載のシステム。
【請求項27】
前記変形モジュールは、前記潜在的な変形の第２のシミュレーションを実行するための命令をさらに含む、請求項１６～２６のいずれか１項に記載のシステム。
【請求項28】
前記第２のシミュレーションにおいてシミュレートした前記潜在的な変形に従って、前記デジタル管腔内マップを更新することをさらに含む、請求項２７に記載のシステム。
【請求項29】
前記応力モジュールは、前記潜在的な応力レベルの第３のシミュレーションを実行するための命令をさらに含む、請求項１７に記載のシステム。
【請求項30】
前記潜在的な応力レベルを下げるために前記ナビゲーション動作を更新することをさらに含む、請求項２９に記載のシステム。
【請求項31】
前記潜在的な変形を評価することは、呼吸、心臓の鼓動、及び他の外因によって生じる変形を評価することをさらに含む、請求項１６～３０のいずれか１項に記載のシステム。
【請求項32】
前記管腔内装置は、１つ以上のプルワイヤと、１つ以上の事前に湾曲されたシャフトと、１つ以上のシャフトの本体に沿って可変剛性を有する前記１つ以上のシャフトと、１つ以上の同軸管とを含む１つ以上の操縦メカニズムを含む、請求項１６～３１のいずれか１項に記載のシステム。
【請求項33】
前記１つ以上の事前に湾曲されたシャフトと、前記１つ以上のシャフトの本体に沿って可変剛性を有する１つ以上のシャフトとのうちの１つ以上が、互いに一体である、請求項３２に記載のシステム。
【請求項34】
前記１つ以上の操縦メカニズムは、前記シャフトの回転と、前記シャフトの前進／後退と、前記装置の先端部の偏向と、前記装置の前記シャフトの一部の偏向とを含む１つ以上の操縦動作を引き起こすように構成される、請求項３２に記載のシステム。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、米国仮特許出願第６３／２４２，１０１号（２０２１年９月９日に出願）及び米国仮特許出願第６３／３４０，５１２号（２０２２年５月１１日に出願）の優先権の利益を主張する。なお、これらの文献の内容は、その全体において参照により本明細書に組み込まれている。
本出願は、米国仮特許出願第６３／２４２，１０１号（２０２１年９月９日に出願）及び米国仮特許出願第６３／３４０，５１２号（２０２２年５月１１日に出願）の優先権の利益を主張する。なお、これらの文献の内容は、その全体において参照により本明細書に組み込まれている。
【0002】
本発明は、そのいくつかの実施形態において、１つ以上の管腔内装置をナビゲートするためのシステム及び方法に関し、より詳細には、しかし排他的にではなく、１つ以上の自己操縦管腔内装置をナビゲートするためのシステム及び方法に関する。
【0003】
特定の介入手順では、生検サンプルを得るかまたは局所的な処置を加えるために、医師は、管腔内構造、たとえば肺気管支樹、またはたとえば脳血管系、またはたとえば消化器系の内部の特定の標的組織に到達する必要がある。これを達成するために、管腔内ツール、たとえば肺内の気管支鏡、またはたとえば血管系用のカテーテル挿入キットを使用することが標準的な技術である。これは、リアルタイムの直接視覚イメージング、たとえば直接視、またはたとえば血管造影図に従って、分岐管腔を通して手動で誘導される。これは、特に、標的が末梢場所にある場合、及び／またはその場所に到達するための経路が蛇行性経路である場合、面倒な作業である。そのような場合にツールを駆動する明らかな難しさの１つは、機械的な難しさである。たとえば、肺において、標準的な気管支鏡は通常、それを強制的に入れる必要がある末梢気道（たとえば、直径１ｍｍ）と比べて、相対的に厚い（たとえば、直径６ｍｍ）。別の問題はナビゲーションに関する。直接視覚化ナビゲーションでは、医師は、ビデオ画像のみに基づいて、肺内の気管支鏡の場所を理解しなくてはならない。しかし、気道のフラクタルな性質により、気道がどんどん小さくなるにつれて、一方の気道を他方の気道から区別することが難しくなることが多く、経験豊富な医師であっても、誤った方向転換を誤って選択して、最終的に所望の標的に到達しない可能性が高くなる。同様に、血管系、たとえば脳血管系、またはたとえば肝血管系では、構造は繊細で狭くなっていて蛇行しており、マイクロカテーテル及びガイドワイヤを誘導するための標準的な血管造影図の使用は困難であり、何年もの訓練及び専門化が必要である。
【0004】
近年は、気管支鏡検査者が肺内の末梢血管介入に対してナビゲーション気管支鏡検査を使用することが、より一般的になっている。このような手順は、通常、ＣＴまたは他のほぼリアルタイムのイメージングに基づいて肺の２Ｄ及び／または３Ｄナビゲーションレンダリングを提供するシステムを使用して実行され、その上に器具の場所の参照が表示される。したがって、このようなシステムは、医師が、気管支鏡、内視鏡、または一般的なカテーテル（カメラの有無にかかわらず）などの器具を標的場所に誘導するのを支援する。このような誘導される器具には、通常、標準的な気管支鏡と比べて直径が小さい（たとえば、３～４ｍｍ以下）という利点がある。このような器具は通常、解剖学的構造の内部の所望の場所に到達したら、医師が生検及び／または処置ツールを標的組織に導入できるようにするのに十分に広い作業チャネル（たとえば、直径２ｍｍ以上）を有する。
【0005】
さらなる背景技術には、欧州特許ＥＰ２８４９６６９Ｂ１が含まれる。これは、プロセッサと、細長い柔軟な本体の長さに沿って配置された追跡システムを含む外科装置とを備える医療システムを開示する。プロセッサは、患者の解剖学的構造の解剖学的通路の第１のモデルを受け取る。第１のモデルには、近位及び遠位分岐を表すモデル通路の組が含まれる。プロセッサはまた、近位及び遠位分岐内に位置する細長い柔軟な本体の形状を追跡システムから受け取る。プロセッサは、細長い柔軟な本体の形状に基づいて、近位及び遠位分岐内に位置する外科装置に応じて患者の解剖学的構造に作用する力の組を決定する。プロセッサはまた、力の組に基づいて第１のモデルを変形させることによって第２のモデルを生成し、第２のモデル及び第２のモデル内の細長い柔軟な本体の表現を表示する。
【0006】
米国特許第１０４９９９９３Ｂ２号には、プロセッサと、コンピューター可読命令が記憶されたメモリとを含む処理システムが開示されている。コンピューター可読命令は、プロセッサによって実行されると、システムに、基準状態における分岐した解剖学的構造の参照３次元立体表現を受け取らせ、参照３次元立体表現に基づいてノード及びリンケージの参照ツリーを取得させる。コンピューター可読命令また、システムに、参照ツリーに基づいて参照３次元幾何学的モデルを取得させ、形状センサーからの測定に基づいて、解剖学的運動による分岐した解剖学的構造の変形を検出させる。コンピューター可読命令はまた、システムに、検出された変形に基づいてノード及びリンケージの変形したツリーを取得させ、分岐した解剖学的構造の検出された変形を表す３次元変形フィールドを作成させ、３次元変形フィールドを参照３次元幾何学的モデルに適用させる。
【0007】
米国特許第１０６１０３０６Ｂ２号には、解剖学的通路内に少なくとも部分的に位置する装置の形状を決定することを含む方法が開示される。本方法はさらに、装置の複数のセクションに対する変形力の組を決定することを含む。変形力の組を決定することは、装置の複数のセクションの各セクションの剛性を決定することを含む。本方法はさらに、装置の形状、変形力の組（解剖学的通路のそれぞれの部分に対する複数のセクションの各セクションの影響を含む）、解剖学的通路を説明する解剖学的データに基づいて、解剖学的通路に対する装置の位置を示す複合材料モデルを生成することを含む。
【0008】
米国特許第１０５２４６４１Ｂ２号には、内視鏡の操作者に提供されるナビゲーションガイダンスが開示される。提供は、参照フレームに対する内視鏡の現在位置及び形状を決定し、決定された位置及び形状に従って内視鏡コンピューターモデルを生成し、内視鏡コンピューターモデルを、参照フレームを基準とする患者コンピューターモデルとともに表示して、患者内で内視鏡を操縦する間に操作者によって視認できるようにすることによって行われる。
【0009】
米国特許出願第２０１８０１９３１００Ａ１号には、ロボットマニピュレータに取り付け可能な外科用器具を含む装置が開示される。外科用器具は細長いアームを含む。細長いアームは、少なくとも１つの関節領域を含む能動的に制御される湾曲可能な領域と、能動的に制御される湾曲可能な領域に結合された遠位端を含む受動的に湾曲可能な領域と、受動的に湾曲可能な領域を通って延び、少なくとも１つの関節領域に結合されて、能動的に制御される湾曲可能な領域を制御する駆動メカニズムと、細長いアームを通って延びるチャネルとを含む。外科用器具はまた、チャネル内に位置する光ファイバーを含む。光ファイバーは、受動的に曲げ可能な領域または能動的に制御される曲げ可能な領域の少なくとも一方内に光ファイバー曲げセンサーを含む。
【0010】
米国特許第９８３９４８１Ｂ２号には、医療器具の近位端に結合するように構成されたハンドピース本体と、ハンドピース本体内に取り付けられた手動アクチュエータとを含むシステムが開示される。システムはさらに、ハンドピース本体内に取り付けられた複数の駆動入力を含む。駆動入力は、電動式駆動メカニズムと取り外し可能な嵌合を行うように構成されている。第１の駆動コンポーネントが、手動アクチュエータに動作可能に結合され、また複数の駆動入力のうちの１つに動作可能に結合される。第１の駆動コンポーネントは、医療器具の遠位端の第１の方向における動きを制御する。第２の駆動コンポーネントが、手動アクチュエータに動作可能に結合され、また複数の駆動入力のうちの他の１つに動作可能に結合される。第２の駆動コンポーネントは、医療器具の遠位端の第２の方向における動きを制御する。
【0011】
米国特許第９７６３７４１Ｂ２号には、外科医に、熟練を要する動き及び位置を必要とせずに、ロボット駆動の内視鏡装置を患者内の所望の解剖学的位置に駆動する能力を与えると同時に、内視鏡装置上に取り付けられたデジタルカメラから画質の向上を享受する管腔内ロボットシステムが開示される。
【0012】
米国特許出願第ＵＳ２０１１００８５７２０Ａ１号には、分岐構造のデジタル画像と、分岐構造内部のセンサーの場所を表すリアルタイム指標との間の位置合わせが、センサーを使用して構造内部のデジタル画像を「ペイント」することによって達成されることが開示される。十分な場所データが収集されると、位置合わせが達成される。位置合わせは、分岐構造を通るナビゲーションにより必然的にさらなる場所データが収集され、その結果、位置合わせが継続的に改良されるという意味で、「自動」である。
【発明の概要】
【0013】
以下は、本発明の実施形態のいくつかの例を含む非排他的なリストである。本発明はまた、以下に明示的に列挙されない場合でも、ある例におけるすべての特徴よりも少ない特徴を含む実施形態、及び複数の例からの特徴を使用する実施形態を含む。
【0014】
例１．自己操縦管腔内システム用の操縦計画を生成する方法であって、
ａ．自己操縦管腔内装置が到達する必要があるデジタル管腔内マップ内の１つ以上の管腔を通してアクセス可能な場所を選択することと、
ｂ．前記管腔内装置が前記場所に到達するためのナビゲーション動作を生成することと、
ｃ．前記管腔内装置によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価することと、
ｄ．前記自己操縦管腔内システムが前記場所に到達している間に、前記潜在的な変形を評価した結果に従って前記操縦計画を更新することと、を含む前記方法。
ａ．自己操縦管腔内装置が到達する必要があるデジタル管腔内マップ内の１つ以上の管腔を通してアクセス可能な場所を選択することと、
ｂ．前記管腔内装置が前記場所に到達するためのナビゲーション動作を生成することと、
ｃ．前記管腔内装置によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価することと、
ｄ．前記自己操縦管腔内システムが前記場所に到達している間に、前記潜在的な変形を評価した結果に従って前記操縦計画を更新することと、を含む前記方法。
【0015】
例２．前記場所に到達するまで前記ナビゲーション動作を実行することをさらに含む、例１に記載の方法。
【0016】
例３．前記操縦計画を前記更新することはリアルタイムで実行される、例１または例２に記載の方法。
【0017】
例４．前記方法は、前記管腔内装置によって実行される前記ナビゲーション動作によって生じる前記管腔上の潜在的な応力レベルを評価することをさらに含む、例１～３のいずれか１つに記載の方法。
【0018】
例５．前記方法は、前記潜在的な応力レベルが所定閾値を下回るまで実行される、例４に記載の方法。
【0019】
例６．前記自己操縦管腔内システムに前記計画を提供することをさらに含む、例１～５のいずれか１つに記載の方法。
【0020】
例７．画像に基づいて、前記１つ以上の管腔を含む前記デジタル管腔内マップを生成することをさらに含む、例１～６のいずれか１つに記載の方法。
【0021】
例８．前記画像はＣＴスキャンである、例７に記載の方法。
【0022】
例９．前記画像は血管造影図である、例７に記載の方法。
【0023】
例１０．ナビゲーション動作を前記生成することは、前記ナビゲーション動作の第１のシミュレーションを実行することを含む、例１～９のいずれか１つに記載の方法。
【0024】
例１１．前記潜在的な変形を評価することは、前記潜在的な変形の第２のシミュレーションを実行することを含む例１～１０のいずれか１つに記載の方法。
【0025】
例１２．前記第２のシミュレーションにおいてシミュレートした前記潜在的な変形に従って、前記デジタル管腔内マップを更新することをさらに含む、例１１に記載の方法。
【0026】
例１３．前記潜在的な応力レベルを評価することは、前記潜在的な応力レベルのシミュレーションを実行することを含む、例４に記載の方法。
【0027】
例１４．前記潜在的な応力レベルを下げるために前記ナビゲーション動作を更新することをさらに含む、例１３に記載の方法。
【0028】
例１５．前記潜在的な変形を評価することは、呼吸、心臓の鼓動、及び他の外因によって生じる変形を評価することをさらに含む、例１～１４のいずれか１つに記載の方法。
【0029】
例１６．自己操縦管腔内システムであって、
ａ．自己操縦可能な細長い本体を含む管腔内装置と、
ｂ．１つ以上のモジュールを含むコンピューターメモリ記憶媒体であって、前記１つ以上のモジュールは、
ｉ．デジタル管腔内マップ内で選択された所望の場所に到達するために、前記管腔内装置の前記操縦可能な細長い本体によって実行されるべきナビゲーション動作を生成するための命令を含むナビゲーションモジュールと、
ｉｉ．前記管腔内装置の前記操縦可能な細長い本体によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価するための命令を含む変形モジュールと、
ｉｉｉ．前記ナビゲーションモジュール及び前記変形モジュールのうちの１つ以上から情報を受け取り、それに応じて前記管腔内装置の前記操縦可能な細長い本体を駆動するための命令を含む高レベルモジュールと、を含む前記コンピューターメモリ記憶媒体と、を含む前記自己操縦管腔内システム。
ａ．自己操縦可能な細長い本体を含む管腔内装置と、
ｂ．１つ以上のモジュールを含むコンピューターメモリ記憶媒体であって、前記１つ以上のモジュールは、
ｉ．デジタル管腔内マップ内で選択された所望の場所に到達するために、前記管腔内装置の前記操縦可能な細長い本体によって実行されるべきナビゲーション動作を生成するための命令を含むナビゲーションモジュールと、
ｉｉ．前記管腔内装置の前記操縦可能な細長い本体によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価するための命令を含む変形モジュールと、
ｉｉｉ．前記ナビゲーションモジュール及び前記変形モジュールのうちの１つ以上から情報を受け取り、それに応じて前記管腔内装置の前記操縦可能な細長い本体を駆動するための命令を含む高レベルモジュールと、を含む前記コンピューターメモリ記憶媒体と、を含む前記自己操縦管腔内システム。
【0030】
例１７．前記コンピューターメモリ記憶媒体は、前記管腔内装置の前記操縦可能な細長い本体によって実行される前記ナビゲーション動作によって生じる前記管腔上の潜在的な応力レベルを評価するための命令を含む応力モジュールをさらに含む、例１６に記載のシステム。
【0031】
例１８．前記高レベルモジュールは、前記応力モジュールから情報を受け取り、それに応じて前記管腔内装置の前記操縦可能な細長い本体を駆動するための命令をさらに含む、例１７に記載のシステム。
【0032】
例１９．前記管腔内装置は、前記ナビゲーション動作中の前記管腔内装置の場所をモニタリングするための１つ以上のセンサーを含む、例１６～１８のいずれか１つに記載のシステム。
【0033】
例２０．前記モニタリングを可能にするための外部送信機をさらに含む、例１９に記載のシステム。
【0034】
例２１．前記ナビゲーションモジュールは、デジタル管腔内マップ内で選択された所望の場所に到達するのを助けるために、前記管腔内装置の前記操縦可能な細長い本体によって実行されるべきナビゲーション動作を生成するための命令を含む、例１６～２０のいずれか１つに記載のシステム。
【0035】
例２２．前記高レベルモジュールは、前記受け取った情報に基づいて操縦計画を生成するための命令をさらに含む、例１６～２１のいずれか１つに記載のシステム。
【0036】
例２３．前記高レベルモジュールは、画像に基づいて、前記１つ以上の管腔を含む前記デジタル管腔内マップを生成するための命令をさらに含む、例１６～２２のいずれか１つに記載のシステム。
【0037】
例２４．前記画像はＣＴスキャンである、例２３に記載のシステム。
【0038】
例２５．前記画像は血管造影図である、例２３に記載のシステム。
【0039】
例２６．前記ナビゲーションモジュールは、前記ナビゲーション動作の第１のシミュレーションを実行するための命令をさらに含む、例１６～２５のいずれか１つに記載のシステム。
【0040】
例２７．前記変形モジュールは、前記潜在的な変形の第２のシミュレーションを実行するための命令をさらに含む、例１６～２６のいずれか１つに記載のシステム。
【0041】
例２８．前記第２のシミュレーションにおいてシミュレートした前記潜在的な変形に従って、前記デジタル管腔内マップを更新することをさらに含む、例２７に記載のシステム。
【0042】
例２９．前記応力モジュールは、前記潜在的な応力レベルの第３のシミュレーションを実行するための命令をさらに含む、例１７に記載のシステム。
【0043】
例３０．前記潜在的な応力レベルを下げるために前記ナビゲーション動作を更新することをさらに含む、例２９に記載のシステム。
【0044】
例３１．前記潜在的な変形を評価することは、呼吸、心臓の鼓動、及び他の外因によって生じる変形を評価することをさらに含む、例１６～３０のいずれか１つに記載のシステム。
【0045】
例３２．前記管腔内装置は、１つ以上のプルワイヤと、１つ以上の事前に湾曲されたシャフトと、１つ以上のシャフトの本体に沿って可変剛性を有する前記１つ以上のシャフトと、１つ以上の同軸管とを含む１つ以上の操縦メカニズムを含む、例１６～３１のいずれか１つに記載のシステム。
【0046】
例３３．前記１つ以上の事前に湾曲されたシャフトと、前記１つ以上のシャフトの本体に沿って可変剛性を有する１つ以上のシャフトとのうちの１つ以上が、互いに一体である、例３２に記載のシステム。
【0047】
例３４．前記１つ以上の操縦メカニズムは、シャフトの回転と、シャフトの前進／後退と、装置の先端部の偏向と、装置のシャフトの一部の偏向とを含む１つ以上の操縦動作を引き臆すように構成される、例３２に記載のシステム。
【0048】
例３５．自己操縦管腔内システム用の操縦計画を生成する方法であって、
ａ．自己操縦管腔内装置が到達する必要があるデジタル管腔内マップ内の１つ以上の管腔を通してアクセス可能な場所を選択することと、
ｂ．前記管腔内装置が前記場所に到達するためのナビゲーション動作を生成することと、
ｃ．前記管腔内装置によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価することと、
ｄ．前記管腔内装置によって実行される前記ナビゲーション動作によって生じる前記管腔上の潜在的な応力レベルを評価することと、
ｅ．前記潜在的な応力レベルが所定閾値を下回るまでステップｂ～ｄを実行することと、を含む前記方法。
ａ．自己操縦管腔内装置が到達する必要があるデジタル管腔内マップ内の１つ以上の管腔を通してアクセス可能な場所を選択することと、
ｂ．前記管腔内装置が前記場所に到達するためのナビゲーション動作を生成することと、
ｃ．前記管腔内装置によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価することと、
ｄ．前記管腔内装置によって実行される前記ナビゲーション動作によって生じる前記管腔上の潜在的な応力レベルを評価することと、
ｅ．前記潜在的な応力レベルが所定閾値を下回るまでステップｂ～ｄを実行することと、を含む前記方法。
【0049】
例３６．前記自己操縦管腔内システムに前記計画を提供することをさらに含む、例３５に記載の方法。
【0050】
例３７．画像に基づいて、前記１つ以上の管腔を含む前記デジタル管腔内マップを生成することをさらに含む、例３５に記載の方法。
【0051】
例３８．前記画像はＣＴスキャンである、例３７に記載の方法。
【0052】
例３９．前記画像は血管造影図である、例３７に記載の方法。
【0053】
例４０．ナビゲーション動作を前記生成することは、前記ナビゲーション動作の第１のシミュレーションを実行することを含む、例３５に記載の方法。
【0054】
例４１．前記潜在的な変形を評価することは、前記潜在的な変形の第２のシミュレーションを実行することを含む、例３５に記載の方法。
【0055】
例４２．前記第２のシミュレーションにおいてシミュレートした前記潜在的な変形に従って、前記デジタル管腔内マップを更新することをさらに含む、例４１に記載の方法。
【0056】
例４３．前記潜在的な応力レベルを評価することは、前記潜在的な応力レベルのシミュレーションを実行することを含む、例３５に記載の方法。
【0057】
例４４．前記潜在的な応力レベルを下げるために前記ナビゲーション動作を更新することをさらに含む、例４３に記載の方法。
【0058】
例４５．前記潜在的な変形を評価することは、呼吸、心臓の鼓動、及び他の外因によって生じる変形を評価することをさらに含む、例３５に記載の方法。
【0059】
例４６．自己操縦管腔内システムであって、
ａ．操縦可能な細長い本体を含む管腔内装置と、
ｂ．１つ以上のモジュールを含むコンピューターメモリ記憶媒体であって、前記１つ以上のモジュールは、
ｉ．デジタル管腔内マップ内で選択された所望の場所に到達するために、前記管腔内装置の前記操縦可能な細長い本体によって実行されるべきナビゲーション動作を生成するための命令を含むナビゲーションモジュールと、
ｉｉ．前記管腔内装置の前記操縦可能な細長い本体によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価するための命令を含む変形モジュールと、
ｉｉｉ．前記管腔内装置の前記操縦可能な細長い本体によって実行される前記ナビゲーション動作によって生じる前記管腔上の潜在的な応力レベルを評価するための命令を含む応力モジュールと、
ｉｖ．前記ナビゲーションモジュール、変形モジュール、及び応力モジュールのうちの１つ以上から情報を受け取り、それに応じて前記管腔内装置の前記操縦可能な細長い本体を駆動するための命令を含む高レベルモジュールと、を含む前記コンピューターメモリ記憶媒体と、を含む前記自己操縦管腔内システム。
ａ．操縦可能な細長い本体を含む管腔内装置と、
ｂ．１つ以上のモジュールを含むコンピューターメモリ記憶媒体であって、前記１つ以上のモジュールは、
ｉ．デジタル管腔内マップ内で選択された所望の場所に到達するために、前記管腔内装置の前記操縦可能な細長い本体によって実行されるべきナビゲーション動作を生成するための命令を含むナビゲーションモジュールと、
ｉｉ．前記管腔内装置の前記操縦可能な細長い本体によって実行される前記ナビゲーション動作によって生じる１つ以上の管腔に対する潜在的な変形を評価するための命令を含む変形モジュールと、
ｉｉｉ．前記管腔内装置の前記操縦可能な細長い本体によって実行される前記ナビゲーション動作によって生じる前記管腔上の潜在的な応力レベルを評価するための命令を含む応力モジュールと、
ｉｖ．前記ナビゲーションモジュール、変形モジュール、及び応力モジュールのうちの１つ以上から情報を受け取り、それに応じて前記管腔内装置の前記操縦可能な細長い本体を駆動するための命令を含む高レベルモジュールと、を含む前記コンピューターメモリ記憶媒体と、を含む前記自己操縦管腔内システム。
【0060】
例４７．前記管腔内装置は、前記ナビゲーション動作中の前記管腔内装置の場所をモニタリングするための１つ以上のセンサーを含む、例４６に記載のシステム。
【0061】
例４８．前記モニタリングを可能にするための外部送信機をさらに含む、例４７に記載のシステム。
【0062】
例４９．前記ナビゲーションモジュールは、デジタル管腔内マップ内で選択された所望の場所に到達するのを助けるために、前記管腔内装置の前記操縦可能な細長い本体によって実行されるべきナビゲーション動作を生成するための命令を含む、例４６に記載のシステム。
【0063】
例５０．前記高レベルモジュールは、前記受け取った情報に基づいて操縦計画を生成するための命令をさらに含む、例４６に記載のシステム。
【0064】
例５１．前記高レベルモジュールは、画像に基づいて、前記１つ以上の管腔を含む前記デジタル管腔内マップを生成するための命令をさらに含む、例４６に記載のシステム。
【0065】
例５２．前記画像はＣＴスキャンである、例５１に記載のシステム。
【0066】
例５３．前記画像は血管造影図である、例５１に記載のシステム。
【0067】
例５４．前記ナビゲーションモジュールは、前記ナビゲーション動作の第１のシミュレーションを実行するための命令をさらに含む、例４６に記載のシステム。
【0068】
例５５．前記変形モジュールは、前記潜在的な変形の第２のシミュレーションを実行するための命令をさらに含む、例４６に記載のシステム。
【0069】
例５６．前記第２のシミュレーションにおいてシミュレートした前記潜在的な変形に従って、前記デジタル管腔内マップを更新することをさらに含む、例５５に記載のシステム。
【0070】
例５７．前記応力モジュールは、前記潜在的な応力レベルの第３のシミュレーションを実行するための命令をさらに含む、例４６に記載のシステム。
【0071】
例５８．前記潜在的な応力レベルを下げるために前記ナビゲーション動作を更新することをさらに含む、例５７に記載のシステム。
【0072】
例５９．前記潜在的な変形を評価することは、呼吸、心臓の鼓動、及び他の外因によって生じる変形を評価することをさらに含む、例４６に記載のシステム。
【0073】
別に定義がない限り、本明細書で使用されるすべての技術用語及び／または科学用語は、本発明が属する当業者によって広く理解されるものと同じ意味を有する。本発明の実施形態の実施または試験において、本明細書に記載のものと類似または同等の方法及び材料を使用することができるが、典型的な方法及び／または材料について以下に説明する。矛盾する場合には、特許明細書が、定義も含んで、優先する。加えて、材料、方法、及び例は例示的にすぎず、必ずしも限定することは意図していない。
【0074】
本発明のいくつかの実施形態について、本明細書では、単に一例として、添付図面を参照して説明する。ここで、図面を詳細に具体的に参照するが、図示した詳細は、一例として、本発明の実施形態の例示的な説明を目的とするものであることを強調しておく。これに関連して、図面を使った説明は、本発明の実施形態をどのように実施し得るかを当業者に明らかにする。
【図面の簡単な説明】
【0075】
【図1】本発明のいくつかの実施形態による典型的な管腔内システムの概略図である。
【図2】本発明のいくつかの実施形態による典型的な管腔内装置の概略図である。
【図3a】本発明のいくつかの実施形態による、ＮａｖＮＮに提供される典型的なデジタル／仮想３Ｄ体積画像の概略図である。
【図3b】本発明のいくつかの実施形態による、ＮａｖＮＮに提供されるカメラセンサー画像含む典型的なデジタル／仮想３Ｄ体積画像の概略図である。
【図4】ａ～ｅは、本発明のいくつかの実施形態による、手順中にリアルタイムで生成され、ＮａｖＮＮモジュールによって処理されるリアルタイム位置特定画像に基づく駆動動作の典型的なシーケンスの概略図である。
【図5】本発明のいくつかの実施形態による、３Ｄピラミッドプリミティブを使用したカテーテルの典型的な体積テッセレーションの概略図である。
【図6】ａ～ｂは、本発明のいくつかの実施形態による、異なるオブジェクトに従って中心が決まる典型的な３Ｄ位置特定画像の概略図である。
【図7】ａ～ｂは、本発明のいくつかの実施形態による、典型的な非変形及び変形された位置特定画像の概略図である。
【図8】本発明のいくつかの実施形態による、管腔変形を反映するために正しい２Ｄ／３Ｄシステムビューを表示する典型的な方法のフローチャートである。
【図9】ａ～ｄは、本発明のいくつかの実施形態による、ＤｅｆｏｒｍＮＮモジュールによって実行される典型的な動作の概略図である。
【図10】本発明のいくつかの実施形態による、追跡及びナビゲーションシステムを備えた典型的な管腔内装置の概略図である。
【図11】本発明のいくつかの実施形態による、システムを使用する典型的な方法のフローチャートである。
【発明を実施するための形態】
【0076】
本発明は、いくつかの実施形態において、たとえば内視鏡、またはたとえば小型管腔内ロボット装置、またはたとえば血管内カテーテル、またはたとえば血管内ガイドワイヤなどの１つ以上の管腔内装置をナビゲートするためのシステム及び方法に関し、より詳細には、しかし排他的にではなく、１つ以上の自己操縦管腔内装置をナビゲートするためのシステム及び方法に関する。いくつかの実施形態では、２つ以上の装置を使用する場合、それらは同時にナビゲートする。以下の段落では、単一の装置を使用して本発明を説明するが、複数の装置を同時に使用する場合にも同じ説明が当てはまることを理解されたい。
【0077】
いくつかの実施形態では、管腔内装置の位置をナビゲーションマップ上に表示するために、器具をリアルタイムまたはほぼリアルタイムで追跡する。いくつかの実施形態では、器具の位置を特定し、その位置をナビゲーションマップ上に表示するために、電磁シングルセンサー、マルチセンサー、光ファイバー、蛍光透視視覚化などを含む種々の方法を使用することができる。たとえば、いくつかの実施形態では、器具は、単一の追跡センサー（たとえば、電磁センサー）をカテーテルの先端部に有し、６－ＤＯＦの位置及び方向（「場所」とも言う。以下、位置及び方向の両方を意味する）をナビゲーションシステムに与える。用語「カテーテル」、「内視鏡」、及び「管腔内装置」は同じ意味であり、管腔の内部で使用される装置であり、本明細書では交換可能に使用される。用語「ナビゲーションマップ」は、種々のモダリティまたは検出方法（たとえば、ＣＴ、ＣＴＡ、血管造影図、ＭＲスキャン、超音波検査、３Ｄ超音波再構成、蛍光透視イメージング、トモシンセシス再構成、ＯＣＴなど）に基づき得る解剖学的構造の表現を意味する。いくつかの実施形態では、先端部の場所を、患者の解剖学的構造と位置合わせして、ナビゲーションの２Ｄ／３Ｄビュー内に表示する。用語「位置合わせ」は、特に指示がない限り、異なるデータセットを１つの座標系に変換するプロセスを指す。したがって、いくつかの実施形態では、医師は、たとえば肺の内部、またはたとえば脳血管の内部に位置するカテーテルの先端部の表示を見ることができ、カテーテルを所望の標的まで操作することができ、これは通常、提示されたビュー内にも表示される。いくつかの実施形態では、カテーテルの形状は、光ファイバーに基づき得る「形状センサー」を使用して検知する。いくつかの実施形態では、カテーテルの形状のモニタリングを、他の手段を使用して、たとえば、管腔内装置内からの能動的な送信を必要とせずに装置のモニタリングを可能にするＲＦＩＤ技術を使用して、またはほぼリアルタイムで１つ以上の蛍光透視投影を使用してその３Ｄ形状を再構成することによって行う。いくつかの実施形態では、蛍光透視投影から装置の３Ｄ形状を再構成することは、以下によって実行する。複数の蛍光透視２Ｄ投影において装置の先端部及び／または全曲線を識別すること、何らかの基準座標系においてＸ線透視装置の場所を識別すること（たとえば光学基準を使用して）、逆投影された２Ｄ装置の曲線が、蛍光透視投影から観察された２Ｄ曲線に適合するように、最適化によって装置の３Ｄ場所及び／または形状を見つけること。いくつかの実施形態では、カテーテルの形状を、患者の解剖学的構造に位置合わせして、医師に２Ｄ／３Ｄビューで示す。いくつかの実施形態では、カテーテルは、何らかの参照送信機に対する全カテーテルの位置及び絶対形状の追跡を可能にする複数の位置センサー（たとえば、電磁）を含んでいてもよい。いくつかの実施形態では、カテーテルはいかなるセンサーも含んでいなくてもよい。いくつかの実施形態では、それは、蛍光透視下で目に見える受動カテーテルであってもよい。いくつかの実施形態では、カテーテルの形状は、１つ以上の蛍光透視投影を使用する再構成法による蛍光透視法を使用して追跡されている。いくつかの実施形態では、次いで、カテーテルの形状及び場所を、患者の解剖学的構造に位置合わせして、医師に表示する。いくつかの実施形態では、これらの方法の組み合わせを使用する。
【0078】
いくつかの実施形態では、種々の２Ｄ／３Ｄビューを使用して、ナビゲーションマップに対してカテーテルの場所を表示する。いくつかの実施形態では、このビューを医師が使用して、標的に到達するようにカテーテルを操作する方法を決定する。いくつかの実施形態では、任意選択で、エントリポイントから標的までの予め計画された経路をこれらのビューに表示する。いくつかの実施形態では、介入中に、医師は、表示されたビュー上でリアルタイムで追跡された器具の動きを見ながら、経路に従って、カテーテル先端部を関節運動させて標的の近くまで駆動する。
【0079】
いくつかの実施形態では、種々のメカニズムを使用して、器具を所望の場所まで駆動することができる。いくつかの実施形態では、メカニズムを手動で駆動し、医師が操作し、１つ以上のレバーがカテーテルの先端部の関節運動をもたらす。いくつかの実施形態では、カテーテルを、遠位端に固定された曲線を伴って手動で挿入してもよい。いくつかの実施形態では、カテーテルを、遠隔制御パネルによって制御されるロボット駆動メカニズムに取り付ける。いくつかの実施形態では、任意の時点において、特に所望の標的に到達するときに、ロボット駆動メカニズムは、カテーテルを空間内または解剖学的構造内に固定して、カテーテルを保持する必要をなくし、カテーテルの位置及び方向を変更することなく作業チャネルを介してツールを安定して挿入できるようにしてもよい。いくつかの実施形態では、カテーテルを解剖学的構造内に固定する潜在的な利点は、場合によって、解剖学的構造が空間内の任意の固定点に対して動くために（たとえば、患者が呼吸している場合）、カテーテルを「空間内」に固定することは十分でなく、そのため、カテーテルを「解剖学的構造内」に固定すること、すなわち、患者の動き／呼吸または組織の動き、たわみまたは変形にかかわらず、それを空間内で自動的に移動して解剖学的標的に対してその位置を維持することは、潜在的に有用であることである。
【0080】
管腔壁を越えて器具を押すことは有害であり得るか、少なくとも注意が必要であり得る多くの場合がある。手動器具の場合、障壁に対して押されると、抵抗力がカテーテルのハンドルに伝搬され戻って、そこから医師によって感知される。訓練された医師であれば、リスクを認識しているため、カテーテルを慎重に操作する。抵抗力が大きくなって医師が過剰であると判断した値を超えた場合、医師は圧力を追体験してカテーテルを引っ張る場合がある。カテーテルが引っ込められたら、医師は先端部の方向を変えて、標的に向かってゆっくりと前方に押す場合がある。しかし、機械的、電気機械的、及び／または動力駆動のカテーテルの場合、または非常に長いカテーテルの場合、医師はこれらの力を感知することができず、患者を傷つけるかまたはカテーテルを損傷させるリスクが高まる。したがって、いくつかの実施形態では、システムは、失われた自然な力のフィードバックの代わりに、たとえば力センサー及び機械的追跡を用いるメカニズムを含む。
【0081】
概要
本発明のいくつかの実施形態の態様は、管腔内装置、たとえば気管支内視鏡、またはたとえば血管内装置、たとえばガイドワイヤ、またはたとえばマイクロカテーテル、またはたとえばカテーテル、またはたとえば塞栓回収ツール、またはたとえばコイリングツールを、仮想の動的変形可能な管腔マップを使用してナビゲートするためのシステム及び方法に関する。いくつかの実施形態では、ナビゲーションは、自己操縦管腔内装置を使用するシステムによって自動的に実行させる。いくつかの実施形態では、ナビゲーション及びナビゲーションの更新は、管腔内装置が所望の場所に向かって前進している間にリアルタイムで実行させる。いくつかの実施形態では、変形は、患者の内部の管腔内装置の完全な場所及び／または形状のリアルタイム追跡の産物として、変形認識追跡システムによってリアルタイムで追跡し、仮想の動的変形可能なマップに変換する。いくつかの実施形態では、有益な３Ｄ位置特定画像を、完全に追跡された管腔内装置から、または複数の完全に追跡された管腔内装置及び仮想の動的変形可能なマップ（装置の現在のリアルタイム位置及び完全な形状を含む）から、リアルタイムで生成する。いくつかの実施形態では、位置特定画像は、適格な人間及び／またはインテリジェントマシン（ＡＩ）が、標的に到達するために任意の場所において要求される最適な駆動動作（たとえば、操縦、前進運動または後退運動）を決定するために必要なすべての情報をエンコードする。いくつかの実施形態では、位置特定画像を、ナビゲーションニューラルネットワーク（ＮａｖＮＮ）モジュールによって処理して、インテリジェントな駆動動作を生成することができる。いくつかの実施形態では、非変形の位置特定画像を最初に使用し、変形ニューラルネットワーク（ＤｅｆｏｒｍＮＮ）モジュールを使用して変形を見つけて、したがってナビゲーションに対する変形された位置特定画像を生成してもよい。いくつかの実施形態では、システム及び／また方法は多用途であり、たとえば、最初から最後まで完全な自律ナビゲーションを実行するために使用することができ、または別の例では、ナビゲーションは、より小さな人間監視のステップ（たとえば直観的な「タップトゥドライブ」ユーザインターフェースによって制御される）に分割してもよい。このユーザインターフェースでは、たとえば、解剖学的構造内の現在位置から指示された位置（たとえば、タッチスクリーンインターフェース上で「タップ」される）まで、自律ナビゲーションを実行する。いくつかの実施形態では、システム及び／また方法は、人間の医師に対して推奨されるナビゲーション命令を表示するために使用してもよい。いくつかの実施形態では、システム及び／また方法は、自己操縦内視鏡内で使用してもよいが、内視鏡の先端部は、標的までの経路と自動的に位置合わせされ、医師は、先端部を患者の気道に沿って遠位方向または近位方向に前進させるだけである。いくつかの実施形態では、システム及び／また方法は、自己操縦能力を備えた駆動装置が取り付けられた任意の血管内装置（たとえば、カテーテル、ガイドワイヤ、ツール、またはその他）と使用してもよいが、駆動装置は、血管内装置の先端部を、予め計画された経路と自動的に位置合わせするため、医師は、しおれて手動でまたは駆動装置を使用して、先端部を血管の内部で遠位方向または近位方向に前進させることが要求されるだけである。いくつかの実施形態では、システム及び／また方法は、ＡＩ性能を向上させる（たとえば、以下でさらに説明するように、１つ以上のニューラルネットワークモジュールに教える）ためにトレーニングデータを収集するのに適している。いくつかの実施形態では、自律運転動作は、さらなる安全メカニズムによって監視され、身体内の装置の安全な操作を確実にする。
本発明のいくつかの実施形態の態様は、管腔内装置、たとえば気管支内視鏡、またはたとえば血管内装置、たとえばガイドワイヤ、またはたとえばマイクロカテーテル、またはたとえばカテーテル、またはたとえば塞栓回収ツール、またはたとえばコイリングツールを、仮想の動的変形可能な管腔マップを使用してナビゲートするためのシステム及び方法に関する。いくつかの実施形態では、ナビゲーションは、自己操縦管腔内装置を使用するシステムによって自動的に実行させる。いくつかの実施形態では、ナビゲーション及びナビゲーションの更新は、管腔内装置が所望の場所に向かって前進している間にリアルタイムで実行させる。いくつかの実施形態では、変形は、患者の内部の管腔内装置の完全な場所及び／または形状のリアルタイム追跡の産物として、変形認識追跡システムによってリアルタイムで追跡し、仮想の動的変形可能なマップに変換する。いくつかの実施形態では、有益な３Ｄ位置特定画像を、完全に追跡された管腔内装置から、または複数の完全に追跡された管腔内装置及び仮想の動的変形可能なマップ（装置の現在のリアルタイム位置及び完全な形状を含む）から、リアルタイムで生成する。いくつかの実施形態では、位置特定画像は、適格な人間及び／またはインテリジェントマシン（ＡＩ）が、標的に到達するために任意の場所において要求される最適な駆動動作（たとえば、操縦、前進運動または後退運動）を決定するために必要なすべての情報をエンコードする。いくつかの実施形態では、位置特定画像を、ナビゲーションニューラルネットワーク（ＮａｖＮＮ）モジュールによって処理して、インテリジェントな駆動動作を生成することができる。いくつかの実施形態では、非変形の位置特定画像を最初に使用し、変形ニューラルネットワーク（ＤｅｆｏｒｍＮＮ）モジュールを使用して変形を見つけて、したがってナビゲーションに対する変形された位置特定画像を生成してもよい。いくつかの実施形態では、システム及び／また方法は多用途であり、たとえば、最初から最後まで完全な自律ナビゲーションを実行するために使用することができ、または別の例では、ナビゲーションは、より小さな人間監視のステップ（たとえば直観的な「タップトゥドライブ」ユーザインターフェースによって制御される）に分割してもよい。このユーザインターフェースでは、たとえば、解剖学的構造内の現在位置から指示された位置（たとえば、タッチスクリーンインターフェース上で「タップ」される）まで、自律ナビゲーションを実行する。いくつかの実施形態では、システム及び／また方法は、人間の医師に対して推奨されるナビゲーション命令を表示するために使用してもよい。いくつかの実施形態では、システム及び／また方法は、自己操縦内視鏡内で使用してもよいが、内視鏡の先端部は、標的までの経路と自動的に位置合わせされ、医師は、先端部を患者の気道に沿って遠位方向または近位方向に前進させるだけである。いくつかの実施形態では、システム及び／また方法は、自己操縦能力を備えた駆動装置が取り付けられた任意の血管内装置（たとえば、カテーテル、ガイドワイヤ、ツール、またはその他）と使用してもよいが、駆動装置は、血管内装置の先端部を、予め計画された経路と自動的に位置合わせするため、医師は、しおれて手動でまたは駆動装置を使用して、先端部を血管の内部で遠位方向または近位方向に前進させることが要求されるだけである。いくつかの実施形態では、システム及び／また方法は、ＡＩ性能を向上させる（たとえば、以下でさらに説明するように、１つ以上のニューラルネットワークモジュールに教える）ためにトレーニングデータを収集するのに適している。いくつかの実施形態では、自律運転動作は、さらなる安全メカニズムによって監視され、身体内の装置の安全な操作を確実にする。
【0082】
本発明のいくつかの実施形態の態様は、システムとして、３Ｄピラミッドプリミティブを３Ｄレンダーターゲット上にラスタライズし、それを、ナビゲーション手順においてリアルタイム３Ｄ位置特定画像をレンダリングするために使用するシステムに関する。いくつかの実施形態では、任意選択で、本方法はＧＰＵ ＡＳＩＣ／ＦＰＧＡ内に実装する。いくつかの実施形態では、任意選択で、本方法は、ＯｐｅｎＧＬ拡張機能を通してまたはＤｉｒｅｃｔＸによって開発者に公開する。いくつかの実施形態では、任意選択で、本方法は、３Ｄニューラルネットワークによって処理するためにリアルタイム３Ｄ複合データをレンダリングするために使用する。いくつかの実施形態では、任意選択で、本方法は、追跡された手及び指のリアルタイム３Ｄ画像をレンダリングするために使用する。
【0083】
本発明のいくつかの実施形態の態様は、３Ｄマルチチャンネル位置特定画像においてナビゲーションデータをエンコードし、任意選択で表示するためのシステム及び／または方法に関する。任意選択で、仮想の３Ｄマルチチャンネル位置特定画像において。いくつかの実施形態では、任意選択で、チャネルのうちの１つは、セグメント化された管腔構造を含む。いくつかの実施形態では、任意選択で、セグメント化された管腔構造はバイナリである。いくつかの実施形態では、任意選択で、セグメント化された管腔構造はスカラー尤度マップである。いくつかの実施形態では、任意選択で、セグメント化された管腔構造は、変形ニューラルネットワークモジュールを使用して変形させる。いくつかの実施形態では、任意選択で、セグメント化された管腔構造は、その骨格によって表す。いくつかの実施形態では、任意選択で、チャネルのうちの１つは、生のＣＴデータ、生のＭＲＩデータ、生の血管造影図データ、及びこれらの任意の組み合わせを含む。いくつかの実施形態では、任意選択で、１つ以上のチャネルは、カテーテルを、身体の内部のその推定位置に含む。いくつかの実施形態では、任意選択で、カテーテルは全曲線または部分的な曲線として表す。いくつかの実施形態では、任意選択で、カテーテルはその先端部のみによって表す。いくつかの実施形態では、任意選択で、カテーテルは、解剖学的構造の内部のその変形した位置においてレンダリングする。いくつかの実施形態では、任意選択で、カテーテルは、解剖学的構造の内部のその非変形の位置においてレンダリングする。いくつかの実施形態では、任意選択で、チャネルのうちの１つは標的までの経路を含む。いくつかの実施形態では、任意選択で、チャネルのうちの１つは、セグメント化された標的を含む。いくつかの実施形態では、任意選択で、チャネルのうちの１つは標的球体を含む。いくつかの実施形態では、任意選択で、チャネルのうちの１つは、内視鏡カメラの画像を含む。いくつかの実施形態では、任意選択で、画像は２Ｄであり、対応する光線に沿った逆投影を使用して３Ｄ位置特定画像においてレンダリングする。いくつかの実施形態では、任意選択で、画像は深度チャネルを含み、その深度チャネルを使用して３Ｄ表面として３Ｄ位置特定画像においてレンダリングする。いくつかの実施形態では、任意選択で、位置特定画像は特別な位置及び配置を有する。いくつかの実施形態では、任意選択で、位置特定画像はカテーテルの先端部に中心がくる。いくつかの実施形態では、任意選択で、位置特定画像は経路に中心がくる。いくつかの実施形態では、任意選択で、位置特定画像は、最も近い経路ポイントに中心がくる。いくつかの実施形態では、任意選択で、位置特定画像はカテーテルの先端部方向と位置合わせする。いくつかの実施形態では、任意選択で、位置特定画像のＸ軸は、カテーテルの先端部方向と位置合わせする。いくつかの実施形態では、任意選択で、位置特定画像のＸ軸は、経路方向と位置合わせする。いくつかの実施形態では、任意選択で、位置特定画像のＺ軸は、次の分岐点の法線ベクトルと位置合わせする。いくつかの実施形態では、任意選択で、３Ｄ位置特定画像入力はリアルタイムで生成する。いくつかの実施形態では、任意選択で、位置特定画像は、３Ｄピラミッドテッセレーション技術を使用してレンダリングする。いくつかの実施形態では、任意選択で、セグメント化された管腔構造は、変形認識位置特定システムによって計算されるように、その変形状態においてリアルタイムでレンダリングされる。いくつかの実施形態では、任意選択で、セグメント化された管腔構造は、変形ニューラルネットワークを使用して、その変形状態においてリアルタイムでレンダリングする。いくつかの実施形態では、任意選択で、カテーテル位置は、追跡システムによって計算されるように、その位置においてレンダリングする。いくつかの実施形態では、任意選択で、カテーテルの位置は、変形ニューラルネットワークモジュールを使用して、その解剖学的変形が補償された位置においてレンダリングする。
【0084】
本発明のいくつかの実施形態の態様は、自動ナビゲーション駆動動作を生成するためのシステム及び／または方法に関する。いくつかの実施形態では、任意選択で、位置特定画像は、ナビゲーションニューラルネットワーク（ＮａｖＮＮ）モジュールを使用して処理する。いくつかの実施形態では、任意選択で、位置特定画像は、３Ｄ畳み込みニューラルネットワーク（３Ｄ ＣＮＮ）を使用して処理する。いくつかの実施形態では、任意選択で、位置特定画像は、３Ｄ回帰型ニューラルネットワーク（３Ｄ ＲＮＮ）を使用して処理する。いくつかの実施形態では、任意選択で、位置特定画像は、より良好な駆動動作を生成するためのカメラチャネルを含む。いくつかの実施形態では、任意選択で、ＮａｖＮＮはメモリを所有する。いくつかの実施形態では、任意選択で、ＮａｖＮＮは予測間の状態ベクトルを運ぶ。いくつかの実施形態では、任意選択で、高レベルモジュールがＮａｖＮＮを動作させる。いくつかの実施形態では、任意選択で、高レベルモジュールは、ＮａｖＮＮの最大出力を選択することによって最適な駆動動作を選択する。いくつかの実施形態では、任意選択で、高レベルモジュールは、ＮａｖＮＮ出力に基づいてモーターを自動的に起動する。いくつかの実施形態では、任意選択で、高レベルモジュールは、ナビゲーションに探索を追加し、ＮａｖＮＮ出力の局所極値点を回避するために、ランダムな駆動動作を定期的に生成する。いくつかの実施形態では、任意選択で、高レベルモジュールは、特定の所定の時間間隔でカテーテルを自動的にロール（回転）させる。いくつかの実施形態では、任意選択で、異なる出力駆動動作間の「ジャンプ」を防止するために、ヒステリシスをＮａｖＮＮ出力に使用する。いくつかの実施形態では、任意選択で、有害な駆動動作を防止するために、安全メカニズムをＮａｖＮＮ出力に強制する。いくつかの実施形態では、任意選択で、患者に特定の力が及ぼされた場合、カテーテルは押さない。いくつかの実施形態では、任意選択で、患者に特定の力が及ぼされた場合、カテーテルは自動的に引き戻す。いくつかの実施形態では、任意選択で、及ぼされた力は、セグメント化された管腔構造の内部の完全なカテーテル曲線を分析することによって計算する。いくつかの実施形態では、任意選択で、及ぼされた力は、カテーテルのハンドル内またはカテーテルの本体に沿った力センサーによって検知する。いくつかの実施形態では、任意選択で、ＮａｖＮＮを、対応する駆動動作によってラベル付けした３Ｄ位置特定画像入力を使用して、教師ありトレーニングにおいてトレーニングする。いくつかの実施形態では、任意選択で、ラベル付けしたサンプルを、現実的なシミュレータモジュールを使用して生成する。いくつかの実施形態では、任意選択で、ラベル付けしたサンプルを、現実のロボットナビゲーション手順から収集する。いくつかの実施形態では、任意選択で、ラベル付けしたサンプルを、実際の手動ナビゲーション手順から収集する。いくつかの実施形態では、任意選択で、操作者の手動駆動動作を自動的に分類する。いくつかの実施形態では、任意選択で、駆動動作は、近位及び遠位カテーテルセンサーを使用して分類する。いくつかの実施形態では、任意選択で、カテーテルのハンドルは、操作者の行動を分類するための１つ以上のセンサーを含む。いくつかの実施形態では、任意選択で、ＮａｖＮＮは、３Ｄ位置特定画像入力を使用して教師なし学習においてトレーニングする。いくつかの実施形態では、任意選択で、ＮａｖＮＮは、強化学習を使用して現実的なシミュレータモジュールにおいてトレーニングする。
【0085】
本発明のいくつかの実施形態の態様は、変形した管腔構造の内部のカテーテルの解剖学的位置を見つけるためのシステム及び／または方法に関する（「変形した管腔構造」についてのさらなる説明については、以下を参照）。いくつかの実施形態では、任意選択で、位置特定画像は、変形ニューラルネットワーク（ＤｅｆｏｒｍＮＮ）モジュールを使用して処理する。いくつかの実施形態では、任意選択で、位置特定画像は３Ｄ ＣＮＮを使用して処理する。いくつかの実施形態では、任意選択で、位置特定画像は３Ｄ ＲＮＮを使用して処理する。いくつかの実施形態では、任意選択で、位置特定画像は３Ｄ Ｕ－Ｎｅｔを使用して処理する。いくつかの実施形態では、任意選択で、位置特定画像は、精度を向上させるためのカメラチャネルを含む。いくつかの実施形態では、任意選択で、ＤｅｆｏｒｍＮＮはメモリを所有する。いくつかの実施形態では、任意選択で、ＤｅｆｏｒｍＮＮは予測間の状態ベクトルを運ぶ。いくつかの実施形態では、任意選択で、ＤｅｆｏｒｍＮＮは、変形補償された管腔構造の画像を出力する。いくつかの実施形態では、任意選択で、ＤｅｆｏｒｍＮＮは、入力管腔構造の内部の解剖学的位置にあるカテーテルの画像を出力する。いくつかの実施形態では、任意選択で、ＤｅｆｏｒｍＮＮは、管腔構造の内部の解剖学的位置にある１つ以上の仮想カテーテルの画像を、その対応する信頼レベルとともに出力する。いくつかの実施形態では、任意選択で、ＤｅｆｏｒｍＮＮは、入力管腔構造内の位置における入力カテーテルの信頼度を反映するカテーテルごとの単一の確率を出力する。いくつかの実施形態では、任意選択で、管腔構造の変形を、ＤｅｆｏｒｍＮＮの出力確率を最大にするように検索する。いくつかの実施形態では、任意選択で、高レベルモジュールがＤｅｆｏｒｍＮＮを動作させる。いくつかの実施形態では、任意選択で、変形した管腔構造を出力する場合、入力及び出力管腔構造を、変形ベクトルを計算するために位置合わせする。いくつかの実施形態では、任意選択で、変形したカテーテル曲線を出力する場合、入力及び出力カテーテルを位置合わせして、変形ベクトルを計算する。いくつかの実施形態では、任意選択で、変形ベクトルを、変形補償されたシステムビューを表示するために、完全な管腔構造またはカテーテル位置に適用する。いくつかの実施形態では、任意選択で、ＤｅｆｏｒｍＮＮの部分位置特定画像出力は、欠落しているチャネルによって操作し、自動駆動動作を生成するためにＮａｖＮＮに入力する。いくつかの実施形態では、任意選択で、ＤｅｆｏｒｍＮＮを、対応する変形補償された出力画像によってラベル付けした３Ｄ位置特定画像入力を使用して、教師ありトレーニングにおいてトレーニングする。いくつかの実施形態では、任意選択で、ラベル付けしたサンプルを、現実的なシミュレータモジュールを使用して生成する。いくつかの実施形態では、任意選択で、管腔構造の変形を、現実的な変形モデルを使用してシミュレータモジュールにおいてシミュレートする。いくつかの実施形態では、任意選択で、管腔構造の変形を、多項式、スプライン、または剛性３Ｄ変換を使用してシミュレータにおいてシミュレートする。いくつかの実施形態では、任意選択で、ラベル付けしたサンプルを、実際の手動ナビゲーション手順から収集する。いくつかの実施形態では、任意選択で、１つ以上のカテーテルを既知の解剖学的位置（たとえば、末梢場所）内に挿入し、解剖学的構造を内力及び外力を加えることによって変形して、管腔構造の変形を記録する。いくつかの実施形態では、任意選択で、変形を記録するために、追跡可能なセンサーを器官の内部に配置する。いくつかの実施形態では、任意選択で、複数のＣＢＣＴ（コーンビームＣＴ）スキャンを実行し、変形可能な位置合わせを使用して位置合わせして、変形ベクトルを計算する。いくつかの実施形態では、任意選択で、ＤｅｆｏｒｍＮＮを、手順の前に、特定の患者の管腔構造に関してさらにトレーニングする。
【0086】
本発明のいくつかの実施形態の態様は、ナビゲーション手順において複数のカテーテル仮説を表示するためのシステム及び／または方法に関する。いくつかの実施形態では、任意選択で、信頼レベルに基づいて異なる不透明度または強度を有する２つ以上のカテーテル仮説を、２Ｄ／３Ｄビュー上で管腔構造の内部に表示する。いくつかの実施形態では、任意選択で、単一のカテーテルを、異なる仮説の異なる方向に分割する位置まで表示する。いくつかの実施形態では、任意選択で、カテーテル仮説の共有セグメントは通常表示し、一方で、分割したセグメントは異なる色、強度、または不透明度で表示する。いくつかの実施形態では、任意選択で、カテーテル位置が曖昧な場合、画面を、異なるカテーテル仮説の複数の独立した表示に分割する。いくつかの実施形態では、任意選択で、単一の勝利仮説に戻って、勝利した半分の画面が負けた半分の画面を視界の外に「押し出す」。
【0087】
本発明のいくつかの実施形態の態様は、管腔構造の内部のカテーテルの力のリスク推定値を計算するためのシステム及び／または方法に関する。いくつかの実施形態では、任意選択で、力のリスク推定値を、管腔構造の内部のカテーテルの完全に追跡された位置を使用して計算する。いくつかの実施形態では、任意選択で、力のリスク推定値を、接触力及び内部のカテーテル力を推定することによって計算する。いくつかの実施形態では、任意選択で、力のリスク推定値を、管腔構造の内部のカテーテルを視覚化する３Ｄ位置特定画像を提供することによって、ＳｔｒｅｓｓＮＮを使用して計算する。いくつかの実施形態では、任意選択で、ＳｔｒｅｓｓＮＮを、現実的なシミュレータモジュールを使用して生成したラベル付けしたサンプルによってトレーニングする。いくつかの実施形態では、任意選択で、力のリスク推定値を、物理的にシミュレートした力推定値を使用してシミュレータモジュールにおいて計算する。
【0088】
本発明のいくつかの実施形態の態様は、リアルタイム３Ｄ位置特定画像を使用して、任意選択的に無線で、任意選択的に使い捨ての管腔内装置を自己操縦するシステム及び方法に関する。いくつかの実施形態では、任意選択で、装置は、手順前のペアリングプロセスにおいて患者と無線でペアリングする。いくつかの実施形態では、任意選択で、患者のデータ（セグメント化された管腔構造、目標計画など）を、ＮＦＣまたは任意の他の無線方法を使用して装置に転送する。いくつかの実施形態では、任意選択で、装置は、セグメント化された管腔構造またはカテーテルに変形補償を適用する。いくつかの実施形態では、任意選択で、変形補償は、骨格変形モデル及び最適化方法を使用して行う。いくつかの実施形態では、任意選択で、変形補償は、ＤｅｆｏｒｍＮＮを使用して行う。いくつかの実施形態では、任意選択で、装置は、ＮａｖＮＮを使用して、正確な自動駆動動作及びフィードバックを生成する。いくつかの実施形態では、任意選択で、装置は、ＮａｖＮＮ出力に基づいて、ハンドル内の小型モーターを使用してカテーテルを自動的に回転させ（受動的Ｊカテーテルを利用する場合に特に有用）、カテーテルを標的までの経路に位置合わせする。いくつかの実施形態では、任意選択で、装置は、小型アクチュエータ（たとえば、ハンドル内）を使用して装置の管腔内部分を自動的に押すかまたは引いて、標的に対していずれかの方向に装置を前進させる。いくつかの実施形態では、任意選択で、装置は、ＬＥＤまたは振動モーターフィードバックを使用して、ナビゲーション中に操作者に命令を出す。いくつかの実施形態では、任意選択で、装置は手持ち式であり、押す／引く動作は、装置の命令に従って操作者によって運ばれる。いくつかの実施形態では、任意選択で、装置を、ロボット駆動メカニズム内に取り付けて、人間の機械的介入なしに自律的に駆動する。いくつかの実施形態では、任意選択で、自動ナビゲーションは、力のリスク推定値に基づいて停止する。
【0089】
本発明のいくつかの実施形態の態様は、目的地を示すことによって駆動される管腔内装置制御するためのシステム及び／または方法に関する。いくつかの実施形態では、駆動機能は、たとえば、電気機械装置を使用することによって達成する。いくつかの実施形態では、管腔内装置を、他の駆動方法を使用して管腔内で前進させる。たとえば、磁石付き装置に磁界を印加することによって、またはたとえば、装置を駆動するために空気圧または油圧を使用することによって、または他の方法によって前進させる。いくつかの実施形態では、任意選択で、操作者は、器具先端部の所望の最終位置及び方向を示すことによって、器具の先端部を解剖学的構造内の位置にナビゲートさせる。いくつかの実施形態では、任意選択で、目的地を、タッチスクリーン上に表示された器官を表す３Ｄマップ内の点をタップすることによってマーキングする。いくつかの実施形態では、任意選択で、目的地のマーキングを、解剖学的イメージング、たとえばＣＴスライス、またはたとえば血管造影図、またはたとえば超音波検査、またはたとえばＭＲＩを表示するコンピューター画面上の場所でマウスポインタをクリックすることによって行う。いくつかの実施形態では、任意選択で、目的地のマーキングを、メニューまたは他のユーザインターフェース（ＵＩ）要素から、所定の位置を選択することによって行う。いくつかの実施形態では、任意選択で、目的地はシステムによって自動的に提案される。いくつかの実施形態では、任意選択で、目的地は音声コマンドを発することによって示される。いくつかの実施形態では、任意選択で、目的地は、プログレスバーに似たマルチウェイポイント湾曲平面図マップ上に示される。いくつかの実施形態では、任意選択で、ウェイポイントは、限定された操作をマップ上のそれらの順序に従って順番に実行することによって得られる。いくつかの実施形態では、任意選択で、対象領域内の正確な目的地を示すために「拡大鏡」ビューを使用する。いくつかの実施形態では、任意選択で、対象領域内の正確な目的地を示すために「一人称」ビューを使用する。いくつかの実施形態では、任意選択で、システムは、所定の最大移動距離に従って前進を停止するようにトリガされる。いくつかの実施形態では、任意選択で、デッドマンスイッチを使用して装置の動作を停止する。いくつかの実施形態では、任意選択で、「解剖学的構造内で安定させる」メカニズムを使用して、先端部が決定された構造に対する決定された近傍を横切ることを、電動式微小移動及び調整を使用して能動的に防止する。
【0090】
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の説明に記載され、ならびに／または図面及び／もしくは例に例示されるコンポーネント及び／または方法の構成及び配置の詳細に、必ずしも限定されないことを理解されたい。本発明は、他の実施形態が可能であるか、または種々の方法で実施または実行することが可能である。
【0091】
典型的な管腔内システム
次に図１を参照して、本発明のいくつかの実施形態による典型的な管腔内システムの概略図を示す。いくつかの実施形態では、管腔内システム１００は、管腔内介入用に構成された管腔内装置１０２（たとえば、内視鏡）を含む。いくつかの実施形態では、管腔内装置１０２はコンピューター１０４に接続される。コンピューター１０４は、管腔内システム１００によって実行される動作（いくつかの実施形態では、管腔内装置１０２の自己操縦動作を含む）をモニタリング及び制御するように構成されている。いくつかの実施形態では、管腔内システム１００は送信機１０６をさらに含む。送信機１０６は、患者１０８の内部の管腔内装置１０２の場所をモニタリングするために管腔内システム１００によって使用される電磁界を生成するように構成される。いくつかの実施形態では、管腔内システム１００は表示ユニット１１０をさらに含む。表示ユニット１１０は、操作者に専用の画像を示すように構成され、これは、管腔内介入中の管腔内装置１０２のナビゲーション中に操作者を潜在的に支援する。いくつかの実施形態では、管腔内システム１００は任意選択で、管腔内介入中に患者１０８の動きをモニタリングするように構成された１つ以上のセンサー１１２をさらに含む。いくつかの実施形態では、患者の動きは、患者１０８の内部での管腔内装置１０２のナビゲーションを支援するために使用される。管腔内システム１００の前述した典型的な部分のそれぞれ、及びその典型的な方法について、以下でさらに説明する。
次に図１を参照して、本発明のいくつかの実施形態による典型的な管腔内システムの概略図を示す。いくつかの実施形態では、管腔内システム１００は、管腔内介入用に構成された管腔内装置１０２（たとえば、内視鏡）を含む。いくつかの実施形態では、管腔内装置１０２はコンピューター１０４に接続される。コンピューター１０４は、管腔内システム１００によって実行される動作（いくつかの実施形態では、管腔内装置１０２の自己操縦動作を含む）をモニタリング及び制御するように構成されている。いくつかの実施形態では、管腔内システム１００は送信機１０６をさらに含む。送信機１０６は、患者１０８の内部の管腔内装置１０２の場所をモニタリングするために管腔内システム１００によって使用される電磁界を生成するように構成される。いくつかの実施形態では、管腔内システム１００は表示ユニット１１０をさらに含む。表示ユニット１１０は、操作者に専用の画像を示すように構成され、これは、管腔内介入中の管腔内装置１０２のナビゲーション中に操作者を潜在的に支援する。いくつかの実施形態では、管腔内システム１００は任意選択で、管腔内介入中に患者１０８の動きをモニタリングするように構成された１つ以上のセンサー１１２をさらに含む。いくつかの実施形態では、患者の動きは、患者１０８の内部での管腔内装置１０２のナビゲーションを支援するために使用される。管腔内システム１００の前述した典型的な部分のそれぞれ、及びその典型的な方法について、以下でさらに説明する。
【0092】
典型的な管腔内装置１０２及びその追跡システム
次に図２を参照して、本発明のいくつかの実施形態による典型的な管腔内装置の概略図を示す。いくつかの実施形態では、管腔内システム１００は、管腔内装置１０２（たとえば、内視鏡）を含む。いくつかの実施形態では、管腔内装置１０２は、ハンドル２０２及び細長い本体２０４を含む。いくつかの実施形態では、管腔内装置１０２は、細長い本体２０４に沿って複数のセンサー２０６を含む。複数のセンサー２０６は、送信機１０６からの送信信号を検出するように構成されている。いくつかの実施形態では、管腔内システム１００は、複数のセンサー２０６を使用して細長い本体２０４の場所をモニタリングする。
次に図２を参照して、本発明のいくつかの実施形態による典型的な管腔内装置の概略図を示す。いくつかの実施形態では、管腔内システム１００は、管腔内装置１０２（たとえば、内視鏡）を含む。いくつかの実施形態では、管腔内装置１０２は、ハンドル２０２及び細長い本体２０４を含む。いくつかの実施形態では、管腔内装置１０２は、細長い本体２０４に沿って複数のセンサー２０６を含む。複数のセンサー２０６は、送信機１０６からの送信信号を検出するように構成されている。いくつかの実施形態では、管腔内システム１００は、複数のセンサー２０６を使用して細長い本体２０４の場所をモニタリングする。
【0093】
いくつかの実施形態では、複数のセンサー２０６は、３軸加速度計、３軸ジャイロスコープ、３軸磁力計のうちの１つ以上である。いくつかの実施形態では、複数のセンサー２０６はデジタルセンサーである。いくつかの実施形態では、複数のセンサー２０６は、検知したアナログデータをデジタルデータ形式で送信するためにさらなるＡ２Ｄ要素を含むアナログセンサーである。いくつかの実施形態では、複数のセンサー２０６は、デジタルセンサーとアナログセンサーとの組み合わせである。
【0094】
いくつかの実施形態では、細長い本体２０４は、細長い本体２０４内にあり及び／またはそれに沿って配置されたフレキシブルプリント回路基板（ＰＣＢ）を含む。さらなる情報を、国際出願公開第ＷＯ２０２１０４８８３７号において見つけることができ、その内容は完全に本明細書に組み込まれている。いくつかの実施形態では、ＰＣＢは、たとえば、少数のワイヤライン、たとえば２～４のワイヤを含む同じデータバスによって、マイクロコントローラに通信接続される。たとえば、集積回路間（Ｉ２Ｃ）が、マイクロコントローラとフレキシブルＰＣＢに沿って設置された複数のセンサー２０６との間のデジタル接続インターフェースとして使用される。いくつかの実施形態では、管腔内装置は、センサーとマイクロコントローラとの間でデータを交換するために２つのワイヤのみを必要とする。いくつかの実施形態では、このような少数のワイヤを有する潜在的な利点は、小さく保つ必要があるカテーテル内の小さいワイヤ数を保てることである。
【0095】
いくつかの実施形態では、フレキシブルＰＣＢ上には、８、５、１０、または任意の好適な数のセンサーが設置されていてもよく、たとえば、すべてが同じＩ２Ｃバス（たとえばシリアルデ－タ及びシリアルクロックライン）に接続されていてもよい。いくつかの実施形態では、マイクロコントローラは、４線シールドケーブル（たとえば、電圧線及び／または接地線を含む）を使用してフレキシブルＰＣＢに接続される。いくつかの実施形態では、マイクロコントローラは、たとえば、センサーによるデジタル測定値の読み取り用の２つのデータラインに加えて、デジタルセンサー用の電圧及び／または接地を提供する。いくつかの実施形態では、マイクロコントローラは、たとえば、順次及び／または同時にセンサーを読み取り、センサー読み取り値をコンピューター１０４に、たとえば有線及び／または無線通信を介して送る。
【0096】
いくつかの実施形態では、フレキシブルＰＣＢのデザイン及び／またはその上でのセンサーの位置決めにより、たとえばＰＣＢが真っ直ぐである場合、センサーの位置及び／または方向が与えられる。いくつかの実施形態では、たとえば、製造プロセス中に、ＰＣＢは、たとえば細長い本体２０４に対するセンサー２０６の位置及び／または方向を決定する方法で、細長い本体２０４の内部に及び／またはそれに沿って取り付けられる。いくつかの実施形態では、コンピューター１０４は、センサーの初期６ＤＯＦの方向及び／または位置、たとえば、細長い本体２０４が真っ直ぐである場合のセンサーの６ＤＯＦの方向及び／または位置を用いて較正してもよい。いくつかの実施形態では、初期６ＤＯＦの方向及び／または位置データは、細長い本体２０４の剛性及び／または柔軟性制限に関する情報とともに、形状制約としてカテーテル位置特定アルゴリズムに組み込まれる。いくつかの実施形態では、たとえば、組み込まれた形状制約に基づいて、２つの隣接するセンサーは反対方向を指すことができない。いくつかの実施形態では、計算において形状制約を利用する潜在的な利点は、形状制約を考慮に入れたより高度な位置特定アルゴリズムが潜在的に与えられること、システム１００をコンパクトな及びロバストの両方にすることが潜在的に可能であることである。いくつかの実施形態では、細長い本体２０４の全曲線形状に物理的な形状制約を課しながら、すべてのセンサーの６ＤＯＦの位置及び／または方向について解くことによって、運動モデルのパラメータの数が潜在的に減少し、したがって、たとえば、測定データの過学習が潜在的に防止される。いくつかの実施形態では、形状制約を使用するさらなる潜在的な利点は、コンピューター１０４が、ノイズがある測定または歪んだ測定に起因して任意のセンサーの位置及び／または方向を誤って計算することをやめ得ることである。なぜなら、位置及び／または方向の解が、たとえば、隣接するセンサーの位置及び／または方向の解に準拠する必要があり、たとえば、そのため、それらが全体として、滑らかで物理的に妥当な細長い本体２０４を記述するからである。
【0097】
いくつかの実施形態では、コンピューター１０４は、たとえば、正確な解を得るために、位置特定アルゴリズムに歪みを組み込むことによって動的な電磁歪みを考慮する。動的な磁気歪みを補償するために使用される異なる方法が、国際特許公報ＷＯ２０２１０４８８３７号に記載されており、その内容は参照により完全に本明細書に組み込まれている。
【0098】
管腔内装置をモニタリングする典型的な方法
前述したように、管腔内装置をモニタリングする典型的な方法他の場所、たとえば、国際特許公報第ＷＯ２０２１０４８８３７号に記載されており、内容は参照により完全に本明細書に組み込まれている。
前述したように、管腔内装置をモニタリングする典型的な方法他の場所、たとえば、国際特許公報第ＷＯ２０２１０４８８３７号に記載されており、内容は参照により完全に本明細書に組み込まれている。
【0099】
簡単に言えば、いくつかの実施形態では、コンピューター１０４は、送信機１０６から、生成された交流電磁界の瞬時位相に関するデータを受け取る。いくつかの実施形態では、コンピューター１０４は、送信機１０６によって生成された磁界を検知する細長い本体２０４に沿った複数のセンサー２０６によって検知された局所磁界の検知値を受け取る。いくつかの実施形態では、複数のセンサー２０６は、そのローカル座標系において生成された磁界を検知し、したがって、いくつかの実施形態では、磁界の読み取り値を、送信機１０６に対するその方向に従って回転させる。いくつかの実施形態では、次いで、コンピューター１０４は、送信機データとセンサーから検知された磁界との間を関連付ける。いくつかの実施形態では、次いで、コンピューター１０４は、送信機データ及びセンサーからの検知された磁界に基づいて、検知された磁界値を与えた複数のセンサーの位置及び方向、たとえば、センサーそれぞれの６ＤＯＦまたは５ＤＯＦの位置特定、及び／または細長い本体２０４の全体的な位置、方向、及び／または曲線を計算する。いくつかの実施形態では、任意選択で、コンピューター１０４は、位置特定計算のために、複数のセンサー２０６に含まれる対応するセンサーの加速度計及び／またはジャイロスコープの読み取り値を使用する。いくつかの実施形態では、送信機１０６の電磁界周波数は、約１０Ｈｚから約１００Ｈｚまで制限される。任意選択で約１０Ｈｚから約２００Ｈｚまで。任意選択で約１０Ｈｚから約５００Ｈｚまで。任意選択で約１０Ｈｚから約１０００Ｈｚまで。いくつかの実施形態では、コンピューター１０４は数学的モデルを利用して、細長い本体２０４の動きを説明する。いくつかの実施形態では、コンピューター１０４は、複数のセンサー２０６のそれぞれを独立に追跡する。たとえば、コンピューター１０４は、次のタイムフレームの複数のセンサー２０６のそれぞれの状態を、たとえば、現在のタイムフレームにおける状態に基づいて、及び／または予測を補正するために使用し得る慣性計測ユニット（ＩＭＵ）（装置の動き及び姿勢の情報を提供する）バンドル測定値に基づいて、予測するように構成されている。いくつかの実施形態では、コンピューター１０４は、そのカテーテル位置特定アルゴリズムにおいて、複数のセンサー２０６間の既知の構造的関係を利用して、たとえば、複数のセンサー２０６のそれぞれに対する位置及び／または方向を別個に計算するのではなく、細長い本体２０４全体としての位置、方向、及び／または曲線の推定値を計算する。
【0100】
高度なモニタリングシステムの典型的な原理
いくつかの実施形態では、本発明は、管腔内装置に誘導及びいくつかの実施形態では自動操縦（以下でさらに説明する）をもたらす高度なモニタリングシステムを利用するシステムに関する。
いくつかの実施形態では、本発明は、管腔内装置に誘導及びいくつかの実施形態では自動操縦（以下でさらに説明する）をもたらす高度なモニタリングシステムを利用するシステムに関する。
【0101】
ナビゲーション気管支鏡検査手順の間、医師は、カテーテルを標的の方に近づけるために、システムビュー内に示されるデータに応じてカテーテルに対して実行する最適な駆動動作を選択する必要がある。ハンドヘルド駆動メカニズムならびにロボット駆動メカニズムの両方を使用して、医師は、手動または遠隔のいずれかでカテーテルのハンドルを操作（たとえば、押す／引く／ロールする／湾曲する）して、ビュー内に示されるカテーテルの状態を「改善」しようとする。用語「状態」は、この文脈では、患者の身体内部の所望の場所に向かう所定の経路に従った装置の相対位置を指す。装置が「軌道に乗っている」ほど、所望の標的場所に対する装置の「状態」は良好である。簡単な例として、カテーテルが主気管分岐部（左右の肺を接続する第１の気管分岐部）の前に位置するとき、所望の標的が左肺内に位置すると仮定した場合、医師は、カテーテルの先端部を正確な方向に関節運動させて（たとえば、ロール／湾曲によって）、カテーテルを左肺まで押す必要がある。そうした後で、カテーテルは、リアルタイムシステムビューにおいて左肺内に表示されるため、カテーテルの状態が実際に改善される。代替的に、医師が誤ってカテーテルを右肺まで押した場合、カテーテルは右肺内に表示され、システムビューに表示されるように所望の標的経路からさらに離れているため、カテーテル状態は悪化した。医師は、カテーテルがいま標的までの経路からより遠いことに気付き、カテーテルを引き戻し、正しい肺に再ナビゲートして、目的地の標的に対するカテーテルの状態を改善する。
【0102】
目的地の標的及び標的の経路に対するカテーテルの状態を推定できることは、些細な作業のように思える場合があるが、カテーテルの状態、マップ、または方向が完全に分かってはいない場合はいつも、非常に注意を要することが分かる場合がある。これらの重要な要因が未知である理由は複数存在するが、とりわけ組織の動的な変形である。組織の動的な変形は、多くの力（有機的または無機的）によって生じる場合がある。たとえば、カテーテルを湾曲すると組織に力が作用して、動的な変形が生じ、カテーテルとともに気道が移動する場合がある。システムによっては、この動的な変形を補償できないことに注意されたい。これらのシステムでは、表示される気道マップは手順の始まりから固定されており、呼吸、手順中に動的に加えられる力（説明したケースなど）、麻酔によって誘起される無気肺、心臓の動き、気胸などによる変化は考慮されていない。
【0103】
完全なマップ状態に従って決定がなされた場合でも、操作の実行に問題があると、ナビゲーションを妨げる場合があり、試行錯誤の繰り返しが必要になる。たとえば、摩擦力により、カテーテルが所望の気道に進むことが妨げられる場合がある。次いで、熟練した医師の責任で、カテーテルと慎重にやり取りし、システムビューにおいてリアルタイムのカテーテル動作を注意して見て、カテーテルの先端部の方向を様々な方向に変更し、カテーテルを引いて押すことを、カテーテルが正しい気道内を標的に向かって進むまで試みる。別の例では、医師はカテーテルを上葉に向けて進めたいと望む場合がある。そうするために、カテーテルの先端部を鋭角に関節運動する必要がある。しかし、カテーテルは押されると、滑って中葉に向かって前方に進み、曲がりそこねる場合がある。そして、熟練した医師であれば、引き戻して、異なるレベルの湾曲を様々な方向（一部は重要である）及び速度で試みて、なんとか上葉に入るまでカテーテルを進める。
【0104】
前述の例によって分かるように、最適な駆動動作を選択する問題は自明ではなく、単純な幾何学的推論と必ずしも一致するわけではない。幾何学的な観点から動作の最適な選択のように見え得ることが、実際には有益でないことが分かる可能性があり、カテーテルが正しく進められるまで、熟練した医師によって異なる動作を繰り返す必要がある。また、前述したすべての例では、医師に、システムによって、周囲の３Ｄ気道及び標的までの経路に対するカテーテルの３Ｄ状態を医師が完全にリアルタイムで理解するようにする完全な２Ｄ／３Ｄビューが表示されることが想定されていたことに注意することも重要である。しかし、ヒトの目は、たとえば２Ｄモニターによって示される２Ｄ投影像しか感知できないという事実によって、ビューは本質的に制限される。場合によっては、３Ｄ知覚の効果を作り出す特別なヘッドセットまたはメガネを使用して、立体ビューが生成されて、それぞれの目に別個に表示されているが、表示されているデータはやはり本質的に２Ｄであり、３Ｄ世界において仮想カメラによって観察された生の３Ｄデータの２Ｄ投影（または複数の投影）でしかない。システムビューは本質的に生の３Ｄデータの２Ｄ投影であるため、とりわけ、閉塞（たとえば、仮想カメラの視点から、ある気道が他の気道を閉塞する）、奥行きの誤認識（たとえば、２つの特徴部の間の距離が、投影図において実際の距離よりもはるかに小さく見える）などの問題を被る場合がある。これを打開するために、熟練した医師が想像力及び３Ｄ知覚を使用して「写真を完成」できるように、ビューがデザインされている。たとえば、閉塞を打開するために、自動カメラ位置決めアルゴリズムを使用して仮想カメラを閉塞が最小の最適位置に配置し、またカメラを自動的に動かすことによって、観察者はある程度まで３Ｄ位置を知覚する。しかし、表示された特徴部（たとえば、カテーテル、周囲の気道、及び標的までの経路）の真の３Ｄ構造を最終的に理解することは、熟練した医師の３Ｄ知覚能力に依存するため、システムは、一般ユーザにとってはそれほど使用に適してはいない。
【0105】
いくつかの実施形態では、本発明のシステムは、たとえば手持ち式の可能性がある自己操縦内視鏡を含む。いくつかの実施形態では、医師は、内視鏡を保持し、患者の気道に滑り込ませる。いくつかの実施形態では、内視鏡の先端部は、次の分岐点と位置合わせするように自動的に操縦され、医師は、任意選択で特定及び所定の速度で、内視鏡を前方に押すだけでよい。いくつかの実施形態では、内視鏡の自動操縦は、ナビゲーションニューラルネットワーク（ＮａｖＮＮ）モジュールによってパワー供給される。このモジュールは、仮想の動的位置特定画像が供給され、出力駆動動作／コマンドを生成する。
【0106】
ＮａｖＮＮに関するさらなる説明については、以下を参照されたい。
【0107】
いくつかの実施形態では、ロール及び偏向駆動コマンドは、内視鏡のハンドルの内部の小型モーターまたは他のアクチュエータを使用して機械的操作に変換される。いくつかの実施形態では、任意選択で、次いで、ユーザにはナビゲーションフィードバック（たとえば、押す／引き戻す）が与えられ、ＮａｖＮＮの助けにより、ユーザは所望の標的に安全かつ容易に到達することができる。いくつかの実施形態では、任意選択で、カテーテルを、完全ロボット駆動メカニズムに取り付け、タップトゥドライブのユーザインターフェースを用いて標的までナビゲートし得る。いくつかの実施形態では、遠隔制御装置を用いてカテーテルを手動で操作する代わりに、医師に、カテーテルを標的までの経路に沿ったその位置に表示する画面を提供する。いくつかの実施形態では、医師は次いで、経路に沿って次の最も近い分岐点またはウェイポイントをタップし、ロボットは、ＮａｖＮＮからの出力に基づいて、カテーテルをその現在位置から次のウェイポイントまで進めるために必要な駆動動作を実行する。いくつかの実施形態では、実行される操作は比較的短く、医師の操作者によって監視することができる。いくつかの実施形態では、次のウェイポイントに到達したら、医師は次いで、ロボットに命令を出して、標的に到達するまで次の操作を順次実行させる。いくつかの実施形態では、完全な自律ナビゲーションシナリオにおいて、医師はロボットに命令を出して、２つの連続的な操作を自動的に実行させるか、または標的に到達するためにすべての残りの操作を行わせてもよい。
【0108】
いくつかの実施形態では、システムは、カテーテル応力検出アルゴリズムをさらに含む。これは、完全に追跡されたカテーテルの解剖学的位置における位置及び形状を使用して、力のリスク推定値を使用して表される、患者の管腔の内部のカテーテル応力を推定する。
【0109】
カテーテル応力検出アルゴリズムに関するさらなる説明については、以下を参照されたい。
【0110】
いくつかの実施形態では、アルゴリズムは、カテーテルの形状を調べて、カテーテルが壊れそうになっている場合または気道に過度の力を加え始めた場合などに、警告を出す。いくつかの実施形態では、これらの警告を使用して、ロボットの駆動操作を監視し、ならびに患者の安全性及びシステムの安定性のために手持ち式の場合に警告を出すことができる。いくつかの実施形態では、アルゴリズムは、純粋な幾何学的な考慮事項ならびに専用のＳｔｒｅｓｓ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＳｔｒｅｓｓＮＮ）に基づくことができる。
【0111】
応力ニューラルネットワーク（ＳｔｒｅｓｓＮＮ）に関するさらなる説明については、以下を参照されたい。
【0112】
いくつかの実施形態では、力センサーを駆動メカニズムの内部に組み込んで、装置によって管腔に加えられる力を予測してもよいが（医師が手持ち式カテーテルを用いて実行するように）、他のオプションは、ロボットによって実行される前進距離に対する装置追跡情報を利用して、管腔の内部の装置の応力を推定することである。いくつかの実施形態では、本明細書に記載するように、装置の完全に追跡された曲線を、解剖学的構造内部のその局所的な状態において分析して、管腔の内部の装置の応力レベルを正確に予測する。全般的に、装置が滑らかな経路をたどる場合、緩和される可能性が最も高く、組織を損傷する可能性はない。装置が、かなり真っ直ぐな管腔の内部で曲線の形状を構築し始め、ループが形成され始めていると、装置の応力レベルは高いと考えられ、ロボット駆動メカニズムは停止される。いくつかの実施形態では、このような場合、装置は引っ張られて解除され、または別の場合では警告が起動される。いくつかの実施形態では、提案された応力検出メカニズムを外部または内部の力センサーと組み合わせる潜在的な利点は、ロボット駆動カテーテルに対してより十分な保護を潜在的に提供することである。
【0113】
いくつかの実施形態では、任意選択で、システムの精度を高めるために、ナビゲーションに使用する仮想管腔マップを、管腔構造のリアルタイム変形に従って能動的に変形させる。いくつかの実施形態では、仮想管腔マップを変形させる潜在的な利点は、誤ったナビゲーション決定をもたらす可能性がある、潜在的に管腔の境界の外側であっても、装置をその誤った解剖学的位置に表示することが潜在的に回避されることである。いくつかの実施形態では、変形は、たとえば、管腔構造の骨格モデルに基づく、変形認識追跡システムによってリアルタイムで追跡する。いくつかの実施形態では、骨格モデルを、変形した解剖学的構造内で完全に追跡された装置の真の位置を見つけるために、特定の形状制約の下で最適化方法を使用して変形する。いくつかの実施形態では、管腔構造の変形は、多くのトレーニングサンプルに基づく専用の変形ニューラルネットワーク（ＤｅｆｏｒｍＮＮ）モジュールを使用して、装置の完全に追跡された位置に基づいてリアルタイムで見出される。
【0114】
変形ニューラルネットワーク（ＤｅｆｏｒｍＮＮ）モジュールに関するさらなる説明については、以下を参照されたい。
【0115】
いくつかの実施形態では、ＮａｖＮＮモジュールには、非変形の位置特定画像に基づく専用の変形ニューラルネットワークによって生成されたものであっても、または一般的な変形認識追跡システムの製品によって生成されたものであっても、最適な駆動動作を決定するために、最も正確な変形補償された位置特定画像を与える。
【0116】
仮想／デジタルの動的変形可能な管腔マップの典型的な生成
いくつかの実施形態では、前述したように、システムは、仮想／デジタルの動的変形可能な管腔マップを利用して、患者の身体内部の装置をナビゲートする。いくつかの実施形態では、仮想／デジタルの動的変形可能な管腔マップの生成における開始ステップとして、システムには、たとえば、問題の患者のＣＴ画像（またはＭＲＩ画像または血管造影図など）、またはたとえば血管造影図が提供される。いくつかの実施形態では、システムは、画像を分析し、患者の仮想／デジタルの３Ｄ体積画像を生成するように構成されている。いくつかの実施形態では、仮想／デジタル３Ｄ体積画像は、ナビゲーションを実行するためにシステムによって使用される画像である。いくつかの実施形態では、デジタル３Ｄ体積画像は、ナビゲーションニューラルネットワーク（ＮａｖＮＮ）モジュール及び／または変形ニューラルネットワーク（ＤｅｆｏｒｍＮＮ）モジュール及び／または応力ニューラルネットワーク（ＳｔｒｅｓｓＮＮ）モジュールに提供される画像である。
いくつかの実施形態では、前述したように、システムは、仮想／デジタルの動的変形可能な管腔マップを利用して、患者の身体内部の装置をナビゲートする。いくつかの実施形態では、仮想／デジタルの動的変形可能な管腔マップの生成における開始ステップとして、システムには、たとえば、問題の患者のＣＴ画像（またはＭＲＩ画像または血管造影図など）、またはたとえば血管造影図が提供される。いくつかの実施形態では、システムは、画像を分析し、患者の仮想／デジタルの３Ｄ体積画像を生成するように構成されている。いくつかの実施形態では、仮想／デジタル３Ｄ体積画像は、ナビゲーションを実行するためにシステムによって使用される画像である。いくつかの実施形態では、デジタル３Ｄ体積画像は、ナビゲーションニューラルネットワーク（ＮａｖＮＮ）モジュール及び／または変形ニューラルネットワーク（ＤｅｆｏｒｍＮＮ）モジュール及び／または応力ニューラルネットワーク（ＳｔｒｅｓｓＮＮ）モジュールに提供される画像である。
【0117】
いくつかの実施形態では、手順中、システムは、患者の内部のカテーテルの実際の測定された場所を相関させ、それらの測定された場所を仮想／デジタルの３Ｄ体積画像内に組み込むように構成されている。
【0118】
典型的なナビゲーションニューラルネットワーク（ＮａｖＮＮ）モジュール
いくつかの実施形態では、ナビゲーションニューラルネットワーク（ＮａｖＮＮ）モジュールが提供され、リアルタイムシステムビュー（３Ｄ位置特定画像）を「見て」、このビューに基づいて最適な駆動動作を決定する。しかし、いくつかの実施形態では、ユーザのように、２Ｄ投影図とともに表示される代わりに、位置特定画像は、すべての関連するナビゲーション情報を生の３Ｄデータとしてエンコードする。いくつかの実施形態では、システムは、２Ｄまたは３Ｄ画像を人間ユーザに表示する固有の問題を打開して、ＮａｖＮＮモジュールが関連情報を生の３Ｄデータとして分析できるようにすることによって（人間ユーザは３Ｄ生データを処理することはできない）、そのユーザがどの経路を取るかを分析して決定できるように構成されている。いくつかの実施形態では、この情報は、閉塞及び奥行き誤認識（人間ユーザに起こる）などの２Ｄ投影問題を被らない。いくつかの実施形態では、ＮａｖＮＮは、トレーニングされた重みに基づいてデータを３Ｄで処理して、出力駆動動作を生成する。たとえば、各ＮＮは、畳み込みフィルター係数、閾値などの「重み」を含み、いくつかの実施形態では、これらの重みは、ＮＮのトレーニングプロセス中に見つけられ、モデルを通したさらなる予測に使用される。いくつかの実施形態では、これらの動作は、次いで、駆動推奨としてユーザに表示される（たとえば、限定することなく、（ａ）シャフト（カテーテル）を前方にＰＵＳＨする／後方にＰＵＬＬする、（ｂ）シャフト（カテーテル）を時計回り／反時計回りにＲＯＴＡＴＥさせる、（ｃ）上／下／右／左に関節＃１をＤＥＦＬＥＣＴさせるかまたはセグメント＃１を偏向させる、（ｄ）関節＃２を時計回り／反時計回りにＲＯＴＡＴＥさせる、（ｅ）上／下／右／左に関節＃３をＤＥＦＬＥＣＴさせるかまたはセグメント＃３を偏向させる等）か、または自律または準自律のナビゲーションシステムにおいて自動的に使用される。いくつかの実施形態では、ＮａｖＮＮは、物理的で現実的なシミュレーションモジュール（以下を参照）からのデータ、または教師ありまたは教師なしの方法を使用する注釈付き記録上でトレーニングされる。たとえば、物理シミュレーションは、現実的な管腔内ナビゲーション手順を模倣する。たとえば、シミュレーションは、ナビゲーション気管支鏡検査中にユーザが利用できるすべての２Ｄ／３Ｄビューを示し得る。ただし、表示される追跡内視鏡は現実ではなく、その代わりに、それは患者のＣＴスキャン（またはＭＲＩスキャン、または血管造影図など）の内部に配置された物理的にシミュレートした仮想内視鏡である。いくつかの実施形態では、内視鏡と患者との間のすべての相互作用は、ソフトウェアにおいて物理的にシミュレートする。
いくつかの実施形態では、ナビゲーションニューラルネットワーク（ＮａｖＮＮ）モジュールが提供され、リアルタイムシステムビュー（３Ｄ位置特定画像）を「見て」、このビューに基づいて最適な駆動動作を決定する。しかし、いくつかの実施形態では、ユーザのように、２Ｄ投影図とともに表示される代わりに、位置特定画像は、すべての関連するナビゲーション情報を生の３Ｄデータとしてエンコードする。いくつかの実施形態では、システムは、２Ｄまたは３Ｄ画像を人間ユーザに表示する固有の問題を打開して、ＮａｖＮＮモジュールが関連情報を生の３Ｄデータとして分析できるようにすることによって（人間ユーザは３Ｄ生データを処理することはできない）、そのユーザがどの経路を取るかを分析して決定できるように構成されている。いくつかの実施形態では、この情報は、閉塞及び奥行き誤認識（人間ユーザに起こる）などの２Ｄ投影問題を被らない。いくつかの実施形態では、ＮａｖＮＮは、トレーニングされた重みに基づいてデータを３Ｄで処理して、出力駆動動作を生成する。たとえば、各ＮＮは、畳み込みフィルター係数、閾値などの「重み」を含み、いくつかの実施形態では、これらの重みは、ＮＮのトレーニングプロセス中に見つけられ、モデルを通したさらなる予測に使用される。いくつかの実施形態では、これらの動作は、次いで、駆動推奨としてユーザに表示される（たとえば、限定することなく、（ａ）シャフト（カテーテル）を前方にＰＵＳＨする／後方にＰＵＬＬする、（ｂ）シャフト（カテーテル）を時計回り／反時計回りにＲＯＴＡＴＥさせる、（ｃ）上／下／右／左に関節＃１をＤＥＦＬＥＣＴさせるかまたはセグメント＃１を偏向させる、（ｄ）関節＃２を時計回り／反時計回りにＲＯＴＡＴＥさせる、（ｅ）上／下／右／左に関節＃３をＤＥＦＬＥＣＴさせるかまたはセグメント＃３を偏向させる等）か、または自律または準自律のナビゲーションシステムにおいて自動的に使用される。いくつかの実施形態では、ＮａｖＮＮは、物理的で現実的なシミュレーションモジュール（以下を参照）からのデータ、または教師ありまたは教師なしの方法を使用する注釈付き記録上でトレーニングされる。たとえば、物理シミュレーションは、現実的な管腔内ナビゲーション手順を模倣する。たとえば、シミュレーションは、ナビゲーション気管支鏡検査中にユーザが利用できるすべての２Ｄ／３Ｄビューを示し得る。ただし、表示される追跡内視鏡は現実ではなく、その代わりに、それは患者のＣＴスキャン（またはＭＲＩスキャン、または血管造影図など）の内部に配置された物理的にシミュレートした仮想内視鏡である。いくつかの実施形態では、内視鏡と患者との間のすべての相互作用は、ソフトウェアにおいて物理的にシミュレートする。
【0119】
次に図３ａを参照して、本発明のいくつかの実施形態による、ＮａｖＮＮに提供される典型的なデジタル／仮想３Ｄ体積画像の概略図を示す。いくつかの実施形態では、前述したように、ＮａｖＮＮに提供される位置特定画像は、たとえば、患者の術前のＣＴ（またはＭＲＩスキャン、または血管造影図など）から導出される特定の解像度及びスケールのデジタル／仮想３Ｄ体積画像である。いくつかの実施形態では、たとえば、画像は、１００ｘ１００ｘ１００のマルチチャンネルボクセル画像であってもよい。各ボクセルは、画像が総空間体積５ｘ５ｘ５ｃｍ３をカバーするように、サイズが０．５ｍｍ３の立方体である。いくつかの実施形態では、位置特定画像内のチャネルのそれぞれは、異なるナビゲーション機能を表す。いくつかの実施形態では、たとえば、第１のチャネルは、セグメント化された管腔構造３０２（前述したように、患者の術前のＣＴ／ＭＲＩ／血管造影図／などから導出される）を表し、第２のチャネルは標的までの経路３０４を表し、第３のチャネルは、図３ａに示すように、リアルタイム追跡システムによって追跡されている、完全なカテーテル曲線３０６を表す（対象領域（ＲＯＩ）の位置特定画像ボックスの内部、この場合、単一のカテーテルのみが使用されている）。任意選択で、図３ａには示していないが、術前の生の（セグメント化されていない）ＣＴデータ（またはＭＲＩデータ、または血管造影図データなど）を伴う第４のチャネルが追加される。いくつかの実施形態では、生のセグメント化されていないＣＴデータ（またはＭＲＩデータ、または血管造影図データなど）を提供する潜在的な利点は、ＮａｖＮＮがそのナビゲーション決定を、セグメント化された気道構造だけでなく、非セグメント化の気道（ＣＴスキャン内に存在し、カテーテルによって横断される場合がある）にも基づいてを行うことを潜在的に可能にすることである。いくつかの実施形態では、バイナリセグメント化画像を使用する代わりに、管腔構造を表す第１のチャネル３０２には、たとえば、管腔セグメント化ニューラルネットワークまたは任意の他の非バイナリ管腔セグメント化アルゴリズムによって出力されるような、各ボクセルが管腔の内部にある可能性を反映するスカラー画像が含まれていてもよい。いくつかの実施形態では、この場合、ＮａｖＮＮモジュールには、セグメント化にバイナリ閾値を適用することによって潜在的に落とされたであろう非常に小さい管腔チューブを含む、完全な管腔構造を説明するより豊富な情報が示される。いくつかの実施形態では、ＮａｖＮＮモジュールは、次いで、そのナビゲーション決定を、バイナリセグメント化された気道構造だけでなく、「ソフトセグメント化された」気道（可能性が小さいもの）にも基づいて行うことができる。いくつかの実施形態では、任意選択で、第２のチャネル３０４には、標的までの経路の最後に、セグメント化された標的または球形の標的３０８も含まれるか、または標的は専用の別個のチャネル内に含まれる。いくつかの実施形態では、任意選択で、第１のチャネル３０２は、セグメント化された管腔構造の骨格を表す。各骨格ボクセルの値は、ボクセルにおけるセグメント化された管腔構造の半径と等しくてもよい。
【0120】
次に図３ｂを参照して、本発明のいくつかの実施形態による、ＮａｖＮＮに提供されるカメラセンサー画像を含む典型的なデジタル／仮想３Ｄ体積画像の概略図を示す。いくつかの実施形態では、任意選択で、たとえば図３ｂに図示したように、カテーテルの先端部に配置された画像センサーからのデータを含む第５のチャネル３１０を追加してもよい。いくつかの実施形態では、画像は、たとえばＶＧＡ解像度（６４０ｘ４８０ピクセル）の２Ｄフレームであってもよい。いくつかの実施形態では、フレームは２Ｄであるが、位置特定画像は３Ｄであるため、後述するように、そのトレーニング及び予測においてＮＮによるカメラ画像の効果的な使用をもたらす賢明な位置において３Ｄ位置特定画像の内部の２Ｄフレームをレンダリングする方法を指定することが重要である。いくつかの実施形態では、各ピクセルの深さ（カメラセンサーからの各ピクセルの距離を意味する）は通常、不明であるため、それは、３Ｄカメラの位置（カテーテルの３Ｄ追跡により分かっている）から、そのピクセルによって（カメラセンサーの内部のそのｘ、ｙ位置に従って）決定される３Ｄ方向に延びる光線に沿った任意の点に配置され得る。いくつかの実施形態では、各２Ｄピクセルは、３Ｄカメラの位置から出発して、そのピクセルの３Ｄ方向に、カメラから前方の空間まで延びる完全な光線に沿った逆投影を使用してレンダリングされ、これは、たとえば図３ｂに例示したように、位置特定画像の境界と衝突するまで行われる。いくつかの実施形態では、深度チャネルがカメラ画像に対して利用可能である場合（たとえば、立体カメラを使用することによって、または３Ｄ再構成技術によって、またはＬｉＤＡＲによって、または任意の他の好適な方法によって）、深度値を使用して、各カメラピクセルを空間内のその正確な３Ｄ位置においてレンダリングし、その結果、完全な光線に沿って各ピクセルを逆投影するのではなく、３Ｄにおいてレンダリングされた２Ｄ表面が得られる。いくつかの実施形態では、３Ｄ位置特定画像の内部の画像センサーデータを組み合わせる潜在的な利点は、ＮａｖＮＮの性能を潜在的に改善できるることである。いくつかの実施形態では、ＮａｖＮＮモジュールは、画像内の管腔通路を（空間内のカテーテルの３Ｄ位置に対して）識別し、識別された管腔を使用することによってその出力駆動動作を改善するように構成される。いくつかの実施形態では、トレーニングと予測との間で一貫している限り、チャネルの順序はＮａｖＮＮにとっては重要ではないことに留意されたい。いくつかの実施形態では、任意選択で、位置特定画像には、上で列挙したチャネルと同様のまたは他の性質の他のナビゲーション機能を備えたさらなるチャネルが含まれる。いくつかの実施形態では、任意選択で、以前に実行したトレーニングプロセスの結果を使用して、出力を予測するときのＮａｖＮＮの成功へのその寄与に基づいて、入力チャネルのどのデータを使用するかを決定する。
【0121】
いくつかの実施形態では、ナビゲーションの駆動動作を決定するために、デジタル／仮想３Ｄ位置特定画像を、たとえば３Ｄ畳み込みニューラルネットワーク（３Ｄ ＣＮＮ）からなることができるＮａｖＮＮモジュール内に入力する。いくつかの実施形態では、ＮａｖＮＮモジュールは、たとえば、その出力層において複数のシグモイド活性化関数を使用して、各可能な駆動動作ごとに確率を出力するまで、位置特定画像を「深い」多層スキームにおいて処理する。いくつかの実施形態では、次いで、前述したように、高レベルモジュールが、次のナビゲーションの駆動動作に対する選択として、出力確率が最も高い駆動動作を選択し、自動モーターを使用して駆動動作を機械的に実行するか、または提案された駆動動作を医師に表示する。いくつかの実施形態では、高レベルモジュールは、ＮａｖＮＮモジュールの出力をフィルタリングし、及び／または改善し、及び／または精緻化してもよい。いくつかの実施形態では、たとえば、最大出力確率が残りよりもそれほど優れていない場合、高レベルモジュールは、何らかの有用なランダム性（探索）をシステムに導入するために、２つの比較できる出力の間でランダムに選択してもよい。いくつかの実施形態では、このランダム性の潜在的な利点は、システムが空間内の同じ点の周りを行き来し得るナビゲーションシステムの局所極値点を回避するのに潜在的に役立つことである。いくつかの実施形態では、代替的に、高レベルモジュールは、異なる駆動動作間の急速な移行を回避するために、出力確率に何らかのヒステリシスを強制し、それによって駆動プロセスを平滑化し得る。
【0122】
次に図４ａ～ｅを参照して、本発明のいくつかの実施形態による、手順中にリアルタイムで生成され、ＮａｖＮＮモジュールによって処理されるリアルタイム位置特定画像に基づく駆動動作の典型的なシーケンスの概略図を示す。いくつかの実施形態では、出力駆動動作は、自動モーターによって任意選択で実行される。図４ａ～ｅの説明では、カテーテルが受動的な「Ｊ」カテーテルであり、駆動システムが２アクションシステム、すなわちＲＯＬＬ及びＰＵＳＨであると仮定する。さらに、管腔構造は４０２としてマーキングされ、標的までの経路は４０４としてマーキングされ、カテーテルは４０６としてマーキングされている。図４ａは、カテーテル４０６が、経路の最後の球体によって示される標的４１０に通じていない気道４０８に向かって左を向いていることを示している。いくつかの実施形態では、ＮａｖＮＮモジュールは、位置特定画像を処理して、ＲＯＬＬ動作に対して最も高い確率を出力する。いくつかの実施形態では、高レベルモジュールは、カテーテルを回転させる電動動作を実行し、その結果、図４ｂに図示したようにカテーテルが得られる。いくつかの実施形態では、図４ｂに示したような位置特定画像が提示され、ＮａｖＮＮモジュールは次に、ＰＵＳＨ動作に対してその最も高い確率を出力し、その結果、図４ｃに示したような画像が得られる。いくつかの実施形態では、次いで、ＮａｖＮＮモジュールはＲＯＬＬを再び出力して、図４ｄに示したような画像に至り、カテーテルは標的を指す。いくつかの実施形態では、ＮａｖＮＮモジュールからのＰＵＳＨ出力によって示されるように、標的に向かって小さな左気道にカテーテルを押すことだけが残り、その結果、標的に到達する図４ｅに示したような最終状態になる。
【0123】
いくつかの実施形態では、ＮａｖＮＮモジュールは、リアルタイムのナビゲーション命令を生成する。いくつかの実施形態では、前述したように、３Ｄ位置特定画像は、重要なナビゲーション機能を含むマルチチャンネル体積画像である（ただし、前述したように、２Ｄビューであってもよい）。いくつかの実施形態では、特徴部のうちのいくつかは静的であると考えられ得るが（たとえば、セグメント化された管腔構造）、他は、手順中に急速に変化してもよく及び／または変化する可能性がある。たとえば、完全に追跡されたカテーテル位置はリアルタイムで急速に変化するため、それに応じて、３Ｄ位置特定画像を更新する必要がある。さらに、いくつかの実施形態では、セグメント化された管腔構造は静的であると考えられ得るが、動的な構造、たとえば、手順中に管腔構造の真の変形状態（または少なくとも管腔構造の仮想的に計算された変形状態）に近似するものを使用することが非常に好ましい。いくつかの実施形態では、手順中に、仮想のリアルタイム変形を追跡するかまたは仮想的に計算する（たとえば、骨格ベースのモデルを使用して、または以下に説明され、また国際特許出願Ｎ．ＰＣＴ／ＩＬ２０２１／０５１４７５においてさらに説明される変形ニューラルネットワークを使用して。なおこの文献の内容は参照により完全に本明細書に組み込まれている）。これにより、追跡された／仮想的に計算された変形に従って管腔構造が変更され、それに応じて位置特定画像が更新されて、管腔の仮想のリアルタイム変形状態が反映される。
【0124】
いくつかの実施形態では、既知の構造に基づいてリアルタイム３Ｄ体積画像を生成するために１つ以上の技術を使用する。いくつかの実施形態では、管腔構造及び標的までの経路は静的であり、一度生成してもよいが、完全に追跡されたカテーテルはライブであり、３Ｄラインラスタライゼーション技術を使用して静的な管腔マップ及び経路の上に描画される。すべて変形を無視したものである。いくつかの実施形態では、管腔構造及び標的までの経路は動的に変更して、管腔構造のリアルタイム変形状態に近づいてもよい。いくつかの実施形態では、このシナリオでは、これらの特徴部はリアルタイムで更新され、任意選択で、より大規模な計算技術が必要となる。いくつかの実施形態では、新規なアプローチは、３Ｄ位置特定画像をリアルタイムでレンダリングするためにＧＰＵを使用することである。いくつかの実施形態では、この設定では、３Ｄ位置特定画像を３Ｄレンダーターゲットとして結合し、ナビゲーション構造のそれぞれは、それを体積ピラミッドの組に分割することによってレンダリングする。いくつかの実施形態では、この新規な提案された設定では、平面三角形を使用する代わりに、管腔構造などの３Ｄ体積特徴部を、３Ｄピラミッドプリミティブを使用して体積的に「テッセレーション」する。いくつかの実施形態では、次いで、最適化されたＧＰＵアルゴリズムが、標準的な３Ｄ表面三角形の処理と同様の方法でピラミッドの組を処理し、それらを３Ｄレンダーターゲット上にラスタライズし、３Ｄ体積構造全体がボクセル内に描画されるまで、ピラミッドの内部のすべてのボクセルを本質的に充填する。いくつかの実施形態では、最新のＧＰＵハードウェアは、前述したような３Ｄレンダーターゲットへのピラミッドプリミティブのレンダリングをサポートしていないが、専用のＧＰＵプログラムを使用して、そうするように拡張することができる。これは、たとえば、ＮＶＩＤＩＡのＣＵＤＡ（Ｃｏｍｐｕｔｅ Ｕｎｉｆｉｅｄ Ｄｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ）またはＯｐｅｎＣＬ（Ｏｐｅｎ Ｃｏｍｐｕｔｉｎｇ Ｌａｎｇｕａｇｅ）を使用して、最適化されたＧＰＵの３Ｄラスタライゼーションアルゴリズムを実装することによって行う。いくつかの実施形態では、代替的に、ＡＳＩＣまたはＦＰＧＡで実装される専用のＧＰＵハードウェアを、３Ｄプリミティブをレンダリングするために使用することができる。いくつかの実施形態では、３Ｄレンダーターゲット上への３Ｄ体積プリミティブ（ピラミッド）のラスタライゼーションは、２Ｄレンダーターゲット上への３Ｄ表面プリミティブ（三角形）のレンダリングとして効率的に実行することができる。これは、たとえば、ＣＵＤＡ／ＯｐｅｎＣＬまたはＡＳＩＣ／ＦＰＧＡで実装することができるように、並列コンピューティング設定におけるバケットレンダリング技術を使用して行うことができる。いくつかの実施形態では、開発者は次いで、ＯｐｅｎＧＬ拡張機能またはＤｉｒｅｃｔＸを使用して、追加された機能にアクセスすることができる。たとえば、ＯｐｅｎＧＬを使用する場合、２Ｄフレームバッファを作成する代わりに、開発者は、ＧＬ＿ＴＥＸＴＵＲＥ＿３Ｄレンダーターゲット用の３Ｄフレームバッファを生成して結合することができ、タイプＧＬ＿ＴＲＩＡＮＧＬＥＳのプリミティブを描画する代わりに、開発者は、プリミティブごとに４つの頂点からなるタイプＧＬ＿ＰＹＲＡＭＩＤＳ（新しいＧＬｅｎｕｍタイプ）のプリミティブを描画する。ＤｉｒｅｃｔＸを使用する場合、開発者は、Ｄ３Ｄ１１＿ＢＩＮＤ＿ＲＥＮＤＥＲ＿ＴＡＲＧＥＴバインドフラッグを用いて３Ｄレンダーターゲットテクスチャを作成して結合することができ、トポロジＤ３Ｄ＿ＰＲＩＭＩＴＩＶＥ＿ＴＯＰＯＬＯＧＹ＿ＴＲＩＡＮＧＬＥＬＩＳＴのプリミティブを描画する代わりに、開発者は、プリミティブごとに４つの頂点からなるトポロジＤ３Ｄ＿ＰＲＩＭＩＴＩＶＥ＿ＴＯＰＯＬＯＧＹ＿ＰＹＲＡＭＩＤＬＩＳＴのプリミティブを描画する。
【0125】
次に図５を参照して、本発明のいくつかの実施形態による、３Ｄピラミッドプリミティブを使用したカテーテルの典型的な体積テッセレーションの概略図を示す。いくつかの実施形態では、３Ｄピラミッドテッセレーションを使用して３Ｄ構造（たとえば、管腔構造、標的までの経路及び完全に追跡されたカテーテル－図５に示す典型的なカテーテル）を表すことにより、それらをリアルタイムで移動及び変形させるための大きな柔軟性が得られ、したがって、変形を認識するＮａｖＮＮモジュール用のリアルタイムの３Ｄ複合位置特定画像を生成する複雑さが減る。いくつかの実施形態では、位置特定画像を更新するためには、ナビゲーション機能を構成する頂点を更新することのみが必要であり、たとえば、カテーテルの頂点は、追跡システムによって報告される完全に追跡されたカテーテル位置に従って更新される。管腔構造及び標的までの経路は、元の管腔セグメント化または骨格へのそれらの関連付けに従ってそれらの頂点を更新することにより、リアルタイム変形追跡システムに従って潜在的に更新される。
【0126】
前述した方法は、一般的に用いるために３Ｄニューラルネットワークによって処理すべき、専用のＧＰＵプログラムまたはＡＳＩＣ／ＦＰＧＡを使用してリアルタイム３Ｄ複合データを生成するための一般的方法と見なせることに留意されたい。たとえば、いくつかの実施形態では、本方法は、自律運転のためまたは潜在的な自動車事故のリアルタイム予測のために、道路上を走行する自動車のリアルタイムの複合体積画像をレンダリングするために使用することができる。別の例として、本方法は、複数のセンサーによって追跡され得る人間の手及び指を、３Ｄ体積画像にリアルタイムでレンダリングするために使用することができる。次いで、３Ｄ合成画像は、リアルタイムのジェスチャ認識または任意の他の好適な用途のために、ＮＮによって処理することができる。
【0127】
いくつかの実施形態では、ＮａｖＮＮモジュールは、いくつかの教師あり及び教師なし方法を使用してトレーニングする。いくつかの実施形態では、教師ありの場合、現実的なナビゲーションシミュレータモジュールを利用する。いくつかの実施形態では、モジュールは、有限要素法を使用してカテーテルをモデル化してもよく、位置ベースのダイナミクスを使用して、カテーテルの物理をシミュレートし、カテーテルと管腔構造との間の衝突を処理してもよい。いくつかの実施形態では、管腔構造は、その骨格モデルを使用して、またはＣＴスキャン（またはＭＲＩスキャン、または血管造影図など）からセグメント化されたようなその生のセグメント化体積を使用して、表してもよい。いくつかの実施形態では、距離変換を、セグメント化された管腔容積に適用してもよく、３Ｄ空間内に管腔構造の３Ｄ勾配場を作り出すために処理することができ、シミュレートしたカテーテルと管腔構造との間の衝突検出が簡素化される。いくつかの実施形態では、カテーテル先端部及び／または曲線を、たとえば、実際のナビゲーション気管支鏡検査手順において実行されるように、ナビゲーションビューを使用して管腔構造の内部に示すことができる。いくつかの実施形態では、次いで、操作者は、キーボード、遠隔制御装置、または管腔構造の内部の任意の好適な方法を使用して、シミュレートしたカテーテルを任意に選択した標的に向かってナビゲートしてもよい。いくつかの実施形態では、次いで、シミュレートしたナビゲーションの記録を収集してもよい。いくつかの実施形態では、各タイムスタンプにおいて、管腔構造の内部の完全なカテーテルのシミュレートした状態は、シミュレータによって完全に知られる。いくつかの実施形態では、シミュレータモジュールは、既知のシミュレートした状態に基づいて、管腔構造の内部のカテーテルの前述した位置特定画像を、標的までの経路とともに生成してもよい。いくつかの実施形態では、カメラチャネルが含まれるべき場合には、仮想カメラ画像を、レイトレーシング技術を使用してレンダリングすることができ、これは、特定のカメラ仕様に対する実際のカメラ画像に似ている（たとえば、仮想気管支鏡検査において実行されるように）。いくつかの実施形態では、カメラ画像を、深度情報のない２Ｄフレームとして使用してもよいし、または深度チャネルを含めてもよく、シミュレータによって計算することができる。いくつかの実施形態では、位置特定画像を、次いで、操作者の駆動命令と関係付けてもよい。したがって、いくつかの実施形態では、操作者の命令は、時間内に生成された各位置特定画像ごとのＮａｖＮＮモジュールに対するラベルと考えられる。いくつかの実施形態では、複数の収集された位置特定画像は、それらの教師ありラベル（操作者の命令）とともに、次いで、ＮａｖＮＮモジュールに対する教師ありトレーニングプロセスにおいて使用される。いくつかの実施形態では、トレーニングプロセスの結果として、ＮａｖＮＮモジュールは操作者の命令を模倣しようとする。いくつかの実施形態では、最悪のシナリオの場合、システムは「平均的な」操作者の決定を模倣するだけであり、最良のシナリオの場合、システムは操作者の命令に加えてさらなる一般化を提供する。いくつかの実施形態では、シミュレータモジュールを複数の操作者に与えてもよく、各操作者は、複数の患者のシミュレートした管腔構造の内部の複数の異なる標的にナビゲートしてもよい。いくつかの実施形態では、このプロセス中に、大量のラベル付けしたサンプルをＮａｖＮＮ結節のトレーニング用に生成し、これにより、トレーニングは、よりロバストでエラー耐性が高くなる。
【0128】
いくつかの実施形態では、シミュレータモジュールを使用する代わりに、ラベル付けしたトレーニングサンプルは、実際の患者及び／または機械的なシミュレートしたモデル、たとえば、管腔構造のプラスチックまたはシリコンモデル、及び／またはたとえば保存された肺（真空チャンバ内で膨張した）に対して実行した実際のナビゲーション手順から収集してもよい。いくつかの実施形態では、ナビゲーション手順は、操作者が遠隔制御を用いてシステムを駆動し、駆動メカニズムに命令を出して、いくつかの可能な駆動動作（たとえば、ＰＵＳＨ／ＰＵＬＬ、ＲＯＬＬ、ＤＥＦＬＥＣＴ）のうちのいずれかを実行させるという意味で、「ロボット的」であってもよい。いくつかの実施形態では、ロボットの場合、ラベル付けしたトレーニングサンプルを、リアルタイムで生成された各位置特定画像を操作者のロボット命令（たとえばＰＵＳＨ／ＲＯＬＬ／ＤＥＦＬＥＣＴ）と関連付けることによって収集する。いくつかの実施形態では、実際のナビゲーション手順からのデータを使用する潜在的な利点は、カテーテルの物理が現実的であるということである。一方で、シミュレートした場合には、カテーテルの物理は現実の近似でしかない。いくつかの実施形態では、ラベル付けした位置特定画像を、多くの患者に対して異なるシステムを使用して実行した複数の手順から収集してもよい。いくつかの実施形態では、データ収集は通常の手順を妨げない。なぜなら、それはバックグラウンドで実行され、手順の後処理段階においてオフラインで実行してもよいからである。いくつかの実施形態では、手順ソフトウェアは、経時的にシステムのデータ及び状態（たとえば、完全なカテーテル位置、選択した標的、管腔構造の変形状態、カメラビデオ、及びロボット駆動動作）のみを記録してもよい。いくつかの実施形態では、後処理段階は、次いで、記録したシステム状態に基づいて対応する位置特定画像を生成し、それらに、同じタイムスタンプの記録したロボット駆動動作を用いてラベル付けする。いくつかの実施形態では、ラベル付けした位置特定画像を、次いで、ローカルネットワークまたはインターネットを介して専用サーバに送り返すこともできるし、または現場技師によって手動で収集することもできる。いくつかの実施形態では、収集したデータを、最初からトレーニングするためか、またはＮａｖＮＮモジュールのトレーニングを改善するために使用する。いくつかの実施形態では、ＮａｖＮＮモジュールは、次いで、複数の医師の駆動動作及びナビゲーションの決定を模倣し、これにより、ＮａｖＮＮモジュールを、最も熟練した医師と同等またはそれより優れたものに潜在的にすることができる。
【0129】
いくつかの実施形態では、ナビゲーション手順が全手動または半手動である場合（すなわち、カテーテルが手持ち式で、完全な駆動システムの助けを借りずに医師によって手動で操作される場合）、カテーテルの手動操作に基づいて位置特定画像にラベル付けすることはより困難であり得る。いくつかの実施形態では、手動操作の場合、カテーテルの操作は、ロボットシステムの場合のようにいくつかの駆動動作の組からの選択として明確ではなく、むしろ医師の手、手首、及び腕操作の結果である。いくつかの実施形態では、この場合、ラベルは、各手動操作を前述したような限定された駆動動作の組に分類することによって、各位置特定画像に依然として関連付けることができる。たとえば、完全に追跡されたカテーテルの最も近位の追跡されたセンサー（カテーテルのハンドルに最も近いもの）を使用して、瞬間的なハンドル操作を分類してもよい。なぜなら、それは、カテーテルのハンドルに対して実行された動作を最も効率的に反映するからである（ロボットが実行したであろう）。一例として、医師がカテーテルを管腔構造内に前方に押した場合、最も近位の追跡されたセンサーが前方に押される可能性が最も高く、したがって、瞬間的な操作は、ＰＵＳＨ動作として分類される。反対に、最も遠位のカテーテルセンサー（カテーテルの先端部にある）は、たとえば摩擦力により、全く移かない場合がある。これは、カテーテルの近位部分が、手動のハンドル操作の性質を識別する際に非常に好ましい理由を示している。別の例として、医師がハンドルを回転させた場合、近位のセンサーがカテーテルのハンドルに従って回転する可能性が最も高く、瞬間的な操作はＲＯＬＬ動作であると識別されるが、遠位のセンサーは、再び所定の位置に留まる場合がある。いくつかの実施形態では、カテーテルハンドルは、ハンドル内の専用センサー（たとえば、６ＤＯＦの追跡されたセンサー、ＩＭＵセンサー（加速度計、ジャイロスコープ、磁力計、または任意の組み合わせ）、または任意の他の好適なセンサー）を使用して追跡してもよい。いくつかの実施形態では、単一または多関節の偏向可能なカテーテルの場合、カテーテルの偏向を検出し、ＮａｖＮＮモジュールに対して適切なラベル付けを提供するために、遠位のセンサーを使用してもよい。いくつかの実施形態では、代替的に、カテーテルの先端部の偏向は、カテーテルハンドルの内部の操縦ワイヤを押して引くことによって実行されるため、特別なセンサーをハンドル内に配置して、操縦ワイヤの状態を追跡し、ＮａｖＮＮモジュールに対するＤＥＦＬＥＣＴ動作を検出することができる。したがって、いくつかの実施形態では、実際のナビゲーション手順において手動操作したカテーテルの記録を収集し、それらに後処理段階においてラベル付けすることが可能である。これは、カテーテルハンドルの各瞬間的な操作を、たとえば、カテーテルの最も近位の追跡部分を使用して、ＮａｖＮＮモジュールトレーニングによって要求されるように、限定された駆動動作の組に分類することによって行う。
【0130】
いくつかの実施形態では、前述の教師ありトレーニング方法を使用する代わりに、ソフトウェアシミュレータを、強化学習を使用した教師なし学習に対して使用してもよい。いくつかの実施形態では、この場合、ＮａｖＮＮモジュールは、シミュレートしたカテーテルを完全制御し、その目標は、ランダムな患者シミュレーションにおいてランダムに選択した目的地の標的までカテーテルを駆動することである。いくつかの実施形態では、ＮａｖＮＮモジュールは、標的に向かう経路で顕著な前進を行うたびに報酬が与えられ、効果的でない動きをした場合には罰せられる。いくつかの実施形態では、トレーニングの目標は、ＮａｖＮＮモジュールの総報酬を最大にすることである。いくつかの実施形態では、このような教師なし学習の潜在的な利点は、ＮａｖＮＮモジュールを、人間操作者を必要とせずに、異なる患者及び標的の何千ものシミュレーションにわたって並行してトレーニングできることである。
【0131】
いくつかの実施形態では、システムには、ナビゲーションに対するレベルのランダム性または「探索」を可能にする専用のコマンド（命令）が提供される。いくつかの実施形態では、システムにこのような明らかな自由を提供する潜在的な利点は、局所的な確率の極値点につかまるリスクを潜在的に回避することである。この極値点は、たとえば、ＮａｖＮＮモジュールが、同じ解剖学的点の周りで、ＰＵＳＨ／ＰＵＬＬ動作を前後に延々と出力することであり、これは、３Ｄ ＣＮＮなどのステートレスニューラルネットワーク（すなわち、「メモリ」がないもの）を、単一の位置特定画像入力上で使用する場合、ＮａｖＮＮモジュールが脱出できないナビゲーションの「行き止まり」につながる。いくつかの実施形態では、この特定のレベルのランダム性（または「探索」）は、たとえば、高レベルの動作モジュールによってナビゲーション内に導入してもよい。いくつかの実施形態では、高レベルの動作モジュールは、ＮａｖＮＮモジュールから出力される動作よりも、特定の確率でのランダムな駆動動作を好んでもよい。いくつかの実施形態では、高レベルの動作モジュールはまた、「ループ」（ＮａｖＮＮモジュールが局所的な確率の極値点の周りで振動する状況）を検出し、ランダム探索を強制することによってＮａｖＮＮモジュールをループから追い出してもい。たとえば、高レベルモジュールは、駆動メカニズムに毎秒１００ｍｓのＲＯＬＬ動作を強制的に実行させてもよい。いくつかの実施形態では、この動作は、ナビゲーションプロセスにとって無害であり、ＮａｖＮＮモジュールが局所極値点に陥った場合に、そこから脱出できるようにし得る。
【0132】
いくつかの実施形態では、ＮａｖＮＮモジュールは、以前に記録したカテーテルの状態を利用する。この場合、ＮａｖＮＮモジュールはもはや、完全に「瞬間的」ではない。その代わりに、いくつかの実施形態では、ＮａｖＮＮモジュールベースの出力は、現在の位置特定画像入力だけではなく、履歴に基づく。したがって、いくつかの実施形態では、ＮａｖＮＮモジュールを、ランダムにシャッフルされた単一の位置特定画像に対してトレーニングする代わりに、位置特定画像の時間系列に対してトレーニングする。いくつかの実施形態では、ＮａｖＮＮモジュールは、次いで、以前の予測の出力状態とともに、前と同様に位置特定画像が入力され、更新された状態を次の予測のために出力する。いくつかの実施形態では、ＮａｖＮＮモジュールは、メモリとして、ＮａｖＮＮモジュールが、それが特定の操作をすでに試みたことを「記憶」し、成功しなかったことを「確認する」ことを可能にするメモリを備えており、したがって、同じ操作を繰り返して試みるのではなく、異なる技術を試みることによってループを回避する。いくつかの実施形態では、より一般的な設定において、ＮａｖＮＮモジュールには、過去の位置特定画像の短いシーケンス（たとえば、３０の最後のフレームを含む）と、それらの出力動作とともに現在の出力動作が入力され、したがって、その出力は、専用の状態ベクトルを使用せずに履歴に基づいて行われる。いくつかの実施形態では、ＮａｖＮＮモジュールは、過去の位置特定画像の短いシーケンスにわたる３Ｄ ＣＮＮを使用して、または状態ベクトルを有する３Ｄ回帰型ニューラルネットワーク（３Ｄ ＲＮＮ）を使用して、またはメモリの有無にかかわらず任意の他の好適な方法によって実装してもよい。
【0133】
次に図６ａ～ｂを参照して、本発明のいくつかの実施形態による、異なるオブジェクトに従って中心が決まる典型的な３Ｄ位置特定画像の概略図を示す。いくつかの実施形態では、ＮａｖＮＮモジュールには、カテーテルがこの画像の内部のどこに配置されているか、またはどの方向をカテーテルが向いているかを知らされずに、画像（位置特定画像）が与えられるため、ＮａｖＮＮモジュールは、次いで、画像の内部のカテーテルを探すことを強制される場合があるが、これは無駄な労力である。なぜなら、カテーテルの完全な位置に関する情報は、高レベルモジュールにすでに知られているからである。いくつかの実施形態では、ＮａｖＮＮモジュールのタスクは、たとえば、図６ａに示すように、カテーテルの先端部を中心６０２に置き、画像のｘ軸がカテーテルの先端部方向と位置合わせされている入力画像をそれに提供することによって、「緩和」される。いくつかの実施形態では、次いで、ＮａｖＮＮモジュールは、カテーテルが常に画像の中心に配置され、ｘ軸の方を向いていることを学習し、ナビゲーション機能の残りに焦点を当てて、最適な駆動動作を決定することができる。いくつかの実施形態では、位置特定画像を、たとえば図６ｂに示すように、中心６０４に置き、カテーテルの先端部に対して標的までの経路に沿った最接近点に従って配向してもよい。いくつかの実施形態では、それを、画像のｘ軸が標的までの経路方向と位置合わせされ、画像のｚ軸が次の分岐点の法線ベクトルと、または直前の分岐点と次の分岐点との間の補間法線ベクトルと位置合わせされ得るように、配向してもよい。このシナリオでは、位置特定画像は、カテーテルの先端部の操作にかかわらず、標的までの経路に沿ってかなり安定した中心及び方向を維持する。なぜなら、それは、もはやカテーテルの先端部に拘束されず、代わりに標的までの経路に結び付けられるからである。いくつかの実施形態では、位置特定画像を中心に位置決めして配向するためのいくつかの他のオプションを使用することができ、このオプションは、前述したオプションの組み合わせであってもよい。たとえば、位置特定画像は、カテーテルの先端部に中心がくるが、標的までの経路に従って配向してもよいし、またはその逆でもよい。いくつかの実施形態では、さらに、位置特定画像のサイズを拡大または縮小することができ、解像度も同様に変更することができる。いくつかの実施形態では、とりわけ任意のそのような構成は、ＮａｖＮＮモジュールにおけるトレーニング及び予測に使用することができる。
【0134】
典型的な変形ニューラルネットワーク（ＤｅｆｏｒｍＮＮ）モジュール
次に図７ａ～ｂを参照して、本発明のいくつかの実施形態による、典型的な非変形及び変形の位置特定画像の概略図を示す。いくつかの実施形態では、前述したように、装置の正確なリアルタイム位置特定画像をＮａｖＮＮモジュールに提供して、より良好な駆動動作を潜在的に生成する。いくつかの実施形態では、位置特定画像には、管腔マップに加えて、別個のチャネルにおいて、管腔構造の上にある完全に追跡されたカテーテルが含まれる。いくつかの実施形態では、より多くの情報を提供して、ＤｅｆｏｒｍＮＮの精度を高めるために、位置特定画像には、さらなる追跡されたカテーテルのさらなるチャネルが含まれる。いくつかの実施形態では、ＮａｖＮＮモジュールの精度を高めるため、及び／またはカテーテルを解剖学的構造の内部のその正しい位置に配置できるように、変形入力をＮａｖＮＮモジュールに提供する。変形入力には、実際の器官変形に対するリアルタイムベースの情報に関する情報が含まれ、これは、位置特定画像内に示すように管腔構造内の変形に変換される。いくつかの実施形態では、これは、管腔構造の骨格モデルを配置することによって達成され、最適化方法を使用して完全に追跡されたカテーテルに基づいて器官変形を見つけるために使用される。これについては、国際特許出願第ＰＣＴ／ＩＬ２０２１／０５１４７５号においてもさらに説明されている。この文献の内容は参照により完全に本明細書に組み込まれている。いくつかの実施形態では、たとえば図７ａに示すように、非変形の管腔構造（いかなる変形補償も有しないもの）を用いて、非変形の画像を構築してもよい。図７ａでは、カテーテルは、管腔の境界を交差７０２するように見え得る。いくつかの実施形態では、ＮａｖＮＮモジュールに非変形の位置特定画像を供給するマイナス面は、管腔の内部のカテーテルの正確な画像が提供されないため、ＮａｖＮＮモジュールの性能が潜在的に低下することである。いくつかの実施形態では、変形追跡アルゴリズムは、実際でもそうであるように、カテーテルが許容可能なチューブの内部に現れるように、管腔構造に対するカテーテルの位置の調整、またはその逆のいずれかを提供する。いくつかの実施形態では、骨格モデルベースの変形追跡アルゴリズムにおいて、管腔構造は、特定の半径の分岐及び接続する分岐点を有する骨格としてモデル化される。いくつかの実施形態では、骨格は、課された器官形状制約の下でカテーテルを管腔の内部に戻すために、特定の変形モデルに従って変形される。
次に図７ａ～ｂを参照して、本発明のいくつかの実施形態による、典型的な非変形及び変形の位置特定画像の概略図を示す。いくつかの実施形態では、前述したように、装置の正確なリアルタイム位置特定画像をＮａｖＮＮモジュールに提供して、より良好な駆動動作を潜在的に生成する。いくつかの実施形態では、位置特定画像には、管腔マップに加えて、別個のチャネルにおいて、管腔構造の上にある完全に追跡されたカテーテルが含まれる。いくつかの実施形態では、より多くの情報を提供して、ＤｅｆｏｒｍＮＮの精度を高めるために、位置特定画像には、さらなる追跡されたカテーテルのさらなるチャネルが含まれる。いくつかの実施形態では、ＮａｖＮＮモジュールの精度を高めるため、及び／またはカテーテルを解剖学的構造の内部のその正しい位置に配置できるように、変形入力をＮａｖＮＮモジュールに提供する。変形入力には、実際の器官変形に対するリアルタイムベースの情報に関する情報が含まれ、これは、位置特定画像内に示すように管腔構造内の変形に変換される。いくつかの実施形態では、これは、管腔構造の骨格モデルを配置することによって達成され、最適化方法を使用して完全に追跡されたカテーテルに基づいて器官変形を見つけるために使用される。これについては、国際特許出願第ＰＣＴ／ＩＬ２０２１／０５１４７５号においてもさらに説明されている。この文献の内容は参照により完全に本明細書に組み込まれている。いくつかの実施形態では、たとえば図７ａに示すように、非変形の管腔構造（いかなる変形補償も有しないもの）を用いて、非変形の画像を構築してもよい。図７ａでは、カテーテルは、管腔の境界を交差７０２するように見え得る。いくつかの実施形態では、ＮａｖＮＮモジュールに非変形の位置特定画像を供給するマイナス面は、管腔の内部のカテーテルの正確な画像が提供されないため、ＮａｖＮＮモジュールの性能が潜在的に低下することである。いくつかの実施形態では、変形追跡アルゴリズムは、実際でもそうであるように、カテーテルが許容可能なチューブの内部に現れるように、管腔構造に対するカテーテルの位置の調整、またはその逆のいずれかを提供する。いくつかの実施形態では、骨格モデルベースの変形追跡アルゴリズムにおいて、管腔構造は、特定の半径の分岐及び接続する分岐点を有する骨格としてモデル化される。いくつかの実施形態では、骨格は、課された器官形状制約の下でカテーテルを管腔の内部に戻すために、特定の変形モデルに従って変形される。
【0135】
いくつかの実施形態では、ＡＩ統計アプローチに基づいて管腔変形を見つけるための新しい方法を提案する。いくつかの実施形態では、骨格モデルを用いて管腔構造を明示的にモデル化し、最適化方法に基づいて変形を見つける代わりに、ニューラルネットワークを使用して変形が暗黙のうちに解決されるＡＩアプローチに従う。いくつかの実施形態では、ＮａｖＮＮモジュールと同様に、ＤｅｆｏｒｍＮＮモジュールに、前述したように、同じサイズ及び／または中心を配置し及び／または配向することができる位置特定画像を入力する。しかし、いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールには、必ずしもその入力チャネルの１つとして標的までの経路を入力するわけでない。なぜなら、この情報は、標的へのナビゲートにはより関連しているが、管腔変形を見つけることにはそれほど関連していないからである。いくつかの実施形態では、加えて、ＮａｖＮＮモジュールには好ましくは、変形された位置特定画像（変形補償を有する）を入力するが、たとえば図７ａに示すように、ＤｅｆｏｒｍＮＮモジュールへの入力は、非変形の位置特定画像である。いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールに入力する位置特定画像は、たとえば図３ｂに示すように、カメラチャネルをさらに含むことができる。いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールは、管腔構造の最も可能性が高い変形を決定するためにカメラチャネルを利用する。たとえば、たとえば図７ａに示すように、管腔構造が変形している場合、カメラ画像は、視覚的な分岐点に対してカテーテルの先端部を位置特定するため、たとえば、解剖学的構造の内部の正しいカテーテル位置を教示し得る。いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールは、変形した管腔構造内でのカテーテルの正しい解剖学的位置をより良好に見つけるために、これらの特徴部を使用することを学習してもよい。いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールは、たとえば図７ｂに示すように、非変形の位置特定画像（管腔構造及びカテーテル位置）を取得し、それを同じサイズの正確な変形された位置特定画像に変換することを担う。いくつかの実施形態では、これは、たとえば、３ＤＵ－Ｎｅｔニューラルネットワークアーキテクチャを使用して達成することができる。いくつかの実施形態では、出力された変形された位置特定画像を、次いで、さらなるチャネル（適用された変形を伴う標的までの経路）によってリギングすることができ、ＮａｖＮＮモジュールに入力して、より信頼性の高い駆動動作を生成し、カテーテルを標的に向けて正確に導くことができる。いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールの出力を、管腔変形を反映するように２Ｄ／３Ｄシステムビューを補正するために、表示のために使用してもよい。これについては、以下でさらに説明し、たとえば図８のフローチャートに示す。
【0136】
次に図８を参照して、本発明のいくつかの実施形態により、管腔変形を反映するように正しい２Ｄ／３Ｄシステムビューを表示する典型的な方法のフローチャートを示す。いくつかの実施形態では、システムは、非変形の位置特定画像８０２を生成する。用語「非変形の位置特定画像」は、画像が、潜在的及び／または推定された及び／または計算された変形（カテーテルの動き、または患者の動きなどのいずれかによる）に対して変更及び／または補償されていない位置特定画像を指す。いくつかの実施形態では、次いで、システムは、ＤｅｆｏｒｍＮＮモジュール８０４を使用して、変形された位置特定画像を生成する。用語「変形された位置特定画像」は、画像が、潜在的及び／または推定された及び／または計算された変形（カテーテルの動き、または患者の動きなどのいずれかによる）に対して変更及び／または補償されている位置特定画像を指す。いくつかの実施形態では、システムビューを、新たに生成された変形された位置特定画像により更新する（８０６）。いくつかの実施形態では、次いで、新たに生成された変形された位置特定画像をＮａｖＮＮモジュール内に供給する（８０８）。いくつかの実施形態では、次いで、ＮａｖＮＮモジュールは、システムによって実行される必要な駆動動作を提供する（８１０）。
【0137】
いくつかの実施形態では、非変形の位置特定画像入力の変形バージョンを出力する代わりに、ＤｅｆｏｒｍＮＮモジュールは、入力位置特定画像の場合と同様に、入力カテーテルが管腔内のその正しい位置にあることを示す１つ以上の確率を出力するだけでよい。このシナリオでは、高レベルの最適化（たとえば、骨格モデルに基づくもの）を使用し、骨格アプローチに基づく変形追跡アルゴリズムの場合と同様に、管腔の変形を検索する。いくつかの実施形態では、単一の確率を出力するとき、より標準的なエネルギー関数（たとえば、分岐点角度制約などをエンコードするもの）のエネルギー最小化に基づいて最適化を行う代わりに、最適化を、ＤｅｆｏｒｍＮＮモジュールの出力確率を最大にするように実行する。変形状態を、それが、ＤｅｆｏｒｍＮＮモジュールによって出力される正しいものである確率が最大になるように検索する。いくつかの実施形態では、ＤｅｆｏｒｍＮＮは、次いで、提案された変形を評価するための指標として機能するが、変形自体は、任意の好適な変形モデルを使用する最適化アルゴリズムにおいて外部で実行される。
【0138】
いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールは、前述したように、完全に変形された位置特定画像におけるカテーテルの位置を出力するようにデザイン及びトレーニングしてもよい。いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールは、非変形の管腔構造上の入力カテーテル位置を取得して、それを非変形の管腔構造の内部のその出力（管腔構造が変形していなかったら、レンダリングされていたであろう場所）上でレンダリングする。いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールは、修正されたカテーテル位置をレンダリングする単一チャネルを出力する。これは、ＤｅｆｏｒｍＮＮモジュールが管腔構造を非変形状態から変形状態に修正するがカテーテルは無傷のまま残される図７ａ～ｂに示したものとは異なる。この場合は、高レベルモジュールは、出力画像内でカテーテルを見つけ、その当初位置における入力カテーテルと、ＤｅｆｏｒｍＮＮモジュールによって出力される解剖学的構造の内部のその変形した位置における出力カテーテルとの間で一致させ得る。いくつかの実施形態では、カテーテルの一致は、両方の３Ｄ画像においてカテーテルの先端部を見つけてカテーテルの長さに沿って登ることによって、または任意の他の好適な方法によって、達成することができる。いくつかの実施形態では、変形前後のカテーテルの位置はそれぞれ、以下の曲線関数を使用して表すことができる。
【数1】
【0139】
いくつかの実施形態では、次いで、変形差の組を、以下を使用して計算することができる。
Δγ＝γ０－γ１
Δγ＝γ０－γ１
【0140】
いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールが解剖学的構造の内部のカテーテルの位置を見つけるので、γ１（σ）が管腔構造の内部に存在することを安全に仮定することができる。いくつかの実施形態では、非変形の管腔構造に沿った各３Ｄ位置γ１（σ）を、次いで、その変形した位置γ０（σ）に、表示または他の計算アルゴリズム用の任意の好適な骨格モデルを使用して、更新することができる。いくつかの実施形態では、変形前後のカテーテル位置（ＤｅｆｏｒｍＮＮモジュールによって出力される）を一致させることによって、管腔構造の変形が間接的に明らかになる。
【0141】
いくつかの実施形態では、代替的に、より直接的なアプローチにおいて、ＤｅｆｏｒｍＮＮモジュールを、カテーテル位置に基づいて変形管腔構造を出力し、カテーテルを無傷のまま残すようにデザイン及びトレーニングしてもよい。この場合、出力画像は入力管腔構造の変形バージョンであり、表示または他の計算アルゴリズムに使用することができる。たとえば、出力管腔構造は、３Ｄ画像位置合わせ技術を使用するか、または入力構造及び出力構造のそれぞれの骨格を使用することによって、入力管腔構造に一致させることができる。いくつかの実施形態では、入力構造と出力構造との間で一致させることによって、変形ベクトルを入力構造及び出力構造の内部の各共有点に対して計算することができる。いくつかの実施形態では、次いで、変形ベクトルを管腔構造の骨格モデルに適用して、ＤｅｆｏｒｍＮＮモジュールによってリアルタイムで解決されるその変形状態を追跡させることができる。
【0142】
次に図９ａ－ｄを参照して、本発明のいくつかの実施形態による、ＤｅｆｏｒｍＮＮモジュールによって実行される典型的な動作の概略図を示す。いくつかの実施形態では、たとえば図９ａに示すように、高い対称性または重大な事前登録システムエラーにより、カテーテルが一方の管腔９０２の内部にあるのかまたは他の管腔９０２の内部にあるのかを判定することが難しい場合、ＤｅｆｏｒｍＮＮモジュールは、カテーテルを解剖学的構造の内部のその修正された位置においてレンダリングするようにデザインされている場合には、たとえば図９ｂに示すように、類似または異なる強度（確率）を有する２つの可能な仮想カテーテル９０４、９０６を出力することを選択してもよい。いくつかの実施形態では、これは、ＤｅｆｏｒｍＮＮモジュールが正しい変形を確信していないことを示し、各出力カテーテルの強度は、特定の位置に対するＡＩの信頼度を反映する。この場合、高レベルモジュールは、出力強度に基づいてまたは他の高レベルの考慮事項に基づいて、出力カテーテル曲線のうちの１つを選択してもよい。たとえば、高レベルモジュールは、システムによってすでに提示されているカテーテルに近い方のカテーテルを表示することを選択してもよく、これによって、異なるカテーテル仮説間の「ジャンプ」が防止される（特に出力強度が類似している場合）。いくつかの実施形態では、代替的に、分割したカテーテルをユーザに表示して、解剖学的構造の内部の実際のカテーテル位置をシステムが確信していないことを反映してもよい。このビューでは、操作者には、管腔構造の内部の２つ以上の仮想カテーテルが提示され、それぞれ、ＡＩによるその出力強度に対応する異なる強度または不透明度を伴って表示される。いくつかの実施形態では、ユーザは、「情報提供」の目的のみでこの情報を有することができる。いくつかの実施形態では、ユーザはこの情報を使用して、システムにどの方向を取るべきかを伝えることができる。いくつかの実施形態では、曖昧さが解消されたら、たとえば図９ｃに示すように、カテーテル９０８を標的に向かってさらに先に前進させて、その曲線がより明確な形状になった後で、解剖学的構造の内部の実際のカテーテル位置についてＤｅｆｏｒｍＮＮモジュールに教示され、たとえば図９ｄに示すように、分割したカテーテルの出力強度は自然に減少し９１０、ＤｅｆｏｒｍＮＮモジュールは、その出力において単一の強いカテーテル強度９１２を出力する。したがって、いくつかの実施形態では、曖昧さが解消されると他のすべての仮想カテーテルの不透明度が減少するため、システムビューは最終的に、解剖学的構造の内部の解明された位置にある単一の強力なカテーテルを示す。いくつかの実施形態では、代替的なビューでは、ＤｅｆｏｒｍＮＮモジュールが複数のカテーテル仮説を出力した場合、システムは、（ＤｅｆｏｒｍＮＮモジュールによって出力される）分割を始める点までのみカテーテルを示すことを選択してもよい。いくつかの実施形態では、次いで、カテーテルの残り（すなわち、左右の分割）を「赤色」または透明でレンダリングして、システムがカテーテルのこの部分の位置について確信していないことをユーザに示してもよい。いくつかの実施形態では、別の代替案ビューでは、カテーテルの曖昧さにより、画面がたとえば左右の画面に分割され、それぞれ解剖学的構造の内部のカテーテルの異なる仮想位置を表示してもよい。いくつかの実施形態では、曖昧さが解消されたら、「勝利」した半分が全画面ビュー内に成長して、残りの半分をビューから押し出す。いくつかの実施形態では、ＮａｖＮＮモジュールは、複数のカテーテル仮説（可能性として、異なる強度を有する）を含む位置特定画像を提示することができ、これらの曖昧な条件下であっても依然としてナビゲーションを継続できるようにトレーニングすることができる。たとえば、ＮａｖＮＮモジュールがメモリを使用している場合、それは、最終的なカテーテル位置に導く特定の駆動動作を試みることができる。いくつかの実施形態では、次いで、ＮａｖＮＮモジュールは、最終的なカテーテル位置が標的に向かって前進しているか否かを「確認」してもよい。そうでない場合、それは、最終的な最終カテーテル位置が標的に向かって進むように、カテーテルを引き戻して、異なる駆動動作を試みることを選択してもよい（そのメモリまたは状態ベクトルにエンコードされているように、第１の駆動動作をすでに試みているため）。
【0143】
いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールのトレーニングは、非変形の入力位置特定画像と変形された出力位置特定画像とのペアを提示することによって実行する。いくつかの実施形態では、これらの画像は、ＮａｖＮＮモジュールのトレーニングプロセスに対して前述したように、現実的なシミュレータモジュールを使用することによって収集することができる。このシナリオでは、カテーテルの正確なシミュレートした位置が、シミュレーションには知られている。いくつかの実施形態では、管腔構造の内部のシミュレーションにおけるカテーテルの真の位置を使用して、ＤｅｆｏｒｍＮＮモジュールに対する出力位置特定画像を生成する。この画像では、カテーテルは、ＤｅｆｏｒｍＮＮモジュールによって出力されるはずの、解剖学的構造の内部のその真の位置に正確に配置される。いくつかの実施形態では、入力画像を作成するために、何らかの変形モデルを管腔構造に適用する。たとえば、構造は、標準多項式またはスプライン技術に基づいて、または実際の器官の解剖学的変形を模倣するより複雑な技術を使用して（たとえば、種々の組織及び構造の物理的測定に基づき得る有限要素法及び／または有限体積の物理シミュレーションを使用して）、ランダムに変形することができる。いくつかの実施形態では、変形を管腔構造にのみ適用し、カテーテルには適用しないため、結果は、カテーテルが管腔境界と交差するように見え得る「非変形の」位置特定画像（変形補償を有さないもの）となる。いくつかの実施形態では、これにより、ＤｅｆｏｒｍＮＮモジュールのトレーニングに使用できる画像ペアが作成される。いくつかの実施形態では、ＮａｖＮＮモジュールと同様に、シミュレーションからデータを収集することは、ＡＩモデルのトレーニングを成功させるために重要である、多くの患者、管腔構造の内部の標的及び異なるカテーテル姿勢に関する大規模な組のトレーニングサンプルを形成する可能性がある。
【0144】
いくつかの実施形態では、実際の手順の記録を使用して、生きた器官、たとえば肺の正確な変形データを収集してもよい。いくつかの実施形態では、カテーテルを肺の内部の特定の既知の気道に導入してもよく、カテーテルの完全な位置を、特定の強制的または自然の変形の下で記録することができ、これにより、その気道の変形について教示される。いくつかの実施形態では、さらに、複数のカテーテルを複数の既知の気道に導入してもよく、それらの完全な位置を記録して、特定の印加された力の下で並行して複数の気道の変形について教示することができる。いくつかの実施形態では、トレーニングサンプルは、ＮａｖＮＮモジュールの場合と同様に、機械的なシミュレートしたモデルから収集することもできる。いくつかの実施形態では、複数の追跡されたセンサーを器官の内部（たとえば、肺の胸膜上）に配置して、変形のリアルタイムデータを記録することができる。いくつかの実施形態では、器官を変形させながら複数のＣＢＣＴ（コーンビームＣＴ）スキャンを実行することができる、異なるスキャンを、変形可能な位置合わせを使用して位置合わせして、特定の印加された力の下でスキャン間の変形ベクトルを明らかにすることができる。いくつかの実施形態では、変形は、他の手段、たとえば、他の好適な手段の中でも、超音波プローブ、蛍光透視イメージングを使用して、造影剤、マーカー、体外センサーを使用することによって、同様に学習及び測定することができる。
【0145】
いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールを、前述したような変形増強方法を使用して、特定の患者に対する手順前段階においてさらにトレーニングして、モデルを特定の患者の管腔構造に対してさらに適合させ、こうして手順中のＡＩモデルの性能を向上させることができる。たとえば、手順の前に、患者の管腔構造をオフラインシミュレータモジュールにロードすることができる。いくつかの実施形態では、次いで、シミュレートしたカテーテルを、シミュレートした管腔構造の内部の異なるランダム場所に配置してもよい。いくつかの実施形態では、管腔構造の変形を、シミュレータモジュールによってシミュレートして、非変形の位置特定画像と変形された位置特定画像とのペアを形成することができる。いくつかの実施形態では、トレーニングしたＤｅｆｏｒｍＮＮモジュールを、新規作成された画像ペアとともに提示することができ、元のトレーニングからのその重みを依然として保持するように、これらのペアに基づいて小さい学習率によりさらにトレーニングすることができるが、これらの重みは次に、現在の患者の変形に適合することに向けて微調整する。いくつかの実施形態では、これらの動作は、現在の患者に対する変形モデルを潜在的に微調整及びバイアスし、現在の患者の解剖学的構造上の変形を解決するための性能を優先してその一般性をわずかに失う。
【0146】
典型的な応力ニューラルネットワーク（ＳｔｒｅｓｓＮＮ）モジュール
いくつかの実施形態では、システムは、カテーテル応力検出アルゴリズムを含む。これは、追跡されたカテーテルの位置及びその解剖学的位置における形状を利用して、患者の気道の内部のカテーテル応力を推定するものである。いくつかの実施形態では、アルゴリズムは、カテーテルの形状を調べて、カテーテルが壊れそうになっている場合または気道に過度の力を印加し始めた場合などに警告を出す。いくつかの実施形態では、これらの警告を使用して、たとえばロボットの駆動操作を監視するとともに、ならびに手持ち式ケースにおいて警告を出して、患者の安全性及びシステムの安定性を図ることができる。いくつかの実施形態では、アルゴリズムは、純粋な幾何学的考慮事項、ならびにカテーテルの形状を分析する専用の応力ニューラルネットワーク（ＳｔｒｅｓｓＮＮ）モジュールに基づく。
いくつかの実施形態では、システムは、カテーテル応力検出アルゴリズムを含む。これは、追跡されたカテーテルの位置及びその解剖学的位置における形状を利用して、患者の気道の内部のカテーテル応力を推定するものである。いくつかの実施形態では、アルゴリズムは、カテーテルの形状を調べて、カテーテルが壊れそうになっている場合または気道に過度の力を印加し始めた場合などに警告を出す。いくつかの実施形態では、これらの警告を使用して、たとえばロボットの駆動操作を監視するとともに、ならびに手持ち式ケースにおいて警告を出して、患者の安全性及びシステムの安定性を図ることができる。いくつかの実施形態では、アルゴリズムは、純粋な幾何学的考慮事項、ならびにカテーテルの形状を分析する専用の応力ニューラルネットワーク（ＳｔｒｅｓｓＮＮ）モジュールに基づく。
【0147】
いくつかの実施形態では、力センサーを駆動メカニズムの内部に統合して、カテーテルによって気道に加えられる力（医師が手持ち式カテーテルを用いて行う）を予測してもよいが、他のオプションは、気道の内部のカテーテルの応力を推定するために、ロボットカテーテルが前進する距離に対するカテーテル追跡情報を利用することである。いくつかの実施形態では、本明細書の他の場所で説明するように、カテーテルの完全に追跡された曲線を、解剖学的構造の内部のその位置特定された状態において分析して、気道の内部のカテーテルの応力のレベルを正確に予測する。全般的に、カテーテルが滑らかな経路をたどると、ほぼ間違いなく緩和され、組織を損傷しない。カテーテルが直線の気道の内部で曲線の形状を構築し始め、カテーテル形状のループが形成され始めると、カテーテルの応力レベルは高いと考えられ、ロボット駆動メカニズムを使用したとき、ロボット駆動メカニズムは停止される。いくつかの実施形態では、次いで、カテーテルは引っ張られて開放される。いくつかの実施形態では、提案された応力検出メカニズムを外部または内部の力センサーと組み合わせる潜在的な利点は、ロボット駆動カテーテルに対してより十分な保護を潜在的に提供することである。
【0148】
いくつかの実施形態では、たとえば、カテーテルが既知の距離だけ前方に駆動されると、それに応じてカテーテルの先端部が進むことが予想される。カテーテルの先端部が動かない極端な場合は、カテーテルの長さに沿って張力が作られ、先端部の前方への動きに変換されなかったと結論付けられる。いくつかの実施形態では、さらに、カテーテルの瞬間的な形状を分析し、管腔構造の内部のその形状に基づいてカテーテルの長さの応力レベルを推論することができる。
【0149】
いくつかの実施形態では、たとえば、カテーテル及び管腔構造の物理特性を現実的にシミュレートする物理的有限要素シミュレーションを使用して、解剖学的構造の内部の所与の形状及び位置に対して、カテーテルによって管腔構造に加えられる力を推定することができる。この場合、カテーテルは、手順において追跡した現実的な構造の内部に配置されるのと正確に同じに、シミュレートした管腔構造の内部に配置される。いくつかの実施形態では、これらは介入中にリアルタイムで実行される。いくつかの実施形態では、これらは、シミュレーションにおいてのみ実行され、たとえばＮＮ及び／または他のソフトウェアに教示するための手順中ではないことを意味する。いくつかの実施形態では、次いで、シミュレーションを実行して、物理的なシミュレートした力を、カテーテルのシミュレートした構造及び管腔のシミュレートした挙動に基づいて計算することができる。いくつかの実施形態では、接触力、ならびに内部のカテーテル力を計算したら、バイナリまたは滑らかな閾値を使用して、力のリスク推定値（たとえば、０及び１との間のスカラー）を計算してもよい。
【0150】
いくつかの実施形態では、前述したような３Ｄ位置特定画像を使用して、管腔構造の内部のカテーテルの形状を３Ｄで視覚化することができる。いくつかの実施形態では、位置特定画像を、専用の応力ニューラルネットワーク（ＳｔｒｅｓｓＮＮ）モジュール内に入力することができ、このモジュールは、位置特定画像によって視覚化される、管腔構造の内部のカテーテルの形状に基づいて力のリスク推定値を出力する。たとえば、ＳｔｒｅｓｓＮＮモジュールは、カテーテルが管腔構造の内部で開放される場合、０に近い値を出力する場合があり、管腔構造の内部のカテーテルの形状がリスクを示す場合（たとえば、カテーテルの形状が非常に曲がっているか、またはループが形成され始めた場合）、１に近い値を出力する場合がある。この場合、高レベルモジュールは、ＳｔｒｅｓｓＮＮモジュールが０により近い値を出力してカテーテルが開放されるまで、カテーテルを引き戻してもよい。いくつかの実施形態では、より高レベルの信頼性をＳｔｒｅｓｓＮＮモジュールに提供するために、より大きいサポートの位置特定画像（たとえば、完全なカテーテルの追跡可能な長さが見えるもの）を提供する。いくつかの実施形態では、これにより、ＳｔｒｅｓｓＮＮモジュールは、手順中に曲線及びループが構築され得るカテーテルの近位部分も考慮することができる。
【0151】
いくつかの実施形態では、シミュレータモジュールを使用してＳｔｒｅｓｓＮＮモジュールをトレーニングする。この場合、シミュレートしたカテーテルが管腔構造内に導入され、器官の内部のランダムな位置に移動する。いくつかの実施形態では、接触力及び内部のカテーテル力を物理シミュレーションによって計算し、計算した力に基づいて、位置特定画像をそれらの対応する力のリスク推定値とペアにすることによって、ラベル付けしたサンプルを収集する。いくつかの実施形態では、ＳｔｒｅｓｓＮＮモジュールのトレーニングは、以前の医療手順の記録を提供することによって（たとえば、手順中にカテーテル内のセンサーを使用し、力を記録することによって）実行する。たとえば、記録を分析し、ユーザが実行した動作をその瞬間におけるカテーテルのステータスとともに導き出すことによって。
【0152】
いくつかの実施形態では、ＮａｖＮＮは、管腔構造の内部のカテーテル応力を検出するためにも使用する。いくつかの実施形態では、ＮａｖＮＮを、操作者（またはシミュレータ）がカテーテル応力の高レベルを検出するたびに、カテーテルを引き戻すようにトレーニングする。いくつかの実施形態では、これは、ＮａｖＮＮに、３Ｄ位置特定画像内に示されるようにカテーテルの応力検出を実行し、応力が形成されている場合にカテーテルを引き戻すことを教示する。いくつかの実施形態では、最終的なカテーテル応力検出は、物理シミュレーションモジュール、専用のＳｔｒｅｓｓＮＮモジュール、ＮａｖＮＮモジュール、または上記の任意の組み合わせによって実行する。
【0153】
追跡及びナビゲーションシステムを備えた典型的な管腔内装置の概要
次に図１０を参照して、本発明のいくつかの実施形態による、追跡及びナビゲーションシステムを備えた典型的な管腔内装置の概略図を示す。図１０に示す管腔内装置は、図１に示した管腔内装置の修正バージョンであり、ナビゲーション、変形、及び応力に関する入力を提供することを担うコンポーネントが追加されている。いくつかの実施形態では、管腔内システム１０００は、管腔内介入用に構成された管腔内装置１００２、たとえば、内視鏡または気管支鏡または血管カテーテル、または血管ガイドワイヤを備える。いくつかの実施形態では、管腔内装置１００２は、１つ以上のカメラ及び／または１つ以上のセンサー１０１４を、管腔内装置１００２の遠位端に含む。いくつかの実施形態では、管腔内装置１００２は、管腔内装置１００２によって実行される動作（いくつかの実施形態では、以下でさらに説明するように、管腔内装置１００２の自己操縦動作を含む）をモニタリング及び制御するように構成されたコンピューター１００４に接続される。いくつかの実施形態では、管腔内システム１０００は、患者１００８の内部の管腔内装置１００２の位置をモニタリングするために管腔内システム１０００によって使用される電磁界を生成するように構成された送信機１００６をさらに含む。いくつかの実施形態では、管腔内システム１０００は、操作者に専用の画像を示すように構成された表示ユニット１０１０をさらに含み、これにより、管腔内介入中の管腔内装置１００２のナビゲーション中に操作者を潜在的に支援する。いくつかの実施形態では、管腔内システム１０００は、任意選択で、管腔内介入中の患者１００８の動きをモニタリングするように構成された１つ以上のセンサー１０１２をさらに含む。いくつかの実施形態では、患者の動きは、患者１００８の内部での管腔内装置１００２のナビゲーションを支援するために使用される。いくつかの実施形態では、コンピューター１００４は、前述したように、たとえば、１つ以上のカメラ及び／または１つ以上のセンサー１０１４から正確なリアルタイム位置特定画像を受け取るように構成されたＮａｖＮＮモジュール１０１６を含む。いくつかの実施形態では、前述したように、ＮａｖＮＮモジュール１０１６は、次いで、患者１００８の内部の管腔内装置１００２が内部の所望の場所に到達するための駆動方向を生成する。いくつかの実施形態では、コンピューター１００４は、ＤｅｆｏｒｍＮＮモジュール１０１８を含む。ＤｅｆｏｒｍＮＮモジュール１０１８は、変形情報を計算して、変形情報を、解剖学的構造の内部のカテーテル場所のより正確な画像を生成するためにシステム２Ｄ／３Ｄビューに提供し、ならびにＮａｖＮＮモジュールに提供するように構成されている。ＮａｖＮＮモジュールは、次いでその変形情報を利用して、ナビゲーション及び駆動方向の精度を潜在的に高める。いくつかの実施形態では、コンピューター１００４は、管腔内装置１００２が操作されている組織に対してカテーテルによって行われる応力を計算及び／または推定するように構成されたＳｔｒｅｓｓＮＮモジュール１０２０を含む。いくつかの実施形態では、ＳｔｒｅｓｓＮＮモジュール１０２０は、患者の身体１００８の内部のカテーテルの位置及び場所に基づいて、任意選択でリアルタイムで計算／推定を実行する。いくつかの実施形態では、コンピューター１００４は、高レベルモジュール１０２２を含む。高レベルモジュール１０２２は、位置特定システム（送信機及びセンサー）、ＮａｖＮＮモジュール、ＤｅｆｏｒｍＮＮモジュール、及びＳｔｒｅｓｓＮＮモジュールからすべての情報を受け取り、この情報を利用して、管腔内システム１０００内の１つ以上のメカニズム、たとえば、管腔内装置１００２の遠位端を駆動するロボットメカニズム（操縦－以下を参照）、患者内への及び患者からの管腔内装置１００２の前進及び／または回収を駆動するロボットメカニズムを駆動する。
次に図１０を参照して、本発明のいくつかの実施形態による、追跡及びナビゲーションシステムを備えた典型的な管腔内装置の概略図を示す。図１０に示す管腔内装置は、図１に示した管腔内装置の修正バージョンであり、ナビゲーション、変形、及び応力に関する入力を提供することを担うコンポーネントが追加されている。いくつかの実施形態では、管腔内システム１０００は、管腔内介入用に構成された管腔内装置１００２、たとえば、内視鏡または気管支鏡または血管カテーテル、または血管ガイドワイヤを備える。いくつかの実施形態では、管腔内装置１００２は、１つ以上のカメラ及び／または１つ以上のセンサー１０１４を、管腔内装置１００２の遠位端に含む。いくつかの実施形態では、管腔内装置１００２は、管腔内装置１００２によって実行される動作（いくつかの実施形態では、以下でさらに説明するように、管腔内装置１００２の自己操縦動作を含む）をモニタリング及び制御するように構成されたコンピューター１００４に接続される。いくつかの実施形態では、管腔内システム１０００は、患者１００８の内部の管腔内装置１００２の位置をモニタリングするために管腔内システム１０００によって使用される電磁界を生成するように構成された送信機１００６をさらに含む。いくつかの実施形態では、管腔内システム１０００は、操作者に専用の画像を示すように構成された表示ユニット１０１０をさらに含み、これにより、管腔内介入中の管腔内装置１００２のナビゲーション中に操作者を潜在的に支援する。いくつかの実施形態では、管腔内システム１０００は、任意選択で、管腔内介入中の患者１００８の動きをモニタリングするように構成された１つ以上のセンサー１０１２をさらに含む。いくつかの実施形態では、患者の動きは、患者１００８の内部での管腔内装置１００２のナビゲーションを支援するために使用される。いくつかの実施形態では、コンピューター１００４は、前述したように、たとえば、１つ以上のカメラ及び／または１つ以上のセンサー１０１４から正確なリアルタイム位置特定画像を受け取るように構成されたＮａｖＮＮモジュール１０１６を含む。いくつかの実施形態では、前述したように、ＮａｖＮＮモジュール１０１６は、次いで、患者１００８の内部の管腔内装置１００２が内部の所望の場所に到達するための駆動方向を生成する。いくつかの実施形態では、コンピューター１００４は、ＤｅｆｏｒｍＮＮモジュール１０１８を含む。ＤｅｆｏｒｍＮＮモジュール１０１８は、変形情報を計算して、変形情報を、解剖学的構造の内部のカテーテル場所のより正確な画像を生成するためにシステム２Ｄ／３Ｄビューに提供し、ならびにＮａｖＮＮモジュールに提供するように構成されている。ＮａｖＮＮモジュールは、次いでその変形情報を利用して、ナビゲーション及び駆動方向の精度を潜在的に高める。いくつかの実施形態では、コンピューター１００４は、管腔内装置１００２が操作されている組織に対してカテーテルによって行われる応力を計算及び／または推定するように構成されたＳｔｒｅｓｓＮＮモジュール１０２０を含む。いくつかの実施形態では、ＳｔｒｅｓｓＮＮモジュール１０２０は、患者の身体１００８の内部のカテーテルの位置及び場所に基づいて、任意選択でリアルタイムで計算／推定を実行する。いくつかの実施形態では、コンピューター１００４は、高レベルモジュール１０２２を含む。高レベルモジュール１０２２は、位置特定システム（送信機及びセンサー）、ＮａｖＮＮモジュール、ＤｅｆｏｒｍＮＮモジュール、及びＳｔｒｅｓｓＮＮモジュールからすべての情報を受け取り、この情報を利用して、管腔内システム１０００内の１つ以上のメカニズム、たとえば、管腔内装置１００２の遠位端を駆動するロボットメカニズム（操縦－以下を参照）、患者内への及び患者からの管腔内装置１００２の前進及び／または回収を駆動するロボットメカニズムを駆動する。
【0154】
典型的な自己操縦管腔内装置及び拡張ビュー
いくつかの実施形態では、管腔内装置１００２は、患者の身体１００８の内部の所望の場所に向けて管腔内装置１００２を方向付けて推進するために手動または自動のいずれかで駆動するように構成された機械的作業遠位端を含む。いくつかの実施形態では、器具（管腔内装置１００２）は、その作業先端部を特別な標的に向けて自律的に配向し得るように構成され、好適な空間認識アルゴリズム（たとえば、ＮａｖＮＮモジュール及び／またはＤｅｆｏｒｍＮＮモジュールから受け取った情報に基づく）及び検知能力を有している。たとえば、管腔内装置ナビゲーションの状況では、システムは自己操縦装置を可能にする。ここでは、操作者が装置を遠位方向または近位方向に移動しながら、装置の先端部が標的に対するその位置に応じて自己操縦する。いくつかの実施形態では、このような標的は、たとえば、装置の先端部が向けられるように構成されている経路上の点であってもよい。この例では、標的までの経路をたどるために、操作者は装置を遠位方向に慎重に押すだけでよく、一方で、先端部が管腔ツリーの分岐点を通って自己操縦し、最終的に装置がその標的に到達する。この例に加えて、いくつかの実施形態では、術前計画が、外部コンピューター装置（たとえば、ラップトップまたはタブレットまたは任意の他の好適な装置）上で作成され、管腔構造がセグメント化されて、標的及び経路が特定される。いくつかの実施形態では、次いで、計画は装置に、物理接続、無線、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ（近距離無線通信）または他の転送方法及びプロトコルを介して転送してもよい。
いくつかの実施形態では、管腔内装置１００２は、患者の身体１００８の内部の所望の場所に向けて管腔内装置１００２を方向付けて推進するために手動または自動のいずれかで駆動するように構成された機械的作業遠位端を含む。いくつかの実施形態では、器具（管腔内装置１００２）は、その作業先端部を特別な標的に向けて自律的に配向し得るように構成され、好適な空間認識アルゴリズム（たとえば、ＮａｖＮＮモジュール及び／またはＤｅｆｏｒｍＮＮモジュールから受け取った情報に基づく）及び検知能力を有している。たとえば、管腔内装置ナビゲーションの状況では、システムは自己操縦装置を可能にする。ここでは、操作者が装置を遠位方向または近位方向に移動しながら、装置の先端部が標的に対するその位置に応じて自己操縦する。いくつかの実施形態では、このような標的は、たとえば、装置の先端部が向けられるように構成されている経路上の点であってもよい。この例では、標的までの経路をたどるために、操作者は装置を遠位方向に慎重に押すだけでよく、一方で、先端部が管腔ツリーの分岐点を通って自己操縦し、最終的に装置がその標的に到達する。この例に加えて、いくつかの実施形態では、術前計画が、外部コンピューター装置（たとえば、ラップトップまたはタブレットまたは任意の他の好適な装置）上で作成され、管腔構造がセグメント化されて、標的及び経路が特定される。いくつかの実施形態では、次いで、計画は装置に、物理接続、無線、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ（近距離無線通信）または他の転送方法及びプロトコルを介して転送してもよい。
【0155】
いくつかの実施形態では、自己操縦先端部の空間内の点は、移動体積内の標的、たとえば呼吸している肺、またはたとえば肝臓内の標的、またはたとえば柔らかい血管内の標的、またはたとえば消化器系内の標的であってもよく、一方で、カテーテルの先端部は、操作者の介入なしでこの標的に向かって配向するように構成されている。
【0156】
いくつかの実施形態では、管腔内装置１００２は、必要な電子プロセッサ及び制御コンポーネント、たとえば、必要なアルゴリズム、電源、及び必要な電気機械駆動コンポーネントが入っているハンドルを含んでいてもよい。いくつかの実施形態では、管腔内装置１００２は、使い捨て装置、または非使い捨て装置であってもよい。
【0157】
いくつかの実施形態では、管腔内装置１００２は、管腔の内部の器具の位置の更新表示とともに管腔構造の表現が表示される外部スクリーンに接続してもよい。いくつかの実施形態では、器具の位置の表示に加えてまたはその代わりに、システムの状態を通知するために、他のフィードバック手段を操作者に提供する。いくつかの実施形態では、このような通知は、たとえば、器具が標的に到達する軌道に乗っている限り（たとえば、経路に従っている限り）点滅する緑色光であってもよい。標的に到達したら定常的な緑色光の表示になる。いくつかの実施形態では、現在の場所では標的に到達しない場合があり、カテーテルを引き戻す必要がある場合（たとえば、先端部が標的を過ぎているか、または先端部が間違った分岐にある場合）、定常的な赤色光の表示、またはハンドル内の振動モーターを使用した振動フィードバックとなる。いくつかの実施形態では、前述した表示に加えて、音声表示をカテーテルのハンドルの内部の小型スピーカーによって再生して、操作者に手順を案内してもよい。いくつかの実施形態では、さらなる指示及び警告方法についてはここでは言及しないが、本発明の範囲内に含まれる。
【0158】
いくつかの実施形態では、電気機械駆動コンポーネントは、カテーテルのハンドルの内部の小型モーターからなることができる。いくつかの実施形態では、受動的な「Ｊ」カテーテルのロール角を制御する単一の小型モーターが存在することができる。いくつかの実施形態では、ＮａｖＮＮモジュール１０１６は、２つの駆動動作：ＰＵＳＨ／ＰＵＬＬ、ＲＯＬＬを出力してもよい。いくつかの実施形態では、ＲＯＬＬ動作が必要な場合、高レベルモジュール１０２２は、カテーテルの内部のロールモーターを自動的に起動してカテーテルの回転を実行するため、カテーテルは常に、標的までの次の分岐点と自動的に位置合わせされている。いくつかの実施形態では、ＰＵＳＨ動作が必要な場合、カテーテルのハンドル上の緑色ＬＥＤが点滅して、操作者に、カテーテルが標的までの軌道上にあり、手動で押す必要があることを示してもよい。いくつかの実施形態では、ＰＵＬＬ動作が必要な場合、振動フィードバックを、たとえばハンドルの内部の振動モーターを使用して、ハンドル内で起動してもよいし、または赤色ＬＥＤをターンオンまたは点滅させて、操作者に、カテーテルが軌道を外れており、引っ込める必要があることを示してもよい。いくつかの実施形態では、ＰＵＳＨまたはＰＵＬＬ動作が必要な場合、高レベルモジュール１０２２は、カテーテルの内部の前進／後退モーターを起動して、カテーテルの限定された前進または後退を実行し、その結果、カテーテルは標的に向かって自動的に前進する（またはカテーテルが間違った管腔に入ったときに引き戻される）。いくつかの実施形態では、カテーテルによって実行される移動（前方または後方のいずれか）の寸法（サイズまたは長さ）は、モーター（任意選択で、カテーテルのハンドル内に配置される）の機械的特性によって限定される。いくつかの実施形態では、寸法（サイズまたは長さ）は固定されており、既知である。いくつかの実施形態では、寸法（サイズまたは長さ）は、たとえば、モーターを交換すること、またはモーターによって与えられる力を調節することのいずれかによって能動的に調整可能であり、既知である。いくつかの実施形態では、システムは、「移動の既知の寸法」を使用して、標的に向かうナビゲーションに微調整を与えるように構成されている。いくつかの実施形態では、その代わりにまたはそれに加えて、システムは、たとえば、動く標的に到達するときに、装置を駆動する（前方への起動、後方への起動、及び非起動）ことによって、解剖学的構造の内部の安定性を維持するために「既知の寸法」を使用するように構成されている。システムは、標的が動いても特定の位置を維持できるため、標的に対する解剖学的構造の内部の安定性を維持することができる。
【0159】
タスクの複雑さを理解するために、以下の例を示す。呼吸によって組織の自然な変形が生じる。たとえば肺内では、肺の下葉が、呼吸中に約２ｃｍ～約３ｃｍ移動／変形する可能性がある。ナビゲーションに対して最も正確な「画像」を提供するために、システムは、ＤｅｆｏｒｍＮＮモジュールを使用して、管腔マップを、患者の検知した動き（たとえば、呼吸によって生じる）に従ってリアルタイムで更新する。いくつかの実施形態では、動きを、たとえば、患者上及び／またはベッド上及び／または手術台上に配置された１つ以上のセンサーを使用して、モニタリングする。いくつかの実施形態では、動きが動的管腔マップに正確に組み込まれると、他の変形（たとえば、装置をその場所まで実際に駆動することによって生じる変形）も考慮され、動的管腔マップに能動的に組み込まれる。したがって、この時点で、器質的または誘発された動きによって生じる変形に対して常に更新されている３Ｄ管腔マップが存在する。これが達成されると、ユーザは、システムに選択した位置を維持するように命令を出すことができる。たとえば、標的に対して所与の距離にいるか（たとえば、標的から１５ｍｍに留まる）、またはユーザが選択した管腔マップ上の特定の点上の位置を維持して、選択した点上に装置が保持されるようにする。いくつかの実施形態では、システムは、推進装置を駆動して、装置のナビゲーション及び位置決めの微調整を、駆動によって生じる「移動の既知の寸法」のシステムの「認識」を使用して達成する。いくつかの実施形態では、動く標的に対して管腔構造の内部の解剖学的場所に装置を固定する潜在的な利点は、自由空間内で装置を安定させるかまたは管腔構造に対して装置を安定させるという代替案よりも優れていることである。これは、実際の標的の動きを考慮しておらず、管腔からの他の動きの特性を有する場合がある。３Ｄ追跡システムは通常、通常ベッドに固定されている送信機（たとえばＥＭ内）を基準とする追跡座標において装置を追跡する。したがって、装置は「自由な３Ｄ空間」において、すなわち、たとえばベッド座標において追跡される。したがって、装置場所は、患者の呼吸または他の器質的もしくは非器質的変形により、その追跡されたｘ、ｙ、ｚ場所において大きく振動し得る（たとえば２～３ｃｍ）が、身体の内部の装置の解剖学的場所は実際には変化しない（たとえば、装置は管腔の内部の同じ場所にある）。しかし標的は、呼吸によって生じる変形により動く。既知の技術は通常、ロボットカテーテルを自由空間内で固定する。これは、カテーテルの場所に何らかの制御メカニズムを適用することによって、ロボット装置を追跡源を基準とした「自由空間内」の同じｘ、ｙ、ｚ場所に固定することによって行う。場合によって、この方法には大きな欠点がある。なぜなら、追跡源を基準とした固定されたｘ、ｙ、ｚ場所は、解剖学的構造を基準とした固定場所を反映しないからである。
【0160】
いくつかの実施形態では、使い捨てのカテーテルは、完全に無線であり、バッテリなどの電源、マイクロプロセッサ、専用のＡＳＩＣ／ＦＰＧＡ、ＮＦＣ通信サポート、赤色／緑色表示ＬＥＤ、振動モーター、及びカテーテル用の小型の回転及び／またはフォワードモーターを含む。典型的なシステムフローチャートを、図１１に示す。いくつかの実施形態では、術前計画は、特定の患者用のタブレット装置上で実行され、カテーテル患者ペアリング段階１１０２においてカテーテルをタブレットに取り付けることによって、ＮＦＣを使用して無線カテーテルに通信される。いくつかの実施形態では、任意選択で、ペアリング時に、すなわち、患者の計画をカテーテル上に送信することが成功したときに、音声表示を再生してもよいし、ＬＥＤをターンオンしてもよい（１１０４）。いくつかの実施形態では、任意選択で、計画は、セグメント化された管腔構造、標的までの経路計画、及び標的マーキングからなっていてもよい。いくつかの実施形態では、任意選択で、セグメント化された管腔構造はまばらな性質を有し、したがって、たとえば、Ｈｕｆｆｍａｎ符号化または他の好適な方法を使用して、ほとんどのマイクロプロセッサのメモリ制限に適合するように（たとえば、わずか数キロバイト）に圧縮することができる。いくつかの実施形態では、任意選択で、ペアリング時に電磁較正も無線カテーテルに転送してもよい。いくつかの実施形態では、任意選択で、電磁送信機識別子または完全な構成及び較正を無線カテーテルに転送して、カテーテルが手順中に完全に較正された電磁追跡を実行できるようにしてもよい。いくつかの実施形態では、カメラセンサーのサンプリングを実行する（１１０８）。カテーテルがデジタル電磁センサーからなる場合、完全な６ＤＯＦ追跡を得るために外部増幅器及びＤＳＰは必要ではなく、ほとんどのマイクロプロセッサ（転送される電磁構成及び較正に依存して）に実装できるソフトウェアアルゴリズム１１１０のみが必要である。いくつかの実施形態では、手順中に、カテーテルは、次いで、前述したように、その複数のセンサーからの測定磁界を処理することによって、６ＤＯＦ追跡アルゴリズム１１１０を使用して完全なカテーテル位置を解決することができる。いくつかの実施形態では、次いで、カテーテル位置を、１つ以上の位置合わせプロセスにおいて管腔構造に適合させる。いくつかの実施形態では、マルチチャンネル３Ｄ位置特定画像を、前述した方法を使用して、たとえば、専用のＡＳＩＣ／ＦＰＧＡチップ内の特別なＧＰＵブロックを使用して、任意選択でリアルタイムでレンダリングしてもよい（１１１４）。いくつかの実施形態では、位置特定画像は、前述した方法を使用して２Ｄカメラフレームを３Ｄ位置特定画像上にレンダリングすることによって（任意選択で専用ＧＰＵによって加速して）、専用のカメラチャネルを含んでもよい。いくつかの実施形態では、２Ｄカメラフレームを、カテーテルの先端部においてカメラセンサーから取り込んでもよい。いくつかの実施形態では、生のカメラ画像を、ＡＳＩＣ／ＦＰＧＡ内の画像信号プロセッサ（ＩＳＰ）ブロック１１１２によって処理してもよい。いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールを、レンダリングした位置特定画像を使用して器官の歪みをリアルタイムで追跡するために使用してもよい（１１１６）。いくつかの実施形態では、変形された位置特定画像を用いてシステムビューを更新する（１１１８）。いくつかの実施形態では、ＤｅｆｏｒｍＮＮモジュールプロセスは専用のＡＳＩＣ／ＦＰＧＡチップ上で計算されるため、ＤｅｆｏｒｍＮＮデータをＮａｖＮＮモジュール１０１６に送出して、さらなる使用に備える（１１２０）。いくつかの実施形態では、ＤｅｆｏｒｍＮＮ動作に続いて、ＮａｖＮＮを実行して、標的に向けた最適な駆動動作を計算するか（１１２４）、または動く標的で上カテーテルを安定させることができ、同様に、専用のＡＳＩＣ／ＦＰＧＡによってハードウェアアクセラレーションすることができる。いくつかの実施形態では、前述したように、ＮａｖＮＮモジュールからの出力を使用して、操作者にフィードバック１１２２を与える。いくつかの実施形態では、標的に到達したら（高レベルモジュール１０２２によって実現されるように）、任意選択で、操作者にフィードバックを与えることができ、カテーテル内の特別な作業チャネルを通して生検及び処置ツールを挿入することができる。いくつかの実施形態では、さらに、位置特定画像をＮａｖＮＮモジュールに渡す前または渡した後に、ＳｔｒｅｓｓＮＮモジュールを使用して、管腔構造の内部のカテーテルの力のリスク推定値を推定してもよい。いくつかの実施形態では、力のリスク推定値が１に近い場合、カテーテルが過度の力を管腔構造の内部に加えていること示し、次いで、システムを停止させてもよいし、またはカテーテルを、開放されるまで（力のリスク推定値が再び０に近くなることによって示される）自動的に引き戻してもよい。いくつかの実施形態では、システムフローは、専用チップとすることができるか、または専用のＡＳＩＣ／ＦＰＧＡチップ内にブロックとして組み込むことができるマイクロプロセッサによって調整する。
【0161】
いくつかの実施形態では、無線自己操縦カテーテルは、圧縮（たとえば、Ｈ．２６５を使用して）または非圧縮の２Ｄ／３Ｄシステムビューを外部モニターに送信するために、ＷｉＦｉ機器を備えることもできる。この場合、ビューは、カテーテルの専用ＧＰＵを使用してリアルタイムで生成してもよく、任意選択で、たとえば、ＡＳＩＣ／ＦＰＧＡの内部のハードウェアアクセラレーションのＨ．２６５エンコーダを使用してエンコードすることができる。いくつかの実施形態では、システムビューは、ウェブサービス、ＲＴＳＰプロトコルウェブブラウザ、または任意の他のビデオストリーミングソフトウェアを通して、任意のＷｉＦｉ対応装置によって表示することができる。いくつかの実施形態では、ビューを外部モニター上に表示し、重要な２Ｄ／３Ｄナビゲーション情報を、操作者の医師に対してまたはタブレットまたはスマートフォンにおいて与える。いくつかの実施形態では、内視鏡ビデオは、潜望鏡または拡大鏡ビューと同様に、カテーテルのハンドルに取り付けられた小型のポータブルディスプレイ画面上に表示することができる。いくつかの実施形態では、次いで、操作者は、カテーテルが潜望鏡であるかのように、小型のディスプレイを通して「患者を覗き込んで」もよい。いくつかの実施形態では、表示した内視鏡ビデオを、さらなる３Ｄナビゲーションデータ、たとえば標的までの経路、標的または他のナビゲーション指示（たとえば、医師への命令）、ＣＴ（またはＭＲＩスキャン、または血管造影図など）からのさらなる解剖学的特徴などによって拡張してもよい。いくつかの実施形態では、それに加えてまたはその代わりに、拡張した内視鏡ビデオビューを表示する代わりに、一般的なナビゲーション手順中に外部モニター上に表示されるように、たとえばその管腔構造の内部の解剖学的位置にある完全に追跡されたカテーテルの純粋な仮想３Ｄビューを表示することができる。
【0162】
いくつかの実施形態では、管腔内装置は、管腔内装置を１つ以上の方向に向けて操作するように構成された１つ以上の操縦メカニズムを含む。いくつかの実施形態では、１つ以上の操縦メカニズムは、以下のうちの１つ以上を含む。
【0163】
１．１つ以上のプルワイヤ。いくつかの実施形態では、１つ以上のワイヤは、シャフトに沿った１つ以上の関節または点に接続される。
【0164】
２．１つ以上の事前に湾曲されたシャフト。いくつかの実施形態では、１つ以上の事前の湾曲は一方が他方の内部に配置され、事前に湾曲されたシャフトの一方が他方に対して回転すると、シャフトのたわみが生じる、たとえば、シャフトの両方の湾曲が位置合わせされている場合、最大のたわみが実現されるが、シャフトの湾曲が互いに反対である場合、最小のたわみが実現される。
【0165】
３．異なる機械的特性を有し、一方が他方の内部にある１つ以上のシャフト。いくつかの実施形態では、シャフトのたわみは、２つのシャフトを使用することによって実現される。一方は、事前に湾曲されたシャフトであり、他方は、事前に湾曲されたシャフトではなく、可変剛性を有する。いくつかの実施形態では、たわみを、シャフトを互いに対して軸方向に平行移動することによって実行する。事前に湾曲されたセクションを可変剛性シャフトのより柔らかいセクションに平行移動することで、最大のたわみが得られ、事前に湾曲されたセクションを可変剛性シャフトのより堅いセクションに平行移動することで、最小のたわみが得られる。
【0166】
４．たわみを生成するための上記のいずれかの組み合わせ。たとえば、両方のシャフトが事前に湾曲され、可変剛性を有し、または両方であり、回転、軸方向の平行移動、または両方のいずれかを備える。
【0167】
５．２つ以上の同軸管。いくつかの実施形態では、シャフトのたわみを２つの同軸管を使用することによって実行する。一方のチューブの剛性はチューブの断面の周囲に沿って均一ではない。いくつかの実施形態では、チューブの断面の周囲に沿って剛性を変えることは、断面の材料組成及び／または構造を変えることによって、円周の周りの材料を選択的に除去することによって、またはそれらの組み合わせによって達成できる。いくつかの実施形態では、たわみは、チューブの一方を他方に対して軸方向に平行移動することによって達成され、シャフトは、圧縮を受けているときは可変剛性チューブのより柔らかい側に向かってたわみ、張力下にあるときはチューブのより堅い側に向かってたわむ。
【0168】
いくつかの実施形態では、シャフトをたわませることは、両方のチューブが円周に沿って可変剛性を有し、チューブが、堅い側が位置合わせされていない状態で組み立てられている場合に、前述した方法のうちの１つ以上を使用することによって実行する。
【0169】
いくつかの実施形態では、シャフトをたわませることは、シャフトに事前の湾曲を与えるか、または複数のセクションにおいて円周に沿って剛性を変えることによって、複数のセクションにおいて、前述した方法（事前に湾曲されたシャフトまたは円周に沿って可変剛性）のうちの１つ以上を使用することによって実行する。いくつかの実施形態では、事前の湾曲及び種々の剛性または異なるセクションを、位置合わせすることもできるし、異なる方向に置くこともできる。
【0170】
いくつかの実施形態では、操縦動作は以下のうちの１つ以上である。
【0171】
１．シャフトの時計回り及び反時計回りの回転。
【0172】
２．シャフトの前方または後方への前進。
【0173】
３．たとえば、１つ以上のプルワイヤを使用することによって先端部を偏向させる。
【0174】
４．一方向の偏向。たとえば、単一のプルワイヤを使用して。
【0175】
５．双方向の偏向。たとえば、２つのプルワイヤを使用することによって。
【0176】
６．多方向の偏向。たとえば、
ｉ．２つを超えるプルワイヤ、たとえば、２つの垂直な平面において４つのワイヤを使用することで、一度に平面あたり１つのワイヤを引っ張りながら反対のワイヤを解放するときに、２つの平面において各平面内で２つの方向に偏向及び矯正することを可能にすることにより。
ｉ．２つを超えるプルワイヤ、たとえば、２つの垂直な平面において４つのワイヤを使用することで、一度に平面あたり１つのワイヤを引っ張りながら反対のワイヤを解放するときに、２つの平面において各平面内で２つの方向に偏向及び矯正することを可能にすることにより。
【0177】
ｉｉ．２つを超えるプルワイヤ、たとえば３または４つのプルワイヤを、シャフト軸の周りに分配して使用することで、１つ以上のワイヤを引っ張ることの組み合わせによって任意の方向への偏向を可能にする。
【0178】
７．１つ以上のプルワイヤを使用して先端部を偏向させ、平面外の３次元偏向を実現する。
【0179】
ｉ．１つの平面内の二重プルワイヤ。この平面は、シャフトの対称平面からずれており、２つの方向への平面外の偏向を可能にする。これらの方向は平面外であり、互いに反対ではない。
【0180】
ｉｉ．１つ以上のプルワイヤを、シャフトの断面の円周に沿って不均一な剛性を有するシャフトに接続する。いくつかの実施形態では、チューブの断面の周囲に沿って剛性を変えることは、断面の材料組成及び／または構造を変えることによって、円周の周りの材料を選択的に除去することによって、またはこれらの方法の組み合わせによって達成できる。いくつかの実施形態では、偏向方向は、円周の周りの剛性分布と比較したプルワイヤの周方向位置によって決定する。
【0181】
ｉｉｉ．前述した方法における偏向は、断面内の剛性の方向性及び／または断面の全体的な剛性及び／または断面内のプルワイヤの位置のいずれかを変化させることによって、シャフトの断面がその軸に沿って変化し、カテーテルの軸に沿って種々の方向の偏向を形成し、３次元の平面外の偏向を可能にする。
【0182】
典型的なタップトゥドライブインターフェース
いくつかの実施形態では、システムは、ユーザが目的地を示すことによって電気機械駆動の管腔内装置を制御できるように構成されたユーザインターフェースを含む。いくつかの実施形態では、管腔内装置を、他の駆動方法を使用して前進させる。たとえば、磁石付き装置に磁界を印加することによって、またはたとえば、装置を駆動するために空気圧または油圧を使用することによって前進させる。いくつかの実施形態では、操作者は、システムに器具先端部の所望の最終位置及び方向を示すことによって、器具の先端部を器官内の位置にナビゲートするようにシステムを駆動する。いくつかの実施形態では、操作者が所望の目的地をシステムに示したら、システムは、結果として得られる位置が身体内の要求された場所及び方向となるように、ＡＩまたは他の方法を使用して器具を操作及び駆動するようにトリガされる。いくつかの実施形態では、安全メカニズムを、望ましくない動きを防止するために設置する。
いくつかの実施形態では、システムは、ユーザが目的地を示すことによって電気機械駆動の管腔内装置を制御できるように構成されたユーザインターフェースを含む。いくつかの実施形態では、管腔内装置を、他の駆動方法を使用して前進させる。たとえば、磁石付き装置に磁界を印加することによって、またはたとえば、装置を駆動するために空気圧または油圧を使用することによって前進させる。いくつかの実施形態では、操作者は、システムに器具先端部の所望の最終位置及び方向を示すことによって、器具の先端部を器官内の位置にナビゲートするようにシステムを駆動する。いくつかの実施形態では、操作者が所望の目的地をシステムに示したら、システムは、結果として得られる位置が身体内の要求された場所及び方向となるように、ＡＩまたは他の方法を使用して器具を操作及び駆動するようにトリガされる。いくつかの実施形態では、安全メカニズムを、望ましくない動きを防止するために設置する。
【0183】
いくつかの実施形態では、操作者は、たとえば、タッチスクリーン上に表示された管腔内構造を表す３Ｄマップ内の点上でタップすることによって、装置の所望の終了場所及び方向をマーキングする。いくつかの実施形態では、これにより、システムは、装置の先端部を器官内の適切な目的地場所まで操作する。いくつかの実施形態では、たとえば、解剖学的構造の描写、たとえばＣＴスライス（またはＭＲＩスキャン、または血管造影図など）を表示するコンピューター画面上の場所上でマウスポインタをクリックすることによって、同じことが達成される。いくつかの実施形態では、たとえば、操作者は、メニューまたは他のＵＩ要素から、所定の位置、たとえば肺気管支分岐点、またはたとえば血管分岐点、たとえば解剖学的ランドマーク、またはたとえば所定の標的またはタグ付けされた場所を選択することによって、システムに場所を指示する。いくつかの実施形態では、任意選択で、疑わしい病変として自動的に識別される場所など、目的地場所がシステムによって自動的に提案される。いくつかの実施形態では、任意選択で、操作者は、音声コマンドを発することによって目的地を示す。これらの実施形態は例として提供しており、本発明のさらなる実施形態が、本発明の範囲内で可能であることが理解される。
【0184】
いくつかの実施形態では、システムは、たとえば、肺の場合に気管から標的まで、またはたとえば大腿動脈内の入口ポートから脳血管内の標的までの、連続的な２Ｄビューを形成するために一緒に「ステッチ」されたＣＴ平面（または他の画像モダリティ）の複数のセグメントによって生成された湾曲した平面再構成タイプのビューを表示する。いくつかの実施形態では、たとえば、予め計画された経路に従うこのようなビューにより、ユーザは、標的に至る経路に集中しながら、イメージングにおいてエンコードされた解剖学的詳細を見ることができる。いくつかの実施形態では、各分岐点において、ビューは、標的に至る「正しい」選択肢のみを表示する。いくつかの実施形態では、「間違った進路変更」を取ることは、ナビゲート装置の先端部が、表示したイメージング面から離れるときに、直感的に検出可能である。いくつかの実施形態では、任意選択で、そのような場合には、ユーザへの警告も表示してよい。いくつかの実施形態では、このビューを使用して、ナビゲーションの次のセグメントの目的地をシステムに示してもよい。たとえば、標的を指すことによって、またはたとえば、経路に沿った異なる点（たとえば、各管腔分岐点）に複数のウェイポイントを有することによって、標的に直接。いくつかの実施形態では、これによって、操作者が装置を前進させるための「プログレスバー」スタイルのポイントを容易に選択することが、潜在的に可能になる。いくつかの実施形態では、ウェイポイントには徐々に到達し得る。ユーザは、標的に到達するまで次のウェイポイントに前進するようにシステムに命令を出すのみである。いくつかの実施形態では、ビューはコンパクトであり、半自律ナビゲーションプロセスを監視するために医師に関連するすべての情報をエンコードする。これには、すべての周囲の解剖学的特徴（表示したＣＴストリップまたは使用した他の画像モダリティに見られる）ならびに最終標的が含まれる。いくつかの実施形態では、ユーザが目的地を指示するとき、このような指示は、管腔内の位置、または管腔外の位置、または他の安全でないかまたは危険な場所に対するものであってもよく、システムは、安全性限界または他の考慮事項に従ってナビゲーションに警告を出し、制限し、及び／または防止する。いくつかの実施形態では、このような制限は、製造者が固定してもよく、及び／または操作者が術前に決定してもよく、及び／または操作者によって（たとえば、操作者の動作に対する応答として呼び出される確認メッセージによって）アドホックに設定してもよい。いくつかの実施形態では、このような安全メカニズムは、適切な操作者の許可が与えられると、任意選択で構成されるかまたは無効にされる。いくつかの実施形態では、たとえば、システムは、グラフィカルユーザインターフェース上に示された任意の点を管腔内であると解釈してもよく、こうして、管腔の外側に示された点を、管腔ツリー上の管腔の内部の最接近点と一致させてもよい。この例では、システムは、次いで、カテーテルの先端部が、管腔の外側でユーザが示した点に向かって正確に向けられるように、カテーテルの先端部を位置決めしてもよい。この例では、システムは、最初に示された位置と比較して修正された位置を示してもよい。いくつかの実施形態では、ユーザに代替的な場所が選択されたことを通知するために、他の表示を行ってもよい。いくつかの実施形態では、システムは、先端部の目的地及び位置合わせの場所をユーザが正確に指すことができるように、対象領域の拡大を表示してもよい。たとえば、これは、ユーザが標的目的地を指定すると呼び出される「拡大鏡」スタイルビューを使用して実行してもよい。いくつかの実施形態では、この拡大図は、次いで、要求された位置の微調整を可能にするか、またはこれは、たとえば病変の３Ｄレンダー上で操作者が正確な先端部方向を選択するのを助ける「一人称」スタイルビューによって達成してもよい。
【0185】
いくつかの実施形態では、システムは、所定の最大移動距離に従って前進を停止するようにトリガされる。たとえば、駆動される装置は、さらなる操作者コマンドを待つ前に、限定された区間を移動することのみが許可される。いくつかの実施形態では、最終目的地を示し得るが、一度に一区間ずつ実行されるため、より優れた制御が発揮される。いくつかの実施形態では、３Ｄマップ上に安全領域を示してもよく、自動移動は許可されるが、外側への移動は手動で制御しなければならない。
【0186】
いくつかの実施形態では、インターフェースは、デッドマンスイッチタイプの制御の形態の安全メカニズムによって制限される。これは、トリガスイッチが嵌合されている間のみ装置先端部の動きが可能になり、バネ懸架式の動作によって無効になる。このようなスイッチの別の実施形態はフットパドルであってもよい。これは、押し下げられている間のみ移動が可能になる。他の実施形態では、押して操作するメカニズムの他の方法を使用する。
【0187】
血管臨床応用におけるシステム典型的な使用
いくつかの実施形態では、たとえば、システムは、大血管閉塞（ＬＶＯ）によって生じる急性虚血性脳卒中の神経血管の場合、または別のケースでは、たとえば末梢動脈閉塞の場合に使用される。いくつかの実施形態では、血管再生装置を導入して、血栓摘出術を、たとえばステント支援血栓摘出術を、またはたとえば直接吸引血栓摘出術を、１つ以上の装置（たとえばガイドワイヤ、またはマイクロカテーテル、または再灌流カテーテル、またはステント回収装置、またはその他）を使用して、実行する。いくつかの実施形態では、それぞれの遠位セクションに形状及び場所センサーが取り付けられ、それぞれは追跡装置に接続されて、形状、場所、互い及び血管に及ぼされる力の同時追跡を可能にし、また、たとえば、動脈、凝塊、周辺組織などの解剖学的構造のリアルタイム変形の表示を可能にする。たとえば、血管内の場合に使用される別の実施形態では、１つまたは複数の蛍光透視投影からほぼリアルタイムで装置の３Ｄ形状を再構成することによって同じことが達成され、装置、及びその形状、場所、互いに及ぼされる力、及び解剖学的管腔を追跡し、たとえば、動脈、凝塊、周辺組織などの解剖学的構造のリアルタイム変形の表示を可能にする。いくつかの実施形態では、蛍光透視投影から装置の３Ｄ形状を再構成することは、以下によって実行する。複数の蛍光透視２Ｄ投影において装置の先端部または全曲線を特定すること、何らかの基準座標系においてＸ線透視装置の場所を特定すること（たとえば、光学基準を使用して）、逆投影された２Ｄ装置の曲線が、蛍光透視投影から観察された２Ｄ曲線に適合するように、最適化によって装置の３Ｄ場所及び／または形状を見つけること。
いくつかの実施形態では、たとえば、システムは、大血管閉塞（ＬＶＯ）によって生じる急性虚血性脳卒中の神経血管の場合、または別のケースでは、たとえば末梢動脈閉塞の場合に使用される。いくつかの実施形態では、血管再生装置を導入して、血栓摘出術を、たとえばステント支援血栓摘出術を、またはたとえば直接吸引血栓摘出術を、１つ以上の装置（たとえばガイドワイヤ、またはマイクロカテーテル、または再灌流カテーテル、またはステント回収装置、またはその他）を使用して、実行する。いくつかの実施形態では、それぞれの遠位セクションに形状及び場所センサーが取り付けられ、それぞれは追跡装置に接続されて、形状、場所、互い及び血管に及ぼされる力の同時追跡を可能にし、また、たとえば、動脈、凝塊、周辺組織などの解剖学的構造のリアルタイム変形の表示を可能にする。たとえば、血管内の場合に使用される別の実施形態では、１つまたは複数の蛍光透視投影からほぼリアルタイムで装置の３Ｄ形状を再構成することによって同じことが達成され、装置、及びその形状、場所、互いに及ぼされる力、及び解剖学的管腔を追跡し、たとえば、動脈、凝塊、周辺組織などの解剖学的構造のリアルタイム変形の表示を可能にする。いくつかの実施形態では、蛍光透視投影から装置の３Ｄ形状を再構成することは、以下によって実行する。複数の蛍光透視２Ｄ投影において装置の先端部または全曲線を特定すること、何らかの基準座標系においてＸ線透視装置の場所を特定すること（たとえば、光学基準を使用して）、逆投影された２Ｄ装置の曲線が、蛍光透視投影から観察された２Ｄ曲線に適合するように、最適化によって装置の３Ｄ場所及び／または形状を見つけること。
【0188】
量または値に関して本明細書で使用する場合、用語「約」は、「その２０％以内」を意味する。
【0189】
用語「含む（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｃｏｍｐｒｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」、及びそれらの同根語は、「含むが、これに限定されない」を意味する。
【0190】
用語「からなる」は、「含み、これに限定される」を意味する。
【0191】
用語「本質的に、からなる」は、組成物、方法、または構造が、さらなる成分、ステップ、及び／または部分を含んでいてもよいが、さらなる成分、ステップ、及び／または部分が、特許請求された組成物、方法、または構造の基本的で新規な特徴を実質的に変えない場合に限ることを意味する。
【0192】
本明細書で使用する場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈上明らかに別の意味が示される場合を除き、複数形への言及を含む。たとえば、用語「化合物」または「少なくとも１つの化合物」は、それらの混合物を含む複数の化合物を含んでいてもよい。
【0193】
本出願の全体を通して、本発明の実施形態は、範囲形式を参照して示す場合がある。範囲形式での記述は、単に便宜及び簡略のためであり、本発明の範囲に対する柔軟性のない限定として解釈してはならないことを理解されたい。したがって、範囲の記述は、すべての可能な部分範囲、ならびにその範囲内の個々の数値を具体的に開示していると考えるべきである。たとえば、「１～６」などの範囲の記述は、「１～３」、「１～４」、「１～５」、「２～４」、「２～６」、「３～６」などの部分範囲、ならびにその範囲内の個々の数値、たとえば、１、２、３、４、５、及び６を具体的には開示していると考えるべきである。これは、範囲の広さにかかわらず適用される。
【0194】
本明細書で数値範囲が示される場合（たとえば「１０－１５」、「１０～１５」、またはこれらの他のこのような範囲表示によって連結された任意の数値ペア）はいつでも、文脈上明らかに別の意味が示される場合を除き、範囲の限界を含む表示した範囲の限界内の任意の数値（分数または整数）を含むことが意図されている。第１の表示した数値と第２の表示した数値との間の「範囲（ｒａｎｇｅ）／範囲（ｒａｎｇｉｎｇ）／範囲（ｒａｎｇｅｓ）」という語句、及び第１の表示した数値から第２の表示した数値「まで（ｔｏ）」、「まで（ｕｐ ｔｏ）」、「まで（ｕｎｔｉｌ）」、または「まで（ｔｈｒｏｕｇｈ）」（または他のこのような範囲表示用語）の「範囲（ｒａｎｇｅ）／範囲（ｒａｎｇｉｎｇ）／範囲（ｒａｎｇｅｓ）」という語句は、本明細書では交換可能に使用され、第１及び第２の表示した数値と、それらの間のすべての分数及び整数の数値とを含むことが意図されている。
【0195】
特に断りのない限り、本明細書で使用する数値とそれに基づく任意の数値範囲は、当業者が理解する妥当な測定の精度及び丸め誤差内の近似値である。
【0196】
明瞭にするために別個の実施形態の文脈において記載した本発明のある特徴を、単一の実施形態において組み合わせて提供してもよいことが理解される。逆に、簡略にするために単一の実施形態の文脈において説明した本発明の種々の特徴を、別個に、または任意の好適な部分集合において、または本発明の任意の他の説明した実施形態において好適なものとして提供してもよい。種々の実施形態の文脈において説明した特定の特徴は、実施形態がそれらの要素なしでは動作不能である場合を除いて、それらの実施形態の本質的な特徴と考えてはならない。
【0197】
本発明をその特定の実施形態に関連して説明してきたが、多くの代替案、変更、及び変形が当業者には明らかであることが明白である。したがって、添付の特許請求の範囲の趣旨及び広い範囲に含まれるすべてのこのような代替案、変更、及び変形を包含することが意図されている。
【0198】
本明細書において参照されるすべての刊行物、特許及び特許出願は、それぞれの個々の刊行物、特許、または特許出願が、参照により本明細書に組み込まれると言及されるときに、それらが具体的かつ個別に記載されたかのように、その全体が参照により明細書に組み込まれることが、本出願人（複数可）の意図である。加えて、本出願におけるいずれの参考文献の引用または特定も、そのような参考文献が本発明に対する従来技術として利用できることを認めることと解釈すべきではない。セクションの見出しが使用される範囲で、それは必ずしも限定であると解釈してはならない。加えて、本出願のいずれの優先権書類（複数可）も、本明細書によりその全体において参照により本明細書に組み込まれている。
【図1】
【図2】
【図3a】
【図3b】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】