(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-07
(45)【発行日】2022-10-18
(54)【発明の名称】形状推定をともなう軌道情報による位置合わせの改良
(51)【国際特許分類】
A61B 1/045 20060101AFI20221011BHJP
A61B 6/12 20060101ALI20221011BHJP
A61B 6/03 20060101ALI20221011BHJP
A61B 1/267 20060101ALI20221011BHJP
A61B 1/00 20060101ALI20221011BHJP
G06T 19/00 20110101ALI20221011BHJP
A61M 25/095 20060101ALI20221011BHJP
【FI】
A61B1/045 623
A61B6/12
A61B6/03 360G
A61B6/03 360J
A61B1/267
A61B1/00 552
G06T19/00 A
A61M25/095
【外国語出願】
(21)【出願番号】P 2018116820
(22)【出願日】2018-06-20
【審査請求日】2021-04-16
(32)【優先日】2017-06-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511099630
【氏名又は名称】バイオセンス・ウエブスター・(イスラエル)・リミテッド
【氏名又は名称原語表記】Biosense Webster (Israel), Ltd.
(74)【代理人】
【識別番号】100088605
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ツビ・デケル
(72)【発明者】
【氏名】アクラム・ゾアビ
(72)【発明者】
【氏名】ヤニブ・ベン・ズリヘム
(72)【発明者】
【氏名】ノーム・ラクリ
(72)【発明者】
【氏名】ヘレン・ヴォルフソン
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】国際公開第2016/191298(WO,A1)
【文献】国際公開第2014/171391(WO,A1)
【文献】国際公開第2017/049163(WO,A1)
【文献】特開2002-200030(JP,A)
【文献】特表2015-530903(JP,A)
【文献】特表2005-522274(JP,A)
【文献】国際公開第2005/058137(WO,A2)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
A61B 5/00
(57)【特許請求の範囲】
【請求項1】
気管支鏡検査手技において自動ランドマーク位置合わせを行うように構成された気管支鏡検査システムであって、
カテーテル及び視覚的ディスプレイ装置に動作可能に接続されたプロセッサであって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成するように構成され、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成するように構成され、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第1の複数のランドマークを自動的に検出するように構成され、
前記肺の前記気道を通じた誘導の間の前記カテーテルの位置に基づいた位置データ点群を生成するように構成され、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成するように構成され、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出するように構成され、
前記バウンディングボリューム中心線上で、前記第1の複数のランドマークの前記分岐点に対応する第2の複数のランドマークを自動的に検出するように構成され、
前記第2の複数のランドマークの対応する点に対して前記第1の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合するように構成された、プロセッサ、を含む、気管支鏡検査システム。
【請求項2】
前記視覚的ディスプレイが、前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの前記位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示するように構成されている、請求項1に記載の気管支鏡検査システム。
【請求項3】
前記視覚的ディスプレイが、前記肺の前記気道の前記マップを2次元(2D)又は3次元(3D)画像として視覚的に表示する、請求項2に記載の気管支鏡検査システム。
【請求項4】
前記複数のランドマークが、3つ以上のランドマークを含む、請求項1に記載の気管支鏡検査システム。
【請求項5】
前記プロセッサが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することにより、前記セグメンテーション中心線上で前記第1の複数のランドマークを自動的に検出し、前記バウンディングボリューム中心線上で前記第2の複数のランドマークを自動的に検出するように構成されている、請求項1に記載の気管支鏡検査システム。
【請求項6】
前記プロセッサが、特異値分解(SVD)を用いて前記マッピングを生成するように構成されている、請求項1に記載の気管支鏡検査システム。
【請求項7】
前記肺の前記術前画像が、コンピュータトモグラフィ(CT)又は核磁気共鳴画像法(MRI)を用いて生成される、請求項1に記載の気管支鏡検査システム。
【発明の詳細な説明】
【背景技術】
【0001】
内視鏡の一般的な分野では、患者の体内への可撓性導管の挿入を用いた、低侵襲性の診断及び手術を行うための様々な医療器具が開発されており、この導管からカメラ、器具、又は他の装置を挿入し、患者の体内の所望の位置に選択的に配置された導管の遠位端において操作することができる。例えば、気管支鏡、内視鏡、肛門鏡、S状結腸鏡、鼻喉頭鏡、及び喉頭鏡をはじめとする多くの種類の医療器具がこのような形で動作する。本明細書では、内視鏡、カテーテル、又は生検器具といったこうした医療器具の一般名称を、気管支鏡などのこうした器具の具体的な例と互換的に使用する場合がある。
【0002】
内視鏡医療器具を身体の標的領域の3次元(3D)デジタルマップと組み合わせて使用することで、医師又は操作者に診断及び/又は治療処置を適正に行ううえで必要とされる可視化及び情報を与えることができる。気管支鏡検査法は、内視鏡(例えば、気管支鏡)の肺への挿入を行う侵襲性の内視鏡手技の具体例である。気管支鏡検査法は、喉頭、気管、及び肺の他の気道などのヒトの呼吸器系の縦隔検査及び治療を行うために医師によって用いられている。例えば、気管支鏡検査法は、気道内の腫瘍、炎症、出血又は異物の位置を特定するために用いることができる。
【発明の概要】
【課題を解決するための手段】
【0003】
本明細書では、気管支鏡検査法のような内視鏡手技において自動ランドマーク位置合わせを行うための方法及びシステム並びに軌道情報及び形状推定を用いた位置合わせについて述べる。肺の術前のコンピュータトモグラフィ(CT)画像に基づいて肺の気道のセグメンテーション中心線を生成することができる。セグメンテーション中心線上で、肺の気道内の分岐点に対応した第1のランドマーク群を自動的に検出することができる。
【0004】
肺の気道を通じてカテーテルを誘導することができ、誘導の間のカテーテルの各位置を含む位置データ点群を生成することができる。この位置データ点群に基づいて肺の気道のバウンディングボリュームを生成することができ、気道のバウンディングボリュームからバウンディングボリューム中心線を検出することができる。次に、バウンディングボリューム中心線上で、セグメンテーション中心線上で自動的に検出された第1のランドマーク群に対応した気道内の第2のランドマーク群を検出することができる。次に、2つのランドマーク群を位置合わせの一環としてマッピングすることができる。
【0005】
気道を通じたカテーテルの誘導で軌道情報を形状推定ととともに用いることで肺の気道内の分岐点からのカテーテルの距離を特定して非剛体又は精密位置合わせを行うことができる。カテーテルの位置の長さ、カテーテルの折れ曲がり角、及びカテーテルの捻れ角に基づいてエネルギーモデルを生成することができる。第1のランドマーク群と第2のランドマーク群(the set of landmarks)との間のエネルギー値が最小となる経路を選択してよく、それにより正確な位置合わせが実現される。
【図面の簡単な説明】
【0006】
【
図1】例示的な可撓性気管支鏡検査システムのシステム図である。
【
図2】気管支鏡検査法における誘導に関係し得る肺内の経路を示した肺の解剖学的構造の例示的説明図である。
【
図3】解剖学的ランドマークの自動検出及び位置合わせプロセスの一環としての肺の気道内のカテーテルの経路の例示的な手技の断面図である。
【
図4A】肺の主気道の例示的な再構成の画像である。
【
図4B】肺の主気道の中心線の対応するスケルトン化画像である。
【
図5】本明細書の開示に基づく、気管支鏡検査システムで使用される例示的な自動ランドマーク位置合わせ手順のフロー図である。
【
図6A】気道体積のセグメンテーション及び気道体積から自動的に抽出された中心線のグラフである。
【
図6B】中心線上の分岐点にランドマークを特定する自動ランドマーク検出の結果を示す、抽出された中心線のグラフである。
【
図7】軌道情報及び形状推定を用いた改良された精密(非剛体)位置合わせプロセスの一環として肺の気道内のカテーテルの経路を示す肺の解剖学的構造の例示的な画像である。
【
図8】気管支鏡検査システムで使用するための軌道情報を用いる例示的な位置合わせ手順のフロー図である。
【
図9】長さ部分、折れ曲がり部分、及び捻れ部分を含んだエネルギーモデルの各要素の説明図である。
【0007】
【数1】
及び位置合わせの後の一致させられたカテーテル経路
【0008】
【発明を実施するための形態】
【0009】
本開示は、呼吸器及び肺系に行われる気管支鏡検査手技に関して説明されるが、当業者であれば、本開示は、呼吸/肺系、心臓系、消化器系、神経血管系、及び/又は循環器系を含むが、これらに限定されない、体内の任意の体腔又は系で使用することができるシステム及び手技に応用可能であることが理解されよう。
【0010】
誘導気管支鏡検査法(Navigated bronchoscopy)では、通常、医師による気道内への、視認用器具として機能し得る誘導カテーテル(例えば気管支鏡)の(例えば、口又は他の開口部若しくは切開部を介した)挿入を行う。例えば、気管支鏡にカメラ及び/又は電磁気(EM)センサを取り付けることで、気管支鏡が肺経路を通る際のビデオ、画像、及び/又はカテーテルの位置のセンサデータを捉えることができる。カテーテルは、限定するものではないが、以下の機能、すなわち、疾患組織に治療的アブレーションを行うために使用可能な電極を備える、光学センサを備える、かつ/又は温度センサを備える、などの他の機能を有することもできる。
【0011】
可撓性又は剛性の気管支鏡を使用することができる。剛性の気管支鏡は真っ直ぐな管であり、より太い気道内で、例えば、大量の血液、分泌物、異物、又は病変組織(病変部)を除去するか、又は出血を抑えるか、又はステントを挿入するために使用される。可撓性の気管支鏡は、より細い気道(例えば、細気管支)内へと動かすことができ、例えば酸素を供給し、分泌物を吸引し、生検を行い、かつ、肺に薬剤を投与するための呼吸管を挿入するために使用することができる。
【0012】
図1は、本明細書の開示に基づく、例示的な可撓性気管支鏡検査システム100のシステム図である。例示的な気管支鏡検査システム100は、カメラ又はセンサ及び付属の発光要素を配置することができる遠位端104を有する可撓性導管102を有している。
【0013】
例示的な気管支鏡検査システム100は、ロボットハンドル106及び付属コントローラ108並びにビデオディスプレイ110を含んでよく、これらは、医師又は他の操作者107が、患者105の肺122の気道120内の所望の位置にまで可撓性導管102の遠位端104を選択的かつ正確に挿入することを可能とする。例えば
図1は、可撓性導管102を挿入して腫瘍124の近くに可撓性導管102の遠位端104を配置した結果を示している。
【0014】
ディスプレイ110は、遠位端104のカメラ又はセンサからの画像を表示するように構成することができ、この画像を術前のコンピュータトモグラフィ(CT)画像(及び/又は核磁気共鳴映像法(MRI)画像)と合成することによって、医師107がロボットハンドル106を使用して所望の位置に到達するように可撓性導管102を挿入しながら気道120を通って誘導することを支援することができる。ロボットハンドル106は、医師107によって方向付けられる挿入動作を実行するために、少なくとも部分的にコントローラ108によって制御することができる。
【0015】
可撓性導管102は、遠位端104のカメラ、センサ、又は発光要素用のシグナリング要素の一部を構成することができる光ファイバ(例えば、導管102に沿って長さ方向に埋め込まれる)を有することができる。コントローラ108は、可撓性導管102の制御、及び、使用時にディスプレイ110上に表示されるグラフィックの一部として患者の気道120内の導管の位置の表現を表示することを支援するため、光ファイバを介してデータを生成する光ファイバセンシングを備えるように構成することができる。コントローラ108によって行われる光ファイバセンシングは、気管支鏡検査手技の間に導管102の経路及び曲率をその場で正確に計算することを可能とし得る。
【0016】
コントローラ108は、限定するものではないが、以下の要素(具体的には示されていない)、すなわち、プロセッサ、記憶媒体、及び/又はオペレータインターフェースのいずれか1つ又は2つ以上を有することができる。例えば、コントローラ108は、コンピュータの内部に格納することができる1つ又は2つ以上の信号処理回路を有することができる。コントローラ108は、ハードウェア内に実装され、かつ/又は気管支鏡検査システム100の機能を実行するようにソフトウェアでプログラムされることができる。このソフトウェアは、例えば、ネットワークを介して電子的形態でコントローラ108にダウンロードされてもよく、かつ/又は磁気若しくは光学媒体若しくは他の不揮発性メモリなどの有形媒体上で与えられてもよい。例えば、コントローラ108(例えば、プロセッサ及び/又は記憶媒体)にソフトウェアモジュールをダウンロードしてインストールすることにより気管支鏡検査システム100を機能向上させることができる。1つの例では、コントローラ108は汎用コンピュータを含み得る。
【0017】
図1に示される気管支鏡検査システム100のような誘導画像型気管支鏡検査システムでは、医師は肺の内部でカテーテル(例えば、気管支鏡、生検ツールなど)を手動で誘導するため、支障なく肺を通じて誘導して気管支鏡検査手技を行ううえで周辺の解剖学的構造の視覚化に頼っている。気管支鏡及び/又は生検ツールの位置を追跡し、患者の肺の視覚表示された3次元(3D)マップにリアルタイムで表示することができ、これにより、操作者に所定の標的(例えば、腫瘍又は病変部)に向かう気管支内経路が与えられる。
【0018】
気管支鏡検査手技に先立って肺の3Dマップを生成するには、患者の肺の術前の2次元(2D)CT画像(MRI画像をこれに代えて又はこれに加えて用いてもよい)を異なる角度から撮影し、デジタル処理を用いて合成することによって、気道樹の複雑な構造を含む患者の肺の単一の3D像を形成することができる。このプロセスは医療画像セグメンテーションと呼ばれ、術前画像から対象とする解剖学的構造(この場合、気道内の)を分離及び抽出することによって2D画像から3D再構成像を形成するために医療イメージングにおいて一般的に用いられている。
【0019】
気道のセグメンテーションは気道の複雑な構造のために特に困難であり、一部の気管支の極めて小さい直径(例えば、細気管支の直径は1ミリメートル(mm)未満であり得る)のため、CT(又はMRI)画像上で気管支を区別することは困難である。気道のセグメンテーションを行うための方法の1つの例として、例えば、気管及び2本の一次気管支のそれぞれの内部においてCT(又はMRI)画像上の3個(又はそれよりも多い)種子点又はランドマークを特定することを行うものがある。これらのランドマークを用いることによって、3つのセグメンテーションプロセスの開始点として用いるための3つの異なる部分に体積を分割することができる。
【0020】
図2は、気管支鏡検査法における誘導に関係し得る肺内の経路を示した肺の解剖学的構造200の例示的説明図である。例えば、気道のセグメンテーションによって生成される肺のマップは、限定するものではないが、肺の解剖学的構造200の以下の要素、すなわち、喉頭202、気管204、一次気管支206、二次気管支208、三次気管支210、及び/又は細気管支212を示すことができる。図に示されていない他の要素を、限定するものではないが、以下のもの、すなわち、肺動脈、肺静脈、及び/又は右及び左肺を含む肺のマップに含めることができる。
【0021】
肺の3Dマップが生成された時点で、画像と患者との位置合わせを用いて、患者の体内でのカテーテルの誘導の経路を肺の3Dマップに対して正確に整合させることができる。一般的に、画像位置合わせとは、異なるデータ点群を1つの座標系に変換するプロセスであり、異なる位置データ点のソースから得られたデータ点を統合するために医療イメージングで用いられており、2D及び3D画像に用いることができる。画像位置合わせの最終目的の1つは、2つの画像の対応する点をできるだけ近づけることにある。医療イメージングにおける画像位置合わせは、一般的には、身体の解剖学的領域の運動を考慮しなくてはならず、そのため、複数の画像を撮影して解剖学的領域の単一の固定画像に変換することができる。
【0022】
気管支鏡検査法、又は内視鏡検査法一般において、画像位置合わせは、内側からの気道(又は他の臓器)の画像を、カテーテルを用いてCTスキャンからの画像に対してマッピングする機能を有する。位置合わせは、カテーテルの誘導に用いられる座標系X(例えば、標的画像)とセグメンテーションにおいてCT(又はMRI)スキャンに用いられる座標系Y(例えば、参照画像)とをマッピングするための幾何的変換を行うことによって得ることができる。例えば、座標系X内の点xが座標系Y内の点yに対応している場合、効果的な位置合わせによって、Tが点xに適用される変換関数であるものとして、変換後の点x’=T(x)は、yに等しいか又はほぼ等しくなる。
【0023】
画像と患者との位置合わせの1つの例として、中心線に基づいた位置合わせがあり、この位置合わせでは、気管支鏡(カテーテル)の先端が気道を通る経路(例えば、気管又は気管支)を通って誘導される際の気管支鏡の先端からの位置データを、術前CT画像からの患者の肺の気管気管支内の内腔(すなわち、内部空間)の経路(すなわち、中心線)と一致させる。位置合わせには、回転、拡大縮小、及び/又は平行移動を含み得る線形変換を用いて、CT画像の座標系と物理的世界の座標系(例えば、カテーテルによって用いられる磁気座標系)との間で点のペアを一致させることを行う「剛体」位置合わせが含まれる。
【0024】
剛体位置合わせにおいて用いられる線形変換では、画像間のすべての局所的幾何形状の差をモデリングすることはできない可能性がある。したがって、標的画像を曲がらせて参照画像と整合することが可能な変換を使用することができる弾性体又は非剛体位置合わせ(精密位置合わせとも呼ばれる)を用いることもできる。非剛体位置合わせは、三次気管支及び細気管支のような肺の細い遠位気道内の正確な位置情報を取得して一致させるうえで特に有用である。
【0025】
1つの例では、剛体位置合わせの一部として、ソース点群の点を参照点群の最近傍の対応する点と一致させる反復最近傍点(iterative closest point、ICP)アルゴリズムを用いて、追跡された気管支鏡の経路(例えば、カテーテル位置点群)をセグメンテーションにおいて特定された中心線に対してマッピングすることができる。この場合、ICPアルゴリズムは、予備点群ランドマーク位置合わせプロセスによって生成することができる気道中心線に沿った主要参照点又はランドマーク(すなわち、種子点)を利用することができる。
【0026】
現在のところ、気管支鏡検査法のセグメンテーション及び位置合わせプロセスは、ランドマークの選択(すなわち、気管及び気管支内の種子点の配置)が医師又は操作者によって手動で行われているために半自動化されているのみであり、全自動化はされておらず、時間及びコストがかかり、人的エラーを生じやすいものとなっている。したがって、カテーテルで速やかに気管及び左右の主(一次)気管支を探索することにより、気管支鏡検査システムが誘導座標系とCT座標系との正確な位置合わせを得ることができることで、CT画像及びそのセグメンテーションの結果上を遠位の気管支(例えば二次及び三次気管支並びに細気管支)へと更に誘導されるような正確かつ自動的な位置合わせプロセスが医師によって求められている。
【0027】
開示される気管支鏡検査システムは、カテーテルからの誘導情報を用いて肺内の解剖学的ランドマークを自動的に検出することでより有効な誘導情報を与えるものである。
図3は、本明細書の開示に基づく、解剖学的ランドマークの自動検出及び位置合わせプロセスの一環としての肺306の気道内のカテーテル302の経路の例示的な断面
図300である。例示的な画像300では、カテーテル302は肺306の主気道304を通って誘導されている。カテーテル302が主気道の「T」合流点又は分岐点308に到達すると、位置合わせプロセスが気道の構造を自動的に検出し、自動的に検出された分岐点308をランドマークとしてマークすることにより位置合わせを更新する。解剖学的ランドマークの自動検出及び位置合わせを用いた開示される気管支鏡検査システムについて以下に更に詳しく述べる。
【0028】
本明細書の開示によれば、位置合わせプロセスの一環として、開示される気管支鏡検査システムは、医師が主気道部分内でカテーテルを操作する間に、カテーテル内に配置された複数のセンサ又は光ファイバを用いてカテーテルの位置を収集することができる。カテーテル誘導の間に収集された位置点を用い、開示される気管支鏡検査システムは主気道の軌道を再構成し、軌道の中心線を自動的にスケルトン化することができる。次いで、開示される気管支鏡検査システムは、中心線の各枝分かれ点(分岐点に対応する)を特定することにより主気道の中心線合流点のすべてを検出し、各枝分かれ点の位置をランドマークの候補として定義することができる。
図4Aは、気管404及び左右の一次気管支406を含む、肺の主気道の例示的な再構成400Aの画像を示し、
図4Bは、気管404及び左右の一次気管支406を含む、肺の主気道の中心線の対応するスケルトン化された画像400Bを示し、中心線に枝分かれ点が存在する位置の気道の合流点において自動的に検出された近位分岐点又はランドマーク410が示されている。
【0029】
開示される気管支鏡検査システムは、気管支鏡検査法に先立って取得された肺の主気道のCT(又はMRI)画像をセグメント化し、主気道の合流点を自動的に検出しつつCT画像の中心線をスケルトン化することもできる。したがって、開示される気管支鏡検査システムは、カテーテル及び術前CTスキャンをそれぞれ用いた誘導プロセスに基づいて、肺の主気道の中心線合流点の位置を2群、生成することもできる。次いで、開示される気管支鏡検査システムは、下記で述べるようにして2群の中心線合流点の位置間の点群位置合わせを行うことができる。
【0030】
例えば、開示される気管支鏡検査システムは、点群の位置合わせの結果から開始して、誘導の間に構成された軌道点(すなわち、中心線に沿った合流点を特定する点群)と、気道セグメンテーションの間に構成された軌道点(すなわち、CTスキャンに基づいたもの)との間でICP位置合わせを行うことができる。1つの例では、開示される気管支鏡検査システムは、シンプレックスアルゴリズムのような線形プログラミングアルゴリズムを用いたICPプロセスによって位置合わせの結果を最適化することができる。
【0031】
開示される気管支鏡検査システムは、画像位置合わせに使用される肺内のランドマークを自動的に検出して位置合わせすることによってより有効な誘導情報を与えることで、現在の位置合わせシステムを向上させるものである。開示されるシステムは、使用者による最初の位置合わせを行う必要をなくし、ランドマーク(例えば、気道の分岐点又は合流点)の選択における人的エラーを防止するものである。
【0032】
図5は、本明細書の開示に基づく、気管支鏡検査システムで使用される例示的な自動ランドマーク位置合わせ手順500のフロー図である。自動ランドマーク位置合わせ手順500では、CT画像を気管支鏡の経路と整合させるために中心線に基づいた位置合わせが用いられるが、他の位置合わせ法も同様に用いることができる。
【0033】
502で、肺を通る経路のセグメンテーション中心線をCT画像(及び/又はMRI画像)に基づいて生成することができる。セグメンテーション中心線は、中心線を抽出するための任意の方法を用いて生成することができる。例えば、CTスキャン画像からの気道の表面モデルに細線化アルゴリズムを適用することができる。
【0034】
504で、近位分岐点(ランドマーク)がセグメンテーション中心線上で自動的に検出される。例えば、
図4Bを参照すると、4個の近位分岐点410が検出されている。肺の解剖学的構造のため、気管と一次気管支との合流点、及び一次気管支と二次気管支との合流点のような主要合流点では、3個以上のランドマークが検出されることが好ましい。CTスキャンからのランドマークは、中心線の階層的枝分かれ点として検出され得る(
図4Bに示される)。
【0035】
506において、カテーテルが気道を通じて誘導され、誘導の間のカテーテルの位置について位置データ点群が生成される。例えば、カテーテルは、肺の主要経路(例えば、気管、一次気管支、二次気管支)を通って誘導の間のカテーテルの位置を記録することによって位置データ点群を生成することができる(例えば、身体の下に配置された参照装置配列に対するカテーテルの遠位先端の位置、方向及び/又は距離を決定することにより)。508において、気道の表面の幾何形状を検出することにより、カテーテルがそれまでにあった位置の位置データ点群から気道のバウンディングボリュームを生成することができる(すなわち、全カテーテル位置を含む3Dのカテーテル位置の点群)。例えば、αボリュームアルゴリズムのような解剖学的構造マッピングプログラムによって、位置データ点群から気道の室形状を生成することができる。
【0036】
510において、気道のバウンディングボリュームから中心線を検出することができる(例えば、細線化アルゴリズムを用いて)。512において、ステップ504からのセグメンテーション中心線上の近位分岐点に対応した近位分岐点(3個以上)を、バウンディングボリューム中心線上で自動的に検出することができる。カテーテルの各位置からのランドマークを、バウンディングボリューム中心線の枝分かれ点を検出することによって検出することができる。
【0037】
図6A及び
図6Bは、自動ランドマーク検出を用いて特定された分岐点を有する例示的な気道中心線604のグラフ600A及び600Bを示す。詳細には、
図6Aは、灰色で示される気道体積602のセグメンテーション、及び黒い線で示される気道体積602から自動的に抽出された中心線604のグラフ600Aである。中心線604は、カテーテルの経路(図には示されていない)に一致している。グラフ上で標識されたノード(例えば、ノード1、ノード2など)はCTスキャンから検出された候補ランドマークであり、検出された候補ランドマークの任意のサブセット(又はすべて)をランドマーク位置合わせに使用されるランドマークとして選択することができる(下記に述べるステップ514)。
図6Bは、中心線604上の分岐点(例えば、枝分かれ点)に黒い丸によって示される、ランドマーク606を自動的に特定する自動ランドマーク検出の結果を示す、抽出された中心線604のグラフ600Bである。この例では、ランドマーク606は気管と一次気管支との間、及び一次気管支と二次気管支との間に特定されている。
図6Bは、3個の検出されたランドマーク606を示しているが、任意の数のランドマークが特定されてよい。
【0038】
再び
図5を参照すると、514において、ランドマーク位置合わせ手順を行ってバウンディングαボリューム中心線上の近位分岐点をセグメンテーション中心線上の近位分岐点に対してマッピングすることができ、これにより、CTスキャンによって生成された肺のマップと肺内のカテーテルの経路との間の必要な対応関係を与えることで気管支鏡検査法における正確な誘導を実現することができる。1つの例では、特異値分解(singular value decomposition、SVD)アルゴリズムを用いて2つの点群をマッピングすることができる。
【0039】
CT画像からのランドマークとカテーテルの位置からのランドマークとを組み合わせるため、異なる解剖学的特徴を比較することができる。例えば、気管からの第1の分岐点又は枝分かれ点を、両方の点群において主枝分かれ点として定義することができる。主枝分かれ点と二次枝分かれ点(例えば、一次気管支と二次気管支との間)との間の距離を2つの点群間で比較することができる。主枝分かれ点と二次枝分かれ点との間の角度も比較することができる。このプロセスを、例えば、二次枝分かれ点から三次枝分かれ点まで(例えば、二次気管支と三次気管支との間)、といった具合に繰り返すことができる。
【0040】
画像と患者との位置合わせの別の問題点として、精密又は非剛体位置合わせの精度が、カテーテルの遠位端が三次気管支及び細気管支のような細い遠位気道に入って行くにしたがって低下することがあり、気道内のカテーテルの正確な位置(場所)を決定するうえで不正確さを生じる。現在のところ、医師は肺の内部でカテーテルを手で誘導しているが、これにより、例えばそれが腫瘍の位置である場合には、遠位気道内を含む周辺の解剖学的構造の詳細かつ正確な可視化が必要となり得る。
【0041】
上記で述べたように、画像位置合わせプロセスは、異なるデータ群を1つの座標系に変換する。気管支鏡検査法では、第1のデータ位置点群はカテーテルが気道を通って誘導される際のカテーテル先端の位置についてのものであり(例えば電磁誘導システムによって取得される)、第2の位置データ点群は気管支の画像についてのものである(例えば、CT画像に基づいた)。例えば、画像位置合わせは、気管及び気管支のような肺の特定の領域をマッピングすることができる。本明細書の開示は、形状推定とともに軌道情報を用いた非剛体位置合わせのための改良された位置合わせプロセス及びシステムを提供することにより、肺の内部、特に正確なカテーテル位置情報を得ることが困難な細い遠位気道内で誘導を行うためのより正確な位置合わせを提供するものである。
【0042】
開示される位置合わせシステム及びプロセスは、形状推定用のカテーテル内の複数のセンサ又は光ファイバを使用してカテーテルの軌道を追跡することにより、従来の位置合わせシステムを改良するものである。形状推定では、分配ブラッグ反射器(distributed Bragg reflector、DBR)(例えば、ファイバブラッグ格子(Fiber Bragg Grating、FBG))に基づいた連続光ファイバ(光学)形状センサをカテーテルに使用することで、空間的に連続した形で感知することができるカテーテルを誘導及び配置することを支援し、これにより、カテーテルの長さ全体の位置に関する情報が与えられる。気管支鏡検査システムは、形状推定を用いて気道の実際の形状とカテーテルの軌道とを比較することでより正確な位置合わせを得ることができる。この方法を用いることで、本システム及び方法は、気道の運動(例えば、呼吸などによって生じる解剖学的構造の運動による)、更には、カテーテル又は気管支鏡によって加えられる機械的応力によるCT画像内の気道の形状に対する現実世界の気道の変形を補償することができる。
【0043】
図7は、本明細書の開示に基づく、軌道情報及び形状推定を用いた改良された精密(非剛体)位置合わせプロセスの一環として肺の気道内のカテーテル702の経路を示す肺の解剖学的構造700の例示的な画像である。医師が気管704のような気道内でカテーテル702を誘導し、カテーテル702が気管704から気管支706へのT合流点708のような気道内のT合流点又は分岐点に近づくと、医師は形状推定とともに軌道情報を用いてT合流点708からのカテーテル702の距離を特定することができる。より詳細には、カテーテル702が合流点708に達した時点で、カテーテル702の経路の位置合わせを軌道情報を用いて更新することができ、形状推定を用いることで肺の経路の解剖学的構造のマッピング及び表示が向上する。
【0044】
開示される位置合わせシステム及びプロセスは、形状推定とともに複数のセンサ及び光ファイバを使用したカテーテルの軌道の追跡を行うことで、肺の経路の解剖学的構造のマッピング及び表示を向上させるものである。誘導の間のカテーテルの磁気的位置の経路を用いることで、位置合わせプロセスの平行移動及び/又は回転を改善することができる。すなわち、カテーテルの先端の位置のみでなく、カテーテルの経路が分かるため、開示される位置合わせシステムは、カテーテルの経路と比較してありえない解剖学的構造を除去することにより、正確な位置情報を特定することができる。
【0045】
図8は、本明細書の開示に基づく、気管支鏡検査システムで使用するための軌道情報を用いる例示的な位置合わせ手順800のフロー図である。802において、ランドマーク位置合わせを行って、カテーテルの経路に基づいた標的座標系と、CT画像に基づいた参照座標系とを、例えば上記に述べた方法のいずれか(例えば、
図5の自動ランドマーク位置合わせ手順500)を用いて位置合わせする。1つの例では、ICPアルゴリズムを用いて剛体位置合わせを改善することができる。
【0046】
804において、エネルギーモデルを生成することができる。エネルギーモデルは、カテーテルの各点によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、術前画像の一致させられた点によって形成される長さ、折れ曲がり角、及び捻れ角と比較することによって定義され得る。形状の長さ、折れ曲がり角、及び捻れ角は、最初に各点群について別々に計算することができる(すなわち、カテーテルの点群及び術前画像からの一致させられた点)。
【0047】
図9は、本明細書の開示に基づく、長さ部分、折れ曲がり部分、及び捻れ部分を含んだエネルギーモデルの各要素の説明図である。
図9及び式1を参照すると、Pが標的座標系(カテーテルの位置に基づく)又は参照座標系(術前CT又はMRI画像に基づく)内の位置点群を示すものとすると、経路に沿ったP内の各点からP内の結果としての点までのベクトルはDPで表すことができる。長さΔLを、経路に沿ったP内の任意の2個の結果としての(すなわち、連続した)点間の距離として定義することができる。αで示される折れ曲がり角は、2本の結果としてのDPベクトル間の角度として定義することができる。2本の結果としてのDPベクトルは平面を画定し、θで表される捻れ角は2つの結果としての平面間の角度として定義することができる。
【0048】
したがって、カテーテル経路内の長さ、折れ曲がり角、及び捻れ角を表すエネルギーEは、式1によって定義することができる。すなわち、
【0049】
【数3】
(式中、K
Lは、弾性伸び係数であり、ΔL
i
2は、磁気経路と一致経路との間の長さの変化であり、K
αは、弾性曲げ係数であり、Δα
i
2は、磁気経路及び一致経路の2つの連続した部分間の角度の変化であり、K
θは、弾性捻れ係数であり、Δθ
i
2は、磁気経路及び一致経路の3つの連続した部分間の捻れ角の変化であり、L
i、L
i+1、及びL
i+2は、エネルギーの計算に用いた経路の長さにわたった各部分の長さである)。
【0050】
図8を参照すると、806において、標的(カテーテル誘導)座標系と参照(CTスキャンに基づく)座標系との間の最小エネルギーE(例えば、式1を用いる)を表す経路を選択し、これにしたがって位置合わせを計算する。
【0051】
【0052】
【数4】
及び位置合わせ後の一致させられたカテーテル経路
【0053】
【0054】
【数6】
は、カテーテル経路を変化させるエネルギー値Eが最小となる経路である。
【0055】
本明細書に記載の実施形態及び処置は、ハードウェア及び/又はソフトウェアに実装され得る。アブレーションを実行するためのコンピュータシステムは、本明細書に記載の処置を含む、付加的な機能を導入するソフトウェアモジュールを実行することができ得る。本明細書に記載の処置は、高度な心臓可視化と、心臓リズム障害を診断し、治療する医師の能力を強化するための診断能力を有効にし得る。本明細書に開示される処置は、心臓内のアブレーション処置に関して述べられているが、これらの処置は、身体の他の部分におけるアブレーションにも同様に使用され得る。
【0056】
〔実施の態様〕
(1) 気管支鏡検査手技において自動ランドマーク位置合わせを行うための方法であって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成することと、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成することと、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第1の複数のランドマークを自動的に検出することと、
前記肺の前記気道を通じた誘導の間のカテーテルの位置に基づいた位置データ点群を生成することと、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成することと、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出することと、
前記バウンディングボリューム中心線上で、前記第1の複数のランドマークの分岐点に対応する第2の複数のランドマークを自動的に検出することと、
前記第2の複数のランドマークの対応する点に対して前記第1の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合することと、を含む、方法。
(2) 前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示することを更に含む、実施態様1に記載の方法。
(3) 前記肺の前記気道の前記マップが、2次元(2D)又は3次元(3D)画像として視覚的に表示される、実施態様2に記載の方法。
(4) 前記複数のランドマークが、3つ以上のランドマークを含む、実施態様1に記載の方法。
(5) 前記セグメンテーション中心線上で前記第1の複数のランドマークを自動的に検出すること、及び前記バウンディングボリューム中心線上で前記第2の複数のランドマークを自動的に検出することが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することを含む、実施態様1に記載の方法。
【0057】
(6) 前記肺の前記気道内の前記分岐点が、前記肺の気管と前記肺の少なくとも1つの気管支との間の第1のT合流点、及び前記肺の第1の気管支と前記肺の第2の気管支との間の第2のT合流点を含む、実施態様1に記載の方法。
(7) 前記マッピングを生成することが、特異値分解(SVD)を用いる、実施態様1に記載の方法。
(8) 前記肺の前記術前画像が、コンピュータトモグラフィ(CT)又は核磁気共鳴画像法(MRI)を用いて生成される、実施態様1に記載の方法。
(9) 前記カテーテルを前記肺の前記気道を通じて誘導することが、
形状推定とともに軌道情報を用いて前記肺の前記気道内のT合流点からの前記カテーテルの距離を特定することを含む、実施態様1に記載の方法。
(10) 前記形状推定が、
誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算することと、
前記エネルギー値が最小となる経路を選択することと、を含む、実施態様9に記載の方法。
【0058】
(11) 気管支鏡検査手技において自動ランドマーク位置合わせを行うように構成された気管支鏡検査システムであって、
カテーテル及び視覚的ディスプレイ装置に動作可能に接続されたプロセッサであって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成するように構成され、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成するように構成され、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第1の複数のランドマークを自動的に検出するように構成され、
前記肺の前記気道を通じた誘導の間の前記カテーテルの位置に基づいた位置データ点群を生成するように構成され、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成するように構成され、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出するように構成され、
前記バウンディングボリューム中心線上で、前記第1の複数のランドマークの前記分岐点に対応する第2の複数のランドマークを自動的に検出するように構成され、
前記第2の複数のランドマークの対応する点に対して前記第1の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合するように構成された、プロセッサ、を含む、気管支鏡検査システム。
(12) 前記視覚的ディスプレイが、前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの前記位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示するように構成されている、実施態様11に記載の気管支鏡検査システム。
(13) 前記視覚的ディスプレイが、前記肺の前記気道の前記マップを2次元(2D)又は3次元(3D)画像として視覚的に表示する、実施態様12に記載の気管支鏡検査システム。
(14) 前記複数のランドマークが、3つ以上のランドマークを含む、実施態様11に記載の気管支鏡検査システム。
(15) 前記プロセッサが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することにより、前記セグメンテーション中心線上で前記第1の複数のランドマークを自動的に検出し、前記バウンディングボリューム中心線上で前記第2の複数のランドマークを自動的に検出するように構成されている、実施態様11に記載の気管支鏡検査システム。
【0059】
(16) 前記肺の前記気道内の前記分岐点が、前記肺の気管と前記肺の少なくとも1つの気管支との間の第1のT合流点、及び前記肺の第1の気管支と前記肺の第2の気管支との間の第2のT合流点を含む、実施態様11に記載の気管支鏡検査システム。
(17) 前記プロセッサが、特異値分解(SVD)を用いて前記マッピングを生成するように構成されている、実施態様11に記載の気管支鏡検査システム。
(18) 前記肺の前記術前画像が、コンピュータトモグラフィ(CT)又は核磁気共鳴画像法(MRI)を用いて生成される、実施態様11に記載の気管支鏡検査システム。
(19) 前記肺の前記気道を通じた前記カテーテルの誘導は、前記プロセッサが形状推定とともに軌道情報を用いて前記肺の前記気道内のT合流点からの前記カテーテルの距離を特定することを含む、実施態様11に記載の気管支鏡検査システム。
(20) 前記プロセッサが、誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算し、前記エネルギー値が最小となる経路を選択することにより形状推定を実行する、実施態様19に記載の気管支鏡検査システム。