知財求人 - 知財ポータルサイト「IP Force」
特許7195279画像の三次元再構成及び改善された対象物定位のために、放射状気管支内超音波プローブを用いるための方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-15
(45)【発行日】2022-12-23
(54)【発明の名称】画像の三次元再構成及び改善された対象物定位のために、放射状気管支内超音波プローブを用いるための方法
(51)【国際特許分類】
A61B 8/12 20060101AFI20221216BHJP
A61B 6/00 20060101ALI20221216BHJP
A61B 6/12 20060101ALI20221216BHJP
【ＦＩ】
A61B8/12
A61B6/00 370
A61B6/12
A61B6/00 360B
【請求項の数】
10
(21)【出願番号】P 2019564828
(86)(22)【出願日】2018-05-24
(65)【公表番号】
(43)【公表日】2020-07-16
(86)【国際出願番号】 IB2018000624
(87)【国際公開番号】W WO2018215832
(87)【国際公開日】2018-11-29
【審査請求日】2021-03-11
(31)【優先権主張番号】62/510,729
(32)【優先日】2017-05-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516201939
【氏名又は名称】ボディ・ビジョン・メディカル・リミテッド
【氏名又は名称原語表記】Ｂｏｄｙ Ｖｉｓｉｏｎ Ｍｅｄｉｃａｌ Ｌｔｄ．
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100189544
【弁理士】
【氏名又は名称】柏原 啓伸
(72)【発明者】
【氏名】ドリアン・アベルブフ
【審査官】森口 正治
(56)【参考文献】
【文献】特表２０１７－５３６８７０（ＪＰ，Ａ）
【文献】特開２０１４－０６１０９３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００－８／１５
Ａ６１Ｂ ６／００
Ａ６１Ｂ ６／１２
(57)【特許請求の範囲】
【請求項1】
イメージングモダリティから少なくとも１つの術前画像を取得するステップと、前記少なくとも１つの術前画像において、ユーザの選択により、関心領域内に位置する少なくとも１つの要素を識別するステップと、
少なくとも１つの術中画像を取得するステップと、
前記少なくとも１つの術前画像と前記少なくとも１つの術中画像の間の位置合わせを介して、前記少なくとも１つの術中画像上で前記識別された少なくとも１つの要素をハイライトするステップと、
前記少なくともハイライトされた少なくとも１つの要素を用いて放射状気管支内超音波プローブを前記関心領域にナビゲートするための情報を提供するステップと、
複数の放射状気管支内超音波画像を取得するステップと、
前記要素の複数の二次元表現を抽出するステップであって、前記要素の前記複数の二次元表現の各々は前記複数の放射状気管支内超音波画像のうちの対応するものから抽出される、ステップと、
前記要素の前記複数の二次元表現から前記要素の三次元表現を再構築するステップと、
前記少なくとも１つの術中画像のうちの少なくとも１つに、前記要素の前記三次元表現の二次元投影を投影するステップとを含む、
コンピュータ実装方法。
【請求項2】
前記少なくとも１つの術中画像のうちの少なくとも１つに前記要素の前記三次元表現の二次元投影を投影するステップは、リアルタイムで実行される、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記関心領域から前記放射状気管支内超音波プローブを除去するための情報を提供するステップと、更なる気管支内ツールを前記関心領域にナビゲートするための情報を提供するステップとを更に含む、
請求項１に記載のコンピュータ実装方法。
【請求項4】
前記更なる気管支内ツールを用いて前記要素に処置を実行するための情報を提供するステップを更に含む、請求項３に記載のコンピュータ実装方法。
【請求項5】
前述の更なる気管支内ツールを除去するための情報を提供するステップと、放射状気管支内超音波プローブを関心領域にナビゲートするための情報を提供するステップと、複数の更新された放射状気管支内超音波画像を取得するステップと、要素の複数の更新された二次元表現を抽出するステップであって、要素の複数の更新された二次元表現の各々は、複数の更新された放射状気管支内超音波画像のうちの対応するものから抽出される、ステップと、並びに、要素の複数の二次元表現から要素の更新された三次元表現を再構築するステップとを更に含む、請求項４に記載のコンピュータ実装方法。
【請求項6】
前記放射状気管支内超音波プローブの中心と前記対象物の境界上の複数の境界点との間の距離を計算するステップと、及び、前記距離のうちの最大値に基づいて切除のマージンサイズを推定するステップとを更に含む、
請求項１に記載のコンピュータ実装方法。
【請求項7】
前記少なくとも１つの術中画像は、Ｘ線画像を含む、請求項１に記載のコンピュータ実装方法。
【請求項8】
前記要素の前記三次元表現は、前記複数の術中画像のうちの１つからの体積の再構築のための前段階として用いられる、請求項１に記載のコンピュータ実装方法。
【請求項9】
前記対象物の前記三次元表現を、三次元の計算された断層撮影体積に位置合わせするステップと、前記三次元の計算された断層撮影体積からの、前記要素の前記三次元表現を、前記少なくとも１つの術中画像のうちの少なくとも１つの上に投影するステップとを更に含む、
請求項１に記載のコンピュータ実装方法。
【請求項10】
前記三次元の計算された断層撮影体積は、術前の計算された断層撮影スキャン体積、又は、前記少なくとも１つの術中画像から再構築された三次元の計算された断層体積である、請求項９に記載のコンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照．
本出願は国際（ＰＣＴ）出願であり、２０１７年５月２４日に出願された、共有でありかつ同時係属中の米国特許仮出願第６２／５１０，７２９号（発明の名称「画像の三次元再構成及び改善された対象物定位のために、放射状気管支内超音波プローブを用いるための方法」）に関連し、当該仮出願の内容は全体を通して参照により本明細書に組み込まれる。
本出願は国際（ＰＣＴ）出願であり、２０１７年５月２４日に出願された、共有でありかつ同時係属中の米国特許仮出願第６２／５１０，７２９号（発明の名称「画像の三次元再構成及び改善された対象物定位のために、放射状気管支内超音波プローブを用いるための方法」）に関連し、当該仮出願の内容は全体を通して参照により本明細書に組み込まれる。
【0002】
本発明は医療イメージングに関する。より詳細には、本発明は、放射状気管支内超音波イメージングを用いて得られた画像を使用して、医療画像内の対象物（病変等）の定位を提供する方法に関する。
【背景技術】
【0003】
放射状気管支内超音波は、患者の気管支通路内に配置されたプローブから放射状に超音波が放射される医療画像技術である。超音波は気管支通路の周囲の患者の組織の断面（例えば「スライス」等）を示す医療画像を生成するために処理される。
【発明の概要】
【課題を解決するための手段】
【0004】
ある実施形態において、方法は、イメージングモダリティから少なくとも１つの術前画像を取得するステップと、少なくとも１つの術前画像上で、関心領域内に位置する少なくとも１つの要素を識別するステップと、少なくとも１つの術中画像を取得するステップと、少なくとも１つの術中画像上の少なくとも１つの要素をハイライトするステップと、少なくともハイライトされた少なくとも１つの要素を用いて、放射状気管支内超音波プローブを関心領域にナビゲートするステップと、複数の放射状気管支内超音波画像を取得するステップと、要素の複数の二次元表現を抽出するステップであって、当該要素の複数の二次元表現の各々は複数の放射状気管支内超音波画像のうちの対応するものから抽出される、ステップと、要素の複数の二次元表現から要素の三次元表現を再構築するステップと、少なくとも１つの術中画像のうちの少なくとも１つに、要素の三次元表現の二次元投影を投影するステップとを含む。
【0005】
ある実施形態では、少なくとも１つの術中画像のうちの少なくとも１つに要素の三次元表現の二次元投影を投影するステップは、リアルタイムで実行される。
【0006】
ある実施形態では、方法は、関心領域から放射状気管支内超音波プローブを除去するステップと、更なる気管支内ツールを関心領域にナビゲートするステップとを含み得る。ある実施形態では、方法は、更なる気管支内ツールを用いて、要素に対してある処置を実行するステップを含む。ある実施形態では、方法は、前述の更なる気管支内ツールを除去するステップと、放射状気管支内超音波プローブを関心領域にナビゲートするステップと、複数の更新された放射状気管支内超音波画像を取得するステップと、要素の複数の更新された二次元表現を抽出するステップであって、要素の複数の更新された二次元表現の各々は、複数の更新された放射状気管支内超音波画像のうちの対応するものから抽出される、ステップと、並びに、要素の複数の二次元表現から要素の更新された三次元表現を再構築するステップとを含む。
【0007】
ある実施形態では、方法は、放射状気管支内超音波プローブの中心と、対象物の境界上の複数の境界点との間の距離を計算するステップと、距離の最大値に基づいて切除のマージンサイズを推定するステップとを含む。ある実施形態では、少なくとも１つの術中画像は、Ｘ線画像を含む。
【0008】
ある実施形態では、要素の三次元表現は、術中画像のうちの少なくとも１つからの、立体再構築の前段階として用いられる。ある実施形態では、方法はまた、対象物の三次元表現を三次元の計算された断層撮影立体に位置合わせするステップと、及び、少なくとも１つの術中画像のうちの少なくとも１つに、三次元の計算された断層撮影立体から要素の三次元表現を投影するステップとを含む。ある実施形態では、三次元の計算された断層撮影立体は、術前の計算された断層撮影スキャン立体又は少なくとも１つの術中画像から再構築された三次元の計算された断層撮影立体である。
【0009】
ある実施形態では、方法は、気管支内超音波プローブを関心領域にナビゲートするステップと、複数の放射状気管支内超音波画像及び複数の術中画像を取得するステップであって、複数の放射状気管支内超音波画像の各々は、複数の術中画像のうちの１つ及び超音波プローブの異なる位置に対応する、ステップと、術中画像の各々から放射状気管支内超音波プローブの先端の位置を抽出するステップと、術中画像及び気管支内超音波画像の組のデータベースを生成するステップであって、当該組の各々は、術前画像座標系の特定のプローブ先端の位置と方向とに対応する、ステップと、関心領域から放射状気管支内超音波プローブを除去するステップと、更なる気管支内ツールを関心領域にナビゲートするステップと、更に複数の術中画像を取得するステップと、上述の複数の術中画像から上述の更なる気管支内ツールの位置を抽出するステップと、上述の更なる気管支内ツールの位置に最も密接に対応するデータベース内の組のうちの１つを識別するステップと、並びに、上述の組のうちの識別されたものに対応する超音波画像を表示するステップとを含む。
【0010】
ある実施形態では、更なる気管支内ツールは、生検器具又は切除カテーテルである。ある実施形態では、方法は、イメージングモダリティから少なくとも１つの術前画像を取得するステップと、少なくとも１つの術前画像上で、関心領域内に位置する少なくとも１つの要素を識別するステップと、少なくとも１つの術中画像を取得するステップと、少なくとも１つの術中画像上の少なくとも１つの要素をハイライトするステップとを含み、放射状気管支内超音波プローブを関心領域にナビゲートするステップは、ハイライトされた少なくとも１つの要素を用いて実行される。
【0011】
ある実施形態では、方法は、気管支内超音波プローブを関心領域にナビゲートするステップと、放射状気管支内超音波プローブの確認された位置を選択するステップと、放射状気管支内超音波プローブが確認された位置に配置されている間に、関心領域の少なくとも１つの術中画像を取得するステップと、少なくとも１つの術中画像の少なくとも１つから放射状気管支内超音波プローブの位置を抽出するステップと、少なくとも１つの術中画像の少なくとも１つに気管支内超音波プローブの確認された位置をオーバレイするステップとを含む。
【0012】
ある実施形態では、方法は、少なくとも２つの更なる術中画像を取得するステップであって、少なくとも２つの更なる術中画像の各々は、放射状気管支内超音波プローブの確認された位置の既知の幾何学的関係を有する、ステップと、少なくとも２つの更なる術中画像に基づいて、三次元空間で確認された位置を再構築するステップと、放射状気管支内超音波プローブの確認された位置を、既知の幾何学関係を有する更なる術中画像のうちの少なくとも１つにオーバレイするステップとを含む。
【0013】
ある実施形態では、方法は、放射状気管支内超音波プローブを取り外すステップと、及び、更なる気管支内器具を確認された位置にナビゲートすることにより、更なる気管支内器具の正確な位置決めを保証するステップとを含む。ある実施形態では、更なる気管支内器具は、生検器具又は切除カテーテルである。
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
本発明は、添付の図面への参照により更に説明される。いくつかの図面を通して、同様の構造は同様の符号で参照される。図示された図面は必ずしも縮尺通りではなく、その代わりに全体として本発明の原理を例示することに重点を置いている。更に、一部の特徴は、特定の構成要素の詳細を示すために、誇張されている場合がある。
【0016】
図面は本明細書の一部を構成し、本発明の実施形態の例を含み、かつ、それらの様々な目的及び特徴を示す。更に、図面は必ずしも縮尺通りではなく、いくつかの特徴は特定の構成要素の詳細を示すために、誇張されている場合がある。加えて、図面に示されるすべての測定値、仕様等は例示を目的とするものであり、限定的なものではない。従って、本明細書に開示される特定の構造的及び機能的な詳細は、限定として解釈されるべきではなく、単に本発明を様々に採用することを当業者に教示するための代表的な基礎として解釈されるべきである。
【0017】
開示された利点及び改善のうち、本発明の他の目的及び長所は、添付の図面を交えて行われる以下の説明から明らかになるであろう。本明細書では、本発明の詳細な実施形態が開示される。しかしながら、開示された実施形態は単に、様々な形で実施され得る本発明の例示に過ぎないことを理解されたい。加えて、本発明の様々な実施形態に触れて提示された例の各々は、例示を意図したものであり、限定を意図したものではない。
【0018】
明細書及び特許請求の範囲を通して、文脈が明確にそうでないと記述している場合を除き、以下の用語はここで明示的に関連づけられた意味を取る。本明細書に用いられる「ある実施形態において」及び「いくつかの実施形態において」という句は、必ずしも同じ（１つ又は複数の）実施形態を指すものとは限らないが、そうでもあり得る。更に、本明細書に用いられる「別の実施形態において」及び「いくつかの他の実施形態において」という句は、異なる実施形態を指すものとは限らないが、そうでもあり得る。従って、以下で記載のように、本発明の様々な実施形態は、本発明の特許請求の範囲又は理念から逸脱することなく、容易に組み合わせられ得る。
【0019】
文脈が明確にそうでないと記述している場合を除き、「～に基づいて」という用語は排他的なものではなく、記載されていない追加のファクタに基づくことも許容する。加えて、本明細書の全体を通して、「１つの」、「ある」、及び「前記」の意味には、複数の参照が含まれる。「において」の意味には、「～内で」及び「～上で」が含まれる。
【0020】
本明細書で用いられるに際し、「絶対ロール角」は、画像の一部の、絶対的な（グローバル等）基準フレームに対する向きを指す。本明細書で用いられるに際し、「相対ロール角」は、現在のロール角が基準のロール角に対して変化した量を指す。基準ロール角は移動できないロール角であり、事前に割り当てられたものであり得る。
【0021】
いくつかの実施形態において、本発明の方法は、気管支内の処置の臨床結果の改善のため、放射状気管支内超音波（「ＲＥＢＵＳ」）プローブを用いて得られた画像を用いる。いくつかの実施形態において、ＲＥＢＵＳは、患者の気管支気道内の放射状超音波画像を提供する。いくつかの実施形態において、ＲＥＢＵＳは、ＰＣＴ／ＵＳ１５／５６４８９、ＰＣＴ／ＵＳ１４／６７３２８、及びＰＣＴ／ＵＳ１５／１０３８１（これらは全体を通して参照により本明細書に組み込まれる）に記載された方法に追加で用いられ得る。ＰＣＴ／ＵＳ１５／５６４８９は、気管支内の処置中に医師を補助するために、術前画像（例えばコンピュータ断層撮影、磁気共鳴イメージング等、ただしこれらに限定されない）からのデータにより術中画像（例えばＸ線画像、Ｃアーム画像等、ただしこれらに限定されない）を増強する方法が開示されている。いくつかの実施形態において、方法は、病変等の、肺内部の密な組織（例えば、周囲の組織と比較して１０％、２０％、３０％、４０％、５０％等増加した密度を有する組織）を検出することを含む。
【0022】
本発明のいくつかの実施形態において、術中画像（例えば、蛍光透視画像（ただしこれに限定されない）等のイメージング技術を用いて処置中に獲得した画像）及びＲＥＢＵＳ画像が同時に取得される。本発明の方法のいくつかの実施形態において、術中画像及びＲＥＢＵＳ画像は同時には取得されない（例えば、ＲＥＢＵＳ画像が取得され、続いて蛍光透視術中画像が取得される）。いくつかの実施形態において、術前画像内のＲＥＢＵＳプローブの先端の３Ｄ位置は、例えばＰＣＴ／ＵＳ１５／５６４８９に記載の（ただしこれに限定されない）方法を用いて取得される。いくつかの実施形態において、ＲＥＢＵＳプローブ先端の複数の画像が生成される（例えば術前画像、ただしこれに限定されない）。いくつかの実施形態において、本発明の方法は、術前画像及びＲＥＢＵＳ画像の各組が特定のプローブ先端の術前画像座標系における位置及び向きに対応するとき、当該組のデータベースを更に作成する。いくつかの実施形態において、以下の非限定的な例、すなわち、術前画像内の事前にマークされた位置に一致する最も近い組を見つける等を用いて、データベースにクエリ送信又はデータベースの検索を行うことができる。
【0023】
いくつかの実施形態において、方法は、対象領域（例えば、病変等の対象物を含む画定された領域）の近傍で取得されたＲＥＢＵＳ画像のセット、並びに三次元空間におけるそれらの位置及び向きを用いて、本明細書で「再構築された３Ｄ対象物」と呼ぶ対象物（例えば病変、ただしそれに限定されない）の輪郭及び／又はトポロジーを再構築する。いくつかの実施形態では、再構築された３Ｄ対象物は、術中画像上で修正され得る。これは例えば、再構築された３Ｄ対象物上に投影又はハイライトする等であるが、これらに限定されない。
【0024】
いくつかの実施形態において、図１に示す方法１００に従って、対象物再構築の非限定的な例が実行され得る。ステップ１１０において、少なくとも１つの術前画像が取得される。いくつかの実施形態において、術前画像は二次元画像である。いくつかの実施形態において、術前画像は三次元画像である。いくつかの実施形態において、術前画像は、任意の既知の適切な種類の医療画像（例えばコンピュータ断層撮影（「ＣＴ」）画像）である。ステップ１２０において、術前画像上の関心領域の選択が受け取られる。関心領域は、例えば病変であり得る。
【0025】
ステップ１３０において、術中画像（即ち、処置中に取得された画像）が受け取られる。いくつかの実施形態において、術中画像は二次元画像である。いくつかの実施形態において、術中画像は三次元画像である。いくつかの実施形態において、術中画像は、任意の既知の適切な種類の医療画像（例えば、Ｘ線画像等の蛍光透視画像）である。
【0026】
ステップ１４０では、術中画像内の関心領域がハイライトされる。
【0027】
いくつかの実施形態において、ステップ１００－１４０は、国際特許出願第ＰＣＴ／ＩＢ２０１５／００２１４８（当該出願の内容は、全体を通して参照により本明細書に組み込まれる）に記載された例示的な方法に従って実行される。いくつかの実施形態において、ステップ１００－１４０は、図２に示すプロセスに従って実行される。
【0028】
ここで図２を参照すると、方法２００はステップ２１０から開始する。ステップ２１０において、ＣＴ画像又はＭＲＩ画像等の術前画像上の関心領域の選択がユーザから受け取られる。ステップ２２０において、術前画像中の関心体積が生成される。いくつかの実施形態において、関心体積は、例えば病変等の関心領域中の解剖学的構造体、並びに気管支又は血管等の補助的な解剖学的構造体が、透視画像等の手術画像上で検出可能となるようなやり方で生成される。いくつかの実施形態において、透視画像の検出可能性を評価するために、ＤＤＲ画像が用いられ得る。ステップ２３０において、少なくとも１つの術中画像が受け取られる。ある実施形態では、術中モダリティの姿勢は、少なくとも１つの術中画像で計算又は記録される。
【0029】
引き続き図２を参照して、ステップ２４０において、術中画像及び術前画像の間の粗い位置合わせが実行される。この粗い位置合わせは例えばＤＤＲへの蛍光透視法等（ただしこれに限定されない）であり、ＣＴ立体等（ただしこれに限定されない）の術前画像データ内のＤＤＲの視点を評価するためのものである。いくつかの実施形態において、ステップ２４０の粗い位置合わせは、視点表現ベクトルｘに反復最適化方法を適用することで実行される。いくつかの実施形態において、オプティマイザは、初期推定値ｘ０で初期化される。初期推定値ｘ０は例えば、前後（ＡＰ）角に対応し、気管主分岐部上に位置する視点である。いくつかの実施形態において、各最適化ステップに対し、以下のステップが実行される。即ち、（１）現実的なＤＲＲ画像を生成するステップ、並びに、（２）ＤＲＲ画像及びＸ線画像の間の類似度を計算するステップである。いくつかの実施形態において、粗い位置合わせは、Ｋｕｂｉａｓらの「ＧＰＵ上での２Ｄ／３Ｄ画像位置合わせ」（ドイツ、コブレンツ、コブレンツ・ランダウ大学、ドイツ、フォルヒハイム、Ｔｈｏｍａｓ Ｂｒｕｎｎｅｒ、シーメンス・メディカル・ソリューションズ、２００７年）（当該文献は、全体を通して参照により本明細書に組み込まれる）に記載のように実行される。いくつかの実施形態において、肋骨ベースの剛体画像位置合わせが用いられる。例えば、２Ｄ／３Ｄ画像位置合わせでは、術前立体（例えばＣＴ又はＭＲＴ）が、術中のＸ線画像に位置合わせされる。いくつかの実施形態では、剛体画像位置合わせが用いられる。ここで、立体は、３つの座標軸に沿ってのみ移動及び回転でき、その場合、変換はパラメータベクトルｘ＝（ｔｘ，ｔｙ，ｔｚ，ｒｘ，ｒｙ，ｒｚ）により与えられる。ここで、パラメータｔｘ，ｔｙ，ｔｚはＸ軸、Ｙ軸、Ｚ軸に沿った平行移動（ミリメートル単位）を示し、パラメータｒｘ，ｒｙ，ｒｚはベクトルｒ＝（ｒｘ，ｒｙ，ｒｚ）に帰属する。いくつかの実施形態において、粗い位置合わせは自動的に実行される。
【0030】
いくつかの実施形態において、ステップ２４０の粗い位置合わせのプロセスは、複数の術中（例えばＸ線）画像及び術前ＣＴ立体を用いる強度ベースの自動位置合わせ方法に基づいて実行される。いくつかの実施形態において、この方法は反復的である。いくつかの実施形態において、各最適化ステップに対し、高画質のデジタル再構築放射線影像（「ＤＲＲ」）が生成され、その後、取得された術中（例えばＸ線）画像と比較される。いくつかの実施形態において、方法２００は、Ｋｈａｍｅｎｅらの「放射線療法における患者の定位のためのポータル画像及び体積ＣＴの自動位置合わせ」（『Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ』１０（２００６）９６－１１２）（当該文献は全体を通して参照により本明細書に組み込まれる）に開示の位置合わせ技術を用いる。いくつかの実施形態において、そのような位置合わせは、非限定的な例として、特定の医療用途に応じて、強度ベース及び／又は特徴ベースとして実装され得る。いくつかの実施形態において、強度ベース及び特徴ベースの位置合わせは、Ｄａｖｉｄらの、「神経介入のための強度ベースの位置合わせと特徴ベースの位置合わせ」（英国オックスフォード大学物理工学科医学ビジョン研究所）（当該文献は全体を通して参照により本明細書に組み込まれる）に記載される。いくつかの実施形態において、点ベースの位置合わせは、患者の胸部上の既知の解剖学的ランドマークを用いて実装される。いくつかの実施形態において、少なくとも１つの既知のランドマークは、ＣＴ画像及び／又は蛍光透視画像上でマークされ得る。いくつかの実施形態において、蛍光透視画像上の検出可能性を改善／増加させるために、処置中に患者の胸部に特殊なマーカーが取り付けられる。
【0031】
引き続き図２を参照して、ステップ２５０において、所望の位置合わせ方法に応じた特徴又はパターンのセットが、術前画像の関心体積から生成される。いくつかの実施形態において、患者の軟部組織構造体が観察され、それが患者の肋骨に対して移動するとき、２４０における粗い位置合わせの間に計算される視点は、既知の許容範囲内で近似される。いくつかの実施形態において、ステップ２５０で精製されたパターンのセットにより、次のステップで表示領域の微調整（細かい位置合わせ）を行うことができる。ステップ２６０において、位置合わせ方法に応じて２５０で生成された特徴又はパターンの各々と、術中画像上の関心領域との間の最良適合を見つけるために、細かい位置合わせが実行される。いくつかの実施形態において、細かい位置合わせは、強度ベースの細かい位置合わせ（即ちテンプレートマッチング）を含み、そのアプローチは、術前イメージングモダリティ又は基準イメージングモダリティからの強度ベースのパターンにより開始される。いくつかの実施形態において、術中画像からの信号は、ノイズ及びスケールを含み、関心領域内で計測される。いくつかの実施形態において、ステップ２６０の細かい位置合わせのプロセスは、各術中画像に対して適用され、以下のステップ、即ち、（１）術前イメージングモダリティ又は基準イメージングモダリティからの強度ベースのパターンを術中画像と比較して、パターンとの最大の類似度を有する術中画像の位置を見つけるステップと、（２）パターンの新しい位置と直前の位置との間の二次元シフトを計算するステップと、並びに、（３）計算された二次元シフトを用いて粗い位置合わせを修正するステップと、を含む。いくつかの実施形態において、細かい位置合わせは、Ｍａｈａｌａｋｓｈｍｉらの「画像処理におけるテンプレートマッチング技術の概要」（インド、Ｔａｍｉｌ Ｎａｄｕ、Ｔｈａｎｊａｖｕｒ、ＳＡＳＴＲＡ大学、計算機学科、『Ｒｅｓｅａｒｃｈ Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ， Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ』４（２４）：５４６９－５４７３（２０１２年））（当該文献は全体を通して参照により本明細書に組み込まれる）に記載のように実行される。
【0032】
いくつかの実施形態において、ステップ２６０の細かい位置合わせプロセスは、以下のステップ、即ち、（１）特徴識別：エッジ、線の交点、領域の輪郭、領域等の、２つの画像中の関係特徴のセットを識別するステップと、（２）特徴マッチング：特徴間の対応関係を確立する（即ち、画像の検出された各特徴が基準画像の対応する特徴にマッチングされる）ステップと、ここで、各特徴は画像内のピクセル座標で識別され、対応する点は通常は制御点と呼ばれ、（３）空間変換：前のステップで取得した制御点に関する情報を用いて、画像内の残りの点にマッチするマッピング関数を決定するステップと、並びに、（４）補間：上述のマッピング関数を用いて検出画像をリサンプリングし、基準画像と位置合わせするステップと、を含む。いくつかの実施形態は、特徴検出及び特徴マッチングの組み合わせについて記載しているＦｏｎｓｅｃａらの「マルチセンサ遠隔検出画像のための位置合わせ技術」（『ＰＥ＆ＲＳ Ｐｈｏｔｏｇｒａｍｍｅｔｒｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ ＆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ』６２（９），１０４９－１０５６（１９９６年））に記載のような領域ベースのアプローチを用い、当該アプローチは相関的方法又は細かい位置合わせ（即ちテンプレートマッチング）とも呼ばれる。いくつかの実施形態において、方法２００は、テンプレートが値の大部分の上で直接動作するため、画像に対応する強い特徴を持たないテンプレートに適している。いくつかの実施形態において、マッチング結果は、画像及びテンプレートの両方の強度値に基づいて推定される。いくつかの実施形態において、用いられる技術には、固定強度の二乗誤差、補正ベースの手法、最適化手法、相互情報、又はそれらの任意の組み合わせが含まれる。いくつかの実施形態において、細かい位置合わせは自動的に実行される。いくつかの実施形態において、細かい位置合わせは、粗い位置合わせを通じて得られたＣＴスキャンからの解剖学的構造体の２Ｄ投影を、蛍光透視画像から抽出された対応する解剖学的構造体と位置合わせすることを含む。
【0033】
引き続き図２を参照して、ステップ２７０において、細かい位置合わせのステップからのマッチした信号が強化されて、術前画像に示されるように、関心領域に見られる解剖学的構造体をハイライトする。いくつかの実施形態において、術中画像からの信号のハイライトに加えて、基準画像からの信号源がディスプレイ／画像上に重ねられ得る。いくつかの実施形態において、術中画像からの元の信号、基準信号からのシミュレートされた信号、及び計画情報の組み合わせは、アプリケーションの設定又はユーザの要求に従って表示され得る。
【0034】
再度図１を参照して、ステップ１５０において、ＲＥＢＵＳプローブは対象物の付近の関心領域にナビゲートされる。いくつかの実施形態において、このナビゲートは、上述のステップにより生成されたような強化画像の使用を通じて達成される。ステップ１６０において、ＲＥＢＵＳプローブが気管支通路に沿って移動するに際し、ＲＥＢＵＳ画像のシーケンスが取得される。上述の通り、いくつかの実施形態において、そのようなＲＥＢＵＳ画像の各々は、患者の組織の断面「スライス」を示す。図３Ａ－図３Ｈは、ＲＥＢＵＳ画像の代表的なセットを示す。ステップ１７０において、シーケンスからの各ＲＥＢＵＳ画像に対して、ＲＥＢＵＳ画像上及び術中画像中の両方で検出されるＲＥＢＵＳプローブ先端に関する超音波画像から対象物輪郭が抽出される。いくつかの実施形態において、対象物輪郭は、放射状気管支内超音波画像上では強い強度勾配を有する曲線として見える。いくつかの実施形態において、そのような曲線は、画像勾配を計算し、しきい値処理を適用し、検出された曲線ピクセルを含む連続したコンポーネントを計算することにより検出される。いくつかの実施形態では、Ｎｏｂｌｅらの「超音波画像セグメンテーション：調査」（『ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＭＥＤＩＣＡＬ ＩＭＡＧＩＮＧ』ＶＯＬ．２５、ＮＯ．８（２００６年８月）に記載の方法のうちの１つが用いられる。いくつかの実施形態において、ニューラルネットワークの訓練に基づいて機械学習のアプローチを用いることで、よりロバストなやり方でそのような輪郭が検出される。いくつかの実施形態において、訓練のプロセスは、多数の注釈付きサンプル画像を用いる。いくつかの実施形態では、Ｓｈｅｎらの「ＤｅｅｐＣｏｎｔｏｕｒ：輪郭検出のための正の共有損失により学習された深い畳み込み特徴」（ＣＶＰＲ、２０１５年）に記載の技術に従って、ＲＥＢＵＳスライスのセットから対象物輪郭が検出される。
【0035】
ステップ１８０において、ＲＥＢＵＳ画像から抽出された対象物輪郭、並びに術中画像からのプローブ先端の既知の位置及び向きに基づいて、対象物の三次元形状が再構築される。いくつかの実施形態において、抽出された対象物輪郭及びプローブ先端の既知の位置及び向きにより、ＲＥＢＵＳ基底の実空間が定義される。いくつかの実施形態において、再構築のプロセスは、以下のステップ、即ち、（１）二次元対象物輪郭の各点をＲＥＢＵＳ基底の実空間のボクセルにマッピングするステップと、（２）ＲＥＢＵＳ基底の実空間を横断し、かつ輪郭点に囲まれるか輪郭点に属しているすべてのボクセルを対象物ボクセルとしてマークすることで、三次元対象物モデルを生成するステップと、並びに、（３）再構築された対象物モデルから三次元の対象物表面を生成するために、表面抽出アルゴリズムを適用するステップと、を含む。いくつかの実施形態において、３Ｄ立体は、Ｚａｎｇらの「気管支内超音波の３Ｄセグメンテーション及び再構築」（『Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１３：Ｕｌｔｒａｓｏｎｉｃ Ｉｍａｇｉｎｇ、Ｔｏｍｏｇｒａｐｈｙ ａｎｄ Ｔｈｅｒａｐｙ』（Ｖｏｌ．８６７５））に記載の技術に従って、ＲＥＢＵＳスライスのセットから再構築される。
【0036】
いくつかの実施形態において、ＲＥＢＵＳプローブの位置及び向きは、国際特許出願第ＰＣＴ／ＩＢ１７／０１３７６号（当該出願の内容は全体を通して参照により本明細書に組み込まれる）に記載の技術を用いて識別され得る。いくつかの実施形態において、そのような識別を容易にするために、ＲＥＢＵＳプローブに放射線不透過性パターンが提供される。いくつかの実施形態において、ＲＥＢＵＳプローブの位置及び向きは、図４に示すプロセスに従って実行され得る。
【0037】
図４は、患者の体内のＲＥＢＵＳプローブの位置及び向きを決定するための方法４００の例を示す。方法４００は、入力として、デバイスに沿った放射線不透過性材料の（例えばパターン等の）密度モデル（４０１）と、患者の体内に配置されたデバイスを示す透視画像データ（４０２）とを受け取る。いくつかの実施形態において、モデル及び画像ピクセルの間の変換関数（４０４）は、テンプレートマッチング方法（４０３）を用いて計算される。いくつかの実施形態において、テンプレートマッチング方法は以下のように実行される。即ち、放射線不透過性材料のパターンの一部が可視であるとき、画像かされたパターン及び密度関数の間の一次元変換（例えば相関）が計算され得る。この目的のためには、デバイスの放射線不透過性とグレースケールレベルとの関係を用いることができる。いくつかの実施形態において、画像中のデバイスの可視部のグレースケールレベルと、デバイスの放射線不透過性密度プロファイルとの間の最大の相関を見つけるテンプレートマッチング方法が用いられる。このような方法は、Ｘ線管からイメージインテンシファイアへの投影方向についてデバイスの背後又は上方にあるオブジェクトによるオクルージョン及びノイズに対してロバストである。いくつかの実施形態において、デバイスの部分画像及びデバイスの放射線不透過性材料密度のパターンの間の相関関数が計算される。いくつかの実施形態において、変換関数は、深度情報回復（４０５）に用いられる。
【0038】
ステップ１９０において、再構築された対象物形状が投影される。いくつかの実施形態において、３Ｄ対象物の全部又は一部は、この体積から分割され、アプリケーションの要求に応じて、投影されたソース体積の値を組み合わせて、術中画像上に投影される。いくつかの実施形態において、３Ｄ対象物は術中画像上でハイライトされる。いくつかの実施形態において、対象物の全部又は一部は、術前画像及び術後画像の間の位置合わせのために用いられ得る。
【0039】
いくつかの実施形態において、ＲＥＢＵＳ画像から再構築された３Ｄ対象物は、術前画像からの３Ｄ体積に位置合わせされる。ある実施形態において、２つの体積の間の位置合わせは、ボクセル強度値のマッチングに基づく。ある実施形態において、３Ｄ対象物及び３Ｄ体積の間の位置合わせは、３Ｄ対象物形状からのバイナリ体積を生成し、その後２つの体積を、ボクセル強度値のマッチングに基づいて位置合わせすることで実行される。ある実施形態において、３Ｄ対象物及び３Ｄ体積の間の位置合わせは、体積から解剖学的構造体の幾何学的形状を抽出し、その後これらの幾何学的形状を３Ｄ対象物の形状とマッチングすることで実行される。ある実施形態において、３Ｄ対象物及び３Ｄ体積の間の位置合わせは、重心又は慣性モーメントの相互揃えに基づく。いくつかの実施形態において、術前画像に対する術中画像の姿勢は、術中画像上のＲＥＢＵＳプローブの既知の位置（例えば位置及び向き）から更に計算され得る。
【0040】
いくつかの実施形態において、ＲＥＢＵＳ画像から再構築された３Ｄ対象物は、ＰＣＴ／ＵＳ１５／５６４８９に記載の（ただしこれに限定されない）再構築方法で複数の術中画像から再構築された３Ｄ体積に位置合わせされる。
【0041】
いくつかの実施形態において、ＲＥＢＵＳ画像から再構築された３Ｄ対象物は、複数の術中画像からの体積の再構築の前提として用いられる。いくつかの実施形態において、関心領域は、再構築された３Ｄ対象物上で分割され得る。いくつかの実施形態において、一部の形状又は関心領域のみが、ＲＥＢＵＳ画像から再構築され、術前画像から供給された体積に位置合わせされ、術前画像からの情報を用いて強化又は達成され、これにより、術中画像から再構築された体積の追加情報が得られる。
【0042】
いくつかの実施形態において、３Ｄ対象物は、既知の相対姿勢を持つ蛍光透視画像又はＣＴ画像のセットといった、異なる複数の術中画像から再構築される。いくつかの実施形態において、そのような再構築は、逆投影アルゴリズム、又は、コンピュータ断層撮像で利用される他の任意の再構築アルゴリズムを用いて実行され得る。いくつかの実施形態において、ＲＥＢＵＳ画像から再構築された３Ｄ対象物又は関心領域は、互換性のある３Ｄ体積又は関心領域と相互位置合わせされて、追加の術中画像、術前画像、又はそれらの組み合わせを供給することができる。
【0043】
いくつかの実施形態において、上述の非限定的な例は、術中画像に関するＲＥＢＵＳプローブ先端の位置及び向きの決定に依存する。いくつかの実施形態において、本発明の方法では、国際特許出願第ＰＣＴ／ＩＢ１７／０１３７６号に開示の方法が用いられ得る。いくつかの実施形態において、カテーテルに取り付けられた放射線不透過性パターンを用いて、術中イメージングデバイスに対する姿勢を決定することができる。いくつかの実施形態において、各ＲＥＢＵＳスライスの相対ロール角又は絶対ロール角を決定するために、カテーテルの回転軸に対して非対称である螺旋バネパターンが用いられ得る。いくつかの実施形態において、各ＲＥＢＵＳスライスの相対ロール角又は絶対ロール角を決定するために、カテーテルのプローブ先端に取り付けられた角度測定デバイスが用いられ得る。いくつかの実施形態において、隣接するフレームの間の回転差を最小化することにより、これらのフレームを安定化させることができる。
【0044】
いくつかの実施形態において、術中画像上の気管支樹の分岐点を特定するために、関係づけられた位置及び向きを有するＲＥＢＵＳ画像が用いられ得る。いくつかの実施形態において、そのような分岐点は、国際特許出願第ＰＣＴ／ＵＳ１５／５６４８９号に記載の位置合わせプロセスにおける追加の基準点として用いられ得る。いくつかの実施形態において、気道の分岐はＲＥＢＵＳ画像上で可視であり、画像処理（例えばハイライト、ただしこれに限定されない）により検出できる。いくつかの実施形態において、（１）少なくとも１つのＲＥＢＵＳ画像は、術中デバイスにより取得されたプローブ先端の画像であり、同時に、（２）ＲＥＢＵＳそのものにより、分岐の少なくとも１つの画像が取得されるため、術中画像において分岐点の位置と向きをマークすることができる。いくつかの実施形態において、術中画像における分岐の位置と、術前画像における、位置合わせプロセスの正確さを改善するための追加基準点としての対応する位置とは、例えばＰＣＴ／ＵＳ１５／５６４８９に記載の方法を用いて取得され得る。
【0045】
いくつかの実施形態において、ＲＥＢＵＳ画像の選択された位置におけるＲＥＢＵＳプローブの位置は、対応する術中画像上でマーク又は確認され得る（これを「ＲＥＢＵＳ確認」と呼ぶことがある）。いくつかの実施形態において、術中画像内に見られるＲＥＢＵＳプローブの先端の位置は、いかなる時にもマーク、保存、及び表示が可能であり、これはたとえ、ＲＥＢＵＳプローブが引き込まれて、患者内の同一のエリアに別のデバイス（例えば、他の気管支内器具又は内治療付属品）が導入された後であっても可能である。いくつかの実施形態において、気管支内器具により引き起こされる呼吸運動及び組織変形の補償ができ、それにより、ＲＥＢＵＳの選択されて保存された場所の表示位置が調整される。ある実施形態においてこの移動の補償は、解剖学的構造体及び／又は解剖学器具を追跡することで実行される。いくつかの実施形態において、「ＲＥＢＵＳ確認」と対応するＲＥＢＵＳプローブの位置は、幾何学的関係が既知の異なる姿勢を有する複数の術中画像から抽出され得る。これにより、ＲＥＢＵＳプローブの３Ｄ再構築、特にＲＥＢＵＳプローブ先端の計算された位置が提供される。いくつかの実施形態において、「ＲＥＢＵＳ確認」位置の３Ｄ位置は、任意の将来の（１つ又は複数の）術中画像に投影され得る。
【0046】
例．
実施形態の医療適用の例が、以下の予言的な例を通じて示される。
実施形態の医療適用の例が、以下の予言的な例を通じて示される。
【0047】
１）実施形態の例は、ＲＥＢＵＳプローブが引き込まれ、生検鉗子又は切除プローブ等の他の気管支内器具と交換される間に、医師にＲＥＢＵＳ画像を提供できる。
【0048】
２）対象物が病変である場合、ＲＥＢＵＳプローブの位置に対する病変の形状を三次元で再構築することで、プローブの中心から病変の境界までの最大距離が決定され得る。この情報は、ＲＥＢＵＳプローブが除去されて切除カテーテルと交換されたとき、切除処置に適したマージンサイズを提供し得る。例えば、定数にＲＥＢＵＳプローブの中心から病変の境界までの最大距離を乗算することで、マージンを計算することができる。
【0049】
３）所望の関心領域を、取得されたＲＥＢＵＳ画像上でマークし、所望の事前に計画された位置（例えば取得されたＲＥＢＵＳ画像上のマーク）に気管支内ツールを誘導することができる。
【0050】
４）例えば気管支内生検又は切除の間に（ただしこれに限定されない）、対象物の正確な位置を取得する方法。この方法は、以下のステップを用いて実行され得る：
１．対象領域への気管支内ナビゲーション。ナビゲーションは、例えばＰＣＴ／ＵＳ１５／５６４８９に記載の方法を用いて（ただしこれに限定されない）実行され得る。
２．対象領域内のＲＥＢＵＳ画像を取得する。
３．ＲＥＢＵＳ画像から対象物を抽出し、術中画像に投影する。
４．気管支内器具を対象物の中心に配置し、切除または生検を行う。
５．切除が実行されて解剖学的構造が変化した場合、ステップ２－４が再度実行されてもよい。
１．対象領域への気管支内ナビゲーション。ナビゲーションは、例えばＰＣＴ／ＵＳ１５／５６４８９に記載の方法を用いて（ただしこれに限定されない）実行され得る。
２．対象領域内のＲＥＢＵＳ画像を取得する。
３．ＲＥＢＵＳ画像から対象物を抽出し、術中画像に投影する。
４．気管支内器具を対象物の中心に配置し、切除または生検を行う。
５．切除が実行されて解剖学的構造が変化した場合、ステップ２－４が再度実行されてもよい。
【0051】
図５Ａ及び図５Ｂは、本発明のいくつかの実施形態の方法を用いて生成された対象領域の放射性ＥＢＵＳスキャンの実施形態を示す。図５において、点線の円は対象領域を画定する。図５Ａの白い輪郭をつけられた部分は、本発明の方法を用いて画定された対象物である。
【0052】
図６Ａは、図１に示す方法の例の過程の間に取得される病変の放射状ＥＢＵＳ画像の列を示す。図６Ｂは、図１の方法の例により、図６Ａに示す放射状ＥＢＵＳ画像の列に基づく三次元計算を用いて再構築され得る病変の輪郭を示す。
【0053】
図７Ａ及び図７Ｂは、本発明の方法の実施形態を用いて生成された画像を示し、放射状ＥＢＵＳを用いた増強を伴うリアルタイムの局所ビューを示す。図７Ａの点線の円は対象領域を画定する。図７Ａの白い輪郭をつけられた部分は、本明細書に記載の方法を用いて画定された対象物である。矢印は、本明細書に記載の方法を用いて対象物であると決定された領域を指す。
【0054】
本発明の複数の実施形態を説明したが、これらの実施形態は例示に過ぎず、限定的なものではなく、多くの変更が当業者に明らかとなり得ることは理解されたい。更になお、様々なステップは、任意の所望の順序で実行されてもよい（また、任意の所望のステップを追加し、及び／又は任意の所望のステップを削除してもよい）。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図3H】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】