特許 6976266 多視点ポーズ推定を使用するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6976266

(24)【登録日】2021年11月11日

(45)【発行日】2021年12月8日

(54)【発明の名称】多視点ポーズ推定を使用するための方法およびシステム

(51)【国際特許分類】

   A61B 6/12 20060101AFI20211125BHJP

   A61B 6/00 20060101ALI20211125BHJP

   A61B 1/267 20060101ALI20211125BHJP

   A61B 1/00 20060101ALI20211125BHJP

【ＦＩ】

   A61B6/12

   A61B6/00 370

   A61B1/267

   A61B1/00 552

【請求項の数】6

【全頁数】20

(21)【出願番号】特願2018-547907(P2018-547907)

(86)(22)【出願日】2017年3月10日

(65)【公表番号】特表2019-511285(P2019-511285A)

(43)【公表日】2019年4月25日

(86)【国際出願番号】IB2017000276

(87)【国際公開番号】WO2017153839

(87)【国際公開日】20170914

【審査請求日】2020年3月10日

(31)【優先権主張番号】62/306,502

(32)【優先日】2016年3月10日

(33)【優先権主張国】US

(31)【優先権主張番号】62/407,720

(32)【優先日】2016年10月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516201939

【氏名又は名称】ボディ・ビジョン・メディカル・リミテッド

【氏名又は名称原語表記】Ｂｏｄｙ Ｖｉｓｉｏｎ Ｍｅｄｉｃａｌ Ｌｔｄ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100189544

【弁理士】

【氏名又は名称】柏原 啓伸

(72)【発明者】

【氏名】ドリアン・アベルブフ

(72)【発明者】

【氏名】エリロン・アミール

(72)【発明者】

【氏名】ディマ・セズガノフ

(72)【発明者】

【氏名】エヤル・コーヘン

【審査官】 安田 明央

(56)【参考文献】

【文献】 国際公開第２０１４／１４１９６８（ＷＯ，Ａ１）

【文献】 特表２０１４−５０９５４６（ＪＰ，Ａ）

【文献】 特開２００２−１１９５０７（ＪＰ，Ａ）

【文献】 特開２００４−０９７６９６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０２０３０６７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／００−６／１４

Ａ６１Ｂ １／２６７

Ａ６１Ｂ １／００

(57)【特許請求の範囲】

【請求項1】

プロセッサを備える医療機器の作動方法であって、
前記プロセッサが、第１の画像化モダリティから第１の画像を取得するステップと、
前記プロセッサが、前記第１の画像化モダリティから得る前記第１の画像から得る少なくとも１つの要素を抽出するステップであって、
ここで前記少なくとも１つの要素は、気道、血管、体腔、またはそれらの任意の組み合わせを含む、ステップと、
前記プロセッサが、第２の画像化モダリティから、少なくとも（ｉ）第２の画像化モダリティの第１のポーズにおける放射線不透過性機器の第１の画像、および（ｉｉ）第２の画像化モダリティの第２のポーズにおける前記放射線不透過性機器の第２の画像を取得するステップであって、
ここで前記放射線不透過性機器は、患者の体腔にある、ステップと、
前記プロセッサが、少なくとも２つの拡張された気管支造影図を生成するステップであって、
ここで第１の拡張された気管支造影図は、前記第１のポーズにおける前記第２の画像化モダリティの前記第１の画像に対応し、
第２の拡張された気管支造影図は、前記第２のポーズにおける前記第２の画像化モダリティの前記第２の画像に対応する、ステップと、
前記プロセッサが、
（ｉ）前記第２の画像化モダリティの前記第１のポーズと、
（ｉｉ）前記第２の画像化モダリティの前記第２のポーズと
の間の相互幾何学的制約を判定するステップと、
前記プロセッサが、前記第２の画像化モダリティの前記第１のポーズおよび前記第２の画像化モダリティの前記第２のポーズを推定するステップであって、
ここで前記推定は、
（ｉ）前記第１の拡張された気管支造影図、
（ｉｉ）前記第２の拡張された気管支造影図、および
（ｉｉｉ）前記少なくとも１つの要素
を用いて実行され、
前記第２の画像化モダリティの前記推定された第１のポーズおよび前記第２の画像化モダリティの前記推定された第２のポーズは、前記判定された相互幾何学的制約を満たす、ステップと、
前記プロセッサが、第３の画像を生成するステップであって、ここで前記第３の画像は、対象領域を強調する前記第２の画像化モダリティから導かれた拡張画像であり、
前記対象領域は、前記推定された第１のポーズおよび前記推定された第２のポーズから得る投影データから判定される、ステップと
を含む、作動方法。

【請求項2】

前記第１の画像化モダリティからの前記第１の画像からの追加の要素があり、第２の画像化モダリティの第２の画像は、肋骨、椎骨、隔膜、またはそれらの任意の組み合わせをさらに含む、請求項１に記載の方法。

【請求項3】

前記相互幾何学的制約が、
ａ．前記放射線不透過性機器の前記第１の画像と、前記放射線不透過性機器の前記第２の画像とを比較することによって、（ｉ）前記第１のポーズと（ｉｉ）前記第２のポーズとの間の差を推定することであって、
ここで前記推定することは、分度器、加速度計、ジャイロスコープ、またはそれらの任意の組み合わせを含む装置を使用して実行され、前記装置は、前記第２の画像化モダリティに取り付けられる、推定すること、
ｂ．相対ポーズ変化を推定するために複数の画像特徴を抽出することであって、
ここで前記複数の画像特徴は、解剖学的要素、非解剖学的要素、またはそれらの任意の組み合わせを含み、
前記画像特徴は、患者に取り付けられたパッチ、前記第２の画像化モダリティの視野に配置された放射線不透過性マーカー、またはそれらの任意の組み合わせを含み、
前記画像特徴は、前記放射線不透過性機器の前記第１の画像および前記放射線不透過性機器の前記第２の画像で可視である、抽出することと、
ｃ．少なくとも１つのカメラを使用することによって、（ｉ）前記第１のポーズと（ｉｉ）前記第２のポーズとの間の差を推定することであって、
ここで前記カメラは、ビデオカメラ、赤外線カメラ、深度カメラ、またはそれらの任意の組み合わせを備え、
前記カメラは固定位置にあり、
前記カメラは、少なくとも１つの特徴を追跡するように構成され、
ここで前記少なくとも１つの特徴は、前記患者に取り付けられたマーカー、前記第２の画像化モダリティに取り付けられたマーカー、またはそれらの任意の組み合わせを含み、
前記少なくとも１つの特徴を追跡する、推定することと、
ｄ．またはそれらの任意の組合せによって生成される、請求項１に記載の方法。

【請求項4】

前記プロセッサが、
軌道を特定し、
さらなる幾何学的制約として前記軌道を使用するために前記放射線不透過性機器を追跡するステップであって、
ここで前記放射線不透過性機器は、内視鏡、気管支内器具、またはロボットのアームを備える、ステップ、
をさらに含む、請求項１に記載の方法。

【請求項5】

前記第１の画像化モダリティから得る前記第１の画像が術前画像である、請求項１に記載の方法。

【請求項6】

前記第２の画像化モダリティから得る前記放射線不透過性機器の前記少なくとも１つの画像は、術中画像である、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本願は、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＵＳＩＮＧ ＭＵＬＴＩ ＶＩＥＷ ＰＯＳＥ ＥＳＴＩＭＡＴＩＯＮ」と題されている、２０１６年３月１０日に出願された米国仮特許出願第６２／３０６，５０２号、および「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＵＳＩＮＧ ＭＵＬＴＩ ＶＩＥＷ ＰＯＳＥ ＥＳＴＩＭＡＴＩＯＮ」と題されている、２０１６年１０月１３日に出願された米国仮特許出願第６２／４０７，７２０号の優先権を主張するものであり、これらは、その全体の内容が、参照によりその全体において本明細書に組み込まれる。

【0002】

［技術分野］
本発明の実施形態は、介入性の装置およびその使用方法に関する。

【背景技術】

【0003】

内視鏡の処置、映像補助の胸部手術または同様の医療処置などの低侵襲処置の利用は、疑わしい病変のための診断器具として、または癌性腫瘍の治療手段として用いることができる。

【発明の概要】

【課題を解決するための手段】

【0004】

いくつかの実施形態では、本発明は、
第１の画像化モダリティから第１の画像を取得するステップと、
第１の画像化モダリティから得る第１の画像から得る少なくとも１つの要素を抽出するステップであって、
ここで少なくとも１つの要素は、気道、血管、体腔、またはそれらの任意の組み合わせを含む、ステップと、
第２の画像化モダリティから、少なくとも（ｉ）第１のポーズにおける放射線不透過性機器の第１の画像、および（ｉｉ）第２のポーズにおける放射線不透過性機器の第２の画像を取得するステップであって、
ここで放射線不透過性機器は、患者の体腔にあるステップと、
少なくとも２つの拡張気管支造影図を生成するステップであって、
ここで第１の拡張気管支造影図は、第１のポーズにおける放射線不透過性機器の第１の画像に対応し、
第２の拡張気管支造影図は、第２のポーズにおける放射線不透過性機器の第２の画像に対応する、ステップと、
（ｉ）放射線不透過性機器の第１のポーズと
（ｉｉ）放射線不透過性機器の第２のポーズと
の間の相互幾何学的制約を判定するステップと、
放射線不透過性機器の第１のポーズおよび放射線不透過性機器の第２のポーズを、第１の画像化モダリティの第１の画像と比較することによって推定するステップであって、
ここで比較することは、
（ｉ）第１の拡張気管支造影図、
（ｉｉ）第２の拡張気管支造影図、および
（ｉｉｉ）少なくとも１つの要素
を用いて実行され、
放射線不透過性機器の推定された第１のポーズおよび放射線不透過性機器の推定された第２のポーズは、判定された相互幾何学的制約を満たす、ステップと、
第３の画像を生成するステップであって、ここで第３の画像は、対象領域を強調する第２の画像化モダリティから導かれた拡張画像であり、
対象領域は、第１の画像化モダリティから得るデータから判定される、ステップと
を含む方法を提供する。

【0005】

いくつかの実施形態では、第１の画像化モダリティから得る第１の画像から得る少なくとも１つの要素は、肋骨、椎骨、隔膜、またはそれらの任意の組み合わせをさらに備える。いくつかの実施形態では、相互幾何学的制約は、
ａ．放射線不透過性機器の第１の画像と、放射線不透過性機器の第２の画像とを比較することによって、（ｉ）第１のポーズと（ｉｉ）第２のポーズとの間の差を推定することであって、
ここで推定することは、分度器、加速度計、ジャイロスコープ、またはそれらの任意の組み合わせを含む装置を使用して実行され、装置は、第２の画像化モダリティに取り付けられる、推定することと、
ｂ．相対ポーズ変化を推定するために複数の画像特徴を抽出することであって、
ここで複数の画像特徴は、解剖学的要素、非解剖学的要素、またはそれらの任意の組み合わせを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野に配置された放射線不透過性マーカー、またはそれらの任意の組み合わせを含み、
画像特徴は、放射線不透過性機器の第１の画像および放射線不透過性機器の第２の画像で可視である、抽出することと、
ｃ．少なくとも１つのカメラを使用することによって、（ｉ）第１のポーズと（ｉｉ）第２のポーズとの間の差を推定することであって、
ここでカメラは、ビデオカメラ、赤外線カメラ、深度カメラ、またはそれらの任意の組み合わせを備え、
カメラは固定位置にあり、
カメラは、少なくとも１つの特徴を追跡するように構成され、
ここで少なくとも１つの特徴は、患者に取り付けられたマーカー、第２の画像化モダリティに取り付けられたマーカー、またはそれらの任意の組み合わせを含み、
少なくとも１つの特徴を追跡する、推定することと、
ｄ．またはそれらの任意の組合せによって生成される。

【0006】

いくつかの実施形態では、方法は、軌道を特定し、さらなる幾何学的制約として軌道を使用するために放射線不透過性機器を追跡するステップをさらに含み、ここで放射線不透過性機器は、内視鏡、気管支内器具、またはロボットのアームを備える。

【0007】

いくつかの実施形態では、本発明は、
患者の少なくとも１つの体腔のマップを生成するステップであって、
ここで第１の画像化モダリティから得る第１の画像を用いてマップを生成するステップと、
第２の画像化モダリティから、少なくとも２つの取り付けられたマーカーを備える放射線不透過性機器の画像を取得するステップであって、
ここで少なくとも２つの取り付けられたマーカーは既知の距離だけ隔たりがあるステップと、
患者の少なくとも１つの体腔のマップに対して第２の画像化モダリティから得る放射線不透過性機器のポーズを同定するステップと、
第２の画像化モダリティから得る第２の画像における放射線不透過性機器に取り付けられた第１のマーカーの第１の位置を同定するステップと、
第２の画像化モダリティから得る第２の画像における放射線不透過性機器に取り付けられた第２のマーカーの第２の位置を同定するステップと、
第１のマーカーの第１の位置と第２のマーカーの第２の位置との間の距離を測定するステップと、
第１のマーカーと第２のマーカーの間の既知の距離を投影するステップと、
測定された距離を第１のマーカーと第２のマーカー間の投影された既知の距離と比較して、少なくとも１つの患者の体腔内の放射線不透過性機器の特定の位置を同定するステップと
を含む方法である。

【0008】

いくつかの実施形態では、放射線不透過性機器が、内視鏡、気管支内器具、またはロボットのアームを備える。

【0009】

いくつかの実施形態では、方法は、放射線不透過性機器の軌跡を使用して放射線不透過性機器の深さを特定するステップをさらに含む。

【0010】

いくつかの実施形態では、第１の画像化モダリティから得る第１の画像は術前画像である。いくつかの実施形態では、第２の画像化モダリティからの放射線不透過性機器の少なくとも１つの画像は、術中画像である。

【0011】

いくつかの実施形態では、本発明は、
第１の画像化モダリティから第１の画像を取得するステップと、
第１の画像化モダリティから得る第１の画像から得る少なくとも１つの要素を抽出するステップであって、
ここで少なくとも１つの要素は、気道、血管、体腔、またはそれらの任意の組み合わせを含む、ステップと、
第２の画像化モダリティから、少なくとも（ｉ）放射線不透過性機器の１つの画像および（ｉｉ）第２の画像化モダリティの２つの異なるポーズでの放射線不透過性機器の別の画像を取得するステップであって、
ここで放射線不透過性機器の第１の画像は、第２の画像化モダリティの第１のポーズでキャプチャされ、
放射線不透過性機器の第２の画像は、第２の画像化モダリティの第２のポーズでキャプチャされ、
放射線不透過性機器は、患者の体腔にある、ステップと、
画像化装置の２つのポーズのそれぞれに対応する少なくとも２つの拡張気管支造影図を生成するステップであって、ここで第１の拡張気管支造影図は、放射線不透過性機器の第１の画像に由来し、第２の拡張気管支造影図は、放射線不透過性機器の第２の画像に由来する、ステップと、
（ｉ）第２の画像化モダリティの第１のポーズと、
（ｉｉ）第２の画像化モダリティの第２のポーズと
の間の相互幾何学的制約を判定するステップと、
対応する拡張気管支造影図と第１の画像化モダリティの第１の画像から抽出された少なくとも１つの要素とを使用して、第１の画像化モダリティの第１の画像に対して第２の画像化モダリティの２つのポーズを推定するステップであって、
ここで２つの推定されたポーズは、相互幾何学的制約を満たす、ステップと、
第３の画像を生成するステップであって、ここで第３の画像は、第１の画像化モダリティから供給されたデータに基づいて、対象領域を強調する第２の画像化モダリティから導かれた拡張画像である、ステップと
を含む方法である。

【0012】

いくつかの実施形態では、肋骨、椎骨、隔膜、またはそれらの任意の組み合わせなどの解剖学的要素が、第１の画像化モダリティおよび第２の画像化モダリティから抽出される。

【0013】

いくつかの実施形態では、相互幾何学的制約は、
ａ．放射線不透過性機器の第１の画像と、放射線不透過性機器の第２の画像とを比較することによって、（ｉ）第１のポーズと（ｉｉ）第２のポーズとの間の差を推定することであって、
ここで推定することは、分度器、加速度計、ジャイロスコープ、またはそれらの任意の組み合わせを含む装置を使用して実行され、装置は、第２の画像化モダリティに取り付けられる、推定することと、
ｂ．相対ポーズ変化を推定するために複数の画像特徴を抽出することであって、
ここで複数の画像特徴は、解剖学的要素、非解剖学的要素、またはそれらの任意の組み合わせを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野に配置された放射線不透過性マーカー、またはそれらの任意の組み合わせを含み、
画像特徴は、放射線不透過性機器の第１の画像および放射線不透過性機器の第２の画像で可視である、抽出することと、
ｃ．少なくとも１つのカメラを使用することによって、（ｉ）第１のポーズと（ｉｉ）第２のポーズとの間の差を推定することであって、
ここでカメラは、ビデオカメラ、赤外線カメラ、深度カメラ、またはそれらの任意の組み合わせを備え、
カメラは固定位置にあり、
カメラは、少なくとも１つの特徴を追跡するように構成され、
ここで少なくとも１つの特徴は、患者に取り付けられたマーカー、第２の画像化モダリティに取り付けられたマーカー、またはそれらの任意の組み合わせを含み、
少なくとも１つの特徴を追跡する、推定することと、
ｄ．またはそれらの任意の組合せによって生成される。

【0014】

いくつかの実施形態では、方法は、軌道を特定し、追加の幾何学的制約としてこのような軌道を使用するために放射線不透過性機器を追跡するステップをさらに含み、ここで放射線不透過性機器は、内視鏡、気管支内器具、またはロボットのアームを備える。

【0015】

いくつかの実施形態では、本発明は、患者の内部の真の機器の位置を特定する方法であって、
第１の画像化モダリティの第１の画像から生成された患者の少なくとも１つの体腔のマップを使用するステップと、
患者の体内の少なくとも２つの異なる体腔に位置するように画像から知覚される可能性のある、第２の画像化モダリティから、それに取り付けられて間に規定された距離を有する少なくとも２つのマーカーを備える放射線不透過性機器の画像を取得するステップと、
マップに対して第２の画像化モダリティのポーズを取得するステップと、
第２の画像化モダリティから得る第２の画像における放射線不透過性機器に取り付けられた第１のマーカーの第１の位置を同定するステップと、
第２の画像化モダリティから得る第２の画像における放射線不透過性機器に取り付けられた第２のマーカーの第２の位置を同定するステップと、
第１のマーカーの第１の位置と第２のマーカーの第２の位置との間の距離を測定するステップと、
第２の画像化モダリティのポーズを使用して放射線不透過性機器の知覚された位置のそれぞれにおけるマーカーの間の既知の距離を投影するステップと、
測定された距離を２つのマーカー間の投影された距離のそれぞれと比較して、体内の真の機器の位置を同定するステップと
を含む方法である。

【0016】

いくつかの実施形態では、放射線不透過性機器が、内視鏡、気管支内器具、またはロボットのアームを備える。

【0017】

いくつかの実施形態では、方法は、放射線不透過性機器の軌跡を使用して放射線不透過性機器の深さを特定するステップをさらに含む。

【0018】

いくつかの実施形態では、第１の画像化モダリティから得る第１の画像は術前画像である。いくつかの実施形態では、第２の画像化モダリティからの放射線不透過性機器の少なくとも１つの画像は、術中画像である。

【図面の簡単な説明】

【0019】

添付の図面を参照して本発明をさらに説明し、類似した構造はいくつかの図面に亘り同様の参照符号で参照している。示された図面は必ずしも一定の縮尺に従っているというわけではなく、むしろ一般に本発明の原理を説明することに重点が置かれている。さらに、いくつかの特徴は、特定の構成要素の詳細を示すために誇張されている場合がある。

【0020】

【図1】本発明の方法のいくつかの実施形態で使用される多視点ポーズ推定法のブロック図を示す。

【図2】図２は、本発明の方法において使用される術中画像の例示的な実施形態を示す。図２は、１つの特定のポーズから得られた蛍光透視画像を示す。気管支鏡−２４０、３４０、４４０、機器−２１０、３１０、４１０、肋骨−２２０、３２０、４２０および身体の境界−２３０、３３０、４３０が可視である。多視点ポーズ推定法は、図２、図３、図４の可視の要素を入力として用いる。

【図3】図３は、本発明の方法において使用される術中画像の例示的な実施形態を示す。図３は、１つの特定のポーズから得られた蛍光透視画像を示す。気管支鏡−２４０、３４０、４４０、機器−２１０、３１０、４１０、肋骨−２２０、３２０、４２０および身体の境界−２３０、３３０、４３０が可視である。多視点ポーズ推定法は、図２、図３、図４の可視の要素を入力として用いる。

【図4】図４は、本発明の方法において使用される術中画像の例示的な実施形態を示す。図４は、Ｃアームの回転の結果として、図２および図３と比較して、異なるポーズで得られた蛍光透視画像を示す。気管支鏡−２４０、３４０、４４０、機器−２１０、３１０、４１０、肋骨−２２０、３２０、４２０および身体の境界−２３０、３３０、４３０が可視である。多視点ポーズ推定法は、図２、図３、図４の可視の要素を入力として用いる。

【図5】本発明の方法において利用される気管支の気道の構造の概略図を示す。気道の中心線が５３０で表されている。カテーテルが気道構造内に挿入され、画像平面５４０で蛍光透視装置によって画像化されている。画像へのカテーテルの投影は曲線５５０によって示され、それに取り付けられた放射線不透過マーカーは点Ｇおよび点Ｆに投影される。

【図6】気管支鏡に取り付けられた気管支鏡装置の先端の画像であり、気管支鏡は、本発明の方法の実施形態で使用することができる。

【図7】本発明の方法の実施形態による図であり、図解しているのは操作器具（７０２）を備える気管支鏡の処置で使用される追跡スコープ（７０１）の蛍光透視画像で、そこから操作器具が延びている。操作器具は、放射線不透過マーカーや、それに取り付けられる独自のパターンを含んでもよい。

【発明を実施するための形態】

【0021】

図面は、本明細書の一部を構成し、本発明の例示的な実施形態を含み、それらの様々な目的および特徴を示す。さらに、いくつかの図面は、必ずしも一定の縮尺に従ってはおらず、一部の特徴が、特定の構成要素の詳細を示すために誇張されている場合がある。加えて、図面に示された任意の測定、仕様などは、例示的なものであり、限定的なものではないことが意図されている。したがって、本明細書で開示される特定の構造的および機能的詳細は、限定として解釈されるべきではなく、単に本発明を多様に使用するために当業者に教示するための代表的な基礎として解釈されるべきである。

【0022】

開示された利点および改善のうち、本発明の他の目的および利点は、添付の図面と併せて以下の説明から明らかになるであろう。本発明の詳細な実施形態を本明細書に開示する。しかし、開示する実施形態は、様々な形態で具体化され得る本発明の単なる例示であることが理解されるべきである。さらに、本発明の様々な実施形態に関連して設けられる例は、各々が例示的なものであり、限定的なものではないことが意図されている。

【0023】

本明細書および特許請求の範囲を通して、以下の用語は、文脈上他に明確に指定されない限り、本明細書に明示的に関連する意味をとる。本明細書で使用される「一実施形態では」および「いくつかの実施形態では」という語句は、同じ実施形態を示していることもあるが、必ずしも同じ実施形態を示しているとは限らない。さらに、本明細書で使用される「別の実施形態では」および「いくつかの他の実施形態では」という語句は、同じ実施形態を示していることもあるが、必ずしも同じ実施形態を示しているとは限らない。したがって、以下に説明するように、本発明の範囲または精神から逸脱することなく、本発明の様々な実施形態を容易に組み合わせることができる。

【0024】

さらに、本明細書で使用される場合、「または」という用語は、包括的な「または」という演算子であり、文脈上他に明確に指定されない限り、「および／または」という用語と同等である。「に基づいて」という用語は排他的ではなく、文脈上他に明確に指定されない限り、記載されていない追加の要素に基づくことが可能である。また、明細書全体にわたって、「ａ」、「ａｎ」および「ｔｈｅ」の意味は複数の言及を含む。「ｉｎ」の意味は、「ｉｎ」および「ｏｎ」を含む。

【0025】

本明細書で使用される場合、「複数」とは、２つ以上の数を示し、例えば、２、３、４、５、６、７、８、９、１０などが挙げられるが、これらに限定されない。例えば、複数の画像は、２つの画像、３つの画像、４つの画像、５つの画像、６つの画像、７つの画像、８つの画像、９つの画像、１０つの画像などとすることができる。

【0026】

本明細書で使用される場合、「解剖学的要素」はランドマークを示し、例えば、対象領域、切開点、分岐部、血管、気管支の気道、肋骨または器官であり得る。

【0027】

本明細書で使用される場合、「幾何学的制約（ｇｅｏｍｅｔｒｉｃａｌ ｃｏｎｓｔｒａｉｎｔｓ）」または「幾何学的制約（ｇｅｏｍｅｔｒｉｃ ｃｏｎｓｔｒａｉｎｔｓ）」または「相互制約」または「相互幾何学的制約」は、肋骨間の対象の体内の同様な幾何学的構造、身体の境界などを構築する、対象の身体における身体器官（例えば、少なくとも２つの身体器官）の間の幾何学的な関係を示す。そのような幾何学的な関係は、様々な画像化モダリティを介して見られるように、変化しないままであるか、それらの相対的な動きが無視または定量化され得る。

【0028】

本明細書で使用される場合、「ポーズ」は、光学カメラ装置の代替物としての術中画像化装置源の相対的な位置および向きを決定する６つのパラメータのセットを示す。非限定的な例として、ポーズは、装置、患者のベッドおよび患者の間の相対的な動きの組み合わせとして得ることができる。そのような動きの別の非限定的な例は、静止している患者がベッドの上にいる状態での静止している患者のベッド周囲における装置の動きを組み合わせた、術中画像化装置の回転である。

【0029】

本明細書で使用される場合、「位置」は、３Ｄ空間内の画像化装置自体を含む、任意の対象の場所（ｘ、ｙ、ｚのデカルト座標などの任意の座標系で測定することができる）を示す。

【0030】

本明細書で使用される場合、「向き」は、術中画像化装置の角度を示す。非限定的な例として、術中画像化装置は、上向き、下向き、または横向きに向けることができる。

【0031】

本明細書で使用される場合、「ポーズ推定方法」は、第１の画像化モダリティの３Ｄ空間内の、第２の画像化モダリティに関連付けられるカメラのパラメータを推定する方法を示す。このような方法の非限定的な例は、術前ＣＴの３Ｄ空間内の術中透視カメラのパラメータを取得することである。数学的モデルは、そのような推定されたポーズを使用して、術前のコンピュータ断層撮影（ＣＴ）画像内の少なくとも１つの３Ｄの点を、術中のＸ線画像内の対応する２Ｄの点に投射する。

【0032】

本明細書で使用される場合、「多視点ポーズ推定法」は、術中画像化装置の少なくとも２つの異なるポーズのポーズを推定する方法を示す。この場合、画像化装置は同じシーン／対象の画像を取得する。

【0033】

本明細書で使用される場合、「相対角度差」は、相対的な角運動によって生じる画像化装置の２つのポーズ間にある角度の差を示す。

【0034】

本明細書で使用される場合、「相対ポーズ差」は、対象と画像化装置との間の相対的な空間移動によって引き起こされる画像化装置の２つのポーズ間の位置および相対角度差の両方を示す。

【0035】

本明細書で使用される場合、「エピポーラ距離」は、ある点と、別の視点における同じ点のエピポーラ線との間の距離の測定値を示す。本明細書で使用される場合、「エピポーラ線」は、視点における１つまたは複数の点のｘ、ｙベクトルまたは２列行列から得る計算を示す。

【0036】

本明細書で使用される場合、「類似性尺度」は、２つの対象間の類似性を定量化する実数値の関数を示す。

【0037】

いくつかの実施形態では、本発明は、
第１の画像化モダリティから第１の画像を取得するステップと、
第１の画像化モダリティから得る第１の画像から得る少なくとも１つの要素を抽出するステップであって、
ここで少なくとも１つの要素は、気道、血管、体腔、またはそれらの任意の組み合わせを含むステップと、
第２の画像化モダリティから、少なくとも（ｉ）第１のポーズにおける放射線不透過性機器の第１の画像、および（ｉｉ）第２のポーズにおける放射線不透過性機器の第２の画像を取得するステップであって、
ここで放射線不透過性機器は、患者の体腔にあるステップと、
少なくとも２つの拡張気管支造影図を生成するステップであって、
ここで第１の拡張気管支造影図は、第１のポーズにおける放射線不透過性機器の第１の画像に対応し、
第２の拡張気管支造影図は、第２のポーズにおける放射線不透過性機器の第２の画像に対応するステップと、
（ｉ）放射線不透過性機器の第１のポーズと
（ｉｉ）放射線不透過性機器の第２のポーズと
の間の相互幾何学的制約を判定するステップと、
放射線不透過性機器の第１のポーズおよび放射線不透過性機器の第２のポーズを、第１の画像化モダリティの第１の画像と比較することによって推定するステップであって、
ここで比較することは、
（ｉ）第１の拡張気管支造影図、
（ｉｉ）第２の拡張気管支造影図、および
（ｉｉｉ）少なくとも１つの要素
を用いて実行され、
放射線不透過性機器の推定された第１のポーズおよび放射線不透過性機器の推定された第２のポーズは、判定された相互幾何学的制約を満たすステップと、
第３の画像を生成するステップであって、ここで第３の画像は、対象領域を強調する第２の画像化モダリティから導かれた拡張画像であり、
対象領域は、第１の画像化モダリティから得るデータから判定されるステップと
を含む方法を提供する。

【0038】

いくつかの実施形態では、第１の画像化モダリティから得る第１の画像から得る少なくとも１つの要素は、肋骨、椎骨、隔膜、またはそれらの任意の組み合わせをさらに備える。 いくつかの実施形態では、相互幾何学的制約は、
ａ．放射線不透過性機器の第１の画像と、放射線不透過性機器の第２の画像とを比較することによって、（ｉ）第１のポーズと（ｉｉ）第２のポーズとの間の差を推定することであって、
ここで推定することは、分度器、加速度計、ジャイロスコープ、またはそれらの任意の組み合わせを含む装置を使用して実行され、装置は、第２の画像化モダリティに取り付けられる、推定することと、
ｂ．相対ポーズ変化を推定するために複数の画像特徴を抽出することであって、
ここで複数の画像特徴は、解剖学的要素、非解剖学的要素、またはそれらの任意の組み合わせを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野に配置された放射線不透過性マーカー、またはそれらの任意の組み合わせを含み、
画像特徴は、放射線不透過性機器の第１の画像および放射線不透過性機器の第２の画像で可視である、抽出することと、
ｃ．少なくとも１つのカメラを使用することによって、（ｉ）第１のポーズと（ｉｉ）第２のポーズとの間の差を推定することであって、
ここでカメラは、ビデオカメラ、赤外線カメラ、深度カメラ、またはそれらの任意の組み合わせを備え、
カメラは固定位置にあり、
カメラは、少なくとも１つの特徴を追跡するように構成され、
ここで少なくとも１つの特徴は、患者に取り付けられたマーカー、第２の画像化モダリティに取り付けられたマーカー、またはそれらの任意の組み合わせを含む、推定することと、
ｄ．またはそれらの任意の組合せによって生成される。

【0039】

いくつかの実施形態では、方法は、軌道を特定し、さらなる幾何学的制約として軌道を使用するために放射線不透過性機器を追跡するステップをさらに含み、ここで放射線不透過性機器は、内視鏡、気管支内器具、またはロボットのアームを備える。

【0040】

いくつかの実施形態では、本発明は、
患者の少なくとも１つの体腔のマップを生成するステップであって、
ここで第１の画像化モダリティから得る第１の画像を用いてマップを生成する、ステップと、
第２の画像化モダリティから、少なくとも２つの取り付けられたマーカーを備える放射線不透過性機器の画像を取得するステップであって、
ここで少なくとも２つの取り付けられたマーカーは既知の距離だけ隔たりがある、ステップと、
患者の少なくとも１つの体腔のマップに対して第２の画像化モダリティから得る放射線不透過性機器のポーズを同定するステップと、
第２の画像化モダリティから得る第２の画像における放射線不透過性機器に取り付けられた第１のマーカーの第１の位置を同定するステップと、
第２の画像化モダリティから得る第２の画像における放射線不透過性機器に取り付けられた第２のマーカーの第２の位置を同定するステップと、
第１のマーカーの第１の位置と第２のマーカーの第２の位置との間の距離を測定するステップと、
第１のマーカーと第２のマーカーの間の既知の距離を投影するステップと、
測定された距離を第１のマーカーと第２のマーカー間の投影された既知の距離と比較して、少なくとも１つの患者の体腔内の放射線不透過性機器の特定の位置を同定するステップと
を含む方法である。

【0041】

いくつかの実施形態では、放射線不透過性機器が、内視鏡、気管支内器具、またはロボットのアームを備える。

【0042】

いくつかの実施形態では、方法は、放射線不透過性機器の軌跡を使用して放射線不透過性機器の深さを特定するステップをさらに含む。

【0043】

いくつかの実施形態では、第１の画像化モダリティから得る第１の画像は術前画像である。いくつかの実施形態では、第２の画像化モダリティからの放射線不透過性機器の少なくとも１つの画像は、術中画像である。

【0044】

いくつかの実施形態では、本発明は、
第１の画像化モダリティから第１の画像を取得するステップと、
第１の画像化モダリティから得る第１の画像から得る少なくとも１つの要素を抽出するステップであって、
ここで少なくとも１つの要素は、気道、血管、体腔、またはそれらの任意の組み合わせを含むステップと、
第２の画像化モダリティから、少なくとも（ｉ）放射線不透過性機器の１つの画像および（ｉｉ）第２の画像化モダリティの２つの異なるポーズでの放射線不透過性機器の別の画像を取得するステップであって、
ここで放射線不透過性機器の第１の画像は、第２の画像化モダリティの第１のポーズでキャプチャされ、
放射線不透過性機器の第２の画像は、第２の画像化モダリティの第２のポーズでキャプチャされ、
放射線不透過性機器は、患者の体腔にあるステップと、
画像化装置の２つのポーズのそれぞれに対応する少なくとも２つの拡張気管支造影図を生成するステップであって、ここで第１の拡張気管支造影図は、放射線不透過性機器の第１の画像に由来し、第２の拡張気管支造影図は、放射線不透過性機器の第２の画像に由来する、ステップと、
（ｉ）第２の画像化モダリティの第１のポーズと、
（ｉｉ）第２の画像化モダリティの第２のポーズと
の間の相互幾何学的制約を判定するステップと、
対応する拡張気管支造影図と第１の画像化モダリティの第１の画像から抽出された少なくとも１つの要素とを使用して、第１の画像化モダリティの第１の画像に対して第２の画像化モダリティの２つのポーズを推定するステップであって、
ここで２つの推定されたポーズは、相互幾何学的制約を満たすステップと、
第３の画像を生成するステップであって、ここで第３の画像は、第１の画像化モダリティから供給されたデータに基づいて、対象領域を強調する第２の画像化モダリティから導かれた拡張画像であるステップと
を含む方法である。

【0045】

いくつかの実施形態では、肋骨、椎骨、隔膜、またはそれらの任意の組み合わせなどの解剖学的要素が、第１の画像化モダリティおよび第２の画像化モダリティから抽出される。

【0046】

いくつかの実施形態では、相互幾何学的制約は、
ａ．放射線不透過性機器の第１の画像と、放射線不透過性機器の第２の画像とを比較することによって、（ｉ）第１のポーズと（ｉｉ）第２のポーズとの間の差を推定することであって、
ここで推定することは、分度器、加速度計、ジャイロスコープ、またはそれらの任意の組み合わせを含む装置を使用して実行され、装置は、第２の画像化モダリティに取り付けられる、推定することと、
ｂ．相対ポーズ変化を推定するために複数の画像特徴を抽出することであって、
ここで複数の画像特徴は、解剖学的要素、非解剖学的要素、またはそれらの任意の組み合わせを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野に配置された放射線不透過性マーカー、またはそれらの任意の組み合わせを含み、
画像特徴は、放射線不透過性機器の第１の画像および放射線不透過性機器の第２の画像で可視である、抽出することと、
ｃ．少なくとも１つのカメラを使用することによって、（ｉ）第１のポーズと（ｉｉ）第２のポーズとの間の差を推定することであって、
ここでカメラは、ビデオカメラ、赤外線カメラ、深度カメラ、またはそれらの任意の組み合わせを備え、
カメラは固定位置にあり、
カメラは、少なくとも１つの特徴を追跡するように構成され、
ここで少なくとも１つの特徴は、患者に取り付けられたマーカー、第２の画像化モダリティに取り付けられたマーカー、またはそれらの任意の組み合わせを含み、
少なくとも１つの特徴を追跡する、推定することと、
ｄ．またはそれらの任意の組合せによって生成される。

【0047】

いくつかの実施形態では、方法は、軌道を特定し、追加の幾何学的制約としてこのような軌道を使用するために放射線不透過性機器を追跡するステップをさらに含み、ここで放射線不透過性機器は、内視鏡、気管支内器具、またはロボットのアームを備える。

【0048】

いくつかの実施形態では、本発明は、患者の体内の真の機器の位置を同定する方法であって、
第１の画像化モダリティの第１の画像から生成された患者の少なくとも１つの体腔のマップを使用するステップと、
患者の体内の少なくとも２つの異なる体腔に位置するように画像から知覚される可能性のある、第２の画像化モダリティから、それに取り付けられて間に規定された距離を有する少なくとも２つのマーカーを備える放射線不透過性機器の画像を取得するステップと、
マップに対して第２の画像化モダリティのポーズを取得するステップと、
第２の画像化モダリティから得る第２の画像における放射線不透過性機器に取り付けられた第１のマーカーの第１の位置を同定するステップと、
第２の画像化モダリティから得る第２の画像における放射線不透過性機器に取り付けられた第２のマーカーの第２の位置を同定するステップと、
第１のマーカーの第１の位置と第２のマーカーの第２の位置との間の距離を測定するステップと、
第２の画像化モダリティのポーズを使用して放射線不透過性機器の知覚された位置のそれぞれにおけるマーカーの間の既知の距離を投影するステップと、
測定された距離を２つのマーカー間の投影された距離のそれぞれと比較して、体内の真の機器の位置を同定するステップと
を含む方法である。

【0049】

いくつかの実施形態では、放射線不透過性機器が、内視鏡、気管支内器具、またはロボットのアームを備える。

【0050】

いくつかの実施形態では、方法は、放射線不透過性機器の軌跡を使用して放射線不透過性機器の深さを特定するステップをさらに含む。

【0051】

いくつかの実施形態では、第１の画像化モダリティから得る第１の画像は術前画像である。いくつかの実施形態では、第２の画像化モダリティからの放射線不透過性機器の少なくとも１つの画像は、術中画像である。

【0052】

多視点ポーズ推定

【0053】

出願ＰＣＴ／ＩＢ２０１５／０００４３８号明細書は、内視鏡での処置中に患者に対する蛍光透視鏡装置のポーズ情報（例えば、位置、向き）を推定する方法の説明を含み、その全体が参照により本明細書に組み込まれる。２０１５年１０月２０日に出願されたＰＣＴ／ＩＢ１５／００２１４８号明細書も、参照によりその全体が本明細書に組み込まれる。

【0054】

本発明は、１組の術中画像から抽出されたデータを含む方法であって、各画像は、画像化装置から得られた少なくとも１つ（例えば、１、２、３、４など）の未知のポーズで取得される。それらの画像は、ポーズ推定方法の入力として使用される。例示的な実施形態としては、図３、図４、図５は、３つの蛍光透視画像のセットの例である。図４および図５の画像は、同じ未知のポーズで取得されたが、図３の画像は、異なる未知のポーズで取得された。このセットは、例えば、画像化装置に関連する追加の既知の位置データを含んでも含まなくてもよい。例えば、セットには、Ｃアームの場所や向きなどの位置データが含まれていてもよく、これらは、蛍光透視鏡によって与えられても、分度器、加速度計、ジャイロスコープなどの蛍光透視鏡に取り付けた測定装置によって取得されてもよい。

【0055】

いくつかの実施形態では、解剖学的要素は、追加の術中画像から抽出され、これらの解剖学的要素が、ポーズ推定方法に導入され得る幾何学的制約を示す。その結果、ポーズ推定方法を使用する前に、単一の術中画像から抽出された要素の数を減らすことができる。

【0056】

いくつかの実施形態では、多視点ポーズ推定法は、術前のモダリティから得られた情報を、術中画像のセットから得る任意の画像に重畳することをさらに含む。

【0057】

いくつかの実施形態については、術中の画像にわたり術前のモダリティから得られた情報を重畳することに関する説明は、ＰＣＴ／ＩＢ２０１５／０００４３８号明細書で得ることができ、その全体は参照により本明細書に組み込まれる。

【0058】

いくつかの実施形態では、複数の第２の画像化モダリティにより、患者に対する蛍光透視鏡のポーズを変化させて複数の画像を得ること（例えば、非限定的に、蛍光透視鏡のアームの回転または直線移動、患者のベッドの回転および移動、ベッド上での患者の相対移動、または上記の任意の組み合わせ）が可能になり、この場合、患者と蛍光透視装置との間の回転移動および直線移動の任意の組み合わせとして、複数の画像が、透視投影源の上記の相対的なポーズから得られる。

【0059】

本発明の複数の実施形態を説明してきたが、これらの実施形態は例示にすぎず、限定的ではないこと、および多くの変更が当業者には明らかになり得ることが理解される。 またさらに、様々なステップは、任意の所望の順序で実行されてもよい（任意の所望のステップが追加されてもよく、および／または任意の所望のステップが排除されてもよい）。

【0060】

以下の例をこれから参照する。この例は、上記の記載と共に、本発明のいくつかの実施形態を非限定的に説明する。

【0061】

例：低侵襲性肺処置

【0062】

本発明の非限定的な例示的実施形態は、気管支鏡の作動チャネルを通して患者の気管支の気道に気管支内器具を挿入する低侵襲性肺処置に適用することができる（図６参照）。診断処置を開始する前に、医師は、医師が対象領域の周りのいくつかの（例えば、２、３、４などの）気管支の気道にカテーテルを配置するセットアッププロセスを実行する。蛍光透視画像は、図２、図３および図４に示すように、気管支内カテーテルの各位置ごとに取得する。術中の蛍光透視装置のポーズ推定を実行するために使用されるナビゲーションシステムの例は、出願ＰＣＴ／ＩＢ２０１５／０００４３８号明細書に記載されており、本発明の本方法は、抽出された要素（例えば、非限定的に複数のカテーテルの位置、肋骨の解剖学的構造、および患者の身体の境界）を利用する。

【0063】

対象領域におけるポーズを推定した後、気管支鏡を挿入するための経路は、処置前の画像化モダリティで同定することができ、術中の蛍光透視画像上に術前画像からの情報を強調表示または重ね合わせることによってマークすることができる。対象領域に気管支内カテーテルをナビゲートした後、医師は、例えば、カテーテルが対象領域に位置していることを確認するために、回転したり、ズームレベルを変更したり、蛍光透視装置をシフトさせることができる。通常は、図４に示すような蛍光透視装置のこのようなポーズの変化により、予め推定されていたポーズが無効になり、医師がセットアップのプロセスを繰り返すことが必要になる。しかし、カテーテルはすでに潜在的な対象領域内に位置しているので、セットアップのプロセスの繰り返しを実行する必要はない。

【0064】

図４は、本発明の例示的な実施形態を示し、図２および図３から抽出された解剖学的要素を使用して推定される蛍光透視鏡の角度のポーズを示す（例えば図２および図３は、初期のセットアップのプロセス、およびカテーテルの位置、肋骨の解剖学的構造および身体の境界などの画像から抽出された追付の解剖学的要素から得た画像を示す）。ポーズは、例えば、（１）蛍光透視鏡を動かすこと（例えば、Ｃアームの周りで頭部を回転させる）、（２）蛍光透視鏡を前後に移動すること、または、対象の位置の変化を介して交互に移動すること、または両方の組み合わせを介していずれかに移動することにより変えることができる。さらに、推定プロセスで、図２と図４との間にある相互の幾何学的制約、例えば画像化装置に関する位置データを使用することができる。

【0065】

図１は、本発明の例示的な実施形態であり、以下を示す。

【0066】

Ｉ．構成要素１２０は、自動または半自動のセグメンテーションプロセス、またはそれらの任意の組み合わせを利用して、非限定的にＣＴ、磁気共鳴イメージング（ＭＲＩ）、陽電子放出断層撮影コンピュータ断層撮影（ＰＥＴ−ＣＴ）などの術前画像から、気管支の気道、肋骨、隔膜などの３Ｄの解剖学的要素を抽出する。自動または半自動のセグメンテーションプロセスの例は、「Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ Ｈｕｍａｎ Ａｉｒｗａｙ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃｌｉｎｉｃａｌ Ｖｉｒｔｕａｌ Ｂｒｏｎｃｈｏｓｃｏｐｙ」、Ａｔｉｌｌａ Ｐ．Ｋｉｒａｌｙ、Ｗｉｌｌｉａｍ Ｅ．Ｈｉｇｇｉｎｓ、Ｇｅｏｆｆｒｅｙ ＭｃＬｅｎｎａｎ、Ｅｒｉｃ Ａ．Ｈｏｆｆｍａｎ、Ｊｏｓｅｐｈ Ｍ．Ｒｅｉｎｈａｒｄｔに記載されており、その全体が参照により本明細書に組み込まれる。

【0067】

ＩＩ．構成要素１３０は、非限定的に、蛍光透視画像、超音波画像などの術中画像のセットから２Ｄの解剖学的要素（気管支の気道４１０、肋骨４２０、身体の境界４３０および隔膜など、図４にさらに示される）を抽出する。

【0068】

ＩＩＩ．構成要素１４０は、相対角度差、相対ポーズ差、エピポーラ距離などの術中画像のセットにおける画像の各サブセット間の相互制約を計算する。

【0069】

別の実施形態では、この方法は、術中画像のセットにおける画像の各サブセット間の相互制約を推定することを含む。そのような方法の非限定的な例は、以下のものがある。（１）一対の蛍光透視画像の少なくとも２つのポーズ間の相対ポーズ変化を推定するために術中画像化装置に取り付けられる測定装置の使用。（２）両方の画像で可視である、解剖学的要素、または患者に取り付けられたパッチ（例えば、ＥＣＧパッチ）、または術中画像化装置の視野の内部に位置する放射線不透過性マーカーを含むが、これに限定されない非解剖学的要素といった画像特徴の抽出、および相対ポーズ変化を推定するためのそれらの特徴の利用。 （３）患者またはマーカーに取り付けられたパッチ、画像化装置に取り付けられたマーカーなどの特徴を追跡する、処置室の指定された場所に取り付けたビデオカメラ、赤外線カメラ、深度カメラ、またはそれらの任意の組み合わせなどのカメラのセットの使用。このような特徴を追跡することによって、構成要素は、画像化装置の相対ポーズ変化を推定することができる。

【0070】

ＩＶ．構成要素１５０は、術前画像から生成された３Ｄ要素と、術中画像から生成された対応する２Ｄ要素とを適合させる。例えば、蛍光透視画像から抽出された所定の２Ｄの気管支の気道と、ＣＴ画像から抽出された３Ｄの気道のセットとを適合させる。

【0071】

Ｖ．構成要素１７０は、術前画像座標系、動作環境関連、他の画像化またはナビゲーション装置によって形成された座標系などの所望の座標系における、術中画像のセットでの各画像のポーズを推定する。

【0072】

この構成要素の入力は次のとおりである。
・患者の術前画像から抽出された３Ｄの解剖学的要素。
・術中画像のセットから抽出された２Ｄの解剖学的要素。本明細書で述べているように、セットの画像は、同じまたは異なる画像化装置のポーズから得ることが可能である。
・術中画像のセットにおける画像の各サブセット間の相互制約。

【0073】

構成要素１７０は、以下のように、術中画像のセットから各画像のポーズを評価する。
・抽出された２Ｄ要素は、対応する投影された３Ｄの解剖学的要素に適合させる。
・相互制約条件１４０を、推定されたポーズに適用させる。

【0074】

術前画像を術中画像から得る対応する２Ｄ要素に供給し、投影された３Ｄ要素を適合させるために、距離メトリックのような類似の尺度が必要となる。そのような距離メトリックから、投影された３Ｄ要素とそれらの対応する２Ｄ要素との間の距離を評価する尺度が得られる。例えば、２つのポリライン間のユークリッド距離（例えば、単一のオブジェクトとして作成された線分セグメントの連結されたシーケンス）は、術中画像から抽出された２Ｄ気道に対する術前画像を供給する３Ｄの投影された気管支の気道の類似性の尺度として使用することができる。

【0075】

さらに、本発明の方法の実施形態では、この方法は、類似性尺度を最適化するそのようなポーズを同定することによって、術中画像のセットに対応するポーズのセットを推定することを含むが、ただし、術中画像セットから得る画像のサブセット間の相互制約は満たされる。類似性尺度の最適化は、最小２乗問題と称することができ、いくつかの方法、例えば、（１）ポーズ推定用の反復最小化方法を実施する周知のバンドル調整アルゴリズムを使用すること、および本明細書で参照によりその全体が本明細書に組み込まれるＢ．Ｔｒｉｇｇｓ； Ｐ．ＭｃＬａｕｃｈｌａｎ； Ｒ．Ｈａｒｔｌｅｙ； Ａ．Ｆｉｔｚｇｉｂｂｏｎ（１９９９）、「Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ−Ａ Ｍｏｄｅｒｎ Ｓｙｎｔｈｅｓｉｓ」、ＩＣＣＶ ’９９：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍｓ．Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ．ｐｐ．２９８-３７２、ならびに（２）類似性尺度を最適化する最適なポーズを探索する際のパラメータ空間を走査するためにグリッド・サーチ方法を使用すること、において解決できる。

【0076】

マーカー

【0077】

放射線不透過性マーカーは、機器の位置に関する３Ｄ情報を回復するために、医療機器の所定の位置に配置することができる。 気管支の気道または血管などの体内腔部の３Ｄ構造のいくつかの経路を、術中画像の類似した２Ｄ曲線に投影することができる。マーカーで得られた３Ｄ情報は、例えば、ＰＣＴ／ＩＢ２０１５／０００４３８号明細書の出願に示されるように、そのような経路を区別するために使用されてもよい。

【0078】

本発明の例示的な実施形態では、図５に示すように、機器は、術中装置によって画像化され、画像化面５０５に投影される。両方の経路が画像面５０５の同じ曲線に投影されるので、機器が経路５２０または５２５の内部に配置されているかどうかは不明である。経路５２０と５２５とを区別するために、マーカー間に所定の距離「ｍ」を有するカテーテルに取り付けられた少なくとも２つの放射線不透過性マーカーを使用することが可能である。図５において、術前画像で観られたマーカーは、「Ｇ」および「Ｆ」と命名されている。

【0079】

５２０と５２５との間の差別化プロセスは、以下のように実行することができる。

【0080】

（１）対応する気道５２０、５２５の可能な候補について術中画像から得る点Ｆを投影して点Ａおよび点Ｂを得る。

【0081】

（２）対応する気道５２０、５２５の可能な候補について術中画像から得る点Ｇを投影して点ＣおよびＤを得る。

【0082】

（３）投影されたマーカー対｜ＡＣ｜と｜ＢＤ｜との間の距離を測定する。

【0083】

（４）５２０の｜ＡＣ｜および５２５の｜ＢＤ｜の距離を、器具のメーカが予め定義した距離ｍと比較する。距離の類似性に応じて適切な気道を選択する。

【0084】

［追跡スコープ］
非限定的な例として、患者のＣＴスキャンを蛍光透視装置に位置合わせする方法が本明細書に開示される。この方法は、蛍光透視画像およびＣＴスキャンの両方で検出された解剖学的要素を、ＣＴスキャンに関する蛍光透視装置のポーズ（例えば、向きおよび位置）を生成するポーズ推定アルゴリズムへの入力として使用する。以下で、気管支内装置の位置に対応する３Ｄ空間軌道を、位置合わせする方法の入力に追加することによって、この方法を拡張する。これらの軌道は、スコープに沿って位置センサを取り付けるか、ロボットの内視鏡アームを使用するなどのいくつかの手段によって取得することができる。このような気管支内装置を、今後追跡スコープと呼ぶことにする。追跡スコープは、そこから目標の領域まで延びる操作器具をガイドするために使用する（図７を参照）。診断器具は、カテーテル、鉗子、針などであってもよい。以下、追跡スコープで取得した位置測定を使用して、本明細書に示す位置合わせする方法の精度と堅牢性を向上させる方法について説明する。

【0085】

一実施形態では、追跡スコープの軌道と、蛍光透視装置の座標システムとの間の位置合わせは、追跡スコープを空間の様々な位置に配置し、標準的なポーズ推定アルゴリズムを適用することによって達成される。ポーズ推定アルゴリズムへの言及については、以下の論文を参照されたい：Ｆ．Ｍｏｒｅｎｏ−Ｎｏｇｕｅｒ，Ｖ．Ｌｅｐｅｔｉｔ ａｎｄ Ｐ．Ｆｕａの論文、「ＥＰｎＰ：Ｅｆｆｉｃｉｅｎｔ Ｐｅｒｓｐｅｃｔｉｖｅ−ｎ−Ｐｏｉｎｔ Ｃａｍｅｒａ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」、その全体は参照により本明細書に組み込まれる。

【0086】

本明細書で開示されるポーズ推定方法は、ＣＴスキャンにおいて選択された要素が蛍光透視画像の対応する要素に投影されるようなポーズを推定することによって実行される。本発明の一実施形態では、追跡スコープの軌道をポーズ推定方法への入力として追加することにより、この方法を拡張させている。これらの軌道は、本明細書の方法を使用して、蛍光透視装置座標系に変換することができる。蛍光透視装置座標系に変換すると、推定されたポーズが、軌跡が位置合わせされたＣＴスキャンからセグメント化された気管支の気道に適合しなければならないという条件によって制約されるので、軌跡はポーズ推定方法に対する追加の制約となる。

【0087】

蛍光透視装置推定のポーズは、手術器具を肺内部の特定の標的に導くために、術前ＣＴから蛍光透視ライブビデオに解剖学的要素を投影するために使用されてもよい。そのような解剖学的要素は、標的病変、病変への経路などであり得るが、これらに限定されない。標的病変への投影経路は医師に２次元情報のみを提供し、結果として深さが曖昧である。すなわち、ＣＴでセグメント化されたいくつかの気道が、２Ｄ蛍光透視画像の同じ投影に対応する場合がある。手術器具が配置されているＣＴにおける気管支の気道を正確に特定することが重要である。本明細書に記載のそのような曖昧さを低減するために利用される１つの方法は、深さの情報を提供する器具に配置される放射線不透過性マーカーを使用することによって実行される。本発明の別の実施形態では、追跡スコープが気管支の気道の内部に３Ｄの位置を提供するので、追跡スコープを使用してこのような曖昧さを低減することができる。このようなアプローチをブランチングする気管支樹に適用すると、図７の追跡スコープの先端７０１まで潜在的な曖昧さのオプションを排除することができる。図７の操作器具７０２が３Ｄの軌跡を有していないと仮定すると、器具のこの部分７０２に対して上述の曖昧さが依然として発生する可能性があるが、このような事象は格段に起こりにくくなる。したがって、本発明のこの実施形態は、現在の器具の位置を正確に同定する本明細書に記載の方法の能力を向上させる。

【0088】

［等価物］
本発明は、とりわけ、軽度から中等度の急性の疼痛および／または炎症を治療するための新規な方法および組成物を提供する。本発明の特定の実施形態について論じたが、上記の明細書は例示的なものであり、限定的なものではない。本明細書を検討すると、当業者には本発明の多くの変形が明らかになるであろう。本発明の全範囲は、その等価物の全範囲と共に特許請求の範囲を、またそのような変形例と共に本明細書を参照して、判定するべきである。

【0089】

［参照による組み込み］
本明細書において言及しているすべての刊行物、特許および配列データベースの記入は、個々の刊行物または特許が参照により組み込まれることを具体的および個別に指示されているかのように、参照によりその全体が本明細書に組み込まれる。

【0090】

本発明の複数の実施形態を説明してきたが、これらの実施形態は例示にすぎず、限定的ではないこと、および多くの変更が当業者には明らかになり得ることが理解される。またさらに、様々なステップは、任意の所望の順序で実行されてもよい（任意の所望のステップが追加されてもよく、および／または任意の所望のステップが排除されてもよい）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】