特開2023-181259デジタル・コンピュータ・トモグラフィを用いた多視点姿勢推定のための方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181259
(43)【公開日】2023-12-21
(54)【発明の名称】デジタル・コンピュータ・トモグラフィを用いた多視点姿勢推定のための方法及びシステム
(51)【国際特許分類】
A61B 6/03 20060101AFI20231214BHJP
A61B 6/12 20060101ALI20231214BHJP
A61B 1/00 20060101ALI20231214BHJP
A61B 34/20 20160101ALI20231214BHJP
【ＦＩ】
A61B6/03 377
A61B6/12
A61B6/03 360G
A61B6/03 360J
A61B6/03 360Q
A61B1/00 552
A61B34/20
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023179482
(22)【出願日】2023-10-18
(62)【分割の表示】P 2021507924の分割
【原出願日】2019-08-13
(31)【優先権主張番号】62/718,346
(32)【優先日】2018-08-13
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】516201939
【氏名又は名称】ボディ・ビジョン・メディカル・リミテッド
【氏名又は名称原語表記】Ｂｏｄｙ Ｖｉｓｉｏｎ Ｍｅｄｉｃａｌ Ｌｔｄ．
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ツァイスリアー、タル
(72)【発明者】
【氏名】ハーパス、エラン
(72)【発明者】
【氏名】アバーブック、ドリアン
(57)【要約】
【課題】放射線不透過機器を自然の体腔を通して体内で案内することに関連する、いくつかの方法を開示する。
【解決手段】方法のうちの１つでは、画像化デバイスの姿勢を異ならせて獲得した放射線不透過機器の複数の画像及び事前に獲得した画像を使用する、画像化デバイスの姿勢推定が開示される。他の１つの方法では、放射線不透過マーカ及び機器軌道追跡などのいくつかの手法を使用して、放射線不透過機器の位置特定の曖昧さが解決される。
【選択図】図１
【解決手段】方法のうちの１つでは、画像化デバイスの姿勢を異ならせて獲得した放射線不透過機器の複数の画像及び事前に獲得した画像を使用する、画像化デバイスの姿勢推定が開示される。他の１つの方法では、放射線不透過マーカ及び機器軌道追跡などのいくつかの手法を使用して、放射線不透過機器の位置特定の曖昧さが解決される。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の画像化モダリティの第１の姿勢において患者の体の対象領域の第１の画像を取得することであって、前記第１の姿勢は、基準座標系との第１の既知の関係を有する、第１の画像を取得することと、
第１の画像化モダリティの第２の姿勢において前記対象領域の第２の画像を取得することであって、前記第２の姿勢は、前記基準座標系との第２の既知の関係を有する、第２の画像を取得することと、
少なくとも前記第１の画像及び前記第２の画像に基づいて、前記対象領域の再構築された３Ｄ立体物（ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ｖｏｌｕｍｅ）を再構築することと、
前記再構築された３Ｄ立体物において対象エリアを特定することと、
前記第１の画像化モダリティの第３の姿勢において前記対象領域の第３の画像を取得することであって、前記第３の姿勢は、前記基準座標系との第３の既知の関係を有する、第３の画像を取得することと、
前記基準座標系との前記第３の既知の関係に少なくとも基づいて、前記再構築された３Ｄ立体物からの前記対象エリアを前記第３の画像に投影することと
を含む、方法。
第１の画像化モダリティの第２の姿勢において前記対象領域の第２の画像を取得することであって、前記第２の姿勢は、前記基準座標系との第２の既知の関係を有する、第２の画像を取得することと、
少なくとも前記第１の画像及び前記第２の画像に基づいて、前記対象領域の再構築された３Ｄ立体物（ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ｖｏｌｕｍｅ）を再構築することと、
前記再構築された３Ｄ立体物において対象エリアを特定することと、
前記第１の画像化モダリティの第３の姿勢において前記対象領域の第３の画像を取得することであって、前記第３の姿勢は、前記基準座標系との第３の既知の関係を有する、第３の画像を取得することと、
前記基準座標系との前記第３の既知の関係に少なくとも基づいて、前記再構築された３Ｄ立体物からの前記対象エリアを前記第３の画像に投影することと
を含む、方法。
【請求項2】
前記対象領域の術前の３Ｄ立体物を受信することと、
前記術前の３Ｄ立体物を前記再構築された３Ｄ立体物に対して位置合わせすることと
をさらに含む、請求項１に記載の方法。
前記術前の３Ｄ立体物を前記再構築された３Ｄ立体物に対して位置合わせすることと
をさらに含む、請求項１に記載の方法。
【請求項3】
前記術前の３Ｄ立体物から解剖学的な特徴を抽出することと、
前記再構築された３Ｄ立体物から前記解剖学的な特徴を抽出することと、
少なくとも前記解剖学的な特徴に基づいて、前記術前の３Ｄ立体物を前記再構築された３Ｄ立体物に対して位置合わせすることと
を含むステップにより、
前記術前の３Ｄ立体物が前記再構築された３Ｄ立体物に対して位置合わせされる、請求項２に記載の方法。
前記再構築された３Ｄ立体物から前記解剖学的な特徴を抽出することと、
少なくとも前記解剖学的な特徴に基づいて、前記術前の３Ｄ立体物を前記再構築された３Ｄ立体物に対して位置合わせすることと
を含むステップにより、
前記術前の３Ｄ立体物が前記再構築された３Ｄ立体物に対して位置合わせされる、請求項２に記載の方法。
【請求項4】
前記解剖学的な特徴が、少なくとも１つの肋骨である、請求項３に記載の方法。
【請求項5】
前記再構築された３Ｄ立体物が、部分的な３Ｄ立体物であり、前記術前の３Ｄ立体物を前記再構築された３Ｄ立体物に対して位置合わせすることは、前記術前の３Ｄ立体物を前記部分的な３Ｄ立体物に融合して、統合された３Ｄ立体物を提供することを含む、請求項２に記載の方法。
【請求項6】
特定された前記対象エリアは、ユーザによってマーキングされた前記対象エリアに基づいて受信される、請求項１に記載の方法。
【請求項7】
前記第１の画像及び前記第２の画像は、前記対象領域内に配置された内視鏡機器を含む、請求項１に記載の方法。
【請求項8】
前記内視鏡機器は、放射線不透過マーカを含む、請求項７に記載の方法。
【請求項9】
前記再構築された３Ｄ立体物を再構築することは、前記内視鏡機器を含む前記第１の画像及び前記第２の画像に少なくとも基づいて行われる、請求項７に記載の方法。
【請求項10】
前記第１の画像化モダリティの前記第１の姿勢を推定することと、
前記第１の画像化モダリティの前記第２の姿勢を推定することと
をさらに含む、請求項１に記載の方法。
前記第１の画像化モダリティの前記第２の姿勢を推定することと
をさらに含む、請求項１に記載の方法。
【請求項11】
前記第１の画像化モダリティの前記第１の画像及び前記第１の画像化モダリティの前記第２の画像は、術中画像である、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１８年８月１３日に出願された「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＭＵＬＴＩ ＶＩＥＷ ＰＯＳＥ ＥＳＴＩＭＡＴＩＯＮ ＵＳＩＮＧ ＤＩＧＩＴＡＬ ＣＯＭＰＵＴＡＴＩＯＮＡＬ ＴＯＭＯＧＲＡＰＨＹ」と題する米国仮特許出願第６２／７１８，３４６号の利益を主張する関連国際（ＰＣＴ）出願であり、同仮出願の全体が参照によって本明細書に組み込まれる。
【0002】
本発明の実施例は、介入性のデバイス及びその使用方法に関する。
【背景技術】
【0003】
内視鏡手技、ビデオ補助胸部手術、又は類似の医療手技といった最小侵襲性手技の用法を、疑わしい病巣の診断器具として又は癌性腫瘍の治療手段として使用することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第９，７４３，８９６号
【特許文献2】国際特許出願第ＷＯ／２０１６／０６７０９２号
【特許文献3】国際出願第ＰＣＴ／ＩＢ２０１５／０００４３８号
【非特許文献】
【0005】
【非特許文献1】「Ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ Ｈｕｍａｎ Ａｉｒｗａｙ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃｌｉｎｉｃａｌ Ｖｉｒｔｕａｌ Ｂｒｏｎｃｈｏｓｃｏｐｙ」、Ａｔｉｌｌａ Ｐ． Ｋｉｒａｌｙ、Ｗｉｌｌｉａｍ Ｅ． Ｈｉｇｇｉｎｓ、Ｇｅｏｆｆｒｅｙ ＭｃＬｅｎｎａｎ、Ｅｒｉｃ Ａ． Ｈｏｆｆｍａｎ、Ｊｏｓｅｐｈ Ｍ． Ｒｅｉｎｈａｒｄｔ
【非特許文献2】Ｂ． Ｔｒｉｇｇｓ、Ｐ． ＭｃＬａｕｃｈｌａｎ、Ｒ． Ｈａｒｔｌｅｙ、Ａ． Ｆｉｔｚｇｉｂｂｏｎ （１９９９）、「Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ－Ａ Ｍｏｄｅｒｎ Ｓｙｎｔｈｅｓｉｓ」、ＩＣＣＶ’９９：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍｓ、Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ、２９８～３７２頁
【非特許文献3】Ｍｏｒｅｎｏ－Ｎｏｇｕｅｒ、Ｖ． Ｌｅｐｅｔｉｔ、及びＰ． Ｆｕａの論文「ＥＰｎＰ： Ｅｆｆｉｃｉｅｎｔ Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ Ｃａｍｅｒａ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」
【非特許文献4】Ｓｅｃｈｏｐｏｕｌｏｓ、Ｉｏａｎｎｉｓ （２０１３）、「Ａ ｒｅｖｉｅｗ ｏｆ ｂｒｅａｓｔ ｔｏｍｏｓｙｎｔｈｅｓｉｓ． Ｐａｒｔ ＩＩ． Ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ， ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ａｎａｌｙｓｉｓ， ａｎｄ ａｄｖａｎｃｅｄ ａｐｐｌｉｃａｔｉｏｎｓ」、Ｍｅｄｉｃａｌ Ｐｈｙｓｉｃｓ４０ （１）： ０１４３０２
【発明の概要】
【課題を解決するための手段】
【0006】
いくつかの実施例では、本発明は：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、少なくとも（ｉ）第１の姿勢である放射線不透過機器の第１の画像、及び（ｉｉ）第２の姿勢である放射線不透過機器の第２の画像を取得することであって、
放射線不透過機器は患者の体腔内にある、取得することと、
少なくとも２つの拡張された気管支造影図を生成することであって、
第１の拡張された気管支造影図は、第１の姿勢である放射線不透過機器の第１の画像に対応しており、
第２の拡張された気管支造影図は、第２の姿勢である放射線不透過機器の第２の画像に対応している、生成することと、
以下の間、すなわち、
（ｉ）放射線不透過機器の第１の姿勢と、
（ｉｉ）放射線不透過機器の第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を第１の画像化モダリティの第１の画像と比較することによって、放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を推定することであって、
比較することは、
（ｉ）第１の拡張された気管支造影図、
（ｉｉ）第２の拡張された気管支造影図、及び
（ｉｉｉ）少なくとも１つの要素、を使用して行われ、
放射線不透過機器の推定された第１の姿勢及び放射線不透過機器の推定された第２の姿勢は決定された相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成することと、を含み、
対象領域は第１の画像化モダリティからのデータから決定される、方法、を提供する。
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、少なくとも（ｉ）第１の姿勢である放射線不透過機器の第１の画像、及び（ｉｉ）第２の姿勢である放射線不透過機器の第２の画像を取得することであって、
放射線不透過機器は患者の体腔内にある、取得することと、
少なくとも２つの拡張された気管支造影図を生成することであって、
第１の拡張された気管支造影図は、第１の姿勢である放射線不透過機器の第１の画像に対応しており、
第２の拡張された気管支造影図は、第２の姿勢である放射線不透過機器の第２の画像に対応している、生成することと、
以下の間、すなわち、
（ｉ）放射線不透過機器の第１の姿勢と、
（ｉｉ）放射線不透過機器の第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を第１の画像化モダリティの第１の画像と比較することによって、放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を推定することであって、
比較することは、
（ｉ）第１の拡張された気管支造影図、
（ｉｉ）第２の拡張された気管支造影図、及び
（ｉｉｉ）少なくとも１つの要素、を使用して行われ、
放射線不透過機器の推定された第１の姿勢及び放射線不透過機器の推定された第２の姿勢は決定された相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成することと、を含み、
対象領域は第１の画像化モダリティからのデータから決定される、方法、を提供する。
【0007】
いくつかの実施例では、第１の画像化モダリティからの第１の画像からの少なくとも１つの要素には、肋骨、脊椎、横隔膜、又はこれらの任意の組合せが更に含まれる。いくつかの実施例では、相互の幾何学的制約は、以下によって生成される：
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するべく複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するべく複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
【0008】
いくつかの実施例では、方法は、軌道を特定するために放射線不透過機器を追跡することと、軌道を追加の幾何学的制約として使用することと、を更に含み、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
【0009】
いくつかの実施例では、本発明は以下を含む方法である：
患者の少なくとも１つの体腔のマップを生成することであって、
マップは第１の画像化モダリティからの第１の画像を使用して生成される、生成することと、
第２の画像化モダリティから、少なくとも２つの取り付けられたマーカを備える放射線不透過機器の画像を取得することであって、
少なくとも２つの取り付けられたマーカは既知の距離だけ分離されている、取得することと、
患者の少なくとも１つの体腔のマップに対する、第２の画像化モダリティからの放射線不透過機器の姿勢を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第１のマーカと第２のマーカとの間の既知の距離を投影することと、
患者の少なくとも１つの体腔内での放射線不透過機器の明確な位置を特定するために、測定された距離を、第１のマーカと第２のマーカとの間の投影された既知の距離と比較すること。
患者の少なくとも１つの体腔のマップを生成することであって、
マップは第１の画像化モダリティからの第１の画像を使用して生成される、生成することと、
第２の画像化モダリティから、少なくとも２つの取り付けられたマーカを備える放射線不透過機器の画像を取得することであって、
少なくとも２つの取り付けられたマーカは既知の距離だけ分離されている、取得することと、
患者の少なくとも１つの体腔のマップに対する、第２の画像化モダリティからの放射線不透過機器の姿勢を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第１のマーカと第２のマーカとの間の既知の距離を投影することと、
患者の少なくとも１つの体腔内での放射線不透過機器の明確な位置を特定するために、測定された距離を、第１のマーカと第２のマーカとの間の投影された既知の距離と比較すること。
【0010】
いくつかの実施例では、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
【0011】
いくつかの実施例では、方法は、放射線不透過機器の軌道を使用して放射線不透過機器の深度を特定することを更に含む。
【0012】
いくつかの実施例では、第１の画像化モダリティからの第１の画像は術前画像である。いくつかの実施例では、第２の画像化モダリティからの放射線不透過機器の少なくとも１つの画像は、術中画像である。
【0013】
いくつかの実施例では、本発明は以下を含む方法である：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、第２の画像化モダリティの２つの異なる姿勢において、少なくとも（ｉ）放射線不透過機器の１つの画像及び（ｉｉ）放射線不透過機器のもう１つの画像を取得することであって、
放射線不透過機器の第１の画像は第２の画像化モダリティの第１の姿勢において撮影され、
放射線不透過機器の第２の画像は第２の画像化モダリティの第２の姿勢において撮影され、
放射線不透過機器は患者の体腔内にある、取得することと、
画像化デバイスの２つの姿勢の各々に対応している少なくとも２つの拡張された気管支造影図を生成することであって、第１の拡張された気管支造影図は放射線不透過機器の第１の画像から導出され、第２の拡張された気管支造影図は放射線不透過機器の第２の画像から導出される、生成することと、
以下の間、すなわち、
（ｉ）第２の画像化モダリティの第１の姿勢と、
（ｉｉ）第２の画像化モダリティの第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
対応している拡張された気管支造影図画像及び第１の画像化モダリティの第１の画像から抽出された少なくとも１つの要素を使用して、第１の画像化モダリティの第１の画像に対する第２の画像化モダリティの２つの姿勢を推定することであって、
２つの推定された姿勢は相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第１の画像化モダリティをソースとするデータに基づく、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成すること。
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、第２の画像化モダリティの２つの異なる姿勢において、少なくとも（ｉ）放射線不透過機器の１つの画像及び（ｉｉ）放射線不透過機器のもう１つの画像を取得することであって、
放射線不透過機器の第１の画像は第２の画像化モダリティの第１の姿勢において撮影され、
放射線不透過機器の第２の画像は第２の画像化モダリティの第２の姿勢において撮影され、
放射線不透過機器は患者の体腔内にある、取得することと、
画像化デバイスの２つの姿勢の各々に対応している少なくとも２つの拡張された気管支造影図を生成することであって、第１の拡張された気管支造影図は放射線不透過機器の第１の画像から導出され、第２の拡張された気管支造影図は放射線不透過機器の第２の画像から導出される、生成することと、
以下の間、すなわち、
（ｉ）第２の画像化モダリティの第１の姿勢と、
（ｉｉ）第２の画像化モダリティの第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
対応している拡張された気管支造影図画像及び第１の画像化モダリティの第１の画像から抽出された少なくとも１つの要素を使用して、第１の画像化モダリティの第１の画像に対する第２の画像化モダリティの２つの姿勢を推定することであって、
２つの推定された姿勢は相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第１の画像化モダリティをソースとするデータに基づく、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成すること。
【0014】
いくつかの実施例では、肋骨、脊椎、横隔膜、又はこれらの任意の組合せなどの解剖学的要素が、第１の画像化モダリティから及び第２の画像化モダリティから抽出される。
【0015】
いくつかの実施例では、相互の幾何学的制約は、以下によって生成される：
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
【0016】
いくつかの実施例では、方法は、軌道を識別するために放射線不透過機器を追跡することと、かかる軌道を追加の幾何学的制約として使用することと、を更に含み、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
【0017】
いくつかの実施例では、本発明は、以下を含む、患者の体内の機器の真の位置を特定するための方法である：
第１の画像化モダリティの第１の画像から生成された患者の少なくとも１つの体腔のマップを使用することと、
第２の画像化モダリティから、ある距離が間に定められている少なくとも２つのマーカが取り付けられている、放射線不透過機器の画像を取得することであって、
マーカは、患者の体内の少なくとも２つの異なる体腔内に位置付けられる画像から認識できる、取得することと、
マップに対する第２の画像化モダリティの姿勢を取得することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第２の画像化モダリティの姿勢を使用して、放射線不透過機器の認識された位置の各々上に、マーカ同士の間の既知の距離を投影することと、
体内での機器の真の位置を特定するために、測定された距離と２つのマーカ同士の間の投影された距離の各々とを比較すること。
第１の画像化モダリティの第１の画像から生成された患者の少なくとも１つの体腔のマップを使用することと、
第２の画像化モダリティから、ある距離が間に定められている少なくとも２つのマーカが取り付けられている、放射線不透過機器の画像を取得することであって、
マーカは、患者の体内の少なくとも２つの異なる体腔内に位置付けられる画像から認識できる、取得することと、
マップに対する第２の画像化モダリティの姿勢を取得することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第２の画像化モダリティの姿勢を使用して、放射線不透過機器の認識された位置の各々上に、マーカ同士の間の既知の距離を投影することと、
体内での機器の真の位置を特定するために、測定された距離と２つのマーカ同士の間の投影された距離の各々とを比較すること。
【0018】
いくつかの実施例では、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
【0019】
いくつかの実施例では、方法は、放射線不透過機器の軌道を使用して放射線不透過機器の深度を特定することを更に含む。
【0020】
いくつかの実施例では、第１の画像化モダリティからの第１の画像は術前画像である。いくつかの実施例では、第２の画像化モダリティからの放射線不透過機器の少なくとも１つの画像は、術中画像である。
【0021】
本発明について添付の図面を参照して更に説明するが、これらの図面においては、いくつかの図の全てにわたって、同様の構造は同様の数字によって言及される。示されている図面は必ずしも正確な縮尺で描かれておらず、代わりに本発明の原理を示すことが全体的に強調されている。更に、特定の構成要素の詳細を示すために、いくつかの特徴が誇張されている場合がある。
【図面の簡単な説明】
【0022】
【図1】本発明の方法のいくつかの実施例において使用される多視点姿勢推定方法のブロック図である。
【図2】本発明の方法において使用される術中画像の例示的な実施例を示す図であり、１つの特定の姿勢から取得されるフルオロスコープ画像を示す。気管支鏡２４０、機器２１０、肋骨２２０、及び身体境界２３０が見えている。多視点姿勢推定方法は図２に見えている要素を入力として使用する。
【図3】本発明の方法において使用される術中画像の例示的な実施例を示す図であり、１つの特定の姿勢から取得されるフルオロスコープ画像を示す。気管支鏡３４０、機器３１０、肋骨３２０、及び身体境界３３０が見えている。多視点姿勢推定方法は図３に見えている要素を入力として使用する。
【図4】本発明の方法において使用される術中画像の例示的な実施例を示す図であり、Ｃアームの回転の結果、図２及び図３と比較して異なる姿勢において取得されたフルオロスコープ画像を示す。気管支鏡４４０、機器４１０、肋骨４２０、及び身体境界４３０が見えている。多視点姿勢推定方法は図４に見えている要素を入力として使用する。
【図5】本発明の方法において利用される気管支気道の構造の概略図である。気道中心線は５３０で表されている。カテーテルは気道の構造に挿入され、画像平面５４０を有するフルオロスコープ・デバイスによって画像化される。画像上のカテーテルの投影は曲線５５０によって示されており、これに取り付けられた放射線不透過マーカは点Ｇ及び点Ｆへと投影されている。
【図6】気管支鏡に取り付けられた気管支鏡デバイス先端部の画像であり、この気管支鏡は本発明の方法の実施例において使用可能である。
【図7】本発明の方法の実施例に係る図であり、この図は、気管支鏡手技においてそこから延びる手術器具（７０２）と共に使用される追跡型スコープ（ｔｒａｃｋｅｄ ｓｃｏｐｅ）（７０１）の、フルオロスコープ画像のものである。手術器具は、放射線不透過マーカ又はそれに取り付けられた固有のパターンを含み得る。
【図8】本発明の方法の実施例に係る２つのビューのエピポーラ幾何の図であり、この図は、気管支鏡手技においてそこから延びる手術器具（８０２）と共に使用されるスコープ（８０１）を含む、１対のフルオロスコープ画像のものである。手術器具は、放射線不透過マーカ又はこれに取り付けられた固有のパターンを含み得る（点Ｐ１及び点Ｐ２はそのようなパターンの一部を表す）。点Ｐ１は対応するエピポーラ線Ｌ１を有する。点Ｐ０はスコープの先端部を表し、点Ｐ３は手術器具の先端部を表す。Ｏ１及びＯ２は対応するビューの焦点を表す。
【発明を実施するための形態】
【0023】
これらの図は本明細書の一部を構成し、本発明の例示的な実施例を含み、様々な目的及び特徴を示す。更に、これらの図は必ずしも正確な縮尺にはなっておらず、特定の構成要素の詳細を示すために、一部の特徴が誇張されている場合がある。更に、図に示されている測定値、仕様などは全て例示的であることを意図しており、制限的であることは意図していない。したがって、本明細書に開示する構造及び機能に関する具体的な詳細は限定するものではなく、当業者に本発明を様々に利用するよう教示するための、単なる代表的な基礎として解釈すべきである。
【0024】
開示してきたこれらの利益及び改善の中で、本発明の他の目的及び利点が、添付の図と併せて解釈される以下の説明から明らかになるであろう。本明細書には本発明の詳細な実施例が開示されているが、開示される実施例は単に、様々な形態で具現化され得る本発明の例示であるに過ぎないことを理解されたい。更に、本発明の様々な実施例と関連して与えられる実例の各々は、例示的であることを意図しており、制限的であることは意図していない。
【0025】
明細書及び特許請求の範囲の全体にわたって、以下の用語は、そうではないと文脈によって明確に規定されない限りは、本明細書中で明示的に関連付けられている意味をとる。「一実施例では」及び「いくつかの実施例では」という句は、本明細書で使用される場合、必ずしも同じ実施例を指す訳ではないが、指す場合もある。更に、「別の実施例では」及び「いくつかの他の実施例では」という句は、本明細書で使用される場合、必ずしも異なる実施例を指す訳ではないが、指す場合もある。この場合、以下に記載するように、本発明の様々な実施例は、本発明の範囲又は精神から逸脱することなく、容易に組み合わせることができる。
【0026】
更に、本明細書で使用される場合、用語「又は」は包括的な「又は」として作用するものでありであり、そうではないと文脈によって明確に規定されない限りは、用語「及び／又は」と等価である。用語「に基づく」は排他的ではなく、そうではないと文脈によって明確に規定されない限りは、記載されていない追加の要因に基づくことが可能である。更に、本明細書の全体を通して、「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）
」の意味は、複数の言及対象を含む。「～において（ｉｎ）」の意味には、「～の中に（ｉｎ）」及び「～の表面に（ｏｎ）」が含まれる。
」の意味は、複数の言及対象を含む。「～において（ｉｎ）」の意味には、「～の中に（ｉｎ）」及び「～の表面に（ｏｎ）」が含まれる。
【0027】
本明細書で使用される場合、「複数」とは、数が１よりも多いこと、例えば限定するものではないが、２、３、４、５、６、７、８、９、１０、等を指す。例えば、複数の画像は、２つの画像、３つの画像、４つの画像、５つの画像、６つの画像、７つの画像、８つの画像、９つの画像、１０個の画像、等であり得る。
【0028】
本明細書で使用される場合、「解剖学的要素」とは目標物を指し、例えば、対象領域、切開点、分岐点、血管、気管支気道、肋骨、又は器官であり得る。
【0029】
本明細書で使用される場合、「幾何学的な（ｇｅｏｍｅｔｒｉｃａｌ）制約」又は「幾何学的（ｇｅｏｍｅｔｒｉｃ）制約」又は「相互の制約」又は「相互の幾何学的制約」とは、対象者の身体内の身体器官（例えば少なくとも２つの身体器官）同士の間の幾何学的な関係を指し、これらの制約は対象者の体内の肋骨、身体の境界等の間で同様の幾何学上の関係を構築する。そのような幾何学的な関係は、異なる画像化モダリティを通して観察されるときに、変化しないままであるか、又はそれらの相対移動を無視若しくは定量化することができる。
【0030】
本明細書で使用される場合、「姿勢」とは、光学カメラ・デバイスの代替としての術中画像化デバイス源の相対的な場所及び向きを決定する、６つのパラメータのセットを指す。非限定的な実例として、デバイスと患者ベッドと患者の間の相対移動の組合せとして、姿勢を取得することができる。そのような移動の別の非限定的な実例は、術中画像化デバイスの回転を、ベッド上で患者が静止している静止した患者ベッドの周囲でのその移動と組み合わせたものである。
【0031】
本明細書で使用される場合、「場所」とは、３Ｄ空間内の画像化デバイス自体を含む、（任意の座標系、例えばｘ、ｙ、及びｚのデカルト座標系において測定可能な）任意の物体の位置を指す。
【0032】
本明細書で使用される場合、「向き」とは、術中画像化デバイスの角度を指す。非限定的な実例として、術中画像化デバイスを、上方に、下方に、又は側方に面するように方向付けることができる。
【0033】
本明細書で使用される場合、「姿勢推定方法」とは、第１の画像化モダリティの３Ｄ空間内で、第２の画像化モダリティと関連付けられるカメラのパラメータを推定するための方法を指す。そのような方法の非限定的な実例は、術前のＣＴの３Ｄ空間内での術中フルオロスコープ・カメラのパラメータを取得することである。数学的モデルにおいてそのような推定された姿勢を使用することで、術前のコンピュータ・トモグラフィ（ＣＴ：ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）画像内の少なくとも１つの３Ｄ点が、術中Ｘ線画像内の対応する２Ｄ点に投影される。
【0034】
本明細書で使用される場合、「多視点姿勢推定方法」とは、術中画像化デバイスの少なくとも２つの異なる姿勢のうちのいくつかの姿勢を推定するための方法を指す。その場合画像化デバイスは、同じシーン／対象者から画像を獲得する。
【0035】
本明細書で使用される場合、「相対的な角度の違い」とは、画像化デバイスの２つの姿勢の角度方向の相対移動によって引き起こされる、それらの間の角度の違いを指す。
【0036】
本明細書で使用される場合、「相対的な姿勢の違い」とは、対象者と画像化デバイスとの間の相対的な空間移動によって引き起こされる、画像化デバイスの２つの姿勢の間の位置及び相対的な角度の両方の違いを指す。
【0037】
本明細書で使用される場合、「エピポーラ距離」とは、ある点と別のビュー内の同じ点のエピポーラ線との間の距離の測定値を指す。本明細書で使用される場合、「エピポーラ線」とは、あるビュー内の１つの点又は複数の点ｘ，ｙベクトル又は２列の行列から計算されるものを指す。
【0038】
本明細書で使用される場合、「類似性尺度」とは、２つの物体の間の類似性を定量化する実数値関数を指す。
【0039】
いくつかの実施例では、本発明は：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、少なくとも（ｉ）第１の姿勢である放射線不透過機器の第１の画像、及び（ｉｉ）第２の姿勢である放射線不透過機器の第２の画像を取得することであって、
放射線不透過機器は患者の体腔内にある、取得することと、
少なくとも２つの拡張された気管支造影図を生成することであって、
第１の拡張された気管支造影図は、第１の姿勢である放射線不透過機器の第１の画像に対応しており、
第２の拡張された気管支造影図は、第２の姿勢である放射線不透過機器の第２の画像に対応している、生成することと、
以下の間、すなわち、
（ｉ）放射線不透過機器の第１の姿勢と、
（ｉｉ）放射線不透過機器の第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を第１の画像化モダリティの第１の画像と比較することによって、放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を推定することであって、
比較することは、
（ｉ）第１の拡張された気管支造影図、
（ｉｉ）第２の拡張された気管支造影図、及び
（ｉｉｉ）少なくとも１つの要素、を使用して行われ、
放射線不透過機器の推定された第１の姿勢及び放射線不透過機器の推定された第２の姿勢は決定された相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成することと、を含み、
対象領域は第１の画像化モダリティからのデータから決定される、方法、を提供する。
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、少なくとも（ｉ）第１の姿勢である放射線不透過機器の第１の画像、及び（ｉｉ）第２の姿勢である放射線不透過機器の第２の画像を取得することであって、
放射線不透過機器は患者の体腔内にある、取得することと、
少なくとも２つの拡張された気管支造影図を生成することであって、
第１の拡張された気管支造影図は、第１の姿勢である放射線不透過機器の第１の画像に対応しており、
第２の拡張された気管支造影図は、第２の姿勢である放射線不透過機器の第２の画像に対応している、生成することと、
以下の間、すなわち、
（ｉ）放射線不透過機器の第１の姿勢と、
（ｉｉ）放射線不透過機器の第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を第１の画像化モダリティの第１の画像と比較することによって、放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を推定することであって、
比較することは、
（ｉ）第１の拡張された気管支造影図、
（ｉｉ）第２の拡張された気管支造影図、及び
（ｉｉｉ）少なくとも１つの要素、を使用して行われ、
放射線不透過機器の推定された第１の姿勢及び放射線不透過機器の推定された第２の姿勢は決定された相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成することと、を含み、
対象領域は第１の画像化モダリティからのデータから決定される、方法、を提供する。
【0040】
いくつかの実施例では、第１の画像化モダリティからの第１の画像からの少なくとも１つの要素には、肋骨、脊椎、横隔膜、又はこれらの任意の組合せが更に含まれる。いくつかの実施例では、相互の幾何学的制約は、以下によって生成される：
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ．相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ．相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
【0041】
いくつかの実施例では、方法は、軌道を特定するために放射線不透過機器を追跡することと、軌道を追加の幾何学的制約として使用することと、を更に含み、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
【0042】
いくつかの実施例では、本発明は以下を含む方法である：
患者の少なくとも１つの体腔のマップを生成することであって、
マップは第１の画像化モダリティからの第１の画像を使用して生成される、生成することと、
第２の画像化モダリティから、少なくとも２つの取り付けられたマーカを備える放射線不透過機器の画像を取得することであって、
少なくとも２つの取り付けられたマーカは既知の距離だけ分離されている、取得することと、
患者の少なくとも１つの体腔のマップに対する、第２の画像化モダリティからの放射線不透過機器の姿勢を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第１のマーカと第２のマーカとの間の既知の距離を投影することと、
患者の少なくとも１つの体腔内での放射線不透過機器の明確な位置を特定するために、測定された距離を、第１のマーカと第２のマーカとの間の投影された既知の距離と比較すること。
単一のビューから推測された３Ｄ情報はまだ曖昧であり、器具を肺の中の複数の位置に当てはめることがある可能性がある。計画される３Ｄ経路を実際の手技の前に分析し、案内中の曖昧さの大部分を回避するのに最も最適なフルオロスコープの向きを計算することによって、そのような状況の発生を減らすことができる。いくつかの実施例では、フルオロスコープの配置は米国特許第９，７４３，８９６号に記載されている方法に従って行われ、同特許はその内容の全体が参照により本明細書に組み込まれている。
患者の少なくとも１つの体腔のマップを生成することであって、
マップは第１の画像化モダリティからの第１の画像を使用して生成される、生成することと、
第２の画像化モダリティから、少なくとも２つの取り付けられたマーカを備える放射線不透過機器の画像を取得することであって、
少なくとも２つの取り付けられたマーカは既知の距離だけ分離されている、取得することと、
患者の少なくとも１つの体腔のマップに対する、第２の画像化モダリティからの放射線不透過機器の姿勢を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第１のマーカと第２のマーカとの間の既知の距離を投影することと、
患者の少なくとも１つの体腔内での放射線不透過機器の明確な位置を特定するために、測定された距離を、第１のマーカと第２のマーカとの間の投影された既知の距離と比較すること。
単一のビューから推測された３Ｄ情報はまだ曖昧であり、器具を肺の中の複数の位置に当てはめることがある可能性がある。計画される３Ｄ経路を実際の手技の前に分析し、案内中の曖昧さの大部分を回避するのに最も最適なフルオロスコープの向きを計算することによって、そのような状況の発生を減らすことができる。いくつかの実施例では、フルオロスコープの配置は米国特許第９，７４３，８９６号に記載されている方法に従って行われ、同特許はその内容の全体が参照により本明細書に組み込まれている。
【0043】
いくつかの実施例では、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
【0044】
いくつかの実施例では、方法は、放射線不透過機器の軌道を使用して放射線不透過機器の深度を特定することを更に含む。
【0045】
いくつかの実施例では、第１の画像化モダリティからの第１の画像は術前画像である。いくつかの実施例では、第２の画像化モダリティからの放射線不透過機器の少なくとも１つの画像は、術中画像である。
【0046】
いくつかの実施例では、本発明は以下を含む方法である：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、第２の画像化モダリティの２つの異なる姿勢において、少なくとも（ｉ）放射線不透過機器の１つの画像及び（ｉｉ）放射線不透過機器のもう１つの画像を取得することであって、
放射線不透過機器の第１の画像は第２の画像化モダリティの第１の姿勢において撮影され
放射線不透過機器の第２の画像は第２の画像化モダリティの第２の姿勢において撮影され、
放射線不透過機器は患者の体腔内にある、取得することと、
画像化デバイスの２つの姿勢の各々に対応している少なくとも２つの拡張された気管支造影図を生成することであって、第１の拡張された気管支造影図は放射線不透過機器の第１の画像から導出され、第２の拡張された気管支造影図は放射線不透過機器の第２の画像から導出される、生成することと、
以下の間、すなわち、
（ｉ）第２の画像化モダリティの第１の姿勢と、
（ｉｉ）第２の画像化モダリティの第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
対応している拡張された気管支造影図画像及び第１の画像化モダリティの第１の画像から抽出された少なくとも１つの要素を使用して、第１の画像化モダリティの第１の画像に対する第２の画像化モダリティの２つの姿勢を推定することとであって、
２つの推定された姿勢は相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第１の画像化モダリティをソースとするデータに基づく、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成すること。
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、第２の画像化モダリティの２つの異なる姿勢において、少なくとも（ｉ）放射線不透過機器の１つの画像及び（ｉｉ）放射線不透過機器のもう１つの画像を取得することであって、
放射線不透過機器の第１の画像は第２の画像化モダリティの第１の姿勢において撮影され
放射線不透過機器の第２の画像は第２の画像化モダリティの第２の姿勢において撮影され、
放射線不透過機器は患者の体腔内にある、取得することと、
画像化デバイスの２つの姿勢の各々に対応している少なくとも２つの拡張された気管支造影図を生成することであって、第１の拡張された気管支造影図は放射線不透過機器の第１の画像から導出され、第２の拡張された気管支造影図は放射線不透過機器の第２の画像から導出される、生成することと、
以下の間、すなわち、
（ｉ）第２の画像化モダリティの第１の姿勢と、
（ｉｉ）第２の画像化モダリティの第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
対応している拡張された気管支造影図画像及び第１の画像化モダリティの第１の画像から抽出された少なくとも１つの要素を使用して、第１の画像化モダリティの第１の画像に対する第２の画像化モダリティの２つの姿勢を推定することとであって、
２つの推定された姿勢は相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第１の画像化モダリティをソースとするデータに基づく、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成すること。
【0047】
気管支内器具の案内中、対象及び他の解剖学的構造に対する３Ｄでの器具の位置を検証する必要がある。いくつかの実施例では、肺内の何らかの位置に到達した後で、医師は、器具を同じ位置に維持したままで、フルオロスコープの場所を変えることができる。いくつかの実施例では、これらの術中画像を使用して、当業者は器具の位置を３Ｄで再構築し、３Ｄにおける対象に関連する器具の位置を医師に示すことができる。
【0048】
いくつかの実施例では、器具の位置を３Ｄで再構築するためには、両方のビュー上の対応する点を拾い上げる必要がある。いくつかの実施例では、点は器具上の特別なマーカ、又は任意の機器上の識別可能な点、例えば、器具の先端部、若しくは気管支鏡の先端部である。いくつかの実施例では、これを達成するために、エピポーラ線を使用して、点同士の間の対応を見付けることができる。更に、いくつかの実施例では、エピポーラ制約を使用して、偽陽性マーカの検出をフィルタリングすること、及び更に、マーカ誤検出に起因して対応する対を有さないマーカを排除することができる（図８を参照）。
【0049】
（エピポーラは、計算幾何学の特別な領域である立体視の幾何学に関連している）
【0050】
いくつかの実施例では、仮想マーカは任意の機器、例えば見えている放射線不透過マーカのない機器上に生成される。いくつかの実施例では、仮想マーカは、（１）第１の画像上の機器上の任意の点を選択することと、（２）両画像間の既知の幾何学的関係を使用して第２の画像上でエピポーラ線を計算することと、（３）エピポーラ線を既知の又は第２の画像からの機器の軌道と交差させ、マッチング用の仮想マーカを与えることと、によって生成される。
【0051】
いくつかの実施例では、本発明は以下を含む方法である：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、同じ放射線不透過機器の場所の第２の画像化モダリティの２つの異なる姿勢における少なくとも２つの画像を、少なくとも１つ又は複数の異なる機器の場所について取得することであって、
放射線不透過機器は患者の体腔内にある、取得することと、
対応する画像の姿勢同士の間の相互の幾何学的制約を使用して、基準座標系における同じ機器の場所の対応する複数の画像から、各機器の３Ｄ軌道を再構築することと、
再構築された放射線不透過機器の位置の３Ｄ軌道を第１の画像化モダリティの画像から抽出された３Ｄ軌道と整合させる変換を推定することによって、基準座標系と第１の画像化モダリティの画像との間の変換を推定することと、
第３の画像を生成することであって、第３の画像は、基準座標系と第１の画像化モダリティの画像との間の変換を使用する第１の画像化モダリティをソースとするデータに基づく、基準座標系における既知の姿勢を用いて第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成すること。
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、同じ放射線不透過機器の場所の第２の画像化モダリティの２つの異なる姿勢における少なくとも２つの画像を、少なくとも１つ又は複数の異なる機器の場所について取得することであって、
放射線不透過機器は患者の体腔内にある、取得することと、
対応する画像の姿勢同士の間の相互の幾何学的制約を使用して、基準座標系における同じ機器の場所の対応する複数の画像から、各機器の３Ｄ軌道を再構築することと、
再構築された放射線不透過機器の位置の３Ｄ軌道を第１の画像化モダリティの画像から抽出された３Ｄ軌道と整合させる変換を推定することによって、基準座標系と第１の画像化モダリティの画像との間の変換を推定することと、
第３の画像を生成することであって、第３の画像は、基準座標系と第１の画像化モダリティの画像との間の変換を使用する第１の画像化モダリティをソースとするデータに基づく、基準座標系における既知の姿勢を用いて第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成すること。
【0052】
いくつかの実施例では、複数の放射線不透過機器の場所の、異なる姿勢からの画像を収集する方法は、以下を含む：（１）放射線不透過機器を第１の場所に配置することと、（２）第２の画像化モダリティの画像を取り込むことと、（３）第２のモダリティの画像化デバイスの姿勢を変えることと、（４）第２の画像化モダリティの別の画像を取り込むことと、（５）放射線不透過機器の場所を変えることと、（６）所望の数の固有の放射線不透過機器の場所が得られるまでステップ２を続けること。
【0053】
いくつかの実施例では、２つの異なる姿勢の画像化デバイスから得られた少なくとも２つの術中画像上で特定可能な、任意の要素の位置を、再構築することが可能である。第１の画像化モダリティの第１の画像に対する第２の画像化モダリティの各姿勢が既知であるとき、第１の画像化モダリティの画像からの任意の解剖学的構造に対する、要素の再構築された３Ｄ場所を示すことが可能である。この技法の使用の実例として考えられるのは、対象に対する配備された基準点マーカの３Ｄ場所の確認である。
【0054】
いくつかの実施例では、本発明は以下を含む方法である：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、第２の画像化モダリティの２つの異なる姿勢において、少なくとも（ｉ）放射線不透過基準点の１つの画像及び（ｉｉ）その放射線不透過基準点のもう１つの画像を取得することであって、
放射線不透過基準点の第１の画像は第２の画像化モダリティの第１の姿勢において撮影され、
放射線不透過基準点の第２の画像は第２の画像化モダリティの第２の姿勢において撮影される、取得することと、
放射線不透過基準点の３Ｄ場所を、画像化デバイスの２つの姿勢から、
（ｉ）第２の画像化モダリティの第１の姿勢と、
（ｉｉ）第２の画像化モダリティの第２の姿勢と、の間の相互の幾何学的制約を使用して、再構築することと、
第１の画像化モダリティをソースとするデータに基づく、対象領域に対する基準点の３Ｄの相対的な場所を示す第３の画像を生成すること。
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、第２の画像化モダリティの２つの異なる姿勢において、少なくとも（ｉ）放射線不透過基準点の１つの画像及び（ｉｉ）その放射線不透過基準点のもう１つの画像を取得することであって、
放射線不透過基準点の第１の画像は第２の画像化モダリティの第１の姿勢において撮影され、
放射線不透過基準点の第２の画像は第２の画像化モダリティの第２の姿勢において撮影される、取得することと、
放射線不透過基準点の３Ｄ場所を、画像化デバイスの２つの姿勢から、
（ｉ）第２の画像化モダリティの第１の姿勢と、
（ｉｉ）第２の画像化モダリティの第２の姿勢と、の間の相互の幾何学的制約を使用して、再構築することと、
第１の画像化モダリティをソースとするデータに基づく、対象領域に対する基準点の３Ｄの相対的な場所を示す第３の画像を生成すること。
【0055】
いくつかの実施例では、肋骨、脊椎、横隔膜、又はこれらの任意の組合せなどの解剖学的要素が、第１の画像化モダリティから及び第２の画像化モダリティから抽出される。
【0056】
いくつかの実施例では、相互の幾何学的制約は、以下によって生成される：
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
【0057】
いくつかの実施例では、方法は、軌道を識別するために放射線不透過機器を追跡することと、そのような軌道を追加の幾何学的制約として使用することと、を更に含み、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
【0058】
いくつかの実施例では、本発明は、以下を含む、患者の体内の機器の真の位置を特定するための方法である：
第１の画像化モダリティの第１の画像から生成された患者の少なくとも１つの体腔のマップを使用することと、
第２の画像化モダリティから、ある距離が間に定められている少なくとも２つのマーカが取り付けられている、放射線不透過機器の画像を取得することであって、
マーカは、患者の体内の少なくとも２つの異なる体腔内に位置付けられる画像から認識できる、取得することと、
マップに対する第２の画像化モダリティの姿勢を取得することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第２の画像化モダリティの姿勢を使用して、放射線不透過機器の認識された位置の各々上に、マーカ同士の間の既知の距離を投影することと、
体内での機器の真の位置を特定するために、測定された距離と２つのマーカ同士の間の投影された距離の各々とを比較すること。
第１の画像化モダリティの第１の画像から生成された患者の少なくとも１つの体腔のマップを使用することと、
第２の画像化モダリティから、ある距離が間に定められている少なくとも２つのマーカが取り付けられている、放射線不透過機器の画像を取得することであって、
マーカは、患者の体内の少なくとも２つの異なる体腔内に位置付けられる画像から認識できる、取得することと、
マップに対する第２の画像化モダリティの姿勢を取得することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第２の画像化モダリティの姿勢を使用して、放射線不透過機器の認識された位置の各々上に、マーカ同士の間の既知の距離を投影することと、
体内での機器の真の位置を特定するために、測定された距離と２つのマーカ同士の間の投影された距離の各々とを比較すること。
【0059】
いくつかの実施例では、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
【0060】
いくつかの実施例では、方法は、放射線不透過機器の軌道を使用して、放射線不透過機器の深度を特定することを更に含む。
【0061】
いくつかの実施例では、第１の画像化モダリティからの第１の画像は術前画像である。いくつかの実施例では、第２の画像化モダリティからの放射線不透過機器の少なくとも１つの画像は、術中画像である。
【0062】
多視点姿勢推定
【0063】
米国特許第９，７４３，８９６号は内視鏡手技中のフルオロスコープ・デバイスの患者に対する姿勢情報（例えば、場所、向き）を推定するための方法の説明を含み、その全体が参照によって本明細書に組み込まれる。国際特許出願第ＷＯ／２０１６／０６７０９２号も同じく、その全体が参照によって本明細書に組み込まれる。
【0064】
本発明は、術中画像のセットから抽出されたデータを含む方法であり、画像の各々は、画像化デバイスから得られた、少なくとも１つ（例えば、１つ、２つ、３つ、４つ、等）の未知の姿勢において獲得される。これらの画像は、姿勢推定方法に関する入力として使用される。例示的な実施例として、図３、図４、図５は、３つのフルオロスコープ画像の組の実例である。図４及び図５の画像は同じ未知の姿勢において獲得されたが、図３の画像は異なる未知の姿勢において獲得された。このセットには、例えば、画像化デバイスに関連する追加の既知の場所データが、含まれても含まれなくてもよい。例えば、あるセットはＣアームの場所及び向きなどの場所データを含み得るが、これはフルオロスコープによって提供できるか、又は、フルオロスコープに取り付けられた測定デバイス、例えば角度計、加速度計、ジャイロスコープ、等を介して獲得できる。
【0065】
いくつかの実施例では、解剖学的要素は追加の術中画像から抽出され、これらの解剖学的要素は、姿勢推定方法に導入可能な幾何学的な制約を示唆している。この結果、姿勢推定方法を使用する前に、単一の術中画像から抽出される要素の数を減らすことができる。
【0066】
いくつかの実施例では、多視点姿勢推定方法は、術前のモダリティをソースとする情報を、術中画像のセットからの任意の画像の上に重ね合わせることを更に含む。
【0067】
いくつかの実施例では、術前のモダリティをソースとする術中画像に対する重ね合わせ情報の説明を、その全体が参照によって本明細書に組み込まれる米国特許第９，７４３，８９６号に見出すことができる。
【0068】
いくつかの実施例では、複数の第２の画像化モダリティによって、複数の画像を取得するために患者に対するフルオロスコープの姿勢を変えること（例えば、限定するものではないが、フルオロスコープのアームの回転若しくは直線移動、患者ベッドの回転及び移動、ベッド上の患者の相対移動、又は上記の任意の組合せ）が可能になり、この場合、ソースとしてのフルオロスコープの上述した相対的な姿勢から、患者とフルオロスコープ・デバイスの間の回転移動と直線移動の任意の組合せとして、複数の画像が取得される。
【0069】
本発明のいくつかの実施例について記載してきたが、これらの実施例は例示的なものに過ぎず制限的ではないこと、及び、当業者には多くの修正が明らかになり得ることが、理解される。また更に、様々なステップを任意の所望の順序で実行してもよい（また、任意の所望のステップを追加してもよく、且つ／又は、任意の所望のステップを削除してもよい）。
【0070】
ここで、上記の説明と共に本発明のいくつかの実施例を非限定的な様式で説明する、以下の実例を参照する。
【0071】
実例：最小侵襲性の肺手技
【0072】
本発明の非限定的な例示的な実施例を、最小侵襲性の肺手技に応用することができ、この場合、気管支内器具が、気管支鏡の作業チャネル（図６を参照）を通して患者の気管支気道に挿入される。診断手順の開始前に医師は設定プロセスを実施し、そこで医師はカテーテルを、対象領域の周囲のいくつかの（例えば、２つ、３つ、４つ等の）気管支気道内に設置する。図２、図３、及び図４に示すように、気管支内カテーテルの各位置のフルオロスコープ画像が獲得される。術中フルオロスコープ・デバイスの姿勢推定を行うために使用される案内システムの実例が国際出願第ＰＣＴ／ＩＢ２０１５／０００４３８号に記載されており、本発明の本方法は、抽出された要素（例えば、限定するものではないが、複数のカテーテル位置、肋骨の解剖学的構造、及び患者の身体境界）を使用する。
【0073】
対象領域における姿勢の推定後、気管支鏡を挿入するための経路を手技前の画像化モダリティ上で特定することができ、強調表示すること又は術前画像からの情報を術中フルオロスコープ画像上に重ね合わせることによって、それらの経路をマーキングすることができる。気管支内カテーテルを対象領域へと案内した後で、医師は、例えばカテーテルが対象領域内に位置付けられていることを検証するために、フルオロスコープ・デバイスを回転させるか、そのズームのレベルを変えるか、又は動かすことができる。典型的には、図４が示すようなフルオロスコープ・デバイスのそのような姿勢変化によって、先に推定された姿勢が無効になり、医師が設定プロセスを繰り返すことが必要となる。しかしながら、カテーテルは既にあり得る対象領域内に位置付けられているので、設定プロセスを繰り返し行う必要はない。
【0074】
図４は本発明の例示的な実施例を示し、図２及び図３から抽出された解剖学的要素を使用してフルオロスコープの角度の姿勢が推定されているのを示している（ここにおいて、例えば、図２及び図３は、初期の設定プロセスから取得された画像、並びに、カテーテルの位置、肋骨の解剖学的構造、及び身体境界といった、画像から抽出された追加の解剖学的要素を示している）。姿勢は例えば、（１）フルオロスコープを移動させること（例えば、ヘッドをＣアームを中心に回転させること）、（２）フルオロスコープを前後に移動させることによって、又は別法として対象者の場所変化を介して、又は両方の組合せ等によって、変化させることができる。更に、図２と図４の間の相互の幾何学的制約、例えば画像化デバイスに関連する場所データを、推定プロセスにおいて使用することができる。
【0075】
図１は本発明の例示的な実施例であり、以下を示す。
【0076】
Ｉ． 構成要素１２０は、自動若しくは半自動セグメント化プロセス、又はこれらの任意の組合せを使用して、限定するものではないがＣＴ、磁気共鳴画像化（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）、陽電子放射トモグラフィ－コンピュータ・トモグラフィ（ＰＥＴ－ＣＴ）などの術前画像から、気管支気道、肋骨、横隔膜などの３Ｄ解剖学的要素を抽出する。自動又は半自動セグメント化プロセスの実例が、その全体が参照によって本明細書に組み込まれる「Ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ Ｈｕｍａｎ Ａｉｒｗａｙ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃｌｉｎｉｃａｌ Ｖｉｒｔｕａｌ Ｂｒｏｎｃｈｏｓｃｏｐｙ」、Ａｔｉｌｌａ Ｐ． Ｋｉｒａｌｙ、Ｗｉｌｌｉａｍ Ｅ． Ｈｉｇｇｉｎｓ、Ｇｅｏｆｆｒｅｙ ＭｃＬｅｎｎａｎ、Ｅｒｉｃ Ａ． Ｈｏｆｆｍａｎ、Ｊｏｓｅｐｈ Ｍ． Ｒｅｉｎｈａｒｄｔに記載されている。
【0077】
ＩＩ． 構成要素１３０は、例えば限定するものではないがフルオロスコープ画像、超音波画像等の、術中画像のセットから、２Ｄの解剖学的要素を抽出する（それらは図４に更に示されており、例えば気管支気道４１０、肋骨４２０、身体境界４３０、及び横隔膜である）。
【0078】
ＩＩＩ． 構成要素１４０は、術中画像のセット中の画像の各サブセット間の相互の制約、例えば相対的な角度の違い、相対的な姿勢の違い、エピポーラ距離、等を計算する。
【0079】
別の実施例では、方法は、術中画像のセット中の画像の各サブセット間の、相互の制約を推定することを含む。そのような方法の非限定的な実例は以下の通りである：（１）１対のフルオロスコープ画像の少なくとも２つの姿勢の間の相対的な姿勢変化を推定するための、術中画像化デバイスに取り付けられた測定デバイスの使用。（２）患者に取り付けられたパッチ（例えばＥＣＧパッチ）又は術中画像化デバイスの視野内に配置された放射線不透過マーカを含むがこれらに限定されない、両方の画像上に見えている解剖学的要素又は非解剖学的要素などの画像特徴の抽出、及び、これらの特徴を使用した相対的な姿勢変化の推定。（３）例えば患者に取り付けられたパッチ又はマーカ、画像化デバイスに取り付けられたマーカ等の特徴を追跡する、手技室において指定された位置に取り付けられた、ビデオカメラ、赤外線カメラ、深度カメラ、又はこれらの任意の組合せなどの１組のカメラの使用。かかる特徴を追跡することによって、その構成要素は画像化デバイスの相対的な姿勢変化を推定できる。
【0080】
ＩＶ． 構成要素１５０は、術前画像から生成された３Ｄ要素を、術中画像から生成されたそれらの対応する２Ｄ要素にマッチングさせる。例えば、フルオロスコープ画像から抽出された所与の２Ｄ気管支気道の、ＣＴ画像から抽出された３Ｄ気道のセットへのマッチング。
【0081】
Ｖ． 構成要素１７０は、例えば術前画像座標系、他の画像化又は案内デバイスによって形成された手術環境関連の座標系等の所望の座標系において、術中画像のセット中の画像の各々について姿勢を推定する。
【0082】
この構成要素への入力は以下の通りである：
・患者術前画像から抽出された３Ｄ解剖学的要素。
・術中画像のセットから抽出された２Ｄ解剖学的要素。本明細書において述べるように、セット中の画像は、同じ又は異なる画像化デバイスの姿勢をソースとし得る。
・術中画像のセット中の画像の各サブセット間の相互の制約
・患者術前画像から抽出された３Ｄ解剖学的要素。
・術中画像のセットから抽出された２Ｄ解剖学的要素。本明細書において述べるように、セット中の画像は、同じ又は異なる画像化デバイスの姿勢をソースとし得る。
・術中画像のセット中の画像の各サブセット間の相互の制約
【0083】
構成要素１７０は、術中画像のセットからの各画像について、以下のように姿勢を評価する：
・２Ｄの抽出された要素は、対応し投影される３Ｄ解剖学的要素にマッチングされる。
・相互の制約条件１４０は推定される姿勢に適用される。
・２Ｄの抽出された要素は、対応し投影される３Ｄ解剖学的要素にマッチングされる。
・相互の制約条件１４０は推定される姿勢に適用される。
【0084】
術前画像をソースとする投影される３Ｄ要素を術中画像からの対応する２Ｄ要素にマッチングさせるために、距離計量などの類似性尺度が必要となる。そのような距離計量によって、投影された３Ｄ要素とそれらの対応する２Ｄ要素との間の距離を評価するための尺度が提供される。例えば、２つのポリライン（例えば、単一のオブジェクトとして作成された接続された一連の線分）の間のユークリッド距離を、術前画像をソースとする３Ｄ投影された気管支気道と術中画像から抽出された２Ｄ気道との間の類似性尺度として使用することができる。
【0085】
更に、本発明の方法のある実施例では、方法は、術中画像セットからの画像のサブセット間の相互の制約が満たされる場合に、類似性尺度を最適化するような姿勢を特定することによって、術中画像のセットに対応する姿勢のセットを推定することを含む。類似性尺度の最適化は最小２乗問題と見なすことができ、いくつかの方法で、例えば、（１）その全体：Ｂ． Ｔｒｉｇｇｓ、Ｐ． ＭｃＬａｕｃｈｌａｎ、Ｒ． Ｈａｒｔｌｅｙ、Ａ． Ｆｉｔｚｇｉｂｂｏｎ （１９９９）、「Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ－Ａ Ｍｏｄｅｒｎ Ｓｙｎｔｈｅｓｉｓ」、ＩＣＣＶ’９９：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍｓ、Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ、２９８～３７２頁、が参照によって本明細書に組み込まれる、姿勢推定のための反復最小化法を実施する周知のバンドル調整アルゴリズムを用いて、及び（２）パラメータ空間を走査して類似性尺度を最適化する最適姿勢を探索するための、グリッド探索法を用いて、解くことができる。
【0086】
マーカ
【0087】
機器の場所についての３Ｄ情報を復元するために、放射線不透過マーカを医療機器上の所定の位置に設置することができる。気管支気道又は血管などの、体内の腔の３Ｄ構造のいくつかの経路を、術中画像上の同様の２Ｄ曲線へと投影することができる。例えば国際出願第ＰＣＴ／ＩＢ２０１５／０００４３８号に示されているように、マーカを用いて得られる３Ｄ情報を使用して、そのような経路同士の間の区別を行うことができる。
【0088】
本発明の例示的な実施例では、図５が示すように、機器は術中デバイスによって画像化され、画像化平面５０５に投影される。両方の経路が画像平面５０５上の同じ曲線へと投影されているので、機器が経路５２０又は経路５２５内に設置されるかどうかは未知である。経路５２０と経路５２５を区別するために、マーカ同士の間に所定の距離「ｍ」を有する、カテーテルに取り付けられた少なくとも２つの放射線不透過マーカを使用することが可能である。図５では、術前画像上に見られるマーカは「Ｇ」及び「Ｆ」と名付けられている。
【0089】
５２０と５２５の間の区別のプロセスは、以下のように行うことができる。
【0090】
（１）術中画像からの点Ｆを対応する気道５２０、５２５のあり得る候補上に投影して、Ａ点及びＢ点を得る。
【0091】
（２）術中画像からの点Ｇを対応する気道５２０、５２５のあり得る候補上に投影して、点Ｃ及び点Ｄを得る。
【0092】
（３）投影されるマーカの対｜ＡＣ｜及び｜ＢＤ｜の間の距離を測定する。
【0093】
（４）５２５上の距離｜ＡＣ｜及び５２０上の距離｜ＢＤ｜を、器具製造者によって事前に定められた距離ｍと比較する。距離類似性に従って適切な気道を選ぶ。
【0094】
追跡型スコープ
【0095】
非限定的な実例として、本明細書には、患者のＣＴスキャンをフルオロスコープ・デバイスと重ね合わせるための方法が開示されている。この方法は、フルオロスコープ画像中及びＣＴスキャン中の両方で検出される解剖学的要素を、ＣＴスキャンに対するフルオロスコープ・デバイス姿勢（例えば、向き及び場所）を生み出す姿勢推定アルゴリズムへの入力として使用する。以下では、この方法を、気管支内デバイスの場所に対応する３Ｄ空間軌道を重ね合わせ方法の入力に追加することによって拡張する。これらの軌道は、スコープに沿って場所センサを取り付けることによって、又はロボット内視鏡アームを使用することによってなど、いくつかの手段によって獲得できる。そのような気管支内デバイスを以下では追跡型スコープと呼ぶ。追跡型スコープは、そこから延びる手術器具を対象エリアに導くために使用される（図７を参照）。診断器具は、カテーテル、鉗子、針等であり得る。以下では、本明細書で示される重ね合わせ方法の正確度及びロバスト性を改善するために、追跡型スコープによって獲得される場所の測定値を使用する方法について記載する。
【0096】
一実施例では、追跡型スコープの軌道とフルオロスコープ・デバイスの座標系との間の重ね合わせは、追跡型スコープを空間内の様々な位置に位置決めし標準的な姿勢推定アルゴリズムを適用することによって達成される。姿勢推定アルゴリズムの参考文献として、その全体が参照によって本明細書に組み込まれる、以下の論文を参照されたい：Ｆ． Ｍｏｒｅｎｏ－Ｎｏｇｕｅｒ、Ｖ． Ｌｅｐｅｔｉｔ、及びＰ． Ｆｕａの論文「ＥＰｎＰ： Ｅｆｆｉｃｉｅｎｔ Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ Ｃａｍｅｒａ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」。
【0097】
本明細書に開示する姿勢推定方法は、ＣＴスキャン中の選択される要素がフルオロスコープ画像中のそれらの対応する要素上に投影されるように姿勢を推定することによって実行される。本発明の一実施例では、追跡型スコープの軌道を姿勢推定方法への入力として追加することによって、この方法が拡張される。これらの軌道を、本明細書の方法を用いてフルオロスコープ・デバイスの座標系へと変換することができる。軌道はフルオロスコープ・デバイス座標系に変換されると姿勢推定方法に対する追加の制約として機能するが、その理由は、重ね合わせたＣＴスキャンからセグメント化された気管支気道とそれらの軌道とが整合しなければならないという条件によって、推定される姿勢が制約されるからである。
【0098】
フルオロスコープ・デバイスが推定した姿勢を使用することによって、術前のＣＴからの解剖学的要素をフルオロスコープの生動画に投影して、手術器具を肺の中の指定された対象に導くことができる。そのような解剖学的要素とは、限定するものではないが、対象病巣、病巣への経路、等である。投影された対象病巣への経路は医師に２次元情報しか提供せず、この結果深度が曖昧になる、すなわち、ＣＴ上でセグメント化されたいくつかの気道が、２Ｄのフルオロスコープ画像上の同じ投影に対応している可能性がある。手術器具が設置される気管支気道をＣＴ上で適正に特定することが重要である。本明細書に記載する、そのような曖昧さを低減するために使用される１つの方法は、深度情報を提供する器具上に設置された放射線不透過マーカを使用することによって実行される。本発明の別の実施例では、追跡型スコープを使用して曖昧さを低減することができるが、その理由は、それが気管支気道内の３Ｄ場所を与えるからである。そのような手法は、分岐する気管支樹に適用されると、図７の追跡型スコープ先端部７０１までの潜在的な曖昧な選択肢を排除することを可能にする。図７の手術器具７０２が３Ｄ軌道を有さないと仮定すると、器具のこの部分７０２に関して上述の曖昧さが依然として生じることになるが、そのようなことが生じる可能性は遙かに低い。したがって、本発明のこの実施例によって、この器具の現在の場所を適正に特定する本明細書に記載する方法の能力が改善される。
【0099】
デジタル・コンピュータ・トモグラフィ（ＤＣＴ：Ｄｉｇｉｔａｌ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｔｏｍｏｇｒａｐｈｙ）
【0100】
いくつかの実施例では、術中画像からのトモグラフィ再構築を、基準座標系に対する対象の場所を計算するために使用することができる。幾何形状が既知である放射線不透過マーカを備えた治具によって、各術中画像の相対的な姿勢の計算が可能になるように、そのような基準座標系の非限定的な実例を定めることができる。いくつかの実施例では、トモグラフィ再構築の各入力フレームは基準座標系との幾何学的関係が既知であるので、対象の場所を基準座標系内に配置可能である。いくつかの実施例では、このことにより、対象を更なるフルオロスコープ画像上に投影することが可能になる。いくつかの実施例では、投影される対象の場所は、対象の領域内の組織を追跡することによって、呼吸運動に関して補正可能である。いくつかの実施例では、この運動の補正は米国特許第９，７４３，８９６号に記載されている例示的な方法に従って行われ、同特許はその内容の全体が参照により本明細書に組み込まれている。
【0101】
ある実施例では、ＣアームベースのＣＴ及び基準姿勢デバイスを使用して術中画像上の対象を拡張するための方法は、基準座標系との幾何学的関係が既知である複数の術中画像を収集することと、３Ｄ立体物（ｖｏｌｕｍｅ）を再構築することと、再構築された立体物上の対象エリアをマーキングすることと、対象を基準座標系との幾何学的関係が既知である更なる術中画像上に投影することと、を含む。
【0102】
他の実施例では、トモグラフィで再構築された立体物を、術前のＣＴ立体物と重ね合わせることができる。再構築された立体物において及び術前の立体物において、対象又は対象に付属する解剖学的構造、例えば血管又は気管支気道の、既知の中心場所が与えられれば、両方の立体物を最初に位置合わせすることができる。他の実施例では、初期の位置合わせを見出すために、両方の立体物から抽出された肋骨を使用することができる。立体物同士の間の適正な回転を見出すために、機器の再構築された場所及び軌道を、ＣＴから抽出された考えられる全ての気道軌道にマッチングさせることができる。最良のマッチングは、立体物同士の間の最も最適な相対回転を定めるものである。
【0103】
他の実施例では、フルオロスコープ画像化の品質の限界、他の組織による対象領域の妨害、手術環境の空間制約に起因して、ＤＣＴから一部の情報しか再構築されない可能性がある。そのような場合、対応している一部の情報は、術中画像化から再構築された部分的な３Ｄ立体物と術前のＣＴとの間で特定され得る。２つの画像ソースを１つに融合して、統合データ・セットを形成することができる。上述のデータ・セットは、追加の手技中画像で随時更新することができる。
【0104】
他の実施例では、トモグラフィで再構築された立体物を、気管支内全方位超音波法（「ＲＥＢＵＳ：ｒａｄｉａｌ ｅｎｄｏｂｒｏｎｃｈｉａｌ ｕｌｔｒａｓｏｕｎｄ」）で再構築された３Ｄ対象形状と重ね合わせることができる。
【0105】
いくつかの実施例では、トモグラフィを使用してＣＴとフルオロスコープの重ね合わせを行うための方法は、以下から成る：術前画像上に対象をマーキングし、気管支樹を抽出することと、内視鏡機器を対象の肺葉内に配置することと、器具が内側で安定している状態でＣアームを使用してトモグラフィをスピンさせることと、再構築された立体物上に対象及び機器をマーキングすることと、術前の立体物と再構築された立体物とを、対象の場所によって又は付属の解剖学的構造の場所によって位置合わせすることと、ＣＴから抽出された考えられる全ての気道軌道について、機器の再構築された軌道と各気道軌道との間の距離を最小にする、立体物同士の間の最適な回転を計算することと、最短距離に対応する回転を選択することと、２つの立体物同士の間の位置合わせを用いて、再構築された立体物を術前の立体物から得られた解剖学的情報で補強することと、更なる術中画像上で対象エリアを強調表示すること。
【0106】
他の実施例では、先行する術前のＣＴスキャンの立体物を使用することによって、デジタル・トモシンセシスの品質を向上させることができる。術中画像と術前のＣＴスキャンとの間の既知の粗い重ね合わせを行うと、術前のＣＴスキャンの立体物から対象の関連領域を抽出することができる。周知の再構築アルゴリズムに制約を加えることによって再構築される画像の品質が大きく改善されるが、このことが全体として参照によって本明細書に組み込まれる：Ｓｅｃｈｏｐｏｕｌｏｓ、Ｉｏａｎｎｉｓ （２０１３）、「Ａ ｒｅｖｉｅｗ ｏｆ ｂｒｅａｓｔ ｔｏｍｏｓｙｎｔｈｅｓｉｓ． Ｐａｒｔ ＩＩ． Ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ， ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ａｎａｌｙｓｉｓ， ａｎｄ ａｄｖａｎｃｅｄ ａｐｐｌｉｃａｔｉｏｎｓ」、Ｍｅｄｉｃａｌ Ｐｈｙｓｉｃｓ４０ （１）： ０１４３０２。そのような制約の実例として、最初の立体物を、術前のＣＴから抽出された立体物を用いて初期化することができる。
【0107】
いくつかの実施例では、先行する術前のＣＴスキャンの立体物を使用してトモグラフィ再構築を改善する方法は、術中画像と術前のＣＴスキャンとの間の重ね合わせを行うことと、術前のＣＴスキャンから対象立体物の領域を抽出することと、周知の再構築アルゴリズムに制約を加えることと、追加された制約を使用して画像を再構築することと、を含む。
【0108】
（等価物）
本発明はとりわけ、軽度から中度の急性痛及び／又は炎症を治療するための、新規の方法及び組成物を提供する。主題の発明の具体的な実施例について検討してきたが、上記の明細書は例示的なものであって制限的なものではない。当業者には本明細書を精査することで本発明の多くの変形が明らかになるであろう。本発明の全範囲は、特許請求の範囲をそれらの等価物の全範囲と併せて、及び明細書をそのような変形と併せて参照して、決定されるべきである。
本発明はとりわけ、軽度から中度の急性痛及び／又は炎症を治療するための、新規の方法及び組成物を提供する。主題の発明の具体的な実施例について検討してきたが、上記の明細書は例示的なものであって制限的なものではない。当業者には本明細書を精査することで本発明の多くの変形が明らかになるであろう。本発明の全範囲は、特許請求の範囲をそれらの等価物の全範囲と併せて、及び明細書をそのような変形と併せて参照して、決定されるべきである。
【0109】
（参照による組み込み）
本明細書で言及する全ての刊行物、特許、及び配列データベースのエントリは、個々の各刊行物又は特許が参照により組み込まれるものと特定的且つ個別に示されているかのように、参照によりそれらの全体が本明細書に組み込まれる。
本明細書で言及する全ての刊行物、特許、及び配列データベースのエントリは、個々の各刊行物又は特許が参照により組み込まれるものと特定的且つ個別に示されているかのように、参照によりそれらの全体が本明細書に組み込まれる。
【0110】
本発明のいくつかの実施例について記載してきたが、これらの実施例は例示的なものに過ぎず制限的ではないこと、及び、当業者には多くの変更が明らかになり得ることが、理解される。また更に、様々なステップを任意の所望の順序で実行してもよい（また、任意の所望のステップを追加してもよく、且つ／又は、任意の所望のステップを削除してもよい）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【外国語明細書】