特許 7407831 介入装置追跡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-21

(45)【発行日】2024-01-04

(54)【発明の名称】介入装置追跡

(51)【国際特許分類】

   A61B 6/12 20060101AFI20231222BHJP

   A61B 6/00 20240101ALI20231222BHJP

【ＦＩ】

A61B6/12

A61B6/00 350P

A61B6/00 350A

【請求項の数】 13

(21)【出願番号】P 2021549793

(86)(22)【出願日】2020-02-24

(65)【公表番号】

(43)【公表日】2022-04-11

(86)【国際出願番号】 EP2020054727

(87)【国際公開番号】W WO2020173850

(87)【国際公開日】2020-09-03

【審査請求日】2023-02-20

(31)【優先権主張番号】19159333.4

(32)【優先日】2019-02-26

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】テルメール モーリス アラン

(72)【発明者】

【氏名】ステーンバッカーズ マルク ヘンリクス アントニウス

(72)【発明者】

【氏名】ホッペンブラウワーズ ユルゲン ジーン ルイス

【審査官】佐野 浩樹

(56)【参考文献】

【文献】特表２０１５－５２２３７１（ＪＰ，Ａ）

【文献】特表２０１５－５１９９８５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１１２４３８（ＵＳ，Ａ１）

【文献】特開２００８－１２６０６３（ＪＰ，Ａ）

【文献】Philipp J. Stolka, et al.，Navigation with local sensors in handheld 3D ultrasound: initial in-vivo experience，Proceedings of SPIE, Medical Imaging 2011: Ultrasonic Imaging, Tomography, and Therapy，2011年，Vol. 7968，79681J-1 to 79681J-9，[検索日:2023.06/27], <DOI: 10.1117/12.878901>

【文献】Derek W Cool, et al.，Temporal-based needle segmentation algorithm for transrectal ultrasound prostate biopsy procedures，Medical Physics，2010年，Vol. 37, No. 4，p. 1660-1673，[検索日:2023.06.27], <DOI: 10.1118/1.3360440>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／１４ 、３４／００ －９０／９８ 、

インターネット

(57)【特許請求の範囲】

【請求項1】

介入装置を追跡するためのシステムであって、前記システムは、
インタフェース部と、
データ格納部と、
処理部と、
出力部と、を備え、
前記インタフェース部は、少なくとも２つの異なる視野方向において光学カメラを用いて取得された対象者の関心領域の少なくとも２つの現在２Ｄ画像を提供し、前記現在２Ｄ画像は前記関心領域における器具を示し、前記器具は剛体円柱を有する形状を有し、
前記処理部は、前記現在２Ｄ画像を前記対象者の前記関心領域の介入前３Ｄデータと空間的に位置合わせを行い、前記少なくとも２つの現在２Ｄ画像のそれぞれにおいて、前記器具を表す少なくとも１本の直線を識別し、前記少なくとも２つの現在２Ｄ画像のそれぞれにおいて識別された前記少なくとも１本の直線に基づいて器具３Ｄ線を決定し、前記介入前３Ｄデータ上に前記器具３Ｄ線を投影して、合成ナビゲーション画像を生成し、
前記出力部は、ユーザに対して前記合成ナビゲーション画像を提供し、
前記少なくとも１本の直線の前記識別のために、前記処理部は、前記少なくとも２つの現在２Ｄ画像において線識別のための探索領域を定義するために、介入前３Ｄスキャン画像における計画器具経路を使用する、システム。

【請求項2】

前記少なくとも１本の直線の前記識別のために、前記処理部は、前記少なくとも２つの現在２Ｄ画像のそれぞれのエッジ検出フィルタリングを実現し、前記エッジ検出フィルタリングが行われた前記少なくとも２つの現在２Ｄ画像を変換し、
前記変換は、２Ｄ画像空間の線上の点を変換画像空間の線に変換し、前記変換画像空間におけるピークは、前記少なくとも２つの現在２Ｄ画像のそれぞれにおいて前記少なくとも１本の直線の位置を決定するために識別可能である、
請求項１に記載のシステム。

【請求項3】

前記少なくとも２つの現在２Ｄ画像のそれぞれの前記エッジ検出フィルタリングのために、前記処理部は、キャニーエッジ検出器及びラプラスフィルタのうちの少なくとも１つを適用し、
前記エッジ検出フィルタリングが行われた前記少なくとも２つの現在２Ｄ画像の前記変換のために、前記処理部は、ハフ変換及びラドン変換からなる群のうちの少なくとも１つを適用する、
請求項２に記載のシステム。

【請求項4】

前記処理部は、前記器具の可視部分を表す３Ｄ線を、前記器具の拡張３Ｄ部分によって補完し、
前記拡張３Ｄ部分は前記対象者に部分的に挿入された前記器具の不可視部分を表す、
請求項１、２又は３に記載のシステム。

【請求項5】

前記処理部は、前記少なくとも２つの現在２Ｄ画像のそれぞれにおいて前記器具の両側を表す少なくとも１対の直線を識別し、
前記少なくとも１対の直線の前記識別のために、前記処理部は、前記器具の幅を使用して、前記幅と一致する距離だけ互いに離れた直線対を選択する、
請求項１から４のいずれか一項に記載のシステム。

【請求項6】

前記処理部は、検証画像を提供するために、２Ｄ画像の少なくとも１つに前記器具３Ｄ線を投影し、
前記出力部は、前記器具の正確な検出を検証するために、前記ユーザに対して前記検証画像を提供する、
請求項１から５のいずれか一項に記載のシステム。

【請求項7】

前記出力部は、前記合成ナビゲーション画像を表示するディスプレイを有する、請求項１から６のいずれか一項に記載のシステム。

【請求項8】

ナビゲーション目的のために介入装置追跡を行う医療撮像装置であって、前記医療撮像装置は、
少なくとも２台の可視光カメラを有する撮像システムと、
介入装置を追跡するための請求項１から７のいずれか一項に記載のシステムと、
を有し、
前記撮像システムは、対象者の関心領域の少なくとも２つの現在２Ｄ画像を取得して前記インタフェース部に供給する、
医療撮像装置。

【請求項9】

結果的に複数の３Ｄ線を生成する３台以上のカメラが設けられ、
前記処理部は、各カメラ画像に対して各３Ｄ線を背面投影し、前記合成ナビゲーション画像のための前記器具３Ｄ線として最小再投影誤差を有する３Ｄ線を選択する、
請求項８に記載の医療撮像装置。

【請求項10】

Ｘ線源とＸ線検出器とを有する医療Ｘ線撮像システムがさらに設けられ、
前記医療Ｘ線撮像システムは、前記介入前３Ｄデータを再構成するための画像データを供給する、
請求項８又は９に記載の医療撮像装置。

【請求項11】

器具の追跡のためのコンピュータ実施される方法であって、
ａ１）少なくとも２つの異なる視野方向において光学カメラを用いて取得された対象者の関心領域の少なくとも２つの現在２Ｄ画像を供給するステップであって、前記現在２Ｄ画像は前記関心領域における器具を示し、前記器具は剛体円柱を有する形状を有する、ステップと、
ａ２）２Ｄ画像を、前記対象者の前記関心領域の介入前３Ｄデータと空間的に位置合わせするステップと、
ｂ）前記少なくとも２つの現在２Ｄ画像のそれぞれで前記器具を表す少なくとも１本の直線を識別するステップであって、介入前３Ｄスキャン画像における計画器具経路に基づいて、前記少なくとも２つの現在２Ｄ画像において線識別するための探索領域を定義することを含む、ステップと、
ｃ）前記少なくとも２つの現在２Ｄ画像のそれぞれにおいて識別された前記少なくとも１本の直線に基づいて、器具３Ｄ線を決定するステップと、
ｄ）前記対象者の前記関心領域の前記介入前３Ｄデータに前記器具３Ｄ線を投影して、前記少なくとも２つの現在２Ｄ画像において探索領域を定義するために、前記介入前３Ｄスキャン画像において計画器具経路を有する合成ナビゲーション画像を生成するステップと、
ｅ）前記合成ナビゲーション画像をユーザに対して提供するステップと、
を有する、方法。

【請求項12】

コンピュータによって実行されると、前記コンピュータに請求項１１に記載の方法のステップを実行させる命令を含む、コンピュータプログラム。

【請求項13】

請求項１２に記載のコンピュータプログラムを格納する、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、介入装置追跡に関し、より詳しくは介入装置の追跡のためのシステム、ナビゲーション目的のための介入装置追跡を行う医療撮像装置、及び器具の追跡のための方法に関する。

【背景技術】

【0002】

手術中にナビゲーションシステムとして使用される光学追跡システムは、医療業界においてますます使用されている。例えば、ナビゲーションシステムは、患者に対する手術器具の位置に関するリアルタイムの情報を提供する。これは、例えば、観血的手術の代替としてますます使用されている最小侵襲画像ガイド下介入治療時に有効である。ナビゲーションシステムは、そのシステムによって追跡される必要がある要素に取り付けられる必要がある専用マーカーと組み合わされた複数の赤外線カメラを使用する。それによって、患者の体外の器具の端部に追跡マーカーを取り付けることによって、追跡システムは、患者の体内の器具の端部の位置を算出可能となる。赤外線マーカーの使用の結果として追跡が確実で正確となる一方、それらのマーカーを手術器具へ取り付けることは手間がかかり、例えば動きの自由度を抑制し器具に対して追加の質量を追加することから望ましくないと考えられる。可視光カメラ及びマーカーを使用して器具追跡も可能であるが、赤外線追跡技術と同様のマイナス面を共通して有している。代替案として、器具の軸に小パターンが取り付けられることが可能である。このパターンは、光学カメラによって容易に検出可能なように設計されており、結果として同様の追跡性能を実現する。このアプローチは、動きを抑制するマーカーの取付けの機械的欠点を解決する一方、特別に作製された器具を必要とする。

【0003】

ＷＯ２０１３１９０４０９Ａ２は、介入装置の追跡に関する。介入装置の容易化及び単純化したリアルタイムの追跡を実現するために、介入装置を追跡するための医療撮像システムが提供され、この医療撮像システムは、介入装置の第１の部分の第１の画像データを提供するインタフェース部を備え、その第１の部分は対象者の体外に配置される。第１の画像データは、例えば可視光カメラによって取得された３Ｄ画像データを含む。インタフェース部は、介入装置の第２の部分の第２の画像データも提供し、その第２の部分は第１の部分の続きであり、第２の部分は対象者の体内に配置される。第２の画像データは、例えばＸ線撮像によって取得された２Ｄ画像データを含む。処理部は、第１の画像データに基づいて介入装置の第１の３Ｄモデル部分を算出し、第２の画像データ及び第１のモデル部分に基づいて介入装置の第２の３Ｄモデル部分を算出する。インタフェース部は、第１及び第２の３Ｄモデル部分に基づいて介入装置のグラフィック描写のデータを提供する。

【0004】

さらに、ＷＯ２０１４０１３３９３Ａ２は、介入処置における器具案内を可能とするための撮像システムを開示する。患者の体内の３Ｄ画像データに基づいて介入経路が計画される。介入処置中の患者の体外のカメラ画像を取得するために、少なくとも１台のカメラが設けられる。カメラ画像と３Ｄ画像データとの間で空間対応が確立され、その対応に基づいてカメラ画像に対応する経路のビューが計算される。

【0005】

しかしながら、さらなるＸ線線量削減に対する要望が高まりつつあることがわかっている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

したがって、より少ないＸ線放射を使用する、さらに容易化した器具の追跡を実現する必要がある。

【0007】

本発明の目的は、特許請求の範囲の独立項の主題によって解決され、さらなる実施形態は従属項に組み込まれる。なお、本発明の以下に記載する態様は、介入装置を追跡するためのシステム、ナビゲーション目的のための介入装置追跡を行う医療撮像装置、及び器具の追跡のための方法にも適用される。

【課題を解決するための手段】

【0008】

本発明によれば、介入装置を追跡するためのシステムが提供される。前記システムは、インタフェース部と、データ格納部と、処理部と、出力部と、を備える。前記インタフェース部は、少なくとも２つの異なる視野方向において光学カメラを用いて取得された対象者の関心領域の少なくとも２つの現在２Ｄ画像を提供するように構成される。前記２Ｄ画像は前記関心領域における器具を示し、前記器具は剛体円柱を有する形状を有する。前記処理部は、前記少なくとも２つの現在２Ｄ画像のそれぞれにおいて、前記器具を表す少なくとも１本の直線を識別するように構成される。前記処理部は、さらに、前記少なくとも２つの現在２Ｄ画像のそれぞれにおいて識別された前記少なくとも１本の直線に基づいて器具３Ｄ線を決定する、すなわち計算によって生成するように構成される。前記処理部は、さらに、前記２Ｄ画像を前記対象者の前記関心領域の介入前３Ｄデータと空間的に位置合わせを行い、さらに前記対象者の前記関心領域の介入前３Ｄデータ上に前記器具３Ｄ線を投影して、合成ナビゲーション画像を生成するように構成される。前記出力部は、ユーザに対して前記合成ナビゲーション画像を提供するように構成される。

【0009】

これは、さらなるＸ線画像を取得することを必要とせずに、光学撮像に基づいて装置追跡、特にライブ追跡を実現する。対象者の体内、すなわち不可視部分のための画像データは、既に利用可能なＸ線画像データによって供給され、したがって必要以上の回避可能な放射線量を必要としない。

【0010】

一例において、前記器具は、針、スクリュードライバー、ドリルなどのような介入装置である。

【0011】

例えば、前記２Ｄ画像を介入前３Ｄデータと空間的に位置合わせすること、すなわち２Ｄカメラ画像を介入前３Ｄスキャン画像と空間的に対応させることが、同一の出願人の上記で参照された出願ＷＯ２０１４０１３３９３Ａ２に説明されているように実行される。

【0012】

一例によれば、前記少なくとも１本の直線の前記識別のために、前記処理部は、前記少なくとも２つの現在２Ｄ画像において線識別のための探索領域を定義するために前記介入前３Ｄスキャン画像における計画器具経路を使用するように構成される。

【0013】

すなわち、器具によって辿られる３Ｄ軌跡を表すデータは、前記３Ｄスキャン画像と関連付けられたものでもよい。この計画３Ｄ軌跡は、３Ｄスキャン画像と２Ｄ画像との間の確立された空間的対応を使用して、カメラ画像の座標空間にマッピングされる。そのようなマッピングに基づいて、器具を探索及び識別するための関心領域がカメラ画像において定義され得る。それにしたがって、例えば、カメラ画像において直線候補を識別するアルゴリズムのための探索空間は限定される。それによって、器具識別の正確度及び／又は効率がさらに改善される。

【0014】

さらなる例によれば、前記処理部は、前記少なくとも２つの現在２Ｄ画像のそれぞれのエッジ検出フィルタリングを実現するように構成される。前記処理部は、エッジ検出フィルタリングが行われた前記２Ｄ画像を変換するように構成され、２Ｄ画像空間の線上の点はパラメータ空間の線に変換可能である。さらに、前記パラメータ空間におけるピークは、前記それぞれの２Ｄ画像空間の前記少なくとも１本の線の位置を決定するために識別可能である。

【0015】

前記エッジ検出は、（前記画像における）前記２Ｄ線、したがって前記器具の識別及び位置決定処理のための改善された画像データを供給して、それらのための３Ｄデータを実現する。

【0016】

一例によれば、前記少なくとも２つの現在２Ｄ画像のそれぞれの前記エッジ検出フィルタリングのために、前記処理部は、キャニーエッジ検出器及びラプラスフィルタのうちの少なくとも１つを適用するように構成される。エッジ検出フィルタリングが行われた前記２Ｄ画像の前記変換のために、前記処理部は、ハフ変換及びラドン変換からなる群のうちの少なくとも１つを適用するように構成される。

【0017】

これは、前記線の堅牢で確実な識別とそれらの空間的配置の決定とを実現する。

【0018】

一例によれば、前記処理部は、前記少なくとも２つの現在２Ｄ画像のそれぞれにおいて前記器具の両側を表す少なくとも１対の直線を識別するように構成される。前記少なくとも１対の直線の前記識別のために、前記処理部は、前記器具の幅を使用して、前記幅と一致する距離だけ互いに離れた直線対を選択するように構成される。

【0019】

これは、さらに、識別の正確度を改善し、発見を容易にし、したがって計算量を削減する。なお、本例において、上述したように、器具探索空間を限定するために計画器具経路を使用することは必須ではない。すなわち、器具幅を使用した識別は、計画器具経路が使用される識別の代替案として実行される。

【0020】

一例によれば、前記出力部は、合成ナビゲーション画像を表示するディスプレイを有する。

【0021】

それによって、合成ナビゲーション画像の形態の情報が例えばライブ情報としてユーザに提供される。

【0022】

本発明によれば、さらに、ナビゲーション目的のために介入装置追跡を行う医療撮像装置が提供される。前記医療撮像装置は、少なくとも２台の可視光カメラを有する撮像システムと、上述の例のうちの１つによる介入装置を追跡するためのシステムとを有する。前記撮像システムは、対象者の関心領域の少なくとも２つの現在２Ｄ画像を取得して前記インタフェース部に供給するように構成される。

【0023】

一例によれば、Ｘ線源とＸ線検出器とを有する医療Ｘ線撮像システムがさらに設けられる。前記医療Ｘ線撮像システムは、前記介入前３Ｄデータを再構成するための画像データを供給するように構成される。

【0024】

本発明によれば、さらに、医療器具の追跡のための方法が提供される。前記方法は、
少なくとも２つの異なる視野方向において光学カメラを用いて取得された対象者の関心領域の少なくとも２つの現在２Ｄ画像を供給するステップであって、前記２Ｄ画像は前記関心領域における器具を示し、前記器具は剛体円柱を有する形状を有する、ステップａ１）と、
前記２Ｄ画像を、前記対象者の前記関心領域の介入前３Ｄデータと空間的に位置合わせするステップａ２）と、
前記少なくとも２つの現在２Ｄ画像のそれぞれで前記器具を表す少なくとも１本の直線を識別するステップであって、前記介入前３Ｄスキャン画像における計画器具経路に基づいて、前記少なくとも２つの現在２Ｄ画像において探索領域を定義することを含む、ステップｂ）と、
前記少なくとも２つの現在２Ｄ画像のそれぞれにおいて識別された前記少なくとも１本の直線に基づいて、器具３Ｄ線を決定するステップｃ）と、
前記対象者の前記関心領域の前記介入前３Ｄデータに前記器具３Ｄ線を投影して、合成ナビゲーション画像を生成するステップｄ）と、
前記合成ナビゲーション画像を前記ユーザに対して提供するステップｅ）と、
を有する。

【0025】

一例として、ステップｃ）における前記３Ｄ線の前記決定は、エピポーラ幾何学と、前記少なくとも２つの異なる視野方向の知られている空間的関係とに基づく。

【0026】

一態様によれば、マーカーは器具に取り付けられる必要はない。また、器具に対するあらゆる他の修正も必要ない。したがって、その形状が本質的に固定の直径の剛体円柱であれば、例えば、針、スクリュードライバー、ドリルなど、既存の手術器具が追跡可能である。キャニーエッジ検出器のようなエッジ検出フィルタは、関心領域上で使用される。一例において、エッジ検出器応答画像における直線を検出するために局所ハフ変換が使用される。計画経路は、器具の予想位置及び向きを提供するため、ハフ変換では小さい範囲の角度及び並進のみが考慮される必要がある。器具の左側及び右側は画像においてピークを形成するが、器具の中心における鏡面反射も同様に行う。一例において、器具の幅を使用して、カメラ画像中の線間の予想距離を推定し、ハフ変換画像における正確なピーク対を選択する。すなわち、領域知識を使用することによって、探索空間を大幅に限定して偽陽性を無くす。

【0027】

本発明の上記の態様及び他の態様は、以下に記載の実施形態から明らかとなり、それらの実施形態を参照することによって説明される。

【0028】

以下の図面を参照して、本発明の例示の実施形態を以下に説明する。

【図面の簡単な説明】

【0029】

【図1】介入装置を追跡するためのシステムの概略図を示す。

【図2】ナビゲーション目的のために介入装置追跡を行う医療撮像装置の概略図を示す。

【図3】医療Ｘ線撮像システムを有する医療撮像装置の例を示す。

【図4】器具の追跡のための方法の例の基本ステップを示す。

【図5A】可視光カメラからの画像の例を示す。

【図5B】図５Ａの画像の中間エッジ検出ステップの例を示す。

【図5C】図５Ｂのエッジ検出画像のハフ変換の例を示す。

【図6】器具の投影３Ｄ線を有する３つの異なるビューの例を示す。

【図7A】３Ｄスキャン画像上に投影された検出器具線の第１の例を示す。

【図7B】３Ｄスキャン画像上に投影された検出器具線の第２の例を示す。

【図8】器具が追跡可能である関心領域内に器具を位置決めするために使用されるカメラビューの例を示す。

【発明を実施するための形態】

【0030】

以下において、添付図面を参照して特定の実施形態を詳細に説明する。以下の説明において、同様の図面参照番号が、異なる図面であっても同様の要素のために使用される。詳細な構造及び要素など、説明において定義される事柄は、例示の実施形態の包括的な理解を助けるために提供される。また、よく知られている機能又は構造は、不要な詳細が実施形態を不明瞭にするため、詳細に説明されない。さらに、要素の列挙の前に使用される「の少なくとも１つ」などの表現は、要素の列挙全体を修飾しており、その列挙の個々の要素を修飾するものではない。

【0031】

図１は、介入装置を追跡するためのシステム１０の概略図を示す。システム１０は、インタフェース部１２と、データ格納部１４と、処理部１６と、出力部１８とを備える。インタフェース部１２は、少なくとも２つの異なる視野方向において光学カメラを用いて取得された対象者の関心領域の少なくとも２つの現在２Ｄ画像を提供するように構成される。この２Ｄ画像は関心領域における器具を示し、その器具は剛体円柱を有する形状を有する。処理部１６は、少なくとも２つの現在２Ｄ画像のそれぞれにおいて、器具を表す少なくとも１本の直線を識別するように構成される。処理部１６は、さらに、少なくとも２つの現在２Ｄ画像のそれぞれにおいて識別された少なくとも１本の直線に基づいて器具３Ｄ線を決定するように構成される。処理部１６は、さらに、２Ｄ画像を対象者の関心領域の介入前３Ｄデータと空間的に位置合わせを行い、対象者の関心領域の介入前３Ｄデータ上に器具３Ｄ線を投影して、合成ナビゲーション画像を生成するように構成される。出力部１８は、ユーザに対して合成ナビゲーション画像を提供するように構成される。

【0032】

有益なことに、少なくとも１本の直線の識別のために、処理部は、少なくとも２つの現在２Ｄ画像の関心領域を定義するために、介入前３Ｄスキャン画像における計画器具経路を使用するように構成される。これは、２Ｄ画像における器具の識別の正確性及び／又は効率を上げる。

【0033】

「部」という用語は特定の機能に関する。各部は、分離した部分として、又は一体化した構成要素として設けられることが可能である。インタフェース部は、インタフェースとも呼ばれることが可能であり、データ格納部はデータストレージと呼ばれることも可能であり、処理部はプロセッサとも呼ばれることが可能であり、出力部は出力と呼ばれることも可能である。

【0034】

器具は、例えば針などの直線形の器具として設けられる。

【0035】

したがって、器具の追跡は、低訓練処置、すなわち画像中の器具の検出のために学習等が必要ない処置として実現される。

【0036】

患者に対する皮膚マーカーなどのマーカーは、対象者を追跡することによって位置合わせをするために設けられることが可能である。患者は、さらに、解剖学的又は人工的標識を介して位置合わせ可能である。

【0037】

一例において、少なくとも２つの現在２Ｄ画像は、可視光カメラによって提供される。介入前３Ｄデータは、Ｘ線撮像によって提供される。

【0038】

一例において、介入前３Ｄデータは、円錐ビームＣＴ撮像に基づく。

【0039】

一例において、追跡された手術器具は、直線状であり、長さ及び直径が知られている（又は長さは使用前に較正される）。

【0040】

器具位置に対応する３Ｄ線が知られると、この線はカメラ画像とともに、事前に取得された３Ｄスキャン画像に投影されることが可能である。３Ｄスキャン画像に投影されることによって、例えば蛍光透視法を使用せずに、医師が患者の解剖学的構造上を進むことができる。

【0041】

「現在２Ｄ画像」という用語は、例えばライブ画像又はほぼライブ画像など、現在の状況の２Ｄ画像に関する。現在画像は、ライブ画像とも呼ばれる。

【0042】

「少なくとも２つの異なる視野方向」という用語は、空間的定位がそれぞれの画像の２Ｄ情報に加えて追加の３Ｄ情報を提供するように、互いに異なる向きで得られた画像に関する。

【0043】

「剛体円柱」という用語は、例えば対象者に挿入されるように設けられた装置の堅い部分に関する。「剛体」は、わずかな変形のみを有する挿入の特性に関する。

【0044】

「器具を表す直線」という用語は、画像における実質的な直線に関する。

【0045】

「器具３Ｄ線」という用語は、空間領域、すなわち３Ｄにおける線に関し、その線は器具の可視部分を表す。

【0046】

「器具３Ｄ線を投影」という表現は、所与の視野方向における３Ｄ線の投影像を生成することに関する。

【0047】

「対象者の関心領域の介入前３Ｄデータ」という表現は、例えば超音波撮像又はＸ線撮像によって事前に行われたデータ又は画像取得に基づく、例えば３Ｄ画像データ又は３Ｄモデルデータに関する。

【0048】

「生成」という用語は、２Ｄ画像自体よりも多くの情報を示す画像を作成することに関する。

【0049】

「合成ナビゲーション画像」という用語は、ユーザに対して追加情報を提供して器具のナビゲーション作業を支援する増強２Ｄ画像に関する。

【0050】

一例において、検出アルゴリズムによって使用される関心領域は、カメラによって撮像される関心領域よりも小さい。例えば、医師は、円錐ビームＣＴスキャン画像上で所望のスクリュー位置を示す。スクリューの中心線はスキャン画像全体にわたって延びており、患者の皮膚とこの線との交点が算出される。関心領域は、さらにその線に沿ってその点と数センチメートル（例えば、およそ５ｃｍと１５ｃｍとの間、例えばおよそ８ｃｍ）との間に中心軸を有し数センチメートル（例えばおよそ１ｃｍと５ｃｍとの間、例えば３ｃｍ）の直径を有する円柱として定義される。関心領域は、別の形状をしていてもよく、例えば円錐形も選択肢に含まれる。この領域は、カメラによって撮像されるボリュームよりも小さく、例えば患者の半分を含む。

【0051】

器具は、線検出アルゴリズムの関心領域内でのみ追跡される。この関心領域内で器具の位置決めを行うために、この領域の中心線がカメラ画像上に投影されることができる。これは、中心線がカメラ画像に丁度垂直になるようにカメラのうちの１台が位置決めされる（図８参照）と特に役に立つ。カメラが例えば円錐ビームＣＴスキャナなどの電動位置決めシステムに取り付けられている場合、そのようなカメラ位置は自動的に算出され、２Ｄカメラのうちの１台は、器具の最初の位置決めを支援するように自動的に位置決めされることが可能である。

【0052】

一選択肢として、少なくとも１本の直線の識別のために、処理部１６は、少なくとも２つの現在２Ｄ画像のそれぞれのエッジ検出フィルタリングを実現するように構成される。処理部１６は、エッジ検出フィルタリングが行われた２Ｄ画像を変換するように構成され、２Ｄ画像空間の線上の点はパラメータ空間の線に変換可能である。パラメータ空間におけるピークは、それぞれの２Ｄ画像空間の少なくとも１本の線の位置を決定するために識別可能である。

【0053】

さらなる選択肢として、少なくとも２つの現在２Ｄ画像のそれぞれのエッジ検出フィルタリングのために、処理部１６は、キャニーエッジ検出器及びラプラスフィルタのうちの少なくとも１つを適用するように構成される。さらに、エッジ検出フィルタリングが行われた２Ｄ画像の変換のために、処理部１６は、ハフ変換及びラドン変換からなる群のうちの少なくとも１つを適用するように構成される。

【0054】

一選択肢として、処理部１６は、器具の拡張３Ｄ部分によって３Ｄ線を補完するように構成される。この場合の３Ｄ線は器具の可視部分を表し、拡張３Ｄ部分は対象者に部分的に挿入された器具の不可視部分を表す。

【0055】

少なくとも１本の直線の識別のために、処理部１６は、介入前３Ｄスキャン画像の計画器具経路を使用して、少なくとも２つの現在２Ｄ画像における関心領域を定義するように構成される。

【0056】

一選択肢において、処理部１６は、少なくとも２つの現在２Ｄ画像のそれぞれにおいて器具の両側を表す少なくとも１対の直線を識別するように構成される。少なくとも１対の直線の識別のために、処理部１６は、器具の幅を使用して、幅と一致する距離だけ互いに離れた直線対を選択するように構成される。

【0057】

一例において、各画像中の２本の線が検出され、その２本の線は投影された器具の側部に対応する。これらの２本の線の平均は、一例では、後で三角化のために使用される（投影）中心線を与える。

【0058】

一選択肢において、処理部１６は、２Ｄ画像の少なくとも１つに器具３Ｄ線を投影して検証画像を提供するように構成される。その後、器具の正確な検出を検証するために、検証画像がユーザに提供される（図６も同様に参照）。

【0059】

一選択肢において、破線で示すように、出力部１８は、合成ナビゲーション画像を表示するように構成されたディスプレイ２０を有する。

【0060】

図２は、ナビゲーション目的のための介入装置追跡を行う医療撮像装置５０の概略図を示す。この医療撮像装置は、少なくとも２台の可視光カメラ５４有する撮像システム５２と、上述の例のうちの１つによる介入装置を追跡するためのシステム１０の例とを有する。撮像システム５２は、対象者の関心領域の少なくとも２つの現在２Ｄ画像を取得してインタフェース部１２に供給するように構成される。

【0061】

可視光カメラ５４は、一例において、ビデオカメラとして設けられる。

【0062】

一選択肢において、破線で示すように、対象者の関心領域の介入前３Ｄデータに対して、少なくとも２つの現在２Ｄ画像を位置合わせするように構成された位置合わせ部５６が設けられる。

【0063】

図２において、そのカメラによる撮像を線５８で示す。さらに、対象者６０を図示する。器具６２は、対象者６０の外側の第１の部分６４及び破線の挿入されている第２の部分６６で示すように、部分的に挿入される。

【0064】

一例において、介入前３Ｄデータを生成するための画像データの取得中に、対象者は、例えばＸ線撮像システムなどの画像取得システムと位置合わせされる。さらに、可視光カメラは画像取得システムに堅く取り付けられ、すなわちＸ線撮像システムに対するカメラの空間配置は知られている。したがって、カメラはＸ線撮像システムと位置合わせされる。さらに、少なくとも２つの現在２Ｄ画像は、画像取得システムと位置合わせされる。それによって、介入前３Ｄデータ及び少なくとも２つの現在２Ｄ画像は互いに空間的に位置合わせされる。

【0065】

一例において、可視光カメラは、医療Ｘ線撮像装置のＸ線源及びＸ線検出器に堅く結合される。対象者は、ｉ）介入前３Ｄデータを再構成するための画像データと、ｉｉ）少なくとも２つの現在２Ｄ画像との画像取得中にこの装置群に関して追跡される。

【0066】

図３は、Ｘ線源７２とＸ線検出器７４とを有する医療Ｘ線撮像システム７０を有する医療撮像装置の例を示す。医療Ｘ線撮像システム７０は、介入前３Ｄデータを再構成するための画像データを供給するように構成される。対象者６０は患者支持部７６上に示され、表示装置８０とインタフェース装置８２とを有する制御盤７８は最前面に示される。さらに、任意で、追加ディスプレイ８４及び照明機器８６が設けられる。

【0067】

カメラ５４は、Ｘ線の能動的な使用がなく器具（図３では不図示）の追跡を可能とする。Ｘ線撮像システムは、３Ｄデータを実現するために、動作前又は動作内撮像のために使用される。

【0068】

一例において、さらに詳細には示さないが、Ｘ線検出器に堅く取り付けられた４台の高解像度光学カメラを有する介入Ｘ線システムを有する拡張現実手術ナビゲーションシステムが設けられる。互いに関して、さらにＸ線検出器に関して光学カメラの位置は較正される。処置の開始時に、対象解剖学的構造の３ＤＸ線スキャン画像が取得される。医師は、その３Ｄスキャン画像上において器具の意図する経路を計画する。

【0069】

別の例において、結果的に複数の３Ｄ線を生成する３台以上のカメラが設けられる。処理部１６は、各カメラ画像に対して各３Ｄ線を背面投影するように構成される。処理部１６は、合成ナビゲーション画像のための器具３Ｄ線として最小再投影誤差を有する３Ｄ線を選択するように構成される。

【0070】

図４は、器具の追跡のための方法１００の例の基本ステップを示す。この方法は以下のステップを有する。
－ サブステップａ１）及びａ２）を有する第１のステップ１０２において、少なくとも２つの異なる視野方向において光学カメラを用いて取得された対象者の関心領域の少なくとも２つの現在２Ｄ画像が供給される。この２Ｄ画像は関心領域における器具を示し、器具は剛体円柱を有する形状を有する。２Ｄ画像は、対象者の関心領域の介入前３Ｄデータと空間的に位置合わせされる。
－ ステップｂ）とも呼ばれる第２のステップ１０４において、少なくとも２つの現在２Ｄ画像のそれぞれで器具を表す少なくとも１本の直線が識別される。この目的のため、介入前３Ｄスキャンと関連付けられた計画器具経路に基づいて、２Ｄ画像において探索領域が定義される。
－ ステップｃ）とも呼ばれる第３のステップ１０６において、少なくとも２つの現在２Ｄ画像のそれぞれにおいて識別された少なくとも１本の直線に基づいて、器具３Ｄ線が決定される。
－ ステップｄ）とも呼ばれる第４のステップ１０８において、対象者の関心領域の介入前３Ｄデータに器具３Ｄ線が投影され、合成ナビゲーション画像を生成する。
－ ステップｅ）とも呼ばれる第５のステップ１１０において、合成ナビゲーション画像がユーザに対して提供される。

【0071】

ナビゲーションは、ライブ画像として３Ｄ介入前画像データ及び２Ｄ可視光ビデオ撮像に基づく。領域知識を使用することによって、探索空間を大幅に限定して偽陽性を無くす。

【0072】

剛体円柱は、固定の知られている直径を有する。

【0073】

一例において、局所ハフ変換と組み合わされたエッジ検出フィルタを使用して、器具の両側に対応する各カメラ画像中の直線を発見する。器具の幅を使用して、正確な線対を選択する。

【0074】

ステップｃ）において、２Ｄ線は３Ｄ線に三角化される。

【0075】

一例において、２Ｄ線対は３Ｄ線に三角化され、最小再投影誤差を有する３Ｄ線が器具線として選択される。

【0076】

一例において、ステップｃ）で、その線の三次元配置、すなわち線の空間的関係が決定される。

【0077】

ステップｃ）における３Ｄ線の決定は、エピポーラ幾何学と、少なくとも２つの異なる視野方向の知られている空間的関係とに基づく。

【0078】

一例において、３Ｄ線は３Ｄスキャン画像上に投影されることによって、医師は可視光ビデオ撮像のみを使用して患者の体内を進むことができる。

【0079】

一例において、ステップｅ）で、ユーザに対して、合成ナビゲーション画像がライブ画像として表示される。

【0080】

一例において、ステップｂ）で、少なくとも２つの現在２Ｄ画像のそれぞれにおける器具の両側を表す少なくとも１対の直線が識別される。

【0081】

一例において、ステップｂ）で少なくとも１本の直線を識別するために、以下のサブステップが設けられている。
ｂ１）少なくとも２つの現在２Ｄ画像のそれぞれのエッジ検出フィルタリング、及び
ｂ２）エッジ検出フィルタリングが行われた２Ｄ画像の変換。ここで２Ｄ画像空間における線上の点はパラメータ空間における線に変換され、そのパラメータ空間におけるピークはそれぞれの２Ｄ画像空間における少なくとも１本の線の位置を決定するために識別される。

【0082】

一例において、ステップｄ）で、器具の可視部分を表す３Ｄ線は、器具の拡張３Ｄ部分によって補完され、この拡張３Ｄ部分は、対象者に部分的に挿入された器具の不可視部分を表す。

【0083】

拡張３Ｄ部分は、拡張部分、器具の拡張内部、拡張３Ｄ線、又は拡張３Ｄ部とも呼ばれる。

【0084】

一例において、合成ナビゲーション画像介入前３Ｄの２つの異なる視野角における少なくとも２つの異なる投影像が示される（図７Ａ及び図７Ｂ参照）。

【0085】

一例において、少なくとも２つの現在２Ｄ画像のそれぞれのエッジ検出フィルタリングを行うステップｂ１）のために、キャニーエッジ検出器及びラプラスフィルタからなる群のうちの少なくとも１つが設けられる。さらに、エッジ検出フィルタリングが行われた２Ｄ画像を変換するステップｂ２）のために、ハフ変換及びラドン変換からなる群のうちの少なくとも１つが行われる。

【0086】

一例において、計画器具経路は、カメラ画像のそれぞれに後で投影される、所定の半径を有する円柱の中心軸として使用される。投影された円柱は、画像処理チェーンのための関心領域としての役割を果たす。小さい関心領域を有することによって探索空間を大幅に削減し、多くの偽陽性を無くす。これは、カメラ画像全体を処理すると候補が多くなりすぎて正確な器具位置を選択するのが非常に難しくなるため、有益である。

【0087】

計画器具経路は、決定器具経路としても提供されることが可能である。計画器具経路は、対象経路とも呼ばれることが可能である。計画器具経路は、器具のための最適経路を検出するために検査目的で事前に挿入されたカテーテルを追跡することからも導出可能である。

【0088】

一例において、ステップｂ）で、器具の幅を使用して、その幅と一致する距離だけ互いに離れた直線対を選択する。より容易な識別処理のための向きの器具の幅が選択される。

【0089】

一例において、器具の左右の側部は、ハフ変換の画像においてピークを形成し、器具の幅に基づいて、ハフ変換画像における正しいピーク対を選択するために予想距離が推定される。

【0090】

一例において、互いに不一致の距離だけ離れた直線対を選択しないために、器具の幅が使用される。

【0091】

正確な検出の場合、投影された器具３Ｄ線と２Ｄ画像において可視の器具とは互いに整列されており、すなわちそれらは一致している。

【0092】

「対象者」という用語は、個人とも呼ばれる。なお、この用語が対象者に疾患又は病気が実際に存在するかを示すものではないが、「対象者」は、さらに、患者とも呼ばれる。

【0093】

以下において、追跡処理の上述した段階のいくつかをさらに説明する。

【0094】

図５Ａは、可視光カメラからの画像１５０の例を示す。例えば対象者に部分的に挿入された針などの器具１５２が示される。さらに、枠１５４は、関心領域を示す。これは、介入前３Ｄスキャン画像における計画器具経路から導出される。

【0095】

図５Ｂは、図５Ａの画像の中間エッジ検出ステップ１６０の例を示す。１対の線１６２が結果として示されている。２本の線１６２は、図５Ａの器具１５２の２本の輪郭線を表す。その２本の線は、より良好な可視性のために回転されている。

【0096】

図５Ｃは、図５Ｂのエッジ検出画像のハフ変換１７０の例を示す。２本の線に沿った点は、結果的に互いに交差した数本の線１７２となり、ピーク１７４を形成する。このピークは、器具１５２の２本の境界線を表す。

【0097】

一選択肢において、処理部１６は、検証画像を提供するために、２Ｄ画像の少なくとも１つに器具３Ｄ線を投影するように構成され、出力部１８は、器具の正確な検出を検証するために、ユーザに対して検証画像を提供するように構成される。

【0098】

一例において、処置中のいずれかの時点で器具の光学追跡が失敗した場合でも、例えば医師の手によって器具が遮られた場合でも、例えば器具検出のために使用される画像の一部に合わせてトリミングされ予想器具方向が画像の垂直軸と一致するように回転された３つのカメラ画像を有する表示域を提供することによって、器具検出の結果に関するフィードバックが提供される。検出された器具は、それらの画像の最上面に投影される。この表示域において、医師は、器具がカメラにとって可視であるか、検出が正確であるかを迅速に確認することができる。図６は、器具の投影３Ｄ線１８２を有する器具１５２の３つの異なるビュー１８０の例を示す。枠１５４も示される。より良好な可視性のため、器具を垂直の向きで示すように可視光画像が配列される。ユーザは、（器具のための）３Ｄ線が画像に示される器具と一致して正確に投影されているかを検証することができる。

【0099】

図７Ａは、検出された器具線１９２が例えば脊椎などの解剖学的構造１９４を示す３Ｄスキャン画像１９０上に投影されている３Ｄスキャン画像１９０の第１の例を示す。皮膚表面線１９６は、対象者の外周を示す。それによって、対象者体内に配置された器具線１９２の部分１９２ａは再構成され、光学画像から導出された部分１９２ｂに追加される。それによって、図７Ａは合成ナビゲーション画像を示す。

【0100】

図７Ｂは、３Ｄスキャン画像上に投影された検出器具線の第２の例を示す。図７Ａと同一の参照番号が使用される。例えば、この第２の図は、図７Ａと同一のシチュエーションであるが例えば図７Ａの投影方向に垂直な方向など、異なる向きの投影である。それによって、図７Ｂは合成ナビゲーション画像も示す。

【0101】

図８は、計画経路、したがって関心領域の中心線がカメラ画像に垂直であるようにしたカメラ画像２００の例を示す。挿入される部分２０６がカメラの方を向くように、器具２０２は医師の指２０４によって保持される。十字２０８は、計画経路の中心線を示す。器具の後部が十字内の中心に配置された場合、器具は計画経路とほぼ整列し、器具追跡方法によって追跡可能となる。

【0102】

本発明の別の例示の実施形態において、適切なシステム上で上述した実施形態の１つによる方法の方法のステップを実行するように構成されることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。

【0103】

したがって、このコンピュータプログラム要素は、コンピュータ部に格納されてもよく、又は複数のコンピュータ部上に分散されてもよく、これは本発明の一実施形態の部分にもなり得る。このコンピューティング部は、上述した方法のステップを実行する、又は実行を誘導するように構成される。さらに、上述した装置の構成要素を動作するように構成される。コンピューティング部は、自動的に動作する、及び／又はユーザの命令を実行するように構成されることが可能である。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされる。それによって、データプロセッサは、本発明の方法を実行するように構成される。

【0104】

本発明の態様は、コンピュータ可読格納装置に格納されコンピュータによって実行されるコンピュータプログラム命令の集合体であるコンピュータプログラム製品において実施されてもよい。本発明の命令は、スクリプト、解釈可能プログラム、動的リンクライブラリ（ＤＬＬ）又はＪａｖａクラスを含むがこれに限定されない、あらゆる解釈可能又は実行可能なコード機構の形態でもよい。命令は、完全実行可能プログラム、部分実行可能プログラム、既存プログラムに対する修正（例えば更新）、又は既存プログラムに対する拡張（例えばプラグイン）として提供され得る。さらに、本発明の処理の一部は、複数のコンピュータ又はプロセッサ上に分散されてもよい。

【0105】

上述したように、例えばコントローラなどの処理部は制御方法を実施する。コントローラは、必要とされる様々な機能を実行するために、ソフトウェア及び／又はハードウェアを用いて、多くのやり方で実施可能である。プロセッサは、必要とされる機能を実行するためにソフトウェア（例えばマイクロコード）を使用してプログラミングされる１つ又は複数のマイクロプロセッサを用いるコントローラの一例である。ただし、コントローラはプロセッサを使用して、又は使用せずに実施され、いくつかの機能を実行する専用ハードウェアと他の機能を実行するプロセッサ（例えば１つ又は複数のプログラミングされたマイクロプロセッサ及び関連回路）との組み合わせとしても実施される。

【0106】

本開示の様々な実施形態に用いられるコントローラ構成要素の例は、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むがこれに限定されない。

【0107】

本発明の例示の実施形態は、最初から本発明を使用するコンピュータプログラムと、更新によって既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラムとの両方を網羅する。

【0108】

さらに、コンピュータプログラム要素は、上述したような方法の例示の実施形態の手順を実行する全ての必要なステップを提供可能である。

【0109】

本発明のさらなる例示の実施形態によれば、ＣＤ－ＲＯＭなどのコンピュータ可読媒体が提供され、そのコンピュータ可読媒体は、上記の部分によって説明されたコンピュータプログラム要素を格納して有する。コンピュータプログラムは、光学格納媒体、又は他のハードウェアとともに、又はその一部として供給される固体媒体などの適切な媒体上に格納及び／又は分散されるが、インターネット又は他の有線又は無線通信システムを介してなど、他の形態で分散されてもよい。

【0110】

しかしながら、コンピュータプログラムは、さらに、ワールドワイドウェブのようなネットワーク上で提供されてもよく、そのようなネットワークからデータプロセッサのワーキングメモリにダウンロードされることが可能である。本発明のさらなる例示の実施形態によれば、ダウンロードのためにコンピュータプログラム要素を利用可能とする媒体が提供され、このコンピュータプログラム要素は本発明の上述の実施形態の１つによる方法を実行するように構成される。

【0111】

なお、本発明の実施形態は、様々な主題を参照して説明される。特に、いくつかの実施形態が方法クレームを参照して説明される一方、他の実施形態は装置クレームを参照して説明される。ただし、当業者は、特記しない限り、一種類の主題に属する特徴のあらゆる組み合わせに加えて、異なる主題に関係する特徴間のあらゆる組み合わせも本出願において開示さることが考慮されることを上記及び下記説明から推測するであろう。ただし、全ての特徴は組み合わされることが可能であり、特徴を単純に合わせることを超えた相乗効果を提供する。

【0112】

本発明を図面及び上記説明において詳細に図示及び記載したが、そのような図示及び記載は説明的又は例示的なもので限定的ではないと考えられるべきである。本発明は開示の実施形態に限定されない。図面、開示内容、従属項の精査から、特許請求の範囲に記載の発明を実行する際に、開示の実施形態の他の変形は当業者によって理解及び実行され得る。

【0113】

特許請求の範囲において、「有する」という用語は他の要素又はステップを排除するものではなく、単数形は複数形を排除するものではない。単一のプロセッサ又は他の部は、特許請求の範囲において列挙されるいくつかの項目の機能を実現する。特定の手段が相互に異なる従属項において列挙されるという単なる事実は、これらの手段の組み合わせが有効に使用可能でないことを示すものではない。特許請求の範囲における参照符号は、範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7A】

【図7B】

【図8】