特許 7537432 画像ベースの装置追跡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】画像ベースの装置追跡

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240814BHJP

   A61B 8/12 20060101ALI20240814BHJP

【ＦＩ】

A61B6/03 560D

A61B6/03 577

A61B8/12

【請求項の数】 17

(21)【出願番号】P 2021529033

(86)(22)【出願日】2019-11-29

(65)【公表番号】

(43)【公表日】2022-01-28

(86)【国際出願番号】 EP2019083182

(87)【国際公開番号】W WO2020109604

(87)【国際公開日】2020-06-04

【審査請求日】2022-11-07

(31)【優先権主張番号】18209238.7

(32)【優先日】2018-11-29

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(72)【発明者】

【氏名】ネイホフ ニールス

(72)【発明者】

【氏名】ファベール アルベルト ラウ

(72)【発明者】

【氏名】ホヘルス ペトルス コルネルス アドリアヌス

【審査官】蔵田 真彦

(56)【参考文献】

【文献】特表２０１６－５０２４４１（ＪＰ，Ａ）

【文献】特表２００７－５２６０６６（ＪＰ，Ａ）

【文献】特表２０１３－５１３４１２（ＪＰ，Ａ）

【文献】特開２０１０－０１２０９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／５８、８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

装置を要する医療処置中に前記装置を追跡する機器において、
第１の画像データ及び第２の画像データを受信するように構成された入力ユニットであって、前記第１及び第２の画像データの各々は、前記装置の少なくとも一部を含み、前記第１及び第２の画像データは、異なる撮像機器を使用して取得されている、当該入力ユニットと、
処理ユニットであって、
前記第１の画像データ及び前記第２の画像データを入力するステップと、
入力された前記第１の画像データと前記第２の画像データとの間でコレジストレーションを確立するステップと、
前記第１の画像データ内の装置を識別するステップと、
前記第１の画像データで識別された前記装置の第１の識別情報を使用して前記第２の画像データの部分の画像を生成するステップと、
前記生成された画像内の前記装置を更に識別するステップと、
を実行するように構成された当該処理ユニットと、
を有する機器。

【請求項2】

前記第１の画像データは、２ＤＸ線画像データを有し、前記第２の画像データは、３Ｄ超音波画像データを有する、請求項１に記載の機器。

【請求項3】

前記処理ユニットは、前記第１の識別情報に基づいて３Ｄ空間内の平面を導出するように更に構成される、請求項１又は２に記載の機器。

【請求項4】

前記第１の画像データにおける前記装置の識別は、前記第１の画像データにおいて、前記装置を規定する２つの点の選択を含む、請求項１乃至３のいずれか１項に記載の機器。

【請求項5】

前記生成された画像における前記装置の更なる識別は、前記生成された画像において、前記装置を規定する２つの更なる点の選択を含む、請求項１乃至４のいずれか１項に記載の機器。

【請求項6】

前記２つの更なる点は、前記生成された画像内のエピポーラ線上にある、請求項５に記載の機器。

【請求項7】

前記処理ユニットは、前記第１の識別情報と、前記生成された画像において更に識別される前記装置の第２の識別情報とに基づいて、前記装置の３Ｄ位置及び向きを含む装置追跡情報を生成するように更に構成される、請求項１乃至６のいずれか１項に記載の機器。

【請求項8】

前記処理ユニットは、前記３Ｄ位置及び向きに基づいて、前記装置の表現によって前記第２の画像データを強化するように更に構成される、請求項７に記載の機器。

【請求項9】

前記装置の前記表現は、前記装置の３Ｄモデルの仮想投影を有する、請求項８に記載の機器。

【請求項10】

前記処理ユニットは、前記装置の前記決定された３Ｄ位置及び／又は向きに基づいて、前記第２の画像データからビューを生成するように構成される、請求項７に記載の機器。

【請求項11】

第１又は第２の画像データを取得するように構成された撮像機器と、
請求項１乃至９のいずれか１項に記載の機器であって、前記入力ユニットは、前記取得された第１又は第２の画像データを受信するために前記撮像機器に接続可能である、当該機器と、
を有する撮像システム。

【請求項12】

医用画像データ内の装置を追跡する機器の作動方法であって、前記機器はプロセッサ及びメモリを有し、前記プロセッサが、
ａ）異なる撮像機器を使用して第１及び第２の画像データを取得するステップであって、前記第１及び第２の画像データは、前記装置の少なくとも一部を含む、ステップと、
ｂ）前記第１の画像データと前記第２の画像データとの間でコレジストレーションを確立するステップと、
ｃ）前記第１の画像データ内の装置を識別するステップと、
ｄ）前記装置の第１の識別情報を決定するステップと、
ｅ）前記第１の識別情報に基づいて前記第２の画像データの部分の画像を生成するステップと、
ｆ）前記生成された画像内の前記装置を更に識別するステップと、
を実行する、方法。

【請求項13】

前記第１の識別情報と、前記生成された画像において更に識別される前記装置の第２の識別情報とに基づいて、前記装置の３Ｄ位置及び向きを含む装置追跡情報を生成するステップを有する、請求項１２に記載の方法。

【請求項14】

請求項１乃至１０のいずれか１項に記載の機器の処理ユニットによって実行される場合に、前記機器に請求項１２に記載の方法のステップを実行させる命令のセットを有するコンピュータプログラム。

【請求項15】

請求項１４に記載のコンピュータプログラムを有するコンピュータ可読媒体。

【請求項16】

装置を要する医療処置中に前記装置を追跡する機器において、
第１の画像データ及び第２の画像データを受信するように構成された入力ユニットであって、前記第１及び第２の画像データは、前記装置の少なくとも一部を含み、前記第１及び第２の画像データは、異なる撮像機器を使用して取得されている、当該入力ユニットと、
処理ユニットであって、
前記第１の画像データと前記第２の画像データとの間でコレジストレーションを確立し、
前記第１の画像データ内の装置を識別し、
前記第１の画像データで識別される前記装置の第１の識別情報を使用して前記第２の画像データから画像を生成し、
前記生成された画像内の前記装置を更に識別する、
ように構成された当該処理ユニットと、
を有し、前記第１の画像データにおける前記装置の識別は、前記第１の画像データにおいて、前記装置を規定する２つの点の選択を含む、機器。

【請求項17】

装置を要する医療処置中に前記装置を追跡する機器において、
第１の画像データ及び第２の画像データを受信するように構成された入力ユニットであって、前記第１及び第２の画像データは、前記装置の少なくとも一部を含み、前記第１及び第２の画像データは、異なる撮像機器を使用して取得されている、当該入力ユニットと、
処理ユニットであって、
前記第１の画像データと前記第２の画像データとの間でコレジストレーションを確立し、
前記第１の画像データ内の装置を識別し、
前記第１の画像データで識別される前記装置の第１の識別情報を使用して前記第２の画像データから画像を生成し、
前記生成された画像内の前記装置を更に識別する、
ように構成された当該処理ユニットと、
を有し、前記生成された画像における前記装置の更なる識別は、前記生成された画像において、前記装置を規定する２つの更なる点の選択を含む、機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、装置を要する医療処置をサポートするための機器、そのような機器を含む撮像システム、医用画像データ内の装置を追跡するための方法、コンピュータプログラム製品、及びそのようなコンピュータプログラム製品を記憶するコンピュータ可読媒体に関する。

【背景技術】

【0002】

様々な医用撮像システムが、例えば心臓血管系の解剖学的構造の画像を取得するために使用される。これらの画像は、医療処置中、例えば、高度な最小侵襲性治療中、又は手術室若しくはカテーテル検査室（カテ室）における介入中に、臨床医にフィードバックを提供するために使用されてもよい。

【0003】

心臓領域における特定の医学的介入のために、Ｘ線透視及び／又は超音波撮像が、使用されてもよい。例えば、３D ＴＥＥ又はＩＣＥのような超音波撮像（又はエコー撮像）は、多くの今後の経カテーテル構造的心臓介入（ＳＨＩ）のための選択肢のモダリティである。取得された画像は、構造的心疾患（ＳＨＤ）の患者のための送達及び治療装置及び軟組織生体構造の両方を視覚化するために使用される。

【0004】

しかしながら、既存の介入及び治療装置の大部分は、超音波撮像とは比較的互換性がないので、超音波を使用するそのような装置を撮像することは、しばしば困難である。特に、シャドウイング、反射及び音響アーティファクトのような効果は、装置をある程度不明瞭にし、超音波画像内で装置を認識することを困難にする可能性がある。更に、装置が、超音波撮像の限られた視野（ＦｏＶ）内に完全にはない場合、装置は、部分的にのみ取り込まれてもよく、画像を適切に解釈し、ガイダンス及び治療のための最適なビューを得ることを困難にする。

【0005】

超音波に加えて、Ｘ線透視法は、高い空間的及び時間的分解能が必要とされる場合に、体内の装置を視覚化するために一般に使用される。

【発明の概要】

【発明が解決しようとする課題】

【0006】

特に医療画像において識別され追跡される装置を要する、医療処置中のガイダンス及び治療のための改善されたサポートを提供することが、有利であろう。

【課題を解決するための手段】

【0007】

これに対処するために、本発明の第１の態様では、独立請求項１に規定されるような機器が、提供され、更なる例は、従属請求項に組み込まれる。

【0008】

したがって、入力ユニット及び処理ユニットを有する機器が、提供される。入力ユニットは、第１の画像データ及び第２の画像データを受信するように構成され、第１及び第２の画像データは、前記装置の少なくとも一部を含み、第１及び第２の画像データは、異なる撮像機器を使用して取得されている。処理ユニットは、第１の画像データと第２の画像データとの間のコレジストレーション（co-registration）を確立し、第１の画像データ内の装置を識別し、第１の画像データ内で識別された装置の識別情報を使用して第２の画像データから画像を生成し、更に、生成された画像内の装置を識別するように構成される。

【0009】

生成された画像を使用して、第２の画像データにおける装置又はその一部の認識又は識別は、特に医療器具又は治療装置のような関心のある装置が、その性質上、比較的低い可視性を有し得る画像データに対して、容易にされ得る。例えば、第２の画像内の識別は、装置がより高い可視性を有しうる第１の画像データ内で装置を識別することによって取得又は確立された、関心のある装置の識別情報を使用して第２の画像データを前処理することによって支援されてもよい。

【0010】

特に、そのような前処理は、そのような識別情報を使用して又は組み込んで、第２の画像データから特定の画像又はビューを生成することを含んでもよい。このようにして生成された画像は、例えば、装置の断面を含んでもよく、装置が比較的正確な形で適切に識別されることを可能にしてもよい。

【0011】

その結果、例えば、装置の３Ｄロケーション、すなわち、位置及び向きを含む装置追跡情報が、比較的高い精度で確立されうる。

【0012】

特定の例では、そのような情報は、進行中の処置の画像ベースのガイダンスのための最適な超音波ビューを設定する際に使用され得る。

【0013】

第１の画像データは、２Ｄ画像データを有してもよく、第２の画像データは、３Ｄ画像データを有してもよい。

【0014】

特定の例では、２Ｄ画像データは、Ｘ線透視画像などの２D X線画像データであってもよい一般に、介入又は治療装置は、Ｘ線に対して不透明であり、これは、装置の比較的詳細なフットプリントが、２Ｄ投影ビューにおいてではあるが、Ｘ線画像において可視であることを意味する。

【0015】

更なる例では、３Ｄ画像データは、３Ｄ超音波画像データであってもよい。一例では、処理ユニットは、装置識別情報に基づいて３Ｄ空間内の平面を導出するように更に構成される。 したがって、例えば、画像平面が、導出されてもよく、この平面は、装置の断面を含むことが知られていてもよい。画像が、この平面内の第２の画像データから生成される場合、生成されたビューは、同様に装置断面を含まなければならない。したがって、生成されたビュー内の装置の更なる識別が、実行されてもよい。

【0016】

好ましくは、コレジストレーションが、第１の画像データと第２の画像データとの間で確立される。したがって、例えば、コレジストレーションは、２D Ｘ線画像データと３Ｄ超音波画像データとの間で確立される。

【0017】

したがって、Ｘ線画像データによって提供される高解像度装置投影情報は、超音波画像データによって提供される粗い３Ｄ装置場所及び形状情報と組み合わされてもよい。したがって、例えば、装置の３Ｄ位置及び向きは、本明細書で更に説明するように決定されてもよい。

【0018】

一実施形態では、コレジストレーションは、本出願人の先行出願ＷＯ２０１１／０７０４７７Ａ１に記載されているように、ライブＸ線画像及び３Ｄ超音波画像のリアルタイム融合を提供するフィリップスのEchoNavigatorツールを使用して確立される。したがって、コレジストレーションを確立することは、２D X線画像内の超音波プローブを検出し、例えば検出された超音波プローブのフットプリントとプローブの３Ｄモデルとの間の２Ｄ－３Ｄ位置合わせを使用して、基準座標系内の位置及び向きを推定することを含んでもよい。

【0019】

好ましくは、装置は、最初に第１の画像データにおいて識別される。例えば、装置は、Ｃアーム撮像機器を有する介入Ｘ線システムによってリアルタイムで取得された透視画像のシーケンスのようなＸ線画像シーケンスのフレーム内で識別される。例えば、Ｃアームは、Ｘ線画像が比較的少量の遠近法で関心装置上に高品質ビューを提供する投影角度で取得される、位置及び向きに運ばれていてもよい。

【0020】

一例では、第１の画像データ内の装置の識別は、手動識別を含む。代替的に、自動又は半自動の装置識別が、提供されてもよい。識別は、第１の画像データにおいて、装置を規定する２つの点の選択を含んでもよい。

【0021】

例えば、選択がＸ線画像を要する場合、手動又は自動のいずれかで、このように選択又は注釈付けされた点は、Ｘ線管の焦点から発生し、選択された点を通過する光線に対応する、３Ｄ空間における投影線として表されることができる。２つの点が選択される場合、２つの投影線が得られ、これらは一緒になって、識別された装置を含む３Ｄ空間内の平面を規定する。この例では、装置識別情報が、２つの選択された点の場所又は座標を含んでもよい。

【0022】

コレジストレーションがＸ線画像データと３Ｄ超音波画像データとの間で確立される場合、導出された平面は、超音波画像データから超音波画像を生成又はレンダリングするための基礎として使用されてもよい。例えば、２Ｄ断面画像が、生成されてもよく、生成された画像は、３Ｄ超音波画像データの視野内の装置の少なくとも一部の断面を含む。

【0023】

一例では、生成された画像内の装置の識別は、手動識別を要する。代替的に、自動又は半自動の装置識別が、提供されてもよい。識別は、生成された画像において、装置を規定する２つの更なる点の選択を含んでもよい。

【0024】

更なる例では、更なる点の選択は、更なる点が、生成された画像内のエピポーラ線上に位置するように、制約又は制限される。生成された画像上のエピポーラ線は、Ｘ線幾何構成によって規定されるエピポーラ線、換言すれば、Ｘ線画像内の装置点の選択で得られる投影線に対応してもよい。

【0025】

したがって、例えば、超音波画像データから生成された画像において、装置の先端又は終点が、十分な精度で決定することが困難であり得るので、生成された画像における装置の識別は、容易化されてもよい。点がエピポーラ線上にある境界条件を設定することによって、そのような点の探索領域又は探索空間が、制限されてもよく、したがって点選択が、単純化されてもよい。

【0026】

一例では、処理ユニットは、第１の識別情報と、生成された画像内で更に識別された装置の第２の識別情報とに基づいて、装置の３Ｄ位置及び向きを含む装置追跡情報を生成するように更に構成される。
したがって、例えば、Ｘ線画像及びＸ線画像データとコレジストレーションされた超音波画像データから生成された断面画像の両方において介入又は治療装置を識別することにより、装置の３Ｄ位置特定、即ち、３Ｄ空間におけるその位置及び向きが、比較的高い精度及び限られた労力で確立されることができる。

【0027】

いくつかの例では、２Ｄ画像データ及び／又は３Ｄ画像データは、医療処置中に（準）リアルタイムで取得される２Ｄ医用画像及び３Ｄ医用画像のシーケンスを有してもよい。したがって、これらの画像シーケンスにおいて装置を連続的に識別することによって、３Ｄ場所が、連続的に確立され、更新されることができる。言い換えると、３Ｄ装置位置及び向きを表す正確な画像ベースの追跡情報が、（準）リアルタイムで利用可能になる。

【0028】

特定の例では、処理ユニットは、装置の決定された３Ｄ位置及び向きに基づいて、装置の表現によって第２の画像データを強化するように更に構成される。

【0029】

したがって、超音波画像データから生成又はレンダリングされるビューは、正しい位置及び角度におけるビューに重ね合わされる、関心のある介入又は治療装置のモデルによって強化され得る。超音波画像及びその解釈の理解を改善するのに役立ち得るので、超音波画像において介入又は治療装置の詳細な情報を提示することは、有利であり得る。したがって、そのような画像データに基づく介入又は治療のためのガイダンスが、強化されて、より容易で、より迅速で、より安全な治療を容易化しうる。

【0030】

例えば、装置の３Ｄモデルが、提供されてもよく、オーバーレイは、３Ｄモデルの仮想投影を含む。例えば、仮想投影の投影角度は、強化されている超音波ビューの平面に対する装置の向きに対応してもよい。

【0031】

３Ｄモデルは、例えば、データベースから取得されてもよく、又は３Ｄ回転式取得（ＣＢＣＴスキャン）においてＣアーム撮像システムを使用して取得されてもよい。代わりに、モデルは、その中で識別された装置の回転対称性を仮定して、２D X線画像データから直接的に導出されてもよい。

【0032】

したがって、第１の画像データからの装置情報は、３Ｄ超音波画像データを増強するのに使用されてもよく、これは、医師による超音波画像の理解及び解釈を改善するのに役立ち得、超音波画像品質の改善に寄与しうる。

【0033】

特定の例では、処理ユニットは、装置の決定された３Ｄ位置及び／又は向きに基づいて、第２の画像データからビューを生成するように更に構成される。

【0034】

したがって、第２の画像データから選択されたビューが、生成、レンダリング、又は再構成されてもよい。決定された３Ｄ装置情報を使用して、複雑なエコーガイド処置のための多重平面再形成（ＭＰＲ）ビューなどの適切なビューが、自動的にレンダリングされることができる。すなわち、このように生成されたビューの視線方向は、３Ｄ装置情報によって決定されてもよい。

【0035】

オプションとして、生成された超音波ビューは、上記で述べられたように、関心のある装置の表現によって強化されてもよい。

【0036】

レンダリングされたビューは、ユーザ、例えば、心臓介入処置を実行する医師に改善されたガイダンスを提供するために、表示装置に出力されてもよい。

【0037】

代替的に又は追加的に、例えば、装置の断面を有する生成された画像は、その中の更なる装置点をユーザが手動で選択することを可能にするユーザインタフェースと共に提示されてもよい。

【0038】

更なる態様によれば、上記で説明した機器と撮像機器とを有する撮像システムが、提供される。入力ユニットは、取得されている第１又は第２の画像データを受信するために、撮像機器に接続可能である。例えば、入力ユニットは、第１及び第２の画像データのうちの他方を受信するために、異なる撮像システムと更に接続可能である。

【0039】

一例では、撮像システムは、第２の画像データを取得するための超音波プローブを有する超音波撮像システムである。より具体的には、超音波プローブは、３D ＴＥＥ、３D ＴＴＥ、又は３D ＩＣＥプローブであってもよい。この場合、例えば、装置識別は、前記超音波プローブを使用して取得された超音波画像データと、外部Ｘ線撮像システムから受信されたＸ線画像データとを要する。

【0040】

代替例では、撮像システムは、第１の画像データを取得するためのＣアーム撮像機器を有する介入Ｘ線システムである。この場合、例えば、装置識別は、前記Ｃアーム機器を使用して取得されたＸ線画像データと、外部超音波撮像システムから受信された超音波画像データとを要する。

【0041】

また、撮像システムは、Ｃアーム撮像機器及び超音波プローブの両方を有する結合されたＸ線及び超音波撮像システムであることが予見され得る。したがって、第１及び第２の画像データの両方が、同じ撮像システム上で取得されうる。

【0042】

更なる態様では、医用画像データ内の装置を追跡するための方法が、提供され、この方法は、
ａ）異なる撮像機器を使用して第１及び第２の画像データを取得するステップであって、第１及び第２の画像データは、前記装置の少なくとも一部を含む、ステップと、
ｂ）第１の画像データと第２の画像データとの間のコレジストレーションを確立するステップと、
ｃ）第１の画像データ内の装置を識別するステップと、
ｄ）装置の識別情報を決定するステップと、
ｅ）識別情報に基づいて第２の撮像データから画像を生成するステップと、
ｆ）生成された画像内の装置を更に識別するステップと、
を有する。

【0043】

特定の実施例では、方法のステップが、繰り返される。したがって、取得される第１及び第２の画像のシーケンスを使用して、装置は、（準）リアルタイムで識別され、位置特定されることができ、例えば患者の体内での装置の正確な画像ベースの追跡を可能にする。

【0044】

更なる態様によれば、上記で説明された機器の処理ユニットによって実行される場合に、機器に上記の方法を実行させる命令のセットを有するコンピュータプログラム製品が、提供される。コンピュータプログラム製品は、他のハードウェアと一緒に又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶又は配布されてもよいが、インターネット又は他の有線若しくは無線電気通信システムなどを介して、他の形態で配布されてもよい。

【0045】

本発明のこれら及び他の態様は、以下に記載される実施形態から明らかになり、それを参照して説明される。

【0046】

本発明の例示的な実施形態は、以下の図面を参照して以下に説明される。

【図面の簡単な説明】

【0047】

【図1】医療処置をサポートするための例示的な機器を示す。

【図2】医用画像データ内の装置を識別するための例示的な方法を示す。

【図3】３Ｄ空間における装置の識別の例をより詳細に示す。

【図4】装置の更なる識別のための例示的な超音波ＭＰＲビューをより詳細に示す。

【図5】ＴＭＶＲ処置中に取得された異なる例示的な超音波ビューを示す。

【図6】ＴＴＶＲ処置中に取得された異なる例示的な超音波ビューを示す。

【発明を実施するための形態】

【0048】

図１は、本明細書に記載されるような医療処置をサポートするための例示的な機器１を示す。この機器は、第１及び第２の画像データ、例えばＣアーム撮像装置７からのＸ線医用画像データ及び超音波プローブ６からの超音波医用画像データを受信するための入力ユニット２を有する。画像データは、支持体４に横たわっている患者５に対して実行される処置の間に取得されている。処理ユニット３は、本明細書で更に説明される例にしたがって、画像データを処理し、関心のある装置を識別するために提供される。

【0049】

オプションとして、機器は、撮像システム、例えば、超音波プローブ６を更に有する超音波撮像システムの一部である。この場合、例えば、機器は、超音波コンソールとして構成されてもよく、又は超音波コンソールの一部を形成してもよい。代わりに、コンピュータプログラム製品が、超音波コンソールの処理ユニットによって実行されるように提供されてもよい。

【0050】

代わりに、この機器は、Ｃアーム撮像装置７を更に有するＣアーム介入Ｘ線撮像システムの一部であってもよい。この場合、例えば、機器は、介入ワークステーションの一部を形成してもよい。代替的に、コンピュータプログラム製品は、介入ワークステーションの処理ユニットによって実行されるように提供されてもよい。

【0051】

一例では、処理ユニット３は、オプションとして関心のある装置のモデル表現で強化される超音波又はＸ線画像などの生成された画像又はビューを表示装置８に提供してもよい。表示された画像は、医療処置又は介入中に医師にガイダンスを提供してもよい。

【0052】

図２は、医用画像データ内の装置を識別するための例示的な方法を示す。

【0053】

ステップＳ１において、第１及び第２の画像データは、異なる撮像機器を使用して取得され、第１及び第２の画像データは、関心のある装置の少なくとも一部を含む。

【0054】

ステップＳ２において、第１の画像データと第２の画像データとの間のコレジストレーションが、確立されてもよい。

【0055】

ステップＳ３において、関心のある装置が、第１の画像データにおいて識別される。

【0056】

ステップＳ４では、関心のある装置の識別情報が、決定され、その中で、識別ステップＳ３から得られるデータが、使用されてもよい。

【0057】

ステップＳ５では、画像が、ステップＳ４で決定された識別情報に基づいて、第２の撮像データから生成される。

【0058】

ステップＳ６では、関心のある装置が、ステップＳ５で生成された画像において更に識別される。

【0059】

一実施形態では、ステップＳ６の後に、本方法は、ステップＳ１に戻り、本方法のステップは、医療処置の少なくとも一部の継続期間にわたって繰り返される。したがって、第１及び第２の画像のシーケンスが、取得され、装置は、（準）リアルタイムで識別され、位置特定されることができる。これにより、医療処置の少なくとも一部の間の装置場所の画像ベースの追跡が、実現可能になる。

【0060】

この方法は、コンピュータで実施される方法であってもよく、ステップのうちの１つ又は複数は、機器１の処理ユニット３などのコンピュータの処理ユニット上で実行されるプログラムコード又は命令として実施される。

【0061】

図３を参照すると、本明細書で説明されるような機器及び／又は方法において、３Ｄ空間において関心のある装置を識別する例が、より詳細に示される。

【0062】

医学的介入又は処置中に使用される装置は、第１の画像データ、ここではＣアーム撮像機器を使用して取得され得るＸ線透視画像１０の視野（ＦｏＶ）内に、及び第２の画像データ、ここでは３D ＴＥＥ超音波機器を使用して取得され得る超音波画像データ２０の視野内に存在する。代替的に、３D ＴＴＥ又は３D ＩＣＥなどの異なる超音波トランスデューサが、取得において使用されてもよい。

【0063】

高い空間解像度を有する装置フットプリント１５が、Ｘ線画像１０において可視であるのに対し、超音波画像データ２０は、主に軟組織の生体構造を描写する。

【0064】

Ｘ線画像１０の座標系は、２つの撮像モダリティ間のコレジストレーションを確立することによって、超音波画像データ２０の座標系に関連付けられうる。

【0065】

例えば、コレジストレーションは、ライブＸ線画像及び３Ｄ超音波画像のリアルタイム融合を提供するフィリップスEchoNavigatorツールを使用して確立される。したがって、超音波トランスデューサ、ここでは３D ＴＥＥプローブのフットプリント１６が、Ｘ線画像１０内で検出される。検出されたフットプリント１６は、２Ｄ－３Ｄ位置合わせを使用してプローブの３Ｄモデルに位置合わせされてもよく、３Ｄモデルの異なる仮想投影、例えばデジタルレンダリングされた放射線写真（ＤＲＲ）が、検出されたフットプリントとマッチングされる。次いで、Ｘ線画像に対するプローブの位置及び向きは、マッチングに基づいて推定されてもよく、それによって、Ｘ線座標系と超音波座標系との間の関係が、決定される。

【0066】

言い換えれば、Ｘ線画像内の点を通る投影線は、超音波画像データの３Ｄ空間内のエピポーラ線に関係付けられる。

【0067】

一例では、装置は、装置フットプリント１５上又はそれに隣接する２つの点１１、１２を選択することによって、Ｘ線画像内で識別される。このようにして、Ｘ線画像１０におけるそれらの画像座標又は場所のような、選択された点に関する情報を有する、関心のある装置の第１の識別情報が、確立される。

【0068】

この選択は、モニタ又はタッチスクリーン装置上でＸ線画像１０を観察するオペレータ、例えばエコー心電図撮影者によって実行される手動選択であってもよい。例えば、点は、画像内のマウスクリックの手段によって、又は代替的に、２つの点にタッチすること、又は第１の点から第２の点へ矢印をドラッグすることなどのタッチインタラクションによって選択されてもよい。

【0069】

代わりに又は加えて、装置１５は、コンピュータビジョン画像処理技術を用いてＸ線画像内で自動的に識別されることができる。例えば、特定の装置の先端は、容易に検出され得、装置の終点を規定する。代替的に又は追加的に、特定の装置の既知の形状は、Ｘ線画像内で自動的にセグメント化されてもよく、それによって装置の始点及び終点の両方を規定する。特定の例では、そのような画像処理は、Ｘ線画像から特定の装置特徴又は形状を認識するように訓練された畳み込みニューラルネットワーク（ＣＮＮ）を使用して、ディープラーニング技術を使用して実行されてもよい。これらの技術は、一般に、画像内の装置の位置を示すＸ線画像座標又は場所を有する装置識別情報をもたらす。

【0070】

一例では、３Ｄ空間におけるエピポーラ線又は投影線１３、１４は、Ｘ線の原点から発生し、２つの選択された又は識別された点１１、１２を通過する光線に対応する。Ｘ線原点は、Ｘ線を発生させるために使用されるＸ線管の焦点又は焦点スポット３０に対応する。２つの投影線１３、１４は、平面２５を規定し、換言すれば、平面２５は、装置識別情報に基づいて規定される。更なる例では、装置中心線が、Ｘ線画像から自動的に識別されてもよく、平面２５は、焦点スポット３０及び識別された装置中心線によって規定されてもよい。

【0071】

平面２５は、Ｘ線及び超音波画像データの座標系が関係づけられているので、超音波画像データ２０の３Ｄ空間において規定されうる。３Ｄ超音波画像データ２０を通る交差又は断面平面２２は、同様に示される。

【0072】

関心のある装置が超音波画像データ２０の視野内にあると仮定すると、平面２２は、装置の断面を含む。したがって、超音波画像データ２０内の装置を識別し、対応する第２の装置識別情報を決定するために、装置の少なくとも一部を含む断面画像４０、例えばＭＰＲビューが、生成されてもよい。

【0073】

一例では、装置の更なる識別は、生成された画像において、装置を規定する２つの更なる点４１、４２の選択を含んでもよい。その場合、第２の識別情報は、超音波画像データ内の選択された更なる点４１、４２の画像座標を有してもよい。選択は、生成された画像４０をモニタ又はタッチスクリーン装置上で見るオペレータ、例えばエコー心電図撮影者によって実行される手動選択であってもよい。代替的に又は追加的に、装置の更なる識別は、上述されたようなＸ線画像における自動識別と同様の方法で自動的に行われてもよい。

【0074】

図４は、装置の更なる識別のために生成された画像４０としての例示的な超音波ＭＰＲビューをより詳細に示す。

【0075】

この図では、Ｘ線投影線１３、１４に対応するエピポーラ線４３、４４が。ユーザに対して視覚化されてもよい。点４１、４２の選択は、エピポーラ線４３、４４に制約されてもよい。換言すれば、境界条件は、点４１、４２のいずれかが、対応する線４３、４４の上に、又はそれからの距離閾値内に存在しなければならない、点選択上に設定される。この制約は、装置が、超音波画像において区別することが困難であり得るので、選択ステップを単純化し得る。

【0076】

例えば、選択は、生成された画像４０におけるマウスクリックの手段によって、又は代わりに２つの点４１、４２に直接的にタッチすること、若しくはエピポーラ線４３、４４上の２つの点の間の線若しくは矢印４５をそれに平行な方向にドラッグすることなどのタッチインタラクションによって、オペレータによって実行される手動選択であってもよい。

【0077】

代替的に、装置の１つ又は複数の点は、コンピュータビジョン画像処理技術を使用して、生成された画像内で自動的に検出されることができ、このタスクは、点に対する探索空間をエピポーラ線４３、４４に隣接する限定された領域に制限することによって容易化されうる。

【0078】

装置が、生成された画像内で識別された後、例えば、更なる点４１、４２が、エコー断面画像４０上に配置されると、３Ｄ空間内の装置の位置及び向きが、決定され得る。

【0079】

上記の例は、一般に、平坦な画像平面が使用されることを仮定しているが、例えば、２より多い点を選択することによって、又はＸ線画像１０において、装置フットプリントの形状に対応する曲線を描く又はフィッティングし、装置が更に識別される画像４０として３Ｄ超音波画像データから湾曲平面再形成（ＣＰＲ）ビューを生成することによって、湾曲面に依拠することが、同様に可能であることに留意されたい。この場合、断面画像２２は、３Ｄ空間内の湾曲面に対応するであろう。

【0080】

決定された３Ｄ装置情報は、例えば、超音波画像データから特定のビューを設定するために使用されてもよい。例えば、装置の３Ｄ配向とアラインされたビューイング面を有するＭＰＲビューが、生成されてもよい。加えて、解剖学的情報は、そのようなビューを設定し、観察方向を決定する際に使用されてもよい。

【0081】

一例では、３Ｄ超音波画像から特定の軟組織解剖学的特徴を自動的に識別するためにモデルベースのセグメント化アルゴリズムを使用して、医学的介入又は処置の特定のステップ中に医師に最適なエコービューを提示するために３Ｄ装置情報と組み合わせられてもよい解剖学的コンテキスト情報が、利用可能であり得る。

【0082】

いくつかの例では、装置が、好ましくは医療処置中に（準）リアルタイムで生成されるＸ線画像及び／又は生成された超音波ビューのシーケンスにおいて自動的に識別される場合、装置は、画像データ内で連続的に追跡され得、したがって（準）リアルタイム３Ｄ装置情報が、決定され得る。したがって、生成されたビューは、連続的に更新されることができ、装置が患者内で移動又は操作されている場合でさえも、装置上の自動的な最適なエコービューを医師に提供する。

【0083】

加えて又は代わりに、決定された３Ｄ装置情報は、例えば、３Ｄ装置モデルの投影のような、装置の詳細な表現を用いて３Ｄ超音波画像データから生成されたビューを増強するために使用されてもよい。更なる例では、専用の画像処理、例えば、カラー化、シェーディング、コントラスト強調、背景低減などが、装置の３Ｄ場所におけるそのようなビューに適用されてもよい。

【0084】

上記の例による最適な生体構造ビューと組み合わせた自動装置視覚化は、例えば、経カテーテル僧帽弁修復（ＴＭＶＲ）及び経カテーテル三尖弁修復（ＴＴＶＲ）のような複雑な経カテーテル処置の分野において、より容易、より迅速、及びより安全な治療を容易化し得る。

【0085】

図５に示される例では、ＡｂｂｏｔｔによるＭｉｔｒａＣｌｉｐ（登録商標）処置装置が、僧帽弁逆流（ＭＲ）を減少させることを目的とするＴＭＶＲ処置において、カテーテルを通して僧帽弁に移植される。この装置は、弁の小さな領域を一緒にクリップ留めすることによって僧帽弁逆流を治療する。

【0086】

図５は、例えば、装置配置中に画像ガイダンスを提供するためにフィリップスEPIQ CVx超音波撮像システムを使用する場合に、そのような処置中に取得され得る超音波画像データからの異なるビューを示す。生成されたビューは、識別された装置の３Ｄ情報に基づいており、これを組み込んでいる。

【0087】

より具体的には、ビューａ）、ｂ）及びｃ）は、超音波画像データから生成されたＭＰＲビューに対応する。特に、３つのビューは、治療装置とアラインされた直交ビューである。ＭＰＲビューのそれぞれにおいて、他の２つの直交するビューの画像平面は、点線として示されている。

【0088】

装置の表現１１５ａ、１１５ｂ、１１５ｃは、オーバーレイとして含まれている。したがって、治療装置自体は、処置中にエコービューにおいて区別することが困難であるが、処置を実行する医師は、埋め込まれている装置の位置及び向きに関する明確なビューを提示される。

【0089】

更に、ビューｄ）及びｅ）は、視野角に関してそれぞれビューｂ）及びａ）に対応するが、しかしながら、ＭＰＲビューの代わりに、従来の３Ｄ超音波体積レンダリング（ビューｄ）及びユーザ移動可能光源を有するフィリップスTrueView超音波画像などのフォトリアリスティックレンダリング（ビューｅ）が、示され、より多くの解剖学的文脈を医師に提供する。両方のエコービューにおいて、埋め込まれている装置の表現１１５ｄ、１１５ｅは、同様にオーバーレイされる。

【0090】

最後に、ビューｆ）は、視野角に関してビューｂ）及びｄ）に対応する。しかしながら、ビューｄ）と比較して、より焦点の合った解剖学的文脈が、提供されている。すなわち、僧帽弁の３Ｄモデル１２８が示されており、これは、モデルベースのセグメンテーションアルゴリズムを使用して超音波画像データに適合されている。したがって、適合された３Ｄモデル１２８によって表される僧帽弁のリーフに対する表現１１５ｆによって表される装置の３Ｄ位置及び向きを示す明確な概観が、提供される。

【0091】

更なる例において、図６は、エドワーズライフサイエンス社によるＣａｒｄｉｏＢａｎｄ（登録商標）が、三尖弁又は僧帽弁を再構築するために配置される、ＴＴＶＲ処置を示す。ＣａｒｄｉｏＢａｎｄシステムは、例えば、超音波画像を使用する画像ガイド処置において、インプラントを弁輪に固定するために使用されるステンレス鋼アンカを含む。

【0092】

図６は、このような処置の間に得られ得る超音波画像データからの異なるビューを示す。生成されたビューは、識別された装置の３Ｄ情報に基づいており、これを組み込んでいる。この例では、関心のある装置が、ＣａｒｄｉｏＢａｎｄインプラントのための固定アンカである。

【0093】

より具体的には、ビューａ）、ｂ）及びｃ）は、超音波画像データから生成されたＭＰＲビューに対応する。特に、３つのビューは、アンカ装置とアラインされた直交するビューである。装置の表現２１５ａ、２１５ｂ、２１５ｃは、オーバーレイとして含まれている。この例では、解剖学的コンテキスト情報も、ビューを設定する際に使用されている。すなわち、ビュー方向は、この処置のための最適なビューが得られ、弁の中心を横断し、弁輪／ランディングゾーンに対して垂直であるように選択される。再び、解剖学的文脈情報は、弁モデルを超音波画像データに適合させるモデルベースのセグメンテーションアルゴリズムを用いて得られてもよい。
更に、ビューｄ）及びｆ）は、それぞれ、従来の３Ｄ体積レンダリング及びフォトリアリスティック３Ｄレンダリングを再び提供する。

【0094】

最後に、ビューｅ）は、アンカ装置の表現２１５ｅが同様にオーバーレイとして提示される、強化されたＸ線画像を示す。

【0095】

参考までに、他のビューが生成される、コレジストレーションされた超音波画像データの視野の輪郭２２９も、示される。例えば、Ｘ線画像において識別された識別された装置１５が輪郭２２９の外側に部分的に位置し得ること、すなわち、装置が超音波視野内に完全には存在し得ないことが検出された場合、生成された超音波ビュー内の装置の更なる識別が実現可能でないか、又は十分に正確でない可能性があることを示すために、警告が、生成されてもよい。

【0096】

図５及び図６に関して、実際には、表示されるビューは、動的ビューであってもよく、生成されるビューは、画像から導出される装置追跡情報、すなわち更新された３Ｄ位置及び向き情報を使用して、任意の装置移動に続いて連続的に更新されるか、又は定期的に更新されることに留意されたい。例えば、方法ステップＳ１乃至Ｓ６が、繰り返されて、識別するステップの一方又は両方がコンピュータビジョン技術を使用する自動装置識別を含みうる、装置追跡方法をもたらしてもよい。手動で実行される初期装置識別が、更なる追跡中に自動装置識別と組み合わされること、又は他の自動追跡プロセス中の装置の定期的な手動（再）識別が、有益であり得ることも、想定され得る。

【0097】

装置追跡実施形態では、ステップＳ６の各インスタンスに続いて、現在の３Ｄ装置の位置及び向きが、決定され、例えば、新しい３Ｄ装置の位置及び向きにしたがって更新された視野角及び／又は更新された装置オーバーレイにおいて超音波ビューを生成する際に、使用されてもよい。したがって、進行中の処置を最適にサポートするビューが、（準）リアルタイムで生成されうる。

【0098】

特定の例が、異なる態様を参照して説明されることに留意されたい。特に、いくつかの例は、方法型請求項を参照して説明され、他の例は、装置型請求項を参照して説明される。しかしながら、当業者は、上記及び下記の説明から、別段の通知がない限り、１つのタイプの態様に属する特徴の任意の組み合わせに加えて、異なる態様に関する特徴間の任意の組み合わせも、本出願で開示されていると見なされることを理解するであろう。

【0099】

本発明は、図面及び前述の説明において図示され、詳細に説明されてきたが、このような図示及び説明は、例示的又は典型的であり、限定的ではないと見なされるべきである。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、開示及び従属請求項の検討から、請求項に記載の発明を実施する際に当業者によって理解され達成されることができる。

【0100】

請求項において、単語「有する」は、他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は、複数性を排除するものではない。単一のプロセッサ又は他のユニットは、請求項に記載されたいくつかの項目の機能を満たしてもよい。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。
以下、本願発明の形態に関して付記を示す。
（付記１）
装置を要する医療処置中に前記装置を追跡する機器において、
第１の画像データ及び第２の画像データを受信するように構成された入力ユニットであって、前記第１及び第２の画像データは、前記装置の少なくとも一部を含み、前記第１及び第２の画像データは、異なる撮像機器を使用して取得されている、当該入力ユニットと、
処理ユニットであって、
前記第１の画像データと前記第２の画像データとの間でコレジストレーションを確立し、
前記第１の画像データ内の装置を識別し、
前記第１の画像データで識別される前記装置の第１の識別情報を使用して前記第２の画像データから画像を生成し、
前記生成された画像内の前記装置を更に識別する、
ように構成された当該処理ユニットと、
を有する機器。
（付記２）
前記第１の画像データは、２ＤＸ線画像データを有し、前記第２の画像データは、３Ｄ超音波画像データを有する、付記１に記載の機器。
（付記３）
前記処理ユニットは、前記第１の識別情報に基づいて３Ｄ空間内の平面を導出するように更に構成される、付記１又は２に記載の機器。
（付記４）
前記第１の画像データにおける前記装置の識別は、前記第１の画像データにおいて、前記装置を規定する２つの点の選択を含む、付記１乃至３のいずれか１つに記載の機器。
（付記５）
前記生成された画像における前記装置の更なる識別は、前記生成された画像において、前記装置を規定する２つの更なる点の選択を含む、付記１乃至４のいずれか１つに記載の機器。
（付記６）
前記２つの更なる点は、前記生成された画像内のエピポーラ線上にある、付記５に記載の機器。
（付記７）
前記処理ユニットは、前記第１の識別情報と、前記生成された画像において更に識別される前記装置の第２の識別情報とに基づいて、前記装置の３Ｄ位置及び向きを含む装置追跡情報を生成するように更に構成される、付記１乃至６のいずれか１つに記載の機器。
（付記８）
前記処理ユニットは、前記決定された３Ｄ位置及び向きに基づいて、前記装置の表現によって前記第２の画像データを強化するように更に構成される、付記７に記載の機器。
（付記９）
前記装置の前記表現は、前記装置の３Ｄモデルの仮想投影を有する、付記８に記載の機器。
（付記１０）
前記処理ユニットは、前記装置の前記決定された３Ｄ位置及び／又は向きに基づいて、前記第２の画像データからビューを生成するように構成される、付記７に記載の機器。
（付記１１）
第１又は第２の画像データを取得するように構成された撮像機器と、
付記１乃至９のいずれか１つに記載の機器であって、前記入力ユニットは、前記取得された第１又は第２の画像データを受信するために前記撮像機器に接続可能である、当該機器と、
を有する撮像システム。
（付記１２）
医用画像データ内の装置を追跡する方法であって、
ａ）異なる撮像機器を使用して第１及び第２の画像データを取得するステップであって、前記第１及び第２の画像データは、前記装置の少なくとも一部を含む、ステップと、
ｂ）前記第１の画像データと前記第２の画像データとの間でコレジストレーションを確立するステップと、
ｃ）前記第１の画像データ内の装置を識別するステップと、
ｄ）前記装置の識別情報を決定するステップと、
ｅ）前記識別情報に基づいて前記第２の撮像データから画像を生成するステップと、
ｆ）前記生成された画像内の前記装置を更に識別するするステップと、
を有する方法。
（付記１３）
前記第１の識別情報と、前記生成された画像において更に識別される前記装置の第２の識別情報とに基づいて、前記装置の３Ｄ位置及び向きを含む装置追跡情報を生成するステップを有する、付記１２に記載の方法。
（付記１４）
付記１乃至１０のいずれか１つに記載の機器の処理ユニットによって実行される場合に、前記機器に付記１２に記載の方法のステップを実行させる命令のセットを有するコンピュータプログラム。
（付記１５）
付記１４に記載のコンピュータプログラムを有するコンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】