特許 7427008 超音波像とＸ線像とを融合させるための実時間追跡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-25

(45)【発行日】2024-02-02

(54)【発明の名称】超音波像とＸ線像とを融合させるための実時間追跡

(51)【国際特許分類】

   A61B 6/46 20240101AFI20240126BHJP

   A61B 8/14 20060101ALI20240126BHJP

【ＦＩ】

A61B6/00 360B

A61B8/14

【請求項の数】 16

(21)【出願番号】P 2021540513

(86)(22)【出願日】2020-01-13

(65)【公表番号】

(43)【公表日】2022-03-07

(86)【国際出願番号】 EP2020050624

(87)【国際公開番号】W WO2020148196

(87)【国際公開日】2020-07-23

【審査請求日】2023-01-12

(31)【優先権主張番号】62/792,451

(32)【優先日】2019-01-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】トポレク グジェゴジ アンドレイ

(72)【発明者】

【氏名】バリキ マーチン アルカディウシュ

【審査官】蔵田 真彦

(56)【参考文献】

【文献】特表２００３－５０５１３２（ＪＰ，Ａ）

【文献】特開２０１０－１３１２６９（ＪＰ，Ａ）

【文献】特表２０１８－５３５７３７（ＪＰ，Ａ）

【文献】特開２０１６－０３４３００（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１８４５７１（ＵＳ，Ａ１）

【文献】国際公開第２０１８／０５４７９６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／１４

Ａ６１Ｂ ８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

コントローラを含む位置合わせシステムであって、前記コントローラは、
命令を格納するメモリと、
前記命令を実行するプロセッサと
を含み、
前記プロセッサによって実行されると、前記命令により、前記コントローラが、
Ｘ線イメージングシステムから透視Ｘ線画像と、前記Ｘ線イメージングシステムとは別のカメラシステムであって超音波システムに装着される当該カメラシステムから、前記Ｘ線イメージングシステムに付けられたハイブリッドマーカの視覚画像とを得ることと、
前記透視Ｘ線画像に基づいて、前記ハイブリッドマーカと前記Ｘ線イメージングシステムとの間の変換を推定し、前記視覚画像に基づいて、前記ハイブリッドマーカと前記カメラシステムとの間の変換を推定することと、
前記ハイブリッドマーカと前記Ｘ線イメージングシステムとの間で推定された前記変換及び前記ハイブリッドマーカと前記カメラシステムとの間で推定された前記変換に基づいて、前記超音波システムからの超音波画像を、前記透視Ｘ線画像への前記超音波画像の融合を行うために、前記Ｘ線イメージングシステムからの前記透視Ｘ線画像に位置合わせすることと
を含むプロセスを実行する、位置合わせシステム。

【請求項2】

前記カメラシステムと前記超音波システムとをさらに含み、
前記カメラシステムが、処置の間前記ハイブリッドマーカへの視線を維持する、
請求項１に記載の位置合わせシステム。

【請求項3】

前記カメラシステムが、前記超音波システムに対して較正された単眼カメラ又はステレオカメラを含み、
前記カメラシステムが、前記コントローラに、前記超音波システムに対する前記単眼カメラ又は前記ステレオカメラの較正を規定する較正パラメータを提供し、
前記超音波画像が、前記較正パラメータに追加的に基づいて前記透視Ｘ線画像に位置合わせされる、
請求項２に記載の位置合わせシステム。

【請求項4】

前記ハイブリッドマーカをさらに含み、前記ハイブリッドマーカは、前記Ｘ線イメージングシステムからのＸ線に対して半透明であり、前記視覚画像には可視である材料と、前記Ｘ線イメージングシステムからのＸ線に対して不透明である放射線不透過性パターンとを含む、請求項１に記載の位置合わせシステム。

【請求項5】

前記材料が、プラスチックテープを含み、前記ハイブリッドマーカの前記放射線不透過性パターンが、レーザによって前記プラスチックテープに刻印されている、請求項４に記載の位置合わせシステム。

【請求項6】

前記ハイブリッドマーカが、前記放射線不透過性パターンとしての放射線不透過性ランドマークを含み、
前記放射線不透過性ランドマークが、前記ハイブリッドマーカの座標系を一意的に規定する、
請求項４に記載の位置合わせシステム。

【請求項7】

前記コントローラによって実行される前記プロセスが、前記Ｘ線イメージングシステムからの前記透視Ｘ線画像中の前記放射線不透過性ランドマークを捕捉することに基づいて、前記超音波システムからの前記超音波画像を前記Ｘ線イメージングシステムからの前記透視Ｘ線画像に位置合わせすることをさらに含む、請求項６に記載の位置合わせシステム。

【請求項8】

前記Ｘ線イメージングシステムをさらに含み、前記Ｘ線イメージングシステムからの前記透視Ｘ線画像が前記コントローラによって受け取られ、前記Ｘ線イメージングシステムが、Ｘ線源を有するＣアーム、前記ハイブリッドマーカが付けられている画像増強器、及びエンコーダを含む、請求項１に記載の位置合わせシステム。

【請求項9】

前記画像増強器は、前記ハイブリッドマーカが付けられているケーシングを有するフラットパネルを含む、請求項８に記載の位置合わせシステム。

【請求項10】

前記Ｘ線イメージングシステムが、
２次元透視Ｘ線画像を取得することと、
３次元ボリューム測定コンピュータ断層撮影画像を取得することと、
前記２次元透視Ｘ線画像を前記３次元ボリューム測定コンピュータ断層撮影画像に位置合わせすることと
を含むプロセスを実行する、請求項８に記載の位置合わせシステム。

【請求項11】

前記ハイブリッドマーカが、前記Ｃアームに一体化され、
前記ハイブリッドマーカが、前記透視Ｘ線画像を捕捉する前に前記Ｃアームにより事前較正される、請求項８に記載の位置合わせシステム。

【請求項12】

前記カメラシステムと、
前記超音波システムと
をさらに含み、
前記カメラシステムが、処置の間前記ハイブリッドマーカへの視線を維持し、
前記カメラシステムが、前記超音波システムに対して較正され、
前記カメラシステムが、前記コントローラへ、前記超音波システムに対して前記カメラシステムの較正を規定する較正パラメータを提供し、
前記超音波画像が、追加的に前記較正パラメータに基づいて前記透視Ｘ線画像に位置合わせされる、請求項８に記載の位置合わせシステム。

【請求項13】

Ｘ線イメージングシステムに付けられたハイブリッドマーカと、
前記Ｘ線イメージングシステムとは別のカメラシステムであって、超音波システムに装着され、処置の間維持されている前記ハイブリッドマーカへの視線を有する当該カメラシステムと、
命令を格納するメモリ、及び前記命令を実行するプロセッサを含むコントローラと
を含む位置合わせシステムであって、
前記プロセッサによって実行されると、前記命令により、前記コントローラが、
前記Ｘ線イメージングシステムから透視Ｘ線画像と、前記カメラシステムから、前記Ｘ線イメージングシステムに付けられた前記ハイブリッドマーカの視覚画像とを得ることと、
前記透視Ｘ線画像及び前記視覚画像に基づいて、前記ハイブリッドマーカと前記Ｘ線イメージングシステムとの間の変換を推定し、前記視覚画像に基づいて、前記ハイブリッドマーカと前記カメラシステムとの間の変換を推定することと、
前記ハイブリッドマーカと前記Ｘ線イメージングシステムとの間で推定された前記変換及び前記ハイブリッドマーカと前記カメラシステムとの間で推定された前記変換に基づいて、前記超音波システムからの超音波画像を前記Ｘ線イメージングシステムからの前記透視Ｘ線画像に位置合わせすることと
を含むプロセスを実行する、位置合わせシステム。

【請求項14】

前記超音波システムをさらに含み、前記カメラシステムが、処置の間前記ハイブリッドマーカへの前記視線を維持する、請求項１３に記載の位置合わせシステム。

【請求項15】

前記ハイブリッドマーカが、前記Ｘ線イメージングシステムからのＸ線に対して半透明であるテープと、前記Ｘ線イメージングシステムからの前記透視Ｘ線画像において可視であるパターンとを含み、
前記テープが、プラスチックテープを含み、前記ハイブリッドマーカの前記パターンが、レーザによって前記プラスチックテープに刻印されている、
請求項１３に記載の位置合わせシステム。

【請求項16】

像を位置合わせする方法であって、
Ｘ線イメージングシステムから透視Ｘ線画像を得るステップと、
前記Ｘ線イメージングシステムとは別のカメラシステムであって、超音波システムに装着される当該カメラシステムから、前記Ｘ線イメージングシステムに付けられたハイブリッドマーカの視覚画像を得るステップと、
前記透視Ｘ線画像及び前記視覚画像に基づいて、前記ハイブリッドマーカと前記Ｘ線イメージングシステムとの間の変換を推定し、前記視覚画像に基づいて、前記ハイブリッドマーカと前記カメラシステムとの間の変換を推定するステップと、
前記ハイブリッドマーカと前記Ｘ線イメージングシステムとの間で推定された前記変換及び前記ハイブリッドマーカと前記カメラシステムとの間の前記変換に基づいて、前記超音波システムからの超音波画像を前記Ｘ線イメージングシステムからの前記透視Ｘ線画像に位置合わせするステップと
を有する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

[001] 構造的心疾患の分野における処置は、侵襲性がますます低くなってきている。例えば、経カテーテル大動脈弁置換術（ＴＡＶＲ）は、症状の重篤な大動脈弁狭窄症の手術不可能な患者に対して受け入れられる治療になっている。経カテーテル大動脈弁置換術は、既存の損傷した大動脈弁を置換することなしに大動脈弁を修復し、代わりに、置換弁を大動脈弁の場所に押し込む。置換弁は、カテーテルによって部位に送られ、次いで、拡張され、古い弁尖は、邪魔にならないところに押し進められる。ＴＡＶＲは最小限の侵襲性の処置であり、胸部は１つ又は複数の非常に小さい切開（のみ）で外科的に開かれ、それにより、胸骨は所定の位置に残される。胸部の切開を使用して、大動脈を通って、又は左心室の先端を通って心臓に入る。ＴＡＶＲ処置は、通常、透視Ｘ線及び経食道心エコー検査（ＴＥＥ）ガイダンスの下で実行される。透視Ｘ線は、カテーテル様のデバイスの高コントラスト視覚化を提供し、一方、ＴＥＥは、高い解像度とフレームレートの両方で心臓の解剖学的構造を示す。その上、ＴＥＥは、知られている方法を使用してＸ線画像と融合される。

【発明の概要】

【発明が解決しようとする課題】

【0002】

[002] エコーなしのＴＡＶＲ処置に向けた最近の傾向は、主として、全身麻酔の高いコストによって促されている。全身麻酔は、患者の不快感を軽減する目的で、ＴＥＥガイド付き処置では大いに推奨される。他方、経胸壁心エコー検査（ＴＴＥ）は、全身麻酔なしで実行される外部超音波画像診断法であり、例えば、意識下鎮静作用を使用し、それにより、患者の回復時間を短くする。最小限の侵襲性処置における処置中ツールとしてＴＴＥを使用することのいくつかの欠点には、以下のものが含まれる。
・ 患者の解剖学的構造への高い依存性のために、イメージャに際だった経験及び専門知識を要求すること
・ ＴＥＥと比較して超音波検査者の放射線被曝のリスクが高いことに起因する非連続的イメージング
・ 超音波トランスデューサの頻繁な取り外しにより、介入処置が大幅に遅れる可能性があること
・ イメージングのための限定されたウィンドウ
・ 超音波画像をＸ線透視画像と融合させるための術中法がないこと（位置合わせをＴＥＥでは利用できるが、ＴＴＥでは利用できない）

【0003】

[003] 本明細書で説明されるように、超音波像とＸ線像とを融合させるための実時間追跡により、放射線なしの超音波プローブ追跡が可能になり、その結果、超音波像が、２次元及び３次元Ｘ線画像上に重ね合わされる。

【課題を解決するための手段】

【0004】

[004] 本開示の一態様によれば、位置合わせシステムはコントローラを含む。コントローラは、命令を格納するメモリと、命令を実行するプロセッサとを含む。プロセッサによって実行されると、命令により、コントローラは、Ｘ線イメージングシステムから透視Ｘ線画像と、Ｘ線イメージングシステムとは別のカメラシステムから、Ｘ線イメージングシステムに付けられたハイブリッドマーカの視覚画像とを得ることを含むプロセスを実行する。プロセスは、透視Ｘ線画像に基づいて、ハイブリッドマーカとＸ線イメージングシステムとの間の変換を推定することと、視覚画像に基づいて、ハイブリッドマーカとカメラシステムとの間の変換を推定することとをさらに含む。プロセスは、透視Ｘ線画像への超音波画像の融合を行うために、ハイブリッドマーカとＸ線イメージングシステムとの間で推定された変換に基づいて、超音波システムからの超音波画像をＸ線イメージングシステムからの透視Ｘ線画像に位置合わせすることをさらに含む。

【0005】

[005] 本開示の別の態様によれば、位置合わせシステムは、ハイブリッドマーカ、カメラシステム、及びコントローラを含む。ハイブリッドマーカは、Ｘ線イメージングシステムに付けられる。カメラシステムは、Ｘ線イメージングシステムとは別であり、処置の間維持されるハイブリッドマーカへの視線を有する。コントローラは、命令を格納するメモリと、命令を実行するプロセッサとを含む。プロセッサによって実行されると、命令により、コントローラは、Ｘ線イメージングシステムから透視Ｘ線画像と、カメラシステムから、Ｘ線イメージングシステムに付けられたハイブリッドマーカの視覚画像とを得ることを含むプロセスを実行する。プロセスは、透視Ｘ線画像及び視覚画像に基づいて、ハイブリッドマーカとＸ線イメージングシステムとの間の変換を推定することと、視覚画像に基づいて、ハイブリッドマーカとカメラシステムとの間の変換を推定することとをさらに含む。プロセスは、ハイブリッドマーカとＸ線イメージングシステムとの間で推定された変換に基づいて、超音波システムからの超音波画像をＸ線イメージングシステムからの透視Ｘ線画像に位置合わせすることをさらに含む。

【0006】

[006] 本開示のさらなる別の態様によれば、像を位置合わせする方法は、Ｘ線イメージングシステムから透視Ｘ線画像を得るステップと、Ｘ線イメージングシステムとは別のカメラシステムから、Ｘ線イメージングシステムに付けられたハイブリッドマーカの視覚画像を得るステップとを有する。この方法は、透視Ｘ線画像に基づいて、ハイブリッドマーカとＸ線イメージングシステムとの間の変換を推定するステップと、視覚画像に基づいて、ハイブリッドマーカとカメラシステムとの間の変換を推定するステップとをさらに有する。この方法は、ハイブリッドマーカとＸ線イメージングシステムとの間で推定された変換に基づいて、超音波システムからの超音波画像をＸ線イメージングシステムからの透視Ｘ線画像に位置合わせするステップをさらに有する。

【0007】

[007] 例示の実施形態は、添付の図面とともに読まれるとき、以下の詳細な説明から最もよく理解される。様々な特徴は必ずしも一定の縮尺で描かれていないことが強調される。実際、寸法は、議論を分かりやすくするために任意に拡大又は縮小される。適用可能で実際に役立つ場合はいつでも、同様の参照番号は同様の要素を参照する。

【図面の簡単な説明】

【0008】

【図1】[008] 代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のための融合システムを示す図である。

【図2A】[009] 代表的な実施形態による、光学カメラを取り付けた超音波プローブがフラットパネル検出器の下の擬人化された胴体ファントム上に位置づけられている構成を示す図である。

【図2B】[010] 代表的な実施形態による、超音波トランスデューサと一体化された光学カメラを示す図である。

【図3A】[011] 代表的な実施形態による、フラットパネル検出器のためのユニバーサル滅菌ドレープに一体化されたハイブリッドマーカを示す図である。

【図3B】[012] 代表的な実施形態による、粘着テープを使用してハイブリッドマーカを検出器に取り付けるためのプロセスを示す図である。

【図4】[013] 代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡の方法が実施される汎用コンピュータシステムを示す図である。

【図5A】[014] 代表的な実施形態による、ハイブリッドマーカの本体に埋め込まれた放射線不透過性ランドマークを示す図である。

【図5B】[015] 代表的な実施形態による、ハイブリッドマーカの座標系を一意的に規定する区別可能な視覚的特徴のセットを有するハイブリッドマーカの表面を示す図である。

【図6A】[016] 代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のためのプロセスを示す図である。

【図6B】[017] 代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のためにハイブリッドマーカを検出器ケーシングに取り付けるためのプロセスを示す図である。

【図6C】[018] 代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のために２次元透視画像を取得するためのプロセスを示す図である。

【図6D】[019] 代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のために一体化カメラを有する超音波プローブを臨床部位内に位置づけるためのプロセスを示す図である。

【図6E】[020] 代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のために、ハイブリッドマーカを追跡し、超音波画像平面を２次元透視画像又はボリューム測定コンピュータ断層撮影（ＣＴ）画像に重ね合わせるためのプロセスを示す図である。

【図7A】[021] 代表的な実施形態による、超音波画像平面が２次元透視Ｘ線画像に重ね合わされた視覚化を示す図である。

【図7B】[022] 代表的な実施形態による、超音波画像平面がボリューム測定コーンビームコンピュータ断層撮影画像に重ね合わされた視覚化を示す図である。

【図8】[023] 代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のための別のプロセスを示す図である。

【発明を実施するための形態】

【0009】

[024] 以下の詳細な説明において、限定ではなく説明の目的で、本教示による実施形態の完全な理解を提供するために、特定の詳細を開示する代表的な実施形態が記載される。代表的な実施形態の説明を不明瞭にすることを避けるために、知られているシステム、デバイス、材料、操作の方法、及び製造の方法の説明は省略される。それにもかかわらず、当業者の理解範囲内にあるシステム、デバイス、材料、及び方法は、本教示の範囲内にあり、代表的な実施形態に従って使用される。本明細書で使用される用語は、特定の実施形態のみを説明するためのものであり、限定することを意図するものでないことを理解されたい。定義される用語は、本教示の技術分野において一般に理解され受け入れている定義された用語の技術的及び科学的な意味に加えるものである。

【0010】

[025] 第１の、第２の、第３のなどの用語は、様々な要素又は構成要素を説明するために本明細書で使用されるが、これらの要素又は構成要素はこれらの用語によって限定されるべきでないことを理解されよう。これらの用語は、ある要素又は構成要素を別の要素又は構成要素と区別するためにのみ使用される。したがって、以下で論じる第１の要素又は構成要素は、発明概念の教示から逸脱することなく、第２の要素又は構成要素と呼ばれてもよい。

【0011】

[026] 本明細書で使用される用語は、特定の実施形態のみを説明するためのものであり、限定を意図していない。本明細書及び添付の特許請求の範囲で使用されるとき、単数形の用語は、文脈が明確に指示しない限り、単数形と複数形の両方を含むように意図される。追加として、本明細書で使用されるとき、「備える、含む、有する」、「備えている、含んでいる、有している」、及び／又は類似の用語は、記載された特徴、要素、及び／又は構成要素の存在を明示するが、１つ又は複数の他の特徴、要素、構成要素、及び／又はそれらのグループの存在又は追加を排除しない。本明細書で使用される「及び／又は」という用語は、関連するリストされた項目の１つ又は複数のありとあらゆる組合せを含む。

【0012】

[027] 特に明記しない限り、要素又は構成要素が、別の要素又は構成要素に「接続される」、「結合される」、又は「隣接する」と言われる場合、要素又は構成要素は、他の要素又は構成要素に直接接続されるか又は結合されてもよく、或いは介在する要素又は構成要素が存在してもよいことを理解されよう。すなわち、これらの用語及び類似の用語は、１つ又は複数の中間要素又は構成要素が、２つの要素又は構成要素を接続するために、利用される場合を包含する。しかしながら、要素又は構成要素が別の要素又は構成要素に「直接接続される」と言われる場合、これは、２つの要素又は構成要素が中間又は介在の要素又は構成要素なしに互いに接続される場合のみを包含する。

【0013】

[028] 上述に鑑みて、したがって、本開示は、様々な態様、実施形態、及び／又は特定の特徴又はサブコンポーネントの１つ又は複数を通して、以下で具体的に記述するような利点のうちの１つ又は複数を引き出すように意図される。限定ではなく説明の目的で、本教示による実施形態の完全な理解を提供するために、特定の詳細を開示する例示の実施形態が記載される。しかしながら、本明細書に開示された特定の細部から逸脱する本開示と矛盾しない他の実施形態は、添付の特許請求の範囲内にとどまる。その上、よく知られている装置及び方法の説明は、例示の実施形態の説明を不明瞭にしないために省略される。そのような方法及び装置は、本開示の範囲内にある。

【0014】

[029] 以下で説明されるように、超音波像とＸ線像とを融合させるための実時間追跡は、視覚感知構成要素と、モバイルＣアームフラットパネル検出器などのＸ線イメージングシステム検出器に取り付けられたハイブリッドマーカとを使用する。超音波像とＸ線像とを融合させるための実時間追跡は、光学又は電磁気追跡技術などの追加の追跡ハードウェアを必要とすることなしに実施され、それゆえに、既存の臨床処置に容易に統合される。視覚感知構成要素の一例は、低コスト光学カメラである。

【0015】

[030] 図１は、代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のための融合システムを示す。

【0016】

[031] 図１の融合システム１００において、Ｘ線イメージングシステム１９０は、命令を格納するメモリ１９２と、命令を実行するプロセッサ１９１とを含む。Ｘ線イメージングシステム１９０は、Ｘ線放射源１９３と、Ｘ線フラットパネル検出器１９４とをさらに含む。プロセッサ１９１は、Ｘ線を放出するＸ線放射源１９３を制御し、Ｘ線を検出するＸ線フラットパネル検出器１９４を制御するための命令を実行する。ハイブリッドマーカ１１０は、Ｘ線フラットパネル検出器１９４に取り付けられる。

【0017】

[032] Ｘ線イメージングシステム１９０の一例は、フラットパネル検出器Ｃアームコンピュータ断層撮影イメージングシステムなどの検出器ベースコーンビームコンピュータ断層撮影イメージングシステムである。検出器ベースコーンビームコンピュータ断層撮影イメージングシステムは、アイソセンタとして知られる機械的に固定された回転中心を有する。Ｘ線イメージングシステム１９０は、２次元透視Ｘ線画像を取得し、ボリューム測定コーンビームコンピュータ断層撮影画像を取得し、Ｃアームエンコーダによって提供された情報を使用して２次元透視Ｘ線画像を３次元ボリューム測定データセットに位置合わせするように構成される。ボリューム測定コーンビームコンピュータ断層撮影画像は、本明細書に記載の位置合わせで使用される３次元ボリューム測定コンピュータ断層撮影画像の一例である。

【0018】

[033] ハイブリッドマーカ１１０は、Ｘ線イメージングシステム１９０に配置され、位置合わせは、ハイブリッドマーカ１１０を用いてＸ線イメージングシステム１９０で実行される。ハイブリッドマーカ１１０は、ハイブリッドマーカ１１０が肉眼で視覚的にもＸ線像においても両方とも見えるという点でハイブリッド特性を有する。すなわち、ハイブリッドマーカ１１０はＸ線放射源１９３からのＸ線には半透明であるが、ハイブリッドマーカ１１０に刻印された放射線不透過性パターン１１１は、Ｘ線イメージングシステム１９０からの像に現れる。

【0019】

[034] ハイブリッドマーカ１１０は、Ｘ線放射源１９３からのＸ線に対して不可視又は実質的に不可視な材料で製作される。ハイブリッドマーカ１１０の一例は、プラスチックテープで製作された粘着ハイブリッドマーカである。代替として、粘着ハイブリッドマーカは、ループとフックの機構の一部である１つの表面を含むか、又は接着剤で被覆される。ハイブリッドマーカ１１０はまた、多数のマーカのセットであり、ユニバーサル滅菌Ｃアーム検出器ドレープに統合される（図５Ａを参照）。ハイブリッドマーカ１１０また、プラスチック、紙、又はさらに金属を含む。例えば、ハイブリッドマーカ１１０は、紙で製作され、テープを用いてＸ線イメージングシステム１９０に付けられる。ハイブリッドマーカ１１０は、多数の（すなわち、異なる）材料に基づいて、印刷され、レーザ切削され、レーザエッチングされ、組み立てられてもよい。

【0020】

[035] ハイブリッドマーカ１１０は、放射線不透過性パターン１１１として、ハイブリッドマーカ１１０の本体（図３Ａ～図３Ｂ及び図５Ａ～図５Ｂを参照）に一体化された（すなわち、内在化された）放射線不透過性ランドマーク１１２を含む。その結果、ハイブリッドマーカ１１０は、プラスチックなどの剛体又は半剛性材料で製作され、剛体又は半剛性材料上にレーザ刻印された放射線不透過性パターン１１１を有する。一例として、ハイブリッドマーカ１１０は黒色プラスチックで製作され、放射線不透過性パターン１１１は、視覚的に検出しやすいように白色であってもよい。ハイブリッドマーカ１１０がプラスチックテープで製作される場合、放射線不透過性パターン１１１はプラスチックテープにレーザ刻印され、プラスチックテープの表面は粘着面である。放射線不透過性パターン１１１は、肉眼とＸ線画像で同一であるが、パターンはまた、パターン間の関係が分かっている限り、異なるモードでは異なっていてもよい。

【0021】

[036] それゆえに、ハイブリッドマーカ１１０は、ハイブリッドマーカ１１０の座標系１１３を一意的に規定する視覚的特徴のセット（図５Ｂを参照）としての放射線不透過性パターン１１１をもつ外面を含む。座標系１１３の一意的な特徴は、非対称であり、似ていない形状を含み、放射線不透過性パターン１１１の異なる形状間の距離が予め分かるように配列され、その結果、非対称性は、ハイブリッドマーカ１１０の方位を決定するために、画像解析で捜し出され認識される。一実施形態では、それでも、ハイブリッドマーカ１１０の方位を画像解析で識別できる限り、対称的で同様の形状を使用することができる。

【0022】

[037] ハイブリッドマーカ１１０は、Ｘ線イメージングシステム１９０の画像増強器のケーシングに装着される。その結果、内部の放射線不透過性ランドマーク１１２は、処置内透視Ｘ線画像で観察される。ランドマークとしての放射線不透過性マーカの一例が、米国特許出願公開第２００７／０２７６２４３号に記載されている。追加として、追跡及び位置合わせには単一のマーカで十分であるので、単一のマーカをハイブリッドマーカ１１０として使用することができる。しかしながら、追跡の安定性は、Ｃアームデバイスの別の部分の多数のハイブリッドマーカ１１０を使用することによって改善される。例えば、異なるマーカは、検出器ケーシング、アームカバーなどに配置される。追加として、ハイブリッドマーカ１１０は、事前較正され、それにより、既存のＣアームデバイスに一体化される。

【0023】

[038] 融合システム１００は、位置合わせシステムとしても参照される。図１の融合システム１００は、命令を格納するメモリ１６２と、命令を実行するプロセッサ１６１とを有する中央ステーション１６０をさらに含む。タッチパネル１６３は、オペレータからの命令を入力するために使用され、モニタ１６４は、超音波画像と溶融されたＸ線画像などの画像を表示するために使用される。中央ステーション１６０は、図１のデータ統合を実行するが、他の実施形態では、データ統合の一部又はすべては、クラウドで（すなわち、分散コンピュータによって、例えば、データセンタなどで）実行される。したがって、図１の構成は、本明細書に記載される画像処理及び関連機能を実行するために使用される様々な構成を代表する。

【0024】

[039] 超音波イメージングプローブ１５６は、データ接続によって中央ステーション１６０と通信する。カメラシステム１４０が、超音波イメージングプローブ１５６に付けられ、さらに、データ接続によって中央ステーション１６０と通信する。超音波イメージングプローブ１５６は、トランスデューサを使用して２次元及び／又は３次元超音波画像を取得するように構成された超音波イメージングデバイスである。

【0025】

[040] カメラシステム１４０は、感知システムを代表する。カメラシステム１４０は、光学的に較正された単眼カメラとすることができ、それは、超音波イメージングプローブ１５６に取り付けられ、超音波イメージングプローブ１５６により較正される。カメラシステム１４０は、超音波イメージングプローブ１５６により較正される単眼カメラ又はステレオカメラ（レンズごとに、別個の、例えば、画像センサをもつ２つ以上のレンズ）であってもよい。カメラシステム１４０はまた、単色カメラ又は赤／緑／青（ＲＧＧ）カメラかであってもよい。カメラシステム１４０はまた、赤外線（ＩＲ）カメラ又は深度感知カメラであってもよい。カメラシステム１４０は、Ｘ線イメージングシステム１９０のＣアームデバイス検出器の下に配置され、Ｃアームデバイス検出器に取り付けられたハイブリッドマーカ１１０の画像を取得し、固有のカメラ行列などの較正パラメータをカメラシステム１４０のコントローラに提供するように構成される。

【0026】

[041] 超音波イメージングプローブ１５６は、知られている方法を使用した変換（^{ｃａｍｅｒａ}Ｔ_{ｕｌｔｒａｓｏｕｎｄ}）によってカメラシステム１４０の座標系に対して較正される。例えば、ハイブリッドマーカ１１０は、光音響基準マーカ（ｕｓ_ｐｈａｎｔｏｍ）が中に配置されたファントムに堅く固定される。ファントムは、カメラシステム１４０が上に装着された超音波イメージングプローブ１５６を使用して走査される。当技術分野で知られている点ベース剛体位置合わせ方法は、ファントムに配置された光音響基準マーカと超音波画像上に視覚化された対応する基準との間の変換（^{ｕｓ_ｐｈａｎｔｏｍ}Ｔ_{ｕｌｔｒａｓｏｕｎｄ}）を計算するために使用される。同時に、カメラシステム１４０は、超音波ファントムに堅く固定されているハイブリッドマーカ１１０の画像のセットを取得する。ファントムとハイブリッドマーカ１１０との間の変換（^{ｍａｒｋｅｒ}Ｔ_{ｕｓ_ｐｈａｎｔｏｍ}）は、予め分かっている。対応する超音波画像とカメラ画像のセットがあれば、以下の式（１）を使用して、超音波－カメラ変換（^{ｃａｍｅｒａ}Ｔ_{ｕｌｔｒａｓｏｕｎｄ}）を推定することができる。
^{ｃａｍｅｒａ}Ｔ_{ｕｌｔｒａｓｏｕｎｄ}＝^{ｃａｍｅｒａ}Ｔ_{ｍａｒｋｅｒ}・^{ｍａｒｋｅｒ}Ｔ_{ｕｓ_ｐｈａｎｔｏｍ}・^{ｕｓ_ｐｈａｎｔｏｍ}Ｔ_{ｕｌｔｒａｓｏｕｎｄ} （１）

【0027】

[042] 図１の融合システム１００は、超音波像とＸ線像とを融合させるために実時間追跡のための様々なサブシステムを含むシステムを代表する。すなわち、Ｘ線イメージングシステム１９０は、患者にＸ線イメージングを実行するために使用されるＸ線システムを代表し、超音波イメージングプローブ１５６は、患者に超音波イメージングを実行するために使用される超音波イメージングシステムを代表し、中央ステーション１６０は、Ｘ線イメージングシステム１９０及び超音波イメージングプローブ１５６からイメージング結果を処理する融合システムを代表する。中央ステーション１６０、又は中央ステーション１６０のサブシステムは、プロセッサ及びメモリを含むコントローラとしても参照される。しかしながら、これらの３つのシステム又はサブシステムのうちのいずれかの機能は、本開示の範囲内の異なる構成によって多数の異なるやり方で一体化されるか、分離されるか、又は実行されてもよい。

【0028】

[043] カメラシステム１４０のためのコントローラは、位置合わせのためのコントローラと一緒に又は別個に設けられる。例えば、中央ステーション１６０は、本明細書に記載されるようなカメラシステム１４０及び位置合わせのためのコントローラである。代替として、中央ステーション１６０は、カメラシステム１４０のための１つのコントローラとしてプロセッサ１６１及びメモリ１６２、並びに位置合わせのための別のコントローラとして別のプロセッサ／メモリの組合せを含む。さらなる別の代替では、プロセッサ１６１及びメモリ１６２は、カメラシステム１４０及び位置合わせの一方のためのコントローラであり、別のコントローラは、カメラシステム１４０及び位置合わせの他方のために中央ステーション１６０とは別に設けられる。

【0029】

[044] いずれにしても、カメラシステム１４０のためのコントローラは、感知システムコントローラとして設けられる。感知システムコントローラは、カメラシステム１４０からの画像を受け取り、カメラシステム１４０の固有のカメラパラメータなどの較正パラメータに関する情報を解釈し、ハイブリッドマーカ１１０の幾何学的形状を一意的に識別する視覚的特徴の構成などのハイブリッドマーカ１１０に関連する情報を解釈するように構成される。カメラシステム１４０のためのコントローラは、さらに、受け取った画像のハイブリッドマーカ１１０の視覚的特徴の場所を突き止め、これらの特徴の一意的な幾何学的形状を使用してハイブリッドマーカ１１０の３次元姿勢を再構築する。ハイブリッドマーカ１１０の姿勢は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムなどの知られている方法を使用してパースペクティブｎポイント（ＰｎＰ）問題を解くことによって、単眼画像を使用する変換（^{ｃａｍｅｒａ}Ｔ_{ｍａｒｋｅｒ}）を介して再構築される。

【0030】

[045] 追加として、位置合わせのためのコントローラがカメラシステム１４０のためのコントローラと同じか異なるかにかかわらず、位置合わせのためのコントローラは、Ｘ線フラットパネル検出器１９４からの透視画像を受け取り、Ｘ線フラットパネル検出器１９４からの透視画像からの情報を解釈して、ハイブリッドマーカ１１０（すなわち、画像増強器に配置された）とＸ線フラットパネル検出器１９４との間の変換（^{Ｘ－ｒａｙ}Ｔ_{ｍａｒｋｅｒ}）を推定するように構成される。

【0031】

[046] 上記のように、図１の融合システム１００はモニタ１６４を含む。追加として、図示されていないが、融合システム１００は、命令がモニタ１６４に直接入力されるようにモニタ１６４がタッチ感応性である場合でさえ、マウス、キーボード、又は他の入力デバイスを含むことができる。超音波画像とＸ線画像との間の位置合わせに基づいて、超音波画像は、本明細書に記載されるやり方でハイブリッドマーカ１１０を使用した結果として、モニタ１６４上でＸ線画像に重ね合わされる。

【0032】

[047] 図２Ａは、代表的な実施形態による、光学カメラを取り付けた超音波プローブがフラットパネル検出器の下の擬人化された胴体ファントム上に位置づけられている構成を示す。

【0033】

[048] 図２Ａでは、超音波イメージングプローブ１５６が、取り付けられたカメラシステム１４０とともに示されており、遠隔制御されるか又は所定の位置に固定されるようにアーム１３０で保持される。超音波イメージングプローブ１５６は、擬人化された胴体ファントム１０１の首に隣接するアーム１３０によって保持される。Ｘ線フラットパネル検出器１９４は、擬人化された胴体ファントム１０１の上方に示される。

【0034】

[049] 図２Ｂは、代表的な実施形態による、超音波トランスデューサと一体化された光学カメラを示す。

【0035】

[050] 図２Ｂにおいて、カメラシステム１４０は、側面図及び正面図に示されるように、超音波イメージングプローブ１５６と一体化されている。超音波イメージングプローブ１５６は、超音波システムとして参照される。超音波イメージングプローブ１５６は、カメラシステム１４０を中に一体化した状態で製造される。代替として、カメラシステム１４０は、テープ、接着剤、一方の表面のループと、そのループに引っ掛けるための別の表面のフックとを有する留め具システム、機械的クランプ、及び一方の物を別の物に取り外し可能に固定するための他の機構などを用いて超音波イメージングプローブ１５６に取り外し可能にはり付けられる。超音波イメージングプローブ１５６に対するカメラシステム１４０の方位は、図２Ｂの実施形態では固定されている。しかしながら、カメラシステム１４０は、他の実施形態では、超音波イメージングプローブ１５６に対して調節可能である。

【0036】

[051] 図３Ａは、代表的な実施形態による、フラットパネル検出器のためのユニバーサル滅菌ドレープに一体化されたハイブリッドマーカを示す。

【0037】

[052] 図３Ａにおいて、Ｘ線フラットパネル検出器１９４は、ユニバーサル滅菌ドレープ１９６によって覆われる。Ｘ線フラットパネル検出器１９４は、Ｘ線フラットパネル検出器１９４がＸ線放射源１９３（図３Ａには示されていない）からのＸ線を検出するために回転掃引を実行するのに使用されるＣアーム１９５に取り外し可能に取り付けられる。Ｃアーム１９５は、医用イメージングデバイスであり、Ｘ線源としてのＸ線放射源１９３をＸ線検出器としてのＸ線フラットパネル検出器１９４に接続する。Ｃアーム１９５などのモバイルＣアームは、電荷結合デバイス（ＣＣＤ）カメラを有する画像増強器を使用する。Ｘ線フラットパネル検出器１９４などのフラットパネル検出器は、高い画像品質と、幾何学的及び磁気的な歪みによって影響されないより大きい視野（ＦＯＶ）とを有する小さいシステムという理由で使用される。

【0038】

[053] ハイブリッドマーカ１１０は、ユニバーサル滅菌ドレープ１９６に一体化される。使用時に、ハイブリッドマーカ１１０は、図２Ａ及び図２Ｂのカメラシステム１４０の視線の中に置かれる。カメラシステム１４０は、超音波イメージングプローブ１５６などの超音波システムに装着され、処置の間ハイブリッドマーカ１１０への視線を維持する。

【0039】

[054] 図３Ｂは、代表的な実施形態による、粘着テープを使用してハイブリッドマーカを検出器に取り付けるためのプロセスを示す。

【0040】

[055] 図３Ｂにおいて、ハイブリッドマーカ１１０は、粘着テープを使用してＸ線フラットパネル検出器１９４に取り付けられる。

【0041】

[056] 図４は、代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡の方法が実施される汎用コンピュータシステムを示す。

【0042】

[057] コンピュータシステム４００は、コンピュータシステム４００に本明細書で開示する方法又はコンピュータベース機能のうちの１つ又は複数を実行させるために実行される命令のセットを含む。コンピュータシステム４００は、スタンドアロンデバイスとして動作するか、又は例えばネットワーク４０１を使用して他のコンピュータシステム又は周辺デバイスに接続される。図４のコンピュータシステム４００の要素及び特性の一部又はすべては、中央ステーション１６０、Ｘ線イメージングシステム１９０、又はコントローラを含み本明細書に記載されたプロセスを実行する他の同様のデバイス及びシステムの要素及び特性を代表する。

【0043】

[058] ネットワーク化された配備では、コンピュータシステム４００は、サーバ－クライアントユーザネットワーク環境におけるクライアントの資格で動作する。コンピュータシステム４００はまた、完全に又は部分的に、中央ステーション、イメージングシステム、イメージングプローブ、固定コンピュータ、モバイルコンピュータ、パーソナルコンピュータ（ＰＣ）、又はマシンによって行われるべきアクションを指定する命令のセット（逐次の、又は他のやり方の）を実行することができる他のマシンなどの様々なデバイスとして実装されるか又はそれに組み込まれる。コンピュータシステム４００は、デバイスとして組み込まれるか又はデバイスに組み込まれ、その結果として、デバイスは、追加のデバイスを含む統合システム内にある。一実施形態では、コンピュータシステム４００は、ビデオ又はデータ通信を行う電子デバイスを使用して実現される。さらに、コンピュータシステム４００が示されているが、「システム」という用語はまた、１つ又は複数のコンピュータ機能を実行する命令の１つのセット又は多数のセットを個別に又は共同で実行するシステム又はサブシステムの集合を含むと解釈するものとする。

【0044】

[059] 図４に示されるように、コンピュータシステム４００はプロセッサ４１０を含む。コンピュータシステム４００のプロセッサ４１０は、有形及び非一時的である。本明細書で使用される「非一時的」という用語は、状態の永久の特性としてではなく、ある期間持続する状態の特性として解釈されるべきである。「非一時的」という用語は、搬送波若しくは信号、又はどこでもいつでも一時的にしか存在しない他の形態の特性などの一過性の特性を明確に否定する。本明細書に記載されるプロセッサは、製品及び／又はマシン構成要素である。コンピュータシステム４００のプロセッサは、ソフトウェア命令を実行して、本明細書の様々な実施形態に記載される機能を実行するように構成される。コンピュータシステム４００のプロセッサは、汎用プロセッサであってもよく、又は特定用途向け集積回路（ＡＳＩＣ）の一部であってもよい。コンピュータシステム４００のプロセッサはまた、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、コントローラ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、状態機械、又はプログラマブル論理デバイスである。コンピュータシステム４００のプロセッサはまた、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルゲートアレイ（ＰＧＡ）を含む論理回路、又は個別のゲート及び／又はトランジスタ論理を含む別のタイプの回路である。コンピュータシステム４００のプロセッサは、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、又は両方である。追加として、本明細書に記載されるプロセッサは、マルチプロセッサ、並列プロセッサ、又は両方を含む。マルチプロセッサは、単一のデバイス又は多数のデバイスに含まれるか、又はそれに結合される。

【0045】

[060] その上、コンピュータシステム４００は、バス４０８を介して互いに通信するメインメモリ４２０及びスタティックメモリ４３０を含む。本明細書に記載されるメモリは、データ及び実行可能命令を格納し、命令がそこに格納されている間非一時的である有形の記憶媒体である。本明細書で使用される「非一時的」という用語は、状態の永久の特性としてではなく、ある期間持続する状態の特性として解釈されるべきである。「非一時的」という用語は、搬送波若しくは信号、又はどこでもいつでも一時的にしか存在しない他の形態の特性などの一過性の特性を明確に否定する。本明細書に記載されるメモリは、製品及び／又はマシン構成要素である。本明細書に記載されるメモリは、データ及び実行可能命令がコンピュータによって読み出されるコンピュータ可読媒体である。本明細書に記載されるメモリは、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、レジスタ、ハードディスク、取外し可能ディスク、テープ、ＣＤ－ＲＯＭ、ＤＶＤ、フロッピーディスク（登録商標）、ブルーレイディスク、又は当技術分野で知られている他の形態の記憶媒体である。メモリは、揮発性又は不揮発性、セキュア及び／又は暗号化、非セキュア及び／又は非暗号化である。

【0046】

[061] 図示のように、コンピュータシステム４００は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、固体ディスプレイ、又は陰極線管（ＣＲＴ）などのビデオディスプレイユニット４５０をさらに含む。追加として、コンピュータシステム４００は、キーボード／仮想キーボード、タッチ感応入力スクリーン、又は音声認識をもつ音声入力などの入力デバイス４６０、及びマウス、タッチ感応入力スクリーン、又はパッドなどのカーソル制御デバイス４７０を含む。コンピュータシステム４００は、ディスクドライブユニット４８０、スピーカ又はリモートコントロールなどの信号発生デバイス４９０、及びネットワークインタフェースデバイス４４０をさらに含む。

【0047】

[062] 一実施形態では、図４に示されるように、ディスクドライブユニット４８０は、１つ又は複数の命令セット４８４、例えばソフトウェアが埋め込まれたコンピュータ可読媒体４８２を含む。命令セット４８４は、コンピュータ可読媒体４８２から読み出される。さらに、命令４８４は、プロセッサによって実行されたとき、本明細書に記載される方法及びプロセスのうちの１つ又は複数を実行するために使用される。一実施形態では、命令４８４は、完全に又は少なくとも部分的に、メインメモリ４２０、スタティックメモリ４３０内に、及び／又はコンピュータシステム４００による実行の間プロセッサ４１０内に駐在する。

【0048】

[063] 代替の実施形態では、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理アレイ、及び他のハードウェア構成要素などの専用ハードウェア実施態様は、本明細書に記載される方法のうちの１つ又は複数を実施するように構築される。本明細書に記載される１つ又は複数の実施形態は、２つ以上の特定の相互接続されたハードウェアモジュール又はデバイスを使用して、モジュール間で及びモジュールを通して通信される関連する制御及びデータ信号により機能を実施する。その結果、本開示は、ソフトウェア、ファームウェア、及びハードウェア実施態様を包含する。本出願のいかなるものも、有形の非一時的プロセッサ及び／又はメモリなどのハードウェアではなくソフトウェアのみで実施されるか又は実施可能であると解釈されるべきでない。

【0049】

[064] 本開示の様々な実施形態によれば、本明細書に記載される方法は、ソフトウエアプログラムを実行するハードウェアコンピュータシステムを使用して実施される。さらに、例示的で非限定な実施形態では、実施態様は、分散処理、コンポーネント／オブジェクト分散処理、及び並列処理を含む。仮想コンピュータシステム処理は、本明細書に記載される方法又は機能の１つ又は複数を実施するように構築され、本明細書に記載されるプロセッサは、仮想処理環境をサポートするために使用される。

【0050】

[065] 本開示は、命令４８４を含むか、又は伝搬された信号に応答して命令４８４を受け取り実行するコンピュータ可読媒体４８２を意図し、その結果、ネットワーク４０１に接続されたデバイスは、ネットワーク４０１を通してビデオ又はデータを通信することができる。さらに、命令４８４は、ネットワークインタフェースデバイス４４０を介してネットワーク４０１を通して送信又は受信される。

【0051】

[066] 図５Ａは、代表的な実施形態による、ハイブリッドマーカの本体に埋め込まれた放射線不透過性ランドマークを示す。

【0052】

[067] 図５Ａの実施形態において、擬人化された胴体ファントム１０１は、ページから外に向き、左肩にハイブリッドマーカ１１０を有する。放射線不透過性パターン１１１の放射線不透過性ランドマーク１１２はハイブリッドマーカ１１０の本体に埋め込まれ、拡大図に示される。矢印で示されるように、放射線不透過性ランドマーク１１２は、ハイブリッドマーカ１１０の本体に放射線不透過性パターン１１１で配列される。

【0053】

[068] 図５Ｂは、代表的な実施形態による、ハイブリッドマーカの座標系を位置的に規定する区別可能な視覚的特徴のセットを有するハイブリッドマーカの表面を示す。

【0054】

[069] 図５Ｂの実施形態において、ハイブリッドマーカ１１０の表面は、ハイブリッドマーカ１１０の座標系１１３を一意的に規定する区別可能な視覚的特徴の放射線不透過性パターン１１１である放射線不透過性ランドマーク１１２のセットを含む。ハイブリッドマーカ１１０の座標系１１３は、図５Ａの左下隅の挿入画像にハイブリッドマーカ１１０から投影されている。図示のように、ハイブリッドマーカ１１０は、座標系１１３の一部として使用されるコーナーをもつ長方形であるが、ハイブリッドマーカ１１０の方位を決定するために使用される一意的な特徴をさらに含む。一意的な特徴は非対称とすることができ、その結果、ハイブリッドマーカ１１０を含む画像に基づいて、例えば、ハイブリッドマーカ１１０に非対称パターンを含む画像と比較することなどによって、非対称が画像解析で捜し出され、その結果、使用中のハイブリッドマーカ１１０の方位が決定される。

【0055】

[070] 図６Ａは、代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のためのプロセスを示す。

【0056】

[071] 図６Ａのプロセスでは、ボリューム測定データセットが、Ｓ６１０において取得される。ボリューム画像データセットは、コーンビームコンピュータ断層撮影データセットなどのコンピュータ断層撮影（ＣＴ）データセットであり、Ｃアームの回転掃引から取得された投影から再構築される。代替として、他のイメージングモダリティが、コーンビームコンピュータ断層撮影又は透視Ｘ線画像のいずれかに位置合わせされるとすぐに使用される。

【0057】

[072] ハイブリッドマーカ１１０が、Ｓ６２０において検出器ケーシングに取り付けられる。ハイブリッドマーカ１１０は、光学不透過性に加えて放射線不透過性である。ハイブリッドマーカ１１０は、粘着テープを使用して画像増強器のケーシングに装着される。ハイブリッドマーカ１１０は、ハイブリッドマーカ１１０の内部にある放射線不透過性ランドマーク１１２に起因して、注目するボリューム内にストリークアーチファクトを生成するのを防止するために、検出器の側面に取り付けられる。コンピュータ断層撮影画像のストリークアーチファクトを避けるために、ハイブリッドマーカ１１０は、代替として、検出器ケーシングに固定され、特定のＣアームデバイスに対して機械的に事前較正される。代替として、ハイブリッドマーカ１１０の少なくとも２つのセットは、以下に基づいて使用される。
・ 最初に、両方のハイブリッドマーカを取り付ける。ハイブリッドマーカ１１０（第１のハイブリッドマーカ）は、画像増強器に直接位置づけられ（ｉｎｔ_ｍａｒｋｅｒ）、ハイブリッドマーカ１１０（第２のハイブリッドマーカ）は、外部検出器ケーシングに位置づけられる（ｅｘｔ_ｍａｒｋｅｒ）。
・ 第２に、第１のハイブリッドマーカ（ｉｎｔ_ｍａｒｋｅｒ）を含む処置前のＸ線画像を、両方のハイブリッドマーカを含む光学カメラ画像と一緒に取得し、それにより、以下のような式（２）によってリストされるように、Ｘ線デバイスにより外部マーカ（ｅｘｔ_ｍａｒｋｅｒ）の較正を可能にする。
^{Ｘ－ｒａｙ}Ｔ_{ｅｘｔ_ｍａｒｋｅｒ}＝^{Ｘ－ｒａｙ}Ｔ_{ｉｎｔ_ｍａｒｋｅｒ}・（^{ｃａｍｅｒａ}Ｔ_{ｉｎｔ_ｍａｒｋｅｒ}）^－１・^{ｃａｍｅｒａ}Ｔ_{ｅｘｔ_ｍａｒｋｅｒ} （２）
ここで、^{ｃａｍｅｒａ}Ｔ_{ｉｎｔ_ｍａｒｋｅｒ}と^{ｃａｍｅｒａ}Ｔ_{ｅｘｔ_ｍａｒｋｅｒ}との両方は、ハイブリッドマーカの３次元姿勢を推定する感知システムコントローラによって提供され、^{Ｘ－ｒａｙ}Ｔ_{ｉｎｔ_ｍａｒｋｅｒ}は位置合わせコントローラによって推定される。
・ 第３に、画像増強器（ｉｎｔ_ｍａｒｋｅｒ）に直接配置された第１のハイブリッドマーカを、介入の残りの間、Ｃアームから取り外し、その結果、マーカ誘導画像アーチファクトが避けられる。
代替の実施形態では、Ｃアーム検出器ケーシングは、視覚的特徴のセットを含み、それは、製造プロセスを使用して機械的に挿入及び事前較正されており（例えば、互いに）、それにより、ハイブリッドマーカ１１０について前に説明したものと同じ機能を提供する。

【0058】

[073] Ｓ６３０において、２次元透視画像が取得される。２次元透視Ｘ線画像は、画像増強器のケーシングに装着されたハイブリッドマーカ１１０と一緒に取得され、それにより、図５Ａに示された画像を生成する。

【0059】

[074] Ｓ６４０において、ハイブリッドマーカ１１０は、２次元透視画像を使用してボリューム測定データセットに位置合わせされる。例えば、ボリューム測定データセットがコンピュータ断層撮影データセットである場合、ハイブリッドマーカ１１０は、２次元透視画像を使用してボリューム測定データセットのコンピュータ断層撮影アイソセンタに位置合わせされる。

【0060】

[075] Ｓ６４０のプロセスでは、位置合わせコントローラは、透視Ｘ線画像を受け取り、Ｘ線デバイスと、画像増強器に配置されたハイブリッドマーカ１１０との間の変換（^{Ｘ－ｒａｙ}Ｔ_{ｍａｒｋｅｒ}）を推定する。この変換は、以下のように計算される。
・ ハイブリッドマーカ１１０の平面が画像増強器平面と同一平面上にあると仮定すると、^{Ｘ－ｒａｙ}Ｔ_{ｍａｒｋｅｒ}変換のピッチ回転成分とヨー回転成分の両方が同一に設定される。これらの仮定からの影響を受けるすべての製造欠陥は、Ｘ線デバイスの製造中に検証され、次いで、このステップで考慮に入れられる。同様に、ハイブリッドマーカ１１０の平面に垂直な軸に沿った１つの平行移動成分（ｚ）は、事前較正プロセス中に得られた所定のオフセット値に設定される。このオフセットは、画像増強器と外部の検出器ケーシングとの間の距離に相当する。
・ 変換の回転並びに２つの平行移動（ｘ，ｙ）成分は、当技術分野で知られている点ベース剛体位置合わせ法、例えば、ＳＶＤ分解を使用するものを使用して計算される。反復最近接点（ＩＣＰ）などの対応する点のペアに関する知識を必要としない他の剛体位置合わせ法が、代替として、使用されてもよい。
・ 必要に応じて、Ｃアームの一次回転角度と二次回転角度の両方が考慮に入れられる。
計算は、さらに、特定の機械公差と、Ｃアームならびサスペンションの静的曲げを考慮に入れる。すべての上記の成分は、理想的な挙動と実際のシステムの姿勢とに最大で数ｍｍ（０～１０ｍｍ）までのずれを引き起こす。通常、これらの誤差を考慮に入れるために、２次元から３次元への較正が実行される。２次元から３次元への較正の結果は、様々なＣアーム位置に対して異なる較正セットに格納される。そのような較正行列のルックアップテーブルは、^{Ｘ－ｒａｙ}Ｔ_{ｍａｒｋｅｒ}変換の計算に使用される。

【0061】

[076] Ｓ６５０において、単眼カメラが一体化された超音波プローブが、臨床部位内に位置づけられる。光学カメラが装着された超音波プローブが、臨床部位の近傍でＸ線検出器の下に位置づけられる。カメラとハイブリッドマーカ１１０との間の視線が、処置の間絶えず提供される必要がある。

【0062】

[077] Ｓ６６０において、ハイブリッドマーカ１１０及びオーバーレイ超音波画像平面が、２次元透視画像又はボリューム測定コンピュータ断層撮影画像上で追跡される。臨床医への実時間フィードバックが、様々な視覚化方法を使用して提供される。これらの視覚化方法での変換、以下のように計算される。

【数1】

ここで、^{ｕｌｔｒａｓｏｕｎｄ}Ｔ_{ｉｍａｇｅ}は、画像原点のピクセルサイズ及び場所に相当する、画像ピクセル空間と超音波トランスデューサ空間との間のマッピングを記述し、^{ｃａｍｅｒａ}Ｔ_{ｕｌｔｒａｓｏｕｎｄ}は、前に説明した方法を使用して推定された較正マトリクスを表し、^{ｃａｍｅｒａ}Ｔ_{ｍａｒｋｅｒ}は、感知システムコントローラにより与えられた３Ｄ姿勢であり、^{Ｘ－ｒａｙ}Ｔ_{ｍａｒｋｅｒ}は、前に説明した方法を使用して位置合わせコントローラによって推定される。

【0063】

[078] Ｓ６６０における追跡は、いくつかのやり方で行われる。例えば、超音波画像（３Ｄ超音波画像を含む）の透視Ｘ線画像との融合が、図７Ａに示される。超音波画像（３Ｄ超音波画像を含む）とボリューム測定コーンビームコンピュータ断層撮影画像との融合が、図７Ｂに示される。代替として、超音波は、コーンビームコンピュータ断層撮影と別のイメージングモダリティとの間の位置合わせが行われるとすぐに、マルチスライスコンピュータ断層撮影、磁気共鳴イメージング（ＭＲＩ）、及びＰＥＴ－ＣＴなどの他のボリューム測定イメージングモダリティと融合される。

【0064】

[079] 追加として、超音波イメージングプローブ１５６は、図１では患者の外部のシステムとして説明されている。しかしながら、カメラシステム１４０は、超音波を得るために使用されるニードル又はカテーテルなどの介入医用デバイス上に又は内に設けられ、カメラシステム１４０は、患者の外部に留まり、ハイブリッドマーカ１１０を連続的に捕捉する部分に設けられる。例えば、介入医用デバイスは、ロボットシステムによって制御される。介入医用デバイスは、カメラシステム１４０を有する。カメラシステム１４０は、介入医用デバイス上に固定され、ハイブリッドマーカ１１０の視界を維持するためにロボットシステムによって制御される。したがって、カメラシステム１４０は、一般に、常に、患者の体の外部にあるが、介入医療処置の状況で使用される。例えば、超音波イメージングプローブ１５６は、介入医用デバイスの挿入角度をモニタするために使用される。

【0065】

[080] 図６のプロセスにおいて、透視Ｘ線像は、ボリューム測定データセットを取得するＳ６１０ために１回のみ獲得される。一方、Ｓ６４０におけるハイブリッドマーカ１１０の位置合わせは繰り返して実行される。追加として、Ｓ６５０における超音波プローブの位置決め及びＳ６６０におけるハイブリッドマーカ１１０の追跡は、透視Ｘ線像に基づくＳ６１０におけるボリューム測定データセットの単一の取得にすべて基づいて、ある期間の間繰り返して又はさらに連続的に実行される。すなわち、患者は、図６のプロセスのＸ線イメージングを繰り返して受ける必要はなく、それは、一般に本明細書に記載されている通りである。

【0066】

[081] 図６Ｂは、代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のためにハイブリッドマーカを検出器ケーシングに取り付けるためのプロセスを示す。

【0067】

[082] 図６Ｂは、Ｓ６２０においてハイブリッドマーカ１１０を検出器ケーシングに取り付けるプロセスを示す。

【0068】

[083] 図６Ｃは、代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のために２次元透視画像を取得するプロセスを示す。

【0069】

[084] 図６Ｃは、Ｓ６３０において２次元透視画像を取得するプロセスを示す。

【0070】

[085] 図６Ｄは、代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のために一体化カメラを有する超音波プローブを臨床部位内に位置づけるためのプロセスを示す。

【0071】

[086] 図６Ｄは、Ｓ６５０において、単眼カメラが一体化された超音波プローブを臨床部位内に位置づけるプロセスを示す。

【0072】

[087] 図６Ｅは、代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のために、ハイブリッドマーカを追跡し、超音波画像平面を２次元透視画像又はボリューム測定コンピュータ断層撮影画像に重ね合わせるためのプロセスを示す。

【0073】

[088] 図６Ｅは、Ｓ６６０において２次元透視画像又はボリューム測定コンピュータ断層撮影画像上でハイブリッドマーカ及びオーバーレイ超音波画像平面を追跡するプロセスを示す。

【0074】

[089] 図７Ａは、代表的な実施形態による、超音波画像平面が２次元透視Ｘ線画像に重ね合わされた視覚化を示す。

【0075】

[090] 図７Ａにおいて、超音波プローブの実時間追跡の間臨床医に提供される視覚化方法として、超音波画像平面は２次元透視Ｘ線画像に重ねられる。

【0076】

[091] 図７Ｂは、代表的な実施形態による、超音波画像平面がボリューム測定コービームコンピュータ断層撮影画像に重ね合わされた視覚化を示す。

【0077】

[092] 図７Ｂにおいて、超音波プローブの実時間追跡の間臨床医に提供される別の視覚化方法として、超音波画像平面はボリューム測定コーンビームコンピュータ断層撮影画像のレンダリングに重ね合わされる。

【0078】

[093] 図８は、代表的な実施形態による、超音波像とＸ線像とを融合させるための実時間追跡のための別のプロセスを示す。

【0079】

[094] 図８では、プロセスは、Ｓ８１０において、透視Ｘ線画像を得ることで開始する。

【0080】

[095] Ｓ８２０において、ハイブリッドマーカ１１０の視覚画像が得られる。

【0081】

[096] Ｓ８３０において、ハイブリッドマーカ１１０とＸ線イメージングシステム１９０との間の変換が推定される。

【0082】

[097] Ｓ８４０において、ハイブリッドマーカ１１０とカメラシステムとの間の変換が推定される。

【0083】

[098] Ｓ８５０において、超音波画像が透視Ｘ線画像に位置合わせされる。

【0084】

[099] Ｓ８６０において、透視Ｘ線画像への超音波画像の融合が行われる。

【0085】

[0100] その結果、超音波像とＸ線像とを融合させるための実時間追跡により、低コストモバイルＣアームデバイスからハイブリッド手術室のハイエンドＸ線システムにわたる様々なＣアームＸ線デバイスを含むすべてのタイプの画像ガイド処置が可能になり、介入内ライブ超音波画像の使用が利益をもたらす。超音波像とＸ線像とを融合させるための実時間追跡を使用する画像ガイド処置には、以下のものが含まれる。
・ 経カテーテル大動脈弁置換術（ＴＡＶＲ）
・ 補助ＴＴＥの使用が有利である左心耳密閉（ＬＡＡＯ）
・ 僧帽弁又は三尖弁置換
・ 構造的心疾患への他の低侵襲処置

【0086】

[0101] 加えて、外部超音波を使用して、椎骨動脈を識別し、それにより、以下のものを含む頚椎処置の安全性を高めることができる。
・ 頚椎選択的神経根（経椎間孔）注射、
・ 環軸関節注射（疼痛管理）、
・ 頚椎の治療的椎間関節注射、
・ 頚椎の渙散性病変の針生検、
・ 超音波下の頚椎病変生検、
・ 頚部レベルの位置確認、
・ 又はモバイルＣアームデバイスに関連するロボット支援頚椎固定術を含む他の頚椎処置。

【0087】

[0102] 超音波像とＸ線像とを融合させるための実時間追跡がいくつかの例示的な実施形態を参照して説明されたが、使用された単語は、限定の単語ではなく、説明及び例示の単語であることを理解されたい。現在記載されている及び補正される添付の特許請求の範囲の範囲内で、その態様における超音波像とＸ線像とを融合させるための実時間追跡の範囲及び趣旨から逸脱することなく、変更が行われてもよい。超音波像とＸ線像とを融合させるための実時間追跡が特定の手段、材料、及び実施形態を参照して説明されたが、超音波像とＸ線像とを融合させるための実時間追跡は、開示された詳細に限定されることを意図していない。むしろ、超音波像とＸ線像とを融合させるための実時間追跡は、添付の特許請求の範囲の範囲内にあるようなすべての機能的に等価な構造、方法、及び使用にまで及ぶ。

【0088】

[0103] 本明細書に記載された実施形態の説明図は、様々な実施形態の構造の概略の理解を提供するように意図される。説明図は、本明細書に記載された本開示の要素及び特徴のすべてについて完全な説明として役立つようには意図されていない。他の多くの実施形態が、本開示を調査する際に当業者には明らかである。本開示の範囲から逸脱することなく構造的及び論理的な置換及び変更が行われるように、他の実施形態が、利用され、本開示から導出される。追加として、説明図は単に描写的であり、縮尺通りに描かれていないことがある。説明図内の特定の比率は誇張されていることがあり、一方、他の比率は最小化されていることがある。したがって、本開示及び図は、制限的ではなく例示的であると見なされるべきである。

【0089】

[0104] 本開示の１つ又は複数の実施形態は、単に便宜上、及び本出願の範囲を特定の発明又は発明概念に自発的に限定するように意図することなく、「発明」という用語によって、個々に及び／又は集合的に、本明細書において参照される。その上、特定の実施形態が本明細書に図示及び記載されているが、同じ又は同様の目的を達成するように設計された後続の構成が、図示された特定の実施形態と置き換えられてもよいことを理解されたい。本開示は、様々な実施形態のありとあらゆる後続の適応又は変形を包含するように意図される。上述の実施形態と、本明細書に具体的に記載されていない他の実施形態との組合せは、本説明を調査する際に当業者には明らかであろう。

【0090】

[0105] 本開示の要約書は、３７ Ｃ．Ｆ．Ｒ． §１．７２（ｂ）に準拠するために提供され、特許請求の範囲又は意味を解釈又は限定するために使用されないという理解に基づいて提出される。加えて、前述の「発明を実施するための形態」において、本開示を簡素化する目的で、様々な特徴が、まとめられているか、又は単一の実施形態に記載されていることがある。本開示は、特許請求される実施形態が、各請求項に明示的に列挙されているものよりも多くの特徴を必要とするという意図を反映するように解釈されるべきでない。むしろ、以下の特許請求の範囲が示すように、発明の主題は、開示された実施形態のうちのいずれかの特徴のすべてよりも少ない特徴を対象にし得る。したがって、以下の特許請求の範囲は、「発明を実施するための形態」に組み込まれており、各請求項は、別々に請求される主題を定義するものとして独立している。

【0091】

[0106] 開示された実施形態の前出の説明は、当業者が本開示に記載された概念を実践できるようにするために提供される。そのため、上述の開示された主題は、制限ではなく例示であると考えられるべきであり、添付の特許請求の範囲は、本開示の真の趣旨及び範囲内にあるすべてのそのような変形、拡張、及び他の実施形態を包含するように意図される。したがって、法律によって許容される最大の範囲まで、本開示の範囲は、以下の特許請求の範囲及びその等価物の最も広い許容可能な解釈によって決定されるべきであり、前述の「発明を実施するための形態」によって制限又は限定されないものとする。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7A】

【図7B】

【図8】