(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-23
(54)【発明の名称】介入医用デバイス追跡
(51)【国際特許分類】
A61B 8/14 20060101AFI20231016BHJP
A61B 6/00 20060101ALI20231016BHJP
A61B 6/12 20060101ALI20231016BHJP
【FI】
A61B8/14
A61B6/00 370
A61B6/00 350A
A61B6/12
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023519690
(86)(22)【出願日】2021-09-18
(85)【翻訳文提出日】2023-05-15
(86)【国際出願番号】 EP2021075735
(87)【国際公開番号】W WO2022069265
(87)【国際公開日】2022-04-07
(32)【優先日】2020-09-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】トルジェセン アリッサ
(72)【発明者】
【氏名】フレックスマン モリー ララ
【テーマコード(参考)】
4C093
4C601
【Fターム(参考)】
4C093AA01
4C093AA08
4C093CA21
4C093DA02
4C093EC16
4C093FF15
4C093FF28
4C093FF37
4C093FF42
4C601EE11
4C601GA20
4C601JB34
4C601JC06
4C601JC08
4C601JC26
4C601LL33
(57)【要約】
介入医用デバイス01の位置を追跡するシステムは、インタフェース193と、コントローラ190とを含む。インタフェース193は、介入医用デバイス01の形状に適合する形状を有する光学形状検知デバイス102にシステムをインタフェース接続する。コントローラ190は、命令を記憶するメモリ191と、命令を実行するプロセッサ192とを含む。命令は、システムに、インタフェース193を介して光学形状検知デバイス102から受信された光学形状検知信号を用いて光学形状検知デバイス102の形状を識別させ、第1の撮像モードで介入医用デバイス01を撮像する第1のイメージングシステムの第1の座標空間において介入医用デバイス01の形状を識別させる。命令はまた、システムに、介入医用デバイス01を第1の座標空間にレジストレーションさせる。
【特許請求の範囲】
【請求項1】
介入医療処置において介入医用デバイスの位置を追跡するシステムであって、
前記介入医療処置中に前記介入医用デバイスの形状に適合する形状を有する光学形状検知デバイスに対するインタフェースと、
命令を記憶するメモリ、及び、前記命令を実行するプロセッサを含む、コントローラとを含み、
前記命令は、前記プロセッサによって実行されると、前記システムに、
前記インタフェースを介して前記光学形状検知デバイスから受信された光学検知信号を用いて前記光学形状検知デバイスの形状を識別させ、
前記介入医療処置中に第1の撮像モードで前記介入医用デバイスを撮像する第1のイメージングシステムの第1の座標空間において前記介入医用デバイスの形状を識別させ、
前記光学形状検知信号を用いて識別された前記介入医用デバイスの前記形状に基づいて、また、前記第1座標空間において識別された前記介入医用デバイスの前記形状に基づいて、前記介入医用デバイスを前記第1の座標空間にレジストレーションさせる、コントローラと、を含む、システム。
【請求項2】
前記命令はさらに、前記システムに、
前記光学形状検知信号を用いて識別された前記光学形状検知デバイスの前記形状に基づいて、前記介入医療処置中に第2の撮像モードで前記介入医用デバイスを撮像する第2のイメージングシステムの第2の座標空間において前記介入医用デバイスを識別させ、
前記介入医用デバイスを前記第2の座標空間にレジストレーションさせ、
前記第1のイメージングシステムの前記第1の座標空間を前記第2のイメージングシステムの前記第2の座標空間とレジストレーションさせ、
前記第1の座標空間において前記介入医用デバイスのセグメント化された表現を得るように前記第1の座標空間において前記介入医用デバイスをセグメント化させ、
前記光学形状検知信号を用いて識別された前記介入医用デバイスの前記形状に基づいて、また、前記第1の座標空間において識別された前記介入医用デバイスの前記形状に基づいて、前記介入医用デバイスを前記第1の座標空間にレジストレーションすることに基づいて、前記介入医用デバイスを前記第2の座標空間に再レジストレーションさせる、請求項1に記載のシステム。
【請求項3】
前記システムは、
前記光学形状検知デバイスと、
前記第1のイメージングシステムを含む超音波イメージングシステムと、
前記第2のイメージングシステムを含むx線イメージングシステムと、
をさらに含み、
前記命令はさらに、前記システムに、
前記第1の座標空間において前記介入医用デバイスの前記セグメント化された表現をレンダリングさせ、
前記介入医用デバイスの前記形状が、前記第1の座標空間において前記介入医用デバイスの前記セグメント化された表現に基づいて前記第1の座標空間において識別される、請求項2に記載のシステム。
【請求項4】
前記第1の座標空間における前記介入医用デバイスの前記形状が、前記介入医用デバイスの前記形状のテンプレートから識別される、請求項1に記載のシステム。
【請求項5】
前記介入医用デバイスの前記形状の前記テンプレートが、前記介入医用デバイスの前記形状の一部のテンプレートを含み、前記介入医用デバイスの前記形状の残りの部分が、前記テンプレートから識別された前記介入医用デバイスの前記形状の前記一部に近接した領域において前記介入医用デバイスの前記形状の前記残りの部分を探索することによって識別される、請求項4に記載のシステム。
【請求項6】
前記命令はさらに、前記システムに、
前記光学形状検知信号を用いて前記第1の座標空間において識別された前記介入医用デバイスから、前記テンプレートから前記第1の座標空間において前記介入医用デバイスの前記形状を識別することに基づいて前記第1の座標空間において識別された前記介入医用デバイスへの変換を計算させる、請求項5に記載のシステム。
【請求項7】
前記介入医用デバイスの前記形状が、前記第1の座標空間における像を解析するために適用される人工知能を用いて前記第1の座標空間において識別される、請求項1に記載のシステム。
【請求項8】
前記命令はさらに、システムに、
前記介入医用デバイスの先端のテンプレートを前記システムの前記第1の座標空間における画像の探索での制約として用いて、前記画像において前記介入医用デバイスの前記形状を繰り返し識別させ、
前記画像における前記介入医用デバイスの前記形状を識別することに基づいて、前記介入医用デバイスを前記第1の座標空間に繰り返しレジストレーションさせる、請求項1に記載のシステム。
【請求項9】
前記命令はさらに、前記システムに、
前記第1の座標空間において前記介入医用デバイスのセグメント化された表現を得るように前記第1の座標空間において前記介入医用デバイスをセグメント化させ、
前記第1の座標空間において前記介入医用デバイスの前記セグメント化された表現の位置と前記介入医用デバイスの位置と間の相関に基づいて測定基準を生成させ、
前記測定基準が所定の閾値を超えると前記介入医用デバイスを前記第1の座標空間に再レジストレーションさせる、請求項1に記載のシステム。
【請求項10】
コンピュータプログラムを記憶する有形の非一時的なコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されると、前記有形の非一時的なコンピュータ可読記憶媒体を含むシステムに、
インタフェースを介して受信された光学形状検知信号を用いて、介入医療処置中に介入医用デバイスの形状に適合する形状を有する光学形状検知デバイスの形状を識別させ、
前記介入医療処置中に第1の撮像モードで前記介入医用デバイスを撮像する第1のイメージングシステムの第1の座標空間において前記介入医用デバイスの形状を識別させ、
前記光学形状検知信号を用いて識別された前記介入医用デバイスの前記形状に基づいて、また、前記第1の座標空間において識別された前記介入医用デバイスの前記形状に基づいて、前記介入医用デバイスを前記第1の座標空間にレジストレーションさせる、有形の非一時的な可読記憶媒体。
【請求項11】
前記コンピュータプログラムは、前記システムに、さらに
前記光学形状検知信号を用いて前記光学形状検知デバイスの前記形状を識別することに基づいて、前記介入医用処置中に第2の撮像モードで前記介入医用デバイスを撮像する第2のイメージングシステムの第2の座標空間において前記介入医用デバイスを識別させ、
前記介入医用デバイスを前記第2の座標空間にレジストレーションさせ、
前記第1のイメージングシステムの前記第1の座標空間を前記第2のイメージングシステムの前記第2の座標空間とレジストレーションさせ、
前記第1の座標空間における前記デバイスの前記セグメント化された表現から、前記第2の座標空間において光学形状検知を用いて識別された前記光学形状検知デバイスの形状への前記変換を計算することによって、前記第1の座標空間を前記第2の座標空間に再レジストレーションさせる、請求項10に記載の有形の非一時的なコンピュータ可読記憶媒体。
【請求項12】
介入医療処置において介入医用デバイスの位置を追跡する方法であって、
インタフェースを介して受信された光学形状検知信号を用いて、前記介入医療処置中に前記介入医用デバイスの形状に適合する形状を有する光学形状検知デバイスの形状を識別するステップと、
前記介入医療処置中に第1の撮像モードで前記介入医用デバイスを撮像する第1のイメージングシステムの第1の座標空間において前記介入医用デバイスの形状を識別するステップと、
前記光学形状検知信号を用いて識別された前記介入医用デバイスの前記形状に基づいて、また、前記第1の座標空間において識別された前記介入医用デバイスの前記形状に基づいて、前記介入医用デバイスを前記第1の座標空間にレジストレーションするステップと、
を有する、方法。
【請求項13】
前記介入医用デバイスの前記形状のテンプレートを得るステップと、
前記テンプレートの前記形状について前記第1の座標空間における画像において探索するステップと、をさらに有する、請求項12に記載の方法。
【請求項14】
前記方法が、
セグメント化された表現を得るように前記第1の座標空間を周期的にセグメント化するステップをさらに含み、
前記第1の座標空間において識別された前記介入医用デバイスの前記形状を用いて前記第1の座標空間に対する前記介入医用デバイスの前記レジストレーションするステップが、前記セグメント化するステップに基づいて周期的に繰り返される、請求項12に記載の方法。
【請求項15】
前記第1の座標空間における前記セグメント化された表現と前記介入医用デバイスとの間の相関を計算するステップと、
前記相関に基づいて前記レジストレーションするステップを自動的に繰り返すステップと、
をさらに有する、請求項14に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 光学形状検知(OSS)技術を用いて、介入医療処置において介入医用デバイスの形状及び相対位置のリアルタイムの手順内の情報を提供する。OSSからの情報を用いて、介入医療処置中に介入医用デバイスを突き止めるとともにナビゲートする。OSSは、介入医療処置中に介入医用デバイスの形状に適合するマルチコア光ファイバに沿った光を使用する。関与する原理は、特性レイリー後方散乱又は制御された格子パターンを用いて光ファイバ内における分布歪み測定を利用する。光ファイバに沿った形状は、発射又はz=0として知られる、特定の点で始まり、後続の形状、位置及び向きは、発射に対するものである。
【0002】
[0002] 単独に、レジストレーションは、2つの別個のデバイス及び/システムの座標系を位置合わせするために用いられる。例えば、OSSデバイスからX線イメージングシステムへのレジストレーションは、OSSデバイスからX線イメージングシステムへの変換TOXにより達成することができる。超音波イメージングシステムからX線イメージングシステムへのレジストレーションは、超音波イメージングシステムからX線イメージングシステムへの変換TUXにより達成することができる。OSSデバイスから超音波イメージングシステムへのレジストレーションは、OSSデバイスから超音波イメージングシステムへの変換TOUにより達成することができる。
【0003】
[0003] さらに、医用イメージングシステムにおいてセグメンテーションを用いて、構造の表面を3次元モデルとして表現する。
【背景技術】
【0004】
[0004] 現在、OSSデバイスとX線イメージングシステムとのレジストレーションは、OSSデバイスの近位端(すなわち、ユーザに最も近い)が数センチメートル動かされた場合など、著しい誤差を累積する。誤差の補正には、OSSデバイスとX線イメージングシステムとの間の再レジストレーションを必要とし、次いでこれには2つの新たなオフセットX線投影を必要とする。さらなるX線投影は、介入医療処置の流れを妨げ、介入医療処置の時間を延長させ、患者及び臨床医をさらなるX線量に晒しかねない。
【0005】
[0005] OSSデバイスと超音波イメージングシステムとのレジストレーションもまた、著しい誤差を累積する。OSSデバイスと超音波イメージングシステムとの再レジストレーションは、画像解析ソフトウェアがOSSデバイスのための最新の超音波像を探索する一方、介入医療処置の流れを妨げ、介入医療処置の時間を延長させかねない。画像解析ソフトウェアは、超音波像におけるOSSデバイスの探索を制限するために、例えば、ユーザによる、超音波像におけるOSSデバイスの先端の指定から、超音波像におけるOSSデバイスの指定を必要とする。初期の制約があるとしても、OSSデバイスは、OSSデバイスと超音波イメージングシステムとの再レジストレーションのために超音波像において十分に識別され突き止められねばならず、これが、介入医療処置の流れを妨げ、介入医療処置の時間を延長させる。
【発明の概要】
【0006】
[0006] 本開示の一態様によれば、介入医療処置において介入医用デバイスの位置を追跡するシステムは、インタフェースと、コントローラとを含む。インタフェースは、システムを介入医療処置中に介入医用デバイスの形状に適合する形状を有する光学形状検知デバイスにインタフェース接続する。コントローラは、命令を記憶するメモリと、命令を実行するプロセッサとを含む。命令は、プロセッサによって実行されると、システムに、インタフェースを介して光学形状検知デバイスから受信された光学検知信号を用いて光学形状検知デバイスの形状を識別させ、介入医療処置中に第1の撮像モードで介入医用デバイスを撮像する第1のイメージングシステムの第1の座標空間において介入医用デバイスの形状を識別させる。命令はまた、システムに、光学形状検知信号を用いて識別された介入医用デバイスの形状に基づいて、また、第1の座標空間において識別された介入医用デバイスの形状に基づいて、介入医用デバイスを第1の座標空間にレジストレーションさせる。
【0007】
[0007] 本開示の別の態様によれば、有形の非一時的なコンピュータ可読記憶媒体が、コンピュータプログラムを記憶する。コンピュータプログラムは、実行されると、有形の非一時的なコンピュータ可読記憶媒体を含むシステムに、インタフェースを介して受信された光学形状検知信号を用いて、介入医療処置中に介入医用デバイスの形状に適合する形状を有する光学形状検知デバイスの形状を識別させ、介入医療処置中に第1の撮像モードで介入医用デバイスを撮像する第1のイメージングシステムの第1の座標空間において介入医用デバイスの形状を識別させる。コンピュータプログラムはまた、システムに、光学形状検知信号を用いて識別された介入医用デバイスの形状に基づいて、また、第1の座標空間において識別された介入医用デバイスの形状に基づいて、介入医用デバイスを第1の座標空間にレジストレーションさせる。
【0008】
[0008] 本開示のさらに別の態様によれば、介入医療処置において介入医用デバイスの位置を追跡する方法は、インタフェースを介して受信された光学形状検知信号を用いて、介入医療処置中に介入医用デバイスの形状に適合する形状を有する光学形状検知デバイスの形状を識別するステップと、介入医療処置中に第1の撮像モードで介入医用デバイスを撮像する第1のイメージングシステムの第1の座標空間において介入医用デバイスの形状を識別するステップと、を有する。方法はまた、光学形状検知信号を用いて識別された介入医用デバイスの形状に基づいて、また、第1座標空間において識別された介入医用デバイスの形状に基づいて、介入医用デバイスを第1の座標空間にレジストレーションするステップを有する。
【0009】
[0009] 例示的な実施形態は、添付の図面の図と併せて読まれると以下の詳細な説明から最もよく理解される。様々な特徴部は、必ずしも一定の縮尺で描かれているわけではないことを強調しておく。実際、議論を明確にするために寸法は任意に拡大又は縮小される。適用可能且つ実用的である限り、同様の参照符号は同様の要素を指す。
【図面の簡単な説明】
【0010】
【
図1】[0010] 代表的な実施形態による、介入医用デバイス追跡のためのシステムを示す図である。
【
図2A】[0011] 代表的な実施形態による、介入医用デバイス追跡において、X線イメージングシステムに対する介入医用デバイスのレジストレーションを示す図である。
【
図2B】[0012] 代表的な実施形態による、介入医用デバイス追跡において、X線イメージングシステムに対する超音波ステムのレジストレーションを示す図である。
【
図2C】[0013] 代表的な実施形態による、介入医用デバイス追跡において、超音波ステムに対する介入医用デバイスのレジストレーションを示す図である。
【
図3】[0014] 別の代表的な実施形態による、介入医用デバイス追跡において、超音波システム及びX線システムに対する介入医用デバイスのレジストレーションを示す図である。
【
図4】[0015] 代表的な実施形態による、介入医用デバイス追跡において、超音波システムに対する介入医用デバイスのレジストレーションを示す図である。
【
図5】[0016] 代表的な実施形態による、介入医用デバイス追跡のための方法を示す図である。
【
図6】[0017] 代表的な実施形態による、介入医用デバイス追跡のための方法を示す図である。
【
図7】[0018] 代表的な実施形態による、介入医用デバイス追跡のための方法を示す図である。
【
図8】[0019] 代表的な実施形態による、介入医用デバイス追跡のための方法を示す図である。
【
図9】[0020] 別の代表的な実施形態による、介入医用デバイス追跡のための方法が実施されるコンピュータシステムを示す図である。
【発明を実施するための形態】
【0011】
[0021] 以下の詳細な説明では、限定ではなく説明のため、本教示による実施形態の完全な理解を提供するために、具体的な詳細を開示する代表的な実施形態が記載される。代表的な実施形態の説明を曖昧にすることを避けるために、既知のシステム、デバイス、材料、動作方法及び製造方法の説明は省かれる。それにもかかわらず、当業者の理解の範囲内にあるシステム、デバイス、材料及び方法は、本教示の範囲内にあり、代表的な実施形態に従って使用される。本明細書において使用される術語は、特定の実施形態を説明するためだけのものであり、限定的であることを意図するものではないことを理解されたい。定義された用語は、本教示の技術分野において一般に理解され受け入れられている定義された用語の技術的及び科学的意味に加わるものである。
【0012】
[0022] 第1、第2、第3などの用語が、様々な要素又は構成要素を説明するために本明細書において使用されるが、これらの要素又は構成要素はそれらの用語によって限定されるべきではないことが理解されるであろう。それらの用語は、ある要素又は構成要素を別の要素又は構成要素と区別するためだけに使用される。したがって、以下で論じられる第1の要素又は構成要素は、本発明の概念の教示から逸脱することなく、第2の要素又は構成要素と呼ばれ得る。
【0013】
[0023] 本明細書において使用される術語は、特定の実施形態を説明するためだけのものであり、限定的であることを意図するものではない。本明細書及び添付の特許請求の範囲において使用される場合、単数形の用語は、文脈が明らかに別段に指示していない限り、単数形及び複数形の両方を含むことを意図している。さらに、本明細書において使用される場合の用語「備える、含む」、及び/又は「備えている、含んでいる」、及び/又は同様の用語は、述べられている特徴部、要素、及び/又は構成要素の存在を識別するが、他の1つ又は複数の特徴部、要素、構成要素、及び/又はそれらの群の存在及び追加を排除するものではない。本明細書において使用される場合、「及び/又は」という用語は、関連する列挙された事項のうちの1つ又は複数のいずれか及びすべての組み合わせを含む。
【0014】
[0024] 別段に示されていない限り、要素又は構成要素が別の要素又は構成要素に「接続される」、「結合される」、又は「隣接している」と述べられる場合、要素又は構成要素は、他の要素又は構成要素に直接接続若しくは連結することができるか、又は、介在する要素又は構成要素が存在してもよいことが理解されるであろう。すなわち、これらの用語及び同様の用語は、1つ又は複数の中間の要素又は構成要素が2つの要素又は構成要素を接続するために使用される場合を包含する。しかしながら、要素又は構成要素が別の要素又は構成要素に「直接接続される」と述べられる場合、これは、2つの要素又は構成要素が中間の又は介在するいかなる要素又は構成要素もなしに、互いに接続される場合のみを包含する。
【0015】
[0025] したがって、本開示は、その様々な態様、実施形態及び/又は特定の特徴部若しくはサブ構成要素のうちの1つ又は複数により、以下に具体的に示される利点のうちの1つ又は複数を明らかにすることを意図している。限定ではなく説明するため、本教示による実施形態の完全な理解を提供するために、具体的な詳細を開示する例示的な実施形態が記載される。しかしながら、本明細書において開示された具体的な詳細から逸脱する、本開示と矛盾しない他の実施形態は、依然として添付の特許請求の範囲内にある。さらに、例示的な実施形態の説明を不明瞭にしないように、よく知られた装置及び方法の説明は省かれる。かかる方法及び装置は、本開示の範囲内にある。
【0016】
[0026] 本明細書において記載されるように、介入医用デバイス追跡は、超音波ボリュームでの介入医用デバイスの3次元セグメンテーション、及び、X線イメージングシステムに対する超音波イメージングシステムのレジストレーションを利用する。介入医用デバイス追跡は、介入医療処置の持続時間の間中、X線撮像を繰り返すことなく、超音波イメージングシステム及びX線イメージングシステムの両方に対するOSSデバイスのレジストレーションの正確な維持を可能にする。
【0017】
[0027] 同様に本明細書において記載されるように、OSSデバイスの形状を用いることにより、超音波イメージングシステムからなどの画像においてOSSデバイスを識別するプロセスが向上し、これにより次いで、以下に説明されるレジストレーションプロセスが向上する。
【0018】
[0028]
図1は、代表的な実施形態による、介入医用デバイス追跡のためのシステムを示す。
【0019】
[0029]
図1は、追跡システム100を示す。追跡システム100は、コントローラ190と、インタフェース193と、タッチパネル196とを有するコンソールを含む。コントローラ190は、少なくとも、命令を記憶するメモリ191と、命令を実行するプロセッサ192とを含む。コントローラ190は、本明細書において記載される方法の1つ又は複数の態様を制御する。プロセッサ192は、バス(図示せず)を介してメモリ191から命令を検索するか又は他の場合では受信する。命令は、プロセッサ192によって実行されると、コントローラ190に、
図5、
図6、
図7及び
図8に示されるとともにそれら図に関して説明される方法の1つ又は複数の態様を実施させる。インタフェース193は、コントローラ190を含むコンソールと光学形状検知デバイス102との間にインタフェースを提供する。インタフェース193は、追跡システム100の要素及び構成要素間のインタフェースを表す。タッチパネル196は、ユーザから追跡システム100に命令を入力するために使用することができるボタン、キー及び任意の他のタッチ面を含む。
【0020】
[0030] 追跡システム100はまた、モニタ195と、X線イメージングシステム120と、超音波イメージングシステム110とを含む。モニタ195は、X線イメージングシステム120及び超音波イメージングシステム110からの画像を表示するために使用される。非限定的な例として、X線イメージングシステム120は、介入医療処置の間、蛍光透視撮像を行う。同様に非限定的な例として、超音波イメージングシステム110は、経食道心エコー検査(TEE)又は他の形態の超音波撮像を行う。X線イメージングシステム120は、X線イメージングシステム120のCアームのアイソセンタにセンタリングされる3次元座標空間において撮像を行う。超音波イメージングシステム110は、別の3次元座標空間において撮像を行う。超音波イメージングシステム110の3次元座標空間、及び、他の3次元座標空間が、X線イメージングシステム120の3次元座標空間とレジストレーションされ、それにより、X線イメージングシステム120のCアームのアイソセンタがすべてのそのようなレジストレーションされた座標空間の原点となるようにする。
【0021】
[0031] 追跡システム100はまた、光学形状検知デバイス102と一体化された介入医用デバイス101を含む。光学形状検知デバイス102は可撓性であり、介入医療処置中に介入医用デバイス101の形状に柔軟に適合する形状を有する。本明細書における説明では、介入医用デバイス101に対する言及は、光学形状検知デバイス102が介入医用デバイス101と一体化されている限りにおいて光学形状検知デバイス102に対するものでもある。他方で、光学形状検知デバイス102に対する言及は、光学形状検知デバイス102が、光学形状検知デバイス102によって生成される光学形状検知信号を供給するためにインタフェース193を介してコントローラ190に独立的にインタフェース接続する限りにおいて、特に、介入医用デバイス101とは無関係ない光学形状検知デバイス102に対するものである。
【0022】
[0032]
図1における追跡システム100の要素及び構成要素は、一緒に提供されてもよく、又は分散されてもよい。例えば、コントローラ190、モニタ195及びタッチパネル196は、X線イメージングシステム120、超音波イメージングシステム110及び介入医用デバイス101とは別に設けられる統合コンピュータシステムとして設けられてもよい。X線イメージングシステム120、超音波イメージングシステム110及び介入医用デバイス101は、互いとは別に設けられてもよく、コントローラ190、モニタ195及びタッチパネル196を含む統合コンピュータシステムにより一緒に統合されてもよい。
【0023】
[0033] コントローラ190は、インタフェース193の他に、1つ又は複数の入力インタフェースを含む。コントローラ190のインタフェース193及び他の入力インタフェース(図示せず)は、ケーブル、アダプタ、ポート、ディスクドライブ、無線通信用アンテナ、及び、追跡システム100の要素及び構成要素を接続するために特に使用される他の形態のインタフェースを含む。入力インタフェースは、マウス、キーボード、マイクロフォン、ビデオカメラ、タッチスクリーンディスプレイ、或いは別の要素又は構成要素などのユーザインタフェースをコントローラ190にさらに接続する。追跡システム100のインタフェースは、コントローラ190を、モニタ195、X線イメージングシステム120、及び超音波イメージングシステム110に接続する。例えば、コントローラ190は、イーサネットケーブルなどのローカル有線インタフェースを介して、又はWi-Fi接続などのローカル無線インタフェースを介して、モニタ195に接続される。
【0024】
[0034] モニタ195は、コンピュータモニタ、モバイルデバイスのディスプレイ、テレビ、電子ホワイトボード、又は、電子画像を表示するように構成された別のスクリーンである。モニタ195はまた、他の要素又は構成要素をモニタ195に接続する、上述したもののような1つ又は複数の入力インタフェースを含む。モニタ195はまた、タッチによる直接入力を可能にするタッチスクリーンを含む。
【0025】
[0035] 一組の実施形態では、追跡システム100は、介入医療処置の間、介入医用デバイス101を追跡する。X線イメージングシステム120は、介入医療処置中に介入医用デバイス101を撮像する第1のイメージングシステムであり、超音波イメージングシステム110は、介入医療処置中に介入医用デバイス101を撮像する第2のイメージングシステムである。メモリ191に記憶された命令は、プロセッサ192によって実行されると、介入医療処置の間、追跡システム100に、介入医用デバイス101の位置を追跡させる。介入医用デバイス101を追跡するプロセスは、インタフェース193を介して光学形状検知デバイス102から受信された光学形状検知信号を用いて、光学形状検知デバイス102の形状を識別することを有する。この組の実施形態におけるプロセスはまた、光学形状検知デバイス102の形状を識別することに基づいて、X線イメージングシステム120の第1の座標空間において介入医用デバイス101を識別することを有する。次いで、介入医用デバイス101は、X線イメージングシステム120の第1の座標空間にレジストレーションされる。プロセスはまた、超音波イメージングシステム110の第2の座標空間において介入医用デバイス101を識別することを有する。X線イメージングシステム120の第1の座標空間は、超音波イメージングシステム110の第2の座標空間とレジストレーションされる。この組の実施形態における介入医用デバイス101の位置を追跡するプロセスはまた、第2の座標空間において介入医用デバイス101のセグメント化された表現を得るように超音波イメージングシステム110の第2の座標空間において介入医用デバイス101をセグメント化することを有する。次いで、介入医用デバイス101は、介入医用デバイスのセグメント化された表現を用いて超音波イメージングシステム110の第2の座標空間にレジストレーションされる。その後、介入医用デバイス101は、セグメント化された表現を用いて介入医用デバイス101を第2の座標空間にレジストレーションすることに基づいて、X線イメージングシステム120の第1の座標空間に再レジストレーションされる。介入医用デバイス101をX線イメージングシステム120の第1の座標空間への再レジストレーションは、患者のさらなるX線撮像を必要とすることなく行われる。この組の動作において行われるプロセスは、オンデマンドで、周期的に、又は、閾値を超える、介入医用デバイス101の動きが検出されると、行われる。
【0026】
[0036] コントローラ190は、本明細書において記載される動作の一部を直接行い、本明細書において記載される他の動作を間接的に実施する。例えば、コントローラ190は、モニタ195の表示を直接制御し、X線イメージングシステム120による撮像及び/又は超音波イメージングシステム110による撮像を間接的に制御する。したがって、プロセッサ192がメモリ191からの命令を実行する場合に追跡システム100によって実施されるプロセスは、コントローラ190によって直接行われないステップを有する。
【0027】
[0037] 追跡システム100を使用する別の組の実施形態では、レジストレーションは、介入医用デバイス101の所定の形状を用いて行われる。例えば、介入医用デバイス101の所定の形状は、メモリ191内のテンプレートとして記憶され、介入医用デバイス101のための超音波空間を探索することに用いるためにメモリ191から検索される。介入医用デバイス101の形状はまた、光学形状検知デバイス102から動的に得られる。この組の実施形態では、超音波イメージングシステム110は、第1のイメージングシステムであり、X線イメージングシステム120は、第2のイメージングシステムである。介入医用デバイス101は、光学形状検知信号を用いて識別された介入医用デバイス101の形状に基づいて、また、超音波空間(第1の座標空間)において識別された介入医用デバイス101の形状に基づいて、超音波空間(第1の座標空間)とレジストレーションされる。介入医用デバイス101を追跡するプロセスは、インタフェース193を介して光学形状検知デバイス102から受信された光学形状検知信号を用いて光学形状検知デバイス102の形状を識別することと、介入医療処置の間、第1の撮像モードで介入医用デバイス101を撮像する超音波システム(第1のイメージングシステム)の第1の座標空間において介入医用デバイス101の形状を識別することとを有する。介入医用デバイス101は、光学形状検知信号を用いて識別された介入医用デバイス101の形状に基づいて、また、超音波空間(第1の座標空間)において識別された介入医用デバイス101の形状に基づいて、超音波空間(第1の座標空間)とレジストレーションされる。この組の実施形態では、介入医用デバイス101の既知の形状を用いて介入医用デバイス101を超音波イメージングシステム110とレジストレーションするために、X線イメージングシステムと介入医用デバイス101及び超音波イメージングシステム110との予備のレジストレーションは必要とされない。
【0028】
[0038]
図2Aの説明に進む前に、レジストレーション及びセグメンテーションの概念をより十分に次に説明する。レジストレーションは、異なる3次元座標系を位置合わせすることを伴う。
図1において、X線イメージングシステム120、超音波イメージングシステム110及び光学形状検知デバイス102はそれぞれ、それ自体の3次元座標系を有する。共通の3次元座標系は、共通の原点及び一連の軸を共有することによってなど、異なる3次元座標系を位置合わせすることによって提供される。レジストレーションはまず、ある座標系の原点を別の座標系の原点に調整することを有し、次いで、そのある座標系の軸をその別の座標系の軸に位置合わせすることを有する。レジストレーションは通常、2つの座標系における共通の3次元要素の観察に基づいて、変換マトリックスを計算及び適用することを伴う。
【0029】
[0039] セグメンテーションは、解剖学的特徴部などの構造の表面及び介入医用デバイス101の表現を生成する。セグメント化された表現は、例えば、構造の表面上の3次元(3D)座標におけるポイントのセットと、隣り合う3つのポイントの群を接続することによって画定された三角形平面セグメントとから構成され、そのため、構造全体が、交差しない三角形平面のメッシュによって覆われる。介入医用デバイス101の3次元モデルは、セグメント化によって得られる。セグメント化はまた、3次元超音波ボリュームに存在する、解剖学的構造、及び/又は他の構造に、セグメンテーションを行うことを伴う。
【0030】
[0040]
図2Aは、代表的な実施形態による、介入医用デバイス追跡においてX線イメージングシステムに対する介入医用デバイスのレジストレーションを示す。
【0031】
[0041]
図2Aにおいて、光ファイバが介入医用デバイス201に組み込まれている。
図2Aにおける光ファイバの一例は、
図1における光学形状検知デバイス102である。光ファイバは、介入医用デバイス201の位置及び配向を提供する。
図2Aにおける介入医用デバイスの一例は、ガイドワイヤを有するカテーテルである。
図2Aにおいて、光ファイバは、右側の血管枝において介入医用デバイス201(例えば、カテーテルのガイドワイヤ)に組み込まれている。組み込まれた光ファイバを有する介入医用デバイス201が、X線イメージングシステム120によって生成された血管ファントムのX線(蛍光透視)画像上に重ねられる。
【0032】
[0042]
図2Aにおいて、光ファイバの形状は、インタフェース193などのインタフェースを介して光ファイバから受信された光学形状検知信号を用いて識別される。X線イメージングシステム120は、X線イメージングシステム120に対して垂直な第1の座標空間においてX線画像を生成する第1のイメージングシステムである。介入医用デバイス201は、X線画像に基づいて、光学形状検知信号から第1の座標系における介入医用デバイス201の座標に介入医用デバイス201の位置を割り当てることによって、X線イメージングシステム120とレジストレーションされる。介入医用デバイス201は、30度以上ずらされた2つのX線投影画像を用いてX線座標空間にレジストレーションされる。オペレータが、各X線画像において介入医用デバイス201の先端を識別し、介入医用デバイス201の可視部分が自動的に検出される。介入医用デバイス201及びX線座標空間からの変換は、光ファイバからの光学形状検知信号に基づいて、介入医用デバイス201の2つのX線投影及び再構成から決定される。介入医用デバイス201は、光ファイバからの光学形状検知信号を用いて光学形状検知デバイス102の形状を識別することに基づいて、介入医療処置中にX線イメージングシステム120の第1の座標空間において識別される。
【0033】
[0043]
図2Bは、代表的な実施形態による、介入医用デバイス追跡においてX線イメージングシステム120に対する超音波システムのレジストレーションを示す。
【0034】
[0044]
図2Bにおいて、超音波イメージングシステム110とX線イメージングシステム120とのレジストレーションが画像融合プラットフォームにより達成される。画像融合プラットフォームの一例はEchoNavigatorである。EchoNavigatorによって提供されるレジストレーションアルゴリズムは、X線イメージングシステム120から蛍光透視画像を撮ることに基づいている。蛍光透視画像は、超音波イメージングシステム110のプローブヘッドを含む。一例として、超音波イメージングシステム110は、経食道心エコー検査(TEE)超音波システムである。X線画像におけるプローブヘッドの姿勢から、超音波空間をX線空間(T
UX)と関連付ける変換を計算することができる。
【0035】
[0045]
図2Cは、代表的な実施形態による、介入医用デバイス追跡において超音波システムに対する介入医用デバイスのレジストレーションを示す。
【0036】
[0046]
図2Cに示すように、種々の座標系間の複数のレジストレーションが、3つ以上の座標系が位置合わせされるように合わさることができる。
図2Cにおいて、光学形状検知座標系(OSS空間)は、コントローラ190によって実行されるプログラムを用いて、X線イメージングシステム座標系(X線空間)とレジストレーションすることができる。X線イメージングシステム座標系(X線空間)は、コントローラ190によって実行されるEchoNavigatorなどのプログラムを用いて、X線イメージングシステム120を含む局所環境(患者空間)とレジストレーションすることができる。別個に、超音波イメージングシステム座標系(US空間)は、コントローラ190によって実行されるEchoNavigatorなどのプログラムを用いて、X線イメージングシステム座標系(X線空間)とレジストレーションすることができる。
【0037】
[0047] 介入医用デバイス101及び超音波イメージングシステム110がX線空間にレジストレーションされたとすると、介入医用デバイス101は、
図2Cで概説した変換により超音波イメージングシステム座標系(US空間)においてレンダリングすることができる。
【0038】
[0048]
図3は、別の代表的な実施形態による、介入医用デバイス追跡において超音波システム及びX線システムに対する介入医用デバイスのレジストレーションを示す。
【0039】
[0049]
図3において、ガイドワイヤ301が、左側で超音波空間に、右側でX線空間に示されている。介入医用デバイス101が超音波空間及びX線空間にレジストレーションされ、超音波空間がX線空間とレジストレーションされるため、
図3に示す画像は、視点が2つの画像間で異なっていたとしても、同じ座標系を表す。
【0040】
[0050]
図4は、代表的な実施形態による、介入医用デバイス追跡において超音波システムに対する介入医用デバイスのレジストレーションを示す。
【0041】
[0051]
図4において、光学形状検知デバイス102を用いた光学形状検知からの介入医用デバイス101の再構成が、OSS再構成402として示されている。超音波空間における光学形状検知デバイス102の画像ベースのセグメンテーションは、セグメント化された表現401として示されている。示すように、本明細書において記載されるレジストレーションプロセスにおいて、OSS再構成402は、超音波空間におけるセグメント化された表現401とレジストレーションすることができる。変換T
OUは、OSS再構成402の現在位置を超音波空間における介入医用デバイス101の位置のセグメント化された表現401に関連付ける。
【0042】
[0052] 本明細書において記載される第1の組の実施形態では、レジストレーションは、ユーザ指定、介入医用デバイス101の先端に統合されたセンサの追跡又は他のやり方によってなど、医用画像において介入医用デバイス101の位置を識別することによって達成される。超音波像における介入医用デバイス101の3次元セグメント化は、第1の組の実施形態でのレジストレーションを更新するために使用される。超音波像における管状介入医用デバイスの3次元セグメンテーションは、センサ追跡技術と組み合わせた画像処理技法により達成される。介入医用デバイスの3次元セグメンテーションの例は、2019年5月31日に米国特許商標庁に出願された米国仮特許出願第62/855,013号において説明されており、この米国仮特許出願の開示はその全体が参照により組み込まれる。3次元セグメンテーションを容易に受けやすい管状介入医用デバイスの例として、ガイドワイヤ及びカテーテルが挙げられる。超音波画像における介入医用デバイスを識別する代替的な機序は、超音波画像における介入医用デバイスの先端の位置でのユーザクリックによる、及び、超音波画像において介入医用デバイスを識別することの以前のインスタンス化に基づいた人工知能を用いた深層学習による初期化を含む。
【0043】
[0053] 更新されたレジストレーションは、光学形状検知がX線空間及び/又は超音波空間にレジストレーションされる場合に生じることで知られている誤差に対処する。すなわち、光学形状検知は、介入医用デバイス101の局所形状の高精度の再構成をもたらす一方、介入医用デバイス101の長さに沿った誤差の累積に起因するレジストレーションずれの誤差を生じやすい。例えば、X線空間に対する介入医用デバイス101のレジストレーションが完了した直後では精度が非常に優れている一方、介入医用デバイス101の近位端が数メートル動かされた場合、レジストレーションは著しい誤差を累積する。本明細書において提示された第1の組の実施形態の教示を用いれば、X線投影をさらに受ける必要なく、したがって、患者及び臨床医へのX線量曝露を増加させることなく、再レジストレーションによって誤差を補正することができる。さらに、X線イメージングシステム120に対する介入医用デバイス101のレジストレーションは、連続的に、臨床医のオンデマンドで(例えば、臨床医が誤差に気付いた場合)又は自動的に(例えば、ずれが所定の閾値を超えた場合を追跡システム100が検出した場合)更新することができる。超音波空間における介入医用デバイス101のセグメンテーション、及び本明細書に記載されるようなレジストレーションを利用することによって、介入医用デバイス101のレジストレーションは、手順の間中、連続的及び精度よく更新することができる。
【0044】
[0054] X線空間及び3次元超音波空間に大まかにレジストレーションされた介入医用デバイス101は、3次元超音波空間における介入医用デバイス101のセグメント化された形状に基づいて、自動的に微調整されたレジストレーションを維持することができる。3次元超音波空間における介入医用デバイス101の形状は、画像処理又は深層学習技術により決定される。したがって、介入医用デバイス101の対応する部分から超音波座標系における介入医用デバイス101の3次元セグメンテーションへ、剛体ポイントツーポイント変換が計算される。介入医用デバイス101の正確なレジストレーションは、画像において介入医用デバイス101を自動的にセグメント化するとともに光学形状検知デバイス102から再構成を位置合わせすることによって、手順の間中、維持することができる。
【0045】
[0055] 第2の組の実施形態では、介入医用デバイス101のレジストレーションは、介入医用デバイス101の既知の形状を用いて達成及び更新され、これは、第1の組の実施形態に比して単純化されたワークフローを伴う。例えば、介入医用デバイス101の形状が、例えば、テンプレート及び/又は光学形状検知デバイス102から既知である場合、形状は、超音波座標空間において識別することができ、光学形状検知と超音波空間との間のレジストレーションは、先に介入医用デバイス101をX線イメージングシステム120とレジストレーションすることなく達成することができる。介入医用デバイス101の形状のテンプレートは、メモリ191などのメモリに記憶されたテンプレートのライブラリから得られる。テンプレートは、介入医用デバイス101の遠位先端の形状のテンプレートなどの、介入医用デバイス101の形状の一部のテンプレートを含む。テンプレートが形状の一部のテンプレートである場合、介入医用デバイス101の形状の残りの部分は、形状の一部のテンプレートからの超音波像において識別された形状の一部に近接した領域において介入医用デバイス101の形状の残りの部分を探す画像解析ソフトウェアに基づいて識別される。
【0046】
[0056] さらに、第2の組の実施形態では、超音波座標空間とX線座標空間とのレジストレーションは、超音波イメージングシステム110のプローブヘッドのX線画像を必要とすることなく行われる。例えば、両方の座標系における介入医用デバイス101の共通の形状は、2つの座標系をレジストレーションするための機構として用いられる。介入医用デバイス101がX線空間に既にレジストレーションされており、介入医用デバイス101が、介入医用デバイス101の形状のテンプレートを用いて超音波空間にレジストレーションされる場合、超音波座標系は、超音波空間における介入医用デバイス101のセグメンテーションからX線空間における対応する介入医用デバイス101への変換を計算することによって、X線座標系とレジストレーションされる。
【0047】
[0057] 第2の組の実施形態では、形状の一部は、超音波像における介入医用デバイス101の形状の探索における制約として用いられる。人工知能が、超音波座標空間における超音波像を解析するために適用される。探索は初め、介入医用デバイス101の先端によって制約され、介入医用デバイス101の先端が探索において識別されると、超音波像の以前の探索における介入医用デバイス101の以前のインスタンス化から識別された特性及びパラメータに基づいて、人工知能が、介入医用デバイス101の形状の残りの部分を見つけるために適用される。
【0048】
[0058] 第1の組の実施形態及び第2の組の実施形態の両方において、種々の座標空間において介入医用デバイス101の識別間の補正を示すために測定基準が生成される。例えば、測定基準は、超音波空間における介入医用デバイス101のセグメント化された表現の既存の位置と、超音波座標における介入医用デバイス101の新たに識別された位置との補正に基づいて生成される。補正は、識別することの精度に関する信頼度の評価であり、例えば、セグメント化された表現と、超音波座標における介入医用デバイス101の提案された新たに識別された位置との間のある量の不一致に基づく。
【0049】
[0059]
図5は、代表的な実施形態による、介入医用デバイス追跡のための方法を示す。
【0050】
[0060]
図5において、方法は、光学形状検知デバイスの形状を識別することによるS510において開始する。光学形状検知デバイスは、
図1の実施形態における光学形状検知デバイス102であり、光ファイバを含む。光学形状検知デバイスは、上述した光学形状検知技術を用いて識別される。
【0051】
[0061] S520において、
図5の方法は、第1の座標空間において介入医用デバイスを識別することを有する。第1の座標空間は、第1の撮像モードで動作する第1のイメージングシステムの、例えば、X線撮像モードで動作するX線イメージングシステム120の座標空間である。S520における識別は、X線画像における介入医用デバイス101を指定するユーザによるか、又は、X線画像における介入医用デバイス101を識別する画像解析ソフトウェアによるものである。
【0052】
[0062] S530において、
図5の方法は、介入医用デバイス101を第1の座標空間にレジストレーションすることを有する。S530におけるレジストレーションは、介入医用デバイス101とX線イメージングシステム120のX線空間とのものである。S530におけるレジストレーションは、光学形状検知デバイス102の適合する形状からS510において識別された、介入医用デバイス101の形状に基づく。S520におけるレジストレーションもまた、X線画像からS520において識別された、介入医用デバイス101の形状に基づく。
【0053】
[0063] S540において、
図5の方法は、第2の座標空間において介入医用デバイス101を識別することを有する。第2の座標空間は、第2の撮像モードで動作する第2のイメージングシステム、例えば超音波撮像モードで動作する超音波イメージングシステム110の座標空間である。S540における識別は、超音波画像における介入医用デバイス101を指定するユーザによるか、又は、超音波画像において介入医用デバイス01を識別する画像解析ソフトウェアによるものである。
図5には示されていないが、S540は、第2の座標空間における(すなわち、超音波空間における)介入医用デバイス101のレジストレーションを微調整する前に第1の座標空間を第2の座標空間とレジストレーションするように、S550とS560(以下で説明する)との間で行われてもよい。
【0054】
[0064] 一実施形態では、ユーザは、超音波画像において介入医用デバイス101の先端を識別し、画像解析ソフトウェアは、介入医用デバイス101の残りの部分の探索を、指定された先端の周りの領域に制限する。
【0055】
[0065] 別の実施形態では、介入医用デバイス101の先端のセンサは、超音波イメージングシステム110からの放射に応答するパッシブ超音波センサである。介入医用デバイス101のセンサベース追跡は、2019年5月31日に米国特許商標庁に出願された米国仮特許出願第62/855,013号において説明されており、この米国仮特許出願の開示はその全体が参照により組み込まれる。
【0056】
[0066] 介入医用デバイス101の先端のセンサを使用する実施形態では、画像解析ソフトウェアは、介入医用デバイス101の残りの部分の探索を、センサからの信号から識別された先端の周りの領域に制限する。この制限は、ユーザによる介入医用デバイス101の先端の識別、パッシブ超音波センサからの信号に基づいた識別、又は、介入医用デバイスの先端を認識するために人工知能によって訓練された画像解析ソフトウェアからの識別に基づく。
【0057】
[0067] 別の実施形態では、介入医用デバイス101は、介入医用デバイス101からX線空間へのTOX変換により、また、超音波空間からX線空間へのTUX変換により、超音波空間に大まかにレジストレーションされる。次いで、S560において以下に説明される超音波画像ベースデバイスセグメンテーションが、画像処理アルゴリズムの探索空間を制限するための大まかな推定として介入医用デバイス101の先端を用いて、取得全体を通じて連続的に計算される。介入医用デバイス101から超音波空間への変換TOUは、各超音波フレームで計算され、超音波空間に対する介入医用デバイス101のレジストレーションは、手順の間中、連続的又は一定間隔で更新される。
【0058】
[0068] S550において、第1の座標空間を第2の座標空間とレジストレーションする。S550におけるレジストレーションは、X線イメージングシステム120を用いて超音波イメージングシステム110における超音波プローブのヘッドを撮像することによって行われる。上述したように、いくつかの実施形態では、S550は、S540の前に行われてもよい。
【0059】
[0069] S560において、介入医用デバイスのセグメント化された表現を生成するように第2の座標空間における介入医用デバイスをセグメント化する。一実施形態では、S560におけるセグメンテーションは、S540において、超音波画像において介入医用デバイス101を識別するユーザによって初期化される。画像処理アルゴリズムは、ユーザによって識別された領域において画像の介入医用デバイス101を探索する。介入医用デバイス101から超音波空間への剛体変換TOUは、超音波デバイスセグメンテーションの長さに対応する、介入医用デバイス101の遠位部分を、回転/平行移動させて、超音波空間におけるセグメント化された表現と最もよく一致するように計算される。剛体変換TOUは次いで、光学形状検知デバイス102からの再構成の長さ全体に適用される。
【0060】
[0070] S565において、例えば
図1におけるモニタ195上で、介入医用デバイス101のセグメント化された表現をレンダリングする。介入医用デバイス101のセグメント化された表現は、超音波画像にX線画像の上に重ねられ、超音波画像は次いで、X線画像の上に重ねられる。
【0061】
[0071] S570において、介入医用デバイスを超音波イメージングシステム110の第2の座標空間へレジストレーションされる。S570におけるレジストレーションは、超音波空間への介入医用デバイス101の初期のレジストレーションであるか、又は、失効した、前のレジストレーションを補正するための、介入医用デバイス101の繰り返されるレジストレーションである。
【0062】
[0072] S580において、介入医用デバイス101をX線イメージングシステム120の第1の座標空間に再レジストレーションする。S580における再レジストレーションは、失効した、前のレジストレーションを補正し、X線イメージングシステム120によるさらなる撮像を必要としない。
【0063】
[0073] 一実施形態では、介入医用デバイス101は、超音波画像における介入医用デバイス101の以前の識別から人工知能に基づいて超音波ボリュームにおいてセグメント化される。この実施形態では、ユーザ識別又はセンサからの初期化は必ずしも探索空間を制限するのに必要とされない。介入医用デバイス101から超音波空間への変換TOUは、各超音波フレームで計算され、超音波空間に対する介入医用デバイス101のレジストレーションは、手順の間中、連続的に更新される。
【0064】
[0074]
図5には示されていないが、第1の座標空間は、第1の座標空間において介入医用デバイス101のセグメント化された表現から、第2の座標空間において光学形状検知に基づいて識別された介入医用デバイス101の形状への変換を計算することによって、第2の座標空間に再レジストレーションされる。本明細書において記載される第2の組の実施形態によれば、再レジストレーションは、超音波イメージングシステム110のプローブヘッドのX線画像を必要とすることなく行われる。介入医用デバイス101がX線空間に既にレジストレーションされており、介入医用デバイス101が、形状のテンプレートに基づいて任意の超音波空間に既にレジストレーションされている場合、超音波空間は、超音波空間における介入医用デバイス101のセグメント化された表現から、X線空間における介入医用デバイス101の対応するセクションへの変換を計算することによって、X線空間にレジストレーションされる。
【0065】
[0075]
図6は、代表的な実施形態による、介入医用デバイス追跡のための方法を示す。
【0066】
[0076]
図6の方法において、介入医用デバイス101の選択を超音波イメージングシステム110の第2の座標空間において検出する。選択は、介入医用デバイス101の先端のユーザ選択である。
【0067】
[0077] S640において、介入医用デバイス101を第2の座標空間において識別する。S640における識別は、S635における選択に基づいており、画像解析ソフトウェアを用いて、ユーザが介入医用デバイス101の残りの部分について選択する場所の周りの領域を探索することを伴う。
【0068】
[0078] S645において、介入医用デバイス101の既存の位置から、セグメント化された表現への変換TOUを計算する。新たなTOU変換を用いて、超音波空間における介入医用デバイス101の以前の位置を、セグメント化された表現の新たな位置に更新することができる。
【0069】
[0079] S648において、超音波イメージングシステム110の第2の座標空間において介入医用デバイス101のセグメント化された表現に基づいて、超音波イメージングシステム110の第2の座標空間をX線イメージングシステムの第1の座標空間とレジストレーションする。このレジストレーションによって、X線空間における介入医用デバイス101の以前の位置が、例えば介入医用デバイス101の移動に起因するいかなる誤差も考慮するように更新される。
【0070】
[0080]
図6の実施形態は、
図5の実施形態の補足であり、
図5に関して説明された機能を補う機能を含む。
【0071】
[0081] 上記の
図6の実施形態の記載では、超音波空間において介入医用デバイス101の識別は、介入医用デバイス101の先端のユーザ指定に基づいている。別の実施形態では、介入医用デバイス101の既知の形状は、介入医用デバイス101の遠位先端の形状の知識を必要とすることなく、超音波空間において探索することができる。介入医用デバイス101の既知の形状の探索は、光学形状検知デバイス102からの光学形状検知信号からの情報に基づき、変換T
OUによる超音波空間への介入医用デバイス101の大まかなレジストレーションの必要性を排除する。
【0072】
[0082]
図7は、代表的な実施形態による、介入医用デバイス追跡のための方法を示す。
【0073】
[0083]
図7では、S736において介入医用デバイス101を超音波イメージングシステム110の第2の座標空間において識別する。S736における識別は、介入医用デバイス101の先端の位置を選択するユーザに基づくか、又は、介入医用デバイス101の先端のパッシブ超音波センサからの信号によるものである。
【0074】
[0084] S760において、介入医用デバイス101のセグメント化された表現を生成するように介入医用デバイス101を超音波画像においてセグメント化する。
【0075】
[0085] S770において、介入医用デバイス101を超音波イメージングシステム110の第2の座標空間にレジストレーションする。S770におけるレジストレーションは、少なくとも変換TOUに基づく。
【0076】
[0086] S780において、介入医用デバイスをX線イメージングシステム120の第1の座標空間にレジストレーションする。S780における変換は、変換TOX、TUX及びTOUの3つすべてに基づく。
【0077】
[0087]
図7の実施形態は、
図5の実施形態の補足であり、
図5に関して説明された機能を補う機能を含む。
【0078】
[0088] 上記の
図7の実施形態の説明において、超音波空間において介入医用デバイス101の識別は、介入医用デバイス101の先端のユーザ識別又はセンサ識別に基づいている。別の実施形態では、介入医用デバイス101の既知の形状は、テンプレートから、又は、光学形状検知デバイス102からの光学形状検知信号からの情報から検索することができる。介入医用デバイス101の形状のテンプレート又は知識に基づいたレジストレーションは、特に、超音波イメージングシステム110の超音波プローブがX線イメージングシステム120において検出することが困難である角度にある場合に、超音波空間とX線空間とのレジストレーションを決定又は維持するために用いることができる。介入医用デバイス101から超音波空間への変換T
OUが既知であり、介入医用デバイス101からX線空間への変換T
OXが既知であると想定すると、超音波空間からX線空間への変換T
UXは、(T
UX=inv(T
OU)
*T
OX)として大まかに求めることができる。本明細書において記載される他の実施形態におけるように、変換T
UXを繰り返し更新することによってレジストレーションを維持する実施形態は、X線へのさらなる曝露を必要としない。
【0079】
[0089]
図8は、代表的な実施形態による、介入医用デバイス追跡のための方法を示す。
【0080】
[0090]
図8において、方法は、S836において、介入医用デバイス101を第2の座標空間において識別することによって開始する。識別は、ユーザ指定に基づいて、又は、介入医用デバイス101の先端のセンサからの信号に基づいて行われる。S836における識別はまた、介入医療処置中に継続的に、オンデマンドで、周期的に、又は、以前のレジストレーションに比した介入医用デバイス101の移動の検出に基づいて行われる。
【0081】
[0091] S837において、介入医用デバイスの位置が既存のセグメント化された表現から閾値を超えてずれているかどうかの判定を行う。S837における判定は、以前のレジストレーションに比した介入医用デバイス101の移動の検出に基づく。ずれが閾値を超えない(S837=いいえ)場合、方法はS836に戻り、他の場合ではS860に進む。
【0082】
[0092] S860において、介入医用デバイス101を超音波空間においてセグメント化する。
【0083】
[0093] S870において、介入医用デバイス101をS860におけるセグメンテーションに基づいて第2の座標空間にレジストレーションする。
【0084】
[0094] S880において、第2の座標系を第1の座標系と再レジストレーションする。S880における再レジストレーションは、X線イメージングシステム120からのX線への別の曝露を必要とすることなく行われる。
【0085】
[0095] S880の後、プロセスはS836に戻る。したがって、
図8のプロセスは再帰的であり、介入医用デバイス101の位置が最後の既存のセグメント化された表現から閾値を超えてずれているかどうかを繰り返し確認することと、X線空間及び超音波空間に対する介入医用デバイス101のレジストレーションを更新することによってずれを補正することとを伴う。
【0086】
[0096]
図8の実施形態は、
図5の実施形態の補足であり、
図5に関して説明された機能を補う機能を含む。
【0087】
[0097] 上記の
図8の実施形態の記載では、超音波空間において介入医用デバイス101の識別もまた、介入医用デバイス101の先端の知識に基づく。別の実施形態では、光学形状検知とともに展開される不規則形状の治療デバイスがOSSイネーブル送達シース又はカテーテルを介して送達される。既知の不規則形状の治療デバイスが、画像ベースセグメンテーションにより、又はOSS送達シース又はカテーテルを識別することの以前のインスタンス化に適用された人工解析により、超音波空間において検出される。不規則形状の治療デバイスのセグメンテーションを用いて、超音波空間への介入医用デバイス101のレジストレーションの繰り返される更新のために超音波空間においてOSSイネーブル送達デバイスの遠位端の位置を突き止める。
【0088】
[0098] さらなる実施形態では、上述したレジストレーション方法は、自動的にトリガされる。例えば、介入医用デバイス101は、バックグラウンド処理の際、超音波空間において連続的にセグメント化される。介入医用デバイス101の既存のレジストレーションは、フレームごとに、n番目のフレームごとに、又は、介入医用デバイス101の位置と超音波空間における介入医用デバイス101のセグメント化された表現の位置との間の相関及び/又はオフセットを表す測定基準が所定の閾値を超えた場合にのみ、超音波空間における介入医用デバイス101と最もよく一致するように更新される。
【0089】
[0099] さらに、上記に記載のレジストレーション方法は、オンデマンドでトリガされる。ユーザインタフェースは、介入医用デバイス101の位置と超音波空間における介入医用デバイス101の位置との間の相関及び/又はオフセットを表す測定基準を含む。ユーザは次いで、オフセット測定基準が所望の誤差限界を超える場合、又は、ユーザが目視検査に基づいて現在のレジストレーションを更新することを望むときはいつでも、「レジストレーション更新」ソフトボタンを選択する。
【0090】
[00100] さらに、ユーザインタフェースは、レジストレーションが行われた後、レジストレーションの成功を表す測定基準を提供する。測定基準は、再レジストレーションにおける介入医用デバイス101の形状と超音波空間においてセグメント化された表現における介入医用デバイス101の形状との間の相関に関する情報を含む。代替的に、測定基準は、介入医用デバイス101の正しい形状が検出されたことの信頼水準を含む。
【0091】
[00101]
図9は、いくつかの代表的な実施形態による、介入医用デバイス追跡のための方法が実施されるコンピュータシステムを示す。
【0092】
[00102]
図9のコンピュータシステム900は、通信デバイス又はコンピュータデバイスのための完全なセットの構成要素を示す。しかしながら、本明細書に記載される「コントローラ」は、メモリとプロセッサとの組み合わせによるなど、
図9の構成要素のセットよりも少なく実施されてもよい。コンピュータシステム900は、本明細書における介入医用デバイス追跡のためのシステムにおける1つ又は複数の構成要素装置のうちのいくつか又はすべての要素を含むが、そのような装置は必ずしもコンピュータシステム900のための記載された要素のうちの1つ又は複数を含む必要はなく、記載されない他の要素を含んでもよい。
【0093】
[00103]
図9を参照すると、コンピュータシステム900は、コンピュータシステム900に、本明細書に開示される方法又はコンピュータベースの機能のうちのいずれかを行わせるように実行されることができるソフトウェア命令のセットを含む。コンピュータシステム900は、スタンドアロンデバイスとして動作してもよく、又は、例えばネットワーク901を使用して、他のコンピュータシステム若しくは周辺デバイスに接続されてもよい。実施形態では、コンピュータシステム900は、アナログ-デジタルコンバータを介して受信されたデジタル信号に基づいて論理処理を行う。
【0094】
[00104] ネットワーク化された展開において、コンピュータシステム900は、サーバクライアントユーザネットワーク環境ではサーバとして若しくはクライアントユーザコンピュータとして、又は、ピアツーピア(若しくは分散)ネットワーク環境ではピアコンピュータシステムとして動作する。コンピュータシステム900はまた、
図1Aにおけるコントローラ190、固定コンピュータ、モバイルコンピュータ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレッドコンピュータ、又は、マシンが行う行為を指定するソフトウェア命令のセット(シーケンシャルなど)を実行可能な任意の他のマシンなど、様々なデバイスとして実装又は組み込むことができる。コンピュータシステム900は、追加デバイスを含む統合システムにあるデバイスとして又はそのデバイスに組み込むことができる。一実施形態では、コンピュータシステム900は、音声、ビデオ又はデータ通信を提供する電子デバイスを使用して実装することができる。さらに、コンピュータシステム900は単数で示されているが、「システム」という用語は、1つ又は複数のコンピュータ機能を行うために、1つのセット又は複数のセットのソフトウェア命令を個別に又は共同で実行するシステム又はサブシステムの集合を含むものとする。
【0095】
[00105]
図9に示すように、コンピュータシステム900はプロセッサ910を含む。プロセッサ910は、
図1におけるコントローラ190のプロセッサ192の代表的な例と考えられ、本明細書に記載される方法及びプロセスのいくつか又はすべての態様を実施するために命令を実行する。プロセッサ910は有形であり、非一時的である。本明細書において使用される場合、「非一時的」という用語は、状態の永遠の特性としてではなく、一定の期間持続する状態の特性として解釈されるべきである。「非一時的」という用語は特に、搬送波又は信号又はいつでもどこにおいても一時的にしか存在しない他の形態の特性などの一瞬の特性を否定する。プロセッサ910は、製造品及び/又は機械部品である。プロセッサ910は、本明細書における様々な実施形態において説明される機能を行うためにソフトウェア命令を実行するように構成される。プロセッサ910は、汎用プロセッサであってもよく、又は特定用途向け集積回路(ASIC)の一部であってもよい。プロセッサ910はまた、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、コントローラ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、ステートマシン、又はプログラマブル論理デバイスであってもよい。プロセッサ910はまた、フィールドプログラマブルゲートアレイ(FPGA)などのプログラマブルゲートアレイ(PGA)、或いはディスクリートゲート及び/又はトランジスタ論理を含む別の形式の回路を含む、論理回路であってもよい。プロセッサ910は、中央処理装置(CPU)、グラフィックス処理装置(GPU)又はその両方であってもよい。さらに、本明細書において記載されるプロセッサはいずれも、複数のプロセッサ、パラレルプロセッサ又はその両方を含む。複数のプロセッサは、単一のデバイス又は複数のデバイスに含まれてもよく、又は接続されてもよい。
【0096】
[00106] 本明細書において使用される場合の「プロセッサ」という用語は、プログラム又はマシン実行可能命令を実行することができる電子構成要素を包含する。「プロセッサ」を含むコンピューティングデバイスへの言及は、マルチコアプロセッサにおけるように、1つよりも多くのプロセッサ又は処理コアを含むと解釈されるべきである。プロセッサはまた、単一のコンピュータシステム内のプロセッサの集合体、又は複数のコンピュータシステム間に分散されたプロセッサの集合体を指すことがある。コンピューティングデバイスという用語もまた、1つ又は複数のプロセッサをそれぞれ含むコンピューティングデバイスの集合体又はネットワークを含むと解釈されるべきである。プログラムは、同じコンピューティングデバイス内にあるか又は複数のコンピューティングデバイス間で分散される1つ又は複数のプロセッサによって実行されるソフトウェア命令を有する。
【0097】
[00107] コンピュータシステム900は、メインメモリ920と、スタティックメモリ930とをさらに含み、コンピュータシステム900のメモリは、バス908を介して互いに及びプロセッサ910と通信する。メインメモリ920及びスタティックメモリ930のいずれか又は両方は、
図1Bにおけるコントローラ190のメモリ191の代表的な例と考えられ、本明細書において説明される方法及びプロセッサのいくつか又はすべての態様を実施するために用いられる命令を記憶する。本明細書において説明されるメモリは、データ及び実行可能なソフトウェア命令を記憶する有形の記憶媒体であり、ソフトウェア命令がそこに記憶されている間は非一時的である。本明細書において使用される場合、「非一時的」という用語は、状態の永遠の特性としてではなく、一定の期間持続する状態の特性として解釈されるべきである。「非一時的」という用語は特に、搬送波又は信号又はいつでもどこにおいても一時的にしか存在しない他の形態の特性などの一瞬の特性を否定する。メインメモリ920及びスタティックメモリ930は、製造品及び/又は機械部品である。メインメモリ920及びスタティックメモリ930は、データ及び実行可能なソフトウェア命令をコンピュータ(例えば、プロセッサ910)が読み取ることができるコンピュータ可読媒体である。メインメモリ920及びスタティックメモリ930は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、フラッシュメモリ、電気的にプログラム可能な読み取り専用メモリ(EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、レジスタ、ハードディスク、リムーバルディスク、テープ、コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、フロッピーディスク、ブルーレイディスク、又は当該技術分野において知られている任意の形態の記憶媒体のうちの1つ又は複数として実施される。メモリは、揮発性又は不揮発性、セキュア及び/又は暗号化、非セキュア及び/又は非暗号化であってもよい。
【0098】
[00108] 「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、プロセッサに直接アクセス可能である任意のメモリである。コンピュータメモリの例として、RAMメモリ、レジスタ、及びレジスタファイルが挙げられるがこれらに限定されない。「コンピュータメモリ」又は「メモリ」への言及は、複数のメモリである場合もあると解釈されるべきである。メモリは例えば、同じコンピュータシステム内の複数のメモリでああってもよい。メモリはまた、複数のコンピュータシステム又はコンピュータデバイス間で分散される複数のメモリである。
【0099】
[00109] 示すように、コンピュータシステム900は、例えば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、フラットパネルディスプレイ、ソリッドステートディスプレイ、又は陰極線管(CRT)などの、ビデオディスプレイユニット950をさらに含む。さらに、コンピュータシステム900は、キーボード/仮想キーボード、タッチ式入力画面又は音声認識機能付き音声入力などの入力デバイス960と、マウス、タッチ式入力画面又はパッドなどのカーソル制御デバイス970とを含む。コンピュータシステム900はまた任意選択的に、ディスクドライブユニット980、スピーカ又はリモートコントロールなどの信号生成デバイス990、及び/又はネットワークインタフェースデバイス940を含む。
【0100】
[00110] 一実施形態では、
図9に示すように、ディスクドライブユニット980は、コンピュータ可読媒体982を含み、このコンピュータ可読媒体に、ソフトウェア命令984(ソフトウェア)の1つ又は複数のセットが埋め込まれる。ソフトウェア命令984のセットは、プロセッサ910によって実行されるようにコンピュータ可読媒体982から読み込まれる。さらに、ソフトウェア命令984は、プロセッサ910によって実行されると、本明細書において説明される方法及びプロセスのうちの1つ又は複数のステップを行う。一実施形態では、ソフトウェア命令984は、コンピュータシステム900による実行時に、メインメモリ929、スタティックメモリ930及び/又はプロセッサ910内にすべて又は部分的に存在する。さらに、コンピュータ可読媒体982は、ソフトウェア命令984を含むか、又は、伝播信号に応答してソフトウェア命令984を受信及び実行し、それにより、ネットワーク901に接続されたデバイスが、ネットワーク901を通じて音声、ビデオ又はデータを伝える。ソフトウェア命令984は、ネットワークインタフェースデバイス940を介してネットワーク901を通じて送信又は受信される。
【0101】
[00111] 一実施形態では、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理アレイ、及び他のハードウェア構成要素などの専用ハードウェアの実施態様は、本明細書において説明される方法のうちの1つ又は複数を実施するように構築される。本明細書において説明される1つ又は複数の実施形態は、モジュール間で及びモジュールを通じて通信することができる関連制御信号及びデータ信号とともに、2つ以上の特定の相互接続されたハードウェアモジュール又はデバイスを使用して機能を実施する。したがって、本開示は、ソフトウェア、ファームウェア、及びハードウェアの実施態様を包含する。本出願において、有形の非一時的なプロセッサ及び/又はメモリなどのハードウェアではなく、ソフトウェアのみを用いて実施される又は実施可能であると解釈されるべきものは何もない。
【0102】
[00112] 本開示の様々な実施形態によれば、本明細書において説明される方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを使用して実施される。さらに、例示的な限定されない実施形態では、実施は、分散処理、構成要素/オブジェクト分散処理、及び並列処理を含むことができる。仮想コンピュータシステム処理が、本明細書において説明される方法又は機能のうちの1つ又は複数を実施し、本明細書において説明されるプロセッサが、仮想処理環境をサポートするために使用される。
【0103】
[00113] したがって、介入医用デバイス追跡により、更新されるレジストレーションが介入医用デバイス101の位置を補正することが可能となる。しかしながら、介入医用デバイス追跡は、本明細書において説明される特定の詳細への適用として限定されず、むしろ、他のタイプの医用イメージングシステム及び介入医用デバイスが使用されるさらなる実施形態に適用可能である。
【0104】
[00114] 介入医用デバイス追跡をいくつかの例示的な実施形態を参照しながら説明したが、使用してきた言葉は、限定の言葉ではなく、説明及び例示の言葉であることが理解される。介入医用デバイス追跡の範囲及び趣旨からその態様において逸脱することなく、現在提示されている及び補正されている添付の特許請求の範囲内で変更を行ってもよい。介入医用デバイス追跡を特定の手段、材料及び実施形態を参照しながら説明したが、介入医用デバイス追跡は、開示された詳細に限定されることを意図したものではなく、むしろ、介入医用デバイス追跡は、添付の特許請求の範囲にあるようなすべての機能的に同等の構造、方法、及び使用に及ぶ。
【0105】
[00115] 本明細書において説明される実施形態の例示は、様々な実施形態の構造の一般的な理解を提供することを意図している。例示は、本明細書において説明される開示の要素及び特徴のすべての完全な説明として役立つことを意図したものではない。他の多くの実施形態は、本開示を検討すると当業者には明らかであろう。構造的及び論理的な置換及び変更が本開示の範囲から逸脱することなく行われるように、他の実施形態を本開示から利用し、派生させ得る。さらに、例示は、代表的であるにすぎず、縮尺通りに描かれていない場合がある。例示における特定の割合は誇張されている場合があり、その一方、他の割合は最小化されている場合がある。したがって、本開示及び図は、制限的ではなく例示的なものとみなされるべきである。
【0106】
[00116] 本開示の1つ又は複数の実施形態は、「発明」という用語によって、便宜上のためだけに、また、本出願の範囲を特定の発明又は発明概念に自発的に限定することを意図することなく、個別に及び/又は集合的に本明細書で言及される。さらに、特定の実施形態が本明細書において例示及び説明されているが、同じ又は同様の目的を達成するように設計された後続の配置を、示されている特定の実施形態と置き換えられることができることを理解されるべきである。本開示は、様々な実施形態の任意及びすべてのその後の適応又は変化を対象とすることを意図している。上記の実施形態と、本明細書において具体的には説明されていない他の実施形態との組み合わせは、説明を検討すると当業者には明らかであろう。
【0107】
[00117] 本開示の要約書は、米国特許法施行規則37C.F.R§1.72(b)に準拠するために提供されており、請求項の範囲又は意味を解釈又は限定するために使用されないという理解の下に提出されている。さらに、上記の「発明を実施するための形態」において、本開示の合理化のため、様々な特徴を単一の実施形態にまとめるか又は説明している可場合もある。本開示は、特許請求されている実施形態が各請求項で明示的に記載されているものよりも多くの特徴を必要とする意図を反映しているものと解釈されるものではない。むしろ、添付の特許請求の範囲が示すように、発明の主題は、開示された実施形態のいずれかの特徴のすべてよりも少ないものを対象とし得る。したがって、添付の特許請求の範囲は、「発明を実施するための形態」に組み込まれ、各請求項は、別個に特許請求される主題を定義するものとして自立している。
【0108】
[00118] 開示された実施形態の前述の説明は、いずれの当業者も本開示において説明される概念を実践することができるようにするために提供されている。したがって、上記の開示された主題は、制限的ではなく例示的とみなされるべきであり、添付の特許請求の範囲は、本開示の真の趣旨及び範囲に該当する、すべてのそのような修正、増強、及び他の実施を対象とすることを意図している。したがって、法によって許容される最大範囲まで、本開示の範囲は、添付の特許請求の範囲及びその均等物の許容可能な最も広範な解釈によって決定されるべきであり、上述の詳細な説明によって制限又は限定されないものとする。
【国際調査報告】