IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コーニンクレッカ フィリップス エヌ ヴェの特許一覧

<>
  • 特許-造影剤注入撮像 図1
  • 特許-造影剤注入撮像 図2
  • 特許-造影剤注入撮像 図3
  • 特許-造影剤注入撮像 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-04
(45)【発行日】2022-04-12
(54)【発明の名称】造影剤注入撮像
(51)【国際特許分類】
   A61B 5/055 20060101AFI20220405BHJP
   A61B 6/03 20060101ALI20220405BHJP
   G06T 7/33 20170101ALI20220405BHJP
【FI】
A61B5/055 380
A61B6/03 360Q
G06T7/33
【請求項の数】 12
(21)【出願番号】P 2019553250
(86)(22)【出願日】2018-03-29
(65)【公表番号】
(43)【公表日】2020-05-28
(86)【国際出願番号】 EP2018058152
(87)【国際公開番号】W WO2018178272
(87)【国際公開日】2018-10-04
【審査請求日】2021-03-25
(31)【優先権主張番号】17305369.5
(32)【優先日】2017-03-30
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】特許業務法人M&Sパートナーズ
(72)【発明者】
【氏名】ガウリアウ ロマーヌ イザベル マリエ‐ベルナルド
(72)【発明者】
【氏名】ハーゼ クリスチャン
(72)【発明者】
【氏名】グラス ミカエル
(72)【発明者】
【氏名】オリヴァン べスコス ハビアー
(72)【発明者】
【氏名】フローレント ラウル
【審査官】三好 貴大
(56)【参考文献】
【文献】特表2007-506531(JP,A)
【文献】特表2016-511649(JP,A)
【文献】特表2011-508620(JP,A)
【文献】特開2013-66802(JP,A)
【文献】米国特許出願公開第2015/0356753(US,A1)
【文献】米国特許出願公開第2011/0037761(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
A61B 5/00 -5/03
A61B 6/00 -6/14
G06T 7/33
(57)【特許請求の範囲】
【請求項1】
血管系の関心領域を含む2次元(2D)画像データを受信し、前記2D画像データは第1の画像取得デバイスによって得られ、
前記2D画像データに基づいて、第1の血管中心線に沿った複数の血管径を決定し、
前記関心領域の3次元(3D)画像データを受信し、前記3D画像データは第2の画像取得デバイスによって得られ、
前記3D画像データに基づいて、第2の血管中心線に沿った前記関心領域の第2のプロファイルを定める複数の第2の断面形状を決定し、
前記関心領域の拡張3Dモデルを生成し、
1つ又は複数のプロセッサと通信するディスプレイに前記拡張3Dモデルを出力する、
当該1つ又は複数のプロセッサを含む、血管系モデリングシステムであって、
前記拡張3Dモデルを生成するために、前記1つ又は複数のプロセッサは、
前記2D画像データに基づいて疑似3Dモデルを構築し、前記疑似3Dモデルは、前記第1の血管中心線に沿った前記関心領域の第1のプロファイルを定める複数の第1の断面形状を含み、前記複数の第1の断面形状は複数の円であり、前記複数の第1の断面形状のうちの第1の断面形状の各々は、前記複数の血管径のうちの対応する血管径を含み、
前記疑似3Dモデルを前記拡張3Dモデルへと変形し、
ここで、前記疑似3Dモデルを前記拡張3Dモデルへと変形するために、前記1つ又は複数のプロセッサは、前記複数の円を、前記複数の第2の断面形状となるように変形する、血管系モデリングシステム。
【請求項2】
前記2D画像データの空間解像度は、前記3D画像データの空間解像度より大きい、請求項1に記載の血管系モデリングシステム。
【請求項3】
前記1つ又は複数のプロセッサは、前記2D画像データの空間解像度を有する前記関心領域の前記拡張3Dモデルを生成する、請求項1に記載の血管系モデリングシステム。
【請求項4】
前記1つ又は複数のプロセッサは、前記拡張3Dモデルにおいて、
血管中心線データに基づく前記第2の血管中心線、
前記複数の第2の断面形状、
前記2D画像データから導出される空間解像度、又は
前記2D画像データから導出される血管中心線データに基づく前記複数の血管径
のうちの少なくとも1つを維持するための条件を含む画像レジストレーション及び画像変形技法を使用して、前記3D画像データ及び前記2D画像データを組み合わせることによって、前記関心領域の前記拡張3Dモデルを生成する、請求項1に記載の血管系モデリングシステム。
【請求項5】
前記3D画像データは、磁気共鳴映像(MRI)画像データ若しくはコンピュータ断層撮影(CT)画像データである又は、
前記2D画像データは血管造影画像データである
のうちの少なくとも1つである、請求項1に記載の血管系モデリングシステム。
【請求項6】
前記1つ又は複数のプロセッサは、
前記拡張3Dモデルを使用して血行動態シミュレーションを行い、及び
前記血行動態シミュレーションに基づいて少なくとも1つの血行動態パラメータを導出する、請求項1に記載の血管系モデリングシステム。
【請求項7】
前記1つ又は複数のプロセッサは、前記2D画像データ及び前記3D画像データに基づいて2D/3D画像レジストレーションプロセスを行って、レジストレーションされた2D及び3D画像データを作り出し、前記レジストレーションされた2D及び3D画像データに基づいて画像変形プロセスを行う、請求項1に記載の血管系モデリングシステム。
【請求項8】
血管系の関心領域を含む2次元(2D)画像データを受信するステップであって、前記2D画像データは第1の画像取得デバイスによって得られる、前記2D画像データを受信するステップと、
前記2D画像データに基づいて、第1の血管中心線に沿った複数の血管径を決定するステップと、
前記関心領域の3次元(3D)画像データを受信するステップであって、前記3D画像データは第2の画像取得デバイスによって得られる、前記3D画像データを受信するステップと、
前記3D画像データに基づいて、第2の血管中心線に沿った前記関心領域の第2のプロファイルを定める複数の第2の断面形状を決定するステップと、
前記関心領域の拡張3Dモデルを生成するステップであって、当該生成するステップは、
前記2D画像データに基づいて疑似3Dモデルを構築するステップであって、前記疑似3Dモデルは、前記第1の血管中心線に沿った前記関心領域の第1のプロファイルを定める複数の第1の断面形状を含み、前記複数の第1の断面形状は複数の円であり、前記複数の第1の断面形状のうちの第1の断面形状の各々は、前記複数の血管径のうちの対応する血管径を含む、構築するステップと、
前記複数の円を、前記複数の第2の断面形状となるように変形することを含む、前記疑似3Dモデルを前記拡張3Dモデルへと変形するステップと、
を含む、生成するステップと、
1つ又は複数のプロセッサと通信するディスプレイに前記拡張3Dモデルを出力するステップと、を有する、血管系モデリングのためのコンピュータ実施方法。
【請求項9】
前記拡張3Dモデルに対する血行動態シミュレーションを行うステップと、前記血行動態シミュレーションから血行動態パラメータを導出するステップと、をさらに有する、請求項に記載のコンピュータ実施方法。
【請求項10】
前記生成するステップは、
前記拡張3Dモデルにおいて、
前記3D画像データから導出される血管中心線データに基づく前記第2の血管中心線、
前記複数の第2の断面形状、
前記2D画像データから導出される空間解像度、又は
前記2D画像データから導出される血管中心線データに基づく前記複数の血管径
のうちの少なくとも1つを維持することを含む画像レジストレーション及び画像変形手順を使用する、請求項に記載のコンピュータ実施方法。
【請求項11】
少なくとも1つのプロセッサによって実行される時、画像処理システムを実施する、又は請求項に記載のコンピュータ実施方法のステップを実行する、コンピュータプログラム。
【請求項12】
前記1つ又は複数のプロセッサはさらに、
前記2D画像データに基づいて、2D経路を含む前記第1の血管中心線を決定し、
前記3D画像データに基づいて、3D経路を含む前記第2の血管中心線を決定し、
前記疑似3Dモデルは前記第1の血管中心線を含み、
前記疑似3Dモデルを前記拡張3Dモデルへと変形するために、前記1つ又は複数のプロセッサはさらに、前記第1の血管中心線を、前記第2の血管中心線の前記3D経路を有するように変形する、請求項1に記載の血管系モデリングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術分野は、一般的に、血管系モデリングに関する。詳細には、本技術分野は、血管系モデルの血行動態シミュレーションを通して血管系の疾患を評価することに関する。
【背景技術】
【0002】
米国特許出願公開第2015065864号は、腎動脈狭窄の非侵襲性機能評価のための方法及びシステムを開示している。医療画像データ及び流動シミュレーションを使用することによって、腎動脈狭窄の機能的及び解剖学的重症度を計算するための非侵襲的方法が提供されている。1つ又は複数の血行動態量は、血流シミュレーションに基づいて腎動脈狭窄について算出される。血流シミュレーションは、腎動脈における流入量及び流出量を算出するステップを含む。腎動脈における流れを定量化するために、腎動脈及び大動脈の患者固有の解剖学的モデルを使用して、内腔における流動情報を得るために流動画像データをマスキングする。
【0003】
米国特許出願公開第2015065864号において、腎動脈及び大動脈の患者固有の解剖学的モデルは医療画像データから抽出される。それを行うために、腎動脈は、自動腎動脈中心線抽出アルゴリズムを使用して3次元(3D)医療画像データにおいてセグメント化され得る。腎動脈中心線が抽出されると、断面輪郭は中心線のそれぞれの点において生成可能である。それぞれの中心線の点における断面輪郭によって、冠動脈におけるその点において対応する断面積が測定される。
【発明の概要】
【発明が解決しようとする課題】
【0004】
幾何学的動脈モデルの精度は、血行動態シミュレーション及び他の診断アルゴリズムの信頼できる結果にとって大きな重要性を持つ。3Dモデルは3D空間における断面形状及び位置についての情報を供給するが、3D撮像は、空間解像度の観点からいえば精度が欠如し得る。
【0005】
よって、血管系モデルの精度を向上させた血管系モデリングシステム及び方法を提供することが望まれている。精度が向上した血管系モデルを提供することによって、血行動態シミュレーションから導出されるより多くの現実的な血行動態値を可能にすることは、さらに望ましい。
【0006】
それゆえに、血管系モデリングの、改善され且つ容易にされたやり方を提供することが必要とされている。
【課題を解決するための手段】
【0007】
一般的に、本発明は、関心領域の2次元(2D)画像データ及び関心領域の3D画像データの組み合わせに基づいて、拡張3Dモデルを生成する血管系モデリングシステム及び方法を提供することを提案している。例えば、2D画像データは、一般的に、より高い空間解像度を有するが、3D空間情報が欠如しており、3D画像データは3D空間情報を有するが、一般的に、空間解像度が低くなっている。この組み合わせは、2D画像データと3D画像データとのレジストレーション、及び/又は、2D画像データから導出される少なくとも1つの特徴と3D画像データから導出される少なくとも1つの対応する特徴とのレジストレーションを伴う。例えば、特徴は、血管中心線などの血管系の特徴である。
【0008】
3D画像データ及び2D画像データ両方の特徴の組み合わせに基づいた拡張モデルを構築することは、血管解剖学のより精確な幾何学的記述をもたらす。
【0009】
本発明の目的は、独立請求項の主題によって解決され、ここでさらなる実施形態は従属請求項に組み込まれる。本発明の以下の説明される態様がまた、画像処理システム、撮像システム、医療システム、及びコンピュータ実施方法、並びに、コンピュータプログラム要素及びコンピュータ可読媒体に適用されることは、留意されるべきである。
【0010】
1つの実施形態では、血管系モデリングシステムが提供される。システムは、血管系の関心領域を含む2次元(2D)画像データ、及び関心領域の3次元(3D)画像データを受信するように構成されるデータ受信部を含む。画像処理システムは、3D画像データ及び2D画像データの組み合わせに基づいて関心領域の拡張3Dモデルを生成するように構成される。
【0011】
実施形態では、2D画像データの空間解像度は、3D画像データの空間解像度より大きい。このように、拡張3Dモデルは、2D画像データのより高い空間解像度を組み込むことができる。
【0012】
実施形態では、画像処理システムは、2D画像データから導出される血管径データに基づいて関心領域の拡張3Dモデルを生成するように構成される。2D画像データの一般的により高い空間解像度により、2D画像データから導出される直径(又は同様な意味合いで、半径)データはより高い精度を有することができる。
【0013】
実施形態では、画像処理システムは、3D画像データから導出される血管断面形状データに基づいて関心領域の拡張3Dモデルを生成するように構成される。断面形状は、3D画像データからより精確に導出可能なデータである。さらに、断面積データは断面形状からより精確に導出可能である。
【0014】
実施形態では、画像処理システムは、3D画像データから導出される血管中心線データに基づいて関心領域の拡張3Dモデルを生成するように構成される。血管中心線は、3D画像データにおける3D空間において延在するため、2D平面に沿って延在する2D中心線データより精確である。
【0015】
実施形態では、画像処理システムは、2D画像データの空間解像度を有する関心領域の拡張3Dモデルを生成するように構成される。2D画像データの空間解像度は、一般的に、3D画像データのものより大きいことで、より精確な3Dモデルが提供される。
【0016】
実施形態では、画像処理システムは、拡張3Dモデルにおいて、3D画像データから導出される血管中心線、3D画像データから導出される断面形状、2D画像データから導出される空間解像度、及び2D画像データから導出される血管径のうちの少なくとも1つを維持するための条件を含む画像レジストレーション及び画像変形技法を使用して3D画像データ及び2D画像データを組み合わせることによって、関心領域の拡張3Dモデルを生成するように構成される。
【0017】
実施形態では、3D画像データは磁気共鳴映像(MRI)画像データ又はコンピュータ断層撮影(CT)画像データである、及び/又は、2D画像データはX線血管造影画像データである。
【0018】
実施形態では、システムは、拡張3Dモデルを使用して血行動態シミュレーションを行うように、及び血行動態シミュレーションに基づいて少なくとも1つの血行動態パラメータを導出するように構成される血行動態シミュレータを含む。とりわけ、血行動態シミュレーションは、3D画像データから導出される血管中心線、3D画像データから導出される断面形状、2D画像データから導出される空間解像度、及び拡張3Dモデルに組み込まれるような2D画像データから導出される血管径に対する少なくとも1つの値に基づく。
【0019】
実施形態では、画像処理システムは、2D画像データから導出される血管中心線データ、及び血管径データに基づいて疑似3Dモデルを構築するように構成される。画像処理システムは、3D画像データから導出される、3Dモデル及び疑似3Dモデルにおける3D/3Dレジストレーション及び変形プロセスに基づいて拡張3Dモデルを生成するように構成される。例えば、2D画像データから導出されるような疑似3Dモデルの血管中心線データは、3D画像データから導出されるような、3Dモデルの血管中心線データにレジストレーションされ、且つそれに応じて変換される。
【0020】
他の実施形態では、画像処理システムは、2D画像データ及び3D画像データに基づいて2D/3D画像レジストレーションプロセスを行って、レジストレーションされた2D及び3D画像データを作り出し、レジストレーションされた2D及び3D画像データに基づいて画像変形プロセスを行うように構成される。実施形態では、2D/3D画像レジストレーションプロセスは3D及び2D画像データ上で行われ、3D血管モデル及び2D血管モデルはレジストレーションされた3D及び2D画像データにそれぞれ基づいて生成され、画像変形プロセスは互いにレジストレーションされる3D血管モデル及び2D血管モデルに基づいて行われる。
【0021】
別の実施形態では、血管系モデリングのためのコンピュータ実施方法が提供される。方法は、血管系の関心領域を含む2次元(2D)画像データ、及び関心領域の3次元(3D)画像データを受信するステップを有する。方法は、3D画像データ及び2D画像データの組み合わせに基づいて関心領域の拡張3Dモデルを生成するステップを有する。
【0022】
モデリングシステムに関して上述される特徴は、コンピュータ実施方法に適用可能である。
【0023】
さらに別の実施形態では、少なくとも1つのプロセッサによって実行される時、本明細書に説明されるような画像処理システムを実装するように適応される、又は本明細書に説明されるコンピュータ実施方法のステップを実行するように適応されるコンピュータプログラム要素が提供される。
【0024】
コンピュータプログラム要素が記憶されているコンピュータ可読媒体も提供される。
【0025】
本発明のこれらの及び他の態様は、以降に説明される実施形態から明白となり、該実施形態を参照して明らかとなるであろう。
【0026】
例示の実施形態について、以降、下記の描写図と併せて説明する。これらの図において、同様の数字は同様の要素を示す。
【図面の簡単な説明】
【0027】
図1】さまざまな実施形態による、画像処理システムを含む血管系モデリングシステムの概略図である。
図2】さまざまな実施形態による、図1の画像処理システムのさまざまなモジュール間のデータの流れを示す第1のデータフロー図である。
図3】さまざまな実施形態による、図1の画像処理システムのさまざまなモジュール間のデータの流れを示す第2のデータフロー図である。
図4】さまざまな実施形態による、血管系モデリングのためのコンピュータ実施方法を示すフローチャートである。
【発明を実施するための形態】
【0028】
以下の詳細な説明は、実際は単なる例示であり、応用及び使用を限定することは意図されていない。また、前述の技術分野、背景、簡潔な概要、又は以下の詳細な説明に提示されるいずれの表現される又は暗示される理論によっても制約されることは意図されていない。
【0029】
本明細書で使用されるように、モジュールという用語は、限定はされないが、特定用途向け集積回路(ASIC)、電子回路、1つ又は複数のソフトウェア又はファームウェアプログラムを実行するプロセッサ(共有、専用、又はグループ)及びメモリ、組み合わせ論理回路、並びに/又は説明された機能性を提供する他の適したコンポーネントを、個々に又は任意の組み合わせで含む、任意のハードウェア、ソフトウェア、ファームウェア、電子制御コンポーネント、処理論理回路、及び/又はプロセッサデバイスを指す。
【0030】
本開示の実施形態は、機能及び/又は論理ブロックコンポーネント、並びにさまざまな処理ステップの観点から本明細書において説明される。このようなブロックコンポーネントが、指定された機能を実行するように構成される、任意の数のハードウェア、ソフトウェア、及び/又はファームウェアコンポーネントによって実現されることは、理解されるべきである。例えば、本開示の一実施形態は、さまざまな集積回路部品、例えば、1つ若しくは複数のマイクロプロセッサ又は他の制御デバイスの制御下でさまざまな機能を実行する、記憶素子、デジタル信号処理素子、論理素子、又はルックアップテーブルなどを採用する。
【0031】
図1は、さまざまな実施形態に従って、画像処理システム100、ディスプレイデバイス26、2D画像取得装置30、3D画像取得装置32、及び制御モジュール90を含む血管系モデリングシステム10の概略図である。血管系モデリングシステム10は、3D画像データからの3D空間情報、3D画像データからの断面形状情報、2D画像データからの直径情報、及び2D画像データからの画像密度を保持するコンピュータ実施拡張3Dモデラを使用して、3D画像データ及び2D画像データ両方を組み合わせることによって、身体血管、例えば動脈に基づいた拡張3Dモデルを構築するように構成される。このように、3D画像データ及び2D画像データ両方の肯定的な面は、モデルが、3D画像データ単独又は2D画像データ単独のどちらかから構築される状況と比較して、血管のより精確な表現を提供する拡張3D血管モデルに組み込まれている。
【0032】
3D画像取得装置32は、体内の3D画像データを得るように構成される。1つの実施形態では、3D画像取得装置32は、患者の断面スライス画像を得、且つ患者の軸方向に連続するスライスを得るために患者及び装置32を互いに対して移動させることによって、3D画像データ40が生成可能になる。実施形態では、3D画像取得装置32は3D血管造影画像データ40を生成する。画像取得装置32として、生体磁気共鳴映像(MRI)装置が使用される、又はコンピュータX線体軸断層撮影(CAT)スキャナが使用されることは想定される。1つの例示の実施形態として、図2はCAT装置32の事例を示している。CATスキャナは一般的に、中心に穴又は短いトンネルを有するボックス状装置である。患者はトンネル内又は外に滑動する診察台に横になる。X線管及びX線検出器は、ガントリーと呼ばれる輪状部に対向して位置し、患者の周りで回転する。
【0033】
画像取得装置30は、患者の2D画像データ42を生成するように構成される。画像取得装置30は、さまざまな実施形態によるX線撮像用に構成される。画像取得装置30は、実施形態では、血管造影画像取得のために構成される。そのように、2D画像データ42は2D血管造影画像データである。示される実施形態では、画像取得装置30は、検出器及び線源を含む。具体的な実施形態では、画像取得装置30は、Cアームの一端に検出器、Cアームの他端に線源を有するCアーム構成を有する。
【0034】
ディスプレイデバイス26は、本明細書に説明されるような拡張3Dモデル及び血行動態シミュレーションの結果を提示することが可能なグラフィカルユーザインターフェース(GUI)を提示するのに適した任意のモニタ又は画面などである。
【0035】
心電図センサ70は、それぞれの心臓周期、すなわち、心拍の時間の長さを指示する心臓信号を提供するように、且つ心臓周期の段階のタイミングを特定するように構成される任意のセンサである。
【0036】
実施形態では、得られた3D画像データ40及び2D画像データ42は、画像処理システム100に提供され、ここで、とりわけ図2図4を参照して、本明細書にさらに説明されるようにさまざまな画像処理動作が行われる。一般的に、画像処理システム100は、3D幾何モデル、例えば、3D画像データ40(例えば、3D血管造影画像データ)に基づく3D血管系モデルを構築するように、且つ、2Dモデル、例えば、2D画像データ42(例えば、2D血管造影画像データ42)に基づく2D血管系モデルを構築するように構成される。3D血管系モデル(動脈モデルなど)は、一般的に、2Dモデル(1ピクセル当たり0.1~0.2mmなど)より粗い空間解像度(1ボクセル当たり約0.4mmなど)である。3Dモデルは、偏心情報及び3D幾何学情報を有するが、2Dモデルは、走査された血管についてのより詳細な空間解像度及びより精確な直径情報を有する。画像処理システム100は、3D幾何モデル及び2Dモデルを組み合わせるように、且つ拡張3Dモデルを生成するように構成される。拡張3Dモデルは、2D画像データ42の高解像度の利点を低解像度の3D画像データ40からの深さ/幾何学情報と組み合わせる。より詳細には、拡張3Dモデルは、本明細書により詳細に説明されるように、3Dモデルからの血管偏心情報、及び3D空間における場所についての情報(例えば、中心線情報)、及び2Dモデルからの空間解像度及び直径情報を保持するために生成される。画像処理システムは、いくつかの実施形態では、拡張3Dモデルに基づいて血行動態シミュレーションを実行するように構成され、少なくとも1つの血行動態値は、圧力比など、シミュレーションから導出される。圧力比は、拡張3Dモデルの拡張された性質により、より信頼できるものになる(例えば、それによって、シミュレーションは、3D画像データ40からの偏心情報及び2D画像データ42からの精確な直径情報を考慮に入れることができる)。
【0037】
画像処理システム100は、少なくとも1つのプロセッサ14、及びコンピュータ可読記憶デバイス、メモリ、又は媒体20を含む。プロセッサ14は、任意の特注の又は市販のプロセッサ、中央処理装置(CPU)、グラフィック処理ユニット(GPU)、画像処理システム100と関連付けられたいくつかのプロセッサの間の補助プロセッサ、(マイクロチップ又はチップセットの形態の)半導体ベースマイクロプロセッサ、マクロプロセッサ、これらの任意の組み合わせ、又は一般的には、命令を実行するための任意のデバイスとすることができる。コンピュータ可読記憶デバイス、メモリ、又は媒体20は、例えば、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、及びキープアライブメモリ(KAM)における揮発性及び不揮発性ストレージを含む。KAMは、プロセッサ14の電源が切られている間にさまざまな動作変数を記憶するために使用される永続又は不揮発性メモリである。コンピュータ可読記憶デバイス、メモリ、又は媒体20は、PROM(プログラマブル読み出し専用メモリ)、EPROM(電気的PROM)、EEPROM(電気的消去可能PROM)、フラッシュメモリ、又は、データを記憶可能な任意の他の電気、磁気、光、又は組み合わせメモリデバイスなどのいくつかの既知のメモリデバイスのいずれかを使用して実装される。ここでのデータのいくつかは、血管系モデリングシステム10を制御する際に画像処理システム100によって使用される実行可能命令を表す。命令は、本明細書にさらに説明されるように、図1の画像処理システム100のモジュール90、図2及び図3のデータフロープロセス、及び図4の方法を実行するように構成される。
【0038】
命令は、1つ又は複数の別個のプログラムを含み、これらのそれぞれは、論理機能を実施するための実行可能命令の順序リストを含む。命令は、プロセッサ14によって実行される時、画像取得装置30、32から画像を受信し且つ処理し、画像処理システム100のモジュール90を自動的に制御するための論理、算出、方法、及び/又はアルゴリズムを実行し、及び、血行動態シミュレータ22及びディスプレイデバイス60に対する制御信号を生成する。とりわけ、命令は、2D画像データ42のより高い空間解像度、及び3D画像データ40からの偏心及び中心線情報を組み合わせる拡張3Dモデルを生成するように動作可能であり、この拡張3Dモデルは、さまざまな実施形態において、ディスプレイデバイス26上で変位し、且つ血行動態シミュレータ22において使用される。1つの画像処理システム100のみが図1に示されているが、血管系モデリングシステム10の実施形態は、任意の適した通信媒体又は通信媒体の組み合わせ上で通信し、画像を処理し、論理、算出、方法、及び/又はアルゴリズムを実行し、及び制御信号を生成して血管系モデリングシステム10の特徴を自動的に制御するように協働する任意の数の画像処理システム100を含むことができる。
【0039】
さまざまな実施形態において、汎用コンピュータなどの画像処理システム100は、画像取得装置30、32に動作可能に接続され、3D画像データ40及び2D画像データ42を得るために走査を行うための画像取得装置30、32の動作を制御し、及び、画像取得装置30、32からの画像データ40、42を処理する。処理された画像は、いくつかの実施形態では、拡張3Dモデルの形態の血管系モデリングシステム10のディスプレイデバイス26上に提示される。
【0040】
画像処理システム100は、2D画像データ40及び3D画像データ42を受信し、2Dモデル及び3Dモデルを生成し且つ組み合わせて、拡張3Dモデルを提供し、且つ拡張3Dモデル上で血行動態シミュレーションを表示及び/又は実行するために、本明細書に説明される血管系モデリングシステム10、データフロー、及び方法200を実行するためのいくつかのモジュール90を含む。本明細書に説明されるモジュール90は、少なくとも1つのプロセッサ14、メモリ20、及び、モジュール90に関して説明されるさまざまな機能及びプロセスを実施するためにメモリ20に記憶されるコンピュータプログラム命令を含む。別個のモジュール90は特定の機能に対して本明細書に説明されているが、これは統合されたトポロジを除外するものではない。さらに、示されるモジュール90は、さらなるサブモジュールに分割される場合がある。モジュール90は、本明細書に説明される特徴、プロセス、及びシステムを実施するために必要に応じて互いに通信する。
【0041】
モジュール90について、それぞれのモジュール90の例示の機能及び効果を示すために、第1の実施形態として図2のデータフロー図を参照して、及び、第2の例示の実施形態として図3のデータフロー図を参照してさらに説明する。ある特定のモジュールは、3Dモデラ18、2Dモデラ16、血行動態シミュレータ22、拡張3Dモデラ24、及びデータ受信部12を含んで、第1の実施形態及び第2の実施形態両方に共通である。これらは、図2及び図3におけるそれぞれの代替的な例示の実装形態の具体的な態様を論じる前に、第1の実施形態と第2の実施形態との間で共通の機能性を有する限り、最初に説明されるものになる。
【0042】
データ受信部12は、3D画像データ40及び2D画像データ42を受信するように構成される。画像データ40、42は、1つの実施形態では、患者の血管造影を表す。データ受信部12は、2Dモデラ16及び3Dモデラ18を含む画像処理システム100のさまざまな他のモジュールに画像データ40、42をルーティングするように構成される。
【0043】
2Dモデラ16及び3Dモデラ18は、それぞれ、2D画像データ42及び3D画像データ40に基づいて2Dモデル51、68及び3Dモデル50、66をそれぞれ生成するように構成される。実施形態では、2D画像データ42及び3D画像データ40は、同じ検査間隔で画像取得装置30、32によって得られ、いくつかの実施形態では、同じ心臓状態である。モデラ16、18は、任意の手動の又は自動的なセグメンテーションアプローチによって幾何学的血管系(例えば、動脈)モデル50、51、66、68を計算するように構成される。例示のモデル計算方法は、Lesage、D.、Angelini、E.D.、Bloch、I.、&Funka-Lea、G.(2009)、A review of 3D vessel lumen segmentation techniques: Models, features and extraction schemes、Medical image analysis、13(6)、819~845に説明されている。モデラ16、18による血管セグメンテーション及びモデリングはそれ自体が、当業者に既知である。
【0044】
拡張3Dモデラ24は、後述されるように、図2及び図3の第1の実施形態及び第2の実施形態について例示の具体的内容において異なっているが、共通の特徴がいくつかある。拡張3Dモデラ24は拡張3Dモデル54を生成するように構成される。拡張3Dモデラ24は、いくつかの実施形態では、拡張3Dモデル54を生成するために2Dモデル51、68及び3Dモデル50、66から幾何学的データ又は特徴を導出するように構成される。1つの例では、拡張3Dモデラ24は、1つ若しくは複数の条件又は制約を含むモデル生成アルゴリズムを動作させるように構成されることで、下記のデータ項目:2D画像データ40からの直径についての情報、3D画像データ42(例えば、血管断面における偏心データ)からの断面形状、2D画像データ42の空間解像度、及び3D画像データ40からの3D血管場所データ(例えば、中心線データ)のうちの少なくとも1つは、拡張3Dモデル54において保持される。このような制約は、いくつかの実施形態では、拡張3Dモデラ24に対するモデリングコードに組み込まれている。
【0045】
血行動態シミュレータ22は、拡張3Dモデル54を受信するように、血行動態シミュレーションを実行するように、及び血行動態シミュレーションから血行動態データ値300を導出するように構成される。血行動態データ値300は、1つの実施形態では、冠動脈疾患などの血管疾患の分類のための狭窄にわたる圧力比である。例えば、血行動態データ値300は、冠動脈狭窄にわたる推定される圧力差に対応する血流予備量比の値である。偏心血管セグメントにおける可変の流れプロファイルをシミュレーションすることを含む、拡張3D血管系モデル54における血流をシミュレーションする任意の血行動態シミュレーションを行うことができる。血行動態シミュレータ22は、1つの実施形態では、拡張3Dモデル54における血流をシミュレーションするための計算流動力学アルゴリズムを実行するように構成される。1つの例示の血行動態シミュレーションは、Jun-Mei Zhangらによる、VioMed Research International、Volume 2014(2014)、Article ID 514729、Numerical Simulation and Clinical Implications of Stenosis in Coronary Blood Flowにおいて開示されている。
【0046】
実施形態では、造影剤注入は、ある特定の画像102がコントラスト拡張画像103になるように行われる。すなわち、画像102のストリーム内の一連の画像104はコントラスト拡張画像104になる。造影剤注入の一時的性質は、コントラスト拡張画像104の前に受信される隣接する画像102、及びコントラスト拡張画像104の後に受信される隣接する画像102がコントラスト拡張されないことを意味する。しかしながら、途切れないコントラスト拡張画像104群は、血管を照明する目的で特定可能である。造影剤は、さまざまな実施形態では、バルーン器具、ガイドワイヤ、又は他の器具が移動可能に延在する介入用具44のカテーテルを通して注入される。造影剤は、例示の実施形態によると、造影剤注入が少なくとも1心拍の間続くことを徹底させるためにゲート付き造影剤コントローラ64によって制御されるポンプを使用して注入される。
【0047】
造影剤検出器20は、画像102のストリームのそれぞれの画像を受信するように、及び画像102内又はこの定められた部分内のコントラスト拡張画像104を自動的に検出するように構成される。造影剤検出器20は、造影剤を含むとして特定されているような画像104をグループ分けし、且つコントラスト拡張画像104を画像抽出部22に渡す。それに応じて、造影剤検出器20は、造影剤を含有する画像フレーム104を特定し、且つそれらを造影剤パフを表す一時的なクラスタにグループ分けするように構成される。造影剤検出器20は、コントラスト拡張画像104を通すことを可能にし、且つコントラスト拡張されていると特定されない画像102を除去する画像フィルタとみなすことができる。
【0048】
コントラスト拡張画像104を自動的に検出するためのさまざまな可能性がある。一般的に、造影剤検出器20は、画像処理技法を使用してコントラスト拡張画像104を特定するように構成される。1つの可能性は、画像において造影剤の存在を指示する(画像の平均輝度、又は輝度が最大輝度の定められたパーセンテージ、例えば20%より小さい画像の表面など)、又は、画像において血管の可視性を指示する(画像の平均隆起などであり、ここで隆起は血管を拡張する細長いフィルタに対する反応である)少なくとも1つのパラメータに関して画像を監視することである。少なくとも1つのパラメータの増大、例えば、所定の閾値を超える増大は、この要件を満たす画像がコントラスト拡張画像104であることを指示するために使用される。別の可能性は、画像シーケンスのそれぞれのフレームにおいて血管セグメントを検出することを含む画像処理技法を使用し、且つ蛍光透視画像シーケンスのそれぞれのフレームにおける検出された血管セグメントに基づいて蛍光透視画像シーケンスに対するスコアベクトルを判断することである。造影剤注入は、スコアベクトルに基づいて蛍光透視画像シーケンスに存在するかが判断される。この可能性についてのさらなる情報は、米国特許出願公開第2012230558号において見出される。他の可能性は、非コントラスト拡張画像からコントラスト拡張画像104を特定するためにニューラルネットワークをトレーニングすることによる深層学習を使用することを含む。
【0049】
画像処理システム100のモジュール90の一般的な特徴を論述することで、第1の実施形態及び第2の実施形態に対する例示の詳細な実装形態について説明する。
【0050】
図2の例示の第1の実施形態では、疑似3Dモデラ58はモジュール90に組み込まれる。疑似3Dモデラ58は、2Dモデル自体、又は2Dモデル51から導出されるデータ44、46を受信するように構成される。疑似3Dモデラ58は、3Dモデル50から導出されるデータ48を受信するように構成される。
【0051】
疑似3Dモデラ58は、データ44、46から及び/又は2Dモデル51から疑似3Dモデルを生成するように、及び、2Dモデル51から、例えば中心線データ44に基づく中心線を、3Dモデルから、例えば3D中心線データ48に基づく中心線とレジストレーションして、3D中心線48に基づく3D経路に従うように2D中心線44を変形するように構成される。疑似3Dモデラ58は、疑似3Dモデル52を生成するために、レジストレーションされた中心線を2Dモデルからの直径/半径データ46と組み合わせるように構成される。疑似3Dモデル52は、2D画像データ42/2Dモデル51の空間解像度におけるものであり、より高い空間解像度における2D画像データ42/2Dモデル51からの精確な半径/直径データを含む。さらに、疑似3Dモデル52は、3Dモデルからの(中心線データ48に基づく)3D位置データを含む。疑似3Dモデル54は、2D直径データ46におけるそれぞれの直径読み取りに対する円形断面の想定を行う。
【0052】
図2の例示の第1の実施形態では、拡張3Dモデラ24は、疑似3Dモデル52の断面プロファイルを変形して3Dモデラ18からの3Dモデル50の断面形状をマッチさせる又は実質的にマッチさせる一方、疑似3Dモデル52の直径の変化を最小化するために制約(正規化項)を含むように構成される。このように、拡張3Dモデル54は、2Dモデル51の空間解像度で、2Dモデル51からの直径を有し、3Dモデル50からの偏心を有し、及び3Dモデル50からの中心線に従うように生成される。実施形態では、拡張3Dモデラ24は、局部断面形状変形、及び疑似3Dモデル52に対する断面形状偏差を制御する正規化項によって、疑似3Dモデル52及び3Dモデル50に対する3D/3Dレジストレーション及び変形画像処理手順を使用するように構成される。拡張3Dモデラ24の目標は、疑似3Dモデル52を変形することで、その断面形状が、3Dモデル50によって与えられる情報とさらにもっと一致するが、2Dモデル51から生じる直径値を変え過ぎないようにすることである。1つの例示の実施形態では、レジストレーション及び変形手順は、直径変化の程度の制御を可能にする具体的な条件(正規化項)を有する変分フレームワーク(エネルギー最小化方程式)において表される。
【0053】
図3の例示の第2の実施形態では、モジュール90は、2D画像データ42及び3D画像データ40に対して画像レジストレーション手順を行って、レジストレーションされた3D画像データ62及びレジストレーションされた2D画像データ64を作り出すように構成されるレジストレーションモジュール60を含む。レジストレーション手順は、非剛体(すなわち、弾性)レジストレーション画像処理アルゴリズムである。Markeljらによる、Med Image Anal、2012年4月、16(3):642~61、A review of 3D/2D registration methods for image-guided interventionsに論述されるように、レジストレーションモジュール60において3D及び2Dレジストレーションを行うための多くのやり方がある。
【0054】
2Dモデラ16及び3Dモデラ18は、レジストレーションされた2Dモデル66及びレジストレーションされた3Dモデル68を作り出すために、レジストレーションされた2D画像データ64及びレジストレーションされた3D画像データ62においてそれぞれ動作するように構成される。モデラ16、18は、例えば、これまでに説明したように、画像セグメンテーションプロセスを実行するように構成される。実施形態では、3Dモデラは、レジストレーションされた2Dモデル68と同じ解像度でレジストレーションされた3Dモデル66を構築するように構成される。レジストレーションされた3Dモデル66の解像度を増大させることは、画像解像度修正アルゴリズムを使用することによって行われる。例えば、メッシュ型3Dモデルの場合、メッシュ密度は、2D画像データの解像度にマッチするように3D画像データ40の解像度より高くなるように設定される。
【0055】
拡張3Dモデラ24は、レジストレーションされた3Dモデル66を変形してレジストレーションされた2Dモデル68に合うように(又は逆も同様に)構成される。拡張3Dモデラ24によって実行される変形手順は、拡張3Dモデル54が2Dモデル68の空間解像度を有し(3Dモデル66はその解像度で制約されるため)、2Dモデル68の直径を有し、3Dモデル66からの断面形状(例えば、偏心)を有し、及び、3Dモデルに従って3Dで空間的にレジストレーションされて(例えば、3D画像データ40からの血管中心線を有して)生成されるように、正規化項又は制約を含む。このように、2D及び3D画像モダリティの有利な態様は、拡張3Dモデル54において統合される。
【0056】
ここで図4を参照し、且つ図1図3を続けて参照すると、フローチャートは、本開示による、図1の血管系モデリングシステム10によって行われ得る血管系モデリングのためのコンピュータ実施方法200を示している。本開示を考慮して理解できるように、方法の範囲内の動作の順序は、図4に示されるような順次実行に限定されず、該当する場合1つ又は複数の変化する順序において、及び本開示に従って行われる。さまざまな実施形態では、方法200は、1つ又は複数の所定のイベントに基づいて実行するようにスケジューリングできる、及び/又は血管系モデリングシステム10の動作中に連続して実行できる。
【0057】
コンピュータ実施方法200は、3D画像データ40を受信するステップ202を有する。3D画像データ40は3D画像取得装置32によって生成される。3D画像データ40は、さまざまな実施形態におけるMRI又はCT血管造影画像データである。コンピュータ実施方法200は2D画像データ42を受信するステップ204を有する。2D画像データは2D画像取得装置30によって生成される。2D画像データ42はさまざまな実施形態における血管造影画像データである。2D画像データ42は3D画像データ40より高い(精細な)空間解像度におけるものである。受信するステップ202、204は、データ受信部12を通して行われる。実施形態では、単一血管レベルは受信された画像データ40、42に含まれる、又は動脈ツリーが含まれる。受信された画像データ40、42は、同じ位置で開始し且つ終了する、又はそうするためにクロッピングされる。
【0058】
コンピュータ実施方法200は、3Dモデル50、66を構成するステップ206を有する。コンピュータ実施方法200は、2Dモデル51、68を構成するステップ208を有する。ステップ206、208は2Dモデラ16及び3Dモデラ18を通して行われる。モデル50、51、66、68は、少なくとも1つの関心血管を抽出するために画像セグメンテーションプロセスを使用して構成される。
【0059】
ステップ210では、2Dモデル51、68、及び3Dモデル50、66は、拡張3Dモデル54を構成するために組み合わせられる。組み合わせのステップは、少なくとも拡張3Dモデラ24を含む画像処理システム100によって行われる。拡張3Dモデル54は、2D画像データ42/モデル51、68からの血管の直径データを維持するように、2D画像データ42/モデル51、68の空間解像度を維持するように、3Dモデル50、66の血管の断面形状(例えば偏心)を維持するように、及び/又は3Dモデル50、66の血管の空間的位置を維持するように構成される正規化項を含む2Dモデル51、68及び3Dモデル50、66に基づいて画像変形手順を使用して生成される。
【0060】
図2を参照して説明されるような第1の例示の実施形態では、ステップ210は、2Dモデル51からの2D中心線44を3Dモデル50の3D中心線48にレジストレーションし、且つレジストレーションされた2D中心線に沿った円形断面として2Dモデル51からの直径を使用することによって、2Dモデル51を疑似3Dモデル52に変換することを有する。さらに、ステップ210は、拡張3Dモデル54を構成するために疑似3Dモデル51及び3Dモデル50をレジストレーションすることを有する。レジストレーションプロセスは、局部変形、及び、疑似3Dモデル52の形状偏差を制御する正規化項による3D/3Dレジストレーション手順を使用して実行される。
【0061】
図3を参照して説明されるような第2の例示の実施形態では、ステップ210は、2Dモデル66及び3Dモデル68を構築するステップ206、208の前に、非剛体変形を使用して3D画像データ40及び2D画像データ42をレジストレーションすることを有する。さらに、2D血管モデル68及び3D血管モデル66は、3Dモデル66を変形して2Dモデル68に合うようにすることによって拡張3Dモデル54を入手するために組み合わせられる。
【0062】
コンピュータ実施方法200は、血行動態シミュレーションを行うステップ212を有する。ステップ212は血行動態シミュレータ22を通して実行される。血行動態シミュレーションは計算済み流体力学的シミュレーションを実行することを含む。シミュレーションによって、ステップ214において少なくとも1つの血行動態パラメータが得られる。実施形態では、血行動態パラメータは狭窄における血流予備量比(FFR)測定値である。
【0063】
拡張3Dモデル54は、2D撮像及び3D撮像のうちの1つのみからしか生じないモデルより多い情報を考慮に入れるようにより多くの現実的な血行動態値を提供することができる。また、(例えば、正確な3D曲率を有する)血管モデル54のより直観的な3D視覚化はディスプレイデバイス26を通して利用可能である。さらにまた、拡張3Dモデル54は、血行動態性質(例えば、偏心血管セグメントにおける可変の流れプロファイル)を提供するが、これは、血管の2D投影のみが使用される場合、不可能である。
【0064】
本発明の別の例示の実施形態では、適切な処理システム上で、先の実施形態のうちの1つによる方法の、方法のステップを実行するように適応されることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
【0065】
コンピュータプログラム要素は従って、本発明の一実施形態の一部でもあるコンピュータユニット上に記憶される。このコンピューティングユニットは、上述される方法のステップを行うように適応される、又は行うように誘導する。さらに、上述される機器のコンポーネントを動作させることが適応される。コンピューティングユニットは、ユーザの指令を自動的に動作させる及び/又は実行するように適応可能である。コンピュータプログラムは、データプロセッサの作業メモリにロードされる。データプロセッサはよって、本発明の方法を実行するために備え付けられる。
【0066】
本発明のこの例示の実施形態は、本発明を最初から使用するコンピュータプログラム、及び、更新によって、既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラム両方を包含する。
【0067】
さらに続けて、コンピュータプログラム要素は、上述されるような方法の例示の実施形態の手順を履行するために全ての必要なステップを提供することができる。
【0068】
本発明のさらなる例示の実施形態によると、CD-ROMなどのコンピュータ可読媒体が提示され、ここで、コンピュータ可読媒体にはコンピュータプログラム要素が記憶され、このコンピュータプログラム要素は先の節で説明されている。
【0069】
コンピュータプログラムは、他のハードウェアと共に又はこれの一部として供給される光記憶媒体又はソリッドステート媒体などの適した媒体上に記憶される及び/又は分散されるが、インターネット又は他の有線若しくは無線電気通信システムなどを介して他の形態で分散される場合もある。
【0070】
しかしながら、コンピュータプログラムはまた、World Wide Webのようなネットワーク上で提示され、このようなネットワークからデータプロセッサの作業メモリにダウンロード可能である。本発明のさらなる例示の実施形態によると、コンピュータプログラム要素をダウンロードするのに利用可能にするための媒体が提供され、このコンピュータプログラム要素は、本発明の先述された実施形態のうちの1つによる方法を実行するように配置される。
【0071】
本発明の実施形態が種々の主題に関して説明されていることは、留意されなければならない。とりわけ、いくつかの実施形態は、方法タイプの請求項に関して説明されるのに対し、他の実施形態はデバイスタイプの請求項に関して説明されている。しかしながら、当業者は、上記の及び以下の説明から、別段記されていない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、種々の主題に関する特徴間の任意の組み合わせも、この応用と共に開示されていると考えられることを推測するであろう。しかしながら、特徴の簡易な要約を超える相乗効果を提供する全ての特徴を組み合わせることができる。
【0072】
少なくとも1つの例示的な実施形態が前述の詳細な説明に提示されているが、莫大な数の変形が存在することは理解されるべきである。また、例示の実施形態(単数又は複数)は、単なる例であり、いかなる場合においても本開示の範囲、適用可能性、又は構成を限定することは意図されていないことは理解されるべきである。むしろ、前述の詳細な説明は、当業者に、例示の実施形態(単数又は複数)を実施するための便利な手引きを与えるものになる。添付の請求項及びこの合法的な等価物に示される本開示の範囲から逸脱することなく、要素の機能及び配置においてさまざまな変更を行うことが可能であることは、理解されるべきである。
【0073】
特許請求の範囲において、単語「備える」は他の要素又はステップを除外するものではなく、単数形は複数を除外するものではない。単一のプロセッサ又は他のユニットは請求項に列挙されるいくつかの項目の機能を果たす。単に、ある特定の方策が相互に異なる従属請求項に列挙されるという事実は、これらの方策の組み合わせを、利益をもたらすように使用できないことを指示するものではない。特許請求の範囲におけるいずれの参照符号も、この範囲を限定すると解釈されるべきではない。
図1
図2
図3
図4