知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-20
(45)【発行日】2024-11-28
(54)【発明の名称】時間分解血管造影
(51)【国際特許分類】
A61B 6/00 20240101AFI20241121BHJP
A61B 6/50 20240101ALI20241121BHJP
【ＦＩ】
A61B6/00 550A
A61B6/00 560
A61B6/50 500B
A61B6/50 511E
【請求項の数】
15
(21)【出願番号】P 2024526463
(86)(22)【出願日】2022-11-03
(65)【公表番号】
(43)【公表日】2024-10-31
(86)【国際出願番号】 EP2022080747
(87)【国際公開番号】W WO2023083700
(87)【国際公開日】2023-05-19
【審査請求日】2024-05-02
(31)【優先権主張番号】63/277,740
(32)【優先日】2021-11-10
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】21218341.2
(32)【優先日】2021-12-30
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100122769
【弁理士】
【氏名又は名称】笛田 秀仙
(74)【代理人】
【識別番号】100163809
【弁理士】
【氏名又は名称】五十嵐 貴裕
(74)【代理人】
【識別番号】100145654
【弁理士】
【氏名又は名称】矢ヶ部 喜行
(72)【発明者】
【氏名】サレヒ レイリ
(72)【発明者】
【氏名】シンハ アユシ
(72)【発明者】
【氏名】エルカンプ ラモン クイド
(72)【発明者】
【氏名】トポレック グジェゴシュ アンジェイ
(72)【発明者】
【氏名】パンセ アシシュ サッタヤヴラット
【審査官】遠藤 直恵
(56)【参考文献】
【文献】米国特許出願公開第２０１１／１８２４９２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／０００５６４３（ＵＳ，Ａ１）
【文献】国際公開第２０２０／１４６９０５（ＷＯ，Ａ１）
【文献】国際公開第２０２１／１０２４０８（ＷＯ，Ａ１）
【文献】UNERI A. et al.，3D-2D registration fo r surgical guidance: effect of projection view angles on registration accuracy，PHYSICS IN MEDICINE AND BIOLOGY，2013年12月19日，vol. 59, no. 2，pages 271-287，DOI: 10.1088/0031-9155/59/2/271
【文献】TAEYONG Park et al.，Rapid and Accura te Registration Method between Intraoperative 2D XA and Preoperative 3D CTA Imag es for Guidance of Percutaneous Coronary Intervention，COMPUTATIONAL AND MATHE MATICAL METHODS IN MEDICINE，2019年08月22日，vol. 2019，pages 1-12，http://downloads.hindawi .com/journals/cmmm/2019/3253605.pdf，DOI: 10.1155/2019/3253605
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ６／００－６／５８
(57)【特許請求の範囲】
【請求項1】
関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供するコンピュータ実施方法であって、前記関心領域を表す体積画像データを受信するステップと、
前記関心領域を通る前記造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンスを受信するステップと、
前記体積画像データ、および前記２Ｄ血管造影画像の時間的シーケンスをニューラルネットワークに入力するステップと、
前記入力に応答して、前記関心領域を通る前記造影剤の流れを表す前記予測された３Ｄ血管造影画像の時間的シーケンスを生成するステップと、
を有し、
前記ニューラルネットワークは、前記２Ｄ血管造影画像の時間的シーケンスから前記３Ｄ血管造影画像の時間的シーケンスを予測し、前記体積画像データによって前記予測された３Ｄ血管造影画像の時間的シーケンスを制約するように訓練される、
コンピュータ実施方法。
【請求項2】
前記体積画像データは、前記関心領域を表す３Ｄ血管造影画像、または
前記関心領域を通る前記造影剤の基準の流れを表す３Ｄ血管造影画像の時間的シーケンス、
を有する、請求項１に記載のコンピュータ実施方法。
【請求項3】
前記関心領域を通る前記造影剤の流れを表す予測された合成２Ｄ血管造影画像の時間的シーケンスを提供するために、前記予測された３Ｄ血管造影画像の時間的シーケンスをＸ線撮像システムのＸ線検出器の仮想平面上に投影するステップ、をさらに有する、 請求項１または請求項２に記載のコンピュータ実施方法。
【請求項4】
前記投影するステップは、前記関心領域に対する前記Ｘ線撮像システムのＸ線源及び前記Ｘ線検出器の向きで前記Ｘ線撮像システムの前記Ｘ線検出器の前記仮想平面上に前記予測された３Ｄ血管造影画像の時間的シーケンスを投影することを含み、前記予測された合成２Ｄ血管造影画像の時間的シーケンスは、前記受信された２Ｄ血管造影画像の時間的シーケンスに対する前記関心領域の異なるビューを表す、請求項３に記載のコンピュータ実施方法。
【請求項5】
前記関心領域を通る前記造影剤の流れを表す２Ｄ血管造影画像の第２の時間的シーケンスを受信するステップであって、前記２Ｄ血管造影画像の第２の時間的シーケンスは、前記２Ｄ血管造影画像の時間的シーケンスに対する前記関心領域の異なるビューを表す、ステップと、前記２Ｄ血管造影画像の第２の時間的シーケンスを前記ニューラルネットワークに入力するステップと、
前記入力に応答して、前記２Ｄ血管造影画像の第２の時間的シーケンスにさらに基づいて前記予測された３Ｄ血管造影画像の時間的シーケンスを生成するステップと、
をさらに有し、
前記ニューラルネットワークは、前記関心領域を通る前記造影剤の流れの異なるビューを表す２Ｄ血管造影画像の２つの時間的シーケンスから前記３Ｄ血管造影画像の時間的シーケンスを予測し、前記体積画像データによって前記予測された３Ｄ血管造影画像の時間的シーケンスを制約するように訓練される、
請求項１に記載のコンピュータ実施方法。
【請求項6】
前記予測された３Ｄ血管造影画像の時間的シーケンスの信頼値を計算するステップ、をさらに有する、請求項１に記載のコンピュータ実施方法。
【請求項7】
前記信頼値は、前記受信された体積画像データと前記予測された３Ｄ血管造影画像との間の差を表す第１の損失関数の値を決定すること、および／または
前記入力された２Ｄ血管造影画像の検出器平面に対応する仮想検出器平面上に前記予測された３Ｄ血管造影画像を投影することによって生成された合成投影画像と、前記入力された２Ｄ血管造影画像との間の差を表す第２の損失関数の値を決定すること、および／または
前記予測された３Ｄ血管造影画像が基づく１つまたは複数の係数の位置を示す注意マップを生成し、前記注意マップと前記関心領域の位置との間の差を決定すること、および／または
前記予測された３Ｄ血管造影画像を生成するために使用された前記２Ｄ血管造影訓練画像の時間的シーケンスの総数を計算すること、
によって計算される、請求項６に記載のコンピュータ実施方法。
【請求項8】
前記３Ｄ血管造影画像中の前記関心領域の範囲を示すユーザ入力を受信するステップ、および／または前記２Ｄ血管造影画像中の前記関心領域の範囲を示すユーザ入力を受信するステップ、および／または
前記予測された３Ｄ血管造影画像の時間的シーケンスに対する時間分解能を示すユーザ入力を受信するステップ、および／または
前記予測された３Ｄ血管造影画像の時間的シーケンスに対する時間的ウィンドウを示すユーザ入力を受信するステップ、および／または
それぞれ、前記３Ｄ血管造影画像中の前記関心領域の前記示された範囲に対応する、および／または前記２Ｄ血管造影画像中の前記関心領域の前記示された範囲に対応する、および／または前記示された時間分解能を有する、および／または前記示された時間的ウィンドウ内の前記予測された３Ｄ血管造影画像の時間的シーケンスを出力するステップ、
をさらに有する、 請求項１乃至７のいずれか一項に記載のコンピュータ実施方法。
【請求項9】
前記体積画像データは、前記関心領域への介入装置の挿入前に生成された術前データを表し、前記受信された２Ｄ血管造影画像の時間的シーケンスは、前記関心領域への前記介入装置の挿入中に生成された術中データを表し、前記体積画像データにおける前記関心領域を通る造影剤の流れは、前記受信された２Ｄ血管造影画像の時間的シーケンスにおける前記関心領域を通る前記造影剤の流れとは異なる、請求項１乃至８のいずれか一項に記載のコンピュータ実施方法。
【請求項10】
前記ニューラルネットワークは、前記入力された２Ｄ血管造影画像の時間的シーケンス内の前記画像について、前記介入装置を使用して完了された前記関心領域に対する介入処置の割合を予測するように訓練され、前記予測された３Ｄ血管造影画像の時間的シーケンスについて完了した前記関心領域に対する前記介入処置の割合を出力するステップ、
をさらに有する、請求項９に記載のコンピュータ実施方法。
【請求項11】
前記ニューラルネットワークは、複数の患者の各々について、前記関心領域を表す３Ｄ血管造影訓練画像を受信するステップと、
各患者について、前記３Ｄ血管造影訓練画像に対応する２Ｄ血管造影訓練画像の時間的シーケンスを受信するステップであって、前記２Ｄ血管造影訓練画像が前記関心領域を通る造影剤の流れを表す、ステップと、
患者に対する時間的シーケンスにおける複数の２Ｄ血管造影訓練画像の各々について、および複数の患者の各々について、
前記２Ｄ血管造影訓練画像を前記ニューラルネットワークに入力するステップと、
前記関心領域を通る前記造影剤の流れを表す対応する予測された３Ｄ血管造影画像を生成するステップと、
ｉ）前記受信された３Ｄ血管造影訓練画像と前記予測された３Ｄ血管造影画像との間の差を表す第１の損失関数の値、および
ｉｉ）前記入力された２Ｄ血管造影訓練画像と、前記入力された２Ｄ血管造影訓練画像の平面に対応する平面上への前記予測された３Ｄ血管造影画像の投影との差を表す第２の損失関数の値、
に基づいて前記ニューラルネットワークのパラメータを調整するステップと、
停止基準が満たされるまで、前記入力するステップおよび前記生成するステップおよび前記調整するステップを繰り返すステップと、
によって、前記２Ｄ血管造影画像の時間的シーケンスから前記３Ｄ血管造影画像の時間的シーケンスを予測し、前記体積画像データによって前記予測された３Ｄ血管造影画像の時間的シーケンスを制約するように訓練される、請求項１に記載のコンピュータ実施方法。
【請求項12】
前記ニューラルネットワークは、複数の患者の各々について、前記関心領域を通る前記造影剤の基準の流れを表す３Ｄ血管造影訓練画像の時間的シーケンスを受信するステップと、
各患者について、前記３Ｄ血管造影訓練画像の時間的シーケンスに対応する２Ｄ血管造影訓練画像の時間的シーケンスを受信するステップであって、前記２Ｄ血管造影訓練画像の時間的シーケンスが前記関心領域を通る造影剤の流れを表す、ステップと、
患者についての時間的シーケンスにおける複数の２Ｄ血管造影訓練画像の各々について、および複数の患者の各々について、
前記２Ｄ血管造影訓練画像を前記ニューラルネットワークに入力するステップと、
前記関心領域を通る前記造影剤の流れを表す対応する予測された３Ｄ血管造影画像を生成するステップと、
ｉ）前記受信された３Ｄ血管造影画像の時間的シーケンスからの対応する３Ｄ血管造影訓練画像と前記予測された３Ｄ血管造影画像との間の差を表す第１の損失関数の値、および
ｉｉ）前記入力された２Ｄ血管造影訓練画像と、前記入力された２Ｄ血管造影訓練画像の平面に対応する平面上への前記予測された３Ｄ血管造影画像の投影との間の差を表す第２の損失関数の値、
に基づいて前記ニューラルネットワークのパラメータを調整するステップと、
停止基準が満たされるまで、前記入力するステップおよび前記生成するステップおよび前記調整するステップを繰り返すステップと、
によって、前記２Ｄ血管造影画像の時間的シーケンスから前記３Ｄ血管造影画像の時間的シーケンスを予測し、前記体積画像データによって前記予測された３Ｄ血管造影画像の時間的シーケンスを制約するように訓練される、請求項１に記載のコンピュータ実施方法。
【請求項13】
前記３Ｄ血管造影訓練画像および／または２Ｄ血管造影訓練画像の時間的シーケンスにおける前記関心領域の範囲を示すユーザ入力を受信するステップ、をさらに有し、
前記第１の損失関数および／または前記第２の損失関数の値は、前記示された範囲内でのみ計算され、または
前記第１の損失関数および／または前記第２の損失関数の値は、前記示された範囲の外と比較して、前記示された範囲内のそれぞれの損失関数により高い重み付けを適用することによって計算される、
請求項１１または請求項１２に記載のコンピュータ実施方法。
【請求項14】
それぞれの前記３Ｄ血管造影訓練画像または前記３Ｄ血管造影訓練画像の時間的シーケンスは、前記関心領域への介入装置の挿入前に生成された術前データを表し、前記２Ｄ血管造影訓練画像の時間的シーケンスは、前記関心領域への前記介入装置の挿入中に生成された術中データを表し、前記３Ｄ血管造影訓練画像または前記３Ｄ血管造影訓練画像の時間的シーケンスにおける前記関心領域を通る造影剤の流れは、前記２Ｄ血管造影訓練画像の時間的シーケンスにおける前記関心領域を通る前記造影剤の流れとは異なる、請求項１１または請求項１２に記載のコンピュータ実施方法。
【請求項15】
前記関心領域への前記介入装置の挿入中又は挿入後に前記関心領域を通る前記造影剤の流れを表す３Ｄ血管造影訓練画像の時間的シーケンスを受信するステップ、をさらに有し、
前記ニューラルネットワークのパラメータを調整するステップ
は、
ｉｉｉ）前記関心領域への前記介入装置の挿入中または挿入後の前記関心領域を通る前記造影剤の流れを表す対応する３Ｄ血管造影訓練画像と、前記予測された３Ｄ血管造影画像との間の差を表す第３の損失関数の値、
にさらに基づく、
請求項１４に記載のコンピュータ実施方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供することに関する。コンピュータ実施方法、コンピュータプログラム製品、及びシステムが、開示される。
【背景技術】
【0002】
時間分解（time-resolved）血管造影撮像は、臨床研究においてしばしば使用される。静的血管造影画像と比較して、時間分解血管造影撮像によって生成される血管造影画像の時間的シーケンスは、血管系を通る造影剤の流れに関する情報を提供する。次に、流れ情報は、解剖学的構造における生理学的プロセスの改善された理解を可能にする。しかしながら、時間分解血管造影撮像の利点は、患者へのＸ線量の増加を犠牲にして達成される。
【0003】
時間分解２Ｄ血管造影撮像および時間分解３Ｄ血管造影撮像は、両方とも臨床研究において使用される。時間分解２Ｄ血管造影撮像と比較して、時間分解３Ｄ血管造影撮像によって提供される構造情報は、関心領域における造影剤の流れのより深い理解を可能にする。時間分解３Ｄ血管造影撮像の使用は、また、ワークフローを改善し得る。例えば、時間分解３Ｄ血管造影撮像の使用は、関心領域の所望のビューを提供するために、撮像システムを関心領域と正確に位置合わせ（align）する必要性を取り除く。時間分解３Ｄ血管造影画像は、関心領域の１つまたは複数の同時ビューを提供するために、３Ｄで、または任意の所望の視線方向からの合成２Ｄ投影として表示され得る。
【0004】
歴史的には、時間分解３Ｄ血管造影画像は、しばしば、画像処理に対する増大された要求、および患者へのＸ線線量を制限する必要性のために、時間分解２Ｄ血管造影画像と比較して画質を低下させた。より最近では、時間分解２Ｄ血管造影画像と同様の画質およびＸ線線量を有する時間分解３Ｄ血管造影画像を提供するデジタルサブトラクション血管造影「ＤＳＡ」などの血管造影撮像技術が、導入されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、例えば、３Ｄ血管造影撮像システムが患者へのアクセスを制限する可能性、３Ｄ血管造影撮像システムのより高いコスト、および低Ｘ線線量で、かつ取得時間を増加させずに高品質の３Ｄ血管造影画像を提供する必要性を含む、いくつかの臨床調査のために３Ｄ血管造影撮像を使用することに対する課題が残っている。
【課題を解決するための手段】
【0006】
本開示の一態様によれば、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供するコンピュータ実施方法が、提供される。本方法は、
関心領域を表す体積画像データを受信するステップと、
関心領域を通る造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンスを受信するステップと、
体積画像データと、２Ｄ血管造影画像の時間的シーケンスとをニューラルネットワークに入力するステップと、
入力に応答して、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の予測される時間的シーケンスを生成するステップと、
を含み、
ニューラルネットワークは、２Ｄ血管造影画像の時間的シーケンスから３Ｄ血管造影画像の時間的シーケンスを予測し、体積画像データによって３Ｄ血管造影画像の予測される時間的シーケンスを制約するように訓練される。
関心領域を表す体積画像データを受信するステップと、
関心領域を通る造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンスを受信するステップと、
体積画像データと、２Ｄ血管造影画像の時間的シーケンスとをニューラルネットワークに入力するステップと、
入力に応答して、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の予測される時間的シーケンスを生成するステップと、
を含み、
ニューラルネットワークは、２Ｄ血管造影画像の時間的シーケンスから３Ｄ血管造影画像の時間的シーケンスを予測し、体積画像データによって３Ｄ血管造影画像の予測される時間的シーケンスを制約するように訓練される。
【0007】
予測された３Ｄ血管造影画像の時間的シーケンスは、２Ｄ血管造影画像の時間的シーケンスからニューラルネットワークによって提供されるので、本方法は、撮像システムを解剖学的構造と正確に位置合わせする必要性と、関心領域への制限されたアクセスとの欠点なしで、関心領域における造影剤の流れのより深い理解を可能にする構造情報を含む、３Ｄ血管造影画像の時間的シーケンスの利点を提供する。
【0008】
本開示の更なる態様、特徴、及び利点は、添付の図面を参照してなされる例の以下の説明から明らかになるであろう。
【図面の簡単な説明】
【0009】
【図1】本開示のいくつかの態様による、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供する方法の一例を示すフローチャートである。
【図2】本開示のいくつかの態様による、関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンス１１０を提供するためのシステムの一例を示す概略図である。
【図3】本開示のいくつかの態様による、関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンス１１０を提供する方法の第１の例を示す概略図である。
【図4】本開示のいくつかの態様による、関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンス１１０を提供する方法の第２の例を示す概略図である。
【図5】本開示のいくつかの態様による、患者の長手方向軸の周りの投影Ｘ線撮像システム１５０の中心線の回転角度を含む、患者の関心領域１２０に対するＸ線撮像システム１５０のＸ線源１５０ｂおよびＸ線検出器１５０ａの向きを示す概略図である。
【図6】本開示のいくつかの態様による、患者の頭尾軸に対する投影Ｘ線撮像システム１５０の中心線の傾斜角ｂを含む、患者の関心領域１２０に対するＸ線撮像システム１５０のＸ線源１５０ｂおよびＸ線検出器１５０ａの向きを示す概略図である。
【図7】本開示のいくつかの態様による、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供するためにニューラルネットワークを訓練する方法の第１の例を示すフローチャートである。
【図8】本開示のいくつかの態様による、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供するためにニューラルネットワークを訓練する方法の第２の例を示すフローチャートである。
【図9】本開示のいくつかの態様による、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供するためにニューラルネットワークを訓練する方法の第１の例を示す概略図である。
【発明を実施するための形態】
【0010】
本開示の例は、以下の説明及び図面を参照して提供される。この説明では、説明の目的のために、特定の例の多くの具体的な詳細が説明される。本明細書において、「例」、「実施態様」、または同様の言語への言及は、該例に関連して説明される特徴、構造、または特性が、少なくともその１つの例に含まれることを意味する。また、１つの例に関連して説明された特徴は、別の例においても使用され得、すべての特徴が、簡潔さのために各例において必ずしも繰り返されないことを理解されたい。例えば、コンピュータ実施方法に関連して説明される特徴は、対応する形で、コンピュータプログラム製品において、およびシステムにおいて実装され得る。
【0011】
以下の説明では、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供することを伴う、コンピュータ実施方法が説明される。脳動脈瘤の形態の関心領域の例を参照する。しかしながら、この関心領域は、一例としてのみ機能し、本明細書に開示される方法は、血管系内の他の関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供するためにも使用され得ることを理解されたい。一般に、関心領域は、血管系内のどこにあってもよい。
【0012】
本明細書では、動脈瘤コイル処置（coiling procedure）の形態の例示的な治療処置も参照される。この処置では、ワイヤのコイルが、血流を減少させ、それによって動脈瘤内部の血液を凝固させることを可能にするために動脈瘤の嚢に挿入される。しかしながら、この治療処置は、例としてのみ役割を果たし、本明細書に開示される方法は、他の治療処置においても使用され得ることを理解されたい。本方法は、例えば、冠動脈血管形成術、脳血管内血栓摘出術、および腫瘍塞栓術などの治療処置において使用され得る。また、本明細書に開示される方法は、一般に、臨床研究において使用され得ることが理解されるべきである。
【0013】
本明細書で開示されるコンピュータ実施方法は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに方法を実行させる、コンピュータ可読命令を含む非一時的コンピュータ可読記憶媒体として提供され得ることに留意されたい。言い換えれば、コンピュータ実施方法は、コンピュータプログラム製品において実装され得る。コンピュータプログラム製品は、専用ハードウェア、又は適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアによって提供されることができる。プロセッサによって提供されるとき、方法の特徴の機能は、単一の専用プロセッサによって、又は単一の共用プロセッサによって、又はそのうちのいくつかが共有されることができる複数の個々のプロセッサによって提供されることができる。方法特徴のうちの１つ又は複数の機能は、例えば、クライアント／サーバアーキテクチャ、ピアツーピアアーキテクチャ、インターネット、又はクラウドなどのネットワーク化された処理アーキテクチャ内で共有されるプロセッサによって提供され得る。
【0014】
「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものとして解釈されるべきではなく、デジタル信号プロセッサ「ＤＳＰ」ハードウェア、ソフトウェアを記憶するための読取専用メモリ「ＲＯＭ」、ランダムアクセスメモリ「ＲＡＭ」、不揮発性記憶装置などを暗黙的に含むことができるが、これらに限定されない。更に、本開示の例は、コンピュータ使用可能記憶媒体、又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態をとることができ、コンピュータプログラム製品は、コンピュータ又は任意の命令実行システムによって、又はそれらと関連して使用するためのプログラムコードを提供する。本説明の目的のために、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体は、命令実行システム、機器、又は装置によって、又はそれに関連して使用するためのプログラムを有する、記憶する、通信する、伝播する、又は移送することができる任意の装置であることができる。媒体は、電子、磁気、光学、電磁、赤外、又は半導体システム又は装置又は伝搬媒体であることができる。コンピュータ可読媒体の例は、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ「ＲＡＭ」、読取専用メモリ「ＲＯＭ」、剛体磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク読取専用メモリ「ＣＤ-ＲＯＭ」、コンパクトディスク読取/書込「ＣＤ-Ｒ／Ｗ」、Ｂｌｕ-Ｒａｙ（登録商標）、及びＤＶＤを含む。
【0015】
上述のように、時間分解血管造影撮像は、臨床研究においてしばしば使用される。時間分解２Ｄ血管造影撮像および時間分解３Ｄ血管造影撮像は、両方とも臨床研究において使用される。時間分解２Ｄ血管造影画像と比較して、時間分解３Ｄ血管造影画像によって提供される構造情報は、関心領域における造影剤の流れのより深い理解を可能にする。近年、デジタルサブトラクション血管造影「ＤＳＡ」などの血管造影撮像技術が、導入され、時間分解２Ｄ血管造影画像と同様の画質およびＸ線線量を有する時間分解３Ｄ血管造影画像を提供する。しかしながら、例えば、３Ｄ血管造影撮像システムが患者へのアクセスを制限する可能性、３Ｄ血管造影撮像システムのより高いコスト、および低Ｘ線線量で、かつ取得時間を増加させずに高品質の３Ｄ血管造影画像を提供する必要性を含む、いくつかの臨床調査のために３Ｄ血管造影撮像を使用することに対する課題が残っている。
【0016】
一例として、動脈瘤コイル処置は、典型的には動脈瘤の嚢内へのワイヤコイルの挿入を伴う。これは、血流を減少させ、動脈瘤内部の血液が凝固することを可能にする。動脈瘤コイルの目標は、動脈瘤を治療するために、過剰充填を回避しながら、動脈瘤嚢を十分なコイルで満たすことである。動脈瘤コイル処置の前に、動脈瘤の静的２Ｄまたは３Ｄ血管造影画像が、しばしば、処置を計画するために取得される。動脈瘤コイル処置中、動脈瘤の静的又は時間分解２Ｄ血管造影画像は、処置の進行を監視するために、投影Ｘ線撮像システムを使用して生成されることが多い。親血管内に流れ込むコイル材料を検出するために、Ｘ線撮影者は、典型的には嚢と親血管との間に最小量の重複が存在し、親血管の最小限の短縮が存在する２Ｄ画像を提供する投影Ｘ線撮像システムの向きを見つけようとする。しかしながら、動脈瘤の最適なビューを提供することは困難である可能性がある。投影Ｘ線撮像システムの向きは、動脈瘤の最適なビューを提供するために複数回調整される必要があり得る。
【0017】
時には、複数の線源-検出器構成を有する投影Ｘ線撮像システムが、単一のビューの制限を克服するために動脈瘤の異なるビューを有する２Ｄ血管造影画像を同時に提供するために使用される。そのような撮像システムは、しばしば、「バイプレーン（biplane）」Ｘ線撮像システムと呼ばれる。これらの線源-検出器構成の両方の向きは、所望の最適なビューを提供するために、数回調整される必要があり得る。さらに、コイル処置が進行するにつれて、動脈瘤の最適なビューは、変化し得る。コイルが動脈瘤に挿入されると、血流は、動脈瘤内および親血管内の両方で変化する。例えば、動脈瘤コイル処置が始まる前に、血液は、動脈瘤の近位の親血管の部分から動脈瘤に流れ込み、その結果、動脈瘤の遠位の親血管の部分への血流は、遅い。動脈瘤コイル処置が進行するにつれて、より少ない血液が、動脈瘤へ流れ、動脈瘤の遠位の親血管の部分への血流が、正常速度に戻る。また、動脈瘤は、挿入されたコイルによって不明瞭にされる可能性がある。その結果、動脈瘤コイル処置中に投影Ｘ線撮像システムの向きを複数回再調整する必要があり得、これはワークフローを妨げる。処置中に血流が変化する処置の他の例は、アテローム切除術（すなわち、血管からのプラークまたは石灰化除去）およびバルーン血管形成術（すなわち、狭窄を持つ血管の拡張）を含む。
【0018】
動脈瘤の時間分解術中３Ｄ血管造影画像を提供することは、動脈瘤の最適なビューを提供し、維持するために、２Ｄ Ｘ線撮像システムの向きを正確に位置合わせし、再位置合わせするという課題に対処するように思われ得る。しかしながら、３Ｄ撮像システムの使用も、課題を招く。例えば、３Ｄ画像の取得は、典型的には処置スタッフが手術室から出て、３Ｄ画像の取得後に戻ることを必要とするので、処置ワークフローを中断する。さらに、ＤＳＡ画像を生成するために、最初の３Ｄマスク画像が、取得されなければならず、続いて、マスク画像に含まれる背景の解剖学的構造を減算し、時間分解３Ｄ血管造影画像に血管系のみを保持するために、コントラスト強調３Ｄ画像が取得されなければならない。これは、画像取得時間を著しく増加させ、画像の時間的シーケンスを生成するとき、Ｘ線線量をさらに低減する可能性を示す。三次元Ｘ線撮像システムは、また、関心領域へのアクセスを制限し得る。さらに、３Ｄ Ｘ線撮像システムの費用は、通常、２Ｄ Ｘ線撮像システムの費用よりも高い。
【0019】
図１は、本開示のいくつかの態様による、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供する方法の一例を示すフローチャートである。図１を参照すると、関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンス１１０を提供するコンピュータ実施方法が、提供される。本方法は、
関心領域１２０を表す体積画像データ１３０ａ、１３０ｂを受信するステップＳ１１０と、
関心領域１２０を通る造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンス１４０を受信するステップＳ１２０と、
体積画像データ１３０ａ、１３０ｂ、および２Ｄ血管造影画像の時間的シーケンス１４０をニューラルネットワークＮＮ１に入力するステップＳ１３０と、
入力に応答して、関心領域１２０を通る造影剤の流れを表す予測された３Ｄ血管造影画像の時間的シーケンス１１０を生成するステップＳ１４０と、
を含み、
ニューラルネットワークＮＮ１は、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａ、１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
関心領域１２０を表す体積画像データ１３０ａ、１３０ｂを受信するステップＳ１１０と、
関心領域１２０を通る造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンス１４０を受信するステップＳ１２０と、
体積画像データ１３０ａ、１３０ｂ、および２Ｄ血管造影画像の時間的シーケンス１４０をニューラルネットワークＮＮ１に入力するステップＳ１３０と、
入力に応答して、関心領域１２０を通る造影剤の流れを表す予測された３Ｄ血管造影画像の時間的シーケンス１１０を生成するステップＳ１４０と、
を含み、
ニューラルネットワークＮＮ１は、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａ、１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
【0020】
予測された３Ｄ血管造影画像の時間的シーケンスは、２Ｄ血管造影画像の時間的シーケンスからニューラルネットワークによって提供されるので、本方法は、撮像システムを解剖学的構造と正確に位置合わせする必要性、及び関心領域への制限されたアクセスなしで、関心領域における造影剤の流れのより深い理解を可能にする構造情報を含む、３Ｄ血管造影画像の時間的シーケンスの利点を提供する。
【0021】
図２は、本開示のいくつかの態様による、関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンス１１０を提供するためのシステムの一例を示す概略図である。図１に示される方法に関連して説明される動作は、図２に示されるシステム２００によって実行されてもよい。同様に、システム２００に関連して説明される動作は、図１を参照して説明される方法において実行されてもよい。図３は、本開示のいくつかの態様による、関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンス１１０を提供する方法の第１の例を示す概略図である。図１および図３を参照すると、動作Ｓ１１０において、関心領域１２０を表す体積画像データが、受信される。関心領域は、例えば、動脈瘤であってもよいが、関心領域は、一般に、上述のように、血管系のどこにあってもよい。
【0022】
体積画像データは、一般に、体積撮像システムによって生成され得る。例えば、体積Ｘ線撮像システムが、使用されてもよい。体積Ｘ線撮像システムは、典型的には、撮像領域の周りでＸ線源-検出器構成を回転又はステッピングしながら画像データを生成し、その後、複数の回転角度から得られた画像データを３Ｄ又は体積画像に再構成する。体積Ｘ線撮像システムの例は、コンピュータトモグラフィ「ＣＴ」撮像システム、コーンビームＣＴ「ＣＢＣＴ」撮像システム、及びスペクトルＣＴ画像システムを含む。いくつかの例では、体積画像データは、デジタルサブトラクション血管造影「ＤＳＡ」技法を使用して生成されてもよい。代替として、体積画像データは、磁気共鳴撮像「ＭＲＩ」システムによって生成されてもよい。例えば、磁気共鳴血管造影「ＭＲＡ」体積画像データは、造影剤を血管系に注入し、ＭＲＩ撮像システムを使用して様々な解剖学的構造の画像を生成するのに特定の共振周波数における振動磁場を使用することによって生成され得る。
【0023】
いくつかの例では、体積画像データは、関心領域１２０への介入（interventional）装置の挿入の前に生成された術前データを表してもよい。体積画像データは、例えば、計画段階中に、または介入処置の直前に生成されてもよい。
【0024】
動作Ｓ１１０で受信された体積画像データは、例えば、体積撮像システムから、またはコンピュータ可読記憶媒体から、またはインターネットもしくはクラウドから受信されてもよい。体積画像データは、図２に示される１つまたは複数のプロセッサ１７０によって受信されてもよい。体積画像データは、有線通信、光通信、および無線通信を含む、任意の形態のデータ通信を介して受信され得る。いくつかの例として、有線又は光通信が使用されるとき、通信は、電気又は光ケーブル上で送信される信号を介して行われ得、無線通信が使用されるとき、通信は、例えばＲＦ又は光信号を介してもよい。
【0025】
一例では、体積画像データは、関心領域１２０を表す３Ｄ血管造影画像１３０ａを含む。この例が、図３に示される。この例では、３Ｄ血管造影画像１３０ａが、造影剤の注入の後に生成されてもよい。造影剤は、３Ｄ血管造影画像１３０ａ内の血管系を強調表示する。図４を参照して後述する別の例では、体積画像データは、関心領域１２０を通る造影剤の基準の流れを表す３Ｄ血管造影画像の時間的シーケンス１３０ｂを含む。図３の例を参照すると、体積画像データは、単一の３Ｄ血管造影画像１３０ａ、すなわち、１つのみの３Ｄ血管造影画像１３０ａを含んでもよく、または複数の３Ｄ血管造影画像を含んでもよい。単一の３Ｄ血管造影画像１３０ａは、関心領域の周りの単一の完全な回転またはそれ以下の回転を通して、体積撮像システムの線源-検出器構成を回転させることによって生成されてもよい。
【0026】
動作Ｓ１２０において、関心領域１２０を通る造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンス１４０が、受信される。２Ｄ血管造影画像の時間的シーケンス１４０は、２Ｄ Ｘ線画像を生成する投影Ｘ線撮像システムによって生成され得る。投影Ｘ線撮像システムは、典型的にはＸ線源-検出器構成を支持する、いわゆる「Ｃアーム」又は「Ｏアーム」などの支持アームを含む。投影Ｘ線撮像システムは、代替的に、これらの例とは異なる形状を有する支持アームを含んでもよい。投影Ｘ線撮像システムは、典型的には、画像データの取得中に撮像領域に対して静止位置に保持された支持アームを用いて投影Ｘ線画像を生成する。いくつかの例では、２Ｄ血管造影画像の時間的シーケンス１４０は、デジタルサブトラクション血管造影「ＤＳＡ」技法を使用して生成されてもよい。Ｘ線投影画像は、例えば、図２に示される投影Ｘ線撮像システム１８０によって生成されてもよい。一例として、血管造影画像は、オランダ、ベストのフィリップスヘルスケアによって市販されているPhilips Azurion 7のＸ線撮像システムによって生成されてもよい。
【0027】
動作Ｓ１２０において受信される２Ｄ血管造影画像の時間的シーケンス１４０は、図２に示される１つまたは複数のプロセッサ１７０によって受信されてもよい。２Ｄ血管造影画像の時間的シーケンス１４０は、体積画像データについて上述したように、任意の形態のデータ通信を介して受信されてもよい。２Ｄ血管造影画像の時間的シーケンス１４０は、動作Ｓ１１０において受信された体積画像データ１３０ａ、１３０ｂと同じ関心領域を表す。
【0028】
一般に、動作Ｓ１２０において受信される２Ｄ血管造影画像の時間的シーケンス１４０は、体積画像データ１３０ａ、１３０ｂよりも時間的に遅く生成されてもよい。体積画像データは、例えば、関心領域１２０への介入装置の挿入の前に生成された術前データを表してもよい。体積画像データは、例えば、計画段階中に、または介入処置の直前に生成されてもよい。２Ｄ血管造影画像の時間的シーケンス１４０は、例えば、関心領域１２０への介入装置の挿入中に生成された術中データを表してもよい。
【0029】
動作Ｓ１３０において、体積画像データ１３０ａ及び２Ｄ血管造影画像の時間的シーケンス１４０は、ニューラルネットワークＮＮ１に入力される。これが、図３に示される。入力動作Ｓ１３０に応答して、動作Ｓ１４０において、図３にも示されるように、関心領域１２０を通る造影剤の流れを表す予測された３Ｄ血管造影画像の時間的シーケンス１１０が、生成される。ニューラルネットワークＮＮ１は、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
【0030】
上述のように、別の例では、動作Ｓ１３０において入力される体積画像データが、関心領域１２０を通る造影剤の基準の流れを表す３Ｄ血管造影画像の時間的シーケンス１３０ｂを含む。この例は、本開示のいくつかの態様による、関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンス１１０を提供する方法の第２の例を示す概略図である図４を参照して説明される。図３の例のように、図４の例では、３Ｄ血管造影画像の時間的シーケンス１３０ｂが、造影剤の注入の後に生成され得る。図４の例では、３Ｄ血管造影画像の時間的シーケンスが、造影剤の流れを表す。一般に、動作Ｓ１２０において受信される２Ｄ血管造影画像の時間的シーケンス１４０は、体積画像データ１３０ａ、１３０ｂよりも時間的に遅く生成されてもよい。体積画像データは、例えば、関心領域１２０への介入装置の挿入の前に生成された術前データを表してもよい。体積画像データは、例えば、計画段階中に、または介入処置の直前に生成されてもよい。２Ｄ血管造影画像の時間的シーケンス１４０は、例えば、関心領域１２０への介入装置の挿入中に生成された術中データを表してもよい。
【0031】
動作Ｓ１３０において、体積画像データ１３０ｂ及び２Ｄ血管造影画像の時間的シーケンス１４０は、ニューラルネットワークＮＮ１に入力される。これが、図４に示される。入力動作Ｓ１３０に応答して、動作Ｓ１４０において、図４にも示されるように、関心領域１２０を通る造影剤の流れを表す予測される３Ｄ血管造影画像の時間的シーケンス１１０が、生成される。ニューラルネットワークＮＮ１は、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
【0032】
図３の例および図４の例では、予測される３Ｄ血管造影画像の時間的シーケンス１１０が、それぞれ、体積画像データ１３０ａおよび１３０ｂによって制約される。この制約は、予測された３Ｄ血管造影画像の時間的シーケンス１１０と体積画像データ１３０ａ、１３０ｂとの間の差を表す損失関数の値を計算することによって適用されてもよい。推論において、損失関数の値は、ニューラルネットワークの予測を微調整するために使用されてもよい。この損失関数は、予測された３Ｄ血管造影画像の時間的シーケンス１１０内の画像が、体積画像データ１３０ａ、１３０ｂ内の関心領域の３Ｄ構造を正確に描写することを保証する効果を有する。Ｌ１またはＬ２損失、構造類似性指数、フーバー損失、log cosh損失などの損失関数が、この目的のために使用されてもよい。この損失関数の値は、予測された３Ｄ血管造影画像の時間的シーケンス１１０内の関心領域の３Ｄ構造と、体積画像データ１３０ａ、１３０ｂ内の関心領域の３Ｄ構造とを比較することによって、ニューラルネットワークの予測を微調整するために使用されてもよい。この比較は、例えば、予測された３Ｄ血管造影画像の時間的シーケンス１１０から合成またはトレース３Ｄ血管造影画像を計算することによって実行されてもよい。合成画像は、３Ｄ血管造影画像の時間的シーケンス１１０における画像強度値の最大値又は最小値又は平均値を表してもよい。合成画像は、３Ｄ血管造影画像の時間的シーケンス１１０において造影剤の流れが捕捉された血管系の完全な３Ｄ構造を捕捉する。したがって、予測された３Ｄ血管造影画像の時間的シーケンス１１０に対する構造的制約は、予測された３Ｄ血管造影画像の時間的シーケンス１１０から計算された合成３Ｄ血管造影画像と、入力された単一３Ｄ血管造影画像１３０ａ、または入力された３Ｄ血管造影画像の時間的シーケンス１３０ｂから生成された合成３Ｄ血管造影画像との間の差を表す第１の損失関数の値を計算することによって適用されてもよい。代替的または追加的に、流れ制約は、予測された３Ｄ血管造影画像１１０を、入力された２Ｄ血管造影画像１４０の検出器平面に対応する仮想検出器平面上に投影することによって生成された合成投影画像と、入力された２Ｄ血管造影画像１４０との間の差を表す第２の損失関数の値を計算することによって適用されてもよい。推論において、第２の損失関数の値は、同様に、ニューラルネットワークの予測を微調整するために使用されてもよい。この第２の損失関数は、予測された３Ｄ血管造影画像の時間的シーケンス１１０内の画像内の流れが、入力された２Ｄ血管造影画像１４０内の造影剤の流れを正確に描写することを保証する効果を有する。２つの損失関数がこの制約を適用するために使用されるとき、第１および第２の損失関数の値は、重み付けされ、合計されて、結合された損失値を提供し得る。推論において、結合された損失値は、上述のように、予測された３Ｄ血管造影画像の時間的シーケンス１１０を微調整するために使用されてもよい。
【0033】
仮想検出器平面は、患者の関心領域に対する、２Ｄ血管造影画像１４０を生成するＸ線撮像システムの向きを表す位置エンコーダデータを使用して、入力された２Ｄ血管造影画像１４０の検出器平面を識別することによって決定され得る。代替的に、仮想検出器平面は、入力された２Ｄ血管造影画像１４０を、入力された体積画像データ１３０ａ、１３０ｂに位置合わせ（registering）し、位置合わせに基づいて、入力された２Ｄ血管造影画像１４０が生成されたＸ線撮像システムの向きを決定することによって、決定されてもよい。
【0034】
いくつかの例では、予測された３Ｄ血管造影画像の時間的シーケンス１１０の信頼値も、生成されてもよい。信頼値を出力することは、ユーザがニューラルネットワークＮＮ１の予測に対する信頼度を調整することを可能にする。信頼値は、様々な技法を使用して計算され得る。一例では、上述のようにニューラルネットワークＮＮ１によって生成される損失関数の値が、信頼値を提供するために使用される。この例では、損失関数の比較的低い値が、比較的高い信頼値をもたらし、逆もまた同様である。別の例では、信頼値は、ネットワークによって生成された注意マップを観察し、ネットワークの注意が関心領域内にあり、その場合、信頼値が相対的に高くなり得るか、又はほかの場所にあり、その場合、信頼値が相対的に低くなり得るかを評価することによって、ニューラルネットワークＮＮ１の予測に割り当てられてもよい。
【0035】
別の例では、予測された３Ｄ血管造影画像の時間的シーケンス１１０の信頼値が、各予測された３Ｄ血管造影画像を生成するために使用される２Ｄ血管造影画像の総数のカウントに基づいて生成される。この例では、画像に対する信頼値は、単一の２Ｄ血管造影画像が、予測された３Ｄ血管造影画像を生成するために使用される場合に、比較的低くてもよく、信頼値は、複数の２Ｄ血管造影画像が使用される場合に、比較的高くてもよい。
【0036】
別の例では、予測された３Ｄ血管造影画像の時間的シーケンス１１０の信頼値は、関心領域内の特徴について、重複度または短縮度などの１つまたは複数の分析メトリックを計算することによって生成される。このような分析メトリックを計算するための技術は、Wilson, D.他による文献"Determining X-ray projections for coil treatments of intracranial aneurysms" in IEEE Transactions on Medical Imaging, vol. 18, no. 10, pp. 973-980, Oct. 1999, doi: 10.1109/42.811309に開示されている。 この文献では、前述の重複度および短縮度などの係数を計算するためのアルゴリズムが、提示されている。アルゴリズムは、ｉ）関心領域および周囲の解剖学的構造の別々に規定された３Ｄセグメント化、ならびにｉｉ）Ｘ線撮像システムの幾何学的パラメータおよび撮像パラメータのモデルを、入力として使用する。この例では、分析メトリックの値は、関心領域のモデルを提供する体積画像データ１３０ａ、１３０ｂに基づいて、入力された２Ｄ血管造影画像の時間的シーケンス１４０について計算され得、これらの値は、予測された３Ｄ血管造影画像の時間的シーケンス１１０の信頼値を生成するために使用され得る。この例では、入力された２Ｄ血管造影画像１４０における高い重複度が、ニューラルネットワークＮＮ１の出力における比較的低い信頼度を示し得、逆もまた同様である。
【0037】
別の例では、ドロップアウト（dropout）技法が、予測された３Ｄ血管造影画像の時間的シーケンス１１０の信頼値を提供するのに使用されてもよい。ドロップアウト技法は、同じデータをニューラルネットワークに反復的に入力し、各反復においてニューラルネットワークからある割合のニューロンをランダムに除外しながら、ニューラルネットワークの出力を決定することを伴う。次いで、ニューラルネットワークの出力が、平均値及び分散値を提供するように分析される。平均値は、最終出力を表し、分散の大きさは、ニューラルネットワークがその予測において一貫している、この場合、分散が小さく、信頼値が相対的に高いか、またはニューラルネットワークがその予測において一貫していない、この場合、分散がより大きく、信頼値が相対的に低いかを示す。
【0038】
したがって、予測される３Ｄ血管造影画像の時間的シーケンス１１０に対する信頼値は、
受信された体積画像データ１３０ａ、１３０ｂと予測された３Ｄ血管造影画像１１０との間の差を表す第１の損失関数ＬＦ1の値を決定すること、
予測された３Ｄ血管造影画像１１０を、入力された２Ｄ血管造影画像１４０の検出器平面に対応する仮想検出器平面に投影することによって生成された合成投影画像と、入力された２Ｄ血管造影画像１４０との差を表す第２の損失関数ＬＦ2の値を決定すること、
予測３Ｄ血管造影画像１１０が基づく１つまたは複数の係数の位置を示す注意マップを生成し、注意マップと関心領域１２０の位置との間の差を決定すること、
予測３Ｄ血管造影画像１１０を生成するために使用される２Ｄ血管造影訓練画像の時間的シーケンスの総数をカウントすること、
の１つまたは複数によって計算され得る。
受信された体積画像データ１３０ａ、１３０ｂと予測された３Ｄ血管造影画像１１０との間の差を表す第１の損失関数ＬＦ1の値を決定すること、
予測された３Ｄ血管造影画像１１０を、入力された２Ｄ血管造影画像１４０の検出器平面に対応する仮想検出器平面に投影することによって生成された合成投影画像と、入力された２Ｄ血管造影画像１４０との差を表す第２の損失関数ＬＦ2の値を決定すること、
予測３Ｄ血管造影画像１１０が基づく１つまたは複数の係数の位置を示す注意マップを生成し、注意マップと関心領域１２０の位置との間の差を決定すること、
予測３Ｄ血管造影画像１１０を生成するために使用される２Ｄ血管造影訓練画像の時間的シーケンスの総数をカウントすること、
の１つまたは複数によって計算され得る。
【0039】
ニューラルネットワークＮＮ１は、例えば、畳み込みニューラルネットワーク「ＣＮＮ」、リカレントニューラルネットワーク「ＲＮＮ」、時間畳み込みネットワーク「ＴＣＮ」、エンコーダ-デコーダ、変分エンコーダ-デコーダ、トランスフォーマ、および敵対的生成ネットワーク「ＧＡＮ」などの１つまたは複数のアーキテクチャを含み得る。ニューラルネットワークＮＮ１は、プーリング、バッチ正規化、ドロップアウト、非線形演算などを含む、これらの間の複数の完全に接続された層又は畳み込み層を含み得る。ニューラルネットワークは、入力された体積画像データと同じ空間的寸法、および入力された２Ｄ血管造影画像の時間的シーケンス１４０と同じ時間分解能を有する予測された３Ｄ血管造影画像の時間的シーケンス１１０を生成し得る。例えば、ニューラルネットワークＮＮ１は、グレーレベルのｎ×ｍ×ｐ×ｔ出力を出力し得、ここで、ｎ×ｍ×ｐは体積画像データの寸法であり、ｔは入力された２Ｄ血管造影画像の時間的シーケンス１４０内のフレームの数である。出力画像におけるグレーレベルは、２Ｄ血管造影画像の時間的シーケンス１４０において術中に観察された流れに基づく更新された造影剤の流れのパターンを示す。
【0040】
ニューラルネットワークＮＮ１の訓練の詳細は、以下に提供される。
【0041】
したがって、図３の例および図４の例の両方において、予測された３Ｄ血管造影画像の時間的シーケンス１１０は、入力された２Ｄ血管造影画像の時間的シーケンス１４０から生成される。上述のように、２Ｄ血管造影画像の時間的シーケンス１４０は、体積画像データ１３０ａ、１３０ｂよりも時間的に後に生成されてもよい。そうすることで、本方法は、２Ｄ血管造影画像の時間的シーケンス１４０を使用して臨床調査が行われることを可能にし、関心領域に対して３Ｄ血管造影撮像動作を同時に実行する必要なしに、３Ｄ血管造影画像の時間的シーケンスの利点を提供する。体積画像データは、例えば、関心領域１２０への介入装置の挿入前に生成された術前データを表してもよく、２Ｄ血管造影画像の時間的シーケンス１４０は、例えば、関心領域１２０への介入装置の挿入中に生成された術中データを表してもよい。その結果、介入処置は、３Ｄ血管造影画像の術中の時間的シーケンスを取得する必要なしに、介入装置を用いて実行され得る。
【0042】
予測された３Ｄ血管造影画像の時間的シーケンス１１０は、様々な目的のために使用されてもよい。例えば、３Ｄ血管造影画像１１０は、図２に示されるディスプレイ１９０などのディスプレイに出力されてもよい。タッチスクリーン、マウスなどのユーザ入力装置は、３Ｄ血管造影画像１１０を関心領域に対して所望の向きから見るために、ユーザが視野角を調整することを可能にするために、提供されてもよい。一例では、差分画像が、生成され、出力されてもよい。差分画像は、関心領域１２０を通る造影剤の流れの変化を表す。差分画像は、例えば、連続する血管造影画像間の、または処置の開始時に取得された血管造影画像と処置の最中に取得された血管造影画像との間の造影剤の流れの変化を表してもよい。
【0043】
一例では、予測された３Ｄ血管造影画像が、２Ｄ血管造影画像を提供するために投影される。この例では、図１を参照して上述された方法は、
【0044】
予測された３Ｄ血管造影画像の時間的シーケンス１１０をＸ線撮像システム１５０のＸ線検出器１５０ａの仮想平面上に投影して、関心領域を通る造影剤の流れを表す予測された合成２Ｄ血管造影画像の時間的シーケンスを提供するステップを含んでもよい。
【0045】
この例では、合成２Ｄ血管造影画像が、関心領域に対する任意の向きから予測された３Ｄ血管造影画像を投影することによって生成されてもよい。合成２Ｄ血管造影画像は、関心領域内の造影剤の流れのより深い理解を容易にし、複数の構成でＸ線撮像システムを配置し、複数の画像取得に起因して患者およびスタッフをＸ線放射線に曝露させる必要なく、関心領域をより良く視覚化するために、関心領域に対する複数の向きから生成されてもよい。合成２Ｄ血管造影画像は、予測された３Ｄ血管造影画像およびＸ線撮像システムの幾何学的形状のモデルを使用して取得されてもよい。モデルは、例えば、Ｘ線源、Ｘ線検出器、及び関心領域の相対位置、並びにＸ線検出器の寸法などのパラメータを含んでもよい。投影は、関心領域１２０に対するＸ線源１５０ｂおよびＸ線検出器１５０ａの向きａ、ｂを調整し、３Ｄ血管造影画像を検出器上に投影することによって得られてもよい。図５は、本開示のいくつかの態様による、患者の長手方向軸の周りの投影Ｘ線撮像システム１５０の中心線の回転角度を含む、患者の関心領域１２０に対するＸ線撮像システム１５０のＸ線源１５０ｂおよびＸ線検出器１５０ａの向きを示す概略図である。図６は、本開示のいくつかの態様による、患者の頭尾軸に対する投影Ｘ線撮像システム１５０の中心線の傾斜角ｂを含む、患者の関心領域１２０に対するＸ線撮像システム１５０のＸ線源１５０ｂおよびＸ線検出器１５０ａの向きを示す概略図である。回転角度ａおよび傾斜角度ｂは、関心領域１２０に対して調整され、所望の合成２Ｄ血管造影画像を得るために使用され得る。
【0046】
一例では、このようにして提供される合成２Ｄ血管造影画像は、ニューラルネットワークＮＮ１に入力される２Ｄ血管造影画像の時間的シーケンス１４０によって提供されるビューに関心領域の異なるビューを提供するために使用される。この例では、上述の投影動作は、また、予測された３Ｄ血管造影画像の時間的シーケンス１１０を、関心領域１２０に対するＸ線撮像システム１５０のＸ線源１５０ｂおよびＸ線検出器１５０ａの向きａ、ｂでＸ線撮像システム１５０のＸ線検出器１５０ａの仮想平面上に投影することを含んでもよく、その結果、予測された合成２Ｄ血管造影画像の時間的シーケンスは、受信された２Ｄ血管造影画像の時間的シーケンスに対する関心領域の異なるビューを表す。
【0047】
一例では、ニューラルネットワークＮＮ１は、関心領域１２０を通る造影剤の流れの異なるビューを表す２Ｄ血管造影画像の２つの時間的シーケンスから３Ｄ血管造影画像の時間的シーケンス１１０を予測するように訓練される。関心領域を通る造影剤の流れの異なるビューを有する２Ｄ血管造影画像の時間的シーケンスは、バイプレーンＸ線撮像システムなどの複数のＸ線源-検出器構成を有する血管造影撮像システムを使用して取得され得る。このような撮像システムでは、関心領域に対する各線源-検出器構成の向きが、異なる。向きは、例えば、互いに直交して配置されてもよく、または互いに対して別の角度で配置されてもよい。異なるビューは、関心領域に関する追加の詳細を提供するのに使用されてもよい。この例では、複数のビューからの情報が、ニューラルネットワークによって生成される予測された３Ｄ血管造影画像の時間的シーケンス１１０を改善するのに使用される。複数のビューからの情報は、関心領域の３Ｄ構造の予測を改善し得る。複数のビューからの情報は、また、血管系直径の変化の結果、または短縮の結果としてのスローダウンを説明することによって、造影剤の流れがスローダウンするように見える画像における曖昧さを解決するために、ニューラルネットワークを支援し得る。
【0048】
この例では、図１を参照して説明された方法は、
関心領域１２０を通る造影剤の流れを表す２Ｄ血管造影画像の第２の時間的シーケンスを受信するステップであって、２Ｄ血管造影画像の第２の時間的シーケンスは、２Ｄ血管造影画像の時間的シーケンス１４０に対する関心領域１２０の異なるビューを表す、ステップと、
２Ｄ血管造影画像の第２の時間的シーケンスをニューラルネットワークＮＮ１に入力するステップと、
入力に応答して、２Ｄ血管造影画像の第２の時間的シーケンスにさらに基づいて予測された３Ｄ血管造影画像の時間的シーケンス１１０を生成するステップと、
をも含み、
ニューラルネットワークＮＮ１は、関心領域１２０を通る造影剤の流れの異なるビューを表す２Ｄ血管造影画像の２つの時間的シーケンスから３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａ、１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
関心領域１２０を通る造影剤の流れを表す２Ｄ血管造影画像の第２の時間的シーケンスを受信するステップであって、２Ｄ血管造影画像の第２の時間的シーケンスは、２Ｄ血管造影画像の時間的シーケンス１４０に対する関心領域１２０の異なるビューを表す、ステップと、
２Ｄ血管造影画像の第２の時間的シーケンスをニューラルネットワークＮＮ１に入力するステップと、
入力に応答して、２Ｄ血管造影画像の第２の時間的シーケンスにさらに基づいて予測された３Ｄ血管造影画像の時間的シーケンス１１０を生成するステップと、
をも含み、
ニューラルネットワークＮＮ１は、関心領域１２０を通る造影剤の流れの異なるビューを表す２Ｄ血管造影画像の２つの時間的シーケンスから３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａ、１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
【0049】
一例では、予測された３Ｄ血管造影画像の時間的シーケンス１１０は、入力された２Ｄ血管造影画像の特定の領域に対して生成される。この例では、図１を参照して説明された方法は、また、体積画像データ１３０ａ、１３０ｂおよび／または２Ｄ血管造影画像１４０における関心領域の範囲を示すユーザ入力を受信するステップと、 体積画像データ１３０ａ、１３０ｂおよび／または２Ｄ血管造影画像１４０における関心領域の示された範囲に対応する予測された３Ｄ血管造影画像の時間的シーケンス１１０を出力するステップと、をも含む。ユーザ入力は、例えば、２Ｄ血管造影画像１４０上の注釈の形でユーザによって提供されてもよい。ユーザは、例えば、関心領域の周りに境界ボックスを手動で描いてもよい。関心領域は、また、自動的に識別されてもよく、その後、ユーザは、自動的に識別された関心領域を選択する。関心領域の自動識別のための技術は、画像強度閾値化、領域成長、テンプレートマッチング、レベル設定、アクティブ輪郭モデリング、ニューラルネットワーク（たとえば、Ｕ-Ｎｅｔ）によるセグメント化、特徴検出などを含む。ニューラルネットワークＮＮ１の推論時間は、ニューラルネットワークＮＮ１に入力される体積画像データ及び／又は２Ｄ血管造影画像における関心領域の範囲を示すことによって低減されてもよい。
【0050】
別の例では、予測された３Ｄ血管造影画像の時間的シーケンス１１０が、ユーザ指定時間分解能またはユーザ指定時間ウィンドウを用いて生成される。これらの例では、図１を参照して説明される方法は、また、予測された３Ｄ血管造影画像の時間的シーケンス１１０のための時間分解能を示すユーザ入力を受信するステップと、
予測された３Ｄ血管造影画像の時間的シーケンス１１０のための時間的ウィンドウを示すユーザ入力を受信するステップと、
それぞれ、示された時間分解能を持ち、および／または示された時間的ウィンドウ内の予測された３Ｄ血管造影画像の時間的シーケンス１１０を出力するステップ、
を含む。
予測された３Ｄ血管造影画像の時間的シーケンス１１０のための時間的ウィンドウを示すユーザ入力を受信するステップと、
それぞれ、示された時間分解能を持ち、および／または示された時間的ウィンドウ内の予測された３Ｄ血管造影画像の時間的シーケンス１１０を出力するステップ、
を含む。
【0051】
時間分解能または時間ウィンドウを示すユーザ入力は、グラフィカルユーザインタフェース「ＧＵＩ」と組み合わせて、マウス、タッチスクリーンなどのユーザ入力装置によって提供され得る。ＧＵＩは、例えば、ユーザが予測された３Ｄ血管造影画像の時間的シーケンス１１０内のフレームを選択することを可能にする時間間隔スライダを含んでもよい。予測された３Ｄ血管造影画像の時間的シーケンス１１０は、血管系内の異なる位置での造影剤の到達時間を表すために異なる色を使用することによって色分けされてもよい。ＧＵＩは、また、ユーザが予測される３Ｄ血管造影画像の時間的シーケンス１１０の時間分解能を選択することを可能にするウィンドウサイズスライダを含んでもよい。ＧＵＩは、関心領域に対するユーザ定義の向きからの３Ｄ血管造影画像の時間的シーケンス１１０の合成投影の表示を可能にし得る。
【0052】
上述のように、いくつかの例では、２Ｄ血管造影画像の時間的シーケンス１４０が、体積画像データ１３０ａ、１３０ｂよりも時間的に遅く生成されてもよい。例えば、体積画像データ１３０ａ、１３０ｂは、関心領域１２０への介入装置の挿入前に生成された術前データを表してもよく、受信された２Ｄ血管造影画像の時間的シーケンス１４０は、関心領域１２０への介入装置の挿入中に生成された術中データを表してもよい。したがって、一例では、体積画像データ１３０ａ、１３０ｂ内の関心領域１２０を通る造影剤の流れは、受信された２Ｄ血管造影画像の時間的シーケンス１４０内の関心領域１２０を通る造影剤の流れとは異なる。
【0053】
この例では、ニューラルネットワークＮＮ１は、また、完了した関心領域に対する介入処置の割合を予測するように訓練され得る。ニューラルネットワークＮＮ１は、訓練データに、３Ｄ血管造影訓練画像、および２Ｄ血管造影訓練画像の対応する時間的シーケンスを含めることによってこれを行うように訓練されてもよく、後者は、関心領域に対する介入処置中の関心領域を通る造影剤の流れを表し、完了した関心領域に対する介入処置のグランドトゥルース割合を予測するようにニューラルネットワークＮＮ１を訓練する。完了した関心領域に対する介入処置のグランドトゥルース割合は、過去の処置から計算されてもよい。訓練中、グランドトゥルースと、完了した関心領域に対する介入処置の予測された割合とは、損失関数を使用して比較されることができ、損失関数の値は、ニューラルネットワークＮＮ１を訓練するために使用される損失関数の値に寄与する。推論において、ニューラルネットワークＮＮ１は、予測された３Ｄ血管造影画像の時間的シーケンスにおける流れに基づいて、完了した関心領域に対する介入処置の割合を予測する。この例では、ニューラルネットワークＮＮ１は、入力された２Ｄ血管造影画像の時間的シーケンス１４０内の画像について、介入装置を使用して完了した関心領域に対する介入処置の割合を予測するように訓練され、方法は、
予測された３Ｄ血管造影画像の時間的シーケンス１１０について完了した関心領域に対する介入処置の割合を出力するステップ、
を含む。
予測された３Ｄ血管造影画像の時間的シーケンス１１０について完了した関心領域に対する介入処置の割合を出力するステップ、
を含む。
【0054】
ニューラルネットワークＮＮ１の訓練は、後で説明される。
【0055】
一般に、ニューラルネットワークの訓練は、訓練データセットをニューラルネットワークに入力することと、訓練されたニューラルネットワークが正確な出力を提供するまでニューラルネットワークのパラメータを反復的に調整することとを伴う。訓練は、多くの場合、グラフィックス処理装置「ＧＰＵ」又はニューラル処理ユニット「ＮＰＵ」又はテンソル処理ユニット「ＴＰＵ」などの専用ニューラルプロセッサを使用して実行される。訓練は、多くの場合、集中型アプローチを採用し、クラウドベース又はメインフレームベースのニューラルプロセッサが、ニューラルネットワークを訓練するために使用される。訓練データセットを用いた訓練に続いて、訓練されたニューラルネットワークは、推論中に新しい入力データを分析するための装置に展開され得る。推論中の処理要件は、訓練中に必要とされるものよりも著しく低く、ニューラルネットワークがラップトップコンピュータ、タブレット、携帯電話などの様々なシステムに展開されることを可能にする。推論は、例えば、中央処理ユニット「ＣＰＵ」、ＧＰＵ、ＮＰＵ、ＴＰＵによって、サーバ上で、又はクラウド内で実行されてもよい。
【0056】
したがって、上述のニューラルネットワークＮＮ１を訓練するプロセスは、そのパラメータを調整することを含む。パラメータ、より具体的には、重み及びバイアスは、ニューラルネットワークにおける活性化関数の動作を制御する。教師付き学習では、訓練プロセスは、入力データを提示されるときに、ニューラルネットワークが、対応する期待出力データを正確に提供するように、重み及びバイアスを自動的に調整する。これを行うために、損失関数の値又は誤差は、予測された出力データと期待される出力データとの間の差に基づいて計算される。損失関数の値は、負の対数尤度損失、平均二乗誤差、又はフーバー損失、又はクロスエントロピー損失などの関数を使用して計算され得る。訓練中、損失関数の値は、典型的には、最小化され、訓練は、損失関数の値が停止基準を満たすときに終了される。場合によっては、訓練は、損失関数の値が複数の基準のうちの１つ以上を満たすときに、終了される。
【0057】
勾配降下法、準ニュートン法など、損失最小化問題を解決するための様々な方法が、既知である。確率的勾配降下「ＳＧＤ」、バッチ勾配降下、ミニバッチ勾配降下、ガウス・ニュートン法、レーベンバーグ・マルカート法、モーメンタム法、Ａｄａｍ、Ｎａｄａｍ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳＰｒｏｐ、及びＡｄａｍａｘ「オプティマイザ」を含むが、これらに限定されない、これらの方法及びそれらの変形を実装するために、様々なアルゴリズムが開発されてきた。これらのアルゴリズムは、連鎖法を使用して、モデルパラメータに対する損失関数の導関数を計算する。このプロセスは、導関数が、最後の層又は出力層において開始して、第１の層又は入力層に向かって移動して計算されるので、逆伝搬（backpropagation）と称される。これらの導関数は、誤差関数を最小化するためにモデルパラメータがどのように調整されなければならないかをアルゴリズムに知らせる。すなわち、モデルパラメータに対する調整は、出力層から開始し、入力層が到達されるまでネットワーク内で後方に動作するように行われる。第１の訓練反復において、初期の重み及びバイアスは、しばしばランダム化される。次いで、ニューラルネットワークは、同様にランダムである出力データを予測する。次いで、逆伝搬が、重み及びバイアスを調整するために使用される。訓練プロセスは、各反復において重み及びバイアスに対して調整を行うことによって反復的に実行される。訓練は、誤差、又は予測された出力データと期待出力データとの間の差が、訓練データ又は何らかの検証データについて許容可能な範囲内にあるときに、終了される。その後、ニューラルネットワークが、展開され得、訓練されたニューラルネットワークは、そのパラメータの訓練された値を使用して、新しい入力データについて予測を行う。訓練プロセスが成功した場合、訓練されたニューラルネットワークは、新しい入力データから期待出力データを正確に予測する。
【0058】
一例では、ニューラルネットワークＮＮ１は、
複数の患者の各々について、関心領域１２０を表す３Ｄ血管造影訓練画像１３０’ａを受信するステップＳ２１０、
各患者について、３Ｄ血管造影訓練画像１３０’ａに対応する２Ｄ血管造影訓練画像の時間的シーケンス１４０’を受信するステップＳ２２０であって、２Ｄ血管造影訓練画像１４０’は、関心領域１２０を通る造影剤の流れを表す、ステップ、
患者に対する時間的シーケンスにおける複数の２Ｄ血管造影訓練画像１４０’の各々について、および複数の患者の各々について、
２Ｄ血管造影訓練画像１４０’をニューラルネットワークＮＮ１に入力するステップＳ２３０、
関心領域１２０を通る造影剤の流れを表す対応する予測された３Ｄ血管造影画像１１０’を生成するステップＳ２４０と、
ｉ）受信された３Ｄ血管造影訓練画像１３０’ａと予測された３Ｄ血管造影画像１１０’との間の差を表す第１の損失関数ＬＦ1の値、及び
ｉｉ）入力された２Ｄ血管造影訓練画像１４０’と、入力された２Ｄ血管造影訓練画像１４０’の面に対応する面に対する予測された３Ｄ血管造影画像１１０’の投影１６０との間の差を表す第２の損失関数ＬＦ2の値、
に基づいてニューラルネットワークＮＮ１のパラメータを調整するステップＳ２５０と、
停止基準が満たされるまで、入力するステップＳ２３０、生成するステップＳ２４０、及び調整するステップＳ２５０を繰り返すステップＳ２６０と、
によって、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａによって予測された３Ｄ血管造影画像の時間的シーケンスを制約するように訓練される。
複数の患者の各々について、関心領域１２０を表す３Ｄ血管造影訓練画像１３０’ａを受信するステップＳ２１０、
各患者について、３Ｄ血管造影訓練画像１３０’ａに対応する２Ｄ血管造影訓練画像の時間的シーケンス１４０’を受信するステップＳ２２０であって、２Ｄ血管造影訓練画像１４０’は、関心領域１２０を通る造影剤の流れを表す、ステップ、
患者に対する時間的シーケンスにおける複数の２Ｄ血管造影訓練画像１４０’の各々について、および複数の患者の各々について、
２Ｄ血管造影訓練画像１４０’をニューラルネットワークＮＮ１に入力するステップＳ２３０、
関心領域１２０を通る造影剤の流れを表す対応する予測された３Ｄ血管造影画像１１０’を生成するステップＳ２４０と、
ｉ）受信された３Ｄ血管造影訓練画像１３０’ａと予測された３Ｄ血管造影画像１１０’との間の差を表す第１の損失関数ＬＦ1の値、及び
ｉｉ）入力された２Ｄ血管造影訓練画像１４０’と、入力された２Ｄ血管造影訓練画像１４０’の面に対応する面に対する予測された３Ｄ血管造影画像１１０’の投影１６０との間の差を表す第２の損失関数ＬＦ2の値、
に基づいてニューラルネットワークＮＮ１のパラメータを調整するステップＳ２５０と、
停止基準が満たされるまで、入力するステップＳ２３０、生成するステップＳ２４０、及び調整するステップＳ２５０を繰り返すステップＳ２６０と、
によって、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａによって予測された３Ｄ血管造影画像の時間的シーケンスを制約するように訓練される。
【0059】
この訓練方法は、本開示のいくつかの態様による、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供するようにニューラルネットワークを訓練する方法の第１の例を示すフローチャートである図７に示される。訓練方法は、本開示のいくつかの態様による、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供するようにニューラルネットワークを訓練する方法の第１の例を示す概略図である図９にも示される。
【0060】
図７および図９を参照すると、動作Ｓ２１０において、関心領域１２０を表す３Ｄ血管造影訓練画像１３０’ａが、複数の患者について受信される。３Ｄ血管造影訓練画像は、例えば、コンピュータトモグラフィ血管造影「ＣＴＡ」、３Ｄ回転血管造影「３ＤＲＡ」、または磁気共鳴血管造影「ＭＲＡ」撮像システムなどの３Ｄ血管造影撮像システムによって生成され得る。１００人以上の患者に対する３次元血管造影訓練画像１３０’ａは、動作Ｓ２１０において受信されてもよい。画像は、関心領域に対する様々な異常の範囲を含んでもよい。画像は、異なる年齢、性別、ボディマスインデックスなどを有する患者を表してもよい。３Ｄ血管造影訓練画像１３０’ａは、関心領域に対する介入処置の前に生成されてもよい。
【0061】
動作Ｓ２２０において、２Ｄ血管造影訓練画像の時間的シーケンス１４０’が、複数の患者の各々について受信される。２Ｄ血管造影訓練画像１４０’は、関心領域１２０を通る造影剤の流れを表す。２Ｄ血管造影訓練画像１４０’は、例えば、関心領域に対する介入処置中の造影剤の流れを表してもよい。２Ｄ血管造影訓練画像１４０’は、投影Ｘ線撮像システムによって生成されてもよい。代わりに、２Ｄ血管造影訓練画像１４０’は、上述のように、体積Ｘ線撮像システムによって生成された３Ｄ血管造影画像を仮想検出器平面上に投影することによって生成される合成２Ｄ血管造影画像であってもよい。
【0062】
動作Ｓ２３０において、複数の患者の時間的シーケンスからの複数の２Ｄ血管造影訓練画像１４０’が、ニューラルネットワークＮＮ１に入力される。動作Ｓ２４０では、ニューラルネットワークＮＮ１が、予測を行い、動作Ｓ２５０では、ニューラルネットワークＮＮ１のパラメータが、２つの損失関数ＬＦ1とＬＦ2の値に基づいて調整される。時間的シーケンスは、ニューラルネットワークＮＮ１に入力する前に、訓練データセット内の複数の患者からランダムに選択されてもよい。このように入力の順序を変更することによって、ニューラルネットワークが入力の設定された順序についての予測の順序を記憶することを防ぐことによって予測を改善してもよい。動作Ｓ２６０では、動作Ｓ２３０、Ｓ２４０及びＳ２５０が、複数回繰り返される。これらの損失関数の計算は、図９に概略的に示される。第１の損失関数ＬＦ1の値は、受信された３Ｄ血管造影訓練画像１３０’ａと予測された３Ｄ血管造影画像１１０’との間の差を表す。第２損失関数ＬＦ2の値は、入力された２Ｄ血管造影訓練画像１４０’と、入力された２Ｄ血管造影訓練画像１４０’の平面に対応する平面への予測された３Ｄ血管造影画像１１０’の投影１６０との間の差を表す。予測された３Ｄ血管造影画像１１０’が投影される平面は、上述のように決定されてもよく、すなわち、患者の関心領域に対する、２Ｄ血管造影訓練画像１４０’を生成するＸ線撮像システムの向きを表す位置エンコーダデータに基づいて既知であってもよい。代わりに、予測された３Ｄ血管造影画像１１０’が投影される平面は、２Ｄ血管造影訓練画像１４０’を３Ｄ血管造影訓練画像１３０’ａに位置合わせすることによって決定されてもよい。損失関数の値は、Ｌ１またはＬ２損失、構造類似性指数、フーバー損失、log cosh損失などの損失関数を使用して計算されてもよい。損失関数の値は、重み付けされ、合計されて、合成値を提供してもよい。上述の逆伝播技術は、損失関数ＬＦ1及びＬＦ2の合成値を使用してニューラルネットワークＮＮ１のパラメータを調整するために使用されてもよい。
【0063】
訓練中に使用される第１および第２の損失関数、すなわちＬＦ1およびＬＦ2の値は、図３および図４に関連して説明された第１および第２の損失関数と同じ様式で計算される。損失関数も、上述したものと同様の効果を有する。第１の損失関数ＬＦ1は、予測された３Ｄ血管造影画像の時間的シーケンス１１０における画像が、３Ｄ血管造影訓練画像１３０’ａにおける関心領域の３Ｄ構造を正確に描写することを保証する効果を有する。第２の損失関数ＬＦ2は、予測された３Ｄ血管造影画像の時間的シーケンス１１０’における画像内の流れが、入力された２Ｄ血管造影訓練画像１４０’内の造影剤の流れを正確に描写することを保証する効果を有する。
【0064】
別の例では、ニューラルネットワークＮＮ１は、
複数の患者の各々について、関心領域１２０を通る造影剤の基準の流れを表す３Ｄ血管造影訓練画像の時間的シーケンス１３０’ｂを受信するステップＳ３１０と、
各患者について、３Ｄ血管造影訓練画像の時間的シーケンス１３０ｂ’に対応する２Ｄ血管造影訓練画像の時間的シーケンス１４０’を受信するステップＳ３２０であって、２Ｄ血管造影訓練画像の時間的シーケンス１４０’は、関心領域１２０を通る造影剤の流れを表す、ステップと、
患者に対する時間的シーケンスにおける複数の２Ｄ血管造影訓練画像１４０’の各々について、および複数の患者の各々について、
２Ｄ血管造影訓練画像１４０’をニューラルネットワークＮＮ１に入力するステップＳ３３０と、
関心領域１２０を通る造影剤の流れを表す対応する予測された３Ｄ血管造影画像１１０’を生成するステップＳ３４０と、
ｉ）受信された３Ｄ血管造影画像の時間的シーケンス１４０’ｂからの対応する３Ｄ血管造影訓練画像と予測された３Ｄ血管造影画像１１０’との間の差を表す第１の損失関数ＬＦ1の値、及び
ｉｉ）入力された２Ｄ血管造影訓練画像１４０’と入力された２Ｄ血管造影訓練画像１４０’の平面に対応する平面上の予測された３Ｄ血管造影画像１１０’の投影１６０との間の差を表す第２の損失関数ＬＦ2の値、
に基づいてニューラルネットワークＮＮ１のパラメータを調整するステップＳ３５０と、
複数の患者の各々について、関心領域１２０を通る造影剤の基準の流れを表す３Ｄ血管造影訓練画像の時間的シーケンス１３０’ｂを受信するステップＳ３１０と、
各患者について、３Ｄ血管造影訓練画像の時間的シーケンス１３０ｂ’に対応する２Ｄ血管造影訓練画像の時間的シーケンス１４０’を受信するステップＳ３２０であって、２Ｄ血管造影訓練画像の時間的シーケンス１４０’は、関心領域１２０を通る造影剤の流れを表す、ステップと、
患者に対する時間的シーケンスにおける複数の２Ｄ血管造影訓練画像１４０’の各々について、および複数の患者の各々について、
２Ｄ血管造影訓練画像１４０’をニューラルネットワークＮＮ１に入力するステップＳ３３０と、
関心領域１２０を通る造影剤の流れを表す対応する予測された３Ｄ血管造影画像１１０’を生成するステップＳ３４０と、
ｉ）受信された３Ｄ血管造影画像の時間的シーケンス１４０’ｂからの対応する３Ｄ血管造影訓練画像と予測された３Ｄ血管造影画像１１０’との間の差を表す第１の損失関数ＬＦ1の値、及び
ｉｉ）入力された２Ｄ血管造影訓練画像１４０’と入力された２Ｄ血管造影訓練画像１４０’の平面に対応する平面上の予測された３Ｄ血管造影画像１１０’の投影１６０との間の差を表す第２の損失関数ＬＦ2の値、
に基づいてニューラルネットワークＮＮ１のパラメータを調整するステップＳ３５０と、
【0065】
停止基準が満たされるまで、入力するステップＳ３３０及び生成するステップＳ３４０及び調整するステップＳ３５０を繰り返すステップＳ３６０と、
によって、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンスを制約するように訓練される。
によって、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンスを制約するように訓練される。
【0066】
この訓練方法は、本開示のいくつかの態様による、関心領域を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンスを提供するようにニューラルネットワークを訓練する方法の第２の例を示すフローチャートである図８に示される。この第２の例では、ニューラルネットワークＮＮ１の訓練は、第１の例について上述したのと同じ様式で実行され、関心領域１２０を表す単一の３Ｄ血管造影訓練画像１３０’ａを用いて訓練を実行するのではなく、３Ｄ血管造影訓練画像の時間的シーケンス１３０’ｂが使用される点で異なる。また、第１の損失関数の値が計算されるとき、第２の例では、第１の損失関数ＬＦ1の値は、受信された３Ｄ血管造影画像の時間的シーケンス１４０’ｂからの対応する３Ｄ血管造影訓練画像と予測された３Ｄ血管造影画像１１０’との間の差を表す。画像は、それらが同じ時点を表すという意味で対応する。したがって、この例では、予測された３Ｄ血管造影画像１１０’が、３Ｄ血管造影訓練画像の時間的シーケンス１３０’ｂと同じ時間間隔を有してもよい。
【0067】
図７を参照して説明された訓練方法、または図８を参照して説明された訓練方法では、さらなる動作が、実行されてもよい。例えば、３Ｄ血管造影訓練画像１３０’ｂおよび／または２Ｄ血管造影訓練画像の時間的シーケンス１４０’における関心領域１２０の範囲を示すユーザ入力が、受信されてもよく、第１の損失関数ＬＦ1および／または第２の損失関数ＬＦ2の値は、示された範囲内でのみ計算されてもよい。その際、訓練は、関心領域に合わせて調整される。代替的または追加的に、第１の損失関数ＬＦ1および／または第２の損失関数ＬＦ2の値は、示された範囲外と比較して、示された範囲内のそれぞれの損失関数により高い重み付けを適用することによって計算されてもよい。これは、訓練を関心領域に合わせて調整する効果も有する。
【0068】
図７を参照して説明された訓練方法、または図８を参照して説明された訓練方法において、ニューラルネットワークＮＮ１の訓練は、３Ｄ血管造影訓練画像１３０’ａ、または３Ｄ血管造影訓練画像の時間的シーケンス１３０’ｂをニューラルネットワークＮＮ１に入力することを含んでもよい。これは、図９において、これらのアイテムの間の破線の矢印によって示される。このようにニューラルネットワークＮＮ１に３Ｄ血管造影訓練画像を入力することは、入力された２Ｄ血管造影訓練画像１４０’内の造影剤の流れに基づいて関心領域内の３Ｄ形状または流れの変化を推定することのみを必要とするので、ニューラルネットワークの訓練を単純化し得る。対照的に、３Ｄ血管造影訓練画像がニューラルネットワークＮＮ１に入力されない場合、ニューラルネットワークＮＮ１は、入力された２Ｄ血管造影訓練画像１４０’から、構造的形状及び造影剤の流れを予測するように学習し、３Ｄ血管造影訓練画像は、単に、第２損失関数ＬＦ1の値を計算するために使用される。
【0069】
別の例では、図７を参照して説明された訓練方法、または図８を参照して説明された訓練方法では、３Ｄ血管造影訓練画像１３０’ａまたは３Ｄ血管造影訓練画像の時間的シーケンス１３０’ｂが、関心領域への介入装置の挿入前に生成された術前データを表してもよい。２Ｄ血管造影訓練画像の時間的シーケンス１４０’は、関心領域への介入装置の挿入中に生成された術中データを表してもよい。さらに、３Ｄ血管造影訓練画像１３０’ａ中の、または３Ｄ血管造影訓練画像の時間的シーケンス１３０’ｂ中の関心領域１２０’を通る造影剤の流れは、２Ｄ血管造影訓練画像の時間的シーケンス１４０’中の関心領域を通る造影剤の流れとは異なってもよい。
【0070】
別の例では、図８を参照して説明された訓練方法は、
関心領域への介入装置の挿入中または挿入後に関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影訓練画像の時間的シーケンスを受信するステップ、
を含んでもよく、
ニューラルネットワークＮＮ１のパラメータを調整するステップＳ２５０、Ｓ３５０は、さらに、
ｉｉｉ）関心領域への介入装置の挿入中または挿入後の関心領域を通る造影剤の流れを表す対応する３Ｄ血管造影訓練画像と予測された３Ｄ血管造影画像１１０’との間の差を表す第３の損失関数ＬＦ3の値、
に基づく。
関心領域への介入装置の挿入中または挿入後に関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影訓練画像の時間的シーケンスを受信するステップ、
を含んでもよく、
ニューラルネットワークＮＮ１のパラメータを調整するステップＳ２５０、Ｓ３５０は、さらに、
ｉｉｉ）関心領域への介入装置の挿入中または挿入後の関心領域を通る造影剤の流れを表す対応する３Ｄ血管造影訓練画像と予測された３Ｄ血管造影画像１１０’との間の差を表す第３の損失関数ＬＦ3の値、
に基づく。
【0071】
この例では、関心領域の術中および／または術後３Ｄ血管造影画像の時間的シーケンスの形の訓練データが、追加的に利用可能である。第３の損失関数ＬＦ3の値は、上述した第１及び第２の損失関数ＬＦ1及びＬＦ2と同様にして計算されてもよい。この例では、これらの時間的シーケンスが、ニューラルネットワークＮＮ１のパラメータを調整するために訓練中に使用される。このようにして第３の損失関数を使用することは、関心領域の術中および／または術後３Ｄ構造に関する直接情報をニューラルネットワークＮＮ１に提供するので、ニューラルネットワークＮＮ１のより速い訓練を提供し得る。
【0072】
一例では、訓練されるニューラルネットワークＮＮ１が、ＧＡＮである。ＧＡＮは、さらに、予測された３Ｄ血管造影画像の時間的シーケンスが３Ｄ血管造影訓練画像の「スタイル」にあることを保証するために、敵対的損失および／またはサイクル一貫性損失を使用してもよい。推論において、対照的な損失は、入力された２Ｄ血管造影画像の時間的シーケンス１４０の対応するフレームが、入力された２Ｄ血管造影訓練画像１４０’の平面に対応する平面上への予測された３Ｄ血管造影画像１１０’の投影と位置合わせされることを保証し得る。
【0073】
別の例では、コンピュータプログラム製品が、提供される。コンピュータプログラム製品は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンス１１０を提供する方法を実行させる命令を含み、方法は、
関心領域１２０を表す体積画像データ１３０ａ、１３０ｂを受信するステップＳ１１０と、
関心領域１２０を通る造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンス１４０を受信するステップＳ１２０と、
体積画像データ１３０ａ、１３０ｂ、および２Ｄ血管造影画像の時間的シーケンス１４０をニューラルネットワークＮＮ１に入力するステップＳ１３０と、
入力に応答して、関心領域１２０を通る造影剤の流れを表す予測された３Ｄ血管造影画像の時間的シーケンス１１０を生成するステップＳ１４０と、
を有し、
ニューラルネットワークＮＮ１は、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａ、１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
関心領域１２０を表す体積画像データ１３０ａ、１３０ｂを受信するステップＳ１１０と、
関心領域１２０を通る造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンス１４０を受信するステップＳ１２０と、
体積画像データ１３０ａ、１３０ｂ、および２Ｄ血管造影画像の時間的シーケンス１４０をニューラルネットワークＮＮ１に入力するステップＳ１３０と、
入力に応答して、関心領域１２０を通る造影剤の流れを表す予測された３Ｄ血管造影画像の時間的シーケンス１１０を生成するステップＳ１４０と、
を有し、
ニューラルネットワークＮＮ１は、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａ、１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
【0074】
上述のように、コンピュータ実施方法の特徴は、システムにおいて実装されてもよい。したがって、一例では、関心領域１２０を通る造影剤の流れを表す３Ｄ血管造影画像の時間的シーケンス１１０を提供するためのシステム２００が、提供される。システム２００は、
関心領域１２０を表すＳ１１０体積画像データ１３０ａ、１３０ｂを受信し（Ｓ１１０）、
関心領域１２０を通る造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンス１４０を受信し（Ｓ１２０）、
体積画像データ１３０ａ、１３０ｂ、および２Ｄ血管造影画像の時間的シーケンス１４０をニューラルネットワークＮＮ１に入力し（Ｓ１３０）、
入力に応答して、関心領域１２０を通る造影剤の流れを表す予測された３Ｄ血管造影画像の時間的シーケンス１１０を生成する（Ｓ１４０）、
ように構成された１つ以上のプロセッサ１７０を含み、
ニューラルネットワークＮＮ１は、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａ、１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
関心領域１２０を表すＳ１１０体積画像データ１３０ａ、１３０ｂを受信し（Ｓ１１０）、
関心領域１２０を通る造影剤の流れを表す２Ｄ血管造影画像の時間的シーケンス１４０を受信し（Ｓ１２０）、
体積画像データ１３０ａ、１３０ｂ、および２Ｄ血管造影画像の時間的シーケンス１４０をニューラルネットワークＮＮ１に入力し（Ｓ１３０）、
入力に応答して、関心領域１２０を通る造影剤の流れを表す予測された３Ｄ血管造影画像の時間的シーケンス１１０を生成する（Ｓ１４０）、
ように構成された１つ以上のプロセッサ１７０を含み、
ニューラルネットワークＮＮ１は、２Ｄ血管造影画像の時間的シーケンス１４０から３Ｄ血管造影画像の時間的シーケンス１１０を予測し、体積画像データ１３０ａ、１３０ｂによって予測された３Ｄ血管造影画像の時間的シーケンス１１０を制約するように訓練される。
【0075】
このシステム２００の一例が、図２に示される。システム２００は、図１のフローチャートを参照して上述した動作を実行し得る１つまたは複数のプロセッサ１７０を含む。システム２００は、また、２Ｄ血管造影画像の時間的シーケンス１４０を生成するための投影Ｘ線撮像システム１８０、予測された３Ｄ血管造影画像の時間的シーケンス１１０を表示するためのディスプレイ１９０、ＧＵＩ、およびキーボード、マウス、タッチスクリーンなどのユーザ入力（図１には図示せず）を受信するように構成されたユーザ入力装置のうちの１つまたは複数を含んでもよい。
【0076】
上記の例は、本開示を説明するものであり、限定するものではないとして理解されるべきである。更なる例も、企図される。たとえば、コンピュータ実施方法に関連して説明された例は、対応する形で、コンピュータプログラム製品によって、またはコンピュータ可読記憶媒体によって、またはシステム２００によって提供されてもよい。任意の１つの例に関して記載された特徴は、単独で、又は他の記載された特徴と組み合わせて使用されてもよく、例のうちの別のものの１つ又は複数の特徴、又は他の例の組み合わせと組み合わせて使用されてもよいと理解されたい。更に、上で説明されていない均等物及び修正物も、添付の特許請求の範囲で規定される本発明の範囲から逸脱することなく使用され得る。請求項において、単語「有する」は、他の要素又は動作を排除するものではなく、不定冠詞「ａ」又は「ａｎ」は、複数性を排除するものではない。特定の特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組み合わせが有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、それらの範囲を限定するものとして解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】