特表 2024-528442 塞栓処置状態の予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-30

(54)【発明の名称】塞栓処置状態の予測

(51)【国際特許分類】

   A61B 6/50 20240101AFI20240723BHJP

   A61B 6/00 20240101ALI20240723BHJP

   A61B 34/10 20160101ALI20240723BHJP

   G06T 7/00 20170101ALI20240723BHJP

【ＦＩ】

A61B6/50 500B

A61B6/00 560

A61B6/50 511E

A61B6/00 550S

A61B34/10

G06T7/00 350C

G06T7/00 614

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023578745

(86)(22)【出願日】2022-06-21

(85)【翻訳文提出日】2024-01-12

(86)【国際出願番号】 EP2022066813

(87)【国際公開番号】W WO2022268767

(87)【国際公開日】2022-12-29

(31)【優先権主張番号】63/214,418

(32)【優先日】2021-06-24

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】21188399.6

(32)【優先日】2021-07-29

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】サレヒ レイリ

(72)【発明者】

【氏名】シンハ アユシ

(72)【発明者】

【氏名】エレカンプ ラモン クィド

(72)【発明者】

【氏名】パンセ アシシュ サトヤヴラト

(72)【発明者】

【氏名】トポレク グジェゴジ アンドレイ

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA24

4C093DA02

4C093DA04

4C093FF19

4C093FF24

4C093FF34

5L096AA06

5L096BA06

5L096BA13

5L096DA02

5L096FA32

5L096FA33

5L096FA66

5L096FA67

5L096FA69

5L096GA30

5L096HA11

5L096KA04

(57)【要約】

動脈瘤の塞栓処置の状態を予測するコンピュータ実装方法は、塞栓処置中の動脈瘤を含む生体構造の領域内の瞬時血流を表す投影画像データ１１０を受信するステップ（Ｓ１１０）と、受信された投影画像データ１１０を、瞬時血流１３０を予測するように訓練されたニューラルネットワーク１２０に入力するステップ（Ｓ１２０）であって、ニューラルネットワーク１２０が、動脈瘤を含まない生体構造の領域内の瞬時血流を表す訓練データ１４０を使用して、瞬時血流１３０を予測するように訓練されている、ステップと、入力するステップ（Ｓ１２０）に応じて、予測された瞬時血流に基づいて、塞栓処置の状態を示す出力１６０を生成するステップ（Ｓ１３０）とを有する。

【特許請求の範囲】

【請求項1】

動脈瘤の塞栓処置の状態を予測するコンピュータ実装方法であって、前記方法が、
前記塞栓処置中の動脈瘤を含む生体構造の領域内の瞬時血流を表す投影画像データを受信するステップと、
受信された前記投影画像データを、瞬時血流を予測するように訓練されたニューラルネットワークに入力するステップであって、前記ニューラルネットワークが、動脈瘤を含まない生体構造の領域内の瞬時血流を表す訓練データを使用して、瞬時血流を予測するように訓練されている、ステップと、
前記入力するステップに応じて予測された前記瞬時血流に基づいて、前記塞栓処置の前記状態を示す出力を生成するステップとを有する、コンピュータ実装方法。

【請求項2】

前記方法が、正常な血流に対する予測された前記瞬時血流を示す分布外メトリックの値を計算するステップを更に有し、
前記塞栓処置の前記状態を示す出力を生成するステップが、前記分布外メトリックの計算された前記値に基づく、請求項１に記載のコンピュータ実装方法。

【請求項3】

ｉ）前記ニューラルネットワークが、予測された前記瞬時血流と入力された前記投影画像データ内で表される前記血流との間の差を表す再構成誤差値、及び／若しくは入力された前記投影画像データの潜在表現の確率分布と参照確率分布との間の差を表す発散値を生成し、前記分布外メトリックの前記値が、前記再構成誤差値及び／若しくは前記発散値に基づいて計算されるか、又は
ｉｉ）前記ニューラルネットワークが、予測された前記瞬時血流に支配的に寄与している、入力された前記投影画像データ内の１つ又は複数の特徴部の位置を示すアテンションマップを生成し、前記分布外メトリックの前記値が、前記アテンションマップ内で示される前記１つ又は複数の特徴部の位置と、入力された前記投影画像データ内の前記動脈瘤の位置との間の差に基づいて計算される、
請求項２に記載のコンピュータ実装方法。

【請求項4】

前記投影画像データ及び前記訓練データが、Ｘ線画像のシーケンスを各々含む、請求項１から３のいずれか一項に記載のコンピュータ実装方法。

【請求項5】

前記投影画像データが、前記動脈瘤の上流にある１つ又は複数の管腔、及び前記動脈瘤の下流にある１つ又は複数の管腔内の瞬時血流の表現を含む、請求項１から３のいずれか一項に記載のコンピュータ実装方法。

【請求項6】

前記塞栓処置の状態が、
ｉ）完了した前記塞栓処置の割合と、
ｉｉ）前記塞栓処置を完了するまでの予想される時間と
のうちの１つ以上を表す、請求項１から３のいずれか一項に記載のコンピュータ実装方法。

【請求項7】

前記方法が、将来の時点における前記塞栓処置の予想される臨床転帰を示す出力を生成するステップを更に有する、請求項１から３のいずれか一項に記載のコンピュータ実装方法。

【請求項8】

前記方法が、受信された前記投影画像データを前記ニューラルネットワークに入力するステップの前に、受信された前記投影画像データ内の前記動脈瘤を識別するステップを更に有する、請求項１から７のいずれか一項に記載のコンピュータ実装方法。

【請求項9】

前記動脈瘤を識別するステップが、
ｉ）前記動脈瘤を含む、受信された前記投影画像データ内の関心領域を示すユーザ入力を受信するステップ、又は
ｉｉ）受信された前記投影画像データ内の前記動脈瘤を自動的に識別するステップを有する、請求項８に記載のコンピュータ実装方法。

【請求項10】

前記ニューラルネットワークが、患者データに更に基づいて、前記塞栓処置の前記状態を予測するように訓練され、前記方法が、
前記動脈瘤に関連する患者データを受信するステップと、
受信された前記患者データを前記ニューラルネットワークに入力するステップと、
前記患者データに更に基づいて、前記塞栓処置の前記状態を予測するステップとを更に有する、請求項１から９のいずれか一項に記載のコンピュータ実装方法。

【請求項11】

前記ニューラルネットワークが、変分オートエンコーダアーキテクチャ、リカレントニューラルネットワークアーキテクチャ、長・短期記憶アーキテクチャのうちの１つ又は複数を備える、請求項１から１０のいずれか一項に記載のコンピュータ実装方法。

【請求項12】

前記ニューラルネットワークが、変分オートエンコーダアーキテクチャを備え、前記ニューラルネットワークが、血流の分布を表す潜在変数の１つ又は複数のベクトルを学習するように訓練され、前記ニューラルネットワークが、潜在変数の学習された前記１つ又は複数のベクトルに基づいて、前記瞬時血流を予測するように訓練されている、請求項１１に記載のコンピュータ実装方法。

【請求項13】

前記ニューラルネットワークが、
複数の画像の時間的シーケンスを含む訓練データを受信するステップであって、各時間的シーケンスが、動脈瘤を含まない生体構造の領域内の複数の時間ステップにおける血流を表す画像を含む、ステップと、
時間的シーケンス内の複数の時間ステップの各々に対して、
前記ニューラルネットワークに、前記時間ステップに対応する前記画像を入力するステップと、
前記時間ステップにおける前記画像内の血流の分布を表す潜在変数の前記１つ又は複数のベクトルを学習するように、前記ニューラルネットワークを訓練するステップと、
潜在変数の前記１つ又は複数のベクトルによって表される前記画像内の血流の前記分布内からサンプリングして、後続の時間ステップにおける予想される血流を提供するステップと、
前記ニューラルネットワークのパラメータを、停止基準が満たされるまで、
ｉ）潜在変数の前記１つ又は複数のベクトルの確率分布と参照確率分布との間の差を表す第１の損失関数の値と、
ｉｉ）前記後続の時間ステップにおける前記画像内の予測された前記血流、及び前記後続の時間ステップにおける前記血流を表す前記訓練データからの前記入力画像内の前記血流との間の差を表す第２の損失関数の値とに基づいて調整するステップと、
前記入力するステップ、前記訓練するステップ、前記サンプリングするステップ、及び前記調整するステップを、画像の各時間的シーケンスに対して繰り返すステップとによって、血流の前記分布を表す潜在変数の前記１つ又は複数のベクトルを学習するように訓練されている、請求項１１又は１２に記載のコンピュータ実装方法。

【請求項14】

前記方法が、
受信された前記投影画像データ内の前記生体構造の前記領域に対応する容積画像データを受信するステップであって、前記容積画像データが前記塞栓処置の開始の前に生成される、ステップと、
前記容積画像データのセグメント化に基づいて、前記動脈瘤が存在しない前記生体構造の前記領域内の血流をシミュレーションするステップとを更に有し、
前記塞栓処置の前記状態を示す出力を生成するステップは、前記動脈瘤が存在しない前記生体構造の前記領域内のシミュレーションされた前記血流と、前記ニューラルネットワークによって予測された、予測された前記瞬時血流との間の比較に更に基づいて判定される、請求項１に記載のコンピュータ実装方法。

【請求項15】

命令を含むコンピュータプログラムであって、前記命令が、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、請求項１から１４のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、動脈瘤の塞栓処置の状態を予測することに関する。

【背景技術】

【0002】

動脈瘤は、血管の異常に拡大した領域である。動脈瘤は、血管壁における脆弱性によって引き起こされる。動脈瘤は、体内のどの血管にも発生する可能性があり、最も頻繁に発生するのは脳及び腹部大動脈の中である。動脈瘤は、破裂及びそれに伴う内出血及び／又は出血性脳卒中のリスクを避けるために治療を必要とする。

【0003】

血管内コイル塞栓術は、その低侵襲性及び失敗率の低さから、脳動脈瘤を治療するための一般的な処置である。コイル塞栓術は、フレーミングコイルの挿入から開始する。フレーミングコイルは、動脈瘤嚢の周囲を充填し、その後のフィリングコイルの挿入に備えて構造を安定化することを目的としている。フィリングコイルは、フレーミングコイルの後に挿入される。フィリングコイルは、フレーミングコイルよりも短く小さく、フレーミングコイルの内側に詰められる。最後に、フィニッシングコイルが挿入される。

【0004】

治療中は、動脈瘤に適切な量のコイルが充填されることが重要である。動脈瘤にコイルが十分に充填されていない場合、動脈瘤が再疎通するリスクがあり、その結果、更なる治療が必要になる。動脈瘤にコイルが過剰に充填されると、動脈瘤が破裂するリスクがある。動脈瘤をコイルで過剰に充填すると、コイルが動脈瘤から逸脱して親血管に入り、それによって親血管内の血流が遮断されるリスクも生じる。

【0005】

医師は、動脈瘤に適切な量のコイルを充填するために、様々な因子を考慮する。これらの因子は、コイルのパッキング密度及び絶対残留容積を含む。コイルのパッキング密度は、動脈瘤内の血行動態流れに影響を与える。高いコイルパッキング密度を使用すると、動脈瘤が再疎通するリスクが軽減される。絶対残存容積は、動脈瘤内の充填されていない空間の尺度であり、コイルのループ間の空間を含む。この因子はパッキング密度と密接に関係している。パッキング密度が低い場合は、動脈瘤の再疎通を助長する可能性のある残留容積がいくらか存在することになる。

【0006】

コイル塞栓処置は通常、造影剤を使用したＸ線画像化の下で実施される。処置の進行状況は、血管の上流の位置に造影剤を注入し、動脈瘤内の造影剤を複数の角度から画像化することによって評価される。そうすることで、医師は、コイル塞栓処置を完了するために挿入しなければならない追加のコイルの量を推定する。

【0007】

しかし、コイルが動脈瘤に挿入されると、新たに挿入されたコイルによって、以前に配置されたコイル及び動脈瘤自体の可視性が不明瞭になる。挿入されたコイルは、例えば、動脈瘤の周辺部分を充填し、中央に、Ｘ線画像化の下では認識できない中空腔が残る場合がある。これにより、塞栓処置後にコイルが圧縮され、動脈瘤が再疎通する可能性がある。

【0008】

したがって、治療が進行するにつれて、挿入されたコイルの挙動及び分布をＸ線画像上で観察することがますます困難になる。このため、動脈瘤内のパッキング密度及び残存容積を推定することが困難になる。したがって、医師は、動脈瘤内の造影剤を複数の角度から画像化することによって、コイル塞栓処置を完了するために挿入する必要がある追加のコイルの量のより正確な推定値を得ようとする。しかし、このような中空腔が存在する場合には、限られた追加情報しか得られず、また患者への放射線量が増加する。

【発明の概要】

【発明が解決しようとする課題】

【0009】

したがって、塞栓処置の進行状況、言い換えれば、状態を判定する際の改善が必要である。

【課題を解決するための手段】

【0010】

本開示の一態様によれば、動脈瘤の塞栓処置の状態を予測するコンピュータ実装方法が提供される。方法は、
塞栓処置中に、動脈瘤を含む生体構造の領域内の瞬時血流を表す投影画像データを受信するステップと、
受信された投影画像データを、瞬時血流を予測するように訓練されたニューラルネットワークに入力することであって、ニューラルネットワークが、動脈瘤を含まない生体構造の領域内の瞬時血流を表す訓練データを使用して、瞬時血流を予測するように訓練されている、入力するステップと、
入力するステップに応じて予測された瞬時血流に基づいて、塞栓処置の状態を示す出力を生成するステップとを有する。

【0011】

本開示の更なる態様、特徴、及び利点は、添付の図面を参照してなされる以下の実施例の説明から明らかになるであろう。

【図面の簡単な説明】

【0012】

【図1(A)】コイル塞栓処置前の脳血管系を表すデジタルサブトラクション血管造影画像を示す。

【図1(B)】コイル塞栓後の脳血管系を表すデジタルサブトラクション血管造影画像を示す。

【図2】本開示のいくつかの態様による、動脈瘤の塞栓処置の状態を予測する方法を示すフローチャートである。

【図3】本開示のいくつかの態様による、（Ａ）瞬時血流１３０を予測するためのニューラルネットワーク１２０の訓練、及び（Ｂ）瞬時血流１３０を予測するために訓練されたニューラルネットワーク１２０を用いた推論の実施を示す概略図である。

【図4】本開示のいくつかの態様による、血流の分布を表す潜在変数の１つ又は複数のベクトルを学習するためにニューラルネットワークを訓練する方法を示すフローチャートである。

【発明を実施するための形態】

【0013】

本開示の実施例が、以下の説明及び図面を参照して提供される。この説明では、説明の目的のために、特定の実施例の多くの具体的な詳細が記載される。本明細書では、「実施例」、「実装形態」、又は同様の言語への言及は、その実施例に関連して説明される特徴、構造、又は特性が、少なくともその１つの実施例に含まれることを意味する。また、１つの実施例に関連して説明された特徴は、別の実施例においても使用され、簡潔さのために、すべての特徴が、各実施例において必ずしも繰り返されないことを理解されたい。例えば、コンピュータ実装方法に関連して説明される特徴は、対応する様式で、コンピュータプログラム製品において、及びシステムにおいて実装される。

【0014】

以下の説明では、動脈瘤の塞栓処置の状態を予測することを伴うコンピュータ実装方法について言及がなされる。動脈瘤が脳内にある実施例について言及がなされる。しかしながら、コンピュータ実装方法は、心臓、及び例えば腹部大動脈を含む、脳以外の身体の領域にある動脈瘤の塞栓処置の状態を予測するために使用されることを理解されたい。

【0015】

本明細書では、コイル塞栓処置の状態を予測することを伴うコンピュータ実装方法について言及がなされる。しかしながら、方法は、動脈瘤をゲル又は接着剤などの材料で充填することを含む、動脈瘤を治療するための他の戦略を採用する塞栓処置の状態を予測するために使用されることも理解されたい。

【0016】

本明細書では、投影画像データを使用して、動脈瘤の塞栓処置の状態を予測することを伴うコンピュータ実装方法について言及がなされる。投影画像データは、一般に、Ｘ線画像化システムによって生成される。いくつかの実施例では、投影画像データは、デジタルサブトラクション血管造影Ｘ線画像によって提供される。しかしながら、投影画像データは、一般に、透視画像及び造影Ｘ線画像を含む、様々なタイプのＸ線画像によって提供されることを理解されたい。

【0017】

本明細書で開示されるコンピュータ実装方法は、コンピュータ可読命令を内部に記憶した非一時的コンピュータ可読記憶媒体として提供され、コンピュータ可読命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに方法を実施させることに留意されたい。言い換えれば、コンピュータ実装方法は、コンピュータプログラム製品において実施される。コンピュータプログラム製品は、専用のハードウェア、又は適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアによって提供することができる。プロセッサによって提供される場合、方法の特徴の機能は、単一の専用プロセッサ、単一の共用プロセッサ、又はいくつかが共用される複数の個々のプロセッサによって提供することができる。１つ又は複数の方法の特徴の機能は、例えば、クライアント／サーバアーキテクチャ、インターネット、又はクラウドなどのネットワーク化された処理アーキテクチャ内で共有されるプロセッサによって提供される。

【0018】

「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものとして解釈されるべきではなく、デジタル信号プロセッサ「ＤＳＰ」ハードウェア、ソフトウェアを記憶するための読取専用メモリ「ＲＯＭ」、ランダムアクセスメモリ「ＲＡＭ」、及び不揮発性記憶デバイスなどを暗黙的に含むことができるが、これらに限定されない。更に、本開示の実施例は、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態をとることができ、コンピュータプログラム製品は、コンピュータ若しくは任意の命令実行システムによって又はそれらと関連して使用するためのプログラムコードを提供する。本説明の目的のために、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれに関連して使用するためのプログラムを備える、記憶する、通信する、伝播する、又は移送することができる任意の装置とすることができる。媒体は、電子、磁気、光学、電磁、赤外、若しくは半導体システム又はデバイス、あるいは伝搬媒体とすることができる。コンピュータ可読媒体の例としては、半導体又は固体メモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ「ＲＡＭ」、読取専用メモリ「ＲＯＭ」、剛体磁気ディスク、及び光ディスクが挙げられる。光ディスクの現在の例としては、コンパクトディスク読取専用メモリ「ＣＤ－ＲＯＭ」、コンパクトディス読取／書込「ＣＤ－Ｒ／Ｗ」、ブルーレイ（商標）、及びＤＶＤが挙げられる。

【0019】

上述したように、コイル塞栓処置は通常、造影剤を使用したＸ線画像化の下で実施される。処置の進行状況は、血管の上流の位置に造影剤を注入し、動脈瘤内の造影剤を複数の角度から画像化することによって評価される。そうすることで、医師は、コイル塞栓処置を完了するために挿入しなければならない追加のコイルの量を推定する。しかし、コイルが動脈瘤に挿入されると、新たに挿入されたコイルによって、以前に配置されたコイル及び動脈瘤自体の可視性が不明瞭になる。したがって、治療が進行するにつれて、挿入されたコイルの挙動及び分布をＸ線画像上で観察することがますます困難になる。

【0020】

一例として、図１は、コイル塞栓処置前（Ａ）及びコイル塞栓後（Ｂ）の脳血管系を表すデジタルサブトラクション血管造影画像を示している。図１（Ａ）では、動脈瘤が血管から外側に突出した暗いコントラストの大きな嚢として見える。医師は、血液が動脈瘤に充填され、動脈瘤から排出される様子を経時的に視覚化するために、コイル塞栓処置中に複数の角度から図１Ａのような画像を生成する。しかしながら、上述したように、コイルの各々が動脈瘤に挿入されると、コイルの塊により、以前に配置されたコイル及び動脈瘤自体の可視性が不明瞭になる。したがって、治療が進行するにつれて、挿入されたコイルの挙動及び分布をＸ線画像上で観察することがますます困難になる。最終的に、動脈瘤がコイルで充填されると、図１（Ｂ）に示されるように、嚢への血流は無視できる程度になり、医師は、コイル塞栓処置が完了したとみなす場合がある。図１（Ａ）と比較すると、図１（Ｂ）に示されているＤＳＡ画像は、挿入されたコイルを含む更新された背景画像を使用して生成されているため、図１（Ｂ）において、動脈瘤の元の場所が明るいコントラストで見られ、これは、嚢への血流が無視できる程度であることを示している。

【0021】

図２は、本開示のいくつかの態様による、動脈瘤の塞栓処置の状態を予測する方法を示すフローチャートである。図２を参照すると、方法は、
塞栓処置中に、動脈瘤を含む生体構造の領域内の瞬時血流を表す投影画像データ１１０を受信するステップＳ１１０と、
受信された投影画像データ１１０を、瞬時血流１３０を予測するように訓練されたニューラルネットワーク１２０に入力するステップＳ１２０であって、ニューラルネットワーク１２０が、動脈瘤を含まない生体構造の領域内の瞬時血流を表す訓練データ１４０を使用して、瞬時血流１３０を予測するように訓練されている、入力するステップと、
入力するステップＳ１２０に応じて塞栓処置の状態を示す出力１６０を生成するステップＳ１３０とを有する。

【0022】

上記の方法は、動脈瘤を通る瞬時血流と、動脈瘤がコイルでどの程度充填されているかとの間の相関関係の観察に由来する。本コンテキスト内で、「瞬時血流」とは、例えば、ＤＳＡ画像のような投影画像のシーケンス内の造影剤を観察することによって判定することができるように、ある一定の期間にわたる血管系を通る血流を指す。特に、動脈瘤を通る瞬時血流は、興味深いものである。

【0023】

充填されていない状態では、血液は、動脈瘤に入り、次いで、数心周期遅れて動脈瘤の遠位にある血管系に到達することが観察されている。より多くのコイルが動脈瘤に挿入されると、血液は、はるかに短い遅れの後に、動脈瘤の遠位にある血管系に到達することが観察されている。したがって、動脈瘤を通る瞬時血流を使用して、動脈瘤がコイルでどの程度充填されているか、言い換えれば、塞栓処置の状態を判定することができる。

【0024】

上記の方法では、ニューラルネットワークが、入力された投影データから瞬時血流を予測する。ニューラルネットワークは、動脈瘤を含まない生体構造の領域内の瞬時血流を表す訓練データを使用して、瞬時血流を予測するように訓練されたものであり、この領域は「正常な」妨害されない血流が存在する領域であると想定されるため、ニューラルネットワークによって予測された瞬時血流は、入力された投影データに基づいて、このような「正常な」血流に最も近い近似値となる。

【0025】

塞栓処置の開始時点では、動脈瘤にコイルが充填されておらず、入力された投影データ内の血流は異常であることが予想される。入力された投影データ内の血流が訓練データ内の「正常な」血流と異なるという意味で、異常であることが予想される。言い換えれば、塞栓処置の開始時、入力された投影データは、訓練データによって表される正常な血流と比べて、「分布外」である血流を示す。塞栓処置が進行し、動脈瘤がコイルで充填されると、入力された投影データ内の血流が正常な血流に近づき、したがって、訓練データの「分布内」になることが予想される。

【0026】

これらの観察に基づく様々なメトリックは、ニューラルネットワークの出力から計算され、動作Ｓ１３０における塞栓処置の状態を示す出力１６０を生成するために、単独で又は組み合わせて使用される。これらのメトリックは「分布外」メトリックと呼ばれ、正常な血流に対する予測された血流、特に入力された投影データが訓練データと比べて、どの程度「分布内」に近いかを表していると考えることができる。したがって、塞栓処置の状態を示す出力１６０を生成する動作は、分布外メトリック１５０の計算された値に基づいている。

【0027】

第１の実施例では、分布外メトリックは、入力された投影画像データ内の血流の「正常性」、言い換えれば、入力された投影画像データ１１０において表される血流と、訓練データ１４０からの動脈瘤１７０を含まない生体構造の領域内の瞬時血流との間の差の尺度によって提供される。上述したように、塞栓処置が進行し、動脈瘤がコイルで充填されるにつれて、入力された投影データ内の血流は、正常な血流に近づくことが予想される。

【0028】

第２の例では、分布外メトリックが、再構成誤差値によって提供される。再構成誤差値は、予測された瞬時血流１３０、及び入力された投影画像データ１１０において表される血流の差を表している。塞栓処置の開始時、つまり動脈瘤にコイルが充填されていないとき、入力された投影データ内の異常な血流は、ニューラルネットワークが血流を不正確に予測する結果になることが予想される。予測された血流は、入力された投影データ内の血流と十分に一致しないという意味で不正確である。これは、ニューラルネットワークが、動脈瘤を含まない生体構造の領域内の瞬時血流を表す訓練データを使用して、瞬時血流を予測するように訓練されたためである。塞栓処置が進行し、動脈瘤がコイルで充填されると、入力された投影データ内の血流が正常な血流に近づくことが予想される。したがって、塞栓処置が進行するにつれて、再構成誤差値は減少することが予想される。

【0029】

第３の例では、分布外メトリックが、信頼度推定値によって提供される。信頼度推定値を生成する１つの手法は、入力された投影画像データの潜在表現が、学習された潜在表現１７０にわたる分布内のどこに位置するかを評価することである。塞栓処置の開始時に、入力された投影データ内の異常な血流は、分布１７０の平均から遠く離れた潜在表現（すなわち、外れ値）をもたらすことが予想される。塞栓処置が進行するにつれて、入力された投影データ内の血流は、正常な血流に近づくことが予想され、その結果、分布の平均に近づく潜在表現がもたらされる。分布の平均からのこの距離は、訓練されたネットワークの出力における信頼度の尺度として使用される。したがって、処置の開始時に信頼度が低く、処置が進行するにつれて信頼度が高まることが予想される。

【0030】

第４の例では、ニューラルネットワークを使用してアテンションマップを生成することによって、分布外メトリックが提供される。アテンションマップは、予測された瞬時血流１３０に支配的に寄与している入力された投影画像データ１１０内の特徴部の位置を示す。ネットワークのエンコーダ側から導出されるアテンションマップは、充填されていない動脈瘤と空間的に重なっている特徴部を示し、これは、充填されていない動脈瘤が投影画像内の主な特徴部であるためである。ただし、「正常な」血流を伴う投影画像に対して訓練されたデコーダは、動脈瘤に関連付けられている特徴部の潜在表現からうまく再構成できることが予想されないため、予測された瞬時血流の精度は低いことが予想される。この状況は、塞栓処置の開始時に、異常な血流を含む投影画像がニューラルネットワークに入力されたときに発生する。対照的に、アテンションマップが動脈瘤から空間的に離れている特徴部を示している場合、予測される瞬時血流の精度は高いことが予想される。この状況は、ニューラルネットワークに、より正常な血流を含む投影画像が入力され、動脈瘤が画像内であまり支配的でないか又は非支配的な特徴部である場合、塞栓処置の終了頃に発生する。したがって、アテンションマップに示される特徴部の位置と入力された投影画像データ１１０内の動脈瘤の位置との間の差の尺度も、塞栓処置の状態の指標を提供する。

【0031】

分布外メトリックのこれら４つの例、すなわち、入力された投影画像データ１１０内で表される血流と、訓練データ１４０からの動脈瘤１７０を含まない生体構造の領域内の瞬時血流との間の差、再構成誤差値、入力された投影画像データの潜在表現の、学習された潜在表現の分布の平均からの距離、及びアテンションマップ内で示される特徴部の位置と、入力された投影画像データ１１０内の動脈瘤の位置との間の差は、入力された投影データ１１０がどの程度「分布内」に近いかの値を計算するために、単独で又は組み合わせて、例えば重み付けされた合計として、使用される。次に、塞栓処置の状態を示す出力１６０は、入力された投影データがどの程度「分布内」に近いかの計算された値に基づいて生成される。

【0032】

図２を参照して上述した方法は、訓練されたニューラルネットワーク１２０を使用して、言い換えれば、推論時間に実施される。図２の方法は、図３を参照して更に説明され、図３は、本開示のいくつかの態様による、（Ａ）瞬時血流１３０を予測するためのニューラルネットワーク１２０の訓練、及び（Ｂ）瞬時血流１３０を予測するために訓練されたニューラルネットワーク１２０を用いた推論の実施を示す概略図である。

【0033】

図２及び図３（Ｂ）を参照すると、動作Ｓ１１０において、投影画像データ１１０が受信される。投影画像データ１１０は、データベース、画像化システム、コンピュータ可読記憶媒体、インターネット、及びクラウドなどを含む様々なソースから受信される。投影画像データ１１０は、有線通信及び無線通信を含む任意の形態のデータ通信を介して受信される。いくつかの例として、有線通信が使用される場合、通信は、電気ケーブル又は光ケーブルを介して行われ、無線通信が使用される場合、通信は、例えばＲＦ又は赤外線信号を介して行われる。

【0034】

上述したように、投影画像データ１１０は、Ｘ線画像化システムによって提供される。投影画像データ１１０は、Ｘ線画像のシーケンスを含む。したがって、図３（Ｂ）では、Ｘ線画像のシーケンスの形態の例示的な投影画像データ１１０が、動作Ｓ１１０において、受信され、動作Ｓ１２０において、訓練されたニューラルネットワーク１２０に入力される。図３（Ｂ）では、シーケンス内のＸ線画像は、塞栓処置中の脳内の瞬時血流を表している。より具体的には、シーケンス内のＸ線画像は、破線の輪郭内に例示的な動脈瘤を含み、塞栓処置中の動脈瘤内の血流を表している。動脈瘤は、破線の輪郭内で暗いコントラストの大きな嚢として見えている。いくつかの実施例では、投影画像データ１１０は、動脈瘤の上流にある１つ又は複数の管腔及び動脈瘤の下流にある１つ又は複数の管腔内の瞬時血流の表現を含む。

【0035】

一般に、投影画像データ１１０は、受信される前に瞬時に生成されるＸ線画像のシーケンス、すなわちＸ線画像のライブシーケンスを含み、Ｘ線画像のシーケンスは、何秒か、何分か、何時間か、若しくは何日か、又はもっと長い期間の前に、予め生成されたものである。Ｘ線画像のシーケンスは、図３（Ｂ）に示すように、時間ステップｔ_１．．ｍ内で生成される。Ｘ線画像は、造影剤の注入後に生成されるため、造影Ｘ線画像と呼ばれることがある。造影剤は、画像のシーケンス内の血流を強調表示する。造影Ｘ線画像は、例えば、造影Ｘ線透視画像、又はデジタルサブトラクション血管造影法「ＤＳＡ」画像を含む。ＤＳＡ画像は、血管系への造影剤の注入の前に生成されたＸ線画像の画像強度値を、造影剤が注入された後に生成されるＸ線画像の対応する位置から減算することによって生成される。そうすることで、ＤＳＡ画像は、骨などの緻密な物質から生じる背景画像の特徴部を有しない血管系内の血流の視覚化を提供する。

【0036】

動作Ｓ１２０では、受信された投影画像データ１１０が、訓練されたニューラルネットワーク１２０に入力される。一例として、図３（Ｂ）は、変分オートエンコーダ「ＶＡＥ」アーキテクチャを含み、この目的に適している、訓練されたニューラルネットワーク１２０の例を示している。この例示的なニューラルネットワークアーキテクチャの詳細が、以下に提供される。図３（Ｂ）に示される例示的なＶＡＥの代替アーキテクチャを有するニューラルネットワークが代わりに使用され、これらは、リカレントニューラルネットワーク「ＲＮＮ」、長・短期記憶メモリ「ＬＳＴＭ」アーキテクチャ、及び変成器を含む。

【0037】

ニューラルネットワーク１２０は、動脈瘤を含まない生体構造の領域内の瞬時血流を表す訓練データ１４０を使用して、瞬時血流１３０を予測するように訓練される。予測された瞬時血流１３０の例が図３（Ｂ）に示されており、予測された瞬時血流は、予測された血流を経時的に表す画像のシーケンスを含む。いくつかの実施例では、ニューラルネットワークは、動脈瘤を含まない生体構造の領域内の瞬時血流を表す訓練データ１４０のみを使用して訓練される。

【0038】

訓練データ１４０は、血管系に沿った任意の領域内の瞬時血流を表している。動脈瘤を含まない訓練データを使用してニューラルネットワークを訓練することによって、ニューラルネットワークは、正常な血流に関連付けられている特徴部を学習する。推論時、動脈瘤を含むデータが訓練されたニューラルネットワークに入力されると、ニューラルネットワーク１２０は、入力されたデータが学習された分布に対してどの程度外れ値であるか、したがって正常な血流がどの程度回復したかを判定する。ニューラルネットワーク１２０の訓練は、図３（Ａ）を参照してより詳細に後述される。

【0039】

図３（Ｂ）を参照すると、動作Ｓ１２０において、受信された投影画像データ１１０をニューラルネットワーク１２０に入力することに応じて、次に、動作Ｓ１３０において、塞栓処置の状態を示す出力１６０が生成される。上述したように、塞栓処置の状態を示す出力１６０は、予測された血流に基づいて、ある特定の例では、正常な血流に対する予測された血流を示す様々な分布外メトリックに基づいて、ニューラルネットワークによって生成される。ある特定の例では、予測された瞬時血流の分布外メトリック１５０の値が計算され、塞栓処置の状態を示す出力１６０が、分布外メトリック推定値１５０の計算された値に基づいて生成され、この値は、正常な血流に対する予測された瞬時血流を示す。

【0040】

一実施例では、塞栓処置の状態は、完了した塞栓処置の割合を表している。これは、図３（Ｂ）において、「％完了」という説明文で示されている。完了した塞栓処置の割合は、例えば、数値として、あるいは、円グラフの形態などのアイコンとして出力される。別の例では、塞栓処置の状態は、塞栓処置が完了するまでの予想時間を表している。塞栓処置を完了するための予想時間は、例えば、数値の形態で、又は塞栓処置を完了するための予想時間と関連して処置の経過時間を示すプログレスバーとして、出力される。出力１６０には、これらの指示及び他の指示の組み合わせも含める。そうすることで、出力１６０は、動脈瘤の画像を複数の角度から取得するために、画像化システムの位置を反復的に調整する必要なく、塞栓形成の進行状況の指示を提供する。結果として、患者へのＸ線放射線量が低減される。

【0041】

次に、図３（Ａ）を参照して、瞬時血流を予測するためのニューラルネットワーク１２０の訓練の一例が説明される。この実施例では、ＶＡＥアーキテクチャを含むニューラルネットワークについて言及がなされる。図３（Ａ）に示す例では、ＶＡＥのエンコーダ部分及びデコーダ部分は、三次元入力を伴う畳み込みニューラルネットワーク「ＣＮＮ」、つまり、時間次元でスタックされる、あるいは一方向若しくは双方向の長・短期記憶「ＬＳＴＭ」アーキテクチャを有するリカレントニューラルネットワーク「ＲＮＮ」によってスタックされる、二次元投影画像によって提供される。しかしながら、異なるアーキテクチャを有するニューラルネットワークを代わりに訓練して、瞬時血流を予測することもできることを理解されたい。訓練中、図３（Ａ）に示されるニューラルネットワーク１２０は、正常に灌流された血管系を通る血流を表す、潜在空間ｚにわたる分布μ、σを学習する。図３に示される例示的なＶＡＥの代替ニューラルネットワークは、入力された訓練データ１４０の潜在表現にわたる近似分布を学習することもできるものであり、同様の様式で訓練することもできる。

【0042】

訓練中、図３Ａに示されるＶＡＥニューラルネットワーク１２０には、動脈瘤を含まない生体構造の領域内の瞬時血流を表す複数の画像の時間的シーケンスを含む訓練データ１４０が入力される。一般に、訓練データ１４０は、Ｘ線画像の時間的シーケンスを含む。より具体的には、Ｘ線画像の時間的シーケンスは、造影Ｘ線透視画像などの造影Ｘ線画像、又はデジタルサブトラクション血管造影「ＤＳＡ」画像を含む。図３（Ａ）に示される例では、ＤＳＡ画像の単一の時間的シーケンスが示されており、入力された訓練データは、各時間ステップｔ_１．．ｎにおける訓練データ１４０の破線の輪郭内のＤＳＡ画像の部分に対応する。あるいは、入力された訓練データは、完全なＸ線画像を含む。訓練中に、入力された訓練データ１４０は、例えば、１００以上のそのような時間的シーケンスを含む。一般に、時間的シーケンスは、いずれの動脈瘤も有しない対象者、及び／又は、コイル塞栓、クリッピング、及び蓋配置などの動脈瘤治療処置が成功し、動脈瘤がもはや存在しないと考えられる患者から得られる。時間的シーケンスは、生体構造の正常に灌流される領域を表すと言える。時間的シーケンスは、シーケンス内のＸ線画像内のランダムに選択された血管内の血流を表している。

【0043】

訓練中、図３（Ａ）に示されるＶＡＥニューラルネットワーク１２０は、血流の分布を表す潜在変数１８０の１つ又は複数のベクトルを学習する。図３（Ａ）に示される潜在変数のベクトル１８０は、平均ベクトルｍ及び／又は分散ベクトルｓを含む。入力された訓練データ１４０は正常に灌流された血流を表すため、平均ベクトル及び分散ベクトルは、入力された訓練データ１４０内の画像内の正常に灌流された血流の分布を表す。ニューラルネットワーク１２０は、学習された１つ又は複数の潜在変数１８０のベクトルに基づいて瞬時血流を予測するように訓練される。言い換えれば、訓練中、ＶＡＥニューラルネットワーク１２０は、入力シーケンスの学習された表現にわたる分布を学習する。その結果、ニューラルネットワーク１２０は、潜在変数１８０のベクトルから予測された瞬時血流１３０を生成することができる。

【0044】

一般に、ニューラルネットワークの訓練は、大規模な訓練データセットをニューラルネットワークに入力することと、訓練されたニューラルネットワークが正確な出力を提供するまで、ニューラルネットワークのパラメータを反復的に調整することと、を伴う。訓練は、通常、グラフィック処理ユニット「ＧＰＵ」、又はニューラル処理ユニット「ＮＰＵ」若しくはテンソル処理ユニット「ＴＰＵ」などの専用ニューラルプロセッサを使用して実施される。訓練は、通常、クラウドベース又はメインフレームベースのニューラルプロセッサを使用してニューラルネットワークを訓練する、集中型アプローチを採用する。訓練データセットを用いた訓練に続いて、訓練されたニューラルネットワークをデバイスに展開して、推論中に新しい入力データを分析する。推論中の処理要件は訓練中に必要な処理要件よりも大幅に少ないため、ラップトップコンピュータ、タブレット、及び携帯電話などの様々なシステムにニューラルネットワークを展開することができる。推論は、例えば、サーバ上又はクラウド上の中央処理ユニット「ＣＰＵ」、ＧＰＵ、ＮＰＵ、ＴＰＵで実施される。

【0045】

したがって、ニューラルネットワーク１２０を訓練するプロセスは、そのパラメータを調整することを含む。パラメータ、より具体的には重みとバイアスは、ニューラルネットワーク内の活性化関数の動作を制御する。教師あり学習では、訓練プロセスが、重み及びバイアスを自動的に調整し、入力データが与えられたときにニューラルネットワークが対応する予想される出力データを正確に提供できるようにする。これを行うために、損失関数の値、つまり誤差は、予測された出力データと予想された出力データとの間の差に基づいて計算される。損失関数の値は、負の対数尤度損失、平均二乗誤差、フーバー損失、又はクロスエントロピーなどの関数を使用して計算される。通常、訓練中に損失関数の値は最小化され、損失関数の値が停止基準を満たすと、訓練は終了する。場合によっては、損失関数の値が複数の基準のうち１つ又は複数を満たすと、訓練は終了する。

【0046】

損失最小化問題を解くために、勾配降下法、準ニュートン法などの様々な方法が知られている。これらの方法及びその変形形態を実装するために、確率的勾配降下法「ＳＧＤ」、バッチ勾配降下法、ミニバッチ勾配降下法、ガウスニュートン法、レーベンバーグマルカート法、モメンタム法、Ａｄａｍ、Ｎａｄａｍ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳＰｒｏｐ、及びＡｄａｍａｘ「オプティマイザ」を含むが、これらに限定されない、様々なアルゴリズムが開発されている。これらのアルゴリズムは、連鎖法を使用して、モデルパラメータに対する損失関数の導関数を計算する。このプロセスは、導関数が最後の層又は出力層から計算され、最初の層又は入力層に向かって計算されるため、逆伝搬と呼ばれる。これらの導関数は、誤差関数を最小化するためにモデルパラメータをどのように調整する必要があるかを、アルゴリズムに知らせる。つまり、モデルパラメータの調整は、出力層から開始し、入力層に到達するまでネットワーク内で逆方向に動作するように行われる。最初の訓練反復では、通常、初期の重み及びバイアスがランダム化される。次に、ニューラルネットワークは、同様にランダムな出力データを予測する。次に、逆伝搬を使用して重み及びバイアスが調整される。訓練プロセスは、各反復において重み及びバイアスを調整することによって、反復的に実施される。誤差、つまり予測された出力データと予想された出力データとの間の差が、訓練データ、つまり一部の検証データの許容範囲内にある場合、訓練は終了する。その後、ニューラルネットワークが展開され、訓練されたニューラルネットワークは、そのパラメータの訓練された値を使用して、新しい入力データに対して予測を行う。訓練プロセスが成功した場合、訓練されたニューラルネットワークは、新しい入力データから予想された出力データを正確に予測する。

【0047】

図４は、本開示のいくつかの態様による、血流の分布を表す潜在変数の１つ又は複数のベクトルを学習するためにニューラルネットワークを訓練する方法を示すフローチャートである。この訓練方法は、図３（Ａ）に示されるニューラルネットワークを訓練するために使用される。図４及び図３（Ａ）を参照すると、ニューラルネットワーク１２０は、
複数の画像の時間的シーケンスを含む訓練データ１４０を受信するステップＳ２１０であって、各時間的シーケンスが、動脈瘤を含まない生体構造の領域内の複数の時間ステップｔ_１．．ｎにおける血流を表す画像を含む、受信するステップと、
時間的シーケンス内の複数の時間ステップ_１．．ｎの各々に対して、
ニューラルネットワーク１２０に、時間ステップｔ_１．．ｎに対応する画像を入力するステップＳ２２０と、
時間ステップｔ_１．．ｎにおける画像内の血流の分布を表す潜在変数１８０の１つ又は複数のベクトルを学習するように、ニューラルネットワーク１２０を訓練するステップＳ２３０と、
潜在変数１８０の１つ又は複数のベクトルによって表される画像内の血流の分布内からサンプリングして、後続の時間ステップｔ_１．．ｎにおける予想される血流を提供するステップＳ２４０と、
ニューラルネットワーク１２０のパラメータを、停止基準が満たされるまで、
ｉ）潜在変数１８０の１つ又は複数のベクトルの確率分布と参照確率分布との間の差を表す第１の損失関数の値と、
ｉｉ）後続の時間ステップｔ_１．．ｎにおける画像内の予測された血流１３０、及び後続の時間ステップｔ_１．．ｎにおける血流を表す訓練データ１４０からの入力された画像内の血流との間の差を表す第２の損失関数の値とに基づいて、
調整するステップＳ２５０と、
入力するステップＳ２２０、訓練するステップＳ２３０、サンプリングするステップＳ２４０、及び調整するステップＳ２５０を、画像の各時間的シーケンスに対して反復するステップとによって、血流の分布を表す潜在変数１８０の１つ又は複数のベクトルを学習するように訓練される。

【0048】

一例として、最初の損失関数の値は、例えば、潜在変数１８０の１つ又は複数のベクトルの確率分布と標準分布との間の差を測定する、カルバックライブラー「ＫＬ」発散を使用して計算される。したがって、この実施例では、参照確率分布が標準分布になる。第１の損失関数の値を計算するために使用される標準分布は、例えば、平均が０に等しく、分散が１に等しいガウス分布又は正規分布である。あるいは、標準分布の代わりに、ディリクレ分布も使用される。ＫＬ発散の代わりに、Ｊｅｎｓｅｎ－Ｓｈａｎｎｏｎ発散、及びＭａｘｉｍｕｍ－Ｍｅａｎ Ｄｉｓｃｒｅｐａｎｃｙなどがある。第２の損失関数の値は、Ｌ１損失、平均二乗誤差、フーバー損失、構造的類似性指数損失、又はクロスエントロピーなどの関数を使用して計算される。

【0049】

そうすることで、ニューラルネットワーク１２０は、動脈瘤を含まない生体構造の領域からの訓練データを使用して、瞬時血流を予測するように訓練される。言い換えれば、血管系の正常に灌流される領域からの血流を使用して訓練される。

【0050】

次に、図３（Ａ）に示される訓練されたニューラルネットワークを使用して推論が実施される。図３（Ｂ）を参照すると、推論中に、塞栓処置中の瞬時血流を表す投影データ１１０が、訓練されたニューラルネットワーク１２０に入力される。次いで、訓練されたニューラルネットワーク１２０は、血管系の正常に灌流される領域内の血流に最も近い近似値を再構成する。訓練データを表さない入力された投影画像データ１１０、すなわち、正常に灌流された領域、言い換えれば、完了した塞栓処置に対応しない入力された投影画像データは、学習された分布に対する外れ値である。次に、入力されたデータが学習された分布に対してどの程度外れ値であるかの尺度が、前述の分布外メトリックのうちの１つを使用して計算され、塞栓処置の状態を示すために使用される。

【0051】

図３（Ｂ）のＶＡＥアーキテクチャを参照すると、オートエンコーダネットワークは入力された画像を再構成するので、入力画像の表現ｚに品質値が割り当てることができる。入力された画像と出力された画像と間の再構成誤差の値が、この品質の尺度になる。再構成誤差の値は、上述した第２の損失関数の値を使用して計算され、入力された画像が正常な血流に対してどの程度外れ値であるかを示す指標として使用され、言い換えれば、分布外メトリックとして機能する。あるいは、再構成誤差の値は、予測された瞬時血流１３０の信頼度推定値として使用され、それによって別の分布外メトリックとして機能する。

【0052】

同様に、上述した第１の損失関数の値、つまりカルバックライブラー「ＫＬ」発散値などの発散値を計算し、別の分布外メトリックとして使用することができ、この場合、入力された画像データが訓練データと比べてどの程度「分布内」に近いかの尺度を提供する。より具体的には、入力シーケンスの表現が学習された分布の外れ値である場合、その表現は、学習された分布とは異なる平均及び標準偏差を有する異なる分布内のインライアである。ＫＬ発散は２つの分布間の差異の尺度であるため、この場合、ＫＬ発散はより大きくなる。入力シーケンスの表現が学習された分布内のインライアである場合、ＫＬ発散はより小さくなる。あるいは、入力シーケンスの表現と訓練された分布から引き出されたサンプルとの間の平均差が使用され、入力シーケンスが学習されたエンコーディングによってよく表現されているか（この場合、差は小さい）、又は外れ値であるか（この場合、差はより大きい）を示すことができる。あるいはまた、入力シーケンスの潜在表現の、学習された表現の平均から離れた標準偏差に基づく距離が使用され、入力シーケンスが学習されたエンコーディングによって適切に表現されているか（この場合、この距離は小さい（例えば、１標準偏差以内））、又は外れ値であるか（この場合、この距離はより大きい（例えば、２標準偏差よりも大きい））を示すことができる。

【0053】

再構成誤差値、ＫＬ発散値、及び学習された分布内の表現の場所を、単独で又は組み合わせて使用され、例えば、重み付け和としてそれらの値を組み合わせることによって、分布外メトリック１５０を提供することができ、これは、各々入力された各時間的シーケンスがどの程度「分布内」に近いかの推定値を提供するためである。

【0054】

塞栓処置の開始時に、入力された投影画像データ１１０内の血流は正常に灌流された領域内の血流を忠実に表現しないため、再構成誤差値、ＫＬ発散値、及び入力シーケンスの潜在表現の平均からの距離は大きくなることが予想される。しかし、塞栓処置が進行するにつれて、血流が正常な血流に近づくことで、再構成誤差値、ＫＬ発散値、及び距離値は減少する。したがって、再構成誤差値、ＫＬ発散値、及び距離値は、塞栓処置の状態の指標として使用することができる。

【0055】

要約すると、この実施例では、ニューラルネットワーク１２０は、予測された瞬時血流１３０と入力された投影画像データ１１０内で表される血流との間の差を表す再構成誤差値、及び／又は、入力された投影画像データ１１０の潜在表現１８０の確率分布と参照確率分布との間の差を表す発散値、及び／又は、学習された潜在表現の平均に対する入力された投影画像データ１１０の潜在表現の場所を表す距離値を生成し、分布外メトリック１５０の値は、再構成誤差値及び／又は発散値及び／又は距離値に基づいて計算される。

【0056】

再構成誤差及び／又はＫＬ発散及び／又は距離の値は、分布外メトリック１５０の値を計算するために使用され、それによって、それらの値を再構成誤差値及び／又はＫＬ発散値及び／又は距離値と、塞栓処置の状態との間の以前に判定された関係に対して比較することによって、塞栓処置の状態を示すことができる。以前に判定された関係は、例えば、線形回帰又は多項式回帰を使用して発見的に判定される。あるいは、再構成誤差及び／又はＫＬ発散の値を、これらの値と塞栓処置の状態との間の関係を確立するように訓練される更なるニューラルネットワークに入力することもできる。この後者の例では、塞栓処置の状態は、この更なるニューラルネットワークによって提供される。あるいは、これらの値と塞栓処置の状態との間の関係は、他の機械学習技法を使用して確立される。あるいは、予測された瞬時血流１３０、及び入力された投影画像データ１１０内で表される血流はまた、ニューラルネットワークに直接入力されて、入力された画像データと予測された画像データとの間の類似性と、塞栓処置の状態との間の関係を回帰することができる。

【0057】

別の例では、分布外メトリック１５０の値を計算するために、再構成誤差値及び／又はＫＬ発散値及び／又は距離値を使用する代わりに、又はそれらに加えて、ニューラルネットワーク１２０は、アテンションマップを生成し、分布外メトリック１５０の値はアテンションマップを使用して判定される。アテンションマップは、予測された血流に対して支配的に寄与している入力された投影画像データ１１０内の特徴部の位置を示す。アテンションマップ内の特徴部の位置が、例えば、動脈瘤の遠位にある血管系と一致する場合、分布外メトリック１５０の値は高い。対照的に、アテンションマップ内の特徴部の位置が動脈瘤の位置と一致する場合、分布外メトリック１５０の値は低く、これは、ネットワークのアテンションが単一の場所の周囲にあり、したがって、この画像の表現は、周囲の血管系を正確に再構成するために周囲の血管系の十分な情報を符号化していないためである。この実施例では、ニューラルネットワーク１２０は、予測された瞬時血流１３０に支配的に寄与している、入力された投影画像データ１１０内の１つ又は複数の特徴部の位置を示すアテンションマップを生成する。更に、分布外メトリック１５０の値は、アテンションマップ内で示される１つ又は複数の特徴部の位置と、入力された投影画像データ１１０内の動脈瘤の位置との間の差に基づいて計算される。

【0058】

一実施例では、推論時間に、方法は、将来の時点における塞栓処置の予想される臨床転帰を示す出力を生成するステップも含む。この出力は、塞栓処置全体を通じてニューラルネットワークから得られる再構成誤差値及び／又は（ＫＬ）発散値に基づいて生成される。例えば、出力は、例えば、６か月又は１８か月の経過観察間隔において予想される臨床転帰を表す。一例として、塞栓処置中に動脈瘤へのコイルの挿入が不十分であった場合、６か月又は１８か月の経過観察期間で予想される臨床転帰は、コイル圧縮又は動脈瘤の再疎通である。この臨床転帰は、塞栓処置の間中、ニューラルネットワークの再構成誤差値及び／又は（ＫＬ）発散値に現れ、なぜなら、動脈瘤を通過する血流が通常よりも遅くなり、動脈瘤にまだ容積が残っているためである。同様に、塞栓処置中に挿入されたコイルが多すぎる場合、６か月又は１８か月の経過観察期間で予想される臨床転帰は、親血管へのコイル逸脱、又は動脈瘤破裂である。この挙動は、再構成誤差値及び／又は（ＫＬ）発散値にも現れる可能性がある。この場合、再構成誤差値及び／又は（ＫＬ）発散値は、塞栓処置が継続するにつれて、「１００％完了」閾値に達し、複数のＤＳＡシーケンス取得に対してそのレベルに留まる。したがって、塞栓処置全体を通じてニューラルネットワークによって生成された再構成誤差値及び／又はＫＬ発散値を、様々な臨床処置及びそのそれぞれの転帰から得られる値と比較することによって、これらの値を使用して、将来の時点における塞栓処置の臨床転帰を予測することができる。この関連付けは、線形回帰若しくは多項式回帰、ニューラルネットワーク、又は別の機械学習技法を使用して、発見的に提供される。

【0059】

一実施例では、推論時間に、動脈瘤が存在しない生体構造の領域内の血流のシミュレーションも使用されて、動作Ｓ１３０における塞栓処置の状態を示す出力１６０を生成する。この実施例では、動脈瘤を含む容積画像データが取得される。容積画像データは、例えば、ＣＴデータ又はＭＲＩデータである。容積画像データは、塞栓処置の前に取得される。容積画像データは、生体構造の領域のモデルを提供するためにセグメント化される。次に、このモデルは、動脈瘤が存在しない生体構造の領域内のモデルを提供するために適応される。次に、動脈瘤が存在しない生体構造の領域内の血流のシミュレーションが、適応されたモデルを使用して生成される。次に、ニューラルネットワーク１２０によって予測された予測瞬時血流は、塞栓処置の状態、例えば、完了パーセントを判定するために、動脈瘤が存在しないシミュレーションされた血流と比較される。この実施例では、推論時間に、方法は、
受信された投影画像データ内の生体構造の領域に対応する容積画像データ１１０を受信するステップであって、容積画像データが、塞栓処置の開始の前に生成される、受信するステップと、
容積画像データのセグメント化に基づいて、動脈瘤が存在しない生体構造の領域内の血流をシミュレーションするステップとを有し、
塞栓処置の状態を示す出力１６０を生成することＳ１３０は、動脈瘤が存在しない生体構造の領域内のシミュレーションされた血流と、ニューラルネットワーク１２０によって予測された、予測された瞬時血流との間の比較に更に基づいて判定される。

【0060】

この実施例では、塞栓処置の完了は、シミュレーションされた血流と、入力された投影画像データ１１０内の対応する血流との間の差が、所定の閾値を下回り、かつ再構成誤差及び／又は（ＫＬ）発散の値が、１つ又は複数の基準を満たす場合に示される。あるいは、塞栓処置の完了は、シミュレーションされた血流と、ニューラルネットワーク１２０によって予測される対応する予測された瞬時血流１３０との間の差が、所定の閾値を下回り、かつ再構成誤差及び／又はＫＬ発散の値が、１つ又は複数の基準を満たす場合に示される。

【0061】

一実施例では、患者データはまた、推論時間にニューラルネットワーク１２０に入力され、塞栓処置の状態を予測するために使用される。この実施例では、ニューラルネットワーク１２０は、患者データに更に基づいて塞栓処置の状態を予測するように訓練され、推論時間の方法は、
動脈瘤に関連する患者データを受信するステップと、
受信された患者データをニューラルネットワーク１２０に入力するステップと、
患者データに更に基づいて、塞栓処置の状態を予測するステップとを更に有する。

【0062】

患者データには、例えば、計算された動脈瘤容積、患者の年齢、喫煙歴、及びゲノムデータなどのうちの１つ又は複数を含める。そうすることで、状態のより正確な予測が提供される。

【0063】

一実施例では、推論時間の方法は、受信された投影画像データ１１０をニューラルネットワーク１２０に入力するステップＳ１２０の前に、受信された投影画像データ１１０内で動脈瘤を識別するステップを含む。動脈瘤は、手動又は自動で識別される。したがって、動脈瘤を識別する動作は、ｉ）動脈瘤を含む、受信された投影画像データ１１０内の関心領域を示すユーザ入力を受信すること、又はｉｉ）受信された投影画像データ１１０内の動脈瘤を自動的に識別することを有する。

【0064】

識別が手動で実施される場合、ユーザがマウス、ジョイスティック、タッチスクリーン、又は別のユーザ入力デバイスを使用して、投影画像データ内の関心領域を定義できるようにする、ユーザインターフェースが提供される。ユーザインターフェースは、例えば、境界ボックスの形状を変更することによって、関心領域を定義する。

【0065】

識別が自動的に実施される場合、動脈瘤は、閾値処理、領域拡張、テンプレートマッチング、レベルセット、能動的輪郭モデリング、及びニューラルネットワーク、例えば、Ｕ－Ｎｅｔなどの既知の技法を使用して識別される。

【0066】

動脈瘤の近位及び遠位にある血管も、造影剤が画像内で動脈瘤に出入りする時間に基づいて、投影画像データ内で自動的に識別される。

【0067】

一実施例では、ユーザインターフェースにより、ユーザは、投影画像データをニューラルネットワーク１２０に入力する前に、ブロックアウト又はゼロアウトされる投影画像データ１１０内のエリアを識別することができる。ユーザインターフェースは、例えば、マウス、ジョイスティック、タッチスクリーン、又はユーザが投影画像データ内のそのようなエリアを定義できるようにする別のユーザ入力デバイスを含む。これにより、ユーザは、投影画像データから潜在的に交絡領域を削除することができる。交絡領域は、例えば、付加的な動脈瘤、プラーク、及び埋め込みデバイスなどの特徴部を含み、これらは別様に、ニューラルネットワークに入力される投影画像データ１１０を通る血流に影響を及ぼすものである。同様に、ユーザインターフェースにより、ユーザは、訓練データ１４０内のそのような領域を、ニューラルネットワークを訓練するために訓練データを使用する前に識別できる。入力された訓練データ１４０はまた、ゼロアウト領域を含むように拡張され、この領域は、ランダムに選択されるか、又はブロックアウト領域が、例えば専門家の注釈に基づいてブロックアウトされる必要がある実際のエリアを模倣するように選択される。

【0068】

一実施例では、交絡領域の位置は、投影画像データ１１０及び／又は訓練データ１４０に内で自動的に検出される。この実施例では、塞栓処置中に血流に変化がないか、又は変化が不十分である場合、ユーザに知らせるための警告が提供される。これは、更なる動脈瘤及びプラークなど、血流が遅くなる別の原因が存在するという事実をユーザに警報する。これにより、ユーザは、ニューラルネットワークへの依存度を制限し、塞栓処置の進行状況を示すために代替解決策の使用を検討することができる。この目的には、投影画像データ内の動脈瘤の位置を識別するニューラルネットワークが使用される。

【0069】

交絡領域が存在する可能性を高める因子を識別するために、電子健康記録「ＥＨＲ」データも使用される。血圧、体格指数「ＢＭＩ」、心臓の健康状態、喫煙歴、家族の健康歴、及び治療歴などの因子を推論中に収集し、その因子と、塞栓処置中の再構成誤差及び／又は発散値と、１つ又は複数の交絡領域の存在との間の関連付けを学習するために使用することができる。例えば、ＢＭＩ値が高い場合は、プラークが存在する可能性が高いことを示し、喫煙歴がある場合は、血管壁の弱体化による他の動脈瘤が存在する可能性が高いことを示し、どちらも全体的な血管系画像内の造影剤の流れを遅くする。この関連付けは、線形／多項式回帰、ニューラルネットワーク、又はその他の機械学習技法を介して学習される。

【0070】

一実施例では、推論時間に、方法は、前述のアテンションマップを出力するステップも含む。アテンションマップを出力するステップは、ニューラルネットワーク１２０の予測においける信頼をユーザに提供する。例えば、アテンションマップ内の特徴部が標的動脈瘤と一致しない場合、システムに対するユーザの信頼度は低くなり、ユーザはシステムへの依存度を制限することができる。入力された投影画像データ内の他の領域内に付加的な動脈瘤又はプラークが存在する場合、ニューラルネットワークのアテンションが標的動脈瘤から離れて集中することが妥当であり、その場合、アテンションマップは、これらの他の領域に焦点を当てられる。この場合、ユーザは、投影画像データをニューラルネットワーク１２０に入力する前に、前述のユーザインターフェースを介して、投影画像データ内の他の領域をブロックアウト又はゼロアウトする。その結果、ニューラルネットワークは標的動脈瘤に焦点を合わせ、塞栓処置の正確な状態を出力する。ただし、これらの他の領域は、標的動脈瘤に近い血管を含んでおり、そのような遮断が不可能な場合は、標的動脈瘤の場所とネットワークのアテンションとの間のこの不一致を示す警告が出力される可能性がある。ユーザが、標的動脈瘤のすぐ近位で再疎通が予想通りに起こっており、別の動脈瘤又はプラークなどのために、血流の減速が血管系に沿って更に起こっていることを観察した場合に、ユーザは、警告を上書きする。方法はまた、特定のビューにブロックアウトできない交絡因子が多すぎる場合に、画像化システムの向きを変更するように、推奨事項をユーザに出力することを含む。

【0071】

別の実施例では、動脈瘤の塞栓処置の状態を予測するシステムが提供される。システムは、
塞栓処置中の動脈瘤を含む生体構造の領域内の瞬時血流を表す投影画像データ１１０を受信すること（Ｓ１１０）と、
受信された投影画像データ１１０を、瞬時血流１３０を予測するように訓練されたニューラルネットワーク１２０に入力すること（Ｓ１２０）であって、ニューラルネットワーク１２０が、動脈瘤を含まない生体構造の領域内の瞬時血流を表す訓練データ１４０を使用して、瞬時血流１３０を予測するように訓練されている、入力すること（Ｓ１２０）と、
入力すること（Ｓ１２０）に応じて、塞栓処置の状態を示す出力１６０を生成すること（Ｓ１３０）とを行うように構成された１つ又は複数のプロセッサを備える。

【0072】

システムはまた、上述の方法に関連して説明された動作のうちの１つ又は複数を実装する。システムは、投影画像データ１１０を提供するための画像化システムも含む。

【0073】

上記の例は、本開示を例示するものとして理解されるべきであり、限定するものではない。更なる例も想定される。例えば、コンピュータ実装方法に関して説明した例はまた、コンピュータプログラム製品によって、又はコンピュータ可読記憶媒体によって、又は対応する様式でシステムによって提供される。いずれか１つの実施例に関して説明した特徴は、単独で、又は説明した他の特徴と組み合わせて使用され、また、別の実施例、又は他の実施例の組み合わせの、１つ又は複数の特徴と組み合わせて使用されることが理解されるべきである。更に、上記で説明していない等価物及び改変も、添付の特許請求の範囲において定義される本発明の範囲から逸脱することなく採用され得る。特許請求の範囲において、「備える」という語は他の要素又は動作を排除するものではなく、単数形の要素は複数を排除するものではない。特定の特徴が相互に異なる従属請求項に再掲されているという単なる事実は、これらの特徴の組み合わせを有利に使用できないことを示すものではない。特許請求の範囲におけるいかなる参照符号も、それらの範囲を限定するものとして解釈されるべきではない。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【国際調査報告】