ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025149687
(43)【公開日】2025-10-08
(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム
(51)【国際特許分類】
A61B 5/055 20060101AFI20251001BHJP
【ＦＩ】
A61B5/055 380
A61B5/055 382
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2024050488
(22)【出願日】2024-03-26
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】中林 淳
(72)【発明者】
【氏名】岡田 耕
(72)【発明者】
【氏名】伊藤 広貴
(72)【発明者】
【氏名】畝村 毅
【テーマコード（参考）】
4C096
【Ｆターム（参考）】
4C096AA08
4C096AA10
4C096AB02
4C096AD14
4C096AD27
4C096DC22
4C096DC32
4C096DC33
4C096DC36
(57)【要約】
【課題】生体の構造物内における流体の流れを良好な精度で解析できる画像処理装置、画像処理方法、及び画像処理プログラムを得る。
【解決手段】画像処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、流速画像よりも高解像度の流速推定画像、及び構造物の形態を表す形態画像を生成するための学習モデルであって、流体の物理法則に関する情報と流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、流速画像から流速推定画像及び形態画像を生成する。
【選択図】図３
【解決手段】画像処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、流速画像よりも高解像度の流速推定画像、及び構造物の形態を表す形態画像を生成するための学習モデルであって、流体の物理法則に関する情報と流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、流速画像から流速推定画像及び形態画像を生成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサを備え、
前記プロセッサは、
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
画像処理装置。
前記プロセッサは、
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
画像処理装置。
【請求項2】
前記流体の物理法則に関する情報は、前記流体の運動を記述する支配方程式としての微分方程式である
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記微分方程式は、ナビエ－ストークス方程式である
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項4】
前記損失関数は、前記学習モデルの学習における反復回数に応じて変化する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記学習モデルは、
前記流速画像と前記流速推定画像との誤差を表す第１損失関数と、
前記流速推定画像の、前記流体の運動を記述する支配方程式に対する適合度を表す第２損失関数と、
に基づいて学習される請求項１に記載の画像処理装置。
前記流速画像と前記流速推定画像との誤差を表す第１損失関数と、
前記流速推定画像の、前記流体の運動を記述する支配方程式に対する適合度を表す第２損失関数と、
に基づいて学習される請求項１に記載の画像処理装置。
【請求項6】
前記学習モデルは、前記第１損失関数と、前記第２損失関数との重み付き和によって学習され、
前記重み付き和における前記第１損失関数及び前記第２損失関数のそれぞれの重みは、学習における反復回数に応じて変化する
請求項５に記載の画像処理装置。
前記重み付き和における前記第１損失関数及び前記第２損失関数のそれぞれの重みは、学習における反復回数に応じて変化する
請求項５に記載の画像処理装置。
【請求項7】
前記反復回数が増えるほど、前記第２損失関数の影響が大きくなるように、前記第１損失関数の重み及び前記第２損失関数の重みの少なくとも一方が変化する
請求項６に記載の画像処理装置。
請求項６に記載の画像処理装置。
【請求項8】
前記学習モデルは、
前記第１損失関数と、
前記第２損失関数と、
前記形態画像によって表される前記構造物の壁面位置に対応する前記流速推定画像の、前記流体の運動を記述する支配方程式における境界条件に対する適合度を表す第３損失関数と、
に基づいて学習される請求項５に記載の画像処理装置。
前記第１損失関数と、
前記第２損失関数と、
前記形態画像によって表される前記構造物の壁面位置に対応する前記流速推定画像の、前記流体の運動を記述する支配方程式における境界条件に対する適合度を表す第３損失関数と、
に基づいて学習される請求項５に記載の画像処理装置。
【請求項9】
前記学習モデルは、前記第１損失関数と、前記第２損失関数と、前記第３損失関数との重み付き和によって学習され、
前記重み付き和における前記第１損失関数、前記第２損失関数、及び前記第３損失関数のそれぞれの重みは、学習における反復回数に応じて変化する
請求項８に記載の画像処理装置。
前記重み付き和における前記第１損失関数、前記第２損失関数、及び前記第３損失関数のそれぞれの重みは、学習における反復回数に応じて変化する
請求項８に記載の画像処理装置。
【請求項10】
前記反復回数が増えるほど、前記第２損失関数及び前記第３損失関数の少なくとも一方の影響が大きくなるように、前記第１損失関数の重み、前記第２損失関数の重み、及び前記第３損失関数の重みのうち少なくとも１つが変化する
請求項９に記載の画像処理装置。
請求項９に記載の画像処理装置。
【請求項11】
前記学習モデルは、
前記流速画像から、前記流速推定画像を生成するための第１学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された第１学習モデルと、
前記流速画像及び前記流速推定画像の少なくとも一方から、前記形態画像を生成するための第２学習モデルと、
を含む請求項１に記載の画像処理装置。
前記流速画像から、前記流速推定画像を生成するための第１学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された第１学習モデルと、
前記流速画像及び前記流速推定画像の少なくとも一方から、前記形態画像を生成するための第２学習モデルと、
を含む請求項１に記載の画像処理装置。
【請求項12】
前記構造物は、血管であり、
前記流体は、血液である
請求項１に記載の画像処理装置。
前記流体は、血液である
請求項１に記載の画像処理装置。
【請求項13】
前記血管は、脳動脈、頸動脈、冠動脈、胸部大動脈、及び腹部大動脈のうち少なくとも１つである
請求項１２に記載の画像処理装置。
請求項１２に記載の画像処理装置。
【請求項14】
前記流速画像は、３次元シネ位相コントラスト磁気共鳴法によって前記血管を撮影することにより取得された３次元の画像である
請求項１２に記載の画像処理装置。
請求項１２に記載の画像処理装置。
【請求項15】
前記プロセッサは、
前記流速推定画像及び前記形態画像に基づいて、前記形態画像における領域ごとに、壁面せん断応力を導出する
請求項１２に記載の画像処理装置。
前記流速推定画像及び前記形態画像に基づいて、前記形態画像における領域ごとに、壁面せん断応力を導出する
請求項１２に記載の画像処理装置。
【請求項16】
前記プロセッサは、
前記形態画像における領域ごとの前記壁面せん断応力の大小を可視化した画像を生成する
請求項１５に記載の画像処理装置。
前記形態画像における領域ごとの前記壁面せん断応力の大小を可視化した画像を生成する
請求項１５に記載の画像処理装置。
【請求項17】
前記プロセッサは、
前記学習モデルを用いて、前記流速画像から、前記構造物内における流体の圧力の分布を表す圧力画像を更に生成し、
前記圧力画像及び前記形態画像に基づいて、前記形態画像における領域ごとに、冠血流予備比を導出する
請求項１２に記載の画像処理装置。
前記学習モデルを用いて、前記流速画像から、前記構造物内における流体の圧力の分布を表す圧力画像を更に生成し、
前記圧力画像及び前記形態画像に基づいて、前記形態画像における領域ごとに、冠血流予備比を導出する
請求項１２に記載の画像処理装置。
【請求項18】
前記プロセッサは、
前記形態画像における領域ごとの前記冠血流予備比の大小を可視化した画像を生成する
請求項１７に記載の画像処理装置。
前記形態画像における領域ごとの前記冠血流予備比の大小を可視化した画像を生成する
請求項１７に記載の画像処理装置。
【請求項19】
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
処理をコンピュータが実行する画像処理方法。
処理をコンピュータが実行する画像処理方法。
【請求項20】
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
処理をコンピュータが実行するための画像処理プログラム。
処理をコンピュータが実行するための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
従来、医用画像を用いて、生体の構造物内における流体の流れを解析することが行われている。流体の流れの解析結果は、流体の流れの可視化、並びに、診断及び治療のための指標の定量化等に活用される。
【0003】
例えば、血流の解析において、実際の血流を４次元的に測定する４次元（４Ｄ）フローの手法が用いられている。４Ｄフローでは、一般的に、３次元シネ位相コントラスト磁気共鳴法（ＰＣ－ＭＲＩ：Phase Contrast-Magnetic Resonance Imaging）によって血管を複数の時相（フェーズ）に亘って撮影することにより取得された、３次元のＰＣ－ＭＲＩ画像が用いられる。４Ｄフローは、３次元のＰＣ－ＭＲＩ画像から、血管の領域ごとの血流の速度を表す流速ベクトルを導出し、これを時間の流れと合わせて動的に表示する手法である。
【0004】
また、４Ｄフローにおいては、例えば磁気共鳴血管造影法（ＭＲＡ：Magnetic Resonance Angiography）によって、血管の構造を特定するための画像が、ＰＣ－ＭＲＩ画像とは別に撮影される場合がある。これは、解像度の制約上、ＰＣ－ＭＲＩ画像のみでは細い血管（例えば脳動脈及び冠動脈等）の構造を特定することが困難なためである。この場合、ＰＣ－ＭＲＩ画像とＭＲＡ画像との位置合わせが必要となる。血流と血管の構造とが空間的及び時間的に整合すれば、血流が血管壁に与える摩擦刺激を示す壁面せん断応力（ＷＳＳ：Wall Shear Stress）等の指標の定量化も可能となる。
【0005】
また例えば、特許文献１には、２Ｄ物理データから３Ｄ物理データに変換するためのモデルであって、物理法則に従ったモデルを用いて、測定された２Ｄ物理量データから３Ｄ物理量データを決定する医用情報処理装置が記載されている。２Ｄ物理データとしては、ＰＣ－ＭＲＩにより得られる２次元の血流の速度が開示されている。３Ｄ物理データとしては、３次元の血流の速度及び圧力場が開示されている。
【0006】
また例えば、非特許文献１には、物理法則の支配方程式を学習したニューラルネットワーク（ＰＩＮＮｓ：Physics Informed Neural Networks）を用いて、血流のシミュレーションを行うことが開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０２２－１２３８０９号公報
【非特許文献】
【0008】
【非特許文献1】Maziar Raissi et al. , "Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations", Science 367, 1026-1030, January 2020
【発明の概要】
【発明が解決しようとする課題】
【0009】
近年、生体の構造物内における流体の流れの解析について、解析結果の精度への要求が高まっている。しかしながら、従来の技術では、解析結果の精度が十分ではない場合があった。例えば、血流の解析において、ＭＲＡ画像等の血管の構造を特定するための画像撮影を行わない場合は、血管の構造を精度よく特定することができないので、ＷＳＳ等の指標の定量精度が十分ではなかった。また例えば、ＭＲＡ画像を追加で撮影した場合は、ＰＣ－ＭＲＩ画像とＭＲＡ画像とを位置合わせする際に生じる位置ずれによって、解析結果の精度が低下することがあった。
【0010】
本開示は、生体の構造物内における流体の流れを良好な精度で解析できる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【課題を解決するための手段】
【0011】
本開示の第１の態様は、画像処理装置であって、少なくとも１つのプロセッサを備え、プロセッサは、生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、流速画像よりも高解像度の流速推定画像、及び構造物の形態を表す形態画像を生成するための学習モデルであって、流体の物理法則に関する情報と流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、流速画像から流速推定画像及び形態画像を生成する。
画像処理装置。
画像処理装置。
【0012】
上記態様において、流体の物理法則に関する情報は、流体の運動を記述する支配方程式としての微分方程式であってもよい。
【0013】
上記態様において、微分方程式は、ナビエ－ストークス方程式であってもよい。
【0014】
上記態様において、損失関数は、学習モデルの学習における反復回数に応じて変化してもよい。
【0015】
上記態様において、学習モデルは、流速画像と流速推定画像との誤差を表す第１損失関数と、流速推定画像の、流体の運動を記述する支配方程式に対する適合度を表す第２損失関数と、に基づいて学習されてもよい。
【0016】
上記態様において、学習モデルは、第１損失関数と、第２損失関数との重み付き和によって学習され、重み付き和における第１損失関数及び第２損失関数のそれぞれの重みは、学習における反復回数に応じて変化してもよい。
【0017】
上記態様において、反復回数が増えるほど、第２損失関数の影響が大きくなるように、第１損失関数の重み及び第２損失関数の重みの少なくとも一方が変化してもよい。
【0018】
上記態様において、学習モデルは、第１損失関数と、第２損失関数と、形態画像によって表される構造物の壁面位置に対応する流速推定画像の、流体の運動を記述する支配方程式における境界条件に対する適合度を表す第３損失関数と、に基づいて学習されてもよい。
【0019】
上記態様において、学習モデルは、第１損失関数と、第２損失関数と、第３損失関数との重み付き和によって学習され、重み付き和における第１損失関数、第２損失関数、及び第３損失関数のそれぞれの重みは、学習における反復回数に応じて変化してもよい。
【0020】
上記態様において、反復回数が増えるほど、第２損失関数及び第３損失関数の少なくとも一方の影響が大きくなるように、第１損失関数の重み、第２損失関数の重み、及び第３損失関数の重みのうち少なくとも１つが変化してもよい。
【0021】
上記態様において、学習モデルは、流速画像から、流速推定画像を生成するための第１学習モデルであって、流体の物理法則に関する情報と流速画像とを少なくとも用いた損失関数に基づいて学習された第１学習モデルと、流速画像及び流速推定画像の少なくとも一方から、形態画像を生成するための第２学習モデルと、を含んでもよい。
【0022】
上記態様において、構造物は、血管であり、流体は、血液であってもよい。
【0023】
上記態様において、血管は、脳動脈、頸動脈、冠動脈、胸部大動脈、及び腹部大動脈のうち少なくとも１つであってもよい。
【0024】
上記態様において、流速画像は、３次元シネ位相コントラスト磁気共鳴法によって血管を撮影することにより取得された３次元の画像であってもよい。
【0025】
上記態様において、プロセッサは、流速推定画像及び形態画像に基づいて、形態画像における領域ごとに、壁面せん断応力を導出してもよい。
【0026】
上記態様において、プロセッサは、形態画像における領域ごとの壁面せん断応力の大小を可視化した画像を生成してもよい。
【0027】
上記態様において、プロセッサは、学習モデルを用いて、流速画像から、構造物内における流体の圧力の分布を表す圧力画像を更に生成し、圧力画像及び形態画像に基づいて、形態画像における領域ごとに、冠血流予備比を導出してもよい。
【0028】
上記態様において、プロセッサは、形態画像における領域ごとの冠血流予備比の大小を可視化した画像を生成してもよい。
【0029】
本開示の第２の態様は、画像処理方法であって、生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、流速画像よりも高解像度の流速推定画像、及び構造物の形態を表す形態画像を生成するための学習モデルであって、流体の物理法則に関する情報と流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、流速画像から流速推定画像及び形態画像を生成する処理をコンピュータが実行するものである。
【0030】
本開示の第３の態様は、画像処理プログラムであって、生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、流速画像よりも高解像度の流速推定画像、及び構造物の形態を表す形態画像を生成するための学習モデルであって、流体の物理法則に関する情報と流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、流速画像から流速推定画像及び形態画像を生成する処理をコンピュータが実行するためのものである。
【発明の効果】
【0031】
上記態様によれば、本開示の画像処理装置、画像処理方法、及び画像処理プログラムは、生体の構造物内における流体の流れを良好な精度で解析できる。
【図面の簡単な説明】
【0032】
【図1】解析システムの概略構成図である。
【図2】画像処理装置のハードウェア構成の一例を示すブロック図である。
【図3】画像処理装置の機能的な構成の一例を示すブロック図である。
【図4】ＰＣ－ＭＲＩによって撮影された３次元画像の一例を示す図である。
【図5】解析モデルの概略構成の一例を示す図である。
【図6】解析モデルの詳細な構成の一例を示す図である。
【図7】ディスプレイに表示される画面の一例を示す図である。
【図8】画像処理の一例を示すフローチャートである。
【図9】ウィンドケッセルモデルの適用例を説明するための図である。
【図10】比較例における流体画像及び形態画像の一例を示す図である。
【発明を実施するための形態】
【0033】
以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与し、重複する説明は省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0034】
まず、図１を参照して、本実施形態に係る解析システム１の構成の一例について説明する。本実施形態に係る解析システム１は、生体の構造物内における流体の流れを解析するためのシステムである。以下、一例として、構造物が血管であり、流体が血液である例について説明する。血管とは、例えば、脳動脈、頸動脈、冠動脈、胸部大動脈、及び腹部大動脈のうち少なくとも１つであってもよい。
【0035】
解析システム１は、画像処理装置１０と、撮影装置３と、画像サーバ５と、画像ＤＢ（DataBase）６と、を含む。画像処理装置１０、撮影装置３、及び画像サーバ５は、有線又は無線のネットワーク９により互いに通信可能な状態で接続されている。ネットワーク９は、例えば、ＬＡＮ（Local Area Network）及びＷＡＮ（Wide Area Network）等のネットワークである。
【0036】
撮影装置３は、生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像を生成するための装置（モダリティ）である。撮影装置３の一例としては、３次元シネ位相コントラスト磁気共鳴法（ＰＣ－ＭＲＩ：Phase Contrast-Magnetic Resonance Imaging）によって血管を複数の時相（フェーズ）に亘って撮影する、ＭＲＩ装置が挙げられる。撮影装置３により生成された流速画像は、画像サーバ５に送信される。
【0037】
画像サーバ５は、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムがインストールされたものである。画像サーバ５は、画像ＤＢ６と接続される。画像サーバ５は、撮影装置３からの流速画像の登録要求を受信すると、その流速画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。また、画像サーバ５は、画像処理装置１０からの閲覧要求を受信すると、画像ＤＢ６に登録されている流速画像を検索し、検索された流速画像を画像処理装置１０に送信する。
【0038】
画像ＤＢ６は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。画像ＤＢ６には、撮影装置３において取得された流速画像と、流速画像に関するメタデータと、が対応付けられて登録される。なお、画像サーバ５と画像ＤＢ６との接続形態は特に限定されず、データバスによって接続される形態でもよいし、ＮＡＳ（Network Attached Storage）及びＳＡＮ（Storage Area Network）等のネットワークを介して接続される形態でもよい。
【0039】
メタデータには、例えば、流速画像を識別するための画像ＩＤ(identification)、被検体を識別するための被検体ＩＤ、及び検査を識別するための検査ＩＤ等の識別情報が含まれてもよい。また例えば、メタデータには、被検体の名前、生年月日、年齢及び性別等の被検体に関する情報が含まれていてもよい。
【0040】
また例えば、メタデータには、流速画像の撮影に関する撮影方法、撮影条件、撮影目的及び撮影日時等の撮影に関する情報が含まれていてもよい。「撮影方法」及び「撮影条件」とは、例えば、撮影装置３の種類、製造会社、撮影部位、撮影プロトコル、撮影シーケンス、撮像手法、造影剤の使用有無、及び解像度等である。メタデータは、例えば、放射線情報システム（ＲＩＳ：Radiology Information System）、及び病院情報システム（ＨＩＳ：Hospital Information System）等の公知の外部の情報システムから取得されたものであってもよい。
【0041】
なお、解析システム１に含まれる各装置は、それぞれ同一の施設（例えば病院）に配置されていてもよいし、異なる施設に配置されていてもよい。また、解析システム１に含まれる各装置の台数は特に限定されず、各装置は、それぞれ同様の機能を有する複数台の装置で構成されていてもよい。
【0042】
画像処理装置１０は、撮影装置３により取得された流速画像に基づき、より良好な精度で流体の流れを解析するための装置である。以下、本実施形態に係る画像処理装置１０の構成の一例について説明する。
【0043】
まず、図２を参照して、画像処理装置１０のハードウェア構成の一例を説明する。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２１、不揮発性の記憶部２２、及び一時記憶領域としてのメモリ２３を含む。また、画像処理装置１０は、ディスプレイ２４、入力部２５、及びネットワークＩ／Ｆ（Interface）２６を含む。ＣＰＵ２１、記憶部２２、メモリ２３、ディスプレイ２４、入力部２５及びネットワークＩ／Ｆ２６は、システムバス及びコントロールバス等のバス２８を介して相互に各種情報の授受が可能に接続されている。
【0044】
記憶部２２は、例えば、ＨＤＤ、ＳＳＤ及びフラッシュメモリ等の記憶媒体によって実現される。記憶部２２には、画像処理装置１０における画像処理プログラム２７が記憶される。ＣＰＵ２１は、記憶部２２から画像処理プログラム２７を読み出してからメモリ２３に展開し、展開した画像処理プログラム２７を実行する。ＣＰＵ２１が本開示のプロセッサの一例である。また、記憶部２２には、流体の流れを解析するため解析モデルＭが格納される（詳細は後述）。
【0045】
ディスプレイ２４は、例えば液晶ディスプレイであり、各種の情報を表示する。入力部２５は、マウス等のポインティングデバイス、及びキーボード等を含み、自装置に対して各種の入力を行うために使用される。なお、ディスプレイ２４をタッチパネルによって構成し、入力部２５と兼用してもよい。
【0046】
ネットワークＩ／Ｆ２６は、ネットワーク９を介して、撮影装置３及び画像サーバ５等の外部装置と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）若しくはＦＤＤＩ（Fiber Distributed Data Interface）等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。画像処理装置１０としては、例えば、パーソナルコンピュータ、サーバコンピュータ、スマートフォン、タブレット端末及びウェアラブル端末等を適宜適用できる。
【0047】
次に、図３を参照して、画像処理装置１０の機能的な構成の一例について説明する。画像処理装置１０は、取得部３０、生成部３２、導出部３４、及び表示制御部３６を含む。ＣＰＵ２１が画像処理プログラム２７を実行することにより、ＣＰＵ２１が取得部３０、生成部３２、導出部３４、及び表示制御部３６の各機能部として機能する。
【0048】
取得部３０は、撮影装置３及び／又は画像サーバ５から、生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像を取得する。流速画像は、例えば、ＰＣ－ＭＲＩによって血管を複数の時相（フェーズ）に亘って撮影することにより取得された３次元の画像である（以下、ＰＣ－ＭＲＩ画像と称する）。
【0049】
図４に、ＰＣ－ＭＲＩ画像Ｇ０の一例を示す。ＰＣ－ＭＲＩ画像Ｇ０は、マグニチュードデータＧＭ、Ｘ軸方向の位相データＧｘ、Ｙ軸方向の位相データＧｙ、及びＺ軸方向の位相データＧｚを含む。マグニチュードデータＧＭ及び位相データＧｘ、Ｇｙ、Ｇｚは、それぞれ時間軸ｔに沿って予め定められた周期で取得されたボリュームデータである。
【0050】
位相データＧｘ、Ｇｙ、Ｇｚは、それぞれ、ＰＣ－ＭＲＩによる測定結果をＸ軸方向、Ｙ軸方向、及びＺ軸方向にエンコード（ＶＥＮＣ：Velocity Encoding）することにより得られる。位相データＧｘ、Ｇｙ、Ｇｚは、各軸方向の血流の速度（流速）を表すデータであり、３つの位相データから各ボクセルの３次元の流速ベクトルが得られる。
【0051】
ボリュームデータを取得する周期としては、例えば、平均的な心拍間隔内で設定された周期が採用される。血流は、心拍に同期して周期的な変動を示すので、心拍間隔を基準にデータ取得タイミングを決定することで、血流の周期的な変動を示すデータを取得できる。
【0052】
生成部３２は、解析モデルＭを用いて、流速画像から、当該流速画像よりも高解像度の流速推定画像、及び、構造物の形態を表す形態画像を生成する。図５に示すように、解析モデルＭは、流速画像から、流速推定画像及び形態画像を生成するための学習モデルである。高解像度とは、空間分解能が高いことを意味する。すなわち、流速推定画像は、流速画像に含まれる３次元の流速ベクトルよりも高い空間分解能の３次元の流速ベクトルを含んで構成される。
【0053】
なお、図５では分かりやすいように、流速画像を、流速画像に含まれる流速ベクトルの空間的な分布を可視化した流速可視化画像５０として示している。同様に、流速推定画像を、流速推定画像に含まれる流速ベクトルの空間的な分布を可視化した流速可視化画像５２として示している。流速可視化画像５０、５２では、流速ベクトルの方向を矢印の傾きと矢尻で示し、流速ベクトルの速さを矢印の長さで示している。また、流速可視化画像５０、５２において、空間分解能を点線のグリッドで示している。
【0054】
また、解析モデルＭは、流体の物理法則に関する情報と流速画像とを少なくとも用いた損失関数Ｌに基づいて学習される。流体の物理法則に関する情報とは、例えば、流体の運動を記述する支配方程式としての微分方程式である。具体的には、解析モデルＭは、ある物理現象の支配方程式の解をニューラルネットワーク（以下、ＮＮと称する）で構成する、ＰＩＮＮｓ（Physics Informed Neural Networks）と呼ばれるモデルである。
【0055】
図６に、解析モデルＭ（ＰＩＮＮｓ）の詳細な構成の一例を示す。解析モデルＭは、入力（流速画像）及びパラメータθに基づき支配方程式の解を求めるＮＮで構成された前半部分Ｍ１と、損失関数Ｌに基づきパラメータθを最適化するための計算を行う後半部分Ｍ２と、を含む。解析モデルＭは、本開示の学習モデルの一例である。
【0056】
以下、粘性率が一定で非圧縮流体のナビエ－ストークス方程式（以下、ＮＳ方程式と称する）を解析モデルＭに適用する例について説明する。ＮＳ方程式は、血流の運動を記述する支配方程式としての微分方程式の一例であり、下記式（１）で表される。
【0057】
【数1】
【0058】
Ｕは、流速であり、３次元空間座標（ｘ、ｙ、ｚ）及び時間（ｔ）の関数である。ｐは、圧力であり、３次元空間座標（ｘ、ｙ、ｚ）及び時間（ｔ）の関数である。νは、流体（ここでは血液）の動粘性係数であり、定数である。
【0059】
なお、ＮＳ方程式を演算子ナブラ及びラプラシアンを使わずに、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向ごとに表記すると、下記式（１ｘ）、（１ｙ）、及び（１ｚ）となる。
【0060】
【数2】
【数3】
【数4】
【0061】
ｕは、流速のＸ軸方向の成分であり、３次元空間座標（ｘ、ｙ、ｚ）及び時間（ｔ）の関数である。ｖは、流速のＹ軸方向の成分であり、３次元空間座標（ｘ、ｙ、ｚ）及び時間（ｔ）の関数である。ｗは、流速のＺ軸方向の成分であり、３次元空間座標（ｘ、ｙ、ｚ）及び時間（ｔ）の関数である。
【0062】
図６に示すように、解析モデルＭの前半部分Ｍ１は、入力層ＩＬ、隠れ層（中間層）ＨＬ、及び出力層ＯＬを含んで構成されるＮＮである。ＮＮの入力は、流速Ｕの各変数（ｘ、ｙ、ｚ、ｔ）である。ＮＮの出力は、流速の各軸方向の成分ｕ（ｘ、ｙ、ｚ、ｔ）、ｖ（ｘ、ｙ、ｚ、ｔ）、ｗ（ｘ、ｙ、ｚ、ｔ）、及び圧力ｐ（ｘ、ｙ、ｚ、ｔ）である。このＮＮは、ＮＮが有する万能近似定理を利用することによって、入力に基づき支配方程式の解を近似的に生成する。なお、このＮＮとしては、例えば、畳み込みＮＮ（ＣＮＮ：Convolutional Neural Network）及び再帰型ＮＮ（Recurrent Neural Network）等の各種モデルを適宜適用できる。
【0063】
解析モデルＭの前半部分Ｍ１（ＮＮ）において解の生成に用いられるパラメータθは、解析モデルＭの後半部分Ｍ２で導出される損失関数Ｌに基づき最適化される。支配方程式として式（１）を適用した場合の損失関数Ｌの一例を、下記式（２）～（４）に示す。
Ｌ＝Ｌ１＋Ｌ２ （２）
Ｌ＝Ｌ１＋Ｌ２ （２）
【0064】
【数5】
【数6】
【0065】
Ｕ０は、流速Ｕの実測値（ＰＣ－ＭＲＩ画像Ｇ０に基づき導出される流速）である。Ｕ１は、前半部分Ｍ１（ＮＮ）の出力に基づき導出される流速Ｕの予測値である。具体的には、予測値Ｕ１（ｘｉ、ｙｉ、ｚｉ、ｔｉ）は、実測値Ｕ０（ｘｉ、ｙｉ、ｚｉ、ｔｉ）をＮＮに入力した場合の出力であるｕ（ｘｉ、ｙｉ、ｚｉ、ｔｉ）、ｖ（ｘｉ、ｙｉ、ｚｉ、ｔｉ）、ｗ（ｘｉ、ｙｉ、ｚｉ、ｔｉ）、及びｐ（ｘｉ、ｙｉ、ｚｉ、ｔｉ）から導出される。ｉは１～Ｎ１の整数であり、Ｎ１は流速の実測値Ｕ０のデータ数である。ｊは１～Ｎ２の整数であり、Ｎ２は流速の予測値Ｕ１のデータ数である。
【0066】
Ｌ１は、流速の実測値Ｕ０と流速の予測値Ｕ１との誤差を示す第１損失関数である。すなわち、第１損失関数Ｌ１は、流速画像（流速の実測値Ｕ０）と流速推定画像（流速の予測値Ｕ１）との誤差を表すものといえる。なお、式（３）では二乗平均平方根誤差（ＲＭＳＥ：Root Mean Squared Error）を用いているが、これに限らず、２つの数値間の誤差を表す式を適宜適用してもよい。このような式としては、例えば、二乗和誤差（ＳＳＥ：Sum of Squared Error）、二乗和平方根（ＲＳＳ：Root Sum Squares）、平均二乗誤差（ＭＳＥ：Mean Squared Error）、及び平均絶対誤差（ＭＡＥ：Mean Absolute Error）等が挙げられる。
【0067】
Ｌ２は、流速の予測値Ｕ１の、ＮＳ方程式に対する適合度を表す第２損失関数である。すなわち、第２損失関数Ｌ２は、流速推定画像（流速の予測値Ｕ１）の、流体の運動を記述する支配方程式に対する適合度を表すものといえる。なお、第２損失関数Ｌ２の計算で用いる動粘性係数νの値は、パラメータとして解析モデルＭに与えられるが、文献値等を適宜設定してもよいし、解析モデルＭの学習フェーズで推定したものを用いてもよい（詳細は後述）。
【0068】
図６に示すように、解析モデルＭの後半部分Ｍ２では、解析モデルＭの前半部分Ｍ１の出力ｕ、ｖ、ｗ、及びｐのそれぞれについて微分計算を行っている。ここで、ＮＮは、アルゴリズムで関数を定義するので、入力に対する出力の解析微分を容易に得られるという性質を有する（いわゆる自動微分）。この性質を利用することによって、解析モデルＭの後半部分Ｍ２では、解析モデルＭの前半部分Ｍ１（ＮＮ）の出力ｕ、ｖ、ｗ、及びｐのそれぞれを容易にかつ精度よく微分できる。したがって、解析モデルＭにおいては、第２損失関数Ｌ２を容易にかつ精度よく計算できる。
【0069】
解析モデルＭによれば、独立変数（ｘ、ｙ、ｚ、ｔ）の任意の値に対して、出力ｕ（ｘ、ｙ、ｚ、ｔ）、ｖ（ｘ、ｙ、ｚ、ｔ）、ｗ（ｘ、ｙ、ｚ、ｔ）、及びｐ（ｘ、ｙ、ｚ、ｔ）が得られる。生成部３２は、入力する流速画像よりも空間的及び時間的に高分解能のΔｘ、Δｙ、Δｚ、及びΔｔを設定し、ある基準点ｘ０、ｙ０、ｚ０、及びｔ０に対して、解析モデルＭを用いて下記ｕ、ｖ、ｗ、及びｐを得ることで、元の流速画像よりも高解像度の流速推定画像を生成する。
【0070】
ｕ（ｘ０＋ｉ×Δｘ、ｙ０＋ｊ×Δｙ、ｚ０＋ｋ×Δｚ、ｔ０＋ｌ×Δｔ）
ｖ（ｘ０＋ｉ×Δｘ、ｙ０＋ｊ×Δｙ、ｚ０＋ｋ×Δｚ、ｔ０＋ｌ×Δｔ）
ｗ（ｘ０＋ｉ×Δｘ、ｙ０＋ｊ×Δｙ、ｚ０＋ｋ×Δｚ、ｔ０＋ｌ×Δｔ）
ｐ（ｘ０＋ｉ×Δｘ、ｙ０＋ｊ×Δｙ、ｚ０＋ｋ×Δｚ、ｔ０＋ｌ×Δｔ）
ここで、ｉ、ｊ、ｋ、及びｌは整数である。
ｖ（ｘ０＋ｉ×Δｘ、ｙ０＋ｊ×Δｙ、ｚ０＋ｋ×Δｚ、ｔ０＋ｌ×Δｔ）
ｗ（ｘ０＋ｉ×Δｘ、ｙ０＋ｊ×Δｙ、ｚ０＋ｋ×Δｚ、ｔ０＋ｌ×Δｔ）
ｐ（ｘ０＋ｉ×Δｘ、ｙ０＋ｊ×Δｙ、ｚ０＋ｋ×Δｚ、ｔ０＋ｌ×Δｔ）
ここで、ｉ、ｊ、ｋ、及びｌは整数である。
【0071】
また、生成部３２は、形態画像５４を生成する。例えば、生成部３２は、流速推定画像において流速の予測値Ｕ１が０となる領域の輪郭を抽出することによって、当該輪郭を示す形態画像を生成してもよい。これは、血管壁において、流速が０となることを利用したものである。
【0072】
また例えば、生成部３２は、流速画像及び流速推定画像の少なくとも一方から、形態画像５４を生成するための形態画像生成モデルを用いて、流速画像及び流速推定画像の少なくとも一方から形態画像５４を生成してもよい。形態画像生成モデルは、例えば、流速画像及び流速推定画像の少なくとも一方と、形態画像との組合せを学習データとして予め学習されたＮＮである。
【0073】
形態画像生成モデルを用いる場合は、上記ＰＩＮＮｓで構築された解析モデルＭに、形態画像生成モデルを組み込むこととなる。すなわち、解析モデルＭは、流速画像から、流速推定画像を生成するためのＰＩＮＮｓモデルと、流速画像及び流速推定画像の少なくとも一方から、形態画像５４を生成するための形態画像生成モデルと、を含むものであってもよい。ここでいうＰＩＮＮｓモデルが、本開示の第１学習モデルの一例であり、形態画像生成モデルが、本開示の第２学習モデルの一例である。
【0074】
また、生成部３２は、解析モデルＭを用いて、流速画像から、構造物内における流体の圧力の分布を表す圧力画像を更に生成してもよい。上述したように、解析モデルＭによれば、圧力ｐ（ｘ、ｙ、ｚ、ｔ）についても、空間的及び時間的に高い分解能でその分布を得ることができるので、圧力画像の生成が可能である。
【0075】
また、生成部３２は、流速画像から、流速画像に含まれる流速ベクトルを可視化した流速可視化画像５０を生成してもよい。同様に、生成部３２は、流速推定画像から、流速推定画像に含まれる流速ベクトルを可視化した流速可視化画像５２を生成してもよい（図５参照）。
【0076】
なお、流速ベクトルの可視化の手段は図５の例に限らず、例えば、流速ベクトルの速さを矢印の太さ、線種（実線、点線、及び二点鎖線等）、色、又は透明度等で示すものであってもよい。また例えば、矢印に代えて、三角形状などの多角形状のマークを用いてもよいし、直線の一端に丸印等が付されたマークを用いてもよい。また、図５では、流速画像及び流速推定画像における３次元の流速ベクトルを、ある２次元平面に投影することによって、２次元の流速可視化画像５０、５２としているが、これに限らず、３次元の流速可視化画像としてもよい。
【0077】
導出部３４は、流速画像、流速推定画像、形態画像、圧力画像及び流速可視化画像のうち少なくとも１つに基づいて、流体の流れを診断及び治療に活用するための各種指標を導出してもよい。また、導出部３４は、導出した指標の大小を可視化した画像（以下、指標可視化画像と称する）を生成してもよい。指標可視化画像としては、例えば、形態画像における領域を、領域ごとの指標の大小に応じて色分けしたヒートマップが挙げられる（図７参照）。
【0078】
例えば、導出部３４は、流速推定画像及び形態画像に基づいて、形態画像における領域ごとに、壁面せん断応力（ＷＳＳ：Wall Shear Stress）を導出してもよい。ＷＳＳは、血流が血管壁に与える摩擦刺激を示す。ＷＳＳを定量化することによって、アテローム性動脈硬化及び動脈瘤等の血管疾患の発生及び進行（破裂）の状況を解析できる可能性がある。アテローム性動脈硬化は、冠動脈、腹部大動脈、及び頸動脈で好発であり、血管狭窄に寄与する。動脈瘤は、脳動脈、腹部大動脈、及び胸部大動脈等で発生し得る。
【0079】
ＷＳＳは、血管壁に平行な方向をＸ軸方向とし、血管壁に垂直な方向をＹ軸方向とした場合、流速ＵのＸ軸方向の成分ｕのＹ軸方向の速度勾配で定量化できる。この場合のＷＳＳの量をτとした場合、τは下記式（５）で表される。
【0080】
【数7】
【0081】
ｙｗは、ｙ軸方向における血管壁の位置であり、形態画像から特定できる。μは、流体（ここでは血液）の粘性係数である。なお、流体の動粘性係数をνとし、密度をρとすると、μ＝ρνの関係が成り立つ。したがって、上記解析モデルＭで用いたνの値と、ρの文献値（例えば１．０５６ｋｇ／ｍ３）からμが求まる。導出部３４は、流速推定画像及び形態画像から、式（５）に代入する各数値を特定することによって、血管壁上の任意の位置（ｙｗ）におけるＷＳＳの量τを導出する。
【0082】
また、導出部３４は、形態画像における領域ごとのＷＳＳの大小を可視化した指標可視化画像を生成してもよい。例えば、導出部３４は、ＷＳＳの大小に応じて色分けしたヒートマップを生成してもよい（図７参照）。
【0083】
また例えば、導出部３４は、圧力画像及び形態画像に基づいて、形態画像における領域ごとに、冠血流予備比（ＦＦＲ：Fractional Flow Reserve）を導出してもよい。ＦＦＲは、冠動脈の狭窄病変の重症度の指標であり、冠血行再建術を行う目安として用いられる。ＦＦＲは、狭窄部位の前後における血圧の比で定量化できる。例えば、狭窄部位の手前の血圧をＰａとし、狭窄部位より先の血圧をＰｄとした場合、ＦＦＲは下記式（６）で表される。
ＦＦＲ＝Ｐｄ／Ｐａ （６）
ＦＦＲ＝Ｐｄ／Ｐａ （６）
【0084】
また、導出部３４は、形態画像における領域ごとのＦＦＲの大小を可視化した指標可視化画像を生成してもよい。例えば、導出部３４は、ＦＦＲの大小に応じて色分けしたヒートマップを生成してもよい（図７参照）。具体的には、例えば狭窄部位の手前の任意の点を仮想の基準点とし、当該基準点における血圧をＰａとし、血圧Ｐａに対する血圧の比を、血管内の領域ごとに導出してもよい。
【0085】
表示制御部３６は、流速画像、流速推定画像、形態画像、圧力画像、流速可視化画像、及び指標可視化画像のうち少なくとも１つを、ディスプレイ２４に表示させるよう制御する。図７に、表示制御部３６によってディスプレイ２４に表示される画面Ｄの一例を示す。一例として、画面Ｄは、流速画像の流速可視化画像５０を含む。また、画面Ｄは、流速推定画像の流速可視化画像５２と形態画像５４とが空間的及び時間的に整合するように重ね合わせた合成画像５３を含む。
【0086】
また、画面Ｄは、形態画像５４における領域ごとのＷＳＳの指標可視化画像５６を含む。また、画面Ｄは、形態画像５４における領域ごとのＦＦＲの指標可視化画像５８を含む。指標可視化画像５６、５８は、それぞれ、ＷＳＳ及びＦＦＲの大小に応じて、形態画像５４に含まれる血管の領域を色分けしたヒートマップである。
【0087】
次に、図８を参照して、画像処理装置１０の作用を説明する。画像処理装置１０において、ＣＰＵ２１が画像処理プログラム２７を実行することによって、図８に示す画像処理が実行される。本処理は、例えば、ユーザにより入力部２５を介して実行開始の指示があった場合に実行される。
【0088】
ステップＳ１０で、取得部３０は、流速画像を取得する。ステップＳ１２で、生成部３２は、解析モデルＭを用いて、ステップＳ１２で取得された流速画像から、流速推定画像及び形態画像を生成する。ステップＳ１４で、導出部３４は、ステップＳ１２で生成された流速推定画像及び形態画像に基づいて、形態画像における領域ごとに、ＷＳＳ及びＦＦＲ等の各種指標を導出する。ステップＳ１６で、導出部３４は、ステップＳ１２で生成された形態画像における領域ごとに、ステップＳ１４で導出した指標の大小を可視化した指標可視化画像を生成する。
【0089】
ステップＳ１８で、表示制御部３６は、ステップＳ１２で生成された流速推定画像及び形態画像、並びに、ステップＳ１６で生成された指標可視化画像のうち少なくとも１つをディスプレイ２４に表示させるよう制御する。なお、表示制御部３６は、図７に示すように、流速推定画像を流速可視化画像５２として表示してもよいし、流速推定画像（又は流速可視化画像５２）と形態画像５４とを重ね合わせて表示してもよい。ステップＳ１８が完了すると、本処理を終了する。
【0090】
以上説明したように、本実施形態に係る画像処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、流速画像よりも高解像度の流速推定画像、及び構造物の形態を表す形態画像を生成するための学習モデルであって、流体の物理法則に関する情報と流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、流速画像から流速推定画像及び形態画像を生成する。
【0091】
画像処理装置１０によれば、流体の物理法則に関する情報を用いた損失関数Ｌに基づいて学習された解析モデルＭ（ＰＩＮＮｓ）を用いることによって、低解像度の流速画像に基づいて、高解像度の流速推定画像と、形態画像とを生成できる。すなわち、低解像度の流速画像からでも、空間的により精細な速度ベクトルと、構造物の形態と、を特定できる。したがって、生体の構造物内における流体の流れを良好な精度で解析でき、ＷＳＳ及びＦＦＲ等の指標の定量精度の向上に寄与できる。
【0092】
［比較例］
従来から用いられる血流解析の手法として、ＰＣ－ＭＲＩによる流速画像とは別に、例えば磁気共鳴血管造影法（ＭＲＡ：Magnetic Resonance Angiography）によって、形態画像を撮影する手法がある。これは、ＰＣ－ＭＲＩ画像では流速ベクトルが離散的であり、解像度の制約があるので、ＭＲＡ画像によって細い血管（例えば脳動脈及び冠動脈等）の構造を特定することを目的としたものである。この手法では、血流と血管の構造とを空間的に整合させるために、ＰＣ－ＭＲＩ画像とＭＲＡ画像との位置合わせが必要となる。
従来から用いられる血流解析の手法として、ＰＣ－ＭＲＩによる流速画像とは別に、例えば磁気共鳴血管造影法（ＭＲＡ：Magnetic Resonance Angiography）によって、形態画像を撮影する手法がある。これは、ＰＣ－ＭＲＩ画像では流速ベクトルが離散的であり、解像度の制約があるので、ＭＲＡ画像によって細い血管（例えば脳動脈及び冠動脈等）の構造を特定することを目的としたものである。この手法では、血流と血管の構造とを空間的に整合させるために、ＰＣ－ＭＲＩ画像とＭＲＡ画像との位置合わせが必要となる。
【0093】
図１０に、流速画像（ＰＣ－ＭＲＩ画像）の流速可視化画像５０と、ＭＲＡにより得られる形態画像５４Ａと、それらの合成画像５３Ａとの一例を示す。図１０に示すように、別撮りの画像間を位置合わせする従来の手法では、空間的に位置ずれが生じてしまう場合があった。特にＷＳＳの導出（式（５）参照）では、血管壁の位置（ｙｗ）近傍における流速ベクトルの特定が重要となるため、位置ずれによりＷＳＳの定量精度が低下する場合があった。
【0094】
上記の従来手法に対し、本実施形態に係る画像処理装置１０では、流速推定画像と形態画像の生成元が同一の流速画像なので、流速推定画像（又は流速画像）と形態画像との位置合わせは不要である。したがって、位置ずれに起因する解析結果の精度の低下を回避できる。また、形態画像の撮影が不要なので、時間及びコストを削減できる。
【0095】
［第１変形例］
上記実施形態においては、解析モデルＭにおいて用いられる損失関数Ｌとして、第１損失関数Ｌ１及び第２損失関数Ｌ２の和（式（２）参照）を適用する例について説明したが、これに限らない。学習モデルの学習フェーズにおいては、損失関数Ｌを最小化するようなパラメータθの探索が繰り返し行われるが、損失関数Ｌを、解析モデルＭの学習における反復回数に応じて変化するようにしてもよい。
上記実施形態においては、解析モデルＭにおいて用いられる損失関数Ｌとして、第１損失関数Ｌ１及び第２損失関数Ｌ２の和（式（２）参照）を適用する例について説明したが、これに限らない。学習モデルの学習フェーズにおいては、損失関数Ｌを最小化するようなパラメータθの探索が繰り返し行われるが、損失関数Ｌを、解析モデルＭの学習における反復回数に応じて変化するようにしてもよい。
【0096】
具体的には、解析モデルＭは、第１損失関数Ｌ１と、第２損失関数Ｌ２との重み付き和によって学習されるようにしてもよい。例えば、式（２）に代えて、下記式（２－１）の重み付き和を適用してもよい。
Ｌ＝ｋ１×Ｌ１＋ｋ２×Ｌ２ （２－１）
Ｌ＝ｋ１×Ｌ１＋ｋ２×Ｌ２ （２－１）
【0097】
ｋ１及びｋ２は、重み付き和における第１損失関数Ｌ１及び第２損失関数Ｌ２のそれぞれの重みであり、解析モデルＭの学習における反復回数に応じて変化する。重みｋ１及びｋ２の変化の仕方は特に限定されないが、反復回数が増えるほど、第２損失関数Ｌ２の影響が大きくなるように、第１損失関数Ｌ１の重みｋ１及び第２損失関数Ｌ２の重みｋ２の少なくとも一方が変化することが望ましい。
【0098】
例えば、反復回数に応じて重みｋ２を徐々に増加させる、及び／又は、重みｋ１を徐々に減少させるようにしてもよい。また例えば、反復回数が予め定められた閾値を超えた段階で、重みｋ１が１から０に変化し、重みｋ２が０から１に変化する（すなわち、Ｌの内容が、Ｌ１からＬ２に完全に切り替わる）ようにしてもよい。
【0099】
学習が進んでいない初期段階においては、パラメータθの最適解は不明なため、パラメータθは適当なアルゴリズムに基づきランダムに与えられることが一般的である。この状態で、微分方程式由来の第２損失関数Ｌ２に基づいた学習を行うと、期待する最適解が得られない場合がある。例えば、式（４）の微分方程式における自明解（Ｕ１が０）のように、第２損失関数Ｌ２は最小化されるものの、第１損失関数Ｌ１の最小化は考慮されていないパラメータθを最適解としてしまう場合がある（いわゆるローカルミニマムの解）。
【0100】
そこで、反復回数が少ないうちは第１損失関数Ｌ１を重視し、反復回数が増えるほど第２損失関数Ｌ２を重視することによって、ローカルミニマムの解に陥ることを回避できる。このように、損失関数Ｌの内容を、学習における反復回数に応じて変化させることによって、学習を効率的に進めることができる場合がある。
【0101】
［第２変形例］
上記実施形態においては、形態画像を、流速推定画像において流速が０となる領域の輪郭を抽出することによって生成する、又は、形態画像生成モデルによって生成する例について説明したが、これに限らない。例えば、解析モデルＭの学習フェーズにおいて、支配方程式における境界条件として血管壁における条件を考慮した項を含む損失関数Ｌに基づいて学習を行うことによって、血管壁の位置を推定してもよい。
上記実施形態においては、形態画像を、流速推定画像において流速が０となる領域の輪郭を抽出することによって生成する、又は、形態画像生成モデルによって生成する例について説明したが、これに限らない。例えば、解析モデルＭの学習フェーズにおいて、支配方程式における境界条件として血管壁における条件を考慮した項を含む損失関数Ｌに基づいて学習を行うことによって、血管壁の位置を推定してもよい。
【0102】
具体的には、解析モデルＭは、第１損失関数Ｌ１と、第２損失関数Ｌ２と、支配方程式における境界条件に対する適合度を表す第３損失関数Ｌ３と、に基づいて学習されてもよい。例えば、式（２）に代えて、下記式（２－２）を適用してもよい。第３損失関数Ｌ３の一例を下記式（７）に示す。
Ｌ＝Ｌ１＋Ｌ２＋Ｌ３ （２－２）
Ｌ＝Ｌ１＋Ｌ２＋Ｌ３ （２－２）
【0103】
【数8】
【0104】
Ｕ１は、解析モデルＭの前半部分Ｍ１（ＮＮ）の出力に基づき導出される流速Ｕの予測値である。血管壁を３次元のポリゴンデータで表現することを考え、その頂点の座標をαｋ（ｘｋ、ｙｋ、ｚｋ）とする。ｋは１～Ｎ３の整数であり、Ｎ３は血管壁の頂点となる座標のデータ数である。図６に点線で示すように、座標αｋは、損失関数Ｌの算出に用いるパラメータとして、解析モデルＭに与えられる。
【0105】
式（７）は、血管壁上の座標αｋ（ｘｋ、ｙｋ、ｚｋ）においては、流速の予測値Ｕ１は０になるという境界条件を利用したものである。すなわち、第３損失関数Ｌ３は、形態画像によって表される構造物の壁面位置に対応する流速推定画像（すなわち流速の予測値Ｕ１）の、流体の運動を記述する支配方程式における境界条件に対する適合度を表すものといえる。
【0106】
解析モデルＭの学習フェーズにおいて、座標αｋ（ｘｋ、ｙｋ、ｚｋ）を変化させながら、第３損失関数Ｌ３を最小化するように学習を行うことによって、適切な座標αｋを推定できる。これにより、血管壁を構成する各頂点の座標αｋ、すなわち血管壁の位置が求まるので、その血管壁の位置を表す形態画像を生成できる。
【0107】
［第３変形例］
第２変形例に、第１変形例の方法を適用してもよい。具体的には、解析モデルＭは、第１損失関数Ｌ１と、第２損失関数Ｌ２と、第３損失関数Ｌ３との重み付き和によって学習されるようにしてもよい。例えば、式（２－２）に代えて、下記式（２－３）の重み付き和を適用してもよい。
Ｌ＝ｋ１×Ｌ１＋ｋ２×Ｌ２＋ｋ３×Ｌ３ （２－３）
第２変形例に、第１変形例の方法を適用してもよい。具体的には、解析モデルＭは、第１損失関数Ｌ１と、第２損失関数Ｌ２と、第３損失関数Ｌ３との重み付き和によって学習されるようにしてもよい。例えば、式（２－２）に代えて、下記式（２－３）の重み付き和を適用してもよい。
Ｌ＝ｋ１×Ｌ１＋ｋ２×Ｌ２＋ｋ３×Ｌ３ （２－３）
【0108】
ｋ１～ｋ３は、重み付き和における第１損失関数Ｌ１、第２損失関数Ｌ２、及び第３損失関数Ｌ３のそれぞれの重みであり、解析モデルＭの学習における反復回数に応じて変化する。重みｋ１～ｋ３の変化の仕方は特に限定されないが、反復回数が増えるほど、第２損失関数Ｌ２及び第３損失関数Ｌ３の少なくとも一方の影響が大きくなるように、第１損失関数Ｌ１の重みｋ１、第２損失関数Ｌ２の重みｋ２、及び第３損失関数Ｌ３の重みｋ３のうち少なくとも１つが変化することが望ましい。その理由は、第１変形例と同様である。
【0109】
例えば、反復回数に応じて重みｋ２及びｋ３を徐々に増加させる、及び／又は、重みｋ１を徐々に減少させるようにしてもよい。また例えば、反復回数が予め定められた閾値を超えた段階で、重みｋ１が１から０に変化し、重みｋ２が０から１に変化し、重みｋ３が０から１に変化する（すなわち、Ｌの内容が、Ｌ１単体から、Ｌ２とＬ３の和に切り替わる）ようにしてもよい。
【0110】
［第４変形例］
第２変形例の座標αｋと同様に、損失関数Ｌの算出に用いる他のパラメータを、解析モデルＭの学習フェーズにおいて推定してもよい。例えば、式（２）の第２損失関数Ｌ２において、動粘性係数νを変化させながら、第２損失関数Ｌ２を最小化するように学習を行うことによって、適切な動粘性係数νを推定できる。
第２変形例の座標αｋと同様に、損失関数Ｌの算出に用いる他のパラメータを、解析モデルＭの学習フェーズにおいて推定してもよい。例えば、式（２）の第２損失関数Ｌ２において、動粘性係数νを変化させながら、第２損失関数Ｌ２を最小化するように学習を行うことによって、適切な動粘性係数νを推定できる。
【0111】
このようにした場合は、解析対象の流体においてより適切な動粘性係数νを推定できるので、例えば動粘性係数νの個人差をも考慮でき、血流をより良好な精度で解析できる。特に、動粘性係数νは、ＷＳＳの定量化に用いられる粘性係数μ（μ＝ρν）にも影響を与えるので、ＷＳＳの定量精度も向上させることができる。
【0112】
［第５変形例］
上記実施形態においては、解析モデルＭ（ＰＩＮＮｓ）において用いる支配方程式としてＮＳ方程式を適用する例について説明したが、これに限らない。ＮＳ方程式に加えて、又は代えて、流体の運動を記述する他の支配方程式を適用してもよい。
上記実施形態においては、解析モデルＭ（ＰＩＮＮｓ）において用いる支配方程式としてＮＳ方程式を適用する例について説明したが、これに限らない。ＮＳ方程式に加えて、又は代えて、流体の運動を記述する他の支配方程式を適用してもよい。
【0113】
例えば、解析モデルＭの支配方程式として、ウィンドケッセルモデルを用いたときの回路方程式を適用すれば、流出境界条件を解析できる。ウィンドケッセルモデルとは、解析領域よりも抹消の血管による影響（例えば血液の流れにくさ等）を、回路要素の特性値で記述することによって、血流を電気回路モデルで記述するものである。一般に、末梢血管における血圧及び抵抗等は実測が困難なため、解析領域における流出境界条件の特定も困難だが、ウィンドケッセルモデルを用いることによって、流出境界条件を推定できる。
【0114】
図９に、４分岐血管９０へ３要素のウィンドケッセルモデルを適用した例を示す。図９では、４分岐血管９０への流入口ＩＮと、４つの流出口Ｏ１～Ｏ４を示し、流出口Ｏ１～Ｏ４のそれぞれに３要素のウィンドケッセルモデルを接続している。３要素のウィンドケッセルモデルでは、血流量Ｑを電流、血圧Ｐを電圧、動脈コンプライアンスＣをキャパシタの容量、末梢血管抵抗Ｒを抵抗器の抵抗、大動脈弁による抵抗ｒを特性インピーダンスとして記述する。この場合の回路方程式を式（８）に示す。
【0115】
【数9】
【0116】
解析モデルＭにこのようなウィンドケッセルモデルを組み込むことによって、流出境界のそれぞれにおいて、特性値Ｒ、Ｃ、及びｒを推定できる。以下、流出境界Ｏｋにおける血流量をＱｋと称し、血圧をＰｋと称し、特性値をＲｋ、Ｃｋ、及びｒｋと称する。ｋは１～Ｎ４の整数であり、Ｎ４は流出境界の数である。なお、図９でも、この方法に則って表記している。
【0117】
具体的には、解析モデルＭの前半部分Ｍ１の出力層ＯＬに、各流出境界Ｏｋにおける血流量Ｑｋ及び血圧Ｐｋを加えればよい。また、損失関数Ｌの算出に用いるパラメータとして、各流出境界Ｏｋにおける特性値Ｒｋ、Ｃｋ、及びｒｋを加えればよい。また、解析モデルＭの損失関数Ｌに、下記式（９）で表される第４損失関数Ｌ４を加えればよい。
【0118】
【数10】
【0119】
第４損失関数Ｌ４は、各流出境界Ｏｋにおける血流量Ｑｋ及び血圧Ｐｋの予測値の、回路方程式に対する適合度を表す。第４損失関数Ｌ４において、特性値Ｒｋ、Ｃｋ、及びｒｋを変化させながら、第４損失関数Ｌ４を最小化するように学習を行うことによって、特性値Ｒｋ、Ｃｋ、及びｒｋを推定できる。
【0120】
このようにして学習された解析モデルＭによれば、各流出境界Ｏｋにおける血流量Ｑｋ及び血圧Ｐｋの予測値を得ることができるので、流出境界条件を推定できる。したがって、生体の構造物内における流体の流れを良好な精度で解析できる。
【0121】
なお、推定した流出境界条件を、数値流体力学を用いた血流解析（ＣＦＤ：Computational Fluid Dynamics）によるシミュレーションに活用することもできる。ＣＦＤにおいて、上記の手法により推定した高精度の流出境界条件を設定することによって、血流解析の精度を向上できる。これにより、例えば、狭窄拡張及び瘤塞栓等の手術により血管構造が変化した場合の血流の変化を、高精度でシミュレーションすることが可能となるので、シミュレーション結果を治療効果の検討に活用させることが期待できる。
【0122】
［第６変形例］
また例えば、解析モデルＭの支配方程式として、格子ボルツマン方程式を適用してもよい。流体は、ミクロ的には個々の粒子の並進及び衝突により記述できる。格子ボルツマン方程式は、この観点に基づき、空間を格子状に離散化させるとともに、粒子の速度も有限種の速度ベクトルに離散化させた流体解析モデルである。格子ボルツマン方程式によれば、各格子における粒子の分布関数の時間的な変化によって、流体の流れが解析される。
また例えば、解析モデルＭの支配方程式として、格子ボルツマン方程式を適用してもよい。流体は、ミクロ的には個々の粒子の並進及び衝突により記述できる。格子ボルツマン方程式は、この観点に基づき、空間を格子状に離散化させるとともに、粒子の速度も有限種の速度ベクトルに離散化させた流体解析モデルである。格子ボルツマン方程式によれば、各格子における粒子の分布関数の時間的な変化によって、流体の流れが解析される。
【0123】
２次元空間（ＸＹ空間）において、速度ベクトルを９つの状態に離散化させたモデル（２次元９速度モデル）における格子ボルツマン方程式を式（１０）に示す。２次元９速度モデルでは、座標（ｘ、ｙ）＝（±１、±１）の４点を頂点とするある格子において、離散化された９つの速度ベクトルの始点を（０、０）とし、終点をそれぞれ（０、０）、（±１、０）、（０、±１）、（±１、±１）と設定する。各速度ベクトルの大きさは定数である。
【0124】
【数11】
【0125】
ｃｉは、離散化された速度ベクトルであり、ｉは０～８の整数である。すなわち、ｃ０～ｃ８は、それぞれが上記９つの速度ベクトルに対応する。Ｆｉは、時刻ｔかつある格子点において、速度ベクトルｃｉに対応する粒子の分布関数である。なお、分布関数Ｆｉは、確率変数が離散型なので離散分布関数である。Ｆｉ
ｅｑは、平衡分布関数である。τは、緩和パラメータである。
【0126】
解析モデルＭ（ＰＩＮＮｓ）を用いれば、このような格子ボルツマン方程式を解くことができ、流体の流れを解析できる。具体的には、解析モデルＭの前半部分Ｍ１の出力層ＯＬに、分布関数Ｆｉを加えればよい。また、損失関数Ｌの算出に用いるパラメータとして、平衡分布関数Ｆｉ
ｅｑ及び緩和パラメータτを加えればよい。また、解析モデルＭの損失関数Ｌに、下記式（１１）で表される第５損失関数Ｌ５を加えればよい。
【0127】
【数12】
【0128】
ｋは１～Ｎ５の整数であり、Ｎ５は分布関数Ｆｉの予測値のデータ数である。第５損失関数Ｌ５は、分布関数Ｆｉの予測値の、格子ボルツマン方程式に対する適合度を表す。第５損失関数Ｌ５において、平衡分布関数Ｆｉ
ｅｑ及び緩和パラメータτを変化させながら、第５損失関数Ｌ５を最小化するように学習を行うことによって、平衡分布関数Ｆｉ
ｅｑ及び緩和パラメータτを推定できる。
【0129】
このようにして学習された解析モデルＭによれば、各時刻ｔ及び各格子点における分布関数Ｆｉの予測値を得ることができる。したがって、生体の構造物内における流体の流れを良好な精度で解析できる。
【0130】
なお、上記実施形態及び各変形例において説明した損失関数Ｌは、第１損失関数Ｌ１～第５損失関数Ｌ５のうち任意の組合せを含む和であってもよい。また、損失関数Ｌに含まれる第１損失関数Ｌ１～第５損失関数Ｌ５のうち、それぞれに重みを設定した重み付き和であってもよい。この場合、学習の反復回数に応じて、それぞれの重みを変化させてもよい。
【0131】
また、上記実施形態においては、学習済みの解析モデルＭが記憶部２２に予め記憶されている例について説明したが、これに限らない。例えば、画像処理装置１０が、解析モデルＭの学習機能を有していてもよい。具体的には、ＣＰＵ２１は、上述した第１損失関数Ｌ１～第５損失関数Ｌ５のうち少なくとも１つを含む損失関数Ｌを用いた学習を行うことによって、解析モデルＭを構築してもよい。また例えば、ＣＰＵ２１は、生成部３２が流速画像から流速推定画像及び形態画像を生成するたびに、当該流速画像、流速推定画像、及び形態画像に基づいて、解析モデルＭの再学習をおこなってもよい。
【0132】
また、上記実施形態においては、ＰＣ－ＭＲＩによって流速画像を取得する例について説明したが、これに限らない。例えば、撮影装置３として超音波装置を用い、ドップラー計測によって時系列に撮影された３次元の超音波画像を取得し、当該超音波画像に基づいて、流速画像を取得するようにしてもよい。
【0133】
また、上記実施形態においては、流体の流れを診断及び治療に活用するための各種指標として、ＷＳＳ及びＦＦＲを例示したが、これに限らない。例えば、このような指標として、渦度及びヘリシティ等を適用してもよい。
【0134】
また、上記実施形態においては、構造物が血管であり、流体が血液である例について説明したが、これに限らない。例えば、脳脊髄液の流れを解析することを考えた場合、髄液が流れる構造物としては、頭蓋内での脳室、特にくも膜下腔を、脊柱管内では脊髄くも膜下腔を適用できる。また例えば、構造物としてリンパ管を用い、流体としてリンパ液を用いてもよい。
【0135】
また、上記実施形態においては、人体を対象とした画像を対象としているが、これに限らない。例えば、配管内を流れる流体の流れを解析する際にも、本開示の技術を適用できる。
【0136】
また、上記実施形態において、例えば、取得部３０、生成部３２、導出部３４、及び表示制御部３６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0137】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【0138】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【0139】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
【0140】
また、上記実施形態では、画像処理プログラム２７が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
【0141】
本開示の技術は、上記実施形態例及び変形例を適宜組み合わせることも可能である。以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。
【0142】
上記実施形態に関し、更に以下の付記を開示する。
［付記１］
少なくとも１つのプロセッサを備え、
前記プロセッサは、
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
画像処理装置。
［付記２］
前記流体の物理法則に関する情報は、前記流体の運動を記述する支配方程式としての微分方程式である
付記１に記載の画像処理装置。
［付記３］
前記微分方程式は、ナビエ－ストークス方程式である
付記２に記載の画像処理装置。
［付記４］
前記損失関数は、前記学習モデルの学習における反復回数に応じて変化する
付記１から付記３の何れか１つに記載の画像処理装置。
［付記５］
前記学習モデルは、
前記流速画像と前記流速推定画像との誤差を表す第１損失関数と、
前記流速推定画像の、前記流体の運動を記述する支配方程式に対する適合度を表す第２損失関数と、
に基づいて学習される付記１から付記４の何れか１つに記載の画像処理装置。
［付記６］
前記学習モデルは、前記第１損失関数と、前記第２損失関数との重み付き和によって学習され、
前記重み付き和における前記第１損失関数及び前記第２損失関数のそれぞれの重みは、学習における反復回数に応じて変化する
付記５に記載の画像処理装置。
［付記７］
前記反復回数が増えるほど、前記第２損失関数の影響が大きくなるように、前記第１損失関数の重み及び前記第２損失関数の重みの少なくとも一方が変化する
付記６に記載の画像処理装置。
［付記８］
前記学習モデルは、
前記第１損失関数と、
前記第２損失関数と、
前記形態画像によって表される前記構造物の壁面位置に対応する前記流速推定画像の、前記流体の運動を記述する支配方程式における境界条件に対する適合度を表す第３損失関数と、
に基づいて学習される付記５に記載の画像処理装置。
［付記９］
前記学習モデルは、前記第１損失関数と、前記第２損失関数と、前記第３損失関数との重み付き和によって学習され、
前記重み付き和における前記第１損失関数、前記第２損失関数、及び前記第３損失関数のそれぞれの重みは、学習における反復回数に応じて変化する
付記８に記載の画像処理装置。
［付記１０］
前記反復回数が増えるほど、前記第２損失関数及び前記第３損失関数の少なくとも一方の影響が大きくなるように、前記第１損失関数の重み、前記第２損失関数の重み、及び前記第３損失関数の重みのうち少なくとも１つが変化する
付記９に記載の画像処理装置。
［付記１１］
前記学習モデルは、
前記流速画像から、前記流速推定画像を生成するための第１学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された第１学習モデルと、
前記流速画像及び前記流速推定画像の少なくとも一方から、前記形態画像を生成するための第２学習モデルと、
を含む付記１から付記１０の何れか１つに記載の画像処理装置。
［付記１２］
前記構造物は、血管であり、
前記流体は、血液である
付記１に記載の画像処理装置。
［付記１３］
前記血管は、脳動脈、頸動脈、冠動脈、胸部大動脈、及び腹部大動脈のうち少なくとも１つである
付記１２に記載の画像処理装置。
［付記１４］
前記流速画像は、３次元シネ位相コントラスト磁気共鳴法によって前記血管を撮影することにより取得された３次元の画像である
付記１２に記載の画像処理装置。
［付記１５］
前記プロセッサは、
前記流速推定画像及び前記形態画像に基づいて、前記形態画像における領域ごとに、壁面せん断応力を導出する
付記１２に記載の画像処理装置。
［付記１６］
前記プロセッサは、
前記形態画像における領域ごとの前記壁面せん断応力の大小を可視化した画像を生成する
付記１５に記載の画像処理装置。
［付記１７］
前記プロセッサは、
前記学習モデルを用いて、前記流速画像から、前記構造物内における流体の圧力の分布を表す圧力画像を更に生成し、
前記圧力画像及び前記形態画像に基づいて、前記形態画像における領域ごとに、冠血流予備比を導出する
付記１２に記載の画像処理装置。
［付記１８］
前記プロセッサは、
前記形態画像における領域ごとの前記冠血流予備比の大小を可視化した画像を生成する
付記１７に記載の画像処理装置。
［付記１９］
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
処理をコンピュータが実行する画像処理方法。
［付記２０］
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
処理をコンピュータが実行するための画像処理プログラム。
［付記１］
少なくとも１つのプロセッサを備え、
前記プロセッサは、
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
画像処理装置。
［付記２］
前記流体の物理法則に関する情報は、前記流体の運動を記述する支配方程式としての微分方程式である
付記１に記載の画像処理装置。
［付記３］
前記微分方程式は、ナビエ－ストークス方程式である
付記２に記載の画像処理装置。
［付記４］
前記損失関数は、前記学習モデルの学習における反復回数に応じて変化する
付記１から付記３の何れか１つに記載の画像処理装置。
［付記５］
前記学習モデルは、
前記流速画像と前記流速推定画像との誤差を表す第１損失関数と、
前記流速推定画像の、前記流体の運動を記述する支配方程式に対する適合度を表す第２損失関数と、
に基づいて学習される付記１から付記４の何れか１つに記載の画像処理装置。
［付記６］
前記学習モデルは、前記第１損失関数と、前記第２損失関数との重み付き和によって学習され、
前記重み付き和における前記第１損失関数及び前記第２損失関数のそれぞれの重みは、学習における反復回数に応じて変化する
付記５に記載の画像処理装置。
［付記７］
前記反復回数が増えるほど、前記第２損失関数の影響が大きくなるように、前記第１損失関数の重み及び前記第２損失関数の重みの少なくとも一方が変化する
付記６に記載の画像処理装置。
［付記８］
前記学習モデルは、
前記第１損失関数と、
前記第２損失関数と、
前記形態画像によって表される前記構造物の壁面位置に対応する前記流速推定画像の、前記流体の運動を記述する支配方程式における境界条件に対する適合度を表す第３損失関数と、
に基づいて学習される付記５に記載の画像処理装置。
［付記９］
前記学習モデルは、前記第１損失関数と、前記第２損失関数と、前記第３損失関数との重み付き和によって学習され、
前記重み付き和における前記第１損失関数、前記第２損失関数、及び前記第３損失関数のそれぞれの重みは、学習における反復回数に応じて変化する
付記８に記載の画像処理装置。
［付記１０］
前記反復回数が増えるほど、前記第２損失関数及び前記第３損失関数の少なくとも一方の影響が大きくなるように、前記第１損失関数の重み、前記第２損失関数の重み、及び前記第３損失関数の重みのうち少なくとも１つが変化する
付記９に記載の画像処理装置。
［付記１１］
前記学習モデルは、
前記流速画像から、前記流速推定画像を生成するための第１学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された第１学習モデルと、
前記流速画像及び前記流速推定画像の少なくとも一方から、前記形態画像を生成するための第２学習モデルと、
を含む付記１から付記１０の何れか１つに記載の画像処理装置。
［付記１２］
前記構造物は、血管であり、
前記流体は、血液である
付記１に記載の画像処理装置。
［付記１３］
前記血管は、脳動脈、頸動脈、冠動脈、胸部大動脈、及び腹部大動脈のうち少なくとも１つである
付記１２に記載の画像処理装置。
［付記１４］
前記流速画像は、３次元シネ位相コントラスト磁気共鳴法によって前記血管を撮影することにより取得された３次元の画像である
付記１２に記載の画像処理装置。
［付記１５］
前記プロセッサは、
前記流速推定画像及び前記形態画像に基づいて、前記形態画像における領域ごとに、壁面せん断応力を導出する
付記１２に記載の画像処理装置。
［付記１６］
前記プロセッサは、
前記形態画像における領域ごとの前記壁面せん断応力の大小を可視化した画像を生成する
付記１５に記載の画像処理装置。
［付記１７］
前記プロセッサは、
前記学習モデルを用いて、前記流速画像から、前記構造物内における流体の圧力の分布を表す圧力画像を更に生成し、
前記圧力画像及び前記形態画像に基づいて、前記形態画像における領域ごとに、冠血流予備比を導出する
付記１２に記載の画像処理装置。
［付記１８］
前記プロセッサは、
前記形態画像における領域ごとの前記冠血流予備比の大小を可視化した画像を生成する
付記１７に記載の画像処理装置。
［付記１９］
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
処理をコンピュータが実行する画像処理方法。
［付記２０］
生体の構造物内における流体の流速ベクトルの空間的な分布を表す流速画像から、前記流速画像よりも高解像度の流速推定画像、及び前記構造物の形態を表す形態画像を生成するための学習モデルであって、前記流体の物理法則に関する情報と前記流速画像とを少なくとも用いた損失関数に基づいて学習された学習モデルを用いて、前記流速画像から前記流速推定画像及び前記形態画像を生成する
処理をコンピュータが実行するための画像処理プログラム。
【符号の説明】
【0143】
１ 解析システム
３ 撮影装置
５ 画像サーバ
６ 画像ＤＢ
９ ネットワーク
１０ 画像処理装置
２１ ＣＰＵ
２２ 記憶部
２３ メモリ
２４ ディスプレイ
２５ 入力部
２６ ネットワークＩ／Ｆ
２７ 画像処理プログラム
２８ バス
３０ 取得部
３２ 生成部
３４ 導出部
３６ 表示制御部
５０、５２ 流速可視化画像
５３、５３Ａ 合成画像
５４、５４Ａ 形態画像
５６、５８ 指標可視化画像
９０ ４分岐血管
ＧＭ マグニチュードデータ
Ｇｘ、Ｇｙ、Ｇｚ 位相データ
Ｍ 解析モデル
３ 撮影装置
５ 画像サーバ
６ 画像ＤＢ
９ ネットワーク
１０ 画像処理装置
２１ ＣＰＵ
２２ 記憶部
２３ メモリ
２４ ディスプレイ
２５ 入力部
２６ ネットワークＩ／Ｆ
２７ 画像処理プログラム
２８ バス
３０ 取得部
３２ 生成部
３４ 導出部
３６ 表示制御部
５０、５２ 流速可視化画像
５３、５３Ａ 合成画像
５４、５４Ａ 形態画像
５６、５８ 指標可視化画像
９０ ４分岐血管
ＧＭ マグニチュードデータ
Ｇｘ、Ｇｙ、Ｇｚ 位相データ
Ｍ 解析モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
