IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人 千葉大学の特許一覧 ▶ シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザインの特許一覧

<>
  • 特開-磁気共鳴電気特性トモグラフィ 図1
  • 特開-磁気共鳴電気特性トモグラフィ 図2
  • 特開-磁気共鳴電気特性トモグラフィ 図3
  • 特開-磁気共鳴電気特性トモグラフィ 図4
  • 特開-磁気共鳴電気特性トモグラフィ 図5
  • 特開-磁気共鳴電気特性トモグラフィ 図6
  • 特開-磁気共鳴電気特性トモグラフィ 図7
  • 特開-磁気共鳴電気特性トモグラフィ 図8
  • 特開-磁気共鳴電気特性トモグラフィ 図9
  • 特開-磁気共鳴電気特性トモグラフィ 図10
  • 特開-磁気共鳴電気特性トモグラフィ 図11
  • 特開-磁気共鳴電気特性トモグラフィ 図12
  • 特開-磁気共鳴電気特性トモグラフィ 図13
  • 特開-磁気共鳴電気特性トモグラフィ 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161803
(43)【公開日】2024-11-20
(54)【発明の名称】磁気共鳴電気特性トモグラフィ
(51)【国際特許分類】
   A61B 5/055 20060101AFI20241113BHJP
【FI】
A61B5/055 382
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023076845
(22)【出願日】2023-05-08
【新規性喪失の例外の表示】新規性喪失の例外適用申請有り
(71)【出願人】
【識別番号】304021831
【氏名又は名称】国立大学法人千葉大学
(71)【出願人】
【識別番号】515126721
【氏名又は名称】シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザイン
【氏名又は名称原語表記】Singapore University of Technology and Design
(74)【代理人】
【識別番号】100098729
【弁理士】
【氏名又は名称】重信 和男
(74)【代理人】
【識別番号】100204467
【弁理士】
【氏名又は名称】石川 好文
(74)【代理人】
【識別番号】100148161
【弁理士】
【氏名又は名称】秋庭 英樹
(74)【代理人】
【識別番号】100195833
【弁理士】
【氏名又は名称】林 道広
(72)【発明者】
【氏名】兪 文偉
(72)【発明者】
【氏名】ガルシアインダ アダン ジャフェット
(72)【発明者】
【氏名】黄 少▲エイ▼
(72)【発明者】
【氏名】イマモール ネブレズ
【テーマコード(参考)】
4C096
【Fターム(参考)】
4C096AA20
4C096AB41
4C096AB44
4C096AC01
4C096AD30
4C096DC35
(57)【要約】
【課題】ノイズロバスト性に優れ、汎化性に優れる磁気共鳴電気特性トモグラフィを提供する。
【解決手段】磁気共鳴電気特性トモグラフィであって、拡散係数ρと対流係数βとを係数として波動物理による物理モデルを用いて導電率を求める第1手段と、拡散係数ρと対流係数βとを物理モデルのパラメータを利用したデータ駆動型の機械学習モデルにより学習する第2手段と、を備えている。
【選択図】図1
【特許請求の範囲】
【請求項1】
磁気共鳴電気特性トモグラフィであって、
拡散係数ρと対流係数βとを係数として波動物理による物理モデルを用いて導電率マップを再構成する第1手段と、
前記拡散係数ρと前記対流係数βとを前記物理モデルのパラメータを利用したデータ駆動型の機械学習モデルにより学習する第2手段と、
を備えていることを特徴とする磁気共鳴電気特性トモグラフィ。
【請求項2】
前記物理モデルは、β(∇φtr・∇γ)+γ∇φtr-ρ∇γ=ωμであり、
前記パラメータは、φtr、∇φtr、∇φtrである(ここで、φtrは正規化送信位相である。γは導電率σの逆数(γ=1/σ)である。ωはラーモア周波数である。μは真空の透磁率である。)ことを特徴とする請求項1に記載の磁気共鳴電気特性トモグラフィ。
【請求項3】
前記機械学習モデルは、ニューラルネットワークを用いた学習モデルであることを特徴とする請求項1に記載の磁気共鳴電気特性トモグラフィ。
【請求項4】
前記拡散係数ρと前記対流係数βとをそれぞれ別のニューラルネットワークにより求めることを特徴とする請求項3に記載の磁気共鳴電気特性トモグラフィ。
【請求項5】
前記第1手段により再構成された導電率マップとGround truth導電率マップとの差分を求め、前記第2手段にフィードバックする第3手段を備えることを特徴とする請求項1ないし4のいずれかに記載の磁気共鳴電気特性トモグラフィ。
【請求項6】
前記拡散係数ρと前記対流係数βは、それぞれグローバル係数マップであることを特徴とする請求項1に記載の磁気共鳴電気特性トモグラフィ。
【請求項7】
前記拡散係数ρと前記対流係数βは、それぞれローカル係数マップであることを特徴とする請求項1に記載の磁気共鳴電気特性トモグラフィ。
【請求項8】
前記拡散係数ρと前記対流係数βをテストサンプルのノイズの状況によってグローバル係数マップとローカル係数マップのいずれかに選択可能であることを特徴とする請求項1に記載の磁気共鳴電気特性トモグラフィ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電気特性を組織コントラストとして用いた画像の再構成のための磁気共鳴電気特性トモグラフィ、特に物理結合神経回路網磁気共鳴電気特性トモグラフィに関する。
【背景技術】
【0002】
ヒト組織の電気特性(EPs;導電率σ、誘電率ε)は、様々な病態やその発生を識別するのに役立つ定量的なバイオマーカーであり、EPsを組織コントラストとして用いた画像(導電率マップ、誘電率マップ)は、癌組織の早期診断に応用できる可能性がある。
【0003】
磁気共鳴電気特性トモグラフィ(MREPT)は、MRI装置により測定されたラジオ波磁場(RF場)を用いてEPsを再構成する画像診断法である。従来、MREPTは、Maxwell方程式に基づく標準的な解析モデル(std-EPT)を数値的に解くことにより導電率マップを再構成するものが知られている。このような解析的なMREPTの数値解法は、簡単な手法である反面、解析モデルの背後にある均一性の仮定、すなわち導電率は一定であるとする仮定の不正確さや数値誤差に起因して組織境界で境界アーティファクトが発生し、再構成精度が低くなるという問題がある。
【0004】
非特許文献1では、Maxwell方程式に基づく解析モデルから均一性の仮定を取り除き、再構成問題を柔軟に解決する手法が提案されている。詳しくは、再構成問題を対流反応偏微分方程式(cr-EPT)として定式化し、関心領域(ROI)に対して離散化して解くことにより、空間的な制約なしに解ける未知数となるため、均一性の仮定を不要とすることができる。しかしながら、この手法では、MRI装置により測定されたBフィールドの解像度が低い場合、数値アーティファクトが発生してしまう虞がある。
【0005】
cr-EPTを用いた手法における数値アーティファクトの影響は、粘性正則化の役割を果たす拡散項を追加することによって低減できるが、拡散項に含まれる拡散係数の値が大きいと、この拡散項がcr-EPTを支配し、EPsの分布がぼやけてコントラストが低下してしまう。そのため、EPsの再構成の急激な変動の抑制とコントラストの低下とのトレードオフを実現するために、サンプルに応じた適切な拡散係数を与える必要がある。
【0006】
非特許文献2では、境界アーティファクトを補正するために、cr-EPTに拡散係数の他に、対流項の重みを調整する対流係数を追加する手法が提案されている。詳しくは、非特許文献2では、画素依存ではなく、ROI全体に対して経験的に選択された1つの対流係数、いわゆるグローバル対流係数マップを追加する手法(d∇ρ+c∇φ・∇ρ+(∇φ)ρ=ωμ)が提案されている。しかしながら、対流係数は、ROI内の異なる領域(境界部または非境界部)において、再構成精度を向上させるために異なる値が必要となる場合があり、サンプルに応じた適切な対流係数を与える必要があるだけでなく、拡散係数との協調も考慮する必要がある。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】F. S. Hafalir, O. F. Oran, N. Gurler, and Y. Z. Ider, “Convection-reaction equation based magnetic resonance electrical properties tomography (crmrept),”IEEE Trans Med Imaging, vol. 33, no. 3, pp. 777-793, Mar. 2014.
【非特許文献2】Y. Z. Ider and M. N. Akyer, “Properties and implementation issues of phase based cr-MRECT for conductivity imaging,” in Proc. Intl. Soc. Mag. Reson. Med. 28, 2020, p. 3190.
【非特許文献3】S. Mandija, E. F. Meliad`o, N. R. F. Huttinga, P. R. Luijten, and C. A. T. van den Berg, “Opening a new window on mr-based electrical properties tomography with deep learning,” Scientific Reports, vol. 9, no. 1, Dec. 2019.
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述したように、解析的なMREPTの数値解法に伴うアーティファクトは、解析モデルに安定化係数、すなわちサンプルに応じた適切な拡散係数と対流係数を追加することで低減できるが、これらの安定化係数の選択は経験的に行われてきたため、解析モデルの汎化性を向上させることは難しかった。
【0009】
また、非特許文献3では、上述した解析的なMREPTの数値解法に伴うアーティファクトを回避するために、Maxwell方程式を用いることなく、トレーニングサンプルからB フィールドをEPsにマッピングする関数を学習するデータ駆動型のエンドツーエンドのニューラルネットワーク(NN)に基づくMREPT(NN-EPT)が提案されている。しかしながら、非特許文献3のNN-EPTは、解析的なMREPTでは認識される波動物理を捉えていない物理非結合アプローチであるため、新しいサンプルに対する頑健性、すなわち汎化性を確保するために膨大な量のトレーニングサンプルデータが必要となる。特に医療分野では膨大な量のデータを収集することは困難である。加えて、MRIにおいて、再構成精度を高めるために様々な種類のノイズに対するロバスト性が求められている。
【0010】
本発明は、このような課題に着目してなされたもので、ノイズロバスト性に優れ、汎化性に優れる磁気共鳴電気特性トモグラフィを提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明者らは、上記課題について鋭意検討を行なっていたところ、拡散係数ρと対流係数βとを係数として波動物理による物理モデルを用いて導電率マップを再構成する第1手段と、拡散係数ρと対流係数βとを物理モデルのパラメータを利用したデータ駆動型の機械学習モデルにより学習する第2手段と、を備えている物理結合型ニューラルネットワーク電気特性トモグラフィを構成することで、ノイズロバスト性に優れ、汎化性に優れる磁気共鳴電気特性トモグラフィが可能となる点を発見し、本発明を完成させるに至った。
【0012】
また、物理モデルは、β(∇φtr・∇γ)+γ∇φtr-ρ∇γ=ωμであり、パラメータは、φtr、∇φtr、∇φtrである。ここで、φtrは正規化送信位相である。γは導電率σの逆数(γ=1/σ)である。ωはラーモア周波数である。μは真空の透磁率である。
【0013】
また、機械学習モデルは、ニューラルネットワークであってもよい。
【0014】
また、拡散係数ρと対流係数βとをそれぞれ別のニューラルネットワークにより求めてもよい。
【0015】
また、第1手段により再構成された導電率マップとGround truth導電率マップとの差分を求め、第2手段にフィードバックする第3手段を備えていてもよい。
【0016】
また、拡散係数ρと対流係数βは、それぞれグローバル係数マップであってもよく、ローカル係数マップであってもよい。
【0017】
また、拡散係数ρと対流係数βをテストサンプルのノイズの状況によってグローバル係数マップとローカル係数マップのいずれかに選択可能であってもよい。
【発明の効果】
【0018】
本発明の磁気共鳴電気特性トモグラフィにより、ノイズロバスト性に優れ、汎化性に優れる磁気共鳴電気特性トモグラフィを提供することができる。具体的には、テストサンプルがトレーニングサンプルから逸脱するケースやノイズの多い環境でも、導電率マップを高精度で再構成することができる。
【図面の簡単な説明】
【0019】
図1】本発明の磁気共鳴電気特性トモグラフィ、すなわち物理結合型ニューラルネットワーク電気特性トモグラフィ(PCNN-EPT)の構成を示す図である。
図2】(a)は、人工不規則形状(AIG)データセット、(b)は、デジタル人体頭部(DHH)データセット、(c)は、DHHデータセットに一部変更を加えたテストサンプルのデータセットを示す図である。
図3】(a)は、AIGを有する円筒形サンプルにバードケージコイルを載せたファントムであり、(b)は、DHHにバードケージコイルを載せたファントムである。
図4】汎化実験1~3において、非学習型数値解析モデル(std-EPT、cr-EPT)、物理非結合型である直接学習モデル(NN-EPT)および本発明に係る物理結合型学習モデル(PCNN-global-EPT、PCNN-local-EPT)によりそれぞれ再構成された導電率マップを示す図である。
図5】汎化実験1~3に対応する5種類の実験(a)~(e)おいて、図4の6列目におけるPCNN-local-EPTで生成されたローカル係数マップ、正規化されたローカル係数マップおよびラインプロファイルを示す図である。
図6】汎化実験1~3に対応する5種類の実験(a)~(e)おいてケース(1)~(9)のモデルによりそれぞれ再構成された導電率マップのSSIM値の平均および標準偏差を示すグラフである。
図7】汎化実験1~3においてノイズロバスト性を検討するために、各種サンプルの信号対雑音比(SNR)を200から0まで減少させながら、各モデルにより再構成された導電率マップのSSIM値の平均および標準偏差を示すグラフである。
図8】AIGデータセットのトレーニングサンプル#10の導電性マップを4つのSNRレベル(SNR=∞,150,100,50)で、各モデルにより再構成された導電率マップを示す図である。
図9】1行目は、AIGデータセットのトレーニングサンプル#4の導電率マップを境界部と非境界部に分割生成した図であり、2行目は、対角線上にある3つの円形構造とその境界部、非境界部についてPCNN-local-EPTによりローカル拡散係数マップを分割生成した図であり、3行目は、同じくローカル対流係数マップを分割生成した図である。
図10】(a)は、テストサンプルの境界部と非境界部の導電率値に対する拡散係数の平均値の分布を比較したグラフ、(b)は、同じく対流係数の平均値の分布を比較したグラフである。また、(c)は、テストサンプルの境界部と非境界部の導電率値に対する拡散係数の値の集計結果を比較したグラフ、(d)は、同じく対流係数の値の集計結果を比較したグラフである。
図11】1行目はDHHデータセット、2行目はAIGデータセットにより学習したファントムスキャンの再構成結果を比較した図である。
図12】(a)~(e)は、汎化実験1~3において、様々な外側境界設定(OBS)条件での再構成された導電率マップのSSIM値の平均と標準偏差を示すグラフである。
図13】(a)~(e)は、汎化実験1~3において、ブラックボックスNN-EPTの学習時の損失関数としてMSEとSSIMのいずれかを用いて、入力としてφtrを用いた場合と、∇φtr、∇φtr、φtrを用いた場合に再構成された導電率マップのSSIM値の平均と標準偏差を示すグラフである。
図14】(a)は、PCNN-local-EPT、(b)は、PCNN-global-EPT、(c)は、NN-EPT、(d)は、PCNN-local-EPTの学習時における損失曲線を示すグラフである。なお、(d)は、PCNN-local-EPTの学習において、損失曲線が局所的な極小値にはまること(破線参照)を回避し、損失曲線を減少させる学習率低下メカニズムの作動(実線参照)を示している。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態について図面を参照しつつ説明する。ただし、本発明は多くの異なる形態による実施することが可能であり、以下に示す実施形態や実施例の例示に限定されるものではない。
【0021】
本実施形態における磁気共鳴電気特性トモグラフィは、図1に示されるように、拡散係数ρと対流係数βとを安定化係数として追加した波動物理による物理モデルを用いて導電率マップを再構成する第1手段としての安定化cr-EPTと、拡散係数ρと対流係数βとを物理モデルのパラメータを利用したデータ駆動型の機械学習モデルにより学習する第2手段としての係数生成NNs(ニューラルネットワーク)と、を備えている、いわゆる物理結合型ニューラルネットワーク電気特性トモグラフィ(PCNN-EPT)であり、ノイズロバスト性に優れ、汎化性に優れる磁気共鳴電気特性トモグラフィを提供することができる。
【0022】
また、本実施形態におけるPCNN-EPTは、係数生成NNsから生成された拡散係数ρと対流係数βとが追加された安定化cr-EPTを用いて導電率マップを再構成し、この再構成された導電率マップとGround truth導電率マップとの差分に基づき係数生成NNsにフィードバックすることにより、係数生成NNsが拡散係数ρと対流係数βを最適化するように学習し、テストサンプルがトレーニングサンプルから逸脱するケースやノイズの多い環境でも、アーティファクトを低減して導電率マップを高精度で再構成することができる。すなわち、PCNN-EPTが複雑な形状のヒト組織や未知のサンプルに対する拡散係数ρと対流係数βのGround truthを知らない状態であっても、係数生成NNsから最適化された拡散係数ρと対流係数βを生成することが可能となっている。
【0023】
また、本実施形態におけるPCNN-EPTは、安定化cr-EPTにより再構成された導電率マップとGround truth導電率マップとの差分(再構成誤差)としての構造類似性指標測定(SSIM)に基づき損失関数を計算し、誤差逆伝播法によるフィードバックを行う第3手段を備えており、当該フィードバックにより係数生成NNsを構成するデータ駆動型の機械学習モデルとしての2つのNN(U-net)が更新される。なお、拡散係数ρと対流係数βは、係数生成NNsを構成する2つのNNからそれぞれ別に生成される。
【0024】
また、安定化cr-EPTに追加される拡散係数ρと対流係数βには、テストサンプルのノイズの状況によって、グローバル係数マップとローカル係数マップの最適な組み合わせが存在する。そのため、係数生成NNsは、テストサンプルのノイズの状況によって、生成される拡散係数ρと対流係数βをグローバル係数マップとローカル係数マップのいずれかに選択可能となっている。図1は、係数生成NNsから生成される拡散係数ρと対流係数βがそれぞれローカル係数マップである場合を示している。
【0025】
なお、「グローバル係数マップ」とは、拡散係数ρと対流係数βとがROIにおいてグローバル(全体)に適用されるスカラーであり、言い換えれば単一値係数である。また、「ローカル係数マップ」とは、拡散係数ρ、対流係数βがROIにおける画素単位でローカルに適用される行列である。
【0026】
以下、本実施形態におけるPCNN-EPTについて詳しく説明する。
【0027】
(安定化cr-EPTの構築)
まず、PCNN-EPTに使用される安定化cr-EPTの構築について説明する。位相ベースの磁気共鳴電気特性トモグラフィ(MREPT)は、MRIスキャン時間の短縮により、高速なモデルである。下記式(1)に示すように、最も単純な形式は、標準的なEPTの定式化(std-EPT)に対応し、ROIの均一な導電率(∇γ=0)を仮定する。さらに、送信位相と受信位相が類似し、送信位相が送受信位相の半分として近似できることを仮定する。この仮定は、「半位相仮定」として知られており、3テスラ以下の条件では、この仮定の影響はあまり大きくない。
【0028】
【数1】
【0029】
ここで、上記式(1)におけるφtrは送受信位相の仮定を用いたB フィールドからの送信位相(正規化送信位相)、ωはラーモア周波数、γは導電率σの逆数(γ=1/σ)、μは真空の透磁率である。なお、導電率の均一性の仮定により、上記式(1)により再構成された導電率マップには境界アーティファクトが発生する。このような境界アーティファクトは、導電率マップの空間的変化を未知数として解くことで減衰させることができる。
【0030】
【数2】
【0031】
上記式(2)に示す対流反応偏微分方程式(cr-EPT)の定式化は、Maxwell方程式から派生した手法である。cr-EPTは、導電率の均一性の仮定を取り除いているが、ROIに対する離散化に伴う数値不安定性のために解に数値アーティファクトが発生する。cr-EPTは、数値アーティファクトを減らすために拡散項(ρ∇γ)で補完することができ、発明者らは、より正確なコントラストを生成するために、拡散項と協調する対流係数βを対流項に追加することを提案する。これにより、PCNN-EPTに使用される下記式(3)に示す安定化cr-EPTが導かれる。
【0032】
【数3】
【0033】
(PCNN-EPTのフロー)
次に、PCNN-EPTのフローについて説明する。図1に示されるように、PCNN-EPTにおける物理モデルの定式化は、上記式(3)に示す位相ベースの解析モデルである安定化cr-EPTに基づくものである。PCNN-EPTの入力には、物理モデルのパラメータとしての正規化送信位相(φtr)、その勾配(∇φtr)、およびそのラプラシアン(∇φtr)が含まれる。また、PCNN-EPTは、安定化cr-EPTと係数生成NNsの主に2つから構成される。
【0034】
係数生成NNsは、2ストリームNN構造であり、個別のNNが安定化係数である拡散係数ρと対流係数βのいずれかを生成する。生成された拡散係数ρと対流係数βは、安定化cr-EPTに渡され、出力として導電率マップが計算される。再構成(予測)された導電率マップは、Ground truth導電率マップと比較され、SSIMに基づき損失関数が計算され、誤差逆伝播法によるフィードバック(図1の破線矢印を参照)が行われることで、2つの個別のNNが持つパラメータが更新される。
【0035】
詳しくは、本実施形態における係数生成NNsは、MREPT研究領域では未知である拡散係数ρと対流係数βのGround truthを明示せずに、その入力と導電率マップの差分(再構成誤差)から最適化された安定化係数(拡散係数ρと対流係数β)を生成することを学習する。なお、係数生成NNsを構成するU-netは、セマンティックセグメンテーション用の一般的なモデルであるため詳細な説明を省略する。
【0036】
NNの出力は、各種設定により最適化されてよく、例えば安定化係数が上記式(3)の安定化cr-EPTを圧倒しないように、出力においてシグモイド活性化関数によって境界を決める。具体的には、拡散項(粘性項)が近隣画素の値の結合を強くし過ぎて、空間的変動を全て減衰させる可能性があるため、拡散係数ρは1×10-6~0.1に値を限定される。拡散係数ρの最大値は、グリッド検索により、サンプルに数値アーティファクトが発生しないグローバル値を選択し、その後、NNの自由度を高めるためにグローバル値を2倍にする。拡散係数ρの最小値は、拡散係数ρが下記式(4)から削除されるのを防ぐために、ゼロ以外の値である。一方、対流項が学習中に再構成を追い越し、定式化が影を潜めることを避けるため、対流係数βは0.01~5に値を限定される。対流係数βの最大値は、グローバル対流係数値の2倍にしたがって限定してNNの自由度を高め、対流係数βの最小値は、NNが下記式(4)から対流項を削除して極小値にはまるのを防ぐために選択される。なお、下記式(4)は、i回目の反復における最適化の定式化を示している。
【0037】
【数4】
【0038】
ここで、ρθiとβθiは、パラメータ空間(θ)に属するNNパラメータθが与えられたときのi回目の反復における拡散係数ρと対流係数βである。Lは、下記式(6)のSSIMを用いて(5)で定義される損失関数である。^σ(ρθi-1,βθi-1)は、前の反復で予測された導電率である。σは、Ground truthの導電率である。上記式(4)において、^σ(ρθi-1,βθi-1)は、損失関数Lを通してσと比較される。NNパラメータθは、最初の学習反復において、学習率0.001、運動量0.9のRMSprop最適化アルゴリズムにより、損失関数Lを勾配にしたがって最小化するように最適化される。
【0039】
【数5】
【0040】
【数6】
【0041】
ここで、σと^σは、それぞれGround truthの導電率と再構成された導電率である。μは、画素の集合パッチの平均値である。SDは、同じパッチの標準偏差である。cとcは前置係数である。SSIMは、上記式(3)によって再構成された導電率に現れる非常に局所的なアーティファクトを克服するために、損失関数を構築する様々な選択肢から選択される。これは、上記式(6)におけるμとSDの計算が領域、すなわち複数の画素のパッチで行われるため、局所的なアーティファクトの影響を軽減することができる。仮に、平均二乗誤差(MSE)のような画素単位の誤差尺度を用いた場合、これらの局所的なアーティファクトによって学習が偏り、高い拡散値(ρ≒0.1)となり、全体の空間変動が減少して非常に低いコントラストで導電率マップが再構成されることになる。
【実施例0042】
磁気共鳴電気特性トモグラフィに係る各モデルに対して2つの模擬データセットを用いて、テストサンプルがトレーニングサンプルから徐々に逸脱する3つの汎化実験と、ノイズロバスト性実験を行った。
【0043】
各実験において、物理結合型学習モデルであるPCNN-EPTについて、安定化係数がROIにおいて画素単位でローカルに適用される行列であるローカル係数マップとして生成されるPCNN-local-EPT(図1参照)と、安定化係数がROIにおいてグローバルに適用されるスカラーであるPCNN-global-EPTとの比較を行った。なお、PCNN-global-EPTおいて、係数生成NNsからグローバル係数マップを生成するためには、2つの並列2層完全接続アーキテクチャが使用される。詳しくは、第1層では、入力は位相画像サイズの平方根に圧縮され、第2層では、さらにスカラー出力に圧縮される。
【0044】
また、上記2つのPCNN-EPTに加えて、非学習型数値解析モデルであるstd-EPTとcr-EPT、物理非結合型である直接学習モデルであるNN-EPTについても比較を行った。なお、NN-EPTのNNの損失関数は、平均二乗誤差(MSE)に基づいている。これは、NN-EPTは、エンドツーエンド手法における局所的なアーティファクトが存在しないため、SSIMよりもMSEから多くの恩恵を受けることができるためである(図13参照)。
【0045】
なお、PCNN-EPTに使用される安定化cr-EPTは、上記式(3)の定式化に基づき、係数生成NNsの出力である安定化係数(ローカル係数マップまたはグローバル係数マップ)が入力され、出力として導電率マップを生成する。なお、本実施例においてPCNN-EPTは、計算コストを削減するため2次元再構成に焦点を当てているが、3次元再構成への拡張も可能である。また、空間分解能は、x,y,z方向で2mmである。ROIの各点の中心差分を取り、有限差分法を使用してメッシュを作成し、上記式(3)の定式化を解く。詳しくは、離散化後の位相安定化cr-EPTの定式化は、下記式(7)のようになる。ここで、iとjは、それぞれx方向とy方向の画素のインデックス番号であり、φtr導関数は、2次項式Savistky-Golayフィルタを用いて計算される。下記式(7)の離散化により、ROIに対して一群の線形方程式が得られ、σi,jが未知の配列xにあるAx=b系を形成することができる。
【0046】
【数7】
【0047】
ここで、各実験に使用される模擬データセットについて説明する。EPTアルゴリズム/ネットワークφtr、∇φtr、∇φtrの入力は、異なるファントムのシミュレーションB に基づいて準備する。シミュレーションB データセットは、Sim4Life(ZMT AG,チューリッヒ)により生成する。作成したファントム(図3参照)について、送信コイルは、直径50cmのシールドによりシールドされたハイパス16ラングのバードケージコイルであり、内径は頭部撮影用に28cmとする。バードケージコイルは、幾何学的に90°離れた2つのポートで励起し、127.78MHzの高調波励起、ポート間で90°位相シフトして直交モードとする。再構成のための特定のスライスに関連する複雑なB フィールドが抽出され、送受信位相φtrと対応する導関数がモデルの入力として使用する。データ駆動型モデルに必要なトレーニングサンプルを作成するために、コイルに異なるファントム(図3(a),(b)参照)を搭載し、さらに、z方向に沿ったセンタースライドでの複雑なB フィールドが選択された。これにより、エンドリング効果が低減され、δBzの値が抑制されるため、δBz≒0と仮定できる。
【0048】
(トレーニングデータセット)
本実施例では、数値シミュレーションされたファントムの2種類のトレーニングデータセットが作成される。1つは、図2(a)に示す2次元の人工不規則形状(AIG)データセットであり、もう1つは、図2(b)に示すthe virtual population3.0から生成したデジタル人体頭部(DHH)データセットである。
【0049】
AIGデータセットは、直径16cm、長さ24cmの円筒状のメイン構造に様々な前景が埋め込まれた計30サンプルで構成される。円筒の長さは、端部効果を抑えるために設定する。構造体のサイズと導電率(0.1~2.5S/m)は様々である。このAIGデータセットは、主要な構造だけでなく、導電率の値も異なるサンプルを提示し、再構成モデルに多様な情報を提供するために作成される。
【0050】
DHHデータセットは、導電率の変化が±40%の15種類のサンプルから計30サンプルで構成される。15種類のサンプルは、8人の男性デジタルモデル(「Duke」)と7人の女性モデル(「Ella」)に対応している。各モデルから、ROIからの2つの連続スライスが選択され、計30サンプル(#31~46は「Duke」、#47~60は「Ella」)が再構成される。男性モデルと女性モデルの高さは異なるが、ROIは一定の高さに設定されているため、男性モデルと女性モデルでフォーカスされる解剖学的構造が異なる。このDHHデータセットは、臨床現場と同様の解剖学的構造と複雑な境界を持つサンプルを提示するために作成される。
【0051】
(変更を加えたテストデータセット)
本実施例で使用されるテストデータセットは、DHHデータセットのサンプルの一部にバリエーションを追加したものであり、回転(左右15°以内)や病理組織を模した塊の追加などの変更を加えた計16サンプルで構成される。なお、病理組織を模した塊とは、ROI内の脳のランダムな位置に直径0.8~2.4cmの球体を配置し、脳腫瘍を模して白質の導電率を60~120%に増加させたものである。これらの変更を加えたサンプルは、臨床診療で現れる可能性のあるバリエーションを提示するために作成される。
【0052】
(汎化実験)
PCNN-EPTの汎化性を調べるために、汎化実験1~3を行う。テストサンプルは、トレーニングサンプルからの偏差が3段階で設計されており、汎化実験1の偏差が最も小さく、汎化実験2、汎化実験3の順に偏差が大きくなっている。
【0053】
汎化実験1では、図2(a)のAIGデータセットと、図2(b)のDHHデータセットを5分割交差検証法で分割する。この5分割交差検証では、「leave-one-group-out」に基づくトレーニングとテストの分割、すなわちテスト用に1グループ、トレーニング用に4グループを適用する。したがって、各データセットに対して、5つのトレーニングスキーム(各テストグループに対して1つ)が実行された。5つのテストグループの再構成精度の平均値は、データセットに対するモデルの性能をまとめたものである。
【0054】
汎化実験2では、汎化実験1の図2(b)のDHHデータセットのトレーニンググループを用いたモデルに、図2(c)に示すように、DHHデータセットに回転や病理組織の追加などの変更を加えた16個のテストサンプルを用いてテストを行った。
【0055】
汎化実験3では、データセットの汎化、すなわち、提示されたテストサンプルがトレーニング時に用いたサンプルとは全く異なるという、データ駆動型のPCNN-EPTやNN-EPTにとって困難な2つのケースにおける応答について検討する。詳しくは、汎化実験3(A)では、汎化実験1のトレーニンググループと、図2(b)のDHHデータセットでトレーニングしたモデルを、汎化実験1の対応するテストグループでテストを行った。また、汎化実験3(B)では、図2(b)のAIGデータセットからのトレーニンググループを用いてトレーニングされたモデルを、図2(c)のDHHデータセットに変更を加えたテストサンプルでテストを行った。
【0056】
(ノイズロバスト性実験)
PCNN-EPTのノイズロバスト性を調べるために、ノイズロバスト性実験を行った。上述した汎化実験でトレーニングしたモデルを用いて、更なるトレーニングを行わずに評価するために、各実験からその対応するテストサンプルにノイズを加えることで、ノイズロバスト性のテストを行った。詳しくは、送受信位相(φtr)は、加法性ゼロ平均ガウス分布ノイズで汚染され、追加されたノイズは、二重角度B 検索法によって生成されたB 等級画像のノイズをシミュレートすることによって計算される。したがって、ノイズの標準偏差(SD)SDφtrと等級画像の信号対雑音比(SNR)の関係は、下記式(8)のように表される。
【0057】
【数8】
【0058】
なお、ノイズレベルは、臨床用MRI装置の範囲に設定し、ノイズの多い送受信位相(φtr)と、その微分をモデルの入力として使用する。また、ノイズ爆発を避けるために、数値微分の前に標準偏差1のローパスガウシアンフィルタを前処理として適用する。この処理は、ノイズの多いサンプルがテストされたときに、比較対象の全てのモデルに等しく適用される。
【0059】
(ローカル係数マップの検討)
PCNN-EPTにおいて生成される安定化係数である拡散係数マップと対流係数マップの両方は、特に組織境界領域付近で非常に重要である。PCNN-EPTにおいて生成された係数マップの変動を分析するために、係数マップを導電率マップの境界部と非境界部によって分類する。導電率境界部は、x方向とy方向の導電率の勾配値の和を計算し、各テストサンプルの境界の導電率差分、すなわち境界部を構成する2つの導電率の差分の絶対値に勾配値を合わせることで決定される。
【0060】
なお、境界付近の勾配値はガウス分布としてモデル化し、係数マップの境界前後の変動を捉えるために、平均値±1標準偏差の範囲内の領域を境界部と定義する。導電率非境界部は、各テストサンプルを導電率値に応じて分離し、先に定義した導電率境界部を削除して決定する。導電率マップの境界部と非境界部を利用して、各係数マップを境界の係数マップと非境界の係数マップの2つに分割する。
【0061】
(ファントムスキャン)
ファントムスキャンには、Magphan(登録商標)SMR-170MRIファントムを使用する。背景は生理食塩水(2.5g/L NaCl、推定伝導率0.5S/m)、前景は生理食塩水(10g/L NaCl、推定伝導率2.0S/m)で充填される。測定は、湖北省癌病院に設置された3T「Skyra」MRスキャナ(Siemens、Erlangen、Germany)で、標準直交ボディコイルを使用して行う。送受信位相の測定には、多重勾配エコー(m-GRE)シーケンスが適用される。撮影パラメータは、TR=84ms、ファーストエコー時間(TE)=1.91ms、ΔTE=2.67ms、フリップ角=15°、エコー数=6である。また、スキャン解像度は、1.06×1.06×2mmである。また、エコー時間におけるラップされていない位相マップは、テンポラルフィッティングを適用して送受信位相にフィッティングし、下記式(9)のようにTE=0における位相測定値を得る。これは、導電率の再構成に使用される。ここで、rは位相、TEはエコー時間、Bは一定の均一な磁場、BはBを横切る磁場である。
【0062】
【数9】
【0063】
また、位相マップは、導電率の再構成のために、上述したノイズロバスト性実験で説明したようにフィルタリング処理される。具体的には、背景と前景の間に存在する厚さ3mmの壁により、背景と前景の間の画素の信号がヌル(空白)になっており、これが再構成にアーティファクトを発生させることから、フィルタリング処理により、このヌル信号の画素を平滑化している。
【0064】
図4には、汎化実験1~3において、非学習型数値解析モデル(std-EPT、cr-EPT)、物理非結合型である直接学習モデル(NN-EPT)および物理結合型学習モデル(PCNN-global-EPT、PCNN-local-EPT)によりそれぞれ再構成された導電率マップと、再構成された導電率マップのSSIM値が一緒に示されている。また、図5には、PCNN-local-EPTで生成されたローカル係数マップと、正規化されたローカル係数マップおよびラインプロファイルが示されている。
【0065】
なお、図4の1列目は、Ground truth導電率マップである。図4の2~6列目は、汎化実験1~3においてstd-EPT、cr-EPT、NN-EPT、PCNN-global-EPTおよびPCNN-local-EPTによりそれぞれ再構成された導電率マップである。図5の7,8列目(図中の番号を参照)は、図4の6列目のPCNN-local-EPTで用いられるローカル拡散係数マップおよびローカル対流係数マップであり、各画素には、学習した拡散係数ρまたは対流係数βが存在する。図5の9~12列目は、正規化されたローカル拡散係数マップおよびローカル対流係数マップとそれぞれのラインプロファイルである。
【0066】
詳しくは、図5の7,8列目に示されるローカル拡散係数マップおよびローカル対流係数マップについては、その視認性を高めるために、それぞれ最大値0.1と1に正規化したものが図5の9,11列目に示されている。図5の10,12列目に示されるローカル拡散係数マップおよびローカル対流係数マップのラインプロファイルには、背景の正規化されたGround truth導電率マップのラインプロファイル(破線参照)が一緒に示されている。なお、ローカル拡散係数マップのラインプロファイルを5倍にすることにより、その空間的なシフトを可視化している。
【0067】
また、図4,5の1行目と2行目には、5分割交差検証法による汎化実験1において再構成された導電率マップが示されており、1行目は、図2(a)に示されるAIGデータセットからのサンプル#26、2行目は、図2(b)に示されるDHHデータセットからのサンプル#33をテストサンプルとした場合の結果である。3行目には、汎化実験2において再構成された導電率マップが示されており、図2(c)に示されるDHHデータセットに変更を加えたサンプル#75をテストサンプルとした場合の結果である。4,5行目には、テストデータとトレーニングデータが全く異なる最も難易度の高い汎化実験3において再構成された導電率マップが示されており、汎化実験3(A)に関する4行目は、図2(a)に示されるAIGデータセットからのサンプル#26、汎化実験3(B)に関する5行目は、図2(c)に示されるDHHデータセットに変更を加えたサンプル#75をテストサンプルとした場合の結果である。
【0068】
また、図4の6行目は、3行目で追加された最大の付加組織の質量中心におけるラインプロファイルと、それに対応するGround truthとの相関係数(CC)を示している。
【0069】
図6(a)~(e)は、図4の1~5行目に示される汎化実験について、それぞれ異なるケース、すなわちケース(1)std-EPT、ケース(2)cr-EPT、ケース(3)NN-EPT、ケース(4)PCNN-global-EPT、ケース(5)PCNN-local-EPTを使用した場合の再構成精度の平均値と標準偏差を示している。さらに、グローバル係数マップとローカル係数マップの役割を検討するためにケース(6)~(9)についても汎化実験を行った。ケース(6)とケース(7)は、それぞれPCNN-global-EPTとPCNN-local-EPTについて、拡散係数ρのみを学習し、対流係数βを1(固定のグローバル係数マップ)とした場合、ケース(8)は、グローバル拡散係数マップとローカル対流係数マップを組み合わせて学習した場合、ケース(9)は、ローカル拡散係数マップとグローバル対流係数マップを組み合わせて学習した場合の再構成精度の平均値と標準偏差を示している。
【0070】
汎化実験における再構成結果について、より詳しく説明する。以下、説明において図X(i,j)とは、図Xにおけるi行j列を参照するという意味である。
【0071】
(汎化実験1)
図4(1,1~6)は、AIGデータセットからのテストサンプル#26を、図4(2,1~6)はDHHデータセットからのテストサンプル#33をそれぞれ再構成した結果を示している。学習法(学習モデル)によって再構成された4~6列目の導電率マップは、非学習法(解析モデル)によって再構成された2~3列目の導電率マップと比較して、アーティファクトが著しく抑制されていることが確認できる。また、5列目と6列目を比較すると、PCNN-global-EPT(図4(1~2,5))は、PCNN-local-EPT(図4(1~2,6))よりも再構成精度が低いことが確認できる。さらに、4列目と6列目を比較すると、1行目に示したAIGデータセットからのテストサンプル#26については、PCNN-local-EPT(図4(1,6))は、NN-EPT(図4(1,4))より高い再構成精度を示しているが、一方で幾何学的なばらつきが少ないDHHデータセットからのテストサンプル#33については、PCNN-local-EPT(図4(2,6))は、NN-EPT(図4(2,4))よりも低い再構成精度を示している。なお、10列目と12列目のローカル拡散流係数マップとローカル対流係数マップのラインプロファイルをそれぞれ見ると、境界に対応するばらつきがあることが確認できる。
【0072】
図6(a),(b)は、それぞれAIGデータセットとDHHデータセットに対する5分割交差検証法による汎化実験1のSSIM値、すなわち再構成精度の平均値と標準偏差である。図6(a),(b)において、ケース(1)~(5)を比較すると、学習法(ケース(3)~(5))は非学習法(ケース(1)~(2))よりも高い再構成精度であることが確認できる。また、図6(a),(b)に示されるように、図2(a)の多様性の高いAIGデータセットから図2(b)の多様性の低いDHHデータセットにサンプルを変更すると、PCNN-global-EPT(ケース(4))、PCNN-local-EPT(ケース(5))ともに再構成精度が低くなっていることが確認できる。
【0073】
また、図6(a),(b)のいずれにおいても、汎化実験1ではテストサンプルがトレーニングサンプルと乖離していないため、学習法の中ではNN-EPT(ケース(3))が最も高い再構成精度を示すことが確認できる。
【0074】
また、図6(a),(b)のいずれにおいても、ケース(6),(7)とケース(4),(5)の結果を比較すると、拡散係数ρのみをグローバル拡散係数マップまたはローカル拡散係数マップとして学習し、対流係数βが1(固定のグローバル係数マップ)であれば、再構成精度がほとんど低下しないことが確認できる。さらに、拡散係数ρと対流係数βの両方の係数をグローバル係数マップとして学習したケース(4)、一方の係数をグローバル係数マップとして学習したケース(8),(9)、両方の係数をローカル係数マップとして学習したケース(5)の結果を比較すると、拡散係数ρと対流係数βの少なくともいずれかをローカル係数マップとして学習したケースが高い再構成精度につながり、これら中でも両方の係数をローカル係数マップ学習したケース(5)の再構成精度が最も高くなることが確認できる。
【0075】
(汎化実験2)
汎化実験2で使用されるテストサンプル#75は、DHHデータセットのサンプルに回転と脳腫瘍を模した球状の組織(図4(3,1)における囲み部分)を追加する変更を加えたサンプルであり、汎化実験1よりも再構成が困難なものである。図4(6,2~6)のラインプロファイルに示されるように、非学習法(図4(6,2~3))はいずれも波状のアーティファクトが見られるが、学習法(図4(6,4~6))はいずれも波状のアーティファクトの発生が抑えられていることが確認できる。学習法のうち、図4(6,5)のPCNN-global-EPTのラインプロファイルは、Ground truth導電率マップのラインプロファイル(破線参照)よりも波形が小さく、図4(3,5)に示されるように、再構成時に導電率2.14S/mの脳脊髄液(CSF)組織のコントラストを十分に出すことができない。
【0076】
また、図4(6,4)のNN-EPTのラインプロファイルは、ラインプロファイルの開始付近でコントラストが過大評価され、追加された脳腫瘍を模した球状の組織が再構成された導電率の傾きで示されるように、追加した質量に対して不安定なラインプロファイルを示すことが確認できる。一方で、図4(3,6)および図4(6,6)のPCNN-local-EPTによる結果は、CSF組織のコントラストがわずかに過大評価される程度であり、追加された脳腫瘍を模した球状の組織のコントラストが適切に再構成されていることを示している。また、図4(6,6)および図4(3,10)の導電率マップおよびローカル拡散係数マップのプロファイルに示される矢印は、ローカル拡散係数マップが追加された脳腫瘍を模した球状の組織の境界付近で値を大きくし、周囲の白質組織への移行を滑らかにすることで、追加された脳腫瘍を模した球状の組織に適応して再構成が行われていることが確認できる。
【0077】
図6(c)に示されるように、ケース(1)~(5)は、図6(b)と同様の傾向であるが、大きな違いとしてNN-EPT(ケース(3))とPCNN-local-EPT(ケース(5))の再構成精度がそれぞれ低下しており、特にNN-EPTの再構成精度の低下が大きいため、NN-EPTとPCNN-local-EPTの再構成精度が略一致している。また、PCNN-global-EPTでグローバル拡散係数マップを用いた場合、ケース(4),(6)を比較しても対流係数βを1としたことによる影響は小さく、再構成精度の差は無視できる程度であるが、ローカル拡散係数マップを用いた場合、ケース(5),(7)を比較すると、対流係数βを1としたことによりケース(7)の再構成精度が低下しており、導電率マップの再構成には拡散係数ρと対流係数βのいずれかが固定値では不十分であり、両方が学習されることの重要性が確認できる。さらに、ケース(8),(9)とケース(4),(5)を比較すると、再構成精度を高めるために、特に拡散係数ρがローカル拡散係数マップとして学習されることの重要性が確認できる。
【0078】
(汎化実験3)
汎化実験3は、テストサンプルがトレーニングサンプルから最も乖離しており、導電率マップの再構成のために、より高い汎化性が必要となることから、3つの汎化実験の中で再構成が最も困難である。汎化実験3(A)に相当する図4(4,1~6)は、図4(1,1~6)に示した5分割交差検証法実験で使用したものと同じテストサンプル#26を使用した結果であり、図4の1行目と4行目を直接比較することにより、テストサンプルとトレーニングサンプルの類似性が再構成に与える影響を確認することができる。PCNN-local-EPT(図4(4,6))では、汎化実験1における図4(1,6)と同等の高精度で再構成されることが確認できる。一方、NN-EPT(図4(4,4))の再構成では、汎化実験1(図4(1,4))では現れない予想外のアーティファクトが顕著に現れていることが確認できる。
【0079】
なお、図4(4,3)と図4(4,5)を比較すると、PCNN-global-EPT(図4(4,5))の再構成は、係数生成NNsから生成されたグローバル拡散係数マップの値が低い(ρG≒0)ため、cr-EPT(図4(4,3))と同様のアーティファクトを示している。
【0080】
汎化実験3(B)に相当する図4(5,1~6)は、図4(3,1~6)に示した汎化実験2と同じテストサンプル#75を使用した結果であり、図4の3行目と5行目を直接比較すると、非学習法、学習法を問わずSSIM値が略同一であることが確認できる。PCNN-local-EPT(図4(5,6))の再構成は、図4(3,6)と比較してSSIM値が0.08減少していることが確認できる。また、のNN-EPT(図4(5,4))の再構成は、図4(3,4)と比較してSSIM値が0.01減少していることが確認できる。
【0081】
図6(d)に示されるように、汎化試験3(A)においては、学習法であるケース(3)~(5)のうち、NN-EPT(ケース(3))による再構成精度はさらに低下し、PCNN-global-EPT(ケース(4))と同程度となり、PCNN-local-EPT(ケース(5))よりも低くなることが確認できる。また、PCNN-global-EPTでグローバル拡散係数マップを用いた場合、ケース(4),(6)を比較しても対流係数βを1としたことによる影響は小さく、再構成精度は同程度である。また、PCNN-local-EPTでローカル拡散係数マップを用いた場合、ケース(5),(7)を比較しても対流係数βを1としたことによる影響は小さく、再構成精度は同程度である。さらに、ケース(8),(9)とケース(4),(5)を比較すると、拡散係数ρと対流係数βの両方をローカル係数マップとして学習したケース(5)が最も高いSSIM値を示し、両方をグローバル係数マップとして学習したケース(4)が最も低いSSIM値を示していることから、再構成精度を高めるために、拡散係数ρと対流係数βの両方をローカル係数マップとして協調させることの重要性が確認できる。
【0082】
また、図6(e)に示されるように、汎化実験3(B)においては、学習法であるケース(3)~(5)のうち、NN-EPT(ケース(3))の再構成の精度は、図6(c)の結果と比較してSSIM値が0.08減少している。PCNN-global-EPTおよびPCNN-local-EPTは、ケース(4)~(9)まで、再構成精度が大きく低下するため、NN-EPT(ケース(3))の再構成精度に遅れをとるが、非学習法であるケース(1),(2)よりも再構成精度は高いことが確認できる。また、ケース(6),(7)とケース(4),(5)を比較すると、再構成精度は同程度であるが、対流係数を1に設定し、拡散係数ρをローカル拡散係数マップとして学習したケース(7)が最も高い再構成精度となることを確認した。さらに、ケース(4),(5)とケース(8),(9)を比較すると、拡散係数ρと対流係数βのいずれかをグローバル係数マップとして学習した場合、ローカル拡散係数マップを学習した場合と同程度の再構成精度を示し、相対的な再構成精度が向上していることが確認できる。すなわち、PCNN-local-EPTは、汎化実験1~3に亘って再構成された導電率マップのコントラストを維持することが唯一のモデルである。
【0083】
(ノイズロバスト性実験)
図8は、ノイズロバスト性実験において、上述した汎化実験1のAIGデータセットからテストサンプル#10の導電率マップを4つのSNRレベル(SNR=∞,150,100,50)で再構成したものであり、非学習型数値解析モデル(std-EPT、cr-EPT)、物理非結合型である直接学習モデル(NN-EPT)および物理結合型学習モデル(PCNN-global-EPT、PCNN-local-EPT)によりそれぞれ再構成された導電率マップと、再構成された導電率マップのSSIM値が一緒に示されている。
【0084】
なお、2列目のstd-EPTによる再構成では、ノイズなし(SNR=∞)でも境界アーティファクトが特徴的であることが確認できる。3列目のcr-EPTによる再構成では、ノイズなしでも数値アーティファクトが見られ、ノイズが増加すると、再構成はアーティファクトで埋め尽くされることが確認できる。4列目のNN-EPTによる再構成は、ノイズがない場合のNN-EPTの再構成精度の高さを示しているが、ノイズが増加すると、再構成はランダムなアーティファクトを示すことが確認できる。5列目のPCNN-global-EPTによる再構成では、再構成のコントラストが低く、SNRレベルに関係なくノイズロバスト性に優れる利点が確認できる。6列目のPCNN-local-EPTによる再構成は、ノイズなしでは高いコントラストを示しており、SNRがMRIスキャナの標準的なノイズレベル(SNR=100)に増加しても、再構成された導電率マップのSSIM値は0.39に保たれており、全モデルの中で最も高い再構成精度を示すことが確認できる。なお、PCNN-global-EPTによる再構成では、SNR=50にノイズレベルが増加すると、破壊的なアーティファクトが現れることが確認できる。
【0085】
図7は、汎化実験1~3の導電率マップのSSIMの平均値と標準偏差をSNR=200~0までの範囲でまとめたものである。図7(a),(b)は汎化実験1の結果、図7(c)は汎化実験2の結果、図7(d),(e)は汎化実験3(A),(B)の結果である。図7(a)に示されるように、多様な情報を有するAIGデータセットを用いた場合、学習法(NN-EPT、PCNN-global-EPT、PCNN-local-EPT)が非学習法(std-EPT、cr-EPT)よりノイズロバスト性に優れていることが確認できる。図7(b)に示されるように、より多様性の低いDHHデータセットを用いた場合、学習法が非学習法よりノイズロバスト性に優れる特性は維持される。しかしながら、PCNN-global-EPTの精度は、SNRが70より高い場合、他の2つ学習法(NN-EPT、PCNN-local-EPT)より再構成精度(SSIM値)が低くなるが、SNRが低下するにつれて再構成精度の低下が非常に小さくなるため、SNRが70以下になると他の2つの学習法よりも再構成精度が高くなる。
【0086】
また、図7(b)と汎化実験2に関する図7(c)の結果を比較すると、NN-EPTとPCNN-local-EPTの再構成精度は共に低下しているが、SNR=50までは、PCNN-local-EPTがNN-EPTに比べて高い再構成精度を示すことが確認できる。また、汎化実験3(A)に関する図7(d)のように、テストサンプルがトレーニングサンプルと大きく乖離する場合、PCNN-local-EPTは汎化実験2と同様の傾向を維持しており、優れたノイズロバスト性と、テストサンプルとトレーニングサンプルの多様性に対する汎化性が確認できる。
【0087】
また汎化実験3(A)に関する図7(d)と、汎化実験3(B)に関する図7(e)を比較すると、PCNN-local-EPTの再構成精度は、ノイズスペクトル全体で約0.1減少し、NN-EPTとPCNN-global-EPTは約0.1増加することにより、PCNN-local-EPTは、NN-EPTとPCNN-global-EPTよりも低い再構成精度となる。これは、主にノイズの影響を受けたPCNN-local-EPTにより生成される誤った係数に起因するものであり、アーティファクトを発生させ、再構成精度を低下させる。誤った係数に起因するアーティファクトは、図8の6列目に示されるPCNN-local-EPTにより再構成された導電率マップと、4,5列目に示されるNN-EPTとPCNN-global-EPTにより再構成された導電率マップを比較することにより確認できる。
【0088】
(拡散係数と対流係数の検討)
図9は、AIGデータセットのサンプル#4の導電率マップを境界部と非境界部に分割したもの(1行目)であり、対角線上にある3つの円形構造とその境界部、非境界部について、PCNN-local-EPTにより拡散係数ρ(2行目)と対流係数β(3行目)を生成したものを示している。図9に示されるように、導電率が等しい構造物であっても、その周囲により、異なる境界効果を扱う必要があるため、生成される係数が異なることが確認できる。
【0089】
図10は、テストサンプルの境界部と非境界部における係数の比較であり、図10(a)は拡散係数、図10(b)は、対流係数について境界部と非境界部の導電率値に対する係数の平均値の分布を示している。なお、境界部と非境界部の係数値を比較するために、線形近似を用いて境界部と非境界部の導電率値に対する拡散係数の平均値に対して、それぞれ2本の直線を適合させた。
【0090】
図10(a)では、どちらの適合線も導電率の増加とともに平均拡散係数値が減少しているが、非境界部の適合線(破線)の方がより鋭い傾きを示している。また、図10(b)の境界部の平均対流係数値は、境界部の適合線(実線)がほぼ平坦であるが、非境界部の適合線(破線)は、導電率の増加に伴い、わずかに係数の値が増加する。
【0091】
図10(c)は、境界部と非境界部の拡散係数の値を集計したものであり、境界部と非境界部の係数には大きな差があることが確認できる。また、図10(d)に示されるように、境界部の平均拡散係数値は、非境界部の平均拡散係数値よりも低くなっており、対流係数についても同様の傾向が確認できる。
【0092】
(ファントムスキャンの再構成)
図11は、ファントムスキャンの再構成の結果であり、1行目がDHHデータセットでの学習結果、2行目がAIGデータセットでの学習結果を示しており、詳しくは、1列目はGround truth、2列目はグローバル拡散係数ρ=0、グローバル対流係数β=0のstd-EPT、3列目はグローバル拡散係数ρ=0、グローバル対流係数β=1のcr-EPT、4列目はグローバル拡散係数ρ=1、グローバル対流係数β=1の安定化cr-EPTによる再構成結果を示している。5列目はNN-EPTによる再構成、6列目はPCNN-global-EPTによる再構成、7列目はPCNN-local-EPTによる再構成の結果を示している。8,9列目には、それぞれ7列目のPCNN-local-EPTにより生成されたローカル拡散係数マップとローカル対流係数マップが示されている。
【0093】
図11において、2,3列目のstd-EPTとcr-EPTの再構成では、1,2行目ともにそれぞれ典型的なアーティファクトを示し、4列目の安定化cr-EPTでさえ、非常に高い拡散係数値(ρ=1)では、前景と背景の仕切り壁における導電率転移に関連したアーティファクトが確認できる。これは、グローバル拡散係数の悪い影響によるものと推測される。5列目のNN-EPT再構成は、1,2行目ともに再構成精度が低く、6列目のPCNN-global-EPTは、4列目の安定化cr-EPTと同様に、1,2行目ともに中央のアーティファクトを示すが、トレーニングサンプルがAIGデータセットによって生成された2行目については、アーティファクトの面積が減少していることが確認できる。7列目のPCNN-local-EPTによる再構成が最良の再構成結果を示しているが、前景の導電率を過剰に推定しており、これはGround truthの構造を正確に特徴付ける唯一の方法であることを示している。
【0094】
このように、PCNN-EPT(PCNN-global-EPT、PCNN-local-EPT)には、図4の2,3列目の導電率マップの再構成結果に示すように、導出の仮定により境界アーティファクトが激しいstd-EPTと、固定係数など表現の柔軟性に欠けるcr-EPTに由来する定式化が含まれるものの、データによる最適化が必要な2つの多次元可変係数、すなわち安定化係数(拡散係数ρと対流係数β)を導入することで、かなりの柔軟性を得ることができる。これは、図4(5,6)と図4(2,3)を比較することにより明らかである。
【0095】
さらに、係数生成NNsによる2つの安定化係数の最適化と解析モデル(安定化cr-EPT)の結合により、エンドツーエンド学習では得がたいPCNN-EPTの汎化性が得られることは、この手法の将来の臨床応用に不可欠である重要なポイントである。汎化実験2の結果(図4(3,1~6)および図4(5,1~6))に示すように、トレーニングサンプルで見られなかった追加の脳腫瘍を模した球状の組織(図4(3,1)における囲み部分)については、解析モデル(std-EPT、cr-EPT)は追加組織を略再構成できたものの、追加組織の1つ(図4(3,1~6)参照)にわたるラインプロファイルの低い相関係数(図4(6,2~3))で示すように、組織の周辺で大きなエラーが生じていることが確認できる。これらの誤差は、PCNN-local-EPTの係数生成NNsによって最適化されたローカル拡散係数マップとローカル対流係数マップの助けを借りて、ラインプロファイル(図4(5,6)参照)で示されるように効果的に処理されたことが確認できる。したがって、PCNN-EPTにおける波動物理による物理モデルに基づく定式化と安定化係数の学習との結合は、導電率マップの再構成における高い汎化性のために最も重要な役割を果たすものである。
【0096】
このことは、汎化実験3(A)において、PCNN-local-EPTによる再構成が最も高いSSIM値(図4(4,1~6))を示し、汎化実験3(B)において、PCNN-local-EPTによる再構成がNN-EPTによる再構成に次いで高いSSIM値(図4(5,1~6))を示す結果からも証明されている。さらに、図11のファントムスキャンの再構成結果はこの主張を裏付けるものであり、図11の2~4列目におけるstd-EPT、cr-EPTおよび安定化cr-EPTによる再構成は有害なアーティファクトを示し、5列目のエンドツーエンドのNN-EPTによる再構成も非常に目立つアーティファクトを示している一方で、6列目のPCNN-global-EPTによる再構成は、グローバル拡散係数マップとグローバル対流係数マップのバランスをとることにより、4列目の安定化cr-EPTによる再構成に比べてアーティファクトが大幅に減少している。さらに、7列目のPCNN-local-EPTによる再構成は、ローカル拡散係数マップとローカル対流係数マップの組み合わせにより、4列目の安定化cr-EPTによる再構成で最初に出現したアーティファクトを除去でき、再構成精度の向上を示していることが確認できる。
【0097】
図4(4,10)におけるローカル拡散係数マップのラインプロファイルは、図4(1,10)に比べて境界付近で小さな値を示しているが、図4(4,2~5)と比べると、図4(4,6)に示されるように、アーティファクトを軽減する役割を果たしていることが確認できる。また、図4(5,10)におけるローカル拡散係数マップのラインプロファイルは、図4(3,10)に比べて境界付近で値が小さくなっているが、これは図4(1,10)で示したように、AIGデータセットで学習したローカル拡散係数マップのピークが小さい傾向にあることから確認できる。また、物理非結合型のNN-EPTの関数マッピングでは、再構成はトレーニングサンプルのみで決定されるため、図6(a)~(e)のケース(3)に示すように、テストサンプルがトレーニングサンプルから乖離していくにしたがって再構成精度が低下する。PCNN-local-EPTも係数生成NNsを用いるため同様の影響が現れるが、物理モデルの定式化により、図6(a)~(d)のケース(5)に示すように、係数が図6(e)に示す精度低下の原因となる極端なアーティファクトを生じない限り、流用するテストサンプルの変化、すなわち新しいサンプルに対する頑健性がある。
【0098】
PCNN-local-EPTのノイズロバスト性は、汎化実験1に関する図7(a),(b)および図8(3,6)に示されるように、NN-EPTに匹敵する。また、PCNN-local-EPTのノイズロバスト性は、汎化実験2に関する図7(c)、汎化実験3(A)に関する図7(d)に示されるように、テストサンプルにおいてSNR=50にノイズレベルが増加するまでは、NN-EPTよりも高くなる。
【0099】
ここで、NN-EPTは、図8の4列目に示されるように、ノイズレベルが増加するにつれて、スプリアスノイズ関連のアーティファクトをより多く発生させる。これは、NN-EPTは、NNが獲得したパターンマッチングルールに基づいて、入力を再構成画像にマッピングするため、ノイズがそのまま補間的に再構成画像に伝達され、さらに汎化性が低くなるためであると推測される。この問題は、MREPTにおけるB を取得する過程で、複数のノイズ源によって悪化する可能性がある。
【0100】
一方、PCNN-local-EPTでは、テストサンプルにノイズがある場合、ノイズが安定化係数と解析モデル(安定化cr-EPT)の項の両方に影響しても、最終的には安定化係数で抑制することが可能である。そのため、汎化実験2,3(A)では、テストサンプルにトレーニングサンプルと一部または完全に異なる構造が含まれていることにより、ローカル拡散係数マップとローカル対流係数マップを正確に生成できなかったとしても、PCNN-local-EPTは比較的正確に再構成を行うことができたものと推測される。しかしながら、PCNN-local-EPTにおいて生成される不正確なローカル拡散係数マップとローカル対流係数マップは、図8の4列目に示されるように、SNR=50にノイズレベルが増加すると破壊的なアーティファクトを発生させるだけでなく、図7(d)と比較して図7(e)に示されるように、PCNN-local-EPTの再構成精度がPCNN-global-EPTの再構成精度を全体的に下回り、一部のサンプルの再構成精度に悪い影響を与える可能性があるものと推測される。
【0101】
このように、PCNN-EPTでは、グローバル係数マップによって実現される定式化された安定化cr-EPTのノイズロバスト性が継承されているだけでなく、ローカル係数マップの最適化手法によって再構成精度を大幅に向上させることができる。また、PCNN-EPTにおける係数生成NNsが生成する拡散係数ρと対流係数βをテストサンプルのノイズの状況によってグローバル係数マップとローカル係数マップのいずれかに選択可能とすることにより、ノイズロバスト性と汎化性を向上させることができる。
【0102】
PCNN-EPTにおける拡散係数ρと対流係数βの役割について詳しく説明する。PCNN-EPTでは、拡散係数ρと対流係数βがそれぞれ拡散項(∇γ)と対流項の一部(∇φtr,∇γ)を調節する。
【0103】
拡散係数ρは、ある画素がその近傍にどのような影響を与えるかを決定する。画素単位の拡散係数ρすなわちローカル拡散係数マップを適用することにより、導電率マップの良好な再構成のために、各領域の状況に応じて粘性効果を設定することができる。具体的には、境界部では、正確な導電性遷移を生成するために低い値に設定した後、境界アーティファクトを避けるために、高い値に設定する。一方、非境界部では、小さな数値アーティファクトを緩和するために高い値を設定する。これは、図10(c)の境界部と非境界部の拡散係数の値を集計した結果や、汎化実験1の2つのトレーニングサンプル(AIGデータセットとDHHデータセット)から学習したローカル拡散係数マップのラインプロファイル(図5(1,10)および図5(2,10)参照)によく反映されている。
【0104】
拡散係数ρと対流係数βを同時にローカル係数マップとして学習させると、拡散係数ρと対流係数βの効果的な相互反作用が達成されるが、これは、学習したローカル拡散係数マップ(図5の(1,10)および図5(2,10)参照)と、学習したローカル対流係数マップのラインプロファイル(図5(1,12)および図5(2,12)参照)を比較することにより確認できる。これは、汎化実験1の図6(a),(b)の異なるケースを比較することで理解でき、両係数をローカル係数マップとして学習させたケース(5)は、どちらか一方の係数をグローバル係数マップに設定または学習させたケース(4),(7),(9)に比べ、高い再構成精度を示していることが確認できる。このことは、テストサンプルにトレーニングサンプルで見たことのない病理組織が追加されている汎化実験2(図6(c)参照)においても同様である。しかしながら、図6(d),(e)に示されるように、テストサンプルがトレーニングサンプルと大きく乖離している汎化実験3(A),(B)では、この利点は存在せず、ケース(5),(7),(9)の精度の差はより小さくなる。これは、対流係数βを固定のグローバル係数マップ(β=1)にすることで、特にトレーニングサンプルと大きく異なるテストサンプルに対して、誤った係数を生成して再構成に支障をきたす可能性を低減できることに起因している。
【0105】
以上、これら実施形態および実施例により、安定化cr-EPTと係数生成NNs(U-net)を有効に結合し、2つの安定化係数(拡散係数ρと対流係数β)を柔軟に最適化して、正確な再構成を生成するPCNN-EPT(物理結合型ニューラルネットワーク電気特性トモグラフィ)によって、2つのシミュレーションデータセット(AIGデータセットおよびDHHデータセット)に対して、テストサンプルがトレーニングサンプルと最も乖離している場合や、ノイズの多い環境など、エンドツーエンド手法にとって困難な場合においても、高い再構成精度を達成できる、すなわちノイズロバスト性に優れ、汎化性に優れる磁気共鳴電気特性トモグラフィを提供することができる。
【0106】
また、組織境界に対する異なるニーズを考慮し、2つの安定化係数を一緒に、特にローカル係数マップとして最適化するPCNN-local-EPTにより、ノイズロバスト性に優れ、汎化性に優れる磁気共鳴電気特性トモグラフィを提供することができる。
【0107】
なお、上述した実施形態および実施例において、磁気共鳴電気特性トモグラフィにより導電率マップが再構成される態様について主に説明したが、これに限らず、磁気共鳴電気特性トモグラフィにより再構成される画像は、EPsを組織コントラストとして用いた画像であればよく、例えば誘電率マップに基づくマップであってもよい。
【0108】
また、データ駆動型の機械学習モデルとしてニューラルネットワークを用いる態様について説明したが、これに限らず、機械学習モデルは、アンサンブル学習など他の手法が用いられてもよい。
【0109】
また、図12に示されるように、汎化実験1~3において、様々な外側境界設定(OBS)条件で再構成された導電率マップのSSIM値の平均と標準偏差の結果から、OBSが正確であれば、各モデルの再構成精度はわずかに向上するが、OBSがなくても再構成は正確である。
【0110】
また、誤差逆伝播法のアルゴリズムを生成するために、機械学習ライブラリであるPyTorch(登録商標)を使用した。このNNフレームワークは、操作を階層チャートに刻み込む計算グラフを作成して、自動微分を可能にする。NNは最大1000エポックまで学習され、学習サンプルに応じた最良の精度のモデルがテスト用に保存される。学習にはアニーリング手法を用い、50エポック経過しても損失が減少しない場合、学習速度を半分にする。さらに、PCNN-EPTでは、学習を加速するために、再構成時にアーティファクト(損失関数のスパイク)が蓄積して損失が急激に増加した場合にも学習率を半減させる。これにより、局所的最適解にはまり込むことをさらに防いでいる。学習は、学習サンプル数が少ないため、学習グループごとに検証セットを作成せずに行う。PCNN-local-EPTの学習は収束するが、ローカル係数マップが過小/過大評価されたときに再構成にアーティファクトが現れるため、図14(a)に示されるように、損失関数にスパイクが現れる。これらは通常容易に修正されるが、損失は減少し続ける。PCNN-global-EPTの学習は、図14(b)に示されるように、再構成がグローバルパラメータのみに影響されるため、わずかに減少する。すなわち、NNの係数生成は再構成に対して非常に制約された修正である。NN-EPTの学習は、図14(c)に示すように、すべてのエポックにおいて損失関数が減少し、非常に滑らかである。PCNN-EPTでは、学習中に学習の減少が止まるポイントがあり、このポイントでスパイクが現れ、学習は局所的な極小値で停止する(図14(d)の破線参照)。その後、学習率を下げることでNNはさらに収束し、図14(d)の実線で示すように収束するのに限界の1000エポック以上を要するようになる。このような場合、限界の1000エポック以内であれば、最も損失の少ないモデルをテスト用に残す。また、学習時間は、NN-EPTの30分からPCNN-EPTの1時間まで、グローバル形式またはローカル形式で、すべての学習はNvidia GeForce RTX 2070 GPUで生成した。
【0111】
また、エンドツーエンドのNN-EPTに対して独立した比較ポイントを作るために、1つのNNが最終的な導電率マップを直接出力し、中間ステップを一切行わないという方法を検討するため、2種類の入力を比較した。1つのモデルは、数値微分計算に関連するノイズの爆発を避けるために、入力として送受信位相φtrを受け取った(NN-EPTφtr)。もう一つのモデルは、送受信位相φtrに加えて、送受信位相微分∇φtr,∇φtrを加え、多くの解析手法に基づいてこれらの特徴が関連情報をもたらすため、連結して多チャンネル入力とした(NN-EPT∇φtr,∇φtr,φtr)。さらに、NN-EPTは異なる損失関数で学習できることから、エンドツーエンド手法の通常の損失関数MSEと、実施形態および実施例で使用したSSIMで学習を比較した。図13に示されるように、NN-EPTは各実験で若干の違いがあったが、ケース(3)のMSEで学習したNN-EPT∇φtr,∇φtr,φtrは、汎化実験1~3に亘って再構成精度が向上することが確認できる。
[産業上の利用可能性]
【0112】
本発明は、安定化cr-EPTと係数生成NNsを有効に結合し、2つの安定化係数(拡散係数ρと対流係数β)を柔軟に最適化して、正確な再構成を生成する物理結合型ニューラルネットワーク電気特性トモグラフィ(PCNN-EPT)によって、ノイズロバスト性に優れ、汎化性に優れる磁気共鳴電気特性トモグラフィを提供可能なものであり、従来のエンドツーエンドのNN-EPTと比較して高い再構成精度を達成することが可能であることから、磁気共鳴電気特性トモグラフィによる医学診断の実用化に向けた重要な一歩として産業上の利用可能性がある。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14