ホーム > 特許ランキング > 浜松ホトニクス株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-18
(45)【発行日】2023-10-26
(54)【発明の名称】ＭＲＩ装置、画像処理装置および画像処理方法
(51)【国際特許分類】
A61B 5/055 20060101AFI20231019BHJP
G06T 1/00 20060101ALI20231019BHJP
G06T 1/40 20060101ALI20231019BHJP
【ＦＩ】
A61B5/055 380
A61B5/055 ZDM
A61B5/055 376
G06T1/00 290B
G06T1/40
【請求項の数】
13
(21)【出願番号】P 2019167077
(22)【出願日】2019-09-13
(65)【公開番号】P2021041065
(43)【公開日】2021-03-18
【審査請求日】2022-09-05
(73)【特許権者】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100110582
【弁理士】
【氏名又は名称】柴田 昌聰
(72)【発明者】
【氏名】橋本 二三生
(72)【発明者】
【氏名】大手 希望
【審査官】冨永 昌彦
(56)【参考文献】
【文献】特開２０１９－０２５０４４（ＪＰ，Ａ）
【文献】特開２０１８－１３０１４２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／００９７５６５（ＵＳ，Ａ１）
【文献】Chang Min Hyun, et al.，Deep Learning for undersampled MRI reconstruction，Physics in Medicine & Biology ，V0l.63 No.13，英国，Institute of Physics and Engineering in Medicine，2018年06月25日，135007(15pp)
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／０５５
Ｇ０６Ｔ １／００ － ９／４０
(57)【特許請求の範囲】
【請求項1】
ＭＲＩ装置においてｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて第１断層画像を作成する第１断層画像作成部と、畳み込みニューラルネットワークに断層画像を入力させて前記畳み込みニューラルネットワークからＣＮＮ出力断層画像を出力させるＣＮＮ処理部と、
前記ＣＮＮ出力断層画像に基づいて第１ｋ空間データを作成する第１ｋ空間データ作成部と、
前記一部空間についての前記部分ｋ空間データと、前記第１ｋ空間データのうち前記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データを作成する第２ｋ空間データ作成部と、
前記第２ｋ空間データに基づいて第２断層画像を作成する第２断層画像作成部と、
を備え、
前記ＣＮＮ処理部は、前記畳み込みニューラルネットワークによる処理を２回以上行い、そのうち第１回の処理では、前記第１断層画像を前記畳み込みニューラルネットワークに入力させ、第２回以降の処理では、前回の処理による前記ＣＮＮ出力断層画像に基づいて作成された前記第２断層画像を前記畳み込みニューラルネットワークに入力させる、
画像処理装置。
【請求項2】
前記ＣＮＮ処理部は、前記畳み込みニューラルネットワークを学習させる際に、ｋ空間内の前記一部空間について収集された前記部分ｋ空間データに基づいて作成された被検体の前記第１断層画像または前記第２断層画像を前記畳み込みニューラルネットワークへの入力画像として用い、ｋ空間内の前記一部空間より広い空間について収集されたｋ空間データに基づいて作成された前記被検体の断層画像を教師画像として用いる、請求項１に記載の画像処理装置。
【請求項3】
前記ＣＮＮ処理部は、前記畳み込みニューラルネットワークを学習させる際に、ｋ空間の全体について収集されたｋ空間データに基づいて作成された前記被検体の断層画像を教師画像として用いる、請求項２に記載の画像処理装置。
【請求項4】
前記ＣＮＮ処理部は、前記畳み込みニューラルネットワークを学習させる際に、前記教師画像と前記ＣＮＮ出力断層画像との差を含む関数を損失関数として用いる、請求項２または３に記載の画像処理装置。
【請求項5】
前記ＣＮＮ処理部は、前記畳み込みニューラルネットワークを学習させる際に、前記教師画像と前記ＣＮＮ出力断層画像との差、および、前記教師画像をフーリエ変換して得られるｋ空間データと前記ＣＮＮ出力断層画像をフーリエ変換して得られるｋ空間データとの差を含む関数を、損失関数として用いる、請求項２または３に記載の画像処理装置。
【請求項6】
ＭＲＩ装置においてｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて第１断層画像を作成する第１断層画像作成部と、畳み込みニューラルネットワークに前記第１断層画像を入力させて前記畳み込みニューラルネットワークからＣＮＮ出力断層画像を出力させるＣＮＮ処理部と、
前記ＣＮＮ出力断層画像に基づいて第１ｋ空間データを作成する第１ｋ空間データ作成部と、
前記一部空間についての前記部分ｋ空間データと、前記第１ｋ空間データのうち前記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データを作成する第２ｋ空間データ作成部と、
前記第２ｋ空間データに基づいて第２断層画像を作成する第２断層画像作成部と、
を備え、
前記ＣＮＮ処理部は、前記畳み込みニューラルネットワークを学習させる際に、
ｋ空間内の前記一部空間について収集された前記部分ｋ空間データに基づいて作成された被検体の前記第１断層画像または前記第２断層画像を前記畳み込みニューラルネットワークへの入力画像として用い、
ｋ空間内の前記一部空間より広い空間について収集されたｋ空間データに基づいて作成された前記被検体の断層画像を教師画像として用い、
前記教師画像と前記ＣＮＮ出力断層画像との差、および、前記教師画像をフーリエ変換して得られるｋ空間データと前記ＣＮＮ出力断層画像をフーリエ変換して得られるｋ空間データとの差を含む関数を、損失関数として用いる、
画像処理装置。
【請求項7】
ｋ空間データを収集するｋ空間データ収集部と、前記ｋ空間データ収集部により収集されたｋ空間データに基づいて断層画像を作成する請求項１～６の何れか１項に記載の画像処理装置と、
を備えるＭＲＩ装置。
【請求項8】
ＭＲＩ装置においてｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて第１断層画像を作成する第１断層画像作成ステップと、畳み込みニューラルネットワークに断層画像を入力させて前記畳み込みニューラルネットワークからＣＮＮ出力断層画像を出力させるＣＮＮ処理ステップと、
前記ＣＮＮ出力断層画像に基づいて第１ｋ空間データを作成する第１ｋ空間データ作成ステップと、
前記一部空間についての前記部分ｋ空間データと、前記第１ｋ空間データのうち前記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データを作成する第２ｋ空間データ作成ステップと、
前記第２ｋ空間データに基づいて第２断層画像を作成する第２断層画像作成ステップと、
を備え、
前記ＣＮＮ処理ステップの処理を２回以上行い、そのうち第１回の処理では、前記第１断層画像を前記畳み込みニューラルネットワークに入力させ、第２回以降の処理では、前回の処理による前記ＣＮＮ出力断層画像に基づいて作成された前記第２断層画像を前記畳み込みニューラルネットワークに入力させる、
画像処理方法。
【請求項9】
前記ＣＮＮ処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、ｋ空間内の前記一部空間について収集された前記部分ｋ空間データに基づいて作成された被検体の前記第１断層画像または前記第２断層画像を前記畳み込みニューラルネットワークへの入力画像として用い、ｋ空間内の前記一部空間より広い空間について収集されたｋ空間データに基づいて作成された前記被検体の断層画像を教師画像として用いる、請求項８に記載の画像処理方法。
【請求項10】
前記ＣＮＮ処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、ｋ空間の全体について収集されたｋ空間データに基づいて作成された前記被検体の断層画像を教師画像として用いる、請求項９に記載の画像処理方法。
【請求項11】
前記ＣＮＮ処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、前記教師画像と前記ＣＮＮ出力断層画像との差を含む関数を損失関数として用いる、請求項９または１０に記載の画像処理方法。
【請求項12】
前記ＣＮＮ処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、前記教師画像と前記ＣＮＮ出力断層画像との差、および、前記教師画像をフーリエ変換して得られるｋ空間データと前記ＣＮＮ出力断層画像をフーリエ変換して得られるｋ空間データとの差を含む関数を、損失関数として用いる、請求項９または１０に記載の画像処理方法。
【請求項13】
ＭＲＩ装置においてｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて第１断層画像を作成する第１断層画像作成ステップと、畳み込みニューラルネットワークに前記第１断層画像を入力させて前記畳み込みニューラルネットワークからＣＮＮ出力断層画像を出力させるＣＮＮ処理ステップと、
前記ＣＮＮ出力断層画像に基づいて第１ｋ空間データを作成する第１ｋ空間データ作成ステップと、
前記一部空間についての前記部分ｋ空間データと、前記第１ｋ空間データのうち前記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データを作成する第２ｋ空間データ作成ステップと、
前記第２ｋ空間データに基づいて第２断層画像を作成する第２断層画像作成ステップと、
を備え、
前記ＣＮＮ処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、
ｋ空間内の前記一部空間について収集された前記部分ｋ空間データに基づいて作成された被検体の前記第１断層画像または前記第２断層画像を前記畳み込みニューラルネットワークへの入力画像として用い、
ｋ空間内の前記一部空間より広い空間について収集されたｋ空間データに基づいて作成された前記被検体の断層画像を教師画像として用い、
前記教師画像と前記ＣＮＮ出力断層画像との差、および、前記教師画像をフーリエ変換して得られるｋ空間データと前記ＣＮＮ出力断層画像をフーリエ変換して得られるｋ空間データとの差を含む関数を、損失関数として用いる、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＭＲＩ装置、画像処理装置および画像処理方法に関するものである。
【背景技術】
【0002】
ＭＲＩ（magnetic resonance imaging）装置は、核磁気共鳴（nuclear magnetic resonance）現象を利用して、被検体の内部の情報を画像化することができる。ＭＲＩ装置は、高周波の磁場を与えることで被検体内の水素原子に共鳴現象を起こさせ、その共鳴現象により発生する電波を受信コイルにより収集し、その収集したデータに基づいて被検体の断層画像を作成する。ＭＲＩ装置は、水分量が多い脳や血管などの部位を診断する際に好適に用いられている。
【0003】
ＭＲＩ装置では、被検体に与える傾斜磁場の勾配方向に、信号源となるスピン位相のエンコードを行う。実空間での各方向の傾斜磁場の印加量は、そのまま断層画像の空間周波数の空間であるｋ空間（k-space）での位置となる。したがって、傾斜磁場の印加によって受信コイルにより収集したｋ空間データを逆フーリエ変換すれば、被検体の断層画像を得ることができる。なお、数値演算を行う上ではフーリエ変換と逆フーリエ変換とは実質的に同じである。
【0004】
ＭＲＩ装置においては、被検体の負担の軽減や検査スループットの向上のために、ｋ空間データの収集に要する時間の短縮が求められている。ｋ空間データ収集の高速化を図る技術の一つとして圧縮センシング（compressed sensing）が注目されている。圧縮センシングとは、観測データが或る表現空間ではスパース（疎）である性質を有することを利用して、本来必要とするデータ量より少ない観測データに基づいて、或る条件の下で対象を復元する方法である。非特許文献１～３には、ＭＲＩ装置に圧縮センシングを適用してｋ空間データに基づいて断層画像を作成する方法が記載されている。そのうち非特許文献３には、断層画像の画質を改善する方法が提案されている。
【0005】
非特許文献３に記載された方法では、ｋ空間のうちの一部空間について収集された部分ｋ空間データが逆フーリエ変換されて第１断層画像が作成され、この第１断層画像が学習済みの畳み込みニューラルネットワーク（ＣＮＮ： convolutional neural network）に入力されて該ＣＮＮからＣＮＮ出力断層画像が出力される。このＣＮＮ出力断層画像がフーリエ変換されて第１ｋ空間データが作成される。上記一部空間についての部分ｋ空間データと、第１ｋ空間データのうち上記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データが作成される。そして、この第２ｋ空間データが逆フーリエ変換されて第２断層画像が作成される。
【0006】
この方法では、ｋ空間の全体ではなく一部空間についてのみｋ空間データを収集すればよいので、ｋ空間データ収集に要する時間の短縮が可能である。また、最終的に得られる第２断層画像は、第１断層画像およびＣＮＮ出力断層画像と比べて、良好な画質を有するとされている。
【先行技術文献】
【非特許文献】
【0007】
【文献】玉田大輝、"圧縮センシングのMRIへの実装"、日本磁気共鳴医学会雑誌 38.3 (2018): 76-86.
【文献】町田好男、森一生、"MRI高速撮像の進展～画像化の原理から圧縮センシングまで～"、医用画像情報学会雑誌30.1 (2013): 7-11.
【文献】Hyun, Chang Min, et al."Deep learning for undersampled MRI reconstruction," Physics inMedicine & Biology 63.13 (2018): 135007.
【文献】Biomedical Image Analysis Group, ImperialCollege London，“IXI Dataset”，［online］，［令和元年８月２０日検索］，インターネット＜URL：http://brain-development.org/ixi-dataset/＞
【文献】Ronneberger O, Fischer P and BroxT 2015 U-net: convolutional networks for biomedical image segmentation(arXiv:1505.04597).
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、非特許文献３に記載された方法により最終的に得られる断層画像には、周期的なアーチファクトが見られる。ＭＲＩ装置に圧縮センシングを適用してｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて断層画像を作成する方法は、更なる画質改善が望まれる。
【0009】
本発明は、上記問題点を解消する為になされたものであり、ＭＲＩ装置に圧縮センシングを適用してｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて更に良好な画質を有する断層画像を作成することができる画像処理装置および画像処理方法を提供することを目的とする。また、本発明は、このような画像処理装置を備えるＭＲＩ装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、(1) ＭＲＩ装置においてｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて第１断層画像を作成する第１断層画像作成部と、(2) 畳み込みニューラルネットワークに断層画像を入力させて畳み込みニューラルネットワークからＣＮＮ出力断層画像を出力させるＣＮＮ処理部と、(3) ＣＮＮ出力断層画像に基づいて第１ｋ空間データを作成する第１ｋ空間データ作成部と、(4)前記一部空間についての部分ｋ空間データと、第１ｋ空間データのうち前記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データを作成する第２ｋ空間データ作成部と、(5) 第２ｋ空間データに基づいて第２断層画像を作成する第２断層画像作成部と、を備える。そして、ＣＮＮ処理部は、畳み込みニューラルネットワークによる処理を２回以上行い、そのうち第１回の処理では、第１断層画像を畳み込みニューラルネットワークに入力させ、第２回以降の処理では、前回の処理によるＣＮＮ出力断層画像に基づいて作成された第２断層画像を畳み込みニューラルネットワークに入力させる。
【0011】
ＣＮＮ処理部は、畳み込みニューラルネットワークを学習させる際に、(a) ｋ空間内の前記一部空間について収集された部分ｋ空間データに基づいて作成された被検体の第１断層画像または第２断層画像を畳み込みニューラルネットワークへの入力画像として用い、(b) ｋ空間内の前記一部空間より広い空間について収集されたｋ空間データに基づいて作成された被検体の断層画像を教師画像として用いるのが好適である。また、ＣＮＮ処理部は、畳み込みニューラルネットワークを学習させる際に、ｋ空間の全体について収集されたｋ空間データに基づいて作成された被検体の断層画像を教師画像として用いるのが更に好適である。
【0012】
ＣＮＮ処理部は、畳み込みニューラルネットワークを学習させる際に、教師画像とＣＮＮ出力断層画像との差を含む関数を損失関数として用いるのが好適である。また、ＣＮＮ処理部は、畳み込みニューラルネットワークを学習させる際に、教師画像とＣＮＮ出力断層画像との差、および、教師画像をフーリエ変換して得られるｋ空間データとＣＮＮ出力断層画像をフーリエ変換して得られるｋ空間データとの差を含む関数を、損失関数として用いるのが更に好適である。
【0013】
或いは、本発明の画像処理装置は、(1) ＭＲＩ装置においてｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて第１断層画像を作成する第１断層画像作成部と、(2) 畳み込みニューラルネットワークに第１断層画像を入力させて畳み込みニューラルネットワークからＣＮＮ出力断層画像を出力させるＣＮＮ処理部と、(3) ＣＮＮ出力断層画像に基づいて第１ｋ空間データを作成する第１ｋ空間データ作成部と、(4)前記一部空間についての部分ｋ空間データと、第１ｋ空間データのうち前記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データを作成する第２ｋ空間データ作成部と、(5) 第２ｋ空間データに基づいて第２断層画像を作成する第２断層画像作成部と、を備える。そして、ＣＮＮ処理部は、畳み込みニューラルネットワークを学習させる際に、(a) ｋ空間内の前記一部空間について収集された部分ｋ空間データに基づいて作成された被検体の第１断層画像または第２断層画像を畳み込みニューラルネットワークへの入力画像として用い、(b) ｋ空間内の前記一部空間より広い空間について収集されたｋ空間データに基づいて作成された被検体の断層画像を教師画像として用い、(c) 教師画像とＣＮＮ出力断層画像との差、および、教師画像をフーリエ変換して得られるｋ空間データとＣＮＮ出力断層画像をフーリエ変換して得られるｋ空間データとの差を含む関数を、損失関数として用いる。
【0014】
本発明のＭＲＩ装置は、ｋ空間データを収集するｋ空間データ収集部と、ｋ空間データ収集部により収集されたｋ空間データに基づいて断層画像を作成する上記の本発明の画像処理装置と、を備える。
【0015】
本発明の画像処理方法は、(1) ＭＲＩ装置においてｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて第１断層画像を作成する第１断層画像作成ステップと、(2) 畳み込みニューラルネットワークに断層画像を入力させて畳み込みニューラルネットワークからＣＮＮ出力断層画像を出力させるＣＮＮ処理ステップと、(3) ＣＮＮ出力断層画像に基づいて第１ｋ空間データを作成する第１ｋ空間データ作成ステップと、(4) 前記一部空間についての部分ｋ空間データと、第１ｋ空間データのうち前記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データを作成する第２ｋ空間データ作成ステップと、(5) 第２ｋ空間データに基づいて第２断層画像を作成する第２断層画像作成ステップと、を備える。そして、ＣＮＮ処理ステップの処理を２回以上行い、そのうち第１回の処理では、第１断層画像を畳み込みニューラルネットワークに入力させ、第２回以降の処理では、前回の処理によるＣＮＮ出力断層画像に基づいて作成された第２断層画像を畳み込みニューラルネットワークに入力させる。
【0016】
ＣＮＮ処理ステップでは、畳み込みニューラルネットワークを学習させる際に、(a) ｋ空間内の前記一部空間について収集された部分ｋ空間データに基づいて作成された被検体の第１断層画像または第２断層画像を畳み込みニューラルネットワークへの入力画像として用い、(b) ｋ空間内の前記一部空間より広い空間について収集されたｋ空間データに基づいて作成された被検体の断層画像を教師画像として用いるのが好適である。また、ＣＮＮ処理ステップでは、畳み込みニューラルネットワークを学習させる際に、ｋ空間の全体について収集されたｋ空間データに基づいて作成された被検体の断層画像を教師画像として用いるのが更に好適である。
【0017】
ＣＮＮ処理ステップでは、畳み込みニューラルネットワークを学習させる際に、教師画像とＣＮＮ出力断層画像との差を含む関数を損失関数として用いるのが好適である。また、ＣＮＮ処理ステップでは、畳み込みニューラルネットワークを学習させる際に、教師画像とＣＮＮ出力断層画像との差、および、教師画像をフーリエ変換して得られるｋ空間データとＣＮＮ出力断層画像をフーリエ変換して得られるｋ空間データとの差を含む関数を、損失関数として用いるのが更に好適である。
【0018】
或いは、本発明の画像処理方法は、(1) ＭＲＩ装置においてｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて第１断層画像を作成する第１断層画像作成ステップと、(2) 畳み込みニューラルネットワークに第１断層画像を入力させて畳み込みニューラルネットワークからＣＮＮ出力断層画像を出力させるＣＮＮ処理ステップと、(3) ＣＮＮ出力断層画像に基づいて第１ｋ空間データを作成する第１ｋ空間データ作成ステップと、(4) 前記一部空間についての部分ｋ空間データと、第１ｋ空間データのうち前記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データを作成する第２ｋ空間データ作成ステップと、(5) 第２ｋ空間データに基づいて第２断層画像を作成する第２断層画像作成ステップと、を備える。そして、ＣＮＮ処理ステップでは、畳み込みニューラルネットワークを学習させる際に、(a) ｋ空間内の前記一部空間について収集された部分ｋ空間データに基づいて作成された被検体の第１断層画像または第２断層画像を畳み込みニューラルネットワークへの入力画像として用い、(b) ｋ空間内の前記一部空間より広い空間について収集されたｋ空間データに基づいて作成された被検体の断層画像を教師画像として用い、(c) 教師画像とＣＮＮ出力断層画像との差、および、教師画像をフーリエ変換して得られるｋ空間データとＣＮＮ出力断層画像をフーリエ変換して得られるｋ空間データとの差を含む関数を、損失関数として用いる。
【発明の効果】
【0019】
本発明によれば、ＭＲＩ装置に圧縮センシングを適用してｋ空間のうちの一部空間について収集された部分ｋ空間データに基づいて更に良好な画質を有する断層画像を作成することができる。
【図面の簡単な説明】
【0020】
【発明を実施するための形態】
【0021】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0022】
図１は、ＭＲＩ装置１の構成を示すブロック図である。ＭＲＩ装置１は、ｋ空間データ収集部１０および画像処理装置２を備える。
【0023】
ｋ空間データ収集部１０は、被検体に対し傾斜磁場を与えるとともに、被検体内の水素原子の共鳴現象により発生する電波を受信コイルにより受信してｋ空間データを収集する。ｋ空間データ収集部１０は、ｋ空間の全体についてｋ空間データを収集（フルサンプリング）することができ、また、ｋ空間のうちの一部空間についてｋ空間データを収集（アンダーサンプリング）することができる。アンダーサンプリングの際のｋ空間のうちの一部空間のパターンとしては、格子状（cartesian）、放射状（radial）および螺旋状（spiral）等が知られている（非特許文献１，２参照）。
【0024】
画像処理装置２は、ｋ空間データ収集部１０により収集されたｋ空間データに基づいて被検体の断層画像を作成する。画像処理装置２は、第１断層画像作成部１１、ＣＮＮ処理部１２、第１ｋ空間データ作成部１３、第２ｋ空間データ作成部１４、第２断層画像作成部１５、制御部１６、記憶部１７および表示部１８を備える。
【0025】
第１断層画像作成部１１は、ｋ空間データ収集部１０により収集（フルサンプリングまたはアンダーサンプリング）されたｋ空間データに基づいて被検体の断層画像を作成する。具体的には、第１断層画像作成部１１は、ｋ空間データを逆フーリエ変換することで断層画像を作成する。ｋ空間のうちの一部空間について収集された部分ｋ空間データｙ０に基づいて第１断層画像作成部１１により作成された断層画像を第１断層画像ｘ１とする。
【0026】
ＣＮＮ処理部１２は、第１断層画像作成部１１により作成された第１断層画像ｘ１、または、第２断層画像作成部１５により作成された第２断層画像ｘ２を、畳み込みニューラルネットワーク（ＣＮＮ）に入力させる。これにより、ＣＮＮ処理部１２は、ＣＮＮからＣＮＮ出力断層画像ｘCNNを出力させる。
【0027】
第１ｋ空間データ作成部１３は、ＣＮＮ出力断層画像ｘCNNに基づいて第１ｋ空間データｙ１を作成する。具体的には、第１ｋ空間データ作成部１３は、ＣＮＮ出力断層画像ｘCNNをフーリエ変換することで第１ｋ空間データｙ１を作成する。
【0028】
第２ｋ空間データ作成部１４は、上記一部空間についての部分ｋ空間データｙ０と、第１ｋ空間データｙ１のうち上記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データｙ２を作成する。
【0029】
第２断層画像作成部１５は、第２ｋ空間データｙ２に基づいて第２断層画像ｘ２を作成する。具体的には、第２断層画像作成部１５は、第２ｋ空間データｙ２を逆フーリエ変換することで第２断層画像ｘ２を作成する。
【0030】
制御部１６は、画像処理装置２の全体の動作を制御するものであり、特に、第１断層画像作成部１１、ＣＮＮ処理部１２、第１ｋ空間データ作成部１３、第２ｋ空間データ作成部１４および第２断層画像作成部１５それぞれの処理を制御する。記憶部１７は、部分ｋ空間データｙ０、第１断層画像ｘ１、ＣＮＮ出力断層画像ｘCNN、第１ｋ空間データｙ１、第２ｋ空間データｙ２および第２断層画像ｘ２等を記憶する。表示部１８は、部分ｋ空間データｙ０、第１断層画像ｘ１、ＣＮＮ出力断層画像ｘCNN、第１ｋ空間データｙ１、第２ｋ空間データｙ２および第２断層画像ｘ２等を画面上に表示する。
【0031】
画像処理装置２は、ＣＰＵ（central processing unit）、ＤＳＰ（digital signal processor）、ＲＯＭ（read only memory）、ＧＰＵ（graphics processing unit）、ＲＡＭ（random access memory）、ハードディスクドライブ、ディスプレイ、キーボードおよびマウス等を有するコンピュータにより構成することができる。第１断層画像作成部１１、第１ｋ空間データ作成部１３、第２ｋ空間データ作成部１４および第２断層画像作成部１５は、ＣＰＵまたはＤＳＰを含んで構成され得る。ＣＮＮ処理部１２は、ＣＰＵ、ＤＳＰまたはＧＰＵを含んで構成され得る。制御部１６はＣＰＵを含んで構成され得る。記憶部１７はＲＯＭ、ＲＡＭ、ハードディスクドライブを含んで構成され得る。表示部１８はディスプレイを含んで構成され得る。
【0032】
ＣＮＮ処理部１２は、ＣＮＮによる処理を２回以上行う。そのうち第１回の処理では、ＣＮＮ処理部１２は、第１断層画像ｘ１をＣＮＮに入力させる。第２回以降の処理では、ＣＮＮ処理部１２は、前回の処理によるＣＮＮ出力断層画像ｘCNNに基づいて作成された第２断層画像ｘ２をＣＮＮに入力させる。
【0033】
図２は、画像処理方法を説明するフローチャートである。この図には、ｋ空間データ収集部１０により部分ｋ空間データｙ０を収集するｋ空間データ収集ステップＳ１０も示されている。画像処理方法は、第１断層画像作成ステップＳ１１、ＣＮＮ処理ステップＳ１２、第１ｋ空間データ作成ステップＳ１３、第２ｋ空間データ作成ステップＳ１４および第２断層画像作成ステップＳ１５を備える。
【0034】
第１断層画像作成ステップＳ１１は、第１断層画像作成部１１により行われる処理である。第１断層画像作成ステップＳ１１では、ｋ空間データ収集ステップＳ１０でｋ空間のうちの一部空間について収集された部分ｋ空間データｙ０に基づいて第１断層画像ｘ１を作成する。
【0035】
ＣＮＮ処理ステップＳ１２は、ＣＮＮ処理部１２により行われる処理である。ＣＮＮ処理ステップＳ１２では、第１断層画像作成ステップＳ１１で作成された第１断層画像ｘ１、または、第２断層画像作成ステップＳ１５で作成された第２断層画像ｘ２を、ＣＮＮに入力させる。これにより、ＣＮＮ処理ステップＳ１２では、ＣＮＮからＣＮＮ出力断層画像ｘCNNを出力させる。
【0036】
第１ｋ空間データ作成ステップＳ１３は、第１ｋ空間データ作成部１３により行われる処理である。第１ｋ空間データ作成ステップＳ１３では、ＣＮＮ出力断層画像ｘCNNに基づいて第１ｋ空間データｙ１を作成する。
【0037】
第２ｋ空間データ作成ステップＳ１４は、第２ｋ空間データ作成部１４により行われる処理である。第２ｋ空間データ作成ステップＳ１４では、上記一部空間についての部分ｋ空間データｙ０と、第１ｋ空間データｙ１のうち上記一部空間以外の空間についてのｋ空間データとに基づいて、第２ｋ空間データｙ２を作成する。
【0038】
第２断層画像作成ステップＳ１５は、第２断層画像作成部１５により行われる処理である。第２断層画像作成ステップＳ１５では、第２ｋ空間データｙ２に基づいて第２断層画像ｘ２を作成する。
【0039】
ＣＮＮ処理ステップＳ１２の処理を２回以上行う。そのうち第１回の処理では、ＣＮＮ処理ステップＳ１２は、第１断層画像ｘ１をＣＮＮに入力させる。第２回以降の処理では、ＣＮＮ処理ステップＳ１２は、前回の処理によるＣＮＮ出力断層画像ｘCNNに基づいて作成された第２断層画像ｘ２をＣＮＮに入力させる。
【0040】
図３は、第２ｋ空間データ作成部１４により行われる第２ｋ空間データ作成ステップＳ１４の処理について説明する図である。この図には、部分ｋ空間データｙ０、第１ｋ空間データｙ１および第２ｋ空間データｙ２が模式的に示されている。図３（ａ）に示される部分ｋ空間データｙ０は、ｋ空間のうちの一部空間（図３（ａ）においてハッチング領域）について収集（アンダーサンプリング）されたものであり、その一部空間以外の空間（図３（ａ）において白色領域）のデータは値０である。
【0041】
図３（ｃ）に示される第１ｋ空間データｙ１は、ＣＮＮ出力断層画像ｘCNNをフーリエ変換することで作成されたものであり、ｋ空間の全体において０でない値をとり得る。図３（ｂ）に示される第２ｋ空間データｙ２は、第２ｋ空間データ作成ステップＳ１４により作成されるものであり、上記一部空間については部分ｋ空間データｙ０と同じ値を有し、上記一部空間以外の空間については第１ｋ空間データｙ１と同じ値を有する。
【0042】
なお、本実施形態の画像処理装置および画像処理方法は、非特許文献３に記載された方法と比較すると、次の点で相違している。非特許文献３に記載された方法は、第１断層画像作成ステップＳ１１、ＣＮＮ処理ステップＳ１２、第１ｋ空間データ作成ステップＳ１３、第２ｋ空間データ作成ステップＳ１４および第２断層画像作成ステップＳ１５それぞれを１回のみ行うものであって、ＣＮＮ処理ステップＳ１２を繰り返し行うものではない。これに対して、これまで説明してきた本実施形態では、ＣＮＮ処理部１２によるＣＮＮ処理ステップＳ１２を２回以上行う。これにより、本実施形態では、ｋ空間のうちの一部空間について収集された部分ｋ空間データｙ０に基づいて良好な画質を有する断層画像を作成することができる。
【0043】
次に、ＣＮＮの学習について説明する。ＣＮＮを学習させる際に、ＣＮＮ処理部１２は、ｋ空間内の一部空間について収集（アンダーサンプリング）された部分ｋ空間データｙ０に基づいて作成された被検体の第１断層画像ｘ１または第２断層画像ｘ２を、ＣＮＮへの入力画像として用いる。また、ＣＮＮ処理部１２は、上記一部空間より広い空間について収集されたｋ空間データに基づいて作成された被検体の断層画像を、教師画像ｘtrueとして用いる。好適には、ＣＮＮ処理部１２は、ｋ空間の全体について収集（フルサンプリング）されたｋ空間データに基づいて作成された被検体の断層画像を、教師画像ｘtrueとして用いる。
【0044】
ＣＮＮの学習の際に用いる損失関数は、教師画像ｘtrueとＣＮＮ出力断層画像ｘCNNとの差を含む関数（下記（１）式）であってもよい。この式ＬＡは、教師画像ｘtrueとＣＮＮ出力断層画像ｘCNNとのＬ２ノルムを表す。損失関数が小さくなるようにＣＮＮの学習を行う。
【0045】
【数1】
【0046】
また、損失関数は、教師画像ｘtrueとＣＮＮ出力断層画像ｘCNNとの差、および、教師画像ｘtrueをフーリエ変換して得られるｋ空間データＦ(ｘtrue)とＣＮＮ出力断層画像ｘCNNをフーリエ変換して得られるｋ空間データＦ(ｘCNN)との差を含む関数（下記（２）式）であってもよい。この式ＬＢは、教師画像ｘtrueとＣＮＮ出力断層画像ｘCNNとのＬ２ノルムと、ｋ空間データＦ(ｘtrue)とｋ空間データＦ(ｘCNN)とのＬ２ノルムに重み係数λを乗じたものと、の和を表す。重み係数λの値は０超１以下の範囲で選ばれるのが好適である。
【0047】
【数2】
【0048】
損失関数ＬＡ（（１）式）を用いてＣＮＮを学習させれば、ＣＮＮ処理部１２によるＣＮＮ処理ステップＳ１２の繰り返し回数を２回以上とすることで画質改善の効果が得られる。ＣＮＮ処理部１２によるＣＮＮ処理ステップＳ１２の繰り返し回数は最大１０回程度で十分である。画質改善された最終的な断層画像は、ＣＮＮ処理部１２によるＣＮＮ処理ステップＳ１２を２回以上行った後のＣＮＮ出力断層画像ｘCNNおよび第２断層画像ｘ２の何れであってもよい。
【0049】
損失関数ＬＢ（（２）式）を用いてＣＮＮを学習させれば、ＣＮＮ処理部１２によるＣＮＮ処理ステップＳ１２を２回以上行う場合だけでなく、ＣＮＮ処理部１２によるＣＮＮ処理ステップＳ１２を１回のみ行う場合であっても、ｋ空間のうちの一部空間について収集された部分ｋ空間データｙ０に基づいて良好な画質を有する第２断層画像ｘ２を作成することができる。
【0050】
次に、シミュレーション結果について説明する。非特許文献４に蓄積されているＭＲＩによる脳の断層画像のうちＴ２強調画像を用いた。５７名分の７４２７個の断層画像を用いてＣＮＮを学習させた。５７名分の７４６０個の断層画像を用いて、アンダーサブサンプリングによる部分ｋ空間データｙ０を作成した。アンダーサンプリングのパターンは、格子状（cartesian）であり、フルサンプリングの際のｋ空間の全体に対して２０％の空間とした。ＣＮＮとして、非特許文献５に記載されているＵ-ｎｅｔを用いた。ＣＮＮ学習時に損失関数としてＬＡ（上記（１）式）およびＬＢ（上記（２）式）を用いた。損失関数としてＬＢを用いた場合、重み係数λを０.１とした。
【0051】
図４は正解画像の例である。図中の矩形領域Ｒ１，Ｒ２は注目領域である。図５はアンダーサンプリングのパターンを示す図である。図中で、白色領域はｋ空間のうちアンダーサンプリングした一部空間であり、その一部空間以外の黒色領域の空間のデータは値０である。正解画像（図４）をフーリエ変換して得られるｋ空間データのうち、アンダーサンプリングのパターン（図５）の白色領域に相当する領域のデータのみを取り出すことで、部分ｋ空間データｙ０を作成した。
【0052】
図６は、第１断層画像作成ステップＳ１１において部分ｋ空間データｙ０に基づいて作成された第１断層画像ｘ１の一例を示す図である。図６（ａ）は第１断層画像ｘ１を示し、図６（ｂ）は第１断層画像ｘ１と正解画像（図４）との差分を示す。
【0053】
図７～図９は、ＣＮＮ学習時に損失関数としてＬＡを用いたときに作成された断層画像の一例を示す図である。図７は、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られたＣＮＮ出力断層画像ｘCNNの一例を示す図である。図７（ａ）はＣＮＮ出力断層画像ｘCNNを示し、図７（ｂ）はＣＮＮ出力断層画像ｘCNNと正解画像（図４）との差分を示す。図８は、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られた第２断層画像ｘ２の一例を示す図である。図８（ａ）は第２断層画像ｘ２を示し、図８（ｂ）は第２断層画像ｘ２と正解画像（図４）との差分を示す。図９は、ＣＮＮ処理ステップＳ１２の処理を１０回行って得られた第２断層画像ｘ２の一例を示す図である。図９（ａ）は第２断層画像ｘ２を示し、図９（ｂ）は第２断層画像ｘ２と正解画像（図４）との差分を示す。
【0054】
図１０～図１２は、ＣＮＮ学習時に損失関数としてＬＢを用いたときに作成された断層画像の一例を示す図である。図１０は、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られたＣＮＮ出力断層画像ｘCNNの一例を示す図である。図１０（ａ）はＣＮＮ出力断層画像ｘCNNを示し、図１０（ｂ）はＣＮＮ出力断層画像ｘCNNと正解画像（図４）との差分を示す。図１１は、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られた第２断層画像ｘ２の一例を示す図である。図１１（ａ）は第２断層画像ｘ２を示し、図１１（ｂ）は第２断層画像ｘ２と正解画像（図４）との差分を示す。図１２は、ＣＮＮ処理ステップＳ１２の処理を１０回行って得られた第２断層画像ｘ２の一例を示す図である。図１２（ａ）は第２断層画像ｘ２を示し、図１２（ｂ）は第２断層画像ｘ２と正解画像（図４）との差分を示す。
【0055】
図１３～図１９は、各断層画像中の注目領域Ｒ１，Ｒ２を拡大して示す図である。各図（ａ）は注目領域Ｒ１を示し、各図（ｂ）は注目領域Ｒ２を示す。図１３は、正解画像（図４）中の注目領域Ｒ１，Ｒ２を示す図である。
【0056】
図１４は、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られたＣＮＮ出力断層画像ｘCNN（図７）中の注目領域Ｒ１，Ｒ２を示す図である。図１５は、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られた第２断層画像ｘ２（図８）中の注目領域Ｒ１，Ｒ２を示す図である。図１６は、ＣＮＮ処理ステップＳ１２の処理を１０回行って得られた第２断層画像ｘ２（図９）中の注目領域Ｒ１，Ｒ２を示す図である。これら図１４～図１６は、ＣＮＮ学習時に損失関数としてＬＡを用いた場合のものである。
【0057】
図１７は、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られたＣＮＮ出力断層画像ｘCNN（図１０）中の注目領域Ｒ１，Ｒ２を示す図である。図１８は、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られた第２断層画像ｘ２（図１１）中の注目領域Ｒ１，Ｒ２を示す図である。図１９は、ＣＮＮ処理ステップＳ１２の処理を１０回行って得られた第２断層画像ｘ２（図１２）中の注目領域Ｒ１，Ｒ２を示す図である。これら図１７～図１９は、ＣＮＮ学習時に損失関数としてＬＢを用いた場合のものである。
【0058】
正解画像（図４，図１３（ａ））の注目領域Ｒ１において、実線矢印が指し示す白色に近い領域にラクナ梗塞が認められる。ラクナ梗塞とは、脳血栓の中でも脳の深い部分を流れている細い血管が詰まってしまうことで起きる脳梗塞である。ＣＮＮ学習時に損失関数としてＬＡ，ＬＢの何れを用いた場合においても、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られたＣＮＮ出力断層画像ｘCNNと比べて、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られた第２断層画像ｘ２ではラクナ梗塞が鮮明に認められ、ＣＮＮ処理ステップＳ１２の処理を１０回行って得られた第２断層画像ｘ２ではラクナ梗塞が更に鮮明に認められる。
【0059】
ＣＮＮ学習時に損失関数としてＬＡ，ＬＢの何れを用いた場合においても、注目領域Ｒ１中の破線矢印が指し示す領域に、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られたＣＮＮ出力断層画像ｘCNNと比べて、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られた第２断層画像ｘ２ではアーチファクトが低減されており、ＣＮＮ処理ステップＳ１２の処理を１０回行って得られた第２断層画像ｘ２ではアーチファクトが更に低減されている。
【0060】
正解画像（図４，図１３（ｂ））の注目領域Ｒ２において、実線矢印が指し示す領域に着目すると、ＣＮＮ学習時に損失関数としてＬＡ，ＬＢの何れを用いた場合においても、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られたＣＮＮ出力断層画像ｘCNNと比べて、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られた第２断層画像ｘ２では脳構造が鮮明に復元されており、ＣＮＮ処理ステップＳ１２の処理を１０回行って得られた第２断層画像ｘ２では脳構造が更に鮮明に復元されている。
【0061】
正解画像（図４，図１３（ｂ））の注目領域Ｒ２において、破線印が指し示す領域に着目すると、ＣＮＮ学習時に損失関数としてＬＡ，ＬＢの何れを用いた場合においても、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られたＣＮＮ出力断層画像ｘCNNと比べて、ＣＮＮ処理ステップＳ１２の処理を１回のみ行って得られた第２断層画像ｘ２ではアーチファクトが低減されており、ＣＮＮ処理ステップＳ１２の処理を１０回行って得られた第２断層画像ｘ２ではアーチファクトが更に低減されている。特に、ＣＮＮ学習時に損失関数としてＬＢを用いた場合には、ＣＮＮ処理ステップＳ１２の処理を１０回行って得られた第２断層画像ｘ２ではアーチファクトが殆ど認められない。
【0062】
図２０は、ＣＮＮ学習時に損失関数としてＬＡ，ＬＢそれぞれを用いた場合について、第１断層画像ｘ１および第２断層画像ｘ２（ＣＮＮ処理ステップＳ１２の繰り返し回数itrを１，２，５，１０）それぞれのＰＳＮＲを示すグラフである。ＰＳＮＲ（Peak Signal to Noise Ratio）は、画像の品質をデシベル（ｄＢ）で表したものであり、値が高いほど良好な画質であることを意味する。
【0063】
図２１は、ＣＮＮ学習時に損失関数としてＬＡ，ＬＢそれぞれを用いた場合について、第１断層画像ｘ１および第２断層画像ｘ２（ＣＮＮ処理ステップＳ１２の繰り返し回数itrを１，２，５，１０）それぞれのＳＳＩＭを示すグラフである。ＳＳＩＭ（Structural Similarity Index）は、画像の輝度およびコントラストならびに構造の変化を定量化する指標であり、値が高いほど良好な画質であることを意味する。
【0064】
ＰＳＮＲおよびＳＳＩＭの何れの指標も、第１断層画像ｘ１より第２断層画像ｘ２の方が画質が良好であることを示しており、ＣＮＮ処理ステップＳ１２の繰り返し回数itrを多くするほど第２断層画像ｘ２の画質が良好になることを示している。また、ＰＳＮＲおよびＳＳＩＭの何れの指標も、ＣＮＮ学習時に損失関数としてＬＡよりＬＢを用いる場合の方が、画質が良好であることを示している。
【符号の説明】
【0065】
１…ＭＲＩ装置、２…画像処理装置、１０…ｋ空間データ収集部、１１…第１断層画像作成部、１２…ＣＮＮ処理部、１３…第１ｋ空間データ作成部、１４…第２ｋ空間データ作成部、１５…第２断層画像作成部、１６…制御部、１７…記憶部、１８…表示部、ｘ１…第１断層画像、ｘ２…第２断層画像、ｘCNN…ＣＮＮ出力断層画像、ｙ０…部分ｋ空間データ、ｙ１…第１ｋ空間データ、ｙ２…第２ｋ空間データ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】