特許 7302988 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-26

(45)【発行日】2023-07-04

(54)【発明の名称】医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム

(51)【国際特許分類】

   A61B 5/055 20060101AFI20230627BHJP

   A61B 8/14 20060101ALI20230627BHJP

   A61B 6/03 20060101ALI20230627BHJP

   A61B 5/00 20060101ALI20230627BHJP

【ＦＩ】

A61B5/055 380

A61B8/14

A61B6/03 360B

A61B6/03 360T

A61B5/00 D

【請求項の数】 13

(21)【出願番号】P 2019041887

(22)【出願日】2019-03-07

(65)【公開番号】P2020141908

(43)【公開日】2020-09-10

【審査請求日】2021-06-15

(73)【特許権者】

【識別番号】320011683

【氏名又は名称】富士フイルムヘルスケア株式会社

(74)【代理人】

【識別番号】110000888

【氏名又は名称】弁理士法人山王坂特許事務所

(72)【発明者】

【氏名】金子 幸生

(72)【発明者】

【氏名】荻野 昌宏

(72)【発明者】

【氏名】野口 喜実

(72)【発明者】

【氏名】尾藤 良孝

【審査官】松岡 智也

(56)【参考文献】

【文献】特開２０１８－２０６３８２（ＪＰ，Ａ）

【文献】特表２０１３－５１２０２４（ＪＰ，Ａ）

【文献】国際公開第２０１８／２０９１９３（ＷＯ，Ａ１）

【文献】特表２０１４－５０５４９１（ＪＰ，Ａ）

【文献】井内 悠太，カーネルテンプレート化と計算再利用によるＣＮＮの計算量削減に関する検討，情報処理学会 研究報告 システム・アーキテクチャ（ＡＲＣ） ２０１８－ＡＲＣ－２３２ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2018年07月31日，Vol.2018-ARC-232 No.11，pp.1-7

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５、６／００－６／１４

(57)【特許請求の範囲】

【請求項1】

医用画像を取得する撮像部と、
前記医用画像に対して畳み込み処理を行う画像処理部と、を備え、
前記画像処理部は、
入力される画像に対して畳み込みを行う複数の層を有し、前記複数の層のうちいずれかが、予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層である学習モデルを用いて、畳み込み処理の演算を行い、画質を向上する演算部と、
前記フィルタ層について、予め定められた複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数を記憶する記憶部と、を備え、前記記憶部に記憶された前記重み係数は、前記複数の畳み込み係数のセットを用いて自由度を与えて学習させることにより決定されており、
前記学習モデルは、前記フィルタ層については、前記記憶部に記憶された畳み込み係数のセットとその重み係数を用い、前記フィルタ層以外の層は学習により自動生成させた学習モデルであることを特徴とする医用撮像装置。

【請求項2】

請求項１に記載の医用撮像装置であって、
前記複数の層を有する学習モデルは、入力データとしてのノイズの大きい画像、及び、出力データとしてのノイズの小さい画像からなるデータセットを用いて学習された学習モデルであり、前記記憶部は、前記フィルタ層以外の層の畳み込み係数として、前記学習モデルの学習によって算出された、複数の畳み込み係数のセットを含むことを特徴とする医用撮像装置。

【請求項3】

請求項１に記載の医用撮像装置であって、
前記フィルタ層が第１層であること、を特徴とする医用撮像装置。

【請求項4】

請求項２に記載の医用撮像装置であって、
前記学習モデルは、予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタを初期値として、学習により算出された畳み込み係数を含むこと、を特徴とする医用撮像装置。

【請求項5】

請求項１に記載の医用撮像装置であって、
前記演算部は、
前記医用画像におけるノイズが予め定めた基準値を超えるか否かを判定するノイズ評価部と、
前記ノイズ評価部により基準値を超えるノイズを有すると判定された前記医用画像のノイズを低減するノイズ低減部と、を備え、
前記ノイズ低減部が、前記学習モデルを用いて、前記医用画像のノイズを低減すること、
を特徴とする医用撮像装置。

【請求項6】

請求項５に記載の医用撮像装置であって、
前記ノイズ低減部によりノイズ低減処理された前記医用画像を評価する画質評価部をさらに備え、
前記画質評価部が、前記ノイズ低減部によるノイズ低減処理の内容を示す画像処理マップ、もしくは、画質評価指標をマッピングした画質マップの少なくとも一方を生成すること、を特徴とする医用撮像装置。

【請求項7】

請求項６に記載の医用撮像装置であって、
前記記憶部は、複数種類の画像学習データセットを元に学習された、複数の画像種別学習モデルを含み、
前記画質評価部が、前記画像処理マップ、もしくは、前記画質マップの少なくとも一つを用いて、前記複数の画像種別学習モデルから適切な学習モデルを選択し、前記ノイズ低減部は選択した学習モデルを適用してノイズ低減処理を行うこと、を特徴とする医用撮像装置。

【請求項8】

請求項６に記載の医用撮像装置であって、
前記記憶部は、複数種類の画像学習データセットを元に学習された、複数の画像種別学習モデルを含み、
前記画像処理マップ、もしくは、前記画質マップの少なくとも一つを表示する表示部と、前記表示部を介してユーザによる画像処理バランスの調整を受け付ける調整部と、をさらに備え、
前記ノイズ低減部は、ユーザの調整に応じて、前記複数の画像種別学習モデルから適切な学習モデルを選択して適用してノイズ低減処理を行うこと、を特徴とする医用撮像装置。

【請求項9】

請求項１に記載の医用撮像装置であって、
前記医用画像は、三次元ボリュームデータであること、を特徴とする医用撮像装置。

【請求項10】

請求項１に記載の医用撮像装置であって、
前記医用撮像装置は、核磁気共鳴撮像装置であり、
前記画像処理部は、前記核磁気共鳴撮像装置が取得したｋ空間データを用いて画像再構成を行うこと、を特徴とする医用撮像装置。

【請求項11】

請求項１０に記載の医用撮像装置であって、
前記記憶部は、
入力データとして、アンダーサンプリングにより取得されたノイズの大きい画像及び、出力データとして、フルサンプリングされたノイズの小さい画像からなるデータセットを元に学習された、複数の層を含む学習モデルによって算出された、複数の畳み込み係数のセットを含むこと、を特徴とする医用撮像装置。

【請求項12】

医用画像を取得する医用画像取得部と、
入力画像に対して、畳み込みを行う複数の層を有し、前記複数の層のうちいずれかが、予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層である学習モデルを用いて、畳み込み処理の演算を行う演算部を含み、前記医用画像に対して畳み込み処理を行う画像処理部と、
前記フィルタ層を含む前記複数の層について、予め定められた複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数を記憶する記憶部と、を備え、前記記憶部に記憶された前記重み係数は、前記複数の畳み込み係数のセットを用いて自由度を与えて学習させることにより決定されており、
前記記憶部は、入力データとしてのノイズの大きい画像及び、出力データとしてのノイズの小さい画像からなるデータセットを元に学習された、複数の層を含む学習モデルによって算出された、複数の畳み込み係数のセットを含み、
前記学習モデルは、前記フィルタ層については、前記記憶部に記憶された畳み込み係数のセットとその重み係数を用い、前記フィルタ層以外の層は学習により自動生成させた学習モデルであること、を特徴とする医用画像処理装置。

【請求項13】

医用画像を取得する医用画像取得ステップと、
前記医用画像におけるノイズが予め定めた基準値を超えるか否かを判定するノイズ評価ステップと、
前記ノイズ評価ステップにおいて基準値を超えるノイズを有すると判定された前記医用画像について、
入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、入力される画像に対して畳み込みを行う複数の層を有し、前記複数の層のうち、いずれかの層に予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含み、前記フィルタ層については、予め定められた複数の畳み込み係数のセットと当該複数の畳み込み係数のセットを用いて自由度を与えて学習させることにより決定された、各畳み込み係数の重み係数を用い、前記フィルタ層以外の層は学習により自動生成させた学習モデルを用いて、前記医用画像のノイズを低減するステップとを、コンピュータに実行させる医用画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習モデルを利用した医用撮像装置、医用画像処理装置及び方法に関する。

【背景技術】

【0002】

ＭＲＩ、ＣＴ及び超音波撮像装置等の医用画像撮像装置によって取得される医用画像において、病変や疾患の見落としを防止し、高精度な診断をするという観点から高画質化が望まれている。また、ＭＲＩにおける撮像時間の短縮や、ＣＴにおける低被ばく化、超音波撮像装置における高フレームレート撮像などの実現の為に、少ない計測データで画像再構成することが必要とされているが、その際、画像の劣化が課題となる。そこで、高画質化、特にノイズ低減について、例えば、以下（１）～（３）のような手法がある。
（１）複数種類の線形又は非線形画像フィルタを選択的に用いる、すなわち、平滑化フィルタ、平均値フィルタ、バイラテラルフィルタなどのノイズを低減させるのに有効な線形又は非線形画像フィルタを用いて、ノイズを含む画像にフィルタを畳み込み処理することでノイズを低減させる。
（２）ノイズ成分が小さくなるように補正処理を繰り返し行う（逐次再構成）。
（３）ノイズを含む画像データ（入力データセット）及びノイズを含まない画像データ（出力データセット）からなる学習セットを収集して生成された機械学習モデルを用いてノイズを低減させる（非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【文献】ISOGAWA K.他著、NOISE LEVEL ADAPTIVE DEEP CONVOLUTIONAL NEURAL NETWORK FOR IMAGE DENOISING、PROCEEINGS OF INTERNATIONAL SOCIETY FOR MAGNETIC RESONANCE IN MEDICINE、2018、vol.26,p.2797

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、線形又は非線形画像フィルタを用いる場合は、設計者の経験に基づいてその画像のノイズ低減に適したフィルタの種類等を個別具体的に選定しているため、ノイズ低減の効果に差異が生じる。また、フィルタを多段組み合わせることも可能であるが、複数のフィルタを組み合わるパターンは無数に考えられる。このため、組合せによっては、ノイズ低減効果が不十分であったり、フィルタを強くかけすぎることにより画像ボケが生じたり等の不具合が生じるなど、最適化が困難である。
逐次再構成によるノイズ低減の場合には、補正処理を繰り返し計算することから、演算に要する時間が膨大となる。

【0005】

さらに、機械学習を用いた高画質化では、従来のフィルタ等による高画質化よりも高いノイズ低減効果が得られるポテンシャルを有しているものの、一方で、必ずしもノイズを低減できるとは言えない場合が考えられる。すなわち、機械学習においては、処理が原則ブラックボックスであり、どのような処理がなされているかの解析が困難である。このため、例えば、ノイズでないものをノイズと誤判断して不適切な画像処理を行ってしまうことも考えられるが、不適切な画像処理であったか否かの解析さえも困難である。従って、例えば、医用画像の場合には、病変をノイズと誤判断して画像処理を行うことも考えられるため、医療現場において使用する際の障壁となり得る。

【0006】

本発明は、上記事情に鑑みてなされたものであり、機械学習モデルによる画像処理において、画像処理内容をできる限りホワイトボックス化し、解析可能とすることにより、不適切な画像処理を予防しつつノイズを精度よく低減させて画質を向上させることを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明は以下の手段を提供する。
本発明の一態様は、医用撮像装置であり、医用画像を取得する撮像部と、前記医用画像に対して畳み込み処理を行う画像処理部と、を備え、前記画像処理部は、予め定められた複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数を記憶する記憶部と、前記記憶部に記憶された畳み込み係数のセットとその重み係数を用いて、前記畳み込み処理の演算を行う演算部と、を備え、前記畳み込み処理により画質を向上することを特徴とする。

【0008】

本発明の他の態様は、医用画像処理装置であり、医用画像を取得する医用画像取得部と、医用画像に対して畳み込み処理を行う画像処理部と、予め定められた複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数を記憶する記憶部と、畳み込み処理の演算を行う計算機と、を備え、記憶部は、入力データとしてのノイズの大きい画像及び出力データとしてのノイズの小さい画像からなるデータセットを元に学習された、複数の層を含む学習モデルによって算出された、複数の畳み込み係数のセットを含み、前記学習モデルは、いずれかの層が、予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含み、前記畳み込み処理により画質を向上すること、を特徴とする。

【0009】

本発明のさらに他の態様は、医用画像処理プログラムであり、以下のステップをコンピュータに実行させる。医用画像を取得する医用画像取得ステップ、前記医用画像におけるノイズが予め定めた基準値を超えるか否かを判定するノイズ評価ステップ、及び、前記ノイズ評価ステップにおいて基準値を超えるノイズを有すると判定された前記医用画像について、入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、入力される画像に対して畳み込みを行う複数の層を有し、前記複数の層のうち、いずれかの層に畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含む機械学習モデルを用いて、前記医用画像のノイズを低減するステップ。

【0010】

また、本発明のさらに他の態様は、機械学習モデルであり、入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、入力される画像に対して畳み込みを行う複数の層を備え、前記複数の層のうち、いずれかの層に畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含む。

【発明の効果】

【0011】

本発明によれば、機械学習モデルによる画像処理において、画像処理内容を解析可能とすることにより、不適切な画像処理を予防しつつノイズを精度よく低減させて画質を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】第一実施形態の医用撮像装置（ＭＲＩ装置）の全体概要を示す図。

【図2】第一実施形態の、機械学習モデルを適用した医用画像処理装置（画像処理部）の概略構成を示すブロック図である。

【図3】図２の画像処理部においてノイズ低減される前後の医用画像を示す参考図である。

【図4】第一実施形態に係る機械学習モデルを構築する際の処理を説明するフローチャートである。

【図5】第一実施形態に係る機械学習モデルの参考図である。

【図6】第一実施形態に係るノイズ低減処理を説明するフローチャートである。

【図7】図２の画像処理部によりノイズ低減処理の結果の表示例を示す図である。

【図8】図２の画像処理部においてノイズ低減される前後の医用画像と共に、画像処理マップ及び画質マップを表示させた他の例を示す参考図である。

【図9】第一実施形態の変形例に係るノイズ低減処理を説明するフローチャートである。

【図10】第二実施形態の医用撮像装置（超音波撮像装置）の全体概要を示す図。

【図11】第三実施形態の医用撮像装置（Ｘ線ＣＴ装置）の全体概要を示す図。

【発明を実施するための形態】

【0013】

以下、本発明の機械学習モデルを医用撮像装置に適用した実施形態を説明する。本発明の機械学習モデルは、入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、入力される画像に対して畳み込みを行う複数の層を備える。これら複数の層のうち、いずれかの層に畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含む。
＜第一実施形態＞

【0014】

本発明を核磁気共鳴撮像装置に適用した実施形態を説明する。
なお、各実施形態を説明するための全図において、同一機能を有するものは、同一の符号を付し、その繰り返しの説明は省略する。なお、これにより本発明が限定されるものではない。

【0015】

まず、本実施形態のＭＲＩ装置の全体構成について説明する。図１は、本実施形態のＭＲＩ装置１００のブロック図である。本図に示すように、本実施形態のＭＲＩ装置１００は、静磁場を発生するマグネット１０１と、傾斜磁場を発生するコイル（傾斜磁場コイル）１０２と、静磁場均一度を調整するシムコイル１１２と、シーケンサ１０４と、高周波磁場（ＲＦ）を照射（送信）するＲＦ送信用コイル（送信コイル）１１４と、被検体１０３から発生する核磁気共鳴信号を検出（受信）するＲＦ受信用コイル（受信コイル）１１５と、被検体１０３を載置するテーブル１０７と、傾斜磁場電源１０５と、高周波磁場発生器１０６と、受信器１０８と、シム電源１１３と、ＭＲＩ装置１００の各部を制御し、撮像を実現する計算機１０９と、を備える。

【0016】

傾斜磁場コイル１０２およびシムコイル１１２は、それぞれ傾斜磁場電源１０５およびシム電源１１３に接続される。また、送信コイル１１４および受信コイル１１５は、それぞれ、高周波磁場発生器１０６および受信器１０８に接続される。

【0017】

シーケンサ１０４は、計算機１０９からの指示に従って、傾斜磁場電源１０５とシム電源１１３、および高周波磁場発生器１０６に命令を送り、それぞれ傾斜磁場およびＲＦを発生させる。ＲＦは、送信コイル１１４を通じて被検体１０３に照射（送信）される。ＲＦを照射（送信）することにより被検体１０３から発生する核磁気共鳴信号は受信コイル１１５によって検出（受信）され、受信器１０８で検波が行われる。受信器１０８での検波の基準とする磁気共鳴周波数は、計算機１０９によりシーケンサ１０４を介してセットされる。検波された信号はＡ／Ｄ変換回路を通して計算機１０９に送られ、ここで画像再構成などの信号処理が行われる。その結果は、計算機１０９に接続される表示装置１１０に表示される。検波された信号や測定条件は、必要に応じて、計算機１０９に接続される記憶装置１１１に保存される。

【0018】

本実施形態のＭＲＩ装置は、計算機１０９が作成した再構成画像に対し機械学習モデルを用いてノイズ低減処理を行う画像処理部２００を備えることが特徴である。画像処理部２００は、エコー信号から画像再構成を行う計算機１０９内に構築することも可能であるし、画像再構成部として機能する計算機１０９とは別の計算機に構築したもの、例えばＭＲＩ装置とは独立した医用画像処理装置内に構築したものであってもよい。画像処理部２００以外の各要素の構成及びＭＲＩ装置の動作は、特に断らない限り、公知のＭＲＩ装置と同様である。

【0019】

図２に画像処理部２００の概略構成図を示す。図２では、医用画像処理装置としての画像処理部２００の構成を示しているが、計算機１０９に構築される場合も同様である。
図示するように、画像処理部２００は、演算部２０１、画像取得部２０２、記憶装置２０３、メモリ２０４及び表示メモリ２０５を備えている。画像処理部２００は、画像取得部２０２を介して計算機１０９の画像再構成部から医用画像を取得して所望の画像処理を行う。また、画像処理部２００は、表示メモリ２０５を介して画像処理部２００において処理を行った画像を表示させるディスプレイ２１０と接続されている。なお画像処理部２００が独立した医用画像処理装置の場合には、図示しないモダリティや医用画像データベース等と接続され、これらから画像取得部２０２を介して医用画像を取得する。

【0020】

演算部２０１は、画像処理部２００全体を制御するとともに、画像取得部２０２が取得した医用画像に対してノイズ低減処理のための所定の演算処理（画像処理部としての主たる機能）を実行する。

【0021】

このため、図２に示すように、演算部２０１は、主要な機能としてノイズ低減部２１２を有する。さらに、必須ではないが、ノイズ評価部２１１、及び画質評価部２１３の機能を備えていてもよい。なお、これらの演算部２０１が実現するノイズ評価部２１１、ノイズ低減部２１２及び画質評価部２１３の機能は、演算部２０１等のメモリに格納されたプログラムを読み込んで実行することによりソフトウェアとして実現することができる。

【0022】

なお、演算部２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、あるいは両者の組み合わせによって構成することができる。また、演算部２０１に含まれる各部が実行する動作の一部又は全部を、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）により実現することもできる。

【0023】

ノイズ評価部２１１は、画像取得部２０２を介して取得した医用画像について、ノイズレベルを評価する。具体的には、ノイズ評価対象の医用画像が撮影されたモダリティや、部位、撮像方法毎に予め定められたノイズ基準値と、当該医用画像のノイズレベルとを比較し、ノイズが基準値を超える場合に、当該医用画像をノイズ低減処理の対象画像とする。なおノイズ評価部２１１を有しない場合には、取得した医用画像をそのままノイズ低減部２１２の処理に渡す。

【0024】

ノイズ低減部２１２は、ノイズ評価部２１１によりノイズ低減処理の対象とされた医用画像について、機械学習モデルを適用してノイズ低減処理を行う。ここでの機械学習モデルは、最適化された人工知能アルゴリズムであり、入力データに対して特定のデータを出力する関数と同様の機能を有するプログラムである。従って、機械学習モデルを記憶装置２０３に記憶させておくこともできる。参考として、ノイズ低減前後の画像を図３に示す。機械学習モデルの詳細については後述する。

【0025】

画質評価部２１３は、ノイズ低減部２１２においてノイズ低減処理が施された医用画像の画質を評価する。具体的には、画質評価部２１３は、ノイズ低減部２１２においてどのような画像処理をしたのかを示す画像処理マップ、及び、ノイズ低減処理が施された医用画像について、ＰＳＮＲ（Peak signal-to-noise ratio）、ＳＳＩＭ（Structural Similarity）等の指標をマッピングした画質マップを生成する。

【0026】

メモリ２０４は、演算部２０１が実行するプログラムや演算処理の途中経過を記憶するものである。
記憶装置２０３は、ノイズ評価部２１１がノイズ評価の際に用いるノイズ評価対象の医用画像が撮影されたモダリティや、部位、撮像方法毎に予め定められたノイズ基準値、その他、演算部２０１が実行するプログラムやプログラム実行に必要なデータを格納する。具体的には、後述する学習済みの機械学習モデルを規定する複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数が格納される。

【0027】

さらに、記憶装置２０３は、画像取得部２０２が取得した医用画像（ここではＭＲ画像）及び医用画像に係る付帯情報を格納する。付帯情報としては、例えば、医用画像を撮像したモダリティ、撮像部位、撮像時の体位・姿勢などが挙げられる。記憶装置２０３として、例えば、ハードディスク等のＣＤ／ＤＶＤ、ＵＳＢメモリ、ＳＤカード等の可搬性記録媒体とデータの授受が可能な装置を適用することができる。

【0028】

表示メモリ２０５は、ディスプレイ２１０に画像等を表示させるための表示データを一時的に格納するものである。ディスプレイ２１０は、画像処理部２００によってノイズが低減された画像及び画質評価部によって生成された画質マップ及び画像処理マップを表示することで、医用画像及び画像処理の内容をユーザに提供する。

【0029】

（機械学習モデルの構築について）
ノイズ低減部２１２は、上述のように、機械学習モデルを利用してノイズ低減処理を行う。本実施形態において、ノイズ低減に係る機械学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）を用い、短時間で撮像されたことによりノイズが比較的多い医用画像に対してノイズ低減処理を行うことで画質を向上させる。

【0030】

機械学習モデルは、例えば、図４に示すフローチャートに示す手順に従い、予め専用又は汎用のコンピュータ等を用いて構築することができる。
図４に示すように、ステップＳ１０１では、ノイズ低減のための学習に必要な学習データを収集する。例えば、ノイズを含む画像データ及びノイズを含まない（あるいはノイズが小さい）画像データを学習データセットとして複数収集する。ノイズを含む画像データとノイズを含まない画像データの例として、例えば、ｋ空間を間引いて取得したアンダーサンプリングデータとｋ空間を間引かずに取得したフルサンプリングデータとの組や、低解像度データと高解像度データとの組などがある。また，撮像時の積算回数を減らして取得した低画質画像と，高画質画像との組もある。それ以外にも、ノイズ発生条件を異ならせて取得したデータなどがありえる。

【0031】

次に、ステップＳ１０２において、収集された学習データセットに含まれる画像データの一部を切り出して学習パッチを作成する。例えば、５１２×５１２のサイズの画像データから、３２×３２のパッチを複数枚作成する。ステップＳ２０３において、全ての学習パッチを入力して特徴量を学習させて機械学習モデル（ノイズ低減用ネットワーク）を構築する。

【0032】

このような手順で生成された機械学習モデルは、図５に示すように、複数の畳み込み層からなるネットワークである。図５の例では、各畳み込み層で抽出される特徴量をＮ１，Ｎ２，・・・、処理対象のカーネルサイズをｆ１，ｆ２，・・・、各カーネルの畳み込み係数のセットを（ｋ１１、ｋ１２、ｋ１３、・・・）、（ｋ２１、ｋ２２、ｋ２３、・・・）、・・・、各畳み込み係数のセットの重み係数をｗ１、ｗ２、・・・、としている。これら複数の畳み込み層における、畳み込み係数のセット及び各畳み込み係数のセットの重み係数は、記憶装置２０３に格納され、ノイズ低減処理に用いられる。

【0033】

ここで、一般的な畳み込みニューラルネットワークにおける各畳み込み層は、元の画像からフィルタにより特徴点を凝縮する処理を行うものであり、カーネルに対して初期値をランダムに与えて処理を実行している。各畳み込み層は、元の画像にフィルタをかける処理を行うが、このフィルタは自動作成され、学習により変化していく。このため、算出されたカーネルを見てもどのような処理をしているか解析が困難である。

【0034】

そこで、本実施形態に係る機械学習モデルでは、複数の畳み込み層のうち、前段の何れかの層を畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層となるように構築する。フィルタ層は、第１層であることが好ましい。フィルタ層に適用する線形又は非線形フィルタは、例えば、平滑化フィルタ、平均化フィルタ、微分フィルタ、２次微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタ、鮮鋭化フィルタなどが挙げられる。これらの各フィルタに対する重み付けについては、機械学習モデルを構築する際に自由度を与えて学習させ決定する。フィルタ層以降は、カーネル特性にも自由度を与えて学習させることにより機械学習モデルを構築する。なお、フィルタ層に適用するフィルタは、平滑化フィルタ、平均化フィルタ、微分フィルタ、２次微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタ、鮮鋭化フィルタのような既存フィルタでもいいし、別方法により設計されたフィルタを適用してもよい。また、フィルタ層は全層に入れてもよい。さらに、ネットワーク構造は、図５ではＳＲＣＮＮ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ ＣＮＮ）を例に示しているが、Ｕ－Ｎｅｔなど他のネットワーク構造でもよい。

【0035】

このように構築された機械学習モデルを用いてノイズ低減を行う場合には、ネットワーク前段（第１層）のフィルタ層が、機械学習により自動生成されたフィルタでなく、畳み込み係数が予め定められた複数の線形又は非線形フィルタからなる、既知のものであるため、どのような処理をしているか解析が容易となる。つまり、例えば、平滑化フィルタ０．７、先鋭化フィルタ０．３の割合で使用している等の処理内容を解析することができる。また、特に、フィルタ層を第一層とすることで、入力画像が第一層である程度ノイズ低減されるため、残りのノイズ成分に対してのみ、機械学習モデルにより自動生成されたフィルタでノイズ低減を行えばよい。

【0036】

機械学習モデルの構築においては、一般には大量の学習データセットを収集して反復学習させる必要があるが、第１層をフィルタ層として定めているため、機械学習モデルの構築に要する学習データセットの量及び演算コストを低減させることができる。

【0037】

このように構成された画像処理部２００では、図６のフローチャートに従ってノイズ低減処理が行われる。まず、ステップＳ２０１において、画像取得部２０２を介して医用画像を取得する。次のステップＳ２０２において、取得した医用画像のノイズレベルを評価する。ノイズレベルの評価は、例えば、ＳＤ（標準偏差）などを用いることができる。

【0038】

ステップＳ２０３において、ステップＳ２０２で評価されたノイズレベルと、記憶装置２０３に記憶された基準値とを比較し、医用画像のノイズレベルが基準値を超えるか否かを判定する。ステップＳ２０３の判定において、医用画像のノイズレベルが基準値を超えた場合には、ステップＳ２０４に進み、機械学習モデルを用いたノイズ低減処理を行う。ステップＳ２０３の判定において、医用画像のノイズレベルが基準値を下回る場合には、ノイズ低減処理を行わずに本処理を終了する。

【0039】

ノイズ低減処理された画像は、表示メモリ２０５を介してディスプレイ２０１に表示させることができる。この時、画質評価部２１３は、ノイズ低減処理が施された医用画像について画像処理マップ及び画質マップの何れか一方又は両方を生成し、表示メモリ２０５に出力する。ディスプレイ２１０は、画像処理マップ及び画質マップを単独で又はノイズ低減処理が施された医用画像と共にディスプレイ２１０に表示させることができる。

【0040】

図７及び図８に、ディスプレイ２１０に表示される表示画面の例を示す。図７の例では、画像処理マップ７０１及び画質マップ７０２が表示されている。画像処理マップは、ノイズ低減部２１２が行った処理をマッピングした画像で、これを見ることでユーザは先鋭化と平滑化がどのような割合で行われたかを知ることができる。また画質マップは、ＰＳＮＲ（ピークＳＮ比）やＳＳＩＭ（類似度）等の指標をマッピングした画像であり、ユーザは指標が良好な部分とそうではない部分とを確認することができる。さらに後述する変形例で述べるように複数種類の学習済み機械学習モデルが格納されている場合には、画質マップの指標に応じて、別の学習済み機械学習モデルを用いて再度ノイズ低減処理を行ってもよい。この処理は、ユーザの指示で行ってもよいが、画像処理部が画質マップの指標を元に判断してもよい。

【0041】

また、図８の例では、画像処理マップ８０１及び画質マップ８０２に加えて、入力画像（ノイズ低減前）８０３、出力画像（ノイズ低減後）８０４、及び、ユーザに手動で画像処理バランスを調整するためのバー８０５を表示させたＧＵＩが表示されている。このような画像処理バランス調整バー８０５により、ユーザは、現在表示されている画像処理マップ８０１よりも、先鋭度あるいは平滑度を高く／低くするなどの指示を画像処理部２００に送ることができ、画像処理部２００はこのユーザ指示を受けて、後述する変形例で述べるように複数種類の学習モデルから最適な学習モデルを選択して、処理を行う。
なお図７及び図８では、画像処理マップ及び画質マップを両方表示した例を示したが、これらのうち一つのマップのみを表示させてもよい。

【0042】

以上述べた如く、本実施形態によればノイズ低減処理に、ノイズを含む画像と含まない画像との複数の組を用いて学習された機械学習モデルを用いることからノイズ低減効果が向上し高画質の医用画像を取得することができる。また、機械学習モデルの畳み込み層の前段（第一層）のフィルタ層を、機械学習により自動生成されたフィルタでなく、畳み込み係数が予め定められた複数の線形又は非線形フィルタからなる既知の特性を持つ層としているため、ノイズ低減処理の内容の解析が容易となる。つまり、例えば、平滑化フィルタ０．７、先鋭化フィルタ０．３の割合で使用している等の処理内容を解析することができる。この解析結果をディスプレイ２０１に表示させてもよい。

【0043】

従って、ノイズ低減が誤判断に基づくような場合であっても、処理内容の解析が容易となることから、誤判断か否かを把握することができ、精度の高いノイズ低減処理が可能となる。特に、画像処理マップ及び画質マップをノイズ低減後の画像と共に表示させることで、ユーザに対して、ノイズ低減処理の内容を視覚的に提供することができる。

【0044】

（変形例）
なお、ノイズ低減処理の対象となる医用画像の種類、部位、撮像条件等に応じて機械学習モデルを複数用意しておき、ノイズ低減処理の際に、最適な機械学習モデルを選択する構成とすることもできる。この場合には、図９に示すフローチャートに従って処理を行う。
すなわち、画像処理部２００は、ステップＳ３０１において、画像取得部２０２を介して医用画像を取得する。次のステップＳ３０２において、取得した医用画像のノイズレベルを評価する。

【0045】

ステップＳ３０３において、ステップＳ３０２で評価されたノイズレベルと、記憶装置１０３に記憶された基準値とを比較し、医用画像のノイズレベルが基準値を超えるか否かを判定する。ステップＳ３０３の判定において、医用画像のノイズレベルが基準値を超えた場合には、ステップＳ３０４に進む。このステップＳ３０４では、記憶装置２０３に格納されている医用画像の付帯情報（画像の種類、部位、撮像条件等の情報）を用いて、それら情報と紐付けられた、当該医用画像に最適な機械学習モデルを選択する。或いは、ユーザが最適な機械学習モデルを選択するのに必要な情報を入力し、それをもとに最適な機械学習モデルをしてもよい。例えば、図８に示したように、画像処理バランス調整バー８０５のユーザ操作によって処理バランスの指示を受付けた場合には、指示された処理バランスの処理を行う機械学習モデルを選択する。

【0046】

その後は、上記実施形態と同様であり、ステップＳ３０５において選択された機械学習モデルを用いてノイズ低減処理を行う。ステップＳ３０３の判定において、医用画像のノイズレベルが基準値を下回る場合には、ノイズ低減処理を行わずに本処理を終了する。

【0047】

なお、処理対象である画像データは、空間的な三次元ボリュームデータでもいいし、時間軸方向も含めた四次元データでもよい。また、画像データは、絶対値データでもいいし、位相データでもいいし、複素データでもいい。また、Ｔ１強調画像、Ｔ２強調画像のような組織構造を可視化した画像だけでなく、ＭＲＡのように血流を可視化する画像や、拡散係数等の定量値を可視化する画像に適用してもいい。

【0048】

本実施形態の核磁気共鳴撮像装置によれば、少ないサンプリング数で取得したノイズの大きな画像から、サンプリング数の多い低ノイズ画像を取得することが可能となるため、たとえば、撮像時間を短縮することが可能となる。

【0049】

＜第二実施形態＞
本発明を超音波撮像装置に適用した実施形態を説明する。
超音波撮像装置４００の全体概要を図１０に示す。この装置は、超音波撮像部４１０と、超音波撮像部４１０から受信した超音波信号を用いて画像再構成等の演算を行う画像処理部４２０とからなる。

【0050】

超音波撮像部４１０は、従来の超音波撮像装置と同様の構成を備えており、超音波を発信する超音波探触子４１１、探触子４１１に超音波駆動信号を送る送信部４１２、探触子４１１からの超音波信号（ＲＦ信号）を受信する超音波受信部４１３、超音波受信部４１３が受信した信号を整相加算（ビームフォーミング）する整相加算部４１５、及び、超音波送信部４１２及び超音波受信部４１３を制御する超音波送受信制御部４１４を備える。

【0051】

画像処理部４２０は、撮像部４１０が取得した超音波信号から超音波画像を生成して第一実施形態の画像処理部２００の演算部２０１と同様の処理を行う演算部４２１と、入力部４２２と、表示部４２３と、記憶装置４２４とを備える。演算部４２１は、さらにドプラー処理部（不図示）などを備えていてもよい。図示する構成例では、超音波送受信制御部４１４及び演算部４２１は一つのＣＰＵ内に構築されているが、超音波送受信制御部４１４は、演算部４２１とは別のＣＰＵ内に構築されていてもよいし、送受信回路等のハードウェアと制御ソフトウェアとの組み合わせであってもよい。

【0052】

演算部４２１の構成及び機能は、第一実施形態の演算部２０１と同様であり、図２に示したように、ノイズ評価部２１１、ノイズ低減部２１２、及び画質評価部２１３を備えている。ノイズ評価部２１１及び画質評価部２１３は省略することも可能である。

【0053】

本実施形態のノイズ低減部２１２で用いる学習モデルを構築するための学習用データには、画質の異なる超音波画像（例えば、Ｂモード像）を用意する。一例として、フレームレートを落として高解像度を実現した画像と、高フレームレートで撮像した画像との組み合わせなどが挙げられる。このような学習用データを用いて、第一実施形態と同様に（図４のフローチャート）学習モデルを構築する。この学習モデルも、複数の層を含む学習モデルであって、図５に示したように、例えば、第１層が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層である。
このような学習モデルは、例えば、超音波画像の種類、部位、撮像条件等に応じて複数用意することができる。

【0054】

撮像においては、超音波撮像部４１０において探触子４１１が受信した超音波を整相加算し、画像処理部４２０に超音波信号を送信する。画像処理部４２０は、第一実施形態と同様の処理を行う。まず超音波信号から超音波画像を生成し、ノイズ評価部２１１が生成された超音波画像のノイズを評価する。ノイズが記憶装置４２４に予め格納された基準値以下であれば、ノイズ低減処理を行うことなく超音波画像を表示部４２３に表示する。超音波画像のノイズが基準値を超える場合には、ノイズ低減部２１２が上述した学習モデルを用いてノイズ低減処理を行う。すなわちもとの画像を入力として、ノイズが低減された画像を出力する。この場合、予め複数の学習モデルが用意されている場合には、撮像の目的に合わせて最適な学習モデルを選択してノイズ低減処理を行う。
ついで画質評価部２１３において、ノイズ低減処理後の画像の画質を評価し、処理結果を示す画像（画像処理マップや画質マップ）を作成してもよい。処理結果を示す画像を表示部４２３にすること、その表示画面において処理バランスのユーザ指示を受付けてもよいことは、第一実施形態と同様である。

【0055】

本実施形態の超音波撮像装置によれば、少ないサンプリング数で取得したノイズの大きな画像から、サンプリング数の多い低ノイズ画像を取得することが可能となるため、たとえば、高フレームレート撮像などを行うことが可能となる。

【0056】

＜第三実施形態＞
本発明をＣＴ装置に適用した実施形態を説明する。
ＣＴ装置５００の全体概要を図１１に示す。この装置は、大きく分けてＣＴ撮像部５１０と、ＣＴ撮像部５１０が受信したＣＴ画像信号を用いて画像再構成等の演算を行う画像処理部５２０とからなる。

【0057】

ＣＴ撮像部５１０は、従来のＣＴ装置と同様の構成を備えており、被検体１０３にＸ線を照射するＸ線源５１１と、Ｘ線の放射範囲を制限するコリメータ５１３と、被検体１０３を透過した透過Ｘ線を検出するＸ線検出器５１６と、中央に開口５１４を有してＸ線源５１１及びＸ線検出器５１６を対向する位置で支持する回転板５１２と、開口５１４内の空間で被検体１０３を搭載する寝台５１５と、Ｘ線検出器５１６の出力を投影データ毎に収集するデータ収集部５１７と、ＣＴ撮像部５１を構成する各要素の動作を制御するシステム制御部５１８とを備えている。

【0058】

画像処理部５２０は、撮像部５１０が生成した断層画像（ＣＴ画像）に対して、第一実施形態の演算部２０１と同様の処理を行う演算部５２１と、入力部５２２と、表示部５２３と、記憶装置５２４とを備える。また図示する構成例では、システム制御部５１８及び演算部５２１は一つのＣＰＵ内に構築されているが、システム制御部５１８は、演算部５２１とは別のＣＰＵ内に構築されていてもよいし、ハードウェアと制御ソフトウェアとの組み合わせであってもよい。同様に画像処理部５２０の機能の一部をハードウェアで構成することも可能である。

【0059】

演算部５２１の機能は、第一実施形態の画像処理部２００の演算部２０１の機能と同様であり、図２に示したように、ノイズ評価部２１１、ノイズ低減部２１２、及び画質評価部２１３を備えている。

【0060】

本実施形態のノイズ低減部２１２で用いる学習モデルを構築するための学習用データには、画質の異なるＣＴ画像を用意する。一例として、高線量で取得した高解像度画像と、低線量で取得した低解像度画像との組み合わせなどが挙げられる。このような学習用データを用いて、第一実施形態と同様に（図４のフローチャート）学習モデルを構築する。この学習モデルも、複数の層を含む学習モデルであって、図５に示したように、例えば、第１層が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層である。
このような学習モデルは、例えば、撮像部位、撮像条件等に応じて複数用意することができる。

【0061】

撮像においては、ＣＴ撮像部５１０においてＸ線検出器５１６が検出した透過Ｘ線のＸ線信号を、データ収集部５１７が収集して画像処理部５２０に送信する。画像処理部５２０は、第一実施形態と同様に、まず画像再構成部がＣＴ画像を生成し、生成されたＣＴ画像に対し、第一実施形態と同様の処理を行う。まずノイズ評価部２１１が生成されたＣＴ画のノイズを評価する。ノイズが記憶装置５２４に予め格納された基準値以下であれば、ノイズ低減処理を行うことなくＣＴ画を表示部（出力部）５２３に表示する。ＣＴ画のノイズが基準値を超える場合には、ノイズ低減部２１２が上述した学習モデルを用いてノイズ低減処理を行う。すなわちもとの画像を入力として、ノイズが低減された画像を出力する。この場合、予め複数の学習モデルが用意されている場合には、撮像の目的に合わせて最適な学習モデルを選択してノイズ低減処理を行う。

【0062】

ついで画質評価部２１３において、ノイズ低減処理後の画像の画質を評価し、処理結果を示す画像（画像処理マップや画質マップ）を作成してもよい。処理結果を示す画像を表示部５２３にすること、その表示画面において処理バランスのユーザ指示を受付けてもよいことは、第一及び第二実施形態と同様である。

【0063】

本実施形態のＣＴ装置によれば、低線量で取得したノイズの大きな画像から、高線量で取得可能な低ノイズ画像を取得することが可能となるため、被爆の少ない撮像で高精度な診断を行うことが可能となる。
以上、本発明の医用撮像装置とその画像処理部の各実施形態を説明したが、各撮像装置における画像処理部は、前述したように各撮像装置とは独立した画像処理装置であってもよい。

【符号の説明】

【0064】

１００・・・ＭＲＩ装置（医用撮像装置）、２００・・・画像処理部（医用画像処理装置）、２０１・・・演算部、２０２・・・画像取得部、２０３・・・記憶装置、２０４・・・メモリ、２０５・・・表示メモリ、２１１・・・ノイズ評価部、２１２・・・ノイズ低減部、２１３・・・画質評価部、２１０・・・ディスプレイ、４００・・・超音波撮像装置（医用撮像装置）、４１０・・・超音波撮像部、４２０・・・画像処理部（医用画像処理装置）、５００・・・ＣＴ装置（医用撮像装置）、５１０・・・ＣＴ撮像部、５２０・・・画像処理部（医用画像処理装置）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】