(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024054668
(43)【公開日】2024-04-17
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G06T 5/70 20240101AFI20240410BHJP
A61B 6/03 20060101ALI20240410BHJP
G01T 1/161 20060101ALI20240410BHJP
A61B 5/055 20060101ALI20240410BHJP
G06T 1/00 20060101ALI20240410BHJP
G06T 1/40 20060101ALI20240410BHJP
【FI】
G06T5/00 705
A61B6/03 360B
A61B6/03 360T
G01T1/161 A
G01T1/161 C
A61B5/055 380
G06T1/00 290A
G06T1/40
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022161053
(22)【出願日】2022-10-05
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100110582
【弁理士】
【氏名又は名称】柴田 昌聰
(72)【発明者】
【氏名】大西 佑弥
(72)【発明者】
【氏名】橋本 二三生
【テーマコード(参考)】
4C093
4C096
4C188
5B057
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA06
4C093FD03
4C093FF09
4C096AB07
4C096AD14
4C096DC05
4C096DC40
4C188EE02
4C188FF07
4C188KK24
5B057AA07
5B057AA08
5B057AA09
5B057BA03
5B057BA07
5B057CE02
5B057DC40
(57)【要約】
【課題】DIP技術を用いたノイズ低減処理においてCNN過学習による画質劣化を抑制することができる画像処理装置および画像処理方法を提供する。
【解決手段】画像処理装置1は、処理部11および学習部12を備え、対象画像23に対してノイズ低減処理を行う。処理部11は、CNNに入力画像21を入力させて、該CNNから出力画像22を出力させる。学習部12は、出力画像22および対象画像23に基づく評価関数を用いて、この評価関数の値に基づいてCNNを学習させる。評価関数は、出力画像と対象画像との間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む。画像処理装置1は、処理部11および学習部12それぞれの処理を複数回繰り返し行って、或る回数繰り返し行った後の出力画像22をノイズ低減処理後の画像とする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象画像に対しノイズ低減処理を行う装置であって、
畳み込みニューラルネットワークに入力画像を入力させて前記畳み込みニューラルネットワークから出力画像を出力させる処理部と、
前記出力画像と前記対象画像との間の誤差に関する評価値を表す誤差評価項と、前記出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させる学習部と、
を備え、
前記処理部および前記学習部それぞれの処理を複数回繰り返し行った後の前記出力画像をノイズ低減処理後の画像とする、
画像処理装置。
【請求項2】
前記対象画像は、放射線断層撮影装置により収集された同時計数情報に基づいて作成された被検体の断層画像である、
請求項1に記載の画像処理装置。
【請求項3】
前記処理部は、前記被検体の形態情報を表す画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項2に記載の画像処理装置。
【請求項4】
前記処理部は、前記被検体のMRI画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項2に記載の画像処理装置。
【請求項5】
前記処理部は、前記被検体のCT画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項2に記載の画像処理装置。
【請求項6】
前記処理部は、前記被検体の静的PET画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項2に記載の画像処理装置。
【請求項7】
前記処理部は、ランダムノイズ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項1または2に記載の画像処理装置。
【請求項8】
対象画像に対しノイズ低減処理を行う方法であって、
畳み込みニューラルネットワークに入力画像を入力させて前記畳み込みニューラルネットワークから出力画像を出力させる処理ステップと、
前記出力画像と前記対象画像との間の誤差に関する評価値を表す誤差評価項と、前記出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させる学習ステップと、
を備え、
前記処理ステップおよび前記学習ステップそれぞれの処理を複数回繰り返し行った後の前記出力画像をノイズ低減処理後の画像とする、
画像処理方法。
【請求項9】
前記対象画像は、放射線断層撮影装置により収集された同時計数情報に基づいて作成された被検体の断層画像である、
請求項8に記載の画像処理方法。
【請求項10】
前記処理ステップにおいて、前記被検体の形態情報を表す画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項9に記載の画像処理方法。
【請求項11】
前記処理ステップにおいて、前記被検体のMRI画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項9に記載の画像処理方法。
【請求項12】
前記処理ステップにおいて、前記被検体のCT画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項9に記載の画像処理方法。
【請求項13】
前記処理ステップにおいて、前記被検体の静的PET画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項9に記載の画像処理方法。
【請求項14】
前記処理ステップにおいて、ランダムノイズ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項8または9に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象画像に対しノイズ低減処理を行う装置および方法に関するものである。
【背景技術】
【0002】
ノイズを含む画像に対し該ノイズを低減する処理を行う技術として様々なものが知られている。様々なノイズ低減処理技術のうちでも、深層ニューラルネットワークの一種である畳み込みニューラルネットワークを用いたDeep Image Prior技術を利用する技術が注目されている。以下では、畳み込みニューラルネットワーク(Convolutional Neural Network)を「CNN」といい、Deep Image Prior技術を「DIP技術」という。DIP技術は、画像中の意味のある構造の方がランダムなノイズより早く学習される(すなわち、ランダムなノイズは学習されにくい)というCNNの性質を利用する。DIP技術により、対象画像のノイズを低減することができる。
【0003】
例えば、PET(Positron Emission Tomography)装置およびSPECT(Single Photon Emission Computed Tomography)装置等の放射線断層撮影装置により取得された被検体の断層画像は、ノイズを多く含むので、ノイズ低減処理を行うことが必要となる。特許文献1に開示された発明は、PET装置により収集された同時計数情報に基づいて再構成された被検体の断層画像を対象画像として、DIP技術を用いてノイズ低減処理後の断層画像を作成する。
【先行技術文献】
【特許文献】
【0004】
【非特許文献】
【0005】
【非特許文献1】J. Nuyts et al. "A concaveprior penalizing relative differences for maximum-a-posteriori reconstructionin emission tomography." IEEE TNS. 49:1, 56-60, 2002.
【非特許文献2】工藤博, "低被曝CTにおける画像再構成法- 統計的画像再構成, 逐次近似画像再構成,圧縮センシングの基礎 -," Medical ImagingTechnology 32.4 (2014): 239-248.
【非特許文献3】Chambolle, Antonin. "Analgorithm for total variation minimization and applications." Journal ofMathematical imaging and vision 20.1 (2004): 89-97.
【発明の概要】
【発明が解決しようとする課題】
【0006】
DIP技術を用いたノイズ低減処理は、ノイズ低減性能が優れているものの、CNNの過学習による画質劣化の問題を有している。すなわち、DIP技術は、上述したとおり、ランダムなノイズが学習されにくいというCNNの性質を利用するものであるが、CNNの学習の回数が増えるに従ってランダムなノイズも復元されていくことになる。このように、CNNの過学習により、ランダムなノイズも復元されていくことで、画質が劣化してしまう。
【0007】
本発明は、上記問題点を解消する為になされたものであり、DIP技術を用いたノイズ低減処理においてCNN過学習による画質劣化を抑制することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、対象画像に対しノイズ低減処理を行う装置である。
本発明の画像処理装置の第1態様は、(1) 畳み込みニューラルネットワークに入力画像を入力させて畳み込みニューラルネットワークから出力画像を出力させる処理部と、(2) 出力画像と対象画像との間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて畳み込みニューラルネットワークを学習させる学習部と、を備える。そして、処理部および学習部それぞれの処理を複数回繰り返し行った後の出力画像をノイズ低減処理後の画像とする。
【0009】
本発明の画像処理装置は、次のような態様としてもよい。
第2態様では、第1態様に加えて、対象画像は、放射線断層撮影装置により収集された同時計数情報に基づいて作成された被検体の断層画像である。
第3態様では、第2態様に加えて、処理部は、被検体の形態情報を表す画像を入力画像として畳み込みニューラルネットワークに入力させる。
第4態様では、第2態様に加えて、処理部は、被検体のMRI画像を入力画像として畳み込みニューラルネットワークに入力させる。
第5態様では、第2態様に加えて、処理部は、被検体のCT画像を入力画像として畳み込みニューラルネットワークに入力させる。
第6態様では、第2態様に加えて、理部は、被検体の静的PET画像を入力画像として畳み込みニューラルネットワークに入力させる。
第7態様では、第1態様または第2態様に加えて、処理部は、ランダムノイズ画像を入力画像として畳み込みニューラルネットワークに入力させる。
【0010】
本発明の画像処理方法は、対象画像に対しノイズ低減処理を行う方法である。
本発明の画像処理方法の第1態様は、(1) 畳み込みニューラルネットワークに入力画像を入力させて畳み込みニューラルネットワークから出力画像を出力させる処理ステップと、(2) 出力画像と対象画像との間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて畳み込みニューラルネットワークを学習させる学習ステップと、を備える。そして、処理ステップおよび学習ステップそれぞれの処理を複数回繰り返し行った後の出力画像をノイズ低減処理後の画像とする。
【0011】
本発明の画像処理方法は、次のような態様としてもよい。
第2態様では、第1態様に加えて、対象画像は、放射線断層撮影装置により収集された同時計数情報に基づいて作成された被検体の断層画像である。
第3態様では、第2態様に加えて、処理ステップにおいて、被検体の形態情報を表す画像を入力画像として畳み込みニューラルネットワークに入力させる。
第4態様では、第2態様に加えて、処理ステップにおいて、被検体のMRI画像を入力画像として畳み込みニューラルネットワークに入力させる。
第5態様では、第2態様に加えて、処理ステップにおいて、被検体のCT画像を入力画像として畳み込みニューラルネットワークに入力させる。
第6態様では、第2態様に加えて、処理ステップにおいて、被検体の静的PET画像を入力画像として畳み込みニューラルネットワークに入力させる。
第7態様では、第1態様または第2態様に加えて、処理ステップにおいて、ランダムノイズ画像を入力画像として畳み込みニューラルネットワークに入力させる。
【発明の効果】
【0012】
本発明によれば、DIP技術を用いたノイズ低減処理においてCNN過学習による画質劣化を抑制することができる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、画像処理装置1の構成を示す図である。
【
図3】
図3は、出力画像における隣接画素について説明する図である。
【
図4】
図4は、入力画像(MRI画像)を示す図である。
【
図5】
図5は、ファントム画像(正解画像)を示す図である。
【
図7】
図7は、比較例の画像処理方法によるノイズ低減処理により生成された出力画像を示す図である。
【
図8】
図8は、実施例1の画像処理方法によるノイズ低減処理により生成された出力画像を示す図である。
【
図9】
図9は、実施例2の画像処理方法によるノイズ低減処理により生成された出力画像を示す図である。
【
図10】
図10は、実施例3の画像処理方法によるノイズ低減処理により生成された出力画像を示す図である。
【
図11】
図11は、実施例1~3および比較例それぞれについてCNN学習回数と出力画像のPSNRとの間の関係を示すグラフである。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0015】
図1は、画像処理装置1の構成を示す図である。画像処理装置1は、対象画像23に対してノイズ低減処理を行うものである。画像処理装置1は、畳み込みニューラルネットワーク(CNN)を用いた処理を行うGPU(Graphics Processing Unit)、操作者の入力を受け付ける入力部(例えばキーボードやマウス)、画像等を表示する表示部(例えば液晶ディスプレイ)、および、様々な処理を実行する為のプログラムやデータを記憶する記憶部を備える。画像処理装置1として、CPU、RAM、ROMおよびハードディスクドライブ等を有するコンピュータが用いられる。
【0016】
画像処理装置1は、処理部11および学習部12を備える。また、画像処理装置1を用いて対象画像23に対してノイズ低減処理を行う画像処理方法は、処理ステップおよび学習ステップを備える。処理部11は、CNNに入力画像21を入力させて、該CNNから出力画像22を出力させる(処理ステップ)。学習部12は、出力画像22および対象画像23に基づく評価関数を用いて、この評価関数の値に基づいてCNNを学習させる(学習ステップ)。画像処理装置1は、DIP技術に従い、処理部11および学習部12それぞれの処理を複数回繰り返し行って、或る回数繰り返し行った後の出力画像22をノイズ低減処理後の画像とする。
【0017】
ノイズ低減処理の対象である対象画像23は任意でよい。入力画像21も任意でよい。この図では、対象画像23としてPET画像の例が示され、入力画像21としてMRI画像の例が示されている。入力画像21はランダムノイズ画像であってもよい。放射線断層撮影装置(例えばPET装置やSPECT装置)により取得された被検体の断層画像を対象画像23とする場合、入力画像21は、被検体の形態情報を表す画像であってもよいし、被検体のMRI画像、CT画像または静的PET画像であってもよい。対象画像23は、2次元画像であってもよいし、3次元画像であってもよい。対象画像23が2次元画像である場合、入力画像21および出力画像22も2次元画像である。対象画像23が3次元画像である場合、入力画像21および出力画像22も3次元画像である。
【0018】
図2は、CNNの構成例を示す図である。この図に示されるCNNは、エンコーダとデコーダとを含む3次元U-net構造のものである。この図には、CNNに入力される入力画像21の画素数をN×N×64として、CNNの各層のサイズが示されている。
【0019】
次に、学習ステップにおいて学習部12が用いる評価関数について説明する。CNNによる処理をfとし、CNNに入力される入力画像21をgとし、CNNの学習状態を表す重み係数パラメータをθとする。CNNの学習の進展に従ってθは変化していく。重み係数がθであるCNNに入力画像gが入力されたときにCNNから出力される出力画像22をfθ(g)と表す。対象画像23をx0とする。
【0020】
評価関数Eは、任意でよく、例えば、L1ノルム、L2ノルム、ポアソン分布における負の対数尤度などを用いることができるが、ここでは、下記(1)式で表される平均二乗誤差(Mean Squared Error、MSE)で表す。この評価関数Eは、出力画像fθ(g)と対象画像x0との間の誤差に関する評価値を表す誤差評価項のみを含む。
【0021】
【0022】
下記(2)式に示される評価関数Eは、誤差評価項(右辺第1項)に加えて、CNN過学習を抑制する為の正則化項(右辺第2項)をも含む。この正則化項は、出力画像fθ(g)における隣接画素間の画素値の差に関する評価値を表す。この正則化項は、出力画像における隣接画素間の画素値の差にペナルティを課す。βは、正則化の効果の程度を調整するハイパーパラメータである。βが小さいほど、正則化の効果は小さい。βが大きいほど、正則化の効果(すなわち、CNN過学習の抑制の効果)は大きい。
【0023】
【0024】
2次元画像の場合、或る画素に隣接する画素には、互いに直交する2方向それぞれに隣接する画素が含まれ、また、好適には斜め方向に隣接する画素も含まれる。2次元画像の場合、その画像の端または角に位置する画像を除いて、或る画素に隣接する画素の数は8である。3次元画像の場合、或る画素に隣接する画素には、互いに直交する3方向それぞれに隣接する画素が含まれ、また、好適には斜め方向に隣接する画素も含まれる。3次元画像の場合、その画像の端または角に位置する画像を除いて、或る画素に隣接する画素の数は26である。
【0025】
図3は、出力画像における隣接画素について説明する図である。この図は、出力画像を2次元画像として示し、そのうちの3×3画素を示している。この図で中央にある画素の画素値をλ
jとし、この中央画素に隣接する8個の画素の画素値をλ
k(k=1~8)とすると、この中央画素に関して隣接画素間の画素値の差は|λ
j-λ
k| で表される。正則化項は、出力画像における隣接画素の全ての組合せについて画素値の差に関する評価値を表す。
【0026】
正則化項は、出力画像における隣接画素間の画素値の差に関する評価値を表すものであればよく、様々な式で表され得る。例えば正則化項は下記(3)式で表される。この(3)式において、Njは、画素jに隣接する画素kの集合を表す。γは、画素値λjの変化に対する正則化項の値の変化の大きさを表す。この(3)式は、分子に隣接画素の画素値の差の項を含み、分母に隣接画素の画素値の和の項を含んでおり、出力画像における隣接画素間の相対的な画素値の差に関する評価値を表している。
【0027】
【0028】
なお、(3)式は、非特許文献1に記載された式と類似している。しかし、非特許文献1では、(3)式に類似する式は、PET装置により収集された同時計数情報に基づいて被検体の断層画像を再構成する処理の際に用いられているのであって、DIP技術により断層画像に対してノイズ低減処理をする際に用いられているのではない。
【0029】
また、正則化項として、例えば、 Gibbs prior(非特許文献2)や Total variation(非特許文献3)等を用いてもよい。なお、これらの文献も、被検体の断層画像を再構成処理する技術について記載したものであって、DIP技術により断層画像に対してノイズ低減処理をする技術について記載したものではない。
【0030】
次に、デジタル脳ファントム画像を用いて頭部用PET装置のモンテカルロ・シミュレーションによりシミュレーションデータ(対象画像)を作成し、この対象画像に対してノイズ低減処理を行った結果について説明する。ファントム画像は、BrainWeb(https://brainweb.bic.mni.mcgill.ca/brainweb/)から入手したものである。
【0031】
図4~
図10は、シミュレーションで用いた画像またはノイズ低減処理後の画像を示す。
図4は、入力画像(MRI画像)を示す図である。
図5は、ファントム画像(正解画像)を示す図である。
図6は、対象画像を示す図である。
図7は、比較例の画像処理方法によるノイズ低減処理により生成された出力画像を示す図である。
図8は、実施例1の画像処理方法によるノイズ低減処理により生成された出力画像を示す図である。
図9は、実施例2の画像処理方法によるノイズ低減処理により生成された出力画像を示す図である。
図10は、実施例3の画像処理方法によるノイズ低減処理により生成された出力画像を示す図である。これらの図には、(a)横断面の断層画像、(b)冠状断面の断層画像および(c)矢状断面の断層画像が示されている。
【0032】
比較例では、上記(1)式の評価関数を用いてDIP技術によりノイズ低減処理を行った。実施例1~3では、上記(2)式および(3)式の評価関数を用いてDIP技術によりノイズ低減処理を行った。実施例1ではβ=1×10
-8とした。実施例2ではβ=3×10
-8とした。実施例3ではβ=5×10
-8とした。何れの実施例でもγ=2とした。
図7~
図10を対比すると、比較例(
図7)と比べて実施例1~3(
図8~
図10)では、画質が向上していることが認められ、また、白質部分の均一性が向上していることも認められる。
【0033】
図11は、実施例1~3および比較例それぞれについてCNN学習回数と出力画像のPSNRとの間の関係を示すグラフである。PSNR(Peak Signal to Noise Ratio)は、画像の品質をデシベル(dB)で表したものであり、値が高いほど良好な画質であることを意味する。この図に示されるように、比較例(
図7)では、CNN学習を8回行ったときにPSNRが最大値27.21dBに達し、その後に更に学習を続けるとPSNRが低くなっていく。実施例1(
図8)では、CNN学習を10回行ったときにPSNRが最大値27.48dBに達し、その後に更に学習を続けるとPSNRが低くなっていく。実施例2(
図9)では、CNN学習を13回行ったときにPSNRが最大値27.62dBに達し、その後に更に学習を続けるとPSNRが低くなっていく。実施例3(
図10)では、CNN学習を16回行ったときにPSNRが最大値27.10dBに達し、その後に更に学習を続けるとPSNRが低くなっていく。なお、対象画像(
図6)のPSNRは20.64dBである。
【0034】
PSNRが最大値に達した後にCNNの学習を継続した場合のPSNRの低下は、比較例では顕著であり、比較例と比べて実施例1~3では緩和されている。実施例1~3の間では、βの値が大きいほど、PSNRが最大値に達した後のPSNRの低下は緩やかである。また、比較例の場合のPSNRの最大値と比べて、実施例1~3の場合のPSNRの最大値は大きい。
【0035】
このように、DIP技術を用いたノイズ低減処理において、CNNからの出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項を含む評価関数を用いてCNNを学習させることで、CNN過学習による画質劣化を抑制することができることが確認され、また、ノイズ低減性能を向上させることができることも確認された。
【符号の説明】
【0036】
1…画像処理装置、11…処理部、12…学習部、21…入力画像、22…出力画像、23…対象画像。