(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024054952
(43)【公開日】2024-04-18
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G01T 1/161 20060101AFI20240411BHJP
A61B 6/03 20060101ALI20240411BHJP
【FI】
G01T1/161 C
G01T1/161 A
A61B6/03 377
A61B6/03 360T
A61B6/03 360G
【審査請求】未請求
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2022161438
(22)【出願日】2022-10-06
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100110582
【弁理士】
【氏名又は名称】柴田 昌聰
(72)【発明者】
【氏名】橋本 二三生
(72)【発明者】
【氏名】大西 佑弥
【テーマコード(参考)】
4C093
4C188
【Fターム(参考)】
4C093AA21
4C093AA22
4C093AA25
4C093FD03
4C093FF42
4C188KK24
4C188KK33
4C188LL30
(57)【要約】
【課題】計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてCNNを学習させて被検体の断層画像を作成する際に、DIP技術を用いたノイズ低減処理においてCNN過学習による画質劣化を抑制して、ノイズが低減された断層画像を得ることができる画像処理装置を提供する。
【解決手段】画像処理装置10は、サイノグラム作成部11、CNN処理部12、畳み込み積分部13、順投影計算部14およびCNN学習部15を備える。順投影計算部14は、出力画像23を順投影計算して、計算サイノグラム24を作成する。CNN学習部15は、実測サイノグラム21と計算サイノグラム24との間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいてCNNを学習させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
RI線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、前記被検体の断層画像を作成する画像処理装置であって、
前記放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成部と、
畳み込みニューラルネットワークに入力画像を入力させて前記畳み込みニューラルネットワークにより出力画像を作成するCNN処理部と、
前記出力画像を順投影計算してサイノグラムを作成する順投影計算部と、
前記サイノグラム作成部により作成されたサイノグラムと前記順投影計算部により作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、前記出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させるCNN学習部と、
を備え、
前記CNN処理部、前記順投影計算部および前記CNN学習部それぞれの処理を複数回繰り返し行った後の前記出力画像を前記被検体の断層画像とする、
画像処理装置。
【請求項2】
前記サイノグラム作成部は、前記放射線断層撮影装置により収集された同時計数情報に基づいて、複数のブロックに分割されたサイノグラムを作成し、
前記順投影計算部は、前記出力画像を順投影計算して、前記複数のブロックに分割されたサイノグラムを作成し、
前記CNN学習部は、前記複数のブロックそれぞれについての前記評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させる、
請求項1に記載の画像処理装置。
【請求項3】
前記断層画像、前記入力画像および前記出力画像それぞれは3次元の画像である、
請求項1に記載の画像処理装置。
【請求項4】
前記出力画像に対し点像分布関数の畳み込み積分を行う畳み込み積分部を更に備え、
前記順投影計算部は、前記畳み込み積分部による処理の後の出力画像を順投影計算する、
請求項1に記載の画像処理装置。
【請求項5】
前記CNN学習部は、前記放射線断層撮影装置による同時計数情報収集が可能なサイノグラム空間中の領域において前記誤差評価項により前記誤差を評価する、
請求項1に記載の画像処理装置。
【請求項6】
前記CNN処理部は、前記被検体の形態情報を表す画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項1に記載の画像処理装置。
【請求項7】
前記CNN処理部は、前記被検体のMRI画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項1に記載の画像処理装置。
【請求項8】
前記CNN処理部は、前記被検体のCT画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項1に記載の画像処理装置。
【請求項9】
前記CNN処理部は、前記被検体の静的PET画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項1に記載の画像処理装置。
【請求項10】
前記CNN処理部は、ランダムノイズ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項1に記載の画像処理装置。
【請求項11】
RI線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有し同時計数情報を収集する放射線断層撮影装置と、
前記放射線断層撮影装置により収集された同時計数情報に基づいて前記被検体の断層画像を作成する請求項1~10の何れか1項に画像処理装置と、
を備える放射線断層撮影システム。
【請求項12】
RI線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、前記被検体の断層画像を作成する画像処理方法であって、
前記放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成ステップと、
畳み込みニューラルネットワークに入力画像を入力させて前記畳み込みニューラルネットワークにより出力画像を作成するCNN処理ステップと、
前記出力画像を順投影計算してサイノグラムを作成する順投影計算ステップと、
前記サイノグラム作成ステップで作成されたサイノグラムと前記順投影計算ステップで作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、前記出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させるCNN学習ステップと、
を備え、
前記CNN処理ステップ、前記順投影計算ステップおよび前記CNN学習ステップそれぞれの処理を複数回繰り返し行った後の前記出力画像を前記被検体の断層画像とする、
画像処理方法。
【請求項13】
前記サイノグラム作成ステップにおいて、前記放射線断層撮影装置により収集された同時計数情報に基づいて、複数のブロックに分割されたサイノグラムを作成し、
前記順投影計算ステップにおいて、前記出力画像を順投影計算して、前記複数のブロックに分割されたサイノグラムを作成し、
前記CNN学習ステップにおいて、前記複数のブロックそれぞれについての前記評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させる、
請求項12に記載の画像処理方法。
【請求項14】
前記断層画像、前記入力画像および前記出力画像それぞれは3次元の画像である、
請求項12に記載の画像処理方法。
【請求項15】
前記出力画像に対し点像分布関数の畳み込み積分を行う畳み込み積分ステップを更に備え、
前記順投影計算ステップにおいて、前記畳み込み積分ステップによる処理の後の出力画像を順投影計算する、
請求項12に記載の画像処理方法。
【請求項16】
前記CNN学習ステップにおいて、前記放射線断層撮影装置による同時計数情報収集が可能なサイノグラム空間中の領域において前記誤差評価項により前記誤差を評価する、
請求項12に記載の画像処理方法。
【請求項17】
前記CNN処理ステップにおいて、前記被検体の形態情報を表す画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項12に記載の画像処理方法。
【請求項18】
前記CNN処理ステップにおいて、前記被検体のMRI画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項12に記載の画像処理方法。
【請求項19】
前記CNN処理ステップにおいて、前記被検体のCT画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項12に記載の画像処理方法。
【請求項20】
前記CNN処理ステップにおいて、前記被検体の静的PET画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項12に記載の画像処理方法。
【請求項21】
前記CNN処理ステップにおいて、ランダムノイズ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、
請求項12に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、放射線断層撮影装置により収集された同時計数情報に基づいて被検体の断層画像を作成する装置および方法に関するものである。
【背景技術】
【0002】
被検体(生体)の断層画像を取得することができる放射線断層撮影装置として、PET(Positron Emission Tomography)装置およびSPECT(Single Photon Emission Computed Tomography)装置が挙げられる。
【0003】
PET装置は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。PET装置は、陽電子放出アイソトープ(RI線源)が投与された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ511keVの光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。そして、この収集した多数の同時計数情報に基づいて、測定空間における光子対の発生頻度の空間分布(すなわち、RI線源の空間分布)を表す断層画像を再構成することができる。このPET装置は核医学分野等で重要な役割を果たしており、これを用いて例えば生体機能や脳の高次機能の研究を行うことができる。
【0004】
収集した多数の同時計数情報に基づいて被検体の断層画像を再構成する手法として種々の方法が知られている。非特許文献1に記載された断層画像再構成の為の画像処理方法は、深層ニューラルネットワークの一種である畳み込みニューラルネットワークを用いたDeep Image Prior技術により断層画像を再構成する。以下では、畳み込みニューラルネットワーク(Convolutional Neural Network)を「CNN」といい、Deep Image Prior技術を「DIP技術」という。DIP技術は、画像中の意味のある構造の方がランダムなノイズより早く学習される(すなわち、ランダムなノイズは学習されにくい)というCNNの性質を利用する。DIP技術により、ノイズが低減された断層画像を取得することができる。
【0005】
非特許文献1に記載された画像処理方法は、具体的には次のようなものである。被検体について収集した多数の同時計数情報に基づいてサイノグラム(以下「実測サイノグラム」という。)を作成する。また、入力画像(例えばMRI画像)をCNNに入力させたときにCNNから出力される画像を順投影計算(ラドン変換)してサイノグラム(以下「計算サイノグラム」という。)を作成する。そして、この計算サイノグラムと実測サイノグラムとの間の誤差を評価して、この誤差評価結果に基づいてCNNを学習させる。DIP技術により、CNNからの画像出力、順投影計算による計算サイノグラムの作成、誤差の評価およびCNNの学習を繰り返すと、次第に計算サイノグラムは実測サイノグラムに近づいていき、CNNからの出力画像は被検体の断層画像に近づいていく。
【0006】
この画像処理方法は、CNN出力画像から計算サイノグラムへ順投影する処理を含む一方で、実測サイノグラムから断層画像へ逆投影する処理を含まないことから、よりノイズが低減された断層画像を取得することができる。
【0007】
サイノグラムは、4つの変数r,θ,z,δで表される空間(サイノグラム空間)において、同時計数情報を取得した頻度(同時計数事象の発生頻度)を表すヒストグラムとして表現したものである。変数rは、中心軸から同時計数ライン(光子対を同時計数した2個の検出器を互いに結ぶライン)までの距離を表す。変数θは、同時計数ラインの方位角を表す。変数zは、同時計数ラインの中点の中心軸方向位置を表す。また、変数δは、光子対を同時計数した2個の検出器の間の中心軸方向距離を表す。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】F. Hashimoto, K. Ote and Y.Onishi, "PET Image Reconstruction Incorporating Deep Image Prior and aForward Projection Model," IEEE Transactions on Radiation and PlasmaMedical Sciences, doi: 10.1109/TRPMS.2022.3161569.
【非特許文献2】J. Nuytset al. "A concave prior penalizing relative differences formaximum-a-posteriori reconstruction in emission tomography." IEEE TNS.49:1, 56-60, 2002.
【非特許文献3】工藤博,"低被曝CTにおける画像再構成法 - 統計的画像再構成, 逐次近似画像再構成,圧縮センシングの基礎 -," Medical Imaging Technology 32.4 (2014): 239-248.
【非特許文献4】Chambolle,Antonin. "An algorithm for total variation minimization andapplications." Journal of Mathematical imaging and vision 20.1 (2004):89-97.
【発明の概要】
【発明が解決しようとする課題】
【0009】
DIP技術を用いたノイズ低減処理は、ノイズ低減性能が優れているものの、CNNの過学習による画質劣化の問題を有している。すなわち、DIP技術は、上述したとおり、ランダムなノイズが学習されにくいというCNNの性質を利用するものであるが、CNNの学習の回数が増えるに従ってランダムなノイズも復元されていくことになる。このように、CNNの過学習により、ランダムなノイズも復元されていくことで、画質が劣化してしまう。
【0010】
本発明は、上記問題点を解消する為になされたものであり、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてCNNを学習させて被検体の断層画像を作成する際に、DIP技術を用いたノイズ低減処理においてCNN過学習による画質劣化を抑制して、ノイズが低減された断層画像を得ることができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の画像処理装置は、RI線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、被検体の断層画像を作成する画像処理装置である。
【0012】
本発明の画像処理装置の第1態様は、(1) 放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成部と、(2) 畳み込みニューラルネットワークに入力画像を入力させて畳み込みニューラルネットワークにより出力画像を作成するCNN処理部と、(3) 出力画像を順投影計算してサイノグラムを作成する順投影計算部と、(4) サイノグラム作成部により作成されたサイノグラムと順投影計算部により作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて畳み込みニューラルネットワークを学習させるCNN学習部と、を備える。そして、CNN処理部、順投影計算部およびCNN学習部それぞれの処理を複数回繰り返し行った後の出力画像を被検体の断層画像とする。
【0013】
本発明の画像処理装置は、次のような態様としてもよい。
第2態様では、第1態様に加えて、サイノグラム作成部は、放射線断層撮影装置により収集された同時計数情報に基づいて、複数のブロックに分割されたサイノグラムを作成し、順投影計算部は、出力画像を順投影計算して、複数のブロックに分割されたサイノグラムを作成し、CNN学習部は、複数のブロックそれぞれについての評価関数の値に基づいて畳み込みニューラルネットワークを学習させる。
【0014】
第3態様では、第1態様または第2態様に加えて、断層画像、入力画像および出力画像それぞれは3次元の画像である。
【0015】
第4態様では、第1~第3の態様の何れかに加えて、画像処理装置は、出力画像に対し点像分布関数の畳み込み積分を行う畳み込み積分部を更に備え、順投影計算部は、畳み込み積分部による処理の後の出力画像を順投影計算する。
【0016】
第5態様では、第1~第4の態様の何れかに加えて、CNN学習部は、放射線断層撮影装置による同時計数情報収集が可能なサイノグラム空間中の領域において誤差評価項により誤差を評価する。
【0017】
第6態様では、第1~第5の態様の何れかに加えて、CNN処理部は、被検体の形態情報を表す画像、被検体のMRI画像、被検体のCT画像、被検体の静的PET画像またはランダムノイズ画像を、入力画像として畳み込みニューラルネットワークに入力させる。
【0018】
本発明の放射線断層撮影システムは、RI線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有し同時計数情報を収集する放射線断層撮影装置と、放射線断層撮影装置により収集された同時計数情報に基づいて被検体の断層画像を作成する上記の本発明の画像処理装置と、を備える。
【0019】
本発明の画像処理方法は、RI線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、被検体の断層画像を作成する画像処理方法である。
【0020】
本発明の画像処理方法の第1態様は、(1) 放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成ステップと、(2) 畳み込みニューラルネットワークに入力画像を入力させて畳み込みニューラルネットワークにより出力画像を作成するCNN処理ステップと、(3) 出力画像を順投影計算してサイノグラムを作成する順投影計算ステップと、(4) サイノグラム作成ステップで作成されたサイノグラムと順投影計算ステップで作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて畳み込みニューラルネットワークを学習させるCNN学習ステップと、を備える。そして、CNN処理ステップ、順投影計算ステップおよびCNN学習ステップそれぞれの処理を複数回繰り返し行った後の出力画像を被検体の断層画像とする。
【0021】
本発明の画像処理方法は、次のような態様としてもよい。
第2態様では、第1態様に加えて、サイノグラム作成ステップにおいて、放射線断層撮影装置により収集された同時計数情報に基づいて、複数のブロックに分割されたサイノグラムを作成し、順投影計算ステップにおいて、出力画像を順投影計算して、複数のブロックに分割されたサイノグラムを作成し、CNN学習ステップにおいて、複数のブロックそれぞれについての評価関数の値に基づいて畳み込みニューラルネットワークを学習させる。
【0022】
第3態様では、第1態様または第2態様に加えて、断層画像、入力画像および出力画像それぞれは3次元の画像である。
【0023】
第4態様では、第1~第3の態様の何れかに加えて、画像処理方法は、出力画像に対し点像分布関数の畳み込み積分を行う畳み込み積分ステップを更に備え、順投影計算ステップにおいて、畳み込み積分ステップによる処理の後の出力画像を順投影計算する。
【0024】
第5態様では、第1~第4の態様の何れかに加えて、CNN学習ステップにおいて、放射線断層撮影装置による同時計数情報収集が可能なサイノグラム空間中の領域において誤差評価項により誤差を評価する。
【0025】
第6態様では、第1~第5の態様の何れかに加えて、CNN処理ステップにおいて、被検体の形態情報を表す画像、被検体のMRI画像、被検体のCT画像、被検体の静的PET画像またはランダムノイズ画像を、入力画像として畳み込みニューラルネットワークに入力させる。
【発明の効果】
【0026】
本発明によれば、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてCNNを学習させて被検体の断層画像を作成する際に、DIP技術を用いたノイズ低減処理においてCNN過学習による画質劣化を抑制して、ノイズが低減された断層画像を得ることができる。
【図面の簡単な説明】
【0027】
【
図1】
図1は、放射線断層撮影システム1の構成を示す図である。
【
図3】
図3は、画像処理方法のフローチャートである。
【
図4】
図4は、ブロック分割しない場合の計算サイノグラム24およびブロック分割する場合の計算サイノグラム24
1~24
16それぞれの例を比較して示す図である。
図4(a)は、ブロック分割しない場合の計算サイノグラム24を模式的に示す。
図4(b)は、ブロック分割する場合の計算サイノグラム24
1~24
16を模式的に示す。
【
図5】
図5は、出力画像における隣接画素について説明する図である。
【
図6】
図6は、画像処理方法1で得られた脳の断層画像を示す図である。
【
図7】
図7は、画像処理方法2で得られた脳の断層画像を示す図である。
【
図8】
図8は、画像処理方法3で得られた脳の断層画像を示す図である。
【発明を実施するための形態】
【0028】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0029】
図1は、放射線断層撮影システム1の構成を示す図である。放射線断層撮影システム1は、放射線断層撮影装置2および画像処理装置10を備える。画像処理装置10は、サイノグラム作成部11、CNN処理部12、畳み込み積分部13、順投影計算部14およびCNN学習部15を備える。
【0030】
なお、入力画像、出力画像および断層画像は、2次元の画像および3次元の画像の何れであってもよいが、以下では、これらの画像が3次元の画像であるとして説明をする。また、実測サイノグラムおよび計算サイノグラムは、複数のブロックに分割してもよいし分割しなくてもよいが、以下では、これらのサイノグラムを複数のブロックに分割する場合について主に説明をする。
【0031】
放射線断層撮影装置2は、被検体の断層画像を再構成するための同時計数情報を収集する装置である。放射線断層撮影装置2として、PET装置およびSPECT装置が挙げられる。以下では、放射線断層撮影装置2がPET装置であるとして説明をする。
【0032】
放射線断層撮影装置2は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。放射線断層撮影装置2は、RI線源が投与された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ511keVの光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。そして、放射線断層撮影装置2は、この収集した同時計数情報を画像処理装置10へ出力する。
【0033】
画像処理装置10は、畳み込みニューラルネットワーク(CNN)を用いた処理を行うGPU(Graphics Processing Unit)、操作者の入力を受け付ける入力部(例えばキーボードやマウス)、画像等を表示する表示部(例えば液晶ディスプレイ)、および、様々な処理を実行する為のプログラムやデータを記憶する記憶部を備える。画像処理装置10として、CPU、RAM、ROMおよびハードディスクドライブ等を有するコンピュータが用いられる。
【0034】
サイノグラム作成部11は、放射線断層撮影装置2により収集された同時計数情報に基づいて実測サイノグラム21を作成する。このとき、サイノグラム作成部11は、複数(K個)のブロックに分割された実測サイノグラム211~21Kを作成する。実測サイノグラム21kは、K個のブロックのうちの第kブロックの実測サイノグラムである。Kは2以上の整数であり、kは1以上K以下の整数である。分割された実測サイノグラム211~21Kを結合したものが全体の実測サイノグラム21である。
【0035】
CNN処理部12は、CNNに3次元入力画像20を入力させて、そのCNNにより3次元出力画像22を作成する。3次元入力画像20は、被検体の形態情報を表す画像であってもよいし、被検体のMRI画像、CT画像または静的PET画像であってもよいし、ランダムノイズ画像であってもよい。
【0036】
畳み込み積分部13は、CNN処理部12により作成された3次元出力画像22に対し点像分布関数の畳み込み積分を行って、新たな3次元出力画像23を作成する。点像分布関数(Point Spread Function、PSF)は、点線源に対する放射線断層撮影装置の応答(インパルス応答)を表す関数であり、一般に、ガウシアン関数、または、点線源の実測データからモデル化された視野内の位置によってボケ方の異なる非対称なガウシアン関数などで表される。畳み込み積分部13が設けられていることにより、より画質が優れた断層画像を得ることができ、また、CNNの学習の安定化を図ることができる。
【0037】
順投影計算部14は、3次元出力画像23を順投影計算して計算サイノグラム24を作成する。このとき、順投影計算部14は、K個のブロックに分割された計算サイノグラム241~24Kを作成する。計算サイノグラム24kは、K個のブロックのうちの第kブロックの計算サイノグラムである。分割された計算サイノグラム241~24Kを結合したものが全体の計算サイノグラム24である。
【0038】
計算サイノグラム24のブロック分割は、実測サイノグラム21のブロック分割と同様に行われる。第kブロックの計算サイノグラム24kと第kブロックの実測サイノグラム21kとは、全体のサイノグラム空間のうちの共通の領域のサイノグラムである。ブロック分割の態様は任意であり、サイノグラム空間を表現する4つの変数のうちの何れかの1または2以上の変数についてブロック分割してもよい。K個のブロックそれぞれのサイズは、異なっていてもよいし、同一であってもよい。
【0039】
CNN学習部15は、K個のブロックそれぞれについて実測サイノグラム21kと計算サイノグラム24kとの間の誤差を評価し、K個のブロックそれぞれについての当該誤差評価結果に基づいてCNNを学習させる。
【0040】
CNN処理部12、畳み込み積分部13、順投影計算部14およびCNN学習部15それぞれの処理を複数回繰り返し行った後にCNN処理部12により作成される3次元出力画像22を被検体の3次元断層画像とする。畳み込み積分部13により作成される3次元出力画像23を被検体の3次元断層画像としてもよい。実測サイノグラム21が放射線断層撮影装置の応答関数を反映したものであることから、畳み込み積分部13による点像分布関数の畳み込み積分の前の3次元出力画像22を被検体の3次元断層画像とするのが好ましい。
【0041】
なお、畳み込み積分部13は、CNNの最終層として設けられてもよいし、CNNとは別に設けられてもよい。畳み込み積分部13がCNNの最終層として設けられる場合、CNNの学習時に畳み込み積分部13の重み係数は一定に維持される。また、畳み込み積分部13は設けられていなくてもよい。畳み込み積分部13が設けられない場合、順投影計算部14は、CNN処理部12から出力された3次元出力画像22を順投影計算して計算サイノグラム24を作成する。
【0042】
図2は、CNNの構成例を示す図である。この図に示されるCNNは、エンコーダとデコーダとを含む3次元U-net構造のものである。この図には、CNNに入力される3次元入力画像20の画素数をN×N×64として、CNNの各層のサイズが示されている。
【0043】
図3は、画像処理方法のフローチャートである。画像処理方法は、サイノグラム作成部11により行われるサイノグラム作成ステップS1、CNN処理部12により行われるCNN処理ステップS2、畳み込み積分部13により行われる畳み込み積分ステップS3、順投影計算部14により行われる順投影計算ステップS4、および、CNN学習部15により行われるCNN学習ステップS5を備える。
【0044】
サイノグラム作成ステップS1において、放射線断層撮影装置2により収集された同時計数情報に基づいて、K個のブロックに分割された実測サイノグラム211~21Kを作成する。CNN処理ステップS2において、CNNに3次元入力画像20を入力させて、そのCNNにより3次元出力画像22を作成する。畳み込み積分ステップS3において、CNN処理ステップS2で作成された3次元出力画像22に対し点像分布関数の畳み込み積分を行って、新たな3次元出力画像23を作成する。
【0045】
順投影計算ステップS4において、3次元出力画像23を順投影計算して、K個のブロックに分割された計算サイノグラム241~24Kを作成する。CNN学習ステップS5において、K個のブロックそれぞれについて実測サイノグラム21kと計算サイノグラム24kとの間の誤差を評価し、K個のブロックそれぞれについての当該誤差評価結果に基づいてCNNを学習させる。
【0046】
CNN処理ステップS2、畳み込み積分ステップS3、順投影計算ステップS4およびCNN学習ステップS5それぞれの処理を複数回繰り返し行った後にCNN処理ステップS2において作成される3次元出力画像22を被検体の3次元断層画像とする。畳み込み積分ステップS3において作成される3次元出力画像23を被検体の3次元断層画像としてもよい。なお、畳み込み積分ステップS3は設けられていなくてもよい。
【0047】
次に、サイノグラムを複数のブロックに分割しない場合の画像処理方法の各ステップの処理内容について説明する。サイノグラムをブロック分割しない場合の画像処理方法では、実測サイノグラムおよび計算サイノグラムそれぞれの全体について処理をする。
【0048】
以下では、CNNによる処理をfとし、CNNに入力される3次元入力画像20をzとし、CNNの学習状態を表す重み係数パラメータをθとする。CNNの学習の進展に従ってθは変化していく。重み係数がθであるCNNに3次元入力画像zが入力されたときにCNNから出力される3次元出力画像22をxとする。3次元出力画像xは下記(1)で表わされる。CNN処理ステップにおいて、この式で表される処理を行って3次元出力画像xを作成する。
【0049】
【0050】
畳み込み積分ステップにおいて、CNN処理ステップで作成された3次元出力画像xに対し点像分布関数の畳み込み積分を行って、新たな3次元出力画像xを作成する。なお、
図1では、畳み込み積分を行った後の3次元出力画像xをPSF(f(θ|z))と記している。
【0051】
順投影計算ステップにおいて、3次元出力画像xを順投影計算して計算サイノグラム24を作成する。計算サイノグラム24をyとし、3次元出力画像xから計算サイノグラムyへの順投影計算(ラドン変換)を行う為の投影行列をPとする。投影行列はシステム行列または検出確率とも呼ばれる。順投影計算ステップにおいて行う処理は下記(2)式で表される。
【0052】
【0053】
CNN学習ステップにおいて、実測サイノグラム21をy0として、実測サイノグラムy0と計算サイノグラムy(上記(2)式)との間の誤差を評価し、当該誤差評価結果に基づいてCNNを学習させる。CNN学習ステップで行う処理は下記(3)式で表される。この式の制約付き最適化問題は、CNNにより作成される3次元出力画像xが被検体の断層画像になっているという制約の下で、評価関数E(y;y0)の値が小さくなるようCNNパラメータθを最適化する問題となっている。
【0054】
【0055】
この(3)式の制約付き最適化問題は、下記(4)式の制約なし最適化問題に変形することができる。評価関数Eは、任意でよいが、例えば、L1ノルム、L2ノルム、ポアソン分布における負の対数尤度などを用いることができる。評価関数としてL2ノルムを用いると、(4)式は下記(5)式に変形することができる。
【0056】
【0057】
【0058】
放射線断層撮影装置における複数の検出器の配置を考慮すると、サイノグラム空間において同時計数情報収集が不可能な領域が存在する場合がある。このことから、上記(5)式の最適化問題に替えて、下記(6)式の最適化問題としてもよい。この(6)式中のmは、バイナリマスク関数であって、サイノグラム空間において同時計数情報収集が可能な領域では値1であり、同時計数情報収集が不可能な領域では値0である。(6)式は、誤差(y-y0)とバイナリマスク関数mとのアダマール積をとることで、同時計数情報収集が可能なサイノグラム空間中の領域において選択的に誤差を評価するものである。
【0059】
【0060】
CNN処理ステップ、畳み込み積分ステップ、順投影計算ステップおよびCNN学習ステップそれぞれの処理を複数回繰り返し行って、この最適化問題をCNNパラメータθについて解くことにより、計算サイノグラムyは実測サイノグラムy0に近づいていき、CNNにより作成される3次元出力画像xは被検体の断層画像に近づいていく。
【0061】
次に、サイノグラムをブロック分割する場合の画像処理方法の各ステップの処理内容について詳細に説明する。サイノグラムをブロック分割する場合には、順投影計算ステップにおいて、3次元出力画像xを順投影計算して、K個のブロックに分割された計算サイノグラム241~24Kを作成する。第kブロックの計算サイノグラム24kをykとし、3次元出力画像xから計算サイノグラムykへの順投影計算(ラドン変換)を行う為の投影行列をPkとする。順投影計算ステップにおいて行う処理は下記(7)式で表される。
【0062】
【0063】
CNN学習ステップにおいて、第kブロックの実測サイノグラム21kをy0kとして、K個のブロックそれぞれについて実測サイノグラムy0kと計算サイノグラムykとの間の誤差を評価し、K個のブロックそれぞれについての当該誤差評価結果に基づいてCNNを学習させる。CNN学習ステップで行う処理は、下記(8)式の制約なし最適化問題で表される。評価関数としてL2ノルムを用いると、(8)式は下記(9)式に変形することができる。また、同時計数情報収集が可能なサイノグラム空間中の領域において選択的に誤差を評価する場合には、下記(10)式の制約なし最適化問題で表される。mkは、第kブロックにおけるバイナリマスク関数である。
【0064】
【0065】
【0066】
【0067】
CNN処理ステップ、畳み込み積分ステップ、順投影計算ステップおよびCNN学習ステップそれぞれの処理を複数回繰り返し行って、この最適化問題をCNNパラメータθについて解くことにより、K個のブロックそれぞれについて計算サイノグラムykは実測サイノグラムy0kに近づいていき、CNNにより作成される3次元出力画像xは被検体の断層画像に近づいていく。
【0068】
次に、GPUのRAMにデータを記憶するのに必要な記憶容量に関して、サイノグラムをブロック分割しない場合とブロック分割する場合との比較について説明する。
【0069】
一般に、CNNを用いた処理ではGPUが用いられる。GPUは、画像処理に特化した演算処理装置であり、1つの半導体チップ上に集積化された演算部およびRAMを有している。GPUの演算部による演算処理の際に用いる各種のデータは、該GPUのRAMに記憶しておくことが要求される。GPUのRAMに記憶しておくべきデータは、例えば、CNN入力画像、CNN出力画像、CNNの学習状態を表す重み係数、特徴マップ、実測サイノグラム、計算サイノグラム、順投影計算に必要なパラメータ等であり、膨大な記憶容量を必要とする。しかし、GPUのRAMの容量には限界があることから、上記のような画像処理方法では、2次元の順投影計算を行うことはできるものの、3次元の順投影計算を行うことが困難な場合がある。
【0070】
ここでは、CNNにより作成される3次元出力画像の画素数を128×128×64とし、サイノグラム空間の画素数を128×128×64×19とする。サイノグラムをブロック分割する場合の画像処理方法では、K=16として、3次元出力画像を順投影計算して、16個のブロックに等分割された計算サイノグラム24
1~24
16を作成するものとする。
図4は、ブロック分割しない場合の計算サイノグラム24およびブロック分割する場合の計算サイノグラム24
1~24
16それぞれの例を比較して示す図である。
図4(a)は、ブロック分割しない場合の計算サイノグラム24を模式的に示す。
図4(b)は、ブロック分割するの場合の計算サイノグラム24
1~24
16を模式的に示す。
【0071】
ブロック分割する場合の各ブロックの計算サイノグラム24kの画素数は、128×8×64×19となり、ブロック分割しない場合の計算サイノグラム24の画素数の1/16となる。また、ブロック分割する場合に3次元出力画像から第kブロックの計算サイノグラム24kへの順投影計算を行う為の投影行列Pkの要素数は、ブロック分割しないの場合に3次元出力画像から計算サイノグラム24への順投影計算を行う為の投影行列Pの要素数の1/16となる。
【0072】
ブロック分割する場合では、順投影計算の際に用いるデータを記憶するのに必要な記憶容量を、ブロック分割しない場合と比べて少なくすることができ、これらのデータをGPUのRAMに記憶しておくことができる。したがって、ブロック分割する場合では、CNN出力画像から計算サイノグラムへの3次元順投影計算が容易となり、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてCNNを学習させて被検体の3次元断層画像を容易に作成することができる。
【0073】
次に、CNN学習ステップS5においてCNN学習部15が用いる評価関数について更に説明する。これまでに説明した評価関数((5)式、(9)式)は、実測サイノグラムy0と計算サイノグラムy(=Pf(θ|z))との間の誤差に関する評価値を表す誤差評価項のみを含むものであった。しかし、この誤差評価項に加えて正則化項をも含む評価関数を用いるのが好ましい。正則化項は、CNN過学習を抑制する為のものであり、出力画像における隣接画素間の画素値の差に関する評価値を表す。
【0074】
すなわち、サイノグラムをブロック分割しない場合の評価関数を、上記(5)式に替えて下記(11)式とする。また、サイノグラムをブロック分割する場合の評価関数を、上記(9)式に替えて下記(12)式とする。これらの式において、右辺第1項は誤差評価項であり、右辺第2項は正則化項である。この正則化項は、出力画像における隣接画素間の画素値の差にペナルティを課す。βは、正則化の効果の程度を調整するハイパーパラメータである。βが小さいほど、正則化の効果は小さい。βが大きいほど、正則化の効果(すなわち、CNN過学習の抑制の効果)は大きい。
【0075】
【0076】
【0077】
正則化項は、CNN処理部12から出力される出力画像22(f(θ|z))における隣接画素間の画素値の差に関する評価値を表すものであってもよいし、畳み込み積分部13から出力される出力画像23(PSF(f(θ|z)))における隣接画素間の画素値の差に関する評価値を表すものであってもよい。
【0078】
2次元画像の場合、或る画素に隣接する画素には、互いに直交する2方向それぞれに隣接する画素が含まれ、また、好適には斜め方向に隣接する画素も含まれる。2次元画像の場合、その画像の端または角に位置する画像を除いて、或る画素に隣接する画素の数は8である。3次元画像の場合、或る画素に隣接する画素には、互いに直交する3方向それぞれに隣接する画素が含まれ、また、好適には斜め方向に隣接する画素も含まれる。3次元画像の場合、その画像の端または角に位置する画像を除いて、或る画素に隣接する画素の数は26である。
【0079】
図5は、出力画像における隣接画素について説明する図である。この図は、出力画像を2次元画像として示し、そのうちの3×3画素を示している。この図で中央にある画素の画素値をλ
jとし、この中央画素に隣接する8個の画素の画素値をλ
k(k=1~8)とすると、この中央画素に関して隣接画素間の画素値の差は|λ
j-λ
k| で表される。正則化項は、出力画像における隣接画素の全ての組合せについて画素値の差に関する評価値を表す。
【0080】
正則化項は、出力画像における隣接画素間の画素値の差に関する評価値を表すものであればよく、様々な式で表され得る。例えば正則化項は下記(13)式で表される。この(13)式において、Njは、画素jに隣接する画素kの集合を表す。γは、画素値λjの変化に対する正則化項の値の変化の大きさを表す。この(13)式は、分子に隣接画素の画素値の差の項を含み、分母に隣接画素の画素値の和の項を含んでおり、出力画像における隣接画素間の相対的な画素値の差に関する評価値を表している。
【0081】
【0082】
なお、(13)式は、非特許文献2に記載された式と類似している。しかし、非特許文献1では、(13)式に類似する式は、PET装置により収集された同時計数情報に基づいて被検体の断層画像を再構成する処理の際に用いられているのであって、DIP技術により断層画像に対してノイズ低減処理をする際に用いられているのではない。
【0083】
また、正則化項として、例えば、 Gibbs prior(非特許文献3)や Total variation(非特許文献4)等を用いてもよい。なお、これらの文献も、被検体の断層画像を再構成処理する技術について記載したものであって、DIP技術により断層画像に対してノイズ低減処理をする技術について記載したものではない。
【0084】
次に、デジタル脳ファントム画像を用いて頭部用PET装置のモンテカルロ・シミュレーションによりシミュレーションデータを作成し、これを用いて画像処理方法1~3それぞれにより断層画像を再構成した結果について説明する。画像処理方法1では、一般的な画像再構成法であるML-EM(Maximum Likelihood Expectation Maximization)法により断層画像を再構成した。画像処理方法2では、
図1~
図4を用いて説明した画像処理方法において上記(9)式の評価関数を用いて断層画像を再構成した。画像処理方法3では、
図1~
図4を用いて説明した画像処理方法において上記(12)式および(13)式の評価関数を用いて断層画像を再構成した。
【0085】
ファントム画像として、BrainWeb(https://brainweb.bic.mni.mcgill.ca/brainweb/)から入手した脳画像に対し白質部分に模擬腫瘍を埋め込んだ3次元画像を用いた。ファントム画像の画素数は128×128×64であった。画像処理方法2,3では、サイノグラム空間の画素数は128×128×64×19であり、サイノグラム空間を2個のブロックに等分割した。画像処理方法2,3で用いた評価関数の誤差評価項を平均二乗誤差(Mean Squared Error、MSE)とした。画像処理方法3で用いた評価関数の正則化項において、β=1×10-9とし、γ=2とした。画像処理方法2,3でCNNに入力される入力画像を3次元のランダムノイズ画像とした。画像処理方法2,3では繰り返し回数を2000とし、画像処理方法1では繰り返し回数を50とした。
【0086】
図6は、画像処理方法1で得られた脳の断層画像を示す図である。
図7は、画像処理方法2で得られた脳の断層画像を示す図である。
図8は、画像処理方法3で得られた脳の断層画像を示す図である。画像処理方法1の断層画像(
図6)のPSNRは16.50dBであり、画像処理方法2の断層画像(
図7)のPSNRは19.08dBであり、画像処理方法3の断層画像(
図8)のPSNRは19.40dBである。PSNR(Peak Signal to Noise Ratio)は、画像の品質をデシベル(dB)で表したものであり、値が高いほど良好な画質であることを意味する。画像処理方法1,2と比べて、画像処理方法3では、断層画像のPSNRが高く、埋め込んだ腫瘍が低ノイズで再構成され、白質部分の均一性が優れている。
【0087】
このように、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてCNNを学習させて被検体の断層画像を作成する際に、CNNからの出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項を含む評価関数を用いてCNNを学習させることで、CNN過学習による画質劣化を抑制することができることが確認され、ノイズ低減性能を向上させることができることも確認された。
【符号の説明】
【0088】
1…放射線断層撮影システム、2…放射線断層撮影装置、10…画像処理装置、11…サイノグラム作成部、12…CNN処理部、13…畳み込み積分部、14…順投影計算部、15…CNN学習部。