IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 浜松ホトニクス株式会社の特許一覧

<>
  • 特開-画像処理装置および画像処理方法 図1
  • 特開-画像処理装置および画像処理方法 図2
  • 特開-画像処理装置および画像処理方法 図3
  • 特開-画像処理装置および画像処理方法 図4
  • 特開-画像処理装置および画像処理方法 図5
  • 特開-画像処理装置および画像処理方法 図6
  • 特開-画像処理装置および画像処理方法 図7
  • 特開-画像処理装置および画像処理方法 図8
  • 特開-画像処理装置および画像処理方法 図9
  • 特開-画像処理装置および画像処理方法 図10
  • 特開-画像処理装置および画像処理方法 図11
  • 特開-画像処理装置および画像処理方法 図12
  • 特開-画像処理装置および画像処理方法 図13
  • 特開-画像処理装置および画像処理方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023112818
(43)【公開日】2023-08-15
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
   G01T 1/161 20060101AFI20230807BHJP
   A61B 6/03 20060101ALI20230807BHJP
【FI】
G01T1/161 C
A61B6/03 350X
A61B6/03 377
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022014768
(22)【出願日】2022-02-02
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100110582
【弁理士】
【氏名又は名称】柴田 昌聰
(72)【発明者】
【氏名】大手 希望
(72)【発明者】
【氏名】橋本 二三生
(72)【発明者】
【氏名】大西 佑弥
【テーマコード(参考)】
4C093
4C188
【Fターム(参考)】
4C093AA21
4C093AA25
4C093CA28
4C093FE03
4C188EE02
4C188FF04
4C188FF07
4C188KK15
4C188KK33
4C188KK35
(57)【要約】
【課題】放射線断層撮影装置により収集されたリストデータに基づいてノイズが低減された断層画像を作成することができる装置および方法を提供する。
【解決手段】画像処理方法は、或る初期状態から始めて、再構成ステップS1、CNN処理ステップS2および更新ステップS3を複数回繰り返し行って、被検体の断層画像を作成する。再構成ステップS1では、リストモード逐次近似再構成法に拠る処理を行って、第1画像を作成する。CNN処理ステップS2では、DIP技術に拠りCNNに入力情報を入力させて該CNNにより第2画像を作成し、このCNNを学習させる。更新ステップS3では、第1画像および第2画像に基づいて第3画像を更新する。
【選択図】図2

【特許請求の範囲】
【請求項1】
放射線断層撮影装置により収集されたリストデータに基づいて断層画像を作成する画像処理装置であって、
リストモード逐次近似再構成法により前記リストデータに基づいて第1画像の更新を行って得られた画像を第2画像と第3画像との差に近づける処理を繰り返すことにより、新たな第1画像を作成する再構成部と、
畳み込みニューラルネットワークに入力情報を入力させて前記畳み込みニューラルネットワークにより第2画像を作成し、この作成した第2画像が前記第1画像と前記第3画像との和に近づくように前記畳み込みニューラルネットワークを学習させるCNN処理部と、
前記第1画像および前記第2画像に基づいて前記第3画像を更新する更新部と、
を備え、
前記畳み込みニューラルネットワークの学習状態、前記第1画像、前記第2画像および前記第3画像それぞれの初期状態から始めて、前記再構成部による前記第1画像の作成、前記CNN処理部による前記第2画像の作成および前記畳み込みニューラルネットワークの学習、ならびに、前記更新部による前記第3画像の更新を繰り返し行って、これらの繰り返し処理で得られた前記第1画像および前記第2画像の何れかを前記断層画像とする、
画像処理装置。
【請求項2】
放射線断層撮影装置により収集されたリストデータに基づいて断層画像を作成する画像処理装置であって、
リストモード逐次近似再構成法により前記リストデータに基づいて第3画像の更新を行うことにより、第1画像を作成する再構成部と、
畳み込みニューラルネットワークに入力情報を入力させて前記畳み込みニューラルネットワークにより第2画像を作成し、この作成した第2画像が前記第3画像に近づくように前記畳み込みニューラルネットワークを学習させるCNN処理部と、
前記第1画像および前記第2画像に基づいて前記第3画像を更新する更新部と、
を備え、
前記畳み込みニューラルネットワークの学習状態および前記第3画像それぞれの初期状態から始めて、前記再構成部による前記第1画像の作成、前記CNN処理部による前記第2画像の作成および前記畳み込みニューラルネットワークの学習、ならびに、前記更新部による前記第3画像の更新を繰り返し行って、これらの繰り返し処理で得られた前記第1画像、前記第2画像および前記第3画像の何れかを前記断層画像とする、
画像処理装置。
【請求項3】
前記CNN処理部は、被検体の形態情報を表す画像を前記入力情報として前記畳み込みニューラルネットワークに入力させる、
請求項1または2に記載の画像処理装置。
【請求項4】
前記CNN処理部は、被検体のMRI画像を前記入力情報として前記畳み込みニューラルネットワークに入力させる、
請求項1または2に記載の画像処理装置。
【請求項5】
前記CNN処理部は、被検体のCT画像を前記入力情報として前記畳み込みニューラルネットワークに入力させる、
請求項1または2に記載の画像処理装置。
【請求項6】
前記CNN処理部は、ランダムノイズ画像を前記入力情報として前記畳み込みニューラルネットワークに入力させる、
請求項1または2に記載の画像処理装置。
【請求項7】
被検体の断層画像を再構成するためのリストデータを収集する放射線断層撮影装置と、
前記放射線断層撮影装置により収集されたリストデータに基づいて断層画像を作成する請求項1~6の何れか1項に記載の画像処理装置と、
を備える放射線断層撮影システム。
【請求項8】
放射線断層撮影装置により収集されたリストデータに基づいて断層画像を作成する画像処理方法であって、
リストモード逐次近似再構成法により前記リストデータに基づいて第1画像の更新を行って得られた画像を第2画像と第3画像との差に近づける処理を繰り返すことにより、新たな第1画像を作成する再構成ステップと、
畳み込みニューラルネットワークに入力情報を入力させて前記畳み込みニューラルネットワークにより第2画像を作成し、この作成した第2画像が前記第1画像と前記第3画像との和に近づくように前記畳み込みニューラルネットワークを学習させるCNN処理ステップと、
前記第1画像および前記第2画像に基づいて前記第3画像を更新する更新ステップと、
を備え、
前記畳み込みニューラルネットワークの学習状態、前記第1画像、前記第2画像および前記第3画像それぞれの初期状態から始めて、前記再構成ステップにおける前記第1画像の作成、前記CNN処理ステップにおける前記第2画像の作成および前記畳み込みニューラルネットワークの学習、ならびに、前記更新ステップにおける前記第3画像の更新を繰り返し行って、これらの繰り返し処理で得られた前記第1画像および前記第2画像の何れかを前記断層画像とする、
画像処理方法。
【請求項9】
放射線断層撮影装置により収集されたリストデータに基づいて断層画像を作成する画像処理方法であって、
リストモード逐次近似再構成法により前記リストデータに基づいて第3画像の更新を行うことにより、第1画像を作成する再構成ステップと、
畳み込みニューラルネットワークに入力情報を入力させて前記畳み込みニューラルネットワークにより第2画像を作成し、この作成した第2画像が前記第3画像に近づくように前記畳み込みニューラルネットワークを学習させるCNN処理ステップと、
前記第1画像および前記第2画像に基づいて前記第3画像を更新する更新ステップと、
を備え、
前記畳み込みニューラルネットワークの学習状態および前記第3画像それぞれの初期状態から始めて、前記再構成ステップにおける前記第1画像の作成、前記CNN処理ステップにおける前記第2画像の作成および前記畳み込みニューラルネットワークの学習、ならびに、前記更新ステップにおける前記第3画像の更新を繰り返し行って、これらの繰り返し処理で得られた前記第1画像、前記第2画像および前記第3画像の何れかを前記断層画像とする、
画像処理方法。
【請求項10】
前記CNN処理ステップにおいて、被検体の形態情報を表す画像を前記入力情報として前記畳み込みニューラルネットワークに入力させる、
請求項8または9に記載の画像処理方法。
【請求項11】
前記CNN処理ステップにおいて、被検体のMRI画像を前記入力情報として前記畳み込みニューラルネットワークに入力させる、
請求項8または9に記載の画像処理方法。
【請求項12】
前記CNN処理ステップにおいて、被検体のCT画像を前記入力情報として前記畳み込みニューラルネットワークに入力させる、
請求項8または9に記載の画像処理方法。
【請求項13】
前記CNN処理ステップにおいて、ランダムノイズ画像を前記入力情報として前記畳み込みニューラルネットワークに入力させる、
請求項8または9に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、放射線断層撮影装置により収集されたリストデータに基づいて断層画像を作成する装置および方法に関するものである。
【背景技術】
【0002】
被検体(生体)の断層画像を取得することができる放射線断層撮影装置として、PET(Positron Emission Tomography)装置およびSPECT(Single Photon Emission Computed Tomography)装置が挙げられる。
【0003】
PET装置は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。PET装置は、陽電子放出アイソトープ(RI線源)が投入された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ511keVの光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。そして、この収集した多数の同時計数情報に基づいて、測定空間における光子対の発生頻度の空間分布(すなわち、RI線源の空間分布)を表す断層画像を再構成することができる。このとき、PET装置により収集された同時計数情報を時系列に並べたリストデータを収集順に複数のフレームに分割し、そのリストデータのうち各フレームに含まれるデータ群を用いて画像再構成処理を行うことで、複数のフレームの断層画像からなる動態PET画像を得ることができる。このPET装置は核医学分野等で重要な役割を果たしており、これを用いて例えば生体機能や脳の高次機能の研究を行うことができる。
【0004】
このようにして再構成された断層画像は、ノイズを多く含んでいるので、画像フィルタによるノイズ除去処理が必要である。ノイズ除去の為に用いられる画像フィルタとしては、ガウシアン・フィルタ(Gaussian Filter)およびガイディド・フィルタ(Guided Filter)が挙げられる。従来からガウシアン・フィルタが用いられている。これに対して、ガイディド・フィルタは、近年になって開発されたものであって、ガウシアン・フィルタと比べると画像中の濃淡の境界をよく保存することができるという特徴がある。
【0005】
また、深層ニューラルネットワークの一種である畳み込みニューラルネットワークを用いた Deep Image Prior技術により断層画像のノイズを除去する技術が提案されている(非特許文献1)。以下では、深層ニューラルネットワーク(Deep Neural Network)を「DNN」といい、畳み込みニューラルネットワーク(Convolutional Neural Network)を「CNN」といい、Deep Image Prior技術を「DIP技術」という。DIP技術は、対象画像中の意味のある構造の方がランダムなノイズより早く学習される(すなわち、ランダムなノイズは学習されにくい)というCNNの性質を利用して、対象画像のノイズを低減することができる。
【0006】
これらのノイズ除去技術は、リストデータを用いてヒストグラムモード再構成法により断層画像を作成した後に、この断層画像を処理してノイズを低減する。或いは、ノイズ除去技術をヒストグラムモード再構成法に正則化として組み込む場合もある。ヒストグラムモード再構成法では、リストデータに基づいて、各検出器対により検出された同時計数事象の数を表すヒストグラムを作成し、このヒストグラムに基づいて断層画像を再構成する。ヒストグラムのフォーマットとして、例えば、動径×体軸×方位角×傾斜角の4次元配列(3次元サイノグラム)が用いられる。
【0007】
ところで、近年の放射線断層撮影技術の進化に伴って、1対の放射線検出器の検出時間差情報(Time of Flight、TOF)および検出器における光子相互作用深さ(Depth of Interaction、DOI)等の新しい情報がリストデータに追加されると、ヒストグラムのフォーマットの配列が5次元または6次元と高次元となってきている。これにより、リストデータからヒストグラムを経て断層画像を再構成するヒストグラムモード再構成法では、これらの一連の処理を行うCPU等を含む演算部の負荷が過大なものとなってきている。
【0008】
このようなヒストグラムモード再構成法の問題点に対処することができる技術として、リストモード逐次近似再構成法が提案されている(非特許文献2)。リストモード逐次近似再構成法では、リストデータから直接に(ヒストグラムを経ることなく)逐次の近似を繰り返して行うことで断層画像を再構成する。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】Kuang Gong et al. “PET Image Reconstruction Using Deep Image Prior,” IEEE Transactions on Medical Imaging, December 2018.
【非特許文献2】A. J. Reader et al. “One-PassList-Mode EM Algorithm for High-Resolution 3-D PET Image Reconstruction intoLarge Arrays,” IEEE Transactions on Nuclear Science, Vol.49, No.3, pp.693-699, 2002.
【発明の概要】
【発明が解決しようとする課題】
【0010】
ヒストグラムモード再構成法に対しては、多くのノイズ除去技術の研究開発がなされている。しかし、リストモード逐次近似再構成法は、リストデータを直接CNNで処理することが難しいという問題点を有しており、CNNを組み込んでノイズを効果的に除去することができるリストモード逐次近似再構成法の技術は知られていない。
【0011】
本発明は、上記問題点を解消する為になされたものであり、放射線断層撮影装置により収集されたリストデータに基づいてノイズが低減された断層画像を作成することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明の画像処理装置は、放射線断層撮影装置により収集されたリストデータに基づいて断層画像を作成する画像処理装置である。
【0013】
本発明の第1態様の画像処理装置は、(1) リストモード逐次近似再構成法によりリストデータに基づいて第1画像の更新を行って得られた画像を第2画像と第3画像との差に近づける処理を繰り返すことにより、新たな第1画像を作成する再構成部と、(2) 畳み込みニューラルネットワークに入力情報を入力させて畳み込みニューラルネットワークにより第2画像を作成し、この作成した第2画像が第1画像と第3画像との和に近づくように畳み込みニューラルネットワークを学習させるCNN処理部と、(3) 第1画像および第2画像に基づいて第3画像を更新する更新部と、を備える。この第1態様の装置は、畳み込みニューラルネットワークの学習状態、第1画像、第2画像および第3画像それぞれの初期状態から始めて、再構成部による第1画像の作成、CNN処理部による第2画像の作成および畳み込みニューラルネットワークの学習、ならびに、更新部による第3画像の更新を繰り返し行って、これらの繰り返し処理で得られた第1画像および第2画像の何れかを断層画像とする。
【0014】
本発明の第2態様の画像処理装置は、(1) リストモード逐次近似再構成法によりリストデータに基づいて第3画像の更新を行うことにより、第1画像を作成する再構成部と、(2) 畳み込みニューラルネットワークに入力情報を入力させて畳み込みニューラルネットワークにより第2画像を作成し、この作成した第2画像が第3画像に近づくように畳み込みニューラルネットワークを学習させるCNN処理部と、(3) 第1画像および第2画像に基づいて第3画像を更新する更新部と、を備える。この第2態様の装置は、畳み込みニューラルネットワークの学習状態および第3画像それぞれの初期状態から始めて、再構成部による第1画像の作成、CNN処理部による第2画像の作成および畳み込みニューラルネットワークの学習、ならびに、更新部による第3画像の更新を繰り返し行って、これらの繰り返し処理で得られた第1画像、第2画像および第3画像の何れかを断層画像とする。
【0015】
本発明の画像処理装置のCNN処理部は、被検体の形態情報を表す画像を入力情報として畳み込みニューラルネットワークに入力させてもよいし、被検体のMRI画像またはCT画像を入力情報として畳み込みニューラルネットワークに入力させてもよいし、ランダムノイズ画像を入力情報として畳み込みニューラルネットワークに入力させてもよい。
【0016】
本発明の放射線断層撮影システムは、被検体の断層画像を再構成するためのリストデータを収集する放射線断層撮影装置と、放射線断層撮影装置により収集されたリストデータに基づいて断層画像を作成する上記の本発明の画像処理装置と、を備える。
【0017】
本発明の画像処理方法は、放射線断層撮影装置により収集されたリストデータに基づいて断層画像を作成する方法である。
【0018】
本発明の第1態様の画像処理方法は、(1) リストモード逐次近似再構成法によりリストデータに基づいて第1画像の更新を行って得られた画像を第2画像と第3画像との差に近づける処理を繰り返すことにより、新たな第1画像を作成する再構成ステップと、(2) 畳み込みニューラルネットワークに入力情報を入力させて畳み込みニューラルネットワークにより第2画像を作成し、この作成した第2画像が第1画像と第3画像との和に近づくように畳み込みニューラルネットワークを学習させるCNN処理ステップと、(3) 第1画像および第2画像に基づいて第3画像を更新する更新ステップと、を備える。本発明の第1態様の画像処理方法は、畳み込みニューラルネットワークの学習状態、第1画像、第2画像および第3画像それぞれの初期状態から始めて、再構成ステップにおける第1画像の作成、CNN処理ステップにおける第2画像の作成および畳み込みニューラルネットワークの学習、ならびに、更新ステップにおける第3画像の更新を繰り返し行って、これらの繰り返し処理で得られた第1画像および第2画像の何れかを断層画像とする。
【0019】
本発明の第2態様の画像処理方法は、(1) リストモード逐次近似再構成法によりリストデータに基づいて第3画像の更新を行うことにより、第1画像を作成する再構成ステップと、(2) 畳み込みニューラルネットワークに入力情報を入力させて畳み込みニューラルネットワークにより第2画像を作成し、この作成した第2画像が第3画像に近づくように畳み込みニューラルネットワークを学習させるCNN処理ステップと、(3) 第1画像および第2画像に基づいて第3画像を更新する更新ステップと、を備える。本発明の第2態様の画像処理方法は、畳み込みニューラルネットワークの学習状態および第3画像それぞれの初期状態から始めて、再構成ステップにおける第1画像の作成、CNN処理ステップにおける第2画像の作成および畳み込みニューラルネットワークの学習、ならびに、更新ステップにおける第3画像の更新を繰り返し行って、これらの繰り返し処理で得られた第1画像、第2画像および第3画像の何れかを断層画像とする。
【0020】
本発明の画像処理方法のCNN処理ステップにおいて、被検体の形態情報を表す画像を入力情報として畳み込みニューラルネットワークに入力させてもよいし、被検体のMRI画像またはCT画像を入力情報として畳み込みニューラルネットワークに入力させてもよいし、ランダムノイズ画像を入力情報として畳み込みニューラルネットワークに入力させてもよい。
【発明の効果】
【0021】
本発明によれば、放射線断層撮影装置により収集されたリストデータに基づいてノイズが低減された断層画像を作成することができる。
【図面の簡単な説明】
【0022】
図1図1は、放射線断層撮影システム1の構成を示す図である。
図2図2は、画像処理方法のフローチャートである。
図3図3は、第1態様の画像処理方法のシーケンスを示す図である。
図4図4は、ファントム画像(正解画像)を示す図である。図4(a)および図4(b)は横断面の画像である。
図5図5は、ファントム画像(正解画像)を示す図である。図5(a)は冠状断面の画像であり、図5(b)は矢状断面の画像である。
図6図6は、比較例1の画像処理方法により得られた断層画像を示す図である。図6(a)および図6(b)は横断面の画像である。
図7図7は、比較例1の画像処理方法により得られた断層画像を示す図である。図7(a)は冠状断面の画像であり、図7(b)は矢状断面の画像である。
図8図8は、比較例2の画像処理方法により得られた断層画像を示す図である。図8(a)および図8(b)は横断面の画像である。
図9図9は、比較例2の画像処理方法により得られた断層画像を示す図である。図9(a)は冠状断面の画像であり、図9(b)は矢状断面の画像である。
図10図10は、実施例の画像処理方法により得られた断層画像を示す図である。図10(a)および図10(b)は横断面の画像である。
図11図11は、実施例の画像処理方法により得られた断層画像を示す図である。図11(a)は冠状断面の画像であり、図11(b)は矢状断面の画像である。
図12図12は、比較例1,2および実施例それぞれの断層画像のPSNRを示すグラフである。
図13図13は、比較例1,2および実施例それぞれの断層画像のCRCを示すグラフである。
図14図14は、第2態様の画像処理方法のシーケンスを示す図である。
【発明を実施するための形態】
【0023】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0024】
図1は、放射線断層撮影システム1の構成を示す図である。放射線断層撮影システム1は、放射線断層撮影装置2および画像処理装置10を備える。画像処理装置10は、再構成部11、CNN処理部12、更新部13および記憶部14を備える。画像処理装置10として、CPU、RAM、ROMおよびハードディスクドライブ等を有するコンピュータが用いられる。また、画像処理装置10は、操作者の入力を受け付ける入力部(例えばキーボードやマウス)を備え、画像等を表示する表示部(例えば液晶ディスプレイ)を備える。
【0025】
放射線断層撮影装置2は、被検体の断層画像を再構成するためのリストデータを収集する装置である。放射線断層撮影装置2として、PET装置およびSPECT装置が挙げられる。以下では、放射線断層撮影装置2がPET装置であるとして説明をする。
【0026】
放射線断層撮影装置2は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。放射線断層撮影装置2は、陽電子放出アイソトープ(RI線源)が投入された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ511keVの光子対を検出部により同時計数法で検出し、この同時計数情報を蓄積する。そして、放射線断層撮影装置2は、この蓄積した多数の同時計数情報を時系列に並べたものをリストデータとして画像処理装置10へ出力する。
【0027】
リストデータは、光子対を同時計数した1対の放射線検出器の識別情報および検出時刻情報を含む。リストデータは、さらに、1対の放射線検出器の検出時間差情報(TOF情報)、放射線検出器における光子相互作用深さ情報(DOI情報)、および、放射線検出器が検出した光子のエネルギ情報、等をも含んでいてもよい。
【0028】
記憶部14は、放射線断層撮影装置2により収集されたリストデータを記憶する。また、記憶部14は、再構成部11、CNN処理部12および更新部13それぞれによる処理を実行させるためのプログラムをも記憶している。再構成部11、CNN処理部12および更新部13は、記憶部14により記憶されているプログラムおよびリストデータを用いて、被検体の断層画像を作成する。
【0029】
再構成部11は、リストモード逐次近似再構成法(非特許文献2参照)に拠る処理を行って、第1画像を作成する。再構成部11におけるリストモード逐次近似再構成法に拠る処理では、LM-MLEM(Maximum Likelihood Expectation Maximization)、LM-OSEM(Ordered Subset EM)、および、LM-DRAMA(Dynamic Row Action Maximum likelihood Algorithm)などの逐次更新式が用いられる。
【0030】
CNN処理部12は、DIP技術(非特許文献1参照)に拠る処理を行って、第2画像を作成する。CNN処理部12におけるDIP技術に拠る処理では、CNNに入力情報を入力させて該CNNにより第2画像を作成し、また、このCNNを学習させる。CNNに入力させる入力情報は、被検体の形態情報であってもよいし、被検体のMRI画像またはCT画像であってもよいし、ランダムノイズ画像であってもよい。
【0031】
更新部13は、第1画像および第2画像に基づいて第3画像を更新する。再構成部11、CNN処理部12および更新部13の各処理の詳細については後述する。
【0032】
記憶部14は、CNNに入力される入力情報をも記憶し、また、第1画像、第2画像および第3画像をも記憶する。画像処理装置10は、或る初期状態から始めて、再構成部11、CNN処理部12および更新部13の各処理を繰り返し行って、被検体の断層画像を作成する。
【0033】
図2は、画像処理方法のフローチャートである。画像処理方法は、再構成部11により行われる再構成ステップS1、CNN処理部12により行われるCNN処理ステップS2、および、更新部13により行われる更新ステップS3を備える。或る初期状態から始めて、再構成ステップS1、CNN処理ステップS2および更新ステップS3を複数回(N回)繰り返し行って、被検体の断層画像を作成する。
【0034】
ステップS4では、パラメータnの値を初期値0に設定する。続くステップS5では、パラメータnの値を1増する。ステップS5の後に、再構成ステップS1、CNN処理ステップS2および更新ステップS3を行う。これらに続くステップS6ではパラメータnの値とNとが大小比較され、nがNより小さいと判定されればステップS5へ戻る。ステップS6でnがNに達していると判定されれば、繰り返し処理を終了して、被検体の断層画像を取得する。以下では、N回の繰り返し処理のうち、第n回の再構成ステップS1を再構成ステップS1(n)といい、第n回のCNN処理ステップS2をCNN処理ステップS2(n) といい、第n回の更新ステップS3を更新ステップS3(n) という。nは1以上N以下の整数である。
【0035】
次に、画像処理装置10および画像処理方法の処理の詳細について説明する。先ず、リストデータUを下記(1)式のように定式化する。tは同時計数事象(イベント)を表す番号である。Tはイベントの総数である。i(t)は第tのイベントを検出した検出器対を識別する番号を表す。
【0036】
【数1】
【0037】
このリストデータUに対し、下記(2)式で表される制約付き最適化問題を考える。xは断層画像である。L(U│x)は断層画像xからリストデータUが観測される確率を表す尤度である。zはCNNに入力される入力情報である。θは、結合重みなどのCNNの学習状態を表すパラメータであり、CNNの学習の進展とともに変化していく。fθ(z)は、学習状態がθであるCNNに入力情報zが入力されたときに該CNNから出力される画像である。この(2)式の制約付き最適化問題は、断層画像xがCNN出力画像fθ(z)になっているという制約(x=fθ(z))の下で、尤度L(U│x)が高くなるよう断層画像xおよびCNNパラメータθを最適化する問題となっている。
【0038】
【数2】
【0039】
この最適化問題の解法の態様として、以下に説明するとおり第1態様と第2態様とがある。第1態様は、交互方向乗数法(Alternating Direction Method of Multipliers、ADMM法)に拠る処理である。第2態様は、Forward Backward Splitting(FBS法)に拠る処理である。なお、FBS法には、その特別な態様としてのDe Pierro法も含まれる。以下では、第1態様および第2態様それぞれの画像処理方法の詳細について説明する。
【0040】
第1態様の画像処理方法では、上記(2)式の制約付き最適化問題を、拡張ラグランジュ関数法に基づいて書き換えた上で、ADMM法により解く。拡張ラグランジュ関数法では、上記(2)式中の制約を正則化項に置き換えて、上記(2)式の制約付き最適化問題を下記(3)式の制約無し最適化問題に書き換える。ρは、正則化の強さを調整する正の定数である。μは、ラグランジュ乗数または双対変数と呼ばれるものであり、以下の説明では「第3画像」という。
【0041】
【数3】
【0042】
第1態様では、ADMMにより、この(3)式の制約無し最適化問題を、下記(4)式~(6)式の処理を繰り返すことにより解く。
【0043】
【数4】
【0044】
【数5】
【0045】
【数6】
【0046】
図3は、第1態様の画像処理方法のシーケンスを示す図である。繰り返し処理に先立って、CNNの学習状態θ(0)、第1画像x(0)、第2画像fθ (0)(z)、第3画像μ(0)それぞれを初期化する。なお、第2画像fθ (0)(z)は、初期の学習状態θ(0)にあるCNNに入力情報zが入力されたときに該CNNから出力される画像である。
【0047】
第n回の再構成ステップS1(n)では、上記(4)式に従って、リストモード逐次近似再構成法によりリストデータUに基づいて第1画像x(n-1)の更新を1回行って得られた画像を第2画像fθ (n-1)(z)と第3画像μ(n-1)との差(fθ (n-1)(z)-μ(n-1))に近づける処理を繰り返すことにより、新たな第1画像x(n)を作成する。
【0048】
第n回のCNN処理ステップS2(n)では、上記(5)式に従って、CNNに入力情報zを入力させてCNNにより第2画像fθ (n)(z)を作成し、この作成した第2画像fθ (n)(z)が第1画像x(n)と第3画像μ(n-1)との和(x(n)+μ(n-1))に近づくようにCNNを学習させる。この学習後のCNNの学習状態をθ(n)とする。
【0049】
第n回の更新ステップS3(n)では、上記(6)式に従って、第1画像x(n)と第2画像fθ (n)(z)との差(x(n)-fθ (n)(z))を第3画像μ(n-1)に加えることで、第3画像μ(n)に更新する。
【0050】
再構成ステップS1、CNN処理ステップS2および更新ステップS3のN回の繰り返し処理が終了すると、これにより得られた第1画像x(N)および第2画像fθ (N)(z)の何れかを被検体の断層画像とする。
【0051】
第1態様では、第1画像xおよび第2画像fθ(z)を同時に最適化していくのではなく、第1画像xおよび第2画像fθ(z)を交互に最適化していくので、問題を解くのが容易である。また、再構成部11による再構成ステップS1の処理、および、CNN処理部12によるCNN処理ステップS2の処理は、非特許文献1,2に記載されたような従来の手法により行うことが可能であるので、実装するのが容易である。
【0052】
図4図11は、第1態様の画像処理方法の効果を確認する為に行ったシミュレーションの結果を示す図である。本シミュレーションでは、デジタル脳ファントム画像を用いた頭部用PET装置のMCシミュレーションによりシミュレーションデータを作成し、これを用いて第1態様の画像処理方法の効果を確認した。
【0053】
図4および図5は、ファントム画像(正解画像)を示す図である。図4(a)および図4(b)は横断面の画像であり、図5(a)は冠状断面の画像であり、図5(b)は矢状断面の画像である。
【0054】
図6および図7は、比較例1の画像処理方法により得られた断層画像を示す図である。図6(a)および図6(b)は横断面の画像であり、図7(a)は冠状断面の画像であり、図7(b)は矢状断面の画像である。比較例1の断層画像は、リストモード逐次近似再構成法のLM-DRAMAの逐次更新式のみを用いて再構成して得られたものであって、ノイズ低減処理をしていない。
【0055】
図8および図9は、比較例2の画像処理方法により得られた断層画像を示す図である。図8(a)および図8(b)は横断面の画像であり、図9(a)は冠状断面の画像であり、図9(b)は矢状断面の画像である。比較例2の断層画像は、比較例1の再構成断層画像に対してDIP技術によりノイズを低減することで得られたものである。CNNのパラメータ更新の回数を20回とした。CNNへの入力情報をMRI画像とした。
【0056】
図10および図11は、実施例の画像処理方法により得られた断層画像を示す図である。図10(a)および図10(b)は横断面の画像であり、図11(a)は冠状断面の画像であり、図11(b)は矢状断面の画像である。実施例の断層画像は、第1態様の画像処理方法により作成されたものである。ρ=0.05とした。CNNへの入力情報zをMRI画像とした。再構成ステップS1内の繰り返し回数を2回とし、CNN処理ステップS2内のCNNの学習の繰り返し回数を20回とし、全体の繰り返し回数Nを200回とした。
【0057】
これらの断層画像を比較することで分かるとおり、実施例の画像処理方法により得られた断層画像は、ノイズが少なく、大脳皮質の構造がよく復元されている。
【0058】
図12は、比較例1,2および実施例それぞれの断層画像のPSNRを示すグラフである。PSNRは、雑音の指標であるピーク信号対雑音比[単位dB]である。図13は、比較例1,2および実施例それぞれの断層画像のCRCを示すグラフである。CRCは、定量性の指標である腫瘍のコントラストリカバリ係数である。実施例の断層画像は、比較例1,2の断層画像と比べるとPSNRおよびCRCの何れも高く、CRCが理想的な1.0に近い値となった。これらの結果から分かるように、実施例の画像処理方法は、ノイズアーティファクトの増加を抑えながら、定量性の高い断層画像を生成することが可能である。
【0059】
次に、第2態様の画像処理方法について説明する。第2態様の画像処理方法では、上記(2)式の制約付き最適化問題を、最大事後確率(Maximum a Posteriori、MAP)推定法の枠組みに基づいて、FBS法により解く。MAP推定法では、上記(2)式の制約付き最適化問題を下記(7)式の制約無し最適化問題に書き換える。
【0060】
【数7】
【0061】
第2態様では、FBSにより、この(7)式の制約無し最適化問題を、下記(8)式~(11)式の処理を繰り返すことにより解く。
【0062】
【数8】
【0063】
【数9】
【0064】
【数10】
【0065】
【数11】
【0066】
ここで、γは、事前に与えられたパラメータ画像である。ωは、各画素に対する検出器の感度を表す画像である。画素jから射出されたγ線対が検出器対iで検出される確率をpijとすると、感度画像ωは下記(12)式で表される。
【0067】
【数12】
【0068】
図14は、第2態様の画像処理方法のシーケンスを示す図である。繰り返し処理に先立って、CNNの学習状態θ(0)および第3画像x(0)それぞれを初期化する。
【0069】
第n回の再構成ステップS1(n)では、上記(8)式に従って、リストモード逐次近似再構成法によりリストデータUに基づいて第3画像x(n-1)の更新を行うことにより、第1画像xML (n)を作成する。
【0070】
第n回のCNN処理ステップS2(n)では、上記(9)式に従って、CNNに入力情報zを入力させてCNNにより第2画像fθ (n)(z)を作成し、この作成した第2画像fθ (n)(z)が第3画像x(n-1)に近づくようにCNNを学習させる。この学習後のCNNの学習状態をθ(n)とする。
【0071】
第n回の更新ステップS3(n)では、上記(10)式および(11)式に従って、第1画像xML (n)および第2画像fθ (n)(z)に基づいて、第3画像x(n-1)を第3画像x(n)に更新する。
【0072】
再構成ステップS1、CNN処理ステップS2および更新ステップS3のN回の繰り返し処理が終了すると、これにより得られた第1画像xML (N)、第2画像fθ (N)(z)および第3画像x(N)の何れかを被検体の断層画像とする。
【0073】
第2態様では、再構成ステップS1(n)およびCNN処理ステップS2(n)の各処理は、任意の順に行われてよく、並列的に行われてもよい。
【0074】
De Pierro法は、FBS法において、ρ=1とし、γ=1/ωとしたものに相当する。すなわち、De Pierro法では、上記(10)式および(11)式に替えて、下記(13)式および(14)式が用いられる。再構成ステップS1、CNN処理ステップS2および更新ステップS3それぞれの処理内容は、上記と同様である。
【0075】
【数13】
【0076】
【数14】
【0077】
第2態様では、第1画像xMLおよび第2画像fθ(z)を同時に最適化していくのではなく、第1画像xMLおよび第2画像fθ(z)を別個に最適化していくので、問題を解くのが容易である。また、再構成部11による再構成ステップS1の処理、および、CNN処理部12によるCNN処理ステップS2の処理は、非特許文献1,2に記載されたような従来の手法により行うことが可能であるので、実装するのが容易である。
【0078】
第2態様の画像処理方法により得られる断層画像も、第1態様の場合と同様に、ノイズが少なく、大脳皮質の構造がよく復元される。第2態様でも、ノイズアーティファクトの増加を抑えながら、定量性の高い断層画像を生成することが可能である。
【0079】
本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。例えば、放射線断層撮影装置2は、上記の実施形態ではPET装置であるとしたが、SPECT装置であってもよい。
【符号の説明】
【0080】
1…放射線断層撮影システム、2…放射線断層撮影装置、10…画像処理装置、11…再構成部、12…CNN処理部、13…更新部、14…記憶部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14