ホーム > 特許ランキング > 浜松ホトニクス株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023176348
(43)【公開日】2023-12-13
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G01T 1/164 20060101AFI20231206BHJP
G06T 1/40 20060101ALI20231206BHJP
G06T 5/00 20060101ALI20231206BHJP
G06T 7/00 20170101ALI20231206BHJP
G01T 1/161 20060101ALI20231206BHJP
A61B 6/03 20060101ALI20231206BHJP
【ＦＩ】
G01T1/164 Z
G06T1/40
G06T5/00 705
G06T7/00 350C
G06T7/00 614
G01T1/161 C
G01T1/164 J
A61B6/03 360T
A61B6/03 360J
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022088585
(22)【出願日】2022-05-31
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100110582
【弁理士】
【氏名又は名称】柴田 昌聰
(72)【発明者】
【氏名】大西 佑弥
(72)【発明者】
【氏名】橋本 二三生
【テーマコード（参考）】
4C093
4C188
5B057
5L096
【Ｆターム（参考）】
4C093AA26
4C093CA06
4C093DA04
4C093FD03
4C093FF03
4C093FF09
4C188EE02
4C188FF04
4C188FF07
4C188KK24
4C188KK33
4C188LL11
5B057AA08
5B057CE02
5B057DC40
5L096BA06
5L096BA13
5L096DA01
5L096EA05
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】ＣＮＮに対し教師あり事前学習の後に教師なし学習を行うことで対象画像のノイズを低減することが容易にできる画像処理装置を提供する。
【解決手段】画像処理装置１は、入力画像作成部１０、第１演算部２０および第２演算部３０を備え、対象画像５２のノイズを低減してノイズ低減画像を作成する。第１演算部２０は、第１ＣＮＮ処理部２１および第１ＣＮＮ学習部２２を含み、教師あり事前学習の処理を行う。第１入力画像４０は、教師画像４２に基づいて一部領域の画素値を変更したものである。第２演算部３０は、第２ＣＮＮ処理部３１および第２ＣＮＮ学習部３２を含み、教師なし学習の処理を行う。
【選択図】図１
【解決手段】画像処理装置１は、入力画像作成部１０、第１演算部２０および第２演算部３０を備え、対象画像５２のノイズを低減してノイズ低減画像を作成する。第１演算部２０は、第１ＣＮＮ処理部２１および第１ＣＮＮ学習部２２を含み、教師あり事前学習の処理を行う。第１入力画像４０は、教師画像４２に基づいて一部領域の画素値を変更したものである。第２演算部３０は、第２ＣＮＮ処理部３１および第２ＣＮＮ学習部３２を含み、教師なし学習の処理を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象画像のノイズを低減してノイズ低減画像を作成する画像処理装置であって、
教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理部と、
前記第１出力画像と前記教師画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習部と、
第２入力画像を前記畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理部と、
前記第２出力画像と前記対象画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習部と、
を備え、
前記教師画像および前記第１入力画像の複数の組それぞれについて前記第１ＣＮＮ処理部および前記第１ＣＮＮ学習部それぞれの処理を複数回繰り返し行った後、前記第２ＣＮＮ処理部および前記第２ＣＮＮ学習部それぞれの処理を複数回繰り返し行って、前記第２出力画像を前記ノイズ低減画像とする、
画像処理装置。
教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理部と、
前記第１出力画像と前記教師画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習部と、
第２入力画像を前記畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理部と、
前記第２出力画像と前記対象画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習部と、
を備え、
前記教師画像および前記第１入力画像の複数の組それぞれについて前記第１ＣＮＮ処理部および前記第１ＣＮＮ学習部それぞれの処理を複数回繰り返し行った後、前記第２ＣＮＮ処理部および前記第２ＣＮＮ学習部それぞれの処理を複数回繰り返し行って、前記第２出力画像を前記ノイズ低減画像とする、
画像処理装置。
【請求項2】
教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成部を更に備える、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、
前記第１ＣＮＮ学習部は、前記畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、
前記第２ＣＮＮ学習部は、前記畳み込みニューラルネットワークのデコーダを選択的に学習させる、
請求項１に記載の画像処理装置。
前記第１ＣＮＮ学習部は、前記畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、
前記第２ＣＮＮ学習部は、前記畳み込みニューラルネットワークのデコーダを選択的に学習させる、
請求項１に記載の画像処理装置。
【請求項4】
前記第１ＣＮＮ処理部は、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれを前記ニューラルネットワークに入力させて、各第１入力画像に対して前記畳み込みニューラルネットワークにより第１出力画像を作成する、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記第１ＣＮＮ処理部は、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を前記畳み込みニューラルネットワークに入力させる、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項6】
前記対象画像および前記教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像である、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項7】
対象画像のノイズを低減してノイズ低減画像を作成する画像処理方法であって、
教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理ステップと、
前記第１出力画像と前記教師画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習ステップと、
第２入力画像を前記畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理ステップと、
前記第２出力画像と前記対象画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習ステップと、
を備え、
前記教師画像および前記第１入力画像の複数の組それぞれについて前記第１ＣＮＮ処理ステップおよび前記第１ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行った後、前記第２ＣＮＮ処理ステップおよび前記第２ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行って、前記第２出力画像を前記ノイズ低減画像とする、
画像処理方法。
教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理ステップと、
前記第１出力画像と前記教師画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習ステップと、
第２入力画像を前記畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理ステップと、
前記第２出力画像と前記対象画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習ステップと、
を備え、
前記教師画像および前記第１入力画像の複数の組それぞれについて前記第１ＣＮＮ処理ステップおよび前記第１ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行った後、前記第２ＣＮＮ処理ステップおよび前記第２ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行って、前記第２出力画像を前記ノイズ低減画像とする、
画像処理方法。
【請求項8】
教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成ステップを更に備える、
請求項７に記載の画像処理方法。
請求項７に記載の画像処理方法。
【請求項9】
前記畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、
前記第１ＣＮＮ学習ステップでは、前記畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、
前記第２ＣＮＮ学習ステップでは、前記畳み込みニューラルネットワークのデコーダを選択的に学習させる、
請求項７に記載の画像処理方法。
前記第１ＣＮＮ学習ステップでは、前記畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、
前記第２ＣＮＮ学習ステップでは、前記畳み込みニューラルネットワークのデコーダを選択的に学習させる、
請求項７に記載の画像処理方法。
【請求項10】
前記第１ＣＮＮ処理ステップでは、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれを前記ニューラルネットワークに入力させて、各第１入力画像に対して前記畳み込みニューラルネットワークにより第１出力画像を作成する、
請求項７に記載の画像処理方法。
請求項７に記載の画像処理方法。
【請求項11】
前記第１ＣＮＮ処理ステップでは、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を前記畳み込みニューラルネットワークに入力させる、
請求項７に記載の画像処理方法。
請求項７に記載の画像処理方法。
【請求項12】
前記対象画像および前記教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像である、
請求項７に記載の画像処理方法。
請求項７に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象画像のノイズを低減してノイズ低減画像を作成する画像処理装置および画像処理方法に関するものである。
【背景技術】
【0002】
画像はノイズを含む場合がある。ノイズを含む画像の例として、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像が挙げられる。放射線断層撮影装置はＰＥＴ（Positron Emission Tomography）装置およびＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置などである。
【0003】
ＰＥＴ装置は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。ＰＥＴ装置は、陽電子放出アイソトープ（ＲＩ線源）が投与された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ５１１ｋｅＶの光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。そして、この収集した多数の同時計数情報に基づいて、測定空間における光子対の発生頻度の空間分布（すなわち、ＲＩ線源の空間分布）を表す断層画像を再構成することができる。このＰＥＴ装置は核医学分野等で重要な役割を果たしており、これを用いて例えば生体機能や脳の高次機能の研究を行うことができる。
【0004】
再構成された被検体の断層画像は多くの統計ノイズを含むことから、この断層画像のノイズを低減することが要求されている。また、このようなＰＥＴ画像（断層画像）に限らず、ノイズを含む対象画像からノイズを低減してノイズ低減画像を作成することが要求される場合がある。ノイズ低減技術として様々な手法が知られている。そのなかでも、深層ニューラルネットワークの一種である畳み込みニューラルネットワークを用いたDeep Image Prior技術によりノイズを低減する技術が注目されている。以下では、畳み込みニューラルネットワーク（Convolutional Neural Network）を「ＣＮＮ」といい、Deep Image Prior技術を「ＤＩＰ技術」という。ＤＩＰ技術は、画像中の意味のある構造の方がランダムなノイズより早く学習される（すなわち、ランダムなノイズは学習されにくい）というＣＮＮの性質を利用して、教師なし学習により、ノイズが低減された画像を作成することができる。
【0005】
非特許文献１に、ＤＩＰ技術により対象画像（ＰＥＴ画像）のノイズを低減する技術が記載されている。この文献に記載された技術は、ノイズ低減処理を２つのステップに分けて行う。第１ステップでは、第１入力画像（ＭＲＩ画像）および教師画像（ＰＥＴ画像）の複数の組それぞれについて、第１入力画像をＣＮＮに入力させてＣＮＮにより第１出力画像を作成し、この第１出力画像と教師画像との間の誤差の評価結果に基づいてＣＮＮを学習（教師あり事前学習）させる。続く第２ステップでは、第１ステップで事前学習済みのＣＮＮに第２入力画像（ＭＲＩ画像）を入力させてＣＮＮにより第２出力画像を作成し、この第２出力画像と対象画像（ＰＥＴ画像）との間の誤差の評価結果に基づいてＣＮＮを更に学習（教師なし学習）させる。そして、第２出力画像を、対象画像（ＰＥＴ画像）のノイズを低減したノイズ低減画像とする。
【0006】
要するに、非特許文献１に記載されたノイズ低減技術は、第１ステップではＣＮＮが第１入力画像を教師画像へ変換するようにＣＮＮを学習（教師あり事前学習）させ、第２ステップではＣＮＮを更に学習（教師なし学習）させることで、対象画像のノイズを低減したノイズ低減画像を作成する。このようにすることにより、非特許文献１に記載されたノイズ低減技術は、ＤＩＰ技術のみの場合（教師なし学習のみの場合）と比べて、ノイズ低減性能の向上が可能であるとされている。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】J. Cui et al. Populational andindividual information based PET image denoising using conditional unsupervisedlearning. Phys. Med. Biol. 66:155001, 2021.
【発明の概要】
【発明が解決しようとする課題】
【0008】
非特許文献１に記載されたノイズ低減技術は、第１ステップの教師あり事前学習を行う為に、多数の教師画像だけでなく多数の第１入力画像を用意する必要がある。しかし、多数の教師画像の用意とは別個に多数の第１入力画像を用意することは容易ではない。
【0009】
本発明は、上記問題点を解消する為になされたものであり、ＣＮＮに対し教師あり事前学習の後に教師なし学習を行うことで対象画像のノイズを低減することが容易にできる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、対象画像のノイズを低減してノイズ低減画像を作成する画像処理装置である。
本発明の画像処理装置の第１態様は、(1) 教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理部と、(2) 第１出力画像と教師画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習部と、(3) 第２入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理部と、(4) 第２出力画像と対象画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習部と、を備える。そして、教師画像および第１入力画像の複数の組それぞれについて第１ＣＮＮ処理部および第１ＣＮＮ学習部それぞれの処理を複数回繰り返し行った後、第２ＣＮＮ処理部および第２ＣＮＮ学習部それぞれの処理を複数回繰り返し行って、第２出力画像をノイズ低減画像とする。
本発明の画像処理装置の第１態様は、(1) 教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理部と、(2) 第１出力画像と教師画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習部と、(3) 第２入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理部と、(4) 第２出力画像と対象画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習部と、を備える。そして、教師画像および第１入力画像の複数の組それぞれについて第１ＣＮＮ処理部および第１ＣＮＮ学習部それぞれの処理を複数回繰り返し行った後、第２ＣＮＮ処理部および第２ＣＮＮ学習部それぞれの処理を複数回繰り返し行って、第２出力画像をノイズ低減画像とする。
【0011】
本発明の画像処理装置は、次のような態様としてもよい。
第２態様では、第１態様に加えて、画像処理装置は、教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成部を更に備えるのが好適である。
第３態様では、第１態様または第２態様に加えて、畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、第１ＣＮＮ学習部は、畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、第２ＣＮＮ学習部は、畳み込みニューラルネットワークのデコーダを選択的に学習させるのが好適である。
第４態様では、第１態様～第３態様の何れかに加えて、第１ＣＮＮ処理部は、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれをニューラルネットワークに入力させて、各第１入力画像に対して畳み込みニューラルネットワークにより第１出力画像を作成するのが好適である。
第５態様では、第１態様～第４態様の何れかに加えて、第１ＣＮＮ処理部は、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させるのが好適である。
第６態様では、第１態様～第５態様の何れかに加えて、対象画像および教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像であるのが好適である。
第２態様では、第１態様に加えて、画像処理装置は、教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成部を更に備えるのが好適である。
第３態様では、第１態様または第２態様に加えて、畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、第１ＣＮＮ学習部は、畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、第２ＣＮＮ学習部は、畳み込みニューラルネットワークのデコーダを選択的に学習させるのが好適である。
第４態様では、第１態様～第３態様の何れかに加えて、第１ＣＮＮ処理部は、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれをニューラルネットワークに入力させて、各第１入力画像に対して畳み込みニューラルネットワークにより第１出力画像を作成するのが好適である。
第５態様では、第１態様～第４態様の何れかに加えて、第１ＣＮＮ処理部は、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させるのが好適である。
第６態様では、第１態様～第５態様の何れかに加えて、対象画像および教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像であるのが好適である。
【0012】
本発明の画像処理方法は、対象画像のノイズを低減してノイズ低減画像を作成する画像処理方法である。
本発明の画像処理方法の第１態様は、(1) 教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理ステップと、(2) 第１出力画像と教師画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習ステップと、(3) 第２入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理ステップと、(4) 第２出力画像と対象画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習ステップと、を備える。そして、教師画像および第１入力画像の複数の組それぞれについて第１ＣＮＮ処理ステップおよび第１ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行った後、第２ＣＮＮ処理ステップおよび第２ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行って、第２出力画像をノイズ低減画像とする。
本発明の画像処理方法の第１態様は、(1) 教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理ステップと、(2) 第１出力画像と教師画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習ステップと、(3) 第２入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理ステップと、(4) 第２出力画像と対象画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習ステップと、を備える。そして、教師画像および第１入力画像の複数の組それぞれについて第１ＣＮＮ処理ステップおよび第１ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行った後、第２ＣＮＮ処理ステップおよび第２ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行って、第２出力画像をノイズ低減画像とする。
【0013】
本発明の画像処理方法は、次のような態様としてもよい。
第２態様では、第１態様に加えて、画像処理方法は、教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成ステップを更に備えるのが好適である。
第３態様では、第１態様または第２態様に加えて、畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、第１ＣＮＮ学習ステップでは、畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、第２ＣＮＮ学習ステップでは、畳み込みニューラルネットワークのデコーダを選択的に学習させるのが好適である。
第４態様では、第１態様～第３態様の何れかに加えて、第１ＣＮＮ処理ステップでは、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれをニューラルネットワークに入力させて、各第１入力画像に対して畳み込みニューラルネットワークにより第１出力画像を作成するのが好適である。
第５態様では、第１態様～第４態様の何れかに加えて、第１ＣＮＮ処理ステップでは、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させるのが好適である。
第６態様では、第１態様～第５態様の何れかに加えて、対象画像および教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像であるのが好適である。
第２態様では、第１態様に加えて、画像処理方法は、教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成ステップを更に備えるのが好適である。
第３態様では、第１態様または第２態様に加えて、畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、第１ＣＮＮ学習ステップでは、畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、第２ＣＮＮ学習ステップでは、畳み込みニューラルネットワークのデコーダを選択的に学習させるのが好適である。
第４態様では、第１態様～第３態様の何れかに加えて、第１ＣＮＮ処理ステップでは、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれをニューラルネットワークに入力させて、各第１入力画像に対して畳み込みニューラルネットワークにより第１出力画像を作成するのが好適である。
第５態様では、第１態様～第４態様の何れかに加えて、第１ＣＮＮ処理ステップでは、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させるのが好適である。
第６態様では、第１態様～第５態様の何れかに加えて、対象画像および教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像であるのが好適である。
【発明の効果】
【0014】
本発明によれば、畳み込みニューラルネットワーク（ＣＮＮ）に対する教師あり事前学習の際に用いるＣＮＮへの入力画像を教師画像に基づいて容易に作成することができ、ＣＮＮに対し教師あり事前学習の後に教師なし学習を行うことで対象画像のノイズを低減することが容易にできる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0017】
図１は、画像処理装置１の構成を示す図である。画像処理装置１は、入力画像作成部１０、第１演算部２０および第２演算部３０を備え、対象画像５２のノイズを低減してノイズ低減画像を作成する。
【0018】
この図では、第１入力画像４０、第１出力画像４１、教師画像４２、第２出力画像５１および対象画像５２それぞれの例として頭部のＰＥＴ画像を示し、第２入力画像５０の例として頭部のＭＲＩ画像を示している。以降では、これを前提として説明をする。ただし、本実施形態は、これに限られない。本実施形態は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像（例えばＰＥＴ画像）を対象画像として、この対象画像のノイズを低減するのに好適なものである。これらの画像は、２次元画像であってもよいし、３次元画像であってもよい。
【0019】
画像処理装置１は、ＣＮＮを用いた処理を行うＧＰＵ（Graphics Processing Unit）、操作者の入力を受け付ける入力部（例えばキーボードやマウス）、画像等を表示する表示部（例えば液晶ディスプレイ）、および、様々な処理を実行する為のプログラムやデータを記憶する記憶部を備える。画像処理装置１として、ＣＰＵ、ＲＡＭ、ＲＯＭおよびハードディスクドライブ等を有するコンピュータが用いられる。
【0020】
入力画像作成部１０は、教師画像４２に基づいて一部領域の画素値を変更した第１入力画像４０を作成する。
【0021】
第１演算部２０は、第１ＣＮＮ処理部２１および第１ＣＮＮ学習部２２を含み、教師あり事前学習の処理を行う。第１ＣＮＮ処理部２１は、第１入力画像４０をＣＮＮに入力させて、ＣＮＮにより第１出力画像４１を作成する。第１ＣＮＮ学習部２２は、第１出力画像４１と教師画像４２との間の誤差を評価して当該誤差評価結果に基づいてＣＮＮを学習させる。第１演算部２０は、教師画像４２および第１入力画像４０の複数の組それぞれについて、第１ＣＮＮ処理部２１および第１ＣＮＮ学習部２２それぞれの処理を複数回繰り返し行う。
【0022】
第２演算部３０は、第２ＣＮＮ処理部３１および第２ＣＮＮ学習部３２を含み、教師なし学習の処理を行う。第２ＣＮＮ処理部３１は、第２入力画像５０をＣＮＮに入力させて、ＣＮＮにより第２出力画像５１を作成する。第２ＣＮＮ学習部３２は、第２出力画像５１と対象画像５２との間の誤差を評価して当該誤差評価結果に基づいてＣＮＮを学習させる。第２演算部３０は、第１演算部２０の繰り返し処理の終了の後、その終了時点でのＣＮＮの学習状態を初期値として、第２ＣＮＮ処理部３１および第２ＣＮＮ学習部３２それぞれの処理を複数回繰り返し行う。そして、第２演算部３０の繰り返し処理の終了時点での第２出力画像５１をノイズ低減画像とする。
【0023】
図２は、画像処理方法のフローチャートである。画像処理方法は、入力画像作成ステップＳ１０、第１演算ステップＳ２０および第２演算ステップＳ３０を順に行うことで、対象画像５２のノイズを低減してノイズ低減画像を作成する。
【0024】
入力画像作成ステップＳ１０は、入力画像作成部１０により行われる処理である。入力画像作成ステップＳ１０では、教師画像４２に基づいて一部領域の画素値を変更した第１入力画像４０を作成する。
【0025】
第１演算ステップＳ２０は、第１演算部２０により行われる教師あり事前学習の処理であり、第１ＣＮＮ処理ステップＳ２１および第１ＣＮＮ学習ステップＳ２２を含む。第１ＣＮＮ処理ステップＳ２１は、第１ＣＮＮ処理部２１により行われる処理である。第１ＣＮＮ学習ステップＳ２２は、第１ＣＮＮ学習部２２により行われる処理である。第１ＣＮＮ処理ステップＳ２１では、第１入力画像４０をＣＮＮに入力させて、ＣＮＮにより第１出力画像４１を作成する。第１ＣＮＮ学習ステップＳ２２では、第１出力画像４１と教師画像４２との間の誤差を評価して当該誤差評価結果に基づいてＣＮＮを学習させる。第１演算ステップＳ２０では、教師画像４２および第１入力画像４０の複数の組それぞれについて、第１ＣＮＮ処理ステップＳ２１および第１ＣＮＮ学習ステップＳ２２それぞれの処理を複数回繰り返し行う。
【0026】
第２演算ステップＳ３０は、第２演算部３０により行われる教師なし学習の処理であり、第２ＣＮＮ処理ステップＳ３１および第２ＣＮＮ学習ステップＳ３２を含む。第２ＣＮＮ処理ステップＳ３１は、第２ＣＮＮ処理部３１により行われる処理である。第２ＣＮＮ学習ステップＳ３２は、第２ＣＮＮ学習部３２により行われる処理である。第２ＣＮＮ処理ステップＳ３１では、第２入力画像５０をＣＮＮに入力させて、ＣＮＮにより第２出力画像５１を作成する。第２ＣＮＮ学習ステップＳ３２では、第２出力画像５１と対象画像５２との間の誤差を評価して当該誤差評価結果に基づいてＣＮＮを学習させる。第２演算ステップＳ３０では、第１演算ステップＳ２０における繰り返し処理の終了の後、その終了時点でのＣＮＮの学習状態を初期値として、第２ＣＮＮ処理ステップＳ３１および第２ＣＮＮ学習ステップＳ３２それぞれの処理を複数回繰り返し行う。そして、第２演算ステップＳ３０における繰り返し処理の終了時点での第２出力画像５１をノイズ低減画像とする。
【0027】
図３は、ＣＮＮの構成例を示す図である。この図に示されるように、ＣＮＮは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであるのが好適である。この図には、ＣＮＮに入力される入力画像の画素数をＮ×Ｎ×６４として、ＣＮＮの各層のサイズが示されている。第１ＣＮＮ学習ステップＳ２２において、第１ＣＮＮ学習部２２は、ＣＮＮのエンコーダおよびデコーダの双方を学習させる。第２ＣＮＮ学習ステップＳ３２において、第２ＣＮＮ学習部３２は、ＣＮＮのエンコーダおよびデコーダの双方を学習させてもよいが、学習に要する時間を短縮する為にＣＮＮのエンコーダおよびデコーダのうちのデコーダを選択的に学習させるのが好適である。
【0028】
第１ＣＮＮ学習ステップＳ２２における第１ＣＮＮ学習部２２および第２ＣＮＮ学習ステップＳ３２における第２ＣＮＮ学習部３２それぞれにおいて、二つの画像の間の誤差を評価する関数は任意でよい。誤差評価関数は、例えば、Ｌ１ノルム、Ｌ２ノルム、ポアソン分布における負の対数尤度などを用いることができる。
【0029】
画像処理装置１または画像処理方法において、各画像は次のようなものである。
対象画像５２は、ノイズを低減する対象となる画像であり、ここでは頭部のＰＥＴ画像である。このようなＰＥＴ画像は、一般に、ノイズを低減する対象とすべき領域（ノイズ低減対象領域）である頭部の画像領域と、頭部領域の周囲にある背景領域とからなる。
対象画像５２は、ノイズを低減する対象となる画像であり、ここでは頭部のＰＥＴ画像である。このようなＰＥＴ画像は、一般に、ノイズを低減する対象とすべき領域（ノイズ低減対象領域）である頭部の画像領域と、頭部領域の周囲にある背景領域とからなる。
【0030】
教師画像４２は、対象画像５２と同様の頭部のＰＥＴ画像である。複数の教師画像４２が用意されてもよいし、一つの教師画像４２が用意されてもよい。対象画像５２そのものを教師画像４２としてもよい。
【0031】
第１入力画像４０は、教師画像４２に基づいて一部領域の画素値を変更したものであり、好ましくは、教師画像４２に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更したものである。各教師画像４２に対して複数の第１入力画像４０が用意されてもよい。教師画像４２に対する第１入力画像４０の画素値変更は、任意の態様が可能である。画素値を変更する一部領域は、任意の形状、任意の大きさ、任意の個数であってよい。一部領域における画素値の変更は、例えば、画素値の非線形変換、複数の画素の間での画素値の交換、一定の画素値への置換、ランダムな画素値への置換、等であってよい。画素値変更の態様（例えば、画素値を変更する一部領域の形状、大きさ及び個数や、画素値変更の方法）は、複数の第１入力画像４０の間で互いに異なっているのが好ましい。入力画像作成ステップＳ１０において、入力画像作成部１０は、このような第１入力画像４０を教師画像４２に基づいて作成する。
【0032】
第２入力画像５０は、被検体の形態情報を表す画像であってよく、図１中に示されているようなＭＲＩ画像であってもよいし、ＣＴ画像や静的ＰＥＴ画像であってもよい。第２入力画像５０は、ランダムノイズ画像であってもよい。
【0033】
次に、デジタル脳ファントム画像を用いて頭部用ＰＥＴ装置のモンテカルロ・シミュレーションにより対象画像を作成し、これを用いて実施例および比較例１，２それぞれの画像処理方法によりノイズ低減処理を行った結果について、図４～図１０を用いて説明する。ファントム画像は、BrainWeb（https://brainweb.bic.mni.mcgill.ca/brainweb/）から入手したものである。
【0034】
実施例の画像処理方法は、上記実施形態によるものである。比較例１の画像処理方法は、従来のＤＩＰ技術によるものである。比較例２の画像処理方法は、非特許文献１に記載された技術によるものである。
【0035】
実施例および比較例２それぞれの画像処理方法における教師あり事前学習では、ファントム画像に基づいて作成した２０個の教師画像を用いた。実施例の画像処理方法では、各教師画像に対し画素値変更態様を様々に異ならせて作成した３２個の第１入力画像を用いた。比較例２の画像処理方法では、ＣＮＮへの入力画像としてＭＲＩ画像を用いた。
【0036】
実施例および比較例１，２それぞれの画像処理方法における教師なし学習では、対象画像として、腫瘍を有し薬剤として１８Ｆ-ＦＤＧを投与した頭部を模擬した断層画像を用いた。ＣＮＮへの入力画像としてＭＲＩ画像を用いた。
【0037】
図４～図９それぞれは、実施例および比較例１，２それぞれの画像処理方法における教師なし学習で使用された又は作成された断層画像を示す図である。図４は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。図５は、ファントム画像（正解画像）を示す図である。図６は、腫瘍を有し薬剤として１８Ｆ-ＦＤＧを投与した頭部を模擬した断層画像（対象画像）を示す図である。図７は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図８は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図９は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図４～図９それぞれにおいて、（ａ）は横断面の画像であり、（ｂ）は冠状断面の画像であり、（ｃ）は矢状断面の画像である。
【0038】
図１０は、実施例および比較例１，２それぞれの画像処理方法によるノイズ低減処理後の断層画像のＰＳＮＲ、ＳＳＩＭおよびＣＮＲの各値を纏めた表である。ＰＳＮＲ（Peak Signal to Noise Ratio）は、画像の品質をデシベル（ｄＢ）で表したものである。ＳＳＩＭ（structural similarity index）は、画像の輝度およびコントラストならびに構造の変化を定量化する指標である。ＣＮＲ（Contrast to Noise Ratio）は、画像のコントラストとノイズとの比である。ＰＳＮＲ、ＳＳＩＭおよびＣＮＲの何れも、値が大きいほど良好な画質であることを意味する。図４～図１０に示されるとおり、比較例１，２と比べて実施例では、ＰＳＮＲ、ＳＳＩＭおよびＣＮＲの何れも値が大きく、より効果的に対象画像のノイズを低減することができることが確認できた。
【0039】
【0040】
実施例および比較例２それぞれの画像処理方法における教師あり事前学習では、臨床データの２４個の断層画像を教師画像として用いた。これらの断層画像は、薬剤として１８Ｆ-ＡＶ４５を投与した頭部のＰＥＴ画像である。実施例の画像処理方法では、各教師画像に対し画素値変更態様を様々に異ならせて作成した３２個の第１入力画像を用いた。比較例２の画像処理方法では、ＣＮＮへの入力画像としてＭＲＩ画像を用いた。
【0041】
実施例および比較例１，２それぞれの画像処理方法における教師なし学習では、対象画像として、薬剤として１８Ｆ-ＡＶ４５，１１Ｃ-ＰＩＢおよび１８Ｆ-ＦＤＧの何れかを投与した頭部の断層画像を用いた。ＣＮＮへの入力画像としてＭＲＩ画像を用いた。
【0042】
図１１～図１５それぞれは、薬剤として１８Ｆ-ＡＶ４５を投与した頭部の断層画像を対象画像として用いた場合に、実施例および比較例１，２それぞれの画像処理方法における教師なし学習で使用された又は作成された断層画像を示す図である。図１１は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。図１２は、薬剤として１８Ｆ-ＡＶ４５を投与した頭部の断層画像（対象画像）を示す図である。図１３は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１４は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１５は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１１～図１５それぞれにおいて、（ａ）は横断面の画像であり、（ｂ）は冠状断面の画像であり、（ｃ）は矢状断面の画像である。
【0043】
図１６～図２０それぞれは、薬剤として１１Ｃ-ＰＩＢを投与した頭部の断層画像を対象画像として用いた場合に、実施例および比較例１，２それぞれの画像処理方法における教師なし学習で使用された又は作成された断層画像を示す図である。図１６は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。図１７は、薬剤として１１Ｃ-ＰＩＢを投与した頭部の断層画像（対象画像）を示す図である。図１８は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１９は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図２０は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１６～図２０それぞれにおいて、（ａ）は横断面の画像であり、（ｂ）は矢状断面の画像である。
【0044】
図２１～図２５それぞれは、薬剤として１８Ｆ-ＦＤＧを投与した頭部の断層画像を対象画像として用いた場合に、実施例および比較例１，２それぞれの画像処理方法における教師なし学習で使用された又は作成された断層画像を示す図である。図２１は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。図２２は、薬剤として１８Ｆ-ＦＤＧを投与した頭部の断層画像（対象画像）を示す図である。図２３は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図２４は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図２５は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図２１～図２５それぞれにおいて、（ａ）は横断面の画像であり、（ｂ）は矢状断面の画像である。
【0045】
図２６は、実施例および比較例１，２それぞれの画像処理方法によるノイズ低減処理後の断層画像のＣＮＲの値を纏めた表である。この表には、薬剤として１８Ｆ-ＡＶ４５，１１Ｃ-ＰＩＢおよび１８Ｆ-ＦＤＧそれぞれを頭部に投与した場合について、ＣＮＲの値が示されている。
【0046】
図１１～図２６から次のようなことが分かる。比較例１，２と比べて実施例では、ＣＮＲの値が大きく、より効果的に対象画像のノイズを低減することができることが確認できた。薬剤として１８Ｆ-ＦＤＧを頭部に投与したときの断層画像を対象画像とした場合には、比較例１と比べて比較例２ではＣＮＲの改善の程度が僅かであるのに対して、比較例１，２と比べて実施例ではＣＮＲの改善の程度が大きかった。このように、教師画像と対象画像との間で頭部に投与された薬剤の種類が互いに異なる場合、比較例２ではノイズ除去の程度が比較例１と同程度であるのに対して、実施例ではノイズ除去の程度が比較例１，２より向上することが確認できた。
【0047】
以上のとおり、本実施形態によれば、ＣＮＮに対する教師あり事前学習の際に用いるＣＮＮへの入力画像を教師画像に基づいて容易に作成することができるので、ＣＮＮに対し教師あり事前学習の後に教師なし学習を行うことで対象画像のノイズを低減することが容易にできる。また、教師画像と対象画像との間で被検体に投与された薬剤の種類が互いに異なる場合であっても、効果的に対象画像のノイズを低減することができる。
【符号の説明】
【0048】
１…画像処理装置、１０…入力画像作成部、２０…第１演算部、２１…第１ＣＮＮ処理部、２２…第１ＣＮＮ学習部、３０…第２演算部、３１…第２ＣＮＮ処理部、３２…第２ＣＮＮ学習部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】