知財求人 - 知財ポータルサイト「IP Force」
特許7566696画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-04
(45)【発行日】2024-10-15
(54)【発明の名称】画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
(51)【国際特許分類】
A61B 6/00 20240101AFI20241007BHJP
G06T 5/00 20240101ALI20241007BHJP
G06T 1/00 20060101ALI20241007BHJP
G06T 7/00 20170101ALI20241007BHJP
【ＦＩ】
A61B6/00 550M
G06T5/00
G06T1/00 290A
G06T7/00 350C
【請求項の数】
38
(21)【出願番号】P 2021123329
(22)【出願日】2021-07-28
(65)【公開番号】P2022039989
(43)【公開日】2022-03-10
【審査請求日】2024-05-15
(31)【優先権主張番号】P 2020143037
(32)【優先日】2020-08-26
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100136799
【弁理士】
【氏名又は名称】本田 亜希
(72)【発明者】
【氏名】小林 剛
【審査官】宮川 数正
(56)【参考文献】
【文献】国際公開第２０１９／２４０２５７（ＷＯ，Ａ１）
【文献】特開昭５６－０１１３９４（ＪＰ，Ａ）
【文献】特開２０１７－１４８１２５（ＪＰ，Ａ）
【文献】特開２０１８－０３８７８９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００－６／５８
Ｇ０６Ｔ １／００－１／４０
Ｇ０６Ｔ ３／００－５／９４
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
被検査物の第１の放射線画像を取得する取得部と、低周波成分に比べて高周波成分が低減されたノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記取得部により取得された第１の放射線画像を入力することにより、前記第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成する生成部と、
を備える画像処理装置。
【請求項2】
前記生成部は、放射線検出器に含まれる蛍光体の変調伝達関数に応じて前記高周波成分が低減されたノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第１の放射線画像を入力することにより、前記第２の放射線画像を生成する、請求項１に記載の画像処理装置。
【請求項3】
前記生成部は、放射線検出器のシステムノイズを模したノイズと前記高周波成分が低減されたノイズとを含む人工ノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第１の放射線画像を入力することにより、前記第２の放射線画像を生成する、請求項１又は２に記載の画像処理装置。
【請求項4】
前記人工ノイズは、前記放射線検出器のシステムノイズを模したノイズと前記高周波成分が低減されたノイズとを所定の合成比率で合成したノイズを含む、請求項３に記載の画像処理装置。
【請求項5】
前記生成部は、前記放射線検出器のシステムノイズを模したノイズと前記高周波成分が低減されたノイズとを第１の合成比率で合成した人工ノイズを加算して得た放射線画像と、前記放射線検出器のシステムノイズを模したノイズと前記高周波成分が低減されたノイズとを前記第１の合成比率とは異なる第２の合成比率で合成した人工ノイズを加算して得た放射線画像とを含む学習データを用いて学習して得た学習済モデルに前記第１の放射線画像を入力することにより、前記第２の放射線画像を生成する、請求項４に記載の画像処理装置。
【請求項6】
前記人工ノイズの平均値又は中央値は０である、請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項7】
被検査物の放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化するように、被検査物の放射線画像に対して変換処理を行う変換部を更に備え、前記変換部は、前記第１の放射線画像に対して前記変換処理を行い、
前記生成部は、前記変換処理が行われた前記第１の放射線画像に基づいて前記第２の放射線画像を生成し、
前記変換部は、前記第２の放射線画像に対して前記変換処理の逆変換処理を行う、請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項8】
前記変換部は、前記第１の放射線画像に対して、平方根変換処理を行い、
前記第２の放射線画像に対して、平方根変換処理の逆変換処理を行う、請求項７に記載の画像処理装置。
【請求項9】
被検査物の放射線画像に含まれる画素値の平均値を調整する調整部を更に備え、前記調整部は、前記変換処理が行われた前記第１の放射線画像に含まれる各画素値から、該画素値の平均値を減算し、
前記生成部は、前記平均値が減算された第１の放射線画像に基づいて前記第２の放射線画像を生成し、
前記調整部は、前記第２の放射線画像に含まれる各画素値に前記平均値を加算し、
前記変換部は、前記平均値が加算された前記第２の放射線画像に対して前記逆変換処理を行う、請求項７又は８に記載の画像処理装置。
【請求項10】
前記学習データは、被検査物の放射線画像に対して前記変換処理を行った放射線画像を含む、請求項７乃至９のいずれか一項に記載の画像処理装置。
【請求項11】
前記学習データは、前記第１の放射線画像に対して行う平方根変換におけるノイズの標準偏差に比べ、ノイズの標準偏差が小さくなるように平方根変換を行った放射線画像を含む、請求項１０に記載の画像処理装置。
【請求項12】
前記学習データは、前記変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像を含む、請求項７乃至１１のいずれか一項に記載の画像処理装置。
【請求項13】
前記学習データは、前記変換処理を行った放射線画像に正規化処理を施した放射線画像と、前記変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像とを入力データとして含む、請求項１２に記載の画像処理装置。
【請求項14】
前記学習データは、被検査物の放射線画像に前記ノイズを加算した放射線画像を入力データとし、被検査物の放射線画像を正解データとしたデータを含む、請求項１乃至１３のいずれか一項に記載の画像処理装置。
【請求項15】
前記学習データは、前記ノイズを加算した放射線画像に前記変換処理を行った放射線画像を入力データとし、前記変換処理を行った放射線画像を正解データとしたデータを含む、請求項７乃至１３のいずれか一項に記載の画像処理装置。
【請求項16】
前記学習データは、前記ノイズを加算した放射線画像から前記画素値の平均値を減算した放射線画像を入力データとし、前記画素値の平均値が減算された放射線画像を正解データとしたデータを含む、請求項９又は１２に記載の画像処理装置。
【請求項17】
前記学習データは、前記ノイズが加算された被検査物の放射線画像に対して前記変換処理を行った放射線画像を入力データとし、被検査物の放射線画像に対して前記変換処理を行った放射線画像を正解データとしたデータを含む、請求項７乃至１３のいずれか一項に記載の画像処理装置。
【請求項18】
前記学習データは、前記ノイズが加算された被検査物の放射線画像に対して前記変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像を入力データとし、被検査物の放射線画像に対して前記変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像を正解データとしたデータを含む、請求項９又は１２に記載の画像処理装置。
【請求項19】
放射線画像を複数の放射線画像に分割する分割部を更に備え、前記分割部は、被検査物の放射線画像を、複数の第１の放射線画像に分割し、
前記生成部は、前記複数の第１の放射線画像に基づいて複数の第２の放射線画像を生成し、
前記分割部は、前記複数の第２の放射線画像を結合して、ノイズが低減された第３の放射線画像を生成する、請求項１乃至１８のいずれか一項に記載の画像処理装置。
【請求項20】
前記学習データに用いる放射線画像は、被検査物の放射線画像を分割した複数の放射線画像を含む、請求項１乃至１９のいずれか一項に記載の画像処理装置。
【請求項21】
前記生成部は、前記学習データに用いる被検査物の放射線画像の取得に用いた放射線検出器に含まれる蛍光体の変調伝達関数に対する、前記第１の放射線画像の取得に用いた放射線検出器に含まれる蛍光体の変調伝達関数の比に応じて前記第１の放射線画像を変形し、
前記学習済モデルを用いて、前記変形された第１の放射線画像から第２の放射線画像を生成し、
前記比の逆数に応じて前記第２の放射線画像を変形する、請求項１乃至２０のいずれか一項に記載の画像処理装置。
【請求項22】
前記学習済モデルは、エンコーダー機能とデコーダー機能とを有するＵ字型の構造を含むニューラルネットワークを含み、前記ニューラルネットワークは、デコーダー側の１層目の畳み込み層から出力されるデータに入力データを加算する加算層を有する、請求項１乃至２１のいずれか１項に記載の画像処理装置。
【請求項23】
被検査物の第１の放射線画像を取得する取得部と、
低周波成分のノイズ量に比べて高周波成分のノイズ量が少ないノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記取得部により取得された第１の放射線画像を入力することにより、前記第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成する生成部と、
を備える画像処理装置。
【請求項24】
機械学習モデルに、低周波成分に比べて高周波成分が低減されたノイズを加算して得た放射線画像を含む学習データを学習させる学習部を備える、学習装置。
【請求項25】
被検査物の放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化するように、被検査物の放射線画像に対して変換処理を行う変換部を更に備え、前記学習部は、前記変換部により前記変換処理が行われた被検査物の放射線画像を用いた学習データを前記機械学習モデルに学習させる、請求項２４に記載の学習装置。
【請求項26】
被検査物の放射線画像に含まれる画素値の平均値を調整する調整部を更に備え、前記調整部は、前記変換処理が行われた被検査物の放射線画像に含まれる各画素値から、該画素値の平均値を減算し、
前記学習部は、前記平均値が減算された被検査物の放射線画像を用いた学習データを前記機械学習モデルに学習させる、請求項２５に記載の学習装置。
【請求項27】
被検査物の放射線画像を複数の放射線画像に分割する分割部を更に備え、前記学習部は、前記分割部によって分割された複数の放射線画像を用いた学習データを機械学習モデルに学習させる、請求項２４乃至２６のいずれか一項に記載の学習装置。
【請求項28】
被検査物の第１の放射線画像を取得することと、低周波成分に比べて高周波成分が低減されたノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記取得された第１の放射線画像を入力することにより、前記第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成することと、
を含む、画像処理方法。
【請求項29】
前記第１の放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化するように、前記第１の放射線画像に対して変換処理を行うことと、前記第２の放射線画像に対して前記変換処理の逆変換処理を行うことと、
を更に含み、
前記第２の放射線画像を生成することは、前記変換処理が行われた前記第１の放射線画像に基づいて前記第２の放射線画像を生成することを含む、請求項２８に記載の画像処理方法。
【請求項30】
前記変換処理が行われた前記第１の放射線画像に含まれる各画素値から、該画素値の平均値を減算することと、前記第２の放射線画像に含まれる各画素値に前記平均値を加算することと、
を更に含み、
前記第２の放射線画像を生成することは、前記平均値が減算された第１の放射線画像に基づいて前記第２の放射線画像を生成することを含み、
前記逆変換処理を行うことは、前記平均値が加算された前記第２の放射線画像に対して前記逆変換処理を行うことを含む、請求項２９に記載の画像処理方法。
【請求項31】
被検査物の放射線画像を、複数の第１の放射線画像に分割することと、複数の第２の放射線画像を結合してノイズが低減された第３の放射線画像を生成することと、
を更に含み
前記第２の放射線画像を生成することは、前記複数の第１の放射線画像に基づいて複数の第２の放射線画像を生成することを含む、請求項２８乃至３０のいずれか一項に記載の画像処理方法。
【請求項32】
被検査物の第１の放射線画像を取得することと、
低周波成分のノイズ量に比べて高周波成分のノイズ量が少ないノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記取得された第１の放射線画像を入力することにより、前記第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成することと、
を含む、画像処理方法。
【請求項33】
機械学習モデルに、低周波成分に比べて高周波成分が低減されたノイズを加算して得た放射線画像を含む学習データを学習させることを含む、学習方法。
【請求項34】
被検査物の放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化するように、被検査物の放射線画像に対して変換処理を行うことを更に含み、前記学習させることは、前記変換処理が行われた被検査物の放射線画像を用いた学習データを前記機械学習モデルに学習させることを含む、請求項３３に記載の学習方法。
【請求項35】
前記変換処理が行われた被検査物の放射線画像に含まれる各画素値から、該画素値の平均値を減算することを更に含み、前記学習させることは、前記平均値が減算された被検査物の放射線画像を用いた学習データを前記機械学習モデルに学習させることを含む、請求項３４に記載の学習方法。
【請求項36】
被検査物の放射線画像を複数の放射線画像に分割することを更に含み、前記学習させることは、前記分割された複数の放射線画像を用いた学習データを機械学習モデルに学習させることを含む、請求項３３乃至３５のいずれか一項に記載の学習方法。
【請求項37】
コンピュータによって実行されると、該コンピュータに請求項２８乃至３２のいずれか一項に記載の画像処理方法の各工程を実行させるプログラム。
【請求項38】
コンピュータによって実行されると、該コンピュータに請求項３３乃至３６のいずれか一項に記載の学習方法の各工程を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関する。
【背景技術】
【0002】
近年、Ｘ線などの放射線を検出するための検出部を備えた放射線検出器が、産業や医療などの分野で広く用いられている。特に、半導体センサを用いて放射線画像を得るデジタル放射線撮影（ＤＲ：Ｄｉｇｉｔａｌ Ｒａｄｉｏｇｒａｐｈｙ）装置が普及してきている。
【0003】
このようなデジタル放射線撮影装置においては、撮影画像の画質向上のために種々の画像処理を行うことが一般的であり、撮影画像の粒状性を改善し、診断したい領域の視認性を向上するノイズ低減処理もその１つである。
【0004】
このようなノイズの低減の方法としては従来から様々な方法が提案されている。例えば、特許文献１には、デジタル放射線撮影装置のノイズ特性に基づいてルールを作成し、平滑化フィルタの特性を切り替えるルールベースのノイズ低減処理技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第４６７９７１０号公報
【非特許文献】
【0006】
【文献】“Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections”, Xiao-Jiao Mao, Chunhua Shen, and Yu-Bin Yang, ArXiv : 1606.08921, 2016
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、前述のような従来技術には、以下のような課題が生じる場合がある。特許文献１で提案されているルールベースのノイズ低減処理では、撮影画像に含まれる様々な被写体構造のあらゆるケースで適切なルールを作成するのは難しく、被写体によっては好適なノイズ低減性能が得られない場合があった。
【0008】
ここで、デジタル放射線撮影装置は、被写体を透過した放射線を電気信号として検出する際、放射線をＣｓＩやＧＯＳ（Ｇｄ２Ｏ２Ｓ）等の蛍光体によって可視光に変換してから半導体センサによって検出する構成を採るのが一般的である。変換された可視光は蛍光体内を通って半導体センサに到達するまでに拡散されるため、放射線量子の揺らぎに起因するノイズ（以後、量子ノイズと呼称する）は平滑化され、高周波が減衰した状態となる。一方で、検出器及び回路等から発生するノイズ（以後、システムノイズと呼称する）は蛍光体の影響を受けない。デジタル放射線撮影装置におけるノイズは、主にシステムノイズと量子ノイズを合計したものが支配的であるため、入力される信号によって両者の含有比率が変化し、信号の強度に応じて周波数特性が異なるという特徴を持つ。
【0009】
非特許文献１は、学習に用いる画像を増やすことによって、より多くの被写体で好適なノイズ低減処理を実現しうる技術を提案している。しかしながら、当該技術のデジタル放射線撮影装置への適用を考えたとき、デジタル放射線撮影装置のノイズを有する上記の特徴を考慮できていないため、好適なノイズ低減を実現するニューラルネットワークを学習するのが難しい場合があった。
【0010】
本開示は、以上の問題点に鑑みてなされたものであって、デジタル放射線撮影装置において好適なノイズ低減処理を行うことができる画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0011】
本開示の一実施態様による画像処理装置は、被検査物の第１の放射線画像を取得する取得部と、低周波成分に比べて高周波成分が低減されたノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに前記取得部により取得された第１の放射線画像を入力することにより、前記第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成する生成部と、を備える。
【発明の効果】
【0012】
本開示の一実施態様によれば、デジタル放射線撮影装置において好適なノイズ低減処理を行うことができる画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムを提供できる。
【図面の簡単な説明】
【0013】
【図1A】実施例１に係る放射線撮影システムの概略的な構成を示す。
【図1B】実施例１に係る放射線検出器の概略的な構成を示す。
【図2A】実施例１に係る制御部の概略的な構成を示す。
【図2B】実施例１に係るノイズ低減処理部の概略的な構成を示す。
【図3A】実施例１に係る学習済モデルの概略的な構成の一例を示す。
【図3B】実施例１に係る学習済モデルの概略的な構成の一例を示す。
【図3C】実施例１に係る学習処理の動作例を説明するための図である。
【図3D】実施例１に係る学習処理の動作例を説明するための図である。
【図3E】実施例１に係る学習処理の動作例を説明するための図である。
【図4】実施例１に係る学習処理のフローチャートである。
【図5A】実施例１に係る領域分割処理を説明するための図である。
【図5B】実施例１に係る領域分割処理を説明するための図である。
【図5C】実施例１に係る領域分割処理を説明するための図である。
【図6】線量によって異なるノイズの空間周波数特性を示す図である。
【図7】ノイズ無相関化処理を説明するための図である。
【図8】実施例１に係る推論処理におけるノイズ低減処理強度の調整例の模式図である。
【図9】実施例１に係る推論処理のフローチャートである。
【図10】実施例１に係る画像処理前後の画像の一例を示す。
【図11】実施例２に係る学習処理のフローチャートである。
【図12】放射線検出器における空間周波数とＭＴＦの関係性の一例を示す。
【発明を実施するための形態】
【0014】
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
【0015】
なお、以下に記載する本開示の実施例において、放射線には、放射線崩壊によって放出される粒子（光子を含む）が作るビームであるα線やβ線、γ線、さらには、同程度以上のエネルギーを有するビームである、例えばＸ線や粒子線、宇宙線等も含む。また、以下において、放射線画像の信号の大きさに依存しない暗電流や電気的なノイズ等をシステムノイズという。
【0016】
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、及びサポートベクターマシンなどが挙げられる。また、ニューラルネットワークや、深層学習（ディープラーニング）を利用してもよい。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、学習データとは、機械学習モデルの学習に用いるデータセットのことをいい、機械学習モデルに入力される入力データ及び、機械学習モデルの出力結果の正解となる正解データのペアで構成される。
【0017】
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いた学習によって得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
【0018】
（実施例１）
（放射線システムの構成）
以下、図１Ａ乃至図１０を参照して、本開示の実施例１に係る放射線撮影システムについて説明する。図１Ａは、本実施例に係る放射線撮影システム１の概略的な構成を示す。なお、以下の説明において、被検査物Ｏを人体として説明するが、本開示に係る放射線撮影システムによって撮影される被検査物Ｏは人体に限られず、他の動物や植物、及び非破壊検査の対象物等であってもよい。
（放射線システムの構成）
以下、図１Ａ乃至図１０を参照して、本開示の実施例１に係る放射線撮影システムについて説明する。図１Ａは、本実施例に係る放射線撮影システム１の概略的な構成を示す。なお、以下の説明において、被検査物Ｏを人体として説明するが、本開示に係る放射線撮影システムによって撮影される被検査物Ｏは人体に限られず、他の動物や植物、及び非破壊検査の対象物等であってもよい。
【0019】
本実施例に係る放射線撮影システム１には、放射線検出器１０、制御部２０、放射線発生器３０、入力部４０、及び表示部５０が設けられている。なお、放射線撮影システム１は、インターネットやイントラネット等のネットワーク６０を介して制御部２０に接続されるサーバ等の外部記憶装置７０が含まれてもよい。
【0020】
放射線発生器３０は、例えば、Ｘ線管等の放射線発生源を備え、放射線を発することができる。放射線検出器１０は、放射線発生器３０より発せられた放射線を検出し、検出した放射線に対応する放射線画像を生成することができる。このため、放射線検出器１０は、放射線発生器３０より発せられ、被検査物Ｏを通った放射線を検出することで、被検査物Ｏの放射線画像生成することができる。
【0021】
ここで、図１Ｂは、本実施例に係る放射線検出器１０の概略的な構成を示す。放射線検出器１０には、蛍光体１１及び撮影センサ１２が設けられている。蛍光体１１は、放射線検出器１０に入射した放射線を撮影センサ１２によって検出可能な波長の光に変換する。蛍光体１１は、例えば、ＣｓＩやＧＯＳ（Ｇｄ２Ｏ２Ｓ）等を含んでよい。撮影センサ１２は、例えばａ－Ｓｉや結晶Ｓｉで構成される光電変換素子を含み、蛍光体１１によって変換された放射線に対応する光を検出し、検出した光に対応する信号を出力することができる。放射線検出器１０は、撮影センサ１２によって出力された信号についてＡ／Ｄ変換等を行うことで、放射線画像を生成することができる。なお、図１Ｂでは省略されているが、放射線検出器１０は演算部やＡ／Ｄ変換部等を備えていてよい。
【0022】
制御部２０は、放射線検出器１０、放射線発生器３０、入力部４０、及び表示部５０に接続されている。制御部２０は、放射線検出器１０から出力される放射線画像を取得して放射線画像に画像処理を施したり、放射線検出器１０や放射線発生器３０の駆動を制御したりすることができる。このため、制御部２０は、画像処理装置の一例として機能することができる。また、制御部２０は、インターネットやイントラネット等の任意のネットワーク６０を介して外部記憶装置７０に接続されてもよく、外部記憶装置７０から放射線画像等を取得してもよい。さらに、制御部２０は、ネットワーク６０を介して他の放射線検出器や放射線発生器等と接続されてもよい。なお、制御部２０は、外部記憶装置７０等に有線で接続されてもよいし、無線で接続されてもよい。
【0023】
入力部４０は、マウスやキーボード、トラックボール、タッチパネル等の入力機器を備え、操作者によって操作されることで、制御部２０に指示を入力することができる。表示部５０は、例えば、任意のモニターを含み、制御部２０から出力された情報や画像、及び入力部４０によって入力された情報等を表示することができる。
【0024】
なお、本実施例において、制御部２０や入力部４０、表示部５０等は別個の装置によって構成されているが、これらは一体的に構成されてもよい。例えば、タッチパネルディスプレイによって入力部４０及び表示部５０を構成してもよい。また、本実施例では、制御部２０により画像処理装置を構成したが、画像処理装置は放射線画像を取得し、放射線画像に画像処理を施すことができればよく、放射線検出器１０や放射線発生器３０の駆動を制御しなくてもよい。
【0025】
また、制御部２０と、放射線検出器１０及び放射線発生器３０等は有線で接続されてもよいし、無線で接続されてもよい。さらに、外部記憶装置７０は、病院内のＰＡＣＳ等の画像システムを構成してもよいし、病院外のサーバ等であってもよい。
【0026】
（制御部の構成）
次に、図２Ａ及び図２Ｂを参照して、制御部２０のより具体的な構成について説明する。図２Ａは、本実施例に係る制御部２０の概略的な構成を示す。図２Ｂは、制御部２０に含まれるノイズ低減処理部２６の概略的な構成を示す。図２Ａに示されるように、制御部２０には、取得部２１、画像処理部２２、表示制御部２３、駆動制御部２４、及び記憶部２５が設けられている。
次に、図２Ａ及び図２Ｂを参照して、制御部２０のより具体的な構成について説明する。図２Ａは、本実施例に係る制御部２０の概略的な構成を示す。図２Ｂは、制御部２０に含まれるノイズ低減処理部２６の概略的な構成を示す。図２Ａに示されるように、制御部２０には、取得部２１、画像処理部２２、表示制御部２３、駆動制御部２４、及び記憶部２５が設けられている。
【0027】
取得部２１は、放射線検出器１０によって出力された放射線画像や、入力部４０によって入力された各種情報等を取得することができる。また、取得部２１は、外部記憶装置７０等から放射線画像や患者情報等を取得することもできる。
【0028】
画像処理部２２には、ノイズ低減処理部２６及び診断用画像処理部２７が設けられており、取得部２１によって取得された放射線画像に対して本開示に係る画像処理を施すことができる。ノイズ低減処理部２６には、図２Ｂに示されるように、学習処理部２６１、及び推論処理部２６２が設けられている。推論処理部２６２には、分割部２６３、無相関化部２６４、直流除去部２６５、及び演算処理部２６６が設けられている。学習処理部２６１には、推論処理部２６２の構成に加えて、さらに人工ノイズ加算部２６７、及びパラメータ更新部２６８が設けられている。この構成により、ノイズ低減処理部２６は、ノイズ低減処理を行うための機械学習モデルの学習を行い、当該機械学習モデルを用いて放射線画像に好適なノイズ低減処理を適用することができる。
【0029】
また、診断用画像処理部２７は、ノイズ低減処理部２６でノイズ低減を施した画像に対して、診断に適した画像に変換するための診断用画像処理を行うことができる。診断用画像処理としては、例えば階調処理や強調処理、グリッド縞低減処理などが含まれる。
【0030】
次に、推論処理部２６２の構成について説明する。推論処理部２６２は、任意の放射線画像の入力に対して学習済モデルを適用し、その結果を出力する推論処理を行うことができる。
【0031】
分割部２６３は、放射線画像を複数の領域の画像に分割することができる。また、分割部２６３は、複数の領域の画像を結合し、一枚の画像を生成することもできる。
【0032】
無相関化部２６４は、放射線画像に含まれる放射線の揺らぎに起因する量子ノイズの大きさについて、検出した放射線に対応する信号の大きさとの相関関係を解消する（無相関化する）処理を行う。ここで、量子ノイズは、その分散（以下、ノイズの大きさと呼称する）が放射線量に比例することが知られている。このため、量子ノイズの大きさは、検出した放射線量に対応する放射線画像の各画素に係る信号量（以下、画素値と呼称する）に比例している。本実施例に係る無相関化部２６４は、放射線画像に対して無相関化処理を施すことで、量子ノイズの大きさを放射線画像における各画素の画素値の大小に関わらず略一定とすることができる。具体的な無相関化処理の手法については後述する。
【0033】
また、無相関化部２６４は、無相関化処理に係る変換処理の逆変換処理を、無相関化処理が施された放射線画像に施すことで、量子ノイズの大きさと画素値との相関関係を元に戻すことができる。なお、ノイズの無相関化処理及び当該無相関化処理の逆変換のそれぞれを行う別個の構成要素を設けてもよく、この場合には、それぞれの構成要素を含む機能ブロックを無相関化部２６４とすることができる。
【0034】
直流除去部２６５は、画像の直流成分を減算し、画像の平均信号レベルを平準化する処理を行う。具体的には、放射線画像の平均画素値が０になるように、放射線画像の各画素値から当該画像の平均画素値を減算することで、放射線画像の直流成分を除去する。また、直流除去部２６５は、直流除去処理が行われた画像に対して、減算された平均画素値を各画素値に加算することで、放射線画像の平均信号レベルを変換前のものに戻すことができる。なお、直流除去処理及び直流加算処理のそれぞれを行う別個の構成要素を設けてもよく、この場合には、それぞれの構成要素を含む機能ブロックを直流除去部２６５とすることができる。また、直流成分の除去は、分割部２６３によって分割された画像それぞれに対して行ってもよいし、分割部２６３によって分割される前の放射線画像全体に対して行ってもよい。
【0035】
演算処理部２６６は、分割部２６３、無相関化部２６４、及び直流除去部２６５による処理が適用された画像を入力とし、後述する学習済モデルを用いた処理を行い、入力画像に含まれるノイズを低減した画像を生成することができる。なお、本実施例で低減されるノイズには、撮影センサ１２によって生じる暗電流や電気ノイズ等のシステムノイズ及び放射線の揺らぎに起因する量子ノイズが含まれる。
【0036】
次に、学習処理部２６１の構成について説明する。 学習処理部２６１は、機械学習モデルを学習する際に適用される学習処理を行うもので、学習処理部２６１には、推論処理部２６２の構成に加え、さらに人工ノイズ加算部２６７、及びパラメータ更新部２６８が設けられている。
【0037】
学習処理を行う際は、学習データが必要である。学習データは、入力データと正解データともに、分割部２６３、無相関化部２６４、及び直流除去部２６５による処理が適用される。
【0038】
ここで、人工ノイズ加算部２６７は、学習データに、放射線画像の特徴を模擬して作成した人工ノイズを加算する処理を行う。人工ノイズの加算は、学習データのうち、入力データのみか、あるいは入力データと正解データに対して行われる。なお、入力データと正解データに人工ノイズを加算する場合、例えば、人工ノイズ加算部２６７は、入力データに加算するノイズの量が正解データに加算するノイズの量に比べて大きくなるように入力データと正解データにノイズを加算する。しかしながら、入力データと正解データに人工ノイズを加算する方法は上記に限定されず、入力データと正解データに差異が発生するように人工ノイズが加算されればよい。また、人工ノイズの加算のタイミングは、推論処理部２６２で行われる各処理の間の任意のタイミングで良く、例えば、推論処理部２６２に入力される放射線画像に人工ノイズを加算する、あるいは、無相関化処理後に人工ノイズを加算するなど、任意のタイミングで行われうる。
【0039】
人工ノイズ加算後の画像は、適宜の処理を施された後、演算処理部２６６に入力される。なお、加算する人工ノイズの詳細については後述する。
【0040】
パラメータ更新部２６８は、演算処理部２６６の演算結果と、正解データをもとに、演算処理部２６６が持つ機械学習モデルのパラメータを更新する処理を行う。パラメータ更新部２６８の動作の詳細については後述する。
【0041】
ここで、学習処理部２６１は、放射線撮影システム１に必ずしも含まれる必要はない。例えば、放射線撮影システムとは別のハードウェア上に学習処理部２６１を構成し、事前に適切な学習データを用いて学習を行って学習済モデルを作成しておき、放射線撮影システムにおいては、推論処理部２６２による処理だけを行うようにしてもよい。又は、学習処理部２６１を放射線撮影システム１に含めることで、設置後に取得した学習データで追加学習を行うことができる構成としてもよい。
【0042】
表示制御部２３は、表示部５０の表示を制御することができ、画像処理部２２による画像処理前後の放射線画像や患者情報等を表示部５０に表示させることができる。駆動制御部２４は、放射線検出器１０及び放射線発生器３０等の駆動を制御することができる。そのため、制御部２０は、駆動制御部２４によって放射線検出器１０及び放射線発生器３０の駆動性を制御することで、放射線画像の撮影を制御することができる。
【0043】
記憶部２５は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、及び後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを記憶することができる。また、記憶部２５は、取得部２１によって取得された情報や、画像処理部２２で画像処理された放射線画像等を記憶することもできる。例えば、記憶部２５は、取得部２１により取得された放射線画像を記憶したり、後述するノイズ低減処理がなされた放射線画像を記憶したりすることができる。
【0044】
なお、制御部２０は、プロセッサーやメモリ等を含む一般的なコンピュータを用いて構成することができるが、放射線撮影システム１の専用のコンピュータとして構成されてもよい。ここで、制御部２０は、本実施例に係る画像処理装置の一例として機能するが、本実施例に係る画像処理装置は、制御部２０に通信可能に接続された別体（外部）のコンピュータであってもよい。また、制御部２０や画像処理装置は、例えば、パーソナルコンピュータであってもよく、デスクトップＰＣや、ノート型ＰＣ、タブレット型ＰＣ（携帯型の情報端末）が用いられてもよい。
【0045】
なお、プロセッサーは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってよい。また、プロセッサーは、例えば、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等であってもよい。
【0046】
制御部２０の各機能は、ＣＰＵやＭＰＵ等のプロセッサーが記憶部２５に記憶されたソフトウェアモジュールを実行することで実現されてよい。また、各機能は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。例えば、画像処理部２２をＡＳＩＣ等の専用のハードウェアで実現してもよいし、表示制御部２３をＣＰＵとは異なるＧＰＵ等の専用のプロセッサーを用いて実現してもよい。記憶部２５は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
【0047】
（機械学習モデルの構成）
次に、図３Ａ乃至図３Ｃを参照して、本実施例に係る学習済モデルを構成する機械学習モデルの例について説明する。本実施例に係る演算処理部２６６が用いる機械学習モデルの一例は多層のニューラルネットワークである。
次に、図３Ａ乃至図３Ｃを参照して、本実施例に係る学習済モデルを構成する機械学習モデルの例について説明する。本実施例に係る演算処理部２６６が用いる機械学習モデルの一例は多層のニューラルネットワークである。
【0048】
図３Ａは、本実施例に係るニューラルネットワークモデルの概略的な構成例を示している。図３Ａに示すニューラルネットワークモデル３３は、入力データ３１に対して、予め学習した傾向に応じて、ノイズが低減された推論データ３２を出力するように設計されている。出力されるノイズが低減された放射線画像は、機械学習プロセスでの学習内容に基づくものであり、本実施例に係るニューラルネットワークは、放射線画像に含まれる信号とノイズを分別するための特徴量を学習している。
【0049】
なお、多層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（以後、ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋと呼称する）を用いることができる。また、多層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。
【0050】
ここで、放射線画像のノイズ低減処理用の機械学習モデルとして、ＣＮＮを用いる場合について説明する。図３Ｂは、本実施例に係るニューラルネットワークモデル３３を構成するＣＮＮの概略的な構成の一例を示す。本実施例に係る学習済モデルの例では、入力データ３１として放射線画像が入力されると、ノイズが低減された推論データ３２を出力することができる。
【0051】
図３Ｂに示すＣＮＮは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該ＣＮＮの構成に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅ）層がある。
【0052】
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
【0053】
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。
【0054】
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、逆畳み込みによるアップサンプリング処理がある。
【0055】
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
【0056】
また、ニューラルネットワークは、デコーダー側の１層目の畳み込み層から出力されるデータに入力データを加算する加算層３４を有してもよく、この場合には、出力の前に、入力データを加算するショートカットを構成するとよい。これにより、当該ＣＮＮは、入力データと正解データの差分を学習する構成を採ることができ、好適にノイズをターゲットとした系を取り扱うことができる。
【0057】
なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データからトレーニングされた傾向について、推論時に再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
【0058】
また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、より精度良くノイズが低減された放射線画像を出力したり、処理時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
【0059】
なお、本実施例で用いるＣＮＮの構成は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルである。すなわち、ＣＮＮの構成は、エンコーダー機能とデコーダー機能とを有するＵ字型の構造を含む。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
【0060】
図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の前後に活性化関数（例えばＲｅＬｕ：Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）の層や、さらにその前後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）などの各種の正規化処理を行う層を組み込んでもよい。
【0061】
ＣＮＮのこれらのステップを通して、入力される放射線画像からノイズの特徴を抽出することができる。
【0062】
ここで、学習処理部２６１は、パラメータ更新部２６８を備える。パラメータ更新部２６８は、図３Ｃに示すように、学習データにおける入力データ３１に演算処理部２６６のニューラルネットワークモデル３３を適用した推論データ３２と、学習データにおける正解データ３５から、損失関数を算出する処理を行う。さらに、パラメータ更新部２６８は、算出した損失関数に基づいてニューラルネットワークモデル３３のパラメータを更新する処理を行う。ここで、損失関数は、推論データ３２と、正解データ３５の誤差を示すものである。
【0063】
より具体的には、パラメータ更新部２６８は、損失関数によって表される推論データ３２と正解データ３５との誤差が小さくなるように、例えば、誤差逆伝播法を用いて、畳み込み層のフィルタ係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、ニューラルネットワークの各ノード間のパラメータ等を調整する手法である。なお、学習には、ＣＮＮを構成するユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。
【0064】
さらに、演算処理部２６６が用いる学習済モデルは、転移学習を用いて生成されたものでもよい。この場合には、例えば、種類等が異なる被検査物Ｏの放射線画像で学習された機械学習モデルについて転移学習を行って、ノイズ低減処理に用いる学習済モデルを生成してもよい。このような転移学習を行うことによって、学習データを数多く入手するのが難しい被検査物Ｏについても、効率的に学習済モデルを生成することができる。ここでいう種類等が異なる被検査物Ｏは、例えば、動物や植物、非破壊検査の対象物等であってよい。
【0065】
ここで、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、上記のようなＣＮＮを利用した学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施例に係る学習処理部２６１には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習処理では、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、推論処理部２６２の各処理についても、学習処理部２６１と同様にＧＰＵを用いて実現してもよい。
【0066】
以上、機械学習モデルの構成について説明したが、これまでに示したようなＣＮＮを用いたモデルに制限するものではない。機械学習モデルの学習は、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた機械学習に類するものであればよい。
【0067】
（学習処理）
次に、本実施例に係る学習処理部２６１の処理の流れについて説明する。ここで、学習処理部２６１で用いる学習データとして、理想的には入力データとしてノイズを含んだ放射線画像と、正解データとしてノイズを略含まない放射線画像との組を用いるのが望ましい。ノイズを略含まない放射線画像を得るためには、例えば同じ被検査物を複数回撮影して平均画像を作成するなどして、信号と相関のないノイズ成分をキャンセルする方法が挙げられる。しかしながら、特に医用分野においては、放射線撮影の侵襲性を鑑みると実際の人体を用いて上記の手段を行うことは現実的でなく、学習データとしてノイズを含んだ放射線画像と、ノイズを略含まない放射線画像の組を用意することは困難である。
次に、本実施例に係る学習処理部２６１の処理の流れについて説明する。ここで、学習処理部２６１で用いる学習データとして、理想的には入力データとしてノイズを含んだ放射線画像と、正解データとしてノイズを略含まない放射線画像との組を用いるのが望ましい。ノイズを略含まない放射線画像を得るためには、例えば同じ被検査物を複数回撮影して平均画像を作成するなどして、信号と相関のないノイズ成分をキャンセルする方法が挙げられる。しかしながら、特に医用分野においては、放射線撮影の侵襲性を鑑みると実際の人体を用いて上記の手段を行うことは現実的でなく、学習データとしてノイズを含んだ放射線画像と、ノイズを略含まない放射線画像の組を用意することは困難である。
【0068】
そこで、本実施例では、人体を医用目的で撮影した放射線画像を学習データの正解データとし、放射線画像に生じるノイズに相当する人工ノイズを放射線画像に加算した画像を学習データの入力データとして用いる。このような学習データを用いて学習を行うことで、放射線画像の画像特徴と、人工ノイズの特徴を学習することができる。なお、加算するノイズは人工ノイズに限定されない。例えば、同じ被検査物を複数回撮影できる場合には、被検査物を撮影して得た放射線画像と、同じ被検査物を複数回撮影して得た平均画像とを用いて差分処理を行い、放射線画像に加算するノイズ成分を取得してもよい。
【0069】
本発明者は、人工ノイズを後述するような様式によって実際の放射線画像のノイズの特徴を模擬した形で与えたとき、実際の放射線画像が入力された場合においても、好適にノイズが低減された放射線画像を出力できる機械学習モデルを生成できることを見出した。
【0070】
以上を踏まえ、図３Ｄ乃至図７及び図１２を参照して、本実施例に係る学習処理部２６１の処理の流れについて説明する。図４は、本実施例に係る学習処理部２６１の処理の流れを示すフローチャートである。本実施例に係る学習データの生成方法では、人工ノイズの加算処理を、ノイズの無相関化処理及び直流除去処理を含む前処理の前に行う。
【0071】
ステップＳ４０１では、学習処理部２６１に学習データが入力される。入力される学習データの取得は、取得部２１にて行われ、本実施例では、学習データとして適宜の放射線画像が取得される。なお、取得部２１は、記憶部２５に記憶された放射線画像を取得してもよいし、外部記憶装置７０等から放射線画像を取得してもよい。また、取得部２１は、放射線検出器１０によって出力された放射線画像を取得してもよい。なお、本実施例における学習データとは、上記放射線画像を入力データ及び正解データとしたものとなる。学習処理部２６１に同じデータとして入力された後、学習処理部内部で、入力データか、入力データ及び正解データに適宜の人工ノイズが加算されることで、入力データと正解データに差異が発生する状態となる。
【0072】
ステップＳ４０２では、分割部２６３によって入力された放射線画像に対して領域分割処理が行われる。図５Ａ乃至図５Ｃは、本実施例に係る領域分割処理を説明するための画像である。図５Ａに示す例では、分割部２６３は、放射線画像５０１の領域分割を行い、適宜の分割画像５０２を作成する。なお、学習処理部２６１に入力される学習データは入力データと正解データからなるが、分割部２６３は、両画像を同じ位置で領域分割するように動作する。
【0073】
ここで、分割画像５０２の画素数は、演算処理部２６６が動作する演算装置において、一度に処理を行うことができる範囲の画素数内であって、画像内のノイズに関する特徴量を抽出できる程度の数であれば任意に設定されてよい。なお、医用の放射線画像では、放射線検出器１０は高精細であることが多く、放射線画像５０１は、例えば２６８８ｐｉｘ×２６８８ｐｉｘを超える画素を有することがあり、演算処理部２６６が動作する演算装置が演算可能な画素数を超えてしまう場合がある。例えば、分割画像５０２の画素数としては、２５６ｐｉｘ×２５６ｐｉｘ程度とすることができる。
【0074】
なお、学習処理部２６１の動作において、ステップＳ４０１～ステップＳ４０７は繰り返し処理されるが、ステップＳ４０２における領域分割処理においては、ループの間に作成した領域画像と重複する部分を含むように領域画像の範囲を設定してもよい。この場合、一枚の放射線画像から、より多くの学習データを生成することができる。また、各種のデータ拡張を行ってもよい。例えば、回転・縮小・拡大・スキューや、信号量の変化、オフセットの加算などが挙げられる。また、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を用いて学習データの拡張を行ってもよい。
【0075】
ステップＳ４０３において、人工ノイズ加算部２６７によって、分割画像５０２に対して人工ノイズが加算される。上述の通り、人工ノイズは、実際に放射線画像に生じるノイズに近いものとすることができる。以下、本実施例にて加算する人工ノイズの例を説明する。
【0076】
これまで述べたように、放射線画像に含まれるノイズは、主に放射線量子の揺らぎによって発生する量子ノイズと、検出器及び回路等から発生するシステムノイズに大別される。
【0077】
放射線検出器１０は、蛍光体１１によって放射線を可視光に変換する構成を採ることから、放射線の信号には蛍光体１１の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に応じて高周波の減衰が生じることが知られている。例えば、図１２は、ピクセルサイズが１２５μｍである放射線検出器１０における空間周波数とＭＴＦの関係性の一例を示す。この例では、ＭＴＦはナイキスト周波数に向かって単調に減少している。ナイキスト周波数４ｌｐ／ｍｍにおけるＭＴＦは例えば０．２程度となっており、高周波信号が減衰している状態となっている。
【0078】
放射線量子の揺らぎによって発生する量子ノイズも同様の変調伝達関数によって高周波の減衰が発生する。一方で、検出器及び回路等から発生するシステムノイズは蛍光体の影響を受けない。放射線画像に含まれるノイズは、撮影時の線量によらないシステムノイズと、撮影時の線量によって変化する量子ノイズを加算したものとなる。このことから、デジタル放射線撮影装置におけるノイズは、入力される放射線の強度に応じて周波数特性（ＮＰＳ：Ｎｏｉｓｅ Ｐｏｗｅｒ Ｓｐｅｃｔｒｕｍ）が異なるという特徴を持つ。当該ノイズのＮＰＳと入力される信号の強度（線量）との関係は、図６に示すような関係になる。なお、図６の縦軸は入力される信号の強度を示し、横軸はノイズの空間周波数を示している。グラフ６０１はシステムノイズのみの空間周波数特性の例を示す。グラフ６０４は、蛍光体１１のＭＴＦに従う量子ノイズの空間周波数特性の例を示す。グラフ６０２及び６０３は合成されたシステムノイズの空間周波数特性と量子ノイズの空間周波数特性の例をそれぞれ示す。
【0079】
入力信号がない場合は、グラフ６０１のように、ノイズはシステムノイズ由来の白色雑音様の特徴を持つＮＰＳを持つ。入力信号が小さい場合、ノイズはグラフ６０２のように高周波の減衰が少ないＮＰＳとなり、グラフ６０２より入力信号が大きい場合はグラフ６０３のようにより高周波が減衰したＮＰＳを持つ。また、十分に入力信号が大きく、量子ノイズが支配的になる場合は、ノイズはグラフ６０４のように蛍光体１１のＭＴＦに従ったＮＰＳを持つ。
【0080】
以上を踏まえ、本実施例では、放射線検出器１０のシステムノイズに対応する白色雑音と、蛍光体１１のＭＴＦの影響を受けた量子ノイズとを合成したノイズを人工ノイズとして扱うものとする。
【0081】
ここで、量子ノイズとシステムノイズとの合成比率に関しては、例えば以下（式１）～（式４）の関係式を用いて、放射線検出器１０の特性を模擬することができる。いま、量子ノイズの標準偏差をσｑとし、放射線検出器１０によるシステムノイズの標準偏差をσｓとすると、放射線画像におけるノイズの分散σａｌｌ
２は、
σall ２＝σq 2+σs 2（式１）
の関係を満たす。また、入力画像の信号をＩｓｉｇとすると、量子ノイズの標準偏差σｑは、信号Ｉｓｉｇに比例することから、量子ノイズの係数ｑを用いて、
σｑ ２＝ｑ２×Ｉｓｉｇ（式２）
と書ける。また、システムノイズの標準偏差σｓは、信号Ｉｓｉｇに比例しない一定値であるため、システムノイズの係数ｓを用いて、
σｓ ２＝ｓ２（式３）
と書ける。
σall ２＝σq 2+σs 2（式１）
の関係を満たす。また、入力画像の信号をＩｓｉｇとすると、量子ノイズの標準偏差σｑは、信号Ｉｓｉｇに比例することから、量子ノイズの係数ｑを用いて、
σｑ ２＝ｑ２×Ｉｓｉｇ（式２）
と書ける。また、システムノイズの標準偏差σｓは、信号Ｉｓｉｇに比例しない一定値であるため、システムノイズの係数ｓを用いて、
σｓ ２＝ｓ２（式３）
と書ける。
【0082】
上記を踏まえ、人工ノイズ（ａｄｄＮｏｉｓｅ）は、以下のように求めることができる。まず、システムノイズを模擬した人工システムノイズｓＮｏｉｓｅを、標準偏差σｓの加法性白色ガウス雑音（ＡＷＧＮ：Ａｄｄｉｔｉｖｅ Ｗｈｉｔｅ Ｇａｕｓｓｉａｎ Ｎｏｉｓｅ）とする。次に、量子ノイズを模擬した人工量子ノイズｑＮｏｉｓｅを、分散σｑ
２のポアソン分布に従い、かつ蛍光体１１のＭＴＦに従ったＮＰＳを持つノイズとする。例えば、蛍光体１１のＭＴＦを２次元フィルタで近似したものをｆＭＴＦとしたとき、ポアソン分布に従うノイズ画像にｆＭＴＦを畳み込むことで作成することができる。なお、ポアソン分布は分散が十分大きいとき正規分布と近似できるため、ｑＮｏｉｓｅを正規分布に従ったノイズとして扱ってもよい。このとき、人工ノイズ（ａｄｄＮｏｉｓｅ）を、
ａｄｄＮｏｉｓｅ＝ｓＮｏｉｓｅ＋ｑＮｏｉｓｅ（式４）
と表すことができる。
ａｄｄＮｏｉｓｅ＝ｓＮｏｉｓｅ＋ｑＮｏｉｓｅ（式４）
と表すことができる。
【0083】
放射線画像に生じるノイズの分布は、実験的に平均値及び中央値が略０である正規分布に近似することが知られているが、上記のように得られる人工ノイズについても、平均値及び中央値が略０となる分布とすることができる。
【0084】
なお、係数ｑ及びｓは、放射線検出器１０の性能を示すもので、予め測定を行うことで取得することができる。例えば、線量を変更して複数回撮影した測定値をプロットし、一連の測定値を（式１）に近似し、量子ノイズの係数ｑ及びシステムノイズの係数ｓを得るとよい。これにより、任意の信号Ｉｓｉｇにおいて、量子ノイズの標準偏差σｑ及びシステムノイズの標準偏差σｓを得ることができる。ただし、量子ノイズの標準偏差σｑ及びシステムノイズの標準偏差σｓの取得方法はこれに限られず、公知の任意の方法を用いてよい。量子ノイズの標準偏差σｑ及びシステムノイズの標準偏差σｓは、放射線画像の取得に用いられた放射線検出器１０毎に記憶部２５に予め記憶されていてもよいし、撮影に先立って実施される測定により取得されてもよい。
【0085】
また、ここでは放射線検出器１０の例として、蛍光体１１によって放射線を可視光に変える間接変換方式と呼ばれるものを示しているが、放射線検出器１０の中には、放射線を電気信号に直接変換する直接変換方式と呼ばれるものも存在する。その場合についても、量子ノイズがＭＴＦに影響されたＮＰＳを持つ点では同等であり、上記（式４）で示される人工ノイズを加算することで、好適な学習を行うことが可能である。
【0086】
ステップＳ４０４において、無相関化部２６４によって、人工ノイズが加算された分割画像に対して、ノイズ無相関化処理が行われる。ここで、図７（ａ）及び図７（ｂ）を参照してノイズ無相関化処理について説明する。図７（ａ）は放射線画像におけるノイズの分散と画像の入力信号との関係を示す。図７（ｂ）はノイズ無相関化処理を行った後のノイズと変換後の信号値の関係を示した図である。ノイズ無相関化処理とは、ノイズの分散と信号の相関関係を解消する処理を指す。
【0087】
上述のように、放射線画像には、信号の大きさに比例する量子ノイズと、信号の大きさに比例しないシステムノイズとが含まれており、（式１）～（式３）及び、図７（ａ）に示すように、放射線画像におけるノイズの分散σａｌｌ
２は信号Ｉに比例する特徴がある。ノイズ低減をより好適に学習するためには、信号Ｉによって大きさが変わる乗法性のノイズを取り扱うよりも、図７（ｂ）に示すように、ノイズが信号によらず略一定となる形式に変換し、加法性のノイズを取り扱うことが望ましい。量子ノイズはポアソン分布に従うことから、平方根変換や対数変換等を行うことで、入力される放射線の強さによらず略一定とできる。
【0088】
本実施例では、ノイズ無相関化処理として、上記（式１）～（式３）から、システムノイズの成分Ｉ０を
とし、入力画像をＩｍとしたとき、
となるように、入力画像Ｉｍを平方根変換し、ノイズ無相関化画像Ｉｍ’を得る。
【数1】
【数2】
【0089】
なお、無相関化部２６４は、平方根変換において、変換後のノイズの標準偏差を１とするような、
に従う無相関化処理を行ってもよい。これらの処理により、放射線画像に含まれるノイズについて、ノイズの大きさと信号の大きさを無相関化することができる。
【数3】
【0090】
ステップＳ４０５では、直流除去部２６５によって、無相関化された分割画像に対して直流除去処理が行われ、分割画像毎の直流成分（画像の平均信号レベル）を除去する。特に医用で扱われる放射線画像においては、被検査物信号のダイナミックレンジが広く、分割された領域に応じて画像内の平均信号レベルが大きく異なる場合があり、損失関数に影響して学習がうまく進まない場合がある。そこで、本実施例では、直流除去部２６５によって、領域画像の画素値から直流成分が除去される。具体的には、分割画像の平均画素値が０になるように、分割画像の各画素値から当該画像の平均画素値を減算することで、分割画像毎の直流成分を除去する。この操作により、ノイズの大きさや、ノイズの周波数特性に影響を及ぼすことなく、分割画像毎の平均信号レベルの差を平準化することができ、学習を安定して進めることができる。
【0091】
ステップＳ４０６において、演算処理部２６６によって、演算処理部２６６が有する機械学習モデルを用いた推論処理が行われる。本処理は、ステップＳ４０５までに作成した画像を入力として、前述のＣＮＮなどの機械学習モデルを用いた推論処理が行われる。例えば、図３Ｃに示すように、入力データ３１として、例えばステップＳ４０５において直流除去を行った信号を用い、推論データ３２を出力する構成を採ることができる。
【0092】
又は、図３Ｄに示すように、入力データについて複数チャンネル（ここでは２チャンネルの例を示す）を持ち、推論データについて複数チャンネルを持つ構成とすることもできる。
【0093】
ここで、学習すべき対象となるノイズの特徴を考えると、ステップＳ４０４のノイズ無相関化処理によって、ノイズの分散（大きさともいえる）は信号値によらず略一定のなった状態となっている。しかしながら、先に述べたように、放射線画像におけるノイズの成り立ちを鑑みると、依然としてノイズのＮＰＳは入力される信号量との相関性を有した状態となっている。従って、学習に用いる情報としては信号量の情報が入力されることが望ましいが、一方で、学習を安定させるために行ったステップＳ４０５による直流除去処理により、信号量の情報が失われた状態となっている。
【0094】
これを踏まえ、直流除去を加えた画像を１チャンネル目の入力データ３６とし、それに加えて、信号量の情報が含まれた画像を２チャンネル目の入力データ３７として入力する。例えば、ステップＳ４０４においてノイズ無相関化を行った画像に対して、信号量の情報を保存した状態での正規化を行った画像を用いることができる。具体的には、以下（式８）のように、（式６）又は（式７）の平方根変換を、Ｉｍで想定される最大値ｍａｘ（Ｉｍ）（例えば６５５３５）で行った値で除算し、最大値が０～１となるように正規化したものを用いることができる。
【数4】
【0095】
これにより、学習を安定して進めつつ、かつ直流除去によって失われる信号量の情報を含めて学習を行うことができるため、より好適にノイズの特徴を学習することができる。推論データとしては、直流除去された１チャンネル目の入力データ３６のノイズを低減した推論データ３８と、信号量の情報が含まれた２チャンネル目の入力データ３７のノイズを低減した推論データ３９を持つ構成となる。
【0096】
あるいは、図３Ｅに示すように、入力データについて複数チャンネル（ここでは２チャンネルの例を示す）を持ち、推論データについては、１つのチャンネルを持つ構成としてもよい。この場合、推論データとしては、直流除去された１チャンネル目の入力データ３６のノイズを低減した推論データ４３を持つ構成とすることができる。
【0097】
ステップＳ４０７では、パラメータ更新部２６８により推論データと正解データが比較され、両者の誤差を数値化した損失関数が算出される。また、損失関数に基づいて、機械学習モデルのパラメータ（例えばＣＮＮにおける畳み込み層のフィルタ係数等）が更新されるようになっている。損失関数の例としては、平均絶対誤差（Ｌ１ｌｏｓｓ）や、平均二乗誤差（Ｌ２ｌｏｓｓ）が挙げられる。なお、図３Ｃに示すように推論データが単一のチャンネルのデータの場合は、推論データ３２と正解データ３５の組（図３Ｅに示す例でも同様で、推論データ４３と正解データ４４の組）で比較する。図３Ｄに示すように、推論データが複数のチャンネルのデータの場合は、各々相当する組での比較を行う。具体的には、例えば、１チャンネル目の直流除去済みの推論データ３８と、それに対応する直流除去された正解データ４１との損失関数、及び２チャンネル目の正規化された推論データ３９と、それに対応する正規化された正解データ４２との損失関数を算出する。
【0098】
ここで、放射線画像に生じるノイズ、及びステップＳ４０３で加算した人工ノイズの分布は、平均値及び中央値が０である正規分布と近似できる。このとき、上記のように損失関数を平均絶対誤差（Ｌ１ｌｏｓｓ）や平均二乗誤差（Ｌ２ｌｏｓｓ）とすれば、ノイズ由来の成分は損失関数算出における平均処理によって凡そキャンセルされる。そのため、損失関数に影響を与える主な要因はデータに含まれるノイズを含まない信号成分の誤差となる。すなわち、演算処理部２６６が有する機械学習モデルは、ノイズの含まれた入力データから、ノイズを含まない信号を再現するように学習が進む構成を採ることができる。
【0099】
ステップＳ４０８において、学習の終了判定を行い、終了と判定された場合はフローを終了し、そうでない場合はステップＳ４０１に戻り、別のデータを用いてステップＳ４０１～ステップＳ４０７のフローを繰り返す。終了判定の基準としては、一般的な機械学習において一般的に用いられる適宜の判定基準を使用することが可能である。例えば、特定のループ回数が実行されたか否か、損失関数が一定以下であるか否か、過学習が行われていないか否か、又は推論データにおけるノイズ低減の性能を示す指標であるＰＳＮＲやＳＳＩＭを評価し、性能が十分な水準に達しているか否かを判定してよい。
【0100】
上記説明したように、本実施形における学習処理部２６１は、実際の放射線画像のノイズの特徴を模擬した人工ノイズを加算することによって、好適にノイズが低減された放射線画像を出力できる機械学習モデルを生成することができる。
【0101】
（推論処理部）
次に、図３Ｃ乃至図３Ｅ、図５Ｂ、図５Ｃ、及び図９を参照して、本実施例に係る推論処理部２６２の処理の流れについて説明する。図９は、本実施例に係る推論処理部２６２の一連の画像処理を示すフローチャートである。
次に、図３Ｃ乃至図３Ｅ、図５Ｂ、図５Ｃ、及び図９を参照して、本実施例に係る推論処理部２６２の処理の流れについて説明する。図９は、本実施例に係る推論処理部２６２の一連の画像処理を示すフローチャートである。
【0102】
本実施例に係る一連の画像処理では、処理の対象となる放射線画像に対して、領域分割や前処理を行い、学習済モデルへの入力とする。その後、学習済モデルからの出力に対して、前処理に対応する後処理を行い、最後に分割画像の結合処理を行うことで、元の放射線画像に対応する、ノイズの低減された放射線画像を生成する。なお、本実施例では、推論処理に入力する前の画像に対して行う画像処理を前処理といい、推論処理で出力された後の画像に対して行う画像処理を後処理という。本実施例では、前処理はノイズの無相関化処理及び直流除去処理を含み、後処理は、直流除去処理に対応する直流加算処理及びノイズの無相関化処理に対応する逆変換処理を含む。
【0103】
本実施例に係る一連の画像処理が開始されると、ステップＳ９０１において、取得部２１が放射線画像を取得する。取得部２１は、放射線検出器１０によって生成された放射線画像を取得してもよいし、記憶部２５や外部記憶装置７０等から放射線画像を取得してもよい。
【0104】
ステップＳ９０２では、分割部２６３が、ステップＳ４０２と同様に、取得された放射線画像について領域分割処理を行い、複数の分割画像（複数の放射線画像）を生成する。なお、ステップＳ９０２では、分割部２６３が、図５Ｂに示すように、放射線画像５０１を複数の分割画像Ｒ１１～Ｒｉｊに分割する。なお、分割画像の画素数は、演算処理部２６６が用いる機械学習モデルによって一度に処理を行うことができる画素数内（例えば２５６ｐｉｘ×２５６ｐｉｘ）であって、画像内のノイズに関する特徴量を抽出できる程度の数であれば任意に設定されてよい。
【0105】
なお、分割部２６３は、図５Ｂに示すように、領域の重複がないように分割領域を設定することができる。また、分割部２６３は、図５Ｃに示すように、隣接する領域の一部が重複するように分割領域を設定し、分割画像の結合時に重複している部分の領域を合成できるようにしてもよい。この場合、結合された放射線画像において、結合された各領域の境界における微妙な演算結果の差が発生した場合に、その影響を和らげることができる。また、推論処理においては畳み込み演算が行われるが、その際の画像の端部処理のために、図５Ｃに示すように、放射線画像５０１に適宜のパディング領域５０３を設け、分割領域においても適宜のパディング領域を設けた上で以後の処理を行うようにしてもよい。
【0106】
ステップＳ９０３では、無相関化部２６４が、ステップＳ９０２で生成された分割画像について、ステップＳ４０４と同様に、ノイズ無相関化処理を行う。ここで、無相関化処理は、学習処理において行った無相関化処理と同じパラメータで行う。例えば、学習処理において（式７）のように変換後のノイズの標準偏差を１とした場合は、同様に（式７）による無相関化処理を行うとよい。
【0107】
また、変換後のノイズの標準偏差の大きさを変える構成を採り、ステップＳ９０５の推論処理におけるノイズ低減処理の効果を変えることもできる。例えば、変換後のノイズの標準偏差を１．２など、学習処理における無相関化処理よりもノイズが大きくなる変換をしておく。学習済モデルは、ノイズの標準偏差が１であるノイズを想定してノイズを低減するように動作するため、結果的にノイズ低減効果を緩和する効果を得ることができる。上記によれば、学習処理と推論処理とに置ける変換処理の標準偏差を異ならせることにより、例えば、ノイズ低減処理を施した画像を診断する診断者の要求に応じてノイズ低減効果の大きさを調整できる。
【0108】
ステップＳ９０４では、直流除去部２６５が、ステップＳ９０３でノイズの無相関化処理が行われた各分割画像について、ステップＳ４０５と同様の直流除去処理を行う。
【0109】
次に、ステップＳ９０５では、演算処理部２６６が、上述した学習済モデルを用いて、ステップＳ９０４で直流除去処理が行われた分割画像に基づいて、推論処理を行いノイズが低減された分割画像を生成する。なお、学習済モデルは予め学習が行われた機械学習モデルであればよく、当該一連の画像処理の度に学習が行われる必要はない。なお、ステップＳ４０６及び図３Ｃ乃至図３Ｅに示したように、演算処理部２６６には学習モデルに合わせた入力が与えられる。
【0110】
また、本実施例では、学習済モデルは制御部２０に設けられる構成としているが、学習済モデルは制御部２０に接続された外部記憶装置７０等に設けられてもよい。なお、演算処理部２６６によるノイズが低減された分割画像の生成処理は、例えば、外部記憶装置７０等において、学習済モデルを用いて、制御部２０から送信された分割画像に基づいて生成されたノイズが低減された放射線画像を取得することを含んでもよい。
【0111】
以後のステップの説明では、一例として、図３Ｅに示されるような系を扱う。当該系では、１チャンネル目に直流除去処理が行われた画像を、２チャンネル目に最大値が０～１となるように正規化された無相関化処理済み画像を持つ分割画像を入力とする。また、当該系では、直流除去処理が行われた画像にノイズ低減を行った画像（１チャンネル目のノイズ低減画像）を出力とする。
【0112】
なお、以下に説明する手段を用いて、推論処理におけるノイズ低減処理の強度について調整することが可能である。図８は、ノイズ低減処理効果の調整手段の一例を表す模式図である。ノイズ低減処理の強さを調整する手段として、入力画像８１と、学習済モデルを用いた機械学習モデル８２による推論処理の出力画像８３を特定の係数αでブレンドした画像８４を用いる。ユーザーの好みに合わせてαの大きさ（α：０～１の実数）を変更してもよい。なお、当該調整処理は、例えば、推論処理部２６２や演算処理部２６６等により行われてよい。
【0113】
ステップＳ９０６では、直流除去部２６５により、ステップＳ９０５において生成されたノイズが低減された分割画像について、ステップＳ９０４において除去した当該分割画像の直流成分が加算される。
【0114】
ステップＳ９０７では、無相関化部２６４により、ステップＳ９０６で直流加算処理が行われた分割画像について、ステップＳ９０３におけるノイズの無相関化処理の逆変換処理が行われる。具体的には、ステップＳ９０３において、（式６）に従って平方根変換が行われた場合には、無相関化部２６４は、分割画像をＩｍ２としたとき、
となるように逆変換を行う。また、ステップＳ９０３において、（式７）に従って平方根変換が行われた場合には、無相関化部２６４は、分割画像をＩｍ２としたとき、
となるように逆変換を行う。これらの処理により、各分割画像における各画素値をノイズの無相関化処理の前における各分割画像の画素値に対応する画素値に戻すことができる。ただし、当該分割画像はステップＳ９０５においてノイズ低減処理が行われているため、各画素値はノイズが低減された画素値となる。
【数5】
【数6】
【0115】
ステップＳ９０８では、終了判定が行われ、全ての分割画像に対して後処理が完了した場合はステップＳ９０９へ、そうでない場合は、ステップＳ９０３～ステップＳ９０７のフローを繰り返す。
【0116】
ステップＳ９０９では、分割部２６３が、ステップＳ９０７で逆変換処理がなされた各分割画像を、ステップＳ９０２における領域分割処理の際に放射線画像を分割した位置に配置し合成処理を行うことで、複数の分割画像を結合し、全体の放射線画像を生成する。なお、ステップＳ９０２において、隣接する領域の一部が重複するように分割画像が分割されている場合には、重複している部分について、各々の元画像からの距離の重みとした加算平均処理等を行い、重複部分に画素値の段差が生まれないような画像の合成処理を行ってよい。
【0117】
ステップＳ９０９における結合処理が行われると、本実施例に係る一連の画像処理が終了する。図１０は、本実施例に係る一連の画像処理前の放射線画像１００１及び処理後の放射線画像１００２の一例を示す。放射線画像１００１と放射線画像１００２を比べると、本実施例に係る一連の画像処理を施した放射線画像１００２では、放射線画像１００１に含まれるノイズが低減され、放射線画像に含まれる被検査物Ｏが明瞭に示されていることが分かる。
【0118】
なお、本実施例では、ステップＳ４０４及びステップＳ９０３において、無相関化部２６４が、ノイズの無相関化処理として平方根変換を行う構成とした。しかしながら、ノイズの無相関化処理はこれに限られず、ポアソン分布の分散を安定化させることができる処理であれば他の処理を用いてもよい。例えば、無相関化部２６４は、放射線画像を対数変換することで、ノイズの無相関化処理を行ってもよい。具体的には、放射線画像（入力画像）をＩｍとしたとき、
となるように、放射線画像を対数変換する。この場合、ステップＳ９０７における逆変換処理では、無相関化部２６４は、放射線画像をＩｍ２としたとき、
となるように放射線画像に対して逆変換を行う。このような場合にも、放射線画像に含まれるノイズについて、信号の大きさとの相関関係を解消することができ、このような画像に基づく学習データを用いた機械学習モデルによる学習を簡易化することができる。
【数7】
【数8】
【0119】
このように、本実施例に係る一連の画像処理では、学習処理部２６１によって作成した学習済モデルを用いて推論処理部２６２の処理を行うことで、デジタル放射線撮影装置において好適なノイズ低減を行った放射線画像を生成することができる。
【0120】
上記のように、本実施例に係る制御部２０は、取得部２１と、演算処理部２６６とを備える。取得部２１は、被検査物Ｏの第１の放射線画像を取得する。演算処理部２６６は、高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに取得部２１により取得された第１の放射線画像を入力することにより、第１の放射線画像に比べてノイズが低減された第２の放射線画像を生成する生成部の一例として機能する。ここで、ノイズは高周波成分が減衰したノイズを含む。具体的には、放射線検出器１０に含まれる蛍光体１１の変調伝達関数（ＭＴＦ）に応じたノイズを含む。
【0121】
本実施例では、人工ノイズは、例えば、加法性の白色雑音などの放射線検出器１０のシステムノイズを模したノイズと、ポアソン分布に従うノイズにＭＴＦの影響を勘案した量子ノイズ（高周波成分が減衰したノイズ）とを合成したノイズとを含む。例えば、人工ノイズは、放射線検出器１０のシステムノイズを模したノイズと高周波成分が減衰したノイズを所定の合成比率で合成したノイズを含んでよい。また、例えば、人工ノイズは、放射線検出器１０のシステムノイズを模したノイズと高周波成分が減衰したノイズとを、学習データに用いる被検査物Ｏの放射線画像に含まれる全体のノイズの分散と、システムノイズの分散、量子ノイズの分散、及び放射線画像の信号の値との関係性を用いて定められた合成比率で合成したノイズを含んでよい。さらに、人工ノイズは、放射線検出器１０のシステムノイズを模したノイズと高周波成分が減衰したノイズとを第１の合成比率で合成したノイズと、第１の合成比率とは異なる第２の合成比率で合成したノイズとを含んでいてもよい。また、人工ノイズは、ランダムノイズとランダムノイズとは異なるノイズとを含んでよい。
【0122】
上記のような構成により、本実施例に係る制御部２０は、学習済モデルを用いて、放射線画像から蛍光体に起因するボケの生じたノイズ（高周波成分が減衰したノイズ）を含むノイズが低減された放射線画像を生成することができる。このような放射線画像を用いることで、画像解析をより適切に行うことを支援したり、医師による適切な画像診断を支援したりすることができる。
【0123】
また、制御部２０は、無相関化部２６４を更に備える。無相関化部２６４は、被検査物Ｏの放射線画像に含まれる、ポアソン分布に従うノイズの分散を安定化する（略一定にする）ように、被検査物Ｏの放射線画像に対して変換処理を行う変換部の一例として機能する。無相関化部２６４は、第１の放射線画像に対して変換処理を行い、演算処理部２６６は、変換処理が行われた第１の放射線画像に基づいて第２の放射線画像を生成する。また、無相関化部２６４は、第２の放射線画像に対して変換処理の逆変換処理を行う。
【0124】
より具体的には、無相関化部２６４は、第１の放射線画像に対して、平方根変換処理を行い、第２の放射線画像に対して、平方根変換処理の逆変換処理を行う。このような構成により、機械学習モデルによる学習をより簡易化することができ、学習済モデルを用いたノイズ低減処理の精度を向上させることができる。
【0125】
また、制御部２０は、直流除去部２６５を更に備える。直流除去部２６５は、被検査物Ｏの放射線画像に含まれる画素値の平均値を調整する調整部の一例として機能する。直流除去部２６５は、無相関化部２６４による変換処理が行われた第１の放射線画像に含まれる各画素値から、該画素値の平均値を減算する。演算処理部２６６は、平均値が減算された第１の放射線画像に基づいて第２の放射線画像を生成する。直流除去部２６５は、第２の放射線画像に含まれる各画素値に減算した平均値を加算する。無相関化部２６４は、平均値が加算された第２の放射線画像に対して逆変換処理を行う。このような構成により、入力画像（放射線画像）毎の明るさのばらつきを抑制し、機械学習モデルが、画像内のノイズの形状（分布）の特徴を学習し易くすることができ、学習済モデルを用いたノイズ低減処理の精度を向上させることができる。
【0126】
なお、学習データは、被検査物Ｏの放射線画像に対して、ノイズの無相関化処理に関する変換処理を行った放射線画像を含むことができる。また、学習データは、変換処理を行った放射線画像に含まれる各画素値から、該画素値の平均値を減算した放射線画像を含むことができる。さらに、学習データは、第１の放射線画像に対して行う平方根変換におけるノイズの標準偏差に比べ、ノイズの標準偏差が大きくなるように平方根変換を行った放射線画像を含むことができる。
【0127】
なお、学習データは、被検査物Ｏの放射線画像に人工ノイズを加算した放射線画像を入力データとし、被検査物Ｏの放射線画像を正解データとしたデータを含むことができる。また、学習データは、ノイズの無相関化処理に関する変換処理を行った放射線画像に人工ノイズを加算した放射線画像を入力データとし、当該変換処理を行った放射線画像を正解データとしたデータを含むことができる。さらに、学習データは、画素値の平均値が減算された放射線画像に人工ノイズを加算した放射線画像を入力データとし、画素値の平均値が減算された放射線画像を正解データとしたデータを含むことができる。
【0128】
また、制御部２０は、分割部２６３を更に備える。分割部２６３は、放射線画像を複数の放射線画像に分割する分割部の一例として機能する。分割部２６３は、被検査物Ｏの放射線画像を、複数の第１の放射線画像に分割する。演算処理部２６６は、複数の第１の放射線画像に基づいて複数の第２の放射線画像を生成する。分割部２６３は、複数の第２の放射線画像を結合して、ノイズが低減された第３の放射線画像を生成する。このとき、学習データに用いる放射線画像は、被検査物Ｏの放射線画像を分割した複数の放射線画像を含むことができる。このような構成により、放射線画像の画素数が、学習済モデルによって一度に処理を行うことができる画素数を超えてしまう場合であっても、ノイズ低減処理を行った放射線画像を生成することができる。
【0129】
なお、本実施例では、ステップＳ４０２及びステップＳ９０２において、分割部２６３が、取得された放射線画像を複数の分割画像に分割した。しかしながら、ノイズ低減処理の対象となる放射線画像の画素数が、機械学習モデルによって一度に処理できる画素数以下の場合には、当該分割処理を行う必要はない。この場合、ステップＳ４０２及びステップＳ９０２以降の処理は、取得された放射線画像全体について行われればよい。
【0130】
なお、放射線画像全体について処理を行う場合であっても、ステップＳ４０５及びステップＳ９０４における直流除去処理、並びにステップＳ９０６における直流加算処理を行うことができる。この場合には、放射線画像毎の明るさのばらつきを抑制し、学習済モデルから出力される画像毎の明るさのばらつきが強調されてしまうことを抑制することができる。
【0131】
また、本実施例では、ステップＳ４０４及びステップＳ９０３において、無相関化部２６４が、ノイズの無相関化処理として平方根変換を行う構成とした。しかしながら、ノイズの無相関化処理はこれに限られず、ポアソン分布の分散を安定化させることができる処理であれば他の処理を用いてもよい。例えば、無相関化部２６４は、放射線画像を対数変換することで、ノイズの無相関化処理を行ってもよい。具体的には、放射線画像（入力画像）をＩｍとしたとき、
となるように、放射線画像を対数変換する。この場合、ステップＳ９０７における逆変換処理では、無相関化部２６４は、放射線画像をＩｍ２としたとき、
となるように放射線画像に対して逆変換を行う。このような場合にも、放射線画像に含まれるノイズについて、信号の大きさとの相関関係を解消することができ、このような画像に基づく学習データを用いた機械学習モデルによる学習を簡易化することができる。
【数9】
【数10】
【0132】
また、上述のように、機械学習モデルの学習や学習データの生成を行う学習装置は制御部２０と別個に設けられてよく、学習装置は、取得部２１及び学習部の一例として機能する画像処理部２２に対応する構成を備えていればよい。また、学習済モデルは予め学習が行われた機械学習モデルであればよく、学習済モデルを用いたノイズ低減処理を含む画像処理の度に学習が行われる必要はない。また、学習済モデルは制御部２０に接続された外部記憶装置７０等に設けられてもよく、例えば、制御部２０にインターネット等のネットワーク６０を介して接続されるクラウドサーバやフォグサーバ、エッジサーバ等に設けられてもよい。
【0133】
（実施例２）
次に、図１１を参照して、本開示の実施例２に係る学習データの生成方法について説明する。先に述べたように、学習処理部において、人工ノイズの加算のタイミングは、推論処理部で行われる各処理の間の任意のタイミングでよい。本実施例に係る学習データの生成方法では、人工ノイズの加算処理を、ノイズの無相関化処理及び直流除去処理を含む前処理の後で行う。なお、学習データを生成する学習処理部は、実施例１で説明した構成と同様であるため、実施例１に係る学習処理部２６１に関する参照符号を用いて説明を省略する。
次に、図１１を参照して、本開示の実施例２に係る学習データの生成方法について説明する。先に述べたように、学習処理部において、人工ノイズの加算のタイミングは、推論処理部で行われる各処理の間の任意のタイミングでよい。本実施例に係る学習データの生成方法では、人工ノイズの加算処理を、ノイズの無相関化処理及び直流除去処理を含む前処理の後で行う。なお、学習データを生成する学習処理部は、実施例１で説明した構成と同様であるため、実施例１に係る学習処理部２６１に関する参照符号を用いて説明を省略する。
【0134】
ステップＳ１１０１及びステップＳ１１０２、並びにステップＳ１１０３及びＳ１１０４は、実施例１に係る学習データの生成方法に関するステップＳ４０１及びステップＳ４０２、並びにステップＳ４０４及びステップＳ４０５と同様である。ステップＳ１１０５において、人工ノイズ加算部２６７が、ステップＳ１１０４で直流除去された後の画像に対して人工ノイズを加算する。そのため、人工ノイズ加算部２６７は、本実施例に係る人工ノイズ加算処理（ステップＳ１１０５）では、実施例１に係る人工ノイズａｄｄＮｏｉｓｅとは異なる人工ノイズａｄｄＮｏｉｓｅ２を加算する。
【0135】
以下、人工ノイズａｄｄＮｏｉｓｅ２について、より詳細に説明する。まず、システムノイズを模擬した人工システムノイズｓＮｏｉｓｅ２を、ＡＷＧＮとする。また、量子ノイズを模擬した人工量子ノイズｑＮｏｉｓｅ２を、ポアソン分布に従うノイズであって、空間周波数特性が蛍光体１１のＭＴＦに従うノイズとする。本実施例では、蛍光体１１のＭＴＦを２次元フィルタで近似したものをｆＭＴＦとしたとき、ポアソン分布に従うノイズ画像ｐＮｏｉｓｅにｆＭＴＦを畳み込み、
ｑＮｏｉｓｅ２＝ｐＮｏｉｓｅ×ｆＭＴＦ（式１３）
とする。
ｑＮｏｉｓｅ２＝ｐＮｏｉｓｅ×ｆＭＴＦ（式１３）
とする。
【0136】
この場合において、αを合成比率とすると、本実施例に係る加算する人工ノイズａｄｄＮｏｉｓｅは、
とすることができる。ここで、合成比率αは０～１の値をとり、適宜の固定値か、又はランダムに変更する値（任意の値）として与えることができる。ただし、人工システムノイズｓＮｏｉｓｅ２の標準偏差、人工量子ノイズｑＮｏｉｓｅ２の標準偏差、及び加算する人工ノイズａｄｄＮｏｉｓｅ２の標準偏差は同じとなるようにする。ここで、ステップＳ１１０３において、例えば（式７）に従って標準偏差を１に正規化している場合には、人工システムノイズｓＮｏｉｓｅ２の標準偏差、人工量子ノイズｑＮｏｉｓｅ２の標準偏差、及び加算する人工ノイズａｄｄＮｏｉｓｅ２の標準偏差が１となるようにすればよい。
【数11】
【0137】
また、合成比率αは、放射線画像におけるノイズの分散σａｌｌ
２に関する（式１）で示されるノイズと信号の関係性を用いて、放射線画像の信号Ｉｓｉｇに応じて定めてもよい。例えば、
としたとき、
とすることができる。なお、（式１）で示されるノイズと信号の関係性を用いた合成比率αの当該定め方は一例であり、この他にも（式１）で示されるノイズと信号の関係性や信号Ｉｓｉｇに応じて合成比率αの定めてもよい。
【数12】
【数13】
【0138】
人工ノイズ加算部２６７は、このようにして求めた人工ノイズａｄｄＮｏｉｓｅ２をステップＳ１１０４において直流除去された分割画像Ｉｍｅ’に加算し、分割画像を
Ｉｍａｄｄ＝Ｉｍｅ’＋ａｄｄＮｏｉｓｅ２（式１７）
とする。
Ｉｍａｄｄ＝Ｉｍｅ’＋ａｄｄＮｏｉｓｅ２（式１７）
とする。
【0139】
本実施例では、ステップＳ１１０４において直流除去された分割画像Ｉｍｅ’を学習データの正解データとし、ステップＳ１１０５において人工ノイズａｄｄＮｏｉｓｅ２が加算された分割画像Ｉｍａｄｄを学習データの入力データとする。このような学習データを学習することで得られた学習済モデルは、放射線画像において生じるノイズに対応する人工ノイズの特徴の傾向を学習することができ、放射線画像からノイズが低減された放射線画像を出力することができる。
【0140】
その後のステップＳ１１０６、ステップＳ１１０７、及びステップＳ１１０８に関しては、実施例１に係るステップＳ４０６、ステップＳ４０７、及びステップＳ４０８と同様である。
【0141】
上記のように、本実施例では、学習データの入力データについて、人工システムノイズｓＮｏｉｓｅ２と量子ノイズを模擬した人工量子ノイズｑＮｏｉｓｅ２を加算（合成）して得た人工ノイズａｄｄＮｏｉｓｅ２をノイズの無相関化処理後の放射線画像に加算した。このような処理の順番で学習を行った場合でも、実施例１と同様に、学習処理部２６１は適切な学習済モデルを作成することができ、推論処理部２６２の処理を行うことでデジタル放射線撮影装置において好適なノイズ低減を行った放射線画像を生成することができる。なお、ここでは人工ノイズ加算を直流除去の後に行う例を示したが、ノイズ無相関化の後に行っても同等の効果を得ることができる。
【0142】
（変形例１）
ノイズ低減処理に用いられる学習済モデルは、ノイズ低減処理を行う放射線画像の被検査物Ｏの種類毎に用意されてもよい。例えば、人体の胸腹部を被検査物Ｏとする放射線画像を学習データに用いた学習済モデルや、非破壊検査に係る対象物を被検査物Ｏとする放射線画像を学習データに用いた学習済モデルを用意してもよい。この場合、演算処理部２６６は、処理を行う放射線画像の被検査物Ｏの種類毎に、ノイズ低減処理に用いる学習済モデルを選択することができる。
ノイズ低減処理に用いられる学習済モデルは、ノイズ低減処理を行う放射線画像の被検査物Ｏの種類毎に用意されてもよい。例えば、人体の胸腹部を被検査物Ｏとする放射線画像を学習データに用いた学習済モデルや、非破壊検査に係る対象物を被検査物Ｏとする放射線画像を学習データに用いた学習済モデルを用意してもよい。この場合、演算処理部２６６は、処理を行う放射線画像の被検査物Ｏの種類毎に、ノイズ低減処理に用いる学習済モデルを選択することができる。
【0143】
画像における特徴部は被検査物Ｏの種類ごとにも異なるため、このように被検査物Ｏの種類毎に学習済モデルを用意することで、演算処理部２６６は、被検査物Ｏの種類に応じてより適切にノイズが低減された放射線画像を生成することができる。また、同様に、被検査物Ｏ毎、例えば、患者毎や撮影部位毎、非破壊検査の対象物の種類毎に学習済モデルを用意してもよい。なお、これらの学習済モデルは、後述する変形例２と同様に、転移学習を行うことで生成されてもよいし、それぞれの学習データのセットを用いて学習を行うことで生成されてもよい。
【0144】
（変形例２）
ノイズ低減処理に用いる学習済モデルについて、放射線検出器毎に調整（チューニング）する学習を行い、その放射線検出器専用の学習済モデルを生成してもよい。例えば、ノイズが低減された放射線画像を生成するための汎用的な学習済モデルに、或る放射線検出器により取得された放射線画像を用いて転移学習を行い、その放射線検出器専用の学習済モデルを生成することができる。また、各放射線検出器専用の学習済モデルを放射線検出器のＩＤと紐付けて記憶部２５やサーバ等の外部記憶装置７０等に記憶させておくことができる。この場合には、制御部２０は、放射線検出器を用いて取得した放射線画像のノイズ低減処理を行う際に、複数の学習済モデルから、放射線検出器のＩＤに基づいてその放射線検出器用の学習済モデルを特定して利用することができる。このような放射線検出器専用の学習済モデルを用いることで、ノイズ低減処理の精度を向上させることができる。なお、各放射線検出器専用の学習済モデルの生成方法は転移学習に限られず、それぞれの放射線検出器を用いて取得された放射線画像を用いた学習データにより学習を行うことで、それぞれの学習済モデルを生成してもよい。
ノイズ低減処理に用いる学習済モデルについて、放射線検出器毎に調整（チューニング）する学習を行い、その放射線検出器専用の学習済モデルを生成してもよい。例えば、ノイズが低減された放射線画像を生成するための汎用的な学習済モデルに、或る放射線検出器により取得された放射線画像を用いて転移学習を行い、その放射線検出器専用の学習済モデルを生成することができる。また、各放射線検出器専用の学習済モデルを放射線検出器のＩＤと紐付けて記憶部２５やサーバ等の外部記憶装置７０等に記憶させておくことができる。この場合には、制御部２０は、放射線検出器を用いて取得した放射線画像のノイズ低減処理を行う際に、複数の学習済モデルから、放射線検出器のＩＤに基づいてその放射線検出器用の学習済モデルを特定して利用することができる。このような放射線検出器専用の学習済モデルを用いることで、ノイズ低減処理の精度を向上させることができる。なお、各放射線検出器専用の学習済モデルの生成方法は転移学習に限られず、それぞれの放射線検出器を用いて取得された放射線画像を用いた学習データにより学習を行うことで、それぞれの学習済モデルを生成してもよい。
【0145】
また、演算処理部２６６は、学習済モデルを用いてノイズ低減処理を行う放射線画像について、放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦに基づいて変形してから学習済モデルに入力してもよい。ノイズ低減を行う放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦが、学習データに用いた放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦと異なる場合には、ノイズ低減処理の効果が好適でない可能性がある。このため、演算処理部２６６は、学習データに用いる放射線画像の取得に用いた放射線検出器に含まれる蛍光体のＭＴＦに対する、ノイズ低減処理を行う放射線画像の取得に用いた放射線検出器に含まれる蛍光体のＭＴＦの比に応じて、放射線画像を変形してもよい。
【0146】
この場合には、演算処理部２６６は、変形した放射線画像を学習済モデルに入力する。また、演算処理部２６６は、当該蛍光体のＭＴＦの比の逆数を用いて、学習済モデルから出力されたノイズが低減された放射線画像を変形する。これにより、ノイズ低減を行う放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦが、学習データに用いた放射線画像の取得に用いた放射線検出器の蛍光体のＭＴＦと異なる場合において、ノイズ低減の効果が弱まることを抑制することができる。なお、放射線画像の当該変換処理は、ノイズ低減処理（ステップＳ９０５）よりも前に行われればよい。また、放射線画像の当該逆変換処理は、ノイズ低減処理（ステップＳ９０５）よりも後であって、放射線画像の当該変換が行われた処理の順番に対応する順番で行われればよい。例えば、当該変換処理がノイズの無相関化処理（ステップＳ９０３）の前に行われた場合には、当該逆変換処理はノイズの無相関化処理に関する逆変換処理（ステップＳ９０７）の後に行われればよい。なお、ノイズの低減処理、当該放射線画像の変換処理、及びその逆変換処理のそれぞれを行う別個の構成要素を設けてもよく、この場合には、それぞれの構成要素を含む機能ブロックを演算処理部２６６とすることができる。
【0147】
（変形例３）
演算処理部２６６が用いる機械学習モデルについては、ＣＮＮの構成として、変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）や、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ、ＤｅｎｓｅＮｅｔ等、任意の層構成を組み合わせて用いることもできる。一般的なニューラルネットワークでは、各ユニット（各ニューロン又は各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
演算処理部２６６が用いる機械学習モデルについては、ＣＮＮの構成として、変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）や、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ、ＤｅｎｓｅＮｅｔ等、任意の層構成を組み合わせて用いることもできる。一般的なニューラルネットワークでは、各ユニット（各ニューロン又は各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
【0148】
（変形例４）
また、各種学習済モデルの学習データは、実際の撮影を行う放射線検出器自体を用いて得たデータに限られず、所望の構成に応じて、同型の放射線検出器を用いて得たデータや、同種の放射線検出器を用いて得たデータ等であってもよい。なお、上述の実施例及び変形例に係る、ノイズ低減処理用の学習済モデルは、例えば、放射線画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、ノイズ低減された放射線画像の生成に係る推定処理に用いているものと考えられる。
また、各種学習済モデルの学習データは、実際の撮影を行う放射線検出器自体を用いて得たデータに限られず、所望の構成に応じて、同型の放射線検出器を用いて得たデータや、同種の放射線検出器を用いて得たデータ等であってもよい。なお、上述の実施例及び変形例に係る、ノイズ低減処理用の学習済モデルは、例えば、放射線画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、ノイズ低減された放射線画像の生成に係る推定処理に用いているものと考えられる。
【0149】
また、上述した実施例及び変形例に係る学習済モデルは制御部２０に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部２０と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部２０は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。
【0150】
（その他の実施例）
本発明は、上述した様々な実施例及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
本発明は、上述した様々な実施例及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
【0151】
このとき、プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
【0152】
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
【符号の説明】
【0153】
２０：制御部（画像処理装置）、２１：取得部、２６６：演算処理部（生成部）
【図1A】
【図1B】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】