(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-28
(45)【発行日】2024-09-05
(54)【発明の名称】放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム
(51)【国際特許分類】
G01N 23/04 20180101AFI20240829BHJP
【FI】
G01N23/04
(21)【出願番号】P 2022515419
(86)(22)【出願日】2021-04-14
(86)【国際出願番号】 JP2021015489
(87)【国際公開番号】W WO2021210618
(87)【国際公開日】2021-10-21
【審査請求日】2023-11-13
(31)【優先権主張番号】P 2020073578
(32)【優先日】2020-04-16
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100124800
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】須山 敏康
(72)【発明者】
【氏名】大西 達也
【審査官】井上 徹
(56)【参考文献】
【文献】特開2006-318103(JP,A)
【文献】特開2019-111322(JP,A)
【文献】特開2008-229161(JP,A)
【文献】特表2013-512024(JP,A)
【文献】国際公開第2020/031984(WO,A1)
【文献】中国特許出願公開第109697476(CN,A)
【文献】米国特許出願公開第2019/0108441(US,A1)
【文献】米国特許出願公開第2019/0102621(US,A1)
【文献】米国特許出願公開第2019/0325621(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 23/00-23/2276
G01N 21/00-21/01
G01N 21/17-21/61
G01N 21/84-21/958
G01B 11/00-11/30
A61B 6/00- 6/58
G06T 1/00- 7/90
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
対象物に放射線を照射して、前記対象物を透過した放射線を撮像して放射線画像を取得するシステムを用いて、
厚さ及び材質が既知であり、前記放射線の平均エネルギーと前記放射線の透過率との関係が既知である平板状部材である治具、あるいは、様々な解像度で撮像されるチャートを有する治具の放射線画像を取得するステップと、
前記治具の放射線画像の画像特性を特定するステップと、
前記画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択するステップと、
前記システムを用いて前記対象物の放射線画像を取得するステップと、
選択された前記学習済みモデルを用いて前記対象物の放射線画像からノイズを除去する画像処理を実行するステップと、
を備える放射線画像処理方法。
【請求項2】
前記選択するステップでは、前記画像特性と、前記画像データから特定される画像特性とを比較することにより、前記学習済みモデルを選択する、
請求項1に記載の放射線画像処理方法。
【請求項3】
前記特定するステップでは、前記治具の放射線画像に対して前記複数の学習済みモデルを適用した結果得られる複数の画像の画像特性を特定し、
前記選択するステップでは、前記複数の画像の画像特性を基に、前記学習済みモデルを選択する、
請求項1に記載の放射線画像処理方法。
【請求項4】
前記画像特性は、エネルギー特性、ノイズ特性、及び周波数特性のうちの少なくとも1つであり、
前記選択するステップでは、前記画像特性が類似する画像データによって構築された前記学習済みモデルを選択する、
請求項2に記載の放射線画像処理方法。
【請求項5】
前記画像特性は、解像度特性又は輝度-ノイズ比であり、
前記選択するステップでは、解像度特性又は輝度-ノイズ比が相対的に優れた画像の生成に用いられた前記学習済みモデルを選択する、
請求項3に記載の放射線画像処理方法。
【請求項6】
前記機械学習はディープラーニングである、
請求項1~5のいずれか1項に記載の放射線画像処理方法。
【請求項7】
請求項1~6のいずれか1項に記載の放射線画像処理方法を
コンピュータに実行させるプログラムである学習済みモデルであって、
画像データを用いて機械学習によって構築され、
前記コンピュータのプロセッサに、前記対象物の放射線画像からノイズを除去する画像処理を実行させる学習済みモデル。
【請求項8】
対象物に放射線を照射して、前記対象物を透過した放射線を撮像して放射線画像を取得するシステムを用いて、
厚さ及び材質が既知であり、前記放射線の平均エネルギーと前記放射線の透過率との関係が既知である平板状部材である治具、あるいは、様々な解像度で撮像されるチャートを有する治具
、及び対象物の放射線画像を取得する取得部と、
前記治具の放射線画像の画像特性を特定する特定部と、
前記画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択する選択部と、
選択された前記学習済みモデルを用いて前記対象物の放射線画像からノイズを除去する画像処理を実行する処理部と、
を備える放射線画像処理モジュール。
【請求項9】
前記選択部は、前記画像特性と、前記画像データから特定される画像特性とを比較することにより、前記学習済みモデルを選択する、
請求項8に記載の放射線画像処理モジュール。
【請求項10】
前記特定部は、前記治具の放射線画像に対して前記複数の学習済みモデルを適用した結果得られる複数の画像の画像特性を特定し、
前記選択部は、前記複数の画像の画像特性を基に、前記学習済みモデルを選択する、
請求項8に記載の放射線画像処理モジュール。
【請求項11】
前記画像特性は、エネルギー特性、ノイズ特性、及び周波数特性のうちの少なくとも1つであり、
前記選択部は、前記画像特性が類似する画像データによって構築された前記学習済みモデルを選択する、
請求項9に記載の放射線画像処理モジュール。
【請求項12】
前記画像特性は、解像度特性又は輝度-ノイズ比であり、
前記選択部は、解像度特性又は輝度-ノイズ比が相対的に優れた画像の生成に用いられた前記学習済みモデルを選択する、
請求項10に記載の放射線画像処理モジュール。
【請求項13】
前記機械学習はディープラーニングである、
請求項8~12のいずれか1項に記載の放射線画像処理モジュール。
【請求項14】
プロセッサを、
対象物に放射線を照射して、前記対象物を透過した放射線を撮像して放射線画像を取得するシステムを用いて、
厚さ及び材質が既知であり、前記放射線の平均エネルギーと前記放射線の透過率との関係が既知である平板状部材である治具、あるいは、様々な解像度で撮像されるチャートを有する治具
、及び対象物の放射線画像を取得する取得部、
前記治具の放射線画像の画像特性を特定する特定部、
前記画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択する選択部、及び
選択された前記学習済みモデルを用いて前記対象物の放射線画像からノイズを除去する画像処理を実行する処理部、
として機能させる放射線画像処理プログラム。
【請求項15】
請求項8~13のいずれか1項に記載の放射線画像処理モジュールと、
前記対象物に放射線を照射する発生源と、
前記対象物を透過した放射線を撮像して前記放射線画像を取得する撮像装置と、
を備える放射線画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
実施形態の一側面は、放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システムに関する。
【背景技術】
【0002】
従来から、画像データを対象にディープラーニング等の機械学習による学習済みモデルを用いたノイズ除去を行う手法が知られている(例えば、下記特許文献1参照)。この手法によれば、画像データからのノイズが自動的に除去されるので対象物を精度よく観察することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したような従来の手法においては、X線等の放射線を対象物に透過させることによって生成された放射線画像を対象とした場合にノイズの除去が十分でない場合があった。例えば、X線源等の放射線発生源の条件、用いるフィルタの種類等の条件によって、画像における輝度とノイズとの関係が変動しやすく、ノイズが効果的に除去できない傾向にあった。
【0005】
そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、放射線画像におけるノイズを効果的に除去できる放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システムを提供することを課題とする。
【課題を解決するための手段】
【0006】
実施形態の一側面に係る放射線画像処理方法は、対象物に放射線を照射して、対象物を透過した放射線を撮像して放射線画像を取得するシステムを用いて、治具の放射線画像を取得するステップと、治具の放射線画像の画像特性を特定するステップと、画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択するステップと、システムを用いて対象物の放射線画像を取得するステップと、選択された学習済みモデルを用いて対象物の放射線画像からノイズを除去する画像処理を実行するステップと、を備える。
【0007】
あるいは、実施形態の他の側面に係る学習済みモデルは、上記の放射線画像処理方法に用いる学習済みモデルであって、画像データを用いて機械学習によって構築され、プロセッサに、対象物の放射線画像からノイズを除去する画像処理を実行させる。
【0008】
あるいは、実施形態の他の側面に係る放射線画像処理モジュールは、対象物に放射線を照射して、対象物を透過した放射線を撮像して放射線画像を取得するシステムを用いて、治具及び対象物の放射線画像を取得する取得部と、治具の放射線画像の画像特性を特定する特定部と、画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択する選択部と、選択された学習済みモデルを用いて対象物の放射線画像からノイズを除去する画像処理を実行する処理部と、を備える。
【0009】
あるいは、実施形態の他の側面に係る放射線画像処理プログラムは、プロセッサを、対象物に放射線を照射して、対象物を透過した放射線を撮像して放射線画像を取得するシステムを用いて、治具及び対象物の放射線画像を取得する取得部、治具の放射線画像の画像特性を特定する特定部、画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択する選択部、及び選択された学習済みモデルを用いて対象物の放射線画像からノイズを除去する画像処理を実行する処理部、として機能させる。
【0010】
あるいは、実施形態の他の側面に係る放射線画像処理システムは、上記の放射線画像処理モジュールと、対象物に放射線を照射する発生源と、対象物を透過した放射線を撮像して放射線画像を取得する撮像装置と、を備える。
【0011】
上記一側面あるいは他の側面のいずれかによれば、治具の放射線画像の画像特性が特定され、その画像特性を基に、予め構築された学習済みモデルの中からノイズ除去に用いる学習済みモデルが選択される。これにより、システムにおける放射線発生源の条件等により変化する放射線画像の特性を推定でき、この推定結果に応じて選択された学習済みモデルがノイズ除去に用いられるので、放射線画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、放射線画像におけるノイズを効果的に除去できる。
【発明の効果】
【0012】
実施形態によれば、対象物の放射線画像におけるノイズを効果的に除去できる。
【図面の簡単な説明】
【0013】
【
図1】実施形態にかかる画像取得装置1の概略構成図である。
【
図2】
図1の制御装置20のハードウェア構成の一例を示すブロック図である。
【
図3】
図1の制御装置20の機能構成を示すブロック図である。
【
図4】
図3の学習済みモデル206の構築に用いられる教師データである画像データの一例を示す図である。
【
図5】
図3の学習済みモデル206の構築に用いられる教師データである画像データの作成手順を示すフローチャートである。
【
図6】
図3の特定部202の解析対象のX線透過画像の一例を示す図である。
【
図7】
図3の特定部202が取得した厚さ-輝度の特性グラフの一例を示す図である。
【
図8】
図3の特定部202が取得した輝度-SNRの特性グラフの一例を示す図である。
【
図9】
図3の特定部202による解像度の評価に用いられるX線透過画像の一例を示す図である。
【
図10】
図3の選択部204による画像特性に基づいた学習済みモデルの選択機能を説明するための図である。
【
図11】
図3の選択部204による輝度-ノイズ比の評価に用いられる治具の構造の一例を示す斜視図である。
【
図12】
図11の治具を対象に得られたノイズ除去処理後のX線透過画像を示す図である。
【
図13】画像取得装置1を用いた観察処理の手順を示すフローチャートである。
【
図14】画像取得装置1によって取得されたノイズ除去処理の前後のX線透過画像の例を示す図である。
【
図15】画像取得装置1によって取得されたノイズ除去処理の前後のX線透過画像の例を示す図である。
【
図16】画像取得装置1で用いられる治具の形態を示す平面図である。
【
図17】画像取得装置1で用いられる治具の形態を示す平面図である。
【
図18】画像取得装置1で用いられる治具の形態を示す平面図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【0015】
図1は、本実施形態に係る放射線画像処理システムである画像取得装置1の構成図である。
図1に示されるように、画像取得装置1は、搬送方向TDに搬送される対象物Fに対してX線(放射線)を照射し、対象物Fを透過したX線に基づき対象物Fを撮像したX線透過画像(放射線画像)を取得する装置である。画像取得装置1は、X線透過画像を用いて、対象物Fを対象にした異物検査、重量検査、検品検査などを行い、用途としては、食品検査、手荷物検査、基板検査、電池検査、材料検査等が挙げられる。画像取得装置1は、ベルトコンベア(搬送手段)60と、X線照射器(放射線発生源)50と、X線検出カメラ(撮像装置)10と、制御装置(放射線画像処理モジュール)20と、表示装置30と、各種入力を行うための入力装置40と、を備えて構成されている。なお、本発明の実施形態における放射線画像とは、X線画像に限らず、γ線などのX線以外の電磁放射線による画像も含む。
【0016】
ベルトコンベア60は、対象物Fが載置されるベルト部を有しており、該ベルト部を搬送方向TDに移動させることにより、対象物Fを所定の搬送速度で搬送方向TDに搬送する。対象物Fの搬送速度は、例えば48m/分である。ベルトコンベア60は、必要に応じて、搬送速度を、例えば24m/分や、96m/分等の搬送速度に変更することができる。また、ベルトコンベア60は、ベルト部の高さ位置を適宜変更し、X線照射器50と対象物Fとの距離を変更することができる。なお、ベルトコンベア60で搬送される対象物Fとしては、例えば、食肉、魚介類、農作物、菓子等の食品、タイヤ等のゴム製品、樹脂製品、金属製品、鉱物等の資源材料、廃棄物、及び電子部品や電子基板等、様々な物品を挙げることができる。 X線照射器50は、X線源としてX線を対象物Fに照射(出力)する装置である。X線照射器50は、点光源であり、一定の照射方向に所定の角度範囲でX線を拡散させて照射する。X線照射器50は、X線の照射方向がベルトコンベア60に向けられると共に、拡散するX線が対象物Fの幅方向(搬送方向TDと交差する方向)全体に及ぶように、ベルトコンベア60から所定の距離を離れてベルトコンベア60の上方に配置されている。また、X線照射器50は、対象物Fの長さ方向(搬送方向TDと平行な方向)においては、長さ方向における所定の分割範囲が照射範囲とされ、対象物Fがベルトコンベア60にて搬送方向TDへ搬送されることにより、対象物Fの長さ方向全体に対してX線が照射されるようになっている。X線照射器50は、制御装置20により管電圧及び管電流が設定され、設定された管電圧及び管電流に応じた所定のエネルギー、放射線量のX線を、ベルトコンベア60に向けて照射する。また、X線照射器50のベルトコンベア60側の近傍には、X線の所定波長域を透過させるフィルタ51が設けられている。フィルタ51は、必ずしも必要なわけではなく、ない場合があってもよい。
【0017】
X線検出カメラ10は、X線照射器50により対象物Fに照射されたX線のうち、対象物Fを透過したX線を検出し、該X線に基づく信号を出力する。X線検出カメラ10は、X線を検出する構成が2組配置されたデュアルラインX線カメラである。本実施形態に係る画像取得装置1では、デュアルラインX線カメラのそれぞれのライン(第1のライン及び第2のライン)で検出されたX線に基づき、それぞれX線透過画像が生成される。そして、生成された2つのX線透過画像について、平均処理又は加算処理等を行うことによって、1つのラインで検出されたX線に基づきX線透過画像を生成する場合と比べて、少ないX線量で鮮明な(輝度の大きい)画像を取得することができる。
【0018】
X線検出カメラ10は、フィルタ19、シンチレータ11a,11bと、ラインスキャンカメラ12a,12bと、センサ制御部13と、アンプ14a,14bと、AD変換器15a,15bと、補正回路16a,16bと、出力インターフェース17a,17bと、アンプ制御部18と、を有している。シンチレータ11a、ラインスキャンカメラ12a、アンプ14a、AD変換器15a、補正回路16a、及び出力インターフェース17aはそれぞれ電気的に接続されており、第1のラインに係る構成である。また、シンチレータ11b、ラインスキャンカメラ12b、アンプ14b、AD変換器15b、補正回路16b、及び出力インターフェース17bはそれぞれ電気的に接続されており、第2のラインに係る構成である。第1のラインのラインスキャンカメラ12aと、第2のラインのラインスキャンカメラ12bとは、搬送方向TDに沿って並んで配置されている。なお、以下では、第1のラインと第2のラインとで共通する構成については、第1のラインの構成を代表して説明する。
【0019】
シンチレータ11aは、ラインスキャンカメラ12a上に接着等により固定されており 、対象物Fを透過したX線をシンチレーション光に変換する。シンチレータ11aは、シンチレーション光をラインスキャンカメラ12aに出力する。フィルタ19は、X線の所定波長域をシンチレータ11aに向けて透過させる。フィルタ19は、必ずしも必要なわけではなく、ない場合があってもよい。
【0020】
ラインスキャンカメラ12aは、シンチレータ11aからのシンチレーション光を検出し、電荷に変換して、検出信号(電気信号)としてアンプ14aに出力する。ラインスキャンカメラ12aは、搬送方向TDと交差する方向に並列した複数のラインセンサを有している。ラインセンサは、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であり、複数のフォトダイオードを含んでいる。
【0021】
センサ制御部13は、ラインスキャンカメラ12a,12bが、対象物Fの同じ領域を透過したX線を撮像できるように、ラインスキャンカメラ12a,12bを、所定の検出周期で繰り返し撮像するよう制御する。所定の検出周期は、例えば、ラインスキャンカメラ12a,12b間の距離、ベルトコンベア60の速度、X線照射器50とベルトコンベア60上の対象物Fとの距離(FOD(Focus Object Distance:線源物体間距離))、並びに、X線照射器50とラインスキャンカメラ12a,12bとの距離(FDD(Focus Detector Distance:線源センサ間距離))に基づいて、ラインスキャンカメラ12a,12b共通の周期が設定されてもよい。また、所定の周期は、ラインスキャンカメラ12a,12bそれぞれのラインセンサの画素配列方向と直交する方向のフォトダイオードの画素幅に基づいて、それぞれ個別に設定されてもよい。この場合には、ラインスキャンカメラ12a,12b間の距離、ベルトコンベア60の速度、X線照射器50とベルトコンベア60上の対象物Fとの距離(FOD)、並びに、X線照射器50とラインスキャンカメラ12a,12bとの距離(FDD)に応じて、ラインスキャンカメラ12a,12b間の検出周期のズレ(遅延時間)を特定し、それぞれ個別の周期が設定されてもよい。 アンプ14aは、所定の設定増幅率にて検出信号を増幅して増幅信号を生成し、該増幅信号をAD変換器15aに出力する。設定増幅率は、アンプ制御部18によって設定される増幅率である。アンプ制御部18は、所定の撮像条件に基づいて、アンプ14a,14bの設定増幅率を設定する。
【0022】
AD変換器15aは、アンプ14aにより出力された増幅信号(電圧信号)をデジタル信号に変換し、補正回路16aに出力する。補正回路16aは、デジタル信号に対して、信号増幅等の所定の補正を行い、補正後のデジタル信号を出力インターフェース17aに出力する。出力インターフェース17aは、デジタル信号をX線検出カメラ10外部に出力する。
図1では、AD変換器や補正回路、出力インターフェースは、それぞれ個別に存在しているが、一つにまとまっていてもよい。
【0023】
制御装置20は、例えばPC(Personal Computer)等のコンピュータである。制御装置20は、X線検出カメラ10(より詳細には、出力インターフェース17a,17b)から出力されたデジタル信号(増幅信号)に基づいてX線透過画像を生成する。制御装置20は、出力インターフェース17a,17bから出力された2つのデジタル信号を平均処理又は加算処理することにより、1つのX線透過画像を生成する。生成されたX線透過画像は、後述するノイズ除去処理が施された後に表示装置30に出力され、表示装置30によって表示される。また、制御装置20は、X線照射器50、アンプ制御部18、及びセンサ制御部13を制御する。なお、本実施形態の制御装置20は、X線検出カメラ10の外部に独立に設けられた装置であるが、X線検出カメラ10の内部に一体化されていてもよい。
【0024】
図2は、制御装置20のハードウェア構成を示している。
図2に示すように、制御装置20は、物理的には、プロセッサであるCPU(Central Processing Unit)101、記録媒体であるRAM(Random Access Memory)102又はROM(Read Only Memory)103、通信モジュール104、及び入出力モジュール106等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、制御装置20は、入力装置40及び表示装置30として、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、制御装置20は、複数のコンピュータによって構成されていてもよい。
【0025】
図3は、制御装置20の機能構成を示すブロック図である。制御装置20は、取得部201、特定部202、選択部204、及び処理部205を備える。
図3に示す制御装置20の各機能部は、CPU101及びRAM102等のハードウェア上にプログラム(本実施形態の放射線画像処理プログラム)を読み込ませることにより、CPU101の制御のもとで、通信モジュール104、及び入出力モジュール106等を動作させるとともに、RAM102におけるデータの読み出し及び書き込みを行うことで実現される。制御装置20のCPU101は、このコンピュータプログラムを実行することによって制御装置20を
図3の各機能部として機能させ、後述する放射線画像処理方法に対応する処理を順次実行する。なお、CPUは、単体のハードウェアでもよく、ソフトプロセッサのようにFPGAのようなプログラマブルロジックの中に実装されたものでもよい。RAMやROMについても単体のハードウェアでもよく、FPGAのようなプログラマブルロジックの中に内蔵されたものでもよい。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、ROM103、RAM102等の内蔵メモリ、又は、ハードディスクドライブなどの記憶媒体に格納される。
【0026】
また、制御装置20には、CPU101によって読み込まれることによって、CPU101にX線透過画像を対象にノイズ除去処理を実行させる学習済みモデル206が予め複数格納されている。複数の学習済みモデル206は、それぞれ、画像データを教師データとして予め構築された機械学習による学習モデルである。機械学習には、教師あり学習、深層学習(ディープラーニング)、或いは強化学習、ニューラルネットワーク学習などがある。本実施形態では、ディープラーニングのアルゴリズムの一例として、Kai Zhangらの論文“Beyonda Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”に記載された2次元の畳み込みニューラルネットワークが採用される。複数の学習済みモデル206は、外部のコンピュータ等により生成されて制御装置20にダウンロードされてもよいし、制御装置20内で生成されてもよい。
【0027】
図4には、学習済みモデル206の構築に用いられる教師データである画像データの一例を示す。教師データとしては、様々な厚さ、様々な材質、及び様々な解像度のパターンを撮像対象にしたX線透過画像が用いられうる。
図4に示す例は、鶏肉を対象に生成されたX線透過画像の例である。この画像データは、実際に画像取得装置1を用いて複数種類の対象物を対象に生成されたX線透過画像を用いてもよいし、シミュレーション計算によって生成された画像データを用いてもよい。X線透過画像については、画像取得装置1とは異なる装置を用いて取得したものでもかまわない。また、X線透過画像とシミュレーション計算によって生成された画像データを組み合わせて用いてもよい。複数の学習済みモデル206は、それぞれ、平均エネルギーが異なる透過X線を対象に得られた画像データであって、ノイズ分布が既知の画像データを用いて予め構築されている。画像データにおけるX線の平均エネルギーは、それぞれ、画像取得装置1のX線照射器(放射線発生源)50の動作条件あるいは画像取得装置1の撮像条件等を設定することにより、あるいはシミュレーション計算時のX線照射器50の動作条件あるいは撮像条件を設定することにより、予め異なる値に設定されている。つまり、複数の学習済みモデル206は、対象物FのX線透過画像を撮像する際のX線照射器(放射線発生源)50の動作条件、あるいは、X線検出カメラ10による撮像条件等を示す条件情報を基に算出された対象物Fを透過したX線に関する平均エネルギーに対応するX線画像である訓練画像を訓練データとして用いて、機械学習によって構築される(構築ステップ)。例えば、本実施形態では、複数の学習済みモデル206は、それぞれ、平均エネルギーが、10keV、20keV、30keV、…と10keV刻みの値が設定された複数種類の画像データを複数フレーム(例えば、20,000フレーム)用いて構築されている。
【0028】
図5は、学習済みモデル206の構築に用いられる教師データである画像データの作成手順を示すフローチャートである。
【0029】
教師データである画像データ(教師画像データともいう。)はコンピュータによって次の手順で作成される。まず、所定の構造をもつ構造体の画像(構造体画像)を作成する(ステップS101)。例えば、シミュレーション計算により、所定の構造を持つ構造体の画像を作成してもよい。また、所定の構造をもつチャートなどの構造体のX線画像を取得して構造体画像を作成してもよい。次に、この構造体画像を構成する複数の画素のうちから選択した一の画素について、画素値の標準偏差であるシグマ値を算出する(ステップS102)。そして、ステップS102で求めたシグマ値に基づいてノイズ分布を示す正規分布(ポアソン分布)を設定する(ステップS103)。このように、シグマ値に基づいて正規分布を設定することで様々なノイズ条件の教師データを生成することができる。続いて、ステップS103でシグマ値に基づいて設定された正規分布に沿って、ランダムに設定されたノイズ値を算出する(ステップS104)。さらに、一の画素の画素値にステップS104で求めたノイズ値を付加することで、教師データである画像データを構成する画素値を生成する(ステップS105)。ステップS102~ステップS105までの処理を、構造体画像を構成する複数の画素それぞれに対して行い(ステップS106)、教師データとなる教師画像データを生成する(ステップS107)。また、教師画像データがさらに必要な場合は、ステップS101~ステップS107までの処理を、別の構造体画像に対して行うことを判断し(ステップS108)、教師データとなる別の教師画像データを生成する。なお、別の構造体画像は、同じ構造を持つ構造体の画像であってもよいし、別の構造を持つ構造体の画像であってもよい。
【0030】
なお、学習済みモデル206の構築に用いられる教師データである画像データは多数用意する必要がある。また、構造体画像は、ノイズが少ない画像がよく、理想的には、ノイズがない画像がよい。そのため、シミュレーション計算によって構造体画像を生成すると、ノイズがない画像を数多く生成することができるので、シミュレーション計算によって、構造体画像を生成することは効果的である。
【0031】
以下、
図3に戻って、制御装置20の各機能部の機能の詳細について説明する。
【0032】
取得部201は、画像取得装置1を用いて治具及び対象物Fを対象にX線を照射して撮像したX線透過画像を取得する。治具としては、厚さ及び材質が既知であり、X線の平均エネルギーとX線透過率との関係が既知である平板状部材、あるいは、様々な解像度で撮像されるチャートを有する治具が用いられる。すなわち、取得部201は、対象物Fの観察処理に先立って画像取得装置1を用いて撮像された治具のX線透過画像を取得する。そして、取得部201は、治具のX線透過画像を基に学習済みモデル206が選択された後のタイミングで、画像取得装置1を用いて撮像された対象物FのX線透過画像を取得する。ただし、治具及び対象物FのX線透過画像の取得タイミングは上記には限定されず、同時であってもよいし逆のタイミングであってもよい。
【0033】
特定部202は、取得部201によって取得された治具のX線透過画像の画像特性を特定する。具体的には、選択部204は、X線透過画像の画像特性として、エネルギー特性、ノイズ特性、解像度特性、あるいは周波数特性等を特定する。
【0034】
例えば、特定部202は、治具として、厚さ及び材質が既知である平板状部材が用いられた場合には、治具を透過したX線像の輝度と空気を透過したX線像の輝度とを比較して、治具における1点(あるいは複数点の平均)のX線の透過率を算出する。例えば、治具を透過したX線像の輝度が5,550であり、空気を透過したX線像の輝度が15,000の場合には、透過率37%と算出する。そして、特定部202は、透過率37%から推定される透過X線の平均エネルギー(例えば、50keV)を、治具のX線透過画像のエネルギー特性として特定する。
【0035】
また、特定部202は、治具のX線透過画像のエネルギー特性として、厚さあるいは材質が変化する治具の複数点における特性を解析してもよい。
図6は、特定部202の解析対象のX線透過画像の一例を示す図である。
図6は、厚さがステップ状に変化した形状の治具を対象にしたX線透過画像である。特定部202は、このようなX線透過画像から厚さの異なる複数の測定領域(ROI:Region Of Interest)を選択し、複数の測定領域ごとの輝度平均値を解析し、厚さ-輝度の特性グラフをエネルギー特性として取得する。
図7には、特定部202が取得した厚さ-輝度の特性グラフの一例を示している。
【0036】
また、特定部202は、治具のX線透過画像のノイズ特性として、複数の測定領域ごとの輝度値とノイズを解析し、輝度-ノイズ比の特性グラフをノイズ特性として取得することもできる。すなわち、特定部202は、X線透過画像から厚さあるいは材質の異なる複数の測定領域ROIを選択し、複数の測定領域ROIの輝度値の標準偏差及び輝度値の平均値を解析し、輝度-SNR(SN比)の特性グラフをノイズ特性として取得する。このとき、特定部202は、測定領域ROI毎のSNRを、SNR=(輝度値の平均値)÷(輝度値の標準偏差)によって算出する。
図8には、特定部202が取得した輝度-SNRの特性グラフの一例を示している。ここで、特定部202は、ノイズ特性として、上記の輝度-SNRの特性グラフに代えて、縦軸を輝度値の標準偏差から計算されるノイズとした特性グラフを取得してもよい。
【0037】
また、特定部202は、チャートを有する治具が用いられた場合には、治具のX線透過画像における解像度の分布を解像度特性として取得することもできる。さらに、特定部202は、治具のX線透過画像に対して複数の学習済みモデル206を適用してノイズ除去処理を施した後の画像に関しても、解像度特性を取得する機能を有する。
図9には、解像度の評価に用いられるX線透過画像の一例を示している。このX線透過画像においては、一方向に沿ってステップ状に解像度が変化するチャートが撮像対象とされている。X線透過画像の解像度は、MTF(Modulation Transfer Function)又はCTF(Contrast Transfer Function)を用いて測定することができる。
【0038】
再び
図3を参照して、選択部204は、特定部202によって取得された画像特性を基に、制御装置20内に格納された複数の学習済みモデル206の中から、最終的に対象物FのX線透過画像のノイズ除去処理に用いる学習済みモデル206を選択する。すなわち、選択部204は、特定部202によって特定された画像特性と、複数の学習済みモデル206の構築に用いられた画像データから特定された画像特性とを比較し、両者が類似する学習済みモデル206を選択する。
【0039】
例えば、選択部204は、特定部202が特定した透過X線の平均エネルギーの値に最も近い平均エネルギーの画像データによって構築された学習済みモデル206を一つ選択する。
【0040】
また、選択部204は、特定部202による特定方法と同様にして、複数の学習済みモデル206の構築に用いた画像データを対象に、厚さ-輝度の特性グラフを取得し、治具を対象に取得した厚さ-輝度の特性グラフと最も近い特性を有する画像データによって構築された学習済みモデル206を、最終的な学習済みモデル206として選択する。ただし、学習済みモデル206の構築に用いられた画像データの画像特性は予め制御装置20の外部で算出されたものを参照してもよい。このように、複数の測定領域を設定して得られた画像特性を用いることにより、対象物FのX線透過画像のノイズ除去に最適な学習済みモデルの選択することができる。特に、X線透過画像の測定時のX線スペクトルの違いあるいはフィルタの効果の違いを精度よく推定することが可能となる。
【0041】
また、選択部204は、特定部202によって取得された輝度-ノイズ比の特性と最も近い輝度-ノイズ比の特性を有する画像データによって構築された学習済みモデル206を、最終的な学習済みモデル206として選択してもよい。ただし、学習済みモデル206の構築に用いられた画像データの画像特性は、選択部204が画像データから取得してもよいし、予め制御装置20の外部で算出されたものを参照してもよい。ここで、選択部204は、ノイズ特性として、輝度-ノイズ比の特性に代えて、輝度-ノイズの特性を用いて学習済みモデル206を選択してもよい。このような輝度-ノイズの特性を用いることにより、X線検出カメラ10によって検出される各信号量に対し、各信号量の領域のグラフの傾きから支配的なノイズ要因(ショットノイズ、読み出しノイズ等)を特定し、その特定の結果を基に学習済みモデル206を選択できる。
【0042】
図10は、選択部204による画像特性に基づいた学習済みモデルの選択機能を説明するための図である。
図10において、(a)部は、複数の学習済みモデル206の構築に用いられたそれぞれの画像データの輝度-SNRの特性グラフG
1,G
2,G
3を示し、(b)部には、これらの特性グラフG
1,G
2,G
3に加えて、治具を撮像したX線透過画像の輝度-SNRの特性グラフG
Tを示している。このような特性グラフG
1,G
2,G
3,G
Tを対象にした場合には、選択部204は、特性グラフG
Tの特性に最も近い特性グラフG
2の画像データによって構築された学習済みモデル206を選択するように機能する。選択の際には、選択部204は、各特性グラフG
1,G
2,G
3と特性グラフG
Tと間で、一定間隔の輝度値毎のSNRの誤差を計算し、それらの誤差の平均二乗誤差(RMSE:Root Mean Squared Error)を計算し、平均二乗誤差が最も小さい特性グラフG
1,G
2,G
3に対応した学習済みモデル206を選択する。また、選択部204は、エネルギー特性を用いて選択する場合にも、同様にして学習済みモデル206を選択できる。
【0043】
選択部204は、治具のX線透過画像を対象に、複数の学習済みモデルを適用してノイズ除去処理を実行した後の画像の特性を基に、特性が相対的に優れた画像の生成に用いられた学習済みモデル206を選択することもできる。
【0044】
例えば、選択部204は、様々な解像度のチャートを有する治具を撮像したX線透過画像を用いて、その画像に複数の学習済みモデル206を適用し、その結果生成されたノイズ除去後の画像の解像度特性を評価する。そして、選択部204は、ノイズ除去処理前後における各分布の解像度の変化が最も小さい画像に用いられた学習済みモデル206を選択する。
【0045】
上記の解像度の変化の評価以外にも、選択部204は、ノイズ除去後の画像の輝度-ノイズ比の特性を評価し、その特性が最も高い画像の生成に用いられた学習済みモデル206を選択してもよい。
図11には、輝度-ノイズ比の評価に用いられる治具の構造の一例を示している。例えば、治具として、厚さが一方向にステップ状に変化する部材P1中に様々な材質及び様々な大きさを有する異物P2が点在したものが用いられうる。
図12は、
図11の治具を対象に得られたノイズ除去処理後のX線透過画像を示している。選択部204は、X線透過画像中において異物P2の像を含む画像領域R1と、その領域R1の近傍の異物P2の像を含まない画像領域R2とを選択し、画像領域R1における輝度の最小値L
MINと、画像領域R2における輝度の平均値L
AVEと、画像領域R2における輝度の標準偏差L
SDとを計算する。そして、選択部204は、下記式;
CNR=(L
AVE-L
MIN)/L
SD
を用いて、輝度-ノイズ比CNRを算出する。さらに、選択部204は、複数の学習済みモデル206の適用後のX線透過画像のそれぞれを対象に輝度-ノイズ比CNRを算出し、輝度-ノイズ比CNRが最も高いX線透過画像の生成に用いられた学習済みモデル206を選択する。
【0046】
または、選択部204は、画像領域R1における輝度の平均値LAVE_R1と、画像領域R2における輝度の平均値LAVE_R2と、画像領域R2における輝度の標準偏差LSDとを基に、下記式により計算してもよい。
CNR=(LAVE_R1-LMIN_R2)/LSD
【0047】
処理部205は、対象物Fを対象に取得されたX線透過画像に、選択部204によって選択された学習済みモデル206を適用して、ノイズを除去する画像処理を実行することにより出力画像を生成する。そして、処理部205は、生成した出力画像を表示装置30等に出力する。
【0048】
次に、本実施形態に係る画像取得装置1を用いた対象物FのX線透過像の観察処理の手順、すなわち、本実施形態に係る放射線画像処理方法の流れについて説明する。
図13は、画像取得装置1による観察処理の手順を示すフローチャートである。
【0049】
まず、画像取得装置1のオペレータ(ユーザ)によって、X線照射器50の管電圧あるいはX線検出カメラ10におけるゲイン等の画像取得装置1における撮像条件が設定される(ステップS1)。次に、画像取得装置1に治具がセットされて、制御装置20によって治具を対象としてX線透過画像が取得される(ステップS2)。このとき、複数種類の治具のX線透過画像が順次取得されてもよい。
【0050】
それに応じて、制御装置20によって、治具のX線透過画像の画像特性(エネルギー特性、ノイズ特性、及び解像度特性)が特定される(ステップS3)。さらに、制御装置20によって、治具のX線透過画像に対して複数の学習済みモデル206が適用され、複数の学習済みモデル206の適用後のそれぞれのX線透過画像の画像特性(解像度特性あるいは輝度-ノイズ比の値、等)が特定される(ステップS4)。
【0051】
次に、制御装置20によって、治具のX線透過画像のエネルギー特性と学習済みモデル206の構築に用いられた画像データのエネルギー特性との比較結果、及び、治具のX線透過画像の解像度特性の学習済みモデルの適用前後における変化度合いを基に、学習済みモデル206が選択される(ステップS5)。ここでは、治具のX線透過画像のノイズ特性と学習済みモデル206の構築に用いられた画像データのノイズ特性との比較結果、及び、治具のX線透過画像の解像度特性の学習済みモデルの適用前後における変化状態を基に、学習済みモデル206が選択されてもよい。また、ステップS5では、上記処理に代えて、治具のX線透過画像の学習済みモデルの適用後における輝度-ノイズ比CNRが最も高い学習済みモデル206が選択されてもよい。
【0052】
さらに、画像取得装置1において対象物Fがセットされて対象物Fが撮像されることにより、対象物FのX線透過画像が取得される(ステップS7)。次に、制御装置20により、最終的に選択した学習済みモデル206を対象物FのX線透過画像に適用することによって、X線透過画像を対象にノイズ除去処理が実行される(ステップS8)。最後に、制御装置20により、ノイズ除去処理が施されたX線透過画像である出力画像が、表示装置30に出力される(ステップS9)。
【0053】
以上説明した画像取得装置1によれば、治具のX線透過画像の画像特性が特定され、その画像特性を基に、予め構築された学習済みモデルの中からノイズ除去に用いる学習済みモデルが選択される。これにより、画像取得装置1におけるX線照射器50の動作条件等により変化するX線透過画像の特性を推定でき、この推定結果に応じて選択された学習済みモデル206がノイズ除去に用いられるので、X線透過画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、X線透過画像におけるノイズを効果的に除去できる。
【0054】
一般に、X線透過画像においては、X線発生由来のノイズが含まれている。X線透過画像のSN比を向上させるためにX線量を増加させることも考えられるが、その場合は、X線量を増加させるとセンサの被ばく量が増加しセンサの寿命が短くなる、X線発生源の寿命が短くなる、という問題があり、SN比の向上と長寿命化との両立が困難である。本実施形態では、X線量を増加させる必要はないので、SN比の向上と長寿命化の両立が可能である。
【0055】
本実施形態では、学習済みモデルの選択において、治具のX線透過画像の画像特性と、学習済みモデルの構築に用いられた画像データの画像特性とが比較されている。これにより、治具のX線透過画像の画像特性に対応した画像データによって構築された学習済みモデル206が選択されるので、対象物FのX線透過画像におけるノイズを効果的に除去できる。
【0056】
また、本実施形態では、治具のX線透過画像に対して複数の学習済みモデル206を適用した画像の画像特性を用いて、学習済みモデルが選択されている。この場合、実際に複数の学習済みモデル206を適用した治具のX線透過画像の画像特性により、学習済みモデル206が選択されるので、対象物FのX線透過画像におけるノイズを効果的に除去できる。
【0057】
特に、本実施形態では、画像特性としてエネルギー特性又はノイズ特性が用いられている。この場合、画像取得装置1の撮像条件によって変化する治具のX線透過画像のエネルギー特性又はノイズ特性と類似した特性の画像によって構築された学習済みモデル206を選択することとなる。その結果、画像取得装置1の条件変化に対応した対象物FのX線透過画像におけるノイズ除去が可能となる。
【0058】
本実施形態では、画像特性として、解像度特性又は輝度-ノイズ比も用いられている。このような構成によれば、選択した学習済みモデル206を適用することにより、解像度特性又は輝度-ノイズ比が良好なX線透過画像を得ることができるようになる。その結果、画像取得装置1の条件変化に対応した対象物のX線透過画像におけるノイズ除去が可能となる。
【0059】
図14及び
図15には、画像取得装置1によって取得されたノイズ除去処理の前後のX線透過画像の例を示している。
図14及び
図15には、それぞれ、金属、ガラス等の異物が付与されたチーズを対象にした画像、様々な大きさの骨が残存している鶏肉を対象にした画像を示しており、左側にノイズ処理前の画像、右側にノイズ処理後の画像をそれぞれ示している。このように、本実施形態によれば、様々な対象物に対してノイズ除去が効果的に行われていることが分かる。
【0060】
以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
【0061】
例えば、X線検出カメラ10は、デュアルラインX線カメラであるとして説明したがこれに限定されず、シングルラインX線カメラや、デュアルエナジX線カメラ、TDI(Time Delay Integration)スキャンX線カメラ、2ライン以上の複数のラインを持つマルチラインX線カメラ、2次元X線カメラ、X線フラットパネルセンサ、X線I.I、シンチレータを用いない直接変換型X線カメラ(a-Se、Si、CdTe、CdZnTe、TlBr、PbI2等)、シンチレータをレンズカップリングによる光学レンズを用いた観察方式のカメラであってもよい。また、X線検出カメラ10は、放射線に感度のある撮像管或いは放射線に感度のあるポイントセンサであってもよい。
【0062】
また、画像取得装置1についても、上記実施形態に限定されるものではなく、CT(Computed Tomography)装置など、対象物Fを静止させた状態で撮像する放射線画像処理システムであってもよい。さらに、対象物Fを回転させながら撮像する放射線画像処理システムであってもよい。
【0063】
また、上記実施形態の画像取得装置1においては、様々な形態の治具を用いることができる。例えば、
図16に示すように、異なる材料の平板状部材P11,P12,P13,P14が二次元的に配置された治具であってもよい。また、
図17に示すように、厚さが一次元的にステップ状に変化した形状の部材であって、互いに材料が異なる平板状部材P21,P22、P23が並べて配置された形態であってもよい。治具の一部が開口もしくは切りかけ形状となっており、治具撮像時に対象物Fもしくは対象物Fに類似したものを撮像できるようになっていてもよい。治具撮像時にあわせて対象物Fを撮像し、対象物の透過画像を治具透過画像とあわせて学習済みモデル選択をしてもよい。また、
図18の(a)部~(c)部に示すように、ベルトコンベア60による搬送方向TDに対して境界線が平行方向、斜め方向、あるいは、垂直方向を向くように配置されたチャートを有する治具が用いられてもよい。
【0064】
上述した実施形態では、選択するステップでは、画像特性と、画像データから特定される画像特性とを比較することにより、学習済みモデルを選択する、ことが好適である。上記実施形態においては、選択部は、画像特性と、画像データから特定される画像特性とを比較することにより、学習済みモデルを選択する、ことが好適である。これにより、治具の放射線画像の画像特性に対応した画像データによって構築された学習済みモデルが選択されるので、対象物の放射線画像におけるノイズを効果的に除去できる。
【0065】
また、特定するステップでは、治具の放射線画像に対して複数の学習済みモデルを適用した結果得られる複数の画像の画像特性を特定し、選択するステップでは、複数の画像の画像特性を基に、学習済みモデルを選択する、ことも好適である。また、特定部は、治具の放射線画像に対して複数の学習済みモデルを適用した結果得られる複数の画像の画像特性を特定し、選択部は、複数の画像の画像特性を基に、学習済みモデルを選択する、ことも好適である。この場合、実際に複数の学習済みモデルを適用した治具の放射線画像の画像特性により、学習済みモデルが選択されるので、対象物の放射線画像におけるノイズを効果的に除去できる。
【0066】
さらに、画像特性は、エネルギー特性、ノイズ特性、及び周波数特性のうちの少なくとも1つであり、選択するステップでは、画像特性が類似する画像データによって構築された学習済みモデルを選択する、ことが好適である。さらに、画像特性は、エネルギー特性、ノイズ特性、及び周波数特性のうちの少なくとも1つであり、選択部は、画像特性が類似する画像データによって構築された学習済みモデルを選択する、ことが好適である。この場合、システムによって変化する治具の放射線画像のエネルギー特性、ノイズ特性、及び周波数特性のうちの少なくとも1つと類似した特性の画像によって構築された学習済みモデルを選択することとなる。その結果、システムの条件変化に対応した対象物の放射線画像におけるノイズ除去が可能となる。
【0067】
またさらに、画像特性は、解像度特性又は輝度-ノイズ比であり、選択するステップでは、解像度特性又は輝度-ノイズ比が相対的に優れた画像の生成に用いられた学習済みモデルを選択する、をさらに備える、ことも好適である。またさらに、画像特性は、解像度特性又は輝度-ノイズ比であり、選択部は、解像度特性又は輝度-ノイズ比が相対的に優れた画像の生成に用いられた学習済みモデルを選択する、ことも好適である。このような構成によれば、選択した学習済みモデルを適用することにより、解像度特性又は輝度-ノイズ比が良好な放射線画像を得ることができるようになる。その結果、システムの条件変化に対応した対象物の放射線画像におけるノイズ除去が可能となる。
【産業上の利用可能性】
【0068】
実施形態は、放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システムを使用用途とし、放射線画像におけるノイズを効果的に除去できるものである。
【符号の説明】
【0069】
10…X線検出カメラ(撮像装置)、20…制御装置(放射線画像処理モジュール)、201…取得部、202…特定部、204…選択部、205…処理部、206…学習済みモデル、F…対象物、TD…搬送方向。