(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112227
(43)【公開日】2024-08-20
(54)【発明の名称】X線検査装置
(51)【国際特許分類】
G01N 23/10 20180101AFI20240813BHJP
G01N 23/04 20180101ALI20240813BHJP
【FI】
G01N23/10
G01N23/04
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023017152
(22)【出願日】2023-02-07
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(71)【出願人】
【識別番号】000198318
【氏名又は名称】株式会社IHI検査計測
(74)【代理人】
【識別番号】110000936
【氏名又は名称】弁理士法人青海国際特許事務所
(72)【発明者】
【氏名】坂本 陸
(72)【発明者】
【氏名】片山 啓
(72)【発明者】
【氏名】大貫 宏和
【テーマコード(参考)】
2G001
【Fターム(参考)】
2G001AA01
2G001BA11
2G001CA01
2G001DA08
2G001FA18
2G001GA01
2G001HA13
2G001JA09
2G001KA01
2G001LA10
(57)【要約】
【課題】貨物の個数を正確に特定する。
【解決手段】X線検査装置1は、検査対象である複数個の貨物2をX線を用いて撮像し、検査対象のX線画像を出力する撮像部10と、検査対象のX線画像を解析することにより、検査対象のX線画像の輝度値の分布を得る画像解析部34と、輝度値の分布に基づいて、検査対象の特徴量を抽出する特徴量抽出部36と、1個の貨物を撮像した基準X線画像の輝度値の分布から得られた特徴量である基準特徴量を記憶する記憶部50と、検査対象の特徴量と基準特徴量とに基づいて、検査対象の貨物2の個数を算出する計数部38と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
検査対象である複数個の貨物をX線を用いて撮像し、前記検査対象のX線画像を出力する撮像部と、
前記検査対象のX線画像を解析することにより、前記検査対象のX線画像の輝度値の分布を得る画像解析部と、
前記輝度値の分布に基づいて、前記検査対象の特徴量を抽出する特徴量抽出部と、
1個の貨物を撮像した基準X線画像の輝度値の分布から得られた特徴量である基準特徴量を記憶する記憶部と、
前記検査対象の特徴量と前記基準特徴量とに基づいて、前記検査対象の前記貨物の個数を算出する計数部と、
を備える、X線検査装置。
【請求項2】
前記検査対象は、前記複数個の貨物が1段もしくは複数段に積み重ねられたものであり、
前記検査対象のX線画像は、グレースケール画像であり、前記貨物が積み重ねられた段数に応じて濃淡が異なる少なくとも1つの画像領域を含み、
前記画像解析部は、前記検査対象のX線画像を解析することにより、前記輝度値の分布を表すヒストグラムを生成し、
前記ヒストグラムは、前記段数に応じて濃淡が異なる前記画像領域に対応する少なくとも1つのピークを有し、
前記特徴量抽出部は、前記ヒストグラムの前記ピークごとに、前記検査対象の特徴量を抽出する、請求項1に記載のX線検査装置。
【請求項3】
前記特徴量は、前記ヒストグラムの前記各ピークに対応する前記画像領域の平均輝度値と、当該画像領域の面積とを含む、請求項2に記載のX線検査装置。
【請求項4】
前記計数部は、
前記検査対象の特徴量である前記平均輝度値と、前記基準特徴量である前記平均輝度値とに基づいて、積み重ねられた前記貨物の段数を算出し、
当該算出した段数と、前記検査対象の特徴量である前記面積と、前記基準特徴量である前記面積とに基づいて、前記検査対象の前記貨物の個数を算出する、請求項3に記載のX線検査装置。
【請求項5】
前記計数部により算出された前記検査対象の前記貨物の個数に関する情報、および、前記検査対象の前記貨物が積み重ねられた段数に関する情報のうち少なくとも1つを、前記検査対象のX線画像に重畳した出力画像を生成する出力画像生成部をさらに備える、請求項2または3に記載のX線検査装置。
【請求項6】
前記貨物は、容器に梱包された同種の資材である、請求項1または2に記載のX線検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、X線検査装置に関する。
【背景技術】
【0002】
税関などで、輸出入検査を受けるコンテナの中には、穀物などの資材がフレキシブルコンテナバッグなどの容器に梱包された状態で保管されている場合がある。このようなコンテナ内の貨物を検査するために、X線検査装置を用いてコンテナ越しに貨物のX線画像を撮像するX線検査装置が用いられている。
【0003】
例えば、特許文献1、2には、貨物を収容したコンテナまたはカートンボックスを開けることなく、当該コンテナ等の内部に収容された貨物の種類や、税関申告されていない貨物または危険物の有無を特定するために、X線検査装置を用いることが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2018-112551号公報
【特許文献2】特開平11-194102号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1、2に記載の従来のX線検査装置では、コンテナ内の貨物の種類や危険物の有無を特定することに注力しており、コンテナ内の複数の貨物の個数を正確に特定することが困難であった。特に、同種の多数の貨物がコンテナ内に積み重ねられた状態で保管されている場合、当該多数の貨物が重なり合って写っているX線画像から、これら貨物の個数を正確に特定することは困難であった。
【0006】
このため、税関の検査官は、複数の貨物が重なり合って写っているX線画像を観察して、当該貨物の個数を目視で数えざるを得なかった。したがって、コンテナのサイズが大きくなり、目視で数える貨物の個数が増加するにつれ、検査官の負担が増大していた。
【0007】
そこで、本開示の目的は、貨物の個数を正確に特定することが可能なX線検査装置を提供することである。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本開示のX線検査装置は、
検査対象である複数個の貨物をX線を用いて撮像し、前記検査対象のX線画像を出力する撮像部と、
前記検査対象のX線画像を解析することにより、前記検査対象のX線画像の輝度値の分布を得る画像解析部と、
前記輝度値の分布に基づいて、前記検査対象の特徴量を抽出する特徴量抽出部と、
1個の貨物を撮像した基準X線画像の輝度値の分布から得られた特徴量である基準特徴量を記憶する記憶部と、
前記検査対象の特徴量と前記基準特徴量とに基づいて、前記検査対象の前記貨物の個数を算出する計数部と、
を備える。
【0009】
前記検査対象は、前記複数個の貨物が1段もしくは複数段に積み重ねられたものであり、
前記検査対象のX線画像は、グレースケール画像であり、前記貨物が積み重ねられた段数に応じて濃淡が異なる少なくとも1つの画像領域を含み、
前記画像解析部は、前記検査対象のX線画像を解析することにより、前記輝度値の分布を表すヒストグラムを生成し、
前記ヒストグラムは、前記段数に応じて濃淡が異なる前記画像領域に対応する少なくとも1つのピークを有し、
前記特徴量抽出部は、前記ヒストグラムの前記ピークごとに、前記検査対象の特徴量を抽出するようにしてもよい。
【0010】
前記特徴量は、前記ヒストグラムの前記各ピークに対応する前記画像領域の平均輝度値と、当該画像領域の面積とを含むようにしてもよい。
【0011】
前記計数部は、
前記検査対象の特徴量である前記平均輝度値と、前記基準特徴量である前記平均輝度値とに基づいて、積み重ねられた前記貨物の段数を算出し、
当該算出した段数と、前記検査対象の特徴量である前記面積と、前記基準特徴量である前記面積とに基づいて、前記検査対象の前記貨物の個数を算出するようにしてもよい。
【0012】
前記計数部により算出された前記検査対象の前記貨物の個数に関する情報、および、前記検査対象の前記貨物が積み重ねられた段数に関する情報のうち少なくとも1つを、前記検査対象のX線画像に重畳した出力画像を生成する出力画像生成部をさらに備えるようにしてもよい。
【0013】
前記貨物は、容器に梱包された同種の資材であるようにしてもよい。
【発明の効果】
【0014】
本開示によれば、貨物の個数を正確に特定することができる。
【図面の簡単な説明】
【0015】
【
図1】
図1は、本開示の第1の実施形態に係るX線検査装置を示す模式図である。
【
図2】
図2は、同実施形態に係る画像処理装置の構成を示すブロック図である。
【
図3】
図3は、同実施形態に係る画像処理装置による検査対象のX線画像の処理内容を示す説明図である。
【
図4】
図4は、同実施形態に係る画像処理装置により基準X線画像から基準特徴量を抽出する処理を示す説明図である。
【
図5】
図5は、同実施形態に係る画像処理装置により検査対象のX線画像から検査対象の特徴量を抽出する処理を示す説明図である。
【
図6】
図6は、同実施形態に係るX線検査方法を示すフローチャートである。
【
図7】
図7は、同実施形態に係る出力画像の具体例を示す説明図である。
【発明を実施するための形態】
【0016】
以下に添付図面を参照しながら、本開示の実施形態について説明する。実施形態に示す寸法、材料、その他具体的な数値等は、理解を容易とするための例示にすぎず、特に断る場合を除き、本開示を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本開示に直接関係のない要素は図示を省略する。
【0017】
[1.X線検査装置の全体構成]
まず、
図1を参照して、本開示の第1の実施形態に係るX線検査装置1の全体構成について説明する。
図1は、本実施形態に係るX線検査装置1を示す模式図である。
【0018】
図1に示すように、本実施形態に係るX線検査装置1は、検査対象のX線画像を撮像し、当該X線画像に基づいて検査対象の内容を検査するための装置である。X線検査装置1は、例えば、税関等に設置され、輸出入検査を受ける貨物を検査するための大型のX線検査装置であってもよい。ただし、X線検査装置1は、かかる例に限定されず、X線画像を用いて検査対象を検査するための装置であれば、他の各種の検査装置にも適用可能である。
【0019】
X線検査装置1は、X線撮像装置10と、画像処理装置20とを備える。X線撮像装置10と画像処理装置20は、有線もしくは無線のネットワークまたは配線などを介して、相互に通信可能に接続されている。
【0020】
X線撮像装置10は、本開示の撮像部の一例である。X線撮像装置10は、X線5を用いて検査対象を撮像する。X線撮像装置10は、検査対象である複数個の貨物2を、X線5を用いて撮像して、当該検査対象の貨物2が写っているX線画像を生成する。X線画像は、例えば、白黒の濃淡で撮像対象物(例えば貨物2)を表現するグレースケール画像であってよい。X線撮像装置10は、撮像処理により得られた検査対象のX線画像を画像処理装置20に出力する。
【0021】
画像処理装置20は、X線画像に対する各種の画像処理と、各種の演算処理を実行する情報処理装置である。画像処理装置20は、X線撮像装置10から取得した検査対象のX線画像に基づいて、検査対象の貨物2の内容および個数を特定する。
【0022】
まず、画像処理装置20は、検査対象のX線画像を解析することにより、X線画像の輝度値の分布を求める。輝度値の分布は、X線画像に含まれる複数の画素の輝度値(画素値)の分布である。輝度値の分布は、例えば、輝度値ヒストグラムであってよい。輝度値ヒストグラムは、X線画像に含まれる複数の画素の輝度値の度数分布を表すグラフである。画像処理装置20は、検査対象のX線画像の複数の画素の輝度値に基づいて、輝度値ヒストグラムを生成する。
【0023】
次いで、画像処理装置20は、ヒストグラムを解析することにより、輝度値の分布を、1または複数のピークに分類(クラスタリング)する。画像処理装置20は、輝度値の分布のピークごとに、検査対象の特徴量を抽出する。検査対象の特徴量は、検査対象のX線画像の輝度値の分布のピークに関する特徴量である。
【0024】
その後、画像処理装置20は、抽出した検査対象の特徴量と、予め登録されている基準特徴量とを比較し、当該比較結果に基づいて、検査対象の貨物2の個数を算出する。さらに、画像処理装置20は、算出した貨物2の個数に関する情報を、検査対象のX線画像に重畳して、表示部に表示する。
【0025】
以上のようなX線撮像装置10と画像処理装置20を備えたX線検査装置1により、コンテナ3に収容されている検査対象の貨物2の個数を自動的かつ正確に特定することができる。したがって、ユーザ(例えば、税関等の検査官)は、X線検査装置1を利用して、検査対象のコンテナ3内の貨物2の正確な個数を、容易に把握できる。よって、ユーザは、X線画像の目視で観察して貨物2を数える必要がないので、ユーザの検査作業の負担を大幅に軽減できる。
【0026】
[2.貨物について]
次に、
図1を参照して、本実施形態に係るX線検査装置1による検査対象である貨物2について説明する。
【0027】
図1に示すように、貨物2は、X線検査装置1による検査対象である。本実施形態では、貨物2は、運送用のコンテナ3の内部に収容されている。個々の貨物2は、例えば、フレキシブルコンテナバッグなどの容器に梱包された資材であってよい。
【0028】
ここで、資材は、例えば、大豆、小麦、トウモロコシなどの穀物、その他の食料品であってもよい。資材は、例えば、肥料、飼料などの農業または畜産業用資材であってもよい。また、資材は、セメント、鉱石、石灰石などの建築用資材であってもよい。また、資材は、各種の金属材料、プラスチック材料、液体材料などの工業用資材であってもよい。
【0029】
本実施形態では、貨物2が、上記穀物等の粒子状の資材がフレキシブルコンテナバッグなどの容器に梱包されたものである例について説明する。フレキシブルコンテナバッグは、ポリエチレンまたはポリプロピレンなどの合成繊維で作成された袋であり、例えば穀物などの各種の資材の梱包および輸送に使用される。同程度の大きさのフレキシブルコンテナバッグに資材を梱包して運搬することで、粒子状の資材の取り扱いおよび運搬が容易になるとともに、フレキシブルコンテナバッグの個数により粒子状の資材の量を容易に管理できるようになる。また、資材を梱包した複数のフレキシブルコンテナバッグを、コンテナ3内に複数段に積み重ねて保管することにより、保管スペースの節減に寄与する。
【0030】
ただし、貨物2の資材を収容する容器は、フレキシブルコンテナバッグの例に限定されない。容器は、X線5を透過可能な材質の容器であれば、例えば、他のプラスチック製容器、段ボール箱など、任意の容器であってよい。貨物2の容器は、フレキシブルコンテナバッグのように柔軟性を有する容器であれば、複数の貨物2を安定的に積み重ねることが可能になる。しかし、柔軟性を有しない容器を用いてもよい。
【0031】
また、
図1に示すように、本実施形態に係る検査対象は、例えば、コンテナ3内において複数個の貨物2が1段もしくは複数段に積み重ねられたものである。
図1の例では、9個の貨物2が3段に積み重ねられており、全体としてはピラミッド状に規則的に積み重ねられている。このように、検査対象の複数個の貨物2が規則的に積み重ねられていることが好ましい。これにより、後述する画像処理装置20によって、積み重ねられた貨物2の段数と、各段における貨物2の個数を、より正確に推定可能となる。したがって、後述する画像処理装置20によりX線画像の解析結果に基づいて貨物2の個数を算出する際に、より正確な個数を算出可能となる。ただし、貨物2の積み重ね方法は、
図1に示すようなピラミッド状の積み重ね方法の例に限られず、他の規則的な積み重ね方法であってもよいし、あるいは、ランダムな積み重ね方法であってもよい。
【0032】
また、検査対象となる複数個の貨物2は、同種類の貨物であることが好ましく、特に、同程度の大きさを有する容器(フレキシブルコンテナバッグなど)に梱包された同種の資材(大豆など)であることが好ましい。これにより、個々の貨物2のX線画像が同様な画像となる。したがって、後述する画像処理装置20によりX線画像の解析結果に基づいて貨物2の個数を算出する際に、より正確な個数を算出可能となる。
【0033】
なお、貨物2は、運送対象となる物品であれば、上記の穀物のような粒子状の資材でなくてもよい。例えば、貨物2は、製品、部品、材料、機械設備または食料品など、各種の物品であってよい。また、貨物2は、容器に梱包された資材に限られず、容器に梱包されていない物品であってもよい。また、本実施形態に係る検査対象の貨物2は、コンテナ3に収容された状態で保管されているが、かかる例に限定されない。貨物2は、コンテナ3などの運送用容器に収容されずに、剥き出しで保管されていてもよい。
【0034】
[3.X線撮像装置について]
次に、
図1を参照して、本実施形態に係るX線撮像装置10の構成について説明する。
【0035】
図1に示すように、X線撮像装置10(「撮像部」に相当する。)は、コンテナ3内に収容された貨物2を撮像して、貨物2のX線画像を生成するための装置である。X線撮像装置10は、X線照射部12と、X線検出部14と、X線画像生成部16と、コントローラ18と、コンテナ3を搬送する搬送装置(図示せず。)とを備える。
【0036】
X線照射部12とX線検出部14は、所定の間隔を空けて対向配置される。
図1の例では、X線照射部12とX線検出部14は、上下方向に対向配置されている。X線照射部12は、X線5を発生させるX線源と、X線5の照射装置を備える。X線照射部12は、X線検出部14に向けて所定方向(例えば
図1のZ方向)にX線5を照射する。当該X線5は、撮像対象物を通過して、X線検出部14に向かう。X線検出部14は、例えば、X線検出用のラインセンサなどで構成される。X線検出部14は、X線照射部12から照射されて撮像対象物を通過したX線5を検出する。X線検出部14は、検出したX線5を表す撮像信号を出力する。
【0037】
X線画像生成部16は、X線検出部14により検出されたX線5の撮像信号に基づいて、撮像対象物のX線画像を生成する。X線画像生成部16は、例えば、AD変換素子と、画像メモリとを備える。AD変換素子は、X線検出部14から出力された撮像信号をAD変換する。画像メモリは、AD変換された撮像信号を画素毎に記憶する。
【0038】
搬送装置は、ベルトコンベヤなどで構成され、貨物2が収容されたコンテナ3を所定方向(例えば
図1のX方向)に搬送する。コントローラ18は、上記のX線照射部12、X線検出部14、X線画像生成部16および搬送装置など、X線撮像装置10の各部を制御する。
【0039】
かかる構成のX線撮像装置10により、検査対象の貨物2に対してX線5を走査して、貨物2のX線画像を撮像することができる。このようなX線撮像装置10によるX線撮像動作について、以下に説明する。
【0040】
X線撮像装置10は、搬送装置にコンテナ3を載置した状態で、搬送装置を動作させる。これにより、コンテナ3は、X線照射部12とX線検出部14に対して、X線5の走査方向(
図1のX方向)に相対移動して、X線照射部12とX線検出部14との間を通過する。このとき、X線照射部12は、撮像対象のコンテナ3に向けてX線5を照射する。X線検出部14は、X線照射部12から照射されたX線5のうち、コンテナ3およびその内部の貨物2を通過したX線5を検出する。X線画像生成部16は、X線検出部14により検出されたX線5に基づいて、複数個の貨物2が写ったX線画像を生成する。
【0041】
ここで、本実施形態では、コンテナ3内に積み重ねられた複数個の貨物2を上方から撮像したX線画像が生成される。当該X線画像は、複数個の貨物2がXY平面に投影された二次元画像であり、複数個の貨物2を上面側から透視した画像に相当する。しかし、X線画像の撮像方向は、上下方向の例に限定されない。例えば、X線画像は、複数個の貨物2を下面側(Z方向)から撮像した画像であってもよい。あるいは、X線画像は、複数個の貨物2を右側面若しくは左側面側から撮像した側面方向(Y方向)の画像であってもよい。あるいは、X線画像は、複数個の貨物2を正面側若しくは背面側から撮像した正面方向(X方向)の画像であってもよい。また、複数の方向から貨物2を撮像した複数のX線画像を生成してもよい。
【0042】
また、X線撮像装置10は、上記のようにして、検査対象の複数個の貨物2のX線画像(後述する
図5A参照。)を生成する。X線撮像装置10は、生成したX線画像を、画像処理装置20に出力する。
【0043】
さらに、X線撮像装置10は、1個の貨物2(基準貨物)を撮像した基準X線画像(後述する
図4A参照。)を生成することもできる。基準X線画像は、貨物2の種類によって異なる基準特徴量を得るための基準となるX線画像である。これらの基準X線画像と基準特徴量の詳細については後述する。X線撮像装置10は、複数種類の貨物2の基準X線画像をそれぞれ撮像して、画像処理装置20に出力する。例えば、X線撮像装置10は、貨物2として、大豆が梱包された1個のフレキシブルコンテナバッグを撮像して、大豆に関する基準X線画像を生成する。また、基準X線画像を撮像する際には、コンテナ3に収容されていない状態の1個の貨物2を撮像することが好ましい。これにより、当該貨物2の特徴が正確に現れた基準X線画像を得ることができる。
【0044】
ここで、本実施形態に係るX線撮像装置10により撮像されたX線画像の仕様の例について説明する。
【0045】
本実施形態に係るX線画像は、例えば、撮像された検査対象を白黒の濃淡で表現したグレースケール画像である。グレースケール画像は、色情報は含まず、明るさ情報のみを含んでいる。グレースケール画像は、例えば、1画素の輝度値(画素値)を8ビットで表現した画像であってよい。この8ビットのグレースケール画像の階調は、256階調(輝度値:0~255)である。輝度値0が黒を表し、輝度値255が白を表す。一般的な256階調のグレースケール画像を用いれば、本実施形態の特徴的な画像処理を好適に実現できる。ただし、X線画像の階調は、256階調以外であってもよい。
【0046】
[4.画像処理装置の構成]
次に、
図2を参照して、本実施形態に係る画像処理装置20の構成について説明する。
図2は、本実施形態に係る画像処理装置20の構成を示すブロック図である。
【0047】
[4.1.画像処理装置のハードウェア構成]
まず、本実施形態に係る画像処理装置20のハードウェア構成について説明する。
図2は、本実施形態に係る画像処理装置20のハードウェア構成の一例も示してある。
【0048】
図2に示すように、画像処理装置20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、入力装置25と、出力装置26と、バス27とを備える。
【0049】
プロセッサ21は、コンピュータに搭載される演算処理装置である。プロセッサ21は、例えば、CPU(Central Processing Unit)で構成されるが、その他のマイクロプロセッサで構成されてもよい。また、プロセッサ21は、1つまたは複数のプロセッサで構成されてもよい。プロセッサ21は、メモリ22または他の記憶媒体に記憶されているプログラムを実行する。これにより、画像処理装置20における各種の処理が実行される。
【0050】
プログラムは、コンピュータにより実行される命令を含むコンピュータプログラムである。なお、プログラムは、例えば、外部装置から通信ネットワークを通じた配信により、画像処理装置20に提供されてもよい。また、プログラムは、コンピュータにより読み取り可能な非一時的な記録媒体(non transitory computer readable medium)を介して、画像処理装置20に提供されてもよい。画像処理装置20にプログラムをインストールすることにより、画像処理装置20は、当該プログラムにより定められた各種の機能を実現可能になる。
【0051】
メモリ22は、プログラムおよびその他の各種データを記憶する記憶媒体である。メモリ22は、例えば、RAM(Random Access Memory)およびROM(Read Only Memory)などを有する。ROMは、プロセッサ21が使用するプログラム、およびプログラムを動作させるためのデータ等を記憶する不揮発性メモリである。RAMは、プロセッサ21により実行される処理に用いられる変数、演算パラメータ、演算結果等のデータを一時記憶する揮発性メモリである。ROMに記憶されたプログラムは、RAMに読み出され、CPUなどのプロセッサ21により実行される。
【0052】
ストレージ23は、各種の情報、データを保存するための記憶装置である。ストレージ23は、例えば、半導体メモリ、ハードディスク、光ディスクなどの記録媒体と、当該記録媒体からデータを読み出す、または当該記録媒体に書き込むドライブとを有する。ストレージ23は、メモリ22と比べて大容量のデータを保存することができる。ストレージ23は、画像処理装置20に内蔵される内部ストレージであってもよいし、画像処理装置20の外部入出力用端子を介して接続される外部ストレージであってもよい。また、ストレージ23は、通信ネットワークを介して接続されるオンラインストレージであってもよい。
【0053】
通信装置24は、画像処理装置20に対して有線または無線により接続された外部装置と通信するためのデバイスである。通信装置24は、予め定められたプロトコルに従って、外部装置と通信接続を確立させて、外部装置との間で各種の情報、データを送信および受信する。
【0054】
入力装置25は、ユーザが画像処理装置20に情報を入力するために用いられる装置である。入力装置25は、例えば、タッチセンサ、キーボード、キーパッド、マウス、リモートコントローラ、ボタン、スイッチまたはダイヤルなどを含む。入力装置25は、マイクロフォン、音声認識モジュールなどの音声入力用の入力装置を含んでもよい。また、入力装置25は、画像処理装置20を遠隔操作するためのユーザ入力をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。入力装置25は、ユーザによる入力操作を受け付けると、当該入力操作に応じた入力信号をプロセッサ21に送信する。
【0055】
出力装置26は、画像処理装置20の外部に情報、データを出力するための装置である。出力装置26は、テキスト、図形、画像等の情報を表示する表示装置と、音声を出力する音声出力装置とを含む。表示装置は、表示画面を有するディスプレイと、画像表示モジュールとを備える。ディスプレイは、例えば、液晶ディスプレイ(LCD)、プラズマディスプレイ(PDP)、有機ELディスプレイ(OLED)、またはブラウン管(CRT)などであってもよい。また、表示装置は、表示画面にタッチセンサが設けられたタッチパネルであってもよい。音声出力装置は、スピーカと、音声出力モジュールとを備える。
【0056】
バス27は、上記のプロセッサ21、メモリ22、ストレージ23、通信装置24、入力装置25および出力装置26を相互に接続する。これにより、これらのデバイス間で各種の情報、データを送信および受信することができる。
【0057】
[4.2.画像処理装置の機能構成]
次いで、
図2および
図3を参照して、本実施形態に係る画像処理装置20の機能構成について説明する。
図3は、本実施形態に係る画像処理装置20による検査対象のX線画像の処理内容を示す説明図である。
【0058】
図2に示すように、画像処理装置20は、データベース作成部30と、前処理部32と、画像解析部34と、特徴量抽出部36と、計数部38と、出力画像生成部40と、貨物データベース50とを備える。画像処理装置20のプロセッサ21がプログラムに基づいて演算処理を実行することにより、これら画像処理装置20の各機能部が実現される。
【0059】
(1)データベース作成部30と貨物データベース50
データベース作成部30(以下「DB作成部30」という。)は、貨物データベース50(以下「貨物DB50」という。)を作成および管理する。
【0060】
貨物DB50は、本開示の基準特徴量を記憶する記憶部の一例である。貨物DB50は、各種の貨物2に関する各種情報を記憶するデータベースである。各々の貨物2に関する情報は、例えば、貨物2の基準X線画像のファイル、貨物2の基準特徴量、貨物2の種類を表す識別情報、貨物2の個数およびサイズを表す情報などを含む。貨物2の基準特徴量は、1個の貨物2を撮像した基準X線画像の輝度値の分布から得られた特徴量である。この1個の貨物2の基準特徴量と検査対象の複数個の貨物2の特徴量とを比較することにより、検査対象の複数個の貨物2の種類および個数を特定可能となる。
【0061】
DB作成部30は、各種の貨物(基準貨物)に関する情報を貨物DB50に登録する。例えば、新たな種類の貨物として、フレキシブルコンテナバッグに梱包された大豆に関する情報を、貨物DB50に登録する場合について説明する。この場合、まず、上記X線撮像装置10により、1個のフレキシブルコンテナバッグに梱包された大豆をX線撮像し、当該大豆のX線画像(基準X線画像:
図4A参照。)を生成する。X線撮像装置10は、当該大豆の基準X線画像を画像処理装置20に出力する。次いで、画像処理装置20のDB作成部30は、X線撮像装置10から当該大豆の基準X線画像を取得する。そして、後述する画像解析部34により、当該大豆の基準X線画像の輝度値の分布を解析する。さらに、後述する特徴量抽出部36により、当該大豆の基準X線画像の輝度値の分布に関する特徴量を、当該大豆の基準特徴量として抽出する。その後、DB作成部30は、当該大豆の基準特徴量と、当該大豆の基準X線画像のファイルと、当該大豆を表す識別情報と、1個のフレキシブルコンテナバッグのサイズを表す情報などを関連付けて、貨物DB50に登録する。
【0062】
このようにして、貨物2の種類ごとに、1個の貨物(基準貨物)の基準X線画像を予め撮像して、基準特徴量を求めておく。そして、当該貨物2の基準X線画像および基準特徴量などを貨物DB50に予め登録しておく。これにより、画像処理装置20は、検査対象の貨物2のX線画像を取得したときに、貨物DB50に登録されている各種の貨物2の基準特徴量を用いて、検査対象の貨物2の種類および個数を特定することが可能になる。
【0063】
(2)前処理部32
画像処理装置20がX線撮像装置10から検査対象の貨物2のX線画像(
図3A参照。)を取得したとき、まず、前処理部32により当該X線画像の前処理を行う。この前処理としては、例えば、画像の切り出し処理、画像サイズの調整処理、輝度値の調整処理などを含んでもよい。例えば、前処理部32は、取得した検査対象のX線画像から、貨物2が写っている画像領域を切り出してもよい。また、前処理部32は、X線画像から特徴量を抽出するために適したサイズおよび輝度値に調整してもよい。
【0064】
また、本実施形態に係る検査対象のX線画像は、コンテナ3に収容された状態の複数の貨物2を、コンテナ3の外側から撮像したX線画像である。このため、X線画像は、検査対象の貨物2だけでなくコンテナ3の影響も受けている。そこで、前処理部32は、X線撮像装置10から取得したX線画像に対して、コンテナ3の影響を排除するための画像処理を行ってもよい。これにより、X線画像に写っている貨物2の書類および個数を、より正確に特定可能となる。
【0065】
(3)画像解析部34
画像解析部34は、前処理された検査対象のX線画像を解析することにより、当該検査対象のX線画像の輝度値の分布を得る。ここで、輝度値の分布は、当該検査対象のX線画像に含まれる複数の画素の輝度値(画素値)の分布である。具体的には、
図3Bに示すように、画像解析部34は、検査対象のX線画像の輝度値の分布を表すヒストグラム(輝度値ヒストグラム)を生成する。ヒストグラムは、X線画像中の複数の画素の輝度値の分布をグラフ化したものである。
【0066】
例えば、上記のとおりX線画像が256階調のグレースケール画像である場合、X線画像の各画素の輝度値(画素値)は8ビットの値を有する。したがって、かかるX線画像から作成されるヒストグラムの横軸は、輝度値(0~255)を表し、縦軸は各輝度値を有する画素の個数(度数)を表す。X線画像のヒストグラムを生成することにより、X線画像中の複数の画素の輝度値の分布の状態を把握できる。輝度値の分布は、X線画像において貨物2を表す画像領域の濃淡に対応している。
【0067】
(4)特徴量抽出部36
特徴量抽出部36は、画像解析部34により得られた輝度値の分布に基づいて、検査対象の特徴量を抽出する。ここで、検査対象の特徴量は、上記検査対象の貨物2のX線画像の輝度値の分布に関する特徴量である。特徴量抽出部36は、例えば、検査対象の貨物2のX線画像の輝度値の分布を表すヒストグラムに基づいて、検査対象の特徴量を抽出する。
【0068】
具体的には、
図3Bおよび
図3Cに示すように、ヒストグラムは、検査対象の複数個の貨物2が積み重ねられた段数に応じて、少なくとも1つのピークを有する。
図3Cの例では、ヒストグラムは、2つのピークP1、P2を有する。これらピークP1、P2は、検査対象の複数個の貨物2が積み重ねられた段数分だけ現れる。
【0069】
例えば、積み重ねられた貨物2を上面側から撮像したX線画像において、貨物2が1段積みされた部分と、2段積みされた部分とがある場合を考える。この場合、
図3Aに示すように、貨物2が1段積みされた部分を表す第1画像領域(
図3AのX線画像中の薄い領域)と、貨物2が2段積みされた部分を表す第2画像領域(
図3AのX線画像中の濃い領域)との間で、グレースケール画像の濃度が異なる。このように、検査対象のX線画像は、貨物2が積み重ねられた段数に応じて濃淡が異なる少なくとも1つの画像領域を含む。
【0070】
これら画像領域の濃度は、ヒストグラムにおけるピークとして現れる。このため、
図3Bおよび
図3Cの例のヒストグラムでは、第1および第2画像領域の濃度の相違により、第1画像領域(薄い領域)に対応する1つのピークP1と、第2画像領域(濃い領域)に対応する別のピークP2が存在する。
【0071】
そこで、特徴量抽出部36は、ヒストグラムのピークP1、P2ごとに、検査対象の特徴量を抽出する。例えば、特徴量抽出部36は、
図3Cに示すように、ヒストグラムのピークP1、P2にそれぞれ対応する正規分布のピークP1’、P2’を導出する。そして、特徴量抽出部36は、正規分布のピークP1’、P2’の平均輝度値L1、L2および所定の偏差σ等に基づいて、当該ヒストグラムのピークP1、P2ごとに、検査対象の特徴量を算出する。これにより、貨物2が1段積みされた第1画像領域(薄い領域)に対応するピークP1に関する特徴量と、貨物2が2段積みされた第2画像領域(濃い領域)に対応するピークP2に関する特徴量とがそれぞれ得られる。
【0072】
以上のように、特徴量抽出部36は、画像解析部34により生成された輝度値ヒストグラムを解析することにより、検査対象の特徴量を抽出する。なお、特徴量抽出部36による特徴量抽出処理の詳細は後述する。
【0073】
(5)計数部38
計数部38は、特徴量抽出部36により抽出された検査対象の特徴量と、貨物DB50に予め登録されている基準特徴量とに基づいて、検査対象の貨物2の個数を算出する。例えば、計数部38は、上記特徴量抽出部36から検査対象の特徴量を受け取ると、当該検査対象の貨物2に対応する基準特徴量を、貨物DB50から読み出す。そして、計数部38は、検査対象の特徴量と基準特徴量を用いて、個数計算用の所定のアルゴリズムの演算処理を行う。これにより、計数部38は、検査対象の複数個の貨物2の特徴量と当該貨物2の基準特徴量とから、検査対象の複数個の貨物2の個数を導出する。なお、計数部386による貨物2の個数の算出処理の詳細は後述する。
【0074】
(6)出力画像生成部40
出力画像生成部40は、計数部38により算出された貨物2の個数等を表した出力画像を生成する。出力画像は、例えば、検査対象の貨物2の個数に関する情報、および、検査対象の貨物2が積み重ねられた段数に関する情報のうち少なくとも1つが、検査対象のX線画像に重畳された画像であることが好ましい。出力画像生成部40は、これら情報をX線画像に重畳した出力画像(
図7参照。)を生成する。出力画像生成部40により生成された出力画像は、画像処理装置20の出力装置26の表示部(ディスプレイ等)に表示される。
【0075】
[5.特徴量の抽出処理]
次いで、
図4および
図5を参照して、本実施形態に係る画像処理装置20による特徴量の抽出処理について詳細に説明する。
図4は、本実施形態に係る画像処理装置20により基準X線画像から基準特徴量を抽出する処理を示す説明図である。
図5は、本実施形態に係る画像処理装置20により検査対象のX線画像から検査対象の特徴量を抽出する処理を示す説明図である。
【0076】
まず、
図4を参照して、本実施形態に係る画像処理装置20の特徴量抽出部36により、基準X線画像から基準特徴量を抽出する処理について説明する。
【0077】
図4Aに示すように、基準X線画像は、1個の貨物2(基準貨物)を撮像したX線画像である。このため、当然ながら、基準X線画像に写っている1個の貨物2の積み重ね段数N
refは「1」である(N
ref=1)。したがって、基準X線画像のグレースケール画像においては、写っている1個の貨物2を表す画像領域A
refの輝度値は、概ね一定の輝度値(例えば150~170程度の輝度値)である。したがって、
図4Bに示すように、基準X線画像から生成されたヒストグラムは、上記画像領域A
refに対応する1つのピークP
refを有する。このピークP
refが表す輝度値は、上記基準X線画像中の画像領域A
ref(1個の貨物2が写っている領域)に含まれる複数の画素の輝度値に対応している。
【0078】
特徴量抽出部36は、当該1個の貨物2の基準X線画像のヒストグラムから、基準特徴量を抽出する。まず、特徴量抽出部36は、
図4Cに示すように、基準X線画像のヒストグラムの1つのピークP
refを、1つの正規分布でクラスタリング(近似)する。
図4Cに示す破線のピークP
ref’が、近似された正規分布のピークである。クラスタリングの方法としては、例えば、ミーンシフトまたは混合ガウスモデルに基づく方法など、公知のクラスタリング方法を使用することができる。
【0079】
次いで、特徴量抽出部36は、ピークPref’の正規分布の平均輝度値Lrefを求める。ここで、平均輝度値Lrefは、例えば、正規分布のピークPref’の頂点の輝度値である。さらに、特徴量抽出部36は、ピークPref’の正規分布の所定の偏差σ(例えば標準偏差)を設定する。
【0080】
次いで、特徴量抽出部36は、当該平均輝度値L
ref±所定の偏差σの範囲内のヒストグラムの面積S
ref(画素数)を求める。ここで、面積S
refは、平均輝度値L
ref±所定の偏差σの範囲内の輝度値を有する画素数である。面積S
refは、
図4Aに示す基準X線画像中で1個の貨物2が写っている画像領域A
refの面積(画素数)に相当する。そして、特徴量抽出部36は、上記のように算出した平均輝度値L
refと面積S
refを、1個の貨物2(基準貨物)の基準特徴量として出力する。
【0081】
次に、
図5を参照して、本実施形態に係る画像処理装置20の特徴量抽出部36により、検査対象のX線画像から検査対象の特徴量を抽出する処理について説明する。
【0082】
図5Aに示すように、検査対象のX線画像は、検査対象である複数個の貨物2を撮像したX線画像である。複数個の貨物2は、コンテナ3内において、複数段で積み重ねられている場合(積み重ね段数Nが2以上である場合)もあれば、積み重ねられずに1段積みで平置きされている場合(積み重ね段数Nが1である場合)もある。したがって、検査対象のX線画像に写っている複数の貨物2の積み重ね段数Nは未知である。なお、
図5Aに示す検査対象のX線画像は、例えば、3個の貨物2が2段積みされている状態(1段目に2個、2段目に1個の貨物2が積み上げられた状態)を示している。
【0083】
したがって、
図5Aに示すX線画像のグレースケール画像においては、貨物2の積み重ね段数Nに応じて、濃度(輝度値)が相互に異なる複数の画像領域(第1画像領域A1、A1と、第2画像領域A2)が存在する。具体的には、1段積みされた貨物2を表す2つの第1画像領域A1、A1と、2段積みされた貨物2を表す1つの第2画像領域A2とが存在する。
【0084】
第1画像領域A1、A1の輝度値は、概ね一定の輝度値(例えば150~170程度の輝度値)である。第2画像領域A2の輝度値は、概ね一定の輝度値(例えば120~140程度の輝度値)である。第2画像領域A2の輝度値は、第1画像領域A1、A1の輝度値よりも小さく、黒に近い輝度値となっている。即ち、第2画像領域A2の画像濃度は、第1画像領域A1、A1の画像濃度よりも大きい。この理由は、貨物2が2段積みされた第2画像領域A2では、貨物2が1段積みされた第1画像領域A1、A1よりも、X線5の透過率が低いからである。
【0085】
したがって、
図5Bに示すように、検査対象のX線画像から生成されたヒストグラムは、上記積み重ね段数Nの違いに応じて、複数のピークP1、P2を有する。換言すると、当該ヒストグラムは、上記濃淡の異なる複数の画像領域A1、A2に応じて、複数のピークP1、P2を有する。具体的には、当該ヒストグラムは、第1画像領域A1、A1に対応する1つのピークP1と、第2画像領域A2に対応する1つのピークP2とを有する。ピークP1が表す輝度値は、上記X線画像中の2つの第1画像領域A1、A1(1段積みされた貨物2が写っている領域)に含まれる複数の画素の輝度値に対応している。同様に、ピークP2が表す輝度値は、上記X線画像中の1つの第2画像領域A2(2段積みされた貨物2が写っている領域)に含まれる複数の画素の輝度値に対応している。
【0086】
特徴量抽出部36は、上記検査対象のX線画像のヒストグラムから、ピークP1、P2ごとに特徴量を抽出する。まず、特徴量抽出部36は、
図5Cに示すように、検査対象のX線画像のヒストグラムの複数のピークP1、P2をそれぞれ、正規分布でクラスタリング(近似および分類)する。
図5Cに示す破線のピークP1’が、ヒストグラムの右側のピークP1を近似した正規分布のピークである。同様に、破線のピークP2’が、ヒストグラムの左側のピークP2を近似した正規分布のピークである。クラスタリングの方法としては、例えば、ミーンシフトまたは混合ガウスモデルに基づく方法など、公知のクラスタリング方法を使用することができる。
【0087】
次いで、特徴量抽出部36は、上記ヒストグラムのピークP1、P2ごとに、検査対象の特徴量を抽出する。具体的には、まず、特徴量抽出部36は、ピークP1に対応するピークP1’の正規分布の平均輝度値L1と、ピークP2に対応するピークP2’の正規分布の平均輝度値L2とを求める。ここで、平均輝度値L1、L2はそれぞれ、例えば、正規分布のピークP1’、P2’の頂点の輝度値である。さらに、特徴量抽出部36は、ピークP1’、P2’の正規分布の所定の偏差σ1、σ2(例えば標準偏差)をそれぞれ設定する。
【0088】
次いで、特徴量抽出部36は、平均輝度値L1±所定の偏差σ1の範囲内のヒストグラムの面積S1(画素数)と、平均輝度値L2±所定の偏差σ2の範囲内のヒストグラムの面積S2(画素数)を求める。ここで、面積S1、S2はそれぞれ、平均輝度値L1、L2±所定の偏差σ1、σ2の範囲内の輝度値を有する画素数である。面積S1は、
図5Aに示すX線画像中で1段積みされた貨物2が写っている2つの第1画像領域A1、A1の合計面積(画素数)に相当する。同様に、面積S2は、
図5Aに示すX線画像中で2段積みされた貨物2が写っている1つの第2画像領域A2の面積(画素数)に相当する。そして、特徴量抽出部36は、上記のように算出した平均輝度値L1、L2と面積S1、S2を、検査対象の複数個の貨物2の基準特徴量として出力する。
【0089】
以上のように、本実施形態に係る特徴量抽出部36は、別途の教師データを参照することなく、検査対象のX線画像から求めた輝度値の分布に関する情報を用いることにより、検査対象の特徴量を抽出する。具体的には、特徴量抽出部36は、検査対象のX線画像の輝度値ヒストグラムを正規分布で近似することにより、複数のピークをクラスタリングして、各ピークの特徴量を抽出する。このような特徴量の抽出処理は、教師なし学習を用いた処理に相当する。
【0090】
しかし、かかる例に限定されず、例えば、特徴量抽出部36は、教師あり学習で得られたモデルを用いて、検査対象のX線画像から特徴量を抽出することも可能である。例えば、物体検出用のニューラルネットを転用することによって、検査対象のX線画像から特徴量を抽出する場合には、そのニューラルネットを学習させるために事前情報(貨物2の積み重ね状態ごとのX線画像等)が必要である。この場合の特徴量の抽出処理は、教師あり学習を用いた処理に相当する。
【0091】
なお、上記では、複数個の貨物2が2段に積み重ねられている場合、つまり、積み重ね段数Nが2である場合の特徴量の抽出処理の例について説明した。しかし、本開示はかかる例に限定されない。例えば、複数個の貨物2が3段以上で積み重ねられている場合、つまり、積み重ね段数Nが3以上である場合も、上記と同様にして、特徴量の抽出処理を実行可能である。この場合には、検査対象のX線画像中に、積み重ね段数に応じて濃淡の異なる3つ以上の画像領域A1、A2、A3、・・・が存在し、ヒストグラムには3つ以上のピークP1、P2、P3、・・・が存在することになる。よって、当該3つ以上のピークP1、P2、P3、・・・にそれぞれ対応する特徴量が抽出される。
【0092】
[6.貨物の個数の算出処理]
次に、
図4および
図5を参照して、本実施形態に係る画像処理装置20による貨物2の個数Mの算出処理について詳細に説明する。
【0093】
上述したように、本実施形態に係る検査対象の特徴量は、
図5に示すヒストグラムの各ピークP1、P2に対応する各画像領域A1、A2の平均輝度値L1、L2と、当該各画像領域A1、A2の面積S1、S2(画素数)とを含む。また、基準特徴量は、
図4に示すヒストグラムのピークP
refに対応する画像領域A
refの平均輝度値L
refと、当該画像領域A
refの面積S
ref(画素数)とを含む。
【0094】
画像処理装置20の計数部38は、まず、X線画像中の各画像領域Anに積み重ねられた貨物2の段数Nnを算出する処理を行う。その後に、計数部38は、積み重ね段数Nnを用いて、検査対象の貨物2の個数Mを算出する処理を行う。
【0095】
具体的には、まず、計数部38は、検査対象の特徴量である平均輝度値Ln(Ln=L1,L2,・・・,Lm)と、基準特徴量である平均輝度値Lrefとに基づいて、X線画像中の各画像領域An(An=A1,A2,・・・,Am)に積み重ねられた貨物2の段数Nn(Nn=N1,N2,・・・,Nm)を算出する。次いで、計数部38は、当該算出した積み重ね段数Nnと、検査対象の特徴量である面積Sn(Sn=S1,S2,・・・,Sm)と、基準特徴量である面積Srefとに基づいて、検査対象の貨物2の個数Mを算出する。かかる貨物2の個数Mの算出処理について、以下に詳細に説明する。
【0096】
X線画像の特性により、積み重ね段数Nが未知の検査対象のX線画像中の各画像領域Anの平均輝度値Ln(即ち、検査対象の特徴量である平均輝度値L1,L2,・・・,Lm)と、当該各画像領域Anの実際の積み重ね段数Nn(Nn=N1,N2,・・・,Nm)との間には、次の式(1)および(2)の関係がある。この関係式(1)、(2)より、各画像領域Anの積み重ね段数Nnを逆算することができる。
【0097】
Ln=g×exp(-μ×Nn) ・・・(1)
μ=-log(Lref/g) ・・・(2)
Ln:検査対象のX線画像中の各画像領域Anの平均輝度値(=検査対象の特徴量の平均輝度値Ln)
g :X線画像のグレースケールの階調数(例えば、g=255)
Nn:検査対象のX線画像の各画像領域Anにおける貨物2の積み重ね段数
μ :(一段あたりの)質量吸収係数
Lref:1段1個の貨物2の平均輝度値(=基準特徴量の平均輝度値Lref)
n :X線画像の各画像領域Anを表す序数(n=1,2,・・・,m)
m :X線画像の画像領域Anの個数(=ヒストグラムのピークPnの個数)
ただし、mは1以上の整数であり、nは1以上、m以下の整数である。
【0098】
なお、本実施形態では、例えば、X線画像のグレースケールの階調数gは、256であり、X線画像の各画素の輝度値は、0(黒)~255(白)である。何も写っていないX線画像中の全ての画素の輝度値は255であるとする。
【0099】
上記式(1)および(2)により、各画像領域Anにおける貨物2の積み重ね段数Nnを算出できる。すると、以下の式(3)により、Nnと、Snと、Srefとから、各画像領域Anにおける貨物2の個数Mn(Mn=M1,M2,・・・,Mm)を算出することができる。そして、式(4)により、Mnの総和を求めることで、X線画像に写っている貨物2の個数(総数)を求めることができる。
【0100】
Mn=Nn×Sn/Sref ・・・(3)
M=M1+M2+・・・+Mm ・・・(4)
M :検査対象のX線画像中の貨物2の個数(総数)
Mn:検査対象のX線画像中の各画像領域Anにおける貨物2の個数(Mn=M1,M2,・・・,Mm)
Sn:検査対象のX線画像中の各画像領域Anの面積(Sn=S1,S2,・・・,Sm)
Sref:1段1個の貨物2の基準特徴量の面積(=基準特徴量の面積Sref)
【0101】
ここで、以上のような計数部38による貨物2の個数Mの算出処理の具体例として、
図5に示した3個の貨物2が2段積みされている場合について説明する。この場合、
図5Aに示す検査対象のX線画像中の画像領域A1、A2の個数mは2である(m=2)。よって、序数n=1,2となる。
【0102】
最初に、計数部38は、積み重ね段数N1が1段である第1画像領域A1の貨物2の個数M1を算出する。具体的には、まず、計数部38は、式(1)および(2)により、第1画像領域A1の平均輝度値L1と、基準特徴量の平均輝度値Lrefから、第1画像領域A1の積み重ね段数N1が「1」であることを算出する(N1=1)。次いで、計数部38は、式(3)により、算出したN1(=1)と、第1画像領域A1の面積S1と、基準特徴量の面積Srefとの比(=1)から、第1画像領域A1の貨物2の個数M1が「1」であることを算出する(M1=N1×S1/Sref=1×1=1)
【0103】
次に、計数部38は、積み重ね段数N2が2段である第2画像領域A2の貨物2の個数M2を算出する。具体的には、まず計数部38は、式(1)および(2)により、第2画像領域A2の平均輝度値L2と、基準特徴量の平均輝度値Lrefから、第2画像領域A2の積み重ね段数N2が「2」であることを算出する(N2=2)。次いで、計数部38は、式(3)により、算出したN2(=2)と、第2画像領域A2の面積S2と、基準特徴量の面積Srefとの比(=1)から、第2画像領域A2の貨物2の個数M2が「2」であることを算出する(M2=N2×S2/Sref=2×1=1)
【0104】
その後、計数部38は、式(4)により、上記で算出したM1とM2を加算して、貨物2の個数Mが「3」であることを算出する(M=M1+M2=1+2=3)
【0105】
以上のように、画像処理装置20の計数部38は、検査対象の特徴量である各画像領域Anの平均輝度値Lnおよび面積Snと、基準特徴量である平均輝度値Lrefおよび面積Srefとから、X線画像に写っている貨物2の個数Mを算出することができる。これにより、画像処理装置20に検査対象のX線画像を読み込ませるだけで、検査対象の貨物2の個数Mを自動的かつ正確に算出することができる。
【0106】
[7.X線検査方法]
次に、
図6を参照して、本実施形態に係るX線検査装置1を用いたX線検査方法について詳細に説明する。
図6は、本実施形態に係るX線検査方法を示すフローチャートである。
【0107】
図6に示すように、検査対象の貨物2の検査(S40~S90)に先立ち、S10~S30では、基準貨物の種類ごとに基準特徴量を求めて、貨物DB50に予め登録しておく処理が実行される。
【0108】
まず、X線検査装置1のX線撮像装置10は、基準となる1個の貨物2(基準貨物)をX線5を用いて撮像して、基準X線画像(
図4A参照。)を生成する(S10)。この際、1個の貨物2(基準貨物)は、コンテナ3に収容されていない状態で撮像されることが好ましい。これにより、基準貨物の輝度値の分布の特徴量を正確に反映した基準X線画像を生成できる。X線撮像装置10は、撮像した基準X線画像を画像処理装置20に出力する。
【0109】
次いで、画像処理装置20は、S10で撮像された基準X線画像を解析して、基準貨物の基準特徴量を抽出する(S20)。具体的には、まず、前処理部32により、基準X線画像を前処理する。次いで、画像解析部34により、基準X線画像を解析することにより、基準X線画像の輝度値の分布を表すヒストグラムを生成する(
図4B参照。)。さらに、特徴量抽出部36により、基準X線画像のヒストグラムのピークP
refの平均輝度値L
refと面積S
refを、基準特徴量として抽出する(
図4C参照。)。かかる基準特徴量の抽出処理は、後述する検査対象の特徴量の抽出処理(S50~S70)と同様であるので、詳細説明を省略する。
【0110】
その後、画像処理装置20のDB作成部30は、S20で抽出された基準特徴量と、基準X線画像のファイルと、基準貨物の識別情報と、基準貨物のサイズを表す情報などを関連付けて、貨物DB50に登録する(S30)。
【0111】
以上のS10~S30において、各種の貨物2(基準貨物)の基準X線画像を予め撮像して基準特徴量を抽出し、当該貨物2の基準X線画像、基準特徴量および識別情報などを貨物DB50に予め登録しておく。これにより、以降の検査対象の貨物2の検査(S40~S90)において、貨物DB50に予め登録された基準特徴量および識別情報等に基づいて、検査対象の貨物2の種類および個数Mなどを特定可能になる。
【0112】
続いて、S40~S90では、検査対象の貨物2を検査する処理が実行される。
【0113】
まず、X線撮像装置10は、検査対象である複数個の貨物2を、X線5を用いて撮像して、当該検査対象の貨物2が写っているX線画像を生成する(S40)。この際、検査対象の貨物2は、コンテナ3に収容されたままの状態で撮像されてもよい。これにより、コンテナ3を開けて貨物2を取り出すことなく、貨物2を検査することができる。X線撮像装置10は、撮像した検査対象の貨物2のX線画像を画像処理装置20に出力する。
【0114】
次いで、画像処理装置20の前処理部32は、S40で撮像された基準X線画像に対して前処理を施す(S50)。この前処理は、例えば、X線画像から貨物2が写っている部分を切り出す処理、画像サイズの調整処理、輝度値の調整処理、コンテナ3の影響を排除する画像処理などを含む。
【0115】
さらに、画像処理装置20の画像解析部34は、S50で前処理された検査対象のX線画像を解析することにより、当該X線画像の輝度値の分布を表すヒストグラム(
図3B、
図5B参照。)を生成する(S60)。
【0116】
その後、画像処理装置20の特徴量抽出部36は、S60で生成されたヒストグラムに基づいて、検査対象の特徴量を抽出する(S70)。具体的には、特徴量抽出部36は、検査対象のX線画像のヒストグラムを正規分布でクラスタリングして、ヒストグラムの各ピークP1、P2を求める(
図3C、
図5C参照。)。各ピークP1、P2は、X線画像中の画像領域A1、A2に対応している。そして、特徴量抽出部36は、当該ピークP1、P2の平均輝度値L1、L2と面積S1、S2を、検査対象の特徴量として抽出する。かかる検査対象の特徴量の抽出処理の詳細は、上述したとおりであるので、詳細説明は省略する。
【0117】
次いで、画像処理装置20の計数部38は、S70で抽出された検査対象の特徴量と、S30で貨物DB50に予め登録されている基準特徴量とに基づいて、検査対象の貨物2の個数Mを算出する(S80)。具体的には、計数部38は、検査対象の特徴量である平均輝度値L1、L2と面積S1、S2と、基準特徴量である平均輝度値Lrefと面積Srefを用いて、所定のアルゴリズムの演算を実行し、検査対象の貨物2の個数Mを算出する。かかる検査対象の貨物2の個数Mの算出処理の詳細は、上述したとおりであるので、詳細説明は省略する。
【0118】
その後、画像処理装置20の出力画像生成部40は、S80で算出された貨物2の個数等を表した出力画像を生成し、表示部に表示する(S90)。出力画像は、例えば、検査対象の貨物2の個数M、および、貨物2の積み重ね段数NがX線画像に重畳された画像である。
【0119】
図7は、本実施形態に係る出力画像の具体例を示す説明図である。
図7に示すように、出力画像では、検査対象のX線画像のうち、貨物2の積み重ね段数Nnが同一の画像領域Anが、同一色の枠Fnで囲まれている。例えば、積み重ね段数N1が1段である2つの第1画像領域A1、A1は赤色の枠F1、F1で囲まれており、積み重ね段数N2が2段である1つの第2画像領域A2は青色の枠F2で囲まれている。さらに、各画像領域A1、A2には、それぞれの貨物2の個数M1、M2と積み重ね段数N1、N2がテキスト情報で重畳表示されている。
【0120】
これにより、画像処理装置20のユーザ(例えば、税関の検査官)は、表示された出力画像を見ることで、検査対象のX線画像とともに、X線画像に写っている複数の貨物2の個数Mおよび積み重ね段数Nなどを、視覚的に容易に把握することができる。よって、ユーザは、従来のようにX線画像を観察して目視で貨物2の個数Mをカウントする必要がないので、ユーザの負担を軽減することができる。
【0121】
[8.まとめ]
以上、本実施形態に係るX線検査装置1について詳細に説明した。本実施形態によれば、検査対象である複数個の貨物2を撮像したX線画像の輝度値の分布を生成し、当該輝度値の分布から検査対象の特徴量を抽出する。そして、検査対象の特徴量と、事前に貨物DB50(記憶部)に登録済みの基準特徴量に基づいて、検査対象の貨物2の個数Mを算出する。
【0122】
これにより、検査対象の貨物2の個数Mを、自動的かつ正確に特定することが可能になる。したがって、従来のように、税関の検査官などのユーザが、X線画像を観察して貨物2の個数を目視で数える必要がない。よって、貨物2を収容するコンテナ3のサイズが大きくなり、目視で数える貨物2の個数が増加したとしても、ユーザの負担を大幅に軽減できる。
【0123】
また、本実施形態によれば、検査対象が複数個の貨物2が1段もしくは複数段に積み重ねられたものである場合、検査対象のX線画像の輝度値の分布を表すヒストグラムのピークP1、P2ごとに、検査対象の特徴量を抽出することが好ましい。これにより、貨物2の積み重ね段数Nnごとに、貨物2の個数Mnを正確に特定することができる。
【0124】
さらに、本実施形態によれば、上記検査対象の特徴量は、上記ヒストグラムの各ピークP1、P2に対応する画像領域A1、A2の平均輝度値L1、L2と、当該画像領域の面積S1、S2とを含むことが好ましい。そして、検査対象の特徴量である平均輝度値L1、L2と、基準特徴量である平均輝度値Lrefとに基づいて、積み重ねられた貨物2の段数N1、N2を算出することが好ましい。さらに、当該算出した段数と、検査対象の特徴量である面積S1、S2と、基準特徴量である面積Srefとに基づいて、段数N1、N2ごとに貨物2の個数M1、M2を算出することが好ましい。これにより、複数段に積み重ねられた貨物2の個数M(総数)を、より正確に特定することができる。
【0125】
また、本実施形態によれば、算出された貨物の個数Mに関する情報、および、貨物2が積み重ねられた段数Nに関する情報のうち少なくとも1つを、検査対象のX線画像に重畳した出力画像を生成することが好ましい。これにより、X線検査装置1は、表示された出力画像を見ることで、検査対象の貨物2の個数Mや段数Nを容易に把握することができる。
【0126】
また、本実施形態によれば、貨物2は容器に梱包された同種の資材(例えば、フレキシブルコンテナバッグに梱包された穀物)であることが好ましい。これにより、個々の貨物2のX線画像が同様な画像となる。したがって、検査対象の複数個の貨物2が撮像されたX線画像から貨物2の個数Mを算出する際に、より正確に個数を算出可能となる。
【0127】
以上、添付図面を参照しながら本開示の実施形態について説明したが、本開示はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
【0128】
なお、上述した本実施形態に係る画像処理装置20等の各装置による一連の処理は、ソフトウェア、ハードウェア、または、ソフトウェアとハードウェアとの組合せのうちいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部または外部に設けられる非一時的な記憶媒体(non-transitory media)に予め格納されてもよい。そして、プログラムは、例えば、非一時的な記憶媒体(例えば、ROM)から一時的な記憶媒体(例えば、RAM)に読み出され、CPUなどのプロセッサにより実行されてもよい。
【0129】
上記各装置の各機能を実現するためのプログラムを作成し、上記各装置のコンピュータにインストールすることが可能である。プロセッサが、メモリに記憶されているプログラムを実行することにより、上記各機能の処理が実行される。このとき、複数のプロセッサによりプログラムを分担して実行してもよいし、1つのプロセッサでプログラムを実行してもよい。また、通信ネットワークにより相互に接続された複数のコンピュータを用いるクラウドコンピューティングにより、上記各装置の各機能を実現してもよい。
【0130】
なお、プログラムは、外部装置から通信ネットワークを通じた配信により、各装置のコンピュータに提供されて、インストールされてもよい。あるいは、プログラムは、コンピュータにより読み取り可能な非一時的な記録媒体(non-transitory computer readable medium)に格納され、当該記録媒体を介して各装置のコンピュータに提供されて、インストールされてもよい。
【0131】
また、本実施形態によれば、上記各装置の各機能の処理を実行するためのプログラムを提供することができる。さらに、当該プログラムが格納された、コンピュータにより読み取り可能な非一時的な記録媒体を提供することもできる。非一時的な記録媒体は、例えば、光ディスク、磁気ディスク、光磁気ディスク等のディスク型記録媒体であってもよいし、または、フラッシュメモリ、USBメモリ等の半導体メモリであってもよい。
【符号の説明】
【0132】
1 X線検査装置
2 貨物
3 コンテナ
5 X線
10 X線撮像装置(撮像部)
20 画像処理装置
30 データベース作成部
32 前処理部
34 画像解析部
36 特徴量抽出部
38 計数部
40 出力画像生成部
50 貨物データベース(記憶部)
P1、P2、Pn ヒストグラムのピーク
P1’、P2’、Pn’ 正規分布のピーク
A1、A2、An 画像領域