知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ＩＨＩの特許一覧 ▶ 株式会社ＩＨＩ検査計測の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112226
(43)【公開日】2024-08-20
(54)【発明の名称】Ｘ線検査システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240813BHJP
G01N 23/04 20180101ALI20240813BHJP
G01N 23/10 20180101ALI20240813BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 610
G01N23/04
G01N23/10
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023017151
(22)【出願日】2023-02-07
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社ＩＨＩ
(71)【出願人】
【識別番号】000198318
【氏名又は名称】株式会社ＩＨＩ検査計測
(74)【代理人】
【識別番号】110000936
【氏名又は名称】弁理士法人青海国際特許事務所
(72)【発明者】
【氏名】片山 啓
(72)【発明者】
【氏名】坂本 陸
(72)【発明者】
【氏名】中島 忠弘
(72)【発明者】
【氏名】坂野 肇
(72)【発明者】
【氏名】大貫 宏和
【テーマコード（参考）】
2G001
5L096
【Ｆターム（参考）】
2G001AA01
2G001BA11
2G001CA01
2G001DA09
2G001FA06
2G001FA29
2G001HA13
2G001LA10
5L096AA06
5L096BA03
5L096CA16
5L096DA01
5L096EA03
5L096EA14
5L096EA16
5L096GA19
5L096GA34
5L096GA51
5L096HA11
5L096JA11
5L096KA04
5L096MA07
(57)【要約】
【課題】貨物の種類を正確に推定する。
【解決手段】Ｘ線検査システム１００は、検査対象である貨物をＸ線を用いて撮像し、検査対象のＸ線画像を出力する撮像部４００と、税関申告情報に含まれる貨物の大きさに基づいて、Ｘ線画像のサイズを変更する第１の画像サイズ変更部５８２と、サイズが変更されたＸ線画像を、所定の画像サイズを有する複数の部分Ｘ線画像に分割する第１の画像分割部５８４と、貨物に関する学習用Ｘ線画像に基づいて構築された学習モデルを用いて、複数の部分Ｘ線画像のうち少なくとも１つに写っている貨物の種類を推定する推定部５８６と、を備える。
【選択図】図３
【解決手段】Ｘ線検査システム１００は、検査対象である貨物をＸ線を用いて撮像し、検査対象のＸ線画像を出力する撮像部４００と、税関申告情報に含まれる貨物の大きさに基づいて、Ｘ線画像のサイズを変更する第１の画像サイズ変更部５８２と、サイズが変更されたＸ線画像を、所定の画像サイズを有する複数の部分Ｘ線画像に分割する第１の画像分割部５８４と、貨物に関する学習用Ｘ線画像に基づいて構築された学習モデルを用いて、複数の部分Ｘ線画像のうち少なくとも１つに写っている貨物の種類を推定する推定部５８６と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
検査対象である貨物をＸ線を用いて撮像し、前記検査対象のＸ線画像を出力する撮像部と、
税関申告情報に含まれる前記貨物の大きさに基づいて、前記Ｘ線画像のサイズを変更する第１の画像サイズ変更部と、
前記サイズが変更された前記Ｘ線画像を、所定の画像サイズを有する複数の部分Ｘ線画像に分割する第１の画像分割部と、
前記貨物に関する学習用Ｘ線画像に基づいて構築された学習モデルを用いて、前記複数の部分Ｘ線画像のうち少なくとも１つに写っている前記貨物の種類を推定する推定部と、
を備える、Ｘ線検査システム。
税関申告情報に含まれる前記貨物の大きさに基づいて、前記Ｘ線画像のサイズを変更する第１の画像サイズ変更部と、
前記サイズが変更された前記Ｘ線画像を、所定の画像サイズを有する複数の部分Ｘ線画像に分割する第１の画像分割部と、
前記貨物に関する学習用Ｘ線画像に基づいて構築された学習モデルを用いて、前記複数の部分Ｘ線画像のうち少なくとも１つに写っている前記貨物の種類を推定する推定部と、
を備える、Ｘ線検査システム。
【請求項2】
前記所定の画像サイズは、前記学習モデルを構築するために用いられる学習画像のサイズである、
請求項１に記載のＸ線検査システム。
請求項１に記載のＸ線検査システム。
【請求項3】
１種または複数種類の前記貨物の種類および大きさに関する情報を含む税関申告情報が蓄積される税関データベースと、
学習対象である貨物をＸ線を用いて撮像して得られた学習用Ｘ線画像が蓄積されるＸ線画像データベースと、
前記税関申告情報に含まれる前記貨物の大きさに基づいて、前記学習用Ｘ線画像のサイズを変更する第２の画像サイズ変更部と、
前記サイズが変更された前記学習用Ｘ線画像を、前記所定の画像サイズを有する複数の部分学習用Ｘ線画像に分割する第２の画像分割部と、
前記部分学習用Ｘ線画像に基づいて、前記学習対象の貨物の学習モデルを構築する学習部と、
を備える、
請求項１に記載のＸ線検査システム。
学習対象である貨物をＸ線を用いて撮像して得られた学習用Ｘ線画像が蓄積されるＸ線画像データベースと、
前記税関申告情報に含まれる前記貨物の大きさに基づいて、前記学習用Ｘ線画像のサイズを変更する第２の画像サイズ変更部と、
前記サイズが変更された前記学習用Ｘ線画像を、前記所定の画像サイズを有する複数の部分学習用Ｘ線画像に分割する第２の画像分割部と、
前記部分学習用Ｘ線画像に基づいて、前記学習対象の貨物の学習モデルを構築する学習部と、
を備える、
請求項１に記載のＸ線検査システム。
【請求項4】
前記税関申告情報と、ユーザ入力とに基づいて、前記学習用Ｘ線画像に写っている前記学習対象の各貨物の種類を、前記学習用Ｘ線画像に関連付ける関連付け部、をさらに備え、
前記学習部は、
前記部分学習用Ｘ線画像を前記学習モデルに入力し、当該学習モデルから出力された前記学習対象の前記貨物の種類が、前記部分学習用Ｘ線画像に関連付けられた前記貨物の種類と一致するように、前記学習モデルのパラメータを変更する、
請求項３に記載のＸ線検査システム。
前記学習部は、
前記部分学習用Ｘ線画像を前記学習モデルに入力し、当該学習モデルから出力された前記学習対象の前記貨物の種類が、前記部分学習用Ｘ線画像に関連付けられた前記貨物の種類と一致するように、前記学習モデルのパラメータを変更する、
請求項３に記載のＸ線検査システム。
【請求項5】
前記税関申告情報に含まれる前記貨物の大きさが所定の第１基準値より大きい場合、前記画像サイズ変更部は、前記Ｘ線画像のサイズを縮小する、
請求項１に記載のＸ線検査システム。
請求項１に記載のＸ線検査システム。
【請求項6】
前記税関申告情報に含まれる前記貨物の大きさが所定の第２基準値未満である場合、前記画像サイズ変更部は、前記Ｘ線画像の周囲に余白領域を追加することで前記Ｘ線画像のサイズを拡大する、
請求項１に記載のＸ線検査システム。
請求項１に記載のＸ線検査システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、Ｘ線検査システムに関する。
【背景技術】
【0002】
税関などで、輸出入検査を受けるコンテナ内の貨物を検査するために、Ｘ線検査装置を用いてコンテナ越しに貨物のＸ線画像を撮像するＸ線検査装置が用いられている。このＸ線検査装置では、撮像されたＸ線画像を事前に学習した学習モデルに入力させ、コンテナ内の貨物の種類を出力として得ることができる。
【0003】
例えば、特許文献１には、Ｘ線検査装置を用いてコンテナ越しに貨物のＸ線画像を撮像し、撮像されたＸ線画像を分類器に入力し、コンテナ内に収容された貨物の種類を出力として得る技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６３３８６７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、貨物を収容するコンテナは、貨物に比べて非常に大きいものであるため、コンテナを撮像したＸ線画像は、必然的に貨物単体を撮像したＸ線画像よりも非常に大きいものとなる。このようなコンテナを撮像したＸ線画像を用いて学習モデルを学習させる場合、Ｘ線画像が非常に大きいことから、学習精度を高めることが困難である。そのため、Ｘ線画像を例えば特許文献１に記載のように分割し、より小さいＸ線画像を学習モデルに入力させることで、学習モデルの学習精度を高めるという対応がなされている。
【0006】
しかしながら、Ｘ線画像を小さく分割するほど、小さい貨物の検出精度を上げることができる一方、大きい貨物の検出精度が低くなる。反対に、Ｘ線画像を大きく分割するほど、大きい貨物の検出精度を上げることができる一方、小さい貨物の検出精度が低くなる。このように、さまざまな大きさの貨物が収容されるコンテナにおいて、コンテナを撮像したＸ線画像からコンテナ内の貨物の種類を正確に推定することは困難であった。
【0007】
そこで、本開示の目的は、貨物の種類を正確に推定することが可能なＸ線検査システムを提供することである。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本開示のＸ線検査システムは、
検査対象である貨物をＸ線を用いて撮像し、前記検査対象のＸ線画像を出力する撮像部と、
税関申告情報に含まれる前記貨物の大きさに基づいて、前記Ｘ線画像のサイズを変更する第１の画像サイズ変更部と、
前記サイズが変更された前記Ｘ線画像を、所定の画像サイズを有する複数の部分Ｘ線画像に分割する第１の画像分割部と、
前記貨物に関する学習用Ｘ線画像に基づいて構築された学習モデルを用いて、前記複数の部分Ｘ線画像のうち少なくとも１つに写っている前記貨物の種類を推定する推定部と、
を備える。
検査対象である貨物をＸ線を用いて撮像し、前記検査対象のＸ線画像を出力する撮像部と、
税関申告情報に含まれる前記貨物の大きさに基づいて、前記Ｘ線画像のサイズを変更する第１の画像サイズ変更部と、
前記サイズが変更された前記Ｘ線画像を、所定の画像サイズを有する複数の部分Ｘ線画像に分割する第１の画像分割部と、
前記貨物に関する学習用Ｘ線画像に基づいて構築された学習モデルを用いて、前記複数の部分Ｘ線画像のうち少なくとも１つに写っている前記貨物の種類を推定する推定部と、
を備える。
【0009】
前記所定の画像サイズは、前記学習モデルを生成するために用いられる学習画像のサイズであってもよい。
【0010】
１種または複数種類の前記貨物の種類および大きさに関する情報を含む税関申告情報が蓄積される税関データベースと、
学習対象である貨物をＸ線を用いて撮像して得られた学習用Ｘ線画像が蓄積されるＸ線画像データベースと、
前記税関申告情報に含まれる前記貨物の大きさに基づいて、前記学習用Ｘ線画像のサイズを変更する第２の画像サイズ変更部と、
前記サイズが変更された前記学習用Ｘ線画像を、前記所定の画像サイズを有する複数の部分学習用Ｘ線画像に分割する第２の画像分割部と、
前記部分学習用Ｘ線画像に基づいて、前記学習対象の貨物の学習モデルを構築する学習部と、
を備えてもよい。
学習対象である貨物をＸ線を用いて撮像して得られた学習用Ｘ線画像が蓄積されるＸ線画像データベースと、
前記税関申告情報に含まれる前記貨物の大きさに基づいて、前記学習用Ｘ線画像のサイズを変更する第２の画像サイズ変更部と、
前記サイズが変更された前記学習用Ｘ線画像を、前記所定の画像サイズを有する複数の部分学習用Ｘ線画像に分割する第２の画像分割部と、
前記部分学習用Ｘ線画像に基づいて、前記学習対象の貨物の学習モデルを構築する学習部と、
を備えてもよい。
【0011】
前記税関申告情報と、ユーザ入力とに基づいて、前記学習用Ｘ線画像に写っている前記学習対象の各貨物の種類を、前記学習用Ｘ線画像に関連付ける関連付け部、をさらに備え、
前記学習部は、
前記部分学習用Ｘ線画像を前記学習モデルに入力し、当該学習モデルから出力された前記学習対象の前記貨物の種類が、前記部分学習用Ｘ線画像に関連付けられた前記貨物の種類と一致するように、前記学習モデルのパラメータを変更してもよい。
前記学習部は、
前記部分学習用Ｘ線画像を前記学習モデルに入力し、当該学習モデルから出力された前記学習対象の前記貨物の種類が、前記部分学習用Ｘ線画像に関連付けられた前記貨物の種類と一致するように、前記学習モデルのパラメータを変更してもよい。
【0012】
前記税関申告情報に含まれる前記貨物の大きさが所定の第１基準値より大きい場合、前記画像サイズ変更部は、前記Ｘ線画像のサイズを縮小してもよい。
【0013】
前記税関申告情報に含まれる前記貨物の大きさが所定の第２基準値未満である場合、前記画像サイズ変更部は、前記Ｘ線画像の周囲に余白領域を追加することで前記Ｘ線画像のサイズを拡大してもよい。
【発明の効果】
【0014】
本開示によれば、貨物の種類を正確に推定することができる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下に添付図面を参照しながら、本開示の実施形態について説明する。実施形態に示す寸法、材料、その他具体的な数値等は、理解を容易とするための例示にすぎず、特に断る場合を除き、本開示を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本開示に直接関係のない要素は図示を省略する。
【0017】
［１．Ｘ線検査システムの全体構成］
まず、図１を参照して、本開示の第１の実施形態に係るＸ線検査システム１００の全体構成について説明する。図１は、本実施形態に係るＸ線検査システム１００を示す模式図である。
まず、図１を参照して、本開示の第１の実施形態に係るＸ線検査システム１００の全体構成について説明する。図１は、本実施形態に係るＸ線検査システム１００を示す模式図である。
【0018】
図１に示すように、本実施形態に係るＸ線検査システム１００は、検査対象のＸ線画像を撮像し、当該Ｘ線画像に基づいて検査対象の内容を検査するためのシステムである。Ｘ線検査システム１００は、例えば、税関等に設置され、輸出入検査を受ける貨物を検査するための大型のＸ線検査システムであってもよい。ただし、Ｘ線検査システム１００は、かかる例に限定されず、Ｘ線画像を用いて検査対象を検査するためのシステムであれば、他の各種の検査システムにも適用可能である。
【0019】
Ｘ線検査システム１００は、税関データベース２００と、Ｘ線画像データベース３００、Ｘ線撮像装置４００と、画像処理装置５００とを備える。税関データベース２００、Ｘ線画像データベース３００、および、画像処理装置５００は、有線もしくは無線のネットワークまたは配線などを介して、相互に通信可能に接続されている。また、Ｘ線撮像装置４００、および、画像処理装置５００は、有線もしくは無線のネットワークまたは配線などを介して、相互に通信可能に接続されている。
【0020】
税関データベース２００は、検査対象であるコンテナ４１０に収容された貨物４１２に関する貨物情報を含む税関申告情報を蓄積する。税関申告情報は、税関申告書を基に作成される。税関申告情報には、検査対象としての１種または複数種類の貨物４１２の種類および大きさに関する貨物情報が含まれる。具体的に、税関申告情報には、貨物４１２の画像情報、名称、個数、大きさに関する貨物情報が含まれる。
【0021】
Ｘ線画像データベース３００は、検査対象であるコンテナ４１０内の貨物４１２の種類を推定する際に使用する学習モデルを構築するための学習用Ｘ線画像を蓄積する。学習用Ｘ線画像は、コンテナ４１０に収容された貨物４１２を学習対象として設定し、学習対象として設定された貨物４１２をＸ線撮像装置４００により撮像することで得ることができる。具体的に、学習用Ｘ線画像は、コンテナ４１０内に学習対象としての貨物４１２を収容し、Ｘ線撮像装置４００を用いてコンテナ４１０内の貨物４１２をＸ線４２０を用いて撮像することで得ることができる。なお、学習用Ｘ線画像は、税関申告情報における貨物４１２の画像情報として、税関申告情報に関連付けられて税関データベース２００に保存されてもよい。また、本実施形態のＸ線画像データベース３００は、Ｘ線撮像装置４００により撮像された学習用Ｘ線画像を蓄積するが、これに限定されず、Ｘ線検査システム１００の外部から取得された学習用Ｘ線画像を蓄積してもよい。例えば、Ｘ線画像データベース３００は、Ｘ線検査システム１００の外部に設けられた他のＸ線撮像装置により撮像された学習用Ｘ線画像を取得して蓄積してもよい。
【0022】
Ｘ線撮像装置４００は、本開示の撮像部の一例である。Ｘ線撮像装置４００は、Ｘ線４２０を用いて検査対象を撮像する。Ｘ線撮像装置４００は、検査対象であるコンテナ４１０に収容された貨物４１２を、Ｘ線４２０を用いて撮像して、当該検査対象の貨物４１２が写っているＸ線画像を生成する。Ｘ線画像は、例えば、白黒の濃淡で撮像対象物（例えば貨物４１２）を表現するグレースケール画像であってよい。Ｘ線撮像装置４００は、撮像処理により得られた検査対象のＸ線画像を画像処理装置５００に出力する。また、Ｘ線撮像装置４００は、学習対象である貨物４１２の学習用Ｘ線画像を画像処理装置５００に出力する。
【0023】
画像処理装置５００は、Ｘ線画像に対する各種の画像処理と、各種の演算処理を実行する情報処理装置である。詳しくは後述するように、画像処理装置５００は、税関データベース２００に蓄積される税関申告情報とＸ線画像データベース３００に蓄積される学習用Ｘ線画像に基づいて、Ｘ線画像に写っている検査対象の貨物４１２の種類を推定するための学習モデルを構築することができる。また、画像処理装置５００は、構築した学習モデルに基づいて、Ｘ線画像から検査対象である貨物４１２の種類を推定することができる。
【0024】
以上のような税関データベース２００、Ｘ線画像データベース３００、Ｘ線撮像装置４００と画像処理装置５００を備えたＸ線検査システム１００により、コンテナ４１０に収容されている検査対象の貨物４１２の貨物の種類を正確に推定することができる。したがって、ユーザ（例えば、税関等の検査官）は、Ｘ線検査システム１００を利用して、検査対象のコンテナ４１０内の貨物４１２の正確な種類を、容易に把握できる。よって、ユーザは、Ｘ線画像の目視で観察して貨物４１２を特定する必要がないので、ユーザの検査作業の負担を大幅に軽減できる。
【0025】
［２．貨物について］
次に、図１を参照して、本実施形態に係るＸ線検査システム１００による検査対象である貨物４１２について説明する。
次に、図１を参照して、本実施形態に係るＸ線検査システム１００による検査対象である貨物４１２について説明する。
【0026】
図１に示すように、貨物４１２は、Ｘ線検査システム１００による検査対象である。貨物４１２は、さまざまな種類、大きさを有するものであり、少なくとも一の貨物４１２がコンテナ４１０に収容される。なお、貨物４１２は、学習モデルを構築する場合、学習対象として設定される。本実施形態では、貨物４１２は、運送用のコンテナ４１０の内部に収容されている。なお、貨物４１２は、運送対象となる物品であればよく、例えば、貨物４１２は、製品、部品、材料、機械設備または食料品など、各種の物品であってよい。また、本実施形態に係る検査対象の貨物４１２は、コンテナ４１０に収容された状態で保管されているが、かかる例に限定されない。貨物４１２は、コンテナ４１０などの運送用容器に収容されずに、剥き出しで保管されていてもよい。
【0027】
［３．Ｘ線撮像装置について］
次に、図１を参照して、本実施形態に係るＸ線撮像装置４００の構成について説明する。
次に、図１を参照して、本実施形態に係るＸ線撮像装置４００の構成について説明する。
【0028】
図１に示すように、Ｘ線撮像装置４００（「撮像部」に相当する。）は、コンテナ４１０内に収容された貨物４１２を撮像して、貨物４１２のＸ線画像あるいは学習用Ｘ線画像を生成するための装置である。Ｘ線撮像装置４００は、Ｘ線照射部４３０と、Ｘ線検出部４４０と、Ｘ線画像生成部４５０と、コントローラ４６０と、コンテナ４１０を搬送する不図示の搬送装置とを備える。
【0029】
Ｘ線照射部４３０とＸ線検出部４４０は、所定の間隔を空けて対向配置される。図１の例では、Ｘ線照射部４３０とＸ線検出部４４０は、上下方向に対向配置されている。Ｘ線照射部４３０は、Ｘ線４２０を発生させるＸ線源と、Ｘ線４２０の照射装置を備える。Ｘ線照射部４３０は、Ｘ線検出部４４０に向けて所定方向（例えば図１のＺ方向）にＸ線４２０を照射する。当該Ｘ線４２０は、撮像対象物を通過して、Ｘ線検出部４４０に向かう。Ｘ線検出部４４０は、例えば、Ｘ線検出用のラインセンサなどで構成される。Ｘ線検出部４４０は、Ｘ線照射部４３０から照射されて撮像対象物を通過したＸ線４２０を検出する。Ｘ線検出部４４０は、検出したＸ線４２０を表す撮像信号を出力する。
【0030】
Ｘ線画像生成部４５０は、Ｘ線検出部４４０により検出されたＸ線４２０の撮像信号に基づいて、撮像対象物のＸ線画像を生成する。Ｘ線画像生成部４５０は、例えば、ＡＤ変換素子と、画像メモリとを備える。ＡＤ変換素子は、Ｘ線検出部４４０から出力された撮像信号をＡＤ変換する。画像メモリは、ＡＤ変換された撮像信号を画素毎に記憶する。
【0031】
搬送装置は、ベルトコンベヤなどで構成され、貨物４１２が収容されたコンテナ４１０を所定方向（例えば図１のＸ方向）に搬送する。コントローラ４６０は、上記のＸ線照射部４３０、Ｘ線検出部４４０、Ｘ線画像生成部４５０および搬送装置など、Ｘ線撮像装置４００の各部を制御する。
【0032】
かかる構成のＸ線撮像装置４００により、検査対象の貨物４１２に対してＸ線４２０を走査して、貨物４１２のＸ線画像を撮像することができる。このようなＸ線撮像装置４００によるＸ線撮像動作について、以下に説明する。
【0033】
Ｘ線撮像装置４００は、搬送装置にコンテナ４１０を載置した状態で、搬送装置を動作させる。これにより、コンテナ４１０は、Ｘ線照射部４３０とＸ線検出部４４０に対して、Ｘ線４２０の走査方向（図１のＸ方向）に相対移動して、Ｘ線照射部４３０とＸ線検出部４４０との間を通過する。このとき、Ｘ線照射部４３０は、撮像対象のコンテナ４１０に向けてＸ線４２０を照射する。Ｘ線検出部４４０は、Ｘ線照射部４３０から照射されたＸ線４２０のうち、コンテナ４１０およびその内部の貨物４１２を通過したＸ線４２０を検出する。Ｘ線画像生成部４５０は、Ｘ線検出部４４０により検出されたＸ線４２０に基づいて、貨物４１２が写ったＸ線画像を生成する。
【0034】
ここで、本実施形態では、コンテナ４１０内の貨物４１２を上方から撮像したＸ線画像が生成される。当該Ｘ線画像は、貨物４１２がＸＹ平面に投影された二次元画像であり、貨物４１２を上面側から透視した画像に相当する。しかし、Ｘ線画像の撮像方向は、上下方向の例に限定されない。例えば、Ｘ線画像は、貨物４１２を下面側（Ｚ方向）から撮像した画像であってもよい。あるいは、Ｘ線画像は、貨物４１２を右側面若しくは左側面側から撮像した側面方向（Ｙ方向）の画像であってもよい。あるいは、Ｘ線画像は、貨物４１２を正面側若しくは背面側から撮像した正面方向（Ｘ方向）の画像であってもよい。また、複数の方向から貨物４１２を撮像した複数のＸ線画像を生成してもよい。
【0035】
また、Ｘ線撮像装置４００は、上記のようにして、検査対象の貨物４１２のＸ線画像を生成する。Ｘ線撮像装置４００は、生成したＸ線画像を、画像処理装置５００に出力する。なお、貨物４１２が学習対象である場合も、検査対象である場合と同様にして学習用Ｘ線画像が生成され、生成された学習用Ｘ線画像は、画像処理装置５００に出力される。
【0036】
ここで、本実施形態に係るＸ線撮像装置４００により撮像されたＸ線画像の仕様の例について説明する。
【0037】
本実施形態に係るＸ線画像は、例えば、撮像された検査対象を白黒の濃淡で表現したグレースケール画像である。グレースケール画像は、色情報は含まず、明るさ情報のみを含んでいる。グレースケール画像は、例えば、１画素の輝度値（画素値）を８ビットで表現した画像であってよい。この８ビットのグレースケール画像の階調は、２５６階調（輝度値：０～２５５）である。輝度値０が黒を表し、輝度値２５５が白を表す。一般的な２５６階調のグレースケール画像を用いれば、本実施形態の特徴的な画像処理を好適に実現できる。ただし、Ｘ線画像の階調は、２５６階調以外であってもよい。
【0038】
【0039】
［４．１．画像処理装置のハードウェア構成］
まず、本実施形態に係る画像処理装置５００のハードウェア構成について説明する。図２は、本実施形態に係る画像処理装置５００のハードウェア構成の一例を示してある。
まず、本実施形態に係る画像処理装置５００のハードウェア構成について説明する。図２は、本実施形態に係る画像処理装置５００のハードウェア構成の一例を示してある。
【0040】
図２に示すように、画像処理装置５００は、プロセッサ５１０と、メモリ５２０と、ストレージ５３０と、通信装置５４０と、入力装置５５０と、出力装置５６０と、バス５７０とを備える。
【0041】
プロセッサ５１０は、コンピュータに搭載される演算処理装置である。プロセッサ５１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されるが、その他のマイクロプロセッサで構成されてもよい。また、プロセッサ５１０は、１つまたは複数のプロセッサで構成されてもよい。プロセッサ５１０は、メモリ５２０または他の記憶媒体に記憶されているプログラムを実行する。これにより、画像処理装置５００における各種の処理が実行される。
【0042】
プログラムは、コンピュータにより実行される命令を含むコンピュータプログラムである。なお、プログラムは、例えば、外部装置から通信ネットワークを通じた配信により、画像処理装置５００に提供されてもよい。また、プログラムは、コンピュータにより読み取り可能な非一時的な記録媒体（ｎｏｎ ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を介して、画像処理装置５００に提供されてもよい。画像処理装置５００にプログラムをインストールすることにより、画像処理装置５００は、当該プログラムにより定められた各種の機能を実現可能になる。
【0043】
メモリ５２０は、プログラムおよびその他の各種データを記憶する記憶媒体である。メモリ５２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを有する。ＲＯＭは、プロセッサ５１０が使用するプログラム、およびプログラムを動作させるためのデータ等を記憶する不揮発性メモリである。ＲＡＭは、プロセッサ５１０により実行される処理に用いられる変数、演算パラメータ、演算結果等のデータを一時記憶する揮発性メモリである。ＲＯＭに記憶されたプログラムは、ＲＡＭに読み出され、ＣＰＵなどのプロセッサ５１０により実行される。
【0044】
ストレージ５３０は、各種の情報、データを保存するための記憶装置である。ストレージ５３０は、例えば、半導体メモリ、ハードディスク、光ディスクなどの記録媒体と、当該記録媒体からデータを読み出す、または当該記録媒体に書き込むドライブとを有する。ストレージ５３０は、メモリ５２０と比べて大容量のデータを保存することができる。ストレージ５３０は、画像処理装置５００に内蔵される内部ストレージであってもよいし、画像処理装置５００の外部入出力用端子を介して接続される外部ストレージであってもよい。また、ストレージ５３０は、通信ネットワークを介して接続されるオンラインストレージであってもよい。
【0045】
通信装置５４０は、画像処理装置５００に対して有線または無線により接続された外部装置と通信するためのデバイスである。通信装置５４０は、予め定められたプロトコルに従って、外部装置と通信接続を確立させて、外部装置との間で各種の情報、データを送信および受信する。
【0046】
入力装置５５０は、ユーザが画像処理装置５００に情報を入力するために用いられる装置である。入力装置５５０は、例えば、タッチセンサ、キーボード、キーパッド、マウス、リモートコントローラ、ボタン、スイッチまたはダイヤルなどを含む。入力装置５５０は、マイクロフォン、音声認識モジュールなどの音声入力用の入力装置を含んでもよい。また、入力装置５５０は、画像処理装置５００を遠隔操作するためのユーザ入力をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。入力装置５５０は、ユーザによる入力操作を受け付けると、当該入力操作に応じた入力信号をプロセッサ５１０に送信する。
【0047】
出力装置５６０は、画像処理装置５００の外部に情報、データを出力するための装置である。出力装置５６０は、テキスト、図形、画像等の情報を表示する表示装置と、音声を出力する音声出力装置とを含む。表示装置は、表示画面を有するディスプレイと、画像表示モジュールとを備える。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、有機ＥＬディスプレイ（ＯＬＥＤ）、またはブラウン管（ＣＲＴ）などであってもよい。また、表示装置は、表示画面にタッチセンサが設けられたタッチパネルであってもよい。音声出力装置は、スピーカと、音声出力モジュールとを備える。
【0048】
バス５７０は、上記のプロセッサ５１０、メモリ５２０、ストレージ５３０、通信装置５４０、入力装置５５０および出力装置５６０を相互に接続する。これにより、これらのデバイス間で各種の情報、データを送信および受信することができる。
【0049】
【0050】
図２に示すように、画像処理装置５００は、推論モジュール５８０と、学習モジュール５９０とを備える。そして、図３に示すように、推論モジュール５８０は、第１の画像サイズ変更部５８２と、第１の画像分割部５８４と、推定部５８６とを備える。また、学習モジュール５９０は、関連付け部５９２と、第２の画像サイズ変更部５９４と、第２の画像分割部５９６と、学習部５９８とを備える。画像処理装置５００のプロセッサ５１０がプログラムに基づいて演算処理を実行することにより、これら画像処理装置５００の各機能部が実現される。
【0051】
本実施形態の画像処理装置５００は、大きく分けて学習パートと推論パートの２つのパートに分かれて機能する。以下では、まず学習パートについて説明し、その後、推論パートについて説明する。
【0052】
（学習パート）
学習パートは、税関申告情報と学習用Ｘ線画像に基づいて、貨物４１２の種類を推定する際に使用される学習モデルを構築するパートである。
学習パートは、税関申告情報と学習用Ｘ線画像に基づいて、貨物４１２の種類を推定する際に使用される学習モデルを構築するパートである。
【0053】
図３は、本実施形態に係る推論モジュール５８０および学習モジュール５９０の機能を説明するための機能ブロック図である。図３に示すように、まず、関連付け部５９２は、Ｘ線画像データベース３００から学習用Ｘ線画像を取得する。学習用Ｘ線画像は、上述したように、例えばＸ線撮像装置４００により撮像されたコンテナ４１０内の学習対象である貨物４１２が写り込んでいるＸ線画像であり、既知の貨物４１２が写り込んでいるＸ線画像である。
【0054】
学習用Ｘ線画像に写り込んでいる貨物４１２の種類は、Ｘ線撮像装置４００により撮像する際に、ユーザ（例えば、税関等の検査官）が把握していてもよいし、学習用Ｘ線画像に貨物４１２の位置、種類、大きさ等の貨物情報が関連付けられて保存されていてもよい。
【0055】
また、関連付け部５９２は、税関データベース２００から税関申告情報を取得する。このとき、関連付け部５９２は、学習用Ｘ線画像を撮像した際のコンテナ４１０内の貨物４１２に関する貨物情報が含まれる税関申告情報を取得する。そして、関連付け部５９２は、税関申告情報から貨物４１２の種類および大きさに関する貨物情報を抽出する。なお、関連付け部５９２は、Ｘ線検査システム１００の外部に設けられた他のＸ線画像データベースおよび他の税関データベースから学習用Ｘ線画像および税関申告情報を取得してもよい。
【0056】
つぎに、関連付け部５９２は、取得した学習用Ｘ線画像および税関申告情報を出力装置５６０の表示装置に表示させる。このとき、ユーザは、表示装置に表示された学習用Ｘ線画像および税関申告情報を確認し、学習用Ｘ線画像に写り込んでいる学習対象の各貨物４１２の位置、種類、大きさを把握する。
【0057】
ユーザは、入力装置５５０を用いて、学習用Ｘ線画像に対し、把握した学習対象の各貨物４１２の位置、種類、大きさに関する貨物情報を付加する。例えば、ユーザは、学習用Ｘ線画像に写り込む学習対象の各貨物４１２の位置にバウンディングボックス等の注釈をつける。
【0058】
関連付け部５９２は、学習用Ｘ線画像に対し、ユーザ入力により付加された学習対象の各貨物４１２の位置、種類、大きさに関する貨物情報を関連付ける処理を行う。このように、関連付け部５９２は、学習用Ｘ線画像と税関申告情報とユーザ入力とに基づいて、学習用Ｘ線画像に含まれる学習対象である各貨物４１２の位置、種類、大きさに関する貨物情報を学習用Ｘ線画像に関連付ける処理を行う。貨物情報が関連付けられた学習用Ｘ線画像は、ストレージ５３０に記憶される。ただし、関連付け部５９２は、貨物情報が関連付けられた学習用Ｘ線画像を第２の画像サイズ変更部５９４に出力してもよい。
【0059】
つぎに、第２の画像サイズ変更部５９４は、関連付け部５９２あるいはストレージ５３０から貨物情報が関連付けられた学習用Ｘ線画像を取得する。また、第２の画像サイズ変更部５９４は、関連付け部５９２から税関申告情報を取得する。なお、第２の画像サイズ変更部５９４は、税関データベース２００から税関申告情報を取得してもよい。
【0060】
第２の画像サイズ変更部５９４は、税関申告情報に含まれる各貨物４１２の大きさに基づいて、学習用Ｘ線画像のサイズを変更する。具体的に、第２の画像サイズ変更部５９４は、税関申告情報に含まれる各貨物４１２の大きさが所定の第１基準値より大きい場合、あるいは、所定の第２基準値未満である場合、学習用Ｘ線画像のサイズを変更する。所定の第２基準値は、所定の第１基準値よりも小さい値である。例えば、所定の第２基準値は、所定の第１基準値の半分の値である。ただし、これに限定されず、所定の第２基準値は、所定の第１基準値と等しい値であってもよい。
【0061】
詳細には、第２の画像サイズ変更部５９４は、税関申告情報に含まれる各貨物４１２の大きさが所定の第１基準値より大きい場合、学習用Ｘ線画像のサイズを縮小する。また、第２の画像サイズ変更部５９４は、税関申告情報に含まれる各貨物４１２の大きさが所定の第２基準値未満である場合、学習用Ｘ線画像のサイズを拡大する。
【0062】
図４は、本実施形態に係る学習用Ｘ線画像を縮小および分割する画像処理を示す説明図である。図４では、学習用Ｘ線画像６００Ａに第１の貨物４１２Ａが写り込んでいる。ここで、第１の貨物４１２Ａの大きさは、所定の第１基準値より大きいものとする。
【0063】
まず、第２の画像サイズ変更部５９４は、税関申告情報に含まれる第１の貨物４１２Ａの大きさが所定の第１基準値より大きいか否か判定する。つぎに、第２の画像サイズ変更部５９４は、第１の貨物４１２Ａの大きさが所定の第１基準値より大きいと判定した場合、図４に示すように、学習用Ｘ線画像６００Ａのサイズを縮小した縮小Ｘ線画像７００を生成する。
【0064】
ここで、所定の第１基準値は、貨物４１２を撮像したＸ線画像あるいは学習用Ｘ線画像において、所定の画像サイズ内に貨物４１２の全体が写る貨物４１２の大きさである。また、所定の画像サイズは、後述する学習モデルを構築するために用いられる学習画像のサイズであり、例えば、２２４ｐｘ×２２４ｐｘの画素数の画像サイズである。つまり、所定の第１基準値は、例えば、２２４ｐｘ×２２４ｐｘの画素数の画像サイズ内に貨物４１２の全体が写る貨物４１２の大きさである。
【0065】
図４では、所定の画像サイズを、一点鎖線で示す画像サイズ枠Ｓで表している。図４に示すように、学習用Ｘ線画像６００Ａ内の第１の貨物４１２Ａの大きさは、所定の画像サイズを表す画像サイズ枠Ｓよりも大きく、第１の貨物４１２Ａの全体が画像サイズ枠Ｓの枠内に収まっていない。
【0066】
第２の画像サイズ変更部５９４は、第１の貨物４１２Ａの大きさが所定の第１基準値より大きいと判定した場合、第１の貨物４１２Ａの大きさが所定の第１基準値となる縮小倍率を演算し、演算した縮小倍率を学習用Ｘ線画像６００に乗じて、縮小Ｘ線画像７００を生成する。
【0067】
なお、学習用Ｘ線画像６００Ａには、関連付け部５９２により、学習対象である各貨物４１２の位置、種類、大きさに関する貨物情報が関連付けられている。第２の画像サイズ変更部５９４は、学習用Ｘ線画像６００Ａに関連付けられた第１の貨物４１２Ａの大きさに関する貨物情報に基づいて、第１の貨物４１２Ａの大きさが所定の画像サイズより大きいか否かを判定してもよい。
【0068】
図４では、学習用Ｘ線画像６００Ａに関連付けられた第１の貨物４１２Ａの大きさを表す貨物サイズ枠６１０Ａを二点鎖線で表している。図４に示すように、貨物サイズ枠６１０Ａの大きさは、所定の画像サイズを表す画像サイズ枠Ｓよりも大きい。
【0069】
第２の画像サイズ変更部５９４は、貨物サイズ枠６１０Ａの大きさが所定の画像サイズより大きいと判定した場合、貨物サイズ枠６１０Ａの大きさが所定の画像サイズとなる縮小倍率を演算し、演算した縮小倍率を学習用Ｘ線画像６００Ａに乗じて、縮小Ｘ線画像７００を生成する。
【0070】
このように、第２の画像サイズ変更部５９４は、学習用Ｘ線画像に写る学習対象である各貨物４１２の大きさが所定の第１基準値あるいは所定の画像サイズより大きいか否かを判定する。そして、第２の画像サイズ変更部５９４は、学習用Ｘ線画像６００Ａに写る第１の貨物４１２Ａの大きさが所定の第１基準値あるいは所定の画像サイズより大きいと判定した場合、学習用Ｘ線画像６００Ａのサイズを縮小し、縮小Ｘ線画像７００を生成する。これにより、学習用Ｘ線画像６００Ａに写り込む第１の貨物４１２Ａを所定の画像サイズ内に収めることができる。
【0071】
図５は、本実施形態に係る学習用Ｘ線画像を拡大および分割する画像処理を示す説明図である。図５では、学習用Ｘ線画像６００Ｂに第２の貨物４１２Ｂが写り込んでいる。ここで、第２の貨物４１２Ｂの大きさは、所定の第２基準値より小さいものとする。
【0072】
まず、第２の画像サイズ変更部５９４は、税関申告情報に含まれる第２の貨物４１２Ｂの大きさが所定の第２基準値未満であるか否か判定する。つぎに、第２の画像サイズ変更部５９４は、第２の貨物４１２Ｂの大きさが所定の第２基準値未満であると判定した場合、図５に示すように、学習用Ｘ線画像６００Ｂのサイズを拡大した拡大Ｘ線画像８００を生成する。
【0073】
なお、学習用Ｘ線画像６００Ｂには、関連付け部５９２により、学習対象である各貨物４１２の位置、種類、大きさに関する貨物情報が関連付けられている。第２の画像サイズ変更部５９４は、学習用Ｘ線画像６００Ｂに関連付けられた第２の貨物４１２Ｂの大きさに関する貨物情報に基づいて、第２の貨物４１２Ｂの大きさが所定の画像サイズ未満であるか否かを判定してもよい。
【0074】
図５では、学習用Ｘ線画像６００Ｂに関連付けられた第２の貨物４１２Ｂの大きさを表す貨物サイズ枠６１０Ｂを二点鎖線で表している。図５に示すように、貨物サイズ枠６１０Ｂの大きさは、所定の画像サイズを表す画像サイズ枠Ｓよりも小さい。
【0075】
ここで、貨物サイズ枠６１０Ｂの大きさが所定の画像サイズ未満であると判定した場合、貨物サイズ枠６１０Ｂの大きさが所定の画像サイズとなる拡大倍率を演算し、演算した拡大倍率を学習用Ｘ線画像６００Ｂに乗じて、拡大Ｘ線画像を生成することも可能である。しかし、その場合、画像拡大処理により画像が粗くぼやけてしまうことから、後述する学習モデルの検出精度が低下するおそれが生じる。
【0076】
そこで、第２の画像サイズ変更部５９４は、図５に示すように、学習用Ｘ線画像６００Ｂの周囲に余白領域８１０を設けることで学習用Ｘ線画像６００Ｂを拡大した拡大Ｘ線画像８００を生成する。この余白領域８１０の幅は、学習用Ｘ線画像６００Ｂ内の第２の貨物４１２Ｂの中心位置に、所定の画像サイズを表す画像サイズ枠Ｓの中心を一致させた際、拡大Ｘ線画像８００内に画像サイズ枠Ｓが収まる幅に設定される。
【0077】
このように、第２の画像サイズ変更部５９４は、学習用Ｘ線画像に写る学習対象である各貨物４１２の大きさが所定の第２基準値あるいは所定の画像サイズ未満であるか否かを判定する。そして、第２の画像サイズ変更部５９４は、学習用Ｘ線画像６００Ｂに写る第２の貨物４１２Ｂの大きさが所定の第２基準値あるいは所定の画像サイズ未満であると判定した場合、余白領域８１０を設けることで拡大Ｘ線画像８００を生成する。これにより、学習用Ｘ線画像６００Ｂに拡大倍率を乗じる画像拡大処理を行うことなく、拡大Ｘ線画像８００を生成することができる。
【0078】
第２の画像サイズ変更部５９４は、このようにして縮小された縮小Ｘ線画像７００あるいは拡大された拡大Ｘ線画像８００を第２の画像分割部５９６に出力する。なお、第２の画像サイズ変更部５９４は、学習対象である各貨物４１２の大きさが所定の第１基準値以下、かつ、第２基準値以上である場合、学習用Ｘ線画像のサイズを変更することなく、第２の画像分割部５９６に等倍の学習用Ｘ線画像を出力する。あるいは、第２の画像サイズ変更部５９４は、学習対象である各貨物４１２の大きさが所定の画像サイズである場合、学習用Ｘ線画像のサイズを変更することなく、第２の画像分割部５９６に等倍の学習用Ｘ線画像を出力する。
【0079】
第２の画像分割部５９６は、第２の画像サイズ変更部５９４から取得した学習用Ｘ線画像を、所定の画像サイズを有する複数の部分学習用Ｘ線画像に分割する。具体的に、図４に戻り、第２の画像分割部５９６は、サイズが縮小された縮小Ｘ線画像７００を、所定の画像サイズを有する複数の部分学習用Ｘ線画像７１０に分割する。この部分学習用Ｘ線画像７１０は、所定の画像サイズを有する画像サイズ枠Ｓと等しいサイズを有し、部分学習用Ｘ線画像７１０に写り込む第１の貨物４１２Ａの全体は、部分学習用Ｘ線画像７１０内に収まっている。
【0080】
また、図５に戻り、第２の画像分割部５９６は、サイズが拡大された拡大Ｘ線画像８００を、所定の画像サイズを有する複数の部分学習用Ｘ線画像８２０に分割する。この部分学習用Ｘ線画像８２０は、所定の画像サイズを有する画像サイズ枠Ｓと等しいサイズを有し、部分学習用Ｘ線画像８２０に写り込む第２の貨物４１２Ｂの全体は、部分学習用Ｘ線画像８２０内に収まっている。
【0081】
図６は、本実施形態に係る学習用Ｘ線画像を等倍で分割する画像処理を示す説明図である。図６では、学習用Ｘ線画像６００Ｃに第３の貨物４１２Ｃが写り込んでいる。ここで、第３の貨物４１２Ｃの大きさは、所定の第１基準値以下、かつ、第２基準値以上であるものとする。あるいは、第３の貨物４１２Ｃの大きさは、所定の画像サイズと等しいものとする。
【0082】
図６では、学習用Ｘ線画像６００Ｃに関連付けられた第３の貨物４１２Ｃの大きさを表す貨物サイズ枠６１０Ｃを二点鎖線で表している。図６に示すように、貨物サイズ枠６１０Ｃの大きさは、所定の画像サイズを表す画像サイズ枠Ｓと等しい。
【0083】
図６に示すように、第２の画像分割部５９６は、等倍の学習用Ｘ線画像６００Ｃを、所定の画像サイズを有する複数の部分学習用Ｘ線画像６２０に分割する。この部分学習用Ｘ線画像６２０は、所定の画像サイズを有する画像サイズ枠Ｓと等しいサイズを有し、部分学習用Ｘ線画像６２０に写り込む第３の貨物４１２Ｃの全体は、部分学習用Ｘ線画像６２０内に収まっている。
【0084】
第２の画像分割部５９６は、学習用Ｘ線画像内で分割位置を所定量ずつずらしながら、学習用Ｘ線画像を、所定の画像サイズを有する複数の部分学習用Ｘ線画像に分割する。複数の部分学習用Ｘ線画像の一部は、互いに重複するように設けられてもよい。第２の画像分割部５９６は、複数の部分学習用Ｘ線画像を学習部５９８に出力する。なお、第２の画像分割部５９６は、学習用Ｘ線画像内の各貨物４１２の特徴量を抽出してもよい。第２の画像分割部５９６は、学習用Ｘ線画像を、当該特徴量が得られる所定の画像サイズの部分学習用Ｘ線画像に分割してもよい。なお、第２の画像分割部５９６から出力された部分学習用Ｘ線画像に対し、不図示の画像処理部により左右反転処理、上下反転処理、回転処理、コントラスト処理などの画像処理が行われる。学習部５９８には、画像処理部により画像処理部によりされた部分学習用Ｘ線画像が入力される。ただし、画像処理部による画像処理は、第２の画像分割部５９６による画像分割の前に行われてもよい。
【0085】
学習部５９８は、第２の画像分割部５９６から複数の部分学習用Ｘ線画像を取得し、複数の部分学習用Ｘ線画像に基づいて、学習モデルを構築する。学習モデルは、例えば、画像解析における深層学習モデル（ディープラーニング）である。学習モデルは、例えば、ニューラルネットワーク（ＮＮ）を有している。ニューラルネットワークは、教師あり学習で学習された畳み込みニューラルネットワーク（ＣＮＮ）である。ただし、畳み込みニューラルネットワーク以外のニューラルネットワークを用いてもよい。また、ニューラルネットワーク以外の学習モデルを用いてもよい。
【0086】
学習モデルは、例えば、ニューラルネットワークの構造と各ニューロン間の結びつきの強さであるパラメータの組合せにより構成される。ニューロンとニューロンの間の結合部には、１つずつ係数であるパラメータが設けられている。各パラメータは、調節可能に構成される。学習モデルの内部状態は、内部変数といわれるニューラルネットワークの構造と各ニューロン間のパラメータの組合せである数値の組によって表される。
【0087】
図７は、本実施形態に係る学習モデルの一例を示す概略構成図である。図７に示すように、学習モデルには、複数の部分学習用Ｘ線画像が入力され、各ニューロンＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、ＮＭ－１、ＮＭを経ることで、各貨物４１２の種類を表す値が出力データとして出力される。
【0088】
学習モデルは、関連付け部５９２により各貨物４１２の位置、種類、大きさに関する貨物情報が関連付けられた学習用Ｘ線画像を基に構築される。学習モデルに対し、第２の画像分割部５９６により分割された部分学習用Ｘ線画像を入力させる。このときの学習モデルの出力データとしての各貨物４１２の種類と、学習用Ｘ線画像に関連付けられた各貨物４１２の種類との誤差が小さくなるように、学習モデルの内部変数の値が設定される。
【0089】
このように、学習部５９８は、部分学習用Ｘ線画像を学習モデルに入力し、当該学習モデルから出力された学習対象の貨物４１２の種類が、部分学習用Ｘ線画像に関連付けられた貨物４１２の種類と一致するように、学習モデルのパラメータを変更する。こうして、部分学習用Ｘ線画像を基に、学習モデルが構築される。学習モデルの構築に使用される部分学習用Ｘ線画像のサイズが貨物４１２の大きさによらず同一サイズで形成されるため、学習モデルの検出精度を高めることができる。また、部分学習用Ｘ線画像には、大きい貨物４１２が写っている場合も貨物４１２の全体が写るようにサイズの縮小処理が行われるため、学習モデルの検出精度を高めることができる。また、部分学習用Ｘ線画像には、拡大倍率による画像拡大処理が行われないため、画像拡大処理により画像が粗くぼやけることを抑制し、学習モデルの検出精度を高めることができる。
【0090】
（推論パート）
推論パートは、学習パートで構築された学習モデルを用いて、検査対象のＸ線画像に写っている貨物４１２の種類を推定するパートである。
推論パートは、学習パートで構築された学習モデルを用いて、検査対象のＸ線画像に写っている貨物４１２の種類を推定するパートである。
【0091】
まず、第１の画像サイズ変更部５８２は、図１に示すＸ線撮像装置４００により撮像されたコンテナ４１０内の検査対象の貨物４１２が写り込んでいるＸ線画像を取得する。また、第１の画像サイズ変更部５８２は、税関データベース２００から税関申告情報を取得する。そして、第１の画像サイズ変更部５８２は、税関申告情報から貨物４１２の種類および大きさに関する貨物情報を抽出する。
【0092】
第１の画像サイズ変更部５８２は、上述した学習パートと同様に、税関申告情報に含まれる貨物４１２の大きさに基づいて、Ｘ線画像のサイズを変更する。具体的に、税関申告情報に含まれる検査対象の貨物４１２の大きさが所定の第１基準値あるいは所定の画像サイズより大きい場合、第１の画像サイズ変更部５８２は、Ｘ線画像のサイズを縮小する。また、税関申告情報に含まれる検査対象の貨物の大きさが所定の第２基準値あるいは所定の画像サイズ未満である場合、第１の画像サイズ変更部５８２は、Ｘ線画像の周囲に図４に示すような余白領域８１０を追加することでＸ線画像のサイズを拡大する。第１の画像サイズ変更部５８２によるＸ線画像のサイズを変更する処理は、上述した第２の画像サイズ変更部５９４による学習用Ｘ線画像のサイズを変更する処理と同様であるため、詳細な説明は省略する。第１の画像サイズ変更部５８２でサイズが変更されたＸ線画像あるいは等倍のＸ線画像は、第１の画像分割部５８４に出力される。
【0093】
第１の画像分割部５８４は、上述した学習パートと同様に、サイズが等倍のＸ線画像あるいはサイズが変更されたＸ線画像を、図４～図６に示すように所定の画像サイズを有する複数の部分Ｘ線画像に分割する。第１の画像分割部５８４によるＸ線画像を、部分Ｘ線画像に分割する処理は、上述した第２の画像分割部５９６による学習用Ｘ線画像を、部分学習用Ｘ線画像に分割する処理と同様であるため、詳細な説明は省略する。第１の画像分割部５８４で分割された部分Ｘ線画像は、推定部５８６に出力される。なお、第１の画像分割部５８４から出力された部分Ｘ線画像に対し、不図示の画像処理部により左右反転処理、上下反転処理、回転処理、コントラスト処理などの画像処理が行われる。推定部５８６には、画像処理部により画像処理部によりされた部分Ｘ線画像が入力される。ただし、画像処理部による画像処理は、第１の画像分割部５８４による画像分割の前に行われてもよい。
【0094】
推定部５８６は、学習パートにおいて学習用Ｘ線画像に基づいて構築された学習モデルを用いて、分割された部分Ｘ線画像に写っている貨物の種類を推定する。つまり、推定部５８６は、貨物４１２に関する学習用Ｘ線画像に基づいて構築された学習モデルを用いて、複数の部分Ｘ線画像のうち少なくとも１つに写っている貨物４１２の種類を推定する。具体的に、推定部５８６は、部分Ｘ線画像を、学習部５９８により構築された学習モデルに入力させる。このとき、学習モデルは、部分Ｘ線画像の各画素を分類し、各貨物４１２の種類を表す値を出力データとして出力する。学習モデルに入力される部分Ｘ線画像のサイズが貨物４１２の大きさによらず同一サイズで形成される。また、部分Ｘ線画像のサイズが学習モデルを構築する際に使用された部分学習用Ｘ線画像と同じサイズとなるため、学習モデルの出力である貨物４１２の種類の推定精度を高めることができる。また、部分Ｘ線画像には、大きい貨物４１２が写っている場合も貨物４１２の全体が写るようにサイズの縮小処理が行われるため、学習モデルの出力である貨物４１２の種類の推定精度を高めることができる。また、部分Ｘ線画像には、拡大倍率による画像拡大処理が行われないため、画像拡大処理により画像が粗くぼやけることを抑制し、学習モデルの出力である貨物４１２の種類の推定精度を高めることができる。
【0095】
【0096】
図８に示すように、学習パートにおいて、関連付け部５９２は、Ｘ線画像データベース３００から学習用Ｘ線画像を取得する（Ｓ１０）。また、関連付け部５９２は、税関データベース２００から税関申告情報を取得する（Ｓ２０）。そして、関連付け部５９２は、ユーザ入力に基づいて、学習用Ｘ線画像に対し、税関申告情報に含まれる学習対象の各貨物４１２の位置、種類、大きさに関する貨物情報を関連付ける（Ｓ３０）。
【0097】
つぎに、第２の画像サイズ変更部５９４は、税関申告情報に含まれる貨物４１２の大きさに基づいて、学習用Ｘ線画像のサイズを変更する（Ｓ４０）。このサイズ変更の処理については上記で詳細に説明しているため、ここでの詳細な説明は省略する。
【0098】
第２の画像分割部５９６は、サイズが変更された学習用Ｘ線画像を、所定の画像サイズを有する複数の部分学習用Ｘ線画像に分割する（Ｓ５０）。この画像分割の処理については上記で詳細に説明しているため、ここでの詳細な説明は省略する。
【0099】
そして、学習部５９８は、部分学習用Ｘ線画像に基づいて、学習モデルを構築する（Ｓ６０）。この学習モデルの構築処理については上記で詳細に説明しているため、ここでの詳細な説明は省略する。
【0100】
つぎに、推論パートにおいて、第１の画像サイズ変更部５８２は、Ｘ線撮像装置４００により検査対象である貨物４１２を撮像した検査対象のＸ線画像を取得する（Ｓ７０）。また、第１の画像サイズ変更部５８２は、税関データベース２００から税関申告情報を取得する（Ｓ８０）。
【0101】
第１の画像サイズ変更部５８２は、税関申告情報に含まれる貨物４１２の大きさに基づいて、Ｘ線画像のサイズを変更する（Ｓ９０）。このサイズ変更の処理については、学習パートにおけるサイズ変更の処理と同様であり、また上記で詳細に説明しているため、ここでの詳細な説明は省略する。なお、学習パートにおけるサイズ変更の処理における「学習用Ｘ線画像」は、「Ｘ線画像」に読み替えられる。
【0102】
第１の画像分割部５８４は、サイズが変更されたＸ線画像を、所定の画像サイズを有する複数の部分Ｘ線画像に分割する（Ｓ１００）。この画像分割の処理については、学習パートにおける画像分割の処理と同様であり、また上記で詳細に説明しているため、ここでの詳細な説明は省略する。なお、学習パートにおける画像分割の処理における「部分学習用Ｘ線画像」は、「部分Ｘ線画像」に読み替えられる。
【0103】
推定部５８６は、学習部５９８により構築された学習モデルを用いて、分割された部分Ｘ線画像に写っている貨物４１２の種類を推定する（Ｓ１１０）。この推定処理については上記で詳細に説明しているため、ここでの詳細な説明は省略する。
【0104】
［６．まとめ］
以上、本実施形態に係るＸ線検査システム１００について詳細に説明した。本実施形態によれば、税関申告情報に含まれる検査対象の貨物４１２の大きさに基づいて、Ｘ線画像のサイズを変更し、サイズが変更されたＸ線画像を、所定の画像サイズを有する複数の部分Ｘ線画像に分割している。そして、複数の部分Ｘ線画像を学習モデルに入力することで、検査対象である貨物４１２の種類を推定している。
以上、本実施形態に係るＸ線検査システム１００について詳細に説明した。本実施形態によれば、税関申告情報に含まれる検査対象の貨物４１２の大きさに基づいて、Ｘ線画像のサイズを変更し、サイズが変更されたＸ線画像を、所定の画像サイズを有する複数の部分Ｘ線画像に分割している。そして、複数の部分Ｘ線画像を学習モデルに入力することで、検査対象である貨物４１２の種類を推定している。
【0105】
これにより、さまざまな大きさの検査対象の貨物４１２がコンテナ４１０に収容されている場合であっても、学習モデルに入力される部分Ｘ線画像には、検査対象である貨物４１２の全体を含ませることができる。また、貨物４１２の大きさによらず、学習モデルに入力される部分Ｘ線画像を、学習モデルを構築する際に使用された部分学習用Ｘ線画像と同じサイズにすることができる。その結果、学習モデルの出力である貨物４１２の種類の推定精度を高めることができ、コンテナ４１０を撮像したＸ線画像からコンテナ４１０内の貨物４１２の種類を正確に推定することできる。
【0106】
また、本実施形態によれば、税関申告情報と、ユーザ入力とに基づいて、学習用Ｘ線画像に写っている学習対象の各貨物の種類を、学習用Ｘ線画像に関連付ける。また、税関申告情報に含まれる学習対象の貨物４１２の大きさに基づいて、学習用Ｘ線画像のサイズを変更し、サイズが変更された学習用Ｘ線画像を、所定の画像サイズを有する複数の部分学習用Ｘ線画像に分割している。そして、複数の部分学習用Ｘ線画像に基づいて、学習モデルを構築している。このとき、部分学習用Ｘ線画像を学習モデルに入力した際の出力である貨物の種類が、部分学習用Ｘ線画像に関連付けられた種類と一致するように、学習モデルのパラメータを変更することで、学習モデルを構築している。
【0107】
これにより、さまざまな大きさの学習対象の貨物４１２がコンテナ４１０に収容されている場合であっても、学習モデルに入力される部分学習用Ｘ線画像には、貨物４１２の全体を含ませることができる。また、貨物４１２の大きさによらず、学習モデルに入力される部分学習用Ｘ線画像を同じサイズにすることができる。その結果、学習モデルの検出精度を高めることができる。
【0108】
また、本実施形態によれば、税関申告情報に含まれる貨物の大きさが所定の第１基準値あるいは所定の画像サイズより大きい場合、Ｘ線画像のサイズを縮小する。これにより、部分Ｘ線画像は、大きい貨物４１２が写っている場合も貨物４１２の全体が写るようにサイズの縮小処理が行われるため、学習モデルの出力である貨物４１２の種類の推定精度を高めることができる。
【0109】
また、本実施形態によれば、税関申告情報に含まれる貨物の大きさが所定の第２基準値未満あるいは所定の画像サイズ未満である場合、Ｘ線画像の周囲に余白領域を追加することでＸ線画像のサイズを拡大する。これにより、部分Ｘ線画像には、拡大倍率による画像拡大処理が行われないため、画像拡大処理により画像が粗くぼやけることを抑制し、学習モデルの出力である貨物４１２の種類の推定精度を高めることができる。
【0110】
以上、添付図面を参照しながら本開示の実施形態について説明したが、本開示はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
【0111】
なお、上述した本実施形態に係る画像処理装置５００等の各装置による一連の処理は、ソフトウェア、ハードウェア、または、ソフトウェアとハードウェアとの組合せのうちいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部または外部に設けられる非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納されてもよい。そして、プログラムは、例えば、非一時的な記憶媒体（例えば、ＲＯＭ）から一時的な記憶媒体（例えば、ＲＡＭ）に読み出され、ＣＰＵなどのプロセッサにより実行されてもよい。
【0112】
上記各装置の各機能を実現するためのプログラムを作成し、上記各装置のコンピュータにインストールすることが可能である。プロセッサが、メモリに記憶されているプログラムを実行することにより、上記各機能の処理が実行される。このとき、複数のプロセッサによりプログラムを分担して実行してもよいし、１つのプロセッサでプログラムを実行してもよい。また、通信ネットワークにより相互に接続された複数のコンピュータを用いるクラウドコンピューティングにより、上記各装置の各機能を実現してもよい。
【0113】
なお、プログラムは、外部装置から通信ネットワークを通じた配信により、各装置のコンピュータに提供されて、インストールされてもよい。あるいは、プログラムは、コンピュータにより読み取り可能な非一時的な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に格納され、当該記録媒体を介して各装置のコンピュータに提供されて、インストールされてもよい。
【0114】
また、本実施形態によれば、上記各装置の各機能の処理を実行するためのプログラムを提供することができる。さらに、当該プログラムが格納された、コンピュータにより読み取り可能な非一時的な記録媒体を提供することもできる。非一時的な記録媒体は、例えば、光ディスク、磁気ディスク、光磁気ディスク等のディスク型記録媒体であってもよいし、または、フラッシュメモリ、ＵＳＢメモリ等の半導体メモリであってもよい。
【符号の説明】
【0115】
１００ Ｘ線検査システム
２００ 税関データベース
３００ Ｘ線画像データベース
４００ Ｘ線撮像装置
４１０ コンテナ
４１２ 貨物
４２０ Ｘ線
４３０ Ｘ線照射部
４４０ Ｘ線検出部
４５０ Ｘ線画像生成部
４６０ コントローラ
５００ 画像処理装置
５１０ プロセッサ
５２０ メモリ
５３０ ストレージ
５４０ 通信装置
５５０ 入力装置
５６０ 出力装置
５７０ バス
５８０ 推論モジュール
５８２ 第１の画像サイズ変更部
５８４ 第１の画像分割部
５８６ 推定部
５９０ 学習モジュール
５９２ 関連付け部
５９４ 第２の画像サイズ変更部
５９６ 第２の画像分割部
５９８ 学習部
２００ 税関データベース
３００ Ｘ線画像データベース
４００ Ｘ線撮像装置
４１０ コンテナ
４１２ 貨物
４２０ Ｘ線
４３０ Ｘ線照射部
４４０ Ｘ線検出部
４５０ Ｘ線画像生成部
４６０ コントローラ
５００ 画像処理装置
５１０ プロセッサ
５２０ メモリ
５３０ ストレージ
５４０ 通信装置
５５０ 入力装置
５６０ 出力装置
５７０ バス
５８０ 推論モジュール
５８２ 第１の画像サイズ変更部
５８４ 第１の画像分割部
５８６ 推定部
５９０ 学習モジュール
５９２ 関連付け部
５９４ 第２の画像サイズ変更部
５９６ 第２の画像分割部
５９８ 学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】