特開 2024-173365 荷物検査システム、荷物検査方法および荷物検査プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024173365

(43)【公開日】2024-12-12

(54)【発明の名称】荷物検査システム、荷物検査方法および荷物検査プログラム

(51)【国際特許分類】

   G06V 10/778 20220101AFI20241205BHJP

   G06T 7/00 20170101ALI20241205BHJP

   G06V 10/82 20220101ALI20241205BHJP

   G01N 23/04 20180101ALI20241205BHJP

   G01N 23/10 20180101ALI20241205BHJP

【ＦＩ】

G06V10/778

G06T7/00 350C

G06V10/82

G01N23/04

G01N23/10

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023091735

(22)【出願日】2023-06-02

(71)【出願人】

【識別番号】000243881

【氏名又は名称】名古屋電機工業株式会社

(74)【代理人】

【識別番号】110000660

【氏名又は名称】Ｋｎｏｗｌｅｄｇｅ Ｐａｒｔｎｅｒｓ弁理士法人

(72)【発明者】

【氏名】渡辺 辰巳

【テーマコード（参考）】

2G001

5L096

【Ｆターム（参考）】

2G001AA01

2G001BA11

2G001CA01

2G001FA02

2G001FA06

2G001FA30

2G001HA04

2G001HA06

2G001HA07

2G001HA13

2G001HA20

2G001JA13

2G001KA01

2G001KA06

2G001LA10

2G001NA17

2G001NA19

5L096BA03

5L096CA18

5L096HA11

5L096KA04

(57)【要約】

【課題】物体検出の精度を所定の基準以上に維持する技術の提供。
【解決手段】Ｘ線画像を取得するＸ線画像取得部と、前記Ｘ線画像に含まれる物体を、前記物体の材料毎の色に着色した着色画像を取得する着色画像取得部と、前記着色画像を入力して異なる前記物体を異なる色に着色した補正画像を生成するように機械学習された補正画像生成モデルに対して、前記着色画像を入力して前記補正画像を生成する補正画像生成部と、前記補正画像を入力して前記補正画像に含まれる前記物体を検出するように機械学習された物体検出モデルに対して、前記補正画像を入力して前記物体を検出する物体検出部と、前記物体検出モデルによる前記物体の検出精度が所定の基準より小さい場合に、前記補正画像生成モデルおよび前記物体検出モデルを更新するモデル更新部と、を備える荷物検査システムを構成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

検査対象の荷物に照射されたＸ線の透過量を示すＸ線画像を取得するＸ線画像取得部と、
前記Ｘ線画像に含まれる物体を、前記物体の材料毎の色に着色した着色画像を取得する着色画像取得部と、
前記着色画像を入力して異なる前記物体を異なる色に着色した補正画像を生成するように機械学習された補正画像生成モデルに対して、前記着色画像を入力して前記補正画像を生成する補正画像生成部と、
前記補正画像を入力して前記補正画像に含まれる前記物体を検出するように機械学習された物体検出モデルに対して、前記補正画像を入力して前記物体を検出する物体検出部と、
前記物体検出モデルによる前記物体の検出精度が所定の基準より小さい場合に、前記補正画像生成モデルおよび前記物体検出モデルを更新するモデル更新部と、
を備える荷物検査システム。

【請求項2】

前記Ｘ線画像、前記着色画像、前記補正画像の少なくとも一つに基づいて検査員が検出した前記物体を入力する入力部をさらに備え、
前記モデル更新部は、
荷物検査システムの運用開始後に取得された前記着色画像と、取得された前記着色画像を前記補正画像生成モデルに入力して生成した前記補正画像と、前記検査員が入力した前記物体の検出結果と、を含む更新用教師データに基づいて機械学習された、前記補正画像生成モデルおよび前記物体検出モデルによって元のモデルを更新する、
請求項１に記載の荷物検査システム。

【請求項3】

前記補正画像は、
前記着色画像における特定の材料に対応した色の色相、彩度、明度の少なくとも一つを前記物体毎に変化させることによって、異なる前記物体を異なる色に着色した画像である、
請求項１または請求項２に記載の荷物検査システム。

【請求項4】

検査対象の荷物に照射されたＸ線の透過量を示すＸ線画像を取得するＸ線画像取得工程と、
前記Ｘ線画像に含まれる物体を、前記物体の材料毎の色に着色した着色画像を取得する着色画像取得工程と、
前記着色画像を入力して異なる前記物体を異なる色に着色した補正画像を生成するように機械学習された補正画像生成モデルに対して、前記着色画像を入力して前記補正画像を生成する補正画像生成工程と、
前記補正画像を入力して前記補正画像に含まれる前記物体を検出するように機械学習された物体検出モデルに対して、前記補正画像を入力して前記物体を検出する物体検出工程と、
前記物体検出モデルによる前記物体の検出精度が所定の基準より小さい場合に、前記補正画像生成モデルおよび前記物体検出モデルを更新するモデル更新工程と、
を含む荷物検査方法。

【請求項5】

コンピュータを、
検査対象の荷物に照射されたＸ線の透過量を示すＸ線画像を取得するＸ線画像取得部、
前記Ｘ線画像に含まれる物体を、前記物体の材料毎の色に着色した着色画像を取得する着色画像取得部、
前記着色画像を入力して異なる前記物体を異なる色に着色した補正画像を生成するように機械学習された補正画像生成モデルに対して、前記着色画像を入力して前記補正画像を生成する補正画像生成部、
前記補正画像を入力して前記補正画像に含まれる前記物体を検出するように機械学習された物体検出モデルに対して、前記補正画像を入力して前記物体を検出する物体検出部、
前記物体検出モデルによる前記物体の検出精度が所定の基準より小さい場合に、前記補正画像生成モデルおよび前記物体検出モデルを更新するモデル更新部、
として機能させる荷物検査プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷物検査システム、荷物検査方法および荷物検査プログラムに関する。

【背景技術】

【0002】

空港やイベント会場等において、参加者の荷物を検査する荷物検査システムが知られている。例えば、特許文献１においては、複数の方向からの撮影が可能なＸ線検査装置において、学習モデルを用いて物品を認識する技術が開示されている。また、物品の材質を判定し、材質を色、密度を濃さで区別するカラー画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１３２１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術においては、物体の区別が困難になる場合があった。例えば、刃物等の危険物が検出対象となっている場合を想定する。この場合において、検出対象の物体が複数存在すると、各物体の色および濃さが互いに類似し、区別することが困難になる。また、危険物以外の物体であっても、金属製の物体が存在すると、検出対象の物体と区別することが困難になる。さらに、物体が重なっている場合、異なる物体の境界が存在せずに繋がった状態の画像となり、物体を区別することは困難である。
そこで、物体毎に異なる色となるように色を補正することが考えられるが、物体同士を区別しやすくするように自動的に色を補正することは、従来困難であった。このため、補正後の画像から物体を検出することも困難であった。
本発明は、前記課題にかんがみてなされたもので、物体検出の精度が向上するように色を補正する技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

上述の目的を達成するため、荷物検査システムは、検査対象の荷物に照射されたＸ線の透過量を示すＸ線画像を取得するＸ線画像取得部と、前記Ｘ線画像に含まれる物体を、前記物体の材料毎の色に着色した着色画像を取得する着色画像取得部と、前記着色画像を入力して異なる前記物体を異なる色に着色した補正画像を生成するように機械学習された補正画像生成モデルに対して、前記着色画像を入力して前記補正画像を生成する補正画像生成部と、前記補正画像を入力して前記補正画像に含まれる前記物体を検出するように機械学習された物体検出モデルに対して、前記補正画像を入力して前記物体を検出する物体検出部と、前記物体検出モデルによる前記物体の検出精度が所定の基準より小さい場合に、前記補正画像生成モデルおよび前記物体検出モデルを更新するモデル更新部と、を備える。

【0006】

すなわち、荷物検査システムにおいては、荷物を撮影したＸ線画像を物体の材料毎の色に着色し、着色後の着色画像を補正画像生成モデルに入力し、物体毎に異なる色になるように補正する。さらに、補正後の補正画像を物体検出モデルに入力して物体検出を行う。このように、補正画像生成モデルと物体検出モデルを用いて、荷物検査のための物体の検出を実行可能な荷物検査システムによれば、物体毎の色となるような色の補正と、補正後の物体の検出と、のそれぞれを自動で実施可能になる。さらに、機械学習を進めることで、物体検出の精度を向上させることができる。さらに、物体検出の精度が所定の基準より小さくなることを防止することができ、物体検出の精度を所定の基準以上に維持することができる。

【図面の簡単な説明】

【0007】

【図1】荷物検査システムのブロック図である。

【図2】着色画像を模式的に説明するための図である。

【図3】生成モデルと識別モデルを説明する図である。

【図4】物体検出の例と正解値との関係を説明する図である。

【図5】物体検出の例を説明する図である。

【図6】機械学習処理のフローチャートである。

【図7】ＩｏＵを説明するための図である。

【図8】検査処理のフローチャートである。

【図9】機械学習モデル更新処理のフローチャートである。

【図10】更新用教師データを説明するための図である。

【図11】検査処理のフローチャートである。

【発明を実施するための形態】

【0008】

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）荷物検査システムの構成：
（２）機械学習システムの構成：
（３）検査処理：
（４）機械学習モデル更新処理：
（５）他の実施形態：

【0009】

（１）荷物検査システムの構成：
図１は荷物検査システムの構成を示すブロック図である。本実施形態に係る荷物検査システムは、空港の保安検査場や、イベント会場等において、利用者が携行する荷物を検査するために用いられる。本実施形態において、荷物検査システムは、画像解析システム１０と機械学習システム１００とを含む。本実施形態において、画像解析システム１０は、Ｘ線撮影装置４０によって撮影されたＸ線画像を解析し、各種の解析処理を行う。解析処理には、Ｘ線画像に含まれる物体（すなわち、荷物に含まれる物体）を検出する処理等が含まれる。画像解析システム１０は、制御部２０，記憶媒体３０，Ｘ線撮影装置４０，表示部４１，入力部４２，通信部５０を備えている。

【0010】

Ｘ線撮影装置４０は、荷物にＸ線を照射し、荷物を透過したＸ線の透過量を示すＸ線画像を撮影する装置である。Ｘ線撮影装置４０は、図示しないＸ線出力部と、Ｘ線センサと、Ｘ線出力部およびＸ線センサを囲む筐体と、筐体内でＸ線が照射される場所に荷物を運搬する搬送部と、を含む。すなわち、利用者が自身の荷物を運搬部に載置すると、荷物が運搬部により筐体内に運ばれる。筐体内では、Ｘ線出力部から出力されたＸ線が荷物に照射され、荷物を透過したＸ線がＸ線センサによって検出される。検出結果であるＸ線画像を示すＸ線画像データは、制御部２０に対して出力される。

【0011】

表示部４１は、任意の画像を表示可能なディスプレイである。本実施形態において表示部４１は、画像解析システム１０のオペレータである検査員に対して各種の情報を提供する。入力部４２は、オペレータによる操作に応じて各種の情報の入力を行う入力装置であり、例えば、キーボードやマウス、タッチパネル等である。本実施形態において入力部４２は、画像解析システム１０のオペレータである検査員が操作する入力装置である。

【0012】

通信部５０は、機械学習システム１００と通信を行う装置である。通信の態様は限定されず、有線通信や、無線通信を利用可能である。制御部２０は、通信部５０を介して、機械学習システム１００に対して各種の情報を送信することが可能であり、また、機械学習システム１００から各種の情報を受信することが可能である。なお、機械学習システム１００と、画像解析システム１０とは、異なる場所に設置されていても良い。また、１台の機械学習システム１００が、複数の画像解析システム１０と通信可能であっても良い。

【0013】

制御部２０は、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ等を備えており、記憶媒体３０等に記録された各種プログラムを実行することができる。本実施形態においては、Ｘ線撮影装置４０によって撮影されたＸ線画像を、画像解析システム１０によって加工し、機械学習された物体検出モデルを用いて、Ｘ線画像に含まれる物体の検出を行う。そして、検出された物体の中に危険物が含まれる場合、画像解析システム１０は警告を行う。

【0014】

物体検出モデルは、Ｘ線画像に含まれる物体の検出を実施できるように予め機械学習されるが、画像解析システム１０の運用過程において、運用開始当初よりも物体の検出精度が低下する場合がある。物体の検出精度が低下すると、検出すべき危険物の見逃しが生じたり、危険物ではない物体を危険物であるとみなす虚報が生じたりしてしまう。そこで、本実施形態においては、物体の検出精度が監視され、物体の検出精度が所定の基準より低下しないように管理される。

【0015】

本実施形態において制御部２０は、以上のような物体検出モデルの管理を含む処理を行うために画像解析プログラム２１を実行する。当該処理を実行するため、画像解析プログラム２１は、Ｘ線画像取得部２１ａ、着色画像取得部２１ｂ、補正画像生成部２１ｃ、物体検出部２１ｄ、出力制御部２１ｅ、モデル更新部２１ｆの各機能を備えている。Ｘ線画像取得部２１ａは、検査対象の荷物に照射されたＸ線の透過量を示すＸ線画像を取得する機能を制御部２０に実行させる。すなわち、制御部２０は、Ｘ線撮影装置４０を制御し、荷物にＸ線を照射し、荷物を透過したＸ線をＸ線センサで検出させる。Ｘ線撮影装置４０は、各荷物の検出結果を示すＸ線画像をＸ線画像データ３０ａとして出力する。制御部２０は、当該Ｘ線画像データ３０ａを取得し、記憶媒体３０に保存する。

【0016】

Ｘ線画像データ３０ａが示すＸ線画像は、荷物に照射されたＸ線の透過量を示す階調値によって表現されるため、例えば、グレーの濃淡で物体が表現された画像になる。そして、検査対象の荷物が鞄である場合等においては、荷物内で複数の物体が重なり合っているため、グレーの濃淡で表現されたＸ線画像において各物体を区別することが困難になる場合が多い。そこで、本実施形態においては、Ｘ線画像に含まれる物体を材料毎の色に着色する。

【0017】

着色画像取得部２１ｂは、Ｘ線画像に含まれる物体を、物体の材料毎の色に着色した着色画像を取得する機能である。すなわち、制御部２０は、着色画像取得部２１ｂの機能により、Ｘ線画像に基づいて、当該Ｘ線画像に含まれる各物体の色を材料毎の色に変換する。このような色の変換は、種々の手法によって実行可能である。例えば、Ｘ線撮影装置４０において異なるエネルギーのＸ線を荷物に照射し、異なるエネルギーのＸ線で撮影されたＸ線画像同士の差分を取得することで、質量吸収係数が異なる材料の物体を強調し、当該材料で構成された物体を特定する手法が挙げられる。この場合、特定の種類の材料が特定の色に着色され、他の色が特定の色と異なる色に着色される。また、Ｘ線画像におけるグレーの濃淡に基づいて着色が行われてもよい。この場合、Ｘ線画像におけるグレーの濃度が複数のレベルに分けられ、各レベルに属する像が異なる色に着色される。むろん、これらの着色方法が組み合わされても良いし、他の手法が採用されてもよい。

【0018】

以上のような着色が行われると、着色画像を示す着色画像データ３０ｂが記憶媒体３０に保存される。本実施形態において、着色画像は有彩色に着色された画像である。すなわち、Ｘ線画像は１チャンネルの階調値で表現されたグレーの画像であるが、着色画像は３チャンネルの階調値で表現されたカラーの画像である。制御部２０は、各物体を、各物体の材料毎に予め決められた色に着色する。例えば、金属は青、樹脂は赤などのように材料に対応した色が予め決められており、材料毎の色に着色される。むろん、着色前のＸ線画像の階調値に応じて青や赤等の色の濃淡が調整されても良い。

【0019】

図２は、着色画像を模式的に説明するための図である。図２においては図面上の色の制限によって物体の像がグレーで表現されているが、実際の例においては物体の像が有彩色で着色されることが多い。図２に示す鞄の中には金属製の工具や刃物と、樹脂製の矩形状の物体と、が含まれている。そして、この例においては、金属製の工具や刃物と、樹脂製の矩形状の物体と、が異なる色に着色されている様子がグレーの色の差異によって表現されている。

【0020】

以上のような着色が行われると、制御部２０は、着色画像を示す着色画像データ３０ｂを記憶媒体３０に保存する。着色画像データ３０ｂが示す着色画像によれば、画像内で異なる材料の物体を色によって区別しやすくなる。すなわち、検出対象となる金属製の物体（危険物）と、樹脂等の非金属製の物体と、を区別しやすくなる。しかし、荷物の中で、同じ材料の物体が重なり合っていたり、隣り合っていたりすると、やはり両者を区別することが困難になり得る。

【0021】

そこで、本実施形態においては、着色画像を補正し、物体毎の色に着色した補正画像を生成する。補正画像生成部２１ｃは、補正画像生成モデル３０ｃに対して、着色画像を入力して補正画像を生成する機能を制御部２０に実行させる。

【0022】

補正画像生成モデル３０ｃは、着色画像データ３０ｂが示す着色画像を入力し、異なる物体を異なる色に着色した補正画像を生成するように機械学習されたモデルである。具体的には、補正画像生成モデル３０ｃは、入力される画像データの画素毎の各チャンネルにおける階調値を入力値とし、生成される画像の画像データの画素毎の各チャンネルにおける階調値を出力値とした場合における両データの対応関係を導出する式を示す情報である。

【0023】

補正画像生成モデル３０ｃは、着色画像における色の色相および彩度を物体毎に変化させることによって、物体毎の色に着色する。このような補正画像生成モデル３０ｃによる着色は、補正画像生成モデル３０ｃの教師データが着色前後の色の変化に応じた画像のペアであることによって実現される（詳細は後述）。

【0024】

本実施形態において、補正画像生成モデル３０ｃは、画像解析システム１０の稼働前に予め機械学習システム１００にて作成され、記憶媒体３０に記憶される。さらに本実施形態においては、予め作成された補正画像生成モデル３０ｃに対して追加の機械学習が行われ、運用過程において補正画像生成モデル３０ｃが更新され得る。補正画像生成モデル３０ｃの作成および更新については後述するが、本実施形態においては、補正画像に基づく物体の検出精度が高くなるように機械学習される。Ｘ線撮影装置４０からＸ線画像データ３０ａが出力され、当該Ｘ線画像データ３０ａに基づいて着色画像データ３０ｂが生成されると、制御部２０は、当該着色画像データ３０ｂを補正画像生成モデル３０ｃに入力し、補正画像を生成する。補正画像を示す補正画像データ３０ｄは、記憶媒体３０に保存される。

【0025】

物体検出部２１ｄは、物体検出モデル３０ｅに対して、補正画像を入力して物体を検出する機能を制御部２０に実行させる。物体検出モデル３０ｅは、補正画像データ３０ｄが示す補正画像を入力し、補正画像に含まれる物体を検出するように機械学習されたモデルである。具体的には、物体検出モデル３０ｅは、入力される補正画像の画素毎の各チャンネルにおける階調値を入力値とし、物体の像を囲む矩形の枠である検出ボックスの位置と、当該検出ボックス内に撮影された物体の種類を示すクラスの信頼度を出力するように機械学習されたモデルである。

【0026】

本実施形態において、物体検出モデル３０ｅは、画像解析システム１０の稼働前に予め機械学習システム１００にて作成され、記憶媒体３０に記憶される。さらに本実施形態においては、予め作成された物体検出モデル３０ｅに対して追加の機械学習が行われ、運用過程において物体検出モデル３０ｅが更新され得る。物体検出モデル３０ｅの作成および更新については後述するが、本実施形態においては、補正画像に基づく物体の検出精度が高くなるように機械学習される。本実施形態において、制御部２０は、補正画像データ３０ｄのそれぞれに対して物体検出モデル３０ｅによる物体検出を行い、物体検出結果を検出データ３０ｆとして記憶媒体３０に記憶させる。

【0027】

出力制御部２１ｅは、各種情報の出力を行う機能を制御部２０に実行させる。本実施形態においては、物体の検出結果の出力や機械学習モデルを更新するための情報の出力が行われる。具体的には、制御部２０は、表示部４１を制御し、物体の検出結果を示す情報を出力させる。この結果、画像解析システム１０のオペレータとしての検査員は、物体の検出結果を視認することができる。物体の検出結果を出力する際の態様は、種々の態様を用いることが可能である。本実施形態においては、補正画像に対して検出された物体を囲む矩形の枠が補正画像に重畳され、検出された物体を示す情報が枠に対応付けられた状態で、表示部４１に表示される。出力制御部２１ｅによって物体の検出結果が表示部４１に表示されると、検査員は、表示内容に基づいて、物体の検出結果を把握することができる。

【0028】

機械学習モデルを更新するための情報の出力先は、機械学習システム１００である。本実施形態において、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅが更新される際には、画像解析システム１０の運用開始後に生成された着色画像データ３０ｂ、補正画像データ３０ｄ、検出データ３０ｆ（後述する検査員による物体検出結果を含む）が参照される。そこで、出力制御部２１ｅは、通信部５０を制御して、これらの情報を機械学習システム１００に送信する。これらの情報は、機械学習モデルの更新の際に参照できるように送信されれば良く、これらの情報が更新される度に随時送信されても良いし、更新が行われる際にまとめて送信されても良い。

【0029】

モデル更新部２１ｆは、物体検出モデル３０ｅによる物体の検出精度が所定の基準より小さい場合に、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを更新する機能を制御部２０に実行させる。すなわち、制御部２０は、物体検出モデル３０ｅによる検出精度を監視し、所定の基準より小さくなる可能性がある場合に、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを更新することで検出精度の低下を防止する。

【0030】

本実施形態においては、物体の検出精度を評価するために検査員自身による物体の検出も行われる。すなわち、本実施形態においては、検査員による物体の検出精度は、物体検出モデル３０ｅによる物体の検出精度よりも高いと推定されている。また、物体検出モデル３０ｅによる物体の検出精度が検査員による物体の検出精度と同等以上であることが望まれる。このため、検査員による物体の検出結果を正解と見なせば、物体検出モデル３０ｅによる物体の検出結果が正確であるか否かを評価することができる。なお、検査員による物体の検出は、機械学習モデルを更新すべきか否かを判定する際に利用される。このため、検査員による物体の検出は、画像解析システム１０の運用中に継続して実施されてもよいし、特定の場合、例えば、機械学習モデルを更新するか否かを判定する処理を行う場合に実施されてもよい。

【0031】

物体の検出に際して検査員は、表示部４１に表示された補正画像を視認し、自らの判断で補正画像に含まれる物体を特定する。そして、検査員は、入力部４２を操作し、検出した物体の位置と、物体の種類と、を入力する。これらの情報の入力態様は、種々の態様であって良く、例えば、物体の像を囲む矩形の枠で位置を指定し、予め決められた物体の種類を示すクラスを選択することで物体の種類を指定する構成等を採用可能である。むろん、他の態様、例えば、物体検出モデル３０ｅによる検出結果の正誤を入力するような態様であっても良い。検査員によって検出結果が入力されると、制御部２０は、入力された情報に対して検査員による検出結果であることを示す情報を対応付け、検出データ３０ｆに追記する。

【0032】

制御部２０は、検出データ３０ｆを参照し、検査員による物体の検出結果と物体検出モデル３０ｅによる物体の検出結果とに基づいて、物体の検出精度を特定する。検出精度は、例えば、物体検出モデル３０ｅによる物体の検出結果が検査員による物体の検出結果に一致している比率を示す一致率等によって評価可能である。本実施形態においては、検出精度の下限値（例えば、８０％等）が所定の基準として予め決められている。そこで、制御部２０は、検出精度と所定の基準とを比較し、検出精度が所定の基準より小さい場合に機械学習モデルを更新すべきと見なす。更新が行われる場合、制御部２０は、通信部５０を介して、機械学習モデルの更新を指示する情報を、機械学習システム１００に送信する。

【0033】

当該指示が行われると、機械学習システム１００は、出力制御部２１ｅの制御によって送信された情報に基づいて、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを更新する。すなわち、荷物検査システムの運用開始後に取得された着色画像を示す着色画像データ３０ｂと、当該着色画像データ３０ｂが示す着色画像を補正画像生成モデル３０ｃに入力して生成した補正画像を示す補正画像データ３０ｄと、検出データ３０ｆが示す検査員による物体の検出結果と、を含む更新用教師データに基づいて補正画像生成モデル３０ｃおよび物体検出モデル３０ｅが機械学習される。機械学習によって得られた補正画像生成モデル３０ｃおよび物体検出モデル３０ｅは、通信部５００を介して画像解析システム１０に送信される。制御部２０は、当該補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを取得し、記憶媒体３０に保存することでこれらのモデルを更新する。

【0034】

以上の構成においては、物体検出精度が高くなるように補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを機械学習する。従って、物体毎の色となるような色の補正と、補正後の物体の検出と、のそれぞれを自動で実施可能になる。さらに、機械学習を進めることで、物体検出の精度を向上させることができる。さらに、以上の構成によれば、物体検出モデル３０ｅによる物体の検出精度が所定の基準より小さい場合に、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅが更新される。このため、物体検出モデル３０ｅによる検出精度が一時的に所定の基準より小さくなったとしても、更新によって物体検出の精度を所定の基準以上に維持することができる。

【0035】

さらに、本実施形態においては、検査員による物体の検査結果に基づいて物体検出モデル３０ｅによる物体の検出精度を評価することができる。また、検査員による物体の検査結果に基づいて更新用教師データを定義することができる。このため、荷物検査システムの運用開始後において、運用開始後に得られた実際のＸ線画像に基づいて、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを更新することが可能である。

【0036】

さらに、本実施形態においては、物体が物体毎の色となるように補正画像が生成される。このため、検出対象の物体が区別しやすい状態となっている。この結果、物体検出モデル３０ｅによる検出精度を容易に向上させることができる。

【0037】

（２）機械学習システムの構成：
次に、機械学習システム１００の構成を説明する。機械学習システム１００は、制御部２００，記憶媒体３００，表示部４１０，通信部５００を備えている。表示部４１０は、画像を表示するディスプレイ装置である。通信部５００は、画像解析システム１０と通信を行う装置である。

【0038】

制御部２００は、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ，ＧＰＵ（Graphics Processing Unit）等を備えており、記憶媒体３００等に記録された各種プログラムを実行することができる。本実施形態において制御部２００は、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅの生成や各種情報の出力を行うための管理プログラム２１０を実行可能である。管理プログラム２１０が実行されると、制御部２０は、機械学習部２１０ａ、物体検出部２１０ｂ、出力制御部２１０ｃとして機能する。

【0039】

機械学習部２１０ａは、ニューラルネットワークを形成する訓練モデルを最適化する機械学習処理を制御部２００に実行させる。本実施形態において、学習対象は補正画像生成モデル３０ｃおよび物体検出モデル３０ｅである。補正画像生成モデル３０ｃは、種々の態様であってよいが、本実施形態においては、pix2pixと呼ばれるモデルを機械学習することが想定されている。

【0040】

図３は、本実施形態における補正画像生成モデルを模式的に示す図である。本実施形態においては、生成モデルＧと識別モデルＤとが訓練モデルとして用意され、敵対的に競わせて交互に学習させる。生成モデルＧは、画像を入力して、他の画像を生成するモデルであり、機械学習が完了すると生成モデルＧが補正画像生成モデル３０ｃとなる。ここでは、生成モデルＧに入力される画像を入力画像Ｉｉ、生成モデルＧから出力される画像を生成画像Ｉｇと呼ぶ。機械学習の際、入力画像Ｉｉと当該入力画像Ｉｉから生成された生成画像Ｉｇとはペアとされる。また、入力画像Ｉｉは複数個用意される。従って、各入力画像Ｉｉのそれぞれに対して、ペアとなる生成画像Ｉｇが存在する。図３の中央上部においては、入力画像Ｉｉと生成画像Ｉｇとがペアになっていることを矢印で示している。なお、図３においては、図面上の色の制限によってグレーで着色画像Ｉｃと生成画像Ｉｇとが表現されているが、着色画像Ｉｃにおいては金属製の物体がほぼ同色で表現されており、生成画像Ｉｇにおいては金属製の物体が物体毎に異なる色で表現されている。

【0041】

識別モデルＤには、２つの画像ペアが入力される。入力される画像ペアは、入力画像Ｉｉと生成画像Ｉｇとのペアであるか、または、教師データ３００ａによって対応づけられた２つの画像のペアである。教師データ３００ａは、物体を材料毎の色に着色した入力画像Ｉｉと、当該入力画像Ｉｉに含まれる色の色相および彩度を物体毎に変化させ、物体毎の色に着色したターゲット画像Ｉｔと、のペアが複数組用意されることによって定義される。本実施形態において、教師データ３００ａに含まれる入力画像Ｉｉは機械学習の際に生成モデルＧに入力される画像でもある。当該入力画像Ｉｉは、Ｘ線画像が着色画像取得部２１ｂの機能によって着色された着色画像Ｉｃでもある。

【0042】

一方、ターゲット画像Ｉｔは、物体が物体毎の色に着色された画像であり、予め生成される。ターゲット画像Ｉｔは、例えば、以下のようにして生成可能である。着色画像に含まれる像が物体毎の像に分類され、各物体の像を構成する各画素の色が、色相および彩度の少なくとも一方が異なる他の色に変換される。この際、同一の物体を構成する画素の色は同一の色となるように変換が行われる。すなわち、同一の物体は同一の色、異なる物体は異なる色となるように、色が変換される。なお、本実施形態においては、着色画像に含まれる任意の材料の物体について、物体毎の色に着色する。このため、検出対象である危険物の材料である特定の材料の物体も、特定の材料ではない物体も、物体毎に着色される。

【0043】

教師データ３００ａにおいても、入力画像Ｉｉとターゲット画像Ｉｔとのペアは複数組用意される。図３の中央下部には、教師データ３００ａにおいて、入力画像Ｉｉとターゲット画像Ｉｔとが対応づけられている様子が矢印によって示されている。

【0044】

教師データ３００ａは、種々の手法で生成されて良い。例えば、実際にＸ線撮影装置４０において複数の荷物のＸ線画像が撮影され、着色画像Ｉｃに変換されることで複数の着色画像Ｉｃが用意される。さらに、着色画像Ｉｃの中から物体が特定され、物体毎に着色が行われることによってターゲット画像Ｉｔが生成される。

【0045】

以上のように教師データ３００ａによって入力画像Ｉｉに対応するターゲット画像Ｉｔが定義されていることを利用して、識別モデルＤは、入力された前記２つの画像ペアが、教師データ３００ａに含まれる組合せであるか否かを識別するように学習される。すなわち、入力される画像ペアが入力画像Ｉｉとターゲット画像Ｉｔである場合、正解ラベルがｒｅａｌ（真）と定義され、入力される画像ペアが入力画像Ｉｉと生成画像Ｉｇとのペアである場合、正解ラベルがｆａｋｅ（偽）と定義される。

【0046】

そして、識別モデルＤは、正解ラベルとして用意されたｒｅａｌ（真）とｆａｋｅ（偽）を使って、入力された画像ペアが、入力画像Ｉｉとターゲット画像Ｉｔのペア（正解ラベルが真）の場合には、出力される識別信号の値がｒｅａｌ（真）を示す値に近くなるように学習される。また、入力された画像ペアが、入力画像Ｉｉと生成画像Ｉｇのペア（正解ラベルが偽）の場合には、出力される識別信号の値がｆａｋｅ（偽）を示す値に近くなるように学習される。

【0047】

さらに、生成モデルＧは、入力画像Ｉｉと生成画像Ｉｇのペアが識別モデルＤに入力された場合に、出力される識別信号の値がｒｅａｌ（真）を示す値に近くなる（生成画像Ｉｇがターゲット画像Ｉｔと誤解される）ように学習される。すなわち、入力画像Ｉｉとしての着色画像Ｉｃが生成モデルＧに入力された場合に生成される生成画像Ｉｇが、ターゲット画像Ｉｔと区別できないほど、生成画像Ｉｇがターゲット画像Ｉｔに近づくように学習が行われる。ターゲット画像Ｉｔは、着色画像Ｉｃに含まれる物体が物体毎の色になるように変換された状態の画像であるため、生成画像Ｉｇとターゲット画像Ｉｔとが区別できないように学習された場合には、生成画像Ｉｇは着色画像Ｉｃに含まれる物体が物体毎の色になるように補正された状態の補正画像Ｉａであると言える。

【0048】

本実施形態においては、生成モデルＧを学習する際、さらに、生成モデルＧによって生成された補正画像Ｉａに基づく物体の検出精度が高くなるように機械学習される。すなわち、生成画像Ｉｇに含まれる物体の検出結果と、入力画像に含まれる物体を示す正解値と、の差が小さくなるように機械学習が行われる。機械学習が完了し、生成画像Ｉｇとターゲット画像Ｉｔとが区別できない状態になると、生成画像Ｉｇは、物体毎の色に着色された補正画像Ｉａであると言えるため、生成モデルＧによって生成された補正画像Ｉａに基づく物体の検出精度が高くなるように機械学習されることになる。

【0049】

以上のような機械学習を行うため、教師データ３００ａは、機械学習が行われる前に予め用意される。教師データ３００ａは、上述のように、複数の組の入力画像Ｉｉとターゲット画像Ｉｔとのペアを含むが、本実施形態においては、さらに、物体検出精度が高くなるように補正画像Ｉａを生成するための情報として、物体検出の正解値も含まれている。

【0050】

正解値は、ターゲット画像Ｉｔに含まれる物体の画像内での位置および物体の種類であるクラスを示す情報である。正解値のフォーマットは種々のフォーマットで良いが、本実施形態においては、物体を囲む正解ボックスの位置とクラスを示す情報によって正解値が構成されている。図３においては、ターゲット画像Ｉｔ内の正解ボックスＢｔが破線で例示されている。矩形の位置は、例えば、対角の位置にある２個の頂点の座標等で表現可能である。クラスは、例えば、レンチ、ペンチ、刃物等の検出対象である危険物の種類に対応付けられた数値等で表現可能である。

【0051】

図４は、本実施形態における物体検出モデル３０ｅを模式的に示す図である。本実施形態における物体検出モデル３０ｅはＳＳＤ（Single Shot Multibox Detector）である。図４の左側に示す入力画像Ｉｉ，生成画像Ｉｇ，教師データ３００ａは、図３に示す画像と同様である。物体検出モデル３０ｅは、画像を入力して、画像内で検出された物体を示す検出ボックスの位置と、当該検出ボックス内に撮影された物体の種類を示すクラスの信頼度を出力するモデルである。本実施形態においては、物体検出モデル３０ｅに対して、生成モデルＧによる生成画像Ｉｇが入力されると、生成画像Ｉｇ内の各物体についての検出結果が、検出ボックスの位置とクラスの信頼度として出力される。図４においては、物体検出モデル３０ｅの右側に、出力される検出ボックスＢ１が例示されている。

【0052】

図５は、物体検出の例を説明する図である。本実施形態における例では、画像内に予め設定されたデフォルトボックスのそれぞれに対応付けられた物体検出結果が出力される。図５に示す例においては、図の最上段に生成画像Ｉｇの例を示し、生成画像Ｉｇに重なるように１６個のデフォルトボックスが設定されている。物体検出部２１０ｂの機能によって物体検出が行われると、デフォルトボックスのそれぞれに含まれる物体についての物体検出結果が出力される。出力フォーマットは限定されないが、本例においては、デフォルトボックスと、検出された物体の像を囲む矩形の枠である検出ボックスと、当該検出ボックス内に撮影された物体の種類を示すクラスの信頼度が出力される。図５においては、実線によってデフォルトボックスを例示し、一点鎖線によって検出ボックスを示している。

【0053】

検出結果を示す情報のフォーマットは限定されないが、例えば、図５におけるデフォルトボックスＤＢ１を例にすると、デフォルトボックスＤＢ１は、重心座標と、ボックスの横幅および高さを示す情報で表現される。検出ボックスＢ１も重心座標と、ボックスの横幅および高さを示す情報で表現されるが、検出ボックスＢ１については、デフォルトボックスＤＢ１の重心座標と検出ボックスＢ１の重心座標との差分、デフォルトボックスＤＢ１の横幅と検出ボックスＢ１の横幅との差分、デフォルトボックスＤＢ１の高さと検出ボックスＢ１の高さとの差分によって表現される。クラスの信頼度は、検出された物体がレンチ、ペンチ、刃物等である可能性が高いほど大きくなるような値で表現される。従って、クラスの信頼度の最大値が基準値以上である場合、当該クラスの物体が検出されたと推定することができる。なお、デフォルトボックスの大きさおよび数は図５に示す例に限定されず、より多くても良いし、少なくても良いし、大きさの異なるデフォルトボックスが併用されても良い。

【0054】

機械学習の際、生成画像Ｉｇは、図４に示すように複数個用意される。従って、各生成画像Ｉｇのそれぞれに対して、検出結果が存在する。本実施形態においては、ターゲット画像Ｉｔ内に含まれる物体の正解値が教師データ３００ａに含まれていることを利用して、機械学習が行われる。

【0055】

具体的には、生成画像Ｉｇを物体検出モデル３０ｅに入力することで得られた物体の検出結果と、教師データ３００ａに含まれる正解値とを対比すれば、生成画像Ｉｇに基づく物体検出の正確性を評価することができる。図５においては、下段にターゲット画像Ｉｔの正解値に対応した正解ボックスを破線で例示している。図５に示す例においては、生成画像Ｉｇの検出ボックスＢ１と正解ボックスＢｔとを対比すれば、検出ボックスＢ１による検出結果が正解値とどの程度近いか評価することができる。物体検出モデル３０ｅは、当該評価を用いて機械学習される。すなわち、入力された生成画像Ｉｇに含まれる物体の検出結果が、教師データ３００ａに含まれる正解値に近くなるように機械学習される。

【0056】

教師データ３００ａが用意されると、当該教師データ３００ａを利用して機械学習を行うことができる。図６は機械学習処理を示すフローチャートである。本実施形態において、機械学習処理は、画像解析システム１０の運用が開始される前に予め実行される。

【0057】

機械学習処理が開始されると、制御部２００は、機械学習部２１０ａの機能により、サイクルをカウントするための変数Cycleを０に初期化し、学習条件を設定する（ステップＳ１００）。ここで、学習条件は、学習のために必要な各種の設定を含み、例えば、生成モデルＧ、識別モデルＤ、物体検出モデル３０ｅの訓練モデルの定義、すなわち、モデルを示すフィルタや活性化関数、損失関数、可変パラメーターの初期値等の設定を含む。また、教師データ３００ａから抽出される訓練データ、テストデータの数等の設定、扱われる画像サイズの設定、Cycleと比較される閾値等を含む。

【0058】

次に、制御部２００は、機械学習部２１０ａの機能により、教師データ３００ａを取得する（ステップＳ１０５）。次に、制御部２００は、機械学習部２１０ａの機能により、生成モデルＧによって生成画像Ｉｇを出力する（ステップＳ１１０）。すなわち、制御部２００は、教師データ３００ａを参照して入力画像Ｉｉを取得し、現時点における生成モデルＧに対して入力して生成画像Ｉｇを取得する。

【0059】

次に、制御部２００は、物体検出部２１０ｂの機能により、物体検出を行う（ステップＳ１１５）。物体検出部２１０ｂの機能は、物体検出部２１ｄの機能と同一である。制御部２００は、ターゲット画像Ｉｔを現時点における物体検出モデル３０ｅに入力し、物体検出を行う。また、制御部２００は、生成画像Ｉｇを現時点における物体検出モデル３０ｅに入力し、物体検出を行う。

【0060】

次に、制御部２００は、機械学習部２１０ａの機能により、ターゲット画像Ｉｔと生成画像Ｉｇとに基づいて画像評価に関する損失l_lossを取得する（ステップＳ１２０）。当該損失は、例えば、公知のＤＣＧＡＮ（Deep Convolutional Generative Adversarial Networks）と同様の手法で取得可能であり、生成画像Ｉｇとターゲット画像Ｉｔとの差を示していればよい。

【0061】

次に、制御部２００は、機械学習部２１０ａの機能により、物体検出結果から検出結果の精度に関する損失E_loss0およびE_loss1を取得する（ステップＳ１２５）。すなわち、制御部２００は、ステップＳ１１５において取得された、ターゲット画像Ｉｔに基づく物体検出結果を正解値と比較する指標を取得し、損失E_loss0を定義する。また、ステップＳ１１５において取得された、生成画像Ｉｇに基づく物体検出結果を正解値と比較する指標を取得し、損失E_loss1を定義する。前者においては、物体検出モデル３０ｅによる物体検出の精度を評価することができ、後者においては、補正画像生成モデル３０ｃによる補正が行われた画像について物体検出モデル３０ｅによって物体検出を行った場合の検出精度を評価することができる。

【0062】

損失は種々の態様で定義されて良いが、例えば、正解値と物体検出結果との間での位置精度とクラス推定精度を評価する指標を取得することで損失を定義することができる。本実施形態においては、当該評価のために、ＩｏＵ（Intersection over Union）が取得される。図７Ａ、図７Ｂは、ＩｏＵを説明するための図である。図７Ａ、図７Ｂにおいては、正解ボックスＢｔを破線で示し、検出ボックスＳＢを一点鎖線で示している。

【0063】

図７Ａにおいては、正解ボックスＢｔと検出ボックスＳＢとが重複する重複部分をグレーで着色して示し、図７Ｂにおいては、正解ボックスＢｔと検出ボックスＳＢとの少なくとも一方に含まれる部分である結合部分をグレーで着色して示している。ＩｏＵは、重複部分の面積／結合部分の面積で定義される。ＩｏＵが大きければ物体検出の精度が高いと推定されるが、ＩｏＵが小さければ物体検出の精度は低いと推定される。

【0064】

ここでは、ＩｏＵが閾値（例えば０．５）以上である場合にその検出ボックスをポジティブボックスと呼び、ＩｏＵが閾値より小さい場合にその検出ボックスをネガティブボックスと呼ぶ。制御部２００は、各デフォルトボックスについて得られた検出ボックスのそれぞれについて、正解ボックスＢｔと比較してＩｏＵを取得する。

【0065】

さらに、制御部２００は、ポジティブボックスを対象として、正解値が示す正解ボックスＢｔの位置と、検出ボックスＳＢの位置との誤差を算出し、誤差を誤差出力制御関数等の活性化関数に代入することにより、位置精度を評価する損失とする。さらに、制御部２００は、ポジティブボックスとネガティブボックスとを対象として、正解値が示すクラスと、検出ボックスＳＢに対応するクラスの信頼度との誤差を、例えば、交差エントロピー等で評価することでクラス推定精度を評価する損失とする。これらの損失には、所定の係数が乗じられ、また、規格化が行われる。制御部２００は、ターゲット画像Ｉｔの全てにおいて、ターゲット画像Ｉｔから得られた物体検出結果に基づいて、上述のＩｏＵの取得と、ＩｏＵに基づく損失の取得を行って、損失の和をE_loss0として取得する。また、制御部２００は、入力画像Ｉｉから得られた生成画像Ｉｇの全てにおいて、生成画像Ｉｇから得られた物体検出結果に基づいて、上述のＩｏＵの取得と、ＩｏＵに基づく損失の取得を行って、損失の和をE_loss1として取得する。

【0066】

次に、制御部２００は、機械学習部２１０ａの機能により、補正画像生成モデル用の合成損失を取得する（ステップＳ１３０）。すなわち、制御部２００は、ステップＳ１２０，Ｓ１２５で取得した損失の和を取得する。次に、制御部２００は、機械学習部２１０ａの機能により、合成損失に基づいてパラメーター調整を行う（ステップＳ１３５）。当該パラメーター調整のアルゴリズムは、公知のアルゴリズムを用いることが可能である。なお、この際、公知のアルゴリズムによって識別モデルＤの機械学習も進められる。すなわち、制御部２００は、生成モデルＧと識別モデルＤとの一方を固定し他方の機械学習を行い、さらに、学習後のパラメーターで他方を固定し、一方を機械学習する。

【0067】

以上の構成によれば、生成画像Ｉｇとターゲット画像Ｉｔとが区別できないように生成モデルＧが学習されていく。生成画像Ｉｇとターゲット画像Ｉｔとが区別できない状態になった場合、生成画像Ｉｇは補正画像Ｉａであると言える。さらに、本実施形態においては、ステップＳ１３０で取得される合成損失に、物体の検出結果の精度に関する損失が含まれるため、生成モデルＧは、生成画像Ｉｇに基づく物体検出の正確性が向上するように学習されていく。このため、本実施形態によれば、補正画像Ｉａに基づく物体検出の正確性が向上するように生成モデルＧが学習される。

【0068】

なお、本実施形態において、損失E_loss0および損失E_loss1、その合成和は、生成モデルＧを機械学習する際に用いられるが、むろん、識別モデルＤを機械学習する際に、損失E_loss0および損失E_loss1、その合成和が用いられても良い。さらに、ステップＳ１３０で合成損失を算出する際に、Ｓ１２０，１２５で取得した値の重み付け加算和に所定のオフセット値をつけてもよい。

【0069】

次に、制御部２００は、機械学習部２１０ａの機能により、物体検出モデル用の合成損失を取得する（ステップＳ１４０）。すなわち、制御部２００は、ステップＳ１２５で取得した損失を取得する。当該損失の算出に際しては、ステップＳ１２５と同等の規格化等が行われるが、その際の係数やオフセットの値等はステップＳ１２５と同一であっても良いし異なっていてもよい。

【0070】

次に、制御部２００は、機械学習部２１０ａの機能により、物体検出モデル用の損失に基づいてパラメーター調整を行う（ステップＳ１４５）。当該パラメーター調整のアルゴリズムは、公知のアルゴリズムを用いることが可能である。すなわち、制御部２００は、ＳＳＤの学習アルゴリズムとして知られている各種の手法を用いて物体検出モデル３０ｅを機械学習する。以上の構成によれば、生成画像Ｉｇによる物体検出結果がターゲット画像Ｉｔに含まれる物体の正解値に近づくように物体検出モデル３０ｅが学習されていく。

【0071】

次に、制御部２００は、損失が予め決められた閾値より小さいか否かを判定する（ステップＳ１５０）。すなわち、制御部２００は、パラメーター調整後の損失が閾値より小さいか否か判定する。パラメーター調整後の損失が閾値より小さいと判定されない場合、制御部２００は、変数Cycleをインクリメントする（ステップＳ１５５）。そして、制御部２００は、変数Cycleが最大値以上であるか否かを判定し（ステップＳ１６０）、変数Cycleが最大値以上であると判定されない場合、ステップＳ１０５以降の処理を繰り返す。

【0072】

一方、ステップＳ１５０において合成損失が予め決められた閾値より小さいと判定された場合、または、ステップＳ１６０において変数Cycleが最大値以上であると判定された場合、制御部２００は、機械学習モデルを記録する（ステップＳ１６５）。すなわち、制御部２００は、訓練後の生成モデルＧを補正画像生成モデル３０ｃとして記憶媒体３００に保存する。また、制御部２００は、訓練後の物体検出モデル３０ｅを記憶媒体３００に保存する。さらに、当該補正画像生成モデル３０ｃおよび物体検出モデル３０ｅは、画像解析システム１０に送信され、記憶媒体３０にも保存される。なお、ステップＳ１６５における補正画像生成モデル３０ｃの保存前に、テストデータによる学習終了の判定が行われてもよい。予定通りに学習が進まなかった場合、学習条件を変えるなどして再度機械学習が行われてもよい。

【0073】

以上の処理によれば、着色画像Ｉｃを補正画像生成モデル３０ｃに入力して出力された補正画像Ｉａに含まれる物体の検出結果と正解値との差が小さくなるように機械学習される。この結果、高精度に物体検出を実行できるように補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを生成することができる。

【0074】

（３）検査処理：
次に、画像解析システム１０において実行される検査処理を図８に示すフローチャートに基づいて説明する。検査処理は、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅが記憶媒体３０に記録された後に実行される。また、利用者が自身の荷物をＸ線撮影装置４０の搬送部に載置すると、荷物が筐体内に搬送され、Ｘ線画像が撮影される。Ｘ線画像が撮影されると、Ｘ線画像を示すＸ線画像データ３０ａがＸ線撮影装置４０から出力される。Ｘ線撮影装置４０からＸ線画像データ３０ａが出力され、記憶媒体３０に保存されると、検査処理が実行される。

【0075】

検査処理が開始されると、制御部２０は、Ｘ線画像取得部２１ａの機能により、Ｘ線画像を取得する（ステップＳ２００）。すなわち、制御部２０は、Ｘ線撮影装置４０から出力されるＸ線画像を示すＸ線画像データ３０ａを記憶媒体３０に記憶させる。異なるエネルギーのＸ線画像に基づいて材料の識別が実施される場合、異なるエネルギーによって同一の荷物を撮影した複数のＸ線画像を示すＸ線画像データ３０ａが取得される。

【0076】

次に、制御部２０は、着色画像取得部２１ｂの機能により、Ｘ線画像に基づいて材料識別を行う（ステップＳ２０５）。すなわち、制御部２０は、ステップＳ２００で取得したＸ線画像に基づいて、Ｘ線画像に含まれる物体の像を材料毎の像に分類する。例えば、材料の識別が異なるエネルギーのＸ線画像に基づいて実施される場合、各Ｘ線画像の差分に基づいて物体の像が材料毎に分類される。次に、制御部２０は、着色画像取得部２１ｂの機能により、着色画像を取得する（ステップＳ２１０）。すなわち、制御部２０は、ステップＳ２０５における材料の識別結果に基づいて、ステップＳ２００で取得したＸ線画像を材料毎の色に着色する。取得された着色画像は着色画像データ３０ｂとして記憶媒体３０に保存される。

【0077】

次に、制御部２０は、補正画像生成部２１ｃの機能により、ステップＳ２１０で取得した着色画像を補正画像生成モデル３０ｃに入力する（ステップＳ２１５）。次に、制御部２０は、補正画像生成部２１ｃの機能により、補正画像を取得する（ステップＳ２２０）。すなわち、制御部２０は、補正画像生成モデル３０ｃから出力された生成画像Ｉｇを補正画像Ｉａとみなし、当該補正画像Ｉａを示す補正画像データ３０ｄを記憶媒体３０に記憶させる。

【0078】

次に、制御部２０は、物体検出部２１ｄの機能により、補正画像Ｉａに含まれる物体の検出を行う（ステップＳ２２５）。すなわち、制御部２０は、ステップＳ２２０で取得された補正画像Ｉａを物体検出モデル３０ｅに入力し、物体検出結果を示す検出データ３０ｆを生成し、記憶媒体３０に記憶させる。

【0079】

次に、制御部２０は、出力制御部２１ｅの機能により、補正画像Ｉａを表示する（ステップＳ２３０）。すなわち、制御部２０は、表示部４１を制御し、補正画像データ３０ｄが示す補正画像Ｉａを表示させる。以上の構成によれば、検査員は、物体毎の色に着色された補正画像Ｉａを視認することができる。

【0080】

次に、制御部２０は、モデル更新部２１ｆの機能により、検査員による検出結果の入力を受け付ける（ステップＳ２３５）。すなわち、検査員は、表示部４１に表示された補正画像に含まれる物体を検出し、入力部４２を操作して、検出結果を入力する。制御部２０は、入力された検出結果を取得し、検査員による検出結果であることを示す情報を対応付け、検出データ３０ｆに追記する。

【0081】

次に、制御部２０は、モデル更新部２１ｆの機能により、検出結果の一致率を取得する（ステップＳ２４０）。具体的には、制御部２０は、検出データ３０ｆを参照し、物体検出モデル３０ｅによる物体の検出結果と、検査員による物体の検出結果と、を取得する。一致率は、物体検出モデル３０ｅによる物体の検出結果が検査員による物体の検出結果に一致している比率であり、種々の手法で取得可能である。例えば、検査員による物体の検出数を分母とし、物体検出モデル３０ｅによる検出結果において物体の位置とクラスとの双方が一致する物体の数を分子とするような手法を採用可能である。むろん、物体の位置が一致するか否かを判定する際には、一定値以下のずれは許容され、一致すると見なされても良い。また、物体検出モデル３０ｅによる検出結果において物体の位置とクラスが、検査員による検出結果に一致する度合いが高いほど一致率が高くなるように、各物体の一致度合いを評価しても良い。

【0082】

検出結果の一致率が取得されると、制御部２０は、モデル更新部２１ｆの機能により、一致率が所定の基準以上であるか否かを判定する（ステップＳ２４５）。すなわち、制御部２０は、物体検出モデル３０ｅによる検出精度が所望の精度以上になっているか否か判定する。

【0083】

ステップＳ２４５において、一致率が所定の基準以上であると判定された場合、制御部２０は、出力制御部２１ｅの機能により、物体の検出結果を表示する（ステップＳ２５０）。すなわち、一致率が所定の基準以上である場合、制御部２０は、物体検出モデル３０ｅによる検出結果が信頼できるとみなし、表示部４１を制御して検出データ３０ｆが示す物体検出モデル３０ｅによる物体の検出結果を表示させる。この結果、検査員は、物体の検出結果を視認することができる。むろん、表示態様は一例であり、検査員による検出結果が表示されても良いし、物体検出モデル３０ｅと検査員とで検出結果が一致しない物体が強調されるなどの処理が行われてもよい。

【0084】

次に、制御部２０は、検出データ３０ｆを参照し、特定種別の物体が存在するか否か判定する（ステップＳ２５５）。すなわち、制御部２０は、検出データ３０ｆが示す検出結果から物体の種別を示すクラスを特定し、予め決められた特定種別を示すクラスが存在するか否か判定する。なお、特定種別は警告の対象となる物体の種別であり、本実施形態においては、危険物である刃物等が該当する。

【0085】

ステップＳ２５５において、特定種別の物体が存在すると判定された場合、制御部２０は、出力制御部２１ｅの機能により、警告を出力する（ステップＳ２６０）。具体的には、制御部２０は、表示部４１を制御し、荷物に特定種別の物体が含まれることを示す警告情報を表示させる。検査員は、当該警告に応じて利用者に荷物の開示を要求するなど、所定の応対を行う。ステップＳ２５５において、特定種別の物体が存在すると判定されない場合、制御部２０は、ステップＳ２６０をスキップする。検査処理が終了すると、制御部２０は、待機し、次のＸ線画像が取得されるとステップＳ２００以降の処理を実行する。

【0086】

一方、ステップＳ２４５において、一致率が所定の基準以上であると判定されない場合、制御部２０は、出力制御部２１ｅの機能により、検査員による検出結果を表示する（ステップＳ２６５）。すなわち、一致率が所定の基準より小さく、物体の検出精度が所望の精度以上になっていない場合、制御部２０は、物体検出モデル３０ｅによる検出結果より、検査員による検出結果の方が、信頼性が高いと見なす。そして、制御部２０は、表示部４１を制御して検出データ３０ｆが示す検査員による物体の検出結果を表示させる。この結果、検査員は、自身による物体の検出結果を視認することができる。この場合、特定種別の物体が存在するか否かは検査員自身によって判断される。むろん、表示態様は一例であり、物体検出モデル３０ｅによる検出結果が表示されても良いし、物体検出モデル３０ｅと検査員とで検出結果が一致しない物体が強調されるなどの処理が行われてもよい。

【0087】

次に、制御部２０は、一致率が所定の基準以上にならなかった回数が所定回数以上あったか否か判定する（ステップＳ２７０）。すなわち、一致率が所定の基準以上にならなかった場合、そのたびに、回数がカウントアップされていく。また、所定回数は、検出精度が所望の精度以上にならなかった回数を確認するための値であり、本実施形態においては、一致率が所定の基準以上にならなかった回数が所定回数以上となった場合に、検出精度が所望の精度以上になっておらず、機械学習モデルを更新すべきと見なされる。

【0088】

ステップＳ２７０において、一致率が所定の基準以上にならなかった回数が所定回数以上あったと判定された場合、制御部２０は、モデル更新部２１ｆの機能により、機械学習モデル更新処理（ステップＳ２７５）を実行し、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅの更新を行う。具体的には、制御部２０は、機械学習システム１００に対して機械学習モデルの更新を指示する。この結果、機械学習システム１００においては、後述する図９に示す機械学習モデル更新処理を実行する。なお、機械学習モデルの更新処理が行われると、一致率が所定の基準以上にならなかった回数のカウント数は０に初期化される。ステップＳ２７０において、一致率が所定の基準以上にならなかった回数が所定回数以上あったと判定されない場合、制御部２０は、ステップＳ２７５をスキップする。

【0089】

（４）機械学習モデル更新処理：
図９は、機械学習モデル更新処理のフローチャートである。機械学習モデル更新処理は、上述のステップＳ２７５において、制御部２０が機械学習システム１００に更新を指示することによって開始される。但し、当該機械学習モデル更新処理の開始前に、機械学習システム１００は、着色画像データ３０ｂ、補正画像データ３０ｄ、検出データ３０ｆを画像解析システム１０から収集する。すなわち、画像解析システム１０の運用が開始されると、荷物の検査が行われる度に着色画像データ３０ｂ、補正画像データ３０ｄ、検出データ３０ｆが増加していく。画像解析システム１０は、任意のタイミングで着色画像データ３０ｂ、補正画像データ３０ｄ、検出データ３０ｆを機械学習システム１００に送信する。機械学習システム１００は、最後の更新後に収集された着色画像データ３０ｂ、補正画像データ３０ｄ、検出データ３０ｆに基づいて機械学習モデル更新処理を実行する。

【0090】

機械学習モデル更新処理は、図６に示す機械学習処理と類似の処理であり、一部が異なっている。また、機械学習モデル更新処理に用いられる教師データは、教師データ３００ａではなく、更新用教師データ３００ｂである。機械学習モデル更新処理においては、図６に示すステップＳ１０５の変わりにステップＳ１０７が実行され、当該ステップＳ１０７において更新用教師データ３００ｂが生成される。

【0091】

図１０は、更新用教師データ３００ｂを説明するための図である。更新用教師データ３００ｂは、画像解析システム１０の運用開始後に収集された着色画像データ３０ｂ、補正画像データ３０ｄ、検出データ３０ｆに基づいて生成される。図１０においては、運用開始後に撮影されたＸ線画像に基づいて取得された着色画像データ３０ｂが示す複数の着色画像Ｉｃを、図面の上部に示している。また、図１０においては、当該着色画像Ｉｃを補正することによって生成された補正画像データ３０ｄが示す複数の補正画像Ｉａを、図面の下部に示している。さらに、図１０においては、当該補正画像Ｉａに基づいて生成された検出データ３０ｆが示す検査員による物体の検出結果を、補正画像Ｉａに重畳した破線の矩形で示している。

【0092】

補正画像Ｉａは、着色画像Ｉｃから生成されるため、生成元の着色画像Ｉｃと生成された補正画像Ｉａとをペアにすると、複数の着色画像Ｉｃのそれぞれと補正画像Ｉａのそれぞれとがペアになり、複数のペアが得られる。そして、各ペアには、各ペアに属する補正画像Ｉａに含まれる物体の検出結果が対応付けられている。従って、以上のような、着色画像Ｉｃと補正画像Ｉａとのペアと、各画像の検出結果とをセットにすると、図４に示す教師データ３００ａと同様のデータセットが生成される。本実施形態において制御部２００は、このようにして生成されたデータセットを更新用教師データ３００ｂとして記憶媒体３００に保存する。

【0093】

以上の処理によってステップＳ１０７において更新用教師データ３００ｂが生成されると、次に、ステップＳ１１０以降の処理が実行されるが、当該処理は図６に示す機械学習処理とほぼ同様である。但し、機械学習モデル更新処理において参照される教師データは更新用教師データ３００ｂであるため、制御部２００は、補正画像データ３０ｄが示す補正画像Ｉａをターゲット画像Ｉｔとする。また、生成画像Ｉｇは、着色画像データ３０ｂが示す着色画像Ｉｃを更新中の補正画像生成モデル３０ｃに入力して生成した補正画像Ｉａである。

【0094】

そして、制御部２００は、ステップＳ１１０～Ｓ１６０の機械学習処理を経て、ステップＳ１６５において、訓練中の生成モデルＧによって既存の補正画像生成モデル３０ｃを更新する。また、訓練中の物体検出モデル３０ｅによって既存の物体検出モデル３０ｅを更新する。さらに、制御部２００は、通信部５００を介して補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを画像解析システム１０に送信し、記憶媒体３０に記憶された補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを更新させる。

【0095】

以上の処理によれば、当初の補正画像生成モデル３０ｃおよび物体検出モデル３０ｅによる物体検出の精度が一時的に低下したとしても、新たに取得されたＸ線画像および検査員による検出結果に基づいて、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅが更新されるため、物体検出の精度を回復させることができる。従って、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅが更新されない構成と比較して、荷物検査システムのメンテナンス作業を削減することが可能である。また、本実施形態に係る荷物検査システムでは、表示部４１，４１０に、３チャンネルの階調値で色を表現するカラー表示装置を使用している。このため、上述の実施形態において、着色画像は、３チャンネルの階調値で表現されたカラー画像である。当該実施形態は一例であり、例えば、より多チャンネル表示が可能な表示装置を用いて荷物検査システムを構成することも可能である。この場合、着色画像は、表示可能なチャンネル数や階調レベルに合わせた画像が採用される。このため、補正画像やターゲット画像等の各画像も同様なチャンネル数や階調レベルに合わせた画像が採用される。

【0096】

（５）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、画像解析システム１０や機械学習システム１００は、複数の装置によって実現されても良い。また、機械学習は、画像解析システム１０で実施されてもよいし、他の装置、例えば、クラウドサーバや持ち運び可能な端末等で実施されてもよい。画像解析システム１０においても機械学習が実行可能であれば、例えば、画像解析システム１０が設置された各現場で撮影されたＸ線画像を利用した追加学習が可能である。

【0097】

持ち運び可能な端末で機械学習が可能である場合、当該端末を機械学習システム１００とし、任意の場所で機械学習を行うことができる。従って、画像解析システム１０が設置された現場やその付近において、機械学習を行うことが可能であり、学習した補正画像生成モデル３０ｃおよび物体検出モデル３０ｅをリムーバブルメモリや有線通信、無線通信等の任意の手段によって画像解析システム１０に転送し、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを更新することができる。この構成であれば、画像解析システム１０が、機械学習システム１００等のコンピュータと遠隔通信可能に接続されていない状態であっても、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを更新し、更新後の補正画像生成モデル３０ｃおよび物体検出モデル３０ｅによって荷物を検査することができる。

【0098】

さらに、Ｘ線画像取得部２１ａ、着色画像取得部２１ｂ、補正画像生成部２１ｃ、物体検出部２１ｄ、出力制御部２１ｅ、モデル更新部２１ｆの少なくとも一部が複数の装置に分かれて存在してもよい。また、機械学習部２１０ａ、物体検出部２１０ｂ、出力制御部２１０ｃの少なくとも一部が複数の装置に分かれて存在しても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。例えば、Ｘ線画像を入力して異なる物体を異なる色に着色した補正画像を生成するように補正画像生成モデルを機械学習すれば、着色画像取得部を省略した荷物検査システムを構築することができる。

【0099】

Ｘ線画像取得部は、検査対象の荷物に照射されたＸ線の透過量を示すＸ線画像を取得することができればよい。従って、荷物にＸ線を照射し、Ｘ線画像を撮影するＸ線撮影装置は、荷物検査システムと一体であっても良いし、別の装置として構成されても良い。検査対象の荷物は、任意の物体を含み得る検査単位であり、検査単位は任意の態様であってよい。例えば、複数の物体が含まれ得る鞄が検査対象の荷物であっても良いし、布や樹脂の袋によって運ばれる荷物や鞄等に入れられることなく手で運ばれている荷物が検査対象となっても良い。むろん、荷物以外の物体が検査対象となっても良いが、荷物検査システムは、複数の物体が重なり得る荷物が検査対象となり得るシステムであり、複数の物体が重なり得る荷物が検査対象となる場合に、機械学習モデルによる物体検出による検査が特に有用となる。

【0100】

Ｘ線画像は、Ｘ線の透過量を示していれば良い。すなわち、荷物に含まれる物体を透過するＸ線の透過量は物体の材料の種類や厚さ等に応じて変化するため、当該材料の種類や厚さに応じて減衰した透過Ｘ線がＸ線センサで検出されて取得された画像がＸ線画像である。

【0101】

着色画像取得部は、Ｘ線画像に含まれる物体を、物体の材料毎の色に着色した着色画像を取得することができればよい。Ｘ線画像を着色するための手法は、上述の手法に限定されず、種々の手法が用いられて良い。例えば、グレースケールのＸ線画像を入力とし、材料毎の色に着色された着色画像を出力する機械学習モデルを利用して着色画像を生成しても良い。材料毎の色への着色は、種々の手法で実施されてよい。例えば、検出対象の材料と他の材料とを区別するように着色されても良いし、Ｘ線の透過量の差異が材料の差異であると見なされ、透過量の差異を強調する着色が行われてもよい。

【0102】

補正画像生成部は、着色画像を入力して異なる物体を異なる色に着色した補正画像を生成するように機械学習された補正画像生成モデルに対して、着色画像を入力して補正画像を生成することができればよい。補正画像生成モデルは、着色画像を補正画像に変換するように機械学習することができればよく、入力および出力のフォーマットは限定されず、各種の態様の画像が入力され、出力されて良い。すなわち、着色画像や補正画像の大きさは限定されないし、着色画像は、各種の前処理が行われた画像であっても良い。着色画像と補正画像のフォーマットは同一であってもよいし、異なっていてもよい。

【0103】

機械学習によって生成される補正画像生成モデルは、着色画像を補正画像に変換するモデルであれば良く、上述の構成以外にも種々の構成を採用可能である。すなわち、機械学習モデルは、ＤＣＧＡＮの各種態様やそれらの派生の態様、conditional GAN等で得られる画像－画像変換モデルであってもよい。

【0104】

物体検出部は、補正画像を入力して補正画像に含まれる物体を検出するように機械学習された物体検出モデルに対して、補正画像を入力して物体を検出することができればよい。物体検出モデルは、補正画像を入力して物体を検出するように機械学習することができればよく、入力および出力のフォーマットは限定されず、各種の態様の画像が入力され、各種の態様で物体の検出結果が出力されて良い。すなわち、補正画像の大きさは限定されないし、補正画像は、各種の前処理が行われた画像であっても良い。物体検出の出力態様としても、検出された物体を示す枠とラベルとの組合せに限定されない。

【0105】

機械学習によって生成される物体検出モデルは、補正画像に基づいて物体検出の結果を出力するモデルであれば良く、上述の構成以外にも種々の構成を採用可能である。すなわち、機械学習モデルは、上述のＳＳＤに限定されず、ＹＯＬＯ（You Only Look Once）や領域ベースの畳み込みニューラルネットワークＲ－ＣＮＮ(Region Based Convolutional Neural Networks)等、各種のモデルを用いることが可能である。また、図５では、生成画像Ｉｇを重なりのない１６個のデフォルトボックスに分割した例について示したが、他の構成が採用されてもよい。例えば、大きさが異なる複数のデフォルトボックス群をさらに加えてもよい。また、デフォルトボックス同士が重なっている例を加えてもよい。

【0106】

補正画像生成モデルや物体検出モデルを生成するための機械学習の態様は限定されず、例えばニューラルネットワークを構成する層の数やノードの数、活性化関数の種類、損失関数の種類、勾配降下法の種類、勾配降下法の最適化アルゴリズムの種類、ミニバッチ学習の有無やバッチの数、学習率、初期値、過学習抑制手法の種類や有無、畳み込み層の有無、畳み込み演算におけるフィルタのサイズ、フィルタの種類、パディングやストライドの種類、プーリング層の種類や有無、全結合層の有無、再帰的な構造の有無など、種々の要素を適宜選択して機械学習が行われればよい。むろん、他の機械学習、例えば、サポートベクターマシンやクラスタリング、強化学習等によって学習が行われてもよい。さらに、モデルの構造（例えば、層の数や層毎のノードの数等）が自動的に最適化される機械学習が行われてもよい。各種パラメーターの態様としても、各種の態様を採用可能である。例えば、識別モデルＤから出力される識別信号の範囲は０～１に限定されず、０～１００等の範囲であっても良い。

【0107】

補正画像は、検出対象となる特定の材料の物体について物体毎の色に着色した画像であれば良い。従って、上述の実施形態においては、特定の材料の物体も、特定の材料ではない物体も、物体毎に着色されていたが、特定の材料ではない物体については、物体毎の色に着色されなくても良い。

【0108】

このような構成は、以下のような教師データ３００ａを用いることによって実現可能である。具体的には、教師データ３００ａが生成される際に、物体を材料毎の色に着色した着色画像から特定の材料に対応した色が抽出され、当該色で表現された像が物体毎の像に分類され、各物体の色の色相および彩度が伸張されるなどして他の色に変換される。この結果、物体毎の色に着色されたターゲット画像Ｉｔと、元の着色画像と、のペアが複数組用意されることによって教師データ３００ａが定義される。以上の構成によれば、検出対象となる特定の材料（危険物の材料等）の物体が物体毎の色となるように補正画像が生成される。このため、検出対象の物体が区別しやすい状態となっている。この結果、物体検出モデル３０ｅによる検出精度を容易に向上させることができる。

【0109】

モデル更新部は、物体検出モデルによる物体の検出精度が所定の基準より小さい場合に、補正画像生成モデルおよび物体検出モデルを更新することができればよい。すなわち、モデル更新部は、検出精度が所定の基準より小さい場合に、検出精度が向上すると推定できるモデルによって補正画像生成モデルおよび物体検出モデルを更新することができればよい。検出精度が向上すると推定できるモデルとしては、予め用意された未学習の教師データを用いた追加の機械学習が行われたモデルや、荷物検査システムの運用過程で取得されたＸ線画像に基づいて生成された未学習の教師データを用いた追加の機械学習が行われたモデルが挙げられる。所定の基準は、物体の検出精度が満たすべき最低限の精度であり、予め決められていれば良い。また、所定の基準は、荷物検査システムの用途や使用場所、時間帯など、各種の条件に応じて変化しても良い。

【0110】

補正画像生成モデルおよび物体検出モデルの更新は、同時に実施されてもよいし、異なるタイミングで片方ずつ実施されてもよい。また、各モデルの更新は、物体の検出精度が向上するように実施されればよく、更新前までの機械学習で用いられなかった未学習の教師データを用いて、または、更新前までの機械学習で用いられなかった未学習の教師データを既存の教師データに追加して再学習が行われればよい。再学習は、荷物検査システムで実施されてもよいし、荷物検査システムと異なる装置で実施されてもよい。

【0111】

入力部は、Ｘ線画像、着色画像、補正画像の少なくとも一つに基づいて検査員が検出した物体を入力することができればよい。従って、上述の実施形態のように、補正画像を視認した検査員が検出した物体を入力する構成に限定されず、Ｘ線画像、着色画像のいずれかを視認した検査員が入力を行っても良いし、複数の画像を視認した検査員が入力を行っても良い。検出した物体を入力するための態様は、限定されず、種々の態様であって良い。すなわち、教師データのラベルとなり得るように、検出された物体と、物体のラベルとを少なくとも含むように入力が実施されればよい。

【0112】

また、上述の実施形態において識別モデルＤの出力は１個の出力であるが、識別モデルＤの態様はこの態様に限定されない。例えば、識別モデルＤから２個の出力が得られるようにモデルを定義し、一方において偽の確度を表す値を出力し、他方において真の確度を表す値を出力する構成としても良い。この場合、識別モデルＤおよび生成モデルＧの学習時には、２出力からなるベクトルと、対応するターゲットベクトル間の差分量を逆伝搬し、上述の実施形態と同じように学習が実行される。

【0113】

上述の実施形態においては、検査員による物体の検出結果と物体検出モデル３０ｅによる物体の検出結果とを比較することによって、物体検出モデルによる物体の検出精度が特定されたが、物体の検出精度は種々の手法で定義されて良い。例えば、予め用意された着色画像と当該着色画像に含まれる物体の種別の正解値とに基づいて、物体検出モデル３０ｅによる物体の検出精度が評価されても良い。

【0114】

図１１は、予め用意された着色画像と当該着色画像に含まれる物体の種別の正解値とに基づいて、物体の検出精度を評価する場合の検査処理の例を示すフローチャートである。図１１に示す検査処理の一部は、図８に示す検査処理と同様の処理である。図１１において、図８と同様の処理は同一の符号で示してある。すなわち、図１１に示す検査処理において、ステップＳ２００～Ｓ２２５は図８と同様の処理である。

【0115】

図１１に示す検査処理においては、ステップＳ２２５の後に図８に示すステップＳ２３０～Ｓ２４５をスキップする。従って、図１１に示す検査処理においては、ステップＳ２２５において補正画像に含まれる物体の検出が行われると、ステップＳ２５０において当該物体の検出結果が表示される。そして、ステップＳ２５５においては、物体の検出結果に基づいて特定種別の物体が存在するか否か判定され、特定種別の物体が存在すると判定された場合、ステップＳ２６０において警告が出力される。

【0116】

警告が出力された場合、または、特定種別の物体が存在すると判定されない場合、制御部２０は、モデル更新部２１ｆの機能により、基準回数以上検査したか否か判定する（ステップＳ２６２）。すなわち、物体検出モデル３０ｅによる物体の検出が行われる度に、その数が検査回数としてカウントアップされていく。本実施形態においては、機械学習モデルの更新後の検査回数が基準回数以上となった場合に、更新を行うべきか否かの判定処理を開始するように構成されている。このため、ステップＳ２６２において、基準回数以上検査したと判定された場合、制御部２０は、ステップＳ２６４以降の処理を実行する。基準回数以上検査したと判定されない場合、制御部２０は、ステップＳ２６４以降の処理をスキップする。なお、本実施形態においても、機械学習モデルの更新処理が行われると、検査回数は０に初期化される。

【0117】

ステップＳ２６４において、制御部２０は、補正画像生成部２１ｃの機能により、予め用意された着色画像を、更新前の補正画像生成モデル３０ｃに入力する。ここで、当該着色画像は、機械学習モデル更新処理が行われる前に予め用意された複数の着色画像であり、各着色画像に含まれる物体の位置と、物体の種類を示すクラスが対応付けられている。さらに、当該着色画像は、更新前の補正画像生成モデル３０ｃおよび物体検出モデル３０ｅの機械学習に用いられていない、すなわち、未学習のデータである。

【0118】

着色画像は、物体を含む荷物のＸ線画像を材料毎の色に着色した画像であれば良いが、物体検出モデル３０ｅによる物体の検出精度を評価しやすい画像であるとより好ましい。例えば、物体検出モデル３０ｅによる物体の誤認識が発生しやすい着色画像が検出精度を評価しやすい画像に該当する。より具体的には、複数の物体が隣接している画像や複数の物体が重なり合っている画像、複数の種類の物体が含まれる画像を用いることにより、検出精度を評価しやすくなる。

【0119】

ステップＳ２６４において、予め用意された複数の着色画像のそれぞれが、更新前の補正画像生成モデル３０ｃに入力されると、複数の補正画像が生成される。制御部２０は、補正画像生成部２１ｃの機能により、当該複数の補正画像を取得する（ステップＳ２６６）。すなわち、制御部２０は、ステップＳ２６４の処理により、補正画像生成モデル３０ｃから出力された補正画像を示すデータを記憶媒体３０に記憶させる。

【0120】

次に、制御部２０は、物体検出モデル３０ｅの機能により、複数の補正画像に含まれる物体の検出を行う（ステップＳ２６８）。すなわち、制御部２０は、ステップＳ２６６で取得された複数の補正画像のそれぞれを物体検出モデル３０ｅに入力し、各補正画像に含まれる物体の検出結果を示すデータを生成し、着色画像に対応付けて記憶媒体３０に記憶させる。

【0121】

次に、制御部２０は、モデル更新部２１ｆの機能により、誤判定率が基準閾値以下であるか否かを判定する（ステップＳ２７２）。誤判定率は、ステップＳ２６８における物体の検出結果が誤りである比率である。そこで、制御部２０は、ステップＳ２６４で補正画像生成モデル３０ｃに入力された複数の着色画像に対応付けられた物体の位置および種別の正解値と、ステップＳ２６８において更新前の補正画像生成モデル３０ｃによって検出された物体の位置および種別とを比較し、正解値と異なる検出結果を誤りとしてカウントする。そして、制御部２０は、ステップＳ２６４で補正画像生成モデル３０ｃに入力された複数の着色画像に対応付けられた物体の数によって、誤りの数を除することによって誤判定率を取得する。

【0122】

基準閾値は、誤判定率の上限値として予め決められた値である。このため、ステップＳ２７２において、誤判定率が基準閾値以下であると判定されない場合、制御部２０は、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを更新する必要があると判定し、ステップＳ２７５を実行する。ステップＳ２７５は、図９に示す処理と同様であって良い。一方、ステップＳ２７２において、誤判定率が基準閾値以下であると判定された場合、制御部２０は、補正画像生成モデル３０ｃおよび物体検出モデル３０ｅを更新する必要がないと判定し、ステップＳ２７５をスキップする。

【0123】

さらに、本発明のように、物体検出モデルによる物体の検出精度が所定の基準より小さい場合に、補正画像生成モデルおよび前記物体検出モデルを更新する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

【符号の説明】

【0124】

１０…画像解析システム、２０…制御部、２１…画像解析プログラム、２１ａ…Ｘ線画像取得部、２１ｂ…着色画像取得部、２１ｃ…補正画像生成部、２１ｄ…物体検出部、２１ｅ…出力制御部、２１ｆ…モデル更新部、３０…記憶媒体、３０ａ…Ｘ線画像データ、３０ｂ…着色画像データ、３０ｃ…補正画像生成モデル、３０ｄ…補正画像データ、３０ｅ…物体検出モデル、３０ｆ…検出データ、４０…Ｘ線撮影装置、４１…表示部、４２…入力部、５０…通信部、１００…機械学習システム、２００…制御部、２１０…管理プログラム、２１０ａ…機械学習部、２１０ｂ…物体検出部、２１０ｃ…出力制御部、３００…記憶媒体、３００ａ…教師データ、３００ｂ…更新用教師データ、４１０…表示部、５００…通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】