特許 7360841 Ｘ線画像処理システムおよびその方法、そのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-04

(45)【発行日】2023-10-13

(54)【発明の名称】Ｘ線画像処理システムおよびその方法、そのプログラム

(51)【国際特許分類】

   G06T 5/50 20060101AFI20231005BHJP

   G01N 23/087 20180101ALI20231005BHJP

【ＦＩ】

G06T5/50

G01N23/087

【請求項の数】 12

(21)【出願番号】P 2019147053

(22)【出願日】2019-08-09

(65)【公開番号】P2021026742

(43)【公開日】2021-02-22

【審査請求日】2021-11-15

(73)【特許権者】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】秋良 直人

【審査官】粕谷 満成

(56)【参考文献】

【文献】特開２０１８－００４３６３（ＪＰ，Ａ）

【文献】特開２０１０－２３０５３２（ＪＰ，Ａ）

【文献】BASTAN, Muhammet，Multi-view object detection in dual-energy X-ray images，Machine Vision and Applications，米国，Springer Berlin Heidelberg，2015年11月01日，26 (7-8)，p.1045 - 1060，https://link.springer.com/article/10.1007/s00138-015-0706-x

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／５０

Ｇ０１Ｎ ２３／０８７

(57)【特許請求の範囲】

【請求項1】

データを処理する処理部と、記憶部を有する処理装置を用いて、Ｘ線画像を処理するＸ線画像処理システムであって、
前記処理部は、
複数のセンサにより複数のＸ線透過量データを取得する取得部と、
該取得された複数のＸ線透過量データの差分を基に、画素単位で画像の材質を判定して、対象物の材質に応じてカラー画像を生成する画像生成部と、
生成された前記カラー画像を基に、画素単位で物品を認識する認識部と、
前記Ｘ線透過量データを用いて背景画像と物品画像の合成を行う合成部と、を有し、
生成された前記カラー画像と前記Ｘ線透過量データとを前記記憶部に記憶し、
背景の単位として同じ荷物に含まれる前記物品の情報を前記記憶部に記憶し、
前記合成部は、前記記憶部に記憶された物品の情報に基づいて、背景となる複数の透過量データと物品の複数の透過量データを画素単位で合成する、
ことを特徴とするＸ線画像処理システム。

【請求項2】

データを処理する処理部と、記憶部を有する処理装置を用いて、Ｘ線画像を処理するＸ線画像処理システムであって、
前記処理部は、
複数のセンサにより複数のＸ線透過量データを取得する取得部と、
該取得された複数のＸ線透過量データの差分を基に、画素単位で画像の材質を判定して、対象物の材質に応じてカラー画像を生成する画像生成部と、
生成された前記カラー画像を基に、画素単位で物品を認識する認識部と、
前記Ｘ線透過量データを用いて背景画像と物品画像の合成を行う合成部と、を有し、
生成された前記カラー画像と前記Ｘ線透過量データとを前記記憶部に記憶し、
背景の単位として同じ荷物に含まれる前記物品の情報を前記記憶部に記憶し、
前記合成部は、前記記憶部に記憶された物品の情報に基づいて、前記Ｘ線透過量データを用いて前記荷物の画像と前記物品画像を合成する、
ことを特徴とするＸ線画像処理システム。

【請求項3】

前記取得部により取得される前記荷物ごとに、該荷物に含まれる物品の個数を登録する第１のテーブルと、
前記認識部により認識された物品の画像情報と透過量データを関連付けて登録する第２のテーブルと、を前記記憶部に有し、
前記合成部は、前記第１のテーブルを参照して、物品の組合せの頻度の高い物品の組合せについて、前記第２のテーブルから物品の画像情報を選択して、画像の合成を行う、
請求項１または２に記載のＸ線画像処理システム。

【請求項4】

前記合成部により生成されたカラー画像を学習データとして用いる、
請求項１または２に記載のＸ線画像処理システム。

【請求項5】

データを処理する処理部と、記憶部を有する処理装置を用いて、Ｘ線画像を処理するＸ線画像処理方法であって、
複数のセンサにより複数のＸ線透過量データを取得するステップと、
該取得された複数のＸ線透過量データの差分を基に、画素単位で画像の材質を判定するステップと、
前記Ｘ線透過量データを基に、対象物の材質に応じてカラー画像を生成するステップと、
生成された前記カラー画像を基に、画素単位で物品を認識する認識ステップと、
前記Ｘ線透過量データを用いて背景画像と物品画像の合成を行う合成ステップと、を有し、
生成された前記カラー画像と前記Ｘ線透過量データとを前記記憶部に記憶し、
背景の単位として同じ荷物に含まれる前記物品の情報を前記記憶部に記憶し、
前記合成ステップは、前記記憶部に記憶された物品の情報に基づいて、背景となる複数の透過量データと物品の複数の透過量データを画素単位で合成する、
ことを特徴とするＸ線画像処理方法。

【請求項6】

データを処理する処理部と、記憶部を有する処理装置を用いて、Ｘ線画像を処理するＸ線画像処理方法であって、
複数のセンサにより複数のＸ線透過量データを取得するステップと、
該取得された複数のＸ線透過量データの差分を基に、画素単位で画像の材質を判定するステップと、
前記Ｘ線透過量データを基に、対象物の材質に応じてカラー画像を生成するステップと、
生成された前記カラー画像を基に、画素単位で物品を認識する認識ステップと、
前記Ｘ線透過量データを用いて背景画像と物品画像の合成を行う合成ステップと、を有し、
生成された前記カラー画像と前記Ｘ線透過量データとを前記記憶部に記憶し、
背景の単位として同じ荷物に含まれる前記物品の情報を前記記憶部に記憶し、
前記合成ステップは、前記記憶部に記憶された物品の情報に基づいて、前記Ｘ線透過量データを用いて前記荷物の画像と前記物品画像を合成する、
ことを特徴とするＸ線画像処理方法。

【請求項7】

前記同じ荷物に含まれる前記物品の頻度情報を記憶部に記憶し、
前記合成ステップは、前記記憶部に記憶された物品の頻度情報に基づいて前記物品の組合せの頻度が高い物品について、前記Ｘ線透過量データを用いて前記荷物の画像と前記物品画像を合成してカラー画像を生成する、
請求項６に記載のＸ線画像処理方法。

【請求項8】

前記認識ステップにおいて認識できなかった物品を、入力部より指定して追加するステップを更に有する請求項５または６に記載のＸ線画像処理方法。

【請求項9】

前記合成ステップにより生成されたカラー画像を学習データとして用いる、
請求項５または６に記載のＸ線画像処理方法。

【請求項10】

多数の背景画像を予め前記記憶部に記憶しておき、
前記合成ステップは、前記記憶部に記憶された多数の背景画像から選択された１の背景画像と、前記物品の画像を合成する
請求項５または６に記載のＸ線画像処理方法。

【請求項11】

データを処理する処理装置によって実行される、Ｘ線画像処理のためのプログラムであって、
複数のセンサにより複数のＸ線透過量データを取得するステップと、
該取得された複数のＸ線透過量データの差分を基に、画素単位で画像の材質を判定するステップと、
前記Ｘ線透過量データを基に、対象物の材質に応じてカラー画像を生成するステップと、
生成された前記カラー画像を基に、画素単位で物品を認識する認識ステップと、
前記Ｘ線透過量データを用いて背景画像と物品画像の合成を行う合成ステップと、を有し、
生成された前記カラー画像と前記Ｘ線透過量データとを記憶部に記憶し、
背景の単位として同じ荷物に含まれる前記物品の情報を前記記憶部に記憶し、
前記合成ステップは、前記記憶部に記憶された物品の情報に基づいて、背景となる複数の透過量データと物品の複数の透過量データを画素単位で合成する、
ことを前記処理装置に実行させるＸ線画像処理プログラム。

【請求項12】

データを処理する処理装置によって実行される、Ｘ線画像処理のためのプログラムであって、
複数のセンサにより複数のＸ線透過量データを取得するステップと、
該取得された複数のＸ線透過量データの差分を基に、画素単位で画像の材質を判定するステップと、
前記Ｘ線透過量データを基に、対象物の材質に応じてカラー画像を生成するステップと、
生成された前記カラー画像を基に、画素単位で物品を認識する認識ステップと、
前記Ｘ線透過量データを用いて背景画像と物品画像の合成を行う合成ステップと、を有し、
生成された前記カラー画像と前記Ｘ線透過量データとを記憶部に記憶し、
背景の単位として同じ荷物に含まれる前記物品の情報を前記記憶部に記憶し、
前記合成ステップは、前記記憶部に記憶された物品の情報に基づいて、前記Ｘ線透過量データを用いて前記荷物の画像と前記物品画像を合成する、
ことを前記処理装置に実行させるＸ線画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、Ｘ線画像処理システムおよびその方法、そのプログラムに係り、特に、手荷物検査に用いられるX線検査装置において取得されるＸ線画像に含まれる物品の判定技術に関する。

【背景技術】

【0002】

空港や大規模イベント会場等において手荷物検査にＸ線手荷物検査装置が利用されている。Ｘ線手荷物検査装置は一般的に、Ｘ線の透過量を示すグレースケール画像や、さらに材質を判定して材質毎に色づけをしたカラー画像を生成し、検査員が目視で画像をチェックして危険物の有無を確認している。検査員が危険物を発見すると、荷物を開被検査するのが一般的な運用である。

【0003】

Ｘ線画像に危険物が含まれているか否かを確認するためには、高度な訓練を受けた検査員が必要である。そのため、例えば大規模イベントに際して検査員を一時的に大量に確保することは、事前の訓練やコストの点から難しい。そこで、検査員の負荷を少しでも低減するために、危険物の発見を自動化しようという試みがされている。

【0004】

画像認識を自動化する一方策として、ＡＩ（人工知能）による深層学習を活用した画像認識技術があげられる。深層学習は映像解析の用途などで広く用いられており、高い認識精度が得られるため、その普及が進んでいる。しかし、学習するためには、大量の学習データが必要であり、高い認識精度を得るためには多様なパターンを網羅した学習データを用意する必要がある。画像認識のための機械学習を用いる技術として、例えば、特許文献１には、２つの画像から取得した領域の画像を、色情報を補正した上で合成する方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－４５４４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の技術は、一般に防犯カメラや車載カメラなどで撮影された画像を対象としている。そのため、合成対象が重なった場合には何れの画像が前面になるか、を考慮することができる。また、合成対象の画像の種類や位置がカメラの設置位置の情報から限定されるため、画像認識のための種々の条件を事前に設定することができる。

【0007】

一方、Ｘ線画像を対象とした画像合成では、Ｘ線が物品を透過するため、物品が重なった領域では複数の物品の特徴が含まれた画像となる。そのため、従来の画像合成の技術をそのまま用いることができない。また、Ｘ線手荷物検査に適用する場合、どのような物品の組合せがよいかは、検査が行われるイベントの種類や時期などによって変わるため、それらを事前に想定することが難しい。

【0008】

本発明の目的は、Ｘ線検査業務において取得されるＸ線画像を用いた画像認識の精度を向上させることにある。

【課題を解決するための手段】

【0009】

本発明に係るＸ線画像処理システムの好ましい一例によれば、物品があると特定された領域の情報を取得し、同じ領域（例えば同じ背景、同じ荷物）の複数のセンサにより得られたＸ線透過量で合成を行い、再度合成したＸ線透過量から材質情報を推定してカラー画像を生成する。合成の対象として、一例では、運用中に蓄積される物品の組合せ情報を利用し、例えば同じ荷物に含まれる物品の組み合わせとして組合せの多い物品が好ましい。合成により生成されるカラー画像を学習データとして使用する。

【発明の効果】

【0010】

本発明によれば、Ｘ線検査業務において取得されるＸ線画像を用いた画像認識の精度を向上させることが可能となる。また、Ｘ線画像に合成した画像を用いて学習データを構築することで、物品の重なりがある場合でも高精度に物品を認識することが可能となる。

【図面の簡単な説明】

【0011】

【図1】Ｘ線検査装置の構成図である。

【図2】処理装置１０２の機能構成図である。

【図3】共起データテーブル２２０の構成とデータ例を示す図である。

【図4】物品データテーブル２２１の構成とデータ例を示す図である。

【図5】物品の認識の処理動作を示すフローチャートである。

【図6】学習データ２１８の生成と学習の動作を示すフローチャートである。

【図7】実施例２におけるカラー画像と透過量の関係を示す図である。

【図8】実施例２における２種類の物品の透過量データの例を示す図である。

【図9】実施例２における物品の合成の処理動作を示すフローチャートである。

【図10】実施例２における２種類の物品の透過量データの例を示す図である。

【図11】実施例２における２種類の物品の透過量データの例を示す図である。

【図12】エネルギー変換テーブルの構成とデータ例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明のＸ線画像処理システムの好ましい実施形態について説明する。

【実施例1】

【0013】

図１は、Ｘ線画像処理システムの一実施例に係るＸ線検査装置の構成図である。
Ｘ線検査装置１００は、例えば空港の保安検査において手荷物検査装置として広く用いられている装置であり、Ｘ線装置本体（以下、装置本体という）１０１と、処理装置１０２と、表示部１０３と、入力部１０４を有して構成される。処理装置１０２は例えばパーソナルコンピュータ（ＰＣ）である。

【0014】

装置本体１０１は、Ｘ線を照射する照射機構と、手荷物等の対象物を撮影してＸ線の透過量を計測するＸ線撮影機構を有し、Ｘ線透過量のデータ（以下、単に透過量データまたは透過量ということがある）を出力する。処理装置１０２は、装置本体１０１が撮影したＸ線画像の物品認識結果に基づき手荷物が安全であるか否かを判定し、蓄積された物品情報を用いて画像認識用のモデルを学習する。表示部１０３はＸ線画像を表示する表示端末であり、画面に表示されるＸ線画像を検査員が目視で確認することができる。

【0015】

装置本体１０１は、荷物を搬送するベルトコンベアを備えた搬送機構を有し、搬送機構は制御部により制御されて、ベルトコンベアを駆動、停止する。装置本体１０１は表示ランプを有し、物品認識の結果、制御部が危険な手荷物（アラート対象物）と判定した場合、表示ランプを点灯してアラート対象物である旨を検査員に通知する。

【0016】

搬送機構には、Ｘ線の透過量を計測する２種類のＸ線センサ（以下単にセンサという）が配置され、２種類のデータを取得する。すなわち、１のセンサが低いエネルギーのデータを取得し、他の１のセンサが高いエネルギーのデータを取得する。処理装置１０２は、２つのセンサにより取得される高エネルギーのデータと低エネルギーのデータの差分に基づき対象物の材質を判定する。Ｘ線センサとしては、材質が判断できるＸ線データが取得できればよく、Ｘ線センサの検知方式は問わない。例えば後方散乱式の材質判定センサ等を用いることができる。なお、Ｘ線センサによるＸ線データの取得をＸ線データ取得部と言うことができる。

【0017】

図２は、処理装置１０２の機能構成図である。
処理装置１０２は、処理部（ＣＰＵ:Central Processing Unit）２０１、主メモリ２０２、表示部１０３を接続する表示インターフェース（I/F）部２０３、入力部１０４を接続する入力インターフェース（I/F)部２０４、通信部２０５、記憶部２１０を有する情報処理装置である。

【0018】

処理部２０１はプログラムを実行して所定の機能や動作を実現する。記憶部２１０は、物品認識プログラム２１２、画像合成プログラム２１３、画面表示プログラム２１４、共起データ管理プログラム２１５、Ｘ線データ管理プログラム２１６、物品学習プログラム２１７、学習データ２１８、荷物撮影データ２１９、共起データテーブル２２０、物品データテーブル２２１、学習モデル２２２を格納する。

【0019】

ここで、物品認識プログラム２１２は、装置本体１０１が撮影したＸ線の透過量データから生成した荷物の材質情報と物品の密度情報を可視化したカラー画像を対象として、深層学習のセグメンテーション技術を用いて画像内に含まれる物品を画素単位で認識する。物品認識プログラム２１２による動作の詳細については後述する。

【0020】

画像合成プログラム２１３は、共起データテーブル２２０を用いて物品の組合せを生成し、指定またはランダムに指定した位置に、物品の領域の高低２種類のエネルギーを用いて画像を合成する。画像合成プログラム２１４の動作の詳細については後述する。

【0021】

画面表示プログラム２１４は、装置本体１０１が撮影したＸ線透過量データから生成したカラー画像またはグレースケール画像および検査対象の物品情報を表示部１０３に表示する。また、認識ができなかった検査対象の物品があった場合には、マウスなどの入力部２０３から物品の領域および種類の指定を受けて、追加の物品情報を取得する。画面表示プログラム２１４の動作の詳細については後述する。

【0022】

共起データ管理プログラム２１５は、手荷物検査中に認識した物品情報から一緒に持ち込まれる物品の組合せを集計し、画像の合成で使用する物品の組合せ情報を生成する。共起データ管理プログラム２１５の動作の詳細については後述する。

【0023】

Ｘ線データ管理プログラム２１６は、装置本体１０１で２種類のセンサにより計測されるＸ線透過量データから、材質と密度情報を示すカラー画像を生成して、透過量データとカラー画像を荷物撮影データ２１９に登録する。すなわち、２つのセンサのＸ線透過量データの差分から物品の材質を判定し、材質情報が色の種別、透過量が色の濃さ（密度が大きい部分は濃く、密度が小さい部分は薄い）となるカラー画像を生成する。なお、荷物撮影データ２１９の取得要求があった場合、指定された条件のデータを要求先へ提供される。

【0024】

物品学習プログラム２１７は、入力されたカラー画像およびタグデータを用いて深層学習のセグメンテーション処理などを用いて学習を実施し、学習モデル２２２を生成する。

【0025】

なお、記憶部２１０に記憶される、上記の、物品認識プログラム２１２、画像合成プログラム２１３、画面表示プログラム２１４、共起データ管理プログラム２１５、Ｘ線データ管理プログラム２１６、物品学習プログラム２１７は、処理部２０１で実行されると、それぞれ、物品認識部２１２´、画像合成部２１３´、画面表示部２１４´、共起データ管理部２１５´、Ｘ線データ管理部２１６´、物品学習部２１７´として機能を実現する。

【0026】

学習データ２１８は、学習に使用されるカラー画像およびタグデータを登録する。学習データ２１８とはデータの集合或いは学習データを記憶するデータ領域である。カラー画像はＸ線データ管理プログラム２１６によって生成される画像データである。タグデータは物品の輪郭を表すデータ、すなわち輪郭が物品の種類を表すデータであり、物品データテーブル２２１（後述する）の物品ＩＤと紐付けされる。

【0027】

荷物撮影データ２１９は、装置本体１０１で撮影されるＸ線荷物画像、すなわち高低２種類の透過量データおよびカラー画像、グレースケール画像を記憶する。荷物撮影データ２９１には、共起データテーブル２２０（後述する）の荷物ＩＤが付与される。

【0028】

共起データテーブル２２０は、図３に示すように、共起データ管理プログラム２１５で取得される荷物毎の物品認識結果の情報が保存される。すなわち、荷物毎に付与される荷物ＩＤに対応して、撮影日時と、スマートフォンや財布、ペットボトル、カメラ、時計、等の検出される物品の有無が保存される。

【0029】

物品データテーブル２２１は、図４に示すように、Ｘ線荷物画像（荷物撮影データ２１９）から認識される物品の種別、重なり有無、使用頻度、追加方法などの情報が登録される。すなわち、物品データテーブル２２１には、物品を特定する物品ＩＤ毎に、物品の種類を示す種別ＩＤ、物品が他の物品と重なっているかを示す重なり有無のフラグ、学習に使用した回数を示す使用頻度、物品情報の追加が認識結果か追加登録かを示す追加フラグなどが登録される。ここで、重なり有無の判定は、２つの物品の画素が接している場合に重なりの可能性ありと判断できればどのような方式を用いても構わない。さらに、物品ＩＤ毎に、物品を囲む矩形で示したカラー画像、グレースケール画像、物品領域の高低２種類の透過量データ、物品が存在する画素を示すマスクデータが、記憶部２１０の荷物撮影データ２１９に別途登録されて、物品データテーブル２２１の物品ＩＤと紐付けされる。マスクデータには、物品領域を囲む矩形の画素数分の値が格納されており、物品の画素には１、その他の画素には０が登録される。尚、物品の位置が画素単位で特定できれば、他の形式で保存しても構わない。

【0030】

学習モデル２２２には、物品学習プログラム２１７で学習したモデルのパラメータ情報が登録される。

【0031】

次に、図５を参照して、物品の認識と表示を行う処理動作について説明する。この処理動作は、Ｘ線検査装置１００を使用する日常の検査業務において実施される。
まず、Ｘ線データ管理プログラム２１６が、材質を判定するために複数のセンサで撮影したＸ線の透過量データを取得し、複数のセンサの透過量データの差分情報から画像の画素単位の材質を判定する。材質の判定は、例えばこの分野で広く知られている高低エネルギーの２種類の透過量の差分情報により、金属、無機物、有機物、その他の４種類に分類する方法を用いることができる。次に、材質情報と指定したセンサのＸ線透過量を用いて、材質情報が色の種別、透過量が色の濃さ（密度が大きい部分は濃く、密度が小さい部分は薄い）となるカラー画像を生成し、２つのセンサのＸ線透過量データとカラー画像を荷物撮影データ２１９に登録する（Ｓ５０１）。

【0032】

次に、物品認識プログラム２１２が、ステップＳ５０１で取得したカラー画像を取得し、深層学習のセグメンテーション処理を用いて画素単位で物品を認識する（Ｓ５０２）。ここで、物品の認識には、ＯＳＳ（オープンソースソフトウェア）のライブラリとして広く知られている「Fully Convolutional Instance-aware Semantic Segmentation」などのライブラリを用いることができる。尚、画素単位で物品が特定できれば、認識の方式は問わない。

【0033】

次に、画面表示プログラム２１４が、ステップＳ５０２の認識結果の中に検査対象としてアラート対象とされている物品が含まれている場合は、該当の部分をハイライト表示した画像を表示部１０３に表示する（Ｓ５０３）。ここで、ハイライト表示は、例えば赤い矩形をアラート対象の物品を囲むことで実現できる。なお、ハイライト表示の方法はアラート対象物のエリアが分かれば、方式は問わない。なお、ハイライト表示がされていない禁止物を検査員が確認した場合には、キーボードやマウスなどの入力部１０４で物品の輪郭および種別の入力を受け、追加の物品情報として物品データテーブル２２１に登録することができる。ここで、物品の輪郭の指定は、輪郭を複数の点で囲むことにより、或いはタッチパネルなどの表示部１０３を用いて輪郭を手でなぞることで、入力可能である。また、アラート対象の物品およびその他の物品について、物品の単位で事前にグレースケール画像とカラー画像のどちらが見やすいかを定義しておき、この定義に基づき物品単位でカラーとグレースケールの色付けを変更して表示することも可能である。通常の検査業務においては、画像全体をカラーとグレースケールで切り替えて表示しながら検査が行われていることがある。その場合、物品毎の見易さにあった色付けを物品単位で実施することで、検査の効率化が期待できる。色付け方法に関しては、物品があると特定された画素の色をカラーとグレースケールで切り替えることで実現できるので、その詳細な説明は省略する。

【0034】

次に、Ｘ線データ管理プログラム２１６が、ステップ５０２で認識した荷物毎に物品の個数を共起データテーブル２２０に登録する（Ｓ５０４）。なお、ステップＳ５０３で追加指定された物品の個数も同様に共起データテーブル２２０に登録される。その結果、共起データテーブル２２０には、荷物ＩＤ毎に物品の種類および個数が登録される。（なお、物品の個数を頻度情報と言うことがある。）
次に、Ｘ線データ管理プログラム２１６が、ステップ５０２で認識した物品の画像情報と透過量データおよびステップＳ５０３で追加指定された物品の画像情報と透過量データを、物品データテーブル２２１に登録する（Ｓ５０５）。その結果、物品データテーブル２２１には、物品ＩＤに対応して、物品の種別ＩＤ、物品の重なり有無フラグ、学習に使用した回数を示す使用頻度、物品情報の追加方法フラグなどが登録される。

【0035】

そして、画面表示プログラム２１４が撮影終了の指示を受けた場合には処理を終了し、指示がない場合は、ステップＳ５０１乃至Ｓ５０５の処理を、終了指示があるまで実行する（Ｓ５０６）。なお、共起データテーブル２２０および物品データテーブル２２１の内容は、荷物や物品のデータが登録される度に書き換えられるので、テーブル内容の更新と言うこともできる。

【0036】

次に、図６を参照して、学習データ２１８の生成と学習の動作について説明する。
まず、共起データ管理プログラム２１５が、共起データテーブル２２０から共起データを取得し、指定した期間内（例えば１週間）によく出現する物品の組合せ情報を集計し、頻度が高い物品の組合せを物品リストとして選定する（Ｓ６０１）。例えば、物品の個数が同じデータを頻度順に並べて、頻度の高い順に候補とし、１番目の物品の組合せを選定することができる。図３の共起データテーブル２２０の例では、スマートフォンと財布の組合せが高頻度となっている。なお、１番目のリストを使用したあとは、２番目を用いるなど、特定の物品の組合せに限定されないように過去に使用したリストは優先度を低くするなどしても構わない。

【0037】

次に、画像合成プログラム２１３が、ステップＳ６０１で選定した物品の物品データを、物品データテーブル２２１から選定する（Ｓ６０２）。ここで、物品データの取得は、学習に使用した頻度が少ない物品および手動で追加した（認識できなかった）物品の画像が優先的に選択されるように選択し、事前に決めた条件に一致する候補の物品からランダムに選択する。また、物品が他の物品と重なった画像から取得した物品データは、一部が欠損したり、他の物品の一部が物品のデータに含まれている可能性があるため、選択対象から除外する。

【0038】

次に、画像合成プログラム２１３が、ステップＳ６０２で取得した物品の画像中の配置位置を選定する（Ｓ６０３）。画像位置は、画像の回転角度（０～３６０度）、始点座標Ｘ、Ｙ（０＜Ｘ＜荷物画像の幅、０＜Ｙ＜荷物画像の高さ）を乱数で取得し、Ｘ、Ｙについては物品の画像が荷物画像の領域をはみ出さないように選定する。尚、荷物画像のサイズは、事前に定義しておき、事前に決めた鞄やトレイなどのＸ線荷物の物品なし画像に対する物品位置を選定する。

【0039】

次に、画像合成プログラム２１３が、ステップＳ６０２で選定した物品データをステップＳ６０３で選定した位置および回転角度で合成を行う（Ｓ６０４）。通常の荷物画像は、鞄やトレイなどに物品が加わるため、ここでは事前にトレイや鞄のみの撮影データを大量に用意しておき、その中から選んだ画像に対して、加えていくことで合成を実施する。物品が複数ある場合は、１つ目の物品はトレイや鞄のみの画像と物品の画像の合成、２つ目の物品は１つ目を加えた画像に対する合成といったように、物品を１つずつ追加していくことで合成を実施する。尚、危険物などのアラート対象となる物品に関しては、頻度が少なくても積極的に学習データに含める必要があるため、事前に決めた回数に１回は、組み合わせにアラート対象となる物品を意図的に加えることもできる。

【0040】

ここで、画像の合成は、物品データのマスクデータから、物品の位置を取得し、物品を含む座標の２種類の透過量データを取得し、物品の透過量Ａ、荷物画像の透過量Ｂ（物品追加済のケースを含む）に対して、下記の計算式で計算される値を透過量Ａと透過量Ｂが重なった場合の新しい透過量として算出する。尚、下記の計算式は一例であり、物品が重なった場合の透過量の変化を近似できれば、他の計算式を用いても構わない。

【0041】

[式] （透過量A／透過量MAX）×（透過量B／透過量MAX）×透過量MAX
ここで、透過量ＭＡＸは、荷物がない場合に得られる装置のセンサの最大値となり、例えば、「６５５３５」といった値が設定される。２つの物品を重ねた場合の透過量の計算は、２つのセンサの透過量データに対して実施することで、物品と荷物画像を重ねた場合の透過量の変化を近似することができる。

【0042】

次に、すべての物品を合成した２つの透過量に対して、Ｘ線データ管理プログラム２１６が、２つの透過量の差分情報から各画素の材質を特定し、カラー画像を生成し、物品がある画素と種別を示すタグデータと共に、学習データ２１８に登録する（Ｓ６０５）。本実施例の合成方法を用いることで、カラー画像では合成ができない重なりを考慮した合成ができるので、より自然な学習データが生成できる。

【0043】

次に、予め定めた回数だけステップＳ６０２乃至ステップＳ６０５の処理を繰り返すことで学習データをＮ個生成し、学習データ２１８に登録する（Ｓ６０６）。同じ物品リストであっても、合成に使用する物品データや合成する位置が異なるため、毎回異なる荷物画像が生成される。そのため、Ｍパターンの物品リストに対して、Ｎ個の荷物画像を生成する場合、Ｍ×Ｎが学習データ生成に使用できる時間に収まるようにＮを設定するのがよい。

【0044】

次に、物品リスト選定の終了指示があるまでステップＳ６０１乃至ステップＳ６０６の処理を実行し、終了指示がある場合は処理を終了する（Ｓ６０７）。

【0045】

次に、物品学習プログラム２１７で学習データ２１８を読出し、深層学習のセグメンテーション方式など、画素単位で物品を特定できる方式でモデル学習を実行する（Ｓ６０８）。学習には、画像データおよびどの座標に物品があるかを示すタグデータが必要となるが、合成するときに、物品の位置が特定できているため、その情報をタグデータとして活用することで、学習が実行できる。
なお、本実施例における図５および図６の処理動作は、図２に示した幾つかのプログラムが協同して行われるが、これらの各動作を１つのプログラムとして実現するように構成してもよい。

【実施例2】

【0046】

図７乃至図１２を参照して、実施例２に係るＸ線画像の合成について説明する。
実施例２は、実施例１に係る図２の処理装置１０２を前提とするが、画像の合成方法が実施例１と相違する。図７に概略を示すように、カラー画像で複数の物品の位置を特定し（図７（１））、物品の合成をＸ線透過量で行い（図７（２））、再度、Ｘ線透過量からカラー画像を生成することで（図７（３））、深層学習の学習に必要なカラー画像を生成する。尚、Ｘ線透過量からカラー画像への変換は不可逆変換のため、実施例２による合成は、２種類のＸ線透過量とカラー画像の両方を保持することで実現する。図８に示すように、（ａ）高エネルギーの透過量データと、（ｂ）低エネルギーの透過量データを用いて、合成する合成画像の背景となる画像(例えば解像度が640x480)の透過量データ(２種類)と物品の透過量データ(２種類)を、下記の数１、および数２の計算式を用いて画素単位で合成する。

【0047】

【数1】

【0048】

【数2】

【0049】

但し、Ｐ１、Ｐ２は各々の画像の注目画素の透過量とし、２個以上の画像を同時に合成する場合は、Ｐ３について同様に積算する。ここで、ｘ,ｙは、画素の位置を示し、画像の左上がｘ=0,ｙ=0となり、右方向にｘが大きく、下方向にｙが大きくなる。

【0050】

次に、図９のフローチャートを参照して、実施例２に係る画像の合成処理動作について説明する。
画像合成プログラム２１３が、荷物撮影データ２１９から、図１０（ａ）のように、トレイや鞄などを撮影した背景の透過量データを取得する(Ｓ９０１)。なお、トレイや鞄以外の物が既に写っている荷物撮影データを取得してもよい。

【0051】

次に、画像合成プログラム２１３が、物品データテーブル２２１を参照して、合成対象の物品の透過量データを取得する(Ｓ９０２)。なお、物品の形状は矩形とは限らないため、物品の透過量データには、図１１（ｂ）に示すマスクデータ（カラー画像の検出結果）などのような、物品がある画素を特定する情報が含まれる。例えば、物品のある画素は１、物品のない画素は０が登録される。複数の物品を１つのマスクデータで表現する場合は、物品がない画素は０、その他の画素は物品を識別するＩＤ(＞＝１)が登録される。

【0052】

次に、画像合成プログラム２１３が、[数１][数２]に示す式による合成方法で、透過量を合成する(Ｓ９０３)。尚、透過量が65536段階でない場合は、65535の部分を段階数に調整する。
次に、他に合成対象の物品がある場合は、ステップＳ９０２乃至ステップＳ９０３の処理を繰り返す(Ｓ９０４)。

【0053】

次に、Ｘ線データ管理プログラム２１６が、合成した透過量(高低エネルギー２種類)のデータからカラー画像を生成し、各画素の物品種別を示す情報と共に、カラー画像を学習データとして出力する(Ｓ９０５)。この処理は、図１０（ｃ）（ｄ）に示す動作となる。学習データは、各画素の物品の種別情報と共に学習データ２１８に保存される。

【0054】

尚、装置本体１０１からの入力データが、高低エネルギーの２種類のデータではなく、カラー画像のみである場合は、カラー画像をグレースケール化して、密度が大きい部分が濃い画像とし密度が低い部分を淡い画像とするように画像変換して、グレースケール画像の各画素の値を高エネルギーまたは低エネルギーとすることができる。ただし、物品の合成には２種類の透過量データが必要となるため、例えば図１２に示す透過量(高エネルギー想定)からの低エネルギーに変換するエネルギー変換テーブルを用いて、透過量を推定する。尚、該当する値がエネルギー変換テーブルにない場合には、一番近い値の透過量の値の変換値を用いるのがよい。尚、エネルギー変換テーブルは記憶部２１０に予め用意され、そのテーブルの値は、事前に高低エネルギーの組合せの統計を取得することで生成することができる。

【0055】

本実施例によれば、Ｘ線手荷物検査を実施しながら蓄積された物品データおよび追加データを用いて自動で学習データを生成できるので、Ｘ線手荷物検査の運用しながら精度を高めていけるという効果がある。また。物品の組み合わせを運用に近いものにできることで、運用に合わせた学習データの生成が期待できる。さらに、カラー画像で特定した物品の領域の透過量を用いて画像を合成し、カラー画像に戻すことで、物品の重なりを再現できる学習データが構築できるという効果がある。

【符号の説明】

【0056】

１００：Ｘ線検査装置
１０１：装置本体
１０２：処理装置
１０３：表示部
１０４：入力部
２０１：ＣＰＵ
２０２：主メモリ
２０５：通信部
２１０：記憶部
２１１：ＯＳ
２１２：物品認識プログラム
２１３：画像合成プログラム
２１４：画面表示プログラム
２１５：共起データ管理プログラム
２１６：Ｘ線データ管理プログラム
２１７：物品学習プログラム
２１８：学習データ
２１９：荷物撮影データ
２２０：共起データテーブル
２２１：物品データテーブル
２２２：学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】