特開 2023-72845 Ｘ線画像処理装置及びＸ線画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023072845

(43)【公開日】2023-05-25

(54)【発明の名称】Ｘ線画像処理装置及びＸ線画像処理方法

(51)【国際特許分類】

   G01N 23/04 20180101AFI20230518BHJP

   G01N 23/10 20180101ALI20230518BHJP

【ＦＩ】

G01N23/04 340

G01N23/10

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021185530

(22)【出願日】2021-11-15

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】秋良 直人

(72)【発明者】

【氏名】トウ シビ

【テーマコード（参考）】

2G001

【Ｆターム（参考）】

2G001AA01

2G001BA11

2G001CA01

2G001DA06

2G001HA13

2G001LA10

2G001PA11

(57)【要約】

【課題】ユーザにとって確認しやすい、かつ確実に認識しやすい物品認識領域を含むＸ線画像を表示する。
【解決手段】Ｘ線画像処理装置は、Ｘ線画像において認識領域が重複する複数の物品それぞれが重ならずに配置されている、かつ当該複数の物品の姿勢が正面であるかを判定し、当該複数の物品が重ならずに配置されている、かつ当該複数の物品の姿勢が正面であると判定した場合、当該複数の物品のカテゴリの組み合わせが、予め定められた関係性情報が示すカテゴリの組み合わせに含まれるかの判定結果に基づいて、Ｘ線画像内における当該複数の物品の認識領域を統合して１つの認識領域にするかを判定し、当該複数の物品の認識領域を統合して１つの認識領域にすると判定した場合、Ｘ線画像内に当該統合した１つの認識領域を描画して表示装置に表示する。
【選択図】図２

【特許請求の範囲】

【請求項1】

Ｘ線画像処理装置であって、
プロセッサとメモリとを有し、
表示装置に接続され、
前記メモリは、
Ｘ線画像と、前記Ｘ線画像に含まれる物品のカテゴリと、前記Ｘ線画像において当該物品が認識された認識領域と、当該物品の面積及び材質量の少なくも一方と、を示すＸ線画像情報と、
物品のカテゴリの組み合わせを示す関係性情報と、
物品のカテゴリと、当該物品の面積及び材質量の少なくとも一方を示す条件と、を示す重なり・正面判定情報と、を保持し、
前記プロセッサは、
前記Ｘ線画像において前記認識領域が重複する複数の物品それぞれが、前記重なり・正面判定情報が示す、当該物品のカテゴリに対応する条件を満たすかの判定結果に基づいて、前記複数の物品が重ならずに配置されている、かつ前記複数の物品の姿勢が正面であるかを判定し、
前記複数の物品が重ならずに配置されている、かつ前記複数の物品の姿勢が正面であると判定した場合、前記複数の物品のカテゴリの組み合わせが、前記関係性情報が示すカテゴリの組み合わせに含まれるかの判定結果に基づいて、前記Ｘ線画像内における前記複数の物品の認識領域を統合して１つの認識領域にするかを判定し、
前記複数の物品の認識領域を統合して１つの認識領域にすると判定した場合、前記Ｘ線画像内に前記統合した１つの認識領域を描画して前記表示装置に表示する、Ｘ線画像処理装置。

【請求項2】

請求項１に記載のＸ線画像処理装置であって、
前記関係性情報は、異なるカテゴリの物品であるものの同一の物品とみなすことができるカテゴリの組み合わせを示す、カテゴリ関係性情報を含み、
前記プロセッサは、
前記複数の物品が重ならずに配置されており、前記複数の物品の姿勢が正面であり、かつ前記複数の物品の認識領域のＩｏＵが所定値以上であると判定した場合、
前記複数の物品のカテゴリの組み合わせが、前記カテゴリ関係性情報が示すカテゴリの組み合わせに含まれるかの判定結果に基づいて、前記Ｘ線画像内における前記複数の物品の認識領域を統合して１つの認識領域にするかを判定する、Ｘ線画像処理装置。

【請求項3】

請求項２に記載のＸ線画像処理装置であって、
入力装置に接続され、
前記プロセッサは、
前記複数の物品が重ならずに配置されており、前記複数の物品の姿勢が正面であり、前記複数の物品の認識領域のＩｏＵが所定値以上であり、かつ前記複数の物品のカテゴリの組み合わせが、前記カテゴリ関係性情報が示すカテゴリの組み合わせに含まれないと判定した場合、前記複数の物品のカテゴリの組み合わせを前記カテゴリ関係性情報に含めるかを示す入力を、前記入力装置を介して受け付け、
前記入力に基づいて、前記カテゴリ関係性情報を更新する、Ｘ線画像処理装置。

【請求項4】

請求項１に記載のＸ線画像処理装置であって、
前記関係性情報は、全体物である物品のカテゴリと、当該全体物に含まれる構成物の物品のカテゴリと、の組み合わせを示す構成物関係性情報を含み、
前記複数の物品は、第１物品と第２物品とを含み、
前記第１物品と前記第２物品が重ならずに配置されており、前記複数の物品の姿勢が正面であり、かつ前記第１物品の認識領域の画素数に占める、前記第１物品と前記第２物品との重複する認識領域の画素数の割合が所定値以上であると判定した場合、
前記構成物関係性情報において前記第１物品のカテゴリを構成物とし前記第２物品のカテゴリを全体物とするカテゴリの組み合わせが含まれるかの判定結果に基づいて、前記Ｘ線画像内における前記第１物品の認識領域と前記第２物品の認識領域とを統合して１つの認識領域にするかを判定し、
前記第１物品の認識領域と前記第２物品の認識領域とを統合して１つの認識領域にすると判定した場合、前記第２物品の認識領域を前記１つの認識領域として前記Ｘ線画像内に描画して前記表示装置に表示する、Ｘ線画像処理装置。

【請求項5】

請求項４に記載のＸ線画像処理装置であって、
入力装置に接続され、
前記プロセッサは、
前記Ｘ線画像において第３物品と第４物品が重ならずに配置されており、前記複数の物品の姿勢が正面であり、前記第３物品の認識領域の画素数に占める、前記第３物品と前記第４物品との重複する認識領域の画素数の割合が所定値以上であり、かつ前記構成物関係性情報において前記第３物品のカテゴリを構成物とし前記第４物品のカテゴリを全体物とするカテゴリの組み合わせが含まれないと判定した場合、前記第３物品のカテゴリを構成物とし前記第４物品のカテゴリを全体物とするカテゴリの組み合わせを前記構成物関係性情報に含めるかを示す入力を、前記入力装置を介して受け付け、
前記入力に基づいて、前記構成物関係性情報を更新する、Ｘ線画像処理装置。

【請求項6】

請求項４に記載のＸ線画像処理装置であって、
入力装置に接続され、
前記プロセッサは、
前記Ｘ線画像における前記第１物品の認識領域と前記第２物品の認識領域との重複領域が、前記入力装置を介して所定頻度以上で選択されたと判定した場合、前記第１物品のカテゴリを構成物とし前記第２物品のカテゴリを全体物とするカテゴリの組み合わせを前記構成物関係性情報から削除する、Ｘ線画像処理装置。

【請求項7】

請求項１に記載のＸ線画像処理装置であって、
前記関係性情報は、物品のカテゴリの組み合わせと、当該組み合わせのカテゴリの物品の面積及び材質量の少なくとも一方を示す条件と、を示し、
前記プロセッサは、
前記複数の物品が重ならずに配置されている、かつ前記複数の物品の姿勢が正面であると判定した場合、
前記複数の物品のカテゴリの組み合わせが、前記関係性情報が示すカテゴリの組み合わせに含まれるか、及び前記関係性情報が示す条件を前記複数の物品が満たしているかの判定結果に基づいて、前記Ｘ線画像内における前記複数の物品の認識領域を統合して１つの認識領域にするかを判定する、Ｘ線画像処理装置。

【請求項8】

Ｘ線画像処理装置によるＸ線画像処理方法であって、
前記Ｘ線画像処理装置は、
プロセッサとメモリとを有し、
表示装置に接続され、
前記メモリは、
Ｘ線画像と、前記Ｘ線画像に含まれる物品のカテゴリと、前記Ｘ線画像において当該物品が認識された認識領域と、当該物品の面積及び材質量の少なくも一方と、を示すＸ線画像情報と、
物品のカテゴリの組み合わせを示す関係性情報と、
物品のカテゴリと、当該物品の面積及び材質量の少なくとも一方を示す条件と、を示す重なり・正面判定情報と、を保持し、
前記Ｘ線画像処理方法は、
前記プロセッサが、前記Ｘ線画像において前記認識領域が重複する複数の物品それぞれが、前記重なり・正面判定情報が示す、当該物品のカテゴリに対応する条件を満たすかの判定結果に基づいて、前記複数の物品が重ならずに配置されている、かつ前記複数の物品の姿勢が正面であるかを判定し、
前記プロセッサが、前記複数の物品が重ならずに配置されている、かつ前記複数の物品の姿勢が正面であると判定した場合、前記複数の物品のカテゴリの組み合わせが、前記関係性情報が示すカテゴリの組み合わせに含まれるかの判定結果に基づいて、前記Ｘ線画像内における前記複数の物品の認識領域を統合して１つの認識領域にするかを判定し、
前記プロセッサが、前記複数の物品の認識領域を統合して１つの認識領域にすると判定した場合、前記Ｘ線画像内に前記統合した１つの認識領域を描画して前記表示装置に表示する、Ｘ線画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、Ｘ線画像処理装置及びＸ線画像処理方法に関する。

【背景技術】

【0002】

空港や大規模イベント会場等において手荷物検査にＸ線手荷物検査装置が利用されている。一般的に、Ｘ線手荷物検査装置は、Ｘ線の透過量を示すグレースケール画像や、手荷物に含まれる材質を判定して材質毎に色づけをしたカラー画像を生成する。Ｘ線手荷物検査装置が生成したＸ線画像を、検査員が目視でチェックして手荷物に危険物が含まれるかを確認し、検査員が危険物を発見すると、荷物を開被検査する。

【0003】

検査員が、Ｘ線画像をチェックして手荷物に危険物が含まれているかを確認するためには、高度な訓練を受ける必要である。そのため、例えば大規模イベント等に際して検査員を一時的に大量に確保することは、事前の訓練やコストの点から難しい。そこで、検査員の負荷を少しでも低減するために、危険物の発見を自動化しようという試みがなされている。

【0004】

画像認識を自動化する一方策として、ＡＩ（人工知能）による深層学習を活用した画像認識技術があげられる。深層学習は映像解析の用途などで広く用いられており、高い認識精度が得られるため、その普及が進んでいる。例えば、特開２０１８－４３６３号公報（特許文献１）には、「本発明に係るＸ線自動判定装置は、Ｘ線画像の画素領域のうちＸ線透過量が透過量閾値を下回りかつ材質が連続している部分の面積が、面積閾値を超えているか否かに基づき、物品が安全であるか否かを判定する。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－４３６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の技術は、禁止物品が大量に含まれている荷物や同じ位置に複数の禁止物品が含まれる荷物を撮影した場合、禁止物品の位置を示す検知領域が大量に表示されたり、検知領域が重なったりする状況になり、検査員の目視による禁止物品のチェックに時間を要してしまう。そこで、本発明の一態様は、ユーザにとって確認しやすい、かつ確実に認識しやすい物品認識領域を含むＸ線画像を表示する。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の一態様は以下の構成を採用する。Ｘ線画像処理装置は、プロセッサとメモリとを有し、表示装置に接続され、前記メモリは、Ｘ線画像と、前記Ｘ線画像に含まれる物品のカテゴリと、前記Ｘ線画像において当該物品が認識された認識領域と、当該物品の面積及び材質量の少なくも一方と、を示すＸ線画像情報と、物品のカテゴリの組み合わせを示す関係性情報と、物品のカテゴリと、当該物品の面積及び材質量の少なくとも一方を示す条件と、を示す重なり・正面判定情報と、を保持し、前記プロセッサは、前記Ｘ線画像において前記認識領域が重複する複数の物品それぞれが、前記重なり・正面判定情報が示す、当該物品のカテゴリに対応する条件を満たすかの判定結果に基づいて、前記複数の物品が重ならずに配置されている、かつ前記複数の物品の姿勢が正面であるかを判定し、前記複数の物品が重ならずに配置されている、かつ前記複数の物品の姿勢が正面であると判定した場合、前記複数の物品のカテゴリの組み合わせが、前記関係性情報が示すカテゴリの組み合わせに含まれるかの判定結果に基づいて、前記Ｘ線画像内における前記複数の物品の認識領域を統合して１つの認識領域にするかを判定し、前記複数の物品の認識領域を統合して１つの認識領域にすると判定した場合、前記Ｘ線画像内に前記統合した１つの認識領域を描画して前記表示装置に表示する。

【発明の効果】

【0008】

本発明の一態様によれば、ユーザにとって確認しやすい、かつ確実に認識しやすい物品認識領域を含むＸ線画像を表示する。

【0009】

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】実施例１におけるＸ線画像処理装置を有するＸ線検査装置の構成例を示す概要図である。

【図2】実施例１におけるＸ線画像処理装置の構成例を示すブロック図である。

【図3】実施例１における構成物関係性データの一例である。

【図4】実施例１におけるカテゴリ関係性テーブルの一例である。

【図5】実施例１における重なり・正面判定用テーブルの一例である。

【図6】実施例１におけるＸ線画像処理装置による物品認識処理と表示処理の一例を示すフローチャートである。

【図7】実施例１における複数のカテゴリの物品が同じ領域に認識された場合における物品の重なりの一例を示す概要図である。

【図8】実施例１における物品認識領域の関係性の概要を示す説明図である。

【図9】実施例１における表示装置に表示される表示画像の一例を示す説明図である。

【図10】実施例１におけるフィードバック処理の一例を示すフローチャートである。

【図11】実施例１におけるフィードバック画面の一例である。

【図12】実施例１におけるフィードバック画面の一例である。

【図13】実施例１におけるフィードバック画面の一例である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。

【0012】

本実施形態では、Ｘ線画像処理装置及びＸ線画像処理方法について説明する。本開示において、物品の「正面」とは、一般的な検査員が確認したときに物品を判別しやすい方向から見える予め定められた面を意味する。また、本開示において、物品の「重なり」とは、撮影方向に対して同じ位置に複数の物品が透過して写っていることを意味する。デジタルカメラなどの写真では、最も手前にある物品のみが写るが、Ｘ線画像は撮影方向に物品が重なっていても、重なっている各物品が透けて写ることが特徴である。本実施形態では、物品が重なっていても、重なっている各物品を検知できる物品認識方式が用いられているものとする。

【実施例0013】

図１は、Ｘ線画像処理装置を有するＸ線検査装置の構成例を示す概要図である。Ｘ線検査装置１００は、例えば、空港の保安検査において手荷物検査装置として用いられる装置である。Ｘ線検査装置１００は、例えば、Ｘ線装置本体（以下、装置本体とも呼ぶ）１０１と、Ｘ線画像処理装置１０２と、表示装置１０３と、入力装置１０４と、を含む。Ｘ線画像処理装置１０２は、装置本体１０１、表示装置１０３、及び入力装置１０４に接続されている。

【0014】

装置本体１０１は、Ｘ線を照射する照射機構と、荷物等の対象物を撮影してＸ線の透過量を計測するＸ線撮影機構と、を含む。装置本体１０１は、Ｘ線透過量のデータ（以下、単に「透過量データ」又は「透過量」とも呼ぶ）を出力する。装置本体１０１は、荷物を搬送するベルトコンベアを備えた搬送機構を含む。搬送機構は装置本体１０１が有する制御部により制御されて、ベルトコンベアを駆動、停止させる。

【0015】

装置本体１０１の搬送機構には、例えば、Ｘ線の透過量を計測する２種類のＸ線センサ（以下単に「センサ」とも呼ぶ）が備え付けられ、当該２種類のセンサそれぞれが異なる種類のデータを取得する。例えば、一方のセンサが低いエネルギーのデータを取得し、他方のセンサが高いエネルギーのデータを取得する。

【0016】

Ｘ線画像処理装置１０２は、２つのセンサにより取得される高エネルギーのデータと低エネルギーのデータの差分に基づき、Ｘ線画像の画素毎に対象物の材質を判定することができる。センサは、材質を判断可能なＸ線データが取得できればよく、センサによる検知方式は問わない。例えば、センサとして、後方散乱式の材質判定センサ等を用いることができる。さらに、Ｘ線検査装置１００には、（例えば荷物に含まれる）物品が通過するエリアの側面（垂直面）と天井面（水平面）など、複数個所にそれぞれセンサが備え付けられていてもよい。このようにセンサが備え付けられていることにより、Ｘ線検査装置１００は、上と横の二方向から同時に物品を撮影することができる。

【0017】

Ｘ線画像処理装置１０２は、例えばパーソナルコンピュータ（ＰＣ）等の計算機によって構成される。Ｘ線画像処理装置１０２は、装置本体１０１が撮影したＸ線画像の物品認識結果に基づき、（例えば荷物に含まれる）物品が安全であるか危険であるかを判定する。Ｘ線画像処理装置１０２は、物品認識の結果、荷物が危険な物品（アラート対象物）を含むと判定した場合、装置本体１０１又は装置本体１０１付近に設置された表示ランプを点灯して、物品がアラート対象物である旨を、Ｘ線画像処理装置１０２のユーザ（例えば検査員）に通知する。なお、アラート対象物である旨の通知には、表示装置１０３やＸ線画像処理装置１０２が有する音声出力部が用いられてもよい。

【0018】

本実施例のＸ線画像処理装置１０２は、検知結果の正否や検知漏れをユーザにフィードバックするフィードバック機能を有し、フィードバック機能によって蓄積されたフィードバック情報を用いて画像認識用のモデルを学習することができる。

【0019】

表示装置１０３は、装置本体１０１が撮影したＸ線画像を表示することで、ユーザは画面に表示されるＸ線画像と物品検知の情報を目視で確認することができる。また、表示装置１０３は、Ｘ線画像処理装置１０２による処理結果を表示する。なお、Ｘ線検査装置１００は複数の表示装置１０３を含んでもよく、例えば、Ｘ線検査装置１００が２つの表示装置１０３を含む場合、２つの表示装置１０３はそれぞれ異なる方向から撮影された画像表示したり、異なる種類の画像（例えばカラー画像とグレースケール画像）を表示したりする。入力装置１０４は、キーボードやマウスなどの、オペレータからの入力を受ける装置である。

【0020】

なお、Ｘ線検査装置１００に含まれる装置の少なくとも一部が一体化されていてもよい。具体的には、図１では、装置本体１０１と、Ｘ線画像処理装置１０２と、が別装置である例が示されているが、Ｘ線画像処理装置１０２が、装置本体１０１に内蔵されていてもよい。

【0021】

図２は、Ｘ線画像処理装置１０２の構成例を示すブロック図である。Ｘ線画像処理装置１０２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、メモリ２０２、表示Ｉ／Ｆ（インターフェース）２０３、入力Ｉ／Ｆ２０４、通信装置２０５、及び補助記憶装置２１０を有する計算機によって構成される。

【0022】

ＣＰＵ２０１は、プロセッサを含み、メモリ２０２にロードされたプログラムを実行する。メモリ２０２は、不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び揮発性の記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ））などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、ＣＰＵ２０１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

【0023】

補助記憶装置２１０は、例えば、磁気記憶装置（ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ））、フラッシュメモリ（ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））等の大容量かつ不揮発性の記憶装置であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）２１１や、ＣＰＵ２０１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置２１０から読み出されて、メモリ２０２にロードされて、ＣＰＵ２０１によって実行される。なお、補助記憶装置２１０に格納される情報の一部又は全てがメモリ２０２に格納されてもよいし、メモリ２０２にされる情報の一部又は全てが補助記憶装置２１０に格納されてもよい。

【0024】

ＣＰＵ２０１が実行するプログラムの一部又は全ては、非一時的記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）から、又は、非一時的記憶装置を備える外部計算機からネットワークを介して、Ｘ線画像処理装置１０２に提供され、非一時的記憶媒体である不揮発性の補助記憶装置２１０に格納されてもよい。このため、Ｘ線画像処理装置１０２は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

【0025】

表示Ｉ／Ｆ２０３は、表示装置１０３に対して表示結果を出力するインターフェースである。入力Ｉ／Ｆ２０４は、入力装置１０４からの入力を受け付けたり、装置本体１０１からのＸ線の透過量データの入力を受け付けたりするインターフェースである。通信装置２０５は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。また、通信装置２０５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のシリアルインターフェースを含んでもよい。

【0026】

補助記憶装置２１０は、それぞれプログラムである、Ｘ線画像取得プログラム２１２、物品認識プログラム２１３、重なり・正面判定プログラム２１４、領域関係性判定プログラム２１５、テーブル更新プログラム２１６、表示画像生成プログラム２１７、及び画面表示プログラム２１８を保持する。

【0027】

Ｘ線画像取得プログラム２１２は、装置本体１０１が撮影したＸ線の透過量データを、入力Ｉ／Ｆ２０４（例えば、専用のインターフェース又はＶＧＡ端子などの汎用の画面入力端子）を介して、取得する。なお、空港の保安検査場などで用いられているＸ線検査装置１００は、一般的に１方向又は２方向から撮影を行う。

【0028】

Ｘ線画像取得プログラム２１２は、Ｘ線画像として、Ｘ線の透過量データから荷物の材質情報と物品の密度情報を可視化したカラー画像、又はＸ線の透過量が少ない部分は濃く、透過量が多い部分が薄くなるように変換したグレースケール画像を取得する。なお、装置本体１０１が複数のセンサを備え、当該複数のセンサそれぞれによって異なる方向からの撮影を行う場合、Ｘ線画像取得プログラム２１２は、当該複数のセンサによる異なる方向からの撮影によって得られるＸ線画像それぞれを取得する。

【0029】

物品認識プログラム２１３は、例えば、深層学習のセグメンテーション技術等を用いて、Ｘ線画像取得プログラム２１２が取得したＸ線画像内に含まれる物品を画素単位で認識する。重なり・正面判定プログラム２１４は、認識された物品の領域の面積や濃さの情報をもとに、認識された物品が他の物品と重なっていないか、及び認識された物品の姿勢が正面であるかを判定する。

【0030】

領域関係性判定プログラム２１５は、Ｘ線画像上の重複する領域に認識された複数の物品を、同じ物品として認識するか、異なる物品として認識するかを判定する。さらに、領域関係性判定プログラム２１５は、Ｘ線画像上の重複する領域に認識された複数の物品それぞれの面積や密度などをもとに、認識領域の特徴が類似しているかを判定する。

【0031】

テーブル更新プログラム２１６は、ユーザからのフィードバック情報や運用中に蓄積されたＸ線画像から、物品のカテゴリ間の関係性や構成物の位置などの情報を取得し、各種テーブルの情報を更新する。

【0032】

表示画像生成プログラム２１７は、撮影したＸ線画像内に物品が認識された位置を示す矩形などの情報と、認識された物品名と、を示す画像を生成する。画面表示プログラム２１８は、表示画像生成プログラム２１７が生成した画像を表示装置１０３に表示する。

【0033】

例えば、ＣＰＵ２０１は、メモリ２０２にロードされたＸ線画像取得プログラム２１２に従って動作することで、Ｘ線画像取得部として機能し、メモリ２０２にロードされた物品認識プログラム２１３に従って動作することで、物品認識部として機能する。補助記憶装置２１０に含まれる他のプログラムについても、プログラムと機能部の関係は同様である。

【0034】

なお、図２においてＣＰＵ２０１とプログラムとによって実現される機能部による機能の一部又は全部が、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアによって実現されてもよい。

【0035】

また、補助記憶装置２１０は、Ｘ線画像データ２２０、物品認識モデル２２１、フィードバックデータ２２２、構成物関係性データ２２３、カテゴリ関係性テーブル２２４、重なりデータ２２５、及び重なり・正面判定用テーブル２２６を保持する。Ｘ線画像データ２２０には、Ｘ線画像取得プログラム２１２が取得したＸ線画像と、当該Ｘ線画像に撮影された荷物を識別する情報と、が格納されている。

【0036】

物品認識モデル２２１は、Ｘ線画像が入力されると、当該Ｘ線画像の各画素に含まれる物品を出力するモデルである。なお、Ｘ線画像内の一つの物品に対して、正面や側面など、さまざまな方向で学習された物品認識モデルが適用されてもよい。しかし、本実施例のＸ線画像処理装置１０２は、Ｘ線画像に含まれる物品を特定するだけでなく、特定した物品の姿勢が正面であるかも判別できるようにしているため、物品の正面の画像と側面の画像とを別の物品の画像として学習された物品認識モデル２２１が用いられてもよい。このような物品認識モデル２２１が用いられることにより、例えば、正面と側面の見た目が大きく異なるスマートフォンのような物品の、正面と側面の識別をより的確に反映させることができる。

【0037】

フィードバックデータ２２２は、Ｘ線画像処理装置１０２のユーザからのフィードバックを保持する。構成物関係性データ２２３は、Ｘ線画像内の重複する領域に認識されたあるカテゴリの物品が他のカテゴリの物品の構成物であるための条件を示す情報を保持する。なお、Ｘ線画像内に認識されたあるカテゴリの物品が他のカテゴリの物品の構成物であると判定された場合には、これらの物品の認識領域がマージされる（統合して１つの認識領域になる）。

【0038】

カテゴリ関係性テーブル２２４は、Ｘ線画像内の重複する領域に認識された複数のカテゴリの物品の組み合わせが、同一の物品とみなせるための条件を示す情報を保持する。Ｘ線画像内に認識された複数のカテゴリの物品の組み合わせが、同一の物品とみなせると判定された場合には、当該複数のカテゴリの物品の認識領域がマージされる。

【0039】

重なりデータ２２５は、Ｘ線画像において認識領域がマージされた物品に関する情報を保持する。重なり・正面判定用テーブル２２６は、Ｘ線画像内の重複する領域に認識された複数の物品が撮影方向の手前側又は奥側に重なって位置しているか否か、及び当該複数の物品の姿勢が正面であるか否かを判定するための条件を示す情報を保持する。

【0040】

なお、本実施形態において、Ｘ線画像処理装置１０２が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。例えば、テーブル、リスト、データベース、又はキューから適切に選択したデータ構造体が、情報を格納することができる。

【0041】

なお、Ｘ線画像処理装置１０２は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

【0042】

図３は、構成物関係性データ２２３の一例である。構成物関係性データ２２３は、例えば、構成物定義テーブル２２３１及び物品個数テーブル２２３２を含む。構成物定義テーブル２２３１は、例えば、ＩＤ欄２２３ａ、カテゴリ欄２２３ｂ、構成物欄２２３ｃ、関係性欄２２３ｄ、面積欄２２３ｅ、及び重心位置欄２２３ｆを含む。なお、構成物定義テーブル２２３１は、面積欄２２３ｅ及び重心位置欄２２３ｆの少なくとも一方を含まなくてもよい。

【0043】

ＩＤ欄２２３ａは、構成物定義テーブル２２３１のレコードを識別するＩＤを保持する。カテゴリ欄２２３ｂは、構成物を含む物品（以下、全体物とも呼ぶ）のカテゴリを示す情報を保持する。構成物欄２２３ｃは、カテゴリ欄２２３ｂが示すカテゴリの物品の構成物となり得る物品を示す情報を保持する。関係性欄２２３ｄは、カテゴリ欄２２３ｂが示すカテゴリの物品と、構成物欄２２３ｃが示す物品と、の関係性を示す情報（「構成物」）を保持する。

【0044】

面積欄２２３ｅは、構成物欄２２３ｃが示す物品が、カテゴリ欄２２３ｂが示す全体物の構成物であるためのＸ線画像における面積に関する条件を示す。例えば、図３の例では、「バッテリ」が「スマートフォン」の構成物であるためには、Ｘ線画像における「バッテリ」の面積が「スマートフォン」の面積の「ｘｘ％以上ｙｙ％以下」である必要がある。なお、面積欄２２３ｅが示す面積に関する条件は、カテゴリ欄２２３ｂが示すカテゴリの物品の面積と、構成物欄２２３ｃが示す物品の面積と、の比ではなく、カテゴリ欄２２３ｂが示すカテゴリの物品の面積と、構成物欄２２３ｃが示す物品の面積と、の少なくとも一方の絶対量によって示されてもよい。

【0045】

重心位置欄２２３ｆは、構成物欄２２３ｃが示す物品が、カテゴリ欄２２３ｂが示すカテゴリの物品の構成物であるためのＸ線画像における重心位置に関する条件を示す。例えば、図３の例では、「バッテリ」が「スマートフォン」の構成物であるためには、Ｘ線画像における「バッテリ」の重心位置が「（ＸＸ，ＹＹ）」である必要がある。なお、図３の例では、重心位置欄２２３ｆは、絶対位置としての重心位置を示しているが、カテゴリの物品の位置を基準とした相対的な範囲とした重心位置を示してもよい。例えば、「バッテリ」が「スマートフォン」の構成物であるためには、Ｘ線画像における「バッテリ」の重心位置が、「スマートフォン」の重心位置を中心とした所定半径の円に含まれる、等のように、重心位置欄２２３ｆにおいて条件が定義されてもよい。

【0046】

物品個数テーブル２２３２は、例えば、ＩＤ欄２２３ｇ、カテゴリ欄２２３ｈ、構成物欄２２３ｉ、及び個数欄２２３ｊを含む。ＩＤ欄２２３ｇは、物品個数テーブル２２３２のレコードを識別するＩＤを保持する。カテゴリ欄２２３ｈは、構成物を含む物品のカテゴリを示す情報を保持する。構成物欄２２３ｉは、カテゴリ欄２２３ｈが示すカテゴリの物品の構成物である物品を示す情報を保持する。

【0047】

個数欄２２３ｊは、構成物欄２２３ｉが示す物品が、カテゴリ欄２２３ｈが示すカテゴリの物品の構成物であるための、構成物の個数に関する条件を示す。例えば、図３の例では、「バッテリ」が「スマートフォン」の構成物であるためには、Ｘ線画像において「スマートフォン」に重ねて表示されている「バッテリ」の個数が「１個」である必要がある。

【0048】

図４は、カテゴリ関係性テーブル２２４の一例である。カテゴリ関係性テーブル２２４は、例えば、ＩＤ欄２２４ａ、第１カテゴリ欄２２４ｂ、第２カテゴリ欄２２４ｃ、面積欄２２４ｄ、金属量欄２２４ｅ、軽金属量欄２２４ｆ、及び有機物量欄２２４ｇを含む。なお、カテゴリ関係性テーブル２２４は、面積欄２２４ｄ、金属量欄２２４ｅ、軽金属量欄２２４ｆ、及び有機物量欄２２４ｇの少なくとも１つを含まなくてもよい。

【0049】

ＩＤ欄２２４ａは、カテゴリ関係性テーブル２２４のレコードを識別する情報を保持する。第１カテゴリ欄２２４ｂと第２カテゴリ欄２２４ｃは、それぞれ、別カテゴリの物品であると認識されても、同一のカテゴリの物品であるとみなすことができるための条件を示す情報を保持する。

【0050】

面積欄２２４ｄは、第１カテゴリ欄２２４ｂが示すカテゴリの物品と第２カテゴリ欄２２４ｃが示すカテゴリの物品とが同一のカテゴリの物品であるとみなされるためのＸ線画像における面積に関する条件を示す。例えば、図４の例では、「毛染め」と「スプレー」とが同一のカテゴリの物品であるとみなされるためには、Ｘ線画像における「スプレー」の面積が「毛染め」の面積の「ＸＸ％以上ＹＹ％以下」である必要がある。

【0051】

金属量欄２２４ｅは、第１カテゴリ欄２２４ｂが示すカテゴリの物品と第２カテゴリ欄２２４ｃが示すカテゴリの物品とが同一のカテゴリの物品であるとみなされるための金属量に関する条件を示す。例えば、図４の例では、「毛染め」と「スプレー」とが同一のカテゴリの物品であるとみなされるためには、Ｘ線画像における「スプレー」の金属量と「毛染め」の金属量とが「ＸＸ以上ＹＹ以下」である必要がある。

【0052】

軽金属量欄２２４ｆは、第１カテゴリ欄２２４ｂが示すカテゴリの物品と第２カテゴリ欄２２４ｃが示すカテゴリの物品とが同一のカテゴリの物品であるとみなされるためのＸ線画像における軽金属量に関する条件を示す。例えば、図４の例では、「毛染め」と「スプレー」とが同一のカテゴリの物品であるとみなされるためには、Ｘ線画像における「スプレー」の軽金属量と「毛染め」の軽金属量とが「ＸＸ以上ＹＹ以下」である必要がある。

【0053】

有機物量欄２２４ｇは、第１カテゴリ欄２２４ｂが示すカテゴリの物品と第２カテゴリ欄２２４ｃが示すカテゴリの物品とが同一のカテゴリの物品であるとみなされるためのＸ線画像における有機物量に関する条件を示す。例えば、図４の例では、「毛染め」と「スプレー」とが同一のカテゴリの物品であるとみなされるためには、Ｘ線画像における「スプレー」の有機物量と「毛染め」の有機物量とが「ＸＸ以上ＹＹ以下」である必要がある。

【0054】

なお、面積欄２２４ｄが示す条件は、第１カテゴリ欄２２４ｂが示すカテゴリの物品と第２カテゴリ欄２２４ｃが示すカテゴリの物品との相対量ではなく、第１カテゴリ欄２２４ｂが示すカテゴリの物品と第２カテゴリ欄２２４ｃが示すカテゴリの物品との少なくとも一方の絶対量によって示されてもよい。

【0055】

また、金属量欄２２４ｅ、軽金属量欄２２４ｆ、及び有機物量欄２２４ｇが示す条件は、第１カテゴリ欄２２４ｂが示すカテゴリの物品と第２カテゴリ欄２２４ｃが示すカテゴリの物品の一方の絶対量によって示されてもよいし、第１カテゴリ欄２２４ｂが示すカテゴリの物品と第２カテゴリ欄２２４ｃが示すカテゴリの物品との相対量によって示されてもよい。

【0056】

図５は、重なり・正面判定用テーブル２２６の一例である。重なり・正面判定用テーブル２２６は、例えば、カテゴリ欄２２６ａ、面積欄２２６ｂ、長辺最大値欄２２６ｃ、透過量平均値欄２２６ｄ、透過量下限値欄２２６ｅ、金属類比率欄２２６ｆ、及び有機物比率欄２２６ｇを含む。なお、重なり・正面判定用テーブル２２６は、カテゴリ欄２２６ａに加えて、面積欄２２６ｂ、長辺最大値欄２２６ｃ、透過量平均値欄２２６ｄ、透過量下限値欄２２６ｅ、金属類比率欄２２６ｆ、及び有機物比率欄２２６ｇのうち、少なくとも１つを含んでいればよい。

【0057】

カテゴリ欄２２６ａは、物品のカテゴリを示す情報を保持する。面積欄２２６ｂは、カテゴリ欄２２６ａが示す物品が、Ｘ線画像において他の物品に重なっていないための当該物品のＸ線画像における面積に関する条件を示す。長辺最大値欄２２６ｃは、カテゴリ欄２２６ａが示す物品が、Ｘ線画像において他の物品に重なっていないための、当該物品のＸ線画像における長辺最大値に関する条件を示す。

【0058】

透過量平均値欄２２６ｄは、カテゴリ欄２２６ａが示す物品が、Ｘ線画像において他の物品に重なっていないための、当該物品のＸ線画像における透過量平均値に関する条件を示す。透過量下限値欄２２６ｅは、カテゴリ欄２２６ａが示す物品が、Ｘ線画像において他の物品に重なっていないための、当該物品のＸ線画像における透過量下限値に関する条件を示す。

【0059】

金属類比率欄２２６ｆは、カテゴリ欄２２６ａが示す物品が、Ｘ線画像において他の物品に重なっていないための、当該物品のＸ線画像における金属類比率に関する条件を示す。有機物比率欄２２６ｇは、カテゴリ欄２２６ａが示す物品が、Ｘ線画像において他の物品に重なっていないための、当該物品のＸ線画像における有機物比率に関する条件を示す。

【0060】

図６は、Ｘ線画像処理装置１０２による物品認識処理と表示処理の一例を示すフローチャートである。図６の処理が開始する前に、物品認識モデル２２１、構成物関係性データ２２３、カテゴリ関係性テーブル２２４、及び重なり・正面判定用テーブル２２６が予め設定されている。

【0061】

Ｘ線画像取得プログラム２１２は、装置本体１０１のセンサによって取得された透過量データであるＲＡＷデータ又は透過量データが、画像化されたＸ線画像（表示装置１０３に表示するための画面信号）を取得する（Ｓ３０１）。

【0062】

ここで、装置本体１０１からＸ線画像処理装置１０２への入力が高低２種類のエネルギーのＲＡＷデータである場合は、Ｘ線画像取得プログラム２１２は、高低２種類のエネルギーの透過量データの差分情報からＸ線画像の各画素の材質を判定する。Ｘ線画像取得プログラム２１２は、例えば、高低２種類のエネルギーの透過量の差分情報に基づいて、各画素を、金属、無機物、有機物、又はその他の４種類のいずれかに分類することで、各画素の材質を判定する。そして、Ｘ線画像取得プログラム２１２は、材質情報と高低２種類のエネルギーのいずれかの透過量と、を用いて、材質情報を色、透過量を色の濃さ（密度が大きい部分は濃く、密度が小さい部分は薄い）で示すカラー画像を生成する。

【0063】

ここで、Ｘ線画像取得プログラム２１２が装置本体１０１から取得するＸ線画像データが撮影対象の荷物毎に分割されていない場合、つまり、一つの画像データに複数の荷物が写りこんでいる場合は、Ｘ線画像取得プログラム２１２は、以下に示す第１の分割方法乃至第３の分割方法にて画像データを荷物単位に分割する。

【0064】

第１の分割方法は、装置本体１０１のＶＧＡ出力端子などから表示装置１０３に表示するための画面信号がＸ線画像処理装置１０２に入力される場合に用いられる。まず、Ｘ線画像取得プログラム２１２は、画面信号を取得し、フレーム画像の変化の度合いを用いて荷物の表示内容が変化しているかを判定する。荷物の撮影が終了すると画面上には荷物が静止して表示される。

【0065】

Ｘ線画像取得プログラム２１２は、透過量が所定の閾値以下である濃い部分を荷物エリアに決定すると、荷物エリアが変化するかを判定することで、荷物の撮影の終了及び撮影終了時の荷物エリアを特定することができる。尚、Ｘ線画像取得プログラム２１２は、表示装置１０３に表示されている撮影毎にカウントアップされるカウンタや撮影中を示すアイコンなどの情報を用いて撮影の終了を判定し、撮影が終了したタイミングの画像を荷物画像に決定してもよい。

【0066】

第２の分割方法について説明する。Ｘ線画像取得プログラム２１２は、画面信号又はＲＡＷデータを取得し、取得した画面信号又はＲＡＷデータに基づいて、透過量の積分値を所定のライン数毎又は所定時間毎に求める。Ｘ線画像取得プログラム２１２は、透過量の積分値が所定の閾値より小さい（つまり色が濃い）部分は荷物があると判定し、透過量の積分値が所定の閾値以上（つまり色が薄い）部分は荷物がないと判定して、荷物単位に画像を分割する。

【0067】

なお、Ｘ線画像取得プログラム２１２は、１ラインで透過量を判定してしまうと、ノイズなどにより誤判定をしてしまう可能性があるため、移動平均をとった透過量の積分値が所定の閾値以より小さいと判定した場合は荷物あり、所定の閾値以上であると判定した場合は荷物なしと判定することもできる。また、荷物の途中に色が薄い部分が含まれることがあるため、Ｘ線画像取得プログラム２１２は、色が薄い部分が所定量連続した箇所を荷物と荷物の間のスペースと判定してもよい。

【0068】

第３の分割方法は、装置本体１０１の荷物投入口に荷物検知センサが設けられている場合に用いられる。一般的な装置本体１０１には、例えば、荷物によって光線が遮蔽される位置に遮蔽を検知できるセンサが設けられている。Ｘ線画像取得プログラム２１２は、センサが荷物を検知した時刻に、センサが荷物を検知した時点からラインセンサに荷物の先端が到着するまでの時間を加算することで荷物開始点の時刻（撮影開始時刻）を取得できる。

【0069】

また、Ｘ線画像取得プログラム２１２は、センサが荷物を検知しなくなった時刻に、センサが荷物を検知しなくなった時点からラインセンサに荷物の終端が到着するまでの時間を加算することで荷物終了点の時刻（撮影終了時刻）を取得できる。装置本体１０１からＸ線画像処理装置１０２への入力が画面信号であれば、Ｘ線画像取得プログラム２１２は、荷物開始点の時刻と荷物終了点の時刻を取得することで、荷物終了点の時刻のＸ線画像と、撮影時間の情報から荷物領域と、を特定することができる。装置本体１０１からＸ線画像処理装置１０２への入力がＲＡＷデータであれば、Ｘ線画像取得プログラム２１２は、開始時刻から終了時刻までのＲＡＷデータを１つの荷物のＲＡＷデータとして荷物領域のＸ線画像を生成することができる。

【0070】

なお、垂直方向と水平方向の２方向からＸ線画像を撮影できる装置本体１０１が用いられる場合、Ｘ線画像取得プログラム２１２は、例えば、垂直方向から撮影されたＸ線画像と水平方向から撮影されたＸ線画像とに、上記の３つの分割方法を適用する。

【0071】

なお、Ｘ線画像取得プログラム２１２が取得したＸ線画像は、ステップＳ３０２における物品認識処理に用いられたり、ユーザが過去のＸ線画像を参照する際に用いたりすることができるように、Ｘ線画像取得プログラム２１２は、取得したＸ線画像を、Ｘ線画像データ２２０に登録する。

【0072】

次に、物品認識プログラム２１３は、ステップＳ３０１で取得した１方向又は２方向のＸ線画像をＸ線画像データ２２０から取得し、物品認識モデル２２１及び／又は深層学習のセグメンテーション処理を用いて各画素に含まれる物品のカテゴリを認識する（Ｓ３０２）。なお、各画素に対する物品認識結果として、特定された物品のカテゴリ（各画素に１つのカテゴリの物品のみが含まれていると認識されることもあれば、複数のカテゴリの物品が含まれていると認識されることもある）を示す情報、又は物品がないことを示す情報が得られる。

【0073】

ここで、物品の認識には、ＯＳＳ（オープンソースソフトウェア）のライブラリとして知られている「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｉｎｓｔａｎｃｅ－ａｗａｒｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」や「Ｍａｓｋ Ｒ－ＣＮＮ」などのライブラリを用いることができる。なお、画素単位又は矩形領域等の所定形状の領域に含まれる物品が特定できれば、認識の方式は上記した方式に限られない。

【0074】

ここで、Ｘ線画像取得プログラム２１２が、２方向それぞれのＸ線画像を取得した場合、物品認識プログラム２１３は、第１の方向から撮影されたＸ線画像と、第２の方向から撮影された画像の２つのＸ線画像それぞれに対して物品認識処理を行う。

【0075】

例えば、スマートフォンが垂直方向と水平方向から場合、垂直方向からスマートフォンの正面が撮影されれば、水平方向からはスマートフォンの側面が撮影されている。物品認識プログラム２１３は、スマートフォンの正面が撮影されたＸ線画像からは、スマートフォンが当該Ｘ線画像に含まれていることを判別する精度が高いが、スマートフォンの側面が撮影されたＸ線画像からは、スマートフォンが当該Ｘ線画像に含まれていることを判別する精度が低い。また、撮影した方向に物品の重なりがある場合も、物品を判別しにくい。このように、一方の画像にしか認識結果が得られないことがあるため、撮影した２枚の画像の認識結果は異なることが多い。

【0076】

なお、物品認識プログラム２１３が、物品の複数方向のモデル（例えば、物品の正面のモデルと物品の側面のモデル）が別のモデルとして学習された物品認識モデル２２１を用いて物品認識をすることで、Ｘ線画像に含まれる物品がどの方向から撮影されたものに近いかを判別することができる。

【0077】

また、例えば、物品の正面と側面の間の角度からの物品が撮影された場合は、物品認識プログラム２１３は、物品の正面と側面のうち、より近いほうを選択するとよい。また、物品認識プログラム２１３は、正面と側面を一緒にした物品認識モデル２２１を用いて認識した結果に対して、物品の面積や事前に用意した正面と側面の見本画像とのテンプレートマッチングによる類似度合など、他の方法を用いて撮影された物品の姿勢が正面か側面かを判別してもよい。例えば、物品認識プログラム２１３は、物品認識時にスマートフォン（正面）やスマートフォン（側面）といったように判別しても、正面と側面を一緒にした物品認識モデル２２１を用いて認識した結果に対して、物品の姿勢が正面であるか側面であるかを判別してもよい。

【0078】

また、カラー画像で学習した物品認識モデル２２１と、グレースケール画像で学習した物品認識モデル２２１と、予めを用意しておき、物品認識プログラム２１３が、物品の重なりが大きいと判定した場合、すなわち画像の濃い部分の面積が所定の閾値よりも大きいと判定した場合などには、グレースケール画像で学習した物品認識モデル２２１を使って認識をすることもできる。これにより、物品の重なりによる材質の種類を示す色の変化の影響を避けることができる。

【0079】

次に、領域関係性判定プログラム２１５は、物品が含まれると認識された画素の物品の重なり度合いを用いて、複数のカテゴリの物品が重複して認識された領域があるかを判定する（Ｓ３０３）。領域関係性判定プログラム２１５は、複数のカテゴリの物品が重複して認識された領域がないと判定した場合（Ｓ３０４：ＮＯ）、いずれの物品の認識領域もマージすることなく、各物品が認識された領域と各物品のカテゴリを示す領域情報を生成する（Ｓ３１２）。

【0080】

領域関係性判定プログラム２１５は、複数のカテゴリの物品が重複して認識された領域があると判定した場合（Ｓ３０４：ＹＥＳ）、重なり・正面判定プログラム２１４は、重なり・正面判定用テーブル２２６を参照して、同じ領域に重複して認識された複数のカテゴリの物品が全て重なって配置されているか、及び同じ領域に重複して認識された複数のカテゴリの全ての物品の姿勢が正面でないかを判定する（Ｓ３０５）。

【0081】

なお、同じ領域に重複して認識された複数のカテゴリの物品が重なって配置されている状態とは、当該複数のカテゴリの物品に含まれる全ての物品が、単に撮影方向の手前又は奥に配置されている状態であり、当該複数のカテゴリの物品に含まれる物品の任意の組み合わせを同一のカテゴリの物品とみなすこともできないし、当該任意の組合わせを全体物と構成物との組み合わせであるとみなすこともできない状態である。

【0082】

例えば、ステップＳ３０５において、重なり・正面判定プログラム２１４は、当該複数のカテゴリの物品それぞれについて、重なり・正面判定用テーブル２２６の当該カテゴリに対応するレコードが示す条件を全て満たすかを判定する。重なり・正面判定プログラム２１４は、当該複数のカテゴリの物品のうち当該条件を全て満たしたカテゴリが１つもない又は１しかない場合には当該複数のカテゴリの全ての物品には重なりがある、かつ／又は全ての物品の姿勢が正面でないと判定する。また、重なり・正面判定プログラム２１４は、当該複数のカテゴリの物品のうち当該条件の全てを満たすカテゴリが複数あると判定した場合は、当該条件の全てを満たす複数のカテゴリの物品の組み合わせについては重なりがない、かつ姿勢が正面であると判定する。

【0083】

重なり・正面判定用テーブル２２６には、各カテゴリの物品の標準的な面積や各カテゴリの物品を構成する標準的な各材質の量が、例えば、過去の統計データ等に基づいて定義されている。従って、領域関係性判定プログラム２１５は、重なり・正面判定用テーブル２２６を用いた判定により、各カテゴリの物品が標準的な面積や材質量の範囲内であるかを判定することができ、ひいては重なりがあるか及び物品の姿勢が正面であるかを判定することができる。

【0084】

なお、ステップＳ３０５の重なり・正面判定処理は、物品認識処理が行われるステップＳ３０２で正面用と側面用とで分けられた物品認識モデル２２１を用いて物品認識をした際に行われるなど、他のステップで実行されてもよい。

【0085】

図７は、複数のカテゴリの物品が同じ領域に認識された場合における物品の重なりの一例を示す概要図である。Ｘ線画像７０１は、スマートフォンが単独で撮影されたＸ線画像である。Ｘ線画像７０２は、他の物品に重なっている状態のスマートフォンが撮影されたＸ線画像である。Ｘ線画像７０２におけるスマートフォンは他の物品に重なっているため、Ｘ線画像７０１におけるスマートフォンよりも色が濃く写っている。

【0086】

また、Ｘ線画像７０３は、斜め方向から撮影されたスマートフォンＸ線画像である。Ｘ線画像７０３には、スマートフォンの正面が撮影されておらず、スマートフォンの正面とは異なる形状で撮影されるため、Ｘ線画像７０３のスマートフォンは、正面から撮影されたスマートフォンとは面積と材質が異なる。

【0087】

図６の説明に戻る。重なり・正面判定用テーブル２２６は、同じ領域に重複して認識された複数のカテゴリの物品が全て重なって配置されている、かつ／又は同じ領域に重複して認識された複数のカテゴリの全ての物品の姿勢が正面でないと判定した場合（Ｓ３０６：ＮＯ）、同じ領域に重複して認識された複数のカテゴリの物品の領域をマージすることなく、ステップＳ３１２に遷移する。仮に、物品に重なりがある場合や姿勢が正面でない場合に当該物品が認識された領域がマージされると、異なる物品を同じ物品としてまとめてしまうリスクが高まるため、同じ領域に重複して認識された複数のカテゴリの物品の領域がマージされないようにしている。

【0088】

重なり・正面判定プログラム２１４が、同じ領域に重複して認識された複数のカテゴリの物品のうち重なりがない、かつ姿勢が正面であるカテゴリの物品の組み合わせがあると判定した場合（Ｓ３０６：ＹＥＳ）、領域関係性判定プログラム２１５は、当該組み合わせに含まれるカテゴリの物品に、別カテゴリとして認識されたものの同一のカテゴリとみなせる物品の組み合わせが含まれているか、全体物と構成物との関係にある物品の組み合わせが含まれているか、又はいずれの組み合わせも含まれていないかを判定する（Ｓ３０７）。

【0089】

ステップＳ３０７の処理の詳細について説明する。まず、例えば、領域関係性判定プログラム２１５は、重なりがない、かつ姿勢が正面である複数のカテゴリの物品に含まれる２つの物品の組み合わせそれぞれについて、一方のカテゴリの物品が認識された画素数全体に占める、当該一方のカテゴリの物品が認識された画素のうち他方のカテゴリの物品が認識された画素と重複する画素数の割合を算出する。領域関係性判定プログラム２１５は、当該割合が、所定の閾値（例えば９０％）以上である場合に、当該一方のカテゴリの物品が当該他方のカテゴリの物品の構成物であると推測する。

【0090】

また、例えば、領域関係性判定プログラム２１５は、重なりがない、かつ姿勢が正面である複数のカテゴリの物品に含まれる２つの物品の組み合わせそれぞれについて、一方のカテゴリの物品が認識された領域の画素と、他方のカテゴリの物品が認識された領域の画素と、のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を算出する。なお、例えば、カテゴリＡの物品とカテゴリＢの物品とのＩｏＵは、ＩｏＵ＝(Ａ∩Ｂ)／(Ａ∪Ｂ)として算出される（Ａ∩ＢはカテゴリＡの物品が認識された領域とカテゴリＢの物品が認識された領域との共通部分の画素数を示し、ＡＵＢはカテゴリＡの物品又はカテゴリＢの物品の少なくとも一方が認識された画素数を示す）。領域関係性判定プログラム２１５は、算出したＩｏＵが所定の閾値以上である場合に、一方のカテゴリの物品と当該他方のカテゴリの物品とが、別カテゴリの物品と認識されたものの、同一のカテゴリの物品であると推測する。なお、領域関係性判定プログラム２１５は、２つのカテゴリの物品が、全体物と構成物の関係であると推測されるための条件と、別カテゴリの物品と認識されたものの、同一の物品のカテゴリであると推測されるための条件と、の双方を満たしたと判定した場合、当該２つのカテゴリの物品を、例えば、全体物と構成物の関係であるが同一のカテゴリの物品ではないと推測してもよい。また、この場合に、領域関係性判定プログラム２１５は、当該２つの物品が、全体物と構成物の関係ではないが同一のカテゴリの物品であると推測してもよい。

【0091】

また、領域関係性判定プログラム２１５は、重なりがない、かつ姿勢が正面である複数のカテゴリの物品に含まれる２つの物品の組み合わせのいずれもが、別カテゴリとして認識されたものの同一のカテゴリとみなせる物品の組み合わせでも、全体物と構成物の関係にある物品の組み合わせでもないと判定した場合、全ての物品の組み合わせが別物品の組み合わせであると判定する。

【0092】

図８は、物品認識領域の関係性の概要を示す説明図である。領域８０１はカテゴリＡの物品が位置すると認識された領域であり、領域８０２はカテゴリＢの物品が位置すると認識された領域である。さらに、領域８０１において認識された物品と領域８０２において認識された物品とは重なりがない、かつ領域８０１において認識された物品及び領域８０２において認識された物品の姿勢が正面であると判定されたものとする。領域８０２は、領域８０１に包含されているため（つまり上記した割合が１００％であるため）、領域関係性判定プログラム２１５は、カテゴリＢの物品が、カテゴリＡの物品の構成物であると推測する。

【0093】

また、領域８０３はカテゴリＣの物品が位置すると認識された領域であり、領域８０４はカテゴリＤの物品が位置すると認識された領域である。さらに、領域８０３において認識された物品と領域８０４において認識された物品とは重なりがない、かつ領域８０３において認識された物品及び領域８０４において認識された物品の姿勢が正面であると判定されたものとする。領域８０３と領域８０４とのＩｏＵが所定の閾値以上であるため、領域関係性判定プログラム２１５は、一方のカテゴリの物品と当該他方のカテゴリの物品とが、別カテゴリの物品と認識されたものの、同一のカテゴリの物品であると推測する。

【0094】

なお、領域関係性判定プログラム２１５は、上記した全体物と構成物との関係があるかを推測する判定、及び別カテゴリの物品と認識されたものの同一のカテゴリの物品であると推測する判定を、ステップＳ３０４の判定と併せて行ってもよい。この場合、領域関係性判定プログラム２１５は、構成物関係があると推測された物品の組み合わせ、又は別カテゴリの物品と認識されたものの同一のカテゴリの物品であると推測された物品の組み合わせがあるの少なくとも一方があると推測した場合には、ステップＳ３０５に遷移し、いずれの物品の組み合わせもないと推測した場合には、いずれの物品の認識領域もマージすることなくステップＳ３１２に遷移する。

【0095】

ステップＳ３０７の処理の説明に戻る。まず、全体物と構成物の関係があるかの判定について説明する。領域関係性判定プログラム２１５は、全体物と構成物の関係にあると推測された物品の組み合わせが、全体物と構成物の関係にあるかを、構成物関係性データ２２３を参照して決定する。具体的には、領域関係性判定プログラム２１５は、カテゴリＢの物品がカテゴリＡの物品の構成物であると推測した場合、カテゴリ欄２２３ｂの値がカテゴリＡかつ構成物欄２２３ｃの値がカテゴリＢであるレコードが構成物定義テーブル２２３１に含まれ、かつ認識されたカテゴリＡの物品とカテゴリＢの物品とが当該レコードにおける面積欄２２３ｅ及び重心位置欄２２３ｆが示す条件を満たした場合に、カテゴリＢの物品がカテゴリＡの構成物であると判定する。

【0096】

なお、領域関係性判定プログラム２１５は、カテゴリ欄２２３ｂの値がカテゴリＡかつ構成物欄２２３ｃの値がカテゴリＢであるレコードが構成物定義テーブル２２３１に含まれるか、又は認識されたカテゴリＡの物品とカテゴリＢの物品とが当該レコードにおける面積欄２２３ｅ及び重心位置欄２２３ｆが示す条件を満たすか、のいずれかが満たされた場合に、カテゴリＢの物品がカテゴリＡの構成物であると判定してもよい。

【0097】

領域関係性判定プログラム２１５が、上記した処理によって全体物と構成物の関係があるかの判定を実行することにより、あるカテゴリの物品に構成物が内蔵されている場合等において、当該物品と当該構成物とを別々に検知するのではなく、全体物としてまとめて検知することができる。特に、例えば、バッテリが構成物として内蔵されているスマートフォンや、ガスシリンダが構成物として内蔵されているエアバッグは禁止物品ではないものの、バッテリ単体やガスシリンダ単体は禁止物品である場合があり、このような場合において構成物関係にあるカテゴリの物品がまとめられることで、禁止物品アラートが誤って出力される事態の発生を抑制することができる。

【0098】

また、領域関係性判定プログラム２１５は、上記した構成物関係性データ２２３を参照した全体物と構成物の関係の判定に加え、さらに物品個数テーブル２２３２を参照して、全体物と構成物の関係の判定を実行してもよい。

【0099】

具体的には、領域関係性判定プログラム２１５は、上記した構成物関係性データ２２３を参照して構成物関係にあると判定された物品の組み合わせに対して、当該構成物関係に対応するカテゴリ欄２２３ｈと構成物欄２２３ｉの値を有するレコードにおける個数欄２２３ｊが示す個数が、当該構成物関係に含まれる構成物の個数と一致するときに、当該物品の組み合わせが全体物と構成物の関係にあると判定し、一致しない場合全体物と構成物の関係にないと判定してもよい。

【0100】

例えば、図３の物品個数テーブル２２３２によれば、スマートフォンのバッテリの個数は１個であるため、スマートフォンが認識された領域にバッテリが２個検知されている場合は、スマートフォンに構成物として内蔵されたバッテリとは異なるバッテリが存在する可能性があるため、領域関係性判定プログラム２１５は、スマートフォンと２つのバッテリの認識領域をまとめない（スマートフォンと１つのバッテリをまとめて、もう１つのバッテリをまとめないようにしてもよいし、スマートフォンと２つのバッテリを一切まとめないようにしてもよい）。

【0101】

逆に、全体物であるスマートフォンが認識されているものの、スマートフォンの構成物であるバッテリが認識されていない場合、領域関係性判定プログラム２１５は、バッテリが検知漏れしていると注意を促すための仮想検知領域を、スマートフォンの認識領域上に追加してもよい。物品の中には、１個存在するだけでは禁止物品として扱われないものの、指定サイズ以上であったり指定個数以上存在したりする場合には禁止物品として扱われる物品があるため、領域関係性判定プログラム２１５は、上記したように関係性を判定する中で検知漏れが疑われる場合には、検知漏れの可能性を示す領域を物品の領域内に破線矩形などで表示することで個数制限による見落としを抑止できる。

【0102】

続いて、別カテゴリとして物品が認識されたものの同一カテゴリの物品としてまとめるための判定について説明する。領域関係性判定プログラム２１５は、別カテゴリとして物品が認識されたものの同一カテゴリの物品としてまとめることができると推測された物品の組み合わせを、まとめることができるかを、カテゴリ関係性テーブル２２４を参照して決定する。

【0103】

具体的には、領域関係性判定プログラム２１５は、カテゴリＡの物品とカテゴリＢの物品とをまとめることができると推測した場合、第１カテゴリ欄２２４ｂの値と第２カテゴリ欄２２４ｃの値の組み合わせが、カテゴリＡの物品とカテゴリＢの組み合わせであるレコードがカテゴリ関係性テーブル２２４に含まれ、かつ認識されたカテゴリＡの物品とカテゴリＢの物品とが当該レコードにおける面積欄２２４ｄ、金属量欄２２４ｅ、軽金属量欄２２４ｆ、及び有機物量欄２２４ｇが示す条件を満たした場合に、カテゴリＡの物品とカテゴリＢとをまとめることができると判定する。

【0104】

なお、領域関係性判定プログラム２１５は、カテゴリＡの物品とカテゴリＢの物品とをまとめることができると推測した場合、第１カテゴリ欄２２４ｂの値と第２カテゴリ欄２２４ｃの値の組み合わせが、カテゴリＡの物品とカテゴリＢの組み合わせであるレコードがカテゴリ関係性テーブル２２４に含まれるか、又は認識されたカテゴリＡの物品とカテゴリＢの物品とが当該レコードにおける面積欄２２４ｄ、金属量欄２２４ｅ、軽金属量欄２２４ｆ、及び有機物量欄２２４ｇが示す条件を満たすか、のいずれかが満たされた場合に、カテゴリＡの物品とカテゴリＢとをまとめることができると判定してもよい。

【0105】

領域関係性判定プログラム２１５が、上記した処理によって別カテゴリの物品を同一カテゴリの物品としてまとめる判定を実行することにより、同一の物品であるものの、複数の別カテゴリの物品として認識されてしまった物品をひとまとめにすることができ、ユーザの負担を軽減することができる。

【0106】

具体的には、例えば、ガスボンベのカテゴリとスプレー缶のカテゴリが禁止物品として定義されていても、ガスボンベとスプレー缶の両方のカテゴリが出力されることなく、一方のカテゴリのみが出力されて、ユーザの負担が軽減される。特に、定義されているカテゴリ数が多い場合には、１つの物品に対して複数のカテゴリが認識される可能性が高いが、領域関係性判定プログラム２１５は、当該複数のカテゴリを１つのカテゴリにまとめて出力することができる。

【0107】

また、上記した処理において、領域関係性判定プログラム２１５は、面積欄２２４ｄ、金属量欄２２４ｅ、軽金属量欄２２４ｆ、及び有機物量欄２２４ｇが示す条件を考慮することにより、例えば、同一カテゴリの物品としてまとめることが可能な毛染めとスプレー缶が重複した領域に認識された場合であっても、高確率で同じ物品である場合にのみ、同一カテゴリの物品としてまとめることができる。

【0108】

なお、ステップＳ３０５においては、重なり・正面判定プログラム２１４は、他のカテゴリにまとめられる可能性があるカテゴリの物品についても重なり・正面判定を行うため、重なり・正面判定用テーブル２２６における物品の面積や材質の量に基づく条件は、カテゴリ関係性テーブル２２４及び構成物定義テーブル２２３１における物品の面積や材料の質に基づく条件よりも緩いことが望ましい。カテゴリ関係性テーブル２２４に登録される面積や特徴は、ユーザによって過去に入力された複数のカテゴリの物品をマージすることを示すフィードバック結果や、物品認識の信頼度が高いデータなどから統計的に生成されてもよい。

【0109】

領域関係性判定プログラム２１５が、別カテゴリとして認識されたものの同一のカテゴリとみなせる物品の組み合わせも、全体物と構成物の関係にある物品の組み合わせもないと判定した場合（Ｓ３０８：別物品）、いずれの物品の認識領域もマージすることなくステップＳ３１２に遷移する。

【0110】

領域関係性判定プログラム２１５は、別カテゴリとして認識されたものの同一のカテゴリとみなせる物品の組み合わせ、及び全体物と構成物の関係にある物品の組み合わせの少なくとも一方があると判定した場合（Ｓ３０８：構成物・別カテゴリ）、領域特徴判定処理を実行する（Ｓ３０９）。

【0111】

物品Ａと、全体物である物品Ａの構成物Ｂが認識されている場合、物品Ａの領域の一部に構成物Ｂがあったとしても、たまたま物品Ａの下に構成物Ｂがある可能性が考えられる。従って、ステップＳ３０９では、例えば、領域関係性判定プログラム２１５は、全体物である物品Ａに対する構成物Ｂの位置が予め定められた標準的な位置の範囲に含まれる、かつ物品Ａに対する構成物Ｂの面積の比率が予め定められた標準の範囲内に含まれると判定した場合に、物品Ａが認識された領域と構成物Ｂが認識された領域との領域特徴が類似していると判定する。

【0112】

領域関係性判定プログラム２１５は、別カテゴリとして認識されたものの同一のカテゴリとみなせる物品の組み合わせ、及び構成物関係にある物品の組み合わせのうち、領域特徴が類似している組み合わせがないと判定した場合（Ｓ３１０：ＮＯ）、いずれの物品の認識領域もマージすることなく、ステップＳ３１２に遷移する。

【0113】

領域関係性判定プログラム２１５は、別カテゴリとして認識されたものの同一のカテゴリとみなせる物品の組み合わせ、及び構成物関係にある物品の組み合わせのうち、領域特徴が類似しているものがあると判定した場合（Ｓ３１０：ＹＥＳ）、別カテゴリとして認識されたものの同一のカテゴリとみなせる物品の組み合わせ、及び／又は構成物関係にある物品の組み合わせそれぞれの物品の組み合わせのうち領域特徴が類似している組み合わせの認識領域をマージして（Ｓ３１１）、ステップＳ３１２に遷移する。

【0114】

なお、領域関係性判定プログラム２１５は、別カテゴリとして認識されたものの同一のカテゴリとみなせる物品の組み合わせのうち領域特徴が類似している組み合わせの認識領域をマージする場合、例えば、マージ前の組み合わせの認識領域のいずれかをマージ後の認識領域として選択し、マージ前の組み合わせのカテゴリのいずれかから、マージ後の認識領域のカテゴリを決定する。

【0115】

具体的には、例えば、領域関係性判定プログラム２１５は、カテゴリＡの物品の認識領域とカテゴリＢの物品の認識領域とをマージする場合、これら２つの認識領域のうち物品認識結果の信頼度が高い物品の認識領域をマージ後の認識領域として選択し、当該信頼度が高い物品のカテゴリをマージ後の認識領域のカテゴリに決定する。領域関係性判定プログラム２１５は、信頼度が高い認識領域のカテゴリを採用することで、その認識領域の特徴を示すカテゴリ名を適切に選択することができる。

【0116】

また、例えば、領域関係性判定プログラム２１５は、カテゴリＡの物品の認識領域とカテゴリＢの物品の認識領域とをマージする場合、予め定められた優先度が高いカテゴリの物品の認識領域をマージ後の認識領域として選択して当該優先度が高いカテゴリをマージ後の認識領域のカテゴリに決定してもよいし、ランダムに選択したカテゴリの認識領域をマージ後の認識領域として選択して当該ランダムに選択したカテゴリをマージ後の認識領域のカテゴリに決定してもよい。

【0117】

また、領域関係性判定プログラム２１５は、全体物と構成物の関係にある物品の組み合わせのうち領域特徴が類似している組み合わせの認識領域をマージする場合、全体物の認識領域をマージ後の認識領域として選択肢、全体物のカテゴリをマージ後の認識領域のカテゴリに決定する。

【0118】

なお、ステップＳ３１０及びステップＳ３１１の処理が省略されてもよい。この場合、ステップＳ３０８において、別カテゴリとして認識されたものの同一のカテゴリとみなせる物品の組み合わせ、構成物関係にある物品の組み合わせの少なくとも一方があると判定された場合に、これらの組み合わせそれぞれの認識領域がマージされる。

【0119】

次に、テーブル更新プログラム２１６は、認識領域が重複している物品のカテゴリの組み合わせを示す情報、当該組み合わせにおける認識領域のＩｏＵ、当該組み合わせに含まれる物品の面積及び各材質の量、並びに全体物と構成物の組み合わせとしてマージされた構成物の全体物に対する面積比率及び構成物の位置などの情報を、重なりパターンの蓄積情報として、重なりデータ２２５に登録する（Ｓ３１３）。

【0120】

例えば、テーブル更新プログラム２１６は、重なりデータ２２５を参照して、ガスシリンダが内蔵されたエアバッグを撮影したＸ線画像において、エアバッグとガスシリンダが同じ位置に毎回認識されていると判定したときに、ガスシリンダがエアバッグの構成物であると推定し、エアバッグを本体物、ガスシリンダを構成物とする関係を、構成物関係性データ２２３に新たに定義する。

【0121】

また、例えば、テーブル更新プログラム２１６は、重なりデータ２２５を参照して、ＩｏＵの値が１に近い（例えば、０．８以上等の所定値以上）カテゴリの物品同士は、同じ物品が２つのカテゴリの物品として認識されていると推定し、これらのカテゴリの物品を同一カテゴリの物品として扱えるものとしてカテゴリ関係性テーブル２２４に新たに定義する。

【0122】

なお、本体物と構成物の関係を構成物関係性データ２２３に新たに定義する処理、及び複数カテゴリの物品を同一カテゴリの物品として扱えるものとしてカテゴリ関係性テーブル２２４に新たに定義する処理は、完全に自動で行われる必要はなく、例えば、新たに追加する定義の候補を定期的にユーザに提示し、ユーザの指示に従って新たな定義を追加してもよい。

【0123】

このように、テーブル更新プログラム２１６は、実際に得られたＸ線画像に基づいて重なりデータ２２５に重なりパターンを蓄積して、蓄積された重なりパターンに基づいて、構成物関係性データ２２３及びカテゴリ関係性テーブル２２４を更新することで、構成物関係性データ２２３及びカテゴリ関係性テーブル２２４を、実際の運用で扱われた荷物に基づいて最適化することができる。

【0124】

なお、テーブル更新プログラム２１６は、既に構成物関係性データ２２３及びカテゴリ関係性テーブル２２４に登録済みのカテゴリの組み合わせについての情報を、重なりデータ２２５に蓄積したときであっても、新製品の登場などにより面積や材質量などの画像特徴は変化する可能性があるため、構成物関係性データ２２３及びカテゴリ関係性テーブル２２４における面積や材質量に関する情報を更新することが望ましい。

【0125】

次に、表示画像生成プログラム２１７は、表示装置１０３に表示する画像を生成する（Ｓ３１４）。画面表示プログラム２１８は、ステップＳ３１４で生成された画像を表示装置１０３に表示する（Ｓ３１５）。

【0126】

図９は、表示装置１０３に表示される表示画像の一例を示す説明図である。表示画像９０１は、毛染めともスプレーとも認識される物品が６つ撮影されているＸ線画像である。表示画像９０２には、当該６つの物品がいずれも毛染めともスプレーとも認識されて、毛染めの認識領域を示す枠６つ及び毛染めという名称６つ、並びにスプレーの認識領域を示す枠６つ及びスプレーという名称６つが含まれている。

【0127】

表示画像９０３には、毛染めとスプレーとが別カテゴリであるものの同一のカテゴリとしてまとめられると判定されて、毛染めの認識領域を示す枠と、スプレーの認識領域を示す枠と、がマージされた枠（ここでは毛染めの枠がマージ後の枠として選択されたものとする）と、マージされた枠に対応する名称である毛染めと、が含まれている。表示画像９０３は、毛染めともスプレーとも認識される物品が６つ撮影されているＸ線画像がＸ線画像処理装置１０２に入力されたときに、ステップＳ３１５で表示される表示画面に含まれる表示画像である。

【0128】

なお、表示画像生成プログラム２１７は、同一カテゴリの物品が隣接して配置されている（例えば所定距離以内に配置されている）と判定した場合、表示画像９０４のように、隣接して配置されている同一カテゴリの物品の認識領域の枠をまとめた上で、まとめた認識領域の枠の個数を併せて表示する画像を生成するとよい。

【0129】

表示画像９０５は、バッテリを内蔵するスマートフォンが撮影されたＸ線画像である。表示画像９０６には、スマートフォンとバッテリが別の物品として認識されて、スマートフォンの認識領域を示す枠と、バッテリの認識領域を示す枠と、がそれぞれ含まれている。

【0130】

表示画像９０７には、バッテリがスマートフォンの構成物であると判定されて、構成物であるバッテリの認識領域を示す枠及びバッテリという名称が含まれず、本体物であるスマートフォンの認識領域を示す枠及びスマートフォンという名称が含まれている。表示画像９０７は、バッテリを構成物として含むスマートフォンが撮影されているＸ線画像がＸ線画像処理装置１０２に入力されたときに、ステップＳ３１５で表示される表示画面に含まれる表示画像である。

【0131】

なお、表示画像９０７に、スマートフォンが構成物としてのバッテリを含んでいることを示すテキストやアイコンなどがさらに含まれてもよい。また、バッテリのように禁止物品であるかがその個数に依存して決まる物品がＸ線画像に含まれる場合、認識された当該物品の個数が所定値を超えた場合（つまり禁止物品として扱われる場合）には、表示画像９０７において当該物品の認識領域を示す枠が含まれ、認識された当該物品の個数が当該所定値以下である場合には、表示画像９０７において当該物品の認識領域を示す枠が含まれないようにしてもよい。

【0132】

なお、図９の例では物品の認識領域を示す枠が矩形で表示されているが、枠の形状は矩形に限られず、例えば、枠の形状が物品認識処理において認識された物品の輪郭であってもよい。

【0133】

最後に、テーブル更新プログラム２１６がフィードバック処理を実行して（Ｓ３１６）、処理を終了する。テーブル更新プログラム２１６は、フィードバック処理において、物品の認識結果が誤っていることや、認識漏れがあることをユーザからフィードバックされた場合に、Ｘ線画像データ２２０及びフィードバックデータ２２２にフィードバック情報を登録する。フィードバック処理の詳細は図１０～図１３を用いて後述する。

【0134】

なお、ステップＳ３１６のフィードバック処理が省略されてもよい。なお、検査が継続される場合には、ステップＳ３１６の後にステップＳ３０１に遷移して、新たなＸ線画像に対する処理が開始してもよい。

【0135】

図１０は、フィードバック処理の一例を示すフローチャートである。画面表示プログラム２１８は、フィードバック画面を表示装置１０３に表示する（Ｓ９０１）。なお、フィードバック画面と、ステップＳ３１５で表示される画面と、が共通であってもよい。

【0136】

テーブル更新プログラム２１６は、Ｘ線画像におけるフィードバックが必要な位置の入力を、入力装置１０４を介してユーザから受け付ける（Ｓ９０２）。テーブル更新プログラム２１６が、ユーザからフィードバックが必要な位置が入力されなかったと判定した場合（Ｓ９０３：ＮＯ）、フィードバックの処理が終了する。テーブル更新プログラム２１６は、ユーザからフィードバックが必要な位置が入力されたと判定した場合（Ｓ９０３：ＹＥＳ）、入力されたフィードバックの種別を判定する（Ｓ９０４）。

【0137】

例えば、重複した位置に認識されているものの異なるカテゴリの物品として認識されている物品の組み合わせをまとめるための第１種別のフィードバック、重複した位置に認識されているものの異なるカテゴリの物品として認識されている物品の組み合わせを全体物と構成物との組み合わせとして追加するための第２種別のフィードバック、及び全体物に含まれる構成物を当該全体物から分離する第３種別のフィードバック等がある。

【0138】

次に、テーブル更新プログラム２１６は、ステップＳ９０４で取得したフィードバックの種別に従って、フィードバック内容の確認結果を入力するための表示領域をフィードバック画面に表示し（Ｓ９０５）、確認結果の入力を、入力装置１０４を介してユーザから受け付ける（Ｓ９０６）。

【0139】

テーブル更新プログラム２１６は、入力された確認結果をフィードバックデータ２２２に保存する（Ｓ９０７）。テーブル更新プログラム２１６は、フィードバックの種別及び確認結果に応じて、構成物関係性データ２２３、又はカテゴリ関係性テーブル２２４を更新するフィードバックデータの反映を実行して（Ｓ９０８）、フィードバック処理を終了する。

【0140】

なお、フィードバックの種別が第１種別である場合には、テーブル更新プログラム２１６は、ステップＳ９０８においてカテゴリ関係性テーブル２２４に当該カテゴリの組み合わせを追加する。

【0141】

このとき、テーブル更新プログラム２１６は、当該組み合わせの物品が重複した領域に認識された過去のＸ線画像をＸ線画像データ２２０から取得し、取得したＸ線画像に基づいて、カテゴリ関係性テーブル２２４に格納する面積や材質量などの条件を決定してもよい。また、当該組み合わせの物品が重複した領域に認識されたＸ線画像が１つしかＸ線画像データ２２０に含まれない場合、テーブル更新プログラム２１６は、予め定められた許容量に所定値を増減させて得られる上限値及び下限値を用いて、カテゴリ関係性テーブル２２４に格納する面積や材質量などの条件を決定してもよい。

【0142】

また、フィードバックの種別が第２種別である場合、テーブル更新プログラム２１６は、当該全体物と当該構成物との組み合わせを構成物関係性データ２２３に追加する。また、フィードバックの種別が第３種別である場合、テーブル更新プログラム２１６は、構成物関係性データ２２３から、当該全体物と当該構成物との組み合わせを削除する。

【0143】

なお、テーブル更新プログラム２１６は、第３種別のフィードバックを一度受けただけでは、構成物関係性データ２２３から、当該全体物と当該構成物との組み合わせを削除しないようにしてもよい。具体的には、例えば、テーブル更新プログラム２１６は、第３種別のフィードバックを所定の頻度以上で受けた場合、又はユーザから第３種別のフィードバックを指定された場合にのみ、構成物関係性データ２２３から、当該全体物と当該構成物との組み合わせを削除し、第３種別のフィードバックを受けたものの当該全体物と当該構成物との組み合わせを削除しない場合には、当該組み合わせのカテゴリの物品の当該構成物の面積や材質量をフィードバックデータ２２２に蓄積する。

【0144】

これにより、テーブル更新プログラム２１６は、当該組み合わせのカテゴリの物品の蓄積した面積や材質量の統計情報を取得することができ、当該統計情報に基づいて、当該組み合わせのカテゴリの物品を、全体物と構成物としてまとめないための条件（面積や材質量等の条件）を構成物関係性データ２２３に追加登録してもよい。この場合、構成物関係性データ２２３において全体物と構成物との組み合わせとして定義されている組み合わせのカテゴリの物品が認識された場合であっても、当該組み合わせのカテゴリの物品が当該条件を満たせば、当該組み合わせの物品は全体物と構成物の組み合わせとしてまとめられることがないため、ユーザにとって不要なフィードバックを抑止することができる。

【0145】

図１１、図１２、及び図１３はフィードバック画面の一例である。フィードバック画面１１００は、Ｘ線画像表示領域１１０１及び代表名選択領域１１０２を含む。Ｘ線画像表示領域１１０１には、２つのカテゴリの認識領域を示す枠を含むＸ線画像が表示される。図１１の例では、Ｘ線画像には毛染めともスプレーとも認識される１つの物品しか表示されていないが、毛染めとスプレーとの組み合わせがカテゴリ関係性テーブル２２４に定義されていないため、毛染めの認識領域を示す枠と、スプレーの認識領域を示す枠と、がそれぞれ表示されている。

【0146】

Ｘ線画像表示領域１１０１のＸ線画像に含まれる矢印は、カーソルを示す。Ｘ線画像において２つのカテゴリの物品が重複して認識された領域があり、当該２つのカテゴリの物品の認識領域のＩｏＵが所定の閾値以上であり、かつ当該２つのカテゴリの組み合わせがカテゴリ関係性テーブル２２４に定義されていない場合に、当該重複する領域が選択されると第１種別のフィードバックが入力されたと判定される。

【0147】

図１１の例で、「毛染め」の認識領域を示す枠内と、「スプレー」の認識領域を示す枠内と、の重複領域がカーソルを用いてユーザによって選択されると、第１種別のフィードバックが入力されたと判定されて、フィードバックの確認結果を入力するための領域として、代表名選択領域１１０２が表示される。

【0148】

代表名選択領域１１０２において、「スプレー」又は「毛染め」の一方が選択されると、フィードバックデータ２２２には、フィードバック種別と当該選択の結果が格納され、カテゴリ関係性テーブル２２４には、「スプレー」と「毛染め」の組み合わせと（なお、例えば、「スプレー」又は「毛染め」のうち代表名選択領域１１０２で選択されたものが、第１カテゴリ欄２２４ｂに格納されるとよい）、Ｘ線画像表示領域１１０１のＸ線画像における「スプレー」と「毛染め」の材質量及び面積と、が追加される。

【0149】

図１２のフィードバック画面１２００は、例えば、Ｘ線画像表示領域１２０１及び構成物決定領域１２０２を含む。図１２の例では、バッテリの認識領域を示す枠がスマートフォンの認識領域を示す枠に包含されているが、スマートフォンを全体物とし、バッテリを構成物とする組み合わせが構成物関係性データ２２３に定義されていないため、スマートフォンの認識領域を示す枠と、バッテリの認識領域を示す枠と、がそれぞれ表示されている。

【0150】

Ｘ線画像表示領域１２０１のＸ線画像に含まれる矢印は、カーソルを示す。Ｘ線画像において２つのカテゴリの物品が重複して認識された領域があり、当該２つのカテゴリの一方のカテゴリの物品の認識領域の画素数のうち他方のカテゴリの物品の画素数を重複する画素数の割合が所定値以上であり、かつ当該２つのカテゴリの組み合わせが構成物関係性データ２２３に定義されていない場合に、当該重複する領域が選択されると第２種別のフィードバックが入力されたと判定される。

【0151】

図１２の例で、「スマートフォン」の認識領域を示す枠内と、「バッテリ」の認識領域を示す枠内と、の重複領域がカーソルを用いてユーザによって選択されると、第２種別のフィードバックが入力されたと判定されて、フィードバックの確認結果を入力するための領域として、構成物決定領域１２０２が表示される。

【0152】

構成物決定領域１２０２において、「はい」が選択されると、フィードバックデータ２２２には、フィードバック種別と当該選択の結果が格納され、構成物関係性データ２２３には、「スマートフォン」が全体物であり「バッテリ」が構成物である組み合わせと、Ｘ線画像表示領域１２０１のＸ線画像における「スマートフォン」と「バッテリ」の材質量及び面積と、が追加される。構成物決定領域１２０２において、「いいえ」が選択されると、フィードバックデータ２２２には、フィードバック種別と当該選択の結果が格納される。

【0153】

図１３のフィードバック画面１３００は、例えば、Ｘ線画像表示領域１３０１及び構成物解除領域１３０２を含む。図１３の例では、スマートフォンを含むバッテリがＸ線画像に表示されているが、スマートフォンを全体物とし、バッテリを構成物とする組み合わせが構成物関係性データ２２３に定義されているため、バッテリの認識領域を示す枠が表示されず、スマートフォンの認識領域を示す枠のみが表示されている。

【0154】

Ｘ線画像表示領域１３０１のＸ線画像に含まれる矢印は、カーソルを示す。Ｘ線画像において全体物と構成物との関係にあると判定されたカテゴリの物品がある場合に、当該全体物（又は当該構成物）の領域が選択されると第３種別のフィードバックが入力されたと判定される。

【0155】

図１３の例で、「スマートフォン」の認識領域を示す枠内がカーソルを用いてユーザによって選択されると、第３種別のフィードバックが入力されたと判定されて、フィードバックの確認結果を入力するための領域として、構成物解除領域１３０２が表示される。

【0156】

構成物解除領域１３０２において、「はい」が選択されると、フィードバックデータ２２２には、フィードバック種別と当該選択の結果が格納される。さらに、構成物解除領域１３０２において、「はい」が所定以上の頻度で選択されると、構成物関係性データ２２３から、「スマートフォン」が全体物であり「バッテリ」が構成物である組み合わせが削除される。また、構成物解除領域１３０２において、「いいえ」が選択されると、フィードバックデータ２２２には、フィードバック種別と当該選択の結果が格納される。

【0157】

本実施例のＸ線画像処理装置１０２によれば、Ｘ線画像上で複数のカテゴリの物品を重複する領域に認識したときに、当該複数のカテゴリが同一であるとみなせる場合、又は当該複数のカテゴリの物品が全体物と構成物との関係にある場合には、当該複数のカテゴリ物品のマージされた認識領域とマージされたカテゴリ名とを表示する。

【0158】

これにより、ユーザが認識領域を確認しやすくなり、ひいては検査効率が向上する。さらには、Ｘ線画像処理装置１０２において、大量のカテゴリが認識対象の物品のカテゴリとして定義されていても、認識領域がマージされれば、認識領域を示す枠が二重に表示されることを抑止できる。

【0159】

また、Ｘ線画像処理装置１０２は、例えば、Ｘ線画像において認識された物品が、他の物品の構成物であるのか、他の物品の構成物ではなく単に重なって表示されている（つまり、手前側又は奥側）に位置するだけの物品であるかを区別して認識領域を表示することができるため、ユーザによる見落としを抑止できる。

【0160】

なお、本実施例では、１つの方向から荷物が撮影されてＸ線画像が生成される例を主に説明したが、複数の方向から荷物が撮影されてもよい。複数の方向から荷物が撮影されてＸ線画像が生成された場合には、Ｘ線画像処理装置１０２は、重なり・正面判定において、複数方向の同じ位置に検知されているかどうかの情報を併せて活用してもよい。

【0161】

具体的には、例えば、スマートフォンが２方向（例えば、上方向からと左方向から）から撮影されて、スマートフォンの上面と側面（細長い形状）のＸ線画像が得られたとする。さらに、スマートフォンの上下に別の物品が重なって配置されている場合には、側面の画像には実際のスマートフォンよりも厚みがあったり、スマートフォンと少し間隔を開けて別の物品が見えたりするため、Ｘ線画像処理装置１０２は、上面から及び側面からの画像の両方を加味して重なりがあるかどうかを判定する。また、例えば、装置本体１０１がＸ線画像としてＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像を撮影した場合には、Ｘ線画像処理装置１０２は、ＣＴ画像から物品の３次元の位置関係を高精度に推測できるため、この３次元の位置関係を用いて、物品の重なりの有無と正面であるかを判定してもよい。

【0162】

また、Ｘ線画像処理装置１０２は、カテゴリ関係性テーブルの面積や材質量を２方向で条件化してもよい。具体的には、例えば、スマートフォンが２方向（例えば、上方向からと左方向から）から撮影されて、スマートフォンの上面と側面（細長い形状）のＸ線画像が得られた場合に、上面の画像から得られる面積及び材質量と、側面の画像から得られる面積及び材質量と、それぞれについて重なり・正面判定のための条件が定義されている。このとき、Ｘ線画像処理装置１０２は、例えば、スマートフォンの上面の画像と側面の画像それぞれについて、面積及び材質量の条件が満たされれば、スマートフォンが正面であり、かつ重なりがないと判定すればよい。

【0163】

また、本実施例では、Ｘ線を用いた撮影が行われる例を示したが、物品を透過して撮影できる電磁波であれば、例えば、テラヘルツ波など他の電磁波が、Ｘ線に代えて用いられてもよい。

【0164】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加や削除、置換をすることが可能である。

【0165】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0166】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0167】

１０２ Ｘ線画像処理装置、１０３ 表示装置、１０４ 入力装置、２０１ ＣＰＵ、２０２ メモリ、２０５ 通信装置、２１０ 補助記憶装置、２１２ Ｘ線画像取得プログラム、２１３ 物品認識プログラム、２１４ 重なり・正面判定プログラム、２１５ 領域関係性判定プログラム、２１６ テーブル更新プログラム、２１７ 表示画像生成プログラム、２１８ 画面表示プログラム、２２０ Ｘ線画像データ、２２１ 物品認識モデル、２２２ フィードバックデータ、２２３ 構成物関係性データ、２２４ カテゴリ関係性テーブル、２２５ 重なりデータ、２２６ 重なり・正面判定用テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】