特開 2024-129324 Ｘ線検査装置及びＸ線検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024129324

(43)【公開日】2024-09-27

(54)【発明の名称】Ｘ線検査装置及びＸ線検査方法

(51)【国際特許分類】

   G01N 23/04 20180101AFI20240919BHJP

   G01N 23/10 20180101ALI20240919BHJP

【ＦＩ】

G01N23/04 340

G01N23/10

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023038454

(22)【出願日】2023-03-13

(71)【出願人】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】秋良 直人

(72)【発明者】

【氏名】熊谷 仁志

(72)【発明者】

【氏名】トウ シビ

【テーマコード（参考）】

2G001

【Ｆターム（参考）】

2G001AA01

2G001AA09

2G001AA10

2G001BA11

2G001CA01

2G001FA02

2G001FA03

2G001FA06

2G001GA01

2G001HA04

2G001HA06

2G001HA13

2G001HA20

2G001JA09

2G001KA06

2G001LA10

2G001NA17

2G001NA19

2G001PA11

(57)【要約】

【課題】来場者に与える不快感を軽減するＸ線荷物検査を提供する。
【解決手段】Ｘ線検査装置は、来場者の荷物のＸ線画像と、Ｘ線画像に含まれる物品のカテゴリを認識するモデルと、特殊物品のカテゴリを示す物品属性情報と、特殊物品のカテゴリ、及び来場者に利益を提供するイベントの内容を示すイベント情報と、を保持し、当該荷物のＸ線画像とモデルに基づいて、当該Ｘ線画像に含まれる特殊物品のカテゴリを認識し、認識した特殊物品のカテゴリに対応するイベントの内容をイベント情報から特定し、特定した第１種イベントの内容に基づくデータを出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

Ｘ線検査装置であって、
プロセッサとメモリとを備え、
前記メモリは、
施設への来場者の荷物のＸ線画像と、
Ｘ線画像から当該Ｘ線画像に含まれる物品のカテゴリを認識するモデルと、
前記施設への持ち込みが禁止されていない特殊物品のカテゴリを示す物品属性情報と、
前記特殊物品のカテゴリと、前記来場者に利益を提供する第１種イベントの内容と、を示すイベント情報と、を保持し、
前記プロセッサは、
前記荷物のＸ線画像と前記モデルに基づいて、当該Ｘ線画像に含まれる前記特殊物品のカテゴリを認識し、
前記認識した特殊物品のカテゴリに対応する第１種イベントの内容を前記イベント情報から特定し、
前記特定した第１種イベントの内容に基づくデータを出力する、Ｘ線検査装置。

【請求項2】

請求項１に記載のＸ線検査装置であって、
前記モデルは、Ｘ線画像から、当該Ｘ線画像に含まれると認識された物品のカテゴリに対する信頼度を出力し、
前記物品属性情報は、前記特殊物品のカテゴリごとに、前記信頼度に対する第１閾値と、前記第１閾値よりも高い第２閾値と、を示し、
前記イベント情報は、前記特殊物品のカテゴリと、前記荷物に当該特殊物品が含まれているかを前記来場者に確認させるための第２種イベントの内容と、を示し、
前記プロセッサは、
前記認識した特殊物品のカテゴリに対する信頼度を、前記荷物のＸ線画像と前記モデルに基づいて取得し、
前記取得した信頼度が第２閾値以上である場合、
前記認識した特殊物品のカテゴリに対応する第１種イベントの内容を前記イベント情報から特定し、
前記特定した第１種イベントの内容に基づくデータを出力する、
前記取得した信頼度が前記第１閾値以上かつ前記第２閾値未満である場合、
前記認識した特殊物品のカテゴリに対応する第２種イベントの内容を前記イベント情報から特定し、
前記特定した第２種イベントの内容に基づくデータを出力する、Ｘ線検査装置。

【請求項3】

請求項２に記載のＸ線検査装置であって、
前記プロセッサは、
前記第２種イベントの内容に基づくデータを出力した後に、前記荷物に当該特殊物品が含まれていることを示す確認結果を取得した場合、
前記認識した特殊物品のカテゴリに対応する第１種イベントの内容を前記イベント情報から特定し、
前記特定した第１種イベントの内容に基づくデータを出力する、Ｘ線検査装置。

【請求項4】

請求項２に記載のＸ線検査装置であって、
前記カテゴリごとの前記第１閾値及び前記第２閾値は、それぞれが当該カテゴリの物品を含む複数の評価用Ｘ線画像と、Ｘ線画像から当該Ｘ線画像に含まれる当該カテゴリを認識する評価用モデルと、基づく再現率に基づいて決定されている、Ｘ線検査装置。

【請求項5】

請求項１に記載のＸ線検査装置であって、
前記メモリは、
それぞれが登録対象の特殊物品のＸ線画像である複数の登録対象Ｘ線画像と、当該登録対象の特殊物品のカテゴリを示す情報と、を保持し、
前記プロセッサは、
前記複数の登録対象Ｘ線画像それぞれを前記モデルに入力して、前記登録対象の特殊物品のカテゴリとは異なるカテゴリが認識された割合を算出する、誤検知判定を実行し、
前記モデルが前記登録対象の特殊物品のカテゴリを認識可能となるための学習を実行するかを、前記誤検知判定の結果に基づいて、決定する、Ｘ線検査装置。

【請求項6】

請求項５に記載のＸ線検査装置であって、
前記メモリは、それぞれが、前記モデルが出力可能なカテゴリの物品の画像である複数の過去Ｘ線画像を保持し、
前記プロセッサは、
前記モデルと、前記複数の登録対象Ｘ線画像と、に基づいて、前記登録対象の特殊物品のカテゴリを認識可能な再学習モデルを生成し、
前記複数の過去Ｘ線画像を前記再学習モデルに入力して、前記登録対象の特殊物品のカテゴリが認識された割合を算出する、過検知判定を実行し、
前記過検知判定の結果に基づいて、前記再学習モデルを破棄するか、前記再学習モデルによって前記モデルを更新するかを決定し、
前記モデルを更新すると決定した場合、
前記登録対象の特殊物品のカテゴリを前記物品属性情報に登録し、
前記登録対象の特殊物品のカテゴリに対応する第１種イベントの内容を取得し、
前記登録対象の特殊物品のカテゴリと、前記取得した第１種イベントの内容と、を前記イベント情報に登録する、Ｘ線検査装置。

【請求項7】

請求項１に記載のＸ線検査装置であって、
前記イベント情報は、前記第１種イベントの発生確率を示し、
前記プロセッサは、前記発生確率に従って、前記認識した特殊物品のカテゴリに対応する第１種イベントの内容を前記イベント情報から特定する、Ｘ線検査装置。

【請求項8】

Ｘ線検査装置によるＸ線検査方法であって、
前記Ｘ線検査装置は、プロセッサとメモリとを備え、
前記メモリは、
施設への来場者の荷物のＸ線画像と、
Ｘ線画像から当該Ｘ線画像に含まれる物品のカテゴリを認識するモデルと、
前記施設への持ち込みが禁止されていない特殊物品のカテゴリを示す物品属性情報と、
前記特殊物品のカテゴリと、前記来場者に利益を提供する第１種イベントの内容と、を示すイベント情報と、を保持し、
前記Ｘ線検査方法は、
前記プロセッサが、前記荷物のＸ線画像と前記モデルに基づいて、当該Ｘ線画像に含まれる前記特殊物品のカテゴリを認識し、
前記プロセッサが、前記認識した特殊物品のカテゴリに対応する第１種イベントの内容を前記イベント情報から特定し、
前記プロセッサが、前記特定した第１種イベントの内容に基づくデータを出力する、Ｘ線検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、Ｘ線検査装置及びＸ線検査方法に関する。

【背景技術】

【0002】

空港や大規模イベント会場での手荷物検査では、物品のＸ線画像を用いた手荷物検査が行われることが多い。Ｘ線画像に基づいて物品の種類等を自動的に判別する技術として、特開２０２１－１２０６３９号公報（特許文献１）がある。

【0003】

この公報には、「アラート出力タイミング制御装置は、解析対象画像と、アラートを出力するまでの時間を示す時間情報と、を保持し、解析対象画像を前記表示装置に出力し、解析対象画像を前記モデルに入力して解析対象画像の被写体にアラート対象物体が含まれていると判定した場合、時間情報から時間を取得し、解析対象画像を出力した以降の所定のタイミングから当該取得した時間が経過したタイミングにおいてアラートが出力されるよう制御する。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１２０６３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術におけるＸ線荷物検査は、施設の安全確保のために行われるものであって、来場者に与える不快感やストレスが考慮されていない。そこで、本発明の一態様は、来場者に与える不快感を軽減するＸ線荷物検査を提供する。

【課題を解決するための手段】

【0006】

上記した課題を解決するために、本発明の一態様は以下の構成を採用する。Ｘ線検査装置は、プロセッサとメモリとを備え、前記メモリは、施設への来場者の荷物のＸ線画像と、Ｘ線画像から当該Ｘ線画像に含まれる物品のカテゴリを認識するモデルと、前記施設への持ち込みが禁止されていない特殊物品のカテゴリを示す物品属性情報と、前記特殊物品のカテゴリと、前記来場者に利益を提供する第１種イベントの内容と、を示すイベント情報と、を保持し、前記プロセッサは、前記荷物のＸ線画像と前記モデルに基づいて、当該Ｘ線画像に含まれる前記特殊物品のカテゴリを認識し、前記認識した特殊物品のカテゴリに対応する第１種イベントの内容を前記イベント情報から特定し、前記特定した第１種イベントの内容に基づくデータを出力する。

【発明の効果】

【0007】

本発明の一態様によれば、来場者に与える不快感を軽減するＸ線荷物検査を提供することができる。

【0008】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】実施例１におけるＸ線画像処理システムの一例を示す斜視図である。

【図2】実施例１におけるＸ線画像処理装置の構成例を示すブロック図である。

【図3】実施例１における物品属性データのデータ構成例を示す図である。

【図4】実施例１におけるイベントデータのデータ構成例を示す図である。

【図5】実施例１における事前登録処理の一例を示すフローチャートである。

【図6A】実施例１における物品に埋め込まれるパターンの一例を示す図である。

【図6B】実施例１における物品に埋め込まれるパターンの一例を示す図である。

【図7】実施例１における物品認識処理の一例を示すフローチャートである。

【図8】実施例１における禁止物品確認画面の一例を示す図である。

【図9】実施例１における禁止物品対応方法ご案内イベントと楽しみイベントとを同時に表示する画面の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を図面に基づいて詳細に説明する。本実施形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。

【0011】

空港や公共施設と異なり、テーマパークや観光施設などの遊びを目的とした施設でも手荷物検査が実施されることがあるが、これらの施設における手荷物検査は、これらの施設が演出する世界観を阻害する上に、来場者は検査されていることに意識が集中してしまうため、来場者の施設への期待感を阻害する要因となり得る。

【0012】

このように従来の手荷物検査は、来場者及び施設の安全を考慮して実施されるものであるため、来場者の待ち時間が発生したり、検査されることによる来場者のストレスが増えたりするおそれがある。また、従来の手荷物検査においては、来場者の利便性や快適性を向上させるか、手荷物検査の精度を下げたり、手荷物検査において警告対象となる物品の種類を減らしたり等の安全性を低下させるか、を選ばざるを得ない状況であった。

【0013】

そこで、本実施形態では、安全性を低下させることなく、来場者が気持ちよく楽しく受けられる手荷物検査を実現する。

【実施例0014】

図１は、Ｘ線画像処理システムの一例を示す斜視図である。Ｘ線画像処理システムは、Ｘ線画像に基づいて、当該Ｘ線画像に撮影されている物品のカテゴリを判別する。なお、物品の「カテゴリ」とは、Ｘ線画像処理システムの処理の中で用いられる物品の種類である（例えば、ノートパソコン、タブレット、水筒、及びナイフ等）。例えば、Ｘ線画像処理システムによって、物品のＸ線画像に基づく判別が正しく行われた場合には、その判別結果である物品の「カテゴリ」が物品の本来の種類（ユーザの運用上の種類）に一致する。

【0015】

＜Ｘ線検査装置の構成＞
Ｘ画像処理システムは、例えば、Ｘ線検査装置１００、表示装置５、及び複数のローラＲ１を含む。Ｘ線検査装置１００は、物品のＸ線検査を行う装置であり、例えば、空港、大規模イベント会場、データセンタ、工場、研究機関、及び公的機関等の施設への来場者の手荷物検査に用いられる。Ｘ線検査装置１００は、例えば、Ｘ線画像処理装置１、装置本体２、２つの表示装置３、及び入力装置４を含む。

【0016】

装置本体２は、例えば、荷物をローラコンベアで搬送する搬送機構と、荷物にＸ線を照射する照射機構と、Ｘ線の透過量を測定するＸ線撮影機構と、を含む。装置本体２には、搬送機構で搬送される荷物を通過させるための矩形状の孔Ｈ１が設けられている。ローラＲ１は、荷物を孔Ｈ１に向けてスムーズに移動させるために、装置本体２の搬送方向上流側に設けられている。

【0017】

装置本体２におけるＸ線撮影機構は、例えば、Ｘ線透過量を測定する２種類のＸ線センサを含み、一方のＸ線センサが他方のＸ線センサよりも高いエネルギのＸ線透過量を検出する。当該Ｘ線センサとして、例えば、後方散乱式の材質判定センサが用いられるが、これに限定されるものではない。なお、装置本体２において荷物が通過するエリアの複数箇所（側面や天井面）のそれぞれに、２種類のＸ線センサが設置されるようにするとよい。これによって、装置本体２は、異なる複数の方向からＸ線撮影を行うことができる。

【0018】

図１に示すＸ線画像処理装置１は、荷物のＸ線画像に基づいて、荷物に含まれる物品のカテゴリを判別する。Ｘ線画像処理装置１は、配線を介して装置本体２に接続されるとともに、表示装置３、入力装置４、及び表示装置５にも接続されている。装置本体２の撮影機構である２種類のＸ線センサからＸ線画像処理装置１にＸ線透過量のデータ等が出力される。

【0019】

Ｘ線画像処理装置１は、２種類のＸ線センサのうちの一方で取得される高エネルギのＸ線透過量のデータと、他方で取得される低エネルギのＸ線透過量のデータと、の間の差分に基づいて、物品の材質をＸ線画像の画素毎に判別する。Ｘ線画像処理装置１は、物品の材質や密度を可視化したカラー画像又はグレースケール画像をＸ線画像として生成し、このＸ線画像に基づいて物品のカテゴリを判別する。

【0020】

Ｘ線画像処理装置１は、物品のカテゴリが所定の禁止物品に該当すると判定した場合には、禁止物品を検知したことを示す所定の信号を装置本体２に出力する。この場合、装置本体２に設けられた表示ランプが点灯したり、装置本体２に設けられたスピーカから所定のアラート音を出力したりする。これによって、検査対象の物品が所定の禁止物品であることをユーザ（検査員等）が把握できる。

【0021】

図１に示す２つの表示装置３は、Ｘ線画像処理装置１が装置本体２から取得したＸ線画像等を表示する。これによって、物品のＸ線画像の他、物品のカテゴリの判別結果をユーザ（検査員等）が目視で確認できる。２つの表示装置３には、それぞれ異なる方向から撮影されたＸ線画像が表示されるようにしてもよいし、それぞれ異なる種類の画像（例えば、カラー画像とグレースケール画像）が表示されるようにしてもよい。なお、これら２つの表示装置３に表示される画像は、防犯上、来場者（検査を受ける人であり、荷物を持ち込む人でもある）に見られることは望ましくないため、当該表示装置３は、検査員のみが見られるように衝立などで隠されて設置されていることが望ましい。

【0022】

入力装置４は、例えば、キーボードやマウス等のユーザ（検査員等）による入力を受け付けるための装置である。なお、Ｘ線検査装置１００の構成は、図１の例に限定されるものではない。例えば、Ｘ線画像処理装置１が装置本体２に内蔵されていてもよい。

【0023】

表示装置５は、装置本体２の撮影結果のＸ線画像から判別された物品のカテゴリに応じて発生したイベントを表示したり、Ｘ線画像に含まれる物品をアニメーションやイラストなどに置き換えて合成した画像を表示したりするために用いられる。

【0024】

表示装置５に表示される内容は来場者向けのものであるため、表示装置５は来場者が見ることができる位置に設置されている。なお、表示装置５による表示は来場者に対する通知のために行われるものであるため、表示装置５による表示に代えて、スピーカによる音声ガイド等による通知などが行われてもよい。

【0025】

＜Ｘ線画像処理装置１の構成＞
図２は、Ｘ線画像処理装置１の構成例を示すブロック図である。Ｘ線画像処理装置１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、メモリ１２と、表示インターフェース１３と、入力インターフェース１４と、通信装置１５と、補助記憶装置１６と、を備える計算機によって構成される。

【0026】

ＣＰＵ１１は、例えば、プロセッサを含み、メモリ１２に格納されたプログラムを実行する。メモリ１２は、不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、揮発性の記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ））などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、ＣＰＵ１１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

【0027】

表示インターフェース１３は、表示装置３及び表示装置５等に、プログラムの実行結果をオペレータが視認可能な形式で出力するためのインターフェース装置である。入力インターフェース１４は、入力装置４を介したオペレータからの入力や、装置本体２からのＸ線透過量の入力を受け付けるためのインターフェース装置である。入力インターフェース１４は、例えば、Ｘ線画像処理装置１の専用のインターフェースを含んでもよいし、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）端子等の汎用の画面入力端子を含んでもよい。

【0028】

通信装置１５は、所定のプロトコルに基づいて、他の装置との間の通信を制御するネットワークインターフェースである。また、通信装置１５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のシリアルインターフェースを含んでもよい。

【0029】

補助記憶装置１６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の不揮発性の大容量記憶装置である。補助記憶装置１６には、例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ：図示せず）が格納されている他、ＣＰＵ１１によって実行される各プログラムや、各プログラムの実行時に使用されるデータが格納されている。即ち、これらの各プログラムは、補助記憶装置１６から読み出されてメモリ１２にロードされ、ＣＰＵ１１によって実行される。

【0030】

ＣＰＵ１１が実行するプログラムの一部またはすべては、非一時的記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又は、非一時的記憶装置を備える外部計算機からネットワークを介してＸ線画像処理装置１に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１６に格納されてもよい。このため、Ｘ線画像処理装置１は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

【0031】

Ｘ線画像処理装置１は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

【0032】

ＣＰＵ１１は、例えば、いずれも機能部である、Ｘ線画像取得部１１１、物品認識部１１２、物品学習部１１３、イベント生成部１１４、画面表示部１１５、及び物品登録部１１６を含む。

【0033】

Ｘ線画像取得部１１１は、装置本体２から入力インターフェース１４を介して、Ｘ線画像データを受信し、取得したデータからＸ線画像を取得（生成）する。Ｘ線画像取得部１１１によるＸ線画像データの取得方法の一例を説明する。

【0034】

例えば、装置本体２に設けられている前述した２種類のＸ線センサから所定のＲＡＷデータがＸ線画像処理装置１に入力される場合、Ｘ線画像取得部１１１は、高エネルギのＸ線透過量と、低エネルギのＸ線透過量と、の間の差分に基づいて、金属、無機物、有機物、又はその他の４種類のいずれかにＸ線画像の各画素（に撮影されている材質）を分類する。

【0035】

Ｘ線画像取得部１１１は、例えば、物品の材質を所定の色で示し、Ｘ線透過量（物品の密度）を色の濃さで示した所定のカラー画像を生成する。なお、表示装置３の表示画面をキャプチャしたデータを、Ｘ線画像取得部１１１が取得するようにしてもよい。

【0036】

また、装置本体２に複数の荷物が連続して投入される場合、Ｘ線画像取得部１１１は、例えば下記の３つのいずれかの分割方法を用いて、撮影対象の荷物ごとにＸ線画像のデータを分割してもよい。

【0037】

第１の分割方法では、Ｘ線画像取得部１１１は、Ｘ線透過量が所定値以下である部分を荷物エリアとして特定する。第１の分割方法は、装置本体２に設けられたＶＧＡ出力端子等からＸ線画像処理装置１に所定形式のＲＡＷデータが入力される場合に用いられる。

【0038】

第２の分割方法では、Ｘ線画像取得部１１１は、Ｘ線透過量の積分値（Ｘ線画像上の所定ライン又は所定時間での積分値）に基づいて、Ｘ線画像を荷物ごとに分割する。第３の分割方法では、装置本体２が荷物検知センサを備え、Ｘ線画像取得部１１１は、荷物検知センサが荷物を検知した時刻と、荷物を検知しなくなった時刻と、を装置本体２から取得し、取得した時刻に基づいて、Ｘ線画像を荷物ごとに分割する。

【0039】

物品認識部１１２は、例えば、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）による深層学習のセグメンテーション技術に基づいて、Ｘ線画像上の物品を画素単位で認識する。物品認識部１１２は、後述する物品認識モデル１６１に、Ｘ線画像を入力することで、当該Ｘ線画像に含まれる物品のカテゴリを判別し、さらに当該物品のＸ線画像上の位置（座標）を特定する。

【0040】

また、物品認識部１１２は、物品認識モデル１６１に、Ｘ線画像を入力することで、物品のカテゴリの判別結果における信頼度も算出する。信頼度は、物品のカテゴリの判別結果をどの程度信頼してよいかを示す指標である。信頼度が高いほど、物品のカテゴリの判別結果が正しい可能性が高い。

【0041】

なお、物品認識部１１２は、Ｘ線画像内に含まれる物品に対して複数のカテゴリを出力可能であってもよいが、この場合、例えば、当該複数のカテゴリのうち最も信頼度が高いカテゴリを当該物品のカテゴリとして選択する。また、例えば、物品認識部１１２は、信頼度が高い順に所定数のカテゴリを当該物品のカテゴリとして選択してもよいし、信頼度が所定値以上のカテゴリを全て当該物品のカテゴリとして選択してもよい。

【0042】

また、物品認識部１１２は、Ｘ線画像内の物品を認識する処理において、ＯＳＳ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｓｏｒｔｗａｒｅ）のライブラリであるＦｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｉｎｓｔａｎｃｅ－ａｗａｒｅ Ｓｅｍａｎｔｉｃ ＳｅｇｍｅｎｔａｔｉｏｎやＭａｓｋ Ｒ－ＣＮＮを適宜用いてもよい。

【0043】

物品学習部１１３は、例えば、ＡＩによる深層学習のセグメンテーション技術に基づいて、学習データ１６３を学習することで、物品認識モデル１６１を生成及び更新する。イベント生成部１１４は、Ｘ線画像上の物品の認識結果が、イベントの発生条件を満たすと判定した場合に、イベント内容を表示装置５に表示したり、音声で通知したりする。

【0044】

画面表示部１１５は、検査員向けの情報を表示装置３に表示し、来場者向けの情報を表示装置５に表示する。画面表示部１１５は、表示装置３には、Ｘ線画像及び物品認識部１１２による認識結果など、検査に必要な情報を表示し、表示装置５には、Ｘ線画像に基づいて生成した来場者が楽しめる荷物情報や、イベント内容を表示する。物品登録部１１６は、イベントの発生条件に関連し得る物品を登録する。

【0045】

例えば、ＣＰＵ１１は、メモリ１２にロードされたＸ線画像取得プログラムに従って動作することで、Ｘ線画像取得部１１１として機能し、メモリ１２にロードされた物品認識プログラムに従って動作することで、物品認識部１１２として機能する。ＣＰＵ１１に含まれる他の機能部についても、プログラムと機能部の関係は同様である。

【0046】

なお、ＣＰＵ１１に含まれる機能部による機能の一部又は全部が、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアによって実現されてもよい。

【0047】

補助記憶装置１６は、例えば、物品認識モデル１６１、Ｘ線画像蓄積データ１６２、学習データ１６３、物品属性データ１６４、及びイベントデータ１６５を保持する。物品認識モデル１６１は、Ｘ線画像が入力されると、当該Ｘ線画像に映っていると推測される物品のカテゴリと、当該Ｘ線画像において当該カテゴリの物品が映っていると推測される位置と、当該物品のカテゴリの信頼度と、を出力する。物品認識モデル１６１は、深層学習等に基づく所定のパラメータを含む。

【0048】

Ｘ線画像蓄積データ１６２には、例えば、後述する物体認識処理において撮影されたＸ線画像が所定期間格納される。また、Ｘ線画像蓄積データ１６２には、例えば、Ｘ線画像が撮影された日時も併せて格納されるとよい。

【0049】

学習データ１６３は、物品認識モデル１６１を生成するための学習データであり、例えば、アノテーションされたＸ線画像を含み、当該アノテーションは、当該Ｘ線画像に含まれる物品のカテゴリと、当該カテゴリの物品の当該Ｘ線画像内における位置と、を示す。物品属性データ１６４は、イベント発生の対象となり得る物品に関する情報を示す。イベントデータ１６５は、イベントに関する情報を示す。

【0050】

なお、補助記憶装置１６に格納されている一部又は全部の情報は、メモリ１２に格納されていてもよいし、当該装置に接続されているデータベースに格納されていてもよい。また、本実施形態において、Ｘ線画像処理システムが使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。本実施形態ではテーブル形式で情報が表現されているが、例えば、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。

【0051】

図３は、物品属性データ１６４のデータ構成例を示す図である。物品属性データ１６４は、例えば、物品ＩＤ欄１６４１、物品カテゴリ欄１６４２、認識対象種別欄１６４３、第１閾値欄１６４４、及び第２閾値欄１６４５を含む。

【0052】

物品ＩＤ欄１６４１は、物品を識別するＩＤを保持する。物品カテゴリ欄１６４２は、物品のカテゴリの名称を示す情報を保持する。認識対象種別欄１６４３は、物品が特殊物品であるか禁止物品であるかを示す情報を保持する。特殊物品は、Ｘ線検査装置１００が設置されている施設への持ち込みが禁止されていない物品であって、イベントの発生条件に関連し得る物品である。禁止物品は、Ｘ線検査装置１００が設置されている施設への持ち込みが禁止されている物品である。

【0053】

第１閾値欄１６４４は、当該物品の認識結果に付与される信頼度に対する第１閾値を保持する。第２閾値欄１６４５は、当該物品の認識結果に付与される信頼度に対する第２閾値（第１閾値よりも大きい値である）を保持する。図３の例では、特殊物品に対しては複数の閾値（第１閾値及び第２閾値）が設定され、禁止物品に対して１つの閾値（第１閾値）が設定されているが、一部又は全部の特殊物品に対して１つ閾値のみが設定されてもよいし、一部又は全部の禁止物品に対して複数の閾値が設定されてもよい。

【0054】

第１閾値及び第２閾値は、当該物品がＸ線画像に含まれているかを判定するための信頼度の基準となる閾値、つまり認識結果を棄却するか採用するかを決定するための信頼度に対する閾値である。物品認識モデル１６１にＸ線画像が入力された場合に、ある物品のカテゴリの信頼度が第１閾値以上であれば、Ｘ線画像に当該物品が確実に含まれていると判定でき、当該信頼度が第２閾値以上（かつ第１閾値未満）であれば、当該Ｘ線画像に当該物品が確実に含まれているとまではいえないが含まれているかもしれないと判定できる。

【0055】

なお、禁止物品に対して、第２閾値のみが設定されていてもよい、つまり禁止物品が確実に含まれているといえる信頼度が出力された場合にのみ、Ｘ線画像に禁止物品が含まれているという認識結果が採用されてもよい。これにより、禁止物品が含まれていないＸ線画像から禁止物品が検知される頻度を低下させることができる。

【0056】

図４は、イベントデータ１６５のデータ構成例を示す図である。イベントデータ１６５は、例えば、イベント内容データ１６５０と、ラッキーアイテムデータ１６５７と、を含む。イベント内容データ１６５０は、例えば、イベント名欄１６５１、対象物品欄１６５２、発生条件欄１６５３、発生フラグ欄１６５４、イベント種別欄１６５５、及びイベント内容欄１６５６を含む。

【0057】

イベント名欄１６５１は、イベントの名称を示す情報を保持する。対象物品欄１６５２は、当該イベントの発生条件に関連する物品を示す情報（物品ＩＤ又は後述するラッキーアイテムＩＤのいずれか）を保持する。図４の例では、対象物品欄１６５２に１つの物品を示す情報が格納されているが、複数の物品を示す情報が格納されてもよい。

【0058】

発生条件欄１６５３は、イベントの発生条件を示す情報を保持する。発生条件の例として、１種類の対象物品が１つ検知されたことや、１種類の対象物品が複数個検知されたこと等がある。また、対象物品欄１６５２に複数のカテゴリの物品を示す情報が登録されている場合には、発生条件の例として、当該複数の物品の少なくとも一部が検知されたことや、当該複数の物品の全てが検知されたことや、当該複数のカテゴリの物品それぞれについての検知がＡＮＤ条件やＯＲ条件によって組み合わされたもの等がある。

【0059】

発生フラグ欄１６５４は、当該イベントが発生するかを示す発生フラグを保持する。発生条件が満たされ、かつ発生フラグが「１」である場合にイベントが発生する（つまり、発生フラグが「０」であれば、発生条件が満たされても対応するイベントは発生しない）。なお、対象物品が禁止物品であるイベントに対応する発生フラグは「１」のみが設定可能であってもよい。

【0060】

イベント種別欄１６５５は、イベントの種別を示す情報を保持する。禁止物品である対象物品に対してはイベント内容データ１６５０において禁止物品対応ご案内イベントが定義され、特殊物品である対象物品に対してはイベントデータ１６５において楽しみイベント（第１種イベントの一例）及び特殊物品確認イベント（第２種イベントの一例）が定義される。つまり、禁止物品である対象物品に対応するイベント種別欄１６５５には禁止物品対応方法ご案内イベントを示す「禁止物品対応」が格納され、禁止物品である対象物品に対応するイベント種別欄１６５５には特殊物品確認を示す「特殊物品対応」及び楽しみイベントを示す「楽しみ」が格納されている。

【0061】

禁止物品対応ご案内イベントは、例えば、荷物に含まれる禁止物品への対応を、来場者に案内するイベントである。特殊物品確認イベントは、例えば、荷物に特殊物品が含まれているかを、来場者に確認させるイベントである。楽しみイベントは、来場者に特殊物品に関連するイベントであり、かつ来場者に利益を提供するイベントである。なお、楽しみイベントが提供する利益は、クーポンやプレゼント等の金銭的な利益や物質的な利益のみならず、来場者を楽しませる等の精神面に与えられる利益も含む。

【0062】

イベント内容欄１６５６は、イベントの内容を示す情報を保持する。発生したイベントにおいて、例えば、イベント内容欄１６５６に記述されたメッセージが表示装置５に表示されたりスピーカから出力されたりする。但し、イベント内容欄１６５６＜＞が記述されている場合、発生したイベントにおいて、例えば、＜＞の外部に記述されたメッセージと併せて＜＞の内部に示すキャラクタの画像が表示装置５に表示されたり、＜＞の内部に示すキャラクタの声で＜＞の外部に記述されたメッセージがスピーカから出力されたりする。

【0063】

ラッキーアイテムデータ１６５７は、例えば、ラッキーアイテムを識別するラッキーアイテムＩＤを示すラッキーアイテムＩＤ欄１６５８と、ラッキーアイテムである物品ＩＤを示す物品ＩＤ欄１６５９と、を含む。なお、物品ＩＤ欄１６５９には、特殊物品の物品ＩＤのみが格納可能である、即ち特殊物品はラッキーアイテムになり得るものの禁止物品はラッキーアイテムになり得ない。

【0064】

＜Ｘ線画像処理装置１による処理＞
以下、Ｘ線画像処理装置１によって実行される処理について説明する。Ｘ線画像処理装置１によって実行される処理は、事前登録処理と、物品認識処理と、を含む。

【0065】

＜事前登録処理＞
図５は、事前登録処理の一例を示すフローチャートである。事前登録処理では、物品学習部１１３が、登録対象のカテゴリの物品が写っている大量のＸ線画像を含む学習データ１６３に基づいて、Ｘ線画像上の物品の見た目を学習し、物品認識モデル１６１を更新する。以下、事前登録処理の詳細を説明する。

【0066】

Ｘ線画像取得部１１１は、登録対象の物品のカテゴリを選定し、当該カテゴリの物品が撮影された複数のＸ線画像を取得する（Ｓ５０１）。具体的には、例えば、Ｘ線画像取得部１１１は、入力装置４へのユーザ（事前登録処理におけるユーザは、例えば、検査員やＸ線画像処理装置１の管理者等である）の入力を介して登録対象物品のカテゴリ名と、登録対象物品が禁止物品であるか特殊物品であるかを示す情報と、を取得し、装置本体２から受信した当該物品を撮影したＸ線ＲＡＷデータからＸ線画像を取得する。

【0067】

なお、同じカテゴリの物品を撮影したＸ線画像であっても、撮影方向や物品の重なりなどによって当該物品の見え方が違うため、装置本体２は、当該物品に対する撮影方向や、当該物品と他の物品との重なり方等が異なる複数（例えば１００枚程度）のＸ線画像を撮影する。なお、物品認識モデル１６１の学習のために一定数のＸ線画像が必要であるため、Ｘ線画像取得部１１１は、登録対象のカテゴリの物品の複数のＸ線画像を複数枚取得している。なお、登録対象のカテゴリの物品には特定のパターン（例えば、一般的な物品には埋め込まれていない形状のパターン）が埋め込まれてもよく、この場合、当該特定のパターンのＸ線画像が当該物品のＸ線画像として撮影されてもよい。

【0068】

図６Ａ及び図６Ｂは、物品に埋め込まれるパターンの一例を示す図である。パターン６１０は例えば金属製のプレートであり、パターン６２０は例えば金属製の立体物である。特に、例えば、Ｘ線画像に映り込みにくい物品にこのようなパターンが埋め込まれることにより、物品認識モデル１６１による当該物品の認識が可能となる。また、例えば、形状の異なる複数のパターンを用意することで、当該異なるパターンが埋め込まれた複数の物品を区別してイベントを発生することが可能となる。

【0069】

図５の説明に戻る。物品認識部１１２は、既存の（つまり登録対象のカテゴリの物品についての学習が行われていない）物品認識モデル１６１と、ステップＳ５０１で取得した登録対象のカテゴリの物品のＸ線画像と、を用いた誤検知判定を実行する（Ｓ５０２）。

【0070】

具体的には、例えば、物品認識部１１２は、既存の物品認識モデル１６１に対して、ステップＳ５０１で取得した登録対象のカテゴリの物品の複数のＸ線画像それぞれを入力した場合に、他のカテゴリの物品（例えば、物品認識モデル１６１に登録済みのカテゴリであってもよいし、物品属性データ１６４に登録済みの禁止物品や特殊物品のカテゴリであってもよい）が含まれると判定される割合（以下、誤検知割合とも呼ぶ）を算出する。

【0071】

なお、誤検知割合の算出において、他のカテゴリの物品が含まれるかを判定するための信頼度閾値として、物品属性データ１６４が示すカテゴリごとの第１閾値が用いられてもよいし、物品属性データ１６４が示すカテゴリごとの第２閾値が用いられてもよいし、カテゴリに関わらず所定の閾値が用いられてもよい。

【0072】

例えば、登録対象物品が、禁止物品や特殊物品などの物品認識モデル１６１に登録済の物品と、Ｘ線画像における見た目が似ている場合に、仮に当該登録対象物品のカテゴリを物品認識モデル１６１に追加すると、当該登録対象物品のＸ線画像が物品認識モデル１６１に入力された場合に別の禁止物品や特殊物品と誤検知されてしまう可能性が高くなり、不適当なイベントが発生する可能性が高くなる。このような登録対象物品が、（特に特殊物品として）登録されることは望ましくないため、ステップＳ５０２における誤検知判定が実行される。

【0073】

なお、ステップＳ５０１で取得されたＸ線画像に登録対象物品に加えて当該登録対象物品と異なる物品が写っている場合には、例えば、当該Ｘ線画像内における当該登録対象物品の位置情報を（例えば、入力装置４を介したユーザからの入力によって）物品認識部１１２に与える等して、当該Ｘ線画像に含まれるどの物品がステップＳ５０２における誤検知判定の対象の物品であるかを物品認識部１１２が認識できるようにすることが望ましい。

【0074】

物品認識部１１２は、誤検知判定の結果に問題がないかを判定する（Ｓ５０３）。具体的には、例えば、物品認識部１１２は、誤検知割合が所定値未満であれば誤検知判定の結果に問題がないと判定し、誤検知割合が当該所定値以上であれば誤検知判定の結果に問題があると判定する。

【0075】

物品認識部１１２は、誤検知判定の結果に問題があると判定した場合（Ｓ５０３：ＮＯ）、ステップＳ５０１に戻る（即ち登録対象物品のカテゴリの再選定が行われる）。なお、物品認識部１１２は、誤検知判定の結果に問題があると判定した場合に、ステップＳ５０１に戻らずに事前登録処理を終了してもよい。

【0076】

物品認識部１１２が、誤検知判定において問題がないと判定した場合（Ｓ５０３：ＹＥＳ）、物品学習部１１３はステップＳ５０１で取得したＸ線画像を学習データ１６３に含め、当該学習データ１６３に基づいて、登録対象物品のカテゴリを新規カテゴリとして物品認識モデル１６１に追加するための物品認識モデル１６１の再学習を実行する（Ｓ５０４）。なお、本実施例では物品認識モデル１６１は、禁止物品と特殊物品のいずれの物品についてもカテゴリを認識可能であるが、禁止物品のカテゴリを認識可能な物品認識モデル１６１と、特殊物品のカテゴリを認識可能な物品認識モデル１６１と、が別々に用意されてもよい。

【0077】

また、物品認識モデル１６１の再学習には多くの時間を要するため、物品学習部１１３は、夜間などの物品認識処理を実行しない時間帯にバッチ処理で再学習を実行することが望ましい。

【0078】

また、再学習には、登録対象物品についてのアノテーションが行われたＸ線画像（当該アノテーションは、当該Ｘ線画像に含まれる当該登録対象物品のカテゴリと、当該登録対象物品の当該Ｘ線画像内における位置と、を示す）が必要となるが、例えば、ステップＳ５０１において入力装置４を介したユーザによる入力によって当該Ｘ線画像内の登録対象物品についてのアノテーションが行われてもよいし、ステップＳ５０１において登録対象物品のみが搭載されたトレイのＸ線画像が取得され、ステップＳ５０４において物品学習部１１３が、背景差分法やＩｎｔｅｒａｃｔｉｖｅ Ｓｅｇｍｅｎｔａｔｉｏｎなどの手法を用いた自動アノテーションを当該Ｘ線画像に対して実行してもよい。

【0079】

また、物品学習部１１３は、登録対象物品を数方向それぞれから撮影したＸ線ＲＡＷデータから抽出した登録対象物品の画像を、事前に用意した背景画像に合成することで、アノテーションを生成してもよい。例えば、特許文献（特開２０２１－０２６７４２号公報）に記載の方法で合成できる。

【0080】

物品認識部１１２は、ステップＳ５０４において再学習された物品認識モデル１６１と、Ｘ線画像蓄積データ１６２に含まれるＸ線画像と、を用いた過検知判定を実行する（Ｓ５０５）。具体的には、例えば、物品認識部１１２は、Ｘ線画像蓄積データ１６２に含まれるＸ線画像それぞれを、再学習された物品認識モデル１６１に入力した場合に、登録対象物品のカテゴリが含まれると判定される割合（以下、過検知割合とも呼ぶ）を算出する。なお、過検知割合の算出の時点では、当該登録対象物品に対応する第１閾値及び第２閾値が定められていないため、当該登録対象物品が含まれるかを判定するための信頼度閾値として、例えば、所定の閾値が用いられる。

【0081】

物品認識部１１２は、過検知判定の結果に問題がないかを判定する（Ｓ５０６）。具体的には、例えば、物品認識部１１２は、過検知割合が所定値未満であれば過検知判定の結果に問題がないと判定し、過検知割合が当該所定値以上であれば過検知判定の結果に問題があると判定する。

【0082】

なお、例えば、新発売されるキーホルダーが登録対象物品である場合、例えばステップＳ５０１において当該キーホルダーの発売日を示す情報が得られれば、当該発売日以前に当該キーホルダーが存在しないという仮定から、物品認識部１１２は、ステップＳ５０５における過検知割合の算出において、Ｘ線画像蓄積データ１６２に含まれるＸ線画像のうち当該発売日より前の画像のみを物品認識モデル１６１への入力対象とするとよい。

【0083】

また、発売日が不明の物品や、発売日が古い等の理由により発売日の指定が困難な物品が登録対象物品である場合には、物品認識部１１２は、例えば、入力装置４への入力を介して、ステップＳ５０５において物品認識モデル１６１に入力したＸ線画像のうち当該登録対象物品を含まない画像の割合を取得し、当該取得した割合を算出した過検知割合から引いた差が所定以上であるかをステップＳ５０６において判定してもよい。つまり、物品認識部１１２は、当該差が所定値未満であれば過検知判定の結果に問題がないと判定し、当該差が当該所定値以上であれば過検知判定の結果に問題があると判定してもよい。

【0084】

ステップＳ５０５における過検知判定が実行されることにより、物品認識処理において、当該登録対象物品が含まれていないＸ線画像が入力されたにも関わらず当該物品に対応するイベントが誤発生する確率を低下させることができる。

【0085】

物品認識部１１２は、過検知判定の結果に問題があると判定した場合（Ｓ５０６：ＮＯ）、再学習後の物品認識モデル１６１を破棄して、再学習前の状態に戻し（Ｓ５０９）、ステップＳ５０１に戻る（即ち登録対象物品のカテゴリの再選定が行われる）。なお、ステップＳ５０９の処理のために、ステップＳ５０４における再学習が実行される前に、再学習前の物品認識モデル１６１についても一時保存しておくことが望ましい。また、物品認識部１１２は、ステップＳ５０９の処理を実行した後、ステップＳ５０１に戻らずに事前登録処理を終了してもよい。

【0086】

なお、物品認識部１１２は、過検知判定の結果に問題があると判定した場合に、例えば、ステップＳ５０５における過検知判定に用いたＸ線画像であって、登録対象物品が含まれていると判定された一部のＸ線画像をランダムで表示装置３に表示する等して、ユーザに確認させてもよく、このとき過検知判定の結果に問題があるかを示す確認結果の入力をユーザから入力装置４を介して受け付けてもよい。物品認識部１１２は、当該確認結果が過検知判定の結果に問題があることを示していればステップＳ５０９に遷移し、当該確認結果が過検知判定の結果に問題がないことを示していれば、後述のステップＳ５０７に遷移するようにしてもよい。

【0087】

物品認識部１１２が、過検知判定の結果に問題がないと判定した場合（Ｓ５０６：ＹＥＳ）、物品学習部１１３は信頼度閾値を調整する（Ｓ５０７）。具体的には、例えば、物品認識部１１２は、ステップＳ５０１で取得した一部のＸ線画像を評価用画像としてランダムサンプリングし（当該評価用画像は、ステップＳ５０６における学習には用いられないことが望ましい）、評価用画像を用いて当該登録対象物品のカテゴリを認識する物品認識モデルを生成し、当該生成したモデルと評価用画像とを用いて、例えば、再現率が９５％以上になる信頼度閾値を第１閾値（Ｘ線画像に登録対象物品が確実に含まれているといえる信頼度）として取得し、再現率が５０％以上になる信頼度閾値を第２閾値（Ｘ線画像に登録対象物品が確実に含まれているとまではいえないが含まれているかもしれないといえる信頼度）として取得する。

【0088】

なお、物品認識部１１２は、入力装置４を介したユーザからの入力に従って、第１閾値と第２閾値とを取得してもよい。また、登録対象物品が禁止物品である場合には、後述する物品認識処理において検知漏れが発生することは望ましくないため、第１閾値のみが設定されることが望ましい。

【0089】

続いて、物品登録部１１６は、物品属性データ１６４に物品を登録し、イベント生成部１１４は、当該登録した物品に関するイベントをイベントデータ１６５に登録し（Ｓ５０８）、事前登録処理を終了する。

【0090】

ステップＳ５０８において、具体的には、例えば、物品登録部１１６は、物品ＩＤを生成し、当該物品ＩＤと、登録対象物品のカテゴリと、認識対象種別と、第１閾値と、第２閾値と、を物品属性データ１６４に登録する。また、イベント生成部１１４は、イベント名、イベント種別（但し、登録対象物品が禁止物品である場合には「禁止物品対応」のみが選択可能であり、登録対象物品が特殊物品である場合には「特殊物品確認」及び「楽しみ」が選択可能である）、当該登録対象物品の物品ＩＤ、イベント発生条件、及びイベント内容、の入力を、入力装置４を介して受け付け、当該入力された情報をイベント内容データ１６５０に登録する。

【0091】

また、ステップＳ５０８において、イベント生成部１１４は、当該登録対象物品に関するイベントについての情報のみならず、ラッキーアイテムに関するイベントについての情報も登録してもよい。具体的には、例えば、イベント生成部１１４は、イベント名、イベント種別（但し、禁止物品がラッキーアイテムになり得ないため、イベント種別として「特殊物品確認」又は「楽しみ」が選択可能である）、ラッキーアイテムＩＤ、イベント発生条件、及びイベント内容、の入力を、入力装置４を介して受け付け、当該入力された情報をイベント内容データ１６５０に登録する。

【0092】

なお、どの物品がラッキーアイテムであるかを来場者が推測しにくくなるように、ラッキーアイテムデータ１６５７の設定（即ちどの物品がラッキーアイテムに相当するかの設定）は事前登録処理において行われないことが望ましく、例えば、物品認識処理における後述するステップＳ７０１の処理（例えば、施設の毎日の営業開始時等に行われる処理）で行われることが望ましい。

【0093】

なお、登録対象物品が禁止物品である場合には、当該禁止物品に関する情報が確実に物品認識モデル１６１、物品属性データ１６４、及びイベントデータ１６５に登録されることが望ましいため、ステップＳ５０１からはステップＳ５０４に遷移し、ステップＳ５０５からはステップＳ５０４からはステップＳ５０７へと遷移することが望ましい。

【0094】

＜物品認識処理＞
図７は、物品認識処理の一例を示すフローチャートである。イベント生成部１１４は、イベントデータ１６５を設定する（Ｓ７０１）。具体的には、例えば、イベント生成部１１４は、入力装置４へのユーザ（例えば検査員やＸ線画像処理装置１の管理者）からの入力を介して、ラッキーアイテムデータ１６５７のラッキーアイテムを設定や、イベント内容データ１６５０の発生フラグの値の設定や、イベントデータ１６５の他の値の更新等を実行する。例えば、施設の毎日の営業開始時等にステップＳ７０１の処理が実行されることにより、その日に発生し得るイベントや、ラッキーアイテムが設定される。なお、イベント種別が「禁止物品対応」である、イベントについては発生フラグとして「１」のみが設定可能である（つまり、発生条件さえ満たされればイベントが実行される）ようにしてもよい。

【0095】

Ｘ線画像取得部１１１は、装置本体２から入力されたＸ線ＲＡＷデータから荷物のＸ線画像を取得する（Ｓ７０２）。物品認識部１１２は、ステップＳ７０１で取得したＸ線画像に対する物品認識を実行する（Ｓ７０３）。具体的には、例えば、物品認識部１１２は、ステップＳ７０１で取得したＸ線画像を物品認識モデル１６１に入力して、当該Ｘ線画像に含まれる物品のカテゴリと、当該物品に対応する信頼度と、当該物品の当該Ｘ線画像上の位置と、を物品認識結果として出力する。

【0096】

物品認識部１１２は、ステップＳ７０３における物品認識の結果、Ｘ線画像内に禁止物品が含まれているか（禁止物品に関するイベントの発生条件が満たされているか）を判定する（Ｓ７０４）。

【0097】

具体的には、例えば、物品認識部１１２は、ステップＳ７０３における物品認識結果において物品属性データ１６４が示す禁止物品に対応する物品のカテゴリが出力され、イベント内容データ１６５０において当該カテゴリに対応する発生フラグが「１」であるイベントが存在し、かつステップＳ７０３において出力された当該物品に対応する信頼度が、物品属性データ１６４が示す当該物品のカテゴリに対応する第１閾値以上である場合に、当該Ｘ線画像内に禁止物品が含まれていると判定し、そうでない場合に当該Ｘ線画像内に禁止物品が含まれていないと判定する。

【0098】

物品認識部１１２は、Ｘ線画像内に禁止物品が含まれていないと判定した場合（Ｓ７０４：ＮＯ）、後述するステップＳ７０７に遷移する。物品認識部１１２が、Ｘ線画像内に禁止物品が含まれていると判定した場合（Ｓ７０４：ＹＥＳ）、画面表示部１１５は、表示装置５（即ち来場者向けの画面）に禁止物品確認画面を表示する（Ｓ７０５）。

【0099】

図８は、禁止物品確認画面の一例を示す図である。表示装置５に表示された禁止物品確認画面には、例えば、ステップＳ７０２で取得されたＸ線画像が表示される。また、禁止物品確認画面には、ステップＳ７０３において含まれていると判定された禁止物品が表示されている位置（領域）を示す枠８００と、来場者への指示を示すメッセージ８１０と、が表示されている。

【0100】

メッセージ８１０として、例えば、「これはペットボトルですか？ペットボトルでしたら枠内をタッチしてください。ペットボトルが無ければ１０秒お待ちください。」等のように、Ｘ線画像内の禁止物品を来場者に確認させるためのメッセージが表示される（表示装置５は入力装置４としても機能するタッチパネルであるとする）。画面表示部１１５は、Ｘ線画像内に禁止物品が含まれないことを示すフィードバックを来場者から受け付けた場合（図８の例では、枠８００がタッチされることなく１０秒が経過した場合）には、例えば、当該フィードバックを示す情報を表示装置３に表示する等して、検査員に通知する。この場合、検査員が表示装置３又は表示装置５に表示されているＸ線画像を再確認し、検査員の判断で必要に応じて来場者に対して声がけを実施したり、来場者の荷物の中身を確認したりする。

【0101】

このように、禁止物品確認画面が表示されることで、来場者自身が禁止物品の確認を実施するため、検査員の業務負荷を低減しつつ、来場者が楽しみながら禁止物品の検査をできる。

【0102】

図７の説明に戻る。画面表示部１１５は、Ｘ線画像内に禁止物品が含まれていることを示すフィードバックを来場者から受け付けた場合（図８の例では、枠８００がタッチされた場合）には、イベント内容データ１６５０において当該物品に対応する禁止物品対応方法ご案内イベントを実行する（Ｓ７０６）。

【0103】

禁止物品対応方法ご案内イベントでは、例えば、当該禁止物品の廃棄やロッカーへの預け入れを案内するなどの対応を促す音声ガイドが、スピーカから出力されたり、表示装置５に表示されたりする。

【0104】

続いて、物品認識部１１２は、ステップＳ７０３における物品認識の結果、Ｘ線画像内に特殊物品が含まれているか（特殊物品に関するイベントの発生条件が満たされているか）を判定する（Ｓ７０７）。

【0105】

具体的には、例えば、物品認識部１１２は、ステップＳ７０３における物品認識結果において物品属性データ１６４が示す特殊物品に対応する物品のカテゴリが出力され、イベント内容データ１６５０において当該カテゴリに対応する発生フラグが「１」であるイベントが存在し、かつステップＳ７０３において出力された当該物品に対応する信頼度が、物品属性データ１６４が示す当該物品のカテゴリに対応する第１閾値以上である場合に、当該Ｘ線画像内に特殊物品が含まれていると判定し、そうでない場合に当該Ｘ線画像内に特殊物品が含まれていないと判定する。

【0106】

物品認識部１１２は、Ｘ線画像内に特殊物品が含まれていないと判定した場合（Ｓ７０７：ＮＯ）、後述するステップＳ７１１に遷移する。物品認識部１１２が、Ｘ線画像内に特殊物品が含まれるものの、その信頼度が低い（即ち当該特殊物品に対応する信頼度が第１閾値以上かつ第２閾値未満であると判定した場合）と判定した場合（Ｓ７０７：ＹＥＳ（信頼度低））、画面表示部１１５は、イベント内容データ１６５０において当該物品に対応する特殊物品確認イベントを実行する（Ｓ７０８）。

【0107】

物品認識結果が示す特殊物品についての信頼度が第１閾値以上であるものの第２閾値未満である場合には、当該特殊物品がＸ線画像内に含まれていない（又は誤って他の物品が当該特殊物品であると認識されている）可能性も低くないため、特殊物品確認イベントを発生させることで、検査員は特殊物品が荷物に含まれているかを、来場者を楽しませながら確認することができる。

【0108】

特殊物品確認イベントでは、「キャラクタＡのキーホルダーを持ってる？」等の当該特殊物品が荷物に含まれているかを確認するためのメッセージが表示装置５に表示され、例えば、ユーザは表示装置５を介して当該メッセージに対するフィードバック（つまり、当該特殊物品が荷物に含まれているかを示すフィードバック）を表示装置５（例えば、表示装置５はタッチパネルであるとする）に入力する。

【0109】

画面表示部１１５は、当該特殊物品が荷物に含まれているかを当該フィードバック結果に従って確認する（Ｓ７０９）。画面表示部１１５は、当該特殊物品が荷物に含まれていないことを示すフィードバック結果を受け取った場合（Ｓ７０９：ＮＯ）、ステップＳ７１１に遷移する。

【0110】

画面表示部１１５は、当該特殊物品が荷物に含まれていることを示すフィードバック結果を受け取った場合（Ｓ７０９：ＹＥＳ）、イベント内容データ１６５０において当該物品に対応する楽しみイベントを実行する（Ｓ７１０）。楽しみイベントでは、当該特殊物品に関連付けられたメッセージであって、来場者に楽しませるようなメッセージが表示装置５に表示されたり、スピーカから出力されたりする。また、楽しみイベントにおいて、当該特殊物品に関連付けられた特典（例えば、クーポンを示す二次元コード）を表示装置５に表示する等してもよい。このような楽しみイベントによって、ユーザは荷物のＸ線検査を楽しんで受けることができる。

【0111】

なお、ステップＳ７０８における特殊物品確認イベントにおいて来場者が虚偽のフィードバックを入力するおそれもあるが、虚偽のフィードバックが入力されても楽しみイベントが発生するか否かが変わるだけであり、運用上の大きなリスクは発生しないため、検査員は当該フィードバック結果によって来場者への声がけや荷物の確認等をしなくてもよい。

【0112】

また、物品認識部１１２が、Ｘ線画像内に特殊物品が含まれ、かつその信頼度が高い（即ち当該特殊物品に対応する信頼度が第２閾値以上であると判定した場合）と判定した場合（Ｓ７０７：ＹＥＳ（信頼度高））、特殊物品が荷物に含まれていることを来場者に確認する必要がないため、ステップＳ７１０に遷移する。

【0113】

なお、図７の例では、禁止物品対応方法ご案内イベントと楽しみイベントとを異なるタイミングで表示しているが、同じ画面内に禁止物品対応方法ご案内イベントと楽しみイベントとを表示してもよい。

【0114】

図９は、禁止物品対応方法ご案内イベントと楽しみイベントとを同時に表示する画面の一例を示す図である。なお、図９の例では、Ｘ線画像において検知された物品がイラストに置き換えられて表示される。具体的には、例えば、禁止物品が悪いキャラクタのイラストや悪いイメージを与えるイラストに置き換えられ、特殊物品が当該特殊物品に関連するキャラクタのイラストや当該特殊物品のイラストに置き換えられて表示される。

【0115】

図９の例では、Ｘ線画像９００において、禁止物品である刃物９０１、特殊物品である双眼鏡９０２、スプレーボトル９０３、及び乾電池９０５、並びに特殊物品かつラッキーアイテムである腕時計９０４が認識されている。

【0116】

このとき、実際に表示装置５には、禁止物品確認画面９１０が表示され、禁止物品確認画面９１０には、刃物９０１、双眼鏡９０２、スプレーボトル９０３、腕時計９０４、及び乾電池９０５に代えて、悪いイメージを与える蠍のイラスト９１１、双眼鏡のイラスト９１２、スプレーボトルのイラスト９１３、腕時計のイラスト９１４、及び乾電池のイラスト９１５が表示される。

【0117】

なお、これらのイラストが表示されると同時に発生中のイベント内容を示す音声がスピーカから出力されてもよい。なお、禁止物品及び特殊物品それぞれに対応するイラストは、例えば、図７の物品認識処理が開始する前に物品属性データ１６４に登録されている。Ｘ線画像を表示装置５にそのまま表示するのではなく、図９のように禁止物品や特殊物品をイラストに置き換えて表示することで、来場者は検査をより楽しむことができる。

【0118】

なお、このようなイラストへの置き換えは、禁止物品確認画面や、特殊物品確認イベントにおいても行われてもよいし、禁止物品対応方法ご案内イベントと楽しみイベントとが個別に発生する場合にも行われてもよい。

【0119】

図７の説明に戻る。Ｘ線画像取得部１１１は、Ｘ線検査が終了したかを判定する（Ｓ７１１）。Ｘ線画像取得部１１１は、例えば、営業終了時刻等の所定の時刻が到来した場合に、Ｘ線検査が終了したと判定してもよいし、入力装置４を介してＸ線検査終了指示の入力を受け付けた場合に、Ｘ線検査が終了したと判定してもよい。

【0120】

Ｘ線画像取得部１１１は、Ｘ線検査が終了したと判定した場合（Ｓ７１１：ＹＥＳ）、物品認識処理を終了する。Ｘ線画像取得部１１１は、Ｘ線検査が終了していないと判定した場合（Ｓ７１１：ＮＯ）、ステップＳ７０１に戻る。

【0121】

なお、ステップＳ７０８及びステップＳ７０９の処理が省略されてもよい。つまり、特殊物品確認イベントが発生しないようにしてもよい。この場合、イベント内容データ１６５０に特殊物品確認イベントが定義される必要はなく、また第２閾値が設定される必要もない。また、一部の特殊物品についてステップＳ７０８及びステップＳ７０９の処理が省略可能であってもよい。

【0122】

なお、ステップＳ７０４及びステップＳ７０７において、禁止物品や特殊物品がＸ線画像内に含まれ（発生条件が満たされ）、かつ発生フラグが「１」であれば、対応するイベントが必ず発生するものとしたが、例えば、イベントごとの発生確率が予め定められ、当該発生条件が満たされ、かつ発生フラグが「１」である場合に、対応するイベントの発生確率に従って、当該イベントが発生するようにしてもよい。

【0123】

但し、特殊物品及び禁止物品に対応するイベントの発生確率として、０より大きくかつ１以下の値をとることができるが、禁止物品に対応するイベントの発生確率は必ず１であるようにすることが望ましい。一方、特殊物品に対応するイベントについては、必ずしも発生しなくても運用上の大きな問題は発生しないため、発生確率が１未満に設定可能であってもよい。

【0124】

このように、発生確率が設定されていることにより、どの物品がイベントの対象物品であるかを来場者に推測させづらくなる。特に、例えば、クーポンを発行する等の来場者に特典を与える楽しみイベントについては、１未満の発生確率が設定されていることにより、施設の運営費用を低減させることができる。

【0125】

なお、例えば、施設に複数のＸ線画像処理システムが設置されている場合には、Ｘ線画像処理システムごとに、イベント内容データ１６５０の設定内容（例えば、イベントの対象物品）や、ラッキーアイテムデータ１６５７の設定内容を異ならせることにより、どの物品がイベントの対象物品であるかを来場者に推測させづらくなる。

【0126】

さらに、例えば、複数のＸ線画像処理システムのうちの一部においてのみ、例えば、ある特殊物品に対応するイベントの発生確率を高く設定しておくことにより、Ｘ線検査において特殊物品に対応するイベントが発生しやすいレーンと、特殊物品に対応するイベントが発生しにくいレーンと、を存在させることができる。特に、例えば、施設の端にあるレーン等のように来場者が向かいにくい所定のレーン等に対応するＸ線画像処理システムにおいて、特殊物品に対応するイベントの発生確率を他のレーンよりも高く設定しておくことにより、Ｘ線検査を受けるための来場者の混雑を分散させることができる。

【0127】

以上、本実施例のＸ線画像処理装置１は、禁止物品や特殊物品に対応する前述したイベントを実行することにより、来場者は、ネガティブな印象を抱きがちなＸ線検査を楽しんで受けることができる上に、検査員の業務負荷を低減することができる。

【0128】

また、本実施例のＸ線画像処理装置１は、特殊物品に関連する楽しみイベントを実行することにより、当該特殊物品に対する来場者の印象が良くなったり、当該特殊物品に対応する特典等を来場者が得たりするため、施設内での当該特殊物品に関連するお土産等の売り上げを増加させることができる。

【0129】

また、本実施例のＸ線画像処理装置１は、禁止物品確認画面を表示したり、特殊物品確認イベントを実行したりすることで、来場者とＸ線画像処理システムとの対話によって、Ｘ線画像検査結果（禁止物品や特殊物品が荷物に入っているか）を確定することでき、ひいては来場者を楽しませつつ検査員の業務負荷を低減することができる。

【0130】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0131】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0132】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0133】

１ Ｘ線画像処理装置、３ 表示装置、４ 入力装置、５ 表示装置、１１ ＣＰＵ、１２ メモリ、１３ 表示インターフェース、１４ 入力インターフェース、１５ 通信装置、１６ 補助記憶装置、１１１ Ｘ線画像取得部、１１２ 物品認識部、１１３ 物品学習部、１１４ イベント生成部、１１５ 画面表示部、１１６ 物品登録部、１６１ 物品認識モデル、１６２ Ｘ線画像蓄積データ、１６３ 学習データ、１６４ 物品属性データ、１６５ イベントデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】