ホーム > 特許ランキング > 株式会社日立ソリューションズ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024008068
(43)【公開日】2024-01-19
(54)【発明の名称】Ｘ線画像処理システム及びＸ線画像処理方法
(51)【国際特許分類】
G01N 23/04 20180101AFI20240112BHJP
【ＦＩ】
G01N23/04
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022109600
(22)【出願日】2022-07-07
(71)【出願人】
【識別番号】000233055
【氏名又は名称】株式会社日立ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】秋良 直人
(72)【発明者】
【氏名】トウ シビ
【テーマコード（参考）】
2G001
【Ｆターム（参考）】
2G001AA01
2G001BA11
2G001CA01
2G001DA09
2G001FA29
2G001HA07
2G001HA13
2G001JA09
2G001PA11
(57)【要約】
【課題】Ｘ線画像に基づいて物品を適切に判別するＸ線画像処理システム等を提供する。
【解決手段】Ｘ線画像処理システム１００は、物品のＸ線画像に基づいて、物品のカテゴリを判別する制御部１１を備え、制御部１１は、物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の認識カテゴリを所定の候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させる。
【選択図】図２
【解決手段】Ｘ線画像処理システム１００は、物品のＸ線画像に基づいて、物品のカテゴリを判別する制御部１１を備え、制御部１１は、物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の認識カテゴリを所定の候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させる。
【選択図】図２
【特許請求の範囲】
【請求項1】
物品のＸ線画像に基づいて、前記物品のカテゴリを判別する制御部を備え、
前記制御部は、物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の前記認識カテゴリを所定の前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させる、Ｘ線画像処理システム。
前記制御部は、物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の前記認識カテゴリを所定の前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させる、Ｘ線画像処理システム。
【請求項2】
前記制御部は、物品の前記認識カテゴリを所定の前記候補カテゴリに変更した場合、当該物品の前記候補カテゴリを示す所定の文字と、当該物品の前記認識カテゴリを示す別の文字と、を当該物品のＸ線画像に対応付けて併記すること
を特徴とする請求項１に記載のＸ線画像処理システム。
を特徴とする請求項１に記載のＸ線画像処理システム。
【請求項3】
ユーザによる入力操作に基づいて、物品のカテゴリの誤認識又は認識漏れを訂正するように、所定の前記候補カテゴリが物品に付与された場合、前記制御部は、当該物品のＸ線画像を追加学習データとして登録し、
前記制御部は、追加学習における当該物品の画像認識の信頼度が所定値以上である場合において、当該物品の前記認識カテゴリが前記候補カテゴリとは異なっているとき、当該物品のカテゴリを前記候補カテゴリから前記認識カテゴリに変更した上で、物品の画像認識に用いる物品認識モデルを生成すること
を特徴とする請求項１に記載のＸ線画像処理システム。
前記制御部は、追加学習における当該物品の画像認識の信頼度が所定値以上である場合において、当該物品の前記認識カテゴリが前記候補カテゴリとは異なっているとき、当該物品のカテゴリを前記候補カテゴリから前記認識カテゴリに変更した上で、物品の画像認識に用いる物品認識モデルを生成すること
を特徴とする請求項１に記載のＸ線画像処理システム。
【請求項4】
前記制御部は、物品のＸ線画像に基づいて、当該物品のカテゴリを判別した場合において、当該物品のカテゴリの誤認識又は認識漏れがユーザによる入力操作で訂正されなかったときには、当該物品のＸ線画像と当該物品のカテゴリとを対応付けて、前記追加学習データとして登録すること
を特徴とする請求項３に記載のＸ線画像処理システム。
を特徴とする請求項３に記載のＸ線画像処理システム。
【請求項5】
前記制御部は、物品の画像認識に用いる物品認識モデルの追加学習を行う際、Ｘ線画像上の物品のカテゴリを、所定の前記候補カテゴリから前記認識カテゴリに変更した履歴を示す変更履歴テーブルを生成し、
前記物品認識モデルで物品の画像認識を行った結果が所定の前記認識カテゴリに該当する場合において、前記物品認識モデルとは異なる所定の認識カテゴリ判定モデルで画像認識を行った結果、当該物品のカテゴリを前記候補カテゴリとした場合の信頼度が前記認識カテゴリとした場合の信頼度よりも高いとき、当該物品のカテゴリを前記認識カテゴリから前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて前記表示装置に表示させること
を特徴とする請求項１に記載のＸ線画像処理システム。
前記物品認識モデルで物品の画像認識を行った結果が所定の前記認識カテゴリに該当する場合において、前記物品認識モデルとは異なる所定の認識カテゴリ判定モデルで画像認識を行った結果、当該物品のカテゴリを前記候補カテゴリとした場合の信頼度が前記認識カテゴリとした場合の信頼度よりも高いとき、当該物品のカテゴリを前記認識カテゴリから前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて前記表示装置に表示させること
を特徴とする請求項１に記載のＸ線画像処理システム。
【請求項6】
前記制御部は、物品のカテゴリを前記認識カテゴリから前記候補カテゴリに変更した場合において、当該物品のＸ線画像を前記物品認識モデルの次回の追加学習で用いるときには、当該物品のＸ線画像に前記認識カテゴリを対応付けること
を特徴とする請求項５に記載のＸ線画像処理システム。
を特徴とする請求項５に記載のＸ線画像処理システム。
【請求項7】
前記制御部は、追加学習において前記認識カテゴリ判定モデルを生成する際、前記認識カテゴリと前記候補カテゴリとが異なる物品については、当該物品のＸ線画像に前記候補カテゴリを対応付けること
を特徴とする請求項５に記載のＸ線画像処理システム。
を特徴とする請求項５に記載のＸ線画像処理システム。
【請求項8】
前記制御部は、前記認識カテゴリ判定モデルで物品の画像認識を行った結果、当該物品のカテゴリを前記候補カテゴリとした場合の信頼度が前記認識カテゴリとした場合の信頼度以下であり、さらに、前記物品認識モデルで当該物品の画像認識を行った結果における第２候補以下の順位のカテゴリが所定の優先カテゴリに該当する場合、当該物品のカテゴリを前記認識カテゴリから前記優先カテゴリに変更し、当該優先カテゴリを当該物品のＸ線画像に対応付けて前記表示装置に表示させること
を特徴とする請求項５に記載のＸ線画像処理システム。
を特徴とする請求項５に記載のＸ線画像処理システム。
【請求項9】
前記制御部は、物品のカテゴリを前記認識カテゴリから前記優先カテゴリに変更した場合において、当該物品のＸ線画像を前記物品認識モデルの次回の追加学習で用いるときには、当該物品のＸ線画像に前記認識カテゴリを対応付けること
を特徴とする請求項８に記載のＸ線画像処理システム。
を特徴とする請求項８に記載のＸ線画像処理システム。
【請求項10】
所定の優先カテゴリテーブルに含まれる前記優先カテゴリ、及び、前記優先カテゴリへの変更前の所定のカテゴリはいずれも、前記変更履歴テーブルに含まれる前記認識カテゴリとは重複していないこと
を特徴とする請求項８に記載のＸ線画像処理システム。
を特徴とする請求項８に記載のＸ線画像処理システム。
【請求項11】
前記制御部は、物品を画像認識を行った結果における第２候補以下の順位のカテゴリが、前記候補カテゴリに含まれる所定の優先カテゴリに該当する場合、当該物品のカテゴリを前記優先カテゴリに変更し、当該優先カテゴリを当該物品のＸ線画像に対応付けて前記表示装置に表示させること
を特徴とする請求項１に記載のＸ線画像処理システム。
を特徴とする請求項１に記載のＸ線画像処理システム。
【請求項12】
物品のＸ線画像に基づいて、前記物品のカテゴリを判別する判別処理と、
物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の前記認識カテゴリを所定の前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させる表示処理と、を含むＸ線画像処理方法。
物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の前記認識カテゴリを所定の前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させる表示処理と、を含むＸ線画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、Ｘ線画像処理システム等に関する。
【背景技術】
【0002】
空港や大規模イベント会場での手荷物検査では、物品のＸ線画像を用いた手荷物検査が行われることが多い。Ｘ線画像に基づいて物品の種類等を自動的に判別する技術として、例えば、特許文献１，２に記載のものが知られている。
すなわち、特許文献１には、「Ｘ線画像の画素領域のうちＸ線透過量が透過量閾値を下回りかつ材質が連続している部分の面積が、面積閾値を超えているか否かに基づき、物品が安全であるか否かを判定する」ことが記載されている。
また、特許文献２には、「学習モデルを用いてカテゴリ毎のスコアを推定し、前記スコアの最も高いカテゴリに分類し、カテゴリ毎に、前記スコアの低い順に前記複数の教師候補画像をソートし、カテゴリ毎の分類結果を生成する」ことが記載されている。
すなわち、特許文献１には、「Ｘ線画像の画素領域のうちＸ線透過量が透過量閾値を下回りかつ材質が連続している部分の面積が、面積閾値を超えているか否かに基づき、物品が安全であるか否かを判定する」ことが記載されている。
また、特許文献２には、「学習モデルを用いてカテゴリ毎のスコアを推定し、前記スコアの最も高いカテゴリに分類し、カテゴリ毎に、前記スコアの低い順に前記複数の教師候補画像をソートし、カテゴリ毎の分類結果を生成する」ことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－４３６３号公報
【特許文献2】特開２０２０－２４５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
Ｘ線検査装置が物品の種類を判別する際には、通常、物品の種類とＸ線画像との間の対応関係を予め学習し、その学習結果に基づいて物品（検査対象）の種類を判別する。しかしながら、検査対象となる物品の種類が多くなると、所定の物品のＸ線画像上の見た目が他の種類の物品に似通っているといったケースが生じやすくなる。このような紛らわしいケースでも物品の種類を適切に判別できるようにすることが望ましいが、そのような技術については特許文献１，２には記載されていない。
【0005】
そこで、本発明は、Ｘ線画像に基づいて物品を適切に判別するＸ線画像処理システム等を提供することを課題とする。
【課題を解決するための手段】
【0006】
前記した課題を解決するために、本発明に係るＸ線画像処理システムは、物品のＸ線画像に基づいて、前記物品のカテゴリを判別する制御部を備え、前記制御部は、物品の画像認識に基づく認識カテゴリと、ユーザの運用に基づく複数の候補カテゴリと、の比較に基づいて、当該物品の前記認識カテゴリを所定の前記候補カテゴリに変更し、当該候補カテゴリを当該物品のＸ線画像に対応付けて表示装置に表示させることとした。
【発明の効果】
【0007】
本発明によれば、Ｘ線画像に基づいて物品を適切に判別するＸ線画像処理システム等を提供できる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係るＸ線画像処理システムが適用されるＸ線装置を含む斜視図である。
【図2】実施形態に係るＸ線画像処理システムが適用されるＸ線画像処理装置の機能ブロック図である。
【図3A】実施形態に係るＸ線画像処理システムが適用されるＸ線画像処理装置の物品認識に関する処理のフローチャートである。
【図3B】実施形態に係るＸ線画像処理システムが適用されるＸ線画像処理装置の物品認識に関する処理のフローチャートである。
【図4】実施形態に係るＸ線画像処理システムの信頼度テーブルの例を示す説明図である。
【図5】実施形態に係るＸ線画像処理システムの変更履歴テーブルの例を示す説明図である。
【図6A】実施形態に係るＸ線画像処理システムにおいて、カテゴリの変更前におけるＳＳＤとＵＳＢメモリとの関係を示す説明図である。
【図6B】実施形態に係るＸ線画像処理システムにおいて、物品認識モデルの学習に用いられるＳＳＤとＵＳＢメモリを示す説明図である。
【図6C】実施形態に係るＸ線画像処理システムにおいて、認識カテゴリ判定モデルの学習に用いられるＳＳＤとＵＳＢメモリを示す説明図である。
【図7】実施形態に係るＸ線画像処理システムの優先カテゴリテーブルの例を示す説明図である。
【図8】実施形態に係るＸ線画像処理システムにおいて、物品のカテゴリの判別結果を示す表示画面の一例である。
【図9】実施形態に係るＸ線画像処理システムにおいて、物品の正しいカテゴリの選択ボタンを示す表示画面の一例である。
【図10A】実施形態に係るＸ線画像処理システムが適用されるＸ線画像処理装置の追加学習に関する処理のフローチャートである。
【図10B】実施形態に係るＸ線画像処理システムが適用されるＸ線画像処理装置の追加学習に関する処理のフローチャートである。
【図11】実施形態に係るＸ線画像処理システムの重なり・正面判定用テーブルの例を示す説明図である。
【発明を実施するための形態】
【0009】
≪実施形態≫
図１は、実施形態に係るＸ線画像処理システム１００が適用されるＸ線画像処理装置１を含む斜視図である。
図１に示すＸ線画像処理システム１００は、物品のＸ線画像に基づいて、物品のカテゴリを判別するシステムである。なお、物品の「カテゴリ」とは、Ｘ線画像処理システム１００の処理の中で用いられる物品の種類である（ノートパソコン、タブレット、水筒、ナイフ等）。例えば、物品のＸ線画像に基づく判別が正しく行われた場合には、その判別結果である物品の「カテゴリ」が物品の本来の種類（ユーザの運用上の種類）に一致する。
図１は、実施形態に係るＸ線画像処理システム１００が適用されるＸ線画像処理装置１を含む斜視図である。
図１に示すＸ線画像処理システム１００は、物品のＸ線画像に基づいて、物品のカテゴリを判別するシステムである。なお、物品の「カテゴリ」とは、Ｘ線画像処理システム１００の処理の中で用いられる物品の種類である（ノートパソコン、タブレット、水筒、ナイフ等）。例えば、物品のＸ線画像に基づく判別が正しく行われた場合には、その判別結果である物品の「カテゴリ」が物品の本来の種類（ユーザの運用上の種類）に一致する。
【0010】
＜Ｘ線検査装置の構成＞
図１に示すＸ線検査装置１００ａは、物品のＸ線検査を行う装置であり、Ｘ線画像処理システム１００に含まれている。Ｘ線検査装置１００ａは、例えば、空港や大規模イベント会場の他、データセンタや工場、研究機関、公的機関での手荷物検査に用いられる。図１に示すように、Ｘ線検査装置１００ａは、後記するＸ線画像処理装置１の他、装置本体２と、表示装置３と、入力装置４と、を含んで構成されている。
図１に示すＸ線検査装置１００ａは、物品のＸ線検査を行う装置であり、Ｘ線画像処理システム１００に含まれている。Ｘ線検査装置１００ａは、例えば、空港や大規模イベント会場の他、データセンタや工場、研究機関、公的機関での手荷物検査に用いられる。図１に示すように、Ｘ線検査装置１００ａは、後記するＸ線画像処理装置１の他、装置本体２と、表示装置３と、入力装置４と、を含んで構成されている。
【0011】
装置本体２は、図示はしないが、物品が入っている荷物をローラコンベアで搬送する搬送機構と、物品にＸ線を照射する照射機構と、Ｘ線の透過量を測定するＸ線撮影機構と、を備えている。装置本体２には、搬送機構で搬送される荷物を通過させるための矩形状の孔Ｈ１が設けられている。装置本体２のの搬送方向上流側には、荷物を孔Ｈ１に向けてスムーズに移動させるための複数のローラＲ１が設けられている。
【0012】
装置本体２は、前記したＸ線撮影機構（図示せず）として、例えば、Ｘ線透過量を測定する２種類のＸ線センサ（図示せず）を備えている。そして、一方のＸ線センサが他方のＸ線センサよりも高いエネルギのＸ線透過量を検出するようになっている。このようなＸ線センサとして、例えば、後方散乱式の材質判定センサが用いられるが、これに限定されるものではない。なお、装置本体２において物品が通過するエリアの複数箇所（側面や天井面）のそれぞれに、前記した２種類のＸ線センサが設置されるようにするとよい。これによって、異なる複数の方向からＸ線撮影を行うことができる。
【0013】
図１に示すＸ線画像処理装置１は、物品のＸ線画像に基づいて、物品のカテゴリを判別する装置である。Ｘ線画像処理装置１は、配線（図示せず）を介して装置本体２に接続されるとともに、表示装置３や入力装置４にも接続されている。そして、装置本体２の撮影機構である２種類のＸ線センサ（図示せず）からＸ線画像処理装置１にＸ線透過量のデータ等が出力されるようになっている。
【0014】
Ｘ線画像処理装置１は、２種類のＸ線センサ（図示せず）のうちの一方で取得される高エネルギのＸ線透過量のデータと、他方で取得される低エネルギのＸ線透過量のデータと、の間の差分に基づいて、物品の材質をＸ線画像の画素毎に判別する。そして、Ｘ線画像処理装置１は、物品の材質や密度を可視化したカラー画像又はグレースケール画像をＸ線画像として生成し、このＸ線画像に基づいて物品のカテゴリを判別する。
【0015】
物品のカテゴリが所定の禁止物品（アラート対象物）に該当する場合には、禁止物品であることを示す所定の信号がＸ線画像処理装置１から装置本体２に出力される。この場合には、装置本体２（又は装置本体２の付近）の表示ランプが点灯したり、スピーカ（図示せず）から所定のアラート音が出力されたりする。これによって、検査対象の物品が所定の禁止物品であることをユーザ（検査員等）が把握できる。
【0016】
図１に示す２つの表示装置３は、装置本体２の撮影結果であるＸ線画像等を表示させる。これによって、物品のＸ線画像の他、物品のカテゴリの判別結果をユーザ（検査員等）が目視で確認できる。これら２つの表示装置３には、異なる方向から撮影された画像が表示されるようにしてもよいし、また、異なる種類の画像（例えば、カラー画像とグレースケール画像）が表示されるようにしてもよい。
【0017】
図１に示す入力装置４は、例えば、キーボードやマウスであり、ユーザによって所定に操作される。なお、Ｘ線検査装置１００ａの構成は、図１の例に限定されるものではない。例えば、Ｘ線画像処理装置１が装置本体２に内蔵された構成であってもよい。
【0018】
＜Ｘ線画像処理装置の構成＞
図２は、Ｘ線画像処理システム１００が適用されるＸ線画像処理装置１の機能ブロック図である。
図２に示すＸ線画像処理装置１は、制御部１１と、メモリ１２と、表示インターフェース１３と、入力インタフェース１４と、通信部１５と、補助記憶部１６と、を備えるコンピュータである。制御部１１は、例えば、プロセッサを含むＣＰＵ（Central Processing Unit）であり、メモリ１２にロードされたプログラムを所定に実行する。メモリ１２は、不揮発性の記憶素子であるＲＯＭ（Read Only Memory）と、揮発性の記憶素子であるＲＡＭ（Random Access Memory）と、を含んで構成されている。
図２は、Ｘ線画像処理システム１００が適用されるＸ線画像処理装置１の機能ブロック図である。
図２に示すＸ線画像処理装置１は、制御部１１と、メモリ１２と、表示インターフェース１３と、入力インタフェース１４と、通信部１５と、補助記憶部１６と、を備えるコンピュータである。制御部１１は、例えば、プロセッサを含むＣＰＵ（Central Processing Unit）であり、メモリ１２にロードされたプログラムを所定に実行する。メモリ１２は、不揮発性の記憶素子であるＲＯＭ（Read Only Memory）と、揮発性の記憶素子であるＲＡＭ（Random Access Memory）と、を含んで構成されている。
【0019】
表示インターフェース１３は、表示装置３（図１参照）に画像データを所定に出力する。入力インタフェース１４は、入力装置４（図１参照）から入力されるデータの他、装置本体２（図１参照）から入力されるＸ線透過量のデータを受け付ける。このような入力インタフェース１４として、例えば、Ｘ線画像処理装置１の専用のインターフェースが用いられてもよいし、また、ＶＧＡ端子といった汎用の画面入力端子が用いられてもよい。通信部１５は、所定のプロトコルに基づいて、他の装置との間の通信を制御するネットワークインターフェースある。このような通信部１５として、ＵＳＢ（Universal Serial Bus）等のシリアルインターフェースが用いられてもよい。
【0020】
補助記憶部１６は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の不揮発性の大容量記憶装置である。補助記憶部１６には、ＯＳ（Operating System：図示せず）が格納されている他、制御部１１（ＣＰＵ）によって実行される各プログラムや、各プログラムの実行時に使用されるデータが格納されている。これらの各プログラムは、補助記憶部１６から読み出されてメモリ１２にロードされ、制御部１１によって実行される。
【0021】
図２に示すように、補助記憶部１６には、Ｘ線画像取得部１６ａと、物品認識部１６ｂと、物品学習部１６ｃと、学習カテゴリ選定部１６ｄと、変更履歴管理部１６ｅと、重なり・正面判定部１６ｆと、画面表示部１６ｇと、認識カテゴリ判定部１６ｈと、優先カテゴリ判定部１６ｋと、が所定のプログラムとして格納されている。また、補助記憶部１６には、Ｘ線画像に基づく物品の認識に用いられるモデルとして、物品認識モデル１６ｍと、認識カテゴリ判定モデル１６ｎと、が格納されている。
【0022】
また、補助記憶部１６には、所定のデータテーブルとして、信頼度テーブル１６ｐと、変更履歴テーブル１６ｑと、優先カテゴリテーブル１６ｒと、重なり・正面判定用テーブル１６ｓと、が格納されている。さらに、補助記憶部１６には、物品認識の学習に用いられるデータとして、学習データ１６ｔと、カテゴリ判定用学習データ１６ｕと、追加学習データ１６ｖと、が格納されている。
【0023】
Ｘ線画像取得部１６ａは、装置本体２（図１参照）から入力インタフェース１４を介して、Ｘ線画像のデータを取得する。
物品認識部１６ｂは、例えば、ＡＩ（Artificial Intelligence）による深層学習のセグメンテーション技術に基づいて、Ｘ線画像上の物品を画素単位で認識するプログラムである。
物品学習部１６ｃは、例えば、ＡＩによる深層学習のセグメンテーション技術に基づいて、学習データ１６ｔを所定に学習することで、物品認識モデル１６ｍを生成する。また、物品学習部１６ｃは、カテゴリ判定用学習データ１６ｕを所定に学習することで、認識カテゴリ判定モデル１６ｎを生成する。
物品認識部１６ｂは、例えば、ＡＩ（Artificial Intelligence）による深層学習のセグメンテーション技術に基づいて、Ｘ線画像上の物品を画素単位で認識するプログラムである。
物品学習部１６ｃは、例えば、ＡＩによる深層学習のセグメンテーション技術に基づいて、学習データ１６ｔを所定に学習することで、物品認識モデル１６ｍを生成する。また、物品学習部１６ｃは、カテゴリ判定用学習データ１６ｕを所定に学習することで、認識カテゴリ判定モデル１６ｎを生成する。
【0024】
学習カテゴリ選定部１６ｄは、追加学習データ１６ｖの中から学習に用いるデータを選定する。変更履歴管理部１６ｅは、物品のカテゴリが変更された履歴を変更履歴テーブル１６ｑとして管理する。重なり・正面判定部１６ｆは、Ｘ線画像における物品の領域の面積や濃さに基づいて、所定の物品が他の物品と重なっていないか、また、所定の物品の姿勢が正面であるか否かを判定する。
【0025】
画面表示部１６ｇは、Ｘ線画像の中に物品が認識された位置を示す矩形等の情報と、物品のカテゴリを示す所定の文字と、を含む画像データ（図８参照）を生成する。そして、画面表示部１６ｇは、この画像データをＸ線画像上の物品の位置に対応付けて、表示装置３（図１参照）に所定に表示させる。
認識カテゴリ判定部１６ｈは、物品認識モデル１６ｍによって認識された物品のカテゴリを変更するか否かを判定する。優先カテゴリ判定部１６ｋは、物品認識モデル１６ｍによって認識された物品のカテゴリを所定の優先カテゴリに変更するか否かを判定する。
なお、補助記憶部１６に格納されたデータのうち、残りの物品認識モデル１６ｍや認識カテゴリ判定モデル１６ｎの他、各テーブルや各データについては、次の図３Ａ、図３Ｂのフローチャートの中で適宜に説明する。
認識カテゴリ判定部１６ｈは、物品認識モデル１６ｍによって認識された物品のカテゴリを変更するか否かを判定する。優先カテゴリ判定部１６ｋは、物品認識モデル１６ｍによって認識された物品のカテゴリを所定の優先カテゴリに変更するか否かを判定する。
なお、補助記憶部１６に格納されたデータのうち、残りの物品認識モデル１６ｍや認識カテゴリ判定モデル１６ｎの他、各テーブルや各データについては、次の図３Ａ、図３Ｂのフローチャートの中で適宜に説明する。
【0026】
Ｘ線画像処理装置１における処理は、事前学習と、物品認識と、追加学習と、に大別される。事前学習では、物品が写っているＸ線画像を学習データ１６ｔ（図２参照）として大量に用意し、Ｘ線画像上の物品の見た目を物品学習部１６ｃに学習させ、所定の物品認識モデル１６ｍを生成させる。
【0027】
また、物品認識では、物品認識モデル１６ｍ等に基づいて、物品のカテゴリが判別される。そして、物品認識が所定期間行われた後、追加学習が行われ、さらに、追加学習の結果に基づいて物品認識を行うといったことが所定に繰り返される。追加学習では、所定の追加学習データ１６ｖに基づいて、物品認識モデル１６ｍ等が更新される。このような追加学習は、例えば、１日ごとに行われてもよいし、また、１週間ごとや１カ月ごとに行われてもよい。以下では、物品認識に関する処理（図３Ａ、図３Ｂ参照）について説明した後、追加学習に関する処理（図１０Ａ、図１０Ｂ参照）について説明する。
【0028】
＜物品認識に関する処理＞
図３Ａ、図３Ｂは、Ｘ線画像処理システムが適用されるＸ線画像処理装置の物品認識に関する処理のフローチャートである。
ステップＳ１０１において制御部１１は、Ｘ線画像取得部１６ａ（図２参照）によって、Ｘ線画像のデータを装置本体２（図１参照）から取得する。例えば、前記した２種類のＸ線センサ（図示せず）から所定のＲＡＷデータ（未加工のデータ）が入力される場合、Ｘ線画像取得部１６ａ（図２参照）は、次の処理を行う。すなわち、Ｘ線画像取得部１６ａは、高エネルギのＸ線透過量と、低エネルギのＸ線透過量と、の間の差分に基づいて、金属・無機物・有機物・その他の４種類のいずれかにＸ線画像の各画素を分類する。そして、Ｘ線画像取得部１６ａは、例えば、物品の材質を所定の色で示し、Ｘ線透過量（物品の密度）を色の濃さで示した所定のカラー画像を生成する。なお、表示装置３（図１参照）の表示画面をキャプチャしたデータをＸ線画像取得部１６ａが取得するようにしてもよい。
図３Ａ、図３Ｂは、Ｘ線画像処理システムが適用されるＸ線画像処理装置の物品認識に関する処理のフローチャートである。
ステップＳ１０１において制御部１１は、Ｘ線画像取得部１６ａ（図２参照）によって、Ｘ線画像のデータを装置本体２（図１参照）から取得する。例えば、前記した２種類のＸ線センサ（図示せず）から所定のＲＡＷデータ（未加工のデータ）が入力される場合、Ｘ線画像取得部１６ａ（図２参照）は、次の処理を行う。すなわち、Ｘ線画像取得部１６ａは、高エネルギのＸ線透過量と、低エネルギのＸ線透過量と、の間の差分に基づいて、金属・無機物・有機物・その他の４種類のいずれかにＸ線画像の各画素を分類する。そして、Ｘ線画像取得部１６ａは、例えば、物品の材質を所定の色で示し、Ｘ線透過量（物品の密度）を色の濃さで示した所定のカラー画像を生成する。なお、表示装置３（図１参照）の表示画面をキャプチャしたデータをＸ線画像取得部１６ａが取得するようにしてもよい。
【0029】
また、Ｘ線画像のデータを撮影対象の荷物ごとに分割する際、Ｘ線画像取得部１６ａ（図２参照）は、次の３通りの分割方法のいずれかを行うようにしてもよい。第１の分割方法は、Ｘ線透過量が所定閾値以下である部分を荷物エリアとして、Ｘ線画像取得部１６ａが荷物エリアを特定する方法である。この第１の分割方法は、装置本体２（図１参照）のＶＧＡ出力端子等からＸ線画像処理装置１（図１参照）に所定のＲＡＷデータが入力される場合に用いられる。第２の分割方法は、Ｘ線画像取得部１６ａが、Ｘ線透過量の積分値（画像上の所定ライン又は所定時間での積分値）に基づいて、Ｘ線画像を荷物ごとに分割する方法である。第３の分割方法は、荷物検知センサ（図示せず）が荷物を検知した時刻と、荷物を検知しなくなった時刻とに基づいて、Ｘ線画像を荷物ごとに分割する方法である。
【0030】
次に、図３のステップＳ１０２において制御部１１は、物品認識部１６ｂ（図２参照）によって、物品のＸ線画像に基づいて、物品のカテゴリを判別する（判別処理）。すなわち、物品認識部１６ｂは、物品認識モデル１６ｍ（図２参照）に基づいて、Ｘ線画像上の物品のカテゴリを判別する他、その物品のＸ線画像上の位置（座標）を特定する。なお、物品認識モデル１６ｍとは、Ｘ線画像上の物品のカテゴリを画像認識に基づいて判別する際に用いられるモデルであり、深層学習等に基づく所定のパラメータを含んでいる。前記したように、物品認識モデル１６ｍは事前学習で生成され、さらに、追加学習で適宜に更新される。また、ステップＳ１０２の処理において、ＯＳＳ（オープンソースソフトウェア）のライブラリである「Fully Convolutional Instance-aware Semantic Segmentation」や「Ｍａｓｋ Ｒ－ＣＮＮ」が適宜に用いられてもよい。
【0031】
また、ステップＳ１０２の処理において物品認識部１６ｂは、物品のカテゴリの判別結果における信頼度も算出する。「信頼度」とは、物品のカテゴリの判別結果をどの程度信頼してよいかを示す指標である。信頼度が高いほど、物品のカテゴリの判別結果が正しい可能性が高くなる。ステップＳ１０２の処理では、物品のカテゴリに関する複数の候補の中から信頼度が最も高いものが、物品のカテゴリとして選択される。
【0032】
また、次に説明するように、信頼度の高さが２番目以下の順位（２番目、３番目、４番目、・・・）の候補に関するデータも信頼度テーブル１６ｐ（図２参照）に格納される。信頼度テーブル１６ｐとは、Ｘ線画像上の所定の物品のカテゴリを判別した場合の各候補のカテゴリの信頼度を示すデータテーブルである。
【0033】
図４は、信頼度テーブル１６ｐの例を示す説明図である。
図４の例では、信頼度が最も高い第１候補（物品のＸ線画像上の見た目が最も似ているカテゴリ）として「ノートパソコン」が挙げられている他、信頼度が２番目以下のものでは、「タブレット」、「スマートフォン」、「携帯用ゲーム機」が順に挙げられている。このような信頼度テーブル１６ｐは、補助記憶部１６（図２参照）に一時的に格納され、後記するステップＳ１０５の処理で用いられる。
図４の例では、信頼度が最も高い第１候補（物品のＸ線画像上の見た目が最も似ているカテゴリ）として「ノートパソコン」が挙げられている他、信頼度が２番目以下のものでは、「タブレット」、「スマートフォン」、「携帯用ゲーム機」が順に挙げられている。このような信頼度テーブル１６ｐは、補助記憶部１６（図２参照）に一時的に格納され、後記するステップＳ１０５の処理で用いられる。
【0034】
次に、図３のステップＳ１０３において制御部１１は、物品のカテゴリの変更履歴があるか否かを判定する。すなわち、制御部１１は、変更履歴管理部１６ｅ（図２参照）によって変更履歴テーブル１６ｑ（図２参照）を参照し、物品のカテゴリの変更履歴があるか否かを判定する。ここで、変更履歴テーブル１６ｑとは、ユーザ（検査員等）の入力操作で付与された本来のカテゴリから、物品の見た目が似通っている別のカテゴリに変更された履歴を示すデータテーブルである。このような変更履歴テーブル１６ｑについて、図５を用いて説明する。
【0035】
図５は、変更履歴テーブル１６ｑの例を示す説明図である。
図５に示す「変更前」の欄には、過去に誤認識や認識漏れがあった物品に対して、ユーザ（検査員等）が追加学習用に登録した物品の本来のカテゴリが格納されている。ユーザは、物品のＸ線画像を確認したり、物品そのものを目視で確認したりすることで、所定の運用（例えば、空港の手荷物検査での運用）に基づく物品の本来のカテゴリを「変更前」のカテゴリ（候補カテゴリ）として入力する。
図５に示す「変更前」の欄には、過去に誤認識や認識漏れがあった物品に対して、ユーザ（検査員等）が追加学習用に登録した物品の本来のカテゴリが格納されている。ユーザは、物品のＸ線画像を確認したり、物品そのものを目視で確認したりすることで、所定の運用（例えば、空港の手荷物検査での運用）に基づく物品の本来のカテゴリを「変更前」のカテゴリ（候補カテゴリ）として入力する。
【0036】
図５に示す「変更後」の欄には、学習カテゴリ選定部１６ｄ（図２参照）による変更後の物品のカテゴリ（認識カテゴリ）が格納されている。図５の例では、「変更前」の物品のカテゴリとして、「ＳＳＤ」（Solid State Drive）が格納され、これに対応する「変更後」の物品のカテゴリとして、「ＵＳＢメモリ」（Universal Serial Bus Memory）が格納されている。また、変更履歴テーブル１６ｑには、物品のカテゴリが変更された回数が「変更回数」として格納されている。
【0037】
図６Ａは、カテゴリの変更前におけるＳＳＤとＵＳＢメモリとの関係を示す説明図である。
図６Ａに示すように、ＳＳＤにはさまざまな種類や形状のものがあり、その中には見た目がＵＳＢメモリに似通っているものがある。図６Ａの例では、ｓｓｄ３１～３３は、Ｘ線画像上の見た目がｕｓｂメモリとは異なっているが、残りのＳＳＤ３４，３５は、その見た目がＵＳＢメモリに似通っている。ＳＳＤ３１～３５は、本来は共通のカテゴリ（種類）に属しているが、物品認識モデル１６ｍ（図２参照）の学習時には、見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリをＵＳＢメモリに変更するようにしている。これによって、物品認識モデル１６ｍに基づく物品認識の精度が高められる。
図６Ａに示すように、ＳＳＤにはさまざまな種類や形状のものがあり、その中には見た目がＵＳＢメモリに似通っているものがある。図６Ａの例では、ｓｓｄ３１～３３は、Ｘ線画像上の見た目がｕｓｂメモリとは異なっているが、残りのＳＳＤ３４，３５は、その見た目がＵＳＢメモリに似通っている。ＳＳＤ３１～３５は、本来は共通のカテゴリ（種類）に属しているが、物品認識モデル１６ｍ（図２参照）の学習時には、見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリをＵＳＢメモリに変更するようにしている。これによって、物品認識モデル１６ｍに基づく物品認識の精度が高められる。
【0038】
図６Ｂは、物品認識モデルの学習に用いられるＳＳＤとＵＳＢメモリを示す説明図である。
詳細については後記するが、ステップＳ１０２で用いられる物品認識モデル１６ｍの学習時には（図１０ｂのＳ２１２）、例えば、次のような処理が行われる。すなわち、Ｘ線画像上の見た目がＵＳＢメモリには似ていないＳＳＤ３１～３３のカテゴリの正解を「ＳＳＤ」とし、また、見た目がＵＳＢメモリに似ているＳＳＤ３４，３５の他、本来のＵＳＢメモリ４１～４５のカテゴリの正解を「ＵＳＢメモリ」として、物品認識モデル１６ｍの学習が行われる。物品認識部１６ｂ（図２参照）は、Ｘ線画像上の見た目で物品を判別するため、本来のカテゴリが間違っていたとしても、見た目が似通っているものをひとまとまりにして学習した方が物品認識モデル１６に基づく認識精度が高くなる。
詳細については後記するが、ステップＳ１０２で用いられる物品認識モデル１６ｍの学習時には（図１０ｂのＳ２１２）、例えば、次のような処理が行われる。すなわち、Ｘ線画像上の見た目がＵＳＢメモリには似ていないＳＳＤ３１～３３のカテゴリの正解を「ＳＳＤ」とし、また、見た目がＵＳＢメモリに似ているＳＳＤ３４，３５の他、本来のＵＳＢメモリ４１～４５のカテゴリの正解を「ＵＳＢメモリ」として、物品認識モデル１６ｍの学習が行われる。物品認識部１６ｂ（図２参照）は、Ｘ線画像上の見た目で物品を判別するため、本来のカテゴリが間違っていたとしても、見た目が似通っているものをひとまとまりにして学習した方が物品認識モデル１６に基づく認識精度が高くなる。
【0039】
図３ＡのステップＳ１０３において、物品のカテゴリの変更履歴がある場合（Ｓ１０３：Ｙｅｓ）、制御部１１の処理はステップＳ１０４に進む。すなわち、変更履歴テーブル１６ｑ（図５参照）における「変更後」のカテゴリとして、Ｘ線画像上の物品のカテゴリ（Ｓ１０２の判別結果）に一致するものが存在する場合、制御部１１の処理はステップＳ１０４に進む。
【0040】
ステップＳ１０４において制御部１１は、認識カテゴリ判定部１６ｈ（図２参照）によって、認識カテゴリ判定モデル１６ｎに基づいて、物品のカテゴリを再び判別する。認識カテゴリ判定モデル１６ｎ（図２参照）とは、認識カテゴリ判定モデル１６ｎとは、見た目が他のカテゴリの物品と似通っている所定の物品について、その本来のカテゴリを正しく判別するためのモデルである。例えば、図６Ｂに示すＳＳＤ３４，３５は、物品認識モデル１６ｍの学習時には「ＵＳＢメモリ」として扱われるが、最終的には、本来のカテゴリの「ＳＳＤ」として表示されることが望ましい。認識カテゴリ判定モデル１６ｎは、ＳＳＤ３４，３５のような、カテゴリが紛らわしい物品を正しく判別するためのモデルである。
【0041】
図６Ｃは、認識カテゴリ判定モデルの学習に用いられるＳＳＤとＵＳＢメモリを示す説明図である。
図６Ｃの例では、Ｘ線画像上の見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリの正解を「ＳＳＤ」とし、また、ＵＳＢメモリ４１～４５のカテゴリの正解を「ＵＳＢメモリ」として、認識カテゴリ判定モデル１６ｎ（図２参照）が学習される。なお、ＳＳＤ３１～３５（図６Ａ参照）の中でも、Ｘ線画像上の見た目がＵＳＢメモリには似ていないもの（典型的な形状のＳＳＤ３１～３３：図６Ａ参照）は、認識カテゴリ判定モデル１６ｎの学習対象から外される。このようにして学習された認識カテゴリ判定モデル１６ｎを用いることで、Ｘ線画像上の見た目が他の物品に似通っている物品のカテゴリを高精度に判別できる。
図６Ｃの例では、Ｘ線画像上の見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリの正解を「ＳＳＤ」とし、また、ＵＳＢメモリ４１～４５のカテゴリの正解を「ＵＳＢメモリ」として、認識カテゴリ判定モデル１６ｎ（図２参照）が学習される。なお、ＳＳＤ３１～３５（図６Ａ参照）の中でも、Ｘ線画像上の見た目がＵＳＢメモリには似ていないもの（典型的な形状のＳＳＤ３１～３３：図６Ａ参照）は、認識カテゴリ判定モデル１６ｎの学習対象から外される。このようにして学習された認識カテゴリ判定モデル１６ｎを用いることで、Ｘ線画像上の見た目が他の物品に似通っている物品のカテゴリを高精度に判別できる。
【0042】
例えば、ステップＳ１０２では物品認識モデル１６ｍ（図２参照）が用いられるため、見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５は、「ＵＳＢメモリ」として判別される。この「ＵＳＢメモリ」は、変更履歴テーブル１６ｑ（図５参照）で「変更後」のカテゴリの一つとして登録されている（Ｓ１０３：Ｙｅｓ）。そして、次のステップＳ１０４では、認識カテゴリ判定モデル１６ｎ（図２参照）が用いられるため、ＳＳＤ３４，３５は、「ＳＳＤ」として正しく判別される。
【0043】
ステップＳ１０５において制御部１１は、「変更前」のカテゴリの信頼度が、「変更後」のカテゴリの信頼度よりも高いものが存在するか否かを判定する。なお、ステップＳ１０５の処理では、変更履歴テーブル１６ｑ（図５参照）に含まれている「変更前」のカテゴリ（ユーザの運用に基づく候補カテゴリ）と、「変更後」のカテゴリ（見た目が似ている認識カテゴリ）とで、ステップＳ１０４の判別結果における信頼度が比較されている。ステップＳ１０５において、変更前のカテゴリの信頼度が、変更後のカテゴリの信頼度よりも高いものが存在する場合（Ｓ１０５：Ｙｅｓ）、制御部１１の処理はステップＳ１０６に進む。
【0044】
ステップＳ１０６において制御部１１は、物品のカテゴリを「変更前」のものにする。なお、「変更前」のカテゴリの信頼度が「変更後」のカテゴリの信頼度よりも高いペア（変更前・変更後のペア）が複数存在する場合には、、「変更前」のカテゴリの信頼度が最も高いものが選択される。
【0045】
例えば、図６Ｃに示すＳＳＤ３４，３５のカテゴリを認識カテゴリ判定モデル１６ｎで判別した場合において、そのカテゴリを「ＳＳＤ」としたときの信頼度が、「ＵＳＢメモリ」としたときの信頼度よりも高かったとする。なお、「ＳＳＤ」というカテゴリは、ＳＳＤ３４，３５の本来の種類を示す「変更前」のカテゴリである。この場合には、変更履歴テーブル１６ｑ（図５参照）における「変更前」のカテゴリの方が信頼度が高いため（Ｓ１０５：Ｙｅｓ）、ＳＳＤ３４，３５のカテゴリが、「ＵＳＢメモリ」から「ＳＳＤ」に変更される（Ｓ１０６）。
【0046】
また、図６Ｃに示すＵＳＢメモリ４１～４５のカテゴリを認識カテゴリ判定モデル１６ｎで判別した場合において、そのカテゴリを「ＳＳＤ」としたときの信頼度が、「ＵＳＢメモリ」としたときの信頼度よりも低かったとする。なお、「ＵＳＢメモリ」というカテゴリは、変更履歴テーブル１６ｑ（図５参照）における「変更後」のカテゴリである。この場合には、「変更後」のカテゴリの方が信頼度が高いため（Ｓ１０５：Ｎｏ）、ＵＳＢメモリ４１～４５については、そのままのカテゴリ（「ＵＳＢメモリ」）で扱われる。
【0047】
ステップＳ１０６の処理を行った後、制御部１１の処理は、図３ＢのステップＳ１１０に進む。ステップＳ１１０において制御部１１は、カテゴリの判別結果を表示装置３（図１参照）に表示させる（表示処理）。例えば、図６Ａに示すＳＳＤ６４，３５は、そのＸ線画像に対応付けて、「ＳＳＤ」と正しく表示される。これによって、Ｘ線画像上の見た目で物品を高精度に分類しつつ、ユーザの運用に沿った物品の本来のカテゴリを正しく表示できる。
【0048】
このように、制御部１１は、物品の画像認識に基づく認識カテゴリ（変更履歴テーブル１６ｑにおける「変更後」のカテゴリ）と、ユーザの運用に基づく複数の候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）と、の比較に基づいて、この物品の認識カテゴリを所定の候補カテゴリに変更する（図３ＡのＳ１０６）。そして、制御部１１は、この候補カテゴリを物品のＸ線画像に対応付けて表示装置３に表示させる（図３ＢのＳ１１０）。
【0049】
より詳しく説明すると、制御部１１は、物品認識モデル１６ｍで物品の画像認識を行った結果が所定の認識カテゴリ（変更履歴テーブル１６ｑにおける「変更後」のカテゴリ）に該当する場合（Ｓ１０３：Ｙｅｓ）、次の処理を行う。すなわち、制御部１１は、物品認識モデル１６ｍとは異なる所定の認識カテゴリ判定モデル１６ｎで画像認識を行った結果（Ｓ１０４）、この物品のカテゴリを候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）とした場合の信頼度が認識カテゴリとした場合の信頼度よりも高いとき（Ｓ１０５：Ｙｅｓ）、この物品のカテゴリを認識カテゴリから候補カテゴリに変更する。そして、制御部１１は、この候補カテゴリを物品のＸ線画像に対応付けて表示装置３に表示させる（Ｓ１１０）。
【0050】
例えば、制御部１１は、図示はしないが、Ｘ線画像上のｓｓｄ３４，３５のそれぞれを矩形枠で囲み、物品の本来のカテゴリを示す「ｓｓｄ」の文字を表示させるとともに、「ｕｓｂメモリ」の文字をかっこ書きで表示させるようにしてもよい。これによって、ユーザ（検査員等）は、検査対象の物品がＵＳＢメモリである可能性も考慮した上で検査を行うことができる。
【0051】
また、ステップＳ１０５において、変更前のカテゴリの信頼度が、変更後のカテゴリの信頼度よりも高いものが存在しない場合（Ｓ１０５：Ｎｏ）、制御部１１の処理は、図３ＢのステップＳ１０７に進む。また、ステップＳ１０３において物品のカテゴリの変更履歴がない場合にも（Ｓ１０３：Ｎｏ）、制御部１１の処理は、図３ＢのステップＳ１０７に進む。
【0052】
ステップＳ１０７において制御部１１は、優先カテゴリ判定部１６ｋ（図２参照）によって、ステップＳ１０２で判別した物品のカテゴリの第２候補が所定の優先カテゴリとして登録されているか否かを判定する。このステップＳ１０７の処理で用いられる優先カテゴリテーブル１６ｒについて、図７を用いて説明する。
【0053】
図７は、優先カテゴリテーブル１６ｒの例を示す説明図である。
図７に示す優先カテゴリテーブル１６ｒは、所定の優先カテゴリ等が格納されたデータテーブルである。ここで、優先カテゴリとは、物品のカテゴリを表示装置３（図１参照）に表示する際の優先度が高いカテゴリであり、予め設定されている。Ｘ線荷物検査向けの物品認識は、主に所定の禁止物品を見つけることを目的として行われているが、物品のカテゴリによって禁止レベルが異なっていたり、荷物検査の運用ルールが異なっていたりする。また、物品の種類が多くなるほど、物品間の誤認識を生じやすくなる。
図７に示す優先カテゴリテーブル１６ｒは、所定の優先カテゴリ等が格納されたデータテーブルである。ここで、優先カテゴリとは、物品のカテゴリを表示装置３（図１参照）に表示する際の優先度が高いカテゴリであり、予め設定されている。Ｘ線荷物検査向けの物品認識は、主に所定の禁止物品を見つけることを目的として行われているが、物品のカテゴリによって禁止レベルが異なっていたり、荷物検査の運用ルールが異なっていたりする。また、物品の種類が多くなるほど、物品間の誤認識を生じやすくなる。
【0054】
そこで、本実施形態では、物品の認識結果における第２候補のカテゴリが所定の優先カテゴリに該当し、その信頼度が所定値以上である場合には、その物品のカテゴリを優先カテゴリに変更した上で結果を出力するようにしている。これによって、Ｘ線手荷物検査における禁止物品の検査漏れ（見落とし）が生じることを抑制できる。なお、優先カテゴリには、所定の禁止物品が登録されることが多い。
【0055】
図７に示す優先カテゴリテーブル１６ｒに含まれる「認識カテゴリ」は、ステップＳ１０２（図３Ａ参照）の認識結果であり、所定の「優先カテゴリ」や「条件」に対応付けられている。例えば、ステップ１０２の判別結果が「スマートフォン」であり、第２候補が「ルータ」である場合において、その信頼度が所定値以上であるときには、その物品のカテゴリを「スマートフォン」から「ルータ」（優先カテゴリ）に変更するようにしている。これによって、例えば、所定の禁止物品の一つとしてルータが指定されている場合、Ｘ線荷物検査でルータの検査漏れが生じることを抑制できる。
【0056】
図３ＢのステップＳ１０７において、物品のカテゴリの第２候補が優先カテゴリとして登録されている場合（Ｓ１０７：Ｙｅｓ）、制御部１１の処理はステップＳ１０８に進む。ステップＳ１０８において制御部１１は、優先カテゴリ判定部１６ｋ（図２参照）によって、物品のカテゴリの第２候補の信頼度が所定値以上であるか否かを判定する。なお、所定値は、物品のカテゴリを優先カテゴリに変更するか否かの判定基準となる信頼度の閾値であり、予め設定されている。ステップＳ１０８において、物品のカテゴリの第２候補の信頼度が所定値以上である場合（Ｓ１０８：Ｙｅｓ）、制御部１１の処理はステップＳ１０９に進む。
【0057】
ステップＳ１０９において制御部１１は、物品のカテゴリを所定の優先カテゴリに変更する。これによって、優先カテゴリとして登録されている禁止物品の見落としを抑制できる。なお、物品のカテゴリを第２候補のもの（優先カテゴリ）に変更しているため、場合によっては、物品のカテゴリが本来のものとは異なっている可能性もある。しかしながら、Ｘ線荷物検査は主に禁止物品を見つけるために行われるため、優先カテゴリへの変更でＸ線荷物検査の業務に支障が生じるおそれは特にない。
【0058】
ステップＳ１０９の処理を行った後、ステップＳ１１０において制御部１１は、物品のカテゴリの判別結果を表示させる。物品のカテゴリを優先カテゴリに変更した場合には、Ｘ線画像上の物品に対応付けて、優先カテゴリを示す所定の文字が表示される。なお、優先カテゴリを示す文字の他、第１候補のカテゴリを示す所定の文字がかっこ書き等で併せて表示されるようにしてもよい。これによって、ユーザ（検査員等）は、物品のカテゴリが第１候補のものである可能性も考慮して検査を進めることができる。
【0059】
なお、図３ＢのＳ１０８の処理（信頼度に関する判定処理）については、適宜に省略してもよい。また、物品のカテゴリを所定の優先カテゴリに変更する際の条件として、物品の認識結果における第２候補以下（第２候補、第３候補、第４候補、・・）のカテゴリが所定の優先カテゴリに該当しているという条件が用いられてもよい。すなわち、制御部１１は、認識カテゴリ判定モデル１６ｎで物品の画像認識を行った結果（Ｓ１０４）、この物品のカテゴリを候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）とした場合の信頼度が認識カテゴリ（「変更後」のカテゴリ）とした場合の信頼度以下であり（Ｓ１０５：Ｎｏ）、さらに、物品認識モデル１６ｍで物品の画像認識を行った結果における第２候補以下の順位のカテゴリが所定の優先カテゴリに該当する場合（Ｓ１０７：Ｙｅｓ）、この物品のカテゴリを優先カテゴリに変更する（Ｓ１０９）。そして、制御部１１は、この優先カテゴリを物品のＸ線画像に対応付けて表示装置３に表示させる（Ｓ１１０）。
【0060】
また、優先カテゴリテーブル１６ｒ（図７参照）に含まれる優先カテゴリ、及び、優先カテゴリへの変更前の所定のカテゴリはいずれも、変更履歴テーブル１６ｑ（図５参照）に含まれる認識カテゴリ（「変更後」のカテゴリ）とは重複していないことが好ましい。これによって、ステップＳ１０６の処理でカテゴリが変更された物品が所定の優先カテゴリに該当しているか否かを確認する必要がなくなるため、処理の簡素化を図ることができる。
【0061】
また、ステップＳ１０７において物品のカテゴリの第２候補が優先カテゴリとして登録されていない場合や（Ｓ１０７：Ｎｏ）、ステップＳ１０８において第２候補の信頼度が所定値未満である場合にも（Ｓ１０８：Ｎｏ）、制御部１１の処理はステップＳ１１０に進む。この場合には、図３ＡのＳ１０２の処理結果である所定のカテゴリが、Ｘ線画像上の物品に対応付けて表示される。
【0062】
次に、ステップＳ１１１において制御部１１は、ユーザによる入力操作に基づいて、誤認識又は認識漏れの入力があったか否かを判定する。ステップＳ１１１において誤認識も認識漏れもなかった場合（Ｓ１１１：Ｎｏ）、制御部１１は、一連の処理を終了する（ＥＮＤ）。また、ステップＳ１１１において、誤認識又は認識漏れの入力があった場合（Ｓ１１１：Ｙｅｓ）、制御部１１の処理はステップＳ１１２に進む。
【0063】
ステップＳ１１２において制御部１１は、誤認識又は認識漏れがあった物品を追加学習データ１６ｖ（図２参照）として登録する。すなわち、ユーザによる入力操作に基づいて、物品のカテゴリの誤認識又は認識漏れを訂正するように、所定の候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）が物品に付与された場合、制御部１１は、この物品のＸ線画像を追加学習データとして登録する。これによって、誤認識等が生じやすい追加学習データ１６ｖを積極的に収集できる。誤認識や認識漏れついては、ユーザ（検査員等）によるディスプレイのタッチパネルやマウス等で対象の部分をクリック（例えば、誤認識の場合には２回クリック、認識漏れの場合には１回クリック）することで指定される。
【0064】
図８は、物品のカテゴリの判別結果を示す表示画面の一例である。
図８の例では、認識された物品の画面上の位置を示す破線の矩形枠Ｆ１，Ｆ２と、物品のカテゴリを示す所定の文字と、が表示される。また、物品のカテゴリが変更された場合（図３ＡのＳ１０６、図３ＢのＳ１０９）には、変更前のカテゴリと、変更後のカテゴリ名を併記するようにするとよい。すなわち、制御部１１が、物品の認識カテゴリを所定の候補カテゴリに変更した場合、この物品の候補カテゴリを示す所定の文字と、この物品の認識カテゴリを示す別の文字と、を物品のＸ線画像に対応付けて併記することが好ましい。なお、前記した候補カテゴリは、所定の優先カテゴリであってもよい。
図８の例では、認識された物品の画面上の位置を示す破線の矩形枠Ｆ１，Ｆ２と、物品のカテゴリを示す所定の文字と、が表示される。また、物品のカテゴリが変更された場合（図３ＡのＳ１０６、図３ＢのＳ１０９）には、変更前のカテゴリと、変更後のカテゴリ名を併記するようにするとよい。すなわち、制御部１１が、物品の認識カテゴリを所定の候補カテゴリに変更した場合、この物品の候補カテゴリを示す所定の文字と、この物品の認識カテゴリを示す別の文字と、を物品のＸ線画像に対応付けて併記することが好ましい。なお、前記した候補カテゴリは、所定の優先カテゴリであってもよい。
【0065】
図８の例では、物品の本来のカテゴリ（つまり、候補カテゴリ）を示す「！タブレット」という文字が物品のＸ線画像に対応付けて表示されるとともに、「！タブレット」に変更する前の「スマートフォン」（つまり、認識カテゴリ）という文字がかっこ書きで表示されている。これによって、ユーザ（検査員等）は、物品がスマートフォンである可能性も考慮して検査を進めることができる。なお、「タブレット」という文字の前の感嘆符「！」は、所定の禁止物品であることを示している。
【0066】
図９は、物品の正しいカテゴリの選択ボタンＢ１を含む表示画面の一例である。
例えば、図９に示すように、スプレー缶の付近にカテゴリが不明の物品を認識した場合、制御部１１は、候補となる複数のカテゴリの中からユーザが正しいカテゴリを選ぶための選択ボタンＢ１を表示させる。図９の例では、候補となる複数のカテゴリとして、「カッター」、「ナイフ」、「ハサミ」、「バッテリ」、「スプレー」、及び「毛染め」といった禁止物品の種類が表示されている。そして、ユーザ（検査員等）は、荷物を開けてスプレー缶の付近の物品を目視で確認するなどして、所定の選択ボタンＢ１をクリックする。これによって、Ｘ線画像上の物品の位置（座標）と、物品の正しいカテゴリと、が追加学習データ１６ｖ（図２参照）として登録される。
例えば、図９に示すように、スプレー缶の付近にカテゴリが不明の物品を認識した場合、制御部１１は、候補となる複数のカテゴリの中からユーザが正しいカテゴリを選ぶための選択ボタンＢ１を表示させる。図９の例では、候補となる複数のカテゴリとして、「カッター」、「ナイフ」、「ハサミ」、「バッテリ」、「スプレー」、及び「毛染め」といった禁止物品の種類が表示されている。そして、ユーザ（検査員等）は、荷物を開けてスプレー缶の付近の物品を目視で確認するなどして、所定の選択ボタンＢ１をクリックする。これによって、Ｘ線画像上の物品の位置（座標）と、物品の正しいカテゴリと、が追加学習データ１６ｖ（図２参照）として登録される。
【0067】
なお、制御部１１は、物品のカテゴリを認識カテゴリ（変更履歴テーブル１６ｑにおける「変更後」のカテゴリ）から候補カテゴリ（「変更前」のカテゴリ）に変更した場合において（図３ＡのＳ１０６）、この物品のＸ線画像を物品認識モデル１６ｍの次回の追加学習で用いるときには、この物品のＸ線画像に認識カテゴリを対応付けるようにするとよい。これによって、Ｘ線画像上の見た目が似ているものをひとまとまりで学習できるため、物品認識モデル１６ｍの精度を高めることができる。
【0068】
また、制御部１１は、物品のカテゴリを認識カテゴリ（優先カテゴリテーブル１６ｒにおける「認識カテゴリ」）から優先カテゴリに変更した場合において（図３ＢのＳ１０９）、この物品のＸ線画像を物品認識モデル１６ｍの次回の追加学習で用いるときには、この物品のＸ線画像に認識カテゴリを対応付けるようにしてもよい。これによって、Ｘ線画像上の見た目が似ているものをひとまとまりで学習できるため、物品認識モデル１６ｍで物品を認識する際の精度が高められる。
【0069】
また、制御部１１は、物品のＸ線画像に基づいて、この物品のカテゴリを判別した場合において（Ｓ１０２）、この物品のカテゴリの誤認識又は認識漏れがユーザによる入力操作で訂正されなかったときには（Ｓ１１１：Ｎｏ）、この物品のＸ線画像と物品のカテゴリとを対応付けて、追加学習データとして登録するようにしてもよい。これによって、物品に正しいカテゴリが対応付けられたデータを追加学習に用いることができる。図３ＢのステップＳ１１２の処理を行った後、制御部１１は、一連の処理を終了する（ＥＮＤ）。なお、図３Ａ、図３Ｂに示す一連の処理は、Ｘ線画像が取得されるたびに行われる。
【0070】
＜追加学習に関する処理＞
図１０Ａは、Ｘ線画像処理システムが適用されるＸ線画像処理装置の追加学習に関する処理のフローチャートである。
図１０ＡのステップＳ２０１において制御部１１は、学習カテゴリ選定部１６ｄ（図２参照）によって、補助記憶部１６（図２参照）から追加学習データ１６ｖ（図２参照）を読み出す。前記したように、物品の誤認識や認識漏れに関するデータがユーザ（検査員等）の入力操作によって登録され（図３ＢのＳ１１１：Ｙｅｓ、Ｓ１１２）、追加学習データ１６ｖ（図２参照）として蓄積される。このように蓄積された追加学習データ１６ｖに基づいて、物品認識モデル１６ｍ等（図２参照）の追加学習が行われる。
図１０Ａは、Ｘ線画像処理システムが適用されるＸ線画像処理装置の追加学習に関する処理のフローチャートである。
図１０ＡのステップＳ２０１において制御部１１は、学習カテゴリ選定部１６ｄ（図２参照）によって、補助記憶部１６（図２参照）から追加学習データ１６ｖ（図２参照）を読み出す。前記したように、物品の誤認識や認識漏れに関するデータがユーザ（検査員等）の入力操作によって登録され（図３ＢのＳ１１１：Ｙｅｓ、Ｓ１１２）、追加学習データ１６ｖ（図２参照）として蓄積される。このように蓄積された追加学習データ１６ｖに基づいて、物品認識モデル１６ｍ等（図２参照）の追加学習が行われる。
【0071】
なお、追加学習データ１６ｖについては、ユーザの入力操作に基づいて、物品のカテゴリの正解付けが行われているものとする。このような正解付けのカテゴリを「ラベル」ともいう。追加学習データ１６ｖの正解付けでは、ユーザが入力操作でクリックした位置の座標に基づいて、物品の輪郭を推定する「Interactive Segmentation」という方法が適宜に用いられる。また、Ｘ線画像向けに事前学習を行った所定の輪郭推定用モデル（図示せず）と、ユーザの入力操作で指定された物品の位置（座標）と、に基づいて、制御部１１が物品の領域を推定するようにしてもよい。そして、制御部１１の推定結果が誤っているものについては、ユーザの入力操作で正解付けが行われるようにしてもよい。
【0072】
次に、ステップＳ２０２において制御部１１は、物品認識部１６ｂ（図２参照）によって、追加学習データ１６ｖにおける物品のカテゴリを判別する。なお、ステップＳ２０２の処理では、物品のカテゴリの判別に用いられる信頼度の閾値が、図３ＡのステップＳ１０２で用いられる信頼度の閾値よりも低い値に設定される。これによって、物品認識（Ｓ１０２）の際には挙げられなかった所定のカテゴリが導出されやすくなる。
【0073】
また、ステップＳ２０２の処理を行う際、制御部１１が、重なり・正面判定部１６ｆ（図２参照）によって、正解付けされた物品の領域に他の物品が写り込んでいないか、また、物品が正面から写っているか否かを判定し、物品認識の信頼性の判断材料に用いるようにしてもよい。重なり・正面判定部１６ｆの処理には、次に説明する重なり・正面判定用テーブル１６ｓが適宜に用いられる。
【0074】
図１１は、重なり・正面判定用テーブル１６ｓの例を示す説明図である。
図１１に示す重なり・正面判定用テーブル１６ｓには、カテゴリ欄と、面積欄と、長辺最大値欄と、透過量平均値欄と、透過量下限値欄と、金属類比率欄と、有機物比率欄と、が含まれている。カテゴリ欄には、物品の本来の種類を示すカテゴリ（正解）のデータが格納されている。また、カテゴリ欄の物品がＸ線画像上で他の物品に重なっていないと判定される際の基準となる物品の面積（画素数）が面積欄に格納されている他、物品の長辺最大値（画素数）が長辺最大値欄に格納されている。
図１１に示す重なり・正面判定用テーブル１６ｓには、カテゴリ欄と、面積欄と、長辺最大値欄と、透過量平均値欄と、透過量下限値欄と、金属類比率欄と、有機物比率欄と、が含まれている。カテゴリ欄には、物品の本来の種類を示すカテゴリ（正解）のデータが格納されている。また、カテゴリ欄の物品がＸ線画像上で他の物品に重なっていないと判定される際の基準となる物品の面積（画素数）が面積欄に格納されている他、物品の長辺最大値（画素数）が長辺最大値欄に格納されている。
【0075】
また、カテゴリ欄の物品がＸ線画像上で他の物品に重なっていないと判定される際の基準となるＸ線の透過量平均値が透過量平均値欄に格納されている他、Ｘ線の透過量下限値が透過量下限値欄に格納されている。さらに、カテゴリ欄の物品がＸ線画像上で他の物品に重なっていないと判定される際の基準となるＸ線画像上での金属類比率が金属類比率欄に格納されている他、Ｘ線画像上での有機物比率が有機物比率欄に格納されている。
【0076】
次に、図１０ＡのステップＳ２０３において制御部１１は、ステップＳ２０２での物品認識における信頼度が所定値以上であるか否かを判定する。前記した所定値は、ユーザ（検査員等）への再確認を行うか否かの判定基準となる閾値であり、予め設定されている。ステップＳ２０３において信頼度が所定値以上である場合（Ｓ２０３：Ｙｅｓ）、制御部１１の処理はステップＳ２０４に進む。
【0077】
ステップＳ２０４において制御部１１は、学習カテゴリ選定部１６ｄによって、物品の画像認識に基づくカテゴリがラベルに一致しているか否かを判定する。前記したように、「ラベル」とは、物品に対してユーザが正解付けしたカテゴリ（本来のカテゴリ）である。物品のカテゴリがラベルに一致している場合（Ｓ２０４：Ｙｅｓ）、制御部１１の処理はステップＳ２０５に進む。
【0078】
ステップＳ２０５において制御部１１は、学習データ１６ｔ（図２参照）を更新する。つまり、制御部１１は、追加学習データ１６ｖである物品のＸ線画像に、その物品のカテゴリ（Ｓ２０２の判別結果）を対応付けたものを学習データ１６ｔとして追加登録する。
また、ステップＳ２０４において、物品の画像認識に基づくカテゴリがラベルに一致していない場合（Ｓ２０４：Ｎｏ）、制御部１１の処理はステップＳ２０６に進む。
また、ステップＳ２０４において、物品の画像認識に基づくカテゴリがラベルに一致していない場合（Ｓ２０４：Ｎｏ）、制御部１１の処理はステップＳ２０６に進む。
【0079】
ステップＳ２０６において制御部１１は、物品のカテゴリを変更する。つまり、物品の画像認識に基づくカテゴリを、ラベル（ユーザの入力操作に基づく正解付け）で特定されたカテゴリから、ステップＳ２０２の認識結果に基づくカテゴリに変更する。物品認識モデル１６ｍの学習では、Ｘ線画像上での見た目が似通っているカテゴリをひとまとまりにした方が物品認識の高精度化につながるからである。
【0080】
なお、図１０Ａでは記載を省略しているが、物品のカテゴリを変更した場合、変更履歴管理部１６ｅ（図２参照）は、変更前・変更後のカテゴリを変更履歴テーブル１６ｑ（図５参照）に登録する。また、変更頻度（所定期間での変更回数）が所定値未満である場合には、制御部１１が変更のレアケースと判定して、後記するステップＳ２０９と同様、ユーザへの確認を行うようにしてもよい。
【0081】
このように、制御部１１は、物品の画像認識に用いる物品認識モデル１６ｍ（図２参照）の追加学習を行う際、Ｘ線画像上の物品のカテゴリを、所定の候補カテゴリ（変更履歴テーブル１６ｑにおける「変更前」のカテゴリ）から所定の認識カテゴリ（「変更後」のカテゴリ）に変更した履歴を示す変更履歴テーブル１６ｑ（図５参照）を生成する。このような変更履歴テーブル１６ｑを用いることで、物品のカテゴリの誤認識を抑制できる。
【0082】
次に、図１０ＡのステップＳ２０７において制御部１１は、学習データ１６ｔ（図２参照）を更新する。すなわち、制御部１１は、変更後の物品のカテゴリを物品認識モデル１６ｍ（図２参照）の学習データ１６ｔに追加登録する。図６Ｂの例（物品認識モデル１６ｍの学習に関する説明図）では、Ｘ線画像上の見た目がＵＳＢメモリに似ているＳＳＤ３４，３５のカテゴリの正解を「ＵＳＢメモリ」として、物品認識モデル１６ｍの追加学習が行われる。これによって、Ｘ線画像上の見た目で物品のカテゴリを判別する際の精度が高められる。
【0083】
次に、ステップＳ２０８において制御部１１は、カテゴリ判定用学習データ１６ｕ（図２参照）を更新する。図６Ｃの例では、Ｘ線画像上の見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリの「ＳＳＤ」とした上で、カテゴリ判定用学習データ１６ｕが更新される。前記したように、カテゴリ判定用学習データ１６ｕは、認識カテゴリ判定モデル１６ｎの学習に用いられる（図１０ＢのＳ２１４）。
【0084】
また、ステップＳ２０３において信頼度が所定値未満である場合（Ｓ２０３：Ｎｏ）、制御部１１の処理は、図１０ＢのステップＳ２０９に進む。ステップＳ２０９において制御部１１は、ユーザ（検査員等）への再確認を行う（１回目の確認は、図３ＢのＳ１１１）。すなわち、制御部１１は、画面表示部１６ｇ（図２参照）によって、ユーザへの確認画面を表示させる。物品のカテゴリが正しくない場合には、ユーザの入力操作基づいて、所定のラベル（カテゴリ）が適宜に入力される。
【0085】
ステップＳ２１０において制御部１１は、学習データ１６ｔ（図２参照）を更新する。例えば、ユーザへの再確認で所定のラベル（カテゴリ）が入力された場合には、このラベルを物品のカテゴリとして、学習データ１６ｔが更新される。
【0086】
なお、前記した重なり・正面判定部１６ｆ（図２参照）による判定（図１０ＡのＳ２０２に付随する処理）で、物品の撮影条件が悪いと判定された場合も、ステップＳ２０９と同様に、検査員への確認画面を表示させるようにしてもよい。例えば、物品が大きく傾いた状態で撮影されていたり、密度の大きい他の物品と重なっていたりした場合には、誤認識が生じる可能性があるからである。
また、図１０ＡのステップＳ２０２の判別結果が所定の優先カテゴリに該当する場合には、運用上のリスクを考慮して、ステップＳ２０９と同様にユーザへの再確認を行うようにしてもよい。
また、図１０ＡのステップＳ２０２の判別結果が所定の優先カテゴリに該当する場合には、運用上のリスクを考慮して、ステップＳ２０９と同様にユーザへの再確認を行うようにしてもよい。
【0087】
図１０ＡのステップＳ２０５、Ｓ２０８、又は図１０ＢのステップＳ２１０の処理を行った後、制御部１１の処理はステップＳ２１１に進む。ステップＳ２１１において制御部１１は、追加学習データ１６ｖの読み出しが終了したか否かを判定する。すなわち、制御部１１は、補助記憶部１６（図２参照）に蓄積されている新たな追加学習データ１６ｖの全てを読み出したか否かを判定する。ステップＳ２１１において追加学習データ１６ｖの読み出しが終了していない場合（Ｓ２１１：Ｎｏ）、制御部１１の処理は、図１０ＡのステップＳ２０１に戻る。また、ステップＳ２１１において追加学習データ１６ｖの読み出しが終了した場合（Ｓ２１１：Ｙｅｓ）、制御部１１の処理はステップＳ２１２に進む。
【0088】
ステップＳ２１２において制御部１１は、物品学習部１６ｃ（図２参照）によって、物品認識モデル１６ｍを学習する。すなわち、物品学習部１６ｃは、図１０ＡのステップＳ２０５やＳ２０７の他、図１０ＢのステップＳ２１０の更新後の学習データ１６ｔに基づいて、物品認識モデル１６ｍを学習する。より詳しく説明すると、制御部１１は、追加学習における物品の画像認識の信頼度が所定値以上である場合において（図１０ＡのＳ２０３：Ｙｅｓ）、この物品の認識カテゴリが所定の候補カテゴリ（ユーザの入力操作に基づくラベル）とは異なっているとき（Ｓ２０４：Ｎｏ）、次の処理を行う。すなわち、制御部１１は、この物品のカテゴリを候補カテゴリから認識カテゴリに変更した上で、物品の画像認識に用いる物品認識モデル１６ｍを生成する（図１０ＢのＳ２１２）。物品認識モデル１６ｍの学習には、例えば「Instance Segmentation」や「Object Detection」の学習方式が用いられる。
【0089】
次に、ステップＳ２１３において制御部１１は、学習カテゴリ選定部１６ｄ（図２参照）によって、カテゴリ判定用学習データ１６ｕ（図２参照）を再選定する。前記したように、カテゴリ判定用学習データ１６ｕとは、認識カテゴリ判定モデル１６ｎ（図２参照）の学習に用いられるデータである。図６Ｃの例では、Ｘ線画像上の見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５のカテゴリを「ＳＳＤ」とし、本来のＵＳＢメモリ４１～４５のカテゴリを「ＵＳＢメモリ」とした上で、認識カテゴリ判定モデル１６ｎが学習される。これによって、Ｘ線画像上の見た目がＵＳＢメモリに似通っているＳＳＤ３４，３５と、ＵＳＢメモリ４１～４５とを判別する際の精度が高められる。
【0090】
なお、カテゴリの変更が行われていない物品については、認識カテゴリ判定モデル１６ｎの学習対象にする必要は特にない。例えば、図６Ａに示す典型的な形状のＳＳＤ３１～３３といったものについては、認識カテゴリ判定モデル１６ｎの学習には特に用いられない。認識カテゴリ判定モデル１６ｎは、見た目が他の物品に似通っているような物品の判別に特化したモデルだからである。
【0091】
次に、ステップＳ２１４において制御部１１は、物品学習部１６ｃ（図２参照）によって、認識カテゴリ判定モデル１６ｎ（図２参照）を学習する。すなわち、物品学習部１６ｃは、ステップＳ２１３で再選定したカテゴリ判定用学習データ１６ｕに基づいて、認識カテゴリ判定モデル１６ｎを生成する。なお、制御部１１は、追加学習において認識カテゴリ判定モデル１６ｕを生成する際、認識カテゴリと候補カテゴリ（ユーザの運用上のカテゴリ）とが異なる物品については、その物品のＸ線画像に候補カテゴリを対応つける（図６Ｃ参照）。認識カテゴリ判定モデル１６ｎは、物品のカテゴリを判別する際のステップＳ１０４（図３Ａ参照）の処理に用いられる。ステップＳ２１４の処理を行った後、制御部１１は、一連の処理を終了する（ＥＮＤ）。
【0092】
＜効果＞
本実施形態によれば、制御部１１は、ユーザ（検査員等）の入力操作で付与された物品のカテゴリを、Ｘ線画像上で見た目が似通っている他の物品のカテゴリに変更した上で追加学習を行う。これによって、Ｘ線画像上の見た目に基づいて物品のカテゴリを判別する際の精度が高められる。具体的には、所定のカテゴリの物品（例えば、図６ＢのＳＳＤ３４，３５）が珍しい形状をしていたり、また、例外的な形状をしている場合、典型的な形状のもの（例えば、図６ＢのＳＳＤ３１～３３）とは区別した上で追加学習を行うことで、物品認識を行う際の精度が高められる。
本実施形態によれば、制御部１１は、ユーザ（検査員等）の入力操作で付与された物品のカテゴリを、Ｘ線画像上で見た目が似通っている他の物品のカテゴリに変更した上で追加学習を行う。これによって、Ｘ線画像上の見た目に基づいて物品のカテゴリを判別する際の精度が高められる。具体的には、所定のカテゴリの物品（例えば、図６ＢのＳＳＤ３４，３５）が珍しい形状をしていたり、また、例外的な形状をしている場合、典型的な形状のもの（例えば、図６ＢのＳＳＤ３１～３３）とは区別した上で追加学習を行うことで、物品認識を行う際の精度が高められる。
【0093】
また、Ｘ線画像処理装置１の制御部１１は、ユーザ（検査員等）が付与したカテゴリでなく、Ｘ線画像の見た目に基づくカテゴリに変更した上で学習を行い、物品の認識結果を表示する際には、変更前のカテゴリに戻した上で表示する。これによって、制御部１１は物品認識を高精度に行いつつ、ユーザの運用に沿ったカテゴリを表示させることができる。また、制御部１１は、Ｘ線画像上の見た目が他のカテゴリの物品に似通っているものを対象に認識カテゴリ判定モデル１６ｎを学習する。これによって、ユーザの運用に沿ったカテゴリを物品のＸ線画像に対応付けて表示できる。
【0094】
また、物品の認識結果の第２候補が所定の優先カテゴリに該当するる場合、物品のカテゴリが優先カテゴリに変更される。これによって、所定の禁止物品等の検査漏れが生じるリスクを低減できる。このように、本実施形態によれば、Ｘ線画像に基づいて物品を適切に判別するＸ線画像処理システム１００等を提供できる。
【0095】
≪変形例≫
以上、本発明に係るＸ線画像処理システム１００等について各実施形態で説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、実施形態では、Ｘ線画像処理装置１の制御部１１が物品のカテゴリを判別する際、図３ＡのステップＳ１０３～Ｓ１０６の処理を行う場合について説明したが、これらの処理（Ｓ１０３～Ｓ１０６）を適宜に省略してもよい。すなわち、図３ＡのステップＳ１０２において制御部１１が物品のカテゴリを判別した後、図３ＢのステップＳ１０７の処理で物品のカテゴリの第２候補が優先カテゴリとして登録されているか否かを判定するようにしてもよい。つまり、制御部１１が、物品を画像認識を行った結果における第２候補以下の順位のカテゴリが所定の優先カテゴリ（候補カテゴリ）に該当する場合、この物品のカテゴリを優先カテゴリに変更し、この優先カテゴリを物品のＸ線画像に対応付けて表示装置３に表示させるようにしてもよい。このような処理でも、物品のカテゴリが所定の優先カテゴリに変更されることで、ユーザの運用に沿った処理を行うことができる。
以上、本発明に係るＸ線画像処理システム１００等について各実施形態で説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、実施形態では、Ｘ線画像処理装置１の制御部１１が物品のカテゴリを判別する際、図３ＡのステップＳ１０３～Ｓ１０６の処理を行う場合について説明したが、これらの処理（Ｓ１０３～Ｓ１０６）を適宜に省略してもよい。すなわち、図３ＡのステップＳ１０２において制御部１１が物品のカテゴリを判別した後、図３ＢのステップＳ１０７の処理で物品のカテゴリの第２候補が優先カテゴリとして登録されているか否かを判定するようにしてもよい。つまり、制御部１１が、物品を画像認識を行った結果における第２候補以下の順位のカテゴリが所定の優先カテゴリ（候補カテゴリ）に該当する場合、この物品のカテゴリを優先カテゴリに変更し、この優先カテゴリを物品のＸ線画像に対応付けて表示装置３に表示させるようにしてもよい。このような処理でも、物品のカテゴリが所定の優先カテゴリに変更されることで、ユーザの運用に沿った処理を行うことができる。
【0096】
また、実施形態では、Ｘ線画像処理装置１の制御部１１が物品のカテゴリを判別する際、図３ＢのステップＳ１０７～Ｓ１０９の処理（優先カテゴリへの変更等）を行う場合について説明したが、これらの処理（Ｓ１０７～Ｓ１０９）を省略してもよい。このような場合でも、Ｘ線画像処理装置１がＸ線画像上の見た目に基づいて、物品のカテゴリを高精度で判別できる。
【0097】
また、実施形態では、各機能部のプログラムや各テーブルといったデータが補助記憶部１６（図２参照）に格納される場合について説明したが、前記したデータの少なくとも一部がメモリ１２（図２参照）に格納されるようにしてもよい。
また、制御部１１（図２参照）が実行するプログラムの一部又は全てのデータが、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリ等）からネットワークを介して、又は外部計算機からネットワークを介して、Ｘ線画像処理装置１に提供され、そのデータが補助記憶部１６に格納されるようにしてもよい。この場合において、Ｘ線画像処理装置１がリムーバブルメディア等からデータを読み込むインターフェースを備えるようにしてもよい。
また、制御部１１（図２参照）が実行するプログラムの一部又は全てのデータが、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリ等）からネットワークを介して、又は外部計算機からネットワークを介して、Ｘ線画像処理装置１に提供され、そのデータが補助記憶部１６に格納されるようにしてもよい。この場合において、Ｘ線画像処理装置１がリムーバブルメディア等からデータを読み込むインターフェースを備えるようにしてもよい。
【0098】
また、図２の各機能部で実現される機能の少なくとも一部が、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されるようにしてもよい。
また、実施形態において、Ｘ線画像処理装置１で用いられる情報は、データ構造には特に依存しておらず、例えば、テーブル、リスト、データベース、及びキューから適宜に選択されたデータ構造が用いられてもよい。
また、実施形態において、Ｘ線画像処理装置１で用いられる情報は、データ構造には特に依存しておらず、例えば、テーブル、リスト、データベース、及びキューから適宜に選択されたデータ構造が用いられてもよい。
【0099】
また、実施形態で説明したＸ線画像処理装置１の機能を複数のコンピュータ（例えば、サーバ）に分散させるようにしてもよい。この場合において、複数のコンピュータで構築された仮想的なコンピュータ上で所定の処理が実行されるようにしてもよい。
また、実施形態では、Ｘ線を用いた撮影が行われる場合について説明したが、物品を透過して撮影できる電磁波であれば、例えば、テラヘルツ波といった他の電磁波が用いられるようにしてもよい。
また、実施形態では、Ｘ線を用いた撮影が行われる場合について説明したが、物品を透過して撮影できる電磁波であれば、例えば、テラヘルツ波といった他の電磁波が用いられるようにしてもよい。
【0100】
また、実施形態で説明したＸ線画像処理装置１の構成や機能（Ｘ線画像処理方法）を実現するプログラムの全部又は一部を集積回路で設計する等によりハードウェアで実現してもよい。前記したハードウェアには、サーバ（図示せず）等の一つ又は複数のコンピュータが含まれる。また、実施形態で説明した構成や機能は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報が、メモリやハードディスクの他、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、ＳＤカード、ＣＤ－ＲＯＭ、ＤＶＤ等の記録媒体に格納されるようにしてもよい。前記したプログラムは、通信回線を介して提供することも可能である。
【0101】
また、各実施形態は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
【符号の説明】
【0102】
１ Ｘ線画像処理装置
２ 装置本体
３ 表示装置
４ 入力装置
１１ 制御部
１２ メモリ
１３ 表示インターフェース
１４ 入力インタフェース
１５ 通信部
１６ 補助記憶部
１６ａ Ｘ線画像取得部
１６ｂ 物品認識部
１６ｃ 物品学習部
１６ｄ 学習カテゴリ選定部
１６ｅ 変更履歴管理部
１６ｆ 重なり・正面判定部
１６ｇ 画面表示部
１６ｈ 認識カテゴリ判定部
１６ｋ 優先カテゴリ判定部
１６ｍ 物品認識モデル
１６ｎ 認識カテゴリ判定モデル
１６ｐ 信頼度テーブル
１６ｑ 変更履歴テーブル
１６ｒ 優先カテゴリテーブル
１６ｓ 重なり・正面判定用テーブル
１６ｔ 学習データ
１６ｕ カテゴリ判定用学習データ
１６ｖ 追加学習データ
１００ Ｘ線検査処理システム
１００ａ Ｘ線検査装置
２ 装置本体
３ 表示装置
４ 入力装置
１１ 制御部
１２ メモリ
１３ 表示インターフェース
１４ 入力インタフェース
１５ 通信部
１６ 補助記憶部
１６ａ Ｘ線画像取得部
１６ｂ 物品認識部
１６ｃ 物品学習部
１６ｄ 学習カテゴリ選定部
１６ｅ 変更履歴管理部
１６ｆ 重なり・正面判定部
１６ｇ 画面表示部
１６ｈ 認識カテゴリ判定部
１６ｋ 優先カテゴリ判定部
１６ｍ 物品認識モデル
１６ｎ 認識カテゴリ判定モデル
１６ｐ 信頼度テーブル
１６ｑ 変更履歴テーブル
１６ｒ 優先カテゴリテーブル
１６ｓ 重なり・正面判定用テーブル
１６ｔ 学習データ
１６ｕ カテゴリ判定用学習データ
１６ｖ 追加学習データ
１００ Ｘ線検査処理システム
１００ａ Ｘ線検査装置
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】