特開 2023-98514 画像処理装置、プログラム、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023098514

(43)【公開日】2023-07-10

(54)【発明の名称】画像処理装置、プログラム、及び画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230703BHJP

   G06T 7/20 20170101ALI20230703BHJP

【ＦＩ】

G06T7/00 350B

G06T7/20 300Z

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2021215320

(22)【出願日】2021-12-28

(71)【出願人】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】石若 裕子

(72)【発明者】

【氏名】須田 和人

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096CA02

5L096CA27

5L096DA03

5L096FA02

5L096GA51

5L096JA11

5L096JA16

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】Ｘ線検査装置の代わりに簡易に設置でき、イベント会場等での手荷物検査を非接触で自動で行う画像処理装置を提供する。
【解決手段】情報処理装置を有する検査設備と、サーバとがネットワーク介して通信するシステムにおいて、画像処理装置として動作するサーバ１００は、開口している鞄を撮像した鞄画像を取得する撮像画像取得部１０６と、鞄画像に基づいて、鞄の中の複数のオブジェクトを認識し、複数のオブジェクトを含む鞄の重量を推定する重量推定部１１０と、鞄の重量を実測した実測値を取得する実測値取得部１０８と、重量推定部が推定した推定重量と実測値との差分に基づいて、鞄に危険物が隠されているか否かを判定する判定部１１２と、を備える。重量推定部は、機械学習を用いて生成された、画像から当該画像に含まれるオブジェクトを推定する学習モデルに、鞄画像を入力することによって、複数のオブジェクトを含む鞄の重量を推定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

開口している鞄を撮像した鞄画像を取得する撮像画像取得部と、
前記鞄画像に基づいて、前記鞄の中の複数のオブジェクトを認識し、前記複数のオブジェクトを含む前記鞄の重量を推定する重量推定部と、
前記鞄の重量を実測した実測値を取得する実測値取得部と、
前記重量推定部によって推定された推定重量と前記実測値との差分に基づいて、前記鞄に危険物が隠されているか否かを判定する判定部と
を備える画像処理装置。

【請求項2】

前記撮像画像取得部は、重量計に配置された前記鞄を撮像した鞄画像を取得し、
前記実測値取得部は、前記重量計によって実測された前記実測値を取得する、請求項１に記載の画像処理装置。

【請求項3】

前記撮像画像取得部は、前記鞄を前記重量計に配置する前記鞄の所持者を撮像した所持者画像を取得し、
前記判定部は、前記推定重量と前記実測値との差分、及び前記所持者画像に基づいて、前記鞄に危険物が隠されているか否かを判定する、請求項２に記載の画像処理装置。

【請求項4】

前記判定部は、前記所持者画像に基づいて推定した前記所持者の不審度と、前記推定重量と前記実測値との差分とに基づいて、前記鞄に危険物が隠されているか否かを判定する、請求項３に記載の画像処理装置。

【請求項5】

前記判定部は、前記推定重量と前記実測値との差分が、前記所持者の不審度に対応する差分閾値より小さい場合、前記鞄に危険物が隠されていないと判定し、前記差分が前記差分閾値より大きい場合、前記鞄に危険物が隠されていると判定する、請求項４に記載の画像処理装置。

【請求項6】

前記判定部は、人物の画像から当該人物の不審度を推定する学習モデルに前記所持者画像を入力することによって、前記所持者の不審度を推定する、請求項４又は５に記載の画像処理装置。

【請求項7】

前記判定部は、人物を被写体として含む画像と、当該人物の不審度情報とを教師データとして機械学習することによって生成された前記学習モデルに前記所持者画像を入力する、請求項６に記載の画像処理装置。

【請求項8】

前記判定部によって前記鞄に危険物が隠されていると判定された場合に、警告を出力するよう制御する警告制御部
を更に備える、請求項１から７のいずれか一項に記載の画像処理装置。

【請求項9】

前記警告制御部は、前記推定重量と前記実測値との差分が大きいほど警告度の高い前記警告を出力するよう制御する、請求項８に記載の画像処理装置。

【請求項10】

前記重量推定部は、画像から当該画像に含まれるオブジェクトを推定する学習モデルに前記鞄画像を入力することによって、前記複数のオブジェクトを含む前記鞄の重量を推定する、請求項１から９のいずれか一項に記載の画像処理装置。

【請求項11】

前記重量推定部は、前記鞄画像を前記学習モデルに入力することによって、前記鞄の中の前記複数のオブジェクトを認識し、複数種類のオブジェクトのそれぞれの重量が登録された重量データを参照することによって、前記複数のオブジェクトを含む前記鞄の重量を推定する、請求項１０に記載の画像処理装置。

【請求項12】

前記重量推定部は、オブジェクトを被写体として含む画像と前記オブジェクトを識別可能なオブジェクト識別情報とを教師データとして機械学習することによって生成された前記学習モデルに前記鞄画像を入力する、請求項１０又は１１に記載の画像処理装置。

【請求項13】

前記判定部は、前記推定重量と前記実測値との差分が、予め定められた差分閾値より小さい場合、前記鞄に危険物が隠されていないと判定し、前記差分が前記差分閾値より大きい場合、前記鞄に危険物が隠されていると判定する、請求項１から１２のいずれか一項に記載の画像処理装置。

【請求項14】

前記判定部は、前記推定重量と前記実測値との差分が、前記鞄のサイズに基づく前記差分閾値より小さい場合、前記鞄に危険物が隠されていないと判定し、前記差分が前記差分閾値より大きい場合、前記鞄に危険物が隠されていると判定する、請求項１３に記載の画像処理装置。

【請求項15】

前記判定部は、前記推定重量と前記実測値との差分が、前記鞄のサイズが大きいほど高い値を示す前記差分閾値より小さい場合、前記鞄に危険物が隠されていないと判定し、前記差分が前記差分閾値より大きい場合、前記鞄に危険物が隠されていると判定する、請求項１４に記載の画像処理装置。

【請求項16】

前記判定部は、前記推定重量と前記実測値との差分が、前記鞄の形状に応じた前記差分閾値より小さい場合、前記鞄に危険物が隠されていないと判定し、前記差分が前記差分閾値より大きい場合、前記鞄に危険物が隠されていると判定する、請求項１３から１５のいずれか一項に記載の画像処理装置。

【請求項17】

前記推定重量と前記実測値との差分が、前記差分閾値よりも高い指示閾値より大きい場合に、前記鞄の所持者に対して指示情報を出力するよう制御する指示制御部
を更に備える、請求項１３から１６のいずれか一項に記載の画像処理装置。

【請求項18】

請求項１から１７のいずれか一項に記載の画像処理装置と、
前記鞄を撮像する撮像装置と
を備えるシステム。

【請求項19】

コンピュータを、請求項１から１７のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【請求項20】

コンピュータによって実行される画像処理方法であって、
開口している鞄を撮像した鞄画像を取得する撮像画像取得段階と、
前記鞄画像に基づいて、前記鞄の中の複数のオブジェクトを認識し、前記複数のオブジェクトを含む前記鞄の重量を推定する重量推定段階と、
前記鞄の重量を実測した実測値を取得する実測値取得段階と、
前記重量推定段階において推定された推定重量と前記実測値との差分に基づいて、前記鞄に危険物が隠されているか否かを判定する判定段階と
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、プログラム、及び画像処理方法に関する。

【背景技術】

【0002】

特許文献１には、Ｘ線手荷物検査装置が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２１－０９９２４６号公報

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様によれば、画像処理装置が提供される。画像処理装置は、開口している鞄を撮像した鞄画像を取得する撮像画像取得部を備えてよい。画像処理装置は、鞄画像に基づいて、鞄の中の複数のオブジェクトを認識し、複数のオブジェクトを含む鞄の重量を推定する重量推定部を備えてよい。画像処理装置は、前記鞄の重量を実測した実測値を取得する実測値取得部を備えてよい。画像処理装置は、重量推定部によって推定された推定重量と実測値との差分に基づいて、鞄に危険物が隠されているか否かを判定する判定部を備えてよい。

【0004】

上記撮像画像取得部は、重量計に配置された上記鞄を撮像した鞄画像を取得してよく、上記実測値取得部は、上記重量計によって実測された上記実測値を取得してよい。上記撮像画像取得部は、上記鞄を上記重量計に配置する上記鞄の所持者を撮像した所持者画像を取得してよく、上記判定部は、上記推定重量と上記実測値との差分、及び上記所持者画像に基づいて、上記鞄に危険物が隠されているか否かを判定してよい。上記判定部は、上記所持者画像に基づいて推定した上記所持者の不審度と、上記推定重量と上記実測値との差分とに基づいて、上記鞄に危険物が隠されているか否かを判定してよい。上記判定部は、上記推定重量と上記実測値との差分が、上記所持者の不審度に対応する差分閾値より小さい場合、上記鞄に危険物が隠されていないと判定し、上記差分が上記差分閾値より大きい場合、上記鞄に危険物が隠されていると判定してよい。上記判定部は、人物の画像から当該人物の不審度を推定する学習モデルに上記所持者画像を入力することによって、上記所持者の不審度を推定してよい。上記判定部は、人物を被写体として含む画像と、当該人物の不審度情報とを教師データとして機械学習することによって生成された上記学習モデルに上記所持者画像を入力してよい。

【0005】

上記画像処理装置は、上記判定部によって上記鞄に危険物が隠されていると判定された場合に、警告を出力するよう制御する警告制御部を更に備えてよい。上記警告制御部は、上記推定重量と上記実測値との差分が大きいほど警告度の高い上記警告を出力するよう制御してよい。上記重量推定部は、画像から当該画像に含まれるオブジェクトを推定する学習モデルに上記鞄画像を入力することによって、上記複数のオブジェクトを含む上記鞄の重量を推定してよい。上記重量推定部は、上記鞄画像を上記学習モデルに入力することによって、上記鞄の中の上記複数のオブジェクトを認識し、複数種類のオブジェクトのそれぞれの重量が登録された重量データを参照することによって、上記複数のオブジェクトを含む上記鞄の重量を推定してよい。上記重量推定部は、オブジェクトを被写体として含む画像と上記オブジェクトを識別可能なオブジェクト識別情報とを教師データとして機械学習することによって生成された上記学習モデルに上記鞄画像を入力してよい。

【0006】

上記判定部は、上記推定重量と上記実測値との差分が、予め定められた差分閾値より小さい場合、上記鞄に危険物が隠されていないと判定し、上記差分が上記差分閾値より大きい場合、上記鞄に危険物が隠されていると判定してよい。上記判定部は、上記推定重量と上記実測値との差分が、上記鞄のサイズに基づく上記差分閾値より小さい場合、上記鞄に危険物が隠されていないと判定し、上記差分が上記差分閾値より大きい場合、上記鞄に危険物が隠されていると判定してよい。上記判定部は、上記推定重量と上記実測値との差分が、上記鞄のサイズが大きいほど高い値を示す上記差分閾値より小さい場合、上記鞄に危険物が隠されていないと判定し、上記差分が上記差分閾値より大きい場合、上記鞄に危険物が隠されていると判定してよい。上記判定部は、上記推定重量と上記実測値との差分が、上記鞄の形状に応じた上記差分閾値より小さい場合、上記鞄に危険物が隠されていないと判定し、上記差分が上記差分閾値より大きい場合、上記鞄に危険物が隠されていると判定してよい。上記推定重量と上記実測値との差分が、上記差分閾値よりも高い指示閾値より大きい場合に、上記鞄の所持者に対して指示情報を出力するよう制御する指示制御部を更に備えてよい。

【0007】

本発明の一実施態様によれば、上記画像処理装置と、鞄を撮像する撮像装置とを備えるシステムが提供される。

【0008】

本発明の一実施態様によれば、コンピュータを、上記画像処理装置として機能させるためのプログラムが提供される。

【0009】

本発明の一実施態様によれば、コンピュータによって実行される画像処理方法が提供される。情報処理方法は、開口している鞄を撮像した鞄画像を取得する撮像画像取得段階を備えてよい。情報処理方法は、鞄画像に基づいて、鞄の中の複数のオブジェクトを認識し、複数のオブジェクトを含む鞄の重量を推定する重量推定段階を備えてよい。情報処理方法は、鞄の重量を実測した実測値を取得する実測値取得段階を備えてよい。情報処理方法は、重量推定段階において推定された推定重量と実測値との差分に基づいて、鞄に危険物が隠されているか否かを判定する判定段階を備えてよい。

【0010】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0011】

【図1】システム１０の一例を概略的に示す。

【図2】サーバ１００の機能構成の一例を概略的に示す。

【図3】サーバ１００による処理の流れの一例を概略的に示す。

【図4】サーバ１００による処理の流れの一例を概略的に示す。

【図5】サーバ１００による処理の流れの一例を概略的に示す。

【図6】検査を主体的に実行する場合の情報処理装置２００の機能構成の一例を概略的に示す。

【図7】サーバ１００又は情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0012】

空港のように設備がきちんとしている場所では、Ｘ線検査装置等の検査システムがあり、使用者の教育も十分されている。しかし、イベントのように、十分な設備がないところでは、目視による手荷物検査が行われている。教育にも限界があり、隠されている危険物を見つけることは難しい。本実施形態に係るシステム１０は、例えば、Ｘ線検査装置等の代わりに簡易に設置することができ、イベント会場等での手荷物検査を非接触で自動で行うことを可能にする。具体例として、システム１０においては、開口している鞄３０の中の画像からオブジェクト認識をリアルタイムに行い、各オブジェクトの重量を推定する。また、鞄３０を置く場所に重量計３２０を設置し、実際の重量と比較し、差分が危険物を含む重量であれば、警告を出力し、警備員等のチェックを行う。また、鞄３０を重量計３２０に置くときの所持者３２の動作から、不審な動きや鞄３０の重量を推定し、精度を上げる。

【0013】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0014】

図１は、システム１０の一例を概略的に示す。システム１０は、サーバ１００を備えてよい。サーバ１００は、画像処理装置の一例であってよい。システム１０は、検査設備３００を備えてよい。検査設備３００は、情報処理装置２００を有してよい。検査設備３００は、カメラ３１０を有してよい。カメラ３１０は、鞄３０を撮像する撮像装置の一例であってよい。検査設備３００は、重量計３２０を有してよい。検査設備３００は、ディスプレイ３３０を有してよい。

【0015】

情報処理装置２００は、カメラ３１０によって撮像された撮像画像をカメラ３１０から受信して、サーバ１００に送信してよい。例えば、情報処理装置２００は、鞄３０を撮像した鞄画像をサーバ１００に送信する。例えば、情報処理装置２００は、所持者３２を撮像した所持者画像をサーバ１００に送信する。情報処理装置２００とカメラ３１０とは有線接続されてよい。情報処理装置２００とカメラ３１０とは無線接続されてもよい。情報処理装置２００は、ネットワーク２０を介して撮像画像をサーバ１００に送信してよい。なお、カメラ３１０が直接サーバ１００に対して撮像画像を送信してもよい。

【0016】

情報処理装置２００は、重量計３２０によって実測された物の実測値を重量計３２０から受信して、サーバ１００に送信してよい。例えば、情報処理装置２００は、鞄３０を実測した実測値をサーバ１００に送信する。情報処理装置２００と重量計３２０とは有線接続されてよい。情報処理装置２００と重量計３２０とは無線接続されてもよい。情報処理装置２００は、ネットワーク２０を介して実測値をサーバ１００に送信してよい。なお、重量計３２０が直接サーバ１００に対して実測値を送信してもよい。

【0017】

情報処理装置２００は、サーバ１００からの指示に従って、ディスプレイ３３０に各種情報を表示させてよい。例えば、情報処理装置２００は、所持者３２に対する指示情報をディスプレイ３３０に表示させる。例えば、情報処理装置２００は、警告情報をディスプレイ３３０に表示させる。ディスプレイ３３０は、スピーカを備えてよく、情報処理装置２００は、サーバ１００からの指示に従って、ディスプレイ３３０に各種情報を音声出力させてもよい。例えば、情報処理装置２００は、所持者３２に対する指示情報をディスプレイ３３０に音声出力させる。例えば、情報処理装置２００は、警告情報をディスプレイ３３０に音声出力させる。なお、ディスプレイ３３０が、直接、サーバ１００からの指示に従って、各種情報を表示したり、音声出力したりしてもよい。

【0018】

ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。

【0019】

サーバ１００は、ネットワーク２０に有線接続されてよい。サーバ１００は、ネットワーク２０に無線接続されてよい。サーバ１００は、無線基地局を介してネットワーク２０に接続されてよい。サーバ１００は、Ｗｉ－Ｆｉ（登録商標）アクセスポイントを介してネットワーク２０に接続されてよい。

【0020】

情報処理装置２００は、ネットワーク２０に無線接続されてよい。情報処理装置２００は、無線基地局を介してネットワーク２０に接続されてよい。情報処理装置２００は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。情報処理装置２００は、ネットワーク２０に有線接続されてもよい。カメラ３１０、重量計３２０、及びディスプレイ３３０も同様に、ネットワーク２０に無線接続されてよく、ネットワーク２０に有線接続されてもよい。

【0021】

手荷物検査を画像処理のみで行う場合、凶器等の危険物が隠れていても、発見することは難しい。それに対して、システム１０では、手荷物検査を、画像処理及び重量計によって実行する。ここでは、凶器等の危険物の類が、ある程度の重量があると仮定する。

【0022】

サーバ１００は、カメラ３１０によって撮像された、開口している鞄３０を撮像した鞄画像を取得し、鞄画像に基づいて、鞄３０の中の複数のオブジェクトを認識し、複数のオブジェクトを含む鞄３０の重量を推定する。また、サーバ１００は、重量計３２０によって実測された鞄３０の重量を示す実測値を取得し、鞄３０の推定重量と実測値との差分を算出する。差分が閾値より大きい場合、何か重いものが隠れていることが推定されるので、サーバ１００は、警告を出力する。サーバ１００は、例えば、荷物検査を管理する管理者に対して、警告を出力する。

【0023】

警告の出力方法は、任意の方法であってよい。例えば、サーバ１００は、管理者が所持する通信端末の警告情報を送信する。例えば、サーバ１００は、管理者が閲覧しているディスプレイに警告情報を表示させる。また、例えば、サーバ１００は、ディスプレイ３３０に警告情報を表示させる。

【0024】

図２は、サーバ１００の機能構成の一例を概略的に示す。サーバ１００は、記憶部１０２、登録部１０４、撮像画像取得部１０６、実測値取得部１０８、重量推定部１１０、判定部１１２、警告制御部１１４、指示制御部１１６、及びモデル生成部１１８を備える。なお、サーバ１００がこれらの全てを備えることは必須とは限らない。

【0025】

記憶部１０２は、各種情報を記憶する。記憶部１０２は、登録部１０４によって登録された各種情報を記憶してよい。

【0026】

登録部１０４は、例えば、サーバ１００のユーザインタフェースを介して入力された情報を登録する。登録部１０４は、例えば、他の装置から受信した情報を登録する。登録部１０４は、例えば、ネットワーク２０を介して他の装置から受信した情報を登録する。

【0027】

登録部１０４は、例えば、画像から画像に含まれるオブジェクトを推定する学習モデルを登録する。登録部１０４は、例えば、複数種類のオブジェクトのそれぞれの重量が登録された重量データを登録する。登録部１０４は、例えば、人物の画像から当該人物の不審度を推定する学習モデルを登録する。

【0028】

撮像画像取得部１０６は、カメラ３１０によって撮像された撮像画像を取得する。撮像画像取得部１０６は、取得した撮像画像を記憶部１０２に記憶させる。撮像画像取得部１０６は、例えば、カメラ３１０が開口している鞄３０を撮像した鞄画像を取得する。撮像画像取得部１０６は、重量計に配置された鞄３０を撮像した鞄画像を取得してよい。鞄画像は、静止画であっても、動画であってもよい。

【0029】

撮像画像取得部１０６は、例えば、カメラ３１０が鞄３０の所持者３２を撮像した所持者画像を取得する。撮像画像取得部１０６は、鞄３０を重量計３２０に配置する所持者３２を撮像した所持者画像を取得してよい。所持者画像は、静止画であっても、動画であってもよい。所持者の動きを解析する場合には、所持者画像は動画であってよい。所持者画像は、所持者３２の顔認証に用いられてもよい。所持者画像を、所持者３２の顔認証に用いる場合、カメラ３１０は、鞄３０の中身と、所持者３２の顔を撮像可能な位置に配置されてよい。なお、撮像画像取得部１０６は、鞄３０の画像をカメラ３１０から取得し、所持者３２の顔の画像を、カメラ３１０以外のカメラから取得してもよい。当該カメラは、例えば、所持者３２の正面に当たる位置に配置されたり、鞄３０を重量計３２０の上に配置する所持者３２の顔を下側から撮像する位置に配置されたりしてよい。

【0030】

実測値取得部１０８は、鞄３０の重量を実測した実測値を取得する。実測値取得部１０８は、重量計３２０によって実測された実測値を取得してよい。実測値取得部１０８は、取得した実測値を記憶部１０２に記憶させる。

【0031】

重量推定部１１０は、鞄画像に基づいて、鞄３０の中の複数のオブジェクトを認識し、複数のオブジェクトを含む鞄３０の重量を推定する。重量推定部１１０は、記憶部１０２に記憶されている、画像から当該画像に含まれるオブジェクトを推定する学習モデルに鞄画像を入力することによって、複数のオブジェクトを含む鞄３０の重量を推定してよい。

【0032】

重量推定部１１０は、例えば、鞄画像を当該学習モデルに入力することによって、鞄３０の中の複数のオブジェクトを認識し、記憶部１０２に記憶されている重量データを参照することによって、複数のオブジェクトを含む鞄３０の重量を推定する。重量推定部１１０は、重量データを参照することによって、複数のオブジェクトのそれぞれの重量と、鞄３０の重量とを抽出し、それらを加算することによって、複数のオブジェクトを含む鞄３０の重量を推定してよい。

【0033】

当該学習モデルは、画像から、画像に含まれる複数のオブジェクトの重量を推定する学習モデルであってもよい。この場合、重量推定部１１０は、鞄画像を当該学習モデルに入力することによって、複数のオブジェクトを含む鞄３０の重量を推定することができる。

【0034】

判定部１１２は、重量推定部１１０によって推定された鞄３０の推定重量と、実測値取得部１０８によって実測された鞄３０の重量の実測値との差分に基づいて、鞄３０に危険物が隠されているか否かを判定する。判定部１１２は、推定重量と実測値との差分と、所持者画像とに基づいて、鞄３０に危険物が隠されているか否かを判定してもよい。判定部１１２は、所持者画像に基づいて推定した所持者３２の不審度と、推定重量と実測値との差分とに基づいて、鞄３０に危険物が隠されているか否かを判定してよい。

【0035】

例えば、判定部１１２は、鞄３０の不審度が予め定められた不審度閾値より低い場合において、推定重量と実測値との差分が予め定められた差分閾値より小さい場合、鞄３０に危険物が隠されていないと判定し、差分閾値より大きい場合、鞄３０に危険物が隠されていると判定する。そして、判定部１１２は、鞄３０の不審度が予め定められた不審度閾値より高い場合、差分閾値を低くしたうえで、推定重量と実測値との差分が予め定められた差分閾値より小さい場合、鞄３０に危険物が隠されていないと判定し、差分閾値より大きい場合、鞄３０に危険物が隠されていると判定する。

【0036】

また、例えば、判定部１１２は、推定重量と実測値との差分が、所持者３２の不審度に対応する差分閾値より小さい場合、鞄３０に危険物が隠されていないと判定し、差分が差分閾値より大きい場合、鞄３０に危険物が隠されていると判定する。不審度に対応する差分閾値は、不審度が高いほど低い値を示してよい。

【0037】

例えば、イベント参加者の荷物検査をする場合において、危険物の発見漏れが発生することを防ぐべく、差分閾値を低めに設定すると、ほとんどの検査で危険物が隠されていると判定してしまうことになる。これに対して、所持者３２の振る舞い等によって差分閾値を調整したり、振る舞いに合った差分閾値を用いたりすることによって、検査の効率化を図ることができる。

【0038】

判定部１１２は、所持者画像を解析することによって、所持者３２の不審度を推定してよい。例えば、判定部１１２は、所持者画像を解析することによって、所持者３２の不審な動きや、所持者３２の不審な様子を検知した場合に、不審度が高いと推定する。不審な動きの例として、動きが大きい、周りを多く見る、等が挙げられる。所持者３２が周りを多く見ているか否かは、所持者３２の顔、頭の回転数が閾値を超えているか、所持者３２の顔の振り幅が閾値を超えているか等によって判定可能である。不審な様子の例として、鞄３０のサイズに対して所持者３２が重そうにしている、所持者３２の顔色が悪い、等が挙げられる。所持者３２の顔色が悪いか否かは、所持者３２の汗の量が閾値を超えているか、所持者３２の瞬きの頻度が閾値を超えているか等によって判定可能である。

【0039】

判定部１１２は、記憶部１０２に記憶されている、人物の画像から当該人物の不審度を推定する学習モデルに所持者画像を入力することによって、所持者３２の不審度を推定してもよい。

【0040】

判定部１１２は、推定重量と実測値との差分が、予め定められた差分閾値より小さい場合に、鞄３０に危険物が隠されていないと判定し、差分が差分閾値より大きい場合に、鞄３０に危険物が隠されていると判定してよいが、複数の差分閾値を用いてもよい。例えば、鞄画像を解析することによって特定した鞄３０の情報に基づく差分閾値を用いる。

【0041】

具体例として、判定部１１２は、推定重量と実測値との差分が、鞄３０のサイズに基づく差分閾値より小さい場合、鞄３０に危険物が隠されていないと判定し、差分が差分閾値より大きい場合に、鞄３０に危険物が隠されていると判定する。判定部１１２は、推定重量と実測値との差分が、鞄３０のサイズが大きいほど高い値を示す差分閾値より小さい場合、鞄３０に危険物が隠されていないと判定し、差分が差分閾値より大きい場合に、鞄３０に危険物が隠されていると判定してよい。これにより、危険物の判定精度を向上させることができる。

【0042】

また、具体例として、判定部１１２は、推定重量と実測値との差分が、鞄３０の形状に応じた差分閾値より小さい場合、鞄３０に危険物が隠されていないと判定し、差分が差分閾値より大きい場合に、鞄３０に危険物が隠されていると判定する。例えば、底に向かって広がっている形状に対応する差分閾値を、底に向かって広がっていない形状に対応する差分閾値よりも低い値とする。これにより、底が広く、危険物を隠しやすい形状を有する鞄３０に対して、危険物が隠されていると判定しやすくでき、危険物の判定精度を向上させることができる。

【0043】

判定部１１２は、所持者３２の顔認証を実行してもよい。判定部１１２は、撮像画像取得部１０６が取得した所持者３２の顔画像を用いて、所持者３２の顔認証を実行する。例えば、何らかの会場への入場を検査する場合、判定部１１２は、所持者３２が入場権限を有する人物であるか否かを、顔認証によって判定する。このような判定は、例えば、入場権限を有する人物の顔画像を予め登録しておくことによって実現可能である。また、例えば、判定部１１２は、所持者３２が危険人物であるか否かを、顔認証によって判定する。このような判定は、例えば、危険人物の顔画像を予め登録しておくことによって実現可能である。判定部１１２が所持者３２の顔認証を実行することによって、荷物検査と入場検査をまとめて実施することができ、スムーズかつセキュアな入場を実現できる。

【0044】

警告制御部１１４は、判定部１１２によって鞄３０に危険物が隠されていると判定された場合に、警告を出力するよう制御する。警告の出力方法は、上述したように任意の方法であってよい。例えば、警告制御部１１４は、検査設備３００を管理する管理者、及び検査設備３００において検査を担当する担当者等の通信端末に警告情報を送信したり、当該管理者及び当該担当者等が閲覧しているディスプレイに警告情報を表示させたり音声出力させたりする。また、例えば、警告制御部１１４は、ディスプレイ３３０に警告情報を表示させる。

【0045】

警告制御部１１４は、推定重量と実測値との差分が大きいほど警告度の高い警告を出力するよう制御してもよい。警告制御部１１４は、例えば、推定重量と実測値との差分が大きいほど強い強調度の警告情報を表示出力させる。また、警告制御部１１４は、例えば、推定重量と実測値との差分が大きいほど大きい音量の警告情報を音声出力させる。また、警告制御部１１４は、例えば、推定重量と実測値との差分が大きいほど多くの対象に対して警告情報を出力する。

【0046】

警告制御部１１４は、判定部１１２が所持者３２の顔認証を実行した場合において、認証結果に応じて、警告を出力するよう制御してよい。警告制御部１１４は、例えば、所持者３２が入場権限を有していないと判定された場合に、警告を出力するよう制御する。警告制御部１１４は、例えば、所持者３２が危険人物であると判定された場合に、警告を出力するよう制御する。

【0047】

指示制御部１１６は、鞄３０の所持者３２に対して指示情報を出力するよう制御する。指示制御部１１６は、例えば、所持者３２に対して、鞄３０を開口して重量計３２０の上に配置することを指示する指示情報をディスプレイ３３０に出力させる。

【0048】

指示制御部１１６は、鞄画像を解析した結果に基づく指示情報を出力するよう制御してもよい。例えば、指示制御部１１６は、鞄画像を解析した結果、鞄３０の中に、不透明なポーチ等のように、中身が見えないオブジェクトが入っている場合に、オブジェクトを開口することを指示する指示情報をディスプレイ３３０に表示させる。このとき、指示制御部１１６は、鞄画像から当該オブジェクトを切り出した切出画像を、合わせてディスプレイ３３０に表示させてもよい。

【0049】

指示制御部１１６は、推定重量と実測値との差分に応じた指示情報を出力するよう制御してもよい。例えば、指示制御部１１６は、推定重量と実測値との差分が、差分閾値よりも高い指示閾値より大きい場合に、鞄３０の所持者３２に対して指示情報を出力するよう制御する。当該指示情報は、例えば、鞄３０の中身が見やすくなるように開口をより大きく広げることを指示する内容を含む。また、当該指示情報は、例えば、鞄３０の中の一部のオブジェクトを鞄３０の外に出すことを指示する内容を含む。推定重量と実測値との差分が非常に大きい場合、開口している部分からは確認できないオブジェクトが鞄３０の底の方に存在する可能性があるが、このような指示情報を出力することによって、オブジェクトを確認可能にできる。

【0050】

モデル生成部１１８は、学習モデルを生成する。モデル生成部１１８は、生成した学習モデルを記憶部１０２に記憶させる。

【0051】

例えば、モデル生成部１１８は、画像から当該画像に含まれるオブジェクトを推定する学習モデルを生成する。モデル生成部１１８は、オブジェクトを被写体として含む画像と、当該オブジェクトを識別可能なオブジェクト識別情報とを教師データとして機械学習することによって当該学習モデルを生成してよい。このような教師データは、登録部１０４によって登録されてよい。

【0052】

モデル生成部１１８は、画像から、当該画像に含まれるオブジェクトの重量を推定する学習モデルを生成してもよい。モデル生成部１１８は、オブジェクトを被写体として含む画像と、当該オブジェクトの重量とを教師データとして企画外周することによって当該学習モデルを生成してよい。このような教師データは、登録部１０４によって登録されてよい。

【0053】

例えば、モデル生成部１１８は、人物の画像から、当該人物の不審度を推定する学習モデルを生成する。モデル生成部１１８は、人物を被写体として含む画像と、当該人物の不審度情報とを教師データとして機械学習することによって当該学習モデルを生成してよい。このような教師データは、登録部１０４によって登録されてよい。

【0054】

図３は、サーバ１００による処理の流れの一例を概略的に示す。ここでは、サーバ１００が、複数の所持者３２の鞄３０を順番に検査する場合の処理の流れを説明する。

【0055】

ステップ（ステップをＳと省略して記載する場合がある。）１０２では、撮像画像取得部１０６が、カメラ３１０によって撮像された鞄３０の鞄画像を取得する。Ｓ１０４では、実測値取得部１０８が、重量計３２０によって実測された鞄３０の重量の実測値を取得する。

【0056】

Ｓ１０６では、重量推定部１１０が、Ｓ１０２において取得された靴画像に基づいて、鞄３０の中の複数のオブジェクトを認識する。Ｓ１０８では、重量推定部１１０が、鞄３０の重量を推定する。

【0057】

Ｓ１１０では、判定部１１２が、Ｓ１０８において推定された鞄３０の推定重量と、Ｓ１０４において取得された実測値との差分が、差分閾値より大きいか否かを判定する。大きいと判定された場合、Ｓ１１４に進み、大きいと判定されなかった場合、Ｓ１１６に進む。

【0058】

Ｓ１１４では、警告制御部１１４が、警告を出力する。複数の所持者３２のすべてについて検査が終了していない場合（Ｓ３１８でＮＯ）、Ｓ１０２に戻って次の所持者３２の鞄３０の鞄画像を取得し、複数の所持者３２のすべてについて検査が終了した場合（Ｓ３１８でＹＥＳ）、処理を終了する。

【0059】

図４は、サーバ１００による処理の流れの一例を概略的に示す。ここでは、図３と異なる点を主に説明する。

【0060】

Ｓ２０２では、撮像画像取得部１０６が、カメラ３１０によって撮像された所持者３２の所持者画像を取得する。Ｓ２０４では、判定部１１２が、Ｓ２０２において取得された所持者画像に基づいて、所持者３２の不審度を推定する。

【0061】

Ｓ２０６では、撮像画像取得部１０６が、カメラ３１０によって撮像された鞄３０の鞄画像を取得する。Ｓ２０８では、実測値取得部１０８が、重量計３２０によって実測された鞄３０の重量の実測値を取得する。

【0062】

Ｓ２１０では、重量推定部１１０が、Ｓ２０６において取得された靴画像に基づいて、鞄３０の中の複数のオブジェクトを認識する。Ｓ２１２では、重量推定部１１０が、鞄３０の重量を推定する。

【0063】

Ｓ２１４では、判定部１１２が、Ｓ２０４において推定した所持者３２の不審度が予め定められた不審度閾値より高いか否かを判定する。高いと判定された場合、Ｓ２１６に進み、高いと判定されなかった場合、Ｓ２１８に進む。Ｓ２１６では、判定部１１２が、差分閾値を低く変更する。

【0064】

Ｓ２１８では、判定部１１２が、Ｓ２１２において推定された鞄３０の推定重量と、Ｓ２０８において取得された実測値との差分が、差分閾値より大きいか否かを判定する。大きいと判定された場合、Ｓ２２０に進み、大きいと判定されなかった場合、Ｓ２２２に進む。

【0065】

Ｓ２２０では、警告制御部１１４が、警告を出力する。複数の所持者３２のすべてについて検査が終了していない場合（Ｓ３１８でＮＯ）、Ｓ２０２に戻って次の所持者３２の所持者画像を取得し、複数の所持者３２のすべてについて検査が終了した場合（Ｓ３１８でＹＥＳ）、処理を終了する。

【0066】

なお、Ｓ２０２における所持者画像の取得と、Ｓ２０８における鞄３０の重量の実測値の取得は、同時に行われてもよい。また、判定部１１２が、Ｓ２０２において取得された所持者画像に対して、所持者３２の顔認証をさらに実行してもよい。

【0067】

図５は、サーバ１００による処理の流れの一例を概略的に示す。ここでは、図３とは異なる点を主に説明する。

【0068】

Ｓ３０２では、撮像画像取得部１０６が、カメラ３１０によって撮像された鞄３０の鞄画像を取得する。Ｓ３０４では、実測値取得部１０８が、重量計３２０によって実測された鞄３０の重量の実測値を取得する。

【0069】

Ｓ３０６では、重量推定部１１０が、Ｓ３０２において取得された靴画像に基づいて、鞄３０の中の複数のオブジェクトを認識する。Ｓ３０８では、重量推定部１１０が、鞄３０の重量を推定する。

【0070】

Ｓ３１０では、指示制御部１１６が、Ｓ３０８において推定された鞄３０の推定重量と、Ｓ３０４において取得された実測値との差分が、指示閾値より大きいか否かを判定する。大きいと判定された場合、Ｓ３１２に進み、大きいと判定されなかった場合、Ｓ３１４に進む。Ｓ３１２では、指示制御部１１６が、指示情報を出力する。指示情報を出力した後、撮像画像取得部２０６が、改めて鞄３０を撮像する。

【0071】

Ｓ３１４では、判定部１１２が、Ｓ３０８において推定された鞄３０の推定重量と、Ｓ３０４において取得された実測値との差分が、差分閾値より大きいか否かを判定する。大きいと判定された場合、Ｓ３１６に進み、大きいと判定されなかった場合、Ｓ３１８に進む。

【0072】

Ｓ３１６では、警告制御部１１４が、警告を出力する。複数の所持者３２のすべてについて検査が終了していない場合（Ｓ３１８でＮＯ）、Ｓ３０２に戻って次の所持者３２の鞄３０の鞄画像を取得し、複数の所持者３２のすべてについて検査が終了した場合（Ｓ３１８でＹＥＳ）、処理を終了する。

【0073】

上記実施形態では、サーバ１００が主体となって検査を実行する例を挙げたが、これに限らず、情報処理装置２００が主体となって検査を実行してもよい。この場合、情報処理装置２００は、画像処理装置の一例であってよい。

【0074】

図６は、検査を主体的に実行する場合の情報処理装置２００の機能構成の一例を概略的に示す。情報処理装置２００は、記憶部２０２、登録部２０４、撮像画像取得部２０６、実測値取得部２０８、重量推定部２１０、判定部２１２、警告制御部２１４、指示制御部２１６、及びモデル生成部２１８を備える。なお、情報処理装置２００がこれらの全てを備えることは必須とは限らない。

【0075】

記憶部２０２、登録部２０４、撮像画像取得部２０６、実測値取得部２０８、重量推定部２１０、判定部２１２、警告制御部２１４、及び指示制御部２１６のそれぞれは、記憶部１０２、登録部１０４、撮像画像取得部１０６、実測値取得部１０８、重量推定部１１０、判定部１１２、警告制御部１１４、及び指示制御部１１６のそれぞれと同様の機能を有してよい。ここでは、記憶部１０２、登録部１０４、撮像画像取得部１０６、実測値取得部１０８、重量推定部１１０、判定部１１２、警告制御部１１４、及び指示制御部１１６と異なる点を主に説明する。

【0076】

記憶部２０２は、各種情報を記憶する。登録部２０４は、例えば、情報処理装置２００のユーザインタフェースを介して入力された情報を登録する。撮像画像取得部１０６は、カメラ３１０によって撮像された撮像画像をカメラ３１０から取得する。実測値取得部１０８は、重量計３２０によって実測された鞄３０の重量を示す実測値を重量計３２０から取得する。

【0077】

重量推定部２１０は、鞄画像に基づいて、鞄３０の中の複数のオブジェクトを認識し、複数のオブジェクトを含む鞄３０の重量を推定する。判定部２１２は、重量推定部２１０によって推定された鞄３０の推定重量と、実測値取得部２０８によって実測された鞄３０の重量の実測値との差分に基づいて、鞄３０に危険物が隠されているか否かを判定する。

【0078】

警告制御部２１４は、判定部２１２によって鞄３０に危険物が隠されていると判定された場合に、警告を出力するよう制御する。指示制御部２１６は、鞄３０の所持者３２に対して指示情報を出力するよう制御する。モデル生成部２１８は、学習モデルを生成する。

【0079】

図７は、サーバ１００又は情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0080】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0081】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0082】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0083】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0084】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0085】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0086】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0087】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0088】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0089】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0090】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0091】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0092】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0093】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0094】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【0095】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0096】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0097】

１０ システム、２０ ネットワーク、３０ 鞄、３２ 所持者、１００ サーバ、１０２ 記憶部、１０４ 登録部、１０６ 撮像画像取得部、１０８ 実測値取得部、１１０ 重量推定部、１１２ 判定部、１１４ 警告制御部、１１６ 指示制御部、１１８ モデル生成部、２００ 情報処理装置、２０２ 記憶部、２０４ 登録部、２０６ 撮像画像取得部、２０８ 実測値取得部、２１０ 重量推定部、２１２ 判定部、２１４ 警告制御部、２１６ 指示制御部、２１８ モデル生成部、３１０ カメラ、３２０ 重量計、３３０ ディスプレイ、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】