(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022175303
(43)【公開日】2022-11-25
(54)【発明の名称】検査システム及び検査方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20221117BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021081592
(22)【出願日】2021-05-13
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】関戸 正規
(72)【発明者】
【氏名】中山 直也
(72)【発明者】
【氏名】森本 伸一
(72)【発明者】
【氏名】有吉 正行
(72)【発明者】
【氏名】竹村 俊徳
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC11
(57)【要約】
【課題】所持物検査等の検査のスループットを向上させる。
【解決手段】本発明は、検査対象者を含む検査対象者画像を取得する検査対象者画像取得部11と、波長30マイクロメートル以上1メートル以下の電磁波を検査対象者に照射し、反射波を受信する電磁波送受信部12と、反射波の信号に基づき異常状態を検出する検出処理を行い、異常状態が検出された検査対象者である追跡対象者の外観を示す追跡対象者情報を記憶部14に記憶させる異常状態検出部13と、作業者の周辺の景色を含む作業者周辺画像を取得する作業者周辺画像取得部15と、追跡対象者情報に基づき、作業者周辺画像の中から追跡対象者を検出する追跡対象者検出部16と、作業者周辺画像の中から検出された追跡対象者の位置を作業者に通知する通知部17と、を有する検査システム10を提供する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
検査対象者を含む検査対象者画像を取得する検査対象者画像取得手段と、
波長30マイクロメートル以上1メートル以下の電磁波を前記検査対象者に照射し、反射波を受信する電磁波送受信手段と、
前記反射波の信号に基づき異常状態を検出する検出処理を行い、前記異常状態が検出された前記検査対象者である追跡対象者の外観を示す追跡対象者情報を記憶手段に記憶させる異常状態検出手段と、
作業者の周辺の景色を含む作業者周辺画像を取得する作業者周辺画像取得手段と、
前記追跡対象者情報に基づき、前記作業者周辺画像の中から前記追跡対象者を検出する追跡対象者検出手段と、
前記作業者周辺画像の中から検出された前記追跡対象者の位置を前記作業者に通知する通知手段と、
を有する検査システム。
【請求項2】
前記作業者は、スマートグラスを装着しており、
前記スマートグラスが、前記作業者の視野を含む前記作業者周辺画像を作成し、
前記通知手段は、
前記スマートグラスに、検出された前記追跡対象者を識別する画像を、前記作業者の視野に重ねて表示させる請求項1に記載の検査システム。
【請求項3】
前記通知手段は、
前記作業者周辺画像上に、検出された前記追跡対象者を識別する情報を重畳表示した画像を、前記作業者が所持する携帯端末に表示させる請求項1に記載の検査システム。
【請求項4】
前記作業者周辺画像取得手段は、前記作業者周辺画像が作成された時の前記作業者の位置情報を取得し、
前記通知手段は、前記追跡対象者が検出された前記作業者周辺画像が作成された時の前記作業者の位置情報を、他の前記作業者に通知する請求項1から3のいずれか1項に記載の検査システム。
【請求項5】
監視カメラが作成した監視カメラ画像を取得する監視カメラ画像取得手段をさらに有し、
前記追跡対象者検出手段は、前記追跡対象者情報に基づき、前記監視カメラ画像の中から前記追跡対象者を検出し、
前記通知手段は、前記監視カメラ画像の中から検出された前記追跡対象者の位置を示す情報を前記作業者に通知する請求項1から4のいずれか1項に記載の検査システム。
【請求項6】
前記通知手段は、前記追跡対象者の位置を示す情報を、前記追跡対象者との間の位置関係が所定条件を満たす前記作業者に通知する請求項4又は5に記載の検査システム。
【請求項7】
前記通知手段は、検出された前記異常状態の内容をさらに前記作業者に通知する請求項1から6のいずれか1項に記載の検査システム。
【請求項8】
検出された前記追跡対象者の位置に基づき、前記追跡対象者の今後の移動ルートを予測する解析手段をさらに有し、
前記通知手段は、前記追跡対象者の今後の移動ルートの予測結果を前記作業者に通知する請求項1から7のいずれか1項に記載の検査システム。
【請求項9】
前記解析手段は、前記追跡対象者の今後の移動ルートの予測結果と、前記作業者の現在の位置とに基づき、前記作業者に与える指示内容を決定し、
前記通知手段は、前記指示内容を前記作業者に通知する請求項8に記載の検査システム。
【請求項10】
コンピュータが、
検査対象者を含む検査対象者画像を取得し、
波長30マイクロメートル以上1メートル以下の電磁波を前記検査対象者に照射し、反射波を受信し、
前記反射波の信号に基づき異常状態を検出する検出処理を行い、前記異常状態が検出された前記検査対象者である追跡対象者の外観を示す追跡対象者情報を記憶手段に記憶させ、
作業者の周辺の景色を含む作業者周辺画像を取得し、
前記追跡対象者情報に基づき、前記作業者周辺画像の中から前記追跡対象者を検出し、
前記作業者周辺画像の中から検出された前記追跡対象者の位置を前記作業者に通知する検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査システム及び検査方法に関する。
【背景技術】
【0002】
本発明に関連する技術が、特許文献1に開示されている。特許文献1には、監視カメラの画像を解析して画像内の人物を解析し、解析結果に基づく警備情報を警備員が携帯する携帯端末装置に送信する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
安全確保等のため、様々な場所で所持物検査等の検査が行われている。通常、システムによる検査で異常状態が検出されると、作業者がその検査対象者に対しその場でさらなる検査を行う。そして、問題ないことが確認された検査対象者のみ、検査地点の通過を許可される。この手法の場合、検査のスループットが悪くなる。本発明は、所持物検査等の検査のスループットを向上させることを課題とする。
【課題を解決するための手段】
【0005】
本発明によれば、
検査対象者を含む検査対象者画像を取得する検査対象者画像取得手段と、
波長30マイクロメートル以上1メートル以下の電磁波を前記検査対象者に照射し、反射波を受信する電磁波送受信手段と、
前記反射波の信号に基づき異常状態を検出する検出処理を行い、前記異常状態が検出された前記検査対象者である追跡対象者の外観を示す追跡対象者情報を記憶手段に記憶させる異常状態検出手段と、
作業者の周辺の景色を含む作業者周辺画像を取得する作業者周辺画像取得手段と、
前記追跡対象者情報に基づき、前記作業者周辺画像の中から前記追跡対象者を検出する追跡対象者検出手段と、
前記作業者周辺画像の中から検出された前記追跡対象者の位置を前記作業者に通知する通知手段と、
を有する検査システムが提供される。
【0006】
また、本発明によれば、
コンピュータが、
検査対象者を含む検査対象者画像を取得し、
波長30マイクロメートル以上1メートル以下の電磁波を前記検査対象者に照射し、反射波を受信し、
前記反射波の信号に基づき異常状態を検出する検出処理を行い、前記異常状態が検出された前記検査対象者である追跡対象者の外観を示す追跡対象者情報を記憶手段に記憶させ、
作業者の周辺の景色を含む作業者周辺画像を取得し、
前記追跡対象者情報に基づき、前記作業者周辺画像の中から前記追跡対象者を検出し、
前記作業者周辺画像の中から検出された前記追跡対象者の位置を前記作業者に通知する検査方法が提供される。
【発明の効果】
【0007】
本発明によれば、所持物検査等の検査のスループットが向上する。
【図面の簡単な説明】
【0008】
【
図1】本実施形態の検査システムの概要を説明するための図である。
【
図2】本実施形態の検査システムの作用効果を説明するための図である。
【
図3】本実施形態の検査システムのハードウエア構成の一例を示す図である。
【
図4】本実施形態の検査システムの機能ブロック図の一例を示す図である。
【
図5】本実施形態の検査システムが処理する情報の一例を模式的に示す図である。
【
図6】本実施形態の検査システムの処理の流れの一例を示すフローチャートである。
【
図7】本実施形態の検査システムの処理の流れの一例を示すフローチャートである。
【
図8】本実施形態の検査システムの概要を説明するための図である。
【
図9】本実施形態の検査システムの作用効果を説明するための図である。
【
図10】本実施形態の検査システムの処理の流れの一例を示すフローチャートである。
【
図11】本実施形態の検査システムの作用効果を説明するための図である。
【
図12】本実施形態の検査システムが処理する情報の一例を模式的に示す図である。
【
図13】本実施形態の検査システムが処理する情報の一例を模式的に示す図である。
【
図14】本実施形態の検査システムの処理の流れの一例を示すフローチャートである。
【
図15】本実施形態の検査システムの処理の流れの一例を示すフローチャートである。
【
図16】本実施形態の検査システムの概要を説明するための図である。
【
図17】本実施形態の検査システムの機能ブロック図の一例を示す図である。
【
図18】本実施形態の検査システムの処理の流れの一例を示すフローチャートである。
【
図19】本実施形態の検査システムの機能ブロック図の一例を示す図である。
【
図20】本実施形態の検査システムの処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0010】
<第1の実施形態>
「概要」
本実施形態では、検査地点における検査の結果に関わらず、すべての検査対象者が検査地点を通過できる。検査地点では、例えばウォークスルー型の所持物検査等が行われる。そして、本実施形態の検査システムは、検査で異常状態が検出された検査対象者である追跡対象者の追跡をサポートする技術を提供する。作業者は、当該技術を利用して、検査地点を通過した人の中から追跡対象者を見つけ、その追跡対象者に対してさらなる検査等を行う。当該技術があるため、検査地点における検査の結果に関わらず、すべての検査対象者を通過させることが可能となる。そして、すべての検査対象者が検査地点を通過できるようにすることで、検査地点で行われる検査のスループットが向上する。
【0011】
ここで、
図1を用いて、本実施形態の検査システムの概要を説明する。検査システムは、所持物検査等の検査が必要な任意の施設で使用される。施設は、ビル、会社、アミューズメント施設、空港、駅等が例示されるが、これらに限定されない。
【0012】
図1に示す検査システムは、センサパネル1と、カメラ2と、演算装置3と、スマートグラス4とを有する。なお、
図1に示す検査システムの構成は一例であり。後で、その変形例を適宜説明する。
【0013】
センサパネル1は、施設の所定位置、例えば施設の入口等に設けられた検査地点に設置される。センサパネル1は、センサパネル1の前を通過する検査対象者5に対して電磁波を照射するとともに、反射波を受信する。そして、センサパネル1は、反射波の信号を演算装置3に送信する。
【0014】
カメラ2は、検査地点に設置される。カメラ2は、検査地点にいる検査対象者5を撮影する。そして、カメラ2は、検査対象者5の画像を演算装置3に送信する。
【0015】
演算装置3は、検査地点に設置されたローカル装置であってもよいし、検査地点から離れた位置に設置されたセンター装置であってもよい。演算装置3は、センサパネル1が作成した反射波の信号に基づき、異常状態を検出する検出処理を行う。そして、演算装置3は、異常状態が検出された検査対象者5の外観を示す情報を、データベースに登録する。検査対象者5の外観を示す情報は、カメラ2から受信した検査対象者5の画像に基づき作成される。
【0016】
スマートグラス4は、作業者6が装着する。スマートグラス4は、スマートグラス4を装着した作業者6の視野を含むように(「作業者6が見ている景色を含むように」と言い換えることもできる)作業者6の周辺を撮影するカメラ機能と、作業者6の視野に重ねて(「作業者6が見ている景色に重ねて」と言い換えることもできる)情報を表示する表示機能と、演算装置3と通信する通信機能とを少なくとも備える。
【0017】
演算装置3及びスマートグラス4の少なくとも一方は、スマートグラス4が作成した作業者6の視野を含む画像を解析し、異常状態が検出された検査対象者5を当該画像の中から検出する。そして、異常状態が検出された検査対象者5が当該画像の中から検出された場合、スマートグラス4は、検出された検査対象者5を識別する画像を、作業者6の視野に重ねて表示する。
【0018】
図2に、作業者6が見ている景色の一例を示す。Wの符号が付された情報が作業者6の視野に重ねて表示された画像である。Wの符号が付された情報は、スマートグラス4のレンズに表示される。
図2に示されるその他の人物や壁などは、スマートグラス4のレンズ越しに、作業者が直接見ている景色である。
【0019】
このような本実施形態の検査システムによれば、作業者6は、検査で異常状態が検出された追跡対象者を容易に見つけることができる。
【0020】
「ハードウエア構成」
次に、検査システムのハードウエア構成の一例を説明する。
図3は、検査システムのハードウエア構成例を示す図である。検査システムが備える各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0021】
図3に示すように、検査システムは、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。検査システムは、周辺回路4Aを有さなくてもよい。なお、検査システムは物理的及び/又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び論理的に一体となった1つの装置で構成されてもよい。物理的及び/又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0022】
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサ、電磁波送受信装置等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ、電磁波送受信装置等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0023】
「機能構成」
次に、検査システムの機能構成を説明する。
図4に、検査システム10の機能ブロック図の一例を示す。図示するように、検査システム10は、検査対象者画像取得部11と、電磁波送受信部12と、異常状態検出部13と、記憶部14と、作業者周辺画像取得部15と、追跡対象者検出部16と、通知部17とを備える。なお、検査システム10は記憶部14を有さなくてもよい。この場合、検査システム10と通信可能に構成された外部装置が記憶部14を備える。
【0024】
図1を用いて説明したように、検査システム10は、物理的及び/又は論理的に分かれた複数の装置で構成される。複数の装置のいずれが上記複数の機能部各々を備えるかは様々であり、あらゆる構成を採用することができる。
【0025】
例えば、検査システム10は、検査地点に設置される電磁波送受信装置(
図1のセンサパネル1等)と、検査地点に設置されるカメラ2と、演算装置3と、作業者が所持する携帯端末(
図1のスマートグラス4等)とで構成される。検査システム10は、同様の処理を実行する複数の電磁波送受信装置、及び、同様の処理を実行する複数のカメラ2を備えてもよい。この場合、複数の検査地点各々に電磁波送受信装置及びカメラ2が設置される。また、検査システム10は、複数の携帯端末を備えてもよい。この場合、複数の作業者各々が携帯端末を所持する。このような複数の装置のいずれが上記複数の機能部各々を備えるかは様々であり、あらゆる構成を採用することができる。
【0026】
例えば、カメラ2が検査対象者画像取得部11を備え、電磁波送受信装置が電磁波送受信部12を備えてもよい。そして、演算装置3が異常状態検出部13及び記憶部14を備え、携帯端末が作業者周辺画像取得部15と通知部17とを備えてもよい。そして、演算装置3及び携帯端末の少なくとも一方が、追跡対象者検出部16を備えてもよい。
【0027】
なお、演算装置3は、物理的及び論理的に1つの装置であってもよいし、物理的及び/又は論理的に分かれた複数の装置であってもよい。前者の場合、演算装置3は、検査地点に設置されるローカル装置、または、検査地点と異なる場所に設置されるセンター装置である。後者の場合、演算装置3は、検査地点に設置されるローカル装置、及び、検査地点と異なる場所に設置されるセンター装置の両方を含む。ローカル装置及びセンター装置で演算装置3を構成する場合、ローカル装置及びセンター装置各々が上記複数の機能部のいずれを備えるかは様々であり、あらゆる構成を採用することができる。
【0028】
以下、
図4に示す複数の機能部の構成を詳細に説明する。
【0029】
検査対象者画像取得部11は、検査対象者を含む検査対象者画像を取得する。検査対象者画像取得部11は、カメラ2を含んで構成される。カメラ2は、動画像を撮影してもよいし、静止画像を撮影してもよい。カメラ2は、検査地点に設置され、検査前、検査中又は検査後の検査対象者を撮影し、検査対象者画像を作成する。
【0030】
電磁波送受信部12は、所定の領域に存在する人物に向けて波長30マイクロメートル以上1メートル以下の電磁波(例:マイクロ波、ミリ波、テラヘルツ波等)を照射し、反射波を受信する。電磁波送受信部12は、例えばレーダである。電磁波送受信部12はあらゆる技術を採用して構成できる。例えば、電磁波送受信部12は、
図1の例のように、複数のアンテナ素子を並べたレーダで構成されるセンサパネル1であってもよい。なお、センサパネル1は一例であり、人物が通過するゲートや、人物が入るブース等、その他の手法で電磁波送受信部12を構成してもよい。
【0031】
異常状態検出部13は、電磁波送受信部12により受信された反射波の信号に基づき、異常状態を検出する検出処理を行う。そして、異常状態検出部13は、異常状態が検出された検査対象者である追跡対象者の外観を示す追跡対象者情報を記憶部14に記憶させる。
【0032】
本実施形態の異常状態は、所定の領域に存在する人物が予め設定された検出対象物を所持している状態である。検出対象物は、例えば持ち込みが禁止される物体であり、銃、ナイフ、カメラ、ペットボトル等が例示されるが、これらに限定されない。
【0033】
追跡対象者情報は、検査対象者画像取得部11が取得した検査対象者画像に基づき作成される。例えば、追跡対象者情報は、検査対象者画像から抽出された検査対象者の外観の特徴量(顔の特徴量、体格の特徴量、歩容の特徴量、服装の特徴量、所持物の特徴量等)であってもよい。また、追跡対象者情報は、検査対象者画像そのものであってもよい。
【0034】
図5に、追跡対象者情報の一例を模式的に示す。図示する例では、追跡対象者情報は、通番、画像、外観情報、検出された物、確認フラグ及び担当者の欄を有する。追跡対象者に対応して登録される画像は、静止画像であってもよいし、動画像であってもよい。
【0035】
通番の欄には、複数の追跡対象者を互いに識別する情報が登録される。異常状態検出部13は、新たな追跡対象者を追跡対象者情報に登録するときに、所定のルールに従い新たな通番を発行する。
画像の欄には、追跡対象者を含む検査対象者画像のファイル名が登録される。ファイル名に代えて又は加えて、サムネイル画像が登録されてもよい。
外観情報の欄には、検査対象者画像から抽出された検査対象者の外観の特徴量が登録される。
検出された物の欄には、異常状態検出部13により検出された検出対象物を示す情報が登録される。
確認フラグの欄には、作業者が追跡対象者に接触し、安全確認を行ったか否かを示す情報が登録される。
担当者の欄には、追跡対象者に接触した担当者を示す情報が登録される。
【0036】
確認フラグ及び担当者の欄に情報が登録される処理は、以下で説明する。
【0037】
ここで、異常状態検出部13が、反射波の信号に基づき、所定の領域に存在する検査対象者が予め設定された検出対象物を所持しているか否かを判断する処理の一例を説明する。
【0038】
-第1の処理例-
当該例では、異常状態検出部13は、電磁波送受信部12により受信された反射波の信号に基づき透過画像を作成する。そして、異常状態検出部13は、透過画像に現れた物体の形状に基づき、透過画像の中から検出対象物を検出する。透過画像の中から検出対象物が検出された場合、所定の領域に存在する検査対象者がその検出された検出対象物を所持していると判断する。
【0039】
事前の準備により、複数の検出対象物各々の形状の特徴量が作成され、記憶部14に記憶されている。異常状態検出部13は、記憶部14に記憶されている検出対象物の形状の特徴量と、透過画像に現れた形状の特徴量との照合結果に基づき、透過画像の中から検出対象物を検出する。異常状態検出部13によるこれらの処理は、複数の物体の透過画像とラベルとで構成される教師データに基づく機械学習で作成された推定モデルを利用して実現されてもよいし、テンプレートマッチングで実現されてもよい。
【0040】
-第2の処理例-
当該例では、異常状態検出部13は、電磁波送受信部12により受信された反射波の信号に現れた特徴量(反射波特徴量)に基づき、所定の領域に存在する検査対象者が予め設定された検出対象物を所持しているか判断する。反射波の信号の中から検出対象物に特有の反射波特徴量が検出された場合、所定の領域に存在する検査対象者がその検出された検出対象物を所持していると判断する。
【0041】
事前の準備により、複数の物体各々の反射波特徴量が作成され、記憶部14に記憶されている。異常状態検出部13は、記憶部14に記憶されている検出対象物の反射波特徴量と、反射波の信号に現れた特徴量との照合結果に基づき、反射波の信号の中から検出対象物に特有の反射波特徴量を検出する。異常状態検出部13によるこれらの処理は、複数の物体の反射波の信号とラベルとで構成される教師データに基づく機械学習で作成された推定モデルを利用して実現されてもよいし、テンプレートマッチングで実現されてもよい。
【0042】
図4に戻り、作業者周辺画像取得部15は、作業者の周辺の景色を含む作業者周辺画像を取得する。作業者が所持する携帯端末が、作業者周辺画像取得部15を備える。本実施形態では、作業者の携帯端末は、スマートグラス4である。
【0043】
図1に示すように、作業者6はスマートグラス4を装着する。スマートグラス4は、スマートグラス4を装着した作業者6の視野を含むように作業者6の周辺を撮影するカメラ機能と、作業者6の視野に重ねて情報を表示する表示機能と、外部装置と通信する通信機能とを少なくとも備える。スマートグラス4のカメラ機能を利用して撮影することで、作業者の視野を含む作業者周辺画像、すなわち作業者が見ている景色を含む作業者周辺画像が作成される。スマートグラス4のカメラ機能を利用して動画像を撮影してもよいし、静止画像を撮影してもよい。スマートグラス4の構成は、あらゆる従来技術を採用して実現することができる。
【0044】
図4に戻り、追跡対象者検出部16は、記憶部14に記憶されている追跡対象者情報(
図5参照)に基づき、作業者周辺画像取得部15が取得した作業者周辺画像の中から追跡対象者を検出する。そして、追跡対象者検出部16は、検出した追跡対象者の作業者周辺画像内の位置を示す情報(座標)を出力する。
【0045】
なお、追跡対象者検出部16による追跡対象者情報(
図5参照)を用いた追跡対象者の検出処理は、確認フラグが「未」の追跡対象者情報、すなわち作業者による接触が行われていない追跡対象者の追跡対象者情報のみを処理対象(参照対象)として行われてもよい。確認フラグが「済」の追跡対象者情報、すなわち作業者による接触が完了している追跡対象者の追跡対象者情報は処理対象(参照対象)から除外してもよい。
【0046】
通知部17は、作業者周辺画像の中から検出された追跡対象者の位置を作業者に通知する。通知部17は、検出された追跡対象者を識別する画像を、作業者の視野に重ねて表示することで、上記通知を実現する。
【0047】
図2に、作業者が見ている景色の一例を示す。通知部17は、Wの符号が付された情報を、作業者が装着しているスマートグラスのレンズに表示する。スマートグラスのレンズは、透過型のディスプレイとなっている。このため、作業者が見ている景色には、
図2に示すように、透過型のディスプレイに表示されたWの符号が付された情報のみならず、透過型のディスプレイ越しに見ることができる人物や壁などの景色も含まれる。適切な位置に表示されたWの符号が付された情報により、透過型のディスプレイ越しに見えている追跡対象者が識別可能になっている。
【0048】
図2に示すように、通知部17は、異常状態検出部13により検出された異常状態の内容を、さらに作業者に通知してもよい。
図2に示す例では、検出された検出対象物(図示する「ナイフ」)が通知されている。その他、図示しないが、検査システム10は、検出対象物が検出された日時や検査地点を記憶部14に登録しておいてもよい。また、検査システム10は、検出対象物が検出された位置(例えばカバン中や上着のポケットの中等)を特定し、記憶部14に登録しておいてもよい。そして、通知部17は、これらの情報をさらに作業者に通知してもよい。なお、
図2では、文字情報と吹き出しで追跡対象者や検出された検出対象物を示しているが、その他の手法でこれら検出内容を示してもよい。例えば、図形やアニメーション等で追跡対象者をハイライトしたり、検出された検出対象物の位置にその検出対象物のイメージを重ねて表示したりしてもよい。
【0049】
また、
図2には示していないが、通知部17は、検査対象者画像で示される追跡対象者の画像をさらに表示してもよい。
【0050】
通知部17による
図2に示すような表示は、AR(Augmented Reality)技術を利用して実現できる。例えば、通知部17は、予め、作業者周辺画像内の座標を透過型ディスプレイに表示される表示画像内の座標に変換するための変換ルール(例:行列等で構成された変換式等)を保持しておく。そして、通知部17は、当該変換ルールに基づき、追跡対象者の作業者周辺画像内の位置を示す座標を上記表示画像内の座標に変換する。次いで、通知部17は、当該変換により得られた上記表示画像内の座標に対応する位置に、上記Wの符号が付された情報を表示させる。
【0051】
変換ルールは、スマートグラスが備えるカメラのレンズの向きやレンズの歪み、透過型ディスプレイの向き、当該カメラと当該透過型ディスプレイとの相対的な位置関係、スマートグラスを装着した作業者の目と透過型ディスプレイとの相対的な位置関係等のパラメータに基づき、作成できる。
【0052】
次に、
図1、
図5及び
図6を用いて、検査システム10の処理の流れの一例を説明する。
図6は、検査対象者を検査し、異常状態が検出された検査対象者を追跡対象者として登録する処理の流れの一例を示す。
図6に示す処理は、検査対象者画像取得部11、電磁波送受信部12、異常状態検出部13及び記憶部14により実現される。
【0053】
まず、検査システム10は、検査地点に来た検査対象者を含む検査対象者画像を取得する(S10)。例えば、
図1に示すカメラ2が、検査地点に来た検査対象者5を撮影し、検査対象者画像を作成する。
【0054】
次に、検査システム10は、検査地点に来た検査対象者に対し、異常状態を検出する処理を行う(S11)。本実施形態の異常状態は、検査対象者が予め設定された検出対象物を所持している状態である。検出対象物は、例えば持ち込みが禁止される物体であり、銃、ナイフ、カメラ、ペットボトル等が例示されるが、これらに限定されない。例えば、
図1に示すセンサパネル1が検査対象者5に電磁波を照射し、反射波を受信する。そして、検査システム10は、当該反射波の信号に基づき、検出対象物を検出する処理を実行する。
【0055】
なお、S10とS11の処理順は、図示する例に限定されない。S11の後にS10を行ってもよいし、S10とS11とを並行して行ってもよい。
【0056】
異常状態が検出された場合(S12のYes)、検査システム10は、
図5に示すように、その検査対象者(追跡対象者)の外観を示す追跡対象者情報を記憶部14に記憶させる(S13)。検査対象者の外観を示す追跡対象者情報は、S10で取得されたその検査対象者を含む検査対象者画像に基づき作成される。追跡対象者情報は、その検査対象者の外観の特徴量(外観情報)及び検査対象者画像そのものの少なくとも一方を含む。また、S13の処理において、検査システム10は、検出された異常状態の内容、例えば検出された検出対象物を示す情報をさらに記憶部14に記憶させてもよい。
【0057】
一方、異常状態が検出されなかった場合(S12のNo)、検査システム10は、その検査対象者の外観を示す追跡対象者情報を記憶部14に記憶させない。
【0058】
なお、異常状態が検出されたか否かに関わらず、検査対象者はその検査地点を通過できる。この処理の変形例として、検出された検出対象物の種類に応じて、検査対象者の扱いを異ならせてもよい。例えば、比較的危険性が低い検出対象物(例えば、ペットボトル等)が検出された検査対象者はその検査地点を通過させ、比較的危険性が高い検出対象物(例えば、ナイフや拳銃等)が検出された検査対象者はその場で2次検査を行い、安全が確認されたのちにその検査地点を通過させてもよい。
【0059】
次に、
図1、
図2、
図5及び
図7を用いて、検査システム10の他の処理の流れの一例を説明する。
図7は、追跡対象者を追跡するための処理の流れの一例を示す。
図7に示す処理は、記憶部14、作業者周辺画像取得部15、追跡対象者検出部16及び通知部17により実現される。
【0060】
まず、検査システム10は、作業者が装着したスマートグラスのカメラ機能で作成された作業者周辺画像を取得する(S20)。例えば、
図1に示す作業者6が装着したスマートグラス4のカメラ機能により、作業者周辺画像が作成される。このように作成された作業者周辺画像は、作業者6の周辺の景色であって、作業者6が見ている景色を含む。
【0061】
次いで、検査システム10は、記憶部14に記憶された追跡対象者情報(
図5参照)に基づき、作業者周辺画像の中から追跡対象者を検出する処理を行う(S21)。
【0062】
作業者周辺画像の中から追跡対象者が検出された場合(S22のYes)、検査システム10は、
図1のスマートグラス4に表示させる画像であって、追跡対象者を識別する画像を作成する(S23)。そして、検査システム10は、S23で作成した画像を、スマートグラス4に表示させる(S24)。結果、
図2に示すように、作業者の視野に重ねて、検出された追跡対象者を識別する情報(Wの符号が付された情報)が表示される。作業者は、この情報に基づき追跡対象者を特定すると、その追跡対象者に接触し、2次検査等の適切な作業を行う。作業完了後、作業者は、スマートグラス4を操作し、作業結果を入力する。検査システム10は、このようにして入力された作業結果に基づき、
図5に示す追跡対象者情報の確認フラグ及び担当者の欄に情報を登録する。
【0063】
作業者周辺画像の中から追跡対象者が検出されなかった場合(S22のNo)、S23及びS24の処理は実行されない。
【0064】
上述したS21乃至S24の処理は、S20における作業者周辺画像の取得に応じて、速やかにリアルタイム処理で実行される。
【0065】
なお、S21の処理は、確認フラグが「未」の追跡対象者情報、すなわち作業者による接触が行われていない追跡対象者の追跡対象者情報のみを処理対象(参照対象)として行われてもよい。確認フラグが「済」の追跡対象者情報、すなわち作業者による接触が完了している追跡対象者の追跡対象者情報は処理対象(参照対象)から除外してもよい。
【0066】
「作用効果」
本実施形態の検査システム10によれば、作業者は、検査地点を通過した人の中から追跡対象者を容易に見つけることができる。そして、作業者は、見つけた追跡対象者に対してさらなる検査等を行うことができる。このため、検査地点における検査の結果に関わらずすべての検査対象者が検査地点を通過できるようにしても、特段大きな問題が発生しない。検査地点における検査の結果に関わらずすべての検査対象者が検査地点を通過できるようにすることで、検査地点で行われる検査のスループットが向上する。
【0067】
<第2の実施形態>
本実施形態の検査システム10は、作業者が所持する携帯端末が、スマートグラスでない点で、第1の実施形態と異なる。本実施形態の携帯端末は、カメラ機能と、表示機能と、通信機能とを少なくとも備えた装置であればよく、例えば、スマートフォン、タブレット端末、スマートウォッチ、携帯電話等が例示される。
【0068】
図8に示すように、作業者6は携帯端末7のカメラ機能を起動し、周辺にカメラを向ける。結果、携帯端末7のディスプレイにカメラが作成した画像が表示される。この画像は、作業者6の周辺の景色、より詳細にはカメラを向けた方向の景色を示す。
【0069】
作業者周辺画像取得部15は、このようにして携帯端末7により作成された作業者6の周辺の景色を示す画像を、作業者周辺画像として取得する。作業者が所持する携帯端末7が、作業者周辺画像取得部15を備える。
【0070】
そして、通知部17は、作業者周辺画像上に、検出された追跡対象者を識別する情報を重畳表示した画像を、携帯端末7に表示させる。
図9に、通知部17により、携帯端末7に表示される画像の一例を示す。Wの符号が付された情報が、作業者周辺画像上に重畳表示された情報である。この情報により、追跡対象者が識別可能になっている。Wの符号が付された情報は、検出された追跡対象者の作業者周辺画像内の位置に対応する所定の位置に表示される。通知部17による
図9に示すような通知は、AR技術を利用して実現できる。
【0071】
次に、
図5、
図8、
図9及び
図10を用いて、検査システム10の処理の流れの一例を説明する。
図10は、追跡対象者を追跡するための処理の流れの一例を示す。
図10に示す処理は、記憶部14、作業者周辺画像取得部15、追跡対象者検出部16及び通知部17により実現される。
【0072】
まず、検査システム10は、作業者が所持している携帯端末のカメラ機能で作成された作業者周辺画像を取得する(S30)。例えば、
図8に示す作業者6が所持する携帯端末7のカメラ機能により、作業者周辺画像が作成される。このように作成された作業者周辺画像は、作業者6の周辺の景色を含む。
【0073】
次いで、検査システム10は、記憶部14に記憶された追跡対象者情報(
図5参照)に基づき、作業者周辺画像の中から追跡対象者を検出する処理を行う(S31)。
【0074】
作業者周辺画像の中から追跡対象者が検出された場合(S32のYes)、検査システム10は、作業者周辺画像上に、検出された追跡対象者を識別する情報を重畳表示した画像を作成する(S33)。そして、検査システム10は、S33で作成した画像を、携帯端末のディスプレイに表示させる(S34)。結果、
図9に示すように、作業者周辺画像上に、検出された追跡対象者を識別する情報(Wの符号が付された情報)を重畳表示した画像が、携帯端末7に表示される。作業者は、この情報に基づき追跡対象者を特定すると、その追跡対象者に接触し、2次検査等の適切な作業を行う。作業完了後、作業者は、携帯端末7を操作し、作業結果を入力する。検査システム10は、このようにして入力された作業結果に基づき、
図5に示す追跡対象者情報の確認フラグ及び担当者の欄に情報を登録する。
【0075】
作業者周辺画像の中から追跡対象者が検出されなかった場合(S32のNo)、検査システム10は、作業者周辺画像を、携帯端末のディスプレイに表示させる(S35)。この場合、
図11に示すように、携帯端末7には作業者周辺画像のみが表示され、検出された追跡対象者を識別する情報(Wの符号が付された情報)は表示されない。
【0076】
上述したS31乃至S35の処理は、S30における作業者周辺画像の取得に応じて、速やかにリアルタイム処理で実行される。
【0077】
なお、S31の処理は、確認フラグが「未」の追跡対象者情報、すなわち作業者による接触が行われていない追跡対象者の追跡対象者情報のみを処理対象(参照対象)として行われてもよい。確認フラグが「済」の追跡対象者情報、すなわち作業者による接触が完了している追跡対象者の追跡対象者情報は処理対象(参照対象)から除外してもよい。
【0078】
本実施形態の検査システム10のその他の構成は、第1の実施形態と同様である。本実施形態の検査システム10によれば、第1の実施形態と同様の作用効果が実現される。
【0079】
<第3の実施形態>
本実施形態の検査システム10は、複数の携帯端末を有する。そして、複数の作業者各々が携帯端末を所持する。携帯端末は、第1の実施形態で説明したスマートグラスであってもよいし、第2の実施形態で説明したその他の装置、例えば、スマートフォン、タブレット端末、スマートウォッチ、携帯電話等であってもよい。
【0080】
作業者周辺画像取得部15は、作業者周辺画像に加えて、作業者周辺画像が作成された時の作業者の位置を示す位置情報を取得する。
【0081】
当該位置情報の取得手段は様々である。例えば、作業者が所持する携帯端末が、自端末の位置を示す位置情報取得機能(例えば、GPS(global positioning system)機能等)を備えてもよい。そして、携帯端末の当該位置情報取得機能を利用して、上記位置情報の取得が実現されてもよい。
【0082】
その他、作業者周辺画像取得部15は、作業者周辺画像の中から予め登録された所定のランドマークを検出することで、作業者の位置を特定してもよい。その他、ビーコンやRF(Radio Frequency)タグ等の周知のあらゆる技術を利用して、複数の作業者各々の位置がリアルタイムに管理されていてもよい。そして、作業者周辺画像が作成された日時に対応する作業者の位置を、その管理されている情報に基づき特定してもよい。
【0083】
追跡対象者検出部16は、作業者周辺画像の中から追跡対象者を検出すると、その作業者周辺画像が作成された時の作業者の位置を示す位置情報を、追跡対象者の位置を示す位置情報として、追跡対象者情報に登録する。
図12に、追跡対象者情報の一例を模式的に示す。図示する例では、各追跡対象者に紐付けて、位置情報が登録されている。この位置情報は、作業者周辺画像の中から各追跡対象者が検出されるごとに更新される。
【0084】
通知部17は、追跡対象者情報に登録されている各追跡対象者の位置情報、すなわち各追跡対象者が検出された最新の作業者周辺画像が作成された時の作業者の位置情報を、他の作業者に通知する。当該通知は、各作業者が所持する携帯端末を介して実現される。
【0085】
当該通知により、追跡対象者を撮影した作業者のみならず、他の作業者もその追跡対象者の位置を把握することができる。そして、必要に応じてその場に駆け付け、2次検査の作業の支援などを行うことができる。
【0086】
なお、検査システム10は、
図13に示すように、複数の作業者各々の位置をリアルタイムに管理していてもよい。作業者の位置の管理は、作業者が所持する携帯端末が備える位置情報取得機能を利用して実現されてもよいし、ビーコンやRFタグ等の周知の他の技術を利用して実現されてもよい。
【0087】
そして、通知部17は、追跡対象者の位置を示す情報を、追跡対象者との間の位置関係が所定条件を満たす作業者のみに通知してもよい。所定条件は、「同じフロアにいる」、「追跡対象者との間の距離が閾値以下」、「追跡対象者との間の距離が小さい順に複数の作業者をランク付けした場合に、上位から所定順位以内に入る」等が例示されるが、これらに限定されない。このようにすることで、適切な作業者のみに通知を行うことが可能となる。
【0088】
図14を用いて、検査システム10の処理の流れの一例を説明する。
図14は、追跡対象者を追跡するための処理の流れの一例を示す。この処理は、作業者が所持する携帯端末がスマートグラスである場合の処理である。
図14に示す処理は、記憶部14、作業者周辺画像取得部15、追跡対象者検出部16及び通知部17により実現される。
【0089】
図14に示す処理は、S45の処理を含む点で、
図7に示す処理と異なる。S45では、検査システム10は、追跡対象者が検出された作業者周辺画像が作成された時の作業者の位置を示す位置情報を、追跡対象者の位置を示す位置情報として、追跡対象者情報(
図12参照)に登録する。そして、検査システム10は、その追跡対象者の位置を示す位置情報を、他の作業者に通知する。
【0090】
なお、S45の処理は、S43及びS44の処理の前に行われてもよいし、S43及びS44の処理と並行して行われてもよい。
【0091】
図15を用いて、検査システム10の処理の流れの他の一例を説明する。
図15は、追跡対象者を追跡するための処理の流れの一例を示す。この処理は、作業者が所持する携帯端末がスマートグラスと異なる装置、例えばスマートフォン、タブレット端末、スマートウォッチ、携帯電話等である場合の処理である。
図15に示す処理は、記憶部14、作業者周辺画像取得部15、追跡対象者検出部16及び通知部17により実現される。
【0092】
図15に示す処理は、S55の処理を含む点で、
図10に示す処理と異なる。S55では、検査システム10は、追跡対象者が検出された作業者周辺画像が作成された時の作業者の位置を示す位置情報を、追跡対象者の位置を示す位置情報として、追跡対象者情報(
図12参照)に登録する。そして、検査システム10は、その追跡対象者の位置を示す位置情報を、他の作業者に通知する。
【0093】
なお、S55の処理は、S53及びS54の処理の前に行われてもよいし、S53及びS54の処理と並行して行われてもよい。
【0094】
本実施形態の検査システム10のその他の構成は、第1及び第2の実施形態と同様である。本実施形態の検査システム10によれば、第1及び第2の実施形態と同様の作用効果が実現される。また、本実施形態の検査システム10によれば、ある作業者が所持する携帯端末を介して取得した追跡対象者の位置情報を、他の作業者に通知する。当該通知により、追跡対象者を撮影した作業者のみならず、他の作業者もその追跡対象者の位置を把握することができる。そして、必要に応じてその場に駆け付け、2次検査の作業の支援などを行うことができる。
【0095】
<第4の実施形態>
本実施形態の検査システム10は、1つ又は複数の監視カメラをさらに備える。
図16に示すように、1つ又は複数の監視カメラ8は、検査地点を通過後の施設内を撮影する。監視カメラ8は所定位置に固定された定点カメラであってもよい。その他、監視カメラ8は、移動体に設置され、移動しながら施設内を撮影してもよい。移動体は、地面の上を移動する移動体であってもよいし、空中を移動する移動体であってもよいし、レールの上を移動する移動体であってもよいし、水中や水面を移動する移動体であってもよい。なお、
図16では、作業者6はスマートグラスを装着しているが、作業者6は、スマートフォン、タブレット端末、スマートウォッチ、携帯電話等のその他の装置を所持してもよい。
【0096】
図17の機能ブロック図に示すように、検査システム10は、監視カメラ画像取得部18をさらに有する。監視カメラ画像取得部18は、上述した監視カメラ8を含んで構成される。監視カメラ画像取得部18は、監視カメラ8で動画像又は静止画像を撮影することで、監視カメラ画像を取得する。
【0097】
追跡対象者検出部16は、追跡対象者情報(
図5又は
図12参照)に基づき、監視カメラ画像の中から追跡対象者を検出する。当該検出処理は、確認フラグが「未」の追跡対象者情報、すなわち作業者による接触が行われていない追跡対象者の追跡対象者情報のみを処理対象(参照対象)として行われてもよい。確認フラグが「済」の追跡対象者情報、すなわち作業者による接触が完了している追跡対象者の追跡対象者情報は処理対象(参照対象)から除外してもよい。
【0098】
追跡対象者検出部16は、監視カメラ画像の中から追跡対象者を検出すると、その監視カメラ画像が作成された時の監視カメラの位置を示す位置情報を、追跡対象者の位置を示す位置情報として、追跡対象者情報に登録する。例えば、
図12の追跡対象者情報の位置情報の欄が、監視カメラ画像の中から各追跡対象者が検出されるごとに更新される。なお、第3の実施形態の機能と第4の実施形態の機能を併用する場合、
図12の追跡対象者情報の位置情報の欄は、作業者周辺画像の中から各追跡対象者が検出されるごとに、また、監視カメラ画像の中から各追跡対象者が検出されるごとに更新される。
【0099】
通知部17は、追跡対象者情報に登録されている各追跡対象者の位置情報、すなわち各追跡対象者が検出された最新の監視カメラ画像又は作業者周辺画像が作成された時の監視カメラ又は作業者の位置情報を、作業者に通知する。当該通知は、各作業者が所持する携帯端末を介して実現される。
【0100】
当該通知により、作業者は、追跡対象者の位置を把握することができる。そして、作業者はその場に駆け付け、追跡対象者に接触することができる。
【0101】
なお、検査システム10は、
図13に示すように、複数の作業者各々の位置をリアルタイムに管理していてもよい。作業者の位置の管理は、作業者が所持する携帯端末が備える位置情報取得機能を利用して実現されてもよいし、ビーコンやRFタグ等の周知の他の技術を利用して実現されてもよい。
【0102】
そして、通知部17は、追跡対象者の位置を示す情報を、追跡対象者との間の位置関係が所定条件を満たす作業者のみに通知してもよい。所定条件は、「同じフロアにいる」、「追跡対象者との間の距離が閾値以下」、「追跡対象者との間の距離が小さい順に複数の作業者をランク付けした場合に、上位から所定順位以内に入る」等が例示されるが、これらに限定されない。このようにすることで、適切な作業者のみに通知を行うことが可能となる。
【0103】
次に、
図12、
図16及び
図18を用いて、検査システム10の処理の流れの一例を説明する。
図18は、追跡対象者を追跡するための処理の流れの一例を示す。
図18に示す処理は、記憶部14、追跡対象者検出部16、通知部17及び監視カメラ画像取得部18により実現される。
【0104】
まず、検査システム10は、監視カメラが作成した監視カメラ画像を取得する(S60)。例えば、
図16に示す監視カメラ8が監視カメラ画像を作成する。
【0105】
次いで、検査システム10は、記憶部14に記憶された追跡対象者情報(
図12参照)に基づき、監視カメラ画像の中から追跡対象者を検出する処理を行う(S61)。
【0106】
作業者周辺画像の中から追跡対象者が検出された場合(S62のYes)、検査システム10は、追跡対象者が検出された監視カメラ画像が作成された時の監視カメラの位置を示す位置情報を、追跡対象者の位置を示す位置情報として、追跡対象者情報(
図12参照)に登録する(S63)。そして、検査システム10は、その追跡対象者の位置を示す位置情報を、作業者に通知する(S63)。作業者は、この情報に基づき追跡対象者に近づくことができる。結果、作業者が撮影する作業者周辺画像の中に追跡対象者が含まれる可能性が高くなる。
【0107】
監視カメラ画像の中から追跡対象者が検出されなかった場合(S62のNo)、S63の処理は実行されない。
【0108】
上述したS61乃至S63の処理は、S60における監視カメラ画像の取得に応じて、速やかにリアルタイム処理で実行される。
【0109】
なお、S61の処理は、確認フラグが「未」の追跡対象者情報、すなわち作業者による接触が行われていない追跡対象者の追跡対象者情報のみを処理対象(参照対象)として行われてもよい。確認フラグが「済」の追跡対象者情報、すなわち作業者による接触が完了している追跡対象者の追跡対象者情報は処理対象(参照対象)から除外してもよい。
【0110】
本実施形態の検査システム10のその他の構成は、第1乃至第3の実施形態と同様である。本実施形態の検査システム10によれば、第1乃至第3の実施形態と同様の作用効果が実現される。また、本実施形態の検査システム10によれば、作業員が所持する携帯端末を利用した作成した作業者周辺画像に加えて、監視カメラを利用して作成した監視カメラ画像をさらに利用して、追跡対象者を追跡することができる。このため、追跡対象者を速やかに見つけることが可能となる。
【0111】
<第5の実施形態>
図19の機能ブロック図に示すように、本実施形態の検査システム10は、解析部19をさらに有する点で、第1乃至第4の実施形態と異なる。なお、検査システム10は、監視カメラ画像取得部18を有してもよいし、有さなくてもよい。
【0112】
解析部19は、追跡対象者の位置に基づき、作業者に提供する情報を作成する。そして、通知部17は、解析部19が作成した情報を作業者に通知する。作業者への通知は、作業者が所持する携帯端末を介して実現される。
【0113】
解析部19は、以下の第1及び第2の解析例の中の少なくとも1つを実行する。
【0114】
-第1の解析例-
解析部19は、検出された追跡対象者の位置に基づき、追跡対象者の今後の移動ルートを予測する。そして、通知部17は、解析部19が算出した追跡対象者の今度の移動ルートの予測結果を、作業者に通知する。
【0115】
例えば、解析部19は、追跡対象者の位置の履歴に基づき、追跡対象者のこれまでの移動ルートを特定する。そして、解析部19は、これまでの移動ルートに基づき、追跡対象者の今後の移動ルートを推定する。推定結果として出力される今度の移動ルートは、1つであってもよいし、複数であってもよい。移動ルートの推定は、例えば、これまでのルートと今後のルートとを紐付けた教師データに基づく機械学習で作成された推定モデルを用いて実現されてもよいし、その他の手段で実現されてもよい。
【0116】
なお、検査システム10は、
図13に示すように、複数の作業者各々の位置をリアルタイムに管理していてもよい。作業者の位置の管理は、作業者が所持する携帯端末が備える位置情報取得機能を利用して実現されてもよいし、ビーコンやRFタグ等の周知の他の技術を利用して実現されてもよい。
【0117】
そして、通知部17は、追跡対象者の今後の移動ルートを示す情報を、追跡対象者との間の位置関係、または、追跡対象者の今後の移動ルートとの位置関係が所定条件を満たす作業者のみに通知してもよい。所定条件は、「追跡対象者と同じフロアにいる」、「追跡対象者との間の距離が閾値以下」、「追跡対象者との間の距離が小さい順に複数の作業者をランク付けした場合に、上位から所定順位以内に入る」、「追跡対象者の今後の移動ルート上の所定位置と同じフロアにいる」、「追跡対象者の今後の移動ルート上の所定位置との間の距離が閾値以下」、「追跡対象者の今後の移動ルート上の所定位置との間の距離が小さい順に複数の作業者をランク付けした場合に、上位から所定順位以内に入る」等が例示されるが、これらに限定されない。追跡対象者の今後の移動ルート上の所定位置は、例えば、「所定時間後に追跡対象者が存在すると予測される位置」等であるが、これに限定されない。当該位置の予測には、追跡対象者の移動速度が必要である。追跡対象者の移動速度は、追跡対象者の位置の履歴に基づき算出されてもよいし、予め検査システム10に登録されたその施設のユーザの一般的な移動速度を利用してもよい。このようにすることで、適切な作業者のみに通知を行うことが可能となる。
【0118】
-第2の解析例-
解析部19は、第1の解析例で算出した追跡対象者の今後の移動ルートと、複数の作業者各々の位置とに基づき、複数の作業者各々に与える指示内容を決定する。そして、通知部17は、解析部19が決定した各作業者の指示内容を、各作業者に通知する。
【0119】
指示内容の一例として、移動及び待ち伏せが挙げられる。例えば、解析部19は、追跡対象者の今後の移動ルート上の所定位置を、待ち伏せ地点として決定する。例えば、所定時間後(例:5分後)に追跡対象者が存在すると予測される位置を、待ち伏せ地点として決定する。そして、解析部19は、所定時間後までにその待ち伏せ地点に到着することができる作業員を、複数の作業者各々の位置と、予め検査システム10に登録された作業員の移動速度とに基づき特定する。そして、解析部19は、特定した作業員に与える指示として、「待ち伏せ地点への移動、及びその待ち伏せ地点での追跡対象者の待ち伏せ」を決定する。
【0120】
また、解析部19は、上記待ち伏せ地点を基準にして決定された1つ又は複数の地点を、予備的待ち伏せ地点として決定してもよい。そして、上記と同様の手法で、解析部19は、当該予備的待ち伏せ地点に移動し、待ち伏せする作業者を決定することができる。そして、解析部19は、決定した作業者に与える指示として、「予備的待ち伏せ地点への移動、及びその予備的待ち伏せ地点での追跡対象者の待ち伏せ」を決定することができる。このようにすることで、仮に待ち伏せ地点での追跡対象者への接触に失敗した場合であっても、予備的待ち伏せ地点で待ち伏せしている作業者がその追跡対象者に接触することができる。
【0121】
なお、解析部19は、
図12の追跡対象者情報において、確認フラグが「未」の追跡対象者のみを解析対象としてもよい。そして、解析部19は、
図12の追跡対象者情報において、確認フラグが「済」の追跡対象者を解析対象から除外してもよい。
【0122】
次に、
図20のフローチャートを用いて、検査システム10の処理の流れの一例を説明する。当該処理は、解析部19が上記第1の解析例を実行することを前提とする。
【0123】
検査システム10は、記憶部14に記憶されている追跡対象者の位置情報の履歴に基づき、追跡対象者の今後の移動ルートを予測する(S70)。そして、検査システム10は、予測した追跡対象者の今後の移動ルートを作業者に通知する(S71)。
【0124】
本実施形態の検査システム10のその他の構成は、第1乃至第4の実施形態と同様である。本実施形態の検査システム10によれば、第1乃至第4の実施形態と同様の作用効果が実現される。また、本実施形態の検査システム10によれば、追跡対象者の今後の移動ルートを予測し、作業者に通知できる。作業者は、この通知に基づき先回りし、追跡対象者を待ち伏せすることができる。結果、作業者が撮影する作業者周辺画像の中に追跡対象者が含まれる可能性が高くなる。
【0125】
また、本実施形態の検査システム10によれば、複数の作業者各々に与える指示内容を決定し、各作業者に通知することができる。このような検査システム10によれば、複数の作業者が重複して同じ追跡対象者を追跡する不都合や、だれもある追跡対象者を追跡しないという不都合を抑制できる。また、複数の作業者が協力して追跡対象者を追跡することができるで、効率的かつ確実に、追跡対象者を追跡することができる。
【0126】
<変形例>
以下、すべての実施形態に適用可能な変形例を説明する。
【0127】
-第1の変形例-
上記実施形態の異常状態は、所定の領域に存在する人物が予め設定された検出対象物を所持している状態であった。そして、異常状態検出部13は、反射波の信号の中から、反射波の信号に含まれていることが好ましくない異常データ(検出対象物の特徴量)を検出した。
【0128】
当該変形例では、異常状態検出部13は、含まれていることが好ましい正常データを参照し、反射波の信号の中から、異常状態(正常データで示される状態と異なる状態)を検出する検出処理を行う。
【0129】
-第2の変形例-
上記実施形態では、持ち込みが禁止されている対象物が検出対象物として設定された。そして、所定の領域に存在する人物が予め設定された検出対象物を所持している状態を、異常状態として検出した。当該変形例では、ユーザが持っている必要がある対象物が検出対象物として設定される。例えば、警察官のバッチや、イベントに参加する人が所持することを義務つけられている物などが、当該変形例において検出対象物となる。そして、当該変形例では、所定の領域に存在する人物が予め設定された検出対象物を所持していない状態を、異常状態として検出する。
【0130】
なお、持ち込みが禁止されている対象物が第1の検出対象物として設定され、ユーザが持っている必要がある対象物が第2の検出対象物として設定されてもよい。この場合、「第1の検出対象物が検出され、第2の検出対象物が検出されていないケース」、「第2の検出対象物が検出され、第1の検出対象物が検出されていないケース」、「第1の検出対象物及び第2の検出対象物両方とも検出されているケース」、「第1の検出対象物及び第2の検出対象物両方とも検出されていないケース」等、検出結果が複数のケースに分かれる。いずれのケースを異常状態として検出するかは、設計的事項である。
【0131】
-第3の変形例-
検査システム10は、異常状態が検出された検査対象者に対し、所定のマーキング処理を実行する手段を備えてもよい。当該手段は、例えば検査地点に設置される。当該手段は、異常状態が検出された検査対象者に対し、カラーボールをぶつけたり、ブラックライトで光る塗料をつけたり、小型発信機をつけたりする。作業者は、カラーボールで付けられたカラーや、塗料、小型発信機等に基づき、追跡対象者を追跡する。
【0132】
-第4の変形例-
検査システム10は、複数の追跡対象者各々の位置と、複数の作業者各々の位置をリアルタイムに管理する。これを実現する処理の一例は、上述した通りである。そして、検査システム10は、追跡対象者と作業者との間の距離が閾値以下になると、その旨をその作業者に通知する。当該通知は、作業者が所持している携帯端末を介して実現される。例えば、検査システム10は、追跡対象者と作業者との間の距離が閾値以下になると、所定の音(例:ブザー音、警告音等)を携帯端末に出力させてもよいし、バイブレーションでその旨を通知してもよいし、警告ランプを点灯することでその旨を通知してもよいし、所定の情報を表示することでその旨を通知してもよい。また、上記距離の大小に応じて、出力内容を異ならせることで、上記距離が小さくなっていることを作業者に通知してもよい。例えば、上記距離が小さくなるほど、音のテンポやランプの点滅のテンポ等を速めてもよい。
【0133】
-第5の変形例-
検査システム10は、複数の追跡対象者各々の位置と、複数の作業者各々の位置をリアルタイムに管理する。そして、複数の追跡対象者各々の位置、及び、複数の作業者各々の位置をマッピングしたマップを作成し、作業者に通知する。
【0134】
また、検査システム10は、追跡対象者のこれまでの移動ルート、及び追跡対象者の今後の移動ルートの予測結果の少なくとも一方をさらに、上記マップにマッピングしてもよい。追跡対象者のこれまでの移動ルートや追跡対象者の今後の移動ルートを取得する手段は、上記実施形態で説明した通りである。
【0135】
さらに、検査システム10は、第5の実施形態で説明したように作業者を移動させる指示を作成し、各作業者に通知する場合、移動ルートをさらに算出してもよい。そして、検査システム10は、上記マップ上に、算出した移動ルートを表示してもよい。移動ルートは、作業者の現在位置と、移動させる目的地とに基づき算出される。移動ルートの算出手段は特段制限されず、あらゆる技術を採用できる。
【0136】
-第6の変形例-
作業者が所持する携帯端末は、作業者間で通話するための通話機能を備えてもよい。
【0137】
これら変形例においても、上記実施形態と同様の作用効果が実現される。
【0138】
なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと(能動的な取得)」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること(受動的な取得)」、たとえば、配信(または、送信、プッシュ通知等)されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集(テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等)などして新たなデータを作成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。
【0139】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 検査対象者を含む検査対象者画像を取得する検査対象者画像取得手段と、
波長30マイクロメートル以上1メートル以下の電磁波を前記検査対象者に照射し、反射波を受信する電磁波送受信手段と、
前記反射波の信号に基づき異常状態を検出する検出処理を行い、前記異常状態が検出された前記検査対象者である追跡対象者の外観を示す追跡対象者情報を記憶手段に記憶させる異常状態検出手段と、
作業者の周辺の景色を含む作業者周辺画像を取得する作業者周辺画像取得手段と、
前記追跡対象者情報に基づき、前記作業者周辺画像の中から前記追跡対象者を検出する追跡対象者検出手段と、
前記作業者周辺画像の中から検出された前記追跡対象者の位置を前記作業者に通知する通知手段と、
を有する検査システム。
2. 前記作業者は、スマートグラスを装着しており、
前記スマートグラスが、前記作業者の視野を含む前記作業者周辺画像を作成し、
前記通知手段は、
前記スマートグラスに、検出された前記追跡対象者を識別する画像を、前記作業者の視野に重ねて表示させる1に記載の検査システム。
3. 前記通知手段は、
前記作業者周辺画像上に、検出された前記追跡対象者を識別する情報を重畳表示した画像を、前記作業者が所持する携帯端末に表示させる1に記載の検査システム。
4. 前記作業者周辺画像取得手段は、前記作業者周辺画像が作成された時の前記作業者の位置情報を取得し、
前記通知手段は、前記追跡対象者が検出された前記作業者周辺画像が作成された時の前記作業者の位置情報を、他の前記作業者に通知する1から3のいずれかに記載の検査システム。
5. 監視カメラが作成した監視カメラ画像を取得する監視カメラ画像取得手段をさらに有し、
前記追跡対象者検出手段は、前記追跡対象者情報に基づき、前記監視カメラ画像の中から前記追跡対象者を検出し、
前記通知手段は、前記監視カメラ画像の中から検出された前記追跡対象者の位置を示す情報を前記作業者に通知する1から4のいずれかに記載の検査システム。
6. 前記通知手段は、前記追跡対象者の位置を示す情報を、前記追跡対象者との間の位置関係が所定条件を満たす前記作業者に通知する4又は5に記載の検査システム。
7. 前記通知手段は、検出された前記異常状態の内容をさらに前記作業者に通知する1から6のいずれかに記載の検査システム。
8. 検出された前記追跡対象者の位置に基づき、前記追跡対象者の今後の移動ルートを予測する解析手段をさらに有し、
前記通知手段は、前記追跡対象者の今後の移動ルートの予測結果を前記作業者に通知する1から7のいずれかに記載の検査システム。
9. 前記解析手段は、前記追跡対象者の今後の移動ルートの予測結果と、前記作業者の現在の位置とに基づき、前記作業者に与える指示内容を決定し、
前記通知手段は、前記指示内容を前記作業者に通知する8に記載の検査システム。
10. コンピュータが、
検査対象者を含む検査対象者画像を取得し、
波長30マイクロメートル以上1メートル以下の電磁波を前記検査対象者に照射し、反射波を受信し、
前記反射波の信号に基づき異常状態を検出する検出処理を行い、前記異常状態が検出された前記検査対象者である追跡対象者の外観を示す追跡対象者情報を記憶手段に記憶させ、
作業者の周辺の景色を含む作業者周辺画像を取得し、
前記追跡対象者情報に基づき、前記作業者周辺画像の中から前記追跡対象者を検出し、
前記作業者周辺画像の中から検出された前記追跡対象者の位置を前記作業者に通知する検査方法。
【符号の説明】
【0140】
1 センサパネル
2 カメラ
3 演算装置
4 スマートグラス
5 検査対象者
6 作業者
7 携帯端末
10 検査システム
12 電磁波送受信部
13 異常状態検出部
14 記憶部
15 作業者周辺画像取得部
16 追跡対象者検出部
17 通知部
18 監視カメラ画像取得部
19 解析部
1A プロセッサ
2A メモリ
3A 入出力I/F(インターフェイス)
4A 周辺回路
5A バス