(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023182427
(43)【公開日】2023-12-26
(54)【発明の名称】持ち物検査方法及びシステム
(51)【国際特許分類】
G06Q 50/16 20120101AFI20231219BHJP
【FI】
G06Q50/16
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022096029
(22)【出願日】2022-06-14
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】佐川 達人
(72)【発明者】
【氏名】江原 隆文
(72)【発明者】
【氏名】飛澤 直哉
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC29
(57)【要約】
【課題】所定のエリアに持ち込まれた物が持ち出されたか否かを正確に特定する。
【解決手段】持ち物検査システムは、所定のエリアへの入場時の対象者の持込み情報と当該所定のエリアからの退場時の当該対象者の持出し情報とに基づき、当該対象者の退場時の持ち物の正当性の判定である退場判定を行う。持ち物検査システムは、当該退場判定の結果に関する情報を通知する。持込み情報は、入場時における持ち物の画像であって当該入場時に撮影された画像である入場画像に基づく情報である。持出し情報は、退場時における持ち物の画像であって当該退場時に撮影された画像である退場画像に基づく情報である。
【選択図】
図2
【特許請求の範囲】
【請求項1】
所定のエリアへの入場時の対象者の持込み情報と、前記所定のエリアからの退場時の前記対象者の持出し情報とに基づき、前記対象者の退場時の持ち物の正当性の判定である退場判定を行う判定部と、
コンピュータが、前記退場判定の結果に関する情報を通知する出力部と
を備え、
前記持込み情報は、一つ又は複数の入場画像に基づく情報であり、
前記持出し情報は、一つ又は複数の退場画像に基づく情報である、
前記一つ又は複数の入場画像の各々は、入場時における一つ又は複数の持ち物の一つ又は複数の画像であって当該入場時に撮影された一つ又は複数の画像であり、
前記一つ又は複数の退場画像の各々は、退場時における一つ又は複数の持ち物の一つ又は複数の画像であって当該退場時に撮影された一つ又は複数の画像である、
ことを特徴とする持ち物検査システム。
【請求項2】
請求項1に記載の持ち物検査システムであって、
前記判定部が、前記所定のエリアへの入場の事前申請を表し前記所定のエリアに入場する者の識別情報を含む事前申請情報における識別情報が、前記対象者の識別情報に適合するか否かの判定を含む入場判定を行い、
前記出力部が、前記入場判定の結果に関する情報を通知する、
ことを特徴とする持ち物検査システム。
【請求項3】
請求項1に記載の持ち物検査システムであって、
前記判定部が、前記所定のエリアへの入場の事前申請と前記所定のエリアに持ち込まれる持ち物とを表す事前申請情報により表される持ち物と、前記持込み情報により表される持ち物とが適合するか否かを判定することを含む入場判定を行い、
コンピュータが、前記入場判定の結果に関する情報を通知する、
ことを特徴とする対象者持ち物検査システム。
【請求項4】
請求項3に記載の持ち物検査システムであって、
前記対象者の前記所定のエリアへの入場のための次回以降の事前申請において事前申請情報に含めることが可能な一つ又は複数のフィードバック画像を送信する画像送信部、
を更に備え、
入場時において、持ち物は、前記所定のエリアの入場エリアに固定されたカメラである入場カメラにより撮影され、
退場時において、持ち物は、前記所定のエリアの退場エリアに固定されたカメラであって前記入場カメラと同じ又は異なるカメラである退場カメラにより撮影され、
前記一つ又は複数のフィードバック画像の各々は、入場時及び退場時の少なくとも一つにおける前記対象者の一つ以上の持ち物の画像であり、
前記入場判定において、前記事前申請情報に画像が含まれている場合、前記事前申請情報における画像と、入場時に持ち込まれた持ち物の画像とが適合するか否かが判定される、
ことを特徴とする持ち物検査システム。
【請求項5】
請求項1に記載の持ち物検査システムであって、
前記退場判定は、前記持込み情報と前記持出し情報の他に、イレギュラー申請を表すイレギュラー申請情報に基づく判定であり、
前記イレギュラー申請は、入場時の申請、又は、入場後退場前の申請であり、持ち物の持込み又は残置の申請である、
ことを特徴とする持ち物検査システム。
【請求項6】
請求項1に記載の持ち物検査システムであって、
前記退場判定は、前記対象者が属するグループである対象者グループのグループ持込み情報と、前記対象者グループのグループ持出し情報とに基づく判定であり、
前記グループ持込み情報は、前記対象者グループに属する対象者毎の前記持込み情報を含み、
前記グループ持出し情報は、前記対象者グループに属する対象者毎の前記持出し情報を含む、
ことを特徴とする持ち物検査システム。
【請求項7】
請求項6に記載の持ち物検査システムであって、
前記グループ持込み情報により表される全ての持ち物と、前記グループ持出し情報により表される全ての持ち物とが一致の場合に、前記退場判定の結果が、正当を意味する結果である、
ことを特徴とする持ち物検査システム。
【請求項8】
請求項6に記載の持ち物検査システムであって、
前記所定のエリアについて複数の入場エリアがある場合、当該複数の入場エリアの各々について、当該入場エリアを通過して入場する者の前記持込み情報が取得され、
前記所定のエリアについて複数の退場エリアがある場合、当該複数の退場エリアの各々について、当該退場エリアを通過して退場しようとする者の前記持出し情報が取得され、
前記グループ持込み情報は、前記複数の入場エリアのうちの一つ以上の入場エリアのいずれかを通過した、前記対象者グループに属する者毎の持込み情報を含み、
前記グループ持出し情報は、前記複数の退場エリアのうちの一つ以上の退場エリアのいずれかを通過しようとする、前記対象者グループに属する者毎の持出し情報を含む、
ことを特徴とする持ち物検査システム。
【請求項9】
請求項1に記載の持ち物検査システムであって、
前記持込み情報により表される一つ又は複数の持ち物のうちの一つ以上の持ち物の各々に、当該持ち物の残置条件を表す残置情報が関連付けられている場合、前記退場判定は、前記持込み情報及び前記持出し情報の他に、前記一つ以上の持ち物の各々の残置情報に基づく判定であり、
前記残置条件は、持ち物がいつまで残置されるかである残置期限と、持ち物がどこに残置されるかである残置場所とのうちの少なくとも一つを含む、
ことを特徴とする持ち物検査システム。
【請求項10】
請求項9に記載の持ち物検査システムであって、
前記退場判定は、前記対象者が属するグループである対象者グループのグループ持込み情報と、前記対象者グループのグループ持出し情報と、前記対象者グループに属する少なくとも一の者の持ち物に前記残置情報が関連付けられている場合には当該残置情報とに基づく判定であり、
前記グループ持込み情報は、前記対象者グループに属する毎の前記持込み情報を含み、
前記グループ持出し情報は、前記対象者グループに属する毎の前記持出し情報を含む、
ことを特徴とする持ち物検査システム。
【請求項11】
請求項9に記載の持ち物検査システムであって、
残置される持ち物毎に、残置条件が設定される、
ことを特徴とする持ち物検査システム。
【請求項12】
請求項1に記載の持ち物検査システムであって、
前記退場判定は、下記の(A)及び(B)の判定を含み、
(A)前記対象者の退場時の前記持出し情報又はグループ持出し情報により表される全ての持ち物が、前記持込み情報又はグループ持込み情報により表される全ての持ち物に含まれているか否かの判定、
(B)少なくとも一つの残置物がある場合、全ての残置物の各々が適正な残置物であるか否かの判定、
前記グループ持込み情報は、前記対象者が属するグループである対象者グループに属する者毎の前記持込み情報を含み、
前記グループ持出し情報は、前記対象者グループに属する者毎の前記持出し情報を含み、
残置物は、前記持込み情報又は前記グループ持込み情報により表される全ての持ち物のうち、前記持出し情報又は前記グループ持出し情報により表される持ち物に含まれていない持ち物であり、
前記適正な残置物は、下記の(x)又は(y)であり、
(x)当該残置物の残置条件を表す残置情報が関連付けられている持ち物であって、当該残置情報が表す残置条件が満たされている持ち物、
(y)前記対象者グループに未だ退場していない者がいて、当該者により持ち出されることが期待される持ち物、
残置条件は、持ち物がいつまで残置されるかである残置期限と、持ち物がどこに残置されるかである残置場所とのうちの少なくとも一つである、
ことを特徴とする持ち物検査システム。
【請求項13】
コンピュータが、所定のエリアへの入場時の対象者の持込み情報と、前記所定のエリアからの退場時の前記対象者の持出し情報とに基づき、前記対象者の退場時の持ち物の正当性の判定である退場判定を行い、
コンピュータが、前記退場判定の結果に関する情報を通知する出力部と
を備え、
前記持込み情報は、一つ又は複数の入場画像に基づく情報であり、
前記持出し情報は、一つ又は複数の退場画像に基づく情報である、
前記一つ又は複数の入場画像の各々は、入場時における一つ又は複数の持ち物の一つ又は複数の画像であって当該入場時に撮影された一つ又は複数の画像であり、
前記一つ又は複数の退場画像の各々は、退場時における一つ又は複数の持ち物の一つ又は複数の画像であって当該退場時に撮影された一つ又は複数の画像である
ことを特徴とする持ち物検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、持ち物検査のためのコンピュータ技術に関する。
【背景技術】
【0002】
一般に、限られた対象者が入場可能な所定のエリアが存在する。対象者により所定のエリアに持ち込まれた持ち物が、所定のエリアに置かれたまま対象者が所定のエリアから退場することが起こり得る。
【0003】
特許文献1に開示のエリア管理装置は、所定のエリアに入退場する人物と、当該人物が所定のエリアに持ち込んだ物とを関連付けて管理する。所定のエリアには、カメラが設けられている。カメラにより検出された物が、既に退場した人物により持ち込まれた物であり、当該物の撤去が必要な場合、エリア管理装置が、当該物の撤去を要求する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に開示の技術では、エリア管理装置は、所定のエリアに持ち込まれた物のうち所定のエリア内のカメラで撮影されなかった物の行方を把握することはできない。例えば、所定のエリアに10個の物が持ち込まれ、当該10個の物のうち所定のエリア内のカメラにより3個の物が撮影されても、残りの7個が所定のエリアから持ち出されたかのか否かは定かではない。つまり、所定のエリア内に持ち込まれた物品と持ち出される物品とが対応関係が特定されておらず、所定エリアに持ち込まれた物品の一部が残されてしまうことは考慮されていなかった。
【課題を解決するための手段】
【0006】
持ち物検査システムは、所定のエリアへの入場時の対象者の持込み情報と当該所定のエリアからの退場時の当該対象者の持出し情報とに基づき、当該対象者の退場時の持ち物の正当性の判定である退場判定を行う。持ち物検査システムは、当該退場判定の結果に関する情報を通知する。持込み情報は、入場時における持ち物の画像であって当該入場時に撮影された画像である入場画像に基づく情報である。持出し情報は、退場時における持ち物の画像であって当該退場時に撮影された画像である退場画像に基づく情報である。
【発明の効果】
【0007】
本発明によれば、所定のエリアに持ち込まれた物が持ち出されたか否かを従来よりも正確に特定することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係るシステム全体の構成例を示す。
【
図2】入退場エリアに備えられている装置を含むシステムの構成例を示す。
【
図3】持ち物検査システムの機能のうち持込み情報及び持出し情報の取得に関わる機能を示す。
【
図4】持ち物検査システムの機能のうち退場判定に関わる機能を示す。
【
図8】入場時に行われる処理と退場時に行われる処理を含んだ処理全体の流れの例を示す。
【発明を実施するための形態】
【0009】
以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つでよい。
・一つ以上のI/O(Input/Output)インターフェースデバイスであるI/Oインターフェース装置。I/O(Input/Output)インターフェースデバイスは、I/Oデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するI/Oインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのI/Oデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイスである通信インターフェース装置。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス(例えば一つ以上のNIC(Network Interface Card))であってもよいし二つ以上の異種の通信インターフェースデバイス(例えばNICとHBA(Host Bus Adapter))であってもよい。
【0010】
また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。
【0011】
また、以下の説明では、「永続記憶装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス(例えば補助記憶デバイス)でよく、具体的には、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、NVME(Non-Volatile Memory Express)ドライブ、又は、SCM(Storage Class Memory)でよい。
【0012】
また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。
【0013】
また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスでよい。少なくとも一つのプロセッサデバイスは、典型的には、CPU(Central Processing Unit)のようなマイクロプロセッサデバイスでよいが、GPU(Graphics Processing Unit)のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路(例えばFPGA(Field-Programmable Gate Array)、CPLD(Complex Programmable Logic Device)又はASIC(Application Specific Integrated Circuit))といった広義のプロセッサデバイスでもよい。
【0014】
また、以下の説明では、「xxxテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでもよいし(例えば、構造化データでもよいし非構造化データでもよいし)、入力に対する出力を発生するニューラルネットワーク、遺伝的アルゴリズムやランダムフォレストに代表されるような学習モデルでもよい。従って、「xxxテーブル」を「xxx情報」と言うことができる。また、以下の説明において、テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部又は一部が一つのテーブルであってもよい。
【0015】
また、以下の説明では、「yyy部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されてもよいし、一つ以上のハードウェア回路(例えばFPGA又はASIC)によって実現されてもよいし、それらの組合せによって実現されてもよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び/又はインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配付計算機又は計算機が読み取り可能な記憶媒体(例えば非一時的な記憶媒体)であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。
【0016】
以下、本発明の実施形態を図面に基づいて説明する。なお、施設に入場をすることが指定または限られた対象者が入場可能な「所定のエリア」の例としては、工事現場、食品工場、再生医療施設、細胞培養施設、薬品研究施設、半導体製造施設、裁判所や行政機関等を含む官公庁、各国首脳会談等の要人を集め一時的な会場として利用されるホテルや迎賓館等の宿泊も可能となる施設、鉄道車両や航空機や船舶等の搭乗することで搭乗者が外界と隔離される移動手段、空港又は駅等、様々なエリアが考えられる。その他、テーマパークやイベント会場等であっても実施できる。これらの所定エリアの一部では、持ち込みが認められる物品、物質、薬品が定められていることがあり、また、所定エリアへ入場する際に、入場を管理や監督する場合がある。例えば、第一の作業員が第一の工具を工事現場に置き忘れた状態でその日の作業を終了し、第二の作業員が第一の工具に気付かないまま作業を行うと怪我等が生じることがある。また、食品工場、再生医療施設、細胞培養施設等では、作業員がこれらの所定のエリアへの特定の物質等を持ち込むことで、作業者の作業対象物と持ち込んだ特定の物質がコンタミネーションを生じることがある。そのため、所定のエリアへ持ち込んだ工具や物質を特定することが求められている。以下の説明では、所定のエリアは工事現場であり、対象者は作業者であり、持ち物は工具であるとする。
【0017】
図1は、本発明の一実施形態に係るシステム全体の構成例を示す。
【0018】
限られた作業者が入退場可能な工事現場51がある。工事現場51に関し、入退場エリア54がある。作業者は、入退場エリア54を通って工事現場51に入場し、工事現場51から入退場エリア54を通って退場する。
【0019】
入退場エリア54に、カメラ100及び持ち物検査装置15が設置されている。持ち物検査装置15は、通信ネットワーク810(例えば、インターネット又はWAN(Wide Area Network))を介して通信可能でよい。通信ネットワーク810を介して、申請端末510(工事現場51へ入場または退場を申請する際に利用される情報処理端末)、申請管理サーバ520及び入退場管理サーバ400もそれぞれ通信可能でよい。
【0020】
申請端末510は、情報処理端末(例えば、パーソナルコンピュータ又はスマートフォン)である。申請端末510は、申請者個人の端末であってもよいし、入退場エリア54の外(又は中)に設けられた共有の端末であってもよい。申請者が、入場前に、申請端末510を用いて、工事現場51への入場の事前申請を表す事前申請情報を入力する。本実施形態では、説明を簡単にするために、申請者は、工事現場51に入場する作業者(つまり本人)であるが、事前申請を行う者は、作業者(申請者)に代わって申請代理の者でもよい。また、申請者は、申請端末510に、複数の作業者をまとめて申請することもできる。
【0021】
申請管理サーバ520は、工事現場51への入場の申請に関する情報を管理する。申請端末510及び申請管理サーバ520は、申請元の会社の端末又はサーバでよい。また、申請管理サーバ520は無くてもよい。
【0022】
入退場管理サーバ400は、工事現場51への入場や工事現場51からの退場に関する情報を管理する。入退場管理サーバ400は、一つ又は複数の工事現場51の各々についての入退場を管理してよい。
【0023】
以上の要素15、100、510、520及び400のうち、少なくとも持ち物検査装置15及び入退場管理サーバ400を含んだコンピュータシステムとしての持ち物検査システム10が構成される。
【0024】
なお、サーバ520及び400は、共通のサーバでもよい。また、サーバ520及び400の少なくとも一つは、物理的な計算機(例えば、インターフェース装置、記憶装置及びそれらに接続されたプロセッサを備えた計算機)でもよいし、物理的な計算機に基づく仮想的なサーバ(例えば、仮想マシン、又は、クラウドコンピューティングサービスとしてのサーバ)でもよい。
【0025】
また、入退場エリア54は、複数存在してもよい。また、入退場エリア54は、入場エリアと退場エリアが一体となったエリアでよく、入退場エリア54に代えて又は加えて、入場エリア53と、入場エリア53と異なる退場エリア55のように別れたエリアが採用されてもよい。入場エリア53及び退場エリア55の少なくとも一つが、複数存在してもよい。入場エリア53及び退場エリア55の各々に、持ち物検査装置15及びカメラ100が備えられてよい。入場エリア53に備えられた持ち物検査装置15と退場エリア55に備えられた持ち物検査装置15の機能は一部異なっていてもよい。例えば、入場エリア53に備えられた持ち物検査装置15は、退場時の判定である後述の退場判定を行う機能を有していなくてもよい。
【0026】
図2は、入退場エリア54に備えられている装置を含むシステムの構成例を示す。
【0027】
入退場エリア54には、カメラ100、持ち物検査装置15、検索端末700及び受付端末610が備えられる。持ち物検査装置15は、画像処理装置200と検査端末300とを有する。画像処理装置200と検査端末300は、異なる装置でもよいし、一体としての装置でもよい。検索端末700及び受付端末610の少なくとも一つが、持ち物検査システム10に含まれてもよい。検索端末700及び受付端末610の各々は、情報処理端末(例えば、パーソナルコンピュータ又はスマートフォン)でよい。また、検査端末300、検索端末700及び受付端末610のうちの少なくとも二つ以上の端末が一体であってもよい。
【0028】
入退場管理サーバ400は、データベース部410及び画像送信部640を備える。これらの機能410及び640は、入退場管理サーバ400のプロセッサによりコンピュータプログラムが実行されることにより実現されてよい。データベース部410により格納される情報の格納先は、例えば、入退場管理サーバ400の内部又は外部の記憶装置である。
【0029】
申請管理サーバ520は、データベース部530を備える。この機能530は、申請管理サーバ520のプロセッサによりコンピュータプログラムが実行されることにより実現されてよい。データベース部530により格納される情報の格納先は、例えば、申請管理サーバ520の内部又は外部の記憶装置である。
【0030】
本実施形態では、作業者の入退場に関し、例えば以下の処理が行われる。
【0031】
まず、事前申請が行われる。申請者(例えば作業者)が、申請端末510を用いて、作業者が工事現場51に入場することの事前申請情報を入力する。事前申請情報は、例えば、作業者の氏名、ID、作業者により持ち込まれる全ての工具の各々の情報(例えば、工具のカテゴリ名(例えば、ドライバー、カッター)、工具の数等)といった情報を含んでよい。入力された事前申請情報は申請端末510から送信され、受付端末610により受信される。受付端末610が、事前申請情報を格納する。実線矢印で示すように、この時点で、受付端末610が、事前申請情報を検査端末300に送信してもよい。また、破線矢印で示すように、受付端末610が、事前申請情報を入退場管理サーバ400に格納してよく、検査端末300が、事前申請情報を入退場管理サーバ400から読み出すようになっていてもよい。事前申請情報(及び/又は、他種の申請の申請情報)は、更に、工事現場51や工事の名称を含んでもよい。
【0032】
作業者は、工事のために、工事現場51へ入場するべく、入退場エリア54に入る。カメラ100により、作業者が持ち込む全ての工具が撮影される。カメラ100により、作業者の本人確認のための要素(例えば、作業者の顔)が撮影されてもよい。入場画像が画像処理装置200に入力される。入場画像は、入場工具画像と入場作業者画像(例えば、入場する作業者の顔の撮影画像)とのうちの少なくとも入場工具画像である。入場工具画像は、持ち込まれた全ての又は一部の工具の撮影画像である。入場工具画像は、工具毎に存在してもよいし、全ての工具が写っている一つの撮影画像でもよい(後者の場合、その一つの撮影画像から工具毎の画像が画像処理装置200により取得されてもよい)。入場画像を基に、工具毎のカテゴリ名が特定されてよい。持ち込まれた各工具に関し画像処理装置200により取得された画像及びカテゴリ名を含んだ画像処理結果情報が検査端末300に入力される。検査端末300が、画像処理装置200からの画像処理結果情報と、事前申請情報とを表示する。画像処理結果情報が受付端末610に送信されてもよい。検査員(例えば、検査端末300又は受付端末610のオペレータ)が、表示された情報を基に、事前申請通りの作業者が事前申請通りの工具を持ち込むか否かを判断する。検査員は、事前申請通りの入場がされると判断した場合に、作業者の入場を承認する。承認された入場に対応した事前申請情報と、当該入場時の入場画像に基づく持込み情報とを含んだ情報である承認入場情報が、検査端末300により入退場管理サーバ400に送信され、それらの情報がデータベース部410により格納される。検査端末300に入力され表示された事前申請情報は、事前申請情報を表す二次元バーコードから検査端末300が読み取った情報でもよい。
【0033】
作業者は、工事現場51から退場するために入退場エリア54に入る。カメラ100により、作業者が持ち出す全ての工具が撮影される。カメラ100により、作業者の本人確認のための要素(例えば、作業者の顔)が撮影されてもよい。退場画像が画像処理装置200に入力される。退場画像は、退場工具画像と退場作業者画像(例えば、退場する作業者の顔の撮影画像)とのうちの少なくとも退場工具画像である。退場工具画像は、持ち出される全ての又は一部の工具の撮影画像である。退場工具画像は、工具毎に存在してもよいし、全ての工具が写っている一つの撮影画像でもよい(後者の場合、その一つの撮影画像から工具毎の画像が画像処理装置200により取得されてもよい)。退場画像を基に、工具毎のカテゴリ名が特定されてよい。画像処理装置200からの画像及びカテゴリ名を含んだ情報が、退場画像に基づく持出し情報でよい。持出し情報が、検査端末300により入退場管理サーバ400に送信され、その情報がデータベース部410により格納される。画像処理装置200が、データベース部410から作業者の持込み情報及び持出し情報を取得する。画像処理装置200が、その持込み情報と持出し情報とに基づき退場判定を行う。退場判定は、作業者の退場時の持ち物の正当性の判定である。検査端末300が、退場判定の結果に関する情報を通知する。
【0034】
また、画像送信部640も、作業者の入場が承認された場合、又は、作業者に関する退場判定の結果が正当を意味する結果の場合、その作業者について取得された工具画像(例えば、入場時又は退場時に取得された工具毎の画像)と、作業者の識別情報とを申請管理サーバ520に発行してよい。データベース部530が、作業者の識別情報と工具画像とを格納してよい。作業者は、次回の入場の際に持ち込む工具について、申請管理サーバ520に格納されている工具画像を、次回の事前申請の際に、事前申請情報に含めてよい。受付端末610は、受信した事前申請情報に画像が含まれている場合、その画像と、カメラ100による撮影画像から取得される工具画像との比較照合を行ってよい。これにより、事前申請通りの入場か否かの検査員のチェック負担が削減される。
【0035】
図3は、持ち物検査システム10の機能のうち持込み情報及び持出し情報の取得に関わる機能を示す。
【0036】
カメラ100は、例えば、入退場エリア54に固定されたカメラである。カメラ100により撮影された画像が画像処理装置200に入力される。カメラ100は、固定のカメラに代えて又は加えてモバイル型のカメラ(例えば、入場エリア54に紐づけられたモバイル型のカメラ)でもよい。
【0037】
画像処理装置200は、インターフェース装置、記憶装置及びそれらに接続されたプロセッサを備えた装置でよい。インターフェース装置を介し、カメラ100から撮影画像が入力されたり、検査端末300に情報が送信されたり、
図4に示すように、入退場管理サーバ400のデータベース部410から情報が取得されたりする。画像処理装置200のプロセッサがコンピュータプログラムを実行することにより、画像入力部210、画像処理部220、トリミング部230、結果出力部240が実現される。
【0038】
画像入力部210は、カメラ100の撮影画像を入力し、入力された撮影画像を、画像処理部220、トリミング部230及び結果出力部240に出力する。
【0039】
画像処理部220は、シルエット抽出部221、色判定部222、カウント部223、カテゴリ推定部224を備え、画像入力部210からの撮影画像を処理する。シルエット抽出部221は、撮影画像の外形を抽出するシルエット抽出処理を実行する。色判定部222は、撮影画像の色を三原色(赤、緑、青)に分けて判定するRGB色判定処理を実行する。なお、撮像画像を、HSV(Hue Saturation Value)色空間の色相、彩度、明度の成分に分けて判定するRGB色判定処理、グレースケールに変換する処理等を用いてもよい。また、畳み込み等を用いて撮像した物体の特徴量と過去に撮像した物体の特徴量をテンプレートマッチング等により比較し特定することができる。カウント部223は、撮影画像に含まれる被写体(工具)の数をカウントするカウント処理を実行する。カテゴリ推定部224は、撮影画像に含まれる被写体(工具)のカテゴリを推定するカテゴリ推定処理を実行する。
【0040】
トリミング部230は、撮影画像に対してトリミング処理を施し、撮影画像に含まれる被写体(工具)毎の画像を取得する。
【0041】
結果出力部240は、撮影画像と、トリミング部230によりトリミングされた工具毎の画像と、画像処理部220の処理結果情報(例えば、工具毎のシルエット、員数及びカテゴリ名を含んだ情報)とをそれぞれ取り込み(例えば、ニューラルネットワークのような機械学習モデル(又は、決定木のような他種のモデル)にそれらの情報を入力し)、取り込んだ情報を有する画像処理結果情報として検査端末300に送信する。画像処理結果情報は、工具毎に、トリミングされた工具画像、カテゴリ名及び員数を含んでよい。画像処理部220の処理とトリミング部230はまとめて一つの処理として実行することもできる。また、先に説明したテンプレートマッチング等をトリミング部230や結果出力部240で利用することもできる。
【0042】
検査端末300は、インターフェース装置、記憶装置及びそれらに接続されたプロセッサを備えた装置でよい。インターフェース装置を介し、画像処理装置200から情報が受信されたり、入退場管理サーバ400のデータベース部410に情報が送信されたりする。検査端末300のプロセッサがコンピュータプログラムを実行することにより、申請入力部310、結果受信部320、表示制御部330、結果表示部340、判定入力部350、紐付処理部360及び情報出力部370が実現される。
【0043】
申請入力部310は、事前申請情報を申請端末510から受付端末610経由で受け(又は、受付端末610非経由で受け)、入力した事前申請情報の少なくとも一部である対象申請情報(例えば、少なくとも申請者の識別情報を含んだ情報)を、表示制御部330と紐付処理部360に出力する。
【0044】
結果受信部320は、結果出力部240から画像処理結果情報を受信し、受信した画像処理結果情報を表示制御部330と紐付処理部360に出力する。
【0045】
表示制御部330は、受信した対象申請情報と画像処理結果情報とを結果表示部340に出力する。また、表示制御部330は、判定入力部350から受信した判定結果情報を結果表示部340に出力する。
【0046】
結果表示部340は、対象申請情報が表す内容と画像処理結果情報が表す内容とを、検査端末300の表示デバイス(図示せず)に表示する。判定入力部350は、結果表示部340による表示の内容に対する判定(例えば、表示の内容を承認するか否か)の入力を、オペレータ(例えば検査員)から受ける。判定入力部350は、入力された判定結果を表す情報である判定入力情報を表示制御部330に出力する。
【0047】
紐付処理部360は、表示制御部330からの判定入力情報と、申請入力部310からの対象申請情報と、結果受信部320からの画像処理結果情報とを紐付ける処理を実行し、紐付処理結果情報を情報出力部370に出力する。紐付処理結果情報は、対象申請情報と、画像処理結果情報と、判定入力情報との組合せを含む。紐付処理結果情報が、作業者(申請者)の上述の持込み情報及び持出し情報を含む。
【0048】
情報出力部370は、紐付処理結果情報の格納を、入退場管理サーバ400のデータベース部410に要求する。データベース部410は、当該要求に応答して、紐付処理結果情報を格納する。
【0049】
データベース部410は、作業者(申請者)毎に、下記の情報を管理する。下記の情報411~418及び420の少なくとも一部が、作業者の持込み情報及び持出し情報に含まれる。
・事前申請情報において指定された申請代表者を表す申請代表者名411(例えば、申請の代表者の名前(申請代表者の識別情報の一例))。
・事前申請情報において指定されたエリア(入退場エリア又は入場エリア)を表す場所412。
・事前申請情報において指定された時刻(例えば、入場時刻)を表す時刻413。
・作業者の工具毎の情報であり、工具の外形を表す外形414。
・作業者の工具毎の情報であり、工具の色に関する色415。
・作業者の工具毎の情報であり、工具の数を表す員数416。
・作業者の工具毎の情報であり、工具のカテゴリ名を表すカテゴリ名417。
・作業者により持ち込まれた(又は持ち出される)工具の画像418。画像418は、一つ又は複数の画像である。一つの画像は、全体画像でも個品画像でもよい。全体画像は、全ての工具の一つの撮影画像でよい。個品画像は、一部の工具(一つ又は二つ以上の工具)の画像でよい。個品画像は、一部の工具の撮影画像でもよいし、全体画像から得られた画像でもよい。
・工具毎の工具の範囲を表す枠(例えば方形の枠)を表す工具枠420。
【0050】
図4は、持ち物検査システム10の機能のうち退場判定に関わる機能を示す。
図4を参照した説明では、
図3を参照した説明との相違点を主に説明し、
図3を参照した説明との共通点については説明を省略又は簡略する。
【0051】
画像処理装置200は、入場入力部250、退場入力部260及び判定部270を更に備える。
【0052】
入場入力部250は、作業者の入場時情報(持込み情報を含む)をデータベース部410から入力(取得)し、入力した入場時情報を判定部270に出力する。退場入力部260は、作業者の退場時情報(持出し情報を含む)をデータベース部410から入力(取得)し、入力した退場時情報を判定部270に出力する。
【0053】
判定部270は、入場入力部250からの入場時情報と退場入力部260からの退場時情報とを格納する。入場時情報及び退場時情報の各々が、情報411~418及び420を含む。判定部270は、入場時情報(特に持込み情報)と退場時情報(特に持出し情報)との比較照合を含む退場判定を行う。判定部270は、退場判定の結果(例えば、照合結果)を表す情報である退場判定結果情報を、結果出力部240に出力する。
【0054】
結果出力部240は、判定部270からの退場判定結果情報を検査端末300に送信する。
【0055】
検査端末300の結果受信部320は、結果出力部240から退場判定結果情報を受信し、受信した情報を表示制御部330と紐付処理部360とに出力する。
【0056】
表示制御部330は、申請入力部310からの対象申請情報が表す内容と結果受信部320からの退場判定結果情報が表す内容とを、検査端末300の表示デバイス(図示せず)に表示する。判定入力部350は、結果表示部340による表示の内容に対する判定(例えば、退場が正当と承認するか否か)の入力を、オペレータ(例えば検査員)から受ける。判定入力部350は、入力された判定結果を表す情報である判定入力情報を表示制御部330に出力する。
【0057】
紐付処理部360は、表示制御部330からの判定入力情報と、申請入力部310からの対象申請情報と、結果受信部320からの退場判定結果情報とを紐付ける処理を実行し、紐付処理結果情報を情報出力部370に出力する。紐付処理結果情報は、対象申請情報と、退場判定結果情報と、判定入力情報との組合せを含む。
【0058】
情報出力部370は、紐付処理部360からの紐付処理結果情報を、入退場管理サーバ400のデータベース部410に送信する。
【0059】
入退場管理サーバ400のデータベース部410は、検査端末300から紐付処理結果情報を受信し、受信した紐付処理結果情報に含まれる退場判定結果情報421を格納する。
【0060】
検索端末700は、検索条件(例えば、工事現場名、作業者名等)が指定された検索問合せを受け、当該検索条件を満たす情報を、作業者毎の退場判定結果情報421から検索し、検索結果を、問合せに対する応答として返す。
【0061】
図5及び
図6は、入退場管理テーブル900の構成例を示す。
【0062】
入退場管理テーブル900は、入退場管理サーバ400のデータベース部410により管理されるテーブルでよい。例えば、入退場管理テーブル900は、データベース部410の情報を基に、過去の情報や入力された情報を基に加工されてもよく、その入力された情報から申請代表者名903等が特定されてもよい。他のカラムも同様に処理されてもよい。入退場管理テーブル900は、申請者(作業者)毎に上述の紐付処理結果情報(対象申請情報、画像処理結果情報及び判定入力情報を含んだ情報)を有する。具体的には、入退場管理テーブル900のレコードは、管理No.901、会社名902、申請代表者名903、申請番号904、申請種別9041、持込み情報(例えば、時刻905、場所906、タイプ907、物品ID908、カテゴリ名909、画像910及び員数911を含んだ情報)、持出し情報(例えば、時刻915、場所916、タイプ917、物品ID918、カテゴリ名919、画像920、員数921及び持出し者9211を含んだ情報)、判定922及び特記事項923といった情報を有する。なお、
図5及び
図6には、
図3に例示の無い情報(例えば、管理No.901)もあれば、
図3に例示のある情報(外形414、色415、工具枠420)が無いが、入退場管理テーブル900は、
図3に例示の無い情報も
図3に例示のある情報も含んでいてよい。
【0063】
管理No.901は、一件の紐付処理結果情報に対し例えば情報出力部370又はデータベース部410により割り振られた通し番号である。会社名902は、例えば申請代表者の所属先の会社名を表す。申請代表者名903は、申請代表者名411に対応の情報であり、申請代表者の名前を表す。申請番号904は、申請に付与された識別番号を表す。
【0064】
申請種別9041は、工具持込みの申請が事前申請であるかイレギュラー申請であるかを表す。イレギュラー申請には、例えば、イレギュラー申請(持込み)とイレギュラー申請(残置)がある。
【0065】
「イレギュラー申請(持込み)」とは、申請代表者が事前に申請した工具(入場する前に持ち込みを申請した工具)とは異なる工具を持ち込むための申請である。また、「イレギュラー申請(残置)とは、申請代表者が事前に申請した工具(入場する前に持ち込みを申請した工具)のうち一部または全部の工具を所定のエリアに残置させることの申請(作業者が一部または全部の工具を所定のエリアに残置させて退場するための申請)である。
【0066】
例えば、管理No.901“0003”の申請において、作業の当日にイレギュラー申請(持込み)があった場合はイレギュラー申請(持込み)を行った工具を“0003”の事前申請に紐づけて管理してもよく、退場の際には、作業者が、事前申請及びイレギュラー申請(持込み)に紐付けられ持ち込んだ工具の全てを持ち出して退場するかを確認することができる。これにより、事前申請されて所定エリアに持ち込まれた工具のみならず、作業の当日に追加で持込みが必要となったカテゴリ名909“未分類”として識別される工具が残置されていないことを検知できる。
【0067】
また、管理No.901“0004”の例では、作業の当日にイレギュラー申請(残置)があった場合はイレギュラー申請(残置)を行った工具を“0004”の事前申請に紐づけて管理してもよく、退場の際には、作業者が、事前申請された工具からイレギュラー申請(残置)に紐付けられ持ち込んだ工具を除いた全ての工具を持ち出して退場するかを確認することができる。これにより、事前申請された工具を所定エリアに持ち込んだ後に、翌日の作業に利用するカテゴリ名909“レンチ”として認識される工具のイレギュラー申請(残置)をすることによって、所定エリアに必要な工具を残しつつ、作業者が持ち帰るべき工具を検知することができる。
【0068】
持込み情報について、次の通りである。時刻905は、時刻413に対応した情報であり、入場時の時刻(工具が撮影された時刻)を表す。場所906は、場所412に対応した情報であり、入場エリアや入退場エリアの場所情報(例えば、ゲートID、住所又は緯度経度)を表す。タイプ907は、工具の画像のタイプ(全体か個品か)を表す。物品ID908は、検出された物品(つまり工具)のIDを表す(詳細は後述)。カテゴリ名909は、カテゴリ名417に対応した情報であり、工具のカテゴリ名を表す。画像910は、画像418に対応した情報であり、持ち込まれた全工具の全ての画像(又は当該全ての画像へのリンク)を表す。員数911は、持ち込まれた工具の数を表す。タイプ907“全体”については、員数911は、工具の総数を表す。タイプ907“個品”の工具については、員数911は、当該工具の数を表す。
【0069】
持出し情報について、次の通りである。時刻915は、時刻413に対応した情報であり、退場時の時刻(工具が撮影された時刻)を表す。場所916は、場所412に対応した情報であり、退場エリアや入退場エリアの場所情報(例えば、ゲートID、住所又は緯度経度)を表す。タイプ917は、工具の画像のタイプ(全体か個品か)を表す。物品ID918は、検出された物品のIDを表す(詳細は後述)。カテゴリ名919は、カテゴリ名417に対応した情報であり、工具のカテゴリ名を表す。画像920は、画像418に対応した情報であり、持ち出される全工具の全画像(又は当該全画像へのリンク)を表す。員数921は、持ち出される工具の数を表す。タイプ917“全体”については、員数921は、工具の総数を表す。タイプ917“個品”の工具については、員数921は、当該工具の数を表す。持出し者9211は、工具を持ち出す者(退場する者)の名前を表す。
【0070】
判定922は、判定入力情報に対応し、退場判定の結果を表す。“OK”が、正当であり、且つ、持ち込まれた工具が全て持ち出されることを意味する。“残置中”は、正当であるが、持ち込まれた工具のうち一部の工具が持ち出されず残置されることを意味する。“入場中”は、入場はされたが退場がされていないことを意味する。なお、判定922の値としては、“OK”、“残置中”及び“入場中”の少なくとも一つに代えて又は加えて、他の値があってよい。例えば、退場判定の結果として不当(持ち込まれた工具が全て持ち出されず、且つ、持ち出されない工具については残置の申請がされていない)を表す値“NG”があってよい。このように、工具等の持ち物について残置の処理を行うことにより、所定エリアをより適切に管理することができる。例えば、所定エリアに工具等の持ち物を配置した状態で作業員が所定エリアから退場すると、その持ち物が意図的に残されたのか否かの確認といった煩雑さが生じる可能性があり、故に、所定エリアの管理上は好ましくはない。しかし、作業員が退場した翌日も残置した工具等の持ち物を利用する場合や工具等の持ち物が大型の持ち物であり入退場を繰り返さない方が所定エリアの管理コストが下がることがある。そのようなケースが、本実施形態に係る残置の管理が有効なケースの一例である。
【0071】
特記事項923は、工具に関する特記事項を表す情報である。特記事項923は、残置情報を含む。残置情報は、申請された残置対象の工具に関する残置条件(例えば、残置期限及び残置場所の少なくとも一方)を表す。
【0072】
図5及び
図6が示す例によれば、例えば、下記の通りである。
・画像としては、一回で全工具の全体を撮影した全体画像と、全体画像から工具単位にトリミングされた個品画像とがある。全体画像は、実撮影のエビデンスとして用いられてよい。個品画像は、退場判定において使用されてよい(入場時の個品画像と退場時個品画像との比較照合に使用されてよい)し、申請管理サーバ520にフィードバック(送付)されてよい。フィードバックされた個品画像は、次回の事前申請時に事前申請情報に含められてよい。
・物品ID908及び918は、それぞれ、製品としての工具のIDでもよいが、本実施形態では、全体画像の画像解析により識別された工具毎に工具に対し割り振られたIDでよい。
・カテゴリ名909及び919は、画像処理部220が機械学習モデル(例えばニューラルネットワーク)を用いた推論を行うことで付与した情報でよい。入場時の判定(事前申請情報と持込み情報との比較照合を含む判定)や退場時の判定(退場判定)は、物品ID908(918)毎に存在する外形414、色415及び画像418(例えば個品画像)等を比較対象の情報間(例えば、事前申請情報と持込み情報間、又は、持込み情報と持出し情報間)で比較照合することを含んでよい。カテゴリ名909(918)は、比較照合されないでよい。
【0073】
図7は、グループ管理テーブル1000の構成例を示す。
【0074】
グループ管理テーブル1000は、入退場管理サーバ400のデータベース部410により管理されるテーブルでよい。例えば、グループ管理テーブル1000は、データベース部410の情報を基に、過去の情報や入力された情報を基に加工されてもよく、入力された情報から入場申請者名1004等が特定されてもよい。他のカラムも同様に処理されてもよい。
【0075】
グループ管理テーブル1000のレコードは、管理No.1001、申請番号1002、会社名1003、入場申請者名1004、申請代表者1005、持込み申請情報(No.1006、カテゴリ名1007、画像1008及び員数1009)及び特記事項1010といった情報を有する。
【0076】
一つの管理No.1001、申請番号1002及び会社名1003の組が、一まとまりの申請の管理No.901、申請番号904及び会社名902の組と一致する。
【0077】
入場申請者名1004は、一まとまりの申請に属した一つの作業者グループに属する全作業者の名前を表す。申請代表者1005は、その作業者グループに属する作業者毎に、代表者か否かを表す。言い換えると、申請代表者1005は、作業者グループのうちいずれの作業者が申請代表者かを表す。
【0078】
持込み申請情報において、物品ID1006は、一まとまりの申請における工具の通し番号と一致し、物品ID908と一致する。カテゴリ名1007は、工具のカテゴリ名を表し、カテゴリ名909と一致する。画像1008は、工具の画像を表し、タイプ907“個品”の画像910と一致する。員数1009は、工具の数を表し、員数911と一致する。
【0079】
特記事項1010は、入退場管理テーブル900における値(工具に関する値)の特記事項を表す。
【0080】
図5~
図7が示す例によれば、例えば、下記の通りである。なお、作業者グループは、一以上の作業者で構成される。つまり、一つの作業者グループが、一の作業者であることもあり得る。
・管理No.901“0001”については、次の通りである。作業者グループに属する作業者“AAA”及び“DDD”及び“EEE”により二つの工具が持ち込まれた。退場時、三名一緒に退場し、持ち込んだ二つの工具全てが一緒に持ち出された。持出し者9211には申請代表者である“AAA”が登録される。このため、退場判定の結果は、正当を意味する結果であった。
・管理No.901“0002”については、次の通りである。作業者グループは、管理No.901“0001”と同じであり、事前申請により残置申請を行った工具の例である。作業者“AAA”が、工具“脚立”を持ち込んだが、作業者“AAA”は、工具“脚立”を持ち出すことなく退場した。このため、作業者“AAA”について、工具“脚立”の判定922は“残置中”である。なお、工具“脚立”の残置期限は1月31日である。入退室管理サーバ400(又は画像処理装置200)が、残置情報が関連付けられている工具を入退場管理テーブル900から特定し、当該工具に関連付けられている残置情報が表す残置期限が過ぎたか否かを判定してよい。この判定結果が真の場合、検査端末300が、アラートを通知してよい(例えば、検査員に対しアラートメッセージを表示してよい)。これにより、所定エリアの管理者と作業員は予め残置する工具等の物品及びその期限を適切に管理することができる。また、残置の申請は、事前申請及びイレギュラー申請のいずれにおいてされてもよい。イレギュラー申請は、入場時の申請、又は、入場後退場前の申請である。
・管理No.901“0003”については、次の通りである。四つの工具が持ち込まれた。但し、工具“スパナ”については、判定について機械学習が済んでいないためカテゴリ名919が“未分類”とされた。退場時、四名一緒に退場し、持ち込んだ四つの工具全てが一緒に持ち出された。持出し者9211には申請代表者である“BBB”が登録される。このため、退場判定の結果は、正当を意味する結果であった。なお、この例は、入場エリアと退場エリアが異なっていても、退場判定が可能であることを意味する。また、この例は、カテゴリ名が未特定であっても、退場判定における比較照合は、カテゴリ名を必要としないため、退場判定が可能であることを意味する。
・管理No.901“0004”については、次の通りである。管理No.901“0004”に対応の作業者グループの作業者“CCC”、“HHH”及び“JJJ”により三つの工具が持ち込まれたが、作業者“CCC”が先に一つの工具を持ち出して異なる場所から退場し、作業者“HHH”及び“JJJ”が残り2つの工具を持ったまま未だ退場していない。工具“レンチ”はイレギュラー申請(残置)により残置するため、作業者“HHH”及び“JJJ”が工具“カッター”を持って退場すれば、事前申請された工具からイレギュラー申請(残置)に紐付けられ持ち込んだ工具を除いた全ての工具が持ち出されたことになる。
【0081】
図8は、入場時に行われる処理と退場時に行われる処理を含んだ処理全体の流れの例を示す。
【0082】
申請端末510が、申請者(申請代表者)による操作に従い、事前申請情報を入力し、送信する(S801)。送信された事前申請情報は、受付端末610で受信される。事前申請情報は、申請者を表す情報と、持ち込まれる全ての工具を表す情報とを含む。当該全ての工具に、残置される工具がある場合、事前申請情報は、当該残置される工具に関連付けられた残置情報を含む。事前申請情報の入力では、下記のうちの少なくとも一つが行われてよい。
・申請者の氏名や顔画像等が入力される。
・申請者により撮影された持ち込まれる工具毎の撮影画像が事前申請情報に含められる。少なくとも一つの工具の過去の工具画像が入退場管理サーバ400から申請管理サーバ520に格納されている場合、当該工具の工具画像が申請管理サーバ520から申請端末510に取得され事前申請情報に含められてもよい。
・一つ又は複数の持ち込まれる工具のうち所定のエリア54に残置する工具がある場合、当該工具に、工具画像及び残置情報が関連付けられる。残置情報は、残置期限又は残置場所等の情報を含む。例えば、申請端末510が、持ち込まれる工具毎の情報を表示し、いずれの工具が残置される工具であるのかの入力、及び、残置期限等の入力を受け付ける。
【0083】
作業者(申請者)の入場時に、工具撮像が行われる(S802)。すなわち、入退場エリア54に設けられたカメラ100により、作業者(申請者)により持ち込まれる全ての工具が撮影される。ここでは、例えば、全ての工具の一つの全体画像が撮影される。全体画像が、画像処理装置200に入力される。
【0084】
画像処理装置200を含む持込み検査装置15が、持込み情報を生成する(S803)。具体的には、画像処理部220が、入力された全体画像に対して、シルエット抽出処理、RGB色判定処理、カウント処理及びカテゴリ推定処理を行う。トリミング部230が、全体画像に対してトリミング処理を行う。これにより、全体画像に写っている工具毎に工具画像、カテゴリ名、外形、色及び員数等の情報が関連付けられた画像処理結果情報が生成される。画像処理結果情報は、全体画像、及び、入場時の時刻や入退場エリア54の場所を表す情報を含んでよい。また、画像処理結果情報は、入場時の作業者の顔の撮影画像を含んでいてもよい。この画像処理結果情報の少なくとも一部が、持込み情報に相当する。結果出力部240が、画像処理結果情報(持込み情報を含んだ情報)を検査端末300に送信する。
【0085】
検査端末300により受け付けられた持込み情報が受付端末610により受け付けられた事前申請情報に適合している場合、作業者の入場が承認され、事前申請情報及び持込み情報の少なくとも一部を含む情報が入退場管理サーバ400の入退場管理テーブル900及びグループ管理テーブル1000に登録される(S804)。S804では、例えば、下記が行われる。
・事前申請情報と持込み情報との比較は、検査員の目視により行われてもよい。
・事前申請情報が工具画像を含んでいる場合、事前申請情報中の工具画像と画像処理結果情報中の工具画像とが適合するか否かの判定が、持ち物検査装置15の判定部により行われてよい。この「判定部」は、画像処理装置200の判定部270を含んでいてもよいし、受付端末610及び検査端末300の少なくとも一部の機能を含んでいてもよい。
・持込み情報が事前申請情報に適合しているか否かの判定結果が判定入力部350により入力される。
【0086】
作業者の退場時に、工具撮像が行われる(S805)。すなわち、入退場エリア54に設けられたカメラ100(例えば固定カメラやモバイル型のカメラ)により、作業者により持ち出される全ての工具が撮影される。ここでは、例えば、全ての工具の一つの全体画像が撮影される。全体画像が、画像処理装置200に入力される。
【0087】
画像処理装置200を含む持込み検査装置15が、持出し情報を生成する(S806)。具体的には、画像処理部220が、入力された全体画像に写っている工具毎に工具画像、カテゴリ名、外形、色及び員数等の情報が関連付けられた画像処理結果情報が生成される。画像処理結果情報は、全体画像、及び、退場時の時刻や入退場エリア54の場所を表す情報を含んでよい。また、画像処理結果情報が、作業者の顔の撮影画像を含んでいてもよい。この画像処理結果情報の少なくとも一部が、持出し情報に相当する。結果出力部240が、画像処理結果情報(持出し情報を含んだ情報)を検査端末300に送信する。
【0088】
その後、退場判定が行われる。退場判定は、S807、S808及びS810を含む。
【0089】
すなわち、画像処理装置200の判定部270は、入退場管理テーブル900及びグループ管理テーブル1000から入場入力部250を介して取得された情報(例えば、持込み情報(及び特記事項923)及び情報1001~1010)と、入退場管理テーブル900から退場入力部260を介して取得された持出し情報とを比較する(S807)。
【0090】
画像処理装置200の判定部270は、持込み情報が表す工具の中に、持出し情報が表す工具に含まれていない工具である残置工具がある場合、残置が適正か否かを判定する(S808)。S808の判定では、入退場管理テーブル900及びグループ管理テーブル1000が使用される。残置が適正か否かは、例えば、下記のいずれかの要件が満たされるか否かである。
・残置工具が、残置条件が関連付けられている工具であり、残置条件が満たされている。例えば、残置条件が残置期限を含む場合、退場時の時刻は、残置期限に達していない。すなわち、作業者の退場日時が残置期限より早い場合には、その作業者が退場する際に、対象の工具を残置するものとして判断することができる。また、例えば、残置条件が残置場所を含む場合、当該残置場所が表す場所に設置されているカメラ(図示せず)により撮影された画像に、残置工具が写っている(例えば、その画像が画像処理部220により処理されることにより得られた画像又は外形等が、残置工具の画像1010又は外形等に適合する)場合には、残置条件に適しているか判定することができる。つまり、残置された工具が所定エリア内で持ち出し等されないことが特定できるため、所定エリア内の安全性を向上させることができる。
【0091】
残置工具があるが残置が適正でない場合(S808:NO)、判定部270は、不当な残置工具があることを表す情報を通知する(S809)。当該情報は、例えば、検査端末300に通知され検査端末300により表示されてよい。
【0092】
残置工具が無い、又は、残置工具があるが残置は適性の場合(S808:YES)、判定部270は、残置工具以外の全ての持込み工具が全ての持出し工具と一致するか否かを判定する(S810)。
【0093】
S810の判定結果が真の場合(S810:YES)、判定部270が、正当を意味する結果(例えば、不当な残置工具が無いことを意味する結果)を表す情報を通知する(S811)。一方、S810の判定結果が偽の場合(S810:NO)、判定部270が、不当を意味する結果(例えば、残置申請の無い工具が残置されていることを意味する結果)を表す情報を通知する(S812)。S811及びS812において、情報は、例えば、検査端末300に通知され検査端末300により表示されてよい。
【0094】
以上の実施形態の説明を、例えば、下記のように総括することができる。下記の総括は、上述の補足説明や変形例の説明を含んでよい。
【0095】
持ち物検査システム10が、判定部270と、出力部とを有する。判定部270は、工事現場51(所定のエリアの一例)への入場時の作業者X(対象者の一例)の持込み情報と、工事現場51からの退場時の作業者Xの持出し情報とに基づき、作業者Xの退場時の工具(持ち物の一例)の正当性の判定である退場判定を行う。出力部は、退場判定の結果に関する情報を通知する。このように、入場時の持込み情報の他に退場時の持出し情報を用いた判定がされるので、工事現場51に持ち込まれた工具が持ち出されたか否かを正確に特定することができる。
【0096】
なお、持込み情報は、入場画像に基づく情報でよい。入場画像は、入場時の全持込み工具の撮影画像でもよいし、個々の持込み工具の撮影画像でもよい。
【0097】
また、持出し情報は、退場画像に基づく情報でよい。退場画像は、退場時の全持出し工具の撮影画像でもよいし、個々の持出し工具の撮影画像でもよい。
【0098】
また、判定部270は、画像処理装置200に含まれる機能であるが、判定部270は、画像処理装置200に代えて又は加えて一つ以上の装置に存在する機能であってもよい。例えば、判定部270のうち退場判定を行う機能は画像処理装置200に備えられ後述の入場判定を行う機能は受付端末610に備えられてもよい。また、「退場判定」は、退場時の工具(持ち物の一例)が持ち込まれた工具と一致するか否かの第1の判定でもよいし、第1の判定の結果を基に退場が正当か否かの第2の判定を含んでもよい。第1の判定の結果が表示され、第2の判定は、検査員等の人間により行われてもよい。
【0099】
また、「出力部」は、結果出力部240の一例でもよいし、結果出力部240、表示制御部330及び結果表示部340の組合せの一例でもよい。退場判定の結果に関する情報の通知先は、検査員(ユーザの一例)の情報処理端末(例えば、検査端末300又は受付端末610)でもよいし、入退場エリア54の退場ゲート(図示せず)の開閉を制御する制御装置であってもよい。前者の場合、退場判定の結果に関する情報が検査員に対し表示され、検査員が、作業者の退場の許否を決定してよい。後者の場合、制御装置が、退場判定の結果に関する情報に応じて、退場ゲートの開閉を制御してよい。
【0100】
判定部270が、工事現場51への入場の事前申請を表す事前申請情報に持込み情報が適合するか否かの判定である入場判定を行ってよい。出力部が、入場判定の結果に関する情報を通知してよい。入場判定の結果に関する情報の通知先は、検査員の情報処理端末でもよいし、入退場エリア54の入場ゲート(図示せず)の開閉を制御する制御装置であってもよい。前者の場合、入場判定の結果に関する情報が検査員に対し表示され、検査員が、作業者の入場の許否を決定してよい。後者の場合、制御装置が、入場判定の結果に関する情報に応じて、入場ゲートの開閉を制御してよい。入場判定の例は、下記(a)乃至(c)のうちの少なくとも一つでよい。
(a)事前申請情報が、工事現場51に入場する作業者の識別情報を含んでよい。入場判定は、事前申請情報における作業者識別情報が、作業者Xの識別情報に適合するか否かの判定を含んでよい。これにより、事前申請情報において申請された者が作業者として入場するか否かの本人確認を入場時に行うことができる。
(b)事前申請情報が、工事現場51に持ち込まれる各工具を表す情報を含んでよい。工具を表す情報は、工具のカテゴリ名や撮影画像を含んでよい。入場判定は、事前申請情報により表わされる工具と持込み情報により表される工具とが適合するか否かの判定を含んでよい。これにより、事前申請情報において申請された工具と同じ工具が持込み工具であるかのチェックを入場時に行うことができる。
(c)(b)において次の構成が採用されてよい。すなわち、作業者Xの工事現場51への入場のための次回以降の事前申請において事前申請情報に含めることが可能な一つ又は複数のフィードバック画像が送信されてよい。送信元は、持ち物検査システム10でよく、送信先は、申請者が利用又はアクセス可能な情報処理システムでよい。入場時において、工具は、工事現場51の入退場エリア54(入場エリアの一例)に固定されたカメラ100(入場カメラの一例)により撮影されてよい。退場時において、工具は、工事現場51の入退場エリア54(退場エリアの一例)に固定されたカメラ100(入場カメラと同じ又は異なるカメラである退場カメラの一例)により撮影されてよい。フィードバック画像は、入場時及び退場時の少なくとも一つにおける作業者Xの一つ又は複数の工具の少なくとも一つの画像でよい。事前申請情報に画像が含まれている場合、入場判定は、事前申請情報における画像と、入場時に持ち込まれた工具の画像とが適合するか否かの判定を含んでよい。このように、事前申請情報における画像は、入退場エリア54に固定されたカメラ100により撮影された画像(又はその画像から取得された画像)である。このため、事前申請情報における撮影画像と入場時の撮影画像の撮影条件(例えば、カメラ100から被写体としての工具までの距離)は同一又は類似する。故に、入場時に同カメラ100により撮影された画像(又はその画像から取得された画像)との比較照合において一致が得られる可能性が高い。これは、検査員のチェック負担の削減に貢献する。
【0101】
退場判定は、持込み情報と持出し情報の他に、イレギュラー申請を表すイレギュラー申請情報に基づく判定でよい。イレギュラー申請は、入場時の申請、又は、入場後退場前の申請であり、持ち物の持込み又は残置の申請でよい。これにより、事前申請において予定されていなかった持込み又は残置に対処可能である。
【0102】
退場判定は、作業者Xが属するグループT(作業者グループの一例)のグループ持込み情報と、グループTのグループ持出し情報とに基づく判定でよい。グループ持込み情報は、グループTに属する作業者毎の持込み情報を含んでよい。グループ持出し情報は、グループTに属する作業者毎の持出し情報を含んでよい。これにより、作業者グループ単位で、退場が正当か否かの判定が可能である。例えば、グループTに属する全作業者は、一緒に入場又は退場してもよいし、異なる時刻に入場又は退場してもよい。作業者グループ単位の退場判定に関し、例えば、下記のうちの少なくとも一つが期待される。
・グループ持込み情報により表される全ての工具(つまり、グループTにより持ち込まれた全ての工具)と、グループ持出し情報により表される全ての工具(つまり、グループTにより持ち出される全ての工具)とが一致の場合に、退場判定の結果が、作業者Xの退場が正当であることを意味する結果でよい(作業者Xは、グループTのうち最後の退場者でよい)。これにより、グループTにより持ち込まれた工具が全て持ち出されるということが特定される。
・工事現場51について複数の入場エリアがあってもよく、その場合、当該複数の入場エリアの各々について、当該入場エリアを通過して入場する作業者の持込み情報が取得されてよい。また、工事現場51について複数の退場エリアがあってもよく、その場合、当該複数の退場エリアの各々について、当該退場エリアを通過して退場しようとする作業者の持出し情報が取得されてよい。グループ持込み情報は、一つ又は複数の入場エリアのいずれかを通過した、グループTに属する作業者毎の持込み情報を含んでよい。グループ持出し情報は、一つ又は複数の退場エリアのいずれかを通過しようとする、グループTに属する作業者毎の持出し情報を含んでよい。これにより、いずれの入場エリアからの入場やいずれの退場エリアからの退場があっても作業者グループ単位での退場判定が可能である。
【0103】
持込み情報により表される一つ又は複数の工具のうちの一つ以上の工具の各々に、当該工具の残置条件を表す残置情報が関連付けられてよい。この場合、退場判定は、持込み情報及び持出し情報の他に、一つ以上の工具の各々の残置情報に基づく判定でよい。残置条件は、持ち物がいつまで残置されるかである残置期限と、持ち物がどこに残置されるかである残置場所とのうちの少なくとも一つを含んでよい。これにより、持出し工具に持込み工具が含まれていなくても持ち出されない工具の残置が正当か否かを判定し、以って、退場が正当か否かを判定できる。
【0104】
例えば、退場判定は、グループTのグループ持込み情報及びグループ持出し情報と、グループTに属する少なくとも一の作業者の工具に残置情報が関連付けられている場合には当該残置情報とに基づく判定でよい。これにより、作業者グループ単位で、持出し工具に持込み工具が含まれていなくても持ち出されない工具の残置が正当か否かを判定できる。
【0105】
また、残置される工具毎に、残置条件が設定されてよい。これにより、残置対象の工具個々に正確な残置条件を関連付けることができる。
【0106】
退場判定は、下記の(A)及び(B)の判定を含んでよい。これにより、作業者毎に又は作業者グループ単位で、適性な残置工具の有無に関わらず正しく退場判定を行うことができる。
(A)作業者Xの退場時の持出し情報又はグループ持出し情報により表される全ての工具が、持込み情報又はグループ持込み情報により表される全ての工具に含まれているか否かの判定。
(B)少なくとも一つの残置工具がある場合、全ての残置工具の各々が適正な残置工具であるか否かの判定。
【0107】
なお、残置工具は、持込み情報又はグループ持込み情報により表される全ての工具のうち、持出し情報又はグループ持出し情報により表される工具に含まれていない工具でよい。適正な残置工具は、下記の(x)又は(y)でよい。
(x)当該残置工具の残置条件を表す残置情報が関連付けられている持ち物であって、当該残置情報が表す残置条件が満たされている工具。
(y)グループTに未だ退場していない作業者がいて、当該作業者により持ち出されることが期待される工具(すなわち、グループTに入場中の作業者が一人でもいれば、残置工具があってもその作業者に持ち出されることが期待される)。
【0108】
以上、一実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実行することが可能である。所定のエリアは、上述のように、工事現場や医療設備等にも利用でき、本発明は、所定のエリアに持ち込まれた工具や物質を特定することによって生じた種々のトラブル発生の防止をすることができる。また、工具や所定の物質等を所定のエリアに持ち込んだ作業員や持ち込んだ時間や作業を特定できるためトラブルが生じた範囲を追跡可能となり、従来よりもトレーサビリティ性が高い所定のエリア内の物品管理に貢献することができる。また、入退場の都度に申請が必ずしも必要でなく、例えば、申請は一定期間に一度あればよく、その期間において退場の都度に退場判定がされてよい。
【符号の説明】
【0109】
10:持ち物検査システム