特許第5871296号(P5871296)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 テクノミライの特許一覧

特許5871296スマートセキュリティ・デジタルシステム、方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】5871296
(24)【登録日】2016年1月22日
(45)【発行日】2016年3月1日
(54)【発明の名称】スマートセキュリティ・デジタルシステム、方法及びプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20160216BHJP
   G08B 13/196 20060101ALI20160216BHJP
   G08B 25/00 20060101ALI20160216BHJP
   G08B 25/04 20060101ALI20160216BHJP
【FI】
   H04N7/18 D
   G08B13/196
   G08B25/00 520D
   G08B25/04 E
【請求項の数】6
【全頁数】24
(21)【出願番号】特願2015-556892(P2015-556892)
(86)(22)【出願日】2015年8月19日
(86)【国際出願番号】JP2015073208
【審査請求日】2015年11月25日
【早期審査対象出願】
(73)【特許権者】
【識別番号】505048518
【氏名又は名称】株式会社 テクノミライ
(74)【代理人】
【識別番号】100110191
【弁理士】
【氏名又は名称】中村 和男
(72)【発明者】
【氏名】三輪 和夫
【審査官】 佐野 潤一
(56)【参考文献】
【文献】 国際公開第2010/116969(WO,A1)
【文献】 特開2013−153304(JP,A)
【文献】 特開2009−188689(JP,A)
【文献】 特開2002−234440(JP,A)
【文献】 特開2012−104022(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08B 13/196
G08B 25/00
G08B 25/04
(57)【特許請求の範囲】
【請求項1】
店舗内の所定監視対象エリアを撮影するように設置された監視カメラで撮影された映像を監視して万引常習者などによる万引を防止するスマートセキュリティ・デジタルシステムであって、
前記店舗において複数の従業員がそれぞれ携帯する携帯端末装置の位置情報を取得する位置情報取得手段と、
万引常習者又は行動不審者の顔画像を蓄積する顔画像記憶手段と、
前記監視カメラで撮影された人物の顔画像と、前記顔画像記憶手段に蓄積された万引常習者又は行動不審者の顔画像とを照合する顔認証照合手段と、
該顔認証照合手段による照合結果が一致した場合、前記位置情報取得手段から取得した位置情報に基づいて、前記照合結果が一致した万引常習者又は行動不審者に最も近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信する制御手段と、
前記監視カメラが撮影した映像を複数の分割画面からなる表示画面に画像合成するとともに、前記分割画面の一つをズームアップするズームアップ処理を行う画像処理手段とを有する監視装置と、
前記監視装置から送信される情報に対して応答ができないことを予め設定する対応不可設定部を有し、該対応不可設定部により対応不可が設定されている場合、前記監視装置から送信される情報に対して、当該対応不可の応答を返す前記携帯端末装置とを備え、
前記制御手段は、前記携帯端末装置から対応不可の応答が返された場合、前記照合結果が一致した万引常習者又は行動不審者に次に近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信するとともに、当該携帯端末装置の前記表示画面については、前記万引常習者又は行動不審者を撮影した前記監視カメラの映像を映した画面にズームアップさせることを特徴とするスマートセキュリティ・デジタルシステム。
【請求項2】
前記万引常習者又は行動不審者に関する情報は、前記監視対象エリア上に前記万引常習者又は行動不審者の位置と該情報を送信した携帯端末装置の位置とを重ねた情報を含むことを特徴とする請求項1記載のスマートセキュリティ・デジタルシステム。
【請求項3】
前記万引常習者又は行動不審者に関する情報は、前記監視対象エリアにいる前記万引常習者又は行動不審者の顔画像を含むことを特徴とする請求項1又は2記載のスマートセキュリティ・デジタルシステム。
【請求項4】
前記位置情報取得手段は、前記監視対象エリアに設置された複数のRFIDリーダによる従業員が携帯する認証タグの認証により前記監視対象エリアにおける従業員の位置情報、又は、前記携帯端末装置が備えるGPS機能部からの位置情報を取得することを特徴とする請求項1記載のスマートセキュリティ・デジタルシステム。
【請求項5】
店舗内の所定監視対象エリアを撮影するように設置された監視カメラで撮影された映像を監視して万引常習者などによる万引を防止するスマートセキュリティ・デジタル方法であって、
監視装置は、
前記店舗において複数の従業員がそれぞれ携帯する携帯端末装置の位置情報を取得する位置情報取得ステップと、
万引常習者又は行動不審者の顔画像を蓄積する顔画像記憶ステップと、
前記監視カメラで撮影された人物の顔画像と、前記顔画像記憶ステップに蓄積された万引常習者又は行動不審者の顔画像とを照合する顔認証照合ステップと、
該顔認証照合ステップによる照合結果が一致した場合、前記位置情報取得ステップで取得した位置情報に基づいて、前記照合結果が一致した万引常習者又は行動不審者に最も近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信する制御ステップと、
前記監視カメラが撮影した映像を複数の分割画面からなる表示画面に画像合成するとともに、前記分割画面の一つをズームアップするズームアップ処理を行う画像処理ステップとを有し、
前記携帯端末装置は、
前記監視装置から送信される情報に対して応答ができないことを予め設定する対応不可設定ステップと、
該対応不可設定ステップにより対応不可が設定されている場合、前記監視装置から送信される情報に対して、当該対応不可の応答を返す対応不可応答ステップとを有し、
前記制御ステップは、前記携帯端末装置から対応不可の応答が返された場合、前記照合結果が一致した万引常習者又は行動不審者に次に近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信するとともに、当該携帯端末装置の前記表示画面については、前記万引常習者又は行動不審者を撮影した前記監視カメラの映像を映した画面にズームアップさせることを特徴とするスマートセキュリティ・デジタル方法。
【請求項6】
コンピュータを、
店舗内の所定監視対象エリアを撮影するように設置された監視カメラで撮影された映像を監視して万引常習者などによる万引を防止するスマートセキュリティ・デジタルシステムであって、前記店舗において複数の従業員がそれぞれ携帯する携帯端末装置の位置情報を取得する位置情報取得手段と、万引常習者又は行動不審者の顔画像を蓄積する顔画像記憶手段と、前記監視カメラで撮影された人物の顔画像と、前記顔画像記憶手段に蓄積された万引常習者又は行動不審者の顔画像とを照合する顔認証照合手段と、該顔認証照合手段による照合結果が一致した場合、前記位置情報取得手段から取得した位置情報に基づいて、前記照合結果が一致した万引常習者又は行動不審者に最も近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信する制御手段と、前記監視カメラが撮影した映像を複数の分割画面からなる表示画面に画像合成するとともに、前記分割画面の一つをズームアップするズームアップ処理を行う画像処理手段とを有する監視装置と、前記監視装置から送信される情報に対して応答ができないことを予め設定する対応不可設定部を有し、該対応不可設定部により対応不可が設定されている場合、前記監視装置から送信される情報に対して、当該対応不可の応答を返す前記携帯端末装置とを備え、前記制御手段は、前記携帯端末装置から対応不可の応答が返された場合、前記照合結果が一致した万引常習者又は行動不審者に次に近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信するとともに、当該携帯端末装置の前記表示画面については、前記万引常習者又は行動不審者を撮影した前記監視カメラの映像を映した画面にズームアップさせるスマートセキュリティ・デジタルシステム
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視カメラで撮影された映像を監視して万引常習者等による万引を防止するスマートセキュリティ・デジタルシステム、方法及びプログラムに関する。
【背景技術】
【0002】
小売商業界は、万引き対策に相当の費用を投じている。万引きは、直接的な利益の損失となるばかりか、商品の品薄と欠品により、売上のチャンスロスにより多大な営業損失が発生する。防衛策として、警備員による売場の巡回監視、防犯カメラによる監視、顔認証カメラによる監視等の対策を実施している。
特許文献1には、ゲートに監視カメラを設け、受信した画像から顔情報を取得し、記憶装置に保存されている顔情報を探索して、前記顔情報に対応する人物が撮影されている場合に撮影された店舗内の位置を示す画面を表示する万引き防止システムが記載されている。
特許文献2には、顔認識により万引常習者の来店を店舗係員にアラームによって知らせる顔認証応用万引き検知システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−233133号公報
【特許文献2】特開2008−257487号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、このような従来の万引き防止システムにあっては、万引き常習者の近傍にいる従業員に連絡する方法は、アラーム、インターホン又は無線の携帯装置であるが、近傍に誰がいるのか、また売場の騒音等により近傍の従業員が気づかない、又は品出しや生理的理由により対応できない場合は、警備員の急行対応になるが、その場合はすでに万引き常習者は行為を行い、他の売場に移動していたり、退店している恐れもあり充分ではない。特に、大規模のモール、ホームセンター等では、警備室、事務室等より駆けつけるのは困難であった。
万引き行為をさせないためには、万引き常習者や不審者がいる場合、近傍の売場責任者、従業員、警備員がリアルタイムに急行して、行為をさせないことである。
【0005】
本発明の目的は、商業施設、ホテル、オフイス、多目的用途複合建物、集会所、病院、銀行、劇場、大学、工場、マンション、ターミナルビル、地下街、研究所等において、犯罪行為者、万引常習者又は行動不審者等がいる場合、近傍の従業員等がリアルタイムに現場に急行することができ、万引行為等を防止することができるスマートセキュリティ・デジタルシステム、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明に係るスマートセキュリティ・デジタルシステムは、店舗内の所定監視対象エリアを撮影するように設置された監視カメラで撮影された映像を監視して万引常習者などによる万引を防止するスマートセキュリティ・デジタルシステムであって、前記店舗において複数の従業員がそれぞれ携帯する携帯端末装置の位置情報を取得する位置情報取得手段と、万引常習者又は行動不審者の顔画像を蓄積する顔画像記憶手段と、前記監視カメラで撮影された人物の顔画像と、前記顔画像記憶手段に蓄積された万引常習者又は行動不審者の顔画像とを照合する顔認証照合手段と、該顔認証照合手段による照合結果が一致した場合、前記位置情報取得手段から取得した位置情報に基づいて、前記照合結果が一致した万引常習者又は行動不審者に最も近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信する制御手段と、前記監視カメラが撮影した映像を複数の分割画面からなる表示画面に画像合成するとともに、前記分割画面の一つをズームアップするズームアップ処理を行う画像処理手段とを有する監視装置と、前記監視装置から送信される情報に対して応答ができないことを予め設定する対応不可設定部を有し、該対応不可設定部により対応不可が設定されている場合、前記監視装置から送信される情報に対して、当該対応不可の応答を返す前記携帯端末装置とを備え、前記制御手段は、前記携帯端末装置から対応不可の応答が返された場合、前記照合結果が一致した万引常習者又は行動不審者に次に近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信するとともに、当該携帯端末装置の前記表示画面については、前記万引常習者又は行動不審者を撮影した前記監視カメラの映像を映した画面にズームアップさせることを特徴とする。
【0007】
また、前記制御手段は、前記携帯端末装置から対応不可の応答が返された場合、前記照合結果が一致した万引常習者又は行動不審者に次に近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信することで、前記万引常習者又は行動不審者に最も近くに位置する携帯端末装置を携帯する従業員が品出しや生理的理由により対応できない場合であってもその次に近くに位置する携帯端末装置を携帯する従業員が迅速に対応できる。従業員は、倉庫に行ったり、トイレに行ったりすることがあり、規定位置に留まっているとは限らないため、通報すべき従業員に通報することができない場合が考えられる。このような事態に対処することができる。
【0008】
また、前記制御手段は、前記携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信してから所定時間が経過した場合、前記照合結果が一致した万引常習者又は行動不審者に次に近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信することで、前記万引常習者又は行動不審者に最も近くに位置する携帯端末装置を携帯する従業員が売場の騒音等により気づかない場合であってもその次に近くに位置する携帯端末装置を携帯する従業員が迅速に対応できる。
【0009】
また、前記万引常習者又は行動不審者に関する情報は、前記監視対象エリア上に前記万引常習者又は行動不審者の位置と該情報を送信した携帯端末装置の位置とを重ねた情報を含むことで、該情報を受信した従業員が前記万引常習者等の位置を現場で迅速に認識することができる。
【0010】
また、前記万引常習者又は行動不審者に関する情報は、前記監視対象エリアにいる前記万引常習者又は行動不審者の顔画像を含むことで、該情報を受信した従業員が前記万引常習者等をその顔を見ることによって現場で迅速に特定することができる。
【0011】
また、前記制御手段は、前記監視対象エリアにおける前記万引常習者又は行動不審者の移動を追跡し、前記万引常習者又は行動不審者が、最も近い前記携帯端末装置の位置から所定距離離れた場合、他の前記携帯端末装置に対して、前記万引常習者又は行動不審者に関する情報を送信することで、前記万引常習者等が店内を移動した場合でも複数の従業員の連携によって対応できる。
【0012】
また、前記位置情報取得手段は、前記監視対象エリアに設置された複数のRFIDリーダによる従業員が携帯する認証タグの認証により前記監視対象エリアにおける従業員の位置情報、又は、前記携帯端末装置が備えるGPS機能部からの位置情報を取得することで、簡易な構成によって前記従業員の位置情報を取得することができる。
【0013】
また、本発明のスマートセキュリティ・デジタル方法は、店舗内の所定監視対象エリアを撮影するように設置された監視カメラで撮影された映像を監視して万引常習者などによる万引を防止するスマートセキュリティ・デジタル方法であって、監視装置は、前記店舗において複数の従業員がそれぞれ携帯する携帯端末装置の位置情報を取得する位置情報取得ステップと、万引常習者又は行動不審者の顔画像を蓄積する顔画像記憶ステップと、前記監視カメラで撮影された人物の顔画像と、前記顔画像記憶ステップに蓄積された万引常習者又は行動不審者の顔画像とを照合する顔認証照合ステップと、該顔認証照合ステップによる照合結果が一致した場合、前記位置情報取得ステップで取得した位置情報に基づいて、前記照合結果が一致した万引常習者又は行動不審者に最も近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信する制御ステップと、前記監視カメラが撮影した映像を複数の分割画面からなる表示画面に画像合成するとともに、前記分割画面の一つをズームアップするズームアップ処理を行う画像処理ステップとを有し、前記携帯端末装置は、前記監視装置から送信される情報に対して応答ができないことを予め設定する対応不可設定ステップと、該対応不可設定ステップにより対応不可が設定されている場合、前記監視装置から送信される情報に対して、当該対応不可の応答を返す対応不可応答ステップとを有し、前記制御ステップは、前記携帯端末装置から対応不可の応答が返された場合、前記照合結果が一致した万引常習者又は行動不審者に次に近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信するとともに、当該携帯端末装置の前記表示画面については、前記万引常習者又は行動不審者を撮影した前記監視カメラの映像を映した画面にズームアップさせることを特徴とする。
【0014】
また、本発明は、コンピュータを、店舗内の所定監視対象エリアを撮影するように設置された監視カメラで撮影された映像を監視して万引常習者などによる万引を防止するスマートセキュリティ・デジタルシステムであって、前記店舗において複数の従業員がそれぞれ携帯する携帯端末装置の位置情報を取得する位置情報取得手段と、万引常習者又は行動不審者の顔画像を蓄積する顔画像記憶手段と、前記監視カメラで撮影された人物の顔画像と、前記顔画像記憶手段に蓄積された万引常習者又は行動不審者の顔画像とを照合する顔認証照合手段と、該顔認証照合手段による照合結果が一致した場合、前記位置情報取得手段から取得した位置情報に基づいて、前記照合結果が一致した万引常習者又は行動不審者に最も近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信する制御手段と、前記監視カメラが撮影した映像を複数の分割画面からなる表示画面に画像合成するとともに、前記分割画面の一つをズームアップするズームアップ処理を行う画像処理手段とを有する監視装置と、前記監視装置から送信される情報に対して応答ができないことを予め設定する対応不可設定部を有し、該対応不可設定部により対応不可が設定されている場合、前記監視装置から送信される情報に対して、当該対応不可の応答を返す前記携帯端末装置とを備え、前記制御手段は、前記携帯端末装置から対応不可の応答が返された場合、前記照合結果が一致した万引常習者又は行動不審者に次に近い前記携帯端末装置の位置を判定し、当該携帯端末装置に前記万引常習者又は行動不審者に関する情報を送信するとともに、当該携帯端末装置の前記表示画面については、前記万引常習者又は行動不審者を撮影した前記監視カメラの映像を映した画面にズームアップさせるスマートセキュリティ・デジタルシステムとして機能させるためのプログラムである。
【発明の効果】
【0015】
本発明によれば、万引常習者又は行動不審者がいる場合、その万引常習者等に最も近くにいる従業員等がリアルタイムで現場に急行することができ、万引行為等を防止することができる。
【図面の簡単な説明】
【0016】
図1】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの構成を示すブロック図である。
図2A】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの平常時の16分割画面を示す図である。
図2B】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの異常時のズームアップ画面を示す図である。
図3】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの監視装置の制御部のブロック図である。
図4】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの監視装置の制御部の人物の登録処理を示すフローチャートである。
図5】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの監視装置の制御部の売場レイアウトの登録処理を示すフローチャートである。
図6】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの監視装置の監視制御処理を示すフローチャートである。
図7A】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの最も近い位置にいる従業員に送信される万引常習者又は行動不審者の情報と売場レイアウトを示す図である。
図7B】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの最も近い位置にいる従業員に送信される万引常習者又は行動不審者の詳細情報を示す図である。
図8】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの監視装置の制御部のズームアップ処理を示すフローチャートである。
図9】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの携帯端末装置の監視制御処理を示すフローチャートである。
図10A】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの売場レイアウトの一例を示す図である。
図10B】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの売場レイアウトの一例を示す図である。
図11A】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの売場レイアウトの一例を示す図である。
図11B】本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの売場レイアウトの一例を示す図である。
【発明を実施するための形態】
【0017】
以下、添付図面を参照しながら本発明を実施するための形態について詳細に説明する。
(実施の形態)
図1は、本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの構成を示すブロック図である。
図1に示すように、スマートセキュリティ・デジタルシステム1000は、監視対象エリアの天井等に設置された複数の監視カメラ11と、監視対象エリアの商品棚等に設置されたRFID(Radio Frequency IDentification)リーダ20と、従業員等関係者(以下、従業員という)が携帯しRFIDリーダ20が認証する認証タグ21と、従業員が携帯する携帯端末装置30と、監視対象エリアにおける従業員の位置を捕捉するGPS(Global Positioning System)40と、システム全体を制御する監視装置100と、を備える。
スマートセキュリティ・デジタルシステム1000は、監視対象エリアに設置された監視カメラ11からの映像を監視し、従業員が携帯する携帯端末装置30に万引常習者又は行動不審者の情報を通知して、従業員が万引常習者による万引を防止するシステムである。
【0018】
<監視カメラ11>
店舗等には複数の監視カメラ11が設置されており、人物の映像や監視領域の映像を撮影することが可能である。また、特定の人物又は撮影場所に監視カメラ11を追跡させるものもある。撮影箇所を追跡しない監視カメラであっても、監視カメラ11が複数設置されることで、人物などを多角的に撮影可能である。
監視カメラ11は、人物の顔を撮影する認証用のカメラである。監視カメラ11は、店舗内など監視対象エリアの各所に設置され、人物の顔を撮影する。監視カメラ11が撮影した画像は、監視装置100に出力される。監視カメラ11は、動画像を常時撮影していても、一定時間(例えば数秒)おきに1枚の静止画を撮影してもよい。
【0019】
<RFIDリーダ20>
RFIDリーダ20は、商品に取り付けられたRFタグへの送信に対して応答があるかないかを検出することで、RFタグが付された商品の決済などを管理する。なお、RFタグは、購入するなどして店舗から正当に持ち出しできる状態になった物品からは除去されるか無効化される。
本実施形態では、RFIDリーダ20は、従業員が所持する認証タグ21の認証を行う。RFIDリーダ20は、従業員が所持する認証タグ21の認証により、認証タグ21を携帯する従業員の位置を捕捉する。
【0020】
<携帯端末装置30>
携帯端末装置30は、店舗において複数の従業員がそれぞれ携帯する。携帯端末装置30は、例えばスマートフォン30a、タブレット30b、ノートパソコン30cである。携帯端末装置30は、このほか、携帯電話、PHS(Personal Handy-Phone System)、PDA(Personal Digital Assistants)、専用端末である。本実施の形態では、携帯端末装置30は、各従業員が様々な場所(すなわち現在位置)で使用可能であり、図示しない電話回線を介して監視装置100からのメール又は動画を含む映像等を受信可能である。
本実施の形態では、携帯端末装置30は、スマートフォン30a、タブレット30bの利用を想定しており、各個人が様々な場所(すなわち現在位置)で使用可能である。携帯端末装置30のうちの一つは、図示しない本部・本社に配置される。
携帯端末装置30は、従業員の位置を捕捉するGPS40を備える構成であってもよい。
また、携帯端末装置30は、後記する監視装置100の制御部110(図3参照)から送信される情報に対して応答ができないことを予め設定する対応不可設定部31(対応不可設定手段)を有する。携帯端末装置30は、対応不可設定部31により対応不可が設定されている場合、監視装置100の制御部110から情報に対する送信があると、当該対応不可の応答を返す。
【0021】
<GPS40>
GPS40は、位置情報の電波をGPS衛星等から受信する。GPS40は、GPSアンテナを介して受信した情報より、現在位置情報を、緯度・経度・高度の3つのパラメータとして算出して位置情報を取得する。また、GPS40に代え、又は併用して、基地局及びネットワークを介して携帯電話会社サーバと情報の送受信を行い、携帯端末装置30の現在位置情報を取得することもできる。取得した位置情報は、適時、監視装置100に送信される。
なお、本実施形態では、位置情報を取得する手段として、GPS衛星を利用した例を示したが、GPS以外の、基地局との位置関係を利用した方式でもよい。例えば、モバイル端末である携帯端末装置30として、Android(登録商標)スマートフォンやカメラ付き高機能携帯電話機を使用する場合、GPS40に代えて又は併用して、基地局及び携帯電話通信網(図示省略)を介して携帯電話会社サーバと情報の送受信を行い、接近確認から自端末の現在位置情報を取得することも可能である。
また、Wi-Fi測位による位置情報取得、すなわちWi-Fiアクセスポイントと所定の位置情報サービスを利用した位置情報取得を用いてもよい。
【0022】
[監視装置100]
監視装置100は、例えば店舗の管理室に設置され、店舗内の監視対象エリアを集中管理する。監視装置100は、一般的なサーバ計算機、パーソナルコンピュータ等であってよい。
監視装置100は、制御部110(制御手段)と、入力部120と、記憶部130と、表示部140と、出力部150と、顔情報データベース(DB)160(顔画像記憶手段)と、画像処理部170(画像処理手段)と、インタフェース(I/F)部180と、通信部190と、を備え、各部はバス195により接続される。
監視装置100は、万引常習者又は行動不審者である人物(以下適宜、特定者という)が店舗に現れたことが検出された場合、この人物の情報と店舗の情報をネットワークを通して本部・本社や警備会社システムに通知する。
【0023】
以降、「○○部は」と主体を記した場合は、制御部110が必要に応じROMから各プログラムを読み出した上でRAMにロードし、各機能(後記)を実行するものとする。各プログラムは、予め記憶部130に記憶されていてもよいし、他の記憶媒体又は通信媒体を介して、必要なときに監視装置100に取り込まれてもよい。
【0024】
制御部110は、CPU(Central Processing Unit)等により構成され、監視装置100全体を制御するとともに、監視プログラムを実行して、スマートセキュリティ・デジタルシステムとして機能させる。制御部110の詳細な構成については、後記する。
入力部120は、キーボード、マウス、表示部140の画面上に設けられたタッチパネル、マイクなど、監視装置100のユーザが監視装置100に指示などを入力するための入力機器である。
記憶部130は、監視カメラ11から受信した静止画や動画、制御部110が用いる各種データ、プログラムなどを記憶する。
表示部140は、監視装置100の動作状況をはじめ、監視カメラ11から受信した画像、監視装置100を操作するためのGUI(Graphical User Interface)などを表示する。
出力部150は、例えばオーディオインタフェースであり、店舗内の音響システム155に対して監視装置100からの音声信号を出力する。監視装置100から音響システム155へ出力する音声信号としては、例えば入力部120に設けられたマイクなどの音声入力装置から入力された音声信号や、記憶部130に記憶された音楽データを制御部110が再生した音声信号であってよい。音響システム155は、アンプや店舗内に配置された複数のスピーカを備え、監視装置100から入力された音声信号を店舗内に放送する。
顔情報DB160は、万引常習者、行動不審者、及び店舗関係者等の顔画像(顔情報)を蓄積する。
【0025】
画像処理部170は、受信した画像に対して予め定められた処理を行う。予め定められた処理には、輪郭抽出、画像のリサイズ、解像度変換処理などがある。
また、画像処理部170は、従業員の携帯端末装置30に送信する顔画像に、赤枠や黄色枠を付すなどの画像処理を行う。
【0026】
画像処理部170は、監視カメラ11が撮影した映像を複数の分割画面からなる表示画面に画像合成するとともに、この分割画面の一つをズームアップするズームアップ処理を行う。
画像処理部170は、複数の監視カメラ11が撮影した人物の映像や監視領域の映像を、マトリクス状に整列配置する画像合成処理を行う。例えば、画像処理部170は、図2Aに示すように、携帯端末装置30の表示画面50を縦、横それぞれ4の小画面(4×4=16分割画面)に分割し、それぞれの子画面に監視カメラ11が撮影した映像を表示する処理を行う。一例を挙げると、縦「1」横「1」で指定される1×1小画面には、第1監視カメラ11の撮影映像を配置し、縦「1」横「2」で指定される1×2小画面には、第2監視カメラ11の撮影映像を配置し、以下同様に、縦「4」横「4」で指定される4×4小画面には、第16監視カメラ11の撮影映像を配置するように画面合成する。この場合、画像処理部170は、携帯端末装置30の表示画面50に全ての子画面を一覧表示が可能なように解像度変換処理を実行する。
図2Aの16分割画面は、16台の監視カメラ11で撮影した店内の様子を表示している。
なお、16分割画面は一例であり、3×4(12分割画面)や3×3(9分割画面)でもよい。また、表示画面の配置例もどのようなものでもよい。
【0027】
画像処理部170は、制御部110からの指示に基づき、指定された小画面の映像を、携帯端末装置30の表示画面50の大きさまでズームアップするズームアップ処理を実行する。このズームアップ処理は、画像処理によって画像を拡大するいわゆるデジタルズーム処理である。これにより、「16分割画面表示」(図2A)の中で、指定された小画面の映像を、携帯端末装置30の表示画面50の大きさまでズームアップする。例えば、図2Bに示すように、図2Aの4×4小画面の映像(第16監視カメラ11の撮影映像)を、携帯端末装置30の表示画面50の大きさまでズームアップする。図2Bのズームアップ画面は、異常時に、第16監視カメラ11で撮影した現場の様子を表示している。
【0028】
I/F部180は、監視対象エリア内に配置された各監視カメラ11と監視装置100とを接続する。また、I/F部180は、監視対象エリア内に配置された各RFIDリーダ20とを接続し、RFIDリーダ20に近接した従業員が所持する認証タグ21の認証の結果を監視装置100に送出する。また、I/F部180は、図示しない本部・本社や警備会社などにネットワーク又は専用回線により接続する。顔情報DB160に登録されている人物の顔などの基礎データは、I/F部180を介して図示しない本部・本社や警備会社などからデータを入手して、顔情報DB160が構築される。また、図示しない本部・本社や警備会社などと情報を交換して、相互の顔情報DBが最新の顔画像(顔情報)に更新可能である。なお、警備会社は、本実施の形態に係るスマートセキュリティ・デジタルシステムの必須構成要素ではない。
【0029】
通信部190は、基地局を介して携帯端末装置30とデータを送受信する。本実施の形態では、通信部190は、基地局を介して携帯端末装置30に一定期間ごとに各携帯端末装置30の位置情報を受信するとともに、万引常習者又は行動不審者の認識時には万引常習者又は行動不審者に関する情報(メール送信、動画を含む映像など)を送信する。
【0030】
[制御部110]
図3は、本発明の実施の形態に係るスマートセキュリティ・デジタルシステムの監視装置100の制御部110のブロック図である。
図3に示すように、制御部110は、顔認証機能部111(顔認証照合手段)と、万引常習者又は行動不審者を認定する特定者認定部112と、万引常習者、行動不審者及び従業員の位置を判定する位置判定部113(位置情報取得手段)と、監視対象エリアのレイアウト情報を記憶するレイアウト情報記憶部114と、認定された者を追跡する認定者追跡部115と、取得した位置情報に基づいて万引常習者又は行動不審者に最も近い携帯端末装置30に優先的に万引常習者又は行動不審者に関する情報を送信する送信制御部116と、を備える。
【0031】
制御部110は、顔認証機能部111による照合結果が一致した場合、位置判定部113から取得した位置情報に基づいて、照合結果が一致した万引常習者又は行動不審者に最も近い携帯端末装置30の位置を判定し、当該携帯端末装置30に万引常習者又は行動不審者に関する情報を送信する。
制御部110は、携帯端末装置30に万引常習者又は行動不審者に関する情報を送信してから所定時間が経過した場合、又は、対応不可設定部31から対応不可の応答が返された場合、照合結果が一致した万引常習者又は行動不審者に次に近い携帯端末装置30の位置を判定し、当該携帯端末装置30に万引常習者又は行動不審者に関する情報を送信する。
【0032】
制御部110は、万引常習者又は行動不審者を発見したとき、異常時に現場に急行する携帯端末装置30の表示画面50だけを、万引常習者又は行動不審者を撮影した監視カメラの30の映像を映した画面(図2A)にズームアップするズームアップ制御を実行する。すなわち、制御部110は、万引常習者又は行動不審者を発見したとき、現場に急行する携帯端末装置30の表示画面50だけが、元の「16分割画面」(図2A)から万引常習者又は行動不審者を撮影した監視カメラの30の映像を映したズームアップ画面(図2B)となるように制御する。万引常習者又は行動不審者を撮影した監視カメラの30の映像には、当該現場の監視領域の映像も映し出されている。具体的には、制御部110は、画像処理部170(図1)に対して、万引常習者又は行動不審者を撮影した監視カメラの30の映像を映した小画面(図2A)を携帯端末装置30の表示画面50の大きさまでズームアップする制御信号を出力する。画像処理部170は、この制御信号に基づき、万引常習者又は行動不審者を撮影した監視カメラの30の映像を映した小画面(図A)を携帯端末装置30の表示画面50の大きさまでズームアップ処理する。制御部110は、異常時に現場に急行する携帯端末装置30には、不審者等を撮影した監視カメラ11の画像(16分割画面の内の小画面の1つ)をズームアップした画面を送信する。なお、制御部110は、他の携帯端末装置30とネットワーク(図1)に繋がれた管理センタ(図示省略)には、平常時と同様の「16分割画面」(図2A)を送信する。
【0033】
ここで、万引常習者又は行動不審者に関する情報は、監視対象エリア上に万引常習者又は行動不審者の位置と従業員の位置を重ねた情報を含む。また、万引常習者又は行動不審者に関する情報は、監視対象エリアにいる万引常習者又は行動不審者の顔画像を含む。
【0034】
<顔認証機能部111>
顔認証機能部111は、監視カメラ11から受信した画像に含まれる人物の顔が、顔情報DB160に登録されている人物の顔であるかどうかを判定する顔認証を行う。顔認証は、受信画像から抽出した顔情報と顔情報DB160に登録されている顔情報との類似度に基づいて行うことができる。具体的には、顔情報がテンプレート画像を含む場合、テンプレート画像同士の相関度を求めることができる。
また、顔認証機能部111は、顔領域から、顔認証に用いるための、人間の顔の特徴を表す情報(顔情報)を取得し、個々の画像と関連付けて顔情報データベース(DB)160に登録する。また、顔認証機能部111は、図示しない本部から送信される人物の画像を受信し、顔情報DB160に登録する。
【0035】
本実施形態では、顔認証機能部111は、下記の顔情報及び関連情報を登録する。
・万引常習者の登録
・万引常習者の累積認識記憶
・行動不審者の登録
・店舗関係者等の登録
【0036】
<特定者認定部112>
特定者認定部112は、監視カメラ11で撮影された人物の顔画像と、顔情報DB160に蓄積された万引常習者又は行動不審者の顔画像とを照合し、また登録済みであればどの人物かを特定する。
特定者認定部112は、上記顔認証処理により、万引常習者及び行動不審者を認定する。行動不審者の認定は、例えば下記の方法を採る。
・アイコンタクト記憶認証
・カメラの目線確認回数記憶認証
・時間内行動回数記憶認証
上記のように、受信した画像に含まれる人物が、監視カメラ11の目線を何度も確認するような場合には行動不審者と判定できる。
【0037】
<位置判定部113>
位置判定部113は、監視対象エリア内における複数の携帯端末装置30の位置情報をGPS位置情報やRFIDリーダ20により取得する。具体的には、位置判定部113は、監視対象エリアに設置された複数のRFIDリーダ20による従業員が携帯する認証タグの認証により監視対象エリアにおける従業員の位置情報を取得する。この場合、位置判定部113は、万引常習者又は行動不審者と認定された者の位置を監視カメラ11の設置位置と照らし合わせて判定する。すなわち、位置判定部113は、従業員が各RFIDリーダ20に近接した場合、従業員が所持する認証タグ21の各RFIDリーダ20の認証により、従業員が該当RFIDリーダ20に近接していると判定する。RFIDリーダ20の設置位置は、レイアウト情報記憶部114に予め登録されているので、従業員の位置を判定することができる。
また、位置判定部113は、携帯端末装置30が備えるGPS機能部からの位置情報を取得する。
【0038】
<レイアウト情報記憶部114>
レイアウト情報記憶部114は、監視カメラ11の位置、RFIDリーダ20の設置位置、エリア名称等から監視レイアウト情報を予め登録する。
【0039】
<認定者追跡部115>
認定者追跡部115は、万引常習者又は行動不審者と認定された者を複数の監視カメラ11で追跡して検知し、監視対象エリア内で移動履歴を確認する。認定者追跡部115は、万引常習者又は行動不審者の監視対象エリアの移動を追跡し、万引常習者又は行動不審者が、最も近い携帯端末装置30の位置から所定距離離れた場合、他の携帯端末装置30に対して、万引常習者又は行動不審者に関する情報を送信する。
【0040】
<送信制御部116>
送信制御部116は、顔認証機能部111による照合結果が一致した場合、位置判定部113から取得した位置情報に基づいて、照合結果が一致した万引常習者又は行動不審者に最も近い携帯端末装置30の位置を判定し、当該携帯端末装置30に万引常習者又は行動不審者に関する情報を送信する。
詳細は後記するが、送信制御部116は、万引常習者又は行動不審者の位置と最も近い従業員に、メールにて音声・動画・行動不審者の位置情報(レイアウト上に印を付した情報)を送信する。複数のフロアの施設の場合、近さはフロアごとに判定する。また、万引常習者は例えば赤色表示、行動不審者は例えば黄色表示と区別して送信する。
送信制御部116は、送信した従業員から所定時間(例えば5秒間)経過してもアンサーバック信号がない場合、第2の従業員関係者を選定し、再送信を行う。第2の従業員関係者は、(1) 万引常習者又は行動不審者に2番目に近い従業員等関係者、(2)警備員、店長、店長代行、(3)本部・本社である。
【0041】
以下、上述のように構成されたスマートセキュリティ・デジタルシステムの動作について説明する。
[登録処理]
まず、スマートセキュリティ・デジタルシステムの各種情報の登録処理について説明する。
【0042】
図4は、スマートセキュリティ・デジタルシステムの監視装置100の制御部110の人物の登録処理を示すフローチャートである。本フローは、監視装置100の制御部110(図3)により実行される。
ステップS1では、制御部110の顔認証機能部111は、万引常習者の登録を行う。
万引行為をする者は、過去の事例から見ても、経済的、人間としての癖による要因も大と思われる。そこで、過去にその企業の店舗で万引の事例がある者を、万引常習者として予め顔情報DB160に登録する。具体的には、顔認証機能部111は、顔領域から、顔認証に用いるための、人間の顔の特徴を表す情報(顔情報)を取得し、個々の画像と関連付けて顔情報データベース(DB)160に登録する。また、顔認証機能部111は、図示しない本部から送信される、人物の画像を受信し、顔情報DB160に登録する。
ステップS2では、制御部110の顔認証機能部111は、行動不審者の登録を行う。行動不審者の登録は、例えばアイコンタクト回数、カメラ目線を用いる。
【0043】
万引きを行うものは、人目のない場所に、監視カメラがあるか、ないかをまず見る。万引きをこれから行う者は、監視カメラがあるかないかを確認するために、顔や目、視線を必要以上に動かす。また万引を実行する前に、目的の商品がどこにあるか、売場のレイアウト、状況、従業員、警備員がどこにいるか、いないかを確認する。このために、売場を買い物客に比べて必要以上に移動したり、万引をしようとして辺りを見回したり、その場所にしばらく動かない等の行為が顕著にあるものを、行動不審者として登録する。
ステップS3では、制御部110の顔認証機能部111は、監視装置100側の知りえる人物(従業員、警備員、等関係者の顔、IDタグ情報)の登録を行う。
【0044】
次に、スマートセキュリティ・デジタルシステムの監視エリアレイアウトの登録処理について説明する。
図5は、スマートセキュリティ・デジタルシステムの監視装置100の制御部110の売場レイアウト(監視対象エリア)の登録処理を示すフローチャートである。本フローは、監視装置100の制御部110(図3)により実行される。
ステップS11では、制御部110のレイアウト情報記憶部114は、各監視カメラの配置位置と売場レイアウト(監視対象エリア)を登録する。
ステップS12では、制御部110のレイアウト情報記憶部114は、各RFIDリーダ20の設置位置と売場レイアウト(監視対象エリア)を登録する。
ステップS13では、制御部110のレイアウト情報記憶部114は、主要なレイアウト情報を登録する。主要なレイアウト情報には、例えば売場出入口、階数売場、階数テナント名がある。
【0045】
[監視装置100の監視制御]
図6は、スマートセキュリティ・デジタルシステムの監視装置100の監視制御処理を示すフローチャートである。本フローは、主に監視装置100の制御部110(図3)により実行される。
まず、ステップS21で、制御部110は、監視カメラ11の映像を取り込む。
ステップS22では、制御部110の顔認証機能部111は、監視カメラ11で撮影された人物の顔画像と、顔情報DB160に蓄積された万引常習者又は行動不審者の顔画像とを照合する顔認証を行う。
ステップS23では、制御部110の顔認証機能部111は、監視カメラ11で撮影された人物の顔画像と、顔情報DB160に蓄積された万引常習者又は行動不審者の顔画像とを認証照合する。
【0046】
顔認証機能部111による照合結果が一致した場合、ステップS24で、制御部110は、位置判定部113から万引常習者又は行動不審者に近接した従業員(又は近傍の従業員)の位置情報を取得する。
ステップS25では、制御部110は、取得した位置情報に基づいて、照合結果が一致した万引常習者又は行動不審者に最も近い携帯端末装置30の位置を判定する。
ステップS26では、制御部110の認定者追跡部115は、万引常習者又は行動不審者の監視対象エリアの移動を追跡する。
ステップS27では、制御部110の送信制御部116は、万引常習者又は行動不審者の位置と最も近い従業員に優先的に、万引常習者又は行動不審者に関する情報を送信する。例えば、送信制御部116は、メールにて音声・動画・行動不審者の位置情報(売場レイアウト上に印を付した情報)を送信する。
この場合、万引常習者又は行動不審者が、最も近い携帯端末装置30の位置から所定距離離れた場合、他の携帯端末装置30に対して、万引常習者又は行動不審者に関する情報を送信するようにしてもよい。
【0047】
図7は、最も近い位置にいる従業員に送信される万引常習者又は行動不審者の情報と売場レイアウト200(監視対象エリア)を示す図である。図7Aに示すように、万引常習者又は行動不審者(ここでは万引常習者X)「●(黒丸)」と、万引常習者X「●(黒丸)」に最も近い位置にいる従業員A「◎(二重丸)」と、次に近い従業員を含むその他の従業員B「○(白丸)」とが、売場レイアウト200(監視対象エリア)上に重ねてプロットした情報である。この場合、万引常習者を例えば赤色の「●印」、行動不審者を例えば黄色の「●印」と色分けしてもよく、このようにすれば万引常習者であるか行動不審者であるかをすぐに判断することができる。また、万引常習者又は行動不審者に関する音声や動画を送信してもよい。画像とともに、音声や動画を送信することで、画像だけでは表せない情報を知ることができ、従業員はより適切な行動をとることが可能になる。なお、音声機能は、状況により放音させるか否かを選択できる態様でもよい。
【0048】
また、最も近い位置にいる従業員A「◎(二重丸)」には、万引常習者X「●(黒丸)」を監視するために、より詳細な情報を送信するようにしてもよい。より詳細な情報としては、例えば、階数名、売場名、コーナー名など売場レイアウト200の詳細情報や万引常習者X「●(黒丸)」の履歴の抜粋情報、また、従業員がとるべき行動指針などがある。また、より詳細な情報には、図7Bに示すように、万引常習者X「●(黒丸)」の「顔」を拡大した情報や万引常習者Xの詳細情報「△△△」がある。この場合も、万引常習者の顔の枠を例えば赤色、行動不審者の顔の枠を例えば黄色と色分けしてもよい。上記詳細な情報を送信することにより、監視洩れと誤認防止をより高める効果がある。
【0049】
図6のフローに戻って、ステップS28では、送信制御部116は、最も近い位置にいる従業員の携帯端末装置30に万引常習者又は行動不審者に関する情報を送信してから所定時間(例えば5秒間)経過してもアンサーバック信号(肯定的応答:ACK)がないか、又は、当該携帯端末装置30から対応不可の応答(否定的応答:NCK)が返されたかを判定する。
当該携帯端末装置30から所定時間(例えば5秒間)経過しても肯定的応答ACKがないか、又は、当該携帯端末装置30から否定的応答NCKが返された場合、ステップS29で送信制御部116は、照合結果が一致した万引常習者又は行動不審者に次に近い携帯端末装置30の位置を判定し、当該携帯端末装置30に万引常習者又は行動不審者に関する情報を送信する。
【0050】
上記従業員が実行する応答とは、具体的には、監視装置100から送信された万引常習者又は行動不審者の情報を受信した場合、予め設定された時間(例えば5秒)内に、携帯端末装置30(スマートフォン30a、タブレット30b、ノートパソコン30c)の所定ボタン(例えば「応答」ボタン)をタッチ(又は押下)する操作を行うことである。この操作を受けて、携帯端末装置30は、監視装置100に対して、万引常習者又は行動不審者の情報送信を受け取っており、当該従業員が確認操作をしたと判断して応答(アンサーバック信号)を返信する。
【0051】
このように、携帯端末装置30から所定時間(例えば5秒間)経過しても肯定的応答ACKがないか、又は、当該携帯端末装置30から否定的応答NCKが返された場合、第2の従業員関係者を選定し、再送信を行う。第2の従業員関係者は、(1)不審者に2番目に近い従業員等関係者、(2)警備員、店長、店長代行、(3)本部・本社関係である。
ステップS30では、送信制御部116は、本部・本社や警備会社の携帯端末装置30に万引常習者又は行動不審者に関する情報を送信して本フローを終了する。
【0052】
図8は、スマートセキュリティ・デジタルシステムの監視装置100の制御部110のズームアップ処理を示すフローチャートである。本フローは、図6の監視制御と並列に実行され、必要に応じて携帯端末装置の複数画面を用いて表示する。
まず、ステップS101で、制御部110は、万引常習者又は行動不審者を発見したときなどの異常時か否かを判別する。
異常時でない場合、ステップS102で制御部110は、画像処理部170(図1)に対して、平常時の表示画面である「16分割画面」(図2A)の画像の作成を指示する制御信号を出力する。
ステップS103で画像処理部170は、この制御信号に基づき、平常時の「16分割画面」(図2A)を作成する。
次いで、ステップS104で制御部110は、作成された「16分割画面」(図2A)をすべての携帯端末装置30の表示画面50とネットワーク(図1)に繋がれた管理センタ(図示省略)に送信して本フローを終了する。これにより、平常時は、各従業員の携帯端末装置30の表示画面50に「16分割画面」(図2A)が表示される。また、管理センタや本部などは、各従業員の携帯端末装置30の「16分割画面」をモニタすることで店舗の様子などの状況を把握することができる。
【0053】
一方、上記ステップS101で異常時である場合、ステップS105で制御部110は、画像処理部170に対して、現場に急行する従業員の携帯端末装置30に、万引常習者又は行動不審者を撮影した監視カメラの30の映像を映した小画面(図2A)を携帯端末装置30の表示画面50の大きさまでズームアップする制御信号を出力する。
ステップS106で画像処理部170は、ズームアップを指示する制御信号に基づき、万引常習者又は行動不審者を撮影した監視カメラの30の映像を映した小画面(図2A)だけを携帯端末装置30の表示画面50の大きさまでズームアップ処理する。これにより、不審者を撮影した監視カメラの30の映像がその監視カメラに最も近い携帯端末装置30においてズームアップされる。
ステップS107で制御部110は、異常時に現場に急行する携帯端末装置30についてのみ、不審者等を撮影した監視カメラ11の画像(16分割画面の内の小画面の1つ)をズームアップしたズームアップ画面(図2B)を送信して本フローを終了する。また、制御部110は、他の携帯端末装置30には、平常時と同様の「16分割画面」を送信する。これにより、異常時に現場に急行する携帯端末装置30には、不審者等を撮影した映像のズームアップ画面(図2B)が表示される。
【0054】
[携帯端末装置30の監視制御]
図9は、スマートセキュリティ・デジタルシステムの携帯端末装置30の監視制御処理を示すフローチャートである。本フローは、携帯端末装置30の制御部(図示省略)により実行される。
まず、ステップS31で携帯端末装置30の制御部は、本監視制御処理ルーチンが起動しているか否かを判別し、本監視制御処理ルーチンが起動していない場合は、そのまま本フローを終了する。
【0055】
本監視制御処理ルーチンが起動している場合、ステップS32で携帯端末装置30の制御部は、監視装置100から送信された万引常習者又は行動不審者の情報を受信したか否かを判別する。
前記万引常習者又は行動不審者の情報を受信していない場合、そのまま本フローを終了する。
前記万引常習者又は行動不審者の情報を受信した場合、ステップS33で携帯端末装置30の対応不可設定部31は、監視装置100から送信される情報に対して応答ができないことを示す対応不可設定フラグが設定されているか否かを判別する。なお、この対応不可設定フラグは、例えば本監視制御処理ルーチン起動に所定ボタンの長押しで設定完了、設定完了後の再度の所定ボタンの長押しで設定解除としてもよい。
【0056】
対応不可設定フラグが設定されている場合、ステップS34で携帯端末装置30の対応不可設定部31は、監視装置100に直ちに対応不可の応答NACを返信して本フローを終了する。
対応不可設定フラグが設定されていない場合、ステップS35で携帯端末装置30の制御部は、この携帯端末装置30を携帯する従業員からの所定ボタン(例えば「応答」ボタン)操作を待つ。
前記ボタン操作がある場合、ステップS36で携帯端末装置30の制御部は、監視装置100にアンサーバック信号(肯定的応答:ACK)を送信して本フローを終了する。なお、所定時間が経過してもボタン操作がない場合、ステップS37で携帯端末装置30の制御部は、タイムアウトを行って本フローを終了する。
【0057】
[適用例1]
商業施設の売場の場合において、スマートセキュリティ・デジタルシステム1000の売場構成について説明する。
図10A図10Bは、スマートセキュリティ・デジタルシステムの売場レイアウトの一例を示す図である。
スマートセキュリティ・デジタルシステム1000は、監視装置100が、売場レイアウト位置情報と、売場レイアウト200のRFIDリーダ20の位置情報と、RFIDリーダ20による従業員位置情報とを記憶する。
【0058】
売場コーナーには、監視カメラ11、RFIDリーダ20がそれぞれ設置されている。GPSの電波が一定でなく、また電波が届かない場合は、RFIDリーダ20による位置情報を取得することができる。
監視装置100は、万引常習者又は行動不審者を監視カメラ11で認識した場合、万引常習者又は行動不審者が階数、入口、売場名、コーナー(図7参照)名のどこにいるかを、表示部140の売場レイアウト上に表示する。
【0059】
監視装置100は、万引常習者又は行動不審者の来店を監視カメラ11による位置情報を認識する。そして、監視装置100は、GPS機能又はRFIDリーダ20により、売場管理者、警備員、店舗管理者の位置情報を認識する。そして、監視装置100は、どの従業員が万引常習者又は行動不審者に近いかを判定し、万引常習者又は行動不審者に最も近い位置にいる従業員に万引常習者又は行動不審者の情報(位置情報や撮影画像、顔画像など)をメール、動画、売場レイアウトと共にリアルタイムで送信する。万引常習者又は行動不審者に近い位置にいる従業員は、そこに急行し事前に適切な対応ができて、万引被害を防止できる。
【0060】
監視装置100は、売場の従業員の位置情報として、建物、階数、売場などを送受信GPS機能又はRFIDリーダ20によって選定することが好ましい。
監視装置100は、最も近い位置にいる従業員に万引常習者又は行動不審者の情報(位置情報や撮影画像、顔画像など)をメール、動画、売場レイアウトと共にリアルタイムで送信した後、必要に応じて、当該従業員のみならず、近傍の出入口、売場コーナー、同一階数又は警備員、店舗管理者に複数同時に送信するようにしてもよい。
【0061】
また、監視装置100は、前記最も近い従業員には、より詳細な情報を送信するようにしてもよい。より詳細な情報としては、例えば、階数名、売場名、コーナー名レイアウト図に万引常習者と従業員の位置情報を重ねて表示した情報、また万引常習者の「顔」を拡大した情報が挙げられる。これにより、監視洩れと誤認防止の効果がある。
GPSの電波が受信できる建物は、GPS機能を用いて従業員の位置情報を得る。GPSの電波が受信できない建物や売場等では、RFIDリーダ20により従業員の位置情報を得る。
監視カメラ11は、売場の出入口、万引被害場所、従業員視点が弱いところ、通路等に複数台設置することが好ましい。
【0062】
監視装置100は、監視カメラ11による位置情報と、該当階数、売場、フロア、出入口、検索対象認識者、万引常習者を監視カメラ11が認証可能な範囲を予め記憶している。例えば、監視装置100は、階数名、売場名、コーナー名、売場レイアウトを記憶する。従業員は、該当万引常習者又は行動不審者の場所に急行することができる。
【0063】
例えば、図10Aにおいて、監視装置100は、万引常習者g1〜4(例えば、●印又は顔枠が赤色)と行動不審者g5〜g7(例えば、●印又は顔枠が黄色)が売場に来店した場合は、万引常習者g1〜4又は行動不審者g5〜g7が、売場レイアウトの「出入口」「階数」「売場」「コーナー」等の何処にいるかを判定して、最も近い位置にいる従業員、最も近い位置にいる従業員から応答がない場合は次に近い位置にいる従業員、ならびに従業員以外の関係者へ万引常習者g1〜4又は行動不審者g5〜g7の情報をリアルタイムで送信する。なお、「従業員に情報を送信する」とは、従業員が携帯するPC,タブレット、スマート携帯装置にメールにて当該情報を送信することをいう。これにより、従業員は、万引行為や不審行動の実行前に該当位置に急行することができ、かかる行為の予防を行うことができる。
【0064】
ここで、万引常習者g1〜4又は行動不審者g5〜g7の情報は、パスワード保持の商業施設関係者やエリア企業内店舗、又は関係本部にも送信することができる。これにより、万引常習者g1〜4又は行動不審者g5〜g7が来店したら商業施設関係者が周知対応できる。また、商業施設関係者は、直接の売場担当者と連携して対応することができる。
なお、スマートセキュリティ・デジタルシステムは、1フロア50m×200m程度の面積の3〜4フロア以上の大型商業施設、コンビニエンスストア、各モールによる商業施設、ターミナル併設の各店舗、複合建物病院、ホテル、文化施設等にも対応することができる。
【0065】
[適用例2]
図11は、スマートセキュリティ・デジタルシステムの売場レイアウトの一例を示す図である。図11Aは、GPSによる1階売場平面レイアウトと監視カメラ11の配置図、図11Bは、RFIDリーダ「×印」による1階売場平面レイアウトと監視カメラの配置図である。なお、他の各階の売場レイアウトもほぼ同様である。
【0066】
<万引常習者:単独>
図11Aに示すように、1階東側出入口より万引常習者X「●(黒丸)」が来店した。
監視装置100は、監視カメラ11によって万引常習者X「●(黒丸)」をフォーカス追跡する。
監視装置100は、最も近い位置にいる1階従業員A「◎(二重丸)」が携帯する携帯端末装置30(スマートフォン30a、タブレット30b、ノートパソコン30c)に、万引常習者Xの情報(図7A参照)を送信する。ここで、万引常習者Xの情報は、売場レイアウト200に重ねられている。図11に示すように、万引常習者X「●(黒丸)」と、最も近い位置にいる従業員A「◎(二重丸)」と、次に近い従業員を含むその他の従業員B「○(白丸)」とが、売場レイアウト200(監視対象エリア)上に重ねてプロットした情報が送信される。この場合、万引常習者であるため、赤色の「●印」で示されている。該当の売場レイアウト200に、万引常習者X「●(黒丸)」の位置と売場長(従業員)b1〜b8の位置とが示されるので、万引常習者X「●(黒丸)」と売場長b1〜b8との位置関係が明確になる。売場長(従業員)A「◎(二重丸)」の携帯端末装置30は、さらに警告音又はバイブレーターを作動させてもよい。売場長(従業員)A「◎(二重丸)」は、万引常習者X「●(黒丸)」の行動を、注視することができる。この例では、売場長(従業員)A「◎(二重丸)」は、万引常習者X「●(黒丸)」に対する初動対応、すなわち、1番重要な来店時の最初から、監視行動に移ることができ、万引常習者X「●(黒丸)」の初動を牽制し、万引きを未然に防御することができる。
【0067】
その後、万引常習者X「●(黒丸)」が、万引行為をせず各階、各売場を様子見て歩行の行為に移れば、万引常習者X「●(黒丸)」をフォーカスした、監視カメラC2〜C10が、万引常習者X「●(黒丸)」の歩行に合わせてフォーカスする。このような追跡機能は、制御部110(図3参照)の認定者追跡部115により実行される。認定者追跡部115は、万引常習者又は行動不審者と認定された者を他の監視カメラ11(図1参照)で追跡して検知し、監視対象エリア内で移動履歴を確認する。
監視装置100は、最も近い位置にいる1階売場長(従業員)A「◎(二重丸)」が携帯する携帯端末装置30(スマートフォン30a、タブレット30b、ノートパソコン30c)に、万引常習者Xの情報(図7A参照)を送信する。この場合、1階従業員は、該当売場の売場長b1〜b8である。売場長b1〜b8のうち、万引常習者X「●(黒丸)」に最も近い売場長へ万引常習者Xの詳細情報(図7B参照)を送信する。
万引常習者X「●(黒丸)」が、2〜4階へ移動した場合、他の売場においても同様の監視機能を実行する。
【0068】
<万引常習者:複数>
また、万引常習者が同時刻に複数人(例えば7人)来店した場合、監視装置100は、顔認識により万引常習者であることを判定する。万引常習者が複数であっても、万引常習者が単独である場合と同様に、各階、各売場においてそれぞれ、最も近い位置にいる従業員が携帯する携帯端末装置30に、万引常習者の情報(図7A参照)をそれぞれ送信する。複数人の万引常習者が万引行為をしようとしても、最も近い従業員がリアルタイムで監視するので、万引行為はできない。また、該当従業員は万引常習者の近くで、万引常習者の行動を正確に監視するので、誤解を生むようなことは少ない。また、このような万引常習者は、累積認識記憶ができる。
【0069】
<行動不審者>
万引常習者ではないが、店舗内の各階、各売場を何回(例えば4〜5回)も通行したり、また監視カメラ11を何回(例えば4〜5回)も見たりする人は、監視装置100は、この人物の顔を不審行動の対象として登録しておく(図4の人物の登録処理参照)。監視装置100は、この行動不審者を、万引常習者と同様の方法により監視することができる。ただし、店舗等にとっては、かかる行動不審者は、万引常習者よりも実害(経済的損失)が少ないと考えられるので、監視のレベルを万引常習者の場合よりも下げる態様も可能である。例えば、万引常習者と行動不審者とが双方来店した場合、万引常習者に対する本システムの実行を優先させる、本部・本社関係への通知は行わない、前記アンサーバック信号の待ち時間を長く(例えば10秒)するなどである。また、監視装置100は、行動不審者を累積記憶しておき、累積記憶された行動不審者の顔が認識された場合、要注意のメッセージを送信するようにしてもよい。
【0070】
<万引常習者監視の具体例>
図11Aに示す万引常習者X「●(黒丸)」が、乳製品責任者b2のコーナーC5の監視カメラ11のフォーカス区分に来店したとする。監視装置100は、乳製品責任者(従業員)b2(ここでは最も近い位置にいる従業員)が携帯する携帯端末装置30(スマートフォン30a、タブレット30b、ノートパソコン30c)に、万引常習者Xの情報(図7A参照)を送信する。この情報を受信した乳製品責任者b2(従業員)から所定時間(例えば5秒間)の間に応答操作(メールプッシュ操作など)がなければ、万引常習者X「●(黒丸)」から2番目に近い従業員B「○(白丸)」に、当該情報の再送信を行う。この場合、2番目に近い従業員B「○(白丸)」への再送信と併用して、各階の売場長、警備員、又は店長へも同様の送信リカバリーを行ってもよい。
【0071】
また、万引常習者X「●(黒丸)」が各部門のコーナーを、連続して移動する場合は、各階の売場長、警備員、店長へ対応の送信リカバリーを行うことが好ましい。このようにすれば、万引防止をより有効に対処することができる。
例えば、万引常習者X「●(黒丸)」が、1階から2、3、4階と各階に移動した場合は、各売場の従業員単独では対応できない。そこで、監視装置100は、万引常習者X「●(黒丸)」が各階に移動するような行動をとる場合には、全店を統括する、警備員、店長、店長代理等が携帯する携帯端末装置30(スマートフォン30a、タブレット30b、ノートパソコン30c)に、万引常習者Xの情報(図7A参照)を送信する。このようにすれば、万引常習者が各階に移動するような行動をとる場合であっても追跡監視でき、万引防止をより有効に対処することができる。
【0072】
以上説明したように、本実施の形態によれば、スマートセキュリティ・デジタルシステム1000は、店舗において複数の従業員がそれぞれ携帯する携帯端末装置30と、監視対象エリア内における複数の携帯端末装置30の位置情報を取得する位置判定部113と、監視カメラ11で撮影された人物の顔画像と、顔情報DB160に蓄積された万引常習者又は行動不審者の顔画像とを照合する顔認証機能部111と、顔認証機能部111による照合結果が一致した場合、位置判定部113から取得した位置情報に基づいて、照合結果が一致した万引常習者又は行動不審者に最も近い携帯端末装置30の位置を判定し、当該携帯端末装置30に万引常習者又は行動不審者に関する情報を送信する制御部110と、監視カメラ11が撮影した映像を複数の分割画面からなる表示画面に画像合成するとともに、この分割画面の一つをズームアップするズームアップ処理を行う画像処理部170とを備える。制御部110は、万引常習者又は行動不審者に関する情報を送信するとともに、万引常習者又は行動不審者に急行する携帯端末装置30の表示画面については、不審者等を撮影した監視カメラの30の映像を映した画面にズームアップさせる。
【0073】
この構成により、万引常習者又は行動不審者がいる場合、近傍の従業員等がリアルタイムで現場に急行することができ、万引行為を防止することができる。特に、現場に急行する携帯端末装置30の表示画面は、平常時の「16分割画面表示」(図2A)から、現場の監視領域の映像を含む不審者等を撮影した監視カメラの30の映像を映した画面(図2B)にズームアップされているので、現場の状況をより詳細に把握することができ、より適切な対応をとることができる。また、従業員からみると、自身の携帯端末装置30の表示画面が、通常の「16分割画面表示」から、突然、ズームアップ画面(図2B)に切り替わったことで、異常事態が発生し、自身に現場へ急行する指示がきたことをより明確に知ることができる。また、管理センタや本部などは、「16分割画面表示」が非常時画面に切り替わることで店舗の緊急事態を認識し、緊急時の対応状況を把握することができる。
【0074】
また、本実施形態では、携帯端末装置30は、制御部110から送信される情報に対して応答ができないことを予め設定する対応不可設定部31を有し、対応不可設定部31は、対応不可が設定されている場合、監視装置100から情報に対する送信があると、当該対応不可の応答を返す。したがって、監視装置100は、携帯端末装置30からの応答を所定時間(例えば5秒)待つことなく、次に近い従業員や責任者に前記情報を送信することができる。万引き行為は一瞬であり、所定時間(例えば5秒)待つことなく、次に近い従業員や責任者のサポートを受けることができる効果は大きい。すなわち、スマートセキュリティ・デジタルシステム1000は、監視装置100と携帯端末装置30とが協業して一刻を争う事態に対応することができる。
【0075】
実際の運用では、従業員は、倉庫に行ったり、トイレに行ったりすることがあり、規定位置に留まっているとは限らない。このため、通報すべき従業員に通報することができない場合があった。本実施形態では、携帯端末装置30側から、通報オフ(トイレにいるなど従業員が対応不可であること)とする設定ができるので、監視装置100側に負担をかけることはない。
【0076】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。例えば、本実施の形態では、公衆回線として電話回線210を使用する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば公衆回線として無線通信回線、インターネット又はLAN等を使用してもよい。また、この公衆回線の種類に応じて、公衆回線が無線通信の場合は通信端末装置としてトランシーバーを、公衆回線がインターネット又はLANの場合は通信端末装置としてパーソナルコンピュータ又はパームトップコンピュータを利用してもよい。このように既存の公衆回線を利用してスマートセキュリティ・デジタルシステムを構築することにより、スマートセキュリティ・デジタルシステムの利用態様を拡げることができ、かつ、スマートセキュリティ・デジタルシステムの構築コストを抑えることができる。
【0077】
また、本実施の形態ではスマートセキュリティ・デジタルシステム及び方法という名称を用いたが、これは説明の便宜上であり、デジタルスマート・セキュリティ、防犯システム、セキュリティ方法等であってもよい。
さらに、異常事態の検出には、公知のすべてが含まれる。例えば異常事態には、行動不審者の侵入又は接近がある。また、通報は、メールに限らずどのようなものでもよい。
【0078】
また、本発明のスマートセキュリティ・デジタルシステム及び方法は、コンピュータを本スマートセキュリティ・デジタルシステム又は方法として機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。
このプログラムを記録した記録媒体は、本スマートセキュリティ・デジタルシステムのROMそのものであってもよいし、また、外部記憶装置としてCD−ROMドライブ等のプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なCD−ROM等であってもよい。
【0079】
また、上記記録媒体は、磁気テープ、カセットテープ、フレキシブルディスク、ハードディスク、MO/MD/DVD等、又は半導体メモリであってもよい。
【0080】
本明細書で引用したすべての刊行物、特許及び特許出願は、そのまま参考として、ここにとり入れるものとする。
【産業上の利用可能性】
【0081】
本発明に係るスマートセキュリティ・デジタルシステム、方法及びプログラムは、法人・商業施設、事務所等において、リアルタイムで対応し、財産、生命と経済損失を未然に防止して利用効果は大きい。
【符号の説明】
【0082】
11 監視カメラ
20 RFIDリーダ
21 認証タグ
30 携帯端末装置
40 GPS
50 表示画面
100 監視装置
110 制御部(制御手段)
120 入力部
130 記憶部
140 表示部
150 出力部
160 顔情報データベース(DB)(顔画像記憶手段)
170 画像処理部(画像処理手段)
180 インタフェース(I/F)部
190 通信部
111 顔認証機能部(顔認証照合手段)
112 特定者認定部
113 位置判定部(位置情報取得手段)
114 レイアウト情報記憶部
115 認定者追跡部
116 送信制御部
200 売場レイアウト(監視対象エリア)
1000 スマートセキュリティ・デジタルシステム
【要約】
万引常習者又は行動不審者がいる場合、近傍の従業員等がリアルタイムで現場に急行することができ、万引行為を防止することができるスマートセキュリティ・デジタルシステムを提供する。スマートセキュリティ・デジタルシステム(1000)は、顔情報DB(160)に蓄積された万引常習者又は行動不審者の顔画像とを照合する顔認証機能部(111)と、顔認証機能部(111)による照合結果が一致した場合、位置判定部(113)から取得した位置情報に基づいて、照合結果が一致した万引常習者又は行動不審者に最も近い携帯端末装置(30)の位置を判定し、当該携帯端末装置(30)に万引常習者又は行動不審者に関する情報を送信する制御部(110)と、監視カメラ(11)が撮影した映像を複数の分割画面からなる表示画面に画像合成するとともに、この分割画面の一つをズームアップするズームアップ処理を行う画像処理部(170)とを備える。
図1
図2A
図2B
図3
図4
図5
図6
図7A
図7B
図8
図9
図10A
図10B
図11A
図11B