(58)【調査した分野】(Int.Cl.,DB名)
商業施設の一般利用者の立ち入りを制限していて、立入者を事前登録済みの登録者に制限する制限区画の内側を撮影デバイスにより撮影して得られた画像から、顔を検出する検出手段と、
記憶デバイスに記憶され、前記登録者の顔に関するデータを含んだ辞書データを利用した顔認証処理によって、前記検出手段により検出された顔が前記登録者のものではないことを判定する判定手段と、
前記検出手段により検出された顔が前記登録者のものではないことが前記判定手段によって判定されたことに応じて、前記商業施設で利用されているPOSシステムに含まれた端末装置に対する通信回線を介しての通報を実行する警報手段と、
前記検出手段により検出された顔を含むデータレコードの集合を、前記登録者のものではないことが前記判定手段によって判定された顔が含まれるデータレコードに関する情報を表示する領域についての地色を他の領域とは異ならせて示したログ画面を表示する表示手段とを具備したことを特徴とする侵入警報装置。
【背景技術】
【0002】
ショッピングモール等の商業施設においては、バックヤード等の一部区画への一般客の立ち入りが制限される。
【0003】
種々のセキュリティシステムが知られているが、これらは、上記のような立ち入り制限のためには適合しないものが多い。
【0004】
例えば、一般客の立ち入りを制限すべき制限区画の境界に配置したドアをロックしておき、顔認証技術などの個人認証技術によって、制限区画への立ち入りの許容者を認識した場合にのみ上記のロックを解除することが考えられる。
【0005】
しかしながら、従業者によっては頻繁に制限区画への出入りを繰り返すことが必要である場合や、あるいは、商品などを運搬しながら出入口を通過しなければならない場合も多く、その度にいちいち個人認証を行っていたのでは、業務効率の低下を来す恐れがある。
【0006】
このような事情から、制限区画への不審者の侵入に簡易に対処できることが望まれていた。
【発明を実施するための形態】
【0011】
以下実施の形態の一例を図面を用いて説明する。なお、本実施の形態では、ショッピングモール等の商業施設において、当該商業施設で利用されるPOS(point-of-sale)システムを一部流用して施行され、当該商業施設のバックヤードへの不審者の侵入に対処するために運用される侵入警報システムを例示する。
【0012】
図1は侵入警報システムの構成および施行例を示す図である。
【0013】
商業施設は一般に、
図1に示すように、店舗フロアとバックヤードとに壁などによって区分されている。店舗フロアは、一般客が自由に出入りでき、一般客に対する各種の営業行為を実施するスペースである。店舗フロアは、一般客の立ち入りが制限されない非制限区画である。バックヤードは、商品保管棚などが配置されて在庫商品を保管したり、商品陳列の準備作業を店員が行ったりするためのスペースである。バックヤードは、一般客の立ち入りが制限される制限区画である。
【0014】
侵入警報システムは、侵入警報装置1、POS端末2、ハンディターミナル3、携帯型情報端末4およびLAN(local area network)5を含む。
【0015】
侵入警報装置1は、メインユニット11およびカメラ12を含む。メインユニット11は、カメラ12で得られる画像データに基づいてバックヤードへの不審者の侵入を検知し、バックヤードへの不審者の侵入警報のための処理を行う。カメラ12は、バックヤード内に設けられ、バックヤードの内部を撮影して画像データを生成する。カメラ12は、撮影を一定の時間間隔で繰り返し、その都度、1フレーム分の画像データを生成する。カメラ12としては、典型的にはデジタルビデオカメラが利用できるが、デジタルスチルカメラを用いても良い。カメラ12の設置状態は任意であって良いが、本実施形態ではバックヤードと店舗フロアとの出入口に向けて、この出入口からバックヤードへと入ってくる人間を撮影可能に設置されている。出入口に設けられたドアは、通常はロックされておらず、人間が任意に開閉可能である。
【0016】
POS端末2は、店舗フロアに配置され、POSシステムにおける商品の買上登録や決済などの業務のために店員によって操作される。POS端末2は、侵入警報装置1からの後述する通報を受けたことに応じて、オペレータである店員に対して警報を発する動作を行う機能を備える。この機能は例えば、既存のPOS端末に対し、アプリケーションソフトを更新したり、アドインソフトを追加することにより実現可能である。
【0017】
ハンディターミナル3は、店員によって所持され、買上登録、各種の顧客サービス、あるいは商品の発注などの業務に適宜に利用される。ハンディターミナル3は、侵入警報装置1からの後述する通報を受けたことに応じて、所持者である店員に対して警報を発する動作を行う機能を備える。この機能は例えば、既存のハンディターミナルに対し、アプリケーションソフトを更新したり、アドインソフトを追加することにより実現可能である。
【0018】
携帯型情報端末4は、スマートフォンやタブレット端末などのような無線LANを介した通信機能を備えた情報端末である。携帯型情報端末4は、商業施設の管理者等によって所持される。携帯型情報端末4は、侵入警報装置1からの後述する通報を受けたことに応じて、ユーザに対して警報を発する動作を行うアプリケーションソフトがインストールされている。
【0019】
なお、POS端末2、ハンディターミナル3および携帯型情報端末4は、
図1ではそれぞれ1つずつのみを示しているが、それぞれ複数が含まれ得る。
【0020】
LAN5は、商業施設の内部での情報通信を可能とする通信網である。LAN5は、インターネットなどの外部の通信網に接続されていても良い。LAN5は、無線アクセスポイント5aを含み、ハンディターミナル3および携帯型情報端末4を、無線回線を介して通信可能とする。
【0021】
なお、POS端末2、ハンディターミナル3およびLAN5は、既存のPOSシステムのものを一部流用できる。
【0022】
図2はメインユニット11の構成を示すブロック図である。
【0023】
メインユニット11は、CPU(central processing unit)11a、ROM(read-only memory)11b、RAM(random-access memory)11c、補助記憶ユニット11d、カメラインタフェース11e、表示ユニット11f、入力ユニット11g、スピーカユニット11h、通信インタフェース11iおよびバスライン11jを含む。なお、バスライン11jは、アドレスバスおよびデータバスなどを含み、CPU11a、ROM11b、RAM11c、補助記憶ユニット11d、カメラインタフェース11e、表示ユニット11f、入力ユニット11g、スピーカユニット11hおよび通信インタフェース11iを互いに接続する。
【0024】
CPU11aは、コンピュータの中枢部分に相当する。CPU11aは、ROM11bおよびRAM11cに記憶されたオペレーティングシステムおよびアプリケーションプログラムに基づいて、侵入警報装置1としての後述する動作を実現するべく各部を制御する。
【0025】
ROM11bは、上記コンピュータの主記憶部分に相当する。ROM11bは、オペレーティングシステムを記憶する。ROM11bは、アプリケーションプログラムを記憶する場合もある。またROM11bは、CPU1が各種の処理を行う上で参照するデータを記憶する場合もある。
【0026】
RAM11cは、上記コンピュータの主記憶部分に相当する。RAM11cは、CPU11aが各種の処理を行う上で参照するデータを記憶する。さらにRAM11cは、CPU11aが各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。
【0027】
補助記憶ユニット11dは、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット11dは、例えばHDD(hard disk drive)やSSD(solid state drive)などであり、CPU11aが各種の処理を行う上で使用するデータや、CPU11aでの処理によって生成されたデータを保存する。補助記憶ユニット11dは、アプリケーションプログラムを記憶する場合もある。
【0028】
このメインユニット11の基本ハードウェアとしては、例えば汎用のサーバ装置やコンピュータ装置を用いることができる。このような基本ハードウェアが備えるROM11bまたは補助記憶ユニット11dにて、後述する警報処理を記述したアプリケーションプログラム(以下、警報処理プログラムと称する)を記憶することにより侵入警報装置1を具現できる。このときに侵入警報装置1の譲渡は一般に、警報処理プログラムがROM11bまたは補助記憶ユニット11dに記憶された状態にて行われる。しかし、基本ハードウェアと警報処理プログラムとが個別に譲渡された上で、警報処理プログラムがROM11bまたは補助記憶ユニット11dへと書き込まれても良い。警報処理プログラムの譲渡は、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して行うことができる。
【0029】
カメラインタフェース11eには、カメラ2が接続される。カメラインタフェース11eは、カメラ2が出力する画像データを取り込んで、RAM11cへと書き込む。
【0030】
表示ユニット11fは、例えばLCD(liquid crystal display)などの表示デバイスと、その駆動回路などを含み、CPU11aの制御の下に様々な画像を表示する。
【0031】
入力ユニット11gは、キーボードやマウスなどの入力デバイスと、その駆動回路などを含み、操作者による入力デバイスの操作の内容を表したコマンドをCPU11aに送る。
【0032】
スピーカユニット11hは、スピーカと、その駆動回路などを含み、CPU11aの制御の下に様々な可聴音を発生する。
【0033】
補助記憶ユニット11dは、後述する警報処理の中で実施する顔認識処理において参照するための辞書データを記憶する。辞書データは、バックヤードへの立ち入りの許容者として登録済みの人間の顔についての特徴を表したデータを含む。また補助記憶ユニット11dは、後述するログを記憶する。
【0034】
次に以上のように構成された侵入警報システムの動作について説明する。
【0035】
例えば一定の時間間隔毎などとして定められた開始タイミングが到来するとCPU11aは、ROM11bまたは補助記憶デバイス11dに記憶された警報処理プログラムに従って
図3に示す警報処理を開始する。なお、以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。
【0036】
Act1においてCPU11aは、カメラ12が出力する最新の1フレーム分の画像データをRAM11cに取り込む。
【0037】
Act2においてCPU11aは、上記の取り込んだ画像データを対象として、顔検出処理を実行する。顔検出処理は、画像データが表す画像中に映っている顔を検出する処理であって、周知の種々の処理を適宜に利用できる。この顔検出処理において顔を検出した場合にCPU11aは、処理対象としている画像データが表す画像の中で、検出した顔に相当する領域についての画像を顔画像として切り出す。複数の顔が検出される場合には、CPU11aはこれら複数の顔についての顔画像をそれぞれ切り出す。かくして、警報処理プログラムを実行することよって、CPU11aは検出手段として機能している。
【0038】
Act3においてCPU11aは、上記の顔検出処理により顔が1つでも検出できたか否かを確認する。そして顔が検出できたためにYESと判定したならばCPU11aは、Act4へと進む。
【0039】
Act4においてCPU11aは、顔検出処理において切り出した顔画像を対象として、顔認証処理を実行する。この顔認証処理は、顔画像が許容者の顔と類似する度合い(類似度)を求める処理であって、周知の種々の処理を適宜に利用できる。複数の顔画像が切り出されているならば、CPU11aはこれらの複数の顔画像のそれぞれを対象として顔
認証処理をそれぞれ実行する。
【0040】
Act5においてCPU11aは、上記の顔認証処理により求めた類似度に閾値以下のものがあるか否かを確認する。そしてYESと判定したならばCPU11aは、Act6へと進む。かくして、警報処理プログラムを実行することよって、CPU11aは判定手段として機能している。
【0041】
Act6においてCPU11aは、通報処理を実行する。通報処理は、予め定められた通報先端末へと、不審者の侵入を通報する処理である。通報先端末は、店舗フロアにて使用されているPOS端末2、ハンディターミナル3および携帯型情報端末4のうちの少なくとも1つである。POS端末2、ハンディターミナル3および携帯型情報端末4のうちの複数または全てが通報先端末とされても良い。また、同種の端末の複数が通報先端末とされても良い。通報を受けると通報先端末では、不審者がバックヤードに立ち入ったことの警報を発する動作を行う。かくして、警報処理プログラムを実行することよって、CPU11aは、通報先端末へと通報する処理として警報のための処理を実行する警報手段として機能している。
【0042】
このようにして、予め登録された許容者との顔の類似度が低い人間がバックヤードへと立ち入り、カメラ12によって撮影されると、不審者の侵入としての警報がなされる。
【0043】
Act6を終えるとCPU11aは、Act7へ進む。なお、閾値以下の類似度が無いためにAct5にてNOと判定したならばCPU11aは、Act6をパスしてAct7へと進む。
【0044】
Act7においてCPU11aは、補助記憶ユニット11dに記憶されるログを更新する。具体的には、ログは例えば、日時、類似度および顔画像を関連付けたデータレコードの集合とする。この場合にCPU11aは、Act2で切り出された顔画像に、現在の日時と、当該顔画像に関してAct4で求めた類似度とを関連付けたデータレコードを生成し、これをログに追加する。なお、Act2にて複数の顔画像が切り出されている場合には、CPU11aはこれら複数の顔画像のそれぞれを含んだ複数のデータレコードを生成してログに追加する。
【0045】
このようにしてログを更新したならばCPU11aは、今回の警報処理を終了する。なお、Act2での顔検出処理によって顔が検出できなかったためにAct3にてNOと判定したならばCPU11aは、Act4〜7の処理を全てパスして今回の警報処理を終了する。
【0046】
さてCPU11aは、例えば入力ユニット11gでの所定の操作によってログの表示が要求されたならば、例えば
図4に示すようなログ画面を表示するように表示ユニット11fを制御する。
【0047】
なお
図4に示すログ画面においては、閾値以下の類似度を含んだデータレコードに関する情報を表示する領域についての地色を、ハッチングで示すように他の領域とは異ならせている。
【0048】
このように本実施形態によれば、許容者として登録済みの人間に対する顔の類似度が閾値よりも低い人間、すなわち許容者ではない可能性の高い人間が制限区画内に入ってきた場合に、不審者の侵入として警報が発せられる。この警報に応じて、係員が不審者への対処を行うことが可能となり、不審者による不正行為を防止できる。
【0049】
しかも本実施形態によれば、ドアをロックするなどにより制限区画への立ち入りを阻む処置を行う必要がない。このために、許容者は何ら制限されることなくスムーズに制限区画に出入りすることが可能であり、許容者の業務の効率を低下させてしまうことがない。また、ドアロックを伴うセキュリティシステムに比べて、低いコストで実現することが可能である。
【0050】
この実施形態は、次のような種々の変形実施が可能である。
【0051】
メインユニット11において、例えば表示ユニット11fにおける表示や、スピーカユニット11hでの鳴動などにより警報を発するようにしても良い。つまり、前記実施形態では、警報のための処理として通報先への通報を行っているが、直接的に警報を発する処理を警報のための処理として行っても良い。
【0052】
メインユニット11が、複数のカメラ12で得られた画像データをそれぞれ対象として上記の警報処理を行うようにしてもよい。
【0053】
カメラ12としては、既存の防犯カメラなどを用いるようにし、メインユニット11のみが侵入警報装置を構成することとしても良い。
【0054】
辞書データは、LAN5を介して接続された図示しないサーバ装置に内蔵または外付けされた記憶デバイスに記憶されても良い。
【0055】
携帯型情報端末4への通報は、移動通信網を経由して行っても良い。
【0056】
顔検出処理により検出する顔は人間の顔のみには限らず、人間以外の動物の顔を含んでも良い。このようにすれば、人間以外の動物がバックヤードに迷い込んだ場合にも、不審者の侵入として警報を発することが可能となる。
【0057】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]
立入者を事前登録済みの登録者に制限する制限区画において、前記制限区画の内側を撮影デバイスにより撮影して得られた画像から、人間を含む動物の顔を検出する検出手段と、
記憶デバイスに記憶され、前記登録者の顔に関するデータを含んだ辞書データを利用した顔認証処理によって、前記検出手段により検出された顔が前記登録者のものではないことを判定する判定手段と、
前記検出手段により検出された顔が前記登録者のものではないことが前記判定手段によって判定されたことに応じて、予め定められた警報動作を実行する警報手段とを具備したことを特徴とする侵入警報装置。
[2]
前記撮影デバイスを複数備えることを特徴とする付記[1]に記載の侵入警報装置。
[3]
前記記憶デバイスを複数備えることを特徴とする付記[1]または[2]に記載の侵入警報装置。
[4]
前記警報手段は、予め定められた通報先端末に対する通信回線を介しての通報を前記警報動作として実行することを特徴とする付記[1]−[3]のいずれか一項に記載の侵入警報装置。
[5]
前記制限区画は、商業施設の一般利用者の立ち入りを制限している区画であり、前記警報手段は、前記商業施設で利用されているPOSシステムに含まれた端末装置を前記通報先端末とすることを特徴とする付記[4]に記載の侵入警報装置。
[6]
コンピュータを、
立入者を事前登録済みの登録者に制限する制限区画において、前記制限区画の内側を撮影デバイスにより撮影して得られた画像から人間を含む動物の顔を検出する検出手段と、
記憶デバイスに記憶され、前記登録者の顔に関するデータを含んだ辞書データを利用した顔認証処理によって、前記検出手段により検出された顔が前記登録者のものではないことを判定する判定手段と、
前記検出手段により検出された顔が前記登録者のものではないことが前記判定手段によって判定されたことに応じて、警報のための予め定められた警報処理を実行する警報手段として機能させるためのプログラム。