(58)【調査した分野】(Int.Cl.,DB名)
前記ロボットはさらに、前記音声対話機能部により前記来店者が商品を検索することを検知した場合に検索画面を表示する表示部を備える、請求項1に記載の防犯システム。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来提案されている防犯カメラによる防犯システムでは、防犯カメラの設置位置が固定されているため、設置位置や設置台数の制約及びカメラの死角により、店舗全域をカバーして来店者を撮影することは困難である。
【0005】
従って、上記のような問題点に鑑みてなされた本発明の目的は、来店者がいずれの位置に存在しても、来店者を撮影可能な防犯システム、防犯方法、及びロボットを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために本発明の一実施形態に係る防犯システムは、
自律移動する少なくとも1台のロボットと、サーバと、通信端末とを備える防犯システムであって、
前記ロボットは、
来店者に近づくように自律移動可能な移動手段と、
前記来店者の映像を撮影する撮影部と、
前記映像を前記サーバに送信する通信部と、
を備え、
前記サーバは、
前記ロボットから前記映像を受信するサーバ通信部と、
前記映像に基づき前記来店者が注意対象者であるか否かを判定するサーバ制御部と、
を備え、
前記サーバ制御部は、前記来店者が注意対象者であると判定した場合、前記サーバ通信部により前記通信端末に警報を送信する。
【0007】
また本発明の一実施形態に係る防犯システムは、
前記サーバが、
注意対象人物に係る顔画像を格納する人物認証データベースを備え、
前記サーバ制御部は、前記映像から前記来店者の顔画像を抽出し、前記人物認証データベースに基づく顔認証により前記来店者が注意対象者であるか否かを判定する。
【0008】
また本発明の一実施形態に係る防犯システムは、
前記人物認証データベースが暗号化されている。
【0009】
また本発明の一実施形態に係る防犯システムは、
前記サーバ制御部が、前記映像から前記来店者の行動パターンを抽出し、前記行動パターンに基づき前記来店者が注意対象者であるか否かを判定する。
【0010】
また本発明の一実施形態に係る防犯システムは、
前記ロボットはさらに、
前記来店者と音声対話する音声対話機能部を備え、
前記通信部は前記音声対話機能部により集音した前記来店者の音声を前記サーバに送信し、
前記サーバ通信部は前記ロボットから前記音声を受信し、
前記サーバ制御部は、前記映像及び前記音声に基づき、前記来店者が注意対象者であるか否かを判定する。
【0011】
また本発明の一実施形態に係る防犯システムは、
前記サーバ制御部が、前記映像に基づき前記注意対象者に対する警戒レベルを決定し、前記警報は前記警戒レベルに係る情報を含む。
【0012】
また本発明の一実施形態に係る防犯システムは、
前記ロボットは、追尾指示を受信した場合、前記移動手段により前記来店者を追尾し、
前記撮影部により、前記来店者の映像を撮影する。
【0013】
また本発明の一実施形態に係る防犯システムはさらに、店舗内に備えられた固定カメラを備え、
前記固定カメラは、撮影した第2の映像を前記サーバに送信し、
前記サーバ制御部は、前記第2の映像に基づき、前記来店者が注意対象者であるか否かを判定し、前記来店者が注意対象者であると判定した場合、前記サーバ通信部により前記ロボットに前記追尾指示を送信する。
【0014】
また本発明の一実施形態に係る防犯システムは、複数のロボットを備え、
前記複数のロボットは前記サーバを介して通信し、各ロボット間の距離が所定以上となるように自律移動する。
【0015】
また本発明の一実施形態に係る防犯システムはさらに遠隔監視端末を備え、
前記サーバは前記遠隔監視端末に前記映像を送信する。
【0016】
また、本発明の一実施形態に係る防犯方法は、
自律移動するロボットと、サーバと、通信端末とを備える防犯システムによる防犯方法であって、
前記ロボットが、
来店者の位置に応じて該来店者に近づくように自律移動する移動ステップと、
前記ロボットに備えられた撮影部により前記来店者の映像を撮影するステップと、
前記映像を前記サーバに送信するステップと、
前記サーバが、
前記ロボットから前記映像を受信するステップと、
前記映像に基づき、前記来店者が注意対象者であるか否かを判定するステップと、
前記来店者が注意対象者であると判定した場合、前記通信端末に警報を送信するステップと、
を含む。
【0017】
また、本発明の一実施形態に係るロボットは、
来店者に近づくように自律移動可能な移動手段と、
前記来店者の映像を撮影する撮影部と、
前記映像をサーバに送信する通信部と、
を備え、
前記サーバから追尾指示を受信した場合、前記移動手段により前記来店者を追尾する。
【発明の効果】
【0018】
本発明における防犯システム、防犯方法、及びロボットによれば、来店者がいずれの位置に存在しても、来店者を撮影することができる。
【発明を実施するための形態】
【0020】
以下、本発明の実施の形態について説明する。
【0021】
(実施の形態1)
図1は本発明の一実施形態に係る防犯システム10の概要図である。防犯システム10は書店やコンビニエンスストア等の店舗において用いられ、以下、本実施の形態では書店にて用いられる場合について説明する。本発明の一実施形態に係る防犯システム10は、自律移動する少なくとも1台のロボット1と、サーバ2と、通信端末3とを備える。ロボット1とサーバ2とは、例えばインターネット等のネットワークNにより接続される。なお
図1では、ロボット1を1台のみ示しているがこれに限られず、ロボットの台数は2台以上であってもよい。また
図1では、サーバ2を5台示しているが、サーバ2の台数はこれに限られず、任意の台数のサーバ2が備えられてもよく、1台であってもよい。また
図1では、通信端末3を1台示しているが、通信端末3の台数はこれに限られず、2台以上であってもよい。
【0022】
概略として本実施形態に係る防犯システム10は、ロボット1が書店内の映像を常時撮影し、またロボット1が自律移動して来店者に近づいて来店者の映像を近距離で撮影する。このようにしてロボット1が撮影した映像をサーバ2へ送信する。サーバ2は、例えば防犯システム10の運営者等が管理するサーバ装置等の情報処理装置であって、ロボット1から受信した映像に基づき、来店者が注意対象者であるか否かを判定する。ここで注意対象者とは、注意を必要とする対象の人物であり、万引き常習者、不審者、危険人物等を含む。サーバ2は、来店者が注意対象者であると判定した場合、通信端末3に警報を送信する。通信端末3は、店舗の従業員(店員)が用いるパーソナルコンピュータ、タブレット端末等の情報処理装置であり、サーバ2から警報を受信する。このようにロボット1、サーバ2、及び通信端末3が協働して、防犯システム10が実現される。次に、防犯システム10の各構成要素について具体的に説明する。
【0023】
(ロボット1の構成)
まず、ロボット1について説明する。好適にはロボット1は人型のロボットであり、顔を含む頭部、胴体部、腕部を備える。
図2に、ロボット1のブロック図を示す。ロボット1は、通信部11と、移動手段12と、撮影部13と、音声対話機能部14と、表示部15と、記憶部16と、制御部17とを備える。通信部11と、移動手段12と、撮影部13と、音声対話機能部14と、表示部15と、記憶部16と、制御部17とは、バス18によりそれぞれ接続されている。
【0024】
通信部11は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェースである。本実施形態において、通信部11は、ネットワークNを介して、サーバ2との間で情報を相互に送受信可能である。また通信部11は、ネットワークNを介して、通信端末3との間で情報を相互に送受信可能である。なお通信部11は、サーバ2と通信する際に、ロボット1の固体認証の処理(ログイン処理等)を適宜行う。これにより複数のロボット1が存在する場合、どのロボット1からのアクセスであるかをサーバ2が把握する。また正規のログインで無い場合は、サーバ2へのアクセスを適切に遮断する。
【0025】
移動手段12は、ロボット1本体を全方向(前後左右)に移動及び回転させるものであり、例えばオムニホイールである。オムニホイールは全方向に移動可能なタイヤであり、複数個の回転可能なローラを有している。当該ローラの回転を制御することにより、任意の方向に移動することが可能であり、また回転動作をすることも可能である。ロボット1は店舗にて用いられるため、来店者等と衝突しないように、ゆっくりと移動することが好ましい。例えば移動手段12による移動速度の最大値を2km/hとする。なお移動手段12はオムニホイールに限らず、任意の移動手段を採用することができる。
【0026】
撮影部13は、来店者を撮影するための少なくとも1つの2Dカメラを含み、所定の画面解像度及びフレームレートにて映像を撮影する。画面解像度は例えばフルハイビジョン(1920×1080ピクセル)である。またフレームレートは例えば30fpsである。好適には2Dカメラの台数は2台であり、ロボット1の顔部の異なる位置(例えば額の位置及び口元)にそれぞれ設けられる。異なる位置に2Dカメラを配置することで、片方の2Dカメラが来店者を撮影できない場合(例えば額のすぐ前に遮蔽物が存在し、遮蔽物により撮影範囲の一部又は全部が遮られる場合)においても、もう一方の2Dカメラにより来店者を撮影することができる。ロボット1は、2Dカメラで撮影した映像に基づき、来店者の存在を検知する。具体的には2Dカメラにより店内の映像を常時撮影し、撮影した映像を通信部11によりサーバ2に送信する。なお映像は静止画でも動画であってもよい。撮影した映像に来店者が含まれることをサーバ2が検知した場合、サーバ2はロボット1に移動指示を送信する。ロボット1は通信部11を介して移動指示を受信した場合、移動手段12により来店者に近づくように自律移動する。好適には撮影部13は、圧縮した映像をサーバ2に送信する。例えば映像の縦横を各々1/4に圧縮し、出力映像を480×270ピクセルとする。またフレームレートを1/2に圧縮し、15fpsにする。これにより映像送信に係る通信リソース及びサーバ2の記憶容量の効率化を図ることができる。
【0027】
さらに撮影部13は、距離計測のための少なくとも1つの3Dカメラを含む。3Dカメラは、赤外視線を照射して反射光を検出することにより、対象物までの距離を取得することができる。3Dカメラは、所定の画面解像度(例えば320×240ピクセル)及び所定フレームレート(例えば20fps)にて3Dの映像(距離情報を含む映像)を取得する。好適には3Dカメラの台数は2台であり、ロボット1の顔部の異なる位置(例えば両目の位置)にそれぞれ設けられる。異なる位置に3Dカメラを配置することで、片方の3Dカメラが来店者を撮影できない場合(例えば右目の前に遮蔽物が存在し、撮影範囲が遮蔽物により遮られる場合)においても、もう一方の3Dカメラ(左目の位置に設けられた3Dカメラ)により来店者を撮影することができる。ロボット1は、3Dカメラにより対象物までの距離を検知し、検知した距離に基づいて、移動手段12により自律移動する。
【0028】
音声対話機能部14は、来店者と音声対話する機能を備え、来店者の会話の音声を集音するマイクと、集音した音声の内容を解析する音声解析部と、解析した音声の内容に基づき適切な応答内容を制御する応答制御部と、応答内容を発話して来店者と対話するためのスピーカとを含む。音声対話機能部14は、ロボット1に内蔵又はサーバ2に記憶された音声対話知識データベースに基づき音声対話を行い、また対話学習をすることが可能である。音声対話機能部14により、ロボット1は店舗における接客が可能である。ロボット1は音声対話機能部14により来店者に「いらっしゃいませ。」「何かお探しでしょうか?」等の声かけをすることができる。また来店者の会話の音声に応じて、例えば来店者が探している商品(書籍)に関する応答をすることができる。
【0029】
表示部15は、例えば液晶ディスプレイ又は有機ELディスプレイ等の表示デバイスであって、多様な画面を表示可能である。好適には表示部15はタッチパネルであり、来店者の入力操作を受け付ける。以下、表示部15はタッチパネルであるものとして説明する。音声対話機能部14により、来店者が探している書籍を検索することを検知した場合、表示部15は、書籍の検索アプリケーションのメニュー画面を表示する。表示部15は来店者によるタッチ操作(入力操作)に基づき、書籍名、著者名、ジャンル、キーワード等により該当する書籍をリスト表示する。リスト中のいずれかの書籍に対するタッチ操作(選択操作)を検知した場合、表示部15は、当該書籍に関する情報(書籍名、著者名、書棚位置、在庫数等)を表示する。ロボット1は適宜サーバ2(又は書籍データベース用のサーバ)と通信することで、上記の検索アプリケーションの実行を行なう。なお音声対話機能部14により、来店者が探している書籍を検知するようにしてもよく、この場合は来店者によるタッチ操作を省くことができる。
【0030】
記憶部16は、例えば一次記憶装置及び二次記憶装置を含み、サーバ2から提供される種々の情報及び情報処理に必要なプログラムを記憶する。例えば、記憶部16は、防犯システム10のロボット用のアプリケーション(以下、ロボ用アプリという。)を記憶する。ロボ用アプリは、例えばネットワークNを介して所定の配信サーバから取得可能である。ロボ用アプリが実行(起動)された状態で、ロボット1の本実施形態に係る動作が実現される。
【0031】
制御部17は、専用又は汎用のプロセッサを含む。制御部17は、ロボット1全体の動作をロボ用アプリにより制御する。例えば制御部17は、通信部11により情報の送受信を行う。具体的には例えば制御部17は、撮影部13により撮影した映像を、通信部11によりサーバ2に送信する。また制御部17は、音声対話機能部14により集音した来店者の音声をサーバ2に送信する。また制御部17は、来店者を検知した場合(サーバ2から移動指示を受信した場合)、移動手段12により来店者に近づくように自律移動する。また制御部17は、移動手段12により来店者に近づき、撮影部13により来店者を撮影する。つまりロボット1はより近い距離で来店者を撮影する。このようにすることで来店者の顔や手元をより鮮明に撮影することができる。
【0032】
また制御部17は、サーバ2又は通信端末3から追尾指示を受信した場合、移動手段12により来店者を追尾し、撮影部13により来店者の映像を撮影する(撮影し続ける)。追尾指示とは、特定の来店者に対する追尾を行なう指示であり、追尾する対象の来店者に係る情報(例えば来店者の顔画像やその他来店者を識別するための情報)を含む。また制御部17は、サーバ2又は通信端末3から追尾不要指示を受信した場合であって、かつ追尾をしている場合、来店者への追尾を停止する。サーバ2又は通信端末3から追尾不要指示を受信した場合であって、かつロボット1が来店者を追尾していない場合、来店者への追尾を行なわない。
【0033】
(サーバ2の構成)
図3は、本発明の一実施形態に係るサーバのブロック図である。サーバ2は、サーバ通信部21と、サーバ記憶部22と、サーバ制御部23とを備える。サーバ通信部21と、サーバ記憶部22と、サーバ制御部23とは、バス24によりそれぞれ接続されている。
【0034】
サーバ通信部21は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェースである。本実施形態において、サーバ通信部21は、ネットワークNを介してロボット1との間で情報を相互に送受信可能である。またサーバ通信部21は、ネットワークNを介して、通信端末3との間で情報を相互に送受信可能である。
【0035】
サーバ記憶部22は、例えば一次記憶装置及び二次記憶装置を含み、防犯システム10の提供及び制御に必要な種々の情報及びプログラムを記憶する。
【0036】
サーバ制御部23は、専用又は汎用のプロセッサを含み、種々の処理を行う。サーバ制御部23は、サーバ2全体の動作を制御する。例えばサーバ制御部23は、サーバ通信部21により情報の送受信を行う。具体的には例えばサーバ制御部23は、ロボット1から送信された映像及び音声を、サーバ通信部21により受信する。またサーバ制御部23は、受信した情報(映像及び音声)をサーバ記憶部22に記憶させる。記憶した情報は、記憶してから一定期間保存し、その後削除する。一定期間は例えば1ヶ月である。1ヶ月間でのデータ保存量は、1台のロボット1からの映像を記憶する場合、約1TBである(10時間/日、30日の稼動の場合)。サーバ記憶部22は必要な記憶容量を備える。
【0037】
またサーバ制御部23は、受信した映像又は音声の少なくとも一方に基づき、来店者が注意対象者であるか否かを判定する。以下、注意対象者の判定処理について具体的に説明する。
【0038】
サーバ制御部23が受信した映像に基づき来店者が注意対象者であるか否かを判定する場合、映像に含まれる来店者の顔画像を抽出し、人物認証データベース221に基づく顔認証により来店者が注意対象者であるか否かを判定する。顔認証には人工知能の技術を適宜用い、機械学習して認証の精度を向上させる。人物認証データベースとは、注意対象人物に係る情報を格納するデータベースであり、サーバ記憶部22に記憶されている。
図4に人物認証データベース221の一例を示す。
図4に示す人物認証データベース221は、注意対象者ID、氏名、顔画像、性別、年齢、及び身体的特徴等を含む。注意対象者IDとは、注意対象者を一意に特定するための識別子である。人物認証データベース221には、注意対象者IDに対応付けて、当該IDに係る注意対象者の氏名、顔画像、性別、年齢、及び身体的特徴等が格納されている。サーバ制御部23は、サーバ記憶部22にアクセスして、ロボット1から受信した映像に含まれる来店者の顔画像に一致または類似する情報があるか否かを検索して顔認証を行なう。来店者の顔画像に一致又は類似する情報が人物認証データベース221に格納されている場合、来店者が注意対象者であると判定する。なお顔認証の際に、顔画像の他に、適宜、性別、年齢、及び身体的特徴の少なくとも1つの情報も組み合わせることにより、顔認証の精度を向上させてもよい。
【0039】
好適には、人物認証データベース221は暗号化される。暗号化することにより、外部に情報が万一漏れても顔画像や身体的特徴等の情報が実質的に復元不可能とすることができる。
【0040】
またサーバ制御部23は、受信した映像から来店者の行動パターンを抽出し、抽出した行動パターンに基づき来店者が注意対象者であるか否かを判定してもよい。行動パターンは、例えば以下が挙げられる。
・大きなバッグ(エコバッグ、トートバッグ等)を所持している。
・しゃがみ込んでいる。
・帽子、眼鏡、マスクを着用している。
・集団で固まっている。
・商品を所定時間以上所持し続けている。
・視線が頻繁に動く。
来店者がこれらの行動パターンをとっている場合、サーバ制御部23は、来店者が注意対象者であると判定する。
【0041】
またサーバ制御部23は、受信した音声から、来店者が注意対象者であるか否かを判定してもよい。具体的にはサーバ制御部23は、受信した音声から来店者の緊張度合いを判定し、緊張度合いが所定値以上である場合に、来店者が注意対象者であると判定する。
【0042】
以上説明した手法により来店者が注意対象者であると判定した場合、サーバ制御部23は、サーバ通信部21により通信端末3に警報を送信する。
【0043】
ここでサーバ制御部23は、注意対象者に対する警戒レベルを決定してもよい。警戒レベルとは、注意対象者に対する注意の度合いを表す指標であり、例えば3段階のレベル(低、中、高)により定められる。例えば来店者が上記行動パターンのうちいずれか1つに該当する行動をとっている場合、警戒レベルを「低」とする。また例えば来店者が上記行動パターンのうちいずれか1つ該当する行動をとり、かつ、音声に基づく緊張度合いが所定値以上である場合、警戒レベルを「中」とする。また例えば来店者の顔画像に一致または類似する情報が人物認証データベース221に格納されている場合、警戒レベルを「高」とする。なお警戒レベルの設定方法はこれに限られない。例えば顔認証の一致度、行動パターンにそれぞれポイントを定め、ポイントの合計値に基づき警戒レベルを定めてもよい。サーバ制御部23は、警戒レベルに係る情報を警報に含め、当該警報をサーバ通信部21により通信端末3に送信する。
【0044】
またサーバ制御部23は、警戒レベルに応じて追尾指示をロボット1にサーバ通信部21を介して送信してもよい。例えば警戒レベルが「高」である場合、当該来店者に対する追尾指示をロボット1にサーバ通信部21を介して送信してもよい。これにより、警戒レベルが所定以上である場合に、すぐにロボット1に追尾させることができる。
【0045】
(通信端末3の構成)
図5は、本発明の一実施形態に係る通信端末3のブロック図である。通信端末3は、端末通信部31と、端末記憶部32と、端末表示部33と、端末入力部34と、端末制御部35とを備える。端末通信部31と、端末記憶部32と、端末表示部33と、端末入力部34と、端末制御部35とは、バス36によりそれぞれ接続されている。
【0046】
端末通信部31は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェースである。本実施形態において、端末通信部31は、ネットワークNを介して、サーバ2との間で情報を相互に送受信可能である。
【0047】
端末記憶部32は、例えば一次記憶装置及び二次記憶装置を含み、サーバ2から提供される種々の情報及び情報処理に必要なプログラムを記憶する。例えば、端末記憶部32は、防犯システム10のアプリケーション(以下、防犯アプリという。)を記憶する。防犯アプリは、例えばネットワークNを介して所定の配信サーバから取得可能である。防犯アプリが実行(起動)された状態で、通信端末3の本実施形態に係る動作が実現される。なお通信端末3は防犯アプリを備えなくてもよく、通信端末3のOS(Operating System)等の標準的なソフトウェアに基づいて本実施形態に係る動作を実現してもよい。
【0048】
端末表示部33は、例えば液晶ディスプレイ又は有機ELディスプレイ等の表示デバイスであって、多様な画面を表示可能である。
【0049】
端末入力部34は、例えばキーボード、ペンタブレット、タッチパッド、マウス等の入力インターフェースであって、通信端末3に対する操作者(本実施の形態では店員)の操作を受付可能である。なお端末入力部34は、端末表示部33と一体的に設けられたタッチパネルであってもよい。以下、本実施の形態では端末入力部34が端末表示部33と一体的に設けられたタッチパネルであるものとして説明する。
【0050】
端末制御部35は、専用又は汎用のプロセッサを含む。端末制御部35は、通信端末3全体の動作を防犯アプリにより制御する。例えば端末制御部35は、端末通信部31により情報の送受信を行う。具体的には例えば端末制御部35は、サーバ2から警報を受信する。また端末制御部35は、受信した警報に基づき、警報画面を端末表示部33により表示する。
【0051】
図6は、端末表示部33が表示する警報画面の一例を示す。
図6に示す警報画面は、警戒レベルが「高」である場合の警報画面の一例であり、注意対象者が検知されたこと、及び警戒レベルを含む。また
図6に示す警報画面は、注意対象者に係る情報、及びリアルタイム情報を含む。リアルタイム情報は、ロボット1により撮影したリアルタイムの撮影情報である。撮影情報は、動画であっても静止画であってもよい。またリアルタイム情報は、映像の撮影日時、撮影場所に係る情報を含む。
図6では撮影場所に係る情報として書棚名(書棚A)にて示しているがこれに限られず、位置を示す任意の情報を用いることができる。また警報画面はタッチ操作可能な入力ボタン341及びホームボタン342を含む。入力ボタン341は、追尾不要指示を送信するためのボタンである。入力ボタン341に対する操作を検知した場合、端末制御部35は、端末通信部31によりサーバ2を介して、追尾不要指示をロボット1に送信する。ホームボタン342は、ホーム画面に戻るためのボタンである。ホームボタン342への操作を検知した場合、ホーム画面に戻る。なお警戒レベルが「高」である場合、ホームボタン342への操作が検知されても、ホーム画面に戻らないようにしてもよい。
【0052】
図7は、端末表示部33が表示する警報画面の別の一例を示す。
図7に示す警報画面は、警戒レベルが「中」である場合の警報画面の一例であり、注意対象者が検知されたこと、及び警戒レベルを含む。また
図7に示す警報画面は、リアルタイムの情報を含む。
図7に示す警報画面は、入力ボタン341に加えて入力ボタン343を含む。入力ボタン343は、追尾指示を送信するためのボタンである。入力ボタン343に対する操作を検知した場合、端末制御部35は、端末通信部31によりサーバ2を介して、追尾指示をロボット1に送信する。
【0053】
図6及び
図7における撮影場所に係る情報は、ロボット1が撮影した映像に基づき判定する。以下、撮影場所に係る情報の判定について説明する。まずロボット1は原則的に書店内の所定の位置(以下、ホームポジションという。)に存在する。
図8及び
図9は、それぞれロボット1がホームポジションに位置している場合と、ロボット1がホームポジションから移動した場合とを示す。
図8に示すように書店内にはレジ4及び複数の書棚5a〜5hが配置され、ロボット1は通常、入り口6付近のホームポジションに位置している。
図8では2名の店員7a、7bがレジに配備しており、ロボット1は入り口6から入店した来店者8を撮影している。ホームポジションを
図8に示す位置にすることで、入り口6から入ってくる来店者を確実に撮影することができる。また通常、人気書籍やコミックは、店員の目の届く入り口6付近の書棚5aに並べられる。つまり書棚5aの付近は重点的に監視すべきエリア(以下、重点エリアともいう。)である。重点エリアの近傍にホームポジションを配置することで、効率的に万引き等の犯罪行為を抑止することができる。
【0054】
図9は、ロボット1が来店者8を追尾し、ホームポジションから離れて移動している。ロボット1がホームポジションから移動した場合、書店内に設けられたマーカに基づき、ロボット1の現在地を把握する。マーカは例えば矢印等の記号や二次元バーコード等であり、書棚又は床等に印字又は貼付される。
図9に示すようにホームポジションにもマーカ9が設けられる。ロボット1は撮影部13によりマーカを撮影し、マーカを含む映像をサーバ2に送信する。サーバ2のサーバ制御部23は、映像に含まれるマーカに基づき、ロボット1の位置(撮影場所)を判定する。サーバ2は撮影場所の情報を警報に含める。例えば
図9に示す位置において来店者8をロボット1が撮影し、サーバ2が映像に基づき来店者8が注意対象者と判定した場合、サーバ2は通信端末3に警報を送信する。通信端末3が表示する警報画面には、撮影場所として書棚5fに係る情報が含まれる。警報に撮影場所の情報が含まれるため、店員がすぐに現場を確認することができる。
【0055】
さらにサーバ2は、検知した撮影場所の情報をロボット1に送信する。ロボット1は受信した撮影場所の情報に基づき、現在位置からホームポジションに戻ることができる。このように店内に設けられたマーカにより、屋内等のGPS(Global Positioning System)機能の使用が困難な場所であっても、撮影場所の情報を提供することができる。
【0056】
次に、本発明の実施の形態1に係る防犯システム10について、
図10に示すフローチャートによりその動作を説明する。
【0057】
はじめにロボット1は、サーバ2により来店者を検知する(ステップS10)。具体的には、ロボット1は、撮影部13により店内の映像を常時撮影し、撮影した映像を通信部11によりサーバ2に送信する。サーバ2は当該映像により来店者の有無を検知する。来店者を検知した場合、ステップS20に進む。
【0058】
ステップS10において来店者を検知した場合、ロボット1は来店者に近づくように自律移動する(ステップS20)。具体的にはサーバ2が映像に来店者が含まれることを検知した場合、サーバ2はロボット1に移動指示を送信する。ロボット1は移動指示を受信すると、移動手段12により来店者に近づくように自律移動する。
【0059】
続いてロボット1は、撮影部13により来店者を撮影する(ステップS30)。つまりロボット1はより近い距離で来店者を撮影する。ロボット1は、撮影した映像を通信部11によりサーバ2に送信する(ステップS40)。
【0060】
続いてロボット1は、音声対話機能部14により来店者を接客する(ステップS50)。ロボット1は、音声対話機能部14により集音した来店者の音声をサーバ2に送信する(ステップS60)。
【0061】
続いてサーバ2は、受信した映像又は音声の少なくとも一方に基づき、来店者が注意対象者であるか否かを判定する(ステップS70)。来店者が注意対象者であると判定した場合、ステップS80に進む。来店者が注意対象者でないと判定した場合、ステップS10に戻る。
【0062】
ステップS70において来店者が注意対象者であると判定した場合、サーバ2のサーバ通信部21により通信端末3に警報を送信する(ステップS80)。
【0063】
続いてロボット1は追尾指示があった場合(ステップS90:はい)、追尾指示に基づき来店者を追尾する(ステップS100)。具体的には、ロボット1の制御部17は、サーバ2又は通信端末3から追尾指示を受信した場合、移動手段12により来店者を追尾する。そしてロボット1は、撮影部13により来店者の映像を撮影し続ける(ステップS110)。好適には、来店者が店舗を出るまで撮影し続ける。そして処理を終了する。
【0064】
このように実施の形態1に係る防犯システム10によれば、ロボット1が自律移動して来店者の映像を撮影するため、来店者がいずれの位置に存在しても、来店者を撮影することができる。また撮影した映像をサーバ2に送信し、当該映像に基づき、来店者が注意対象者であるか否かを判定する。そして来店者が注意対象者であると判定した場合、サーバ2が通信端末3に警報を送信する。そのため、注意対象者をすぐに特定することができ、店員等が近づいて声がけすることによって、万引き等の犯罪行為を抑止することができる。
【0065】
特に実施の形態1に係る防犯システム10によれば、ロボット1が撮影した映像に基づき来店者が注意対象者であるか否かをサーバ2が判定するため、警備員を必ずしも配備する必要がない。万引きを抑止するための警備員は、経験及び勘を含む高度な技量が必要とされ、人件費は高額である。したがって警備員を配備することは店舗の経営を圧迫することになる。また警備員は万引き常習者等の犯罪者からの暴行を受ける危険性があり、万引き警備の人材が不足しているのが実情である。実施の形態1に係る防犯システム10のように、ロボット1を活用して犯罪を抑止できれば、人件費のコスト削減ができるとともに、暴行による人的被害も減少させることができ、人材不足の解消にも寄与することができる。
【0066】
また、実施の形態1に係る防犯システム10によれば、注意対象人物に係る顔画像を格納する人物認証データベース221を備え、ロボット1が撮影した映像から来店者の顔画像を抽出し、人物認証データベース221に基づく顔認証により来店者が注意対象者であるか否かを判定する。そのため、万引き常習者等をより確実に判定することができ、かつ通信端末3に警報を送信するため、万引き等の犯罪行為を抑止することができる。
【0067】
また、実施の形態1に係る防犯システム10によれば、人物認証データベース221がサーバ2に記憶されている。そのため、ロボット1に大容量の記憶部を備える必要がない。また人物認証データベースのレコードの追加、更新及び削除もサーバ2にて行なえばよく、各ロボット1の設定変更等を行う必要が無い。また、万一ロボット1が破壊や窃盗等されたとしても、人物認証データベース221が流出する恐れが無い。さらに人物認証データベース221は暗号化されてサーバ2に記憶されているため、万一の場合でも、サーバ2から人物認証データベース221の情報が流出する恐れも無い。
【0068】
なお、本実施の形態では、人物認証データベース221に注意対象者に係る情報を格納したが、人物認証データベース221に注意対象者以外の者(例えば店員や正規に商品を購入する通常の来店者)の情報を格納してもよい。この場合、ロボット1が撮影した映像に含まれる来店者の顔画像に一致又は類似する情報が人物認証データベース221に格納されており、かつ当該情報が、注意対象者以外の者の情報であるとき、来店者が注意対象者ではないと判定する。このようにすることで、注意対象者ではない者を効率的に検知できる。つまり注意対象者ではないと検知した場合、当該来店者を監視すべき対象から除外できる。なお注意対象者から除く者に係るデータベース(ホワイトリスト)を人物認証データベース221とは別のデータベースとしてサーバ記憶部22に格納してもよい。また注意対象者ではないが、一定程度、留意すべき来店者に係るデータベース(ホワイトリストとブラックリストの中間のリスト)をサーバ記憶部22に格納してもよい。この場合、当該データベースの情報に加えて、来店者の行動パターンや音声等、他の情報にも基づいて来店者が注意対象者であるか否かを判定する。
【0069】
また、実施の形態1に係る防犯システム10によれば、映像から来店者の行動パターンを抽出し、行動パターンに基づき来店者が注意対象者であるか否かを判定する。そのため、来店者が注意対象者として事前に登録(例えば人物認証データベース221に登録)されていない場合でも、注意対象者を適切に検知することができる。これにより、万引き等の犯罪行為の抑止効果を高めることができる。
【0070】
また、実施の形態1に係る防犯システムでは、ロボット1が音声対話機能部14を備え、ロボット1が接客をすることができる。接客されている最中に万引き等の犯罪行為をすることは困難になるため、万引き等の犯罪行為の抑止効果を高めることができる。警備員は通常、私服にて来店者のように振舞いながら万引き等を監視するため、来店者への声がけは通常行なわない。また一方で店員は本来業務があるため、万引きされそうな場所に常駐することが困難である。一方、実施形態1のロボット1によれば、接客と警備の両方を同時に行なうことができる。ロボットによる接客はまだそれ程普及していないため、物珍しさもあり、ロボットとの対話を楽しむ来店者の店舗への集客効果及び売り上げの増加を図ることもできる。
【0071】
さらに音声対話機能部14により集音した来店者の音声も用いて、注意対象者の判定に用いるため、来店者が注意対象者として事前に登録(例えば人物認証データベース221に登録)されていない場合でも、注意対象者を適切に検知することができる。そのため、万引き等の犯罪行為の抑止効果を高めることができる。
【0072】
また、実施の形態1に係る防犯システム10によれば、ロボット1が撮影した映像に基づき注意対象者に対する警戒レベルを決定し、警報には警戒レベルに係る情報が含まれる。そのため、通信端末3により表示される警報の緊急度及び重要度が容易に把握でき、適切な対処を遅滞無く行なうことができる。
【0073】
なお、警報の一例として
図6及び
図7を示したが、警報の表示形態はこれに限られない。例えばサーバ2は通信端末3に、Eメールの形式にて警報を送信してもよい。例えばEメールに注意対象者の画像やロボット1が撮影した映像を添付してもよい。
【0074】
また、実施の形態1に係る防犯システム10によれば、追尾指示に基づきロボット1が注意対象者を追尾して、近距離から注意対象者を撮影するため、万引き等の犯罪行為の抑止効果を高めることができる。また仮に注意対象者が万引き等の犯罪行為を行なった場合でも証拠映像を撮影することができる。また当該証拠映像をサーバ2に送信し、サーバ2にて証拠を記録することができる。
【0075】
なお、追尾指示を受信した場合に、撮影する映像の画面解像度及びフレームレートの少なくとも一方を、追尾指示を受信する前(受信していない場合)よりも高めてもよい。このようにすることで、注意すべき注意対象者の映像を鮮明に撮影することができる。また逆に、追尾指示を受信する前の状態では、撮影する映像の画面解像度及びフレームレートの少なくとも一方を下げるようにしてもよい。このようにすることで、ロボット1からサーバ2への通信データ量を低減することができ、通信リソースを効率的に活用することができる。またサーバ2にて記憶するデータ量を削減することもできる。
【0076】
なお、本実施の形態では、
図10のステップS10において来店者を検知すると、ステップS20においてロボット1が自律移動して来店者に近づくように制御したがこれに限られない。例えば来店者を検知し、かつ、当該来店者が注意対象者の可能性が閾値以上である場合に限り、ステップS20に進んで、ロボット1が自律移動して来店者に近づくようにしてもよい。注意対象者である可能性は、ロボット1から受信した映像に基づき、サーバ2が判定する。具体的には例えばサーバ2は、人物認証データベース221に基づく顔認証により当該可能性を判定してもよく、また来店者の行動パターンに基づき当該可能性を判定してもよい。当該判定の結果、例えば警戒レベルが所定レベル以上である場合、来店者が注意対象者の可能性が閾値以上と判定する。このようにすることで、例えばしゃがみこんでいる人を見つけた場合にはロボット1が近づくように自律移動して接客対応し、近距離で撮影する。また例えば、帽子、眼鏡、マスクを着用している人を見つけた場合にロボット1が近づくように自律移動して接客対応し、近距離で撮影する。あるいは例えば、来店者が集団で固まっている場合にロボット1が近づくように自律移動して接客対応し、近距離で撮影する。このように、注意対象者の可能性が閾値以上である場合に来店者に近づくことで、注意対象者の可能性が高い来店者の映像を効率的に撮影し、万引き等の犯罪行為を抑止することができる。
【0077】
なお、所定時間帯(例えば開店時及び閉店時)において、ロボット1が来店者に近づいて接客する頻度を当該所定時間帯以外よりも高めてもよい。例えば所定時間帯には、上記閾値を下げることで来店者に近づいて接客する頻度を高める。あるいは例えば、所定時間帯には、来店者を検知した場合に、注意対象者である可能性に拘らず、ロボット1が検知した全ての来店者に近づいて接客してもよい。このようにすることで、開店時及び閉店時等、来客が少なく、また店員が多忙な時間帯においても、万引き等の犯罪行為を抑止することができる。なお、時期に応じて、ロボット1が来店者に近づいて接客する頻度を変更してもよい。例えば万引きが多い時期(11月〜1月)頃において、当該頻度を高めるようにしてもよい。一方、万引きが少ない時期(2月、8月)頃において、当該頻度を低くするようにしてもよい。
【0078】
なお、本実施の形態では、受信した音声から来店者の緊張度合いを判定し、緊張度合いが所定値以上である場合に、来店者が注意対象者であると判定したが、受信した映像から抽出した来店者の動作にも基づき、緊張度合い等の精神状態を判定してもよい。
【0079】
なお、サーバ2は、来店者の履歴をサーバ記憶部22に記憶してもよい。この場合サーバ2は当該履歴情報を、注意対象者の判定に用いてもよい。例えばサーバ2は、ロボット1から受信した来店者の顔画像に基づき、来店者の来店回数や来店日時を、来店者データベースとして記録する。
図11に来店者データベースの一例を示す。万引き常習者は通常、店舗に下見に訪れる。したがって、来店回数を記録し、来店回数が所定回数(例えば2回)以上である場合、注意対象者の可能性があると判定するようにしてもよい。あるいは来店者の履歴情報に加えて、行動パターン及び音声の少なくともいずれか一方に基づき注意対象者であると判定するようにしてもよい。このようにすることで、下見に訪れたことのある注意対象者を適切に判定することができ、犯罪の抑止効果を高めることができる。さらに来店者の履歴情報を、購入履歴と合わせてサーバ記憶部22に記憶してもよい。そしてサーバ2のサーバ制御部23は、正規に商品を購入した来店者である場合には、注意対象者でないと判定するようにしてもよい。また例えば、来店者の氏名を取得可能である場合(例えば音声対話機能部14)により取得した場合、来店者の氏名も履歴として記憶してもよい。そしてロボット1が接客する際に当該情報をサーバ2から取得し、声がけの際に来店者の氏名(例えば、「太郎」)を含めて、「太郎さん、何をお探しですか?」等と声がけをしてもよい。あるいは「先日も来店されましたね。本日は何をお探しですか?」等と声がけをしてもよい。これにより、例えば来店者が注意対象者であれば、万引き等の犯罪行為の抑止効果を高めることができる。また来店者が注意対象者で無い場合も、ロボット1が当該来店者を覚えていてくれたことで愛着が生じ、店舗への集客効果及び売り上げの増加を図ることができる。
【0080】
(実施の形態2)
以下に、本発明の実施の形態2について説明をする。
図12は本発明の実施の形態2の防犯システム10bを店舗に配置した様子を示すブロック図である。実施の形態2に係る防犯システム10bは、実施の形態1にかかる構成と比較して、固定カメラ131を備える点が相違する。その他、各構成要素は実施の形態1に係る構成と同一であるため同一の符号を付し、説明は省略する。
【0081】
実施の形態2に係る防犯システム10bは、固定カメラ131を重点エリアの付近を撮影可能な位置(例えば重点エリア付近の天井)に設けている。
図12の固定カメラ131から伸びる破線は、固定カメラ131の撮影範囲を示している。固定カメラ131は通信機能を有し、撮影した映像(第2の映像という。)をサーバ2に送信する。
【0082】
サーバ制御部23は、第2の映像に基づき、来店者が注意対象者であるか否かを判定する。来店者が注意対象者であると判定した場合、サーバ通信部21によりロボット1に追尾指示を送信する。
【0083】
このように実施の形態2にかかる防犯システム10bによれば、固定カメラ131で撮影した第2の映像にも基づいて、来店者が注意対象者であるか否かを判定する。そのため、ロボット1が仮にホームポジション9から移動している場合であっても、適切に入店する来店者を撮影し、注意対象者の映像をより確実に捕捉することができる。
【0084】
なお、ロボット1がホームポジション9に存在する場合に、固定カメラ131の撮影範囲を変更する撮影範囲変更手段を備えてもよい。この場合、固定カメラ131は、ロボット1が撮影する範囲以外を撮影するように撮影範囲変更手段により撮影範囲を変更する。このようにすることで、常時撮影するエリアを拡大することができる。
【0085】
なお、上記実施の形態では固定カメラ131の設置位置を、重点エリアの付近を撮影可能な位置に設けたがこれに限られず、任意の位置に固定カメラ131を設置してもよい。例えばホームポジションの付近ではない領域を撮影可能な位置に設けてもよく、この場合は、監視するエリアを拡大することができる。
【0086】
(実施の形態3)
以下に、本発明の実施の形態3について説明をする。
図13は本発明の実施の形態3の防犯システム10cを店舗に配置した様子を示すブロック図である。実施の形態3に係る防犯システム10cは、実施の形態1にかかる構成と比較して、ロボットが複数配置される点が相違する。その他、各構成要素は実施の形態1に係る構成と同一であるため同一の符号を付し、説明は省略する。
【0087】
図13に示すように、実施の形態3に係る防犯システム10cは、ロボット1に加えてロボット1cを備える。ロボット1cの構成は、ロボット1と同一である。ロボット1cは、ネットワークN及びサーバ2を介してロボット1と相互に通信可能である。
【0088】
例えばロボット間に通信により、ロボット1とロボット1cとは、ロボット間の距離が所定以上となるように自律移動する。このようにすることで、各ロボットの撮影範囲が重複することを防止し、常時撮影するエリアを拡大することができる。
【0089】
また、ロボットが2台の場合には、
図13に示すようにホームポジションもロボットの台数に応じて2つ(9及び9c)設けられる。また当該複数のホームポジションには優先度が設定されてもよい。
図13に示す例では、ホームポジション9の優先度がホームポジション9cの優先度よりも高い。そのため、片方のロボット(
図13ではロボット1)がホームポジション9を離れた場合、もう一方のロボット(
図13ではロボット1c)がより優先度の高いホームポジション9に自律移動する。このようにすることで、優先度の高いホームポジションにいずれかのロボットが存在する確率を高めることができる。これにより、適切に入店する来店者を撮影し、注意対象者の映像をより確実に捕捉することができる。また、ホームポジション9のロボットの方がより頻繁に来店者を検知し、また接客することになる可能性が高いため、ロボット間の処理負荷の平準化ができる。なお優先度の高いホームポジションにロボットが不在であることは、ロボットの撮影部13により撮影した映像により判断してもよく、あるいは各ロボットの現在値に基づき判断してもよい。
【0090】
(実施の形態4)
以下に、本発明の実施の形態4について説明をする。
図14は本発明の実施の形態4の防犯システム10dのブロック図である。実施の形態4に係る防犯システム10dは、実施の形態1にかかる構成と比較して、遠隔監視端末3dを備える点が相違する。その他、各構成要素は実施の形態1に係る構成と同一であるため同一の符号を付し、説明は省略する。
【0091】
図15は、遠隔監視端末3dのブロック図である。遠隔監視端末3dは、端末通信部31dと、端末記憶部32dと、端末表示部33dと、端末入力部34dと、端末制御部35dとを備える。端末通信部31dと、端末記憶部32dと、端末表示部33dと、端末入力部34dと、端末制御部35dとは、バス36dによりそれぞれ接続されている。各機能ブロックは、通信端末3の対応する機能ブロックと同一の機能を有し、説明は省略する。
【0092】
遠隔監視端末3dは、通信端末3と同様にサーバ2からの警報を受信する。さらに遠隔監視端末3dは、ロボット1が送信した映像をサーバ2から受信する。好適には遠隔監視端末3dは、従業員が在宅にて用いるパーソナルコンピュータである。遠隔監視端末3dにより、店舗外の場所(遠隔地等)にてロボット1が撮影した映像に基づき、店内を監視することができる。
【0093】
つまり遠隔監視端末3dを用いることで、従業員が在宅にて、ロボット1の映像及び警報から、注意対象者を常時監視することができる。これにより、万引き等の犯罪行為を抑止する効果を高めることができる。
【0094】
以上、本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
【0095】
例えば本実施の形態では、防犯システム10を書店にて用いる例を示したがこれに限られず、任意の店舗にて用いることができる。また本実施の形態では、主に万引きを抑止することを目的としているがこれに限られず、痴漢行為等の迷惑行為や器物破損等の犯罪行為の抑止にも用いることができる。さらに、迷子の子供や、失踪者、指名手配犯を注意対象者として人物認証データベース221に登録してもよく、これらの人物を検知した場合に警報を送信して注意対象者の発見をすることにも適用可能である。