(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023142022
(43)【公開日】2023-10-05
(54)【発明の名称】警備システム、警備方法およびプログラム
(51)【国際特許分類】
G08B 25/04 20060101AFI20230928BHJP
G08B 29/00 20060101ALI20230928BHJP
【FI】
G08B25/04 E
G08B29/00 A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022048680
(22)【出願日】2022-03-24
(71)【出願人】
【識別番号】000202361
【氏名又は名称】綜合警備保障株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】羽山 西蔵
(72)【発明者】
【氏名】木村 卓哉
【テーマコード(参考)】
5C087
【Fターム(参考)】
5C087DD05
5C087FF02
5C087FF04
5C087GG06
5C087GG17
(57)【要約】
【課題】巡回者の生体信号に基づいて巡回中に不正行為が行われた可能性について推定することができる警備システム、警備方法およびプログラムを提供する。
【解決手段】巡回者に関する生体信号を検出する計測装置から生体信号を取得する第1取得部と、第1取得部により取得された生体信号から、所定の特徴量を算出する算出部と、算出部により算出された特徴量に対する分析により、巡回者の意識状態または情動状態の少なくともいずれかを求める分析部と、分析部により求められた意識状態または情動状態の少なくともいずれかの変化に基づいて、巡回者により不正行為が行われた可能性を推定する推定部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
巡回者に関する生体信号を検出する計測装置から該生体信号を取得する第1取得部と、
前記第1取得部により取得された前記生体信号から、所定の特徴量を算出する算出部と、
前記算出部により算出された前記特徴量に対する分析により、前記巡回者の意識状態または情動状態の少なくともいずれかを求める分析部と、
前記分析部により求められた前記意識状態または前記情動状態の少なくともいずれかの変化に基づいて、前記巡回者により不正行為が行われた可能性を推定する推定部と、
を備えた警備システム。
【請求項2】
前記推定部により前記巡回者により不正行為が行われた可能性が高いと推定された場合、該巡回者に対し不正に関する情報を提示し、前記情報を提示した際に前記第1取得部により取得された前記生体信号に基づいて、該巡回者により不正行為が行われた可能性を確認する確認部を、さらに備えた請求項1に記載の警備システム。
【請求項3】
警備対象空間に設置された1以上のセンサにより前記巡回者が検知された場合に、少なくとも該巡回者を検知した該センサに関する情報を含む警備情報を取得する第2取得部と、
少なくとも、前記警備情報が示す前記センサの情報と、前記分析部による分析結果とを関連付けた動作履歴情報を生成する生成部と、
をさらに備え、
前記推定部は、前記動作履歴情報の前記分析結果が示す前記意識状態または前記情動状態の少なくともいずれかの変化に基づいて、前記巡回者により不正行為が行われた可能性を推定する請求項1または2に記載の警備システム。
【請求項4】
前記分析部は、
前記巡回者の前記意識状態を求める意識分析部と、
前記巡回者の前記情動状態を求める情動分析部と、
を含む請求項1~3のいずれか一項に記載の警備システム。
【請求項5】
前記意識分析部は、前記算出部が算出した特徴量から所定区間毎の意識の度合いを求めるとともに、区間間ごとの意識の度合いの変化量を求め、
前記推定部は、少なくとも前記意識分析部により求められた前記意識の度合いの変化量に基づいて、前記巡回者により不正行為が行われた可能性を推定する請求項4に記載の警備システム。
【請求項6】
前記意識分析部は、前記算出部が算出した特徴量から所定区間毎の意識の度合いを求め、区間間ごとの意識の度合いの変化量の加重平均を求め、
前記推定部は、少なくとも前記意識分析部により求められた前記加重平均に基づいて、前記巡回者により不正行為が行われた可能性を推定する請求項4に記載の警備システム。
【請求項7】
前記情動分析部は、前記算出部が算出した特徴量から所定区間毎の覚醒度または感情度の少なくとも1つを情動状態として算出し、前記巡回者の巡回作業を通しての前記情動状態の変化量を求め、
前記推定部は、少なくとも前記情動分析部により求められた前記情動状態の変化量に基づいて、前記巡回者により不正行為が行われた可能性を推定する請求項4に記載の警備システム。
【請求項8】
前記情動分析部は、前記算出部が算出した特徴量から所定区間毎の覚醒度または感情度の少なくとも1つを情動状態として算出し、区間間ごとの、前記情動状態の変化量を求め、
前記推定部は、少なくとも前記情動分析部により求められた前記情動状態の変化量に基づいて、前記巡回者により不正行為が行われた可能性を推定する請求項4に記載の警備システム。
【請求項9】
前記生体信号は、前記巡回者の脳波であり、
前記計測装置は、脳波計である請求項1~8のいずれか一項に記載の警備システム。
【請求項10】
巡回者に関する生体信号を検出する計測装置から該生体信号を取得する取得ステップと、
取得した前記生体信号から、所定の特徴量を算出する算出ステップと、
算出した前記特徴量に対する分析により、前記巡回者の意識状態または情動状態の少なくともいずれかを求める分析ステップと、
求めた前記意識状態または前記情動状態の少なくともいずれかの変化に基づいて、前記巡回者により不正行為が行われた可能性を推定する推定ステップと、
を有する警備方法。
【請求項11】
コンピュータに、
巡回者に関する生体信号を検出する計測装置から該生体信号を取得する取得ステップと、
取得した前記生体信号から、所定の特徴量を算出する算出ステップと、
算出した前記特徴量に対する分析により、前記巡回者の意識状態または情動状態の少なくともいずれかを求める分析ステップと、
求めた前記意識状態または前記情動状態の少なくともいずれかの変化に基づいて、前記巡回者により不正行為が行われた可能性を推定する推定ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、警備システム、警備方法およびプログラムに関する。
【背景技術】
【0002】
従来、個々の建物内等の警備対象となる空間に設置した警備端末により、人の存在や火災の発生等の異常を検知すると、警備会社等に異常の発生を通知する警備システムが一般的に利用されている。このような警備システムでは、夜間や休日等の家主等の不在時や、異常発生が通報された時に警備員等の巡回者が家主等に代わり建物内を巡回し、状況確認等を行っている。しかしながら、本来、不審者による建物への侵入等に伴う犯罪行為の防止・抑制を目的とする巡回作業であるが、当該巡回者自身による窃盗等の不正行為が発生しないという保証はなく、かつ、当該巡回者は、建物に入ることを許された者であり、建物に設置されている警備システムでは、巡回者の不正行為を検知することはできない。そのため、巡回作業中の巡回者による不正行為を検知し、かつ当該行為を抑制するためのシステムが望まれる。
【0003】
例えば、不正行為の防止に寄与するシステムとして、特許文献1に記載された技術がある。特許文献1は、センタ側装置と、該センタ側装置に通信回線を介して接続した少なくとも1つの店舗側装置とで構成されている。店舗側制御装置は、店舗側顔認証部から人物毎の店舗への入場日時と店舗からの退場日時および顔情報を取得して店舗情報とともにセンタ側装置に送信するとともに、動線検出部から人物毎に検出された動線情報と該当する人物の顔情報を取得して店舗情報とともにセンタ側装置に送信する。また、店舗側制御装置は、不審行動検出部から不審人物有りを示す情報と不審人物有りと判別した動線情報に該当する人物の顔情報とその場所情報を店舗情報と共に不審情報としてセンタ側装置に送信する。さらに、店舗側制御装置は、商品検出装置から無くなった商品に関する情報と、無くなった日時および時間帯情報を受け取ると、これらの情報を店舗情報と共にロスト情報としてセンタ側装置に送信する。センタ側装置では、店舗側制御装置から送信される情報をもとに各人物の怪しさを判定している。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載された技術では、監視カメラの画像を解析すること等によって不正行為を検知するものであるが、巡回者が巡回作業を行う可能性がある全ての建物等にカメラを設置し、巡回者の作業をカメラ画像から不正行為であるか否かを判別することは困難であるという問題がある。
【0006】
本発明は、上記に鑑みてなされたものであって、巡回者の生体信号に基づいて巡回作業中に不正行為が行われた可能性について推定することができる警備システム、警備方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明は、巡回者に関する生体信号を検出する計測装置から該生体信号を取得する第1取得部と、前記第1取得部により取得された前記生体信号から、所定の特徴量を算出する算出部と、前記算出部により算出された前記特徴量に対する分析により、前記巡回者の意識状態または情動状態の少なくともいずれかを求める分析部と、前記分析部により求められた前記意識状態または前記情動状態の少なくともいずれかの変化に基づいて、前記巡回者により不正行為が行われた可能性を推定する推定部と、を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、巡回者の生体信号に基づいて巡回中に不正行為が行われた可能性について推定することができる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施の形態に係る警備システムの全体構成の一例を示す図である。
【
図2】
図2は、巡回作業における意識・情動の変化を説明する図である。
【
図3】
図3は、警備対象空間の一例を示す図である。
【
図4】
図4は、不正の可能性がない場合の巡回作業における意識・情動の変化の一例を示す図である。
【
図5】
図5は、不正があり、かつカメラがある場合の巡回作業における意識・情動の変化の一例を示す図である。
【
図6】
図6は、不正があり、かつカメラがない場合の巡回作業における意識・情動の変化の一例を示す図である。
【
図7】
図7は、不正の可能性がなく、かつ発報要因へ適切な処置を行った場合の巡回作業における意識・情動の変化の一例を示す図である。
【
図8】
図8は、不正の可能性がなく、かつ発報要因へ不適切な処置を行った場合の巡回作業における意識・情動の変化の一例を示す図である。
【
図9】
図9は、実施の形態に係る情報端末のハードウェア構成の一例を示す図である。
【
図10】
図10は、実施の形態に係る管理サーバのハードウェア構成の一例を示す図である。
【
図11】
図11は、実施の形態に係る警備システムの機能ブロックの構成の一例を示す図である。
【
図12】
図12は、生体信号に基づく特徴量の分布の一例を示す図である。
【
図13】
図13は、意識分析部における意識の度合いの変化量の算出動作を説明する図である。
【
図14】
図14は、情動分析結果に基づく情動状態の分布を説明する。
【
図15】
図15は、情動分析部における情動分析の方法の一例を示す図である。
【
図16】
図16は、情動分析部における情動分析の方法の一例を示す図である。
【
図18】
図18は、実施の形態に係る警備システムを用いた場合の巡回作業の流れの一例を示すフローチャートである。
【
図19】
図19は、実施の形態に係る警備システムの不正推定・確認処理の流れの一例を示すフローチャートである。
【
図20】
図20は、変形例に係る警備システムにおいて一部の機能を機械学習による学習モデルを用いた処理で代替する一例を示す図である。
【発明を実施するための形態】
【0010】
以下に、図面を参照しながら、本発明に係る警備システム、警備方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【0011】
(警備システムの全体構成)
図1は、実施の形態に係る警備システムの全体構成の一例を示す図である。
図2は、巡回作業における意識・情動の変化を説明する図であり、横軸は時間を表し、8本の波は脳波の波形を示している。
図3は、警備対象空間の一例を示す図である。
図1~
図3を参照しながら、本実施の形態に係る警備システム1の全体構成および動作の概要について説明する。
【0012】
図1に示す警備システム1は、警備対象空間STSを巡回する巡回者から取得した脳波等の生体信号に対する分析により、警備対象空間STSにおける巡回者の不正行為の可能性を推定するシステムである。警備システム1は、
図1に示すように、巡回者が携帯する情報端末10と、監視センタの管理サーバ20と、を含む。巡回者は、脳波計(EEG:Electroencephalograph)Eを内蔵したヘルメットHを装着した状態で、警備対象空間STSに対して巡回作業を行う。脳波計Eは、複数の電極により、人間の脳から発する微弱な電気信号(脳波)を検出することにより、脳の神経的な動作状態を測定する計測装置である。なお、脳波計Eは、ヘルメットHに内蔵されることに限定されるものではなく、巡回者の脳波が検出できる態様で装着または携帯できるものであればよい。また、巡回者の生体信号を測定する計測装置としては、脳波計Eに限定されるものではなく、脳磁計(MEG:Magnetoencephalogram)、または近赤外光を利用して脳組織の血流変化を測定する脳活動センサ等であってもよい。
【0013】
警備対象空間STSの各所には、人感センサ、カメラ、画像センサまたはドアセンサ等の各種センサと通信装置を有する警備端末STが設置されており、警備対象空間STS内のどのエリアに人間等が存在するかを検知することができる。警備対象空間STSには、少なくとも1以上のセンサが設置され、
図3に示す例では、センサとして、人間等を検知する人感センサST-M1、ST-M2、ST-M3、および、画像を撮像することによって人間等を検知するカメラST-C1、ST-C2が配置されている。通信装置は、センサが巡回者等の人間を検知した場合に、そのセンサの識別情報と検知時刻を含む検知情報を、ネットワークNを介して、監視センタの管理サーバ20へ送信する。センサの識別情報は、例えば予めセンサ毎に付与され各センサを識別するための情報であり、本実施の形態においては人感センサおよびカメラに付与した「ST-M1」、「ST-M2」、「ST-M3」、「ST-C1」、「ST-C2」を指すものとする。また、人間等は、例えば巡回者である。ネットワークNは、例えばTCP(Transmission Control Protocol)/IP(Internet Protocol)等のプロトコルに準拠したLAN(Local Area Network)またはインターネット等のネットワークである。なお、ネットワークNには、有線回線だけでなく無線回線が含まれていてもよい。
【0014】
情報端末10は、巡回者が装着したヘルメットHの脳波計Eにより測定された生体信号の一例である脳波を無線受信し、当該脳波に対する各種分析によって当該巡回者の意識状態および情動状態を判定し、当該意識状態および情動状態の変化に基づいて、巡回者により不正行為が行われた可能性を推定するスマートフォンまたはタブレット端末等の情報処理装置である。例えば、情報端末10は、巡回者による巡回作業中に、
図2(a)に示すような脳波を脳波計Eから無線受信し、当該脳波に対する各種分析を行うことによって、巡回者の意識状態の変化、および「緊張」、「不安」、「安心」、「リラックス」等の巡回者の情動状態を判定する。
【0015】
図2(a)では、巡回者が適切な巡回作業を行った場合の脳波に基づく情動状態の変化を示している。この場合、巡回者は、警備対象空間STSへの入館時には、これからの巡回で遭遇する可能性がある賊(侵入者)との遭遇等の危険を想定することによる「緊張」および「不安」の情動が発生する。そして、巡回者は、巡回中において危険がないことを確認していくと、退館時までの過程でだんだんと「緊張」および「不安」が緩和され、「リラックス」および「安心」の情動へ移行していく。
【0016】
図2(b)では、巡回者が巡回作業中に金品の窃盗等の不正行為を行った場合の脳波に基づく情動状態の変化を示している。この場合、巡回者は、警備対象空間STSへの入館時には、これからの巡回で遭遇する可能性がある不審者との遭遇等の危険を想定することによる「緊張」および「不安」の情動が発生するのは、
図2(a)の場合と同様である。そして、巡回者は、巡回作業中に金品を発見し、当該金品の窃盗を思いついて不正行為を実行すると、当該不正行為が露見することへの意識から「緊張」および「不安」の情動が増大し、それが退館するまで継続する。
【0017】
情報端末10は、
図2で上述したような、適切な巡回作業をした場合と、不正行為を行った場合とにおける巡回者の意識状態および情動状態の差異に着目し、脳波の変化より判定した意識状態および情動状態の変化に基づいて、不正行為が行われた可能性を推定する。
【0018】
なお、情報端末10は、脳波計Eから脳波を受信する場合、無線により受信することに限られず、有線で受信してもよい。
【0019】
管理サーバ20は、警備対象空間STSに設置された警備端末STから、ネットワークNを介して検知情報を受信し、当該検知情報に含まれる識別情報と検知時刻とを含む警備情報を、ネットワークNを介して情報端末10へ送信するサーバ装置である。
【0020】
情報端末10および管理サーバ20の構成および動作についての詳細については、後述する。なお、
図1において、警備システム1は、情報端末10と、管理サーバ20とを含むものとしたが、これに限定されるものではなく、情報端末10が直接警備端末STからの検知情報を受信する構成とすれば、管理サーバ20を含むことなく実現することも可能である。
【0021】
(巡回作業における意識状態および情動状態の変化の具体例)
以下、
図4~
図8を参照しながら、巡回者による巡回作業における意識状態および情動状態の変化の具体例について説明する。
【0022】
図4は、不正の可能性がない場合の巡回作業における意識・情動の変化の一例を示す図である。まず、
図4を参照しながら、不正の可能性がない場合の巡回作業における巡回者の意識状態および情動状態の変化の具体例について説明する。
【0023】
なお、
図3に示す警備対象空間STSにおいて矢印で示す巡回経路で巡回作業が行われるものとして説明する。すなわち、入館後、人感センサST-M1により検知される区間、人感センサST-M2により検知される区間、カメラST-C1により検知される区間(金庫が配置された部屋)、人感センサST-M3により検知される区間、カメラST-C2により検知される区間、再び人感センサST-M2により検知される区間、人感センサST-M1により検知される区間の順に巡回作業が進められ、その後退館する。ここで、区間とは、原則としていずれかのセンサ等により検知される巡回エリアと捉えることができるが、これに限らず、例えば、カメラST-C2による検知が外れてから、人感センサST-M2により検知されるまでのような、いずれのセンサ等にも検知されない巡回エリアも区間として含み得る。
【0024】
巡回者は、時刻「03:49:20」に入館する。このときこれからの巡回で遭遇する可能性がある賊(侵入者)との遭遇等の危険を想定することにより、意識状態に「中」程度の変化が生じ、「不安」、「恐怖」および「緊張」の情動状態が「中」程度に発生する。そして、巡回者は、順調に巡回作業が進み、警備対象空間STS内の安全が確認されてくると、「不安」、「恐怖」および「緊張」の情動状態は「小」程度に落ち着いていく。その後、時刻「03:56:30」に巡回作業が終了し、警備対象空間STSの安全が確認できると、意識状態が平常時の状態に戻るため、意識状態に「中」程度の変化が生じる。
【0025】
図5は、不正があり、かつカメラがある場合の巡回作業における意識・情動の変化の一例を示す図である。次に、
図5を参照しながら、不正があり、かつカメラがある場合の巡回作業における巡回者の意識状態および情動状態の変化の具体例について説明する。
【0026】
巡回者は、
図4と同様に、時刻「03:49:20」に入館する。このときこれからの巡回で遭遇する可能性がある賊(侵入者)との遭遇等の危険を想定することにより、意識状態に「中」程度の変化が生じ、「不安」、「恐怖」および「緊張」の情動状態が「中」程度に発生する。そして、巡回者は、時刻「03:52:00」にカメラST-C1により検知される区間(金庫が配置された部屋)で金品の窃盗を思い立ち、不正行為を実行したものとすると、当該不正行為が露見することへの意識により、意識状態が大きく変化し、「緊張」の情動状態も「大」に変化する。さらに、巡回者は、時刻「03:53:10」に別のカメラST-C2により検知される区間へ移動すると、カメラST-C2の存在により、意識状態に「中」程度の変化が生じ、「不安」および「緊張」の情動状態が「大」に変化する。その後、巡回者の情動状態は、通常であれば「不安」および「恐怖」等の情動状態は退館へ向けて落ち着いていくはずであるが、不正行為を行ったことへの露見の恐れにより、当該情動状態が落ち着くことなく継続する。
【0027】
図6は、不正があり、かつカメラがない場合の巡回作業における意識・情動の変化の一例を示す図である。次に、
図6を参照しながら、不正があり、かつカメラがない場合の巡回作業における巡回者の意識状態および情動状態の変化の具体例について説明する。具体的には、
図3に示す警備対象空間STSにおいて、カメラST-C1、ST-C2が配置されていないものとして説明する。
【0028】
巡回者は、
図4と同様に、時刻「03:49:20」に入館する。このとき、これからの巡回で遭遇する可能性がある賊(侵入者)との遭遇等の危険を想定することにより、意識状態に「中」程度の変化が生じ、「不安」、「恐怖」および「緊張」の情動状態が「中」程度に発生する。そして、巡回者は、金庫が配置された部屋(カメラが配置されていない区間)で金品の窃盗を思い立ち、不正行為を実行したものとすると、カメラが配置されていなくても当該不正行為が露見することへの意識により、意識状態が大きく変化し、「緊張」の情動状態も「大」に変化する。さらに、巡回者は、カメラが配置されていない別の区間へ移動しても、不正行為の露見への恐れにより、意識状態に「中」程度の変化が生じ、「不安」および「緊張」の情動状態が「大」に変化する。その後、巡回者は、通常であれば「不安」および「恐怖」等の情動状態は退館へ向けて落ち着いていくはずであるが、不正行為を行ったことへの露見の恐れにより、当該情動状態が落ち着くことなく継続する。また、意識状態も落ち着くことなく変化し続ける。
【0029】
図7は、不正の可能性がなく、かつ検知情報の発報要因へ適切な処置を行った場合の巡回作業における意識・情動の変化の一例を示す図である。次に、
図7を参照しながら、不正の可能性がなく、かつ検知情報の発報要因へ適切な処置を行った場合の巡回作業における巡回者の意識状態および情動状態の変化の具体例について説明する。ここでは、人感センサST-M2による検知動作により発報(管理サーバ20への検知情報の送信)がなされ、当該発報要因に対する処置を目的とする巡回作業を例に説明する。
【0030】
巡回者は、
図4と同様に、時刻「03:49:20」に入館する。このとき、これからの巡回で遭遇する可能性がある賊(侵入者)との遭遇等の危険を想定することにより、意識状態に「中」程度の変化が生じ、「不安」、「恐怖」および「緊張」の情動状態が「中」程度に発生する。そして、巡回者は、人感センサST-M2により検知される区間において、人感センサST-M2による発報要因の特定(例えば、センサ自体の劣化による誤作動、または周辺のファックスの動作に対する誤検知等)を行い、適切に処置(例えばセンサの交換、または、検知テストを伴うセンサの感度調整等)を行ったものとする。これにより、適切に処置を行ったことへの安堵感により、意識状態が大きく変化する。その後、巡回者は、発報要因が分かり、適切に処置を行ったことへの安堵感により、「不安」、「恐怖」および「緊張」の情動状態は「小」程度に落ち着いていく。また、意識状態に大きな変化はなく、時刻「03:56:30」に巡回作業が終了し、警備対象空間STSの安全が確認できると、意識状態は平常時の状態に戻るため、意識状態に「中」程度の変化が生じる。
【0031】
図8は、不正の可能性がなく、かつ検知情報の発報要因へ適切な処置を行わなかった場合の巡回作業における意識・情動の変化の一例を示す図である。次に、
図8を参照しながら、不正の可能性がなく、かつ検知情報の発報要因へ適切な処置を行わなかった場合の巡回作業における巡回者の意識状態および情動状態の変化の具体例について説明する。なお、人感センサST-M2による検知動作により発報(管理サーバ20への検知情報の送信)がなされ、当該発報要因に対する処置の目的を兼ねた巡回作業であるものとして説明する。
【0032】
巡回者は、
図4と同様に、時刻「03:49:20」に入館し、これからの巡回で遭遇する可能性がある賊(侵入者)との遭遇等の危険を想定することにより、意識状態に「中」程度の変化が生じ、「不安」、「恐怖」および「緊張」の情動状態が「中」程度に発生する。そして、巡回者は、人感センサST-M2により検知される区間において、人感センサST-M2による発報要因の特定(例えば、センサ自体の劣化による誤作動、または周辺のファックスの動作に対する誤検知等)を行う。これにより、発報要因が特定されたことにより、意識状態が大きく変化する。次に、巡回者は、カメラST-C2に対する適切な処置(例えば、カメラST-C2による発報要因の特定や撮影範囲の確認、撮影環境の変化の確認等)を行わなかったものとする。その後、巡回者は、適切な処置を行わなかったことを振り返ると、それに対する不安から意識状態に「中」程度の変化が生じる。また、通常であれば退館へ向けて落ち着いていくはずの「不安」の情動状態も、適切な処置を行わなかったことが露見する不安から「中」程度の変化が継続する。
【0033】
以上のように、巡回作業中に巡回者による金品の窃盗等の不正行為、または発報要因に対する適切な処置を行わなかった場合には、当該不正行為および不適切な行為の直前または行為の最中等に意識状態および情動状態が大きく変化したり、退館へ向けて情動状態が落ち着いていくのが通常であるところ、「不安」および「緊張」等の情動状態が継続したりする。本実施の形態に係る警備システム1は、上述のような意識状態および情動状態の変化を捉えて、巡回者により不正行為が行われた可能性を推定する動作を行う。なお、上述の発報要因に対する不適切な処置も、不正行為の一例として捉えることができる。
【0034】
(情報端末のハードウェア構成)
図9は、実施の形態に係る情報端末のハードウェア構成の一例を示す図である。
図9を参照しながら、本実施の形態に係る情報端末10のハードウェア構成について説明する。
【0035】
図9に示すように、情報端末10は、CPU(Central Processing Unit)401と、ROM(Read Only Memory)402と、RAM(Random Access Memory)403と、EEPROM(Electrically Erasable Programmable Read Only Memory)404と、撮像部405と、撮像I/F406と、加速度・方位センサ407と、GPS(Global Positioning System)受信部408と、を備えている。
【0036】
CPU401は、情報端末10全体の動作を制御する演算装置である。ROM402は、IPL(Initial Program Loader)等のCPU401の駆動に用いられるプログラムを記憶する不揮発性記憶装置である。RAM403は、CPU401のワークエリアとして使用される揮発性記憶装置である。EEPROM404は、プログラム等および各種データを記憶する不揮発性記憶装置である。
【0037】
撮像部405は、CPU401による制御に従って、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサにより被写体を撮像して画像データを得る内蔵型の撮像装置である。なお、CMOSのイメージセンサではなく、CCD(Charge Coupled Device)等のイメージセンサであってもよい。撮像I/F406は、撮像部405の駆動を制御するためのインターフェースである。
【0038】
加速度・方位センサ407は、地磁気を検知する電子磁気コンパス、ジャイロコンパス、加速度センサ等の各種センサである。
【0039】
GPS受信部408は、GPS衛星からGPS信号を受信する受信装置である。
【0040】
また、
図9に示すように、情報端末10は、さらに、遠距離通信回路410と、アンテナ410aと、近距離通信回路411と、アンテナ411aと、マイク412と、スピーカ413と、音入出力I/F414と、ディスプレイ415と、外部機器接続I/F416と、バイブレータ417と、タッチパネル418と、を備えている。
【0041】
遠距離通信回路410は、ネットワークNを介して、Wi-Fi(登録商標)等の規格により、アンテナ410aを介して他の機器と無線通信をする通信回路である。
【0042】
近距離通信回路411は、NFC(Near Field Communication)またはBluetooth(登録商標)等の規格により、アンテナ411aを介して他の機器と近距離の無線通信をする通信回路である。
【0043】
マイク412は、音を電気信号に変える内蔵型の集音装置である。スピーカ413は、電気信号を物理振動に変えて音楽または音声等の音を出力する内蔵型の音響装置である。音入出力I/F414は、CPU401による制御に従って、マイク412およびスピーカ413との間で音信号の入出力を処理するインターフェースである。
【0044】
ディスプレイ415は、被写体の画像、各種アイコン等を表示する液晶ディスプレイまたは有機EL(Electro-Luminescence)ディスプレイ等の表示装置である。外部機器接続I/F416は、各種の外部機器を接続するためのUSB(Universal Serial Bus)等の規格のインターフェースである。
【0045】
バイブレータ417は、CPU401による制御に従って、物理的な振動を発生させる装置である。
【0046】
タッチパネル418は、利用者がディスプレイ415をタッチ操作することにより、情報端末10の各種機能を発揮させるための入力装置である。
【0047】
上述のCPU401、ROM402、RAM403、EEPROM404、撮像I/F406、加速度・方位センサ407、GPS受信部408、遠距離通信回路410、近距離通信回路411、音入出力I/F414、ディスプレイ415、外部機器接続I/F416、バイブレータ417およびタッチパネル418は、アドレスバスおよびデータバス等のバスライン409によって互いに通信可能に接続されている。
【0048】
なお、
図9に示した情報端末10のハードウェア構成は一例であり、すべての構成機器を備えている必要はなく、また、他の構成機器を備えているものとしてもよい。
【0049】
(管理サーバのハードウェア構成)
図10は、実施の形態に係る管理サーバのハードウェア構成の一例を示す図である。
図10を参照しながら、本実施の形態に係る管理サーバ20のハードウェア構成について説明する。
【0050】
図10に示すように、管理サーバ20は、CPU501と、ROM502と、RAM503と、補助記憶装置505と、ネットワークI/F508と、ディスプレイ509と、キーボード511と、マウス512と、を備えている。
【0051】
CPU501は、管理サーバ20全体の動作を制御する演算装置である。ROM502は、管理サーバ20用のプログラムを記憶している不揮発性記憶装置である。RAM503は、CPU501のワークエリアとして使用される揮発性記憶装置である。
【0052】
補助記憶装置505は、各種データおよびプログラム等を記憶するHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の記憶装置である。
【0053】
ネットワークI/F508は、ネットワークNを介して、警備端末STおよび情報端末10等の外部装置とデータを通信するためのインターフェースである。ネットワークI/F508は、例えば、イーサネット(登録商標)に対応し、TCP/IP等に準拠した通信が可能なNIC(Network Interface Card)等である。
【0054】
ディスプレイ509は、カーソル、メニュー、ウィンドウ、文字または画像等の各種情報を表示する液晶または有機EL等によって構成された表示装置である。
【0055】
キーボード511は、文字、数字、各種指示の選択、およびカーソルの移動等を行う入力装置である。マウス512は、各種指示の選択および実行、処理対象の選択、ならびにカーソルの移動等を行うための入力装置である。
【0056】
上述のCPU501、ROM502、RAM503、補助記憶装置505、ネットワークI/F508、ディスプレイ509、キーボード511およびマウス512は、アドレスバスおよびデータバス等のバスライン510によって互いに通信可能に接続されている。
【0057】
なお、
図10に示した管理サーバ20のハードウェア構成は一例を示すものであり、
図5に示した構成要素を全て含む必要はなく、または、その他の構成要素を含むものとしてもよい。
【0058】
(警備システムの機能ブロックの構成および動作)
図11は、実施の形態に係る警備システムの機能ブロックの構成の一例を示す図である。
図12は、生体信号に基づく特徴量の分布の一例を示す図である。
図13は、意識分析部における意識の度合いの変化量の算出動作を説明する図である。
図14は、情動分析結果に基づく情動状態の分布を説明する図である。
図15は、情動分析部における情動分析の方法の一例を示す図である。
図16は、情動分析部における情動分析の方法の一例を示す図である。
図17は、動作履歴情報の一例を示す図である
図11~
図17を参照しながら、本実施の形態に係る警備システム1の機能ブロックの構成および動作について説明する。
【0059】
図11に示すように、情報端末10は、生体信号取得部101(第1取得部)と、特徴量算出部102(算出部)と、意識分析部103(分析部の一例)と、情動分析部104(分析部の一例)と、動作履歴生成部105(生成部)と、警備情報取得部106(第2取得部)と、不正推定部107(推定部)と、不正確認部108(確認部)と、記憶部109と、入力部110と、を有する。
【0060】
生体信号取得部101は、巡回者が装着するヘルメットHに内蔵された脳波計Eにより測定された当該巡回者の脳波等の生体信号を、近距離通信回路411を介して取得する機能部である。生体信号取得部101は、取得した脳波等の生体信号を特徴量算出部102へ出力する。
【0061】
特徴量算出部102は、生体信号取得部101により取得された脳波等の生体信号から、所定の特徴量を算出する機能部である。所定の特徴量としては、例えば、脳波の周波数、筋電位、FFT(Fast Fourier Transformation:高速フーリエ変換)による周波数特性、ウェーブレット変換による時間情報を含む周波数成分等が挙げられる。また、脳波の波形情報そのものを特徴量としてもよい。特徴量算出部102は、算出した特徴量を意識分析部103、情動分析部104および不正確認部108へ出力する。
【0062】
意識分析部103は、特徴量算出部102から受け取った特徴量に対する分析により、巡回者の意識の度合いを求め、当該意識の度合いの変化量を算出する機能部である。ここで、意識の度合いとは、巡回中に確認作業に意識が向いているか否か、別のことを考えて意識が散漫になっているか否か、不安または緊張等を伴う意識の状態での作業になっていないか否か等の巡回者の意識状態を示す指標値である。
【0063】
例えば、特徴量としての脳波の周波数成分において、低β波(12.75~18.5[Hz])が増加した場合、巡回中に警戒および確認に意識が向いていることが把握される。また、β波が減衰した場合、巡回中に別のことを考えていることが把握される。また、α波が減衰し不規則なβ波が現れた場合、感情が不安定な意識状態であることが把握される。また、高β波(18~29.75[Hz])が増加した場合、極度の緊張状態または動揺と伴う意識状態であることが把握される。
【0064】
また、意識分析部103は、例えば、特徴量算出部102から特徴量として特徴量Aおよび特徴量Bが得られた場合に、
図12に示すように、二次元分布としてプロットすることにより、時刻tにおけるプロット群の平均的な位置と、時刻t+1におけるプロット群の平均的な位置との変化を求めることによって、意識状態の変化量(意識の度合いの変化量)を算出することができる。また、特徴量算出部102は、
図13に示すように、区間ごとに意識の度合いを求め、区間間での意識の度合いの変化量を算出してもよい。例えば、
図13において、特徴量算出部102は、区間(1)で求めた意識の度合い(1)と、区間(2)で求めた意識の度合い(2)とから、区間(1)と区間(2)との間での意識の度合いの変化量(1)を算出することができる。
【0065】
また、意識分析部103は、区間ごとに意識状態の変化量(意識の度合いの変化量)に対して、当該区間に対する重みを乗じた値を累計した値を、区間数(分析数)で割ることによって、意識状態の変化量の加重平均を求めるものとしてもよい。このとき、変化量に乗じる重みとしては、例えば画像センサまたは金庫センサ等が配置された区間では増加させるようにすればよい。
【0066】
意識分析部103は、求めた意識の度合いまたは当該意識の度合いの変化量を、動作履歴生成部105へ出力する。なお、意識の度合いの変化量は、後述する不正推定部107によって算出されるものとしてもよく、この場合、意識分析部103は、意識の度合いを動作履歴生成部105へ出力するものとすればよい。また、意識分析部103は、求めた意識の度合いまたは当該意識の度合いの変化量を出力すると共に、分析がなされた時刻を出力するものとしてもよい。
【0067】
情動分析部104は、特徴量算出部102から受け取った特徴量に対する分析により、情動状態として、覚醒度(Arousal)および感情度(Valence)を求める機能部である。ここで、覚醒度とは、意識レベルの度合いを表す数値を示し、例えば-1(意識レベルが低い)~+1(意識レベルが高い)の間の数値で表されるものとする。また、感情度とは、感情の度合いを表す数値を示し、例えば-1(負の感情(Negative Emotion))~+1(正の感情(Positive Emotion))の間に数値で表されるものとする。
図14に示すように、覚醒度を縦軸に、感情度を横軸として、情動分析部104により求められた覚醒度および感情度をプロットすることによって、巡回者の情動状態が把握できる。また、情動分析部104は、例えば、
図14に示す二次元分布において、異なる時刻におけるプロット間の距離を、情動状態の変化量として算出することができる。
【0068】
また、情動分析部104は、
図15に示すように、各区間において求めた感情度を累計することによって、巡回作業を通して、総合的な情動状態の変化量(ここでは感情度の変化量)を算出することができる。この場合、情動分析部104は、各区間において求めた感情度の累計値を、区間数(分析数)で割ることによって、情動状態の変化量の平均値を求めてもよい。例えば、巡回者が適切な巡回作業を行った場合、
図15に示すように、巡回作業の前半では、巡回者は負の感情を抱く傾向があるため、感情度の累計はマイナスの値として算出され、巡回作業の後半では、巡回者は安全が確認されることにより正の感情を抱く傾向があるため、感情度の累計はプラスの値として算出され、巡回作業を通しての総合的な感情度の変化量は0に近くなる。一方、巡回中に不正行為を行った場合、巡回作業の前半だけでなく後半においても、巡回者は負の感情を抱く傾向があるため、巡回作業を通しての総合的な感情度の変化量は、適切な巡回作業を行った場合とは異なる値となる。なお、
図15では、巡回作業を通しての総合的な情動状態の変化量(ここでは感情度の変化量)を算出する例を示したが、これに限定されるものではなく、区間間ごとに情動状態の変化量を算出してもよい。
【0069】
また、情動分析部104は、
図16に示すように、一定区間ごとの各感情の発生確率を求め、当該一定区間の間での発生確率の変化量を、情動状態の変化量として算出することもできる。例えば、「不安」の感情に着目した場合、巡回者が適切な巡回作業を行った場合、
図16に示すように、巡回作業の前半では、「不安」の感情の発生確率(例えば75[%])は大きいのに対し、巡回作業の後半では、「不安」の感情の発生確率(例えば0[%])は小さくなるため、巡回作業を通しての総合的な「不安」の感情の発生確率の変化量(情動状態の変化量の一例)は大きくなる。一方、巡回中に不正行為を行った場合、巡回作業の前半では、「不安」の感情の発生確率(例えば75[%])は大きく、巡回作業の後半においても、「不安」の感情の発生確率は大きい状態が継続するため、巡回作業を通しての総合的な「不安」の感情の発生確率の変化量(情動状態の変化量の一例)は小さくなる。なお、
図16では、一定区間として複数の区間を含んでいるが、1つの区間を一定区間としてもよい。また、
図16では、巡回作業を通しての総合的な特定の感情の発生確率の変化量(情動状態の変化量の一例)を算出する例を示したが、これに限定されるものではなく、区間間ごとに特定の感情の発生確率の変化量を算出してもよい。
【0070】
情動分析部104は、求めた覚醒度および感情度、または情動状態の変化量を、動作履歴生成部105へ出力する。なお、情動状態の変化量は、後述する不正推定部107によって算出されるものとしてもよく、この場合、情動分析部104は、覚醒度および感情度を動作履歴生成部105へ出力するものとすればよい。また、情動分析部104は、求めた覚醒度および感情度、または情動状態の変化量を出力すると共に、分析がなされた時刻を出力するものとしてもよい。
【0071】
警備情報取得部106は、管理サーバ20から、遠距離通信回路410を介して、警備情報を取得する機能部である。警備情報は、警備対象空間STSに配置された各種のセンサのうち、巡回者を検知したセンサの識別情報と、検知した時刻とを含む情報であり、当該センサにより巡回者が検知されたことを示す情報である。上述したように、警備対象空間STSの各所には、人感センサ、カメラ、画像センサまたはドアセンサ等の各種センサが設置されており、警備対象空間STS内のどのエリアに人間等が存在するかを検知することができる。警備情報取得部106は、取得した警備情報を動作履歴生成部105へ出力する。
【0072】
動作履歴生成部105は、意識分析部103および情動分析部104による分析結果、および警備情報取得部106により取得された警報情報に基づいて、動作履歴情報を生成する機能部である。
【0073】
具体的には、動作履歴生成部105は、意識分析部103および情動分析部104から受けた分析結果の基となる脳波を取得した時刻と、警備情報に含まれる時刻とを照合し、時刻が一致する(または一致するとみなせる)分析結果および警備情報を用いて、当該時刻(
図17に示す検知時刻)と、当該警備情報に含まれるセンサの識別情報と、当該分析結果(
図17に示す意識分析結果および情動分析結果)とを関連付けることによって、動作履歴情報を生成する。
図17に示す動作履歴情報は、例えば、検知時刻「03:51:50」と、識別情報「ST-M2」と、意識分析結果「意識の度合い(2)」と、情動分析結果「覚醒度(2)・感情度(2)」とが関連付けられている。これによって、巡回者は、時刻「03:51:50」に、識別情報「ST-M2」で識別される人感センサST-M2により検知され、意識の度合い(2)の意識状態、ならびに、覚醒度(2)および感情度(2)の情動状態で、巡回をしていることを認識することができる。なお、
図17に示す動作履歴情報の例は、意識状態の変化量および情動状態の変化量が不正推定部107によって算出される場合の例であり、意識分析部103により意識状態の変化量が算出され、かつ、情動分析部104により情動状態の変化量が算出される場合、動作履歴情報の意識分析結果として当該意識情報の変化量が登録され、情動分析結果として当該情動状態の変化量が登録されるものとすればよい。
【0074】
そして、動作履歴生成部105は、生成した動作履歴情報を、記憶部109に蓄積させる。なお、動作履歴生成部105は、生成した動作履歴情報を、直接、不正推定部107へ出力してもよい。
【0075】
不正推定部107は、記憶部109に記憶された動作履歴情報を参照し、当該動作履歴情報の意識分析結果および情動分析結果に基づいて、警備対象空間STSを巡回する巡回者により不正行為が行われた可能性を推定する機能部である。例えば、不正推定部107は、意識分析結果としての意識状態の変化量、および情動分析結果としての情動状態の変化量に対して、閾値判定を行うことによって、巡回者により不正行為が行われた可能性を推定するものとしてもよい。この場合、不正推定部107は、意識状態の変化量が意識状態用の閾値を超え、かつ、情動状態の変化量が情動状態用の閾値を超えた場合に、巡回者により不正行為が行われた可能性が高いと推定してもよい。また、不正推定部107は、意識状態の変化量または情動状態の変化量のうち少なくともいずれかがそれぞれの閾値を超えた場合に、巡回者により不正行為が行われた可能性が高いと推定してもよい。
【0076】
なお、不正推定部107は、記憶部109に記憶された動作履歴情報を参照することに限られず、動作履歴生成部105により生成された動作履歴情報を、直接受け取って利用するものとしてもよい。また、動作履歴情報において、意識分析結果として意識の度合いが登録され、情動分析結果として覚醒度および感情度が登録されている場合、不正推定部107は、意識の度合いから区間間の意識状態の変化量を算出し、覚醒度および感情度から区間間の情動状態の変化量を算出し、これらの変化量に基づいて、巡回者により不正行為が行われた可能性を推定するものとすればよい。
【0077】
不正推定部107は、不正行為の可能性の推定結果を不正確認部108へ出力する。
【0078】
なお、上述の意識分析部103および情動分析部104による分析機能がすべて備えられていることに限定されず、不正推定部107による一定程度の不正行為の可能性の推定の精度が得られる範囲で、情報端末10は、意識分析部103および情動分析部104のうち少なくともいずれかを有するものとしてもよい。
【0079】
不正確認部108は、不正推定部107により不正行為が行われた可能性が高いと推定された場合に、監視センタの管理者から電話、メールまたはチャット等により不正に関わる質問をされた際に、当該巡回者の脳波等の生体信号に基づく特徴量を特徴量算出部102から取得し、当該特徴量の反応に基づいて、当該巡回者により不正行為が行われた可能性を確認する機能部である。具体的には、不正確認部108は、不正推定部107により不正行為が行われた可能性が高いと推定された場合に、遠距離通信回路410を介して、監視センタの管理サーバ20に対して、当該推定結果を通知する。そして、監視センタの管理者は、管理サーバ20により当該推定結果の通知を受けたことを確認すると、当該巡回者の情報端末10へ電話をかけ、当該巡回者に対して不正に関わる複数の質問を行い、当該質問に対する回答を請う。そして、巡回者が当該質問に対する回答を行っているときに、生体信号取得部101は、当該巡回者が装着する脳波計Eにより測定された脳波等の生体信号を、近距離通信回路411を介して取得し、特徴量算出部102は、当該生体信号に基づいて特徴量を算出する。そして、不正確認部108は、当該特徴量の反応に基づいて、当該巡回者により不正行為が行われた可能性を確認(判定)する。なお、この場合、不正確認部108は、特徴量の反応として、巡回者の脳波等の生体信号そのものの反応に基づいて、当該巡回者により不正行為が行われた可能性を確認(判定)してもよい。また、不正確認部108は、特徴量ではなく生体信号自体に基づいて、当該巡回者により不正行為が行われた可能性を確認(判定)してもよい。
【0080】
そして、不正確認部108は、巡回者により不正行為が行われた可能性に対する確認結果を、遠距離通信回路410を介して管理サーバ20へ送信する。これによって、監視センタの管理者は、不正確認部108からの確認結果により、巡回者により不正行為が行われた可能性について判断することが可能となる。
【0081】
記憶部109は、動作履歴生成部105により生成された動作履歴情報等の各種情報を記憶する機能部である。なお、記憶部109が記憶する情報は、動作履歴情報に限られず、上述の各機能部が生成または取得した情報(例えば意識分析部103および情動分析部104による各分析結果の情報等)を記憶するものとしてもよい。記憶部109は、
図9に示したRAM403またはEEPROM404によって実現される。
【0082】
入力部110は、情報端末10に対する操作入力を受け付ける機能部である。例えば、巡回者は、警備対象空間STSに対する巡回を開始する場合または終了する場合等に、入力部110を介してその旨を操作入力することによって、遠距離通信回路410を介して管理サーバ20へその旨が送信されるものとしてもよい。入力部110は、
図9に示したタッチパネル418によって実現される。
【0083】
上述の生体信号取得部101、特徴量算出部102、意識分析部103、情動分析部104、動作履歴生成部105、警備情報取得部106、不正推定部107および不正確認部108は、
図9に示したCPU401によりプログラムが実行されることによって実現される。なお、当該プログラムは、情報端末10に直接インストールされたネイティブアプリケーションであってもよく、または、Webブラウザ上で動作するWebアプリケーションであってもよい。また、これらの機能部のうち少なくともその一部が、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等のハードウェア回路によって実現されてもよい。
【0084】
また、
図11に示す情報端末10の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、
図11に示す情報端末10で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、
図11に示す情報端末10で1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【0085】
図11に示すように、管理サーバ20は、検知情報取得部201と、警備情報送信部202と、記憶部203と、を有する。
【0086】
検知情報取得部201は、警備対象空間STSに設置された各種のセンサにより人間等の存在が検知された場合、当該警備端末STから、検知された旨を示す検知情報を、ネットワークNおよびネットワークI/F508を介して取得する機能部である。検知情報は、例えば、検知した警備端末STの識別情報を含むものとすればよい。この検知情報によって、巡回者が警備対象空間STSのどのエリアにいるのかをリアルタイムで認識することが可能となる。検知情報取得部201は、取得した検知情報を、警備情報送信部202へ出力する。なお、検知情報取得部201は、取得した検知情報を、記憶部203に蓄積させるものとしてもよい。
【0087】
警備情報送信部202は、検知情報取得部201により取得された検知情報に含まれるセンサの識別情報と、検知時刻と、を含む警備情報を生成し、当該警備情報を、ネットワークI/F508を介して情報端末10へ送信する機能部である。なお、検知情報には、警備端末STが検知した瞬間の時刻が含まれているものとして、警備情報送信部202は、当該検知情報に含まれる時刻を、警備情報に含めるものとしてもよい。また、警備情報送信部202は、記憶部203に蓄積された検知情報を用いて、警備情報を生成するものとしてもよい。
【0088】
記憶部203は、例えば検知情報取得部201により取得された検知情報を記憶(蓄積)する機能部である。記憶部203は、
図10に示した補助記憶装置505によって実現される。
【0089】
上述の検知情報取得部201および警備情報送信部202は、
図10に示したCPU501によりプログラムが実行されることによって実現される。また、これらの機能部のうち少なくともその一部が、FPGAまたはASIC等のハードウェア回路によって実現されてもよい。
【0090】
また、
図11に示す管理サーバ20の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、
図11に示す管理サーバ20で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、
図11に示す管理サーバ20で1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【0091】
(巡回者による巡回作業の流れ)
図18は、実施の形態に係る警備システムを用いた場合の巡回作業の流れの一例を示すフローチャートである。
図18を参照しながら、巡回者による巡回作業の流れについて説明する。
【0092】
まず、脳波計Eを内蔵したヘルメットHを装着し、情報端末10を携帯した巡回者が、巡回対象の現場である警備対象空間STSへ到着する(ステップS11)。
【0093】
そして、巡回者は、情報端末10の入力部110を介して、巡回開始の旨を操作入力することによって、遠距離通信回路410を介して管理サーバ20へその旨を送信させ、警備対象空間STSの巡回を開始する(ステップS12)。巡回者は、巡回作業として、まず、警備対象空間STSの外周を点検する(ステップS13)。そして、巡回者は、外周の点検後、警備対象空間STS内へ入館する(ステップS14)。管理サーバ20は、当該検知情報を受信することによって、巡回者が警備対象空間STS内へ入館したことを認識できる。
【0094】
巡回者は、引き続き、警備対象空間STSの内部の点検作業に移る(ステップS15)。そして、警備システム1は、警備対象空間STSを巡回する巡回者から取得した脳波等の生体信号を分析するとともに、警備対象空間STSの各所に設置された警備端末STからの検知情報を取得しながら、警備対象空間STSにおける巡回者により不正行為が行われた可能性の推定および確認をする不正推定・確認処理を実行する(ステップS16)。警備システム1による不正推定・確認処理の流れの詳細は、
図19において後述する。
【0095】
そして、巡回者は、警備対象空間STSの内部の巡回が終了すると(ステップS17)、警備対象空間STSから退館する(ステップS18)。また、巡回者は、情報端末10の入力部110を介して、巡回終了の旨を操作入力することによって、遠距離通信回路410を介して管理サーバ20へその旨を送信させる。
【0096】
以上のステップS11~S18の流れによって、巡回者による巡回作業が行われる。
【0097】
(警備システムの不正推定・確認処理の流れ)
図19は、実施の形態に係る警備システムの不正推定・確認処理の流れの一例を示すフローチャートである。
図19を参照しながら、本実施の形態に係る警備システム1による不正推定・確認処理の流れについて説明する。なお、
図19に示す不正推定・確認処理は、
図18に示したステップS16の処理に相当する。
【0098】
<ステップS161>
巡回者による警備対象空間STS内の巡回作業が開始されると、情報端末10の生体信号取得部101は、巡回者が装着するヘルメットHに内蔵された脳波計Eにより測定された当該巡回者の脳波等の生体信号について、近距離通信回路411を介した取得を開始する。なお、生体信号取得部101による生体信号の取得の開始タイミングは、例えば、巡回者により巡回開始の旨が管理サーバ20へ送信された後、情報端末10がその応答を受信したタイミング等とすればよい。
【0099】
また、このタイミングで、情報端末10の警備情報取得部106は、管理サーバ20から、遠距離通信回路410を介して、警備情報の取得を開始する。具体的には、警備対象空間STS内に設置された各種のセンサが、巡回者を検知すると、当該センサの識別情報と、検知時刻とを含む検知情報を、ネットワークNを介して管理サーバ20へ送信する。そして、管理サーバ20の検知情報取得部201は、当該警備端末STから、検知された旨を示す検知情報を、ネットワークNおよびネットワークI/F508を介して取得し、警備情報送信部202へ出力する。警備情報送信部202は、検知情報取得部201により取得された検知情報に含まれるセンサの識別情報と、検知時刻とを含む警備情報を生成し、当該警備情報を、ネットワークI/F508を介して情報端末10へ送信する。これによって、情報端末10の警備情報取得部106は、警備情報の取得が可能となる。そして、警備情報取得部106は、取得した警備情報を動作履歴生成部105へ出力する。
【0100】
そして、ステップS162へ移行する。
【0101】
<ステップS162>
情報端末10の特徴量算出部102は、生体信号取得部101により取得された脳波等の生体信号から、所定の特徴量を算出する。そして、特徴量算出部102は、算出した特徴量を意識分析部103、情動分析部104および不正確認部108へ出力する。そして、ステップS163およびS164へ移行する。すなわち、ステップS163およびS164の各処理は、並列に実行される。
【0102】
<ステップS163>
情報端末10の意識分析部103は、特徴量算出部102から受け取った特徴量に対する分析により、巡回者の意識の度合いを求める。そして、意識分析部103は、求めた意識の度合いを、動作履歴生成部105へ出力する。なお、意識分析部103は、求めた意識の度合いから、当該意識の度合いの変化量を算出し、動作履歴生成部105へ出力してもよい。そして、ステップS165へ移行する。
【0103】
<ステップS164>
情報端末10の情動分析部104は、特徴量算出部102から受け取った特徴量に対する分析により、情動状態として、覚醒度および感情度を求める。情動分析部104は、求めた覚醒度および感情度を、動作履歴生成部105へ出力する。なお、情動分析部104は、求めた覚醒度および感情度から、当該情動状態の変化量を算出してもよい。そして、ステップS165へ移行する。
【0104】
<ステップS165>
そして、情報端末10の動作履歴生成部105は、意識分析部103および情動分析部104による分析結果、および警備情報取得部106により取得された警報情報に基づいて、動作履歴情報を生成する。
【0105】
具体的には、動作履歴生成部105は、意識分析部103および情動分析部104から受けた分析結果の基となる脳波を取得した時刻と、警備情報に含まれる時刻とを照合し、時刻が一致する(または一致するとみなせる)分析結果および警備情報を用いて、当該時刻(検知時刻)と、当該警備情報に含まれるセンサの識別情報と、当該分析結果(意識分析結果および情動分析結果)とを関連付けることによって、動作履歴情報を生成する。
【0106】
そして、動作履歴生成部105は、生成した動作履歴情報を、記憶部109に蓄積させる。そして、ステップS166へ移行する。
【0107】
<ステップS166>
情報端末10の不正推定部107は、記憶部109に記憶された動作履歴情報を参照し、当該動作履歴情報の意識分析結果および情動分析結果に基づいて、警備対象空間STSを巡回する巡回者により不正行為が行われた可能性を推定する。なお、動作履歴情報において、意識分析結果として意識の度合いが登録され、情動分析結果として覚醒度および感情度が登録されている場合、不正推定部107は、意識の度合いから区間間の意識状態の変化量を算出し、覚醒度および感情度から区間間の情動状態の変化量を算出し、これらの変化量に基づいて、巡回者により不正行為が行われた可能性を推定するものとすればよい。不正推定部107は、不正行為が行われた可能性の推定結果を不正確認部108へ出力する。そして、ステップS167へ移行する。
【0108】
<ステップS167>
不正推定部107によって不正行為が行われた可能性が高いと推定された場合(ステップS167:Yes)、ステップS168へ移行し、不正行為が行われた可能性が低いと推定された場合(ステップS167:No)、不正推定・確認処理を終了する。
【0109】
<ステップS168>
情報端末10の不正確認部108は、監視センタの管理者から巡回者に対して不正に関わる質問の回答を請われた場合の回答時における当該巡回者の脳波等の生体信号に基づく特徴量を特徴量算出部102から取得し、当該特徴量の反応に基づいて、当該巡回者により不正行為が行われた可能性を確認する。
【0110】
以上のステップS161~S168の流れによって、警備システム1による不正推定・確認処理が実行される。より詳細には、警備システム1による不正推定・確認処理において、ステップS161~S165の処理が、巡回者による警備対象空間STSの巡回作業の開始から終了まで、繰り返し実行され、当該巡回作業の終了時に、ステップS166~S168が実行される。
【0111】
以上のように、本実施の形態に係る警備システム1では、生体信号取得部101は、巡回者に関する生体信号を検出する脳波計Eから脳波等の生体信号を取得し、特徴量算出部102は、生体信号取得部101により取得された生体信号から、所定の特徴量を算出し、不正推定部107は、意識分析部103により求められた意識状態、または情動分析部104により求められた情動状態のうち少なくともいずれかの変化に基づいて、巡回者による巡回対象となる警備対象空間STSにおいて当該巡回者により不正行為が行われた可能性を推定するものとしている。これによって、巡回者の生体信号に基づいて巡回中に不正行為が行われた可能性について推定することができる。
【0112】
また、本実施の形態に係る警備システム1では、不正確認部108は、不正推定部107により巡回者が不正行為を行った可能性が高いと推定された場合、管理者と前記巡回者との通話中において生体信号取得部101により取得された生体信号に基づいて、巡回者により不正行為が行われた可能性を確認するものとしている。これによって、巡回者により不正行為が行われた可能性が推定された場合に、管理者と巡回者との通話中に得られた生体信号の変化から、巡回者による不正行為が行われた可能性について、より確実性高く確認することができる。
【0113】
また、本実施の形態に係る警備システム1では、警備情報取得部106は、警備対象空間STSに設置された1以上のセンサにより巡回者が検知された場合に、少なくとも巡回者を検知した当該警備端末STに関する情報を含む警備情報を取得し、動作履歴生成部105は、少なくとも、警備情報が示す警備端末STの情報と、意識分析部103または情動分析部104のうち少なくともいずれかの分析結果とを関連付けた動作履歴情報を生成し、不正推定部107は、動作履歴情報の分析結果が示す意識状態または情動状態の少なくともいずれかの変化に基づいて、巡回者により不正行為が行われた可能性を推定するものとしている。これによって、警備端末STの検知動作により画定される各区間に、分析結果を関連付けることができ、区間間での意識状態または情動状態の少なくともいずれかの変化を捉えることができるため、巡回者により不正行為が行われた可能性の推定精度を高めることができる。
【0114】
(変形例)
上述の実施の形態の変形例に係る警備システム1について、上述の実施の形態に係る警備システム1と相違する点を中心に説明する。上述の実施の形態では、不正推定・確認処理を構成する機能のうち、警備端末STから検知情報を受信して、警備情報を情報端末10へ送信する機能以外のすべての機能は、情報端末10によって実現する動作について説明した。本変形例では、意識分析部103、情動分析部104、動作履歴生成部105および不正推定部107による処理について、機械学習により生成した学習モデルで実現する動作について説明する。なお、本変形例に係る警備システム1の全体構成、および情報端末10および管理サーバ20のハードウェア構成は、上述の実施の形態で説明した構成と同様である。
【0115】
図20は、変形例に係る警備システムにおいて一部の機能を機械学習による学習モデルを用いた処理で代替する一例を示す図である。
図20を参照しながら、本変形例に係る警備システム1の構成および動作について説明する。
【0116】
管理サーバ20は、予め、巡回者から得られた脳波等の生体信号を取得して、当該生体信号から算出した特徴量に対して、不正行為が行われた可能性の推定結果をラベルとした教師データを作成し、当該教師データに基づく機械学習(教師あり学習)により学習モデルを生成する。すなわち、当該学習モデルは、生体信号の特徴量を説明変数とし、不正行為が行われた可能性の推定結果を目的変数として生成したモデルである。この場合、機械学習のアルゴリズムとしては、例えば、SVM(Support Vector Machine)、ランダムフォレスト、決定木、ニューラルネットワーク、GBDT(Gradient Boosting Decision Tree)等の公知のアルゴリズムを適用することができる。
【0117】
なお、脳波等の生体信号の特徴量を説明変数としたが、これに限定されるものではなく、生体信号そのものを説明変数として、学習モデルを生成するものとしてもよい。また、学習モデルは、管理サーバ20によって生成されることに限定されるものではなく、外部の装置で生成した学習モデルを管理サーバ20上で運用するものとしてもよい。
【0118】
そして、管理サーバ20は、情報端末10において、生体信号取得部101により取得された生体信号から特徴量算出部102により算出された特徴量を、ネットワークNを介して受信し、当該特徴量をサンプルデータとして学習モデルに入力し、不正行為が行われた可能性の推定結果を出力として取得する。そして、管理サーバ20は、取得した不正行為が行われた可能性の推定結果を、ネットワークNを介して情報端末10へ送信する。そして、情報端末10の不正確認部108は、当該不正行為が行われた可能性の推定結果が不正行為が行われた可能性が高いことを示す場合に、監視センタの管理者から巡回者に対して不正に関わる質問の回答を請われた場合の回答時における当該巡回者の脳波等の生体信号に基づく特徴量を特徴量算出部102から取得し、当該特徴量の反応に基づいて、当該巡回者により不正行為が行われた可能性を確認する。その他の動作は、上述の実施の形態に係る警備システム1と同様である。
【0119】
すなわち、
図20に示すように、上述の実施の形態に係る情報端末10の意識分析部103、情動分析部104、動作履歴生成部105および不正推定部107の機能が、管理サーバ20上で運用される学習モデルによって代替されることになる。これによって、上述の実施の形態に係る警備システム1が奏する効果と同様の効果を奏すると共に、情報端末10の機能の一部が管理サーバ20の学習モデルで代替されることにより、情報端末10での処理負荷を軽減することができる。また、上述の学習モデルを構築するための学習処理の精度を高めることによって、不正行為が行われた可能性の推定処理の精度を高めることができる。
【0120】
なお、機械学習に基づく学習モデルにより、情報端末10の意識分析部103、情動分析部104、動作履歴生成部105および不正推定部107の機能を、管理サーバ20で代替するものとしたが、これに限定されるものではない。例えば、意識分析部103および情動分析部104のみを管理サーバ20の学習モデルで代替することにより、学習モデルにより、意識の度合い、覚醒度および感情度を出力し、動作履歴情報の生成および不正行為が行われた可能性の推定については情報端末10で実行するということも可能である。また、学習モデルを用いることに限定されるものではなく、情報端末10の機能の一部を、単に管理サーバ20で代替するものとしてもよい。また、管理サーバ20の機能、すなわち、検知情報取得部201および警備情報送信部202の機能を、情報端末10で代替することも可能である。
【0121】
なお、上述の実施の形態および変形例において、情報端末10および管理サーバ20の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、上述の実施の形態および変形例において、情報端末10および管理サーバ20で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disc-Recordable)、またはDVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態および変形例において、情報端末10および管理サーバ20で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態および変形例において、情報端末10および管理サーバ20で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態および変形例において、情報端末10および管理サーバ20で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPU401、CPU501が上述の記憶装置(例えば、ROM402、EEPROM404、補助記憶装置505等)からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置(RAM403、RAM503)上にロードされて生成されるようになっている。
【符号の説明】
【0122】
1 警備システム
10 情報端末
20 管理サーバ
101 生体信号取得部
102 特徴量算出部
103 意識分析部
104 情動分析部
105 動作履歴生成部
106 警備情報取得部
107 不正推定部
108 不正確認部
109 記憶部
110 入力部
201 検知情報取得部
202 警備情報送信部
203 記憶部
401 CPU
402 ROM
403 RAM
404 EEPROM
405 撮像部
406 撮像I/F
407 加速度・方位センサ
408 GPS受信部
409 バスライン
410 遠距離通信回路
410a アンテナ
411 近距離通信回路
411a アンテナ
412 マイク
413 スピーカ
414 音入出力I/F
415 ディスプレイ
416 外部機器接続I/F
417 バイブレータ
418 タッチパネル
501 CPU
502 ROM
503 RAM
505 補助記憶装置
508 ネットワークI/F
509 ディスプレイ
510 バスライン
511 キーボード
512 マウス
E 脳波計
H ヘルメット
N ネットワーク
ST 警備端末
STS 警備対象空間
ST-C1、ST-C2 カメラ
ST-M1~ST-M3 人感センサ