IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 綜合警備保障株式会社の特許一覧

特開2024-77082警備システム、警備方法およびプログラム
<>
  • 特開-警備システム、警備方法およびプログラム 図1
  • 特開-警備システム、警備方法およびプログラム 図2
  • 特開-警備システム、警備方法およびプログラム 図3
  • 特開-警備システム、警備方法およびプログラム 図4
  • 特開-警備システム、警備方法およびプログラム 図5
  • 特開-警備システム、警備方法およびプログラム 図6
  • 特開-警備システム、警備方法およびプログラム 図7
  • 特開-警備システム、警備方法およびプログラム 図8
  • 特開-警備システム、警備方法およびプログラム 図9
  • 特開-警備システム、警備方法およびプログラム 図10
  • 特開-警備システム、警備方法およびプログラム 図11
  • 特開-警備システム、警備方法およびプログラム 図12
  • 特開-警備システム、警備方法およびプログラム 図13
  • 特開-警備システム、警備方法およびプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024077082
(43)【公開日】2024-06-07
(54)【発明の名称】警備システム、警備方法およびプログラム
(51)【国際特許分類】
   G08B 25/04 20060101AFI20240531BHJP
   G08B 25/00 20060101ALI20240531BHJP
   A61B 5/16 20060101ALI20240531BHJP
   A61B 5/369 20210101ALI20240531BHJP
【FI】
G08B25/04 E
G08B25/00 510M
A61B5/16 110
A61B5/16 120
A61B5/369
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022188910
(22)【出願日】2022-11-28
(71)【出願人】
【識別番号】000202361
【氏名又は名称】綜合警備保障株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】羽山 西蔵
(72)【発明者】
【氏名】堀口 彰
(72)【発明者】
【氏名】伊藤 琴子
【テーマコード(参考)】
4C038
4C127
5C087
【Fターム(参考)】
4C038PP03
4C038PS03
4C127AA03
4C127BB03
4C127GG01
4C127KK03
4C127KK05
4C127LL13
5C087AA02
5C087AA03
5C087AA25
5C087BB20
5C087BB74
5C087DD03
5C087EE07
5C087EE14
5C087FF01
5C087FF02
5C087FF04
5C087FF16
5C087GG02
5C087GG08
5C087GG11
5C087GG19
5C087GG67
(57)【要約】
【課題】異常状況の捕捉の確実性を高めて適切に対処することができる警備システム、警備方法およびプログラムを提供する。
【解決手段】複数の警備員が装備する計測装置により計測された生体情報を取得する第1取得部と、複数の警備員が装備する撮像装置により撮像された映像を取得する第2取得部と、生体情報それぞれに基づいて複数の警備員の情動状態の変化を分析する第1分析部と、複数の警備員のうち2以上の警備員の情動状態の変化に基づいて、異常状況が発生している可能性があるか否かを判定する第1判定部と、第1判定部により異常状況が発生している可能性があると判定された場合、前記2以上の警備員に対して状況の確認をとる処理を行う確認部と、確認部により異常状況が発生しているという確認結果が得られた場合、異常状況が発生しているという確認結果が得られた警備員に対応する映像に対する分析を行う第2分析部と、を有する。
【選択図】図5
【特許請求の範囲】
【請求項1】
複数の警備員がそれぞれ装備する計測装置により計測された生体情報を取得する第1取得部と、
前記複数の警備員がそれぞれ装備する撮像装置により撮像された映像を取得する第2取得部と、
前記第1取得部により取得された前記生体情報それぞれに基づいて前記複数の警備員の情動状態の変化を分析する第1分析部と、
前記第1分析部によって分析された前記複数の警備員のうち2以上の警備員の前記情動状態の変化に基づいて、異常状況が発生している可能性があるか否かを判定する第1判定部と、
前記第1判定部により前記異常状況が発生している可能性があると判定された場合、前記2以上の警備員に対して状況の確認をとる処理を行う確認部と、
前記確認部により前記異常状況が発生しているという確認結果が得られた場合、前記第2取得部によって取得された前記映像のうち前記異常状況が発生しているという確認結果が得られた警備員に対応する前記映像に対する分析を行う第2分析部と、
を有する警備システム。
【請求項2】
前記第1分析部は、
前記生体情報それぞれに基づいて前記複数の警備員の情動状態の変化量を算出し、
前記複数の警備員に対する前記情動状態の変化量の総和を算出し、
前記第1判定部は、
前記情動状態の変化量の総和が第1閾値以上であるか否かを判定し、
前記情動状態の変化量の総和が前記第1閾値以上である場合、前記異常状況が発生している可能性があると判定する請求項1に記載の警備システム。
【請求項3】
前記異常状況は、不審物体が発見された状況を示し、
前記第2分析部は、
前記複数の警備員に対応する前記映像から前記不審物体の画像を抽出し、
該不審物体の特徴に基づいて不審さの度合いを示す不審度を算出し、
前記不審度が第2閾値以上であるか否かを判定し、前記第2閾値以上である場合、前記不審物体を警戒すべき対象と判定する第2判定部を、さらに備えた請求項1または2に記載の警備システム。
【請求項4】
前記第2判定部により前記不審物体が警戒すべき対象と判定された場合、少なくとも前記2以上の警備員が備える警備端末に、前記不審物体に関する情報を送信する共有部を、さらに備えた請求項3に記載の警備システム。
【請求項5】
前記共有部は、前記不審物体に関する情報として、前記不審物体の推定位置と前記2以上の警備員の前記情動状態の変化に対応する色で表したヒートマップで示した画像を送信する請求項4に記載の警備システム。
【請求項6】
前記生体情報は、少なくとも前記警備員の脳波を含む請求項1または2に記載の警備システム。
【請求項7】
複数の警備員がそれぞれ装備する計測装置により計測された生体情報を取得する第1取得ステップと、
前記複数の警備員がそれぞれ装備する撮像装置により撮像された映像を取得する第2取得ステップと、
取得した前記生体情報それぞれに基づいて前記複数の警備員の情動状態の変化を分析する第1分析ステップと、
分析した前記複数の警備員のうち2以上の警備員の前記情動状態の変化に基づいて、異常状況が発生している可能性があるか否かを判定する判定ステップと、
前記異常状況が発生している可能性があると判定した場合、前記2以上の警備員に対して状況の確認をとる処理を行う確認ステップと、
前記異常状況が発生しているという確認結果を得た場合、取得した前記映像のうち前記異常状況が発生しているという確認結果が得られた警備員に対応する前記映像に対する分析を行う第2分析ステップと、
を有する警備方法。
【請求項8】
コンピュータに、
複数の警備員がそれぞれ装備する計測装置により計測された生体情報を取得する第1取得ステップと、
前記複数の警備員がそれぞれ装備する撮像装置により撮像された映像を取得する第2取得ステップと、
取得した前記生体情報それぞれに基づいて前記複数の警備員の情動状態の変化を分析する第1分析ステップと、
分析した前記複数の警備員のうち2以上の警備員の前記情動状態の変化に基づいて、異常状況が発生している可能性があるか否かを判定する判定ステップと、
前記異常状況が発生している可能性があると判定した場合、前記2以上の警備員に対して状況の確認をとる処理を行う確認ステップと、
前記異常状況が発生しているという確認結果を得た場合、取得した前記映像のうち前記異常状況が発生しているという確認結果が得られた警備員に対応する前記映像に対する分析を行う第2分析ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、警備システム、警備方法およびプログラムに関する。
【背景技術】
【0002】
従来、不特定多数の人間が行き交うイベント会場等の広域においては、複数の警備員が各持ち場で巡視を行うことによって、不審者や不審物あるいは火災や事故等の異常事態(以下、単に「異常状況」という。)の早期発見および早期対応を行っている。このような警備員による監視体制では、異常状況の早期発見のための判断力は、各警備員の能力に依存しており、その判断結果には個人差があり、明らかな異常でなくても少しの不自然さ等、判断に迷う状況において取りこぼしが発生するという問題がある。そこで、イベント会場等の警備対象領域を撮影する撮像装置で取得した警備対象領域の画像情報に基づいて、不審者を検知する技術が知られている。しかし、このような撮像装置により異常状況を検知するという仕組みでは、不特定多数の人間が行き交う警備対象領域では、人の重なり等により異常状況の確実な検知が困難である。また、音響センサを用いることにより、異常音等の検知により異常状況を発見するシステムも想定されるが、不特定多数の人間が行き交う環境下では雑音が多く対象の音声の検知が困難である。また、警備対象領域にいる人々にバイタルセンサーを装備させて脳波等の生体情報を解析することにより異常状況の早期検知を図ることも想定されるが、不特定多数の人間が集まるイベント会場等を監視対象領域とする場合、各人全員に対してこのようなバイタルセンサーを装備させて監視するのはおよそ現実的ではない。
【0003】
そこで、このような多数の人間が行き交う領域を警備対象領域とした警備システムとして、警備対象領域を巡視する警備員にウェアラブルカメラおよび生体情報センサ等を装備させ、警備員が人または物に対する通常時とは異なる特別な注意を向けていることを検知し、警備員が特別な注意を向けた対象の人または物が警戒すべき対象か否かの判定を行い、警戒すべき対象の存在を警備員に通知するシステムが開示されている(例えば特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016-066314号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載された技術では、生体情報センサ等で検知された情報のみを頼りに警戒すべき対象か否かを判定している。生体情報は不審者等に特別な注意を向けた場合だけではなく、転倒等異常状況を認識したのではない理由でも通常とは異なる生体情報が生じるため、異常状況ではない事象が異常状況であると誤判定され、他の警備員に異常状況の発生を知らせる通知がなされてしまうという問題がある。また、警備員が明らかな異常状況ではないが、通常とは異なる違和感(放置された荷物や通常とは異なるにおい等)をとらえた場合、異常状況をとらえたときほど大きな生体情報の変化が現れず、異常状況である可能性のある状況を取りこぼし、異常状況を早期に発見し対処することができないという問題があった。
【0006】
本発明は、上記に鑑みてなされたものであって、異常状況の捕捉の確実性を高めて適切に対処することができる警備システム、警備方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明は、複数の警備員がそれぞれ装備する計測装置により計測された生体情報を取得する第1取得部と、前記複数の警備員がそれぞれ装備する撮像装置により撮像された映像を取得する第2取得部と、前記第1取得部により取得された前記生体情報それぞれに基づいて前記複数の警備員の情動状態の変化を分析する第1分析部と、前記第1分析部によって分析された前記複数の警備員のうち2以上の警備員の前記情動状態の変化に基づいて、異常状況が発生している可能性があるか否かを判定する第1判定部と、前記第1判定部により前記異常状況が発生している可能性があると判定された場合、前記2以上の警備員に対して状況の確認をとる処理を行う確認部と、前記確認部により前記異常状況が発生しているという確認結果が得られた場合、前記第2取得部によって取得された前記映像のうち前記異常状況が発生しているという確認結果が得られた警備員に対応する前記映像に対する分析を行う第2分析部と、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、異常状況の捕捉の確実性を高めて適切に対処することができる。
【図面の簡単な説明】
【0009】
図1図1は、実施の形態に係る警備システムの全体構成の一例を示す図である。
図2図2は、脳波から判定される情動状態の一例を示す図である。
図3図3は、実施の形態に係る警備端末のハードウェア構成の一例を示す図である。
図4図4は、実施の形態に係るサーバのハードウェア構成の一例を示す図である。
図5図5は、実施の形態に係る警備システムの機能ブロックの構成の一例を示す図である。
図6図6は、情動分析結果に基づく情動状態の分布を説明する図である。
図7図7は、実施の形態に係る警備システムにおける脳波の取得、分析および状況判定の動作を説明する図である。
図8図8は、複数の警備員の情動状態の変遷を説明する図である。
図9図9は、実施の形態に係る警備システムにおける映像の取得、分析および状況判定の動作を説明する図である。
図10図10は、実施の形態に係る警備システムにおいて映像から人物を検知する動作を説明する図である。
図11図11は、実施の形態に係る警備システムにおいて検知人物DBにレコードが追加される状態を説明する図である。
図12図12は、実施の形態に係る警備システムにおいて検知された人物に対して増加させる不審度を算出する動作を説明する図である。
図13図13は、実施の形態に係る警備システムにおいて複数の警備員に共有される情報の一例を示す図である。
図14図14は、実施の形態に係る警備システムにおける異常判定・情報共有処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に、図面を参照しながら、本発明に係る警備システム、警備方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【0011】
(警備システムの全体構成)
図1は、実施の形態に係る警備システムの全体構成の一例を示す図である。図2は、脳波から判定される情動状態の一例を示す図である。図1および図2を参照しながら、本実施の形態に係る警備システム1の全体構成および動作の概要について説明する。
【0012】
図1に示す警備システム1は、イベント会場等の警備対象領域の警備を担当し、各持ち場を巡視している複数の警備員に装備された脳波計(EEG:Electroencephalograph)から脳波を取得し、撮像装置から映像を取得し、当該脳波の分析および当該映像の分析の結果、異常状況が発生していると判定した場合に、警備対象領域を巡視している複数の警備員に情報を共有するシステムである。警備システム1は、図1に示すように、脳波計20と、撮像装置30と、警備端末40と、サーバ10と、を含む。このうち、脳波計20、撮像装置30および警備端末40は、警備対象領域の警備についている複数の警備員のそれぞれに装備され、ネットワークNを介してサーバ10と通信可能に接続されている。
【0013】
脳波計20は、複数の電極により、人間の脳から発する微弱な電気信号である、生体情報の一例である脳波を検出することにより、脳の神経的な動作状態を測定する計測装置である。脳波計20は、図1に示すように、警備員が装備するヘルメットHに内蔵される。また、脳波計20は、無線通信機能を有し、例えばWi-Fi(登録商標)、4Gまたは5G等に準拠した無線通信により、測定した脳波の情報を、警備員を識別するための識別情報と共にサーバ10へ無線送信する。
【0014】
なお、脳波計20は、ヘルメットHに内蔵されることに限定されるものではなく、警備員の脳波が検出できる態様で装備または携帯できるものであればよい。また、警備員の生体情報を測定する計測装置としては、脳波計に限定されるものではなく、脳磁計(MEG:Magnetoencephalograph)、または近赤外光を利用して脳組織の血流変化を測定する脳活動センサ等であってもよい。また、脳波計20は、サーバ10に対して直接無線通信することに限定されるものではなく、警備端末40を介してサーバ10へ無線通信するものとしてもよい。
【0015】
撮像装置30は、動画または静止画像の映像を撮像するウェアラブルカメラである。撮像装置30は、例えば、図1に示すように、警備員の頭部に装着される。また、撮像装置30は、無線通信機能を有し、Wi-Fi、4Gまたは5G等に準拠した無線通信により、撮像した映像と撮像時刻および警備員の識別情報をサーバ10へ無線送信する。なお、撮像装置30は、警備員の視線方向または体前方を撮像できる状態であれば、頭部に装着されることに限定されず、例えば胴体部分に装着されるものとしてもよい。また、撮像装置30は、サーバ10に対して直接無線通信することに限定されるものではなく、警備端末40を介してサーバ10へ無線通信するものとしてもよい。
【0016】
警備端末40は、監視センタのオペレータと通話等を行うとともに、後述するサーバ10と各種情報の送受信を行うためのスマートフォンまたはタブレット端末等の情報端末である。また、警備端末40は、後述するサーバ10から映像分析の結果の情報等の異常状況が発生していることを示す情報を受信して、ディスプレイに表示させる。これによって、複数の警備員は、それぞれが装備する警備端末40を介して異常状況が発生していることを示す情報を共有することが可能となり、当該異常状況に対して適切に対処することができる。
【0017】
サーバ10は、複数の警備員に装備された脳波計20から脳波の情報を取得し、撮像装置30から映像を取得し、当該脳波の情報をもとにした脳波の分析および当該映像の分析の結果、異常状況が発生していると判定した場合に、複数の警備員に情報を共有するための情報処理装置である。例えば、サーバ10は、図2(a)に示すような脳波の情報を脳波計20から無線受信し、当該脳波の情報に対する各種分析を行うことによって、例えば図2(b)に示すような「緊張」、「不安」、「ニュートラル」、「驚き」、「恐怖」等の警備員の情動状態およびその変化量を算出する。
【0018】
(警備端末のハードウェア構成)
図3は、実施の形態に係る警備端末のハードウェア構成の一例を示す図である。図3を参照しながら、本実施の形態に係る警備端末40のハードウェア構成について説明する。
【0019】
図3に示すように、警備端末40は、CPU(Central Processing Unit)401と、ROM(Read Only Memory)402と、RAM(Random Access Memory)403と、EEPROM(Electrically Erasable Programmable Read Only Memory)404と、遠距離通信回路410と、アンテナ410aと、近距離通信回路411と、アンテナ411aと、マイク412と、スピーカ413と、音入出力I/F414と、ディスプレイ415と、バイブレータ417と、タッチパネル418と、を備えている。
【0020】
CPU401は、警備端末40全体の動作を制御する演算装置である。ROM402は、IPL(Initial Program Loader)等のCPU401の駆動に用いられるプログラムを記憶する不揮発性記憶装置である。RAM403は、CPU401のワークエリアとして使用される揮発性記憶装置である。EEPROM404は、プログラム等および各種データを記憶する不揮発性記憶装置である。
【0021】
遠距離通信回路410は、Wi-Fi、4Gまたは5G等の規格により、アンテナ410aおよびネットワークNを介して他の機器と無線通信をする通信回路である。
【0022】
近距離通信回路411は、NFC(Near Field Communication)またはBluetooth(登録商標)等の規格により、アンテナ411aを介して他の機器と近距離の無線通信をする通信回路である。
【0023】
マイク412は、音を電気信号に変える内蔵型の集音装置である。スピーカ413は、電気信号を物理振動に変えて音楽または音声等の音を出力する内蔵型の音響装置である。音入出力I/F414は、CPU401による制御に従って、マイク412およびスピーカ413との間で音信号の入出力を処理するインターフェースである。
【0024】
ディスプレイ415は、各種アイコン等を表示する液晶ディスプレイまたは有機EL(Electro-Luminescence)ディスプレイ等の表示装置である。
【0025】
バイブレータ417は、CPU401による制御に従って、物理的な振動を発生させる装置である。
【0026】
タッチパネル418は、利用者がディスプレイ415をタッチ操作することにより、警備端末40の各種機能を発揮させるための入力装置である。
【0027】
上述のCPU401、ROM402、RAM403、EEPROM404、遠距離通信回路410、近距離通信回路411、音入出力I/F414、ディスプレイ415、バイブレータ417およびタッチパネル418は、アドレスバスおよびデータバス等のバスライン409によって互いに通信可能に接続されている。
【0028】
なお、図3に示した警備端末40のハードウェア構成は一例であり、すべての構成要素を備えている必要はなく、また、他の構成要素を備えているものとしてもよい。
【0029】
(サーバのハードウェア構成)
図4は、実施の形態に係るサーバのハードウェア構成の一例を示す図である。図4を参照しながら、本実施の形態に係るサーバ10のハードウェア構成について説明する。
【0030】
図4に示すように、サーバ10は、CPU501と、ROM502と、RAM503と、補助記憶装置505と、ネットワークI/F508と、ディスプレイ509と、キーボード511と、マウス512と、を備えている。
【0031】
CPU501は、サーバ10全体の動作を制御する演算装置である。ROM502は、サーバ10用のプログラムを記憶している不揮発性記憶装置である。RAM503は、CPU501のワークエリアとして使用される揮発性記憶装置である。
【0032】
補助記憶装置505は、各種データおよびプログラム等を記憶するHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の記憶装置である。
【0033】
ネットワークI/F508は、ネットワークNを介して、脳波計20、撮像装置30および警備端末40等の外部装置とデータを通信するためのインターフェースである。ネットワークI/F508は、例えば、Wi-Fi等に対応し、TCP(Transmission Control Protocol)/IP(Internet Protocol)等に準拠した通信が可能なインターフェースである。
【0034】
ディスプレイ509は、カーソル、メニュー、ウィンドウ、文字または画像等の各種情報を表示する液晶または有機EL等によって構成された表示装置である。
【0035】
キーボード511は、文字、数字、各種指示の選択、およびカーソルの移動等を行う入力装置である。マウス512は、各種指示の選択および実行、処理対象の選択、ならびにカーソルの移動等を行うための入力装置である。
【0036】
上述のCPU501、ROM502、RAM503、補助記憶装置505、ネットワークI/F508、ディスプレイ509、キーボード511およびマウス512は、アドレスバスおよびデータバス等のバスライン510によって互いに通信可能に接続されている。
【0037】
なお、図4に示したサーバ10のハードウェア構成は一例を示すものであり、図4に示した構成要素を全て含む必要はなく、また、他の構成要素を含むものとしてもよい。
【0038】
(警備システムの機能ブロックの構成および動作の概要)
図5は、実施の形態に係る警備システムの機能ブロックの構成の一例を示す図である。図6は、情動分析結果に基づく情動状態の分布を説明する図である。図5および図6を参照しながら、本実施の形態に係る警備システム1の機能ブロックの構成および動作の概要について説明する。
【0039】
図5に示すように、警備員(1)は、脳波計20_1と、撮像装置30_1と、警備端末40_1と、を装備している。警備員(2)は、脳波計20_2と、撮像装置30_2と、警備端末40_2と、を装備している。同様に、N人目の警備員(N)は、脳波計20_Nと、撮像装置30_Nと、警備端末40_Nと、を装備している。なお、脳波計20_1、20_2、・・・、20_Nについて、任意の脳波計を示す場合、または総称する場合、脳波計20と称するものとする。また、撮像装置30_1、30_2、・・・、30_Nについて、任意の撮像装置を示す場合、または総称する場合、撮像装置30と称するものとする。また、警備端末40_1、40_2、・・・、40_Nについて、任意の警備端末を示す場合、または総称する場合、警備端末40と称するものとする。脳波計20、撮像装置30および警備端末40の動作は、上述の図1で説明した通りである。
【0040】
サーバ10は、図5に示すように、脳波取得部101(第1取得部)と、脳波分析部102(第1分析部)と、脳波状況判定部103(第1判定部)と、を有する。
【0041】
脳波取得部101は、警備対象領域で警備についている複数の警備員が装備する脳波計20それぞれにより検出された脳波の情報を、ネットワークI/F508を介して取得する機能部である。
【0042】
脳波分析部102は、脳波取得部101により取得された脳波の情報に基づいて、警備員の情動状態の変化を分析する機能部である。具体的には、脳波分析部102は、まず、脳波の情報から所定の特徴量を算出する。所定の特徴量としては、例えば、脳波の周波数、FFT(Fast Fourier Transformation:高速フーリエ変換)による周波数特性、ウェーブレット変換による時間情報を含む周波数成分等が挙げられる。また、脳波の波形情報そのものを特徴量としてもよい。次に、脳波分析部102は、算出した特徴量に対する分析により覚醒度(Arousal)および感情度(Valence)を算出する。ここで、覚醒度とは、意識レベルの度合いを表す数値を示し、例えば-1(意識レベルが低い)~+1(意識レベルが高い)の間の数値で表されるものとする。また、感情度とは、感情の度合いを表す数値を示し、例えば-1(負(ネガティブ)の感情)~+1(正(ポジティブ)の感情)の間の数値で表されるものとする。
【0043】
図6に示すように、覚醒度を縦軸に、感情度を横軸として、脳波分析部102により算出された覚醒度および感情度をプロットすることによって、警備員の情動状態が把握できる。例えば、図6に示すように、「恐怖」や「不安」や「緊張」は、覚醒度が高く、感情度が低い領域に現れるのに対し、「驚き」は覚醒度が高く、感情度がやや高い領域に現れる。また、平常時である「ニュートラル」は、覚醒度および感情度ともに0付近に現れる。このような特徴から、脳波分析部102は、算出した覚醒度と感情度に基づいて情動状態を判定することが可能である。
【0044】
次に、脳波分析部102は、覚醒度および感情度で定まる情動状態に基づいて、一定時間における情動状態の変化量を算出する。なお、情動状態については、予め脳波と情動状態と関連付けた学習データにより学習させて構築した分類器を利用して導出するものとしてもよい。また、情動状態の変化量は、所定時間における対象とする情動状態(不安、恐怖等)の割合または連続性等から算出するものとしてもよい。さらに、情動状態の変化量の算出は、「恐怖」や「不安」等の覚醒度が「ニュートラル」よりも高い数値を示す情動状態に変化した場合にのみ行うようにしてもよい。
【0045】
そして、脳波分析部102は、同じ警備対象領域内を巡視しているすべての警備員の脳波から各警備員の情動状態の変化の有無を分析し、一定時間内に情動状態に変化があった警備員の情動状態の変化量の総和を算出する。なお、情動状態の変化量の総和を算出する際には、算出する対象とする警備員を一定の距離範囲内にいる者、同一フロアにいる者、または、距離等にかかわらず同じ領域を注視する者等の条件により限定してもよい。このように、一定時間内に発生する複数の警備員の情動状態の変化量の総和をとることによって、明らかな異常状況ではないが、通常とは異なる違和感等をとらえた場合に生じる情動状態の変化であっても取りこぼすことなく異常状況である可能性を早期に発見し対処することができる。また、特定の警備員の個別の情動状態の変化(例えば巡視中に転倒したこと等による情動状態の変化)の影響を抑制し、異常状況の捕捉の確実性を高めることができる。
【0046】
なお、脳波分析部102による情動状態の変化の分析には脳波取得部101により取得された警備員の脳波を用いるものとしたが、これに代えて、またはこれに加えて、警備員の脈拍、発汗量、体温等の生体情報を取得し、当該生体情報に基づいて情動状態の変化を分析するものとしてもよい。
【0047】
脳波状況判定部103は、脳波分析部102により算出された警備員の情動状態の変化量の総和に基づいて状況判定を行う機能部である。例えば、複数の警備員の情動状態が近い時間帯において不安や緊張等に変化した場合、不審人物を発見した等の異常状況が発生している可能性があると判定する。具体的には、脳波状況判定部103は、脳波分析部102により算出された警備員の情動状態の変化量の総和が所定の閾値(第1閾値)以上であるか否かを判定する。そして、脳波状況判定部103は、当該情動状態の変化量の総和が所定の閾値以上である場合、異常状況が発生している可能性があると判定し、所定の閾値未満である場合、異常状況は発生していないと判定する。
【0048】
また、サーバ10は、図5に示すように、映像取得部111(第2取得部)と、映像分析部112(第2分析部)と、映像状況判定部113(第2判定部)と、記憶部151と、を有する。
【0049】
映像取得部111は、警備対象領域で警備についている複数の警備員が装備する撮像装置30それぞれにより撮像された映像を、ネットワークI/F508を介して取得する機能部である。
【0050】
記憶部151は、少なくとも映像取得部111が取得した映像と、当該映像を撮影した撮像装置30を装備している警備員の識別情報と、当該映像の撮像時刻と、を対応付けて記憶する機能部である。
【0051】
映像分析部112は、映像取得部111により取得された映像の分析を行う機能部である。具体的には、映像分析部112は、まず、後述する状況確認部122からの指示に応じて記憶部151から対象となる映像を読み出す。そして、映像分析部112は、YOLO(You Only Look Once)等のAI(Artificial Intelligence)の物体検知アルゴリズムを用いて、映像から人物の画像を抽出する。次に、映像分析部112は、抽出した人物の画像から、当該人物の年齢、性別、着衣および所持品等を判別する。この場合も、映像分析部112は、AIの物体検知アルゴリズムを用いて判別するとしてもよい。次に、映像分析部112は、後述する検知人物DB141を参照し、抽出した人物の画像に映る人物(以下、「対象の人物」という。)と同一人物の情報が登録されているか否かを確認する。例えば、映像分析部112は、判別した年齢、性別、着衣および所持品のうち少なくともいずれかを比較して同一人物が登録されているか否かを確認してもよい。もしくは、予め検知人物DB141に登録されている人物の画像と、対象の人物の画像とが一致するか否かによって、同一人物が登録されているか否かを確認してもよい。そして、映像分析部112は、検知人物DB141に同一人物の情報が登録されていない場合、対象の人物の情報を新たに検知人物DB141に登録する。この場合、例えば、映像分析部112は、抽出した人物の画像から判別した当該人物の年齢、性別、所持品、不審さの度合いを表す値である不審度(以下、単に「不審度」という。)、および不審度に基づくラベル等を互いに関連付けて検知人物DB141に登録する。なお、映像分析部112は、これらの情報に加えて、抽出した人物の画像を登録するものとしてもよい。検知人物DB141に登録された情報については、後述する図11で詳述する。一方、映像分析部112は、検知人物DB141に対象の人物と同一人物の情報が登録されている場合、再び当該人物が目撃されたものとして、当該登録された情報に含まれる不審度を増加させる。この不審度の増加方法の具体的な内容については、後述する図9図12で詳述する。
【0052】
映像状況判定部113は、後述する検知人物DB141に登録されている情報に基づいて状況判定を行う機能部である。例えば、映像状況判定部113は、検知人物DB141に登録された情報に不審度が所定の閾値(第2閾値)以上である人物の情報があるか否かを判定する。そして、映像状況判定部113は、当該人物の情報がある場合、対象の人物は不審さの強い警戒すべき対象の要注意人物であると判断し、検知人物DB141の当該人物に対応するラベルを「要注意」に更新する。
【0053】
また、サーバ10は、図5に示すように、送受信部121と、状況確認部122(確認部)と、状況共有部123(共有部)と、警備管理部131と、検知人物DB141と、を有する。
【0054】
送受信部121は、警備員が装備する警備端末40と、ネットワークI/F508を介してデータ通信を行う機能部である。
【0055】
状況確認部122は、警備管理部131を介して、脳波状況判定部103による判定結果を受け取る。そして、状況確認部122は、脳波状況判定部103により警備対象領域において異常状況が発生している可能性があると判定された場合に、当該判定の対象である情動状態に変化があった警備員(以下、単に「対象となる警備員」という。)に対して状況の確認をとる処理を行う機能部である。例えば、状況確認部122は、脳波状況判定部103により警備対象領域において異常状況が発生している可能性があると判定された場合、送受信部121を介して対象となる警備員が装備する警備端末40に対して状況を問い合わせる。
【0056】
状況確認部122は、問い合わせた全てまたは一部の警備端末40より、状況に問題がある、異常がある、不審な人物がいる、または、明確に異常とは言えないが確認が必要な状況が発生している等の異常状況が発生している旨の報告を受信した場合(すなわち、異常状況が発生しているという確認結果が得られた場合)、何らかの異常状況が発生している可能性があると判断する。そして、状況確認部122は、警備管理部131を介して、映像分析部112に異常がある旨の報告を受信した警備端末40を装備する警備員に装備された撮像装置30から取得した映像であって、脳波分析部102において情動状態の変化があるとされた脳波を取得した時刻の映像を分析させる。映像分析部112は、状況確認部122からの指令に応じて、記憶部151に記憶された映像の中から当該指令に示された条件を満たす映像を抽出し、その映像の分析を開始する。なお、問い合わせたすべての警備端末40より異常状況は発生していない旨の報告がなされた場合、状況確認部122は、異常状況は発生していないと判断する。
【0057】
なお、本実施の形態では、異常状況が発生している可能性があると判定された場合、状況確認部122が、送受信部121を介して対象となる警備員が装備する警備端末40に対して状況を問い合わせているが、状況確認部122が監視センタのオペレータに対してその旨通知するものとしてもよい。この場合、通知を受けたオペレータは、キーボード511やマウス512等を操作して、サーバ10を対象となる警備員の警備端末40との間で通話やチャット等が可能となるように接続し、当該警備端末40を装備する警備員に対して通話やチャット等で状況を確認する。そして、オペレータは、当該警備員からの報告内容により、異常状況が発生していると判断した場合、キーボード511やマウス512等にてサーバ10(状況確認部122)に対してその旨を入力する。一方、オペレータは、当該警備員からの報告内容により、異常状況は発生していないと判断した場合、サーバ10(状況確認部122)に対してその旨を入力する。
【0058】
状況共有部123は、警備管理部131を介して、脳波分析部102による脳波の分析結果、映像分析部112による映像の分析結果(抽出された人物の画像、当該画像から判別された性別、年齢、着衣および所持品、算出した不審度等)および映像状況判定部113により更新された、対象の人物のラベルの情報を受信し、これらの情報を警備対象領域の警備にあたっているすべての警備員の警備端末40に対して、送受信部121を介して不審人物に関する共有情報として送信する機能部である。これによって、警備対象領域の警備にあたっているすべての警備員は、不審人物に関する情報を共有することができ、当該不審人物に対して的確に監視および対処することが可能となる。なお、状況共有部123による共有情報の送信先は、警備対象領域の警備にあたっている警備員だけに限定されず、さらにその近隣の警備対象領域を警備する警備員にブロードキャストするものとしてもよい。状況共有部123から送信される共有情報については、後述の図13で詳述する。
【0059】
警備管理部131は、脳波状況判定部103、映像分析部112、映像状況判定部113、状況確認部122および状況共有部123の間での情報のやり取りを制御および中継する機能部である。
【0060】
検知人物DB141は、映像分析部112により抽出された対象の人物の年齢、性別、所持品、不審度、および不審度に基づくラベル等を互いに関連付けて記憶するデータベースである。検知人物DB141に登録された情報については、後述する図11で詳述する。検知人物DB141は、図4に示すRAM503または補助記憶装置505によって実現される。
【0061】
上述の脳波取得部101、脳波分析部102、脳波状況判定部103、映像取得部111、映像分析部112、映像状況判定部113、送受信部121、状況確認部122、状況共有部123および警備管理部131は、図4に示すCPU501によりプログラムが実行されることによって実現される。なお、これらの機能部の一部または全部は、ソフトウェアであるプログラムではなく、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等の集積回路によって実現されてもよい。
【0062】
なお、図5に示すサーバ10の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図5に示すサーバ10で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図5に示すサーバ10で1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【0063】
また、サーバ10は、上述する図4に示したように単一の情報処理装置で構成されていることを例示としてハードウェア構成を説明したが、これに限定されるものではなく、図5に示すサーバ10の各機能部を、複数の情報処理装置が協調して実現するシステムとして構成されているものとしてもよい。
【0064】
(警備システムにおける脳波の取得、分析及び状況判定までの動作の詳細)
図7は、実施の形態に係る警備システムにおける脳波の取得、分析および状況判定の動作を説明する図である。図8は、複数の警備員の情動状態の変遷を説明する図である。図7および図8を参照しながら、本実施の形態に係る警備システム1における脳波の取得、分析および状況判定までの動作の詳細について説明する。
【0065】
図7に示すように、多くの人間が行き交うフロアを警備対象領域とし、警備員(1)~(3)の3人の警備員が各自の担当区画内で警備を行っている場合を想定する。この場合、脳波取得部101は、警備員(1)~(3)がそれぞれ装備する脳波計20_1~20_3により検出された脳波の情報を、ネットワークI/F508を介して取得している。そして、脳波分析部102は、脳波取得部101により取得したすべての警備員の脳波について、それぞれ所定の特徴量を算出し、当該特徴量に対する分析により各警備員の覚醒度および感情度を算出する。脳波分析部102は、算出した覚醒度および感情度から各警備員の情動状態を判定する。例えば、図8に示す例では、時刻「14:00」において、当該警備対象領域において何ら異常または異常と疑わしい状況が発生しておらず、脳波分析部102の分析した各警備員の情動状態は、すべて「ニュートラル」である、との判定になっている。
【0066】
その後、当該警備対象空間に不審な人物が進入し、図7に示す移動経路に沿って移動を始めたとする。そして、時刻「14:01」に、警備員(1)が不審な人物を発見すると、脳波分析部102は、警備員(1)の情動状態が「ニュートラル」から「不安」に変化したと判定する。
【0067】
不審な人物は、その後も移動経路に沿って移動し、時刻「14:02」に、警備員(1)に加えて警備員(2)が、当該不審な人物を発見すると、脳波分析部102は、警備員(2)の情動状態が「ニュートラル」から「驚き」に変化したと判定する。
【0068】
そして、不審な人物がその後も移動経路に沿って移動し、時刻「14:03」に、警備員(1)の視界から外れると、脳波分析部102は、警備員(1)の情動状態が「不安」から「ニュートラル」に変化したと判定する。また、警備員(2)が注視していた不審な人物についてさらに違和感を覚えると、脳波分析部102は、警備員(2)の情動状態が「驚き」から「緊張」に変化したと判定する。
【0069】
そして、不審な人物がその後も移動経路に沿って移動し、時刻「14:04」に、警備員(2)に加えて警備員(3)が、当該不審な人物を発見すると、脳波分析部102は、警備員(3)の情動状態が「ニュートラル」から「不安」に変化したと判定する。
【0070】
脳波分析部102は、常に覚醒度および感情度で定まる各警備員の情動状態の変化から情動状態の変化量を求めており、一定時間内に情動状態に変化があった警備員の情動状態の変化量の総和を算出する。例えば、時刻「14:00」から時刻「14:02」(以下、「時間T1」という。)においては、警備員(1)および(2)の情動状態が変化したことを把握しているため、警備員(1)および(2)の情動状態の変化量の総和を算出する。また、時刻「14:02」から時刻「14:04」(以下、「時間T2」という。)においては、警備員(1)、(2)および(3)の情動状態が変化したことを把握しているため、警備員(1)、(2)および(3)の情動状態の変化量の総和を算出する。次に、脳波状況判定部103は、脳波分析部102により算出された情動状態の変化量の総和が所定の閾値以上であるか否かを判定する。そして、脳波状況判定部103は、当該情動状態の変化量の総和が所定の閾値未満である場合、異常状況が発生している可能性は低いと判定する。
【0071】
一方、脳波状況判定部103は、時間T1または時間T2における情動状態の変化量の総和が所定の閾値以上である場合、異常状況が発生している可能性があると判定し、その判定結果を、警備管理部131を介して状況確認部122へ送る。状況確認部122は、警備管理部131を介して、脳波状況判定部103による判定結果を受信し、脳波状況判定部103により警備対象領域において異常状況が発生している可能性があると判定された場合に、当該判定の対象となった警備員に対して状況の確認をとる処理を行う。例えば、状況確認部122は、脳波状況判定部103により時間T1に警備対象領域において異常状況が発生している可能性があると判定された場合、送受信部121を介して対象となる警備員(1)および(2)が装備する警備端末40_1および40_2に対して状況を問い合わせる。そして、状況確認部122は、問い合わせを行った先の警備端末40から怪しい人物がいた等の異常状況が発生していることが示唆される旨の報告を受信した場合、異常状況が発生していると判断し、映像分析部112に、異常状況が発生していることが示唆される旨の報告を受信した警備端末40を装備する警備員に装備される撮像装置30から取得した映像の分析を開始させる。また、問い合わせを行った先の警備端末40_1および40_2のすべてから異常状況は発生していない旨の報告を受信した場合、異常状況は発生していないと判断する。なお、対象となる警備員が装備する警備端末40に問い合わせを行ってから所定時間経過しても異常状況の発生の有無について報告を受信しなかった場合、当該警備員が何らかの理由により報告できない状態にあると判断し、映像分析部112に当該警備員が装備する撮像装置30から取得した映像の分析を開始させるようにしてもよい。また、対象となる警備員が装備する警備端末40に対して状況確認部122が状況を問い合わせる代わりに、監視センタのオペレータ等がキーボード511やマウス512を操作してサーバ10を対象となる警備員(1)および(2)が装備する警備端末40_1および40_2との間で通話等が可能となるように接続し、当該警備端末40_1および40_2を装備する警備員(1)および(2)に対して通話等により状況を確認するようにしてもよい。この場合、状況確認部122は、監視センタ等のオペレータに対してその旨を通知する。その通知を受けたオペレータは、対象となる警備員(1)および(2)の警備端末40_1および40_2に対してサーバ10を通話接続し、状況を確認する。そして、オペレータは、当該警備員からの報告内容により、異常状況が把握された場合、サーバ10(状況確認部122)に対してその旨を入力する。この際、複数警備員からの回答を踏まえて全体として異常の有無を入力してもよいし、各警備員からの回答を個別に取り扱って、それぞれに基づく異常の有無や各警備員が装備する撮像装置30が撮像した映像に映る人物の不審の程度を入力してもよい。一方、オペレータは、当該警備員からの報告内容により、異常状況は発生していないと判断した場合、サーバ10(状況確認部122)に対してその旨を入力する。なお、状況確認部122からオペレータへの通知は、ディスプレイ509への表示により行い、オペレータから状況確認部122への入力は、キーボード511やマウス512による入力により行う。
【0072】
(警備システムにおける映像の取得、分析及び状況判定までの動作の詳細)
図9は、実施の形態に係る警備システムにおける映像の取得、分析および状況判定の動作を説明する図である。図10は、実施の形態に係る警備システムにおいて映像から人物を検知する動作を説明する図である。図11は、実施の形態に係る警備システムにおいて検知人物DBにレコードが追加される状態を説明する図である。図12は、実施の形態に係る警備システムにおいて検知された人物に対して増加させる不審度を算出する動作を説明する図である。図9図12を参照しながら、本実施の形態に係る警備システム1における映像の取得、分析および状況判定までの動作の詳細について説明する。
【0073】
状況確認部122は、上述のように、問い合わせた全てまたは一部の警備端末40から異常状況が発生している旨の報告を受信した場合、警備管理部131を介して、映像分析部112に映像の分析を開始させる。図9に示す例では、脳波状況判定部103によって、警備員(1)~警備員(3)の情動状態の変化量の総和から、異常状況が発生している可能性があると判定され、状況確認部122が、すべての警備端末40_1~40_3から異常状況が発生している旨の通知を受信したものとする。映像分析部112は、状況確認部122からの指示に応じて、記憶部151に記憶している警備員(1)~(3)が装備している撮像装置30_1~30_3により撮像された映像のうち、脳波分析部102において情動状態の変化があるとされた脳波を取得した時刻に撮像された映像を読み出し、分析を開始する。図9に示す例では、映像(1)は警備員(1)の情動状態が変化したときの映像である。また、映像(2)は警備員(2)の情動状態が変化したときの映像である。さらに、映像(3)は警備員(3)の情動状態が変化したときの映像である。
【0074】
映像分析部112は、図10に示すように、記憶部151から読み出した映像IMから、YOLO等のAIの物体検知アルゴリズムを用いて、人物が検知された検知領域AR1、AR2の画像を抽出する。次に、映像分析部112は、抽出した検知領域AR1、AR2の人物の画像から、当該人物の年齢、性別、着衣および所持品等を判別する。
【0075】
次に、映像分析部112は、検知人物DB141を参照し、抽出した人物の画像に映る人物(対象の人物)と同一人物の情報が登録されているか否かを確認する。図11(a)に、検知人物DB141に登録されたテーブルの一例を示す。図11(a)に示す検知人物DB141には、年齢「40代」の男性、年齢「20代」の女性、および年齢「10代」の男性の各情報が登録されている。例えば、映像分析部112は、判別した年齢、性別、着衣および所持品のうち少なくともいずれか一つを比較して同一人物が登録されているか否かを確認する。確認の結果、映像分析部112は、検知領域AR1の人物の画像から判別した年齢(40代)、性別(男性)、着衣(コート)および所持品(アタッシュケース)が、検知人物DB141に登録されているNo「1」の情報と一致しているため、検知人物DB141に同一人物の情報が登録されていると判断し、図11(b)に示すように当該人物に対応する情報に含まれる不審度「0.3」を「0.4」に増加させる。また、映像分析部112は、検知領域AR2の人物の画像から判別した年齢(10代)、性別(女性)、着衣(制服)および所持品(キャリーバッグ)と一致する情報が、検知人物DB141に登録されていないため、当該人物の情報(年齢、性別、着衣、所持品、不審度)を新たに検知人物DB141に登録する。この場合、映像分析部112は、検知領域AR2に映る人物は初めて検知された人物であることから、当該人物の不審度を「0.1」として登録している。
【0076】
ここで、映像分析部112による検知人物DB141に登録された人物についての不審度の増加量の算出方法の一例を説明する。上記では、警備員が異常状況の発生を認識したときに周囲にいた人物の不審度を一律に0.1増加させたが、例えば、人物を検知した検知領域に映る人物が所持品であるサングラス等で顔を隠している場合、一定の不審さがあるものとして不審度の増加量を調整してもよい。また、映像分析部112は、例えば、骨格推定AI等を用いて当該検知領域に映る人物の動きを分析し、店員等との遭遇を避けるような行動、または「ウロウロ」、「キョロキョロ」等の不審な動きを検知した場合、一定の不審さがあるものとして不審度の増加量を調整してもよい。また、例えば、警備員に視線計測器等を装備させ、当該視線計測器等が計測した警備員の注視方向を映像分析部112が取得し、映像における注視ポイントを特定し、当該注視ポイントに近い人物ほど不審さが強いものとして大きな値を不審度に加算して増加させる。例えば、図12に示す例では、映像IMの中央左寄りに注視ポイントがあるとする。検知領域AR1で検知された男性は注視ポイントに近いため、映像分析部112は、当該男性の不審度に対して、大きな値として「0.3」を加算している。また、映像分析部112は、注視ポイントから遠い検知領域AR2で検知された女性の不審度に対して、小さな値として「0.1」を加算している。映像分析部112は、増加させた不審度を検知人物DB141に反映させて更新する。また、オペレータの判断により、各警備員が装備する撮像装置30が撮像した映像に映る人物の不審の程度に応じて、不審度の増加量を調整してもよい。
【0077】
映像状況判定部113は、映像分析部112により算出され検知人物DB141に登録されている不審度が所定の閾値以上であるか否かを判定する。そして、映像状況判定部113は、当該不審度が所定の閾値以上である場合、対象の人物は不審さの強い要注意人物であると判断し、検知人物DB141において当該人物に対応するラベルを「要注意」に更新する。図11(b)に示す例では、所定の閾値を0.4とし、映像状況判定部113は、No「1」の男性の不審度が所定の閾値以上と判定したため、対応するラベルを「普通」から「要注意」に更新している。
【0078】
(警備システムにおける複数の警備員に共有される情報について)
図13は、実施の形態に係る警備システムにおいて複数の警備員に共有される情報の一例を示す図である。図13を参照しながら、本実施の形態に係る警備システム1における複数の警備員に共有される情報の一例について説明する。
【0079】
状況共有部123は、警備管理部131を介して、脳波分析部102による脳波の分析結果、映像分析部112による映像の分析結果(抽出された人物の画像、当該画像から判別された性別、年齢、着衣および所持品、算出した不審度等)および映像状況判定部113により更新された、抽出された人物の画像に映る人物(対象の人物)に対応するラベルの情報を受信し、これらの情報を警備対象領域の警備にあたっているすべての警備員の警備端末40に対して、送受信部121を介して不審人物に関する共有情報として送信する。この場合、例えば、状況共有部123は、映像状況判定部113によって、検知人物DB141に登録された人物のラベルが「要注意」に更新された人物に関する情報を共有情報として、各警備端末40に送信するものとしてもよい。なお、映像状況判定部113により検知人物DB141に不審度が所定の閾値以上の人物が登録されていなかった場合、状況共有部123は、特定の不審人物を報せるのではなく、単に異常状況が発生した可能性が高いとして、警備管理部131を介して受信する脳波分析部102による脳波の分析結果を共有情報として送受信部121を介して警備対象領域の警備にあたっているすべての警備員の警備端末40に対して送信するようにしてもよい。
【0080】
図13に示す推定位置表示画面1000は、複数の警備員の警備端末40に送信された不審人物に関する共有情報としての画面である。推定位置表示画面1000は、図13に示すように、対象人物表示領域1001と、特徴表示領域1002と、ヒートマップ表示領域1003と、を含む。
【0081】
対象人物表示領域1001は、映像分析部112により人物が検知された検知領域のうち、映像状況判定部113によってラベルが「要注意」に更新された不審人物に対応する検知領域(人物の画像)を表示する領域である。
【0082】
特徴表示領域1002は、対象人物表示領域1001に表示された人物について映像分析部112より判別された各種特徴(年齢、性別、着衣、所持品等)を表示する領域である。
【0083】
ヒートマップ表示領域1003は、対象人物表示領域1001に表示された不審人物の推定位置を、情動状態の変化量の総和の大きさを色で示すヒートマップとして表示する領域である。不審人物の推定位置は、情動状態が変化した警備員の位置をもとに推定し、推定した位置を中心とする円形(図13の実線円)で表示する。そして、情動状態の変化量の総和の大きさは円の色を変更する等表示態様を変更して示す。また、過去のヒートマップと現在のヒートマップを重ね、不審人物の推定位置の移動状態を矢印などで表示してもよい。なお、警備員ごとの情動状態の変化量を警備員を中心とした円形で示し、重なり合った部分が不審人物のいる可能性の高い場所であるとして着色や太枠で囲う等して表現してもよい。また、円形ではなく映像分析部112により取得された警備員の注視方向を矢印等で表してもよい。さらに、状況共有部123は、例えば、ヒートマップ表示領域1003において、時系列に順次ヒートマップを表示させる。あるいは、過去のヒートマップと現在のヒートマップを重ね、時間経過をヒートマップの着色に反映させて表示することによって、不審人物の推定位置の移動状態を表すことができる。また、スライドバーや再生ボタン、時間指定機能などを用意し、スクロールすることで不審人物の推定位置や警備員の情動変化の時間変化を表示してもよい。状況共有部123は、脳波分析部102による脳波の分析結果(複数の警備員の情動状態の変化量の総和等)をリアルタイムで取得し、当該ヒートマップの色としてリアルタイムに反映させてもよい。また、状況共有部123は、図13に示すように、推定した不審人物の最新位置のヒートマップを中心として、推定誤差を加味した範囲を点線で示してもよい。
【0084】
このように、推定位置表示画面1000のような情報を不審人物に関する共有情報として各警備端末40に送信することによって、不審人物の画像、特徴および推定位置、各警備員の位置関係、ならびに不審人物の移動方向等を複数の警備員で共有することができるため、不審人物が発見された異常状況において適切に対処することが可能となる。
【0085】
なお、上述では、不審人物と判定された人物が1名であった場合について説明したが、不審度が所定の閾値以上と判定された人物が2名以上いた場合、不審人物と判定された人物の画像や当該人物に関する各種特徴(年齢、性別、着衣、所持品等)を同一の推定位置表示画面1000にて表示し共有してもよいし、あるいは、推定位置表示画面1000を人物ごとに表示し共有してもよい。
【0086】
(警備システムの異常判定・情報共有処理の流れ)
図14は、実施の形態に係る警備システムにおける異常判定・情報共有処理の流れの一例を示すフローチャートである。図14を参照しながら、本実施の形態に係る警備システム1の異常判定・情報共有処理の流れについて説明する。
【0087】
<ステップS11>
サーバ10の脳波取得部101は、警備対象領域で警備についている複数の警備員が装備する脳波計20それぞれにより検出された脳波を、ネットワークI/F508を介して取得する。また、サーバ10の映像取得部111は、警備対象領域で警備についている複数の警備員が装備する撮像装置30により撮像された映像をネットワークI/F508を介して取得し、記憶部151に記憶する。そして、ステップS12へ移行する。
【0088】
<ステップS12>
サーバ10の脳波分析部102は、脳波取得部101により取得された脳波の情報に基づいて、警備員の情動状態の変化を分析する。具体的には、脳波分析部102は、まず、脳波の情報から所定の特徴量を算出し、当該特徴量に対する分析により覚醒度および感情度を算出する。次に、脳波分析部102は、覚醒度および感情度で定まる情動状態の変化に基づいて、一定時間における情動状態の変化量を算出する。そして、脳波分析部102は、警備対象領域内において巡視する警備員の脳波に対応する情動状態の変化量の総和を算出する。そして、ステップS13へ移行する。
【0089】
<ステップS13>
サーバ10の脳波状況判定部103は、脳波分析部102による警備員の情動状態の変化量に基づいて状況判定を行う。具体的には、脳波状況判定部103は、脳波分析部102により算出された情動状態の変化量の総和が所定の閾値以上であるか否かを判定する。そして、脳波状況判定部103は、当該情動状態の変化量の総和が所定の閾値以上である場合(ステップS13:情動状態変化あり)、異常状況が発生している可能性があると判定し、ステップS14へ移行し、所定の閾値未満である場合(ステップS13:情動状態変化なし)、異常状況は発生していないと判定し、ステップS11へ戻る。
【0090】
<ステップS14>
脳波状況判定部103は、情動状態の変化量の総和が所定の閾値以上であると判定した場合、異常状況が発生している可能性があると判定し、その判定結果を、警備管理部131を介して状況確認部122へ送る。サーバ10の状況確認部122は、警備管理部131を介して、脳波状況判定部103による判定結果を受信し、当該判定の対象となった警備員に対して状況の確認をとる処理を行う。例えば、状況確認部122は、脳波状況判定部103により警備対象領域において異常状況が発生している可能性があると判定された場合、送受信部121を介して対象となる警備員が装備する警備端末40に対して状況を問い合わせる。警備端末40は、サーバ10から状況の問い合わせを受信すると、状況の問い合わせがなされていることを音や振動などにより通知するとともに、ディスプレイ415に問い合わせの内容を表示する。そして、この内容を確認した警備員がタッチパネル418により異常状況が発生しているか否か等の報告内容を入力すると、警備端末40が当該報告内容をサーバ10に通知する。状況確認部122は、警備端末40から受信した報告内容をもとに異常状況が発生していると判断した場合(ステップS14:異常あり)、ステップS15へ移行する。一方、状況確認部122は、警備端末40からの報告内容により、異常状況は発生していないと判断した場合(ステップS14:異常なし)、ステップS11へ戻る。
【0091】
<ステップS15>
状況確認部122は、警備端末40から異常状況が発生している旨の報告を受けた場合、警備管理部131を介して、映像分析部112に映像の分析を開始させる。サーバ10の映像分析部112は、状況確認部122からの指示に応じて、記憶部151に記憶している映像のうち、脳波分析部102において情動状態の変化があったと判定された警備員が装備する撮像装置30が撮像した映像であり、かつ、情動状態の変化があるとされた脳波を取得した時刻に撮像された映像を読み出し、映像の分析を行う。具体的には、映像分析部112は、まず、YOLO等のAIの物体検知アルゴリズムを用いて、映像から人物の画像を抽出し、抽出した人物の画像から当該人物の年齢、性別、着衣および所持品等を判別する。次に、映像分析部112は、検知人物DB141を参照し、抽出した人物の画像に映る人物(対象の人物)と同一人物の情報が検知人物DB141に登録されているか否かを確認する。そして、映像分析部112は、検知人物DB141に同一人物の情報が登録されていない場合、当該人物の情報を新たに検知人物DB141に登録する。一方、映像分析部112は、検知人物DB141に同一人物の情報が登録されている場合、再び当該人物が目撃されたものとして、当該登録された情報に含まれる不審度を増加させる。
【0092】
また、サーバ10の映像状況判定部113は、映像分析部112により算出された不審度、すなわち検知人物DB141に登録されている不審度が所定の閾値以上であるか否かを判定する。そして、映像状況判定部113は、当該不審度が所定の閾値以上である場合、対象の人物は不審さの強い要注意人物であると判断し、検知人物DB141において当該人物に対応するラベルを「要注意」に更新する。そして、ステップS16へ移行する。
【0093】
<ステップS16>
サーバ10の状況共有部123は、警備管理部131を介して、脳波分析部102による脳波の分析結果、映像分析部112による映像の分析結果(抽出された人物画像、性別、年齢、着衣および所持品、算出した不審度等)および映像状況判定部113により更新された、抽出された人物に対応するラベルの情報を受信し、警備対象領域の警備にあたっているすべての警備員の警備端末40に対して、送受信部121を介して不審人物に関する共有情報を送信する。このように、不審人物に関する共有情報を各警備端末40に送信することによって、不審人物の画像、特徴および推定位置、各警備員の位置関係、ならびに不審人物の移動方向等を複数の警備員で共有する。
【0094】
以上のステップS11~S16の流れによって、係る警備システム1の異常判定・情報共有処理が実行される。
【0095】
なお、上述では、警備対象空間における異常状況として不審人物が発見された場合について説明したが、警備対象としては人物に限定されるものではなく、例えば、異常な臭いを放ったり、異常音を発したりするような不審物が発見された場合に対しても本実施の形態に係る警備システム1を適用することが可能である。このような不審人物および不審物は、本発明の「不審物体」の一例である。
【0096】
以上のように、本実施の形態に係る警備システム1では、脳波取得部101は、複数の警備員がそれぞれ装備する脳波計20により計測された生体情報の一例である脳波を取得し、映像取得部111は、複数の警備員がそれぞれ装備する撮像装置30により撮像された映像を取得し、脳波分析部102は、脳波取得部101により取得された脳波の情報それぞれに基づいて複数の警備員の情動状態の変化を分析し、脳波状況判定部103は、脳波分析部102によって分析された複数の警備員のうち2以上の警備員の情動状態の変化に基づいて、異常状況が発生している可能性があるか否かを判定し、状況確認部122は、脳波状況判定部103により異常状況が発生している可能性があると判定された場合、当該2以上の警備員に対して状況の確認をとる処理を行い、映像分析部112は、状況確認部122により異常状況が発生しているという確認結果が得られた場合、映像取得部111によって取得された映像のうち異常状況が発生しているという確認結果が得られた警備員に対応する映像に対する分析を行うものとしている。これによって、特定の警備員の個別の情動状態の変化(例えば警備中に転倒したこと等による情動状態の変化)のみの影響を抑制し、同一の異常状況に対する情動状態の変化を含む可能性が高くなり、異常状況に対する情動状態の変化としての信頼性を向上させることができるため、異常状況の捕捉の確実性を高めて適切に対処することができる。
【0097】
また、本実施の形態に係る警備システム1では、脳波分析部102は、複数の警備員から取得した脳波の情報それぞれに基づいて当該警備員の情動状態の変化量を算出し、複数の警備員に対する情動状態の変化量の総和を算出し、脳波状況判定部103は、情動状態の変化量の総和が所定の閾値以上であるか否かを判定し、情動状態の変化量の総和が所定の閾値以上である場合、異常状況が発生している可能性があると判定するものとしている。このように、複数の警備員の情動状態の変化量の総和を算出することによって、明らかな異常状況ではないが、通常とは異なる違和感等をとらえた場合に生じる情動状態の変化であっても取りこぼすことなく異常状況である可能性を早期に発見し対処することができる。また、特定の警備員の個別の情動状態の変化(例えば警備中に転倒したこと等による情動状態の変化)のみの影響を抑制し、同一の不審と思われる人物に対する情動状態の変化量を含む可能性が高くなるため、異常状況に対する情動状態の変化量の信頼性を向上させることができる。
【0098】
また、本実施の形態に係る警備システム1では、異常状況は、不審人物が発見された状況を示し、映像分析部112は、複数の警備員に対応する映像から不審人物の画像を抽出し、不審人物の特徴に基づいて不審さの度合いを示す不審度を算出し、映像状況判定部113は、不審度が所定の閾値以上であるか否かを判定し、所定の閾値以上である場合、不審人物を警戒すべき対象と判定するものとしている。これによって、警備員から異常状況が発生しているという確認がとれた後、さらに不審度に対する判定により、不審人物の警戒すべき対象としての確信度を高めることができる。
【0099】
また、本実施の形態に係る警備システム1では、状況共有部123は、映像状況判定部113により不審人物が警戒すべき対象と判定された場合、少なくとも上述の2以上の警備員が装備する警備端末40に、不審人物に関する情報を送信するものとしている。これによって、警備対象領域の警備にあたっている警備員は、不審人物に関する情報を共有することができ、当該不審人物に対して的確に監視および対処することが可能となる。
【0100】
また、本実施の形態に係る警備システム1では、状況共有部123は、不審人物に関する情報として、不審人物の推定位置と上述の2以上の警備員の情動状態の変化に対応する色で表したヒートマップで示した画像(上述の推定位置表示画面1000等)を送信するものとしている。これによって、不審人物の特徴および推定位置、ならびに不審人物の移動方向等を複数の警備員で共有することができるため、不審人物が発見された異常状況において適切に対処することが可能となる。
【0101】
なお、上述の実施の形態において、サーバ10の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、上述の実施の形態において、サーバ10で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disc-Recordable)、またはDVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態において、サーバ10で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態において、サーバ10で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態において、サーバ10で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPU501が上述の記憶装置(例えばROM502、補助記憶装置505等)からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置(RAM503)上にロードされて生成されるようになっている。
【符号の説明】
【0102】
1 警備システム
10 サーバ
20、20_1~20_3、20_N 脳波計
30、30_1~30_3、30_N 撮像装置
40、40_1、40_2、40_N 警備端末
101 脳波取得部
102 脳波分析部
103 脳波状況判定部
111 映像取得部
112 映像分析部
113 映像状況判定部
121 送受信部
122 状況確認部
123 状況共有部
131 警備管理部
141 検知人物DB
151 記憶部
401 CPU
402 ROM
403 RAM
404 EEPROM
409 バスライン
410 遠距離通信回路
410a アンテナ
411 近距離通信回路
411a アンテナ
412 マイク
413 スピーカ
414 音入出力I/F
415 ディスプレイ
417 バイブレータ
418 タッチパネル
501 CPU
502 ROM
503 RAM
505 補助記憶装置
508 ネットワークI/F
509 ディスプレイ
510 バスライン
511 キーボード
512 マウス
1000 推定位置表示画面
1001 対象人物表示領域
1002 特徴表示領域
1003 ヒートマップ表示領域
AR 情動領域
AR1、AR2 検知領域
H ヘルメット
IM 映像
N ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14