(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025023439
(43)【公開日】2025-02-17
(54)【発明の名称】プログラム、監視支援システムおよび監視支援方法
(51)【国際特許分類】
G08B 25/00 20060101AFI20250207BHJP
H04N 7/18 20060101ALI20250207BHJP
G06T 7/00 20170101ALI20250207BHJP
【FI】
G08B25/00 510M
H04N7/18 K
H04N7/18 D
G06T7/00 660A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023127551
(22)【出願日】2023-08-04
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】高橋 洋平
(72)【発明者】
【氏名】和田 健伍
【テーマコード(参考)】
5C054
5C087
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FE28
5C054HA19
5C087AA02
5C087AA03
5C087AA19
5C087AA21
5C087AA37
5C087BB20
5C087BB74
5C087DD05
5C087EE14
5C087FF01
5C087FF02
5C087FF04
5C087FF13
5C087FF16
5C087GG02
5C087GG08
5C087GG17
5C087GG66
5L096BA02
5L096CA02
5L096DA02
5L096FA66
5L096FA67
5L096FA69
5L096KA04
(57)【要約】
【課題】監視業務を現場で行う人物に対してノイズとなる情報が通知されることを抑制する技術を提供する。
【解決手段】監視支援システムは、監視範囲推定部、死角領域判定部および通知部を備える。監視範囲推定部は、監視対象領域の中で監視業務を行う1以上の監視員によってカバーされる監視範囲を推定する。死角領域判定部は、各監視員による監視範囲の推定結果に基づいて、監視対象領域の中の死角領域を判定する。通知部は、死角領域の中で監視すべき特定領域を、死角領域に関する情報と監視対象領域内に位置する保護対象に関する情報とに基づいて識別する。そして、通知部は、当該特定領域に対する監視を要請する指示を監視員に通知する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
1以上のコンピュータを、
監視対象領域の中で監視業務を行う1以上の監視員によってカバーされる監視範囲を推定する監視範囲推定手段、
前記監視範囲の推定結果に基づいて、前記監視対象領域の中の死角領域を判定する死角領域判定手段、
前記死角領域の中で監視すべき特定領域を前記死角領域に関する情報と前記監視対象領域内に位置する保護対象に関する情報とに基づいて識別し、当該特定領域に対する監視を要請する指示を前記監視員に通知する通知手段、
として動作させるためのプログラム。
【請求項2】
前記通知手段は、
前記死角領域と前記保護対象の位置との関係に基づいて前記特定領域を識別する、
請求項1に記載のプログラム。
【請求項3】
前記通知手段は、
前記保護対象が人物である場合、前記保護対象の映像を解析して前記保護対象の視線の方向を推定し、
前記死角領域に対する前記保護対象の前記視線の方向に基づいて、前記特定領域を識別する、
請求項1に記載のプログラム。
【請求項4】
前記通知手段は、
前記保護対象が人物である場合、前記保護対象の映像を解析して前記保護対象の視線の方向を推定し、
前記死角領域のうち前記保護対象の前記視線の方向とは逆方向に位置する領域に存在する物体および他の人物の少なくとも一方に関する情報に基づいて、当該領域が前記特定領域に該当するか否かを判定する、
請求項1に記載のプログラム。
【請求項5】
前記通知手段は、
前記死角領域と前記保護対象の位置との間の移動経路となり得る領域に存在する障害物の位置に基づいて、前記死角領域の中から前記特定領域を識別する、
請求項1に記載のプログラム。
【請求項6】
前記通知手段は、前記移動経路となり得る領域に設置された物体および前記移動経路となり得る領域に存在する人だかりを前記障害物として検知する、
請求項5に記載のプログラム。
【請求項7】
前記通知手段は、
人物や物体を含む映像を入力として1以上の移動経路を識別するとともに目的地への到達可能性を移動経路別に出力するように学習された機械学習モデルを用いて、前記特定領域を識別する、
請求項1に記載のプログラム。
【請求項8】
前記通知手段は、
前記死角領域内に存在する1以上の人物および1以上の物体の少なくとも一方の属性を示す属性情報を用いて、前記特定領域を識別する、
請求項1から7のいずれか一項に記載のプログラム。
【請求項9】
前記通知手段は、
複数の属性情報が取得された場合、各属性情報によって示される属性の差に基づいて前記特定領域を識別する、
請求項8に記載のプログラム。
【請求項10】
監視対象領域の中で監視業務を行う1以上の監視員の情報を取得する情報収集装置と、前記情報収集装置とネットワークを介して接続される情報処理装置と、を備える監視支援システムにおいて、
前記情報収集装置は、
監視対象領域の中で監視業務を行う1以上の監視員の情報を取得する手段と、
前記1以上の監視員の情報を前記情報処理装置へ送信する手段と、を備え、
前記情報処理装置は、
前記1以上の監視員の情報に基づいて、1以上の監視員によってカバーされる監視範囲を推定する監視範囲推定手段と、
前記監視範囲の推定結果に基づいて、前記監視対象領域の中の死角領域を判定する死角領域判定手段と、
前記死角領域の中で監視すべき特定領域を前記死角領域に関する情報と前記監視対象領域内に位置する保護対象に関する情報とに基づいて識別し、当該特定領域に対する監視を要請する指示を前記監視員に通知する通知手段と、を備える、
監視支援システム。
【請求項11】
1以上のコンピュータが、
監視対象領域の中で監視業務を行う1以上の監視員によってカバーされる監視範囲を推定し、
前記監視範囲の推定結果に基づいて、前記監視対象領域の中の死角領域を判定し、
前記死角領域の中で監視すべき特定領域を前記死角領域に関する情報と前記監視対象領域内に位置する保護対象に関する情報とに基づいて識別し、当該特定領域に対する監視を要請する指示を前記監視員に通知する、
ことを含む監視支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視業務を支援するためのプログラム、監視支援システムおよび監視支援方法に関する。
【背景技術】
【0002】
下記特許文献1は、監視の行き届かない領域(死角領域)を提示する機能を有する監視装置を開示している。下記特許文献1に記載の監視装置は、例えば、以下の(1)から(3)の処理を実行する。
(1)監視カメラが撮影した映像を解析することで人物の視線に基づいて当該人物の視野を推定する。
(2)推定した視野に基づいて、監視エリア内の死角領域を判定する。
(3)判定された死角エリアにおいて人物や物体を検知した場合に、その検知に係る情報を警備員の無線端末に報知する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
監視対象とする領域において死角領域が存在し、その死角領域に人物や物体が存在していたとしても、潜在的なリスクが低いまたは潜在的なリスクがない場合もある。そのような死角領域に関する情報は、警備員(監視業務を現場で行う人物)にとっては業務を妨げるノイズ情報に過ぎない。そのようなノイズ情報は、現場を却って混乱させる可能性があるため、監視業務を現場で行う人物に通知しないようにする仕組みが望まれる。
【課題を解決するための手段】
【0005】
本開示におけるプログラムは、
1以上のコンピュータを、
監視対象領域の中で監視業務を行う1以上の監視員によってカバーされる監視範囲を推定する監視範囲推定手段、
前記監視範囲の推定結果に基づいて、前記監視対象領域の中の死角領域を判定する死角領域判定手段、
前記死角領域の中で監視すべき特定領域を前記死角領域に関する情報と前記監視対象領域内に位置する保護対象に関する情報とに基づいて識別し、当該特定領域に対する監視を要請する指示を前記監視員に通知する通知手段、
として動作させる。
【0006】
本開示における監視支援システムは、
監視対象領域の中で監視業務を行う1以上の監視員の情報を取得する情報収集装置と、前記情報収集装置とネットワークを介して接続される情報処理装置と、を備える。
また、前記情報収集装置は、
監視対象領域の中で監視業務を行う1以上の監視員の情報を取得する手段と、
前記1以上の監視員の情報を前記情報処理装置へ送信する手段と、を備え、
前記情報処理装置は、
前記1以上の監視員の情報に基づいて、1以上の監視員によってカバーされる監視範囲を推定する監視範囲推定手段と、
前記監視範囲の推定結果に基づいて、前記監視対象領域の中の死角領域を判定する死角領域判定手段と、
前記死角領域の中で監視すべき特定領域を前記死角領域に関する情報と前記監視対象領域内に位置する保護対象に関する情報とに基づいて識別し、当該特定領域に対する監視を要請する指示を前記監視員に通知する通知手段と、を備える。
【0007】
本開示における監視支援方法は、
1以上のコンピュータが、
監視対象領域の中で監視業務を行う1以上の監視員によってカバーされる監視範囲を推定し、
前記監視範囲の推定結果に基づいて、前記監視対象領域の中の死角領域を判定し、
前記死角領域の中で監視すべき特定領域を前記死角領域に関する情報と前記監視対象領域内に位置する保護対象に関する情報とに基づいて識別し、当該特定領域に対する監視を要請する指示を前記監視員に通知する、
ことを含む。
【発明の効果】
【0008】
本開示によれば、監視業務を現場で行う人物にノイズとなる情報が通知されることを抑制するプログラム、監視支援システムおよび監視支援方法が提供される。
【図面の簡単な説明】
【0009】
【
図1】本開示における監視支援システムの機能構成の第1の例を示す図である。
【
図2】本開示に係る監視支援システムの各機能を実現するコンピュータのハードウェア構成を例示する図である。
【
図3】本開示に係る監視支援システムの動作の第1例を示すフローチャートである。
【
図4】監視範囲推定部が監視員の監視範囲を設定する動作の一例を説明するための図である。
【
図5】監視員の視野に遮蔽物が存在している場合において監視範囲推定部により推定される監視範囲の一例を示す図である。
【
図6】死角領域判定部が死角領域を判定する動作の一例を説明するための図である。
【
図7】通知部により通知される情報の一例を示す図である。
【
図8】本開示における監視支援システムの機能構成の第2の例を示す図である。
【
図9】本開示に係る監視支援システムの動作の第2例を示すフローチャートである。
【
図10】本開示における監視支援システムの機能構成の他の例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示に係る実施形態について、図面を用いて説明する。なお、本開示において図面は1以上の実施形態に関連付けられる。また、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウェア単位の構成ではなく、機能単位の構成を表している。また、図中のブロックといった要素が矢印によってリンクされる場合において、その矢印の向きは、情報の流れを分かり易くするためのものに過ぎない。この場合において、矢印の向きは、特に説明のない限り、通信の方向(一方向通信/双方向通信)を限定しない。
【0011】
また、以下の説明において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと(能動的な取得)、および、自装置に他の装置から出力されるデータまたは情報を入力すること(受動的な取得)の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信(または、送信、プッシュ通知等)される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
【0012】
・第1実施形態
<機能構成例>
図1は、本開示における監視支援システムの機能構成の第1の例を示す図である。本図に例示される監視支援システム1は、監視範囲推定部110、死角領域判定部120および通知部130を備える。
【0013】
監視範囲推定部110は、監視業務の対象となる領域(以下、「監視対象領域」とも表記)の中で業務を行う1以上の監視員によってカバーされる監視範囲を推定する。死角領域判定部120は、各監視員の監視範囲の推定結果に基づいて、監視対象領域の中の死角領域を推定する。本開示における「死角領域」とは、「1以上の監視員により監視できていないと推定される領域(監視対象領域内の部分領域)」とも呼べる。通知部130は、死角領域の中で監視すべき領域(以下、「特定領域」とも表記)を、死角領域に関する情報と監視対象領域内の保護対象に関する情報とに基づいて識別する。本開示における「保護対象」とは、1以上の監視員による監視下で保護されるべき1以上の人物(例えば、要人や著名人など)または1以上の物体(例えば、美術展示品や高額商品など)を含む。死角領域の中から特定領域が識別された場合、通知部130は、当該特定領域に対する監視を要請する指示を監視員に通知する。
【0014】
<ハードウェア構成例>
図2は、本開示に係る監視支援システム1の各機能を実現するコンピュータのハードウェア構成を例示する図である。
【0015】
本図に例示されるコンピュータ1000は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060を有する。
【0016】
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
【0017】
プロセッサ1020は、Central Processing Unit(CPU)やGraphics Processing Unit(GPU)などである。
【0018】
メモリ1030は、Random Access Memory(RAM)などで実現される主記憶装置である。
【0019】
ストレージデバイス1040は、Hard Disk Drive(HDD)、Solid State Drive(SSD)、メモリカード、又はRead Only Memory(ROM)などで実現される補助記憶装置である。ストレージデバイス1040は、少なくとも、上述した監視支援システム1の機能(監視範囲推定部110、死角領域判定部120および通知部130)を実現するプログラムモジュールを記憶している。
【0020】
プロセッサ1020は、ストレージデバイス1040から読み出したプログラムモジュールをメモリ1030上に展開して実行することにより、そのプログラムモジュールに対応する機能を実現する。例えば、プロセッサ1020は、監視範囲推定部110に対応するプログラムモジュールをメモリ1030上に読み出して実行することにより、本開示において説明される監視範囲推定部110の機能を実現する。同様に、プロセッサ1020は、死角領域判定部120に対応するプログラムモジュールをメモリ1030上に読み出して実行することにより、本開示において説明される死角領域判定部120の機能を実現する。同様に、プロセッサ1020は、通知部130に対応するプログラムモジュールをメモリ1030上に読み出して実行することにより、本開示において説明される通知部130の機能を実現する。このプロセッサ1020の動作は、本開示に含まれる各実施形態において共通している。
【0021】
上述したプログラムモジュールは、ストレージデバイス1040以外の記録媒体に記録されてもよい。プログラムモジュールを記録する記録媒体は、非一時的な有形のコンピュータ1000が使用可能な任意の媒体を含む。プログラムモジュールを記録する記録媒体には、コンピュータ1000(プロセッサ1020)が読み取り可能なプログラムコードが埋め込まれてもよい。
【0022】
入出力インタフェース1050は、コンピュータ1000と各種入出力機器とを接続するためのインタフェースである。
【0023】
ネットワークインタフェース1060は、コンピュータ1000をネットワークに接続するためのインタフェースである。このネットワークは、例えばLocal Area Network(LAN)、Wide Area Network(WAN)などを含む。ネットワークインタフェース1060は、無線または有線接続によって、コンピュータ1000を各種ネットワークに接続させる。
【0024】
また、コンピュータ1000は、入出力インタフェース1050またはネットワークインタフェース1060を介して、図示しない各種機器とも接続できる。ここでいう「各種機器」とは、特に限定されないが、例えば、操作ボタン、キーボード、タッチパネル、マウスやマイクロフォンといった入力装置、および、ディスプレイ、スピーカーやプリンタといった出力装置などである。
【0025】
なお、
図2の例では1つのコンピュータによるハードウェア構成を例示したが、監視支援システム1のハードウェア構成はこれに限定されない。例えば、監視範囲推定部110、死角領域判定部120および通知部130の機能のうちの少なくとも一部がある1つのコンピュータにより実現され、残りの機能が別のコンピュータにより実現されてもよい。
【0026】
<動作例>
以下、本開示に係る監視支援システムの動作の第1例について図を用いて説明する。
図3は、本開示に係る監視支援システムの動作の第1例を示すフローチャートである。
【0027】
まず、監視範囲推定部110は、監視対象領域の全体を撮影できるように配置された1以上のカメラ(図示せず)から、監視対象領域の映像を取得する(ステップS102)。
【0028】
そして、監視範囲推定部110は、ステップS102の処理で取得した監視対象領域の映像を解析することにより、各監視員の監視範囲を推定する(ステップS104)。
【0029】
一例として、監視範囲推定部110は、既知の画像認識アルゴリズムを用いて1以上のカメラの映像を解析することにより、各監視員の画像領域および各監視員の顔(または目)の画像領域を認識する。また、監視範囲推定部110は、各監視員の顔の画像領域の認識結果に基づいて、各監視員の顔(または視線)の向きを識別する。そして、監視範囲推定部110は、例えば
図4に示すように、各監視員について認識された画像領域を基準として、所定の大きさおよび形状の領域を各監視員について識別された顔(または視線)の向きに沿って配置する。なお、監視範囲推定部110は、LiDAR(Light Detection And Ranging)やRadar(Radio Detection and Ranging)を用いて得られる点群情報を解析することにより、各監視員の監視範囲を推定してもよい。
【0030】
図4は、監視範囲推定部110が監視員の監視範囲を設定する動作の一例を説明するための図である。
図4の例では、監視範囲推定部110は、監視員の位置(例えば顔の位置)Pを基準として、水平方向における所定の角度θおよび奥行き方向における所定の距離dにより定義される扇形の範囲を、当該監視員の顔(または視線)の向きに沿って配置している。このようにして、各監視員の監視範囲の推定結果が得られる。なお監視範囲推定部110は、
図4に例示される二次元的な形状の監視範囲に対して垂直方向における所定の角度の情報を追加することにより、3次元形状(例えば、円錐形状または角錐形状)の監視範囲を設定するように構成されていてもよい。また、死角領域判定部120は、
図4に例示されるように設定される監視範囲において遮蔽物(壁、柱、人だかりといった監視員の視野を遮る可能性のある物体)が存在する場合、当該遮蔽物の位置を基に監視範囲を変形させてもよい。
図5は、監視員の視野に遮蔽物が存在している場合において監視範囲推定部110により推定される監視範囲の一例を示す図である。
図5に示されるように、監視範囲推定部110は、遮蔽物の位置を基に監視員の視線が届かない範囲(図中のハッチング部分)を推定し、当該範囲を除いて監視範囲を決定してもよい。
【0031】
そして、死角領域判定部120は、各監視員の監視範囲の推定結果に基づいて、監視対象領域の中の死角領域を判定する(ステップS106)。例えば、死角領域判定部120は、次のようにして死角領域を判定できる。まず、死角領域判定部120は、ステップS104の処理において推定された各監視員の監視範囲を合わせることにより、1以上の監視員により監視されている領域(以下、「監視下領域」とも表記)を特定する。そして、死角領域判定部120は、監視対象領域から当該監視下領域を除いた結果として残る領域を死角領域として判定する(例:
図6)。
【0032】
図6は、死角領域判定部120が死角領域を判定する動作の一例を説明するための図である。
図6の例において、複数のカメラが監視対象領域(図中の破線で囲まれている領域)を撮影している。複数のカメラにより撮影された映像は、監視支援システム1に入力される。また
図6の例において、3人の監視員がそれぞれ監視対象領域内で監視業務を行っている。監視範囲推定部110は、上述したような処理により、図中の点線の扇形で示す範囲を各監視員の監視範囲と推定する。死角領域判定部120は、各監視員の監視範囲を合わせることにより、例えば、図中の点線の円形とハッチングによって示す領域を死角領域として特定できる。なお
図6の例では、2つの死角領域が特定されている。
【0033】
次に、通知部130は、ステップS106の処理で判定された死角領域の中で監視すべき領域(特定領域)が識別されたか否かを判定する(ステップS108)。通知部130は、例えば、死角領域に関する情報と、監視員による監視下で保護されるべき保護対象に関する情報とを用いて、死角領域の中で潜在的なリスクのある領域を特定領域として識別できる。この処理の詳細については後述する。
【0034】
死角領域の中で特定領域が識別された場合(S108:YES)、通知部130は、識別された特定領域に対する監視の要請を監視員に通知する(ステップS110)。例えば、
図6に示す例において判定された2つの死角領域のうち、ステップS108の判定処理の結果、図中右側に位置する死角領域が特定領域として識別されたとする。この場合、
図7に示されるように、通知部130は、特定領域として識別された死角領域に対応する監視員を対象として、当該領域に対する監視を要請する情報を出力する。
【0035】
図7は、通知部130により通知される情報の一例を示す図である。
図7に例示されるように、通知部130は、特定領域として識別された図中右側の死角領域に対応する監視員として、3人の監視員の中から図中中央の監視員および図中右側の監視員を通知の対象として特定する。そして、通知部130は、各監視員に対して、特定領域として識別された死角領域に対する監視を要請する通知を出力する。例えば、
図7に例示されるように、通知部130は、特定領域の位置を知らせるメッセージ情報を、監視員に通知する。
図7に例示されるようなメッセージ情報は、例えば画像情報または音情報として、監視員の所持する携帯端末のディスプレイやスピーカー或いは監視員が身に着けているヘッドマウントディスプレイやイヤホンを介して出力される。
図7の例において、通知部130は、図中中央の監視員に対して、「左前方の領域に注意してください」といったメッセージ情報を通知している。また、
図7の例において、通知部130は、図中右側の監視員に対して、「右前方の領域に注意してください」といったメッセージ情報を通知している。また、一つの変形例として、通知部130は、監視員の所持する携帯端末のディスプレイや監視員が身に着けているヘッドマウントディスプレイ上に、特定領域の位置を識別可能に加工(例えばハイライト表示)した監視対象領域の地図を出力してもよい。このような情報を通知された監視員は、潜在的なリスクがあるが現場の監視員によって監視されていない領域が存在することに容易に気づくことができる。
【0036】
また、通知部130は、監視員から保護対象までの距離と、監視員から特定領域として識別された死角領域までの距離とに基づいて、出力するメッセージを変更するように構成されていてもよい。例えば、ある監視員から保護対象までの第1の距離よりも、当該監視員から特定領域として識別された死角領域までの第2の距離の方が長いとする。この場合、通知部130は、当該監視員に対して、死角領域に向かうことを促すのではなく、保護対象を保護する動作を行う促す通知を出力する。一方、ある監視員から保護対象までの第1の距離よりも、当該監視員から特定領域として識別された死角領域までの第2の距離の方が短いとする。この場合、通知部130は、当該監視員に対して、保護対象を保護する動作を行うのではなく、死角領域に向かうことを促す通知を出力する。このように、監視員と保護対象と距離および監視員と特定領域と距離に応じて通知を変えることにより、保護対象に被害が及ぶ可能性を低減させる効果が見込める。また、複数の監視員に対して通知が行われる場合、通知部130は、各監視員と保護対象と距離および各監視員と特定領域と距離に応じて、各監視員に行う通知を変えるように構成されていてもよい。例えば、通知部130は、他の監視員と比較した場合に特定領域として識別された死角領域により近い位置に存在する監視員に対しては、当該死角領域に注意する或いは当該死角領域に向かうよう促す通知を行う。一方、通知部130は、他の監視員と比較した場合に保護対象により近い位置に存在する監視員に対しては、保護対象に目を向けるあるいは保護対象を保護する動作を行うよう促す通知を出力する。このように監視員の位置に応じて通知を変更することにより、保護対象をより強固に保護できる。
【0037】
また、通知部130は、図示しない監視センタの端末上に、通知を行うべき端末を所持する監視員に関する情報を表示させてもよい。この場合、監視センタに常駐する人物がディスプレイ上に表示された情報を確認した後、監視センタの端末を操作して対象となる監視員(当該監視員の所持する端末)に通知を行う。また、通知部130は、特定領域として識別された死角領域(注意を向けるべき死角領域)と、当該死角領域に関連する監視員と、保護対象と、の関係を示す任意の情報を監視センタの端末に更に表示させるように構成されていてもよい。例えば「任意の情報」は、特に限定されないが、以下に挙げる情報の少なくとも一つである。なお、以下における「距離」とは、領域の基準地点(例えば中心地点)からの距離でもよいし、領域の端部の位置と監視員の位置とを結ぶ最短距離であってもよい。
・死角領域と監視員との距離
・監視員と保護対象との距離
・死角領域と保護対象との距離
【0038】
一方、死角領域の中で特定領域が識別されなかった場合(S108:NO)、ステップS102の処理で取得された映像を用いた処理が終了する。この場合、1以上のカメラから新たに取得される映像を用いて、上述の処理が繰り返し実行される。
【0039】
本開示における監視支援システムの第1の例では、1以上の監視員によって監視できていない死角領域の中で潜在的なリスクを有する領域があるか否かが判定される。そして、死角領域の中でそのような領域が見つかった場合、当該領域は監視すべき領域(特定領域)として識別される。その後、特定領域に対する監視の要請が監視員に対して通知される。この本開示における監視支援システムの第1の例によれば、死角領域の中で潜在的なリスクを有する特定領域に関する情報が監視員に通知されることになる。すなわち、監視員(監視業務を現場で行う人物)に、監視業務においてノイズとなる情報が通知されることが抑制される。
【0040】
<変形例>
一つの変形例として、監視範囲推定部110は、各監視員が所持している又は身に着けている監視用カメラから得られる情報を用いて、各監視員の監視範囲を推定してもよい。監視範囲推定部110は、例えば、各監視員のカメラの位置情報(例:GPS(Global Positioning System)情報など)と、各監視員のカメラの向き(撮影方向)を示す情報を取得する。そして、監視範囲推定部110は、各監視員が所持している又は身に着けている監視用カメラに関する情報に基づいて求められる範囲を、監視員の監視範囲として扱うこともできる。
【0041】
監視対象領域の全体を撮影できるように配置された1以上のカメラ、各監視員が所持している又は身に着けている監視用カメラ、および、LiDAR(Light Detection And Ranging)やRadar(Radio Detection and Ranging)といった装置は“情報収集装置”とカテゴライズできる。本開示における情報収集装置とは、監視対象領域の中で監視業務を行う1以上の監視員に関する情報を取得する装置とも呼べる。本開示に係る監視支援システム1は、そのような情報収集装置と、当該情報収集装置とネットワークを介して接続される情報処理装置(情報処理装置10)と、を含んで構成されるシステムとも解釈され得る。
【0042】
この場合、監視支援システム1の構成は例えば
図10に示すように表される。
図10は、本開示に係る監視支援システムの機能構成の他の例を示す図である。
図10に例示される監視支援システム1は、情報処理装置10と情報収集装置50とを含んで構成される。本図の情報処理装置10は、
図1に例示される構成と同様の構成を有している。情報収集装置50は、監視員情報取得部510と、送信部520とを備える。監視員情報取得部510は、監視対象領域の中で監視業務を行う1以上の監視員の情報を取得する処理部(上述の1以上のカメラ、監視用カメラ、LiDAR、Radarといったデバイスを利用して情報を取得する処理部)である。送信部520は、当該1以上の監視員の情報を情報処理装置10へ送信する処理部である。情報処理装置10は、情報収集装置50から受信した、1以上の監視員の情報を用いて、上述したような処理を実行する。なお、情報処理装置10と情報収集装置50は、例えば、LANやWANなどの任意のネットワークを介して互いに接続されている。
【0043】
また、情報処理装置10の監視範囲推定部110の機能は、情報収集装置50側に設けられていてもよい。すなわち、情報収集装置50が、上述の1以上のカメラ、監視用カメラ、LiDAR、Radarといったデバイスを利用して情報を取得した後、それらの情報を解析することで各監視員の監視範囲を推定するように構成されていてもよい。この場合、例えば、情報収集装置50は、メタデータなどに各監視員の範囲の推定結果を示す情報を含めて、情報処理装置10に送信する。そして、情報処理装置10は、監視範囲を推定する処理以外の残りの処理を実行する。
【0044】
以下、本開示における監視支援システム1の詳細例(通知部130による特定領域の識別処理の詳細例)について説明する。
【0045】
<特定領域の識別処理の詳細例>
通知部130により実行されるステップS108の処理(死角領域の中から特定領域を識別する処理)について、具体例をいくつか挙げて説明する。
【0046】
第1の例として、通知部130は、死角領域と保護対象の位置との関係に基づいて特定領域を識別できる。例えば、死角領域の中で比較した場合に保護対象の位置に近い部分領域は、不測の事態(例えば、不審者や不審物が接近する等)が発生した場合の潜在的なリスクが高い領域と言える。よって、通知部130は、保護対象の位置から所定の距離以内に位置する部分領域を優先的に監視すべき特定領域として識別する。なお、「特定領域を識別する」処理とは、例えば、「監視対象領域に存在する死角領域の中から特定領域に対応する領域の位置座標を決定または特定する」、「死角領域に対して特定領域であることを示す情報を付与(特定領域を示すクラスに分類)する」といった処理が含まれる。このような構成により、潜在的なリスクの高い領域を示す情報(監視業務のノイズとなりにくい情報)を監視員に伝えることができる。
【0047】
他の例として、保護対象が人物である場合、通知部130は、保護対象である当該人物に関する情報を更に用いて特定領域を識別してもよい。例えば、第2の例として、通知部130は次のように特定領域を識別できる。まず、通知部130は、監視対象領域の映像の中から保護対象である人物の領域を認識する。そして、通知部130は、保護対象の人物の領域を解析することにより、保護対象の人物の視線の方向を推定する。そして、通知部130は、死角領域に対する保護対象の人物の視線の方向に基づいて、潜在的なリスクのある領域を死角領域の中から識別する。例えば、保護対象の視線(視野)と重なっていない領域において不測の事態が発生した場合に、保護対象となる人物自身が当該不測の事態を視認できず回避行動が遅れる可能性がある。このような領域は潜在的なリスクがある領域と言える。よって、通知部130は、視界領域の中で保護対象の視線(視野)と重なっていない領域を特定領域として識別する。このような構成により、潜在的なリスクの高い領域を示す情報(監視業務のノイズとなりにくい情報)を監視員に伝えることができる。
【0048】
また、保護対象が人物である場合、第3の例として、通知部130は次のように特定領域を識別してもよい。まず、通知部130は、監視対象領域の映像の中から保護対象である人物の領域を認識する。そして、通知部130は、保護対象の人物の領域を解析することにより、保護対象の人物の視線の方向を推定する。そして、通知部130は、保護対象の人物の視線の方向とは逆方向に位置する領域に存在する物体および他の人物の少なくとも一方を特定する。そして、通知部130は、特定した物体および他の人物の少なくとも一方に関する情報に基づいて、保護対象の人物の視線の方向とは逆方向に位置する領域が特定領域に該当するか否かを判定する。例えば、保護対象の人物の視線の方向とは逆方向に位置する領域、移動を妨げる物体(建物、壁、バリケードやロープなど)が設けられていたとする。この場合、他の人物や何らかの物体が保護対象の人物に接近するには、保護対象の人物が視認できない背後からではなく、保護対象の視認可能な前方から接近せざるを得ない。すなわち、そのような領域は潜在的なリスクが低いと言える。一方、保護対象の人物の視線の方向とは逆方向に位置する領域が特に何もないスペースである場合、他の人物や何らかの物体が保護対象の人物に容易に接近でき得る。すなわち、そのような領域は潜在的なリスクが高く、特定領域に該当すると言える。そして、通知部130は、特定領域に該当すると判定した領域に対する監視の要請を監視員に通知する。このような構成により、潜在的なリスクの高い領域を示す情報(監視業務のノイズとなりにくい情報)を監視員に伝えることができる。
【0049】
第4の例として、通知部130は、死角領域と保護対象の位置との間の移動経路となり得る領域に存在する障害物の有無に基づいて、死角領域の中から特定領域を識別できる。まず、通知部130は、死角領域から保護対象の人物の位置までの移動経路を設定できるか否かを判断する。例えば、通知部130は、
図6に示すように2つの死角領域が特定されている場合、2つの死角領域のそれぞれから保護対象の位置までの移動経路を算出する。このとき、ある死角領域と保護対象の位置との間に障害物(移動経路となり得る領域に設置されたバリケードやロープ、移動経路となり得る領域に存在する人だかり等)があり、その死角領域から保護対象の位置までの移動経路を設定できない状況にあったとする。この場合、通知部130は、ある死角領域を起点とした場合の移動経路となり得る領域上に存在する障害物を検知した場合、その死角領域を特定領域として識別しない。一方、ある死角領域と保護対象の位置との間に特に障害物がなく、保護対象の位置までの移動経路が設定可能な状況にあったとする。この場合、通知部130は、当該死角領域を、潜在的なリスクがあって監視すべき特定領域として識別する。このような構成により、潜在的なリスクの高い領域を示す情報(監視業務のノイズとなりにくい情報)を監視員に伝えることができる。
【0050】
第5の例として、通知部130は、人物や物体を含む映像を入力として1以上の移動経路を識別するとともに目的地への到達可能性を移動経路別に出力するように学習された機械学習モデルを用いて、特定領域を識別するように構成されていてもよい。当該機械学習モデルは、例えば、過去の人物の動き(移動軌跡)から各人物の将来の位置を予測し、予測された各人物の将来の位置に基づいて目的地(保護対象の位置)までの移動経路を識別するように、複数の学習データを用いて訓練される。また、機械学習モデルは、識別される移動経路の幅や移動距離(目的地までの移動時間)といった、各移動経路の付加的な情報に基づいて、ある人物が仮にその移動経路に沿って移動した場合に目的地に到達する可能性を算出するように訓練される。このように訓練された機械学習モデルは、例えば、メモリ1030やストレージデバイス1040といった、通知部130がアクセス可能な記憶領域に記憶される。通知部130は、機械学習モデルの出力結果(各死角領域から保護対象の位置までの到達可能性)を基に各死角領域の潜在的なリスクを評価し、特定領域を識別する。例えば、通知部130は、保護対象の位置までの到達可能性が所定値(例えば50%)以上である死角領域を特定領域と識別できる。このような構成により、潜在的なリスクの高い領域を示す情報(監視業務のノイズとなりにくい情報)を監視員に伝えることができる。
【0051】
・第2実施形態
<機能構成例>
図8は、本開示における監視支援システムの機能構成の第2の例を示す図である。本図に例示される監視支援システムにおいて、通知部130は、属性情報生成部132を更に有している。
【0052】
属性情報生成部132は、死角領域に存在する1以上の人物および1以上の物体の少なくとも一方の属性を示す属性情報を生成する。属性情報生成部132は、例えば既知の画像処理技術を利用して、映像内の人物や物体の属性を示す情報を生成するように構成される。本図の例における通知部130は、取得された属性情報を更に用いて特定領域を識別するように構成される。
【0053】
<動作例>
図9は、本開示に係る監視支援システムの動作の第2例を示すフローチャートである。本図のフローチャートに示される処理は、例えば、
図3のフローチャートのステップS108の処理の一環として実行される。
【0054】
まず、属性情報生成部132は、監視対象領域を撮影する映像を解析し、死角領域と判定された領域に位置する1以上の人物または1以上の物体を特定する(ステップS202)。そして、属性情報生成部132は、特定した1以上の人物または1以上の物体それぞれに対応する画像領域を解析する。これにより、属性情報生成部132は、死角領域に存在する1以上の人物および1以上の物体の少なくとも一方に関する属性を示す属性情報を生成する(ステップS204)。
【0055】
ここで属性情報生成部132は、人物の属性を示す属性情報として、例えば以下のような情報を生成できる。
・人物の所持品(荷物やカバン)の有無
・人物の年齢
・人物の性別
・同行者の有無
【0056】
また、属性情報生成部132は、例えば、物体の属性を示す情報として、例えば以下のような情報を生成できる。
・物体の色
・物体の形状
【0057】
通知部130は、属性情報生成部132により生成された、死角領域に存在する1以上の人物および1以上の物体の少なくとも一方に関する属性情報を更に用いて、死角領域の中で監視すべき特定領域を識別する(ステップS206)。
【0058】
一例として、ある死角領域内に存在する人物について、荷物やカバン等を所持していることを示す属性情報が生成されたとする。この場合、荷物やカバン等を所持している人物が保護対象に損害を与えうる物体を隠し持っている可能性も考えられる。よって、通知部130は、ある死角領域に存在する人物について荷物やカバン等を所持していることを示す属性情報が取得された場合、その死角領域を特定領域として識別する。また、複数の死角領域が特定されている場合、通知部130は、属性情報に基づいて各死角領域の優先度を決定するように構成されていてもよい。例えば、通知部130は、ある人物について荷物やカバン等を所持していることを示す属性情報が取得された死角領域の優先度を、その他の死角領域よりも高く設定してもよい。この結果、該当する死角領域(潜在的リスクの高い死角領域)に対する監視の要請が現場の監視員に通知され易くなる。
【0059】
他の一例として、ある死角領域内に存在する人物について、高齢と判断される年齢(例えば65歳以上)を示す属性情報が生成されたとする。この場合、高齢の人物は、一般的に身体能力的に優位な若い年齢の人物よりも、保護対象に損害を与えるリスクが低いと考えられる。よって、通知部130は、ある死角領域に存在する人物について高齢者であることを示す属性情報が生成された場合、その死角領域を特定領域として識別しない。また、複数の死角領域が特定されている場合、通知部130は、属性情報に基づいて各死角領域の優先度を決定するように構成されていてもよい。例えば、通知部130は、該当する死角領域のリスクの度合いを下げてもよい。この結果、該当する死角領域(潜在的リスクの低い死角領域)に対する監視の要請が現場の監視員に通知され難くなる。
【0060】
他の一例として、ある死角領域内に存在する複数の人物が同行者であることを示す属性情報が生成されたとする。この場合、通知部130は、個々の同行者の属性情報を参照し、同行者の属性の差(例えば、年齢の差および/または身長の差)を特定する。ここで、同行者の属性の差、具体的には年齢の差および/または身長の差が一定以上である場合、複数の人物は子ども連れの家族であると推定できる。一つの例として、保護対象が要人や著名人であったとする。この場合、子供を連れている家族については当該保護対象に損害を与えるリスクが低いと考えられる。よって、通知部130は、ある死角領域に存在する複数の人物の属性の差から所定の基準を満たす(例えば、子ども連れの家族と特定された)場合、該当する死角領域を特定領域として識別しなくてもよい。また、複数の死角領域が特定されている場合、通知部130は、属性情報に基づいて各死角領域の優先度を決定するように構成されていてもよい。例えば、通知部130は、該当する死角領域のリスクの度合いを下げてもよい。この結果、該当する死角領域(潜在的リスクの低い死角領域)に対する監視の要請が現場の監視員に通知され難くなる。他の一例として、保護対象が美術展示品や高額商品であったとする。この場合、子供を連れている家族(特に子ども)については当該保護対象に損害を与えるリスクが高いと考えられる。よって、通知部130は、ある死角領域に存在する複数の人物の属性の差から所定の基準を満たす(例えば、子ども連れの家族と特定された)場合、該当する死角領域を特定領域として識別してもよい。また、複数の死角領域が特定されている場合、通知部130は、属性情報に基づいて各死角領域の優先度を決定するように構成されていてもよい。例えば、通知部130は、該当する死角領域のリスクの度合いを上げてもよい。この結果、該当する死角領域(潜在的リスクの高い死角領域)に対する監視の要請が現場の監視員に通知されやすくなる。
【0061】
他の一例として、死角領域に存在する物体について、凶器と思しき色または形状を示す属性情報が取得されたとする。この場合、当該死角領域の潜在的なリスクは極めて高いと言える。よって、通知部130は、ある死角領域に存在している物体について、凶器と思しき色または形状を示す属性情報が取得された場合、該当する死角領域を特定領域として直ちに識別する。また、複数の死角領域が特定されている場合、通知部130は該当する死角領域のリスクの度合いを最高レベルまで引き上げてもよい。この結果、該当する死角領域(潜在的リスクの極めて高い死角領域)に対する監視の要請が現場の監視員に通知されやすくなる。
【0062】
以上、本開示における監視支援システムの第2の例は、第1の例と同様の機能構成を少なくとも有する。よって、本開示における監視支援システムの第2の例によっても、先に説明したような効果が得られる。更に、本開示における監視支援システムの第2の例では、各死角領域に存在する1以上の人物および1以上の物体の少なくとも一方の属性を示す属性情報が、死角領域の中で監視すべき特定領域を識別するための追加情報として利用される。各死角領域に存在する1以上の人物および1以上の物体の少なくとも一方の属性を示す情報を更に用いて、死角領域の中で監視すべき領域(特定領域)が識別される。これにより、潜在的なリスクのある死角領域に関する情報をより高い精度で監視員に伝えることができる。
【0063】
なお、
図10に例示される監視支援システム1において、情報収集装置50が上述の属性情報生成部132の機能を備えていてもよい。その場合、例えば、情報収集装置50は、メタデータなどに各人物について取得された属性情報を含めて、情報処理装置10に送信する。そして、情報処理装置10は、各人物の属性情報を用いた上述の処理を実行する。
【0064】
以上、複数の実施形態を参照して本開示を説明したが、本開示は上述の複数の実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
【0065】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
【0066】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
1以上のコンピュータを、
監視対象領域の中で監視業務を行う1以上の監視員によってカバーされる監視範囲を推定する監視範囲推定手段、
前記監視範囲の推定結果に基づいて、前記監視対象領域の中の死角領域を判定する死角領域判定手段、
前記死角領域の中で監視すべき特定領域を前記死角領域に関する情報と前記監視対象領域内に位置する保護対象に関する情報とに基づいて識別し、当該特定領域に対する監視を要請する指示を前記監視員に通知する通知手段、
として動作させるためのプログラム。
2.
前記通知手段は、
前記死角領域と前記保護対象の位置との関係に基づいて前記特定領域を識別する、
1.に記載のプログラム。
3.
前記通知手段は、
前記保護対象が人物である場合、前記保護対象の映像を解析して前記保護対象の視線の方向を推定し、
前記死角領域に対する前記保護対象の前記視線の方向に基づいて、前記特定領域を識別する、
1.に記載のプログラム。
4.
前記通知手段は、
前記保護対象が人物である場合、前記保護対象の映像を解析して前記保護対象の視線の方向を推定し、
前記死角領域のうち前記保護対象の前記視線の方向とは逆方向に位置する領域に存在する物体および他の人物の少なくとも一方に関する情報に基づいて、当該領域が前記特定領域に該当するか否かを判定する、
1.に記載のプログラム。
5.
前記通知手段は、
前記死角領域と前記保護対象の位置との間の移動経路となり得る領域に存在する障害物の位置に基づいて、前記死角領域の中から前記特定領域を識別する、
1.に記載のプログラム。
6.
前記通知手段は、前記移動経路となり得る領域に設置された物体および前記移動経路となり得る領域に存在する人だかりを前記障害物として検知する、
5.に記載のプログラム。
7.
前記通知手段は、
人物や物体を含む映像を入力として1以上の移動経路を識別するとともに目的地への到達可能性を移動経路別に出力するように学習された機械学習モデルを用いて、前記特定領域を識別する、
1.に記載のプログラム。
8.
前記通知手段は、
前記死角領域内に存在する1以上の人物および1以上の物体の少なくとも一方の属性を示す属性情報を用いて、前記特定領域を識別する、
1.から7.のいずれか一つに記載のプログラム。
9.
前記通知手段は、
複数の属性情報が取得された場合、各属性情報によって示される属性の差に基づいて前記特定領域を識別する、
8.に記載のプログラム。
10.
監視対象領域の中で監視業務を行う1以上の監視員の情報を取得する情報収集装置と、前記情報収集装置とネットワークを介して接続される情報処理装置と、を備える監視支援システムにおいて、
前記情報収集装置は、
監視対象領域の中で監視業務を行う1以上の監視員の情報を取得する手段と、
前記1以上の監視員の情報を前記情報処理装置へ送信する手段と、を備え、
前記情報処理装置は、
前記1以上の監視員の情報に基づいて、1以上の監視員によってカバーされる監視範囲を推定する監視範囲推定手段と、
前記監視範囲の推定結果に基づいて、前記監視対象領域の中の死角領域を判定する死角領域判定手段と、
前記死角領域の中で監視すべき特定領域を前記死角領域に関する情報と前記監視対象領域内に位置する保護対象に関する情報とに基づいて識別し、当該特定領域に対する監視を要請する指示を前記監視員に通知する通知手段と、を備える、
監視支援システム。
11.
1以上のコンピュータが、
監視対象領域の中で監視業務を行う1以上の監視員によってカバーされる監視範囲を推定し、
前記監視範囲の推定結果に基づいて、前記監視対象領域の中の死角領域を判定し、
前記死角領域の中で監視すべき特定領域を前記死角領域に関する情報と前記監視対象領域内に位置する保護対象に関する情報とに基づいて識別し、当該特定領域に対する監視を要請する指示を前記監視員に通知する、
ことを含む監視支援方法。
【0067】
また、上述した付記1(プログラム)に従属する付記2~付記9に記載した構成の一部または全ては、付記10(監視支援システム)および付記11(監視支援方法)に対しても付記2~付記9と同様の従属関係により従属し得る。さらには、付記1、付記10、付記11に限らず、上述した各実施の形態から逸脱しない範囲において、様々なハードウェア、ソフトウエア、ソフトウエアを記録するための種々の記録手段、またはシステムに対しても同様に、付記として記載した構成の一部または全てを従属させ得る。
【符号の説明】
【0068】
1 監視支援システム
110 監視範囲推定部
120 死角領域判定部
130 通知部
132 属性情報生成部
1000 コンピュータ
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース