特開 2024-108066 遠隔監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024108066

(43)【公開日】2024-08-09

(54)【発明の名称】遠隔監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240802BHJP

   G08B 25/00 20060101ALI20240802BHJP

   G08B 25/04 20060101ALI20240802BHJP

【ＦＩ】

H04N7/18 D

G08B25/00 510M

G08B25/04 E

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023012348

(22)【出願日】2023-01-30

(71)【出願人】

【識別番号】000202361

【氏名又は名称】綜合警備保障株式会社

(74)【代理人】

【識別番号】100179969

【弁理士】

【氏名又は名称】駒井 慎二

(72)【発明者】

【氏名】関谷 俊一

(72)【発明者】

【氏名】池田 康臣

【テーマコード（参考）】

5C054

5C087

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CG02

5C054CH08

5C054EA01

5C054EA03

5C054EA05

5C054FC12

5C054FC13

5C054FC15

5C054FE02

5C054FE12

5C054FE22

5C054FE28

5C054FF06

5C054GB01

5C054HA19

5C087AA02

5C087AA03

5C087AA32

5C087BB74

5C087DD05

5C087EE07

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG08

5C087GG10

5C087GG66

5C087GG84

(57)【要約】

【課題】監視エリアに人物が侵入した場合に対処する。
【解決手段】遠隔監視装置は、 威嚇装置が配置された監視エリアを撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により前記送信された前記画像データを受信する受信部と、前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、前記表示されている前記監視エリアに人物が表示されている場合、前記人物に対応して作動するように前記威嚇装置を制御する制御部と、を備える。
【選択図】図１３

【特許請求の範囲】

【請求項1】

威嚇装置が配置された監視エリアを撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により前記送信された前記画像データを受信する受信部と、
前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、
前記表示されている前記監視エリアに人物が表示されている場合、前記人物に対応して作動するように前記威嚇装置を制御する制御部と、
を備える遠隔監視装置。

【請求項2】

威嚇装置が配置された監視エリアを撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により前記送信された前記画像データを受信する受信部と、
前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、
前記威嚇装置の威嚇効果が増加するように指示するための指示部と、
前記表示されている前記監視エリアに人物が表示されている場合、前記人物に対応して作動すると共に、前記指示部により前記威嚇効果が増加するように指示された場合、前記威嚇効果が増加するように、前記威嚇装置を制御する制御部と、
を備える遠隔監視装置。

【請求項3】

前記監視エリアには、前記威嚇装置が複数設けられ、
前記制御部は、前記表示されている前記監視エリアに人物が表示されている場合、前記複数の威嚇装置の中で、前記人物の位置に関連する前記威嚇装置を作動させる、
請求項１または請求項２に記載の遠隔監視装置。

【請求項4】

前記人物の位置に関連する前記威嚇装置は、前記人物の位置に対応する位置に設けられた前記威嚇装置および前記人物が移動する先の位置に設けられた前記威嚇装置の少なくとも一方である、請求項３に記載の遠隔監視装置。

【請求項5】

前記威嚇装置は、前記監視エリアの中を移動可能であり、
前記制御部は、前記表示されている前記監視エリアに人物が表示されている場合、前記人物の位置に関連する位置に移動し且つ作動するように、前記威嚇装置を制御する、
請求項１または請求項２に記載の遠隔監視装置。

【請求項6】

前記人物の位置に関連する位置は、前記人物の位置および前記人物が移動する先の位置の少なくとも一方である、請求項５に記載の遠隔監視装置。

【請求項7】

威嚇装置が配置された監視エリアを撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により前記送信された前記画像データを受信する受信部と、
前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、
前記威嚇装置の作動を指示するための指示部と、
前記指示部により前記作動が指示された場合、作動するように前記威嚇装置を制御する制御部と、
を備える遠隔監視装置。

【請求項8】

前記指示部は、前記威嚇装置の威嚇効果が増加するように指示し、
前記制御部は、前記指示部により前記威嚇効果が増加するように指示された場合、前記威嚇効果が増加するように、前記威嚇装置を制御する、
請求項７に記載の遠隔監視装置。

【請求項9】

前記監視エリアには、前記威嚇装置が複数設けられ、
前記制御部は、前記複数の威嚇装置の中で、前記作動が指示された前記威嚇装置が作動するように制御する、
請求項７または請求項８に記載の遠隔監視装置。

【請求項10】

前記威嚇装置は、前記監視エリアの中を移動可能であり、
前記制御部は、前記表示されている前記監視エリアに人物が表示されている場合、前記人物の位置に関連する位置に移動するように、前記威嚇装置を制御する、
請求項７に記載の遠隔監視装置。

【請求項11】

前記人物の位置に関連する位置は、前記人物の位置および前記人物が移動する先の位置の少なくとも一方である、請求項１０に記載の遠隔監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔監視装置に関する。

【背景技術】

【0002】

従来、視点位置（カメラ位置）を基準に監視エリアの３次元モデルから生成した２次元投影画像の所定領域に、当該カメラで撮像した撮像画像を合成する技術が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開第２０１３－２１４９４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記従来技術では、監視エリアに人物（不審者）が侵入した場合に対処することができない。

【0005】

本開示の技術は、監視エリアに人物が侵入した場合に対処することができる遠隔監視装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため本開示の技術の第１の態様の遠隔監視装置は、威嚇装置が配置された監視エリアを撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により前記送信された前記画像データを受信する受信部と、前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、前記表示されている前記監視エリアに人物が表示されている場合、前記人物に対応して作動するように前記威嚇装置を制御する制御部と、を備える。

【0007】

本開示の技術の第２の態様の遠隔監視装置は、威嚇装置が配置された監視エリアを撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により前記送信された前記画像データを受信する受信部と、前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、前記威嚇装置の威嚇効果が増加するように指示するための指示部と、
前記表示されている前記監視エリアに人物が表示されている場合、前記人物に対応して作動すると共に、前記指示部により前記威嚇効果が増加するように指示された場合、前記威嚇効果が増加するように、前記威嚇装置を制御する制御部と、を備える。

【0008】

本開示の技術の第３の態様の遠隔監視装置は、威嚇装置が配置された監視エリアを撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により前記送信された前記画像データを受信する受信部と、前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、前記威嚇装置の作動を指示するための指示部と、前記指示部により前記作動が指示された場合、作動するように前記威嚇装置を制御する制御部と、を備える。

【発明の効果】

【0009】

本開示の技術は、監視エリアに人物が侵入した場合に対処することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施の形態における遠隔監視システムのブロック図である。

【図2】第１の実施の形態における現実世界の監視エリア１０の一例の斜視図である。

【図3】ＶＲ監視卓に設けられた遠隔監視装置５０の一例の斜視図である。

【図4】ＶＲ監視卓に設けられた遠隔監視装置５０の一例の上面図である。

【図5】遠隔監視装置５０の電気系のハードウェア構成の一例を示すブロック図である。

【図6】現実世界の監視エリア１０を、仮想空間１００にデジタルツイン方式でリアルタイムに構築する構築処理の流れの一例を示すフローチャートである。

【図7A】（ａ）は、分割３次元モデルの各範囲１０ＤＭ１～１０ＤＭ４の一例を示し、（ｂ）は、監視エリア１０における監視セクション１０ｓ１～１０ｓ４の一例を示す図である。

【図7B】構築された監視エリア１０の仮想空間１００、監視員の視点および視線方向の履歴を示した一例を示す概念図である。

【図8】仮想空間１００の第１の視点から第１の視線方向に仮想空間１００を見たように、構築された仮想空間１００から生成された画像の一例を示す概念図である。

【図9】仮想空間１００の第２の視点から第２の視線方向に仮想空間１００を見たように、構築された仮想空間１００から生成された画像の一例を示す概念図である。

【図10】仮想空間１００の第２の視点から第３の視線方向に仮想空間１００を見たように、構築された仮想空間１００から生成された画像の一例を示す概念図である。

【図11】人物検知および威嚇処理の流れの一例を示すフローチャートである。

【図12】仮想空間１００における監視エリア１０に設定された監視セクションと各監視セクションに備えられた威嚇装置の一例を示す図である。

【図13】人物が侵入した監視セクションの威嚇装置を作動させている一例を示す図である。

【図14】第１の監視セクション１０４ｓ１にいた人物が第２の監視セクション１０４ｓ２に移動することを予測した場合に、第２の監視セクション１の威嚇装置を作動させている一例を示す図である。

【図15】第２の実施の形態における威嚇処理の流れの一例を示すフローチャートである。

【図16】第１の変形例における、威嚇装置を備えるドロ－ンが設けられた監視エリアを示す図である。

【図17】ドロ－ンに備えられた監視装置を作動させる様子を示す図である。

【図18A】第２の変形例の順次切り替え表示方式の場合の監視エリア１０の概念斜視図である。

【図18B】第２の変形例の順次切り替え表示方式の場合の、監視エリア１０の仮想空間１００における視点、視線方向を順次切り替える様子を示す図である。

【図19】第３の変形例のヘッドマウントディスプレイを用いた場合の遠隔監視装置の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本開示の技術の実施の形態を説明する。

【0012】

［第１の実施の形態］
第１の実施の形態を説明する。
（構成）
図１は、第１の実施の形態における遠隔監視システムのブロック図である。遠隔監視システムでは、監視センター３００に、複数の監視員の各々が操作する複数の遠隔監視装置５０が備えられている。ある監視員により操作される遠隔監視装置５０では、例えば、地下１階および地上複数階からなる建物２００Ａの各階の監視エリアが監視される。他の監視員により操作される他の遠隔監視装置５０では、他の建物２００Ｂ、２００Ｃ、２００Ｄの各監視エリアが監視される。遠隔監視装置５０は、監視員の操作によって、監視する対象の建物を状況に応じて選択したり切り替えたりすることができるようになっている。以下、遠隔監視装置５０により、建物２００Ａの地下１階の監視エリア１０が監視される場合を例にとり説明する。

【0013】

図２は、第１の実施の形態における現実世界の監視エリア１０の一例の斜視図である。図２に示すように、監視エリア１０は、例えば、百貨店の食品フロアであり、複数のショーケース１４Ｎ１～１４Ｎ５が配置されている。また、監視エリア１０の天井には、複数の撮像部１２Ａ～１２Ｄが異なる位置に設置されている。複数の撮像部１２Ａ～１２Ｄの各々は、監視エリア１０の被撮像領域を撮像すると共に当該撮像により取得した画像データを、監視エリア１０から遠隔に位置する遠隔監視装置５０（図３～図５も参照）に、例えば、インターネット等を介して送信する。複数の撮像部１２Ａ～１２Ｄの各々の撮像方向は、天井から床に向かう方向である。複数の撮像部１２Ａ～１２Ｄの各々は、当該撮像方向を中心に所定の画角（例えば、１８０°）の被撮像領域を撮像可能である。なお、画角は、固定でもよく、また、変更可能であってもよい。画像データは、動画像の画像データである。即ち、複数の撮像部１２Ａ～１２Ｄの各々は、所定のフレームレートで、監視エリア１０を撮像し且つ当該撮像により取得した画像データを遠隔監視装置５０に送信する。なお、複数の撮像部１２Ａ～１２Ｄの各々は、例えば、３Ｄ－ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）カメラである。この場合、複数の撮像部１２Ａ～１２Ｄは、撮像により画像データを取得すると同時に、点群データ（撮像部からの測距データ）を取得する。本実施の形態では、撮像部１２Ａ～１２Ｄとして３Ｄ－ＬｉＤＡＲカメラを使用する場合について説明する。

【0014】

監視エリア１０の天井には、複数の威嚇装置２５ｓ１～２５ｓ４が異なる位置に設置されている。なお、詳細には後述するが、監視エリア１０には監視セクション１０４ｓ１～１０４ｓ４が予め設定されている（図１２も参照）。威嚇装置２５ｓ１～２５ｓ４はそれぞれ、監視セクション１０４ｓ１～１０４ｓ４に対応して設置されている。威嚇装置は、例えば、スピーカーである。作動するとスピーカーからは、威嚇効果として、警告音が発せられる。

【0015】

図３は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）監視卓に設けられた遠隔監視装置５０の一例の斜視図であり、図４は、ＶＲ監視卓に設けられた遠隔監視装置５０の一例の上面図である。図３および図４に示すように遠隔監視装置５０は、ＶＲ監視卓に設けられている。ＶＲ監視卓は、テーブル７０、椅子７２、および表示装置６２を備えている。表示装置６２は、左側スクリーン６２Ｌ、中央スクリーン６２Ｃ、および右側スクリーン６２Ｒを備えている。テーブル７０には、押しボタン６４Ａおよびジョイスティック６４Ｂが設けられている。ジョイスティック６４Ｂは、スティック状の操作部が前後および左右に倒されるように操作可能に構成されている。ジョイスティック６４Ｂは、操作部が倒された方向に応じた指示（例えば、視点の移動、または視線方向の変更、指示内容一覧からの指示内容の選択、等）を、遠隔監視装置５０に入力する。押しボタン６４Ａは、操作部が押下操作されたことに応じた指示（例えば、ジョイスティック６４Ｂの操作対象を、視点の移動、または視線方向の変更のいずれかに切り替える指示、指示内容一覧から選択した指示の確定、等）を遠隔監視装置５０に入力する。

【0016】

監視員は、椅子７２に座り、押しボタン６４Ａおよびジョイスティック６４Ｂを操作する。表示装置６２は、詳細には後述するが複数の撮像部１２Ａ～１２Ｄの各々から取得した画像データに基づいて構築された監視エリア１０の仮想空間１００（図７Ｂも参照）を表示する。監視員は、表示装置６２に表示された監視エリア１０の仮想空間１００を見て、監視エリア１０をリアルタイムに遠隔監視することができる。監視員は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作することにより、視点および視線方向を遠隔監視装置５０に入力する。そうすると、監視エリア１０の仮想空間１００を入力された視点から入力された視線方向に見たような画像が仮想空間１００から生成され、表示装置６２に表示される。

【0017】

図５は、遠隔監視装置５０の電気系のハードウェア構成の一例を示すブロック図である。図５に示すように、遠隔監視装置５０は、コンピュータ５２と、表示装置６２と、押しボタン６４Ａおよびジョイスティック６４Ｂと、通信Ｉ／Ｆ６６とを含む。

【0018】

コンピュータ５２は、プロセッサ５４、ＮＶＭ（Ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）５６、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０を備えている。プロセッサ５４、ＮＶＭ５６、およびＲＡＭ６０は、バス６８に接続されている。

【0019】

プロセッサ５４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む処理装置であり、ＤＳＰおよびＧＰＵは、ＣＰＵの制御下で動作し、後述する処理の実行を担う。ここでは、プロセッサ５４の一例として、ＤＳＰ、ＣＰＵ、およびＧＰＵを含む処理装置を挙げているが、これはあくまでも一例に過ぎず、プロセッサ５４は、ＧＰＵ機能を統合した１つ以上のＣＰＵおよびＤＳＰであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵおよびＤＳＰであってもよいし、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が搭載されていてもよい。

【0020】

ＮＶＭ５６は、各種プログラムおよび各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ５６としては、例えば、フラッシュメモリ（例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ））が挙げられる。ＲＡＭ６０は、一時的に情報が記憶されるメモリであり、プロセッサ５４によってワークメモリとして用いられる。ＲＡＭ６０としては、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が挙げられる。

【0021】

本実施形態では、ＮＶＭ５６には、遠隔監視プログラム５８、具体的には、構築処理プログラム（図６参照）および人物検知および威嚇処理プログラム（図１１参照）が格納されている。プロセッサ５４は、遠隔監視プログラム５８をＲＡＭ６０に展開して実行する。プロセッサ５４が遠隔監視プログラム５８を実行すると、プロセッサ５４は、構築部５４Ａ、取込部５４Ｂ、判断部５４Ｃ、作動部５４Ｄ、および特定部５４Ｅとして機能する。

【0022】

表示装置６２と、押しボタン６４Ａおよびジョイスティック６４Ｂとは、バス６８に接続されている。

【0023】

通信Ｉ／Ｆ６６は、通信プロセッサおよびアンテナ等を含むインタフェースであり、バス６８に接続されている。通信Ｉ／Ｆ６６に対して適用される通信規格は、例えば、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、Ｗｉ－Ｆｉ（登録商標）、またはＢｌｕｅｔｏｏｔｈ（登録商標）等を含む無線通信規格である。遠隔監視装置５０は、通信Ｉ／Ｆ６６により、詳細には後述する複数の撮像部１２Ａ～１２Ｄの各々により送信された画像データおよび点群データを受信する。

【0024】

通信Ｉ／Ｆ６６は、本開示の技術の「受信部」の一例である。表示装置６２は、本開示の技術の「表示部」の一例である。プロセッサ５４は、本開示の技術の「制御部」の一例である。

【0025】

（作用）
次に、本実施の形態の作用を説明する。

【0026】

図６は、現実世界の監視エリア１０を、仮想空間１００にデジタルツイン方式でリアルタイムに構築する構築処理の流れの一例を示すフローチャートである。プロセッサ５４は、遠隔監視プログラム５８の構築処理プログラムを実行することにより、本構築処理を実行する。

【0027】

ステップ８０で、構築部５４Ａは、監視エリア１０を仮想空間１００に再現する。具体的には、構築部５４Ａは、各撮像部１２Ａ～１２Ｄが監視エリア１０を予め撮像してＮＶＭ５６に記憶しておいた所定の時点の画像データ（静止画像）および点群データ（撮像部からの測距データ）、ならびに各撮像部１２Ａ～１２Ｄの設置位置、撮像方向、画角の情報を読み出す。ここで、所定の時点とは、監視員に対して監視エリア１０の基準の状態として認識させるための画像データが取得可能な時点であり、例えば監視エリア１０が無人の状態である時点である。構築部５４Ａは、まず監視エリア１０の３次元モデル（ワイヤフレーム）を構築する。次に構築部５４Ａは、構築した３次元モデル（ワイヤフレーム）の対応する位置に、ＮＶＭ５６から読み出した画像データ（静止画像）、点群データ、それらを撮像した撮像部の設置位置、撮像方向、画角の情報に基づいて、テクスチャを合成する。具体的には、構築部５４Ａは、複数の撮像部１２Ａ～１２Ｄの各々を中心とする範囲に４分割された監視エリア１０のそれぞれの範囲１０ＤＭ１～１０ＤＭ４（図７Ａ（ａ）も参照）を、複数の撮像部１２Ａ～１２Ｄの各々に対応する分割３次元モデル（ワイヤフレーム）として構築する。なお、図７Ａ（ｂ）には、後述する監視セクション１０ｓ１～１０ｓ４も示している。構築部５４Ａは、その分割３次元モデル（ワイヤフレーム）の対応する位置に、ＮＶＭ５６から読み出した画像データ（静止画像）、点群データ、それらを撮像した撮像部の設置位置、撮像方向、画角の情報に基づいて、テクスチャを合成する。最後に、構築部５４Ａは、その合成した分割３次元モデルを組み合わせて、監視エリア１０の全体の３次元モデル（仮想空間１００）を構築する。以上により、監視エリア１０が仮想空間１００に再現される。なお、この段階では、仮想空間１００にはまだ各撮像部１２Ａ～１２Ｄが撮像したリアルタイムの画像データ（動画像）および点群データに基づくテクスチャは合成されていない。

【0028】

ステップ８２で、構築部５４Ａは、各撮像部１２Ａ～１２Ｄで撮像して得られたリアルタイムの画像データおよび点群データ（各撮像部からの測距データ）を取得する。

【0029】

ステップ８４で、構築部５４Ａは、各撮像部１２Ａ～１２Ｄから取得した画像データおよび点群データ、ならびにＮＶＭ５６から読み出した各撮像部１２Ａ～１２Ｄの設置位置、撮像方向、画角に基づいて、テクスチャを、仮想空間１００に合成する。

【0030】

ステップ８６で、構築部５４Ａは、監視員により押しボタン６４Ａおよびジョイスティック６４Ｂが操作されて指定された視点および視線方向を特定する。

【0031】

ステップ８８で、構築部５４Ａは、仮想空間１００内の、特定された視点および視線方向で見たような画像（平面画像）を、仮想空間１００から生成する。

【0032】

ステップ９０で、構築部５４Ａは、仮想空間１００から生成した、特定された視点および視線方向で仮想空間１００を見たような画像（平面画像）を、表示装置６２に表示する。

【0033】

ステップ９２で、構築部５４Ａは、押しボタン６４Ａおよびジョイスティック６４Ｂにより終了指示がされたか否かを判断する。

【0034】

終了指示がされたと判断されなかった場合（ステップ９２：Ｎ）には、本構築処理は、ステップ８２に戻って、以上の処理（ステップ８２～９２）を再度実行する。処理（ステップ８２～９２）が繰り返し実行されることにより、各撮像部１２Ａ～１２Ｄからリアルタイムの画像データ（動画像）および点群データが取得され、それらに基づいて監視エリア１０の仮想空間１００にテクスチャが合成され、特定された視点および視線方向で見たような画像（平面画像）が、合成した仮想空間１００から生成され、表示装置６２に表示される。つまり、監視エリア１０の仮想空間１００がリアルタイムに動画像で表示される。

【0035】

終了指示がされたと判断された場合（ステップ９２：Ｙ）には、本構築処理は終了する。

【0036】

なお、構築部５４Ａがステップ８８で生成しステップ９０で表示装置６２に表示する、特定された視点および視線方向で仮想空間１００を見たような画像（平面画像）の画角は、監視員が押しボタン６４Ａおよびジョイスティック６４Ｂを操作すること等により変更可能であってもよい。

【0037】

以上により、図７Ｂに示すように、図２に示す現実世界の監視エリア１０に対応する仮想空間１００が構築される。上記のように、監視エリア１０に複数のショーケース１４Ｎ１～１４Ｎ５（図２参照）が配置されているので、仮想空間１００にも複数のショーケース１４Ｎ１～１４Ｎ５が再現される。なお、現実世界の監視エリア１０に存在する物体と、監視エリア１０の仮想空間１００に再現された物体で、対応するものには同じ符号を付すものとする。（例えば監視エリア１０のショーケース１４Ｎ１と仮想エリア１００に再現されたショーケース１４Ｎ１）

【0038】

上記のように構築部５４Ａは、各撮像部１２Ａ～１２Ｄで撮像して得られた画像データに基づいて、テクスチャを仮想空間１００に合成するので、監視員は、監視エリア１０の仮想空間１００を見ながら、現実世界の監視エリア１０をリアルタイムに監視することができる。なお、上記の「リアルタイム」は、複数の撮像部１２Ａ～１２Ｄが監視エリア１０を撮像した時刻と略同じ時刻に、という意味で用いている。即ち、「リアルタイム」は、複数の撮像部１２Ａ～１２Ｄが監視エリア１０を撮像した時刻と、仮想空間１００において当該事象が表示された時刻との間に時間的なずれがないことを意味しない。上記の「リアルタイム」は、各撮像部１２Ａ～１２Ｄが撮像してから、監視エリア１０の仮想空間１００が構築され、構築された仮想空間１００が表示されるまでの通信、処理に最低限必要な所要時間分のずれがあることも含めて用いている。

【0039】

上記のように監視エリア１０の仮想空間１００で監視員が現実世界の監視エリア１０を監視する。具体的には、監視員は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作して、視点および視線方向の各々を指定する。これにより、視点および視線方向が遠隔監視装置５０に入力され、特定される（ステップ８６）。

【0040】

例えば、監視員は、図７Ｂに示した監視エリア１０の仮想空間１００において第１の視点ｐ１および第１の視線方向ｄ１を指定する。第１の視点ｐ１および第１の視線方向ｄ１が遠隔監視装置５０に入力され、ステップ８６で、第１の視点ｐ１および第１の視線方向ｄ１が特定される。ステップ８８では、構築部５４Ａは、第１の視点ｐ１から第１の視線方向ｄ１に監視エリア１０の仮想空間１００を見たような画像（平面画像（図８参照））を、仮想空間１００から生成し、ステップ９０で、表示する。第１の視点ｐ１は、ショーケース１４Ｎ１とショーケース１４Ｎ２との間の監視エリア１０の手前の壁の位置であり、第１の視線方向はショーケース１４Ｎ５に向かう方向である。よって、第１の視点ｐ１から表示される画像には、ショーケース１４Ｎ１とショーケース１４Ｎ２とが手前に位置し、奥側に、ショーケース１４Ｎ５と、ショーケース１４Ｎ５の右隣りにショーケース１４Ｎ３、１４Ｎ４とが位置する。

【0041】

次に、監視員は、例えば、監視エリア１０の第１の視点ｐ１から、ショーケース１４Ｎ１とショーケース１４Ｎ２との間の通路に沿って、更に奥に進むように視点を変化させる。例えば、ショーケース１４Ｎ５の手前の第２の視点ｐ２まで進める。視点が変化される毎に、その変化した視点から視線方向に見たような画像が生成され、表示される。例えば、監視員は、第１の視点ｐ１から奥に進んだ第２の視点ｐ２および第１の視線方向ｄ１と同じ第２の視線方向ｄ２を指定する。これにより、図９に示すように、第２の視点ｐ２から第２の視線方向ｄ２に監視エリア１０の仮想空間１００を見たような画像が生成され、表示される。第２の視点ｐ２はショーケース１４Ｎ５の手前であり、第２の視線方向ｄ２はショーケース１４Ｎ５に向かう方向である。よって、表示される画像には、ショーケース１４Ｎ５が正面に位置し、ショーケース１４Ｎ５の右隣りにショーケース１４Ｎ３、１４Ｎ４が位置する。

【0042】

次に、監視員は、例えば、第２の視点ｐ２から右側、即ち、ショーケース１４Ｎ２とショーケース１４Ｎ３の間の通路に沿って、監視エリア１０を監視するため、まず、第２の視点ｐ２において、第２の視線方向ｄ２と直交する、第３の視線方向ｄ３を指定する。これにより、図１０に示すように、第２の視点ｐ２から第２の視線方向ｄ３に監視エリア１０の仮想空間１００を見たような画像が生成され、表示される。第２の視点ｐ２はショーケース１４Ｎ５の手前であり、第３の視線方向ｄ３はショーケース１４Ｎ２とショーケース１４Ｎ３の間の通路に沿った方向である。よって、表示される画像には、ショーケース１４Ｎ２とショーケース１４Ｎ３の間の通路が正面に位置し、ショーケース１４Ｎ３の左隣りにショーケース１４Ｎ４が位置する。
なお、図７Ａ～図１０には、容易に理解するために、威嚇装置２５ｓ１～２５ｓ４（図１２等参照）は省略している。

【0043】

このように監視員は、視点および視線方向を変化させなら当該視点から当該視線方向に監視エリア１０の仮想空間１００を見たような画像を見ながら、監視エリア１０を監視する。

【0044】

図１１は、人物検知および威嚇処理の流れの一例を示すフローチャートである。なお、本対処処理は、所定時間毎に、構築処理（図６）に割り込んで実行される。プロセッサ５４は、遠隔監視プログラム５８の人物検知および威嚇処理を実行することにより、本対処処理を実行する。

【0045】

図１１のステップ１１２で、取込部５４Ｂは、図７Ａ（ｂ）に示すように監視エリア１０の仮想空間１００に予め設定された監視セクションを識別する変数ｓ（ｓ＝１では監視セクション１０４ｓ１が、ｓ＝２では監視セクション１０４ｓ２が、ｓ＝３では監視セクション１０４ｓ３が、ｓ＝４では監視セクション１０４ｓ４がそれぞれ識別される）を０に初期化し、ステップ１１４で、取込部５４Ｂは、変数ｓを１インクリメントする。

【0046】

図７Ａ（ｂ）における左手前側の領域（上から見て略正方形の領域）には、第１の監視セクション１０４ｓ１が設定されている。右手前側の領域（上から見て長方形の領域）には、第２の監視セクション１０４ｓ２が設定されている。第２の監視セクション１０４ｓ２の奥側の領域（上から見て長方形の領域）には、第３の監視セクション１０４ｓ３が設定されている。第１の監視セクション１０４ｓ１および第３の監視セクション１０４ｓ３の奥側の上から見て矩形の小領域には、第４の監視セクション１０４ｓ４が設定されている。第１の監視セクション１０４ｓ１は、ショーケース１４Ｎ１を含む領域を監視するためのセクションである。第２の監視セクション１０４ｓ２は、ショーケース１４Ｎ２を含む領域を監視するためのセクションである。第３の監視セクション１０４ｓ３は、ショーケース１４Ｎ３、１４Ｎ４を含む領域を監視するためのセクションである。第４の監視セクション１０４ｓ４は、ショーケース１４Ｎ５を含む領域を監視するためのセクションである。変数ｓ＝１～４により、第１の監視セクション１０４ｓ１～第４の監視セクション１０４ｓ４が識別される。

【0047】

ステップ１１６で、取込部５４Ｂは、撮像部１２Ａ～１２Ｄが撮像した画像データのうち、監視セクションｓの画像データｓを含むものを取得する。例えば、変数ｓ＝１では、第１の監視セクション１０４ｓ１が識別される。監視エリア１０の第１の監視セクション１０４ｓ１の画像データｓ（変数ｓ＝１）は、撮像部１２Ａが撮像した画像データに含まれる。よって、変数ｓ＝１では、取込部５４Ｂは撮像部１２Ａが撮像した画像データを取得する。

【0048】

変数ｓ＝２では、第２の監視セクション１０４ｓ２が識別される。監視エリア１０の第２の監視セクション１０４ｓ２の画像データｓ（変数ｓ＝２）は、撮像部１２Ａ、１２Ｂが撮像した画像データに含まれる。よって、変数ｓ＝２では、取込部５４Ｂは撮像部１２Ａ、１２Ｂが撮像した画像データを取得する。

【0049】

変数ｓ＝３では、第３の監視セクション１０４ｓ３が識別される。監視エリア１０の第３の監視セクション１０４ｓ３の画像データｓ（変数ｓ＝３）は、撮像部１２Ｃが撮像した画像データに含まれる。よって、変数ｓ＝３では、取込部５４Ｂは撮像部１２Ｃが撮像した画像データを取得する。

【0050】

変数ｓ＝４では、第４の監視セクション１０４ｓ４が識別される。監視エリア１０の第４の監視セクション１０４ｓ４の画像データｓ（変数ｓ＝４）は、撮像部１２Ｄが撮像した画像データに含まれる。よって、変数ｓ＝４では、取込部５４Ｂは撮像部１２Ｄが撮像した画像データを取得する。

【0051】

ステップ１１８で、判断部５４Ｃは、ステップ１１６で取得された画像データに基づいて、変数ｓで識別される監視セクションｓの画像に人物が検出されたか否かを判断する。具体的には、判断部５４Ｃは、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）により監視セクションｓの画像に人物が検出されたか否かを判断する。より具体的には、監視セクションの画像データを入力とし且つその入力された画像データに人物の画像が含まれているか否かの結論を出力とする教師データを用いて学習された学習済みモデルと、変数ｓで識別される監視セクションｓの画像とに基づいて、監視セクションｓの画像に人物の画像が含まれているか判断する。なお、ステップ１１８における判断部５４Ｃの処理は、ＡＩにより監視セクションｓの画像に人物が検出されたか否かを判断することに限定されない。例えば、所定時間間隔で監視セクションｓの画像データｓを取得し、取得した画像データｓの、直前に取得した画像データｓとの差分から人物を検出したり、予め用意した人物の画像データと監視セクションｓの画像データｓとのマッチングにより人物を検出したりしてもよい。

【0052】

人物が検出されなかった場合には、本対処処理はステップ１２６に進み、人物が検出された場合には、本対処処理は、ステップ１２０に進む。人物が検出された場合では、図６のステップ９０で、表示装置６２に表示されている画像（監視エリア１０の仮想空間１００を、監視員により指定された視点および視線方向で見たような平面画像）には、当該人物が表示されている。つまり、人物が検出された場合では、表示装置６２に表示されている監視エリア１０の仮想空間１００に人物が表示されている。

【0053】

ステップ１２０で、作動部５４Ｄは、検出された人物の位置に関連する威嚇装置、具体的には、監視セクションｓの威嚇装置ｓを作動させる。例えば、図１３に示すように、第１の監視セクション１０４ｓ１の画像に人物が検出された場合、作動部５４Ｄは、第１の監視セクション１０４ｓ１の威嚇装置２５ｓ１を作動させる。なお、図１３には、容易に理解するために、図７Ｂ等に示す複数のショーケース１４Ｎ１～１４Ｎ５および第１の監視セクション１０４ｓ１以外の監視セクションの威嚇装置は省略している。

【0054】

ステップ１２２で、判断部５４は、検出された人物が移動しているか否かを判断する。具体的には、判断部５４Ｃは、人物が移動しているか否かをＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）により判断する。より具体的には、監視セクションの画像を入力とし且つ人物が移動しているか否かの結論を出力とする教師データを用いて学習された学習済みモデルと、変数ｓで識別される監視セクションｓの画像とに基づいて、人物が移動しているか否かを判断する。なお、ＡＩにより判断することに限定されない。例えば、画像の差分により、具体的には、所定時間間隔で監視セクションｓの画像データｓを２回取り込み、取り込んだ画像の差分から人物が移動しているか否かを判断したり、予め用意した移動している人物の画像と監視セクションｓの画像との画像マッチングにより人物が移動しているか否かを判断したりしてもよい。

【0055】

検出された人物が移動していると判断された場合、人物検知および威嚇処理は、ステップ１２４に進む。検出された人物が移動していると判断されなかった場合、人物検知および威嚇処理は、ステップ１２４、１２６をスキップして、ステップ１２８に進む。

【0056】

ステップ１２４で、特定部５４Ｅは、ＡＩ、画像差分、または画像マッチングにより、移動する先の監視セクションを特定し、ステップ１２６で、作動部５４Ｄは、移動している人物の位置に関連する威嚇装置、例えば、移動先の監視セクションの威嚇装置を作動させる。例えば、図１４に示すように、移動先の監視セクションが第２の監視セクション１０４ｓ２の場合、作動部５４Ｄは、第２の監視セクション１０４ｓ２の威嚇装置２５ｓ２を作動させる。なお、図１４には、容易に理解するために、図７Ｂ等に示す複数のショーケース１４Ｎ１～１４Ｎ５および第１の監視セクション１０４ｓ１および第２の監視セクション１０４ｓ２以外の監視セクションの威嚇装置は省略している。

【0057】

ステップ１２８で、判断部５４Ｃは、変数ｓが、監視セクションの総数Ｓか否かを判断する。変数ｓが監視セクションの総数Ｓでない場合には、人物の検出を未だ判断していない監視セクションがあるので、本対処処理はステップ１１４に戻って以上の処理（ステップ１１４～ステップ１２８）を実行する。変数ｓが監視セクションの総数Ｓである場合には、全ての監視セクションで人物の検出を判断しているので、本対処処理は終了する。

【0058】

なお、予測した移動先の監視セクションの威嚇装置を作動させた場合において、人物が当該移動先に監視セクションに移動した場合、元の監視セクションの威嚇装置の作動を停止する。

【0059】

（効果）
本実施の形態では、検出された人物の位置に関連する威嚇装置、具体的には、人物が検出された監視セクションの威嚇装置を作動させる。よって、本実施の形態では、侵入した人物を威嚇することができる。

【0060】

また、本実施の形態では、検出された人物が移動している場合、移動している人物の位置に関連する威嚇装置、具体的には、移動先の監視セクションの威嚇装置を作動させる。よって、本実施の形態では、侵入した人物を、移動先に先回りして威嚇することができ、威嚇効果を高めることができる。

【0061】

更に、従来は、侵入者を威嚇するためには、監視エリアに多数設置されたカメラや威嚇装置等の設置方向や設置角度、位置関係等を監視員が全て把握しなければならず、遠隔地から侵入者を適切に対処することは難しかった。しかし、本実施の形態によれば、監視員は仮想空間上でカメラや威嚇装置の設置方向や設置角度、位置関係等を把握することなく、遠隔地から侵入者に適切に対処することができる。

【0062】

［第２の実施の形態］
（構成）
第２の実施の形態における現実世界の監視エリア１０および遠隔監視装置５０の構成は、第１の実施の形態の監視エリア１０および遠隔監視装置５０と同様であるので、それらの説明を省略する。なお、第２の実施の形態におけるＮＶＭ５６には、遠隔監視プログラム５８として、上記構築処理プログラム（図６参照）と、後述する威嚇処理プログラム（図１５参照）が記憶されている。

【0063】

（作用）
第２の実施の形態の遠隔監視装置５０の作用は、第１の実施の形態の遠隔監視装置５０の作用と略同様であるので、異なる作用部分について説明する。

【0064】

図１５は、第２の実施の形態における威嚇処理を示すフローチャートである。プロセッサ５４は、威嚇処理プログラムを実行することにより、威嚇処理を実行する。

【0065】

第１の実施の形態では、図１１に示す人物検知および威嚇処理において、プロセッサ５４は、自動的に人物を検知し且つ自動的に威嚇装置を作動させる。

【0066】

これに対し第２の実施の形態では、人物検知および威嚇装置の作動の指示を、監視員が行う点で相違する。以下、具体的に、第２の実施の形態の威嚇処理を説明する。なお、本威嚇処理は、所定時間毎に、構築処理（図６）に割り込んで実行される。

【0067】

ステップ１４２で、判断部５４Ｃは、監視セクションが指定されたか否かを判断する。監視セクションが指定されたと判断された場合には、本威嚇処理は、ステップ１４４に進む。監視セクションが指定されたと判断されなかった場合には、本威嚇処理は終了する。

【0068】

上記のように監視員は、仮想空間１００に再現された監視エリア１０を見ながら、現実世界の監視エリア１０をリアルタイムに監視することができる。現実世界の監視エリア１０に人物が侵入すると、侵入した人物は、図１３に示すように、監視エリア１０の仮想空間１００に表示される。監視エリア１０の仮想空間１００に表示された人物１０６ｈ１を見た、監視員は、現実世界の監視エリア１０に人物１０６ｈ１が侵入したこと、および、人物１０６ｈ１が侵入した監視エリア１０の第１のセクション１０４ｓ１を認識することができる。なお、監視員は、監視エリア１０に各監視セクションを覚えているが、監視エリア１０に各監視セクションを示す情報を表示してもよい。この表示により監視員は、人物が侵入した監視セクションを確認することができる。そこで、監視員は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作して、人物が侵入した監視エリア１０の監視セクションを指定する。図１３に示す例では、監視員は、人物１０６ｈ１が侵入した監視エリア１０の第１のセクション１０４ｓ１を指定する。監視員が押しボタン６４Ａおよびジョイスティック６４Ｂを操作して監視セクションを指定すると、監視セクションの情報が遠隔監視装置５０に入力され、ステップ１４２が肯定判定となる。

【0069】

ステップ１４４で、作動部５４Ｄは、指定された監視セクションの威嚇装置を作動させる。上記例（図１３参照）では、作動部５４Ｄは、第１のセクション１０４ｓ１の威嚇装置２５ｓ１を作動させる。

【0070】

上記のように監視員は、仮想空間１００に再現された監視エリア１０を見ながら、現実世界の監視エリア１０をリアルタイムに監視しているので、威嚇装置を作動させた場合の人物の挙動を監視することができる。よって、監視員は、威嚇装置の威嚇効果が人物に効果的に発揮され、人物が出口から退避しようとしている様子、または、威嚇装置の威嚇効果では、人物を、出口から退避させることができていない様子を確認することができる。

【0071】

ステップ１４６で、判断部５４Ｃは、威嚇効果を増加させる指示を受け付けたか否かを判断する。威嚇効果を増加させる指示を受け付けたと判断された場合には、本威嚇処理は、ステップ１４８に進む。威嚇効果を増加させる指示を受け付けたと判断されなかった場合には、本威嚇処理は、ステップ１４８をスキップしてステップ１５０に進む。

【0072】

上記のように監視員は、威嚇装置を作動させた場合の人物の挙動を監視することができる。監視者は、威嚇装置の現在のレベルの威嚇効果では、人物を、出口から退避させることができていないことを確認した場合には、押しボタン６４Ａおよびジョイスティック６４Ｂを操作して、威嚇効果を増加させる指示を遠隔監視装置５０に入力する。これにより、ステップ１４６が肯定判定となる。

【0073】

ステップ１４８で、作動部５４Ｄは、威嚇効果を増加させる。上記例（図１３参照）では、作動部５４Ｄは、第１のセクション１０４ｓ１の威嚇装置２５ｓ１の威嚇効果を増加させる。具体的には、威嚇装置２５ｓ１がスピーカーの場合、警告音を一定量大きくする。なお、威嚇効果を増加させることは、警告音を一定量大きくすることに限定されず、警告音を徐々に大きくしたり、警告音を断続的に発生させたり、断続的に発生させる警告音を徐々に大きくしたり、してもよい。

【0074】

ステップ１５０で、判断部５４Ｃは、終了か否かを判断する。終了と判断されなかった場合には、本威嚇処理は、ステップ１４６に戻って、以上の処理（ステップ１４６～１５０）が実行される。

【0075】

威嚇効果を増加させる指示が遠隔監視装置５０に入力され、威嚇効果が増加しても、未だ、人物を、出口から退避させることができていないことを確認した監視員は、押しボタン６４Ａおよびジョイスティック６４Ｂで、威嚇効果の増加を指示する。これにより、ステップ１４６が肯定判定となる。

【0076】

威嚇効果を増加させる指示が遠隔監視装置５０に入力され、威嚇効果が増加し、人物を、出口から退避させることができたことを確認した監視員は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作し、終了の指示を入力する。これにより、ステップ１５０が肯定判定となって。本威嚇処理は終了する。

【0077】

（効果）
本実施の形態では、監視員は、監視エリア１０を介して現実世界の監視エリア１０に人物が侵入したことを確認すると、人物が侵入した監視セクションを指定し、遠隔監視装置５０は、指定された監視セクションの威嚇装置を作動させることにより、侵入した人物に対して、追跡されているという心理的な効果を与える。よって、本実施の形態では、侵入した人物を威嚇することができる。

【0078】

また、本実施の形態では、監視員は、現在の威嚇効果では、人物を、出口から退避させることができていないことを確認すると、威嚇効果の増加を指示し、遠隔監視装置５０は、威嚇装置による威嚇効果を増加させる。よって、本実施の形態は、威嚇効果を更に高めることができる。

【0079】

［変形例］
次に、変形例を説明する。
（第１の変形例）
図１６は、第１の変形例における、威嚇装置を備えるドロ－ンが設けられた監視エリアを示す図である。図１６に示すように、第１の変形例の監視エリア１０には、威嚇装置１５０ｓ１を備えるドロ－ンが設けられている。威嚇装置１５０ｓ１は、例えば、スピーカーである。作動するとスピーカーからは、威嚇効果として、警告音が発せられる。

【0080】

図１７は、ドロ－ン１５０に備えられた監視装置を作動させる様子を示す図である。なお、図１７には、容易に理解するために、図７Ｂ等に示す複数のショーケース１４Ｎ１～１４Ｎ５と、第１の監視セクション１０４ｓ１および第２の監視セクション１０４ｓ２以外の監視セクションの威嚇装置と、は省略している。図１１のステップ１１８で人物１０６ｈ１が検出された場合、ステップ１２０で、威嚇装置２５ｓ１を作動させると共に、検出された人物に対応する位置にドロ－ン１５０を飛行させ、ドロ－ン１５０に備えられた監視装置１５０ｓ１を作動させる。

【0081】

また、図１１のステップ１２２で、人物が移動していると判断した場合には、ステップ１２４で、移動する先の監視セクションを特定し、ステップ１２６で、移動する先の監視セクションの威嚇装置２４ｓ２を作動させると共に、移動する先の監視セクションにドロ－ンを飛行させ、ドロ－ン１５０に備えられた監視装置１５０ｓ１を作動させる。

【0082】

なお、第１の変形例では、威嚇装置は、ドロ－ンに備えられた威嚇装置のみを利用し、第１の実施の形態における監視エリア１０の天井に設置された複数の威嚇装置２５ｓ１～２５ｓ４を省略するようにしてもよい。

【0083】

なお、監視エリア１０を移動可能な威嚇装置として、ドロ－ンに備えられた威嚇装置１５０ｓ１を例にとり説明したが、本開示の技術はこれに限定されず、複数の車輪を備えて監視エリア１０の床の上を移動可能なロボットに威嚇装置を備えるようにしてもよい。

【0084】

（第２の変形例）
図１８Ａは、第２の変形例として、監視エリア１０における各撮像部の設置位置に対応する、仮想空間１００における視点を、順次切り替えて表示装置６２に表示する順次切り替え表示方式の場合の、監視エリア１０の概念斜視図である。図１８Ｂは、その順次切り替え表示方式の場合の、監視エリア１０の仮想空間１００における視点、視線方向を順次切り替える様子を示す図である。なお、図１８Ａ、図１８Ｂには、容易に理解するために、図７Ｂ等に示す複数のショーケース１４Ｎ１～１４Ｎ５は省略している。

【0085】

第２の変形例では、監視エリア１０の天井には、第１の実施の形態と同様の複数の撮像部１２Ａ～１２Ｄが異なる位置に設置されている。具体的には、複数の撮像部１２Ａ～１２Ｄの各々の撮像方向は、天井から床に向かう方向である。撮像部１２Ａの撮像方向は、撮像部１２Ａから、撮像部１２Ａの真下の床の位置２２Ａに向かう方向である。その他の撮像部１２Ｂ～１２Ｄの撮像方向も同様である。複数の撮像部１２Ａ～１２Ｄの各々は、当該撮像方向を中心に１８０°の画角の領域を撮像可能である。これと対応して、監視エリア１０の仮想空間１００においては、図１８Ｂに示すように、複数の撮像部１２Ａ～１２Ｄの設置位置に対応する位置が、視点として順次切り替えて指定される。各視点における視線方向は、初期状態として現在の視点から次に切り替わる視点に向けた方向が指定される。視線方向は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作して、任意に変更することができる。

【0086】

監視員は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作して、表示装置６２に表示する仮想空間１００の視点を順次指定する。例えば、図１８Ｂに示す例では、視点ｐ１００→視点ｐ２００→視点ｐ３００→視点ｐ４００順に視点が指定されている。

【0087】

視点ｐ１００が指定されると、遠隔監視装置５０は、撮像部１２Ａ～撮像部１２Ａの真下の床の位置２２Ａに向かう撮像方向を中心に１８０°の画角の領域を撮像部１２Ａが撮像して得られた画像データ（動画像）および点群データ、ならびに撮像部１２Ａの設置位置、撮像方向および画角に基づいて、仮想空間１００にテクスチャを合成し、その合成した仮想空間１００を、視点ｐ１００、視線方向ｄ１００（即ち、視点ｐ１００から視点ｐ２００に向かう方向）で見たような画像（平面画像）を生成し、表示装置６２に表示する。なお、当該画像（平面画像）には、ショーケース１４Ｎ２が表示される。このとき、表示する画像（平面画像）中に他の視点が含まれる場合は、その視点の位置に、押しボタン６４Ａおよびジョイスティック６４Ｂで選択可能なマークを表示する。このマークを選択することによって、対応する視点を指定する。

【0088】

次に、視点ｐ２００が指定されると、遠隔監視装置５０は、撮像部１２Ｂ～撮像部１２Ｂの真下の床の位置２２Ｂに向かう撮像方向を中心に１８０°の画角の領域を撮像部１２Ｂが撮像して得られた画像データ（動画像）および点群データ、ならびに撮像部１２Ａの設置位置、撮像方向および画角に基づいて、仮想空間１００にテクスチャを合成し、その合成した仮想空間１００を、視点ｐ２００、視線方向ｄ２００（即ち、視点ｐ２００から視点ｐ３００に向かう方向）で見たような画像（平面画像）を生成し、表示装置６２に表示する。なお、当該画像（平面画像）には、ショーケース１４Ｎ３、１４Ｎ４が表示される。

【0089】

更に、視点ｐ３００が指定されると、遠隔監視装置５０は、撮像部１２Ｃ～撮像部１２Ｃの真下の床の位置２２Ｃに向かう撮像方向を中心に１８０°の画角の領域を撮像部１２Ｃが撮像して得られた画像データ（動画像）および点群データ、ならびに撮像部１２Ｃの設置位置、撮像方向および画角に基づいて、仮想空間１００にテクスチャを合成し、その合成した仮想空間１００を、視点ｐ３００、視線方向ｄ３００（即ち、視点ｐ３００から視点ｐ４００に向かう方向）で見たような画像（平面画像）を生成し、表示装置６２に表示する。なお、当該画像（平面画像）には、手前に、ショーケース１４Ｎ３、１４Ｎ４が、これらの奥側にショーケース１４Ｎ５表示される。

【0090】

（第３の変形例）
図１９は、第３の変形例のヘッドマウントディスプレイを用いた場合の遠隔監視装置を示す図である。第３の変形例では、上記各実施の形態のＶＲ監視卓に代えて、ヘッドマウントディスプレイ６２ＨＤが用いられる。ヘッドマウントディスプレイ６２ＨＤは、表示スクリーン、および監視員の頭部の動きを検知する加速度センサが設けられており、加速度センサが検知した加速度情報に基づいて、指定する視点および視線方向を遠隔監視装置５０に有線または無線で送信する。遠隔監視装置５０は、指定された視点および視線方向に基づいて仮想空間１００を当該視点および視線方向でみたような画像（平面画像）を生成し、ヘッドマウントディスプレイ６２ＨＤへ送信する。ヘッドマウントディスプレイ６２Ｄは遠隔監視装置５０から受信した当該画像（平面画像）を表示スクリーンに表示する。また、押しボタン６４Ａおよびジョイスティック６４Ｂに代えて、押しボタン６４Ａおよびジョイスティック６４Ｂの機能と同様の機能の第１の操作装置６５Ａおよび第２の操作装置６５Ｂを備えている。第１の操作装置６５Ａおよび第２の操作装置６５Ｂは、操作された内容を示す情報を、遠隔監視装置５０に有線または無線で送信する。このようにして、監視員は、ヘッドマウントディスプレイ６２ＨＤの表示スクリーンに表示された監視エリア１０の仮想空間１００を見て、監視エリア１０を遠隔監視することができる。

【0091】

（第４の変形例）
上記各例では、威嚇装置は、例えば、スピーカーであり、スピーカーから警告音を発生させている。本開示の技術はこれに限定されない。威嚇装置は、例えば、パトランプ（警告灯）、または、プロジェクションマッピング等でもよい。この場合、威嚇効果としては、パトランプ（警告灯）の点灯による回転発光演出、または、プロジェクションマッピングによる当該人物の表示等である。また、上記説明したドロ－ンおよびロボットの場合には、警告音を発生させることに限定されず、撮像部および投影部を更に備え、人物を撮像、撮影した人物を、監視エリア１０の壁等に投影してもよい。

【0092】

（第５の変形例）
第１の実施の形態では、自動的に人物を検知し且つ自動的に威嚇装置を作動させ、第２の実施の形態では、人物検知および威嚇装置の作動の指示を、監視員が行う。本開示の技術はこれに限定されない。

【0093】

例えば、第１の実施の形態のように自動的に人物を検知し且つ自動的に威嚇装置を作動させ、更に、威嚇装置を作動させても、画像データに基づいて人物が移動しないことが判断された場合に、威嚇装置の威嚇効果を自動的に増加させたり、人物が移動しないことを認識した監視員が威嚇装置の作動の指示を行ったりしてもよい。

【0094】

また、人物の検知は自動で行い（図１１のステップ１１８）、威嚇装置の作動の指示および威嚇効果の増加を、監視員が行う（図１５のステップ１４４～１４８）ようにしてもよい。

【0095】

更に、人物検知および威嚇装置の作動の指示を、監視員が行い、威嚇装置の威嚇効果を自動的に増加させてもよい。

【0096】

以上のように、本開示の技術では、人物の検知、威嚇装置の作動、および威嚇装置の威嚇効果の各々を、自動または手動で行うようにしてもよい。

【0097】

（第６の変形例）
本開示の技術では更に、仮想空間上において、監視員が威嚇装置の位置を適切に把握できるようにするため、威嚇装置または威嚇装置が設置された位置を目立たせて表示するようにしてもよい。

【0098】

（第７の変形例）
本開示の技術では更に、火事、地震等の被災時において、仮想空間上で被災者の位置を特定しながら、当該威嚇装置から避難誘導メッセージを流すことで、適切に被災者を避難誘導するようにしてもよい。

【0099】

（その他の変形例）
上記実施の形態では、遠隔監視装置５０に含まれるコンピュータ５２のプロセッサ５４によって上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）を行う装置は、遠隔監視装置５０以外の更に設けた少なくとも１台のサーバおよび／または少なくとも１台のパーソナル・コンピュータ等でもよい。更に、上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）は、遠隔監視装置５０および更に設けた少なくとも１台のサーバおよび／または少なくとも１台のパーソナル・コンピュータ等で分散して行われるようにしてもよい。

【0100】

上記実施の形態では、ＮＶＭ５６に遠隔監視プログラム５８（具体的には、構築処理プログラム（図６参照）および人物検知および威嚇処理プログラム（図１１）または威嚇処理プログラム（図１５参照））が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、遠隔監視プログラム５８がＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている遠隔監視プログラム５８は、遠隔監視装置５０に含まれるコンピュータ５２にインストールされる。プロセッサ５４は、遠隔監視プログラム５８に従って上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）を実行する。

【0101】

また、ネットワークを介して遠隔監視装置５０に接続される他のコンピュータまたはサーバ等の記憶装置に遠隔監視プログラム５８を記憶させておき、遠隔監視プログラム５８が他のコンピュータまたはサーバ等の記憶装置からダウンロードされ、コンピュータ５２にインストールされるようにしてもよい。

【0102】

上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵または接続されており、何れのプロセッサもメモリを使用することで上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）を実行する。

【0103】

上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、またはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。

【0104】

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）などに代表されるように、上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0105】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記構築処理、および人物検知および威嚇処理（図１１）または威嚇処理（図１５）はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0106】

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0107】

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0108】

１０ 監視エリア
１２Ａ～１２Ｅ 撮像部
２５Ｓ１ 威嚇装置
５４ プロセッサ
６２ 表示装置
６６ 通信Ｉ／Ｆ
１００ 監視エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図19】