特開 2024-108065 遠隔監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024108065

(43)【公開日】2024-08-09

(54)【発明の名称】遠隔監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240802BHJP

   H04N 23/60 20230101ALI20240802BHJP

   H04N 23/63 20230101ALI20240802BHJP

   H04N 23/695 20230101ALI20240802BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 E

H04N23/60 300

H04N23/63 310

H04N23/695

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023012347

(22)【出願日】2023-01-30

(71)【出願人】

【識別番号】000202361

【氏名又は名称】綜合警備保障株式会社

(74)【代理人】

【識別番号】100179969

【弁理士】

【氏名又は名称】駒井 慎二

(72)【発明者】

【氏名】関谷 俊一

(72)【発明者】

【氏名】池田 康臣

【テーマコード（参考）】

5C054

5C122

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CG02

5C054CH08

5C054EA01

5C054EA03

5C054EA05

5C054FC12

5C054FC13

5C054FC15

5C054FE02

5C054FE05

5C054FE12

5C054FE16

5C054FE22

5C054FE28

5C054FF02

5C054FF03

5C054GB01

5C054HA19

5C122DA11

5C122EA01

5C122FA18

5C122FH09

5C122FH18

5C122FK23

5C122FK35

5C122FK37

5C122FK41

5C122GC52

5C122GD11

5C122HB01

(57)【要約】

【課題】撮像部からの画像データの受信に問題がある場合に対処する。
【解決手段】遠隔監視装置は、監視エリアに対する各々の被撮像領域を撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により送信された前記画像データを受信する受信部と、前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアをリアルタイムに表示する表示部と、前記複数の撮像部の何れかの撮像部からの前記画像データの受信が遅延している場合、前記表示されている前記監視エリアにおいて、前記受信が遅延している前記画像データに対応する遅延画像部分に、前記画像データの受信が遅延していることが示されるように前記表示部を制御する制御部と、を備える。
【選択図】図１５

【特許請求の範囲】

【請求項1】

監視エリアに対する各々の被撮像領域を撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により送信された前記画像データを受信する受信部と、
前記受信部により受信された前記複数の撮像部の各々が撮像した前記画像データに基づいて、前記監視エリアを表示する表示部と、
前記複数の撮像部の何れかの撮像部が撮像した前記画像データの受信が遅延している場合、前記表示されている前記監視エリアの、前記受信が遅延している前記画像データに対応する遅延画像部分に、前記画像データの受信が遅延していることが示されるように前記表示部を制御する制御部と、
を備える遠隔監視装置。

【請求項2】

前記画像データの受信が遅延していることが示されることは、
前記遅延画像部分の表示態様が変えられること、
前記遅延画像部分に遅延時間が表示されること、および
前記遅延画像部分に前記遅延していることを示す文字が表示されること、
の少なくとも１つである、
請求項１に記載の遠隔監視装置。

【請求項3】

前記制御部は、前記表示されている前記監視エリアに人物が表示されている場合、前記人物に対応して前記人物の識別情報が表示されるように、前記表示部を制御する、請求項１または請求項２に記載の遠隔監視装置。

【請求項4】

前記監視エリアには、前記監視エリアを撮像すると共に前記撮像により取得した補完画像データを送信する補完撮像部が配置され、
前記受信部は、前記補完画像データを受信し、
前記制御部は、前記複数の撮像部の何れかの撮像部が撮像した前記画像データが受信されていない場合、該受信されていない前記何れかの撮像部が撮像した画像データに代わって前記補完画像データが用いられるように前記表示部を制御する、
請求項１または請求項２に記載の遠隔監視装置。

【請求項5】

前記補完撮像部は、前記複数の撮像部の各々の前記被撮像領域を撮像可能な位置に移動可能であり、
前記制御部は、前記複数の撮像部の何れかの撮像部が撮像した前記画像データが受信されていない場合、前記何れかの撮像部の前記被撮像領域を撮像可能な位置に移動するように前記補完撮像部を制御する、
請求項４に記載の遠隔監視装置。

【請求項6】

監視エリアに対する各々の被撮像領域を撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により送信された前記画像データと、前記監視エリアを撮像すると共に前記撮像により取得した補完画像データを送信する補完撮像部により送信された前記補完画像データと、を受信する受信部と、
前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、
前記複数の撮像部の何れかの撮像部が撮像した前記画像データが受信されていない場合、前記何れかの撮像部から送信される画像データに代わって前記補完画像データが用いられるように前記表示部を制御する制御部と、
を備える遠隔監視装置。

【請求項7】

前記補完撮像部は、前記複数の撮像部の各々の前記被撮像領域を撮像可能な位置に移動可能であり、
前記制御部は、前記複数の撮像部の何れかの撮像部からの前記画像データが受信されていない場合、前記何れかの撮像部の前記被撮像領域を撮像可能な位置に移動するように前記補完撮像部を制御する、
請求項６に記載の遠隔監視装置。

【請求項8】

監視エリアに対する各々の被撮像領域を撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により送信された前記画像データを受信する受信部と、
前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、
前記表示されている前記監視エリアに人物が表示されている場合、前記人物に対応して前記人物の識別情報が表示されるように、前記表示部を制御する制御部と、
を備える遠隔監視装置。

【請求項9】

前記表示部は、前記画像データに基づいて構築された前記監視エリアの仮想空間を表示する、請求項１、請求項６、または請求項８に記載の遠隔監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔監視装置に関する。

【背景技術】

【0002】

従来、視点位置（カメラ位置）を基準として監視エリアの３次元モデルから生成した２次元投影画像の所定領域に、当該カメラで撮像した撮像画像を合成する技術が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開第２０１３－２１４９４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記従来技術では、カメラからの画像データの受信に障害があった場合、何ら対処していない。

【0005】

また、上記従来技術では、監視エリアに人物（不審者）が表示されている場合、何ら対処していない。

【0006】

本開示の技術は、撮像部からの画像データの受信に問題がある場合または監視エリアに人物が表示されている場合に対処することができる遠隔監視装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため本開示の技術の第１の態様の遠隔監視装置は、監視エリアに対する各々の被撮像領域を撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により送信された前記画像データを受信する受信部と、前記受信部により受信された前記複数の撮像部の各々が撮像した前記画像データに基づいて、前記監視エリアを表示する表示部と、 前記複数の撮像部の何れかの撮像部からの前記画像データの受信が遅延している場合、前記表示されている前記監視エリアの、前記受信が遅延している前記画像データに対応する遅延画像部分に、前記画像データの受信が遅延していることが示されるように前記表示部を制御する制御部と、を備える。

【0008】

本開示の技術の第２の態様の遠隔監視装置は、監視エリアに対する各々の被撮像領域を撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により送信された前記画像データと、前記監視エリアを撮像すると共に前記撮像により取得した補完画像データを送信する補完撮像部により送信された前記補完画像データと、を受信する受信部と、前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、前記複数の撮像部の何れかの撮像部が撮像した前記画像データが受信されていない場合、前記何れかの撮像部から送信される画像データに代わって前記補完画像データが用いられるように前記表示部を制御する制御部と、を備える。

【0009】

本開示の技術の第３の態様の遠隔監視装置は、監視エリアに対する各々の被撮像領域を撮像すると共に前記撮像により取得した画像データを送信する複数の撮像部の各々により送信された前記画像データを受信する受信部と、前記受信部により受信された前記複数の撮像部の各々の前記画像データに基づいて、前記監視エリアを表示する表示部と、前記表示されている前記監視エリアに人物が表示されている場合、前記人物に対応して前記人物の識別情報が表示されるように、前記表示部を制御する制御部と、を備える。

【発明の効果】

【0010】

本開示の技術は、撮像部からの画像データの受信に問題がある場合または監視エリアに人物が表示されている場合に対処することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施の形態における遠隔監視システムのブロック図である。

【図2】第１の実施の形態における現実世界の監視エリア１０の一例の斜視図である。

【図3】ＶＲ監視卓に設けられた遠隔監視装置５０の一例の斜視図である。

【図4】ＶＲ監視卓に設けられた遠隔監視装置５０の一例の上面図である。

【図5】遠隔監視装置５０の電気系のハードウェア構成の一例を示すブロック図である。

【図6】現実世界の監視エリア１０を、仮想空間１００にデジタルツイン方式でリアルタイムに構築する構築処理の流れの一例を示すフローチャートである。

【図7A】（ａ）は、分割３次元モデルの各範囲１０ＤＭ１～１０ＤＭ４の一例を示し、（ｂ）は、監視エリア１０における監視セクション１０ｓ１～１０ｓ４の一例を示す図である。

【図7B】構築された監視エリア１０の仮想空間１００、監視員の視点および視線方向の履歴を示した一例を示す概念図である。

【図8】仮想空間１００の第１の視点から第１の視線方向に仮想空間１００を見たように、構築された仮想空間１００から生成された画像の一例を示す概念図である。

【図9】仮想空間１００の第２の視点から第２の視線方向に仮想空間１００を見たように、構築された仮想空間１００から生成された画像の一例を示す概念図である。

【図10】仮想空間１００の第２の視点から第３の視線方向に仮想空間１００を見たように、構築された仮想空間１００から生成された画像の一例を示す概念図である。

【図11A】人物の検知および画像受信の遅延への対処処理の一部の流れの一例を示すフローチャートである。

【図11B】人物の検知および画像受信の遅延への対処処理の残りの流れの一例を示すフローチャートである。

【図12】（ａ）は、現実世界の監視エリア１０に３人の人物が侵入した状況における監視エリア１０の仮想空間１００の一例を示す斜視図であり、（ｂ）は、現実世界の監視エリア１０に３人の人物が侵入した状況における監視エリア１０の仮想空間１００の一例を示す上面図である。

【図13】現実世界の監視エリア１０に３人の人物が侵入した状況における監視エリア１０の仮想空間１００の監視画面の一例を示す斜視図である。

【図14】現実世界の監視エリア１０において一人の人物が第２の監視セクション１０４ｓ２に移動した状況における監視エリア１０の仮想空間１００の一例を示す図である。

【図15】現実世界の監視エリア１０の第１の監視セクション１０４ｓ１にいた人物が第２の監視セクション１０４ｓ２に移動した状況で撮像部１２Ａが取得した画像データの受信が遅延した場合の仮想空間１００の構築における対処内容を示す図である。

【図16】第２の実施の形態における現実世界の監視エリア１０の斜視図である。

【図17】第２の実施の形態における図６のステップ８２のサブルーチンを示すフローチャートである。

【図18】第２の撮像部１１２Ｂの画像データの受信が途絶えた場合の監視エリア１０の仮想空間１００の様子を示す図である。

【図19】現実世界の監視エリア１０において、第２の撮像部１１２Ｂの撮像領域を撮像可能な位置に、撮像部の撮像機能を有するドロ－ンを飛行させる様子を示す図である。

【図20】第２の撮像部１１２Ｂに代えてドロ－ンの撮像部１５０Ｃが撮像した画像データおよび点群データを用いて再現された監視エリア１０の仮想空間１００の様子を示す図である。

【図21A】順次切り替え表示方式の場合の、監視エリア１０の概念斜視図である。

【図21B】順次切り替え表示方式の場合の、監視エリア１０の仮想空間１００における視点、視線方向を順次切り替える様子を示す図である。

【図22】第２の変形例のヘッドマウントディスプレイを用いた場合の遠隔監視装置の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本開示の技術の実施の形態を説明する。

【0013】

［第１の実施の形態］
第１の実施の形態を説明する。
（構成）
図１は、第１の実施の形態における遠隔監視システムのブロック図である。遠隔監視システムでは、監視センター３００に、複数の監視員の各々が操作する複数の遠隔監視装置５０が備えられている。ある監視員により操作される遠隔監視装置５０では、例えば、地下１階および地上複数階からなる建物２００Ａの各階の監視エリアが監視される。他の監視員により操作される他の遠隔監視装置５０では、他の建物２００Ｂ、２００Ｃ、２００Ｄの各監視エリアが監視される。遠隔監視装置５０は、監視員の操作によって、監視する対象の建物を状況に応じて選択したり切り替えたりすることができるようになっている。以下、遠隔監視装置５０により、建物２００Ａの地下１階の監視エリア１０が監視される場合を例にとり説明する。

【0014】

図２は、第１の実施の形態における現実世界の監視エリア１０の一例の斜視図である。図２に示すように、監視エリア１０は、例えば、百貨店の食品フロアであり、複数のショーケース１４Ｎ１～１４Ｎ５が配置されている。また、監視エリア１０の天井には、複数の撮像部１２Ａ～１２Ｄが異なる位置に設置されている。複数の撮像部１２Ａ～１２Ｄの各々は、監視エリア１０の被撮像領域を撮像すると共に当該撮像により取得した画像データを、監視エリア１０から遠隔に位置する遠隔監視装置５０（図３～図５も参照）に、例えば、インターネット等を介して送信する。複数の撮像部１２Ａ～１２Ｄの各々の撮像方向は、天井から床に向かう方向である。複数の撮像部１２Ａ～１２Ｄの各々は、当該撮像方向を中心に所定の画角（例えば、１８０°）の被撮像領域を撮像可能である。なお、画角は、固定でもよく、また、変更可能であってもよい。画像データは、動画像の画像データである。即ち、複数の撮像部１２Ａ～１２Ｄの各々は、所定のフレームレートで、監視エリア１０を撮像し且つ当該撮像により取得した画像データを遠隔監視装置５０に送信する。なお、複数の撮像部１２Ａ～１２Ｄの各々は、例えば、３Ｄ－ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）カメラである。この場合、複数の撮像部１２Ａ～１２Ｄは、撮像により画像データを取得すると同時に、点群データ（撮像部からの測距データ）を取得する。本実施の形態では、撮像部１２Ａ～１２Ｄとして３Ｄ－ＬｉＤＡＲカメラを使用する場合について説明する。

【0015】

図３は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）監視卓に設けられた遠隔監視装置５０の一例の斜視図であり、図４は、ＶＲ監視卓に設けられた遠隔監視装置５０の一例の上面図である。図３および図４に示すように遠隔監視装置５０は、ＶＲ監視卓に設けられている。ＶＲ監視卓は、テーブル７０、椅子７２、および表示装置６２を備えている。表示装置６２は、左側スクリーン６２Ｌ、中央スクリーン６２Ｃ、および右側スクリーン６２Ｒを備えている。テーブル７０には、押しボタン６４Ａおよびジョイスティック６４Ｂが設けられている。ジョイスティック６４Ｂは、スティック状の操作部が前後および左右に倒されるように操作可能に構成されている。ジョイスティック６４Ｂは、操作部が倒された方向に応じた指示（例えば、視点の移動、または視線方向の変更、指示内容一覧からの指示内容の選択、等）を、遠隔監視装置５０に入力する。押しボタン６４Ａは、操作部が押下操作されたことに応じた指示（例えば、ジョイスティック６４Ｂの操作対象を、視点の移動、または視線方向の変更のいずれかに切り替える指示、指示内容一覧から選択した指示の確定、等）を遠隔監視装置５０に入力する。

【0016】

監視員は、椅子７２に座り、押しボタン６４Ａおよびジョイスティック６４Ｂを操作する。表示装置６２は、詳細には後述するが複数の撮像部１２Ａ～１２Ｄの各々から取得した画像データに基づいて構築された監視エリア１０の仮想空間１００（図７Ｂも参照）を表示する。監視員は、表示装置６２に表示された監視エリア１０の仮想空間１００を見て、監視エリア１０をリアルタイムに遠隔監視することができる。監視員は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作することにより、視点および視線方向を遠隔監視装置５０に入力する。そうすると、監視エリア１０の仮想空間１００を入力された視点から入力された視線方向に見たような画像が仮想空間１００から生成され、表示装置６２に表示される。

【0017】

図５は、遠隔監視装置５０の電気系のハードウェア構成の一例を示すブロック図である。図５に示すように、遠隔監視装置５０は、コンピュータ５２と、表示装置６２と、押しボタン６４Ａおよびジョイスティック６４Ｂと、通信Ｉ／Ｆ６６とを含む。

【0018】

コンピュータ５２は、プロセッサ５４、ＮＶＭ（Ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）５６、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０を備えている。プロセッサ５４、ＮＶＭ５６、およびＲＡＭ６０は、バス６８に接続されている。

【0019】

プロセッサ５４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む処理装置であり、ＤＳＰおよびＧＰＵは、ＣＰＵの制御下で動作し、後述する処理の実行を担う。ここでは、プロセッサ５４の一例として、ＤＳＰ、ＣＰＵ、およびＧＰＵを含む処理装置を挙げているが、これはあくまでも一例に過ぎず、プロセッサ５４は、ＧＰＵ機能を統合した１つ以上のＣＰＵおよびＤＳＰであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵおよびＤＳＰであってもよいし、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が搭載されていてもよい。

【0020】

ＮＶＭ５６は、各種プログラムおよび各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ５６としては、例えば、フラッシュメモリ（例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ））が挙げられる。ＲＡＭ６０は、一時的に情報が記憶されるメモリであり、プロセッサ５４によってワークメモリとして用いられる。ＲＡＭ６０としては、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が挙げられる。

【0021】

本実施の形態では、ＮＶＭ５６には、遠隔監視プログラム５８、具体的には、構築処理プログラム（図６参照）および対処処理プログラム（図１１Ａおよび図１１Ｂ参照）が格納されている。プロセッサ５４は、遠隔監視プログラム５８をＲＡＭ６０に展開して実行する。プロセッサ５４が遠隔監視プログラム５８を実行すると、プロセッサ５４は、構築部５４Ａ、取込部５４Ｂ、判断部５４Ｃ、付与部５４Ｄ、表示処理部５４Ｅ、および計算部５４Ｆとして機能する。

【0022】

表示装置６２と、押しボタン６４Ａおよびジョイスティック６４Ｂとは、バス６８に接続されている。

【0023】

通信Ｉ／Ｆ６６は、通信プロセッサおよびアンテナ等を含むインタフェースであり、バス６８に接続されている。通信Ｉ／Ｆ６６に対して適用される通信規格は、例えば、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、Ｗｉ－Ｆｉ（登録商標）、またはＢｌｕｅｔｏｏｔｈ（登録商標）等を含む無線通信規格である。遠隔監視装置５０は、通信Ｉ／Ｆ６６により、詳細には後述する複数の撮像部１２Ａ～１２Ｄの各々により送信された画像データおよび点群データを受信する。

【0024】

通信Ｉ／Ｆ６６は、本開示の技術の「受信部」の一例である。表示装置６２は、本開示の技術の「表示部」の一例である。プロセッサ５４は、本開示の技術の「制御部」の一例である。

【0025】

（作用）
次に、本実施の形態の作用を説明する。

【0026】

図６は、現実世界の監視エリア１０を、仮想空間１００にデジタルツイン方式でリアルタイムに構築する構築処理の流れの一例を示すフローチャートである。プロセッサ５４は、遠隔監視プログラム５８の構築処理プログラムを実行することにより、本構築処理を実行する。

【0027】

ステップ８０で、構築部５４Ａは、監視エリア１０を仮想空間１００に再現する。具体的には、構築部５４Ａは、各撮像部１２Ａ～１２Ｄが監視エリア１０を予め撮像してＮＶＭ５６に記憶しておいた所定の時点の画像データ（静止画像）および点群データ（撮像部からの測距データ）、ならびに各撮像部１２Ａ～１２Ｄの設置位置、撮像方向、画角の情報を読み出す。ここで、所定の時点とは、監視員に対して監視エリア１０の基準の状態として認識させるための画像データが取得可能な時点であり、例えば監視エリア１０が無人の状態である時点である。構築部５４Ａは、まず監視エリア１０の３次元モデル（ワイヤフレーム）を構築する。次に構築部５４Ａは、構築した３次元モデル（ワイヤフレーム）の対応する位置に、ＮＶＭ５６から読み出した画像データ（静止画像）、点群データ、それらを撮像した撮像部の設置位置、撮像方向、画角の情報に基づいて、テクスチャを合成する。具体的には、構築部５４Ａは、複数の撮像部１２Ａ～１２Ｄの各々を中心とする範囲に４分割された監視エリア１０のそれぞれの範囲１０ＤＭ１～１０ＤＭ４（図７Ａ（ａ）も参照）を、複数の撮像部１２Ａ～１２Ｄの各々に対応する分割３次元モデル（ワイヤフレーム）として構築する。なお、図７Ａ（ｂ）には、後述する監視セクション１０ｓ１～１０ｓ４も示している。構築部５４Ａは、その分割３次元モデル（ワイヤフレーム）の対応する位置に、ＮＶＭ５６から読み出した画像データ（静止画像）、点群データ、それらを撮像した撮像部の設置位置、撮像方向、画角の情報に基づいて、テクスチャを合成する。最後に、構築部５４Ａは、その合成した分割３次元モデルを組み合わせて、監視エリア１０の全体の３次元モデル（仮想空間１００）を構築する。以上により、監視エリア１０が仮想空間１００に再現される。なお、この段階では、仮想空間１００にはまだ各撮像部１２Ａ～１２Ｄが撮像したリアルタイムの画像データ（動画像）および点群データに基づくテクスチャは合成されていない。

【0028】

ステップ８２で、構築部５４Ａは、各撮像部１２Ａ～１２Ｄで撮像して得られたリアルタイムの画像データおよび点群データ（各撮像部からの測距データ）を取得する。

【0029】

ステップ８４で、構築部５４Ａは、各撮像部１２Ａ～１２Ｄから取得した画像データおよび点群データ、ならびにＮＶＭ５６から読み出した各撮像部１２Ａ～１２Ｄの設置位置、撮像方向、画角に基づいて、テクスチャを、仮想空間１００に合成する。

【0030】

ステップ８６で、構築部５４Ａは、監視員により押しボタン６４Ａおよびジョイスティック６４Ｂが操作されて指定された視点および視線方向を特定する。

【0031】

ステップ８８で、構築部５４Ａは、仮想空間１００内の、特定された視点および視線方向で見たような画像（平面画像）を、仮想空間１００から生成する。

【0032】

ステップ９０で、構築部５４Ａは、仮想空間１００から生成した、特定された視点および視線方向で仮想空間１００を見たような画像（平面画像）を、表示装置６２に表示する。

【0033】

ステップ９２で、構築部５４Ａは、押しボタン６４Ａおよびジョイスティック６４Ｂにより終了指示がされたか否かを判断する。

【0034】

終了指示がされたと判断されなかった場合（ステップ９２：Ｎ）には、本構築処理は、ステップ８２に戻って、以上の処理（ステップ８２～９２）を再度実行する。処理（ステップ８２～９２）が繰り返し実行されることにより、各撮像部１２Ａ～１２Ｄからリアルタイムの画像データ（動画像）および点群データが取得され、それらに基づいて監視エリア１０の仮想空間１００にテクスチャが合成され、特定された視点および視線方向で見たような画像（平面画像）が、合成した仮想空間１００から生成され、表示装置６２に表示される。つまり、監視エリア１０の仮想空間１００がリアルタイムに動画像で表示される。

【0035】

終了指示がされたと判断された場合（ステップ９２：Ｙ）には、本構築処理は終了する。

【0036】

なお、構築部５４Ａがステップ８８で生成しステップ９０で表示する、特定された視点および視線方向で仮想空間１００を見たような画像（平面画像）の画角は、監視員が押しボタン６４Ａおよびジョイスティック６４Ｂを操作すること等により変更可能であってもよい。

【0037】

以上により、図７Ｂに示すように、図２に示す現実世界の監視エリア１０に対応する仮想空間１００が構築される。上記のように、監視エリア１０に複数のショーケース１４Ｎ１～１４Ｎ５（図２参照）が配置されているので、仮想空間１００にも複数のショーケース１４Ｎ１～１４Ｎ５が再現される。なお、現実世界の監視エリア１０に存在する物体と、監視エリア１０の仮想空間１００に再現された物体で、対応するものには同じ符号を付すものとする。（例えば監視エリア１０のショーケース１４Ｎ１と仮想エリア１００に再現されたショーケース１４Ｎ１）

【0038】

上記のように構築部５４Ａは、各撮像部１２Ａ～１２Ｄで撮像して得られた画像データに基づいて、テクスチャを仮想空間１００に合成するので、監視員は、監視エリア１０の仮想空間１００を見ながら、現実世界の監視エリア１０をリアルタイムに監視することができる。なお、上記の「リアルタイム」は、複数の撮像部１２Ａ～１２Ｄが監視エリア１０を撮像した時刻と略同じ時刻に、という意味で用いている。即ち、「リアルタイム」は、複数の撮像部１２Ａ～１２Ｄが監視エリア１０を撮像した時刻と、仮想空間１００において当該事象が表示された時刻との間に時間的なずれがないことを意味しない。上記の「リアルタイム」は、各撮像部１２Ａ～１２Ｄが撮像してから、監視エリア１０の仮想空間１００が構築され、構築された仮想空間１００が表示されるまでの通信、処理に最低限必要な所要時間分のずれがあることも含めて用いている。

【0039】

上記のように監視エリア１０の仮想空間１００で監視員が現実世界の監視エリア１０を監視する。具体的には、監視員は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作して、視点および視線方向の各々を指定する。これにより、視点および視線方向が遠隔監視装置５０に入力され、特定される（ステップ８６）。

【0040】

例えば、監視員は、図７Ｂに示した監視エリア１０の仮想空間１００において第１の視点ｐ１および第１の視線方向ｄ１を指定する。第１の視点ｐ１および第１の視線方向ｄ１が遠隔監視装置５０に入力され、ステップ８６で、第１の視点ｐ１および第１の視線方向ｄ１が特定される。ステップ８８では、構築部５４Ａは、第１の視点ｐ１から第１の視線方向ｄ１に監視エリア１０の仮想空間１００を見たような画像（平面画像（図８参照））を、仮想空間１００から生成し、ステップ９０で、表示する。第１の視点ｐ１は、ショーケース１４Ｎ１とショーケース１４Ｎ２との間の監視エリア１０の手前の壁の位置であり、第１の視線方向はショーケース１４Ｎ５に向かう方向である。よって、第１の視点ｐ１から表示される画像には、ショーケース１４Ｎ１とショーケース１４Ｎ２とが手前に位置し、奥側に、ショーケース１４Ｎ５と、ショーケース１４Ｎ５の右隣りにショーケース１４Ｎ３、１４Ｎ４とが位置する。

【0041】

次に、監視員は、例えば、監視エリア１０の第１の視点ｐ１から、ショーケース１４Ｎ１とショーケース１４Ｎ２との間の通路に沿って、更に奥に進むように視点を変化させる。例えば、ショーケース１４Ｎ５の手前の第２の視点ｐ２まで進める。視点が変化される毎に、その変化した視点から視線方向に見たような画像が生成され、表示される。例えば、監視員は、第１の視点ｐ１から奥に進んだ第２の視点ｐ２および第１の視線方向ｄ１と同じ第２の視線方向ｄ２を指定する。これにより、図９に示すように、第２の視点ｐ２から第２の視線方向ｄ２に監視エリア１０の仮想空間１００を見たような画像が生成され、表示される。第２の視点ｐ２はショーケース１４Ｎ５の手前であり、第２の視線方向ｄ２はショーケース１４Ｎ５に向かう方向である。よって、表示される画像には、ショーケース１４Ｎ５が正面に位置し、ショーケース１４Ｎ５の右隣りにショーケース１４Ｎ３、１４Ｎ４が位置する。

【0042】

次に、監視員は、例えば、第２の視点ｐ２から右側、即ち、ショーケース１４Ｎ２とショーケース１４Ｎ３の間の通路に沿って、監視エリア１０を監視するため、まず、第２の視点ｐ２において、第２の視線方向ｄ２と直交する、第３の視線方向ｄ３を指定する。これにより、図１０に示すように、第２の視点ｐ２から第２の視線方向ｄ３に監視エリア１０の仮想空間１００を見たような画像が生成され、表示される。第２の視点ｐ２はショーケース１４Ｎ５の手前であり、第３の視線方向ｄ３はショーケース１４Ｎ２とショーケース１４Ｎ３の間の通路に沿った方向である。よって、表示される画像には、ショーケース１４Ｎ２とショーケース１４Ｎ３の間の通路が正面に位置し、ショーケース１４Ｎ３の左隣りにショーケース１４Ｎ４が位置する。

【0043】

このように監視員は、視点および視線方向を変化させなら当該視点から当該視線方向に監視エリア１０の仮想空間１００を見たような画像を見ながら、監視エリア１０を監視する。

【0044】

図１１Ａおよび図１１Ｂは、人物の検知および画像データ受信の遅延の各々への対処処理の流れの一例を示すフローチャートである。なお、本対処処理は、所定時間毎に、構築処理（図６）に割り込んで実行される。プロセッサ５４は、遠隔監視プログラム５８の対処処理プログラムを実行することにより、本対処処理を実行する。

【0045】

図１１Ａのステップ１１２で、取込部５４Ｂは、図２に示すように現実世界の監視エリア１０に設置された撮像部１２Ａ～１２Ｄを識別する変数ｃ（ｃ＝１では撮像部１２Ａ、ｃ＝２では撮像部１２Ｂ、ｃ＝３では撮像部１２Ｃ、ｃ＝４では撮像部１２Ｄがそれぞれ識別される）を０に初期化し、ステップ１１４で、取込部５４Ｂは、変数ｃを１インクリメントする。

【0046】

ステップ１１６で、取込部５４Ｂは、変数ｃで識別される撮像部ｃが撮像した画像データ（説明の便宜を図るため画像データｃと表す）を取得する。例えば、変数ｃ＝１では、撮像部１２Ａが識別され、撮像部１２Ａが撮像した画像データを取得する。変数ｃ＝２では撮像部１２Ｂが識別され、撮像部１２Ｂが撮像した画像データを取得する。変数ｃ＝３では撮像部１２Ｃが識別され、撮像部１２Ｃが撮像した画像データを取得する。変数ｃ＝４では撮像部１２Ｄが識別され、撮像部１２Ｄが撮像した画像データを取得する。

【0047】

次に、ステップ１１８～１２４において、判断部５４Ｃは画像データｃにおける人物の検出に係る処理を行う。ステップ１１８で、判断部５４Ｃは、ステップ１１６で取得された画像データｃに人物が検出されたか否かを判断する。具体的には、判断部５４Ｃは、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）により画像データｃに人物が検出されたか否かを判断する。より具体的には、画像データｃを入力とし且つその入力された画像データｃに人物の画像が含まれているか否かの結論を出力とする複数の教師データを用いて学習された学習済みモデルと、変数ｃで識別される撮像部ｃが撮像した画像データｃとに基づいて、画像データｃに人物の画像が含まれているか判断する。なお、ステップ１１８における判断部５４Ｃの処理は、ＡＩにより画像データｃに人物が検出されたか否かを判断することに限定されない。例えば、所定時間間隔で画像データｃを取得し、取得した画像データｃの、直前に取得した画像データｃとの差分から人物を検出したり、予め用意した人物の画像データと画像データｃとのマッチングにより人物を検出したりしてもよい。

【0048】

人物が検出されなかった場合（ステップ１１８：Ｎ）には、本対処処理はステップ１２６に進む。人物が検出された場合（ステップ１１８：Ｙ）には、本対処処理は、ステップ１２０に進む。

【0049】

図１２および図１３は、それぞれある時点における監視エリア１０の斜視図（図１２（ａ））、その監視エリア１０の仮想空間１００（図１２（ｂ））、および第１の視点ｐ１から第１の視線方向ｄ１に仮想空間１００を見たような画像（図１３）である。図１４は、別の時点（例えば図１２および図１３の時点の１秒後）における、第１の視点ｐ１から第１の視線方向ｄ１に仮想空間１００を見たような画像である。
なお、図１２および図１３に示す例では、監視セクション１０ｓ１に、一人の人物１０６ｈ１が侵入し、監視セクション１０ｓ３には、二人に人物１０６ｈ２，１０２ｈ３が侵入している。また、図１４に示す例では、監視セクション１０ｓ２に、一人の人物１０６ｈ４が侵入し、監視セクション１０ｓ３には、二人に人物１０６ｈ５，１０２ｈ６が侵入している。図１２には、容易に理解するために、図７Ｂ等に示す複数のショーケース１４Ｎ１～１４Ｎ５は省略している。

【0050】

ステップ１２０で、判断部５４Ｃは、検出された人物の特徴（例えば、顔または服装等）から、ステップ１１８で検出された人物が新たな人物か否かを判断する。ステップ１１８で検出された人物が新たな人物であると判断された場合、本対処処理はステップ１２２に進み、ステップ１１８で検出された人物が新たな人物であると判断されなかった場合には、本対処処理は、ステップ１２２をスキップして、ステップ１２４に進む。

【0051】

ステップ１２２で、付与部５４Ｄは、新たな人物に識別情報、例えば、ＩＤ（ｉｄｅｎｔｉｆｉｅｒ）を付与する。ステップ１２４で、表示処理部５４Ｅは、監視エリア１０の仮想空間１００において表示されている人物の位置に対応する位置にＩＤを表示する。

【0052】

図１２および図１３の例では、ステップ１１６において３人の人物１０６ｈ１～１０６ｈ３が撮像された画像データｃから、ステップ１１８において人物が検出され、ステップ１２０においてそれらの人物が新たな人物と判断されて、ステップ１２２においてそれぞれの人物１０６ｈ１～１０６ｈ３にＩＤ１０８ｉ１～１０８ｉ３が付与され、ステップ１２４でそれぞれの人物１０６ｈ１～１０６ｈ３に対応してＩＤ１０８ｉ１～１０８ｉ３が表示された様子を示している。

【0053】

図１４の例では、ステップ１１６において３人の人物１０６ｈ４～１０６ｈ６が撮像された画像データｃから、ステップ１１８において人物が検出され、ステップ１２０において、それぞれの人物が新たな人物ではない（それより前の時点（この例では１秒前）に検出された人物１０６ｈ１～１０６ｈ３と同一人物である）と判断されて、ステップ１２４においてそれぞれの人物１０６ｈ４～１０６ｈ６に対応してＩＤ１０８ｉ１～１０８ｉ３が表示された様子を示している。

【0054】

監視員は、表示装置６２に表示される図１３に示した画像、および図１４に示した画像を時系列で確認することによって、ＩＤ１０８ｉ１が付与された人物が、監視エリア１０の監視セクション１０４ｓ１に侵入した後、監視セクション１０４ｓ２に移動し侵入したことを認識することができる。また、ＩＤ１０８ｉ２～１０８ｉ３が付与された二人の人物は、監視エリア１０の監視セクション１０４ｓ３に侵入して移動はしていないことを認識することができる。

【0055】

次に、ステップ１２６～１３２において、判断部５４Ｃは画像データｃの受信の遅延に係る処理を行う。ステップ１２６で、判断部５４Ｃは、撮像部ｃからの画像データｃの受信に遅延が生じているか否かを判断する。

【0056】

ここで、画像データｃの受信に遅延が生じているか否かの判断方法（第１の方法、第２の方法）を説明する。

【0057】

（第１の方法）
各撮像部１２Ａ～１２Ｄは、画像データを送信する時に、撮像時刻も送信する。遠隔監視装置５０は、画像データと撮像時刻とを受信するので、当該画像データを受信した時刻と撮像時刻との差を計算し、差が所定時間以上である場合に、画像データの受信に遅延が生じていると判断する。

【0058】

（第２の方法）
各撮像部１２Ａ～１２Ｄは、画像データを所定時間間隔で送信する。遠隔監視装置５０は、画像データの受信間隔と当該所定時間間隔との差を計算し、差が所定時間以上大きい場合に、画像データの受信に遅延が生じていると判断する。

【0059】

例えば、撮像部１２Ａが取得した画像データの受信に１秒の遅延が生じているとする。ステップ１２８で、計算部５４Ｆは、遅延時間（上記各方法の何れかで計算された差）を取得する。ステップ１３０で、表示処理部５４Ｅは、遅延時間Ｔｄ（例えば「１秒」（図１５も参照））を、撮像部ｃ（例えば撮像部１２Ａ）が撮像した画像データｃに基づいて、撮像部ｃによる被撮像領域に対応する仮想空間１００の領域（合成されたテクスチャに対応する領域）に表示する。ステップ１３２で、表示処理部５４Ｅは、撮像部ｃによる被撮像領域に対応する仮想空間１００の領域（合成されたテクスチャに対応する領域）の表示態様、例えば、色を変える。

【0060】

より具体的には、表示処理部５４Ｅは、表示処理部５４Ｅは、図１５に示すように、画像データｃの受信に遅延が生じている撮像部ｃ（例えば撮像部１２Ａ）による被撮像領域に対応する仮想空間１００の領域に合成されたテクスチャ（例えば床、壁、ショーケース、人物等）を色付けする（例えば青色）。なお、図１５に示す例では、ショーケース１４Ｎ１および人物１０６ｈ１が青色に色づけられている。

【0061】

撮像部ｃの画像データｃに基づいて仮想空間１００に合成されたテクスチャに対応する領域の表示する色を変えることに限定されず、これに代えまたはこれと共に、その領域の表示を点滅、あるいはその領域を指し示す矢印を表示させてもよい。また、表示する色を透過処理することによって、その色を重ねる対象の仮想空間１００の領域、ショーケースおよび人物を監視員が見易くなるようにしてもよい。また、遅延時間を表示することに限定されず、これに代えまたはこれと共に、文字（例えば、「遅延しています」等）を表示してもよい。

【0062】

ステップ１３４で、判断部５４Ｃは、変数ｃが、監視セクションの総数Ｃか否かを判断する。変数ｃが監視セクションの総数Ｃでない場合には、人物の検出を未だ判断しておらず、遅延の有無も判断していない撮像部ｃがあるので、本対処処理はステップ１１４に戻って以上の処理（ステップ１１４～ステップ１３４）を実行する。変数ｃが撮像部の総数Ｃである場合には、全ての撮像部が取得した画像データで人物の検出の有無および受信遅延の有無を判断しているので、本対処処理は次のステップ１３６へ進む。

【0063】

図１１Ｂのステップ１３６～１４４で、判断部５４Ｃは、図７Ａ（ｂ）に示すように監視エリア１０の仮想空間１００に予め設定された監視セクションごとに、ステップ１１８で検出された人物がその監視セクションに含まれているか否かを判断し、表示処理部５４Ｅがその監視セクションの表示態様を変える処理を行う。

【0064】

図７Ａ（ｂ）は、監視エリア１０の仮想空間１００に設定された監視セクションの一例を示す仮想空間１００の上面図である。なお、図７Ａ（ｂ）には、容易に理解するために、図７Ｂ等に示す複数のショーケース１４Ｎ１～１４Ｎ５は省略している。

【0065】

図７Ａ（ｂ）における左手前側の領域（上から見て略正方形の領域）には、第１の監視セクション１０４ｓ１が設定されている。右手前側の領域（上から見て長方形の領域）には、第２の監視セクション１０４ｓ２が設定されている。第２の監視セクション１０４ｓ２の奥側の領域（上から見て長方形の領域）には、第３の監視セクション１０４ｓ３が設定されている。第１の監視セクション１０４ｓ１および第３の監視セクション１０４ｓ３の奥側の上から見て矩形の小領域には、第４の監視セクション１０４ｓ４が設定されている。第１の監視セクション１０４ｓ１は、ショーケース１４Ｎ１を含む領域を監視するためのセクションである。第２の監視セクション１０４ｓ２は、ショーケース１４Ｎ２を含む領域を監視するためのセクションである。第３の監視セクション１０４ｓ３は、ショーケース１４Ｎ３、１４Ｎ４を含む領域を監視するためのセクションである。第４の監視セクション１０４ｓ４は、ショーケース１４Ｎ５を含む領域を監視するためのセクションである。変数ｓ＝１～４により、第１の監視セクション１０４ｓ１～第４の監視セクション１０４ｓ４が識別される。

【0066】

ステップ１３６で、取込部５４Ｂは、図７Ａ（ｂ）に示すように監視エリア１０の仮想空間１００に予め設定された監視セクションを識別する変数ｓ（ｓ＝１では監視セクション１０４ｓ１が、ｓ＝２では監視セクション１０４ｓ２が、ｓ＝３では監視セクション１０４ｓ３が、ｓ＝４では監視セクション１０４ｓ４がそれぞれ識別される）を０に初期化し、ステップ１３８で、取込部５４Ｂは、変数ｓを１インクリメントする。

【0067】

ステップ１４０で、判断部５４Ｃは、仮想空間１００の変数ｓで識別される監視セクションｓに、ステップ１１８で検出した人物が含まれているか否かを判断する。

【0068】

人物が含まれていない場合には、本対処処理はステップ１４４に進み、人物が含まれている場合には、本対処処理は、ステップ１４２に進む。

【0069】

ステップ１４２で、表示処理部５４Ｅは、図１５に示すように、人物が含まれる監視セクションの表示態様、例えば、床面の色を変える（例えば赤色）。図１５に示す例では、人物１０６ｈ４が監視セクション１０４ｓ２において検出されているので、監視セクション１０４ｓ２の床の色が、例えば、赤色に変えられる。

【0070】

なお、ステップ１３２で表示態様を変える仮想空間１００の領域と、ステップ１４２で表示態様を変える仮想空間１００の領域とが重複する部分の表示態様については、一方の表示態様を優先して表示することとしてもよいし、別の表示態様（例えば紫色）で表示することとしてもよい。

【0071】

監視セクションｓの表示する色を変えることに限定されず、これに代えまたはこれと共に、監視セクションｓの表示を点滅させてもよい。また、これと共に、文字（例えば、「侵入異常あり」等）を表示してもよい。

【0072】

ステップ１４４で、判断部５４Ｃは、変数ｓが、監視セクションの総数Ｓか否かを判断する。変数ｓが監視セクションの総数Ｓでない場合には、検出された人物の有無を未だ判断していない監視セクションがあるので、本対処処理はステップ１３８に戻って以上の処理（ステップ１３８～ステップ１４４）を実行する。変数ｓが監視セクションの総数Ｓである場合には、全ての監視セクションで検出された人物の有無を判断しているので、本対処処理は終了する。

【0073】

（効果）
次に、本実施の形態の効果を説明する。

【0074】

図１２～図１４に示すように、人物１０６ｈ１～１０６ｈ６が検出され、人物１０６ｈ１と人物１０６ｈ４、人物１０６ｈ２と人物１０６ｈ５、および人物１０６ｈ３と人物１０６ｈ６が、それぞれ同一人物で、人物１０６ｈ１が第１の監視セクション１０４ｓ１から第２の監視セクション１０４ｓ２に移動し、撮像部１２Ａからの画像データの受信に遅延が生じている場合を考える。この場合、図１５に示すように、第１の監視セクション１０４ｓ１と第２の監視セクション１０４ｓ２に、それぞれ人物１０６ｈ１、人物１０６ｈ４が表示される場合がある。しかし、上記のように、同一の人物には同一ＩＤを表示する。よって、監視員が、第１の監視セクション１０４ｓ１と第２の監視セクション１０４ｓ２とに別々の人物（二人の人物）が侵入していると誤解することを防止することができる。

【0075】

また、上記のように第１の監視セクション１０４ｓ１と第２の監視セクション１０４ｓ２との各々に表示される人物に対応して同じＩＤを表示しているので、監視員は、違和感を覚える場合もある。しかし、本実施の形態では、上記のように撮像部１２Ａの画像の色を変えたり遅延時間を表示したりすることにより、その原因が、撮像部１２Ａからの画像データの受信に遅延が生じているためであることを理解する。よって、監視員に違和感を覚えさせることを防止することができる。

【0076】

［第２の実施の形態］
次に、本開示の技術の第２の実施の形態を説明する。
（構成）
図１６は、第２の実施の形態における現実世界の監視エリア１０の斜視図である。図１６に示すように、第２の実施の形態における現実世界の監視エリア１０には、第１の実施の形態における撮像部１２Ａ～１２Ｄと同様の撮像部１１２Ａ～１１２Ｄ、および撮像部１１２Ａ～１１２Ｄと同様の撮像部１５０Ｃを有するドロ－ン１５０が配置されている。ドロ－ン１５０は、複数の撮像部１１２Ａ～１１２Ｄの各々の撮像領域を撮像可能な位置に移動可能である。また、本実施の形態では、撮像部１１２Ａ～１１２Ｄ、および撮像部１５０Ｃとして、３Ｄ－ＬｉＤＡＲカメラを使用する場合について説明する。

【0077】

第２の実施の形態の遠隔監視装置５０の構成は、第１の実施の形態の遠隔監視装置５０の構成と同様であるので、その説明を省略する。

【0078】

（作用）
第２の実施の形態の遠隔監視装置５０の作用は、第１の実施の形態の遠隔監視装置５０の作用と略同様であるので、異なる作用部分について説明する。

【0079】

図１７は、第１の実施の形態における図６のステップ８２のサブルーチンを示すフローチャートである。

【0080】

ステップ８２Ａで、構築部５４Ａは、撮像部１１２Ａ～１１２Ｄを識別する変数ｃ（ｃ＝１では撮像部１１２Ａ、ｃ＝２では撮像部１１２Ｂ、ｃ＝３では撮像部１１２Ｃ、ｃ＝４では撮像部１１２Ｄがそれぞれ識別される）を０に初期化し、ステップ８２Ｂで、構築部５４Ａは、変数ｃを１インクリメントする。なお、ステップ８２Ｃで、構築部５４Ａは、撮像部ｃが撮像した画像データｃを取得する。

【0081】

ステップ８２Ｄで、構築部５４Ａは、撮像部ｃが撮像した画像データｃの受信が途絶えているか否かを判断する。撮像部ｃが撮像した画像データｃの受信が途絶えていると判断されなかった場合には、本構築処理は、ステップ８２Ｅ、８２Ｆをスキップして、ステップ８２Ｇに進む。撮像部ｃが撮像した画像データｃの受信が途絶えていると判断された場合には、本構築処理は、ステップ８２Ｅに進む。

【0082】

例えば、ｃ＝２で識別される撮像部１１２Ｂが撮像した画像データの受信が途絶えていると判断された場合には、図１８に示すように、監視エリア１０の仮想空間１００には、第２の撮像部１１２Ｂが撮像した画像データに基づくテクスチャを合成する部分には何もテクスチャが合成されない。（図１８の仮想空間１００で、床面が塗られていない領域）

【0083】

なお、図１８には、容易に理解するために、図７Ｂ等に示す複数のショーケース１４Ｎ１～１４Ｎ５は省略している。

【0084】

ステップ８２Ｅで、構築部５４Ａは、撮像部１１２Ｂの位置付近にドロ－ン１５０を飛行させる。具体的には、ステップ８２Ｄにおいて、ｃ＝２で識別される撮像部１１２Ｂが撮像した画像データの受信が途絶えていると判断された場合、図１９に示すように、構築部５４Ａは、撮像部１１２Ｂの撮像領域をドローン１５０の撮像部１５０Ｃが撮像可能な、撮像部１１２Ｂの設置位置の直下に、ドロ－ン１５０を飛行させる。なお、ＮＶＭ５６には、現実世界の監視エリア１０における撮像部１１２Ａ～１１２Ｄの設置位置と、ドロ－ン１５０の配置位置とが記憶されている。構築部５４Ａは、ＮＶＭ５６から、現実世界の監視エリア１０における撮像部１１２Ｂの設置位置とドロ－ン１５０の配置位置とを読み出し、ドロ－ン１５０に、配置位置から撮像部１１２Ｂの設置位置の直下に飛行するように指示する。これにより、ドロ－ン１５０は、撮像部１１２Ｂの設置位置の直下に移動し、当該位置で空中停止し、撮像部１５０Ｃにより撮像部１１２Ｂの撮像領域を撮像し、画像データおよび点群データ、ならびにドローン１５０の現在位置、撮像部１５０Ｃの撮像方向および画角を遠隔監視装置５０に送信する。これ以降は、ｃ＝２の場合、撮像部１５０Ｃが識別されるようになる。

【0085】

ステップ８２Ｆで、構築部５４Ａは、ｃ＝２の場合、ドロ－ン１５０の撮像部１５０Ｃが撮像した画像データ（補完画像データ）および点群データ、ならびにドローン１５０の現在位置、撮像部１５０Ｃの撮像方向および画角を取得する。これにより、図２０に示すように、監視エリア１０の仮想空間１００には、欠落している撮像部１１２Ｂが撮像した画像データおよび点群データに基づくテクスチャ部分に、ドロ－ン１５０の撮像部１５０Ｃが撮像した画像データおよび点群データに基づくテクスチャが用いられる。なお、図２０には、容易に理解するために、図７Ｂ等に示す複数のショーケース１４Ｎ１～１４Ｎ５は省略している。

【0086】

ステップ８２Ｇで、構築部５４Ａは、変数ｃが撮像部の総数Ｃと同じか否かを判断する。変数ｃが撮像部の総数Ｃと同じと判断されなかった場合には、画像データの受信が途絶えているか否か判断していない撮像部があるので、本構築処理は、ステップ８２Ｂに戻って、以上の処理（ステップ８２Ｄ～８２Ｇ）を繰り返す。変数ｃが撮像部の総数Ｃと同じと判断された場合には、画像データの受信が途絶えているか否か判断していない撮像部がないので、本構築処理は、ステップ８２の処理（図６参照）が終了し、ステップ８４に戻る。なお、撮像した画像データの受信が途絶えた一部の撮像部をドローン１５０の撮像部１５０Ｃに置き換えた場合、変数ｃで識別する撮像部を変更するので、総数Ｃは変化しない。

【0087】

なお、撮像部ｃが撮像した画像データｃの受信が途絶えていると判断された場合、ドロ－ン１５０の撮像部１５０Ｃが撮像した画像データおよび点群データ、ならびにドローン１５０の現在位置、撮像部１５０Ｃの撮像方向および画角が取得されるまで、図１８に示すように、仮想空間１００のテクスチャ部分１０２Ｂ１、１０２Ｂ２には何もテクスチャが合成されない。そこで、予め撮像部ｃが撮像した現実世界の監視エリア１０の画像データ（静止画）および点群データ、ならびに撮像部ｃの設置位置、撮像方向および画角を記憶しておく。そして、ドロ－ン１５０の撮像部１５０Ｃが撮像した画像データおよび点群データ、ならびにドローン１５０の現在位置、撮像部１５０Ｃの撮像方向および画角が取得されるまで、上記のようにテクスチャが何も合成されない部分（テクスチャ部分１０２Ｂ１、１０２Ｂ２）に、予め記憶しておいた撮像部ｃが撮像した画像データ（静止画）および点群データ、ならびに撮像部ｃの設置位置、撮像方向および画角に基づいて、当該画像が何も表示されない仮想空間１００のテクスチャ部分１０２Ｂ１、１０２Ｂ２のテクスチャを合成してもよい。

【0088】

（効果）
以上説明したように第２の実施の形態では、撮像部が撮像した画像データの受信が途絶えた場合、ドロ－ンを、当該撮像部の撮像領域を撮像可能な位置に移動させ、ドロ－ンの撮像部により撮像されて得られた画像データで、当該撮像部の画像データを代替する。よって、本実施の形態は、監視員の遠隔監視を継続させることができる。

【0089】

［変形例］
次に、種々の変形例を説明する。

【0090】

（第１の変形例）
図２１Ａは、第１の変形例として、監視エリア１０における各撮像部の設置位置に対応する、仮想空間１００における視点を、順次切り替えて表示装置６２に表示する順次切り替え表示方式の場合の、監視エリア１０の概念斜視図である。図２１Ｂは、その順次切り替え表示方式の場合の、監視エリア１０の仮想空間１００における視点、視線方向を順次切り替える様子を示す図である。なお、図２１Ａ、図２１Ｂには、容易に理解するために、図７Ｂ等に示す複数のショーケース１４Ｎ１～１４Ｎ５は省略している。

【0091】

第１の変形例では、監視エリア１０の天井には、第１の実施の形態と同様の複数の撮像部１２Ａ～１２Ｄが異なる位置に設置されている。具体的には、複数の撮像部１２Ａ～１２Ｄの各々の撮像方向は、天井から床に向かう方向である。撮像部１２Ａの撮像方向は、撮像部１２Ａから、撮像部１２Ａの真下の床の位置２２Ａに向かう方向である。その他の撮像部１２Ｂ～１２Ｄの撮像方向も同様である。複数の撮像部１２Ａ～１２Ｄの各々は、当該撮像方向を中心に１８０°の画角の領域を撮像可能である。これと対応して、監視エリア１０の仮想空間１００においては、図２１Ｂに示すように、複数の撮像部１２Ａ～１２Ｄの設置位置に対応する位置が、視点として順次切り替えて指定される。各視点における視線方向は、初期状態として現在の視点から次に切り替わる視点に向けた方向が指定される。視線方向は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作して、任意に変更することができる。

【0092】

監視員は、押しボタン６４Ａおよびジョイスティック６４Ｂを操作して、表示装置６２に表示する仮想空間１００の視点を順次指定する。例えば、図２１Ｂに示す例では、視点ｐ１００→視点ｐ２００→視点ｐ３００→視点ｐ４００順に視点が指定されている。

【0093】

視点ｐ１００が指定されると、遠隔監視装置５０は、撮像部１２Ａ～撮像部１２Ａの真下の床の位置２２Ａに向かう撮像方向を中心に１８０°の画角の領域を撮像部１２Ａが撮像して得られた画像データ（動画像）および点群データ、ならびに撮像部１２Ａの設置位置、撮像方向および画角に基づいて、仮想空間１００にテクスチャを合成し、その合成した仮想空間１００を、視点ｐ１００、視線方向ｄ１００（即ち、視点ｐ１００から視点ｐ２００に向かう方向）で見たような画像（平面画像）を生成し、表示装置６２に表示する。なお、当該画像（平面画像）には、ショーケース１４Ｎ２が表示される。このとき、表示する画像（平面画像）中に他の視点が含まれる場合は、その視点の位置に、押しボタン６４Ａおよびジョイスティック６４Ｂで選択可能なマークを表示する。このマークを選択することによって、対応する視点を指定する。

【0094】

次に、視点ｐ２００が指定されると、遠隔監視装置５０は、撮像部１２Ｂ～撮像部１２Ｂの真下の床の位置２２Ｂに向かう撮像方向を中心に１８０°の画角の領域を撮像部１２Ｂが撮像して得られた画像データ（動画像）および点群データ、ならびに撮像部１２Ａの設置位置、撮像方向および画角に基づいて、仮想空間１００にテクスチャを合成し、その合成した仮想空間１００を、視点ｐ２００、視線方向ｄ２００（即ち、視点ｐ２００から視点ｐ３００に向かう方向）で見たような画像（平面画像）を生成し、表示装置６２に表示する。なお、当該画像（平面画像）には、ショーケース１４Ｎ３、１４Ｎ４が表示される。

【0095】

更に、視点ｐ３００が指定されると、遠隔監視装置５０は、撮像部１２Ｃ～撮像部１２Ｃの真下の床の位置２２Ｃに向かう撮像方向を中心に１８０°の画角の領域を撮像部１２Ｃが撮像して得られた画像データ（動画像）および点群データ、ならびに撮像部１２Ｃの設置位置、撮像方向および画角に基づいて、仮想空間１００にテクスチャを合成し、その合成した仮想空間１００を、視点ｐ３００、視線方向ｄ３００（即ち、視点ｐ３００から視点ｐ４００に向かう方向）で見たような画像（平面画像）を生成し、表示装置６２に表示する。なお、当該画像（平面画像）には、手前に、ショーケース１４Ｎ３、１４Ｎ４が、これらの奥側にショーケース１４Ｎ５表示される。

【0096】

（第２の変形例）
図２２は、第２の変形例のヘッドマウントディスプレイを用いた場合の遠隔監視装置を示す図である。第２の変形例では、上記各実施の形態のＶＲ監視卓に代えて、ヘッドマウントディスプレイ６２ＨＤが用いられる。ヘッドマウントディスプレイ６２ＨＤは、表示スクリーン、および監視員の頭部の動きを検知する加速度センサが設けられており、加速度センサが検知した加速度情報に基づいて、指定する視点および視線方向を遠隔監視装置５０に有線または無線で送信する。遠隔監視装置５０は、指定された視点および視線方向に基づいて仮想空間１００を当該視点および視線方向でみたような画像（平面画像）を生成し、ヘッドマウントディスプレイ６２ＨＤへ送信する。ヘッドマウントディスプレイ６２Ｄは遠隔監視装置５０から受信した当該画像（平面画像）を表示スクリーンに表示する。また、押しボタン６４Ａおよびジョイスティック６４Ｂに代えて、押しボタン６４Ａおよびジョイスティック６４Ｂの機能と同様の機能の第１の操作装置６５Ａおよび第２の操作装置６５Ｂを備えている。第１の操作装置６５Ａおよび第２の操作装置６５Ｂは、操作された内容を示す情報を、遠隔監視装置５０に有線または無線で送信する。このようにして、監視員は、ヘッドマウントディスプレイ６２ＨＤの表示スクリーンに表示された監視エリア１０の仮想空間１００を見て、監視エリア１０を遠隔監視することができる。

【0097】

（その他の変形例）
上記実施の形態では、遠隔監視装置５０に含まれるコンピュータ５２のプロセッサ５４によって上記構築処理および対処処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、上記構築処理および対処処理を行う装置は、遠隔監視装置５０以外の更に設けた少なくとも１台のサーバおよび／または少なくとも１台のパーソナル・コンピュータ等でもよい。更に、上記構築処理および対処処理は、遠隔監視装置５０および更に設けた少なくとも１台のサーバおよび／または少なくとも１台のパーソナル・コンピュータ等で分散して行われるようにしてもよい。

【0098】

上記実施の形態では、ＮＶＭ５６に遠隔監視プログラム５８（具体的には、構築処理プログラム（図６参照）および対処処理プログラム（図１１Ａおよび図１１Ｂ参照））が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、遠隔監視プログラム５８がＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている遠隔監視プログラム５８は、遠隔監視装置５０に含まれるコンピュータ５２にインストールされる。プロセッサ５４は、遠隔監視プログラム５８に従って上記構築処理および対処処理を実行する。

【0099】

また、ネットワークを介して遠隔監視装置５０に接続される他のコンピュータまたはサーバ等の記憶装置に遠隔監視プログラム５８を記憶させておき、遠隔監視プログラム５８が他のコンピュータまたはサーバ等の記憶装置からダウンロードされ、コンピュータ５２にインストールされるようにしてもよい。

【0100】

上記構築処理および対処処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、上記構築処理および対処処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵または接続されており、何れのプロセッサもメモリを使用することで上記構築処理および対処処理を実行する。

【0101】

上記構築処理および対処処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、またはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。

【0102】

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、上記構築処理および対処処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）などに代表されるように、上記構築処理および対処処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、上記構築処理および対処処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0103】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記構築処理および対処処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0104】

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0105】

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0106】

１０ 監視エリア
１２Ａ～１２Ｅ 撮像部
５４ プロセッサ
６２ 表示装置
６６ 通信Ｉ／Ｆ
１００ 仮想空間
１５０ ドロ－ン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21A】

【図21B】

【図22】