特開 2024-25909 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024025909

(43)【公開日】2024-02-28

(54)【発明の名称】監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240220BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022129273

(22)【出願日】2022-08-15

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(72)【発明者】

【氏名】田島 将太

(72)【発明者】

【氏名】佐治 恒士郎

(72)【発明者】

【氏名】港 智史

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA05

5C054EA07

5C054FC12

5C054FD03

5C054FE05

5C054FE13

5C054FE14

5C054FE23

5C054GB02

5C054GD03

5C054HA19

(57)【要約】

【課題】監視領域内の対象物を簡便かつ適切に監視できる監視システムを提供する。
【解決手段】監視システム１は、監視領域Ｒに位置する対象物２を監視端末１０によって監視する監視システムであって、監視領域Ｒに位置する環境センサ３及び通信端末４の少なくとも一方から対象物２に関する仮想化用情報を取得する取得部３１と、仮想化用情報に基づいて、静的対象物を仮想化した静的オブジェクト及び動的対象物を仮想化した動的オブジェクトを含む監視領域Ｒの仮想空間を生成する生成部３２と、監視端末１０から仮想空間Ｖにおける任意の視点位置の入力を受け付ける受付部３３と、視点位置から見た仮想空間Ｖの画像を監視端末１０に出力する出力部３４と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

監視領域に位置する対象物を監視端末によって監視する監視システムであって、
前記監視領域に位置する環境センサ及び通信端末の少なくとも一方から前記対象物に関する仮想化用情報を取得する取得部と、
前記仮想化用情報に基づいて、静的対象物を仮想化した静的オブジェクト及び動的対象物を仮想化した動的オブジェクトを含む前記監視領域の仮想空間を生成する生成部と、
前記監視端末から前記仮想空間における任意の視点位置の入力を受け付ける受付部と、
前記視点位置から見た前記仮想空間の画像を前記監視端末に出力する出力部と、を備える監視システム。

【請求項2】

前記仮想化用情報は、前記対象物の動作情報を含み、
前記生成部は、前記動的オブジェクトの動作を可視化した拡張オブジェクトを前記動的オブジェクトに重畳する請求項１記載の監視システム。

【請求項3】

前記生成部は、前記静的対象物の位置に基づく重点監視エリアを可視化した補助オブジェクトを前記静的オブジェクトに重畳する請求項１記載の監視システム。

【請求項4】

前記生成部は、前記仮想化用情報の時間的な差分に基づいて、前記対象物が前記静的対象物であるか前記動的対象物であるかを判断する請求項１記載の監視システム。

【請求項5】

前記受付部は、前記監視端末から前記対象物の動作を制御する制御情報を受け付け、
前記出力部は、前記制御情報に基づいて、前記対象物の動作を制御する請求項１記載の監視システム。

【請求項6】

前記環境センサ及び前記通信端末からの前記仮想化用情報を集約するサーバを更に備え、
前記取得部は、ネットワークを介して前記サーバから前記仮想化用情報を取得する請求項１記載の監視システム。

【請求項7】

前記対象物は、産業車両を含む請求項１～６のいずれか一項記載の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、監視システムに関する。

【背景技術】

【0002】

特許文献１には、車両の自動走行用の詳細地図を生成する外界認識システムが記載されている。この外界認識システムでは、車載カメラの撮影画像と路上カメラの撮影画像とを合成処理することで、車載カメラの死角領域をなくした合成画像を作成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－２６８５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

監視領域に配置された対象物の監視に特許文献１に記載の技術を適用する場合、対象物に搭載されたカメラの視点で見た合成画像が生成されることとなる。この場合、監視領域の視点が限定的となってしまうおそれがある。一方で、監視領域の視点の拡張にあたって設置するカメラを単純に追加していくと、監視すべき映像が増えて適切な監視が難しくなると共に、監視に要するコストも増大してしまうことが懸念される。

【0005】

本開示では、上記課題の解決のためになされたものであり、監視領域内の対象物を簡便かつ適切に監視できる監視システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一側面に係る監視システムは、監視領域に位置する対象物を監視端末によって監視する監視システムであって、監視領域に位置する環境センサ及び通信端末の少なくとも一方から対象物に関する仮想化用情報を取得する取得部と、仮想化用情報に基づいて、静的対象物を仮想化した静的オブジェクト及び動的対象物を仮想化した動的オブジェクトを含む監視領域の仮想空間を生成する生成部と、監視端末から仮想空間における任意の視点位置の入力を受け付ける受付部と、視点位置から見た仮想空間の画像を監視端末に出力する出力部と、を備える。

【0007】

この監視システムでは、対象物の仮想化用情報に基づいて仮想空間が生成され、仮想空間では、監視領域内の静的対象物及び動的対象物が静的オブジェクト及び動的オブジェクトとして表現される。監視端末では、任意の視点位置から見た静的オブジェクト及び動的オブジェクトの配置や動き等を把握できるため、監視領域に設置するカメラを増加させることなく、監視領域に位置する実際の対象物を任意の視点位置から把握できる。したがって、この監視システムでは、監視領域内の対象物を簡便かつ適切に監視できる。

【0008】

仮想化用情報は、対象物の動作情報を含んでいてもよい。生成部は、動的オブジェクトの動作を可視化した拡張オブジェクトを動的オブジェクトに重畳してもよい。この場合、動的オブジェクトの動作が可視化されるため、対象物の監視を一層簡便かつ適切に実施できる。

【0009】

生成部は、静的対象物の位置に基づく重点監視エリアを可視化した補助オブジェクトを静的オブジェクトに重畳してもよい。この場合、監視領域において、死角となり易い領域、監視者が立ち入り難い領域、通路が狭くて動的対象物の動作が妨げられ易い領域など、重点的に監視すべきエリア（重点監視エリア）が可視化される。したがって、対象物の監視を一層簡便かつ適切に実施できる。

【0010】

生成部は、仮想化用情報の時間的な差分に基づいて、対象物が静的対象物であるか動的対象物であるかを判断してもよい。この場合、個々の対象物の仮想化情報に依らずに対象物が静的対象物であるか動的対象物であるかを判断できる。したがって、簡単な処理で仮想空間の更新が可能となる。

【0011】

受付部は、監視端末から対象物の動作を制御する制御情報を受け付けてもよい。出力部は、制御情報に基づいて、対象物の動作を制御してもよい。この場合、監視者は、任意の視点位置から見た仮想空間の画像に基づいて、対象物の動作を制御する制御情報を入力することができる。したがって、監視結果に基づいて、対象物の動作を適切に制御することができる。

【0012】

監視システムは、環境センサ及び通信端末からの仮想化用情報を集約するサーバを更に備えていてもよい。取得部は、ネットワークを介してサーバから仮想化用情報を取得してもよい。この場合、監視領域に多数の対象物が存在する場合でも、仮想化用情報の集約を容易化できる。

【0013】

対象物は、産業車両を含んでいてもよい。この場合、例えば工場や倉庫といった監視領域において、監視者が立ち入ることなく安全に産業車両の走行等を監視できる。

【発明の効果】

【0014】

本開示によれば、監視領域内の対象物を簡便かつ適切に監視することができる監視システムを提供することができる。

【図面の簡単な説明】

【0015】

【図1】監視領域及び対象物の一例を示す図である。

【図2】監視システムの構成の一例を示すブロック図である。

【図3】視点位置から見た仮想空間の画像を示す図である。

【図4】別の視点位置から見た仮想空間の画像を示す図である。

【図5】更に別の視点位置から見た仮想空間の画像を示す図である。

【図6】仮想空間を生成する処理の一例を示すフローチャートである。

【図7】処理結果を出力する処理の一例を示すフローチャートである。

【図8】対象物の動作を制御する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、図面を参照しながら、本開示の一側面に係る監視システムの好適な実施形態について詳細に説明する。

【0017】

始めに、図１を参照して、本開示の一実施形態に係る監視システムが適用され得る監視領域及び監視領域に位置する対象物の具体例について説明する。図１は、監視領域及び対象物の一例を示す写真である。

【0018】

図１に示される監視領域Ｒは、監視システム１（図２参照）による監視が行われる領域であり、３次元の実空間である。監視領域Ｒは、例えば工場、物流倉庫、及び作業現場を含む。図１に示される例では、監視領域Ｒは物流倉庫である。監視領域Ｒには、監視システム１による監視の対象となる対象物２が含まれている。対象物２は、例えば建物、車両、及び人間を含む。車両は、例えばトラック及び産業車両を含む。産業車両は、例えば荷物等の搬送に用いられるフォークリフト又は牽引車、及び、ピッキング作業に用いられるオーダーピッカーである。産業車両は、限られた領域における作業に用いられる種別であればよく、上述した種別に限定されない。ここでは、対象物２として、建物１０１、空箱１０２、トラック１０３、産業車両１０４及び作業員１０５が例示されている。

【0019】

この監視領域Ｒでは、例えば物流倉庫内に設定された所定の停車位置にトラック１０３が停車し、トラック１０３の荷台が荷物の荷置位置として設定されている。産業車両１０４は、予め定められた荷受位置で荷物を受け取り、荷置位置まで該荷物を運搬する。監視領域Ｒ内には、作業員１０５が立ち入り、例えば物流倉庫内での作業又は保守を行っている。また、監視領域Ｒ内には、カメラ１０６が設置されている。カメラ１０６は、物流倉庫内の状況を撮像している。

【0020】

上述したような監視領域Ｒでは、例えば監視者がカメラ１０６からの画像又は映像を確認することで、対象物２の監視を行うことが考えられる。しかしながら、この場合、カメラ１０６の設置台数によっては監視領域Ｒの視点が限定的となるおそれがある。一方で、監視領域Ｒの視点の拡張にあたって、カメラ１０６の設置台数を単純に増加すると、監視すべき映像が増えて適切な監視が難しくなると共に、監視に要するコストが増大してしまうことが懸念される。本実施形態に係る監視システム１は、上記課題を鑑み、監視領域Ｒ及び対象物２を仮想化した仮想空間Ｖを用いることで、対象物２の監視を簡便かつ適切に行うシステムとして構築されている。以下、監視領域Ｒ内に配置されている要素と共に、監視システム１の構成について詳細に説明する。

【0021】

図２は、監視システム１の構成の一例を示すブロック図である。まず、監視領域Ｒ内に配置されている要素について説明する。図２に示されるように、監視領域Ｒ内には、複数の対象物２、複数の環境センサ３、及び複数の通信端末４が配置されている。対象物２は、上述したように、監視システム１による監視の対象となる物体である。対象物２は、監視領域Ｒ内において静止している静的対象物２ａと、監視領域Ｒ内を移動している動的対象物２ｂと、を含む。図１に示される例では、対象物２は、建物１０１、空箱１０２、トラック１０３、産業車両１０４、及び作業員１０５である。建物１０１、空箱１０２、停車しているトラック１０３は、静的対象物２ａとして判断される。監視領域Ｒ内を移動している産業車両１０４及び作業員１０５は、動的対象物２ｂとして判断される。監視システム１では、対象物２の状況により静的対象物２ａであるか動的対象物２ｂであるかが判断される。図１に示される例では、停車しているトラック１０３は、静的対象物２ａであるが、該トラック１０３が動き出した場合には、動的対象物２ｂとして判断され得る。対象物２が静的対象物２ａであるか、動的対象物２ｂであるかの判断の詳細については後述する。

【0022】

環境センサ３は、監視領域Ｒの環境を測定するための装置である。環境センサ３は、例えばカメラ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、及びレーダを含む。図１に示される例では、環境センサ３は、カメラ１０６である。

【0023】

通信端末４は、対象物２が有する情報通信可能な端末である。通信端末４は、例えば通信器、スマートフォン、及びタブレット端末である。図１に示される例では、通信端末４は、トラック１０３及び産業車両１０４に設けられた通信器、及び作業員１０５が有するスマートフォンである。

【0024】

複数の環境センサ３及び複数の通信端末４は、仮想空間Ｖを定義するための情報を示す仮想化用情報を取得する。本実施形態では、複数の環境センサ３及び複数の通信端末４と集約サーバ２０とは、ネットワークＮ１を介して相互に情報通信可能に接続されている。仮想化用情報は、例えば地図情報、位置情報、サイズ情報、及び動作情報を含む。地図情報は、監視領域Ｒの地理的属性を示す情報である。地図情報は、例えば監視領域Ｒの地形と、監視領域Ｒ内の建物の位置及びサイズと、監視領域Ｒ内の通路の位置及びサイズと、を含む。位置情報は、対象物２の位置を示す情報である。サイズ情報は、対象物２のサイズを示す情報である。動作情報は、対象物２の動作を示す情報である。動作情報は、例えば対象物２の移動経路、目的地、速度、及びバッテリ状況を含む。対象物２の目的地は、例えば荷受位置及び荷置位置である。対象物２のバッテリ状況は、例えばバッテリ残量及び稼働残時間である。

【0025】

一例では、環境センサ３は、地図情報、対象物２についての位置情報を取得する。通信端末４は、自らを有する対象物２から該対象物２についての位置情報、サイズ情報、及び動作情報を取得する。複数の環境センサ３及び複数の通信端末４は、取得した仮想化用情報及び該仮想化用情報を取得した時刻を、ネットワークＮ１を介して集約サーバ２０へ送信する。

【0026】

続いて、監視システム１の構成について説明する。監視システム１は、監視端末１０、集約サーバ２０、及び仮想空間生成サーバ３０を備えている。

【0027】

監視端末１０は、監視システム１を利用する監視者が操作するコンピュータである。監視端末１０は、例えばパーソナルコンピュータ、スマートフォン、及びタブレット端末を含む。本実施形態では、監視端末１０と仮想空間生成サーバ３０とは、ネットワークＮ２を介して相互に情報通信可能に接続されている。監視端末１０では、監視者からの仮想空間生成サーバ３０への入力及び仮想空間生成サーバ３０が行う処理結果の表示がなされる。

【0028】

集約サーバ２０は、仮想化用情報を格納するためのサーバである。本実施形態では、集約サーバ２０と仮想空間生成サーバ３０とは、ネットワークＮ３を介して相互に情報通信可能に接続されている。集約サーバ２０では、複数の環境センサ３及び複数の通信端末４から送信された仮想化用情報と該仮想化用情報が取得された時刻とが紐付けられて格納されている。

【0029】

仮想空間生成サーバ３０は、仮想空間Ｖの生成及び仮想空間Ｖの画像の出力を行うサーバである。以下、仮想空間生成サーバ３０の機能要素について詳細に説明する。

【0030】

図２に示されるように、仮想空間生成サーバ３０は、機能要素として、取得部３１、生成部３２、受付部３３、及び出力部３４を備えている。

【0031】

取得部３１は、仮想化用情報を取得する部分である。上述したように、本実施形態では、集約サーバ２０と仮想空間生成サーバ３０とは、ネットワークＮ３を介して、相互に情報通信可能に接続されている。取得部３１は、ネットワークＮ３を介して集約サーバ２０から仮想化用情報を取得し、取得した仮想化用情報を生成部３２に出力する。

【0032】

生成部３２は、仮想空間Ｖを生成する部分である。生成部３２は、取得部３１から受け取った仮想化用情報に基づいて、静的オブジェクトＶａ及び動的オブジェクトＶｂを含む仮想空間Ｖを生成する。静的オブジェクトＶａは、静的対象物２ａを仮想化したオブジェクトである。動的オブジェクトＶｂは、動的対象物２ｂを仮想化したオブジェクトである。生成部３２は、既存の技術を用いて、仮想空間Ｖを生成する。既存の技術は、例えばグラフィック・レンダリングである。本実施形態では、生成部３２は、以下のようにして、仮想空間Ｖを生成する。

【0033】

まず、生成部３２は、取得部３１から受け取った仮想化用情報に基づいて、拡張オブジェクトＶｃを設定する。拡張オブジェクトＶｃは、対象物２の動作を可視化したオブジェクトである。本実施形態では、仮想化用情報のうち対象物２の動作情報に基づいて、拡張オブジェクトＶｃを設定する。したがって、本実施形態では、対象物２の動作情報に対応して、対象物２の移動経路、目的地、速度、及びバッテリ状況が拡張オブジェクトＶｃとして設定され得る。

【0034】

次に、生成部３２は、補助オブジェクトＶｄを設定する。補助オブジェクトＶｄは、静的対象物２ａの位置に基づく重点監視エリアを可視化したオブジェクトである。重点監視エリアは、監視領域Ｒにおいて重点的に監視すべきエリアである。重点監視エリアは、例えば監視領域Ｒにおいて死角となり易い領域、監視者が立ち入り難い領域、及び通路が狭く動的対象物２ｂの動作が妨げられ易い領域を含む。本実施形態では、重点監視エリアは、監視者によって予め定められており、監視端末１０に記憶されている。生成部３２は、ネットワークＮ２を介して監視端末１０から重点監視エリアを取得し、取得した重点監視エリアに基づいて補助オブジェクトＶｄを設定する。あるいは、生成部３２は、仮想化用情報のうち対象物２の位置情報及びサイズ情報に基づいて、重点監視エリアを新たに定め、定めた重点監視エリアに基づいて補助オブジェクトＶｄを設定してもよい。

【0035】

続いて、生成部３２は、対象物２の属性を判断する。本実施形態では、生成部３２は、対象物２が静的対象物２ａであるか動的対象物２ｂであるかを判断する。具体的には、まず、生成部３２は、前回の仮想空間生成時に利用した仮想化用情報を集約サーバ２０から取得する。次に、生成部３２は、前回の仮想化用情報と今回の仮想化用情報とを比較することで、仮想化用情報の時間的な差分を算出する。一例では、生成部３２は、環境センサ３が撮像した監視領域Ｒの画像同士を比較することで、対象物２の位置情報の差分を仮想化用情報の時間的な差分として算出する。

【0036】

次に、生成部３２は、算出した仮想化用情報の時間的な差分に基づいて、対象物２が、静的対象物２ａであるか動的対象物２ｂであるかを判断する。一例では、生成部３２は、前回の仮想空間生成時から監視領域Ｒ内での位置が変更されていない対象物２を静的対象物２ａであると判断し、前回の仮想空間生成時から監視領域Ｒ内での位置が変更されている対象物２を動的対象物２ｂであると判断する。

【0037】

生成部３２が、監視領域Ｒについての仮想空間Ｖを初めて生成する際には、上述した対象物２の属性の判断は行われない。この場合、生成部３２は、地図情報に基づいて、監視領域Ｒ内に位置する建物のみを静的対象物２ａとして判断して、建物以外の対象物２を動的対象物２ｂとして判断する。

【0038】

生成部３２は、仮想化用情報、拡張オブジェクトＶｃ、補助オブジェクトＶｄ、及び対象物２の属性に基づいて、仮想空間Ｖを生成する。一例では、まず、生成部３２は、仮想化用情報のうち地図情報に基づいて、監視領域Ｒの地形を仮想化した仮想空間Ｖを生成する。この時点では、仮想空間Ｖは監視領域Ｒを仮想化したのみであり、仮想空間Ｖには、静的オブジェクトＶａ及び動的オブジェクトＶｂは、配置されない。次に、生成部３２は、対象物２の属性に基づいて、静的対象物２ａのそれぞれを静的オブジェクトＶａとして仮想空間Ｖ内にそれぞれ配置し、動的対象物２ｂのそれぞれを動的オブジェクトＶｂとして仮想空間Ｖ内にそれぞれ配置する。この処理により、仮想空間Ｖは、監視領域Ｒ及び監視領域Ｒに位置する対象物２を仮想化した空間となる。

【0039】

続いて、生成部３２は、対応する静的オブジェクトＶａに補助オブジェクトＶｄを重畳し、対応する動的オブジェクトＶｂに拡張オブジェクトＶｃを重畳する。これにより、生成される仮想空間Ｖには、上述した対象物２の移動経路、目的地、速度、バッテリ状況、及び重点監視エリアなど、実空間上で視認することのできない情報が、静的オブジェクトＶａ及び動的オブジェクトＶｂに重畳して表現される。生成部３２は、仮想空間Ｖが生成されたことを示す情報を受付部３３に出力し、生成した仮想空間Ｖを出力部３４に出力する。

【0040】

受付部３３は、監視端末１０からの入力を受け付ける部分である。一例では、受付部３３は、任意の視点位置の受付及び対象物２の動作を制御する制御情報の受付を行う。以下では、まず、任意の視点位置の受付について説明する。受付部３３は、ネットワークＮ２を介して監視端末１０と相互に情報通信可能に接続されている。受付部３３は、生成部３２から仮想空間Ｖが生成されたことを示す情報を受け取ると、監視端末１０に視点位置の入力指示を表示する。本実施形態では、該入力指示を確認した監視者が監視端末１０に視点位置を入力する。監視端末１０は、入力された視点位置を受付部３３に送信する。受付部３３は、ネットワークＮ２を介して、監視端末１０から送信された視点位置を受け付ける。受付部３３は、受け付けた視点位置を出力部３４に出力する。

【0041】

次に、対象物２の動作を制御する制御情報の受付について説明する。制御情報の受付は、例えば仮想空間Ｖの画像を用いた監視において、監視者が対象物２に関する危険や異常を察知した場合に行われる。本実施形態では、受付部３３は、ネットワークＮ２を介して、監視者が監視端末１０に入力した制御情報を受け付ける。受付部３３は、受け付けた制御情報を出力部３４に出力する。制御情報は、例えば対象物２の移動経路、目的地、及び速度を含む。

【0042】

出力部３４は、処理結果を出力する部分である。一例では、出力部３４は、仮想空間Ｖの画像の出力及び対象物２の制御を行う。以下では、まず、仮想空間Ｖの画像の出力について説明する。出力部３４は、受付部３３から受け取った視点位置から見た仮想空間Ｖの画像を生成する。本実施形態では、出力部３４は、生成した画像を監視端末１０に出力する。出力部３４は、生成した画像を不図示のデータベースに格納してもよい。

【0043】

次に、制御情報の出力について説明する。出力部３４は、受付部３３から受け取った制御情報を対象物２に出力する。本実施形態では、まず、出力部３４は、受付部３３から受け取った制御情報を、ネットワークＮ３を介して、集約サーバ２０に送信する。次に、集約サーバ２０は、出力部３４から受け取った制御情報を、ネットワークＮ１を介して、対象物２に送信する。制御情報を受け取った対象物２は、制御情報に基づいて、自身の動作を制御する。出力部３４は、制御情報を対象物２に送信することで、該対象物２の動作を制御する。例えば、対象物２が受け取った制御情報が移動経路の変更であった場合には、対象物２は受け取った制御情報で移動経路を更新し、更新された移動経路に基づく移動を行う。

【0044】

図３を参照して、出力部３４が出力する仮想空間Ｖの画像の具体例について説明する。図３は、視点位置Ｅ１から見た仮想空間Ｖの画像Ｉ１を示す図である。視点位置Ｅ１は、図１に示される写真と同じ視点位置である。図３では、図１にて示される、建物１０１、空箱１０２、及び停車しているトラック１０３が静的オブジェクトＶａとして仮想空間Ｖ内にそれぞれ配置され、産業車両１０４及び作業員１０５が動的オブジェクトＶｂとして仮想空間Ｖ内にそれぞれ配置されている。また、産業車両１０４の移動経路及び荷置位置が拡張オブジェクトＶｃとして対応する動的オブジェクトＶｂに重畳され、トラック１０３の停車位置及び監視者が立ち入り難い領域が補助オブジェクトＶｄとして対応する静的オブジェクトＶａに重畳されている。一例では、拡張オブジェクトＶｃ及び補助オブジェクトＶｄは、監視端末１０により監視を行う監視者が認識し易いように、色付けされている。

【0045】

図４を参照して、出力部３４が出力する仮想空間Ｖの画像の別の例について説明する。図４は、別の視点位置Ｅ２から見た仮想空間Ｖの画像Ｉ２を示す図である。視点位置Ｅ２は、荷置位置に注目した視点である。視点位置Ｅ２は、積荷確認視点である。画像Ｉ２では、対象物２による荷置きが適切に行われているか否かが監視される。具体的には、荷置位置に荷物が正しく置かれているか否か、荷置位置にその他の対象物２が配置されていないか等が監視される。

【0046】

図５を参照して、出力部３４が出力する仮想空間Ｖの画像の更に別の例について説明する。図５は、更に別の視点位置Ｅ３から見た仮想空間Ｖの画像Ｉ３を示す図である。視点位置Ｅ３は、仮想空間Ｖを俯瞰する視点である。視点位置Ｅ３は、上面図での視点である。画像Ｉ３では、例えば重点監視エリア内に対象物２が位置していないかが監視される。画像Ｉ３では、拡張オブジェクトＶｃに基づいて、或る対象物２の移動経路中にその他の対象物２が位置していないかが監視されてもよい。

【0047】

図６、図７、及び図８を参照して、監視システム１の動作の一例について説明する。図６は、仮想空間Ｖを生成する処理の一例を処理フローＳ１として示すフローチャートである。図７は、仮想空間Ｖの画像を出力する処理の一例を処理フローＳ２として示すフローチャートである。図８は、対象物２の動作を制御する処理の一例を処理フローＳ３として示すフローチャートである。

【0048】

以下では、図６を参照して、仮想空間Ｖを生成する処理である処理フローＳ１について説明する。

【0049】

ステップＳ１１では、取得部３１が集約サーバ２０から仮想化用情報を取得する。ステップＳ１２では、生成部３２が拡張オブジェクトＶｃを設定する。ここでは、生成部３２は、仮想化用情報のうち対象物２の動作情報に基づいて、拡張オブジェクトＶｃを設定する。ステップＳ１３では、生成部３２が補助オブジェクトＶｄを設定する。ここでは、生成部３２は、重点監視エリアに基づいて、補助オブジェクトＶｄを設定する。

【0050】

ステップＳ１４では、生成部３２が前回取得された仮想化用情報との差分を算出する。ここでは、生成部３２は、環境センサ３が撮像した監視領域Ｒの画像同士を比較することで、対象物２の位置情報の差分を仮想化用情報の時間的な差分として算出する。また、仮想空間Ｖの初回生成時には、ステップＳ１４は省略される。

【0051】

ステップ１５では、生成部３２が仮想化用情報の時間的な差分に基づいて、対象物２の属性を判断する。ここでは、仮想化用情報の時間的な差分に基づいて、対象物２が、静的対象物２ａであるか動的対象物２ｂであるかを判断する。また、仮想空間Ｖの初回生成時には、生成部３２は、仮想化用情報のうち地図情報に基づいて、対象物２が、静的対象物２ａであるか動的対象物２ｂであるかを判断する。

【0052】

ステップＳ１６では、生成部３２が静的オブジェクトＶａ及び動的オブジェクトＶｂを含む仮想空間Ｖを生成する。ここでは、生成部３２は、拡張オブジェクトＶｃ及び補助オブジェクトＶｄを対応する動的オブジェクトＶｂ及び静的オブジェクトＶａに重畳して、仮想空間Ｖを生成する。

【0053】

以下では、図７を参照して、仮想空間Ｖの画像を出力する処理である処理フローＳ２について説明する。

【0054】

ステップＳ２１では、受付部３３が任意の視点位置を受け付ける。ここでは、受付部３３は、監視者が監視端末１０に入力した視点位置を、ネットワークＮ２を介して、受け付ける。ステップＳ２２では、出力部３４が受け付けた視点位置から見た仮想空間Ｖの画像を生成する。ステップＳ２３では、出力部３４が処理結果を出力する。ここでは、出力部３４は、生成した仮想空間Ｖの画像を監視端末１０に出力する。

【0055】

以下では、図８を参照して、対象物の動作を制御する処理である処理フローＳ３について説明する。

【0056】

ステップＳ３１では、受付部３３が制御情報を受け付ける。ここでは、受付部３３は、監視者が監視端末１０に入力した制御情報を、ネットワークＮ２を介して受け付ける。ステップＳ３２では、出力部３４が受け付けた制御情報に基づいて対象物２の動作を制御する。ここでは、出力部３４は、受け付けた制御情報を対象物２に出力することで、対象物２の動作を制御する。

【0057】

以上説明したように、監視システム１では、対象物２の仮想化用情報に基づいて仮想空間Ｖが生成され、仮想空間Ｖでは、監視領域Ｒ内の静的対象物２ａ及び動的対象物２ｂが静的オブジェクトＶａ及び動的オブジェクトＶｂとして表現される。監視端末１０では、任意の視点位置から見た静的オブジェクトＶａ及び動的オブジェクトＶｂの配置や動き等を把握できるため、監視領域Ｒに設置するカメラを増加させることなく、監視領域Ｒに位置する実際の対象物２を任意の視点位置から把握できる。したがって、この監視システム１では、監視領域Ｒ内の対象物２を簡便かつ適切に監視できる。

【0058】

監視システム１では、仮想化用情報は対象物２の動作情報を含んでいる。生成部３２は、動的オブジェクトＶｂの動作を可視化した拡張オブジェクトＶｃを動的オブジェクトＶｂに重畳する。この場合、動的オブジェクトＶｂの動作が可視化されるため、対象物２の監視を一層簡便かつ適切に実施できる。

【0059】

監視システム１では、生成部３２は、静的対象物２ａの位置に基づく重点監視エリアを可視化した補助オブジェクトＶｄを静的オブジェクトＶａに重畳する。この場合、監視領域Ｒにおいて、死角となり易い領域、監視者が立ち入り難い領域、通路が狭くて動的対象物２ｂの動作が妨げられ易い領域など、重点的に監視すべきエリア（重点監視エリア）が可視化される。したがって、対象物２の監視を一層簡便かつ適切に実施できる。

【0060】

監視システム１では、生成部３２は、仮想化用情報の時間的な差分に基づいて、対象物２が静的対象物２ａであるか動的対象物２ｂであるかを判断する。この場合、個々の対象物２の仮想化情報に依らずに対象物２が静的対象物２ａであるか動的対象物２ｂであるかを判断できる。したがって、簡単な処理で仮想空間Ｖの更新が可能となる。

【0061】

監視システム１では、受付部３３は監視端末１０から対象物２の動作を制御する制御情報を受け付け、出力部３４は制御情報に基づいて、対象物２の動作を制御する。この場合、監視者は、任意の視点位置から見た仮想空間Ｖの画像に基づいて、対象物２の動作を制御する制御情報を入力することができる。したがって、監視結果に基づいて、対象物２の動作を適切に制御することができる。

【0062】

監視システム１は、環境センサ３及び通信端末４からの仮想化用情報を集約する集約サーバ２０を備えている。取得部３１は、ネットワークＮ３を介して集約サーバ２０から仮想化用情報を取得する。この場合、監視領域Ｒに多数の対象物２が存在する場合でも、仮想化用情報の集約を容易化できる。

【0063】

監視システム１では、対象物２は、産業車両を含んでいる。この場合、例えば工場や倉庫といった監視領域Ｒにおいて、監視者が立ち入ることなく安全に産業車両の走行等を監視できる。

【0064】

以上、本開示の実施形態について説明してきたが、本開示は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

【0065】

取得部３１は、仮想化用情報の取得にあたって、必ずしも環境センサ３及び通信端末４の双方から仮想化用情報を取得しなくてもよい。すなわち、取得部３１は、環境センサ３及び通信端末４の少なくとも一方から仮想化用情報を取得してもよい。例えば、取得部３１が環境センサ３のみから仮想化用情報を取得する場合には、仮想化情報のうち、サイズ情報及び動作情報が集約サーバ２０に予め記憶されていてもよい。取得部３１は、環境センサ３から取得された画像を解析することによりサイズ情報を取得してもよい。例えば、取得部３１が通信端末４のみから仮想化用情報を取得する場合には、集約サーバ２０に地図情報が記憶されていてもよい。

【0066】

生成部３２は、仮想化用情報の時間的な差分を算出するにあたって、必ずしも前回の仮想空間生成時に利用した仮想化用情報を用いなくてもよい。この場合、生成部３２は、所定時間前の仮想空間生成時に利用した仮想化用情報と今回の仮想化用情報とを比較することで、仮想化用情報の時間的な差分を算出してもよい。所定時間は、監視領域Ｒ及び対象物２の性質に応じて変更され得る。例えば、対象物２が停止と移動とを短い時間間隔で繰り返す監視領域Ｒでは、所定時間は短く設定され得る。対象物２の移動が頻繁に行われない監視領域Ｒでは、所定時間は長く設定され得る。

【0067】

生成部３２は、環境センサ３が撮像した監視領域Ｒの画像に代えて、対象物２の動作情報を用いて、仮想化用情報の時間的な差分を算出してもよい。この場合、生成部３２は、各対象物２の速度を動作情報から取得し、取得した速度同士を比較することで、対象物２の速度変化を仮想化用情報の時間的な差分として算出してもよい。生成部３２は、対象物２の属性の判断にあたって、速度が「０」に変化した対象物２及び速度が「０」で固定されている対象物２を静的対象物２ａとして判断し、それ以外の対象物２を動的対象物２ｂとして判断してもよい。

【0068】

生成部３２は、監視領域Ｒ内に配置されている建物について、対象物２の属性の判断を省略してもよい。時間の経過によって、監視領域Ｒ内における建物の位置が変更される可能性は極めて低い。そのため、生成部３２は、地図情報に含まれる建物については、その属性を判断することなく、該建物を静的対象物２ａと判断してもよい。この場合、仮想空間Ｖを生成するための処理の負荷を低減することができる。

【0069】

出力部３４は、対象物２の動作を制御するにあたって、受付部３３から受け取った制御情報を対象物２に直接出力してもよい。すなわち、出力部３４は、ネットワークＮ１，Ｎ３及び集約サーバ２０を介さずに、制御情報を対象物２に出力してもよい。このような構成によれば、例えば対象物２を緊急停止させる等の迅速な対応が求められる場合においても、対象物２の動作を適切に制御することができる。

【0070】

監視システム１は、必ずしも集約サーバ２０を備えていなくてもよい。この場合、取得部３１が、個々の対象物２、環境センサ３、及び通信端末４から仮想化用情報をそれぞれ取得してもよい。

【0071】

本開示の要旨は、以下の［１］～［４］のとおりである。
［１］監視領域に位置する対象物を監視端末によって監視する監視システムであって、前記監視領域に位置する環境センサ及び通信端末の少なくとも一方から前記対象物に関する仮想化用情報を取得する取得部と、前記仮想化用情報に基づいて、静的対象物を仮想化した静的オブジェクト及び動的対象物を仮想化した動的オブジェクトを含む前記監視領域の仮想空間を生成する生成部と、前記監視端末から前記仮想空間における任意の視点位置の入力を受け付ける受付部と、前記視点位置から見た前記仮想空間の画像を前記監視端末に出力する出力部と、を備える監視システム。
［２］前記仮想化用情報は、前記対象物の動作情報を含み、前記生成部は、前記動的オブジェクトの動作を可視化した拡張オブジェクトを前記動的オブジェクトに重畳する［１］記載の監視システム。
［３］前記生成部は、前記静的対象物の位置に基づく重点監視エリアを可視化した補助オブジェクトを前記静的オブジェクトに重畳する［１］又は［２］記載の監視システム。
［４］前記生成部は、前記仮想化用情報の時間的な差分に基づいて、前記対象物が前記静的対象物であるか前記動的対象物であるかを判断する［１］～［３］のいずれか記載の監視システム。
［５］前記受付部は、前記監視端末から前記対象物の動作を制御する制御情報を受け付け、前記出力部は、前記制御情報に基づいて、前記対象物の動作を制御する［１］～［４］のいずれか記載の監視システム。
［６］前記環境センサ及び前記通信端末からの前記仮想化用情報を集約するサーバを更に備え、前記取得部は、ネットワークを介して前記サーバから前記仮想化用情報を取得する［１］～［５］のいずれか記載の監視システム。
［７］前記対象物は、産業車両を含む［１］～［６］のいずれか記載の監視システム。

【符号の説明】

【0072】

１…監視システム、２…対象物、２ａ…静的対象物、２ｂ…動的対象物、３…環境センサ、４…通信端末、１０…監視端末、３１…取得部、３２…生成部、３３…受付部、３４…出力部、１０４…産業車両、Ｅ１，Ｅ２，Ｅ３…視点位置、Ｉ１，Ｉ２，Ｉ３…画像、Ｎ１…ネットワーク、Ｒ…監視領域、Ｖ…仮想空間、Ｖａ…静的オブジェクト、Ｖｂ…動的オブジェクト、Ｖｃ…拡張オブジェクト、Ｖｄ…補助オブジェクト。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】