特許 7228443 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-15

(45)【発行日】2023-02-24

(54)【発明の名称】監視システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230216BHJP

   H04N 7/18 20060101ALI20230216BHJP

   H04N 23/695 20230101ALI20230216BHJP

【ＦＩ】

H04N23/60

H04N7/18 E

H04N7/18 D

H04N23/698

【請求項の数】 5

(21)【出願番号】P 2019064712

(22)【出願日】2019-03-28

(65)【公開番号】P2020167477

(43)【公開日】2020-10-08

【審査請求日】2022-02-14

(73)【特許権者】

【識別番号】302060926

【氏名又は名称】株式会社フジタ

(74)【代理人】

【識別番号】100089875

【弁理士】

【氏名又は名称】野田 茂

(72)【発明者】

【氏名】山口 瞳

(72)【発明者】

【氏名】関原 弦

(72)【発明者】

【氏名】久保田 善経

【審査官】吉田 千裕

(56)【参考文献】

【文献】国際公開第２０１５／００４７３９（ＷＯ，Ａ１）

【文献】特開２０１７－１０３５６４（ＪＰ，Ａ）

【文献】特開２００２－３６０５６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６９８

(57)【特許請求の範囲】

【請求項1】

構造物を監視する監視システムであって、
前記構造物を自動巡回する移動体と、
前記移動体に取り付けられたカメラと、
前記カメラで撮影された画像をネットワーク上の記憶装置に記録する記録部と、
前記記憶装置にアクセス可能な情報端末と、
前記カメラにおける画像撮影のフレームレートを制御する撮影制御部と、を備え、
前記撮影制御部は、前記カメラの撮影範囲内における物体の密度に基づいて、前記フレームレートを変更し、
前記移動体は、前記構造物を予め定められた経路で自動巡回しており、
前記撮影制御部は、今回巡回時における前記物体の密度と、前回巡回時における前記物体の密度の差が所定以上の箇所の前記フレームレートを大きくする、
ことを特徴とする監視システム。

【請求項2】

前記撮影制御部は、超音波センサを用いて前記撮影範囲の前記物体との距離および前記物体の形状を検出して前記物体の密度を推定する、
ことを特徴とする請求項１記載の監視システム。

【請求項3】

前記移動体は回転翼機である、
ことを特徴とする請求項１または２記載の監視システム。

【請求項4】

前記移動体は多足ロボットである、
ことを特徴とする請求項１または２記載の監視システム。

【請求項5】

前記カメラは全方位カメラあるいは全天球カメラである、
ことを特徴とする請求項１から４のいずれか１項記載の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、構造物を監視する監視システムに関する。

【背景技術】

【0002】

従来、建設現場などで周辺環境を遠隔地から監視する監視システムが提案されている。
例えば、下記特許文献１は、構造物の点検装置であって、構造物表面における不良の有無を点検する。無線操縦式の回転翼機には、構造物表面の画像を連続的に撮影するカメラが搭載されている。カメラで撮影された画像は、管理端末に送信され、処理部で画像を画像解析して、構造物に不良があるか否かを判定する。構造物に不良がある場合、表示部に当該不良を構造物上の位置とともに表示する。
また、下記特許文献２は、ビデオカメラを搭載した走行玩具の移動速度の変化が大きい場合にも、見ている者が違和感を覚えないスムーズな映像を提示するために、走行玩具に搭載されたビデオカメラの撮影条件を制御するビデオカメラ制御装置が、走行玩具の速度が所定速度よりも速いときには、速度が所定速度よりも遅いときよりもビデオカメラのフレームレートを高くするように構成する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１９４０６９号公報

【文献】特開２００９－０００１５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、カメラで動画を撮る際には、フレームレート（ＦＰＳ：Ｆｉｌｅ Ｐｅｒ Ｓｅｃｏｎｄ）を一定で撮影する。すなわち、時間軸に沿って線型にデータが蓄積される仕組みとなっている。
上記特許文献１のようなシステムで移動体が停止した場合、同一の画像であるにも関わらずデータが増え続ける。記録データが多くなると、これらデータを検索する場合や利活用する場合に無駄な処理が増加するという問題点がある。
また、移動体に取り付けたカメラで画像を取得する際、環境によってはブレなどで鮮明な画像が取得できない可能性がある。例えば、移動体が急カーブした場合などは、動きの早さにより撮影漏れが生じる。
上記特許文献２では、移動体（走行玩具）の速度に基づいてフレームレートを調整しているが、構造物等の監視システムでは、例えばあまり重要ではない箇所は移動体の走行速度を上げて監視の所要時間を短縮するなどの制御が考えられる。よって、構造物の監視システムに上記特許文献２を適用しても十分な効果が得られない可能性がある。
本発明は、このような事情に鑑みなされたものであり、その目的は、移動体に設置されたカメラを用いて構造物を監視するに当たり、重複データを減らしつつ重要な箇所の画像の画質を向上させることにある。

【課題を解決するための手段】

【0005】

上述の目的を達成するため、請求項１の発明にかかる監視システムは、構造物を監視する監視システムであって、前記構造物を自動巡回する移動体と、前記移動体に取り付けられたカメラと、前記カメラで撮影された画像をネットワーク上の記憶装置に記録する記録部と、前記記憶装置にアクセス可能な情報端末と、前記カメラにおける画像撮影のフレームレートを制御する撮影制御部と、を備え、前記撮影制御部は、前記カメラの撮影範囲内における物体の密度に基づいて、前記フレームレートを変更する、ことを特徴とする。
請求項２の発明にかかる監視システムは、前記撮影制御部は、前記カメラの撮影範囲内における前記物体の密度が大きいほど前記フレームレートを大きくする、ことを特徴とする。
請求項３の発明にかかる監視システムは、前記移動体は、前記構造物を予め定められた経路で自動巡回しており、前記撮影制御部は、今回巡回時における前記物体の密度と、前回巡回時における前記物体の密度の差が所定以上の箇所の前記フレームレートを大きくする、ことを特徴とする。
請求項４の発明にかかる監視システムは、前記撮影制御部は、超音波センサを用いて前記撮影範囲の前記物体との距離および前記物体の形状を検出して前記物体の密度を推定する、ことを特徴とする。
請求項５の発明にかかる監視システムは、前記移動体は回転翼機である、ことを特徴とする。
請求項６の発明にかかる監視システムは、前記移動体は多足ロボットである、ことを特徴とする。
請求項７の発明にかかる監視システムは、前記カメラは全方位カメラあるいは全天球カメラである、ことを特徴とする。

【発明の効果】

【0006】

請求項１の発明によれば、監視対象物である構造物の画像を、任意の場所にある情報端末から参照することができ、監視業務の効率を向上させることができる。また、撮影範囲内における物体の密度に基づいて撮影時のフレームレートを変更するので、画像の特徴に合わせてフレームレートを変更することができ、重要度が低い箇所の画像のデータ量を低減しつつ、重要度が高い箇所の画像を高品質で撮影することができる。
請求項２の発明によれば、物体の密度が大きいほどフレームレートを大きくするので、確認すべき箇所が多いと考えられる画像をより高品質に撮影することができ、例えば拡大等をした場合でも鮮明な画像を得ることができる。
請求項３の発明によれば、移動体が同一の経路をくり返し巡回する場合において、今回巡回時における物体の密度と、前回巡回時における物体の密度の差が所定以上の箇所の前記フレームレートを大きくするので、作業の実施等により状況が変化した箇所を高品質で撮影することができ、監視の実効性を向上させることができる。
請求項４の発明によれば、超音波センサを用いて効率的かつ精度よく物体の密度を推定することができる。
請求項５の発明によれば、移動体が回転翼機なので、高所の画像を鮮明に撮影することができる。
請求項６の発明によれば、移動体が多足ロボットなので、例えば連続的に接地して走行する車輪やクローラと比較して、不整形地や障害物（段差など）が多い環境において振動によるブレが生じることなく、より鮮明な画像を得ることができる。
請求項７の発明によれば、カメラが全方位カメラあるいは全天球カメラなので、１度の撮影で広範囲の画像を得ることができ、撮影効率を向上させることができる。

【図面の簡単な説明】

【0007】

【図1】実施の形態にかかる監視システム１０の構成を示す図である。

【図2】移動体１２の構成を示すブロック図である。

【図3】撮影画像中における物体の密度を模式的に示す説明図である。

【図4】移動体１２における画像撮影処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、本発明にかかる監視システムの好適な実施の形態を詳細に説明する。
図１は、実施の形態にかかる監視システム１０の構成を示す図である。
監視システム１０は、移動体１２、記憶装置１４、情報端末１６を備え、これらはネットワークを介して接続されている。
監視システム１０は、監視対象物（例えば構造物の建設現場）をそこから離れた地点（以下「遠隔地」という）から監視するためのシステムである。本実施の形態では、監視対象物となる構造物を建設中の倉庫とする。なお、監視対象物となる構造物は、ダム等の屋外施設であってもよく、また建設完了して運営中の施設等であってもよい。

【0009】

より詳細には、監視システム１０は、移動体１２に取り付けられたカメラ１２２（図２参照）で撮影された建設現場の画像をクラウド上の記憶装置１４に記録する。記憶装置１４に記録された画像は、建設現場内で使用されるタブレット１６Ａや、現場から離れた建設会社の事務所で使用されるコンピュータ１６Ｂなどの情報端末１６から閲覧可能である。すなわち、情報端末１６は、記憶装置１４にアクセス可能である。
よって、例えば建設現場の作業責任者等が、建設現場の状況（建設作業の進捗状態）を実際に現場に行くことなく確認することができ、建設作業の効率を向上させることができる。

【0010】

移動体１２は、監視対象となる構造物を自動巡回する。本実施の形態では、移動体１２は台車型ロボットであり、予め定められた構造物内の経路（通路）を、予め定められたタイミング（時刻など）で自動巡回する。台車型ロボットの移動機構としては、図示した車輪の他、クローラなどを用いることができ、特に不整形地などを走行する場合に有利である。
なお、移動体１２として自立飛行を行う回転翼機（ドローン）を用いてもよい。監視対象物の天井が高い場合や監視対象物の高所に重要な構造がある場合などは、移動体１２として回転翼機を用いることにより、確認したい箇所をより大きく撮影することができる。
また、移動体１２として多足ロボットを用いてもよい。多足ロボットは、４足や６足、２本などの複数本の足を有し、自立歩行が可能である。移動体１２として多足ロボットを用いることにより、例えば連続的に接地して走行する車輪やクローラと比較して、不整形地や障害物（段差など）が多い環境において振動によるブレが生じることなく、より鮮明な画像を得ることができる。

【0011】

図２は、移動体１２の構成を示すブロック図である。
移動体１２は、超音波センサ１２０、カメラ１２２、処理部１２４、送信部１２９を備える。
超音波センサ１２０は、移動体１２周辺に位置する物体までの距離および物体の表面形状を検知する。超音波センサ１２０は、移動体１２周辺に超音波を送信し、物体に反射した反射波を受信するまでの時間に基づいて物体までの距離を検出する。また、物体の表面上の各点までの距離を検出することによって、物体の表面形状を検出することができる。
このように物体までの距離および物体の形状を検知するのは、後述する撮影制御部１２６で移動体１２周辺に位置する物体の密度を推定するためである。
なお、物体までの距離等を計測するセンサは超音波センサ１２０に限らず、例えば赤外線センサやレーザセンサなど、従来公知の様々なセンサを適用可能である。また、カメラ１２２の撮影画像（またはカメラ１２２とは別に設けたカメラの撮影画像）を画像解析することにより、移動体１２周辺の物体の密度を検出してもよい。

【0012】

カメラ１２２は、移動体１２周辺の画像を撮影する。本実施の形態では、カメラ１２２として全方位カメラあるいは全天球カメラを用いるものとする。これにより、１台のカメラで移動体１２周辺の全方位を撮影することができ、効率的である。カメラ１２２として全方位カメラあるいは全天球カメラを用いる場合、カメラ１２２を台車本体から外側に延在するアームに設置すれば、構造物の床面も撮影範囲に含むことができる。
なお、カメラ１２２として半球カメラや通常の（全方位ではない）カメラを複数台用いたり、パン／チルト／ズーム機能を有するＰＴＺカメラ１２２を用いて全方位を撮影範囲とするなどしてもよい。

【0013】

処理部１２４は、ＣＰＵ、制御プログラムなどを格納・記憶するＲＯＭ、制御プログラムの作動領域としてのＲＡＭ、各種データを書き換え可能に保持するＥＥＰＲＯＭ、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成される。
処理部１２４は、上記ＣＰＵが上記制御プログラムを実行することにより、撮影制御部１２６および移動制御部１２８を実現する。

【0014】

撮影制御部１２６は、カメラ１２２における画像撮影のフレームレートを制御する。ここで、撮影制御部１２６は、カメラ１２２の撮影範囲内における物体の密度に基づいて、フレームレートを変更する。ここで、物体の密度とは単位空間当たりの物体の量である。本実施の形態では、撮影制御部１２６は、カメラ１２２の撮影範囲内における物体の密度が大きいほどフレームレートを大きくする。これは、一般に画像中の物体の密度が大きいほど、画像上で確認すべき点が多くなると考えられ、より高画質で撮影することが望まれるためである。

【0015】

図３は、撮影画像中における物体の密度を模式的に示す説明図である。
図３の各図は、通路３００を走行する移動体１２のカメラ１２２によって、フレーム３０２Ａおよび仕切り板３０２Ｂを備え、収容空間３０２Ｃを形成するラックが設けられている方向を撮影した画像を示している。
図３Ａは、収容空間３０２Ｃが空のラックを比較的近い位置から撮影した画像である。この場合、画像内にはフレーム３０２Ａおよび仕切り板３０２Ｂがそれぞれ１つずつ映っているのみであり、物体の密度は比較的低いと言える。
一方、図３Ｂは、収容空間３０２Ｃに荷物３０４が詰められたラックを比較的遠い位置から撮影した画像である。この場合、画像内にはフレーム３０２Ａ、２つの仕切り板３０２Ｂ、多数の荷物３０４が映っており、物体の密度は比較的高いと言える。
撮影制御部１２６は、図３Ａのような場合にはフレームレートを相対的に低く、図３Ｂのような場合にはフレームレートを相対的に高くする。これにより、監視すべき箇所が少ない領域におけるデータ量を少なくする一方で、監視すべき箇所が多い領域では高画質の画像を得ることができる。

【0016】

なお、物体の密度は、例えば物体との距離と物体の表面形状の凹凸とに基づいて推定する。このような密度の推定方法の考え方は、例えば監視対象物の属性などにより異なると考えられるが、一例としては、物体との距離が遠いほど、画像上での物体の大きさが小さくなり、また１つの画像上に映る物体の個数（または面積）が大きくなるので、高画質で撮影する必要がある。
また、特に人工的な構造物では、超音波センサ１２０で検出した表面形状の凹凸が大きいほど、その箇所に多くの物体が存在している可能性があり（物体の密度が高く）、高画質で撮影する必要がある。例えば、構造物内で作業が完了した箇所と作業中の箇所とを比較した場合、作業が完了した箇所では壁面等の凹凸が少ない設備が形成されると考えられるが、作業中の箇所では例えば壁面内部の断熱材等がむき出しになっていたり、これから取り付ける資材が置かれていたり、作業用の機材が置かれていたりする場合がある。そして、監視システム１０を用いて作業の進捗を確認するという目的に照らせば、作業が完了した箇所よりも作業中の箇所がより重要となり、高画質で撮影する必要がある。
よって、一例としては、ある領域（所定時間後の撮影範囲）における物体との距離の積算値×物体の表面形状の変化量（凹凸）の積算値が大きいほど、物体の密度が大きいと判断し、画像撮影時のフレームレートを高くする。

【0017】

なお、カメラ１２２が全方位カメラあるいは全天球カメラの場合、移動体１２の進行方向側に位置する物体については、移動体１２がその物体に最接近した際の画像を用いて監視するのが、良好な画質で確認できるので効率的である。また、移動体１２の進行方向と反対側に位置する物体については、既に移動体１２が移動してきた経路上にあるので、既に撮影されていると考えられる。すなわち、全方位カメラあるいは全天球カメラで撮影した画像のうち、実質的に利用するのは移動体１２の側面、上面および下面方向の画像となる。
よって、撮影制御部１２６は、移動体１２の進行方向側および進行方向反対側の物体の密度は考慮せず、移動体１２の進行方向と直交する方向（側面、上面および下面）に位置する物体の密度に基づいてフレームレートを変更してもよい。

【0018】

また、例えば移動体１２の本体において、超音波センサ１２０を進行方向先頭側に、カメラ１２２を進行方向後方側に、それぞれ設置すれば、所定時間後（ｎ秒後など）にカメラ１２２の撮影範囲となる領域の物体の状態を超音波センサ１２０で検知し、フレームレートを調整した上でカメラ１２２で撮影を行うことができるので、効率的である。

【0019】

移動制御部１２８は、監視対象領域（構造物）における移動体１２の移動を制御する。移動制御部１２８は、予め設定された巡回経路に沿って移動体１２が移動するよう移動体１２の移動機構（車輪など）を駆動する。
なお、移動体１２には、例えば図示しない加速度センサやジャイロセンサが設けられている。例えば加速度センサの検出値によって移動体１２の停止、前進、後退の状態が検知可能となり、ジャイロセンサの検出値によって移動体１２の左右の転回状態が検知可能となる。
例えば監視対象領域（構造物）内には、例えばその位置の位置情報を記憶したＩＣタグなどが設置されており、移動制御部１２８は、ＩＣタグから得た位置情報と、巡回経路の位置情報とを照合することにより、移動体１２の進行方向を決定する。また、例えば監視対象領域が屋外にある場合などは、ＧＰＳ衛星から送信されるＧＰＳ信号を用いて移動体１２の現在位置を認識するようにしてもよい。

【0020】

移動体１２が監視対象物（構造物）内を予め定められた経路で自動巡回している場合、撮影制御部１２６は、今回巡回時における物体の密度と、前回巡回時における物体の密度の差が所定以上の箇所のフレームレートを大きくするようにしてもよい。すなわち、前回巡回時から物体の密度に変更がない箇所は、前回巡回時以降に作業が行われておらず、画像的に変化がない可能性が高い。一方、前回巡回時から物体の密度に変更がある箇所は、前回巡回時以降に作業が行われ、画像的に変化している可能性がある。
このような箇所でフレームレートを上げて高品質な画像を撮影することにより、監視の実効性を向上させることができる。

【0021】

送信部１２９は、例えばＷｉ－Ｆｉ（登録商標）などにより構内のゲートウェイに接続し、ゲートウェイを介してインターネットなどのネットワークに接続する。そして、ネットワーク上の記憶装置１４に送信し、記憶装置１４に撮影画像が格納されるようにする。すなわち、送信部１２９は、カメラ１２２で撮影された画像をネットワーク上の記憶装置１４に記録する記録部として機能する。
なお、送信部１２９は、例えばカメラ１２２での撮影中（巡回中）逐次撮影画像を送信してもよいし、巡回が終了してからまとめて今回巡回時の画像を送信するようにしてもよい。

【0022】

図４は、移動体１２における画像撮影処理の手順を示すフローチャートである。
例えば予め定められた巡回開始時間になると、移動制御部１２８は移動体１２を巡回経路上に移動させる。移動体１２は、巡回経路上を移動しながら以下の処理を逐次行う。
まず、超音波センサ１２０で移動体１２周辺（所定時間後の撮影範囲）の物体までの距離および物体の形状を検出する（ステップＳ４００）。撮影制御部１２６は、超音波センサ１２０の検出値に基づいて、当該領域における物体の密度を推定し（ステップＳ４０２）、物体の密度に基づいて撮影時のフレームレートを決定する（ステップＳ４０４）。
カメラ１２２の撮影範囲が当該領域まで移動すると、撮影制御部１２６はカメラ１２２のフレームレートをステップＳ４０４で決定した値に設定し、カメラ１２２は周辺の画像を撮影する（ステップＳ４０６）。送信部１２９は、ステップＳ４０６で撮影された画像のデータを記憶装置１４へと送信する（ステップＳ４０８）。
記憶装置１４へと送信された画像は、情報端末１６により適宜参照可能となる。

【0023】

以上説明したように、実施の形態にかかる監視システム１０によれば、監視対象物である構造物の画像を、任意の場所にある情報端末１６から参照することができ、監視業務の効率を向上させることができる。
また、監視システム１０によれば、撮影範囲内における物体の密度に基づいて撮影時のフレームレートを変更するので、画像の特徴に合わせてフレームレートを変更することができ、重要度が低い箇所の画像のデータ量を低減しつつ、重要度が高い箇所の画像を高品質で撮影することができる。
また、監視システム１０によれば、物体の密度が大きいほどフレームレートを大きくするので、確認すべき箇所が多いと考えられる画像をより高品質に撮影することができ、例えば拡大等をした場合でも鮮明な画像を得ることができる。
また、監視システム１０によれば、移動体１２が同一の経路をくり返し巡回する場合において、今回巡回時における物体の密度と、前回巡回時における物体の密度の差が所定以上の箇所の前記フレームレートを大きくするので、作業の実施等により状況が変化した箇所を高品質で撮影することができ、監視の実効性を向上させることができる。
また、監視システム１０において、超音波センサ１２０を用いることにより効率的かつ精度よく物体の密度を推定することができる。
また、監視システム１０において、移動体１２を回転翼機とすれば、高所の画像を鮮明に撮影することができる。
また、監視システム１０において、移動体１２を多足ロボットとすれば、例えば連続的に接地して走行する車輪やクローラと比較して、不整形地や障害物（段差など）が多い環境において振動によるブレが生じることなく、より鮮明な画像を得ることができる。
また、監視システム１０において、カメラ１２２を全方位カメラあるいは全天球カメラとすれば、１度の撮影で広範囲の画像を得ることができ、撮影効率を向上させることができる。

【符号の説明】

【0024】

１０ 監視システム
１２ 移動体
１２０ 超音波センサ
１２２ カメラ
１２４ 処理部
１２６ 撮影制御部
１２８ 移動制御部
１２９ 送信部
１４ 記憶装置
１６ 情報端末

【図1】

【図2】

【図3】

【図4】