特開 2024-179143 水環境リモートセンシング装置、水環境リモートセンシングシステム及びタイムラプス動画を生成する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179143

(43)【公開日】2024-12-26

(54)【発明の名称】水環境リモートセンシング装置、水環境リモートセンシングシステム及びタイムラプス動画を生成する方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241219BHJP

   G01F 23/292 20060101ALI20241219BHJP

【ＦＩ】

H04N7/18 D

G01F23/292 Z

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023097738

(22)【出願日】2023-06-14

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(71)【出願人】

【識別番号】000220675

【氏名又は名称】東京都下水道サービス株式会社

(71)【出願人】

【識別番号】500343371

【氏名又は名称】一般社団法人日本下水道光ファイバー技術協会

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】菊池 信彦

(72)【発明者】

【氏名】戸叶 勝則

(72)【発明者】

【氏名】土橋 昌郎

(72)【発明者】

【氏名】一色 充也

【テーマコード（参考）】

2F014

5C054

【Ｆターム（参考）】

2F014FA04

2F014GA10

5C054CA04

5C054CC02

5C054DA07

5C054DA09

5C054GB02

5C054HA37

(57)【要約】

【課題】水環境の監視に適切なタイムラプス動画を生成する。
【解決手段】センサノード１１０－１には、一定の時間間隔で画像撮影を行うカメラ１１１－１と水位センサ１１３－１が搭載されている。親局１０２－１は水位判定部１１４を備え、水位センサ１１３－１の測定する水位が上回った際にカメラ１１１－１の撮影間隔を短縮する。親局１０２－１はタイムラプス動画生成部１０５を備え、記憶装置１０６内部に蓄積された過去撮影画像からタイムラプス動画を生成する際に、撮影画像の撮影時刻ないしは撮影間隔情報を利用して、タイムラプス動画の各フレームの再生時刻が撮影時刻に均一、すなわち時間圧縮率が均一となるようなタイムラプス動画を生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

カメラを搭載した一つ以上のセンサノードと、
上位装置と、を含み、
前記センサノード又は前記上位装置は、前記カメラで撮影した撮影画像を利用してタイムラプス動画を生成する、水環境リモートセンシング装置。

【請求項2】

請求項１に記載の水環境リモートセンシング装置であって、
前記カメラは、撮影間隔を可変であり、
前記センサノード又は前記上位装置は、
前記撮影画像の撮影時刻又は撮影間隔情報を利用して前記タイムラプス動画を生成し、
生成された前記タイムラプス動画のフレーム画像の再生時刻の、前記撮影画像の撮影時刻に対する時間圧縮率が略均一である、水環境リモートセンシング装置。

【請求項3】

請求項２に記載の水環境リモートセンシング装置であって、
前記カメラを搭載したセンサノード又は他のセンサノードは、水環境を測定し、前記水環境の測定値が第一の規定値を越えた際に前記カメラの撮影間隔を短縮し、前記水環境の測定値が第二の規定値を下回った際に前記撮影間隔を延長する水環境リモートセンシング装置。

【請求項4】

請求項２に記載の水環境リモートセンシング装置であって、
前記カメラ、前記センサノード又は前記上位装置は、
前記撮影画像から水位又は流量を測定し、
測定した前記水位又は流量が第一の規定値を越えた際に前記カメラの撮影間隔を短縮し、測定した前記水位又は流量が第二の規定値を下回った際に前記撮影間隔を延長する、水環境リモートセンシング装置。

【請求項5】

請求項２に記載の水環境リモートセンシング装置であって、
前記センサノード又は前記上位装置は、
外部から水環境情報を受信し、
受信した前記水環境情報が示す値が第一の規定値を越えた際に前記カメラの撮影間隔を短縮し、受信した前記水環境情報が示す値が第二の規定値を下回った際に前記撮影間隔を延長する、水環境リモートセンシング装置。

【請求項6】

請求項２に記載の水環境リモートセンシング装置であって、
前記センサノード又は前記上位装置は、
撮影間隔短縮コマンドを外部から受信した際に前記カメラの撮影間隔を短縮し、撮影間隔延長コマンドを外部から受信した際に前記撮影間隔を延長する、水環境リモートセンシング装置。

【請求項7】

請求項２に記載の水環境リモートセンシング装置であって、
前記カメラ、前記センサノード又は前記上位装置は、
前記撮影画像を解析し、異常の検出中及び検出終了後の所定時間の間、前記カメラの撮影間隔を短縮する、水環境リモートセンシング装置。

【請求項8】

請求項２に記載の水環境リモートセンシング装置であって、
前記センサノード又は前記上位装置は、
前記カメラの撮影間隔に比例して再生時のフレームレートを変化させることで、前記フレーム画像の再生時刻が、前記撮影画像の撮影時刻に対する時間圧縮率が略均一な前記タイムラプス動画を生成し、
前記タイムラプス動画の特定フレームの再生時刻に対応した撮影画像が存在しない場合に、前後いずれかの直近撮影画像を複写することで前記タイムラプス動画を生成する、水環境リモートセンシング装置。

【請求項9】

請求項２に記載の水環境リモートセンシング装置であって、
前記タイムラプス動画は、固定フレームレート動画であり、
前記タイムラプス動画を構成する各フレーム画像は、前記タイムラプス動画の先頭からの再生時刻と前記タイムラプス動画の時間圧縮率の積で決まる撮影時刻の撮影画像、又は、該撮影時刻の前後いずれかの直近の撮影画像の複写である、水環境リモートセンシング装置。

【請求項10】

請求項２に記載の水環境リモートセンシング装置であって、
前記センサノード又は前記上位装置は、前記タイムラプス動画に含まれるフレーム画像に、撮影時刻、又は一つ以上の水環境の測定値及び測定時刻を文字列として焼きこむ、水環境リモートセンシング装置。

【請求項11】

請求項１に記載の水環境リモートセンシング装置であって、
前記センサノード又は前記上位装置は、
前記カメラによる撮影画像シーケンスから得られた撮影画像から、前記タイムラプス動画のフレーム画像を作成し、
前記タイムラプス動画におけるフレーム画像それぞれの、前記タイムラプス動画の先頭から再生時刻までの時間圧縮率の差が小さくなるように、前記フレーム画像それぞれの再生時刻を決定する、水環境リモートセンシング装置。

【請求項12】

請求項１１に記載の水環境リモートセンシング装置であって、
前記センサノード又は前記上位装置は、前記時間圧縮率の差が最小となるように、前記タイムラプス動画の固定又は可変フレームレートと前記フレーム画像それぞれの再生時刻との関係を決定する、水環境リモートセンシング装置。

【請求項13】

カメラを搭載した一つ以上のセンサノードと、
一つ以上の上位装置と、を含み、
前記一つ以上の上位装置は、ユーザの要求に応じて、過去の蓄積された撮影画像から、指定カメラの撮影画像を用いて指定時刻のタイムラプス動画を生成し、前記ユーザに返送する又はネットワーク経由での前記ユーザの閲覧を処理する、水環境リモートセンシングシステム。

【請求項14】

請求項１３に記載の水環境リモートセンシングシステムであって、
前記一つ以上の上位装置は、自動的に過去の蓄積された撮影画像から前記指定カメラの撮影画像を用いたタイムラプス動画を生成して、所定の場所に保存又はネットワーク経由で閲覧可能とする、水環境リモートセンシングシステム。

【請求項15】

水環境リモートセンシング装置が、タイムラプス動画を生成する方法であって、
前記水環境リモートセンシング装置は、水環境に設置されたカメラを含み、
前記方法は、前記水環境リモートセンシング装置が、
前記カメラで撮影した、撮影間隔が変化する過去の撮影画像を取得し、
前記撮影画像の撮影時刻又は撮影間隔情報を利用して前記タイムラプス動画を生成し、
生成された前記タイムラプス動画のフレーム画像の再生時刻は、前記撮影画像の撮影時刻に対する時間圧縮率が略均一である、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、水環境において利用されるカメラを用いたリモートセンシング装置、リモートセンシングシステム、及びタイムラプス動画の生成法に関するものである。

【背景技術】

【0002】

上下水道や水路・河川・湖沼などに代表される水環境領域においては、洪水防止や環境改善、汚染防止などの観点から水位や水質などのセンシングに対するニーズが高まっている。一般に水環境の特徴としては、測定対象となる地域や施設が広く、電源・通信ケーブル等へのアクセスが悪い、測定地点には水没や腐食のリスクがあるため情報機器の配置に適さない、作業員の立ち入りが困難などがあり、情報機器の配置に適さないケースが多い。このようなケースでは、観測地点にはセンサないしはセンサノードを配置し、遠方に配置した本体（親機）に対して測定結果を送信するリモートセンシングが利用される。

【0003】

このようなリモートセンシングで測定される水環境指標は、水位、水質（ｐＨ、濁度、塩分濃度、電気伝導度、各種イオン濃度等）、水温、流速、流量など目的に応じてさまざまである。近年では、水位、異物・侵入者の有無、構造物の異常などの監視を目的に、静止画や動画を取得するカメラも重要な監視手段であり、河川・港湾・堰などの監視に導入が進められている。

【0004】

図１は特開２０１４－７０９９８「流水監視装置」（特許文献１）に開示された、従来のカメラを搭載した水環境監視装置の構成例を示している。流水監視装置（本体ケース）３００は下水管中に設置されて長期間動作する装置であり、その主電源は内部のバッテリ３０８であり、本バッテリは下水の流れで発電を行う発電機３０９の起電力によって補助的に充電を行われている。バッテリに充電された電力は電源回路３０６を経て主ＣＰＵを搭載した主基板３０１及び低電力マイコン３０５に供給される。本監視装置にはセンサとして監視カメラ３０２と水位センサ３０７が搭載されており、測定した下水の水位や撮影画像は外部記憶媒体３０３に記録され、必要に応じて通信モジュール３０４から無線回線などを通じて外部に取り出すことが可能である。

【0005】

本監視装置はバッテリ及び下水の水力発電という限られた電力で動作するため、電力消費の大きい画像撮影の頻度を高めると短期間でバッテリを消費してしまい、装置稼働時間が短くなってしまう点が問題となる。このため通常は１時間間隔などの長い間隔で監視カメラ３０２を起動して下水管内の画像撮影を行い、撮影終了と共に主基板３０１ないしは監視カメラ３０２は電力を遮断して電力の節減を図る。一方、低電力マイコン３０５はより短い１０分間隔で起動して水位センサ３０７を用いて下水水位を観測し、降雨などで下水水位が所定の値を越えている際は主基板と監視カメラを起動して画像の撮影を行う。このように通常は１時間間隔、水位上昇の際は１０分間隔と画像の撮影頻度を動的に変更する方式が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４－７０９９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

カメラを用いた水環境の画像監視においては、前述のような動作電力以外にも、撮影画像の評価の負荷が急増し有効活用が困難となる点が大きな課題となる。撮影頻度を高めるほど詳細かつリアルタイム性の高い監視情報が得られるが、同時に撮影画像数は１０分間隔の撮影で１日あたり１４４枚、１分間隔であれば１日１４４０枚と増加する。このような大量の類似した画像を、逐一監視員が目視チェックする作業は所要時間的にも精神的にも負荷が大きく異常や変化の見逃しなどのミスも増加してしまう。このように撮影頻度を上げても、作業員の負荷が増すばかりで監視効率は必ずしも向上しない。

【0008】

またカメラを搭載したリモートセンシング装置で取得した大量の撮影画像をユーザが活用しやすい形態でリアルタイムに提供することも難しい点も課題となる。水環境における画像監視の目的としては、例えば「現在までの数時間の水位変動を知りたい」、「過去の特定の降雨時の水位の挙動を見たい」、「昨日１日の水環境施設の運転状況を俯瞰したい」などさまざまである。それぞれ該当期間に撮影した数１００～数１０００枚の画像を閲覧する必要があるが、大量の画像だけあってもそこから短時間でトレンドや状況変化を把握することは困難であり、ユーザ利便性が悪いという課題がある。

【課題を解決するための手段】

【0009】

上記に示す本発明の課題は、カメラを搭載した水環境リモートセンシング装置においてタイムラプス動画の生成機能を備えることによって解決できる。

【0010】

また電力節減や撮影効率化の目的で撮影間隔を可変できるカメラを搭載する場合、撮影頻度の変化によってタイムラプス動画の再生速度が不均一、すなわち時間圧縮率が不均一となってしまうが、これは各撮影画像の撮影時刻ないしは撮影間隔情報を利用してタイムラプス動画を生成する機能をもち、生成されたタイムラプス動画の各フレーム画像の再生時刻を撮影時刻に対して時間的に略均一、すなわち時間圧縮率を均一とすることによって解決できる。

【0011】

また前記のようなタイムラプス動画の再生速度（時間圧縮率）の均一化は、カメラを搭載したセンサノードないしは他のセンサノードが水位や水質などの水環境情報の測定機能を持ち、これらの測定値のいずれかがあらかじめ定めた第一の規定値を越えた際にカメラの撮影間隔を短縮し、またあらかじめ定めた第二の規定値を下回った際にカメラの撮影間隔を延長するような機構を持つ場合に特に有効となる。これは前記のカメラやセンサノードないしは上位装置が、カメラの画像から水位や流量を測定する画像処理機能を持ち測定した水位や流量に応じて測定間隔を可変する場合や、本装置が外部から水環境情報ないしは外部コマンドを受信する機能をもち、受信した水環境情報やコマンドに応じてカメラの撮影間隔を可変する場合、もしくはカメラないしはセンサノードないしは上位装置が撮影したカメラの画像を解析する画像処理機能を持ち、画像中に異物や異常画像を検出した際に異物の検出中及び検出終了後の予め定めた一定時間の間、撮影間隔を短縮する機能を持つ場合などについても同様である。

【0012】

また本発明で生成するタイムラプス動画の各フレーム画像の再生時刻を撮影時刻に対して均一とする手段としては、第一に静止画像の撮影間隔に比例して再生時のフレームレートを可変することで実現できる。ただし現実には、動画規格や再生アプリ等の制約によりフレームレートを完全に任意の値にすることはできないため、前記可変フレーム動画の生成時に各フレームに対してちょうど対応する撮影時刻の撮影画像が存在せず不足する場合には、前後直近時刻の画像を複写することで、また静止画像が過剰となる際には間引きを行うことで、再生時刻が撮影時刻に対して略均一、すなわち時間圧縮率が略均一なタイムラプス動画が生成できる。

【0013】

また第二の手法としては、生成するタイムラプス動画を固定フレームレート動画とし、動画を構成する各フレーム画像は動画の先頭からの再生時刻とタイムラプス動画の時間圧縮率の積で決まる撮影時刻の画像、ないしは当該撮影時刻の前後いずれかの直近の撮影画像を選択・複写することによっても実現できる。

【0014】

またタイムラプス動画を提供する際には各フレーム画像に撮影時刻、ないしは水環境情報の測定値とその測定時刻を文字列として焼きこむことによって、画像の撮影時刻や測定時間の認識しやすくなりその有効性が増す。

【0015】

また前述の課題のように本発明のセンシングシステムにおいては、ユーザの要望に応じて任意の場所・時間のタイムラプス動画を生成・提供することで撮影画像を有効に活用できる。このような動画の提供機構は、ネットワークないしは通信経路を介して送付されたユーザの要求に応じて、過去の蓄積された撮影画像から、指定カメラの撮影画像を用いて指定時刻のタイムラプス動画を生成し、要求したユーザに返送する機能ないしネットワーク経由で閲覧可能とすることで実現できる。また動画を構成する各フレーム画像の再生時刻が撮影時刻に対して略均一、すなわち時間圧縮率が略均一なタイムラプス動画を生成する機能を備え、所定ないしは指定の時間間隔で自動的に過去の蓄積された撮影画像から指定カメラの撮影画像を用いたタイムラプス動画を生成して、所定の場所に保存ないしはネットワーク経由で閲覧可能とすることでも達成できる。

【発明の効果】

【0016】

本発明では、水環境の監視カメラで得られた大量の画像をタイムラプス動画として提供することにより、撮影画像のチェックやトレンドの把握に要する時間を大幅に短縮し、作業者の負荷を軽減できるという効果がある。

【0017】

またカメラの撮影頻度を変更した際には、生成したタイムラプス動画の各フレームの再生時刻が撮影時刻と均一、すなわち時間圧縮率が略均一になるようにすることで、水位の上昇速度や急増の様子など変化のトレンドを閲覧者に正しく伝えることが可能になり、堰の越流や貯水上限までの時間などの運転情報の予測が容易となる効果がある。

【0018】

またユーザの指定する過去から現在の指定期間の撮影画像を一本のタイムラプス動画に変換してユーザに提供することで、撮影画像の閲覧性・利便性・活用性を大幅に向上することが可能になる。

【図面の簡単な説明】

【0019】

【図1】従来のカメラを搭載した水環境監視装置を示す構成図である。

【図2】撮影頻度の可変機構をもつ関連技術のタイムラプスカメラによる撮影時刻と再生時刻の関係を示す説明図である。

【図3】実施例１を示す構成図である。

【図4】実施例１における可変フレームレートのタイムラプス動画の生成法を示す説明図である。

【図5】実施例２を示す構成図である。

【図6】実施例２における固定フレームレートのタイムラプス動画の生成法を示す説明図である。

【図7】実施例３における水環境センシングシステムの構成図である。

【図8】実施例４におけるタイムラプス動画への撮影時刻・水環境測定データの書き込み例を示す説明図である。

【発明を実施するための形態】

【0020】

以下、本発明の幾つかの実施例を、図面を参照して説明する。

【実施例0021】

水環境のリモート監視装置に搭載したカメラで撮影した大量の画像の閲覧方法としてはタイムラプス動画の利用が有効と考えられる。タイムラプス動画は一定間隔で撮影された静止画（ないしは長時間の動画から所定の間隔で抽出した静止画）を連結して短時間の動画に変換することで、数時間から数日といった長時間の撮影を数分～数秒の早回し動画として短時間で観察できるようにする手法である。タイムラプス動画は、大量の画像を短時間で閲覧することができる、画像の変化やその傾向が把握しやすいなどの利点があり、定点カメラで撮影した夜間の動物の出現などのイベント監視、ゆっくりとした植物の成長や天体の動きの時短観察などに用いられる。

【0022】

図３は、本明細書の実施例１を示す構成図であり、基本的な実施形態を示している。下水管の要所の水面、下水管の合流点や堰、河川への放出口、堤防などの水環境の監視点の近傍にはセンサノード１１０－１、１１０－２が配置される。本例はセンサノード１１０－１に１台のカメラ１１１－１を、センサノード１１０－２に２台のカメラ１１１－２、１１１－３を接続して監視点の画像監視を行う例を示している。

【0023】

親局１０２－１は複数のセンサノード１１０－１、１１０－２にノード接続ケーブル１１２を介して接続された上位の管理装置であり、各センサノードへの測定・撮影コマンドの送付、各センサノードの状態管理や測定データの集約／蓄積などを行う。遠隔監視端末（ＲＴ）１００は、水環境の監視を行う自治体や管理会社等に設置されるさらなる上位装置である。遠隔監視端末１００は、ネットワーク１０１を介して、複数の親局１０２－１、１０２－２に接続されており、各親局の集約した測定データや画像を閲覧したり、各装置を遠隔管理する役割を持つ。

【0024】

また親局１０２－１中には、ＣＰＵ１０３、リアルタイムクロック１０４、タイムラプス動画生成部１０５、記憶装置１０６が配置される。ＣＰＵ１０３は、リアルタイムクロック１０４を元に所定の間隔でセンサノード１１０－１、１１０－２に画像撮影コマンドを送る。

【0025】

センサノード１１０－１は、画像撮影コマンドを受け取ると、カメラ１１１－１で撮影を行い、カメラから撮影画像１０７－１を受け取り、これを親局１０２－１に返送する。親局１０２－１内のＣＰＵ１０３は、センサノード１１０－１から送付された撮影画像１０７－２を、撮影したセンサノードやカメラの個体番号（本例では１１０－１、１１１－１）や、リアルタイムクロック１０４から得られる撮影時刻ないしは撮影間隔などの情報とともに記憶装置１０６中に保存する。

【0026】

タイムラプス動画生成部１０５は、記憶装置１０６中にある過去の撮影画像、及びその撮影時刻情報・撮影間隔情報を利用してタイムラプス動画を生成する。タイムラプス動画の生成のタイミングや対象期間は、任意に設定することが可能である。例えば１日一回１日分のように所定のタイミングで所定期間のタイムラプス動画を自動的に生成したり、遠隔監視端末１００から送られたコマンド中で指示された日時・期間などに従って都度タイムラプス動画を生成するような利用形態が考えられる。

【0027】

なお本図中のノード接続ケーブル１１２としては一般的な電気多芯ケーブル、イーサネットケーブル（イーサネットは登録商標）などの有線電気ケーブルが利用可能であり、本ケーブルを用いて親局とセンサノード間の上下通信信号の伝送が可能である。これ以外にも光ファイバ回線や無線通信を利用することも可能であり、後者の場合であれば実際にはノード接続ケーブル１１２は存在しないことになる。

【0028】

またセンサノードの動作電力はノード接続ケーブル１１２を利用して供給することも可能であるし、他の手段を併用してもかまわない。例えば通信用多芯ケーブル中に電力供給用の電線を設けたり、ＰｏＥ（パワーオーバーイーサ）のように通信用ケーブルをそのまま電力供給に併用してもかまわない。また光ファイバを利用して親局側からセンサノードに向けて強いレーザ光を利用して電力を光で送信する光給電技術も利用可能であり、センサノードをバッテリ動作としてもかまわない。また上記のうち任意の手段の組み合わせ、例えば無線通信とバッテリ動作、光ファイバ通信と電気ケーブルによる電力供給などを併用することも可能である。

【0029】

なお、既存の定点カメラを動物の出現などのイベント監視に用いる場合には、撮影電力や画像の記憶容量の節約のために、人感センサによる動物の検知やカメラ画像の異常を検知して撮影頻度を高める機構が用いられる場合がある。このような撮影頻度の変更は水環境リモートセンシング装置においても、画像の保存に必要な記憶容量の節減や動作電力の節減においても有効な機能となる。特に、センサノードがバッテリ動作を行う場合や、光ファイバ給電や環境発電など給電量に制限のある給電方法を用いる場合には特に重要となる。

【0030】

図２は、このような撮影頻度の可変機構をもつ関連技術のタイムラプスカメラによる画像撮影と、再生画像と、の関係を示している。図２（ａ）の横軸は実際の画像の撮影時刻を示している。逆三角印は画像撮影のタイミング、＃１～＃１５は順に撮影画像の番号である。本図では画像＃１～＃４は１０分間隔で撮影を行い、＃４～＃１２は動物の出現などのイベントの検知をトリガに撮影間隔を３０秒に短縮、ついでイベントの終了した＃１２以後は再び撮影間隔を１０分間隔に戻している。

【0031】

一方、図２（ｂ）は撮影画像＃１～＃１５から作成したタイムラプス動画の再生の様子を示している。横軸は各画像（フレーム）の再生時刻、すなわち表示タイミングを示している。本例では各画像を１秒間隔（フレームレート１ｆｐｓ（フレーム／秒））で表示することで１時間強に撮影した全画像を１５秒間の動画に圧縮し、短時間で閲覧することが可能になる。

【0032】

この際、撮影間隔を短縮した画像＃４～＃１２の区間は元の撮影時間は計８分と短時間であったにも関わらず、撮影枚数が多いためタイムラプス動画中での再生時間は１４秒中８秒と大半を占める。動物の観察などのイベント検知においては撮影対象の写っている時間が興味の中心でありその他の時間の撮影画像は不要と考えられるため、このように撮影頻度を高めた部分の再生時間が拡張されることはむしろ好ましいものと言える。

【0033】

しかしながら、このようなタイムラプス動画をカメラの撮影速度を可変とした水環境センシング装置に適用する際には、撮影頻度を短縮した部分で再生時間が伸張され、各フレーム画像の再生時刻と実際の撮影時刻の対応、すなわち時間圧縮率が不均一となってしまう点が大きな問題となってしまう。

【0034】

水環境においてタイムラプス動画を活用する際には、過去の水位や流量の変化のトレンドから、堰の越流、堤防上端への到達時刻、貯水地の貯留限界を推定する用途が考えられる。このような用途においては、タイムラプス動画の各フレームの再生時刻が実際の撮影時刻の対応、ないしは時間圧縮率が不均一であると、重要事象の切迫度や発生予想時間を間違えて解釈し、運転操作を誤ることでポンプや処理施設の故障、汚水の逆流、街路の浸水などの重大事故につながる可能性がある。特に水位監視においては、降雨などで水位が高くなる際ほど監視カメラの撮影頻度を高くする必要があるが、上述のタイムラプス動画生成方法においてはこの期間の再生速度がスローとなり、水位の急上昇など危険情報を見逃してしまうリスクがある。

【0035】

このため、本明細書の一実施例では、各フレームの再生時刻が撮影時刻に対して略均一（完全均一を含む）に対応する時間圧縮率が略均一なタイムラプス動画を生成することによって、水環境における水位の上昇速度、堰の越流までの時間、ないしは越流状態にあった時間長などを、時間間隔を損なわずに動画化を行う。その結果、ポンプや堰の操作担当者の錯誤を防ぎ、正確な判断をすることが可能とする。

【0036】

本明細書の一実施例は、カメラによる撮影画像シーケンスから得られた撮影画像から、前記タイムラプス動画のフレーム画像を作成し、タイムラプス動画におけるフレーム画像それぞれの、タイムラプス動画の先頭から再生時刻までの時間圧縮率の差が小さくなるように、フレーム画像それぞれの再生時刻を決定する。これにより、フレーム画像の再生時刻と実際の撮影時刻の対応を均一なものに近づけ、時間圧縮率を略均一にすることができる。タイムラプス動画の各部における時間圧縮率の差が最小となるように、タイムラプス動画の固定又は可変フレームレートと前記フレーム画像それぞれの再生時刻との関係を決定する。これにより、効果的にフレーム画像の再生時刻と実際の撮影時刻の対応を均一なものに近づけることができる。

【0037】

図４は、図３中のタイムラプス動画生成部１０５における、撮影時刻と再生時刻が略均一に対応した本実施例の可変フレームレートのタイムラプス動画の生成法を示す説明図である。図４（ａ）の横軸はカメラ１１１－１の実際の撮影時刻であり、逆三角印は画像撮影のタイミング、＃１～＃１５は順に撮影画像の番号を示している。本実施例のカメラ１１１－１は撮影間隔が可変である。本図では画像＃１～＃４は１０分間隔で撮影を行い、＃４～＃１２は水位の上昇などのイベントの検知をトリガに撮影間隔を３０秒に短縮しており、イベント検知の終了した＃１２以後は再び撮影間隔を１０分間隔に戻している。

【0038】

図４（ｂ）は本実施例によって生成した各フレームの再生時刻が撮影時刻に対して均一とした、時間圧縮率の略均一なタイムラプス動画の例であり、本例ではタイムラプス動画のフレームレートを可変にすることによって実現している。すなわち実際の撮影時刻に対してタイムラプス動画の時間圧縮率を１／３００とする。撮影間隔が１０分の部分では、動画のフレーム間隔が１０分／３００＝２秒となるようにフレームレートを０．５ｆｐｓに設定し、また撮影間隔が３０秒の部分では動画のフレーム間隔を３０秒／３００＝０．１秒となるようにフレームレートを１０ｆｐｓに加速する。これにより、撮影時刻と再生時刻の対応を均一にすることが可能となる。

【0039】

なお動画のフレームレートは動画の規格や動画の再生及び生成に用いるソフトウェアの制約などにより必ずしも任意な値を選択することができない。一方で元画像の撮影時刻及び撮影間隔、タイムラプス動画の長さ（再生に必要な時間）などのパラメータは、ユーザの要望などによって任意に設定できることが望ましい。この場合は必ずしもタイムラプス動画の各フレームにぴったり合致する時刻の撮影画像が存在するとは限らない。

【0040】

図４（ｃ）はこのような場合に、各フレームの再生時刻が撮影時刻に対して略均一となる、時間圧縮率の略均一なタイムラプス動画の生成方法を示している。本例では、撮影間隔が１０分の期間ではタイムラプス動画のフレームレートを０．５ｆｐｓの代わりに１ｆｐｓ、また撮影間隔を３０秒に短縮した期間ではフレームレートを１０ｆｐｓの代わりに１２ｆｐｓとした例である。タイムラプス動画の時間圧縮率は１／３００のままであり、タイムラプス動画が１ｆｐｓ（フレーム間隔１秒）の区間では３００秒毎に１枚の実撮影画像が必要となるが、実際の撮影間隔は１０分（６００秒）である。

【0041】

よって図４（ｃ）においては、実撮影画像の存在しない先頭から偶数番目のフレーム（黒逆三角）では、直前の実撮影画像を複写して代用するものとした。例えば２番目のフレームで利用する画像＃１'は画像＃１の、４番目のフレームで利用する画像＃２'画像
＃２を複写したものである。

【0042】

またフレームレートを１２ｆｐｓに上げた区間では、フレーム間隔が０．０８３秒となりいずれも実撮影時刻がちょうど合致する撮影画像が存在しなくなる。それぞれ直前ないしは直近の撮影画像を用いたり、図４（ｃ）の＃６'／＃９'のように実画像の不足が生
じる場合には適宜直前の実撮影画像を複写して利用することによって、本実施例のタイムラプス動画を生成することができる。

【0043】

なお上記の図４（ｃ）の例では動画のフレームレートを１ｆｐｓ、１２ｆｐｓとしたがこれらはあくまで例であり、実際には作成する動画の種別（例：ＭＪＰＥＧ／ＭＰ４／Ｈ．２６４など）や、再生に利用する機材やソフトウェアに応じたフレームレートから選択するのが望ましい。また対応する画像が存在しないフレームではそれぞれ直前の画像を複写するものとしたが、直後の画像ないしは時間的もっとも近い画像を選択するなどによってもほぼ同等のタイムラプス動画を生成することが可能となる。

【0044】

また撮影間隔やフレームレートは長短の２種としているが、必要に応じてこれらを段階的又は連続的に短縮又は伸張することも可能であり、各場合においては図４（ｃ）同様にタイムラプス動画のフレーム毎に、時間圧縮率が略均一となるよう実際の撮影画像から撮影時刻の近いものを選択すればよい。

【0045】

なお図３においては、親局１０２－１中のタイムラプス動画生成部１０５はＣＰＵ１０３とは異なる部品として表記しているが、本機能は図に示すようにＣＰＵ１０３とは異なる別のＣＰＵや内蔵ＧＰＵなどのＣＰＵ１０３の外部ないしは内部のハードウェアで実現してもよいし、ＣＰＵ１０３の実行する親局制御プログラムの一部などのソフトウェアであってもよい。上記タイムラプス動画生成機能は、センサノードに実装されてもよい。この点は、他の実施例において同様である。

【実施例0046】

図５は、本明細書実施例２を示す構成図であり、下水や河川の水位に応じてカメラの撮影間隔を変更する例である。図中のセンサノード１１０－１はカメラ１１１－１と水位センサ１１３－１を、またセンサノード１１０－２はカメラ１１１－２と水位センサ１１３－２を搭載している。

【0047】

本例では、親局１０２－１中のＣＰＵ１０３は例えば１０秒間隔などの一定の周期でセンサノード１１０－１、１１０－２に測定コマンドを送付して水位センサ１１３－１、１１３－２で水位測定を行なう。ＣＰＵ１０３はこれと並行して通常は１０分間隔でセンサノード１１０－１、１１０－２に撮影コマンドを送付してカメラ１１１－１、１１１－２で画像撮影を行う。

【0048】

各センサの水位測定値は、水位判定部１１４において水位センサ１１３－１で測定した水位が規定値Ａを越えたかどうか、また規定値Ｂを下回ったかどうかを判定し、ＣＰＵ１０３は前者の場合にはカメラ１１１－１の撮影間隔を短縮し、後者の場合には撮影間隔を延長する。なお一般にはＡ＞Ｂとしてヒステリシスを設けることによって画像撮影間隔の変更が頻繁に発生することを防ぐことができる。また水位が一定値Ａを越えたないしはＢを下回った状態が一定時間継続したことを条件として撮影頻度の変更を行うなどでも、測定値の雑音や異常値による誤動作を防ぐことができる。

【0049】

なお上記ではセンサノード１１０－１で測定した水位に基づいてカメラ１１１－１の撮影間隔を可変するものとしたが、同時に他のノード１１０－２に搭載したカメラの撮影頻度を変えてもかまわない。またカメラ毎に撮影頻度の基準水位Ａ、Ｂを独立に設定したり、他のノードないしは親局から得られた他の水位センサの測定水位に基づいて別のノードに搭載されたカメラの撮影頻度を変更するなどは、測定対象となる水環境の状況に応じて任意に設定してもかまわない。このような例としては、例えば河川や下水管渠の数ｍ～数ｋｍ上流で水位測定を行い、下流の堰やポンプ所流入渠に設置したカメラの撮影間隔を変更するなどが考えられる。

【0050】

また撮影間隔を変更するトリガとして用いる水環境測定量も水位に限る必要はない。例えば、雨水流入によって生じる水温の低下を利用し、水温の逆数が一定値を超える（水温が一定値以下に低下）ことをトリガとして撮影間隔を短縮するなどの使い方も可能である。同様にｐＨ、電気伝導度、濁度などの測定値を撮影頻度の変更に利用してもかまわない。

【0051】

また水位センサ１１３－１、１１３－２を利用せず、カメラで撮影した画像から水位を求めてもかまわない。この場合には水位判定部１１４では、撮影画像ごとに画像処理を実施し、画像から得られた水面の高さなどから水位を計算し前記の規定値Ａを越えたか、もしくは規定値Ｂを下回ったかの判定を行えばよい。

【0052】

測定及び判定される対象は、流量であってもよい。親局１０２－１は、撮影画像ごとに画像処理を実施し、画像から得られた水面の高さなどから流量を計算し規定値Ａを越えたか、もしくは規定値Ｂを下回ったかの判定を行えばよい。他の例において、親局１０２－１は、撮影したカメラの画像を解析する画像処理機能を持ち、画像中に異常を検出した際に異常の検出中及び検出終了後の予め定めた所定時間の間、撮影間隔を短縮してもよい。画像処理機能は、例えば機械学習モデル又はルールベースのモデルを使用してよい。画像処理機能は、親機に代えて、センサノード又はカメラに実装されてもよい。

【0053】

なお水位判定部１１４についても前述のタイムラプス動画生成部１０５と同様に、ハードウェアとしてもしくは親局制御プログラムの一部などのソフトウェアとして実装することが可能である。

【0054】

また図６は、図５中のタイムラプス動画生成部１０５で生成する、撮影時刻と再生時刻の均一な固定フレームレートのタイムラプス動画の生成法を示す説明図である。一般にデジタル動画においては、可変フレームレートより固定フレームレートの動画の方が対応機器及びソフトウェアが多く、より広く一般的に利用されている。図６（ａ）は図４（ａ）と同様に、カメラ１１１－１における画像の撮影タイミングを示している。図６（ｂ）は本明細書の実施例によって各フレームの再生時刻が撮影時刻に対して均一となる、時間圧縮率の略均一なタイムラプス動画の一例であり、本例ではタイムラプス動画のフレームレートを固定値の１０ｆｐｓとしている。

【0055】

前記の例と同様にタイムラプス動画の時間圧縮率を１／３００とすると、撮影間隔が１０分の区間のタイムラプス動画での画像更新頻度は２秒間隔、撮影間隔が３０秒の区間では０．１秒間隔に相当する。よって前者の区間ではタイムラプス動画の先頭フレームに撮影画像＃１を配置し、その後１９フレームには＃１画像を複写（画像＃１'）する。以下
、撮影間隔が３０秒の区間では同様に２０フレームごとに同一画像を複写して配置する。また後者の撮影間隔が３０秒の区間では撮影画像をそのまま０．１秒間隔のフレームに配置することで、所望の１０ｆｐｓの固定フレームレートのタイムラプス動画が生成できる。

【0056】

なお図６（ｃ）は固定フレームレートを１２ｆｐｓに設定した場合であり、画像撮影タイミングとタイムラプス動画のフレームのタイミングが合致しない例である。このような場合には前述の図４（ｃ）と同様にタイムラプス動画の各フレームタイミングに対応した撮影画像を適宜選択し、複写して割りつけることで、任意の固定フレームレートのタイムラプス動画を生成することが可能になる。

【0057】

なお本実施例を含め、本願においては、カメラ１１１はもっぱら静止画を撮影し、タイムラプス動画は親局１０２中の記憶装置１０６に蓄積された静止画から作成する例を説明するものとしたが、これらの静止画の一部ないしはすべては動画から抽出した静止画を利用して生成してもかまわない。

【0058】

カメラ１１１で動画を撮影する場合でも、センシング装置の電力ないしは記憶容量には制限があるため、消費電力やデータ量のおおきな動画を常時撮影し全てを記録することは困難である。このため通常時は静止画のみを撮影して水位上昇時にのみ５分間ごとに１分間の動画を間歇的するようなユースケースや、通常時は１０分毎に１分間の動画を間歇的に撮影し水位上昇時は連続的に動画を撮影するような場合、常時フレームレートを落とした動画を撮影し水位が上がったときのみフレームレートを向上させるようなケースが考えられる。

【0059】

このようなケースでは、間歇撮影の頻度や動画フレームレートの変化が本願の撮影頻度の変更に該当し、撮影した静止画、ないしは各動画から抽出した１枚ずつないしは複数枚ずつの静止画を、前述の図４ないしは図６の例のように可変ないしは固定フレームレートのタイムラプス動画の各フレームに割り当てることで、所望のタイムラプス動画を生成することが可能になる。

【0060】

なおセンサノードがバッテリ電力を利用して動作する場合、カメラの撮影頻度の変更には前述のセンサ測定値のみならず、バッテリの残量をも考慮するのが望ましい。これはセンサノードへの電力供給手段が環境発電、光ファイバ給電などの給電能力に制限がありバッテリを併用する場合も同様である。

【0061】

一般にカメラは大きな電力を必要とするセンサであり、特に暗所において撮影時にＬＥＤフラッシュなどを点灯して照明を行う必要がある場合にはさらに撮影電力が大きくなる。このため撮影頻度を高めると急激にバッテリ消費量が増えてしまう可能性があるため、バッテリ残量が規定値を下回った場合にはカメラの撮影頻度を定常状態に戻す、ないしは通常よりもさらに下げるなどの対策を用いるのが望ましい。このようにバッテリ残量などの要因が原因で、撮影頻度が可変とする場合についても本明細書の実施例によって画像フレームの再生時刻が撮影時刻に対して均一に対応する、時間圧縮率の略均一なタイムラプス動画を作成する手法が有効である。