特開 2024-10897 監視装置、監視プログラム、及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024010897

(43)【公開日】2024-01-25

(54)【発明の名称】監視装置、監視プログラム、及び監視方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240118BHJP

   H04N 23/65 20230101ALI20240118BHJP

   H04N 7/18 20060101ALI20240118BHJP

【ＦＩ】

H04N5/232 300

H04N5/232 411

H04N7/18 E

H04N7/18 D

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022112474

(22)【出願日】2022-07-13

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100180275

【弁理士】

【氏名又は名称】吉田 倫太郎

(74)【代理人】

【識別番号】100161861

【弁理士】

【氏名又は名称】若林 裕介

(72)【発明者】

【氏名】迫水 和仁

【テーマコード（参考）】

5C054

5C122

【Ｆターム（参考）】

5C054EA01

5C054EA03

5C054EA05

5C054FC12

5C054FD07

5C054FF02

5C054HA19

5C122DA11

5C122EA52

5C122EA55

5C122FH07

5C122FH23

5C122GC52

5C122GC55

5C122HA75

5C122HA86

5C122HB01

(57)【要約】

【課題】 監視のための撮影画像の質を保ちつつ、効率的に通信を行い省電力を図ることができる監視装置を提供する。
【解決手段】 本発明は、カメラモジュールを備える監視装置であって、周囲の環境情報をセンシングし、連携メッセージを出力するセンサ手段と、前記連携メッセージと連動して、前記カメラモジュールを駆動させて画像を撮影させ、撮影されたカメラ画像を撮影画像として出力する画像伝送手段と、前記画像伝送手段から出力された前記撮影画像を高解像度化して閲覧画像として出力する超解像手段とを有する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

カメラモジュールを備える監視装置であって、
周囲の環境情報をセンシングし、連携メッセージを出力するセンサ手段と、
前記連携メッセージと連動して、前記カメラモジュールを駆動させて画像を撮影させ、撮影されたカメラ画像を撮影画像として出力する画像伝送手段と、
前記画像伝送手段から出力された前記撮影画像を高解像度化して閲覧画像として出力する超解像手段と
を有することを特徴とする監視装置。

【請求項2】

前記画像伝送手段は、所定のタイミングで前記カメラモジュールを駆動させると共に、前記タイミングに対応するスケールパラメータで撮影を指示し、前記カメラ画像を取得できたら前記カメラモジュールを停止させ、
前記カメラモジュールは、前記画像伝送手段によって駆動されると、前記画像伝送手段から指示された前記スケールパラメータに従う画像を撮影する
こと特徴とする請求項１に記載の監視装置。

【請求項3】

前記画像伝送手段は、
撮影時刻を特定可能な時刻情報と、当該時刻情報が指す時刻に撮影する時に使用する前記スケールパラメータを特定するための画像タイプ特定情報を保存する設定保存部と、
前記設定保存部に保存された設定に従い、直近の撮影時刻にタイマー割り込みがかかるようタイマーをセットし、当該撮影時刻に対応する前記画像タイプ特定情報を出力するタイマセット部と、
前記タイマー割り込みを契機に動作し、前記カメラモジュールを駆動しつつ、前記画像タイプ特定情報に従う前記スケールパラメータで前記カメラモジュールに撮影を指示すると共に、使用する画像タイプも出力するカメラ制御部と、
前記カメラモジュールが出力した前記カメラ画像と、前記カメラ制御部が出力した前記画像タイプを受け、前記カメラ画像と前記画像タイプを結合したデータを前記撮影画像として出力する画像伝送コア部と
を有し、
前記画像タイプ特定情報は、キー画像として撮影するか、又は非キー画像として撮影するかを識別するための情報であり、
前記スケールパラメータは、少なくとも画像サイズを特定するためのスケールを含み、
前記非キー画像として撮影する場合のスケールは、前記キー画像として撮影する場合のスケールに比べて大きく、前記非キー画像の画像サイズは前記キー画像の画像サイズよりも小さくなること
を特徴とする請求項２に記載の監視装置。

【請求項4】

前記カメラ制御部は、前記タイマー割り込み又は前記連携メッセージの受信を契機に動作し、前記カメラモジュールを駆動しつつ、前記画像タイプ特定情報に従う前記スケールパラメータで前記カメラモジュールに撮影を指示することを特徴とする請求項３に記載の監視装置。

【請求項5】

前記カメラ制御部は、前記連携メッセージを契機に撮影する場合、前記連携メッセージに埋め込まれた前記画像タイプを使用するか、又は前記連携メッセージが届く状況は何らかのイベントが起きたときであると仮定して前記キー画像として処理を続行することを特徴とする請求項４に記載の監視装置。

【請求項6】

前記カメラ制御部は、警戒すべき状況か否かを管理するものとして警戒状態又は通常状態を示す値を格納可能なステータスという状態を保持し、
前記画像タイプ特定情報は、前記キー画像として撮影するか、前記非キー画像として撮影するか、又は条件付き非キー画像として撮影するかを識別するための情報であり、
前記条件付き非キー画像は、前記ステータスが前記通常状態を示しているときは前記非キー画像として動作し、前記ステータスが前記警戒状態を示しているときは前記キー画像として処理を進める画像タイプである
ことを特徴とする請求項３に記載の監視装置。

【請求項7】

前記センサ手段は、センシングデータと閾値とを比較判定することで、異常のイベントが発生したこと又は正常に戻ったことを判定し、
前記カメラ制御部は、イベントが発生したことを伝える前記連携メッセージを受信した場合には前記ステータスを前記警戒状態にし、正常に戻ったことを伝える前記連携メッセージを受信した場合には前記ステータスを前記通常状態にする
ことを特徴とする請求項６に記載の監視装置。

【請求項8】

前記センサ手段は、前記センシングデータを含む前記連携メッセージを出力し、
前記カメラ制御部は、
イベントが発生したことを伝える前記連携メッセージを受信した場合は前記ステータスを前記警戒状態にし、正常に戻ったことを伝える前記連携メッセージを受信した場合には前記ステータスを前記通常状態にするカメラ制御コア部と、
前記カメラ制御コア部が受け取った前記連携メッセージに含まれる前記センシングデータの履歴を保存するセンシングデータ履歴保存部とを有し、
前記カメラ制御コア部は、前記連携メッセージを受け取った際に前記ステータスを前記警戒状態にするか又は前記通常状態にするかを、前記連携メッセージに含まれる前記センシングデータと、前記センシングデータ履歴保存部に保存された前記センシングデータの履歴とを照合して決定する
ことを特徴とする請求項７に記載の監視装置。

【請求項9】

前記スケールパラメータは、前記カメラモジュールのイメージセンサによって取得された画像を縮小するためのアルゴリズムを指示する信号としてスケーリングメソッドを含み、
前記カメラ制御部は、前記画像タイプが前記キー画像である場合には、演算量が多かったとしてもエイリアシングの発生が少ないアルゴリズムを選択し、前記画像タイプが前記非キー画像である場合には、エイリアシングの発生を許容し演算量が少ないアルゴリズムを選択する
ことを特徴とする請求項３～８のいずれかに記載の監視装置。

【請求項10】

前記超解像手段は、前記キー画像が追加されると、前記キー画像を学習用の画像に追加して超解像用のモデルを再学習することで、前記カメラモジュールの画像の性質に合わせてチューニングを行い、チューニングされた前記モデルを保存し使用することを特徴とする請求項３～８のいずれかに記載の監視装置。

【請求項11】

カメラモジュールを備える監視装置に含まれるコンピュータを、
周囲の環境情報をセンシングし、連携メッセージを出力するセンサ手段と、
前記連携メッセージと連動して、前記カメラモジュールを駆動させて画像を撮影させ、撮影されたカメラ画像を撮影画像として出力する画像伝送手段と、
前記画像伝送手段から出力された前記撮影画像を高解像度化して閲覧画像として出力する超解像手段と
して機能させることを特徴とする監視プログラム。

【請求項12】

カメラモジュールを備える監視装置に使用する監視方法であって、
センサ手段は、周囲の環境情報をセンシングし、連携メッセージを出力し、
画像伝送手段は、前記連携メッセージと連動して、前記カメラモジュールを駆動させて画像を撮影させ、撮影されたカメラ画像を撮影画像として出力し、
超解像手段は、前記画像伝送手段から出力された前記撮影画像を高解像度化して閲覧画像として出力する
ことを特徴とする監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視装置、監視プログラム、及び監視方法に関する。

【背景技術】

【0002】

近年、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）関連技術の発展が進み、バッテリーとカメラを組み合わせて、商用電源の敷設工事が困難な場所での監視（監視システム）も実用化されつつある。

【0003】

図５は、特許文献１に代表される従来のカメラシステムの一例を示すブロック図である。

【0004】

図５で示されるカメラシステム１００は、画像を撮影し、当該画像を撮影画像として通信路に出力するバッテリー駆動カメラＡ１と、撮影画像を閲覧者に提示する閲覧装置Ａ３とを有する。

【0005】

バッテリー駆動カメラＡ１は、商用電源の敷設工事が困難な場所でも動作できるようバッテリーで駆動するものである。このバッテリーは、例えば、ソーラーパネル等のエナジーハーベスト技術を活用して給電する仕組みを備えている場合もある。

【0006】

また、バッテリー駆動カメラＡ１は、画像を撮影し、当該画像をカメラ内画像として出力するカメラモジュールＢ１１と、カメラ内画像を撮影画像として通信路に出力する画像伝送部Ｂ１２とを有する。

【0007】

撮影画像は、例えば、３Ｇ／４Ｇ／５Ｇなどの移動通信サービスや９２０ＭＨｚ帯等を活用した自営無線通信システムを使用して送信される。また、図６に示す通り、９２０ＭＨｚ帯等を活用した自営無線通信システムで、複数のバッテリー駆動カメラからの撮影画像をゲートウェイＡ４に集約し、ゲートウェイＡ４から閲覧装置Ａ３までを３Ｇ／４Ｇ／５Ｇなどの広域網で送るという構成も考えられる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００８－１０３７７８号公報

【特許文献2】特開２００９－２０６７４９号公報

【非特許文献】

【0009】

【非特許文献1】Ｐｈｏｔｏ－ｒｅａｌｉｓｔｉｃ ｓｉｎｇｌｅ ｉｍａｇｅ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｕｓｉｎｇ ａ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ

【発明の概要】

【発明が解決しようとする課題】

【0010】

商用電源の敷設工事が困難な場所の監視については、前述の従来例の構成で実現される。

【0011】

しかしながら、カメラモジュールＢ１１は画像というデータサイズ（バイト数）の大きなデータを生成するため、装置内でのデータ伝送や、データ圧縮、バッテリー駆動カメラＡ１と閲覧装置Ａ３との間でのデータ伝送に多くの電力を消費する。

【0012】

商用電源の敷設工事が困難な場所でのモニタリングでは、例えば、１時間ごとに１枚ずつ撮影するような間欠的な撮影で充分な場合も多い。

【0013】

このようなシーンの場合、カメラモジュールＢ１１への給電を撮影時のみに限定すれば、カメラ内画像のデータサイズが小さいほど、カメラモジュールＢ１１から画像伝送部Ｂ１２への転送時間も短く済み、つまりカメラモジュールＢ１１に給電する時間も短く済むため、消費電力は小さくなる。また、画像伝送部Ｂ１２から閲覧装置Ａ３への通信時間についても撮影画像のデータサイズが小さくなるほど短く済むため、消費電力は小さくなる。特に、無線伝送は、伝送距離が長かったり、データレートが高かったりするほど消費電力が増え、一般的に多くの電力を消費するためデータサイズが消費電力に与える影響は大きい。また、図６に示すように、複数のバッテリー駆動カメラＡ１から撮影画像をゲートウェイＡ４に集約する場合、撮影画像のデータサイズが大きいほどゲートウェイＡ４の消費電力も大きくなる。

【0014】

消費電力が高くなると、カメラの撮影頻度を下げざるをえなかったり、画像の解像度を下げざるをえなかったり、撮影画質を下げざるをえなかったりするという問題が発生する。

【0015】

また、図６に示すように、複数のバッテリー駆動カメラＡ１から撮影画像をゲートウェイＡ４に集約する場合で、ゲートウェイＡ４が、バッテリーやソーラーパネル等のエナジーハーベスト技術を用いて給電されている場合、消費電力が高くなると収容可能なカメラ数が低下するという問題も発生する。

【0016】

さらには、図６に示すように自営網が通信路にある場合で、なおかつ自営網が特許文献２に代表されるようなマルチホップ環境であれば、データサイズの増加は中継器の消費電力が高くなるという問題も引き起こすため、これにより収納可能なカメラ数が低下するという問題も発生する。

【0017】

加えて、データサイズに応じて伝送に伴う遅延時間は増大するという問題もある。特に自営網が特許文献２に代表されるようなマルチホップ環境である場合は顕著であり、ホップ数の増加に伴い遅延時間は著しく増加するため、問題が起こりやすい。

【0018】

そのため、監視のための撮影画像の質を保ちつつ、効率的に通信を行い省電力を図ることができる監視装置、監視プログラム、及び監視方法が望まれている。

【課題を解決するための手段】

【0019】

第１の本発明は、カメラモジュールを備える監視装置であって、（１）周囲の環境情報をセンシングし、連携メッセージを出力するセンサ手段と、（２）前記連携メッセージと連動して、前記カメラモジュールを駆動させて画像を撮影させ、撮影されたカメラ画像を撮影画像として出力する画像伝送手段と、（３）前記画像伝送手段から出力された前記撮影画像を高解像度化して閲覧画像として出力する超解像手段とを有することを特徴とする。

【0020】

第２の本発明の監視プログラムは、カメラモジュールを備える監視装置に含まれるコンピュータを、（１）周囲の環境情報をセンシングし、連携メッセージを出力するセンサ手段と、（２）前記連携メッセージと連動して、前記カメラモジュールを駆動させて画像を撮影させ、撮影されたカメラ画像を撮影画像として出力する画像伝送手段と、（３）前記画像伝送手段から出力された前記撮影画像を高解像度化して閲覧画像として出力する超解像手段として機能させることを特徴とする。

【0021】

第３の本発明は、カメラモジュールを備える監視装置に使用する監視方法であって、（１）センサ手段は、周囲の環境情報をセンシングし、連携メッセージを出力し、（２）画像伝送手段は、前記連携メッセージと連動して、前記カメラモジュールを駆動させて画像を撮影させ、撮影されたカメラ画像を撮影画像として出力し、（３）超解像手段は、前記画像伝送手段から出力された前記撮影画像を高解像度化して閲覧画像として出力することを特徴とする。

【発明の効果】

【0022】

本発明によれば、監視のための撮影画像の質を保ちつつ、効率的に通信を行い省電力を図ることができる。

【図面の簡単な説明】

【0023】

【図1】第１の実施形態に係るカメラシステムの一例を示すブロック図である。

【図2】第１の実施形態に係るカメラシステムの特徴動作を示すフローチャートである。

【図3】第２の実施形態に係るカメラ制御部及び周辺構成の一例を示すブロック図である。

【図4】第２の実施形態に係るカメラ制御部の特徴動作を示すフローチャートである。

【図5】従来のカメラシステムの一例を示すブロック図（その１）である。

【図6】従来のカメラシステムの一例を示すブロック図（その２）である。

【発明を実施するための形態】

【0024】

（Ａ）第１の実施形態
以下、本発明による監視装置、監視プログラム、及び監視方法の第１の実施形態を、図面を参照しながら詳述する。第１の実施形態では、本発明の監視装置をカメラシステムに適用した例について説明する。

【0025】

（Ａ－１）実施形態の構成
（Ａ－１－１）全体構成
図１は、第１の実施形態に係るカメラシステムの一例を示すブロック図である。カメラシステム中のバッテリー駆動カメラは、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部を、ソフトウェア的に構成するようにしても良い。

【0026】

図１において、カメラシステム１は、外部センサＡ０と、前述のバッテリー駆動カメラＡ１と、超解像装置Ａ２と、前述の閲覧装置Ａ３とを備える。ただし、第１の実施形態のバッテリー駆動カメラＡ１の機能及び内部構成は、前述の図５及び図６のバッテリー駆動カメラＡ１と異なるので、以下ではこの差異点を中心に詳述する。

【0027】

なお、図１のカメラシステム１では、バッテリー駆動カメラＡ１と閲覧装置Ａ３の間に前述のゲートウェイＡ４が存在しない場合の構成図を示しているが、前述の図６と同様に、ゲートウェイＡ４を間に挟む構成を採用しても良い。

【0028】

外部センサＡ０は、デバイスが設置された場所の環境情報をセンシングし、連携メッセージとして出力するものである。外部センサＡ０は、例えば、河川や池、湖、海面の水位を計測する水位センサであったり、構造物や斜面の傾斜を計測する傾斜センサであったり、温度を計測する温度センサであったり、湿度を計測する湿度センサであったりする。なお、外部センサＡ０及びバッテリー駆動カメラＡ１間は、有線の通信網であったり、無線で構築した自営網であったり、無線で構築した広域網を利用して接続する。

【0029】

バッテリー駆動カメラＡ１は、連携メッセージとも連動して画像を撮影し、当該画像を撮影画像として通信路に出力するものである。

【0030】

超解像装置Ａ２は、撮影画像を高解像度化して閲覧画像として出力するものである。超解像装置Ａ２で使用する超解像処理は、種々の方法を存在し、任意の学習型の方法で本発明は効果を発揮するが、例えば、非特許文献１に記載の深層学習を使用した処理により入力された画像を拡大する方法を適用できる。

【0031】

閲覧装置Ａ３は、閲覧画像を閲覧者に提示する手段を備える装置である。

【0032】

（Ａ－１－２）バッテリー駆動カメラＡ１の詳細な構成
バッテリー駆動カメラＡ１は、図１に示すように、指示されたスケールパラメータに従う画像を撮影し、当該画像をカメラ内画像として出力するカメラモジュールＢ１１と、連携メッセージとも連動してカメラ内画像を撮影画像として通信路に出力する機能を有するとともに、デバイス内に保存された設定に従うタイミングでカメラモジュールＢ１１を駆動し、当該タイミングに対応するスケールパラメータで撮影を指示し、カメラ内画像を取得できたらカメラモジュールＢ１１の駆動を停止させる画像伝送部Ｂ１２とを有する。

【0033】

なお、画像伝送部Ｂ１２がカメラモジュールＢ１１を駆動したり止めたりする典型的な例としては、カメラモジュールＢ１１を撮影時のみ給電し、それ以外の時間は完全に給電を断つ動作になるが、カメラモジュールＢ１１を撮影時のみアクティブ状態にし、それ以外の時間はスリープ状態にする場合でも良い。

【0034】

カメラモジュールＢ１１は、画像伝送部Ｂ１２より駆動されると、スケールパラメータに従う画像を撮影する。

【0035】

スケールパラメータは、少なくとも画像サイズを特定するためのスケールを含む。例えば、カメラモジュールＢ１１に設定可能な基準画像サイズの一つとして横幅１９２０画素、高さ１０８０画素（以降では画像サイズの表記として「１９２０×１０８０」のように記載）がある場合、スケール１．０は「１９２０×１０８０」の画像を取得することを表し、スケール０．５は「９６０×５４０」の画像を取得することを表し、スケール０．２５は「４８０×２７０」の画像を取得することを表す。つまり、スケールをＳ、基準画像サイズの横幅をＷ、基準画像サイズの高さをＨで表すと、横幅Ｓ×Ｗで、高さＳ×Ｈの画像を取得する。

【0036】

スケールパラメータには、イメージセンサによって取得された画像を縮小するためのアルゴリズムを指示する信号としてスケーリングメソッドを含んでも良い。カメラモジュールＢ１１は前述のとおりスケールに応じて、基準画像サイズの画像を縮小した画像を生成することになる。画像縮小をデジタル処理により実施する場合、縮小アルゴリズムには種々の方法が考えられ、スケーリングメソッドとは、いずれの縮小アルゴリズムで縮小するかを指示する信号である。

【0037】

最もシンプルな縮小アルゴリズムの一つは、Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ法と呼ばれるもので、一定画素ごとに画素を間引く処理である。例えば、スケールＳが０．２５である場合は、画像の縮小とは画像の高さと横幅をそれぞれ４分の１にする処理であり、換言すると４×４の画素の塊ごとに１画素を作り出す処理になる。そのため、まず画像全体を４×４の画素の塊に分け、塊ごとに、例えば、左上に位置する画素のみをピックアップすることで、画像の縮小をおこなう方法である。本アルゴリズムの長所は、処理が単純であるため処理量が少ないということであり、逆に短所はエイリアシングが発生するという問題がある。その他の縮小アルゴリズムとして、例えば、４×４画素の画素の塊ごとに平均値を計算することで縮小する平均画素法や、バイリニアー法など様々な方法があり、エイリアシングのない綺麗な画像を生成可能な縮小アルゴリズムは、代わりに処理量が多くなる傾向がある。

【0038】

画像伝送部Ｂ１２は、設定保存部Ｃ１２１と、タイマセット部Ｃ１２２と、カメラ制御部Ｃ１２３と、画像伝送コア部Ｃ１２４とを有する。

【0039】

設定保存部Ｃ１２１は、画像の撮影時刻を特定可能な時刻情報と、当該時刻情報が指す時刻に撮影する時に使用するスケールパラメータを特定するための画像タイプ特定情報とをセットで１組以上保存するものである。

【0040】

タイマセット部Ｃ１２２は、設定保存部Ｃ１２１に保存された設定に従い、直近の撮影時刻にタイマー割り込みがかかるようタイマーをセットし、当該撮影時刻に対応する画像タイプ特定情報をカメラ制御部Ｃ１２３に与えるものである。

【0041】

画像伝送コア部Ｃ１２４は、カメラモジュールＢ１１が撮影した画像であるカメラ内画像を入力として受け、カメラ制御部Ｃ１２３からも使用した画像タイプを受け、カメラ内画像と画像タイプを結合したデータを撮影画像として出力するものである。

【0042】

カメラ制御部Ｃ１２３は、前記タイマー割り込み、又は連携メッセージの受信を契機に動作し、カメラモジュールＢ１１を駆動しつつ、画像タイプ特定情報に従うスケールパラメータでカメラモジュールＢ１１に撮影を指示するものである。

【0043】

また、カメラ制御部Ｃ１２３は、例えば、警戒すべき状況か否かを管理するものとして「ステータス」という状態を保持してよく、その値は、例えば、「警戒状態」や「通常状態」である。ステータスは、任意の方法で変更可能であるが、例えば、連携メッセージの内容に応じて変更したり、画像解析結果によって変更したりするなどの方法が存在する。

【0044】

連携メッセージの内容に応じて変更する方法としては、例えば、外部センサＡ０にてセンシングデータを閾値判定することで、異常などのイベントが発生したこと又は正常に戻ったことを連携メッセージによって通知することとし、カメラ制御部Ｃ１２３はイベントが発生したことを伝える連携メッセージを受信した場合はステータスを警戒状態にし、正常に戻ったことを伝える連携メッセージを受信した場合はステータスを通常状態にする方法が考えれられる。また、連携メッセージではセンシングデータを伝えることとし、カメラ制御部Ｃ１２３にて閾値判定することでイベントが発生したことや正常に戻ったことを判断しステータスを変更する方法なども考えられる。

【0045】

カメラ内画像と画像タイプの結合方法には、例えば、カメラ内画像の画像データのヘッダ部に画像タイプを埋め込むなどの方法が考えられ、任意の方法で良い。

【0046】

画像タイプは、「キー画像」と「非キー画像」のいずれかであるかを示す信号である。または、カメラ制御部Ｃ１２３がステータスを保持する場合、画像タイプは、「キー画像」と「非キー画像」、「条件付き非キー画像」のいずれかを示す信号である。

【0047】

非キー画像は、キー画像よりもスケールの小さな画像であり、キー画像のスケールをＳｋ、非キー画像のスケールをＳｎ、スケール比率Ｒを、Ｒ＝Ｓｋ／Ｓｎとすると、Ｒ＞１の値である。例えば、非キー画像の高さと横幅を、キー画像の高さと横幅のそれぞれ１／４にする場合、Ｒ＝４である。

【0048】

非キー画像は、Ｒ＞１であることにより、キー画像よりも画像サイズが小さくなり、それに伴い情報量が減るため、非キー画像はキー画像に比べてデータサイズも減る。ここで、キー画像の画像サイズがバッテリー駆動カメラＡ１で撮影したい画像サイズであるため、非キー画像の画像サイズは撮影したい画像サイズよりも小さな画像サイズになる。

【0049】

条件付き非キー画像は、カメラ制御部Ｃ１２３のステータスが通常状態を示しているときは非キー画像としてその後の撮影処理を進め、ステータスが警戒状態を示しているときはキー画像としてその後の撮影処理を進める画像タイプである。また、連携メッセージを契機に撮影する場合には、連携メッセージに埋め込まれた画像タイプを使用しても良いし、連携メッセージが届く状況は何らかのイベントが起きたときであると仮定してキー画像としてその後の撮影処理を進めても良い。

【0050】

カメラ制御部Ｃ１２３は、画像タイプに応じて、前述のスケールパラメータに含まれるスケールを、予め設定されたＲ＞１を満たすＳｋおよびＳｎのいずれかに設定する。

【0051】

超解像装置Ａ２は、撮影画像に埋め込まれた画像タイプを読み出し、画像タイプが非キー画像であった場合に、入力画像に対して超解像処理を適用し、スケールをＲ倍にすることで、スケールＳｋで撮影した画像と同じ画像サイズの画像を生成して、閲覧画像として出力する。つまり、本超解像装置Ａ２により、非キー画像の画像サイズは、キー画像の画像サイズと同じになり、つまりはバッテリー駆動カメラＡ１で撮影したい画像サイズと同じ大きさになる。

【0052】

なお、Ｒ＞１を満たすＳｋおよびＳｎの設定は任意の方法でシステム全体で共有していることとする。それぞれの機器ごとに設定を行ってもよいし、通信により設定を共有する方法であっても良い。

【0053】

スケールパラメータにスケーリングメソッドを含む際、画像タイプがキー画像である場合には、演算量が多かったとしてもエイリアシングの発生が少ない方法を選択し、画像タイプが非キー画像である場合には、エイリアシングの発生を許容し演算量が少ない方法を選択することで、カメラモジュールＢ１１にて発生する消費電力は最大限解消できる。具体的には、例えば、画像タイプがキー画像である場合には平均画素法を使用して、画像タイプが非キー画像である場合にはＮｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ法を使用する。非キー画像については、縮小によりキー画像よりも情報量が減っていることに加え、エイリアシングも多く発生することになるが、それも併せて超解像装置Ａ２で高画質化することになる。

【0054】

超解像装置Ａ２では、キー画像が追加されると、キー画像を学習用の画像に追加して超解像用のモデルを再学習することで、バッテリー駆動カメラＡ１の画像の性質に合わせてチューニングを行い、チューニングされたモデル、例えば、深層学習モデルを超解像装置Ａ２に保存し使用する。

【0055】

時刻情報と画像タイプ特定情報をどのように組み合わせて設定保存部Ｃ１２１に保存するかについても、種々の方法が考えられる。具体的には、例えば、以下の２つの方法が考えられる。

【0056】

１つ目の方法は、キー画像は画質が保証されており、非キー画像は超解像処理を適用するとはいえ画質が保証されないため、特定の時刻のみキー画像とし、それ以外の時刻では非キー画像又は条件付き非キー画像とする方法である。例えば、１時間おきにキー画像と条件付き非キー画像を取得し、その間に２０分おきに非キー画像を撮影する設定が考えられる。結果として、通常はキー画像は２時間おきにしか撮影されないが、イベント等が発生しカメラ制御部Ｃ１２３のステータスが警戒状態になった場合、つまり画像の内容が大きく変わった可能性のある場合は１時間おきにキー画像が撮影されることになる。

【0057】

２つ目の方法は、例えば、週の中で特定の曜日については１日中キー画像を取得し、それ以外の曜日では全て非キー画像とする方法や、月の中で特定の日にちについては１日中キー画像を取得し、それ以外の日にちでは全て非キー画像を取得するという方法もある。異なる日付の同じ時間帯には同じような画像が撮影される可能性が高いため、特定の日のみキー画像を取得することで、効果的に非キー画像として撮影され得る画像に似たキー画像を集めることができる。また、類似の方法として、Ｎを正の整数値とすると、Ｎ日ごとにキー画像を取得する日付とするという方法も考えられる。これらの場合でも、非キー画像を取得する日にちの、例えば、正時の撮影は条件付き非キー画像とすることで、画像の内容が大きく変わった可能性のある場合は１時間おきにキー画像を撮影することができる。

【0058】

いずれの方法についても、超解像装置Ａ２は、取得されたキー画像を活用して定期あるいは非定期に再学習を実施することで、非キー画像が撮影された時刻の周辺時刻の設置場所の空間的な状態、つまりどのような画像が撮影されるかをモデル、例えば、深層学習モデルに取り込むことで、以降の非キー画像の超解像後の画質を上げることができる。

【0059】

前述のとおりカメラモジュールＢ１１は消費電力を抑えるために撮影のタイミングのみ駆動される。画像伝送部Ｂ１２についても処理が必要な時以外はスリープ状態に遷移しても良い。ただし、設定保存部Ｃ１２１に保存されたタイミングで起動できるようになっている必要はある。

【0060】

設定保存部Ｃ１２１は、ＳＤカードなどの不揮発性の記憶装置によって構成しても良いが、不揮発性の記憶装置は給電してからデータを読み出すためにも多くの電力を必要とする。画像伝送部Ｂ１２への給電を完全に断つことはできないが、低消費電力であることを特徴とする不揮発性のＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に保存しても良い。ＳＲＡＭより安価で大容量なＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であっても一定の効果は発揮するが、ＳＲＡＭを使用する方がバッテリー駆動カメラＡ１の消費電力は下がる。

【0061】

一方、カメラモジュールＢ１１は、典型的には撮影時以外は完全に給電を絶たれるため、カメラモジュールＢ１１が駆動中の消費電力がバッテリー駆動カメラＡ１の平均的な消費電力に与える影響は僅かとなるため、安価で大容量なＤＲＡＭを採用しても良い。ＤＲＡＭを採用することで大容量化が容易となるため、相対的に大きな画像サイズの画像に対して、複雑な画像処理や画像圧縮処理を適用できるようになる。

【0062】

また、同様の理由から。画像伝送部Ｂ１２はスリープ時の低消費電力を特徴とする相対的に処理性能の低いプロセッサを使用することが適しているが、カメラモジュールＢ１１は駆動時間が限られるため、消費電力が高かったとしても処理性能の高いプロセッサを使用しても良い。

【0063】

（Ａ－２）第１の実施形態の動作
次に、第１の実施形態に係るカメラシステム１の動作を、図面を参照しながら詳細に説明する。

【0064】

図２は、第１の実施形態に係るカメラシステムの特徴動作を示すフローチャートである。

【0065】

＜Ｓ１＞
タイマセット部Ｃ１２２は、設定保存部Ｃ１２１に保存された設定に従い、直近の撮影時刻にタイマー割り込みがかかるようタイマーをセットすると共に、当該撮影時刻に対応する画像タイプ特定情報をカメラ制御部Ｃ１２３に伝える。

【0066】

＜Ｓ２＞
カメラ制御部Ｃ１２３は、タイマー割り込み、又は連携メッセージの受信を契機に動作し、カメラモジュールＢ１１を駆動しつつ、画像タイプ特定情報に従うスケールパラメータでカメラモジュールＢ１１に撮影を指示する。ここでスケールパラメータが、画像タイプ特定情報により変化することが本実施形態の特徴の１つである。

【0067】

カメラ制御部Ｃ１２３は、連携メッセージを受信した場合、条件によりステータスの変更も行う。

【0068】

＜Ｓ３＞
カメラモジュールＢ１１は、指示されたスケールパラメータに従う画像を撮影し、撮影画像をカメラ内画像として出力する。

【0069】

＜Ｓ４＞
画像伝送コア部Ｃ１２４は、カメラモジュールＢ１１が撮影したカメラ内画像を入力として受け、カメラ制御部Ｃ１２３からも使用した画像タイプを受け、カメラ内画像と画像タイプを結合したデータを撮影画像として出力する。

【0070】

＜Ｓ５＞
超解像装置Ａ２は、撮影画像が非キー画像であった場合に、高解像度化して閲覧画像として出力する。ここで、超解像装置Ａ２は、取得されたキー画像を活用して定期又は非定期に再学習を実施することで、非キー画像が撮影された時刻の周辺時刻の設置場所の空間的な状態、つまりどのような画像が撮影されるかをモデル、例えば、深層学習モデルに取り込むことで、以降の非キー画像の超解像後の画質を上げることができる。

【0071】

＜Ｓ６＞
閲覧装置Ａ３は、閲覧画像を閲覧者に提示する。

【0072】

（Ａ－３）第１の実施形態の効果
以上のように、第１の実施形態によれば、以下の効果を奏する。

【0073】

バッテリー駆動カメラＡ１が、非キー画像の画像サイズを小さくすることでデータサイズを小さくし、消費電力を削減し、撮影頻度や撮影解像度、撮影画質を改善することができる。また、バッテリー駆動カメラＡ１がソーラーパネルで駆動している場合には、ソーラーパネルのサイズを小さくできたり、バッテリー容量を小さくできるため、バッテリー駆動カメラＡ１の装置の製造にかかるコストを削減できるうえ、装置の小型化もできるため設置容易性も増す。

【0074】

さらに、非キー画像の画像サイズが小さくなるということは、カメラモジュールＢ１１内で行われる画像処理や圧縮処理にかかる処理時間を削減することもできるし、非キー画像のデータサイズが小さくなるということは、カメラモジュールＢ１１から画像伝送コア部Ｃ１２４にカメラ内画像を転送する時間も短くなるため、これらの点でもバッテリー駆動カメラＡ１の消費電力は削減される。

【0075】

加えて、非キー画像のデータサイズが小さくなるということは、画像伝送にかかる遅延時間も短縮できるという効果もあり、とりわけマルチホップを使用している通信環境下では大きな効果を見込める。

【0076】

非キー画像については超解像装置Ａ２にて解像度がキー画像相当まで復元されることになるが、イベント等が発生した場合は、画像の内容が大きく変わる可能性があるため、超解像装置Ａ２が保持するモデルと非キー画像の適合度ひいては復元品質が低下する可能性はあるが、イベント等の発生に応じてキー画像の伝送頻度を上げられる条件付き非キー画像を設定できることで、これらの問題も緩和されている。

【0077】

以上のとおり、本実施形態の効果は、画像サイズを小さくし、データサイズを削減することにより、消費電力を削減し、撮影頻度や撮影解像度、撮影画質を改善することである。画像のデータサイズを削減する方法としては、差分符号化や画像内の動きと変化を予測する予測符号化など、過去あるいは未来の画像と、撮影対象の画像との間に相関があることを利用し、相関では予測できない情報のみを取り出すことでデータサイズを削減する手法が、主に動画像符号化の分野では一般的である。本発明は、差分符号化や予測符号化と競合するわけではないため両立しても本発明は一定の効果を保持する。

【0078】

しかしながら、差分符号化や予測符号化を導入するためには過去の画像をＲＡＭ又はＲＯＭに保存しておく必要がある。例えば、画像伝送部Ｂ１２のＳＲＡＭに保存する場合は、フレームバッファを必要とする差分符号化や予測符号化を使った画像圧縮処理に耐える大容量のＳＲＡＭを必要とするため装置が高価になると共に、前述のとおり画像伝送部Ｂ１２は低消費電力で処理性能の低いプロセッサのほうが適しているが、この処理性能の低いプロセッサで複雑な画像圧縮処理を計算することが強いられ、処理時間の増加により消費電力が上がる可能性もある。過去の画像は画像伝送部Ｂ１２に保存するが、実際の圧縮処理はカメラモジュールＢ１１に搭載された処理性能の高いプロセッサで計算するという構成も考えられるが、その場合には撮影ごとに画像伝送部Ｂ１２からカメラモジュールＢ１１に画像を転送する必要があり、そのための消費電力が必要になるという問題がある。

【0079】

また、カメラモジュールＢ１１に大容量なＳＲＡＭを搭載し、カメラモジュールＢ１１を撮影時はアクティブとし、非撮影時はスリープ状態にする構成も考えられるが、非撮影時の消費電力は増加してしまう。さらに、カメラモジュールＢ１１にＳＤカード等の不揮発性のＲＯＭを搭載し、そこに過去データを格納するという方法も考えられるが、ＳＤカード等の不揮発性のＲＯＭは給電からデータ取り込みまでに一定の電力を必要とする問題がある上に、不揮発性のＲＯＭは書き換え回数に制限がある場合が多いため、カメラモジュールＢ１１が動作可能な寿命が低下する恐れもある。

【0080】

まして、バッテリー駆動カメラＡ１は、例えば、数時間ごとに１枚撮影し伝送することが典型的な利用方法の一つとなるが、その場合に、差分符号化や予測符号化をしようとしても、直前に撮影された数時間前の画像では時刻帯が異なるため、動画像符号化のように上手く予測が出来なかったり、差分が大きくなったりしてうまくデータサイズが減らない可能性が高い。この問題を解消するためには、例えば、前日の同時刻帯に撮影された画像を参照して差分符号化や予測符号化をおこなうことが望ましいが、そのためには複数枚の画像のバッファリングが必要となるため、前述の問題はさらに顕著となる。

【0081】

さらに、差分符号化や予測符号化では、差分のベースとなった画像が復号側でも完全に取得できていなければ、復号することができない。動画像のように高いフレームレートの画像群を伝送する場合は、多少のパケットロスがあったとしても、数秒後に回復する手段は種々提案されているが、例えば、数時間に１度しか伝送されず、さらにはマルチホップ等でパケットロスが発生しやすいネットワーク環境では数時間に渡って続けて画像を復元できなくなるという問題も発生し得る。

【0082】

本実施形態のカメラシステム１は、非キー画像の画像サイズを小さくすることでデータサイズを落としつつ、キー画像と非キー画像の特徴に一定の相関があるという仮定の下で、キー画像を使って超解像のモデルを定期あるいは不定期にチューニングしキー画像の特徴を超解像処理に反映することで、上記の問題を起こすことなく、過去データとの相関を利用して高画質な画像を伝送する手段を備えることに特徴を有する。

【0083】

（Ｂ）第２の実施形態
以下、本発明による監視装置、監視プログラム、及び監視方法の第２の実施形態を、図面を参照しながら詳述する。第２の施形態では、本発明の監視装置をカメラシステムに適用した例について説明する。

【0084】

（Ｂ－１）第２の実施形態の構成
第２の実施形態のカメラシステム１の構成についても、第１の実施形態と同様に図１を用いて示すことができる。ただし、バッテリー駆動カメラＡ１（画像伝送部Ｂ１２）中のカメラ制御部Ｃ１２３の内容が第１の実施形態と異なるので、ここでは異なる点を中心に説明を行う。

【0085】

図３は、第２の実施形態に係るカメラ制御部及び周辺構成の一例を示すブロック図である。図３で示している周辺構成の内、タイマセット部Ｃ１２２、カメラモジュールＢ１１、及び画像伝送コア部Ｃ１２４は、基本的には第１の実施形態と同様である。

【0086】

第２の実施形態の外部センサＡ０は、センシングデータを含む連携メッセジを出力するものである。

【0087】

第２の実施形態のカメラ制御部Ｃ１２３は、タイマー割り込み、又は連携メッセージの受信を契機に動作し、カメラモジュールＢ１１を駆動しつつ、画像タイプ特定情報に従うスケールパラメータでカメラモジュールＢ１１に撮影を指示し、画像伝送コア部Ｃ１２４に画像タイプも出力するカメラ制御コア部Ｄ１２３１と、カメラ制御コア部Ｄ１２３１が受け取った連携メッセージに含まれるセンシングデータの履歴を保存するセンシングデータ履歴保存部Ｄ１２３２とを有する。

【0088】

図３では、外部センサＡ０を１個だけ図示しているが、外部センサＡ０が複数種類、複数個存在してもよく、その場合、センシングデータ履歴保存部Ｄ１２３２ではセンシングデータの履歴は外部センサごとに管理することとする。

【0089】

カメラ制御コア部Ｄ１２３１は、連携メッセージを受け取った際にステータスを変更するか、つまり例えば、警戒状態にするかを、第１の実施形態にて例示した方法に加えて、連携メッセージに含まれるセンシングデータと、センシングデータ履歴保存部Ｄ１２３２に保存されたセンシングデータの履歴と照らし合わせることで決定する。

【0090】

具体的には、受信した連携メッセージ単体では、第１の実施形態にて例示した方法では警戒状態にすべきものであった場合、連携メッセージに含まれるセンシングデータに近いセンシングデータを過去にも受信しているかをセンシングデータ履歴保存部Ｄ１２３２に保存された外部センサＡ０の過去のセンシングデータを読み出すことで確認し、連携メッセージに含まれるセンシングデータに近いセンシングデータを過去にも受信していた場合は、画像の内容が類似の画像をキー画像として送信したことがあるとみなして、ステータスを警戒状態には変更しない。超解像装置Ａ２では、キー画像を用いてモデルを学習することもあり、非キー画像に似た画像がモデルの学習に使用されているほど、非キー画像を超解像した画像の品質は向上するが、過去に同じようなキー画像を転送したことがある場合は、不必要に多くのデータを伝送することになり、延いては不必要に電力を消費する可能性があるため、センシングデータを照らし合わせることで過去に似た状況でキー画像を転送したことがあるか否かを判定する。なお、受信した連携メッセージ単体では、第１の実施形態にて例示した方法では警戒状態にすべきものでは無かった場合、ステータスが警戒状態であれば通常状態に戻す。

【0091】

センシングデータ履歴保存部Ｄ１２３２に保存されたセンシングデータＨが、連携メッセージに含まれるセンシングデータＸに近いかは、例えば、ＸとＨの距離（差の絶対値）が予め決めておいた閾値Ｔより小さい場合に近いと判定するなどの方法がある。

【0092】

また、連携メッセージに含むセンシングデータの種類は複数種類あってもよく、この場合はセンシングデータの種類を区別する整数値の添え字ｉを用いて、全てのｉに関して、センシングデータ履歴保存部Ｄ１２３２に保存されたセンシングデータＨｉが、連携メッセージに含まれるセンシングデータＸｉに近いかは、例えば、ＸｉとＨｉの距離（差の絶対値）が予め決めておいた閾値Ｔｉより小さい場合に近いと判定するなどの方法がある。センシングデータの種類には、水位や傾斜などの物理量のほか、例えば、時刻情報などもある。例えば、ある水位に達したときの画像を過去にキー画像として送ったことがあったとしても時間帯が異なれば画像の内容は変わりうるため、超解像のモデルを学習するために改めてキー画像を送ることが望ましい。そのため、センシングデータの一つとして時刻情報を加えることで、水位と時間帯がどちらも近い状態で過去に警戒状態にしていない限り、条件付き非キー画像はキー画像として伝送することにしても良い。

【0093】

（Ｂ－２）第２の実施形態の動作
次に、第２の実施形態に係るカメラシステム１の動作を、図面を参照しながら詳細に説明する。第２の実施形態のカメラシステム１は、基本的に前述の図２の処理を実行するが、ステップＳ２において、以下の処理も実行する。

【0094】

図４は、第２の実施形態に係るカメラ制御部の特徴動作を示すフローチャートである。

【0095】

＜Ｓ２１＞
カメラ制御コア部Ｄ１２３１は、連携メッセージを受信した場合、受信した連携メッセージ単体では警戒状態にすべきものであるかを判定する。カメラ制御コア部Ｄ１２３１は、警戒状態にすべき場合、ステップＳ２２に遷移し、それ以外の場合にはステップＳ２３に遷移する。

【0096】

＜Ｓ２２＞
カメラ制御コア部Ｄ１２３１は、連携メッセージに含まれるセンシングデータに近いセンシングデータを過去にも受信しているかをセンシングデータ履歴保存部Ｄ１２３２に保存された外部センサＡ０の過去のセンシングデータを読み出すことで確認する。そして、カメラ制御コア部Ｄ１２３１は、連携メッセージに含まれるセンシングデータに近いセンシングデータを過去にも受信していた場合は、画像の内容が類似の画像をキー画像として送信したことがあるとみなしてステップＳ２５に遷移し、それ以外の場合はステップＳ２４に遷移する。

【0097】

＜Ｓ２３＞
カメラ制御コア部Ｄ１２３１は、ステータスが警戒状態であれば通常状態に変更する。

【0098】

＜Ｓ２４＞
カメラ制御コア部Ｄ１２３１は、ステータスを警戒状態に変更する。

【0099】

＜Ｓ２５＞
カメラ制御コア部Ｄ１２３１は、ステータスを変更しない。

【0100】

（Ｂ－３）第２の実施形態の効果
以上のように、第２の実施形態によれば、たとえ警戒状態にすべき状況になったとしても、過去に似たキー画像を伝送した可能性がある場合は、条件付き非キー画像を非キー画像として伝送することで、不必要に多くのデータ量が発生することを防止し、不必要に多くの電力を消費することを防止できる。

【0101】

（Ｃ）他の実施形態
前述した第１、第２の実施形態においても種々の変形実施形態を言及したが、以下の変形実施形態にも適用できる。

【0102】

第１、第２の実施形態では、カメラシステム１において、超解像装置Ａ２と閲覧装置Ａ３とを別の装置として示したが、これらは同じ装置であっても良い。

【符号の説明】

【0103】

１、１００、２００：カメラシステム、Ａ０：外部センサ、Ａ１：バッテリー駆動カメラ、Ａ２：超解像装置、Ａ３：閲覧装置、Ａ４：ゲートウェイ、Ｂ１１：カメラモジュール、Ｂ１２：画像伝送部、Ｃ１２１：設定保存部、Ｃ１２２：タイマセット部、Ｃ１２３：カメラ制御部、Ｃ１２４：画像伝送コア部、Ｄ１２３１：カメラ制御コア部、Ｄ１２３２：センシングデータ履歴保存部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】