特開 2023-35448 監視装置、監視システムおよび監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023035448

(43)【公開日】2023-03-13

(54)【発明の名称】監視装置、監視システムおよび監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230306BHJP

   H04N 23/63 20230101ALI20230306BHJP

   G08B 25/00 20060101ALI20230306BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 U

H04N7/18 E

H04N5/232 939

H04N5/232 941

G08B25/00 510M

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2021142309

(22)【出願日】2021-09-01

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106116

【弁理士】

【氏名又は名称】鎌田 健司

(74)【代理人】

【識別番号】100131495

【弁理士】

【氏名又は名称】前田 健児

(72)【発明者】

【氏名】岩井 和彦

(72)【発明者】

【氏名】山田 伸

【テーマコード（参考）】

5C054

5C087

5C122

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CF06

5C054CF07

5C054CG05

5C054CG06

5C054CG08

5C054CH08

5C054DA09

5C054EA01

5C054EA03

5C054EA05

5C054EA07

5C054FC01

5C054FC03

5C054FC12

5C054FC14

5C054FC16

5C054FD07

5C054FE05

5C054FE06

5C054FE07

5C054FE12

5C054FE16

5C054FE18

5C054FE23

5C054FE26

5C054FE28

5C054FF02

5C054FF03

5C054FF06

5C054GB01

5C054GB05

5C054GB18

5C087AA02

5C087AA03

5C087AA19

5C087BB74

5C087CC02

5C087DD03

5C087DD06

5C087DD20

5C087EE07

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG08

5C122DA11

5C122EA42

5C122FA01

5C122FH03

5C122FH09

5C122FH11

5C122FH14

5C122FH24

5C122FK23

5C122FK34

5C122FK35

5C122FK37

5C122FK41

5C122FK42

5C122GA34

5C122HA86

5C122HA88

5C122HB01

(57)【要約】

【課題】監視カメラの画角ずれを確実に検知し、その画角ずれ量を簡易に調整して、常に同じ設定状態で監視を継続することができるようにする。
【解決手段】本発明の監視装置は、カメラ１０１により撮像されたカメラ画像３０１に基づいて、侵入検知エリアに侵入した発報対象が検出された場合に、警報を発報する画像解析サーバ１０２を備えた監視装置であって、前記画像解析サーバ１０２は、前記カメラ画像３０１（基準画像）を取得し、前記基準画像に含まれる固定物に対応した固定物エリア（基準エリア）を設定させ、前記カメラ画像３０１（ライブ画像）を取得し、前記ライブ画像に含まれる固定物に対応した固定物エリア（参照エリア）を抽出して、前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づいて画角ずれ量を算出し、前記画角ずれ量を解消する操作を案内する調整画面を含む監視画面を生成して表示する。
【選択図】図４

【特許請求の範囲】

【請求項1】

撮像装置により撮像された撮像画像に基づいて、侵入検知エリアに侵入した発報対象が検出された場合に警報を発報するプロセッサを備えた監視装置であって、
前記プロセッサは、
前記撮像画像の基準画像を取得し、前記基準画像に含まれる固定物に対応した基準エリアを設定させ、
前記撮像画像のライブ画像を取得し、前記ライブ画像に含まれる固定物に対応した参照エリアを抽出し、
前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づき、画角ずれ量を算出し、
前記画角ずれ量を解消する操作を案内する画角調整画面を含む監視画面を生成して表示する、
ことを特徴とする監視装置。

【請求項2】

前記基準エリアは、
前記固定物の輪郭に基づいて設定する、
ことを特徴とする請求項１に記載の監視装置。

【請求項3】

前記プロセッサは、
前記基準エリアおよび前記参照エリアの基準位置との比較において、侵入検知エリアの絶対位置を介在させる、
ことを特徴とする請求項１に記載の監視装置。

【請求項4】

前記プロセッサは、
前記基準エリアの候補である候補基準エリアを複数提示し、任意の前記候補基準エリアを選択するユーザの操作に基づいて、前記基準エリアを設定する、
ことを特徴とする請求項１に記載の監視装置。

【請求項5】

前記画角調整画面は、
前記撮像装置の向きに関するパラメータを備えており、
前記パラメータを調整するユーザの操作に基づいて、前記画角ずれ量を解消する、
ことを特徴とする請求項１に記載の監視装置。

【請求項6】

前記画角調整画面は、
前記ライブ画像を表示する表示部と、
前記侵入検知エリアおよび前記基準エリアの少なくとも一方を前記ライブ画像上に重畳させる重畳ボタンを備えている、
ことを特徴とする請求項１に記載の監視装置。

【請求項7】

前記画角調整画面は、
さらに、前記基準エリアと、前記パラメータの調整操作後の前記参照エリアとのずれ発生の有無を確認する再表示ボタンを備えている、
ことを特徴とする請求項１に記載の監視装置。

【請求項8】

前記パラメータは、
前記撮像装置の設置日時、撮像装置の名称、ＩＰアドレス、パン、チルト、またはズームをパラメータ項目として備えている、
ことを特徴とする請求項４に記載の監視装置。

【請求項9】

前記画角調整画面は、
前記画角ずれ量の原因となる前記パラメータ項目の表示方法が他の前記パラメータ項目と異なる強調表示を行う、
ことを特徴とする請求項７に記載の監視装置。

【請求項10】

前記監視画面は、
各種設定画面と、前記画角調整画面とを切り替えることができる、画面切り替えタブを備えている、
ことを特徴とする請求項１に記載の監視装置。

【請求項11】

前記プロセッサは、
前記基準画像の輝度分布と前記ライブ画像の輝度分布との差を算出することで、前記撮像装置に異常が発生しているか否かを判定し、前記異常と判定した場合に、ユーザに故障が発生していることを報知する、
ことを特徴とする請求項１に記載の監視装置。

【請求項12】

前記プロセッサは、
前記輝度分布として輝度信号平均値を用い、
前記基準画像の前記輝度信号平均値の変化量を算出して、前記変化量が所定の閾値を超える変化である場合に、前記撮像装置に故障が発生していることをユーザに報知する、
ことを特徴とする請求項９に記載の監視装置。

【請求項13】

撮像された撮像画像に基づいて、侵入検知エリアに侵入した発報対象が検出された場合に警報を発報する監視システムであって、
複数の撮像装置と、
前記撮像装置とネットワークを介して接続されているサーバ装置と、
前記サーバ装置から発報された警報を、ネットワークを介して受信する監視端末と、を備え、
前記サーバ装置は、
前記撮像画像の基準画像を取得し、前記基準画像に含まれる固定物に対応した基準エリアを設定させ、
前記撮像画像のライブ画像を取得し、前記ライブ画像に含まれる固定物に対応した参照エリアを抽出し、
前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づき、画角ずれ量を算出し、
前記画角ずれ量を解消する操作を案内する画角調整画面を含む監視画面を生成し、前記監視端末に送信する、
ことを特徴とする監視システム。

【請求項14】

前記監視端末は、
前記サーバ装置から送られてくる情報を表示する表示画面を備えたモバイル端末である、
ことを特徴とする請求項１２に記載の監視システム。

【請求項15】

前記サーバ装置は、
前記撮像装置の内、少なくとも１つの前記撮像装置の画角ずれを検知した際に、所定エリア内に設置されている複数の前記撮像装置の各前記ライブ画像を確認できる一覧画面を前記監視端末に送信する、
ことを特徴とする請求項１２に記載の監視システム。

【請求項16】

前記サーバ装置は、
前記一覧画面に表示される複数の前記ライブ画像の中から任意の画像を選択するユーザの操作に基づき、前記ライブ画像に対応する前記撮像装置のビューア画面を送信する、
ことを特徴とする請求項１４に記載の監視システム。

【請求項17】

前記サーバ装置は、
ユーザにより選択された前記撮像装置の前記ライブ画像、前記撮像装置の前記基準画像、前記撮像装置のパラメータ、または前記撮像装置が画角ずれを発生していることを報知するコメントを有する、前記ビューア画面を送信する、
ことを特徴とする請求項１５に記載の監視システム。

【請求項18】

撮像装置により撮像された撮像画像に基づいて、侵入検知エリアに侵入した発報対象が検出された場合に警報の発報処理をプロセッサにより実行する監視方法であって、
前記プロセッサは、
前記撮像画像の基準画像を取得し、前記基準画像に含まれる固定物に対応した基準エリアを設定させ、
前記撮像画像のライブ画像を取得し、前記ライブ画像に含まれる固定物に対応した参照エリアを抽出し、
前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づき、画角ずれ量を算出し、
前記画角ずれ量を解消する操作を案内する画角調整画面を含む監視画面を生成して表示する、
ことを特徴とする監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視カメラの画角ずれを確実に検知し、その画角ずれ量を簡易に調整できるようにした監視装置および監視システムに関するものである。

【背景技術】

【0002】

近年、踏切を撮影する監視カメラの撮像画像に基づき、踏切内に障害物が存在するか否かを監視する装置において、監視カメラの位置変化を検知する専用のジャイロセンサ等を用いることなく、監視カメラが位置変化を起こしているか否かを監視する対象領域を指定し、この対象領域の平常時の基準画像と撮影時の比較画像に含まれる直線部分のずれ量から監視カメラの位置変化量を算出するようにした踏切監視装置が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１４７４４３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術は、監視領域に対象領域を指定し、その対象領域に含まれる直線部分が対象領域の外周と交わる点の相対移動量に基づき、監視カメラが当初位置から位置や姿勢の変化を算出して、位置データを出力して、位置調整に向けた注意信号を発信するものである。

【0005】

そのため、監視領域内に適切な直線部分が存在しない場合や、直線部分が存在する場合でも、その直線部分が遠方に位置する場合、監視カメラの当初位置から位置や姿勢の変化を算出するための対象領域が設定できないという問題があった。特に、ディープラーニングなどの機械学習により構築される画像認識モデル（機械学習モデル）を利用して検知エリア内に侵入する物体等を検知する場合、監視カメラの画角ずれが発生した場合でも、その画角ずれ量を調整し、既に構築された機械学習モデルを再利用できるようにすることが望まれる。しかし、従来の技術では、画角ずれを簡易に調整するための仕組みについて、何ら考慮されていないものであった。

【0006】

そこで、本発明は、このような問題点に鑑みて為されたもので、監視領域における直線部分の有無にかかわらず、監視カメラの画角ずれを確実に検知し、その画角ずれ量を簡易に調整して、常に同じ設定状態で監視を継続することができる監視装置、監視システムおよび監視方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の監視装置は、撮像装置により撮像された撮像画像に基づいて、侵入検知エリアに侵入した発報対象が検出された場合に警報を発報するプロセッサを備えた監視装置であって、前記プロセッサは、前記撮像画像の基準画像を取得し、前記基準画像に含まれる固定物に対応した基準エリアを設定させ、前記撮像画像のライブ画像を取得し、前記ライブ画像に含まれる固定物に対応した参照エリアを抽出し、前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づき、画角ずれ量を算出し、前記画角ずれ量を解消する操作を案内する画角調整画面を含む監視画面を生成して表示する構成とする。

【0008】

また、本発明の監視システムは、撮像された撮像画像に基づいて、侵入検知エリアに侵
入した発報対象が検出された場合に警報を発報する監視システムであって、複数の撮像装置と、前記撮像装置とネットワークを介して接続されているサーバ装置と、前記サーバ装置から発報された警報を、ネットワークを介して受信する監視端末と、を備え、前記サーバ装置は、前記撮像画像の基準画像を取得し、前記基準画像に含まれる固定物に対応した基準エリアを設定させ、前記撮像画像のライブ画像を取得し、前記ライブ画像に含まれる固定物に対応した参照エリアを抽出し、前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づき、画角ずれ量を算出し、前記画角ずれ量を解消する操作を案内する画角調整画面を含む監視画面を生成し、前記監視端末に送信する構成とする。

【0009】

また、本発明の監視方法は、撮像装置により撮像された撮像画像に基づいて、侵入検知エリアに侵入した発報対象が検出された場合に警報の発報処理をプロセッサにより実行する監視方法であって、前記プロセッサは、前記撮像画像の基準画像を取得し、前記基準画像に含まれる固定物に対応した基準エリアを設定させ、前記撮像画像のライブ画像を取得し、前記ライブ画像に含まれる固定物に対応した参照エリアを抽出し、前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づき、画角ずれ量を算出し、前記画角ずれ量を解消する操作を案内する画角調整画面を含む監視画面を生成して表示する構成とする。

【発明の効果】

【0010】

本発明によれば、監視領域における直線部分の有無にかかわらず、監視カメラの画角ずれを確実に検知し、その画角ずれ量を簡易に調整して、常に同じ設定状態で監視を継続することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る監視システムの全体構成図

【図2】カメラの撮影状況を示す説明図

【図3】カメラ画像上に設定される侵入検知エリアを示す説明図

【図4】画角ずれ検知処理の概要を示す説明図

【図5】画角ずれ検知処理における前処理である基準画像登録処理の手順を示すフロー図

【図6】基本設定画面を示す説明図

【図7】侵入検知エリア設定画面を示す説明図

【図8】固定物エリア設定画面を示す説明図

【図9】基準画像登録後の画角ずれ報知処理の手順を示すフロー図

【図10】基準点を侵入検知エリアの中心点として、また参照点を固定物エリアの各中心点とする場合の概要図

【図11】基準画像およびライブ画像で共通に設定される侵入検知エリアの基準点と固定物エリアの各参照点との位置関係を比較する場合の概要図

【図12】調整１画面を示す説明図

【図13】調整２画面を示す説明図

【図14】カメラ一覧画面を示す説明図

【図15】ビューア画面を示す説明図

【図16】輝度異常判定処理および画角ずれ検知処理の概要を示す説明図

【図17】輝度異常判定処理の手順を示すフロー図

【発明を実施するための形態】

【0012】

前記課題を解決するためになされた第１の発明は、撮像装置により撮像された撮像画像に基づいて、侵入検知エリアに侵入した発報対象が検出された場合に警報を発報するプロセッサを備えた監視装置であって、前記プロセッサは、前記撮像画像の基準画像を取得し、前記基準画像に含まれる固定物に対応した基準エリアを設定させ、前記撮像画像のライ
ブ画像を取得し、前記ライブ画像に含まれる固定物に対応した参照エリアを抽出し、前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づき、画角ずれ量を算出し、前記画角ずれ量を解消する操作を案内する画角調整画面を含む監視画面を生成して表示する構成とする。

【0013】

これによると、監視領域における直線部分の有無にかかわらず、監視カメラの画角ずれを確実に検知し、その画角ずれ量を簡易に調整して、常に同じ設定状態で監視を継続することができる。

【0014】

また、第２の発明は、前記基準エリアは、前記固定物の輪郭に基づいて設定する構成とする。

【0015】

これによると、固定物の輪郭に基づいた候補枠が表示されるため、ユーザは、固定物の全体を確実に含む基準エリアを設定することができる。

【0016】

また、第３の発明は、前記プロセッサは、前記基準エリアおよび前記参照エリアの基準位置との比較において、侵入検知エリアの絶対位置を介在させる構成とする。

【0017】

これによると、プロセッサによって、位置変動を生じない侵入検知エリアの絶対位置と基準エリアの基準位置の距離と、前述した絶対位置と参照エリアの基準位置の距離との比較を行うため、監視カメラの画角ずれを確実に検知することができる。

【0018】

また、第４の発明は、前記プロセッサは、前記基準エリアの候補である候補基準エリアを複数提示し、任意の前記候補基準エリアを選択するユーザの操作に基づいて、前記基準エリアを設定する構成とする。

【0019】

これによると、プロセッサによって、自動検出される固定物の輪郭に基づく候補枠を複数表示されるため、ユーザは、監視領域における固定物を速やかに確認することができ、また簡易に基準エリアを設定することができる。

【0020】

また、第５の発明は、前記画角調整画面は、前記撮像装置の向きに関するパラメータを備えており、前記パラメータを調整するユーザの操作に基づいて、前記画角ずれ量を解消する構成とする。

【0021】

これによると、画角調整画面上に、監視カメラの向きに関するパラメータ（パン、チルト等）が表示されるため、ユーザは、表示されたパラメータを操作することにより、監視カメラの画角ずれ量を簡易かつ速やかに調整することができる。

【0022】

また、第６の発明は、前記画角調整画面は、前記ライブ画像を表示する表示部と、前記侵入検知エリアおよび前記基準エリアの少なくとも一方を前記ライブ画像上に重畳させる重畳ボタンを備えている構成とする。

【0023】

これによると、侵入検知エリアおよび基準エリアの少なくとも一方が、ライブ画像上に重畳されるため、ユーザは、直感的にどの程度の画角ずれが発生しているのかを確認することができる。

【0024】

また、第７の発明は、前記画角調整画面は、さらに、前記基準エリアと、前記パラメータの調整操作後の前記参照エリアとのずれ発生の有無を確認する再表示ボタンを備えている構成とする。

【0025】

これによると、画角調整画面上に表示される基準エリアとパラメータの調整操作後の参照エリアの重なり具合を確認することで、ユーザは、画角ずれの修正具合を直感的かつ簡易に確認することができる。

【0026】

また、第８の発明は、前記パラメータは、前記撮像装置の設置日時、撮像装置の名称、ＩＰアドレス、パン、チルト、またはズームをパラメータ項目として備えている構成とする。

【0027】

これによると、画角調整画面上に、監視カメラの設置日時、監視カメラの名称、ＩＰアドレス、パン、チルト、またはズームに関する情報が表示されるため、ユーザは、監視カメラの設置状態等を、複雑な操作を要することなく簡易に確認することができる。

【0028】

また、第９の発明は、前記画角調整画面は、前記画角ずれ量の原因となる前記パラメータ項目の表示方法が他の前記パラメータ項目と異なる強調表示を行う構成とする。

【0029】

これによると、画角ずれの原因となっている監視カメラのパラメータ項目の表示方法が他の前記パラメータ項目と異なるため、ユーザは、監視カメラのどのパラメータに異常が発生しているのかを簡易かつ速やかに把握することができる。

【0030】

また、第１０の発明は、前記監視画面は、各種設定画面と、前記画角調整画面とを切り替えることができる、画面切り替えタブを備えている構成とする。

【0031】

これによると、監視画面の表示を任意の画面に切り替えることができるため、ユーザは、好きなタイミングで基準エリアの確認、修正または変更を行うことができる。

【0032】

また、第１１の発明は、前記プロセッサは、前記基準画像の輝度分布と前記ライブ画像の輝度分布との差を算出することで、前記撮像装置に異常が発生しているか否かを判定し、前記異常と判定した場合に、ユーザに故障が発生していることを報知する構成とする。

【0033】

これによると、プロセッサによって監視カメラが故障している旨がユーザに報知されるため、ユーザは、速やかに監視カメラの交換作業に移ることができ、監視カメラの侵入検知処理および画角ずれ検知処理を適切に実施できる状態に戻すことができる。

【0034】

また、第１２の発明は、前記プロセッサは、前記輝度分布として輝度信号平均値を用い、前記基準画像の前記輝度信号平均値の変化量を算出して、前記変化量が所定の閾値を超える変化である場合に、前記撮像装置に故障が発生していることをユーザに報知する構成とする。

【0035】

これによると、監視カメラの故障を効率的に検出することができるため、ユーザの目視確認等の負担を減らすことができる。

【0036】

また、第１３の発明は、撮像された撮像画像に基づいて、侵入検知エリアに侵入した発報対象が検出された場合に警報を発報する監視システムであって、複数の撮像装置と、前記撮像装置とネットワークを介して接続されているサーバ装置と、前記サーバ装置から発報された警報を、ネットワークを介して受信する監視端末と、を備え、前記サーバ装置は、前記撮像画像の基準画像を取得し、前記基準画像に含まれる固定物に対応した基準エリアを設定させ、前記撮像画像のライブ画像を取得し、前記ライブ画像に含まれる固定物に対応した参照エリアを抽出し、前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づき、画角ずれ量を算出し、前記画角ずれ量を解消する操作を案内する画角調整画面を含む監視画面を生成し、前記監視端末に送信する構成とする。

【0037】

これによると、第１の発明と同様に、常に同じ設定状態で監視を継続することができる。

【0038】

また、第１４の発明は、前記監視端末は、前記サーバ装置から送られてくる情報を表示する表示画面を備えたモバイル端末である構成とする。

【0039】

これによると、ユーザは、特定のエリア内に限らずいかなる場所において、画角ずれの発生を速やかに確認することができる。

【0040】

また、第１５の発明は、前記サーバ装置は、前記撮像装置の内、少なくとも１つの前記撮像装置の画角ずれを検知した際に、所定エリア内に設置されている複数の前記撮像装置の各前記ライブ画像を確認できる一覧画面を前記監視端末に送信する構成とする。

【0041】

これによると、所定エリア内に設置されている複数の監視カメラの各ライブ画像を一覧で表示されるため、ユーザは、複数の監視カメラの撮影状況を簡易に確認することができ、また、直感的に画角ずれを発生している監視カメラを把握することができる。

【0042】

また、第１６の発明は、前記サーバ装置は、前記一覧画面に表示される複数の前記ライブ画像の中から任意の画像を選択するユーザの操作に基づき、前記ライブ画像に対応する前記撮像装置のビューア画面を送信する構成とする。

【0043】

これによると、複数の監視カメラのライブ画像の中から任意の監視カメラのライブ画像を選択することで、ユーザは、任意の監視カメラの設定状態等を簡易かつ速やかに確認することができる。

【0044】

また、第１７の発明は、前記サーバ装置は、ユーザにより選択された前記撮像装置の前記ライブ画像、前記撮像装置の前記基準画像、前記撮像装置のパラメータ、および前記撮像装置が画角ずれを発生していることを報知するコメントを有する、前記ビューア画面を送信する構成とする。

【0045】

これによると、ビューア画面上に、任意の監視カメラのライブ画像と基準画像が表示されるため、ユーザは、直感的に画角ずれを把握することができる。また、サーバ装置において画角ずれが検出されている場合、ビューア画面上に、画角ずれを発生していることを報知するコメントも表示されるため、ユーザは、画角ずれが適切に修正されない状態が放置されることを避けることができる。

【0046】

また、第１８の発明は、撮像装置により撮像された撮像画像に基づいて、侵入検知エリアに侵入した発報対象が検出された場合に警報の発報処理をプロセッサにより実行する監視方法であって、前記プロセッサは、前記撮像画像の基準画像を取得し、前記基準画像に含まれる固定物に対応した基準エリアを設定させ、前記撮像画像のライブ画像を取得し、前記ライブ画像に含まれる固定物に対応した参照エリアを抽出し、前記基準エリアおよび前記参照エリアの基準位置との比較結果に基づき、画角ずれ量を算出し、前記画角ずれ量を解消する操作を案内する画角調整画面を含む監視画面を生成して表示する構成とする。

【0047】

これによると、第１の発明と同様に、常に同じ設定状態で監視を継続することができる。

【0048】

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、下記に開示される実施の形態はすべて例示であって、本開示に係る監視装置および監視システムに制限を加
える意図はない。

【0049】

（第１実施形態）
図１は、第１実施形態に係る監視システムの全体構成図である。

【0050】

監視システムは、通常、撮像装置により撮像された撮像画像に基づいて、ディープラーニングなどの機械学習により構築される画像認識モデル（機械学習モデル）を利用して侵入検知エリア内に出現した人物を発報対象として検知し、侵入検知エリアに侵入した発報対象が検出された場合に警報を発報するものである。なお、発報対象の検知は、人物の全身が侵入検知エリアに出現した場合に限らず、体の一部が侵入検知エリアに出現した場合に検知してもよい。また、発報対象の人物の姿勢（例として転倒）や、状態（例として体温や心拍数）を基に検知してもよい。

【0051】

第１実施形態に係る監視システムは、前述した通常機能に加え、撮像装置により撮像された撮像画像に基づいて、撮像装置の画角ずれを検知して、その旨を監視員（ユーザ）に報知するものである。この監視システムは、複数のカメラ１０１（撮像装置）と、画像解析サーバ１０２（画角ずれ検出装置）と、監視端末１０３（報知装置）を備えている。カメラ１０１と、画像解析サーバ１０２と、監視端末１０３は、ネットワークを介して相互に接続されている。

【0052】

カメラ１０１は、屋内外の所定の監視領域ごとに設置される。カメラ１０１は、監視領域として、人や動物等の発報対象の侵入を検知する領域である侵入検知領域、および、侵入検知領域付近に設置されている固定物を撮影する。カメラ１０１は、監視領域を撮影したカメラ画像を、ネットワークを介して画像解析サーバ１０２に送信する。

【0053】

画像解析サーバ１０２は、カメラ１０１が設置される店舗等の機器室やデータセンター等に設置される。画像解析サーバ１０２は、監視領域のカメラ画像をカメラ１０１から取得して、サーバ内に事前登録されている監視領域の基準画像と比較することにより、カメラ１０１の画角ずれを検知する処理（画角ずれ検知処理）を行う。また、画像解析サーバ１０２は、画角ずれを検知すると、その旨をユーザに報知する処理を行う。具体的には、監視端末１０３に所定の報知動作を行うように指示する。なお、画像解析サーバ１０２の機能は、クラウドコンピュータにより実現されるものであってもよい。

【0054】

監視端末１０３は、カメラ１０１が設置された店舗等の事務室などに設置される。監視端末１０３は、例えば、ＰＣに画角ずれ検知用のアプリケーションをインストールすることで実現することができる。監視端末１０３では、画像解析サーバ１０２からの指示に応じて、画角ずれが発生していることを店舗等の従業員（ユーザ）に知らせる報知動作として、報知画面が表示される。なお、監視端末１０３は、スマートフォンやタブレット端末などのモバイル端末であってもよい。モバイル端末では、画角ずれが発生していることをユーザに知らせる報知動作として、報知画面の表示やアラーム音の出力や振動の出力が行われる。

【0055】

なお、本実施形態では、店舗等の屋内に設置されたカメラ１０１の画角ずれを検知して係員に報知するものとしたが、カメラ１０１の設置場所は屋内に限定されない。例えば、遊園地等の野外に設置されたカメラ１０１の画角ずれを検知して係員（ユーザ）に報知するものであってもよい。

【0056】

次に、第１実施形態に係る画像解析サーバ１０２で行われる画角ずれ検知処理について説明する。図２は、カメラの撮影状況を示す説明図である。図３は、カメラ画像上に設定される侵入検知エリアを示す説明図である。図４は、画角ずれ検知処理の概要を示す説明
図である。

【0057】

図２に示すように、カメラ１０１は、監視領域として、屋内の侵入検知エリア２０１、および、侵入検知エリア２０１付近に設置されている固定物を撮像する。なお、カメラ１０１が複数設置されて、その複数のカメラ１０１により、屋内の全域が漏れなく撮影されることで、画角ずれ検出処理における死角をなくして検知漏れを防止するものとしてもよい。

【0058】

カメラ１０１の画角は、様々な原因によりずれることがある。例えば、パン・チルト機能を有するカメラ１０１で誤操作が行われることで、カメラ１０１の画角がずれることがある。また、清掃や点検などの際に作業者がカメラ１０１に接触することで、カメラ１０１の画角がずれることがある。

【0059】

なお、本実施形態において、カメラ１０１の画角とは、カメラ１０１により実際に撮影される被写体の範囲を表し、撮影条件としてのカメラ１０１の向き（姿勢）に関するものである。さらに、ズーム機能を有するカメラ１０１では、撮影条件としてのズーム倍率、すなわち、レンズの光軸を中心にした撮影範囲の広さが含まれる。

【0060】

ところで、侵入検知処理は、画像認識モデル（機械学習モデル）を用いて行われる。カメラ１０１の画角がずれると、カメラ１０１の撮影範囲が、カメラ設置時の画角２０２から画角ずれ発生時の画角２０３へと変化するため、カメラ画像上に設定された被写体がずれて、侵入検知エリア２０１に侵入する発報対象を検知する精度が低下する。精度を改善するためには、技術者が画像認識モデルのパラメータを調整し直したり、あるいは、時間をかけて学習データを収集して学習をやり直したりする必要がある。しかしながら、このような手法は大変手間のかかるものであり、調整にかかる負担が大きい。

【0061】

そこで、本実施形態では、画像解析サーバ１０２は、まず図３に示すような、侵入検知エリア２０１、および、侵入検知エリア２０１付近に設置されている固定物３０２が撮像領域内に含まれるカメラ画像３０１を取得する。続いて、画像解析サーバ１０２は、カメラ画像３０１に基づいて、屋内に設置されているカメラ１０１の画角ずれを検知する処理（画角ずれ検知処理）を行い、監視端末１０３を介して画角ずれが発生したことをユーザに報知する。ユーザは、画像解析サーバ１０２から報知された情報を基に、監視端末１０３を介してカメラ１０１の画角ずれを修正する。なお、画角ずれの修正はユーザ自らが行ってもよいし、本実施形態のシステムが自動で行ってもよい。

【0062】

具体的に、画角ずれ検知処理は、図４に示すように、画像解析サーバ１０２内で行われる。画像解析サーバ１０２は、画角ずれ検知処理を行うために、カメラ１０１より一定時間間隔で送らせてくる監視領域のライブ画像との比較対象となる基準画像を設定する処理（基準画像登録処理）を行う。

【0063】

画像解析サーバ１０２に設けられているカメラ画像取得部４０１が、カメラ１０１からカメラ画像３０１を取得する。カメラ画像取得部４０１は、取得したカメラ画像３０１を基準画像設定部４０２に送信する。基準画像設定部４０２は、カメラ画像３０１を取得後、監視端末１０３を介してユーザの操作を反映し、カメラ画像３０１を基に基準画像の設定を行う。基準画像設定部４０２は、基準画像の設定後、基準画像を基準画像蓄積部４０３に送信する。基準画像蓄積部４０３は、取得した基準画像を、カメラ１０１より一定時間間隔で送らせてくる監視領域のライブ画像との比較対象として保管する。なお、基準画像蓄積部４０３は、画像解析サーバ１０２の外に設けても良く、例えば、カメラ１０１に設けられたメモリ（図示せず）を基準画像蓄積部４０３として利用することができる。

【0064】

基準画像登録処理後、画像解析サーバ１０２は、カメラ１０１から一定時間間隔でカメラ画像３０１を取得する。カメラ画像取得部４０１は、取得したカメラ画像３０１を画像解析サーバ１０２に設けられている固定物エリア検知部４０４に送信する。固定物エリア検知部４０４は、カメラ画像３０１を取得後、カメラ画像３０１に含まれる固定物エリアを検出する。ここでカメラ画像３０１に含まれる固定物は、公知のディープラーニングによる物体認識技術を用いて認識することができる。そして、認識した固定物に対応した固定物エリアを検出後、画像解析サーバ１０２は、画角変更判定部４０５において、カメラ画像３０１から検出された固定物エリアの中心座標または各頂点の座標と基準画像登録処理で設定されている固定物エリアの中心座標または各頂点の座標とを比較し、画角ずれが発生しているか否かの判定を行う。画像解析サーバ１０２は、画角変更判定部の判定結果を基に、画角ずれの発生および画角ずれの度合い（移動座標）を、監視端末１０３を介してユーザに報知する。

【0065】

ユーザは、監視端末１０３を介して、カメラ１０１の画角ずれの度合いを確認することが出来る。画角ずれの度合いを確認後、ユーザは監視端末１０３を介してカメラ１０１の画角ずれを基準画像設定部４０２において修正することができ、修正後のカメラ画像３０１を登録処理することにより、修正後のカメラ画像３０１を基準画像として基準画像蓄積部４０３に更新することが出来る。ここで、更新された基準画像は、画角ずれが発生する前の基準画像と同等に再現されるため、ディープラーニングなどの機械学習により構築される画像認識モデル（機械学習モデル）は、そのまま継続利用して侵入検知エリア内に出現した発報対象を検知することができる。

【0066】

これにより、カメラ１０１の画角ずれが発生した場合であっても、ユーザは画像認識モデルのパラメータの再調整や再学習を行うことなく、カメラ１０１の画角ずれを速やかに修正することが可能となり、結果として、画像認識モデルを利用した侵入検知判定を精度よく行うことができる。

【0067】

次に、第１実施形態に係る画像解析サーバ１０２で行われる画角ずれ検知処理について説明する。

【0068】

本実施形態では、まず、画角ずれ検知処理を行うために、カメラ１０１より一定時間間隔で送らせてくる監視領域のカメラ画像３０１との比較対象となる基準画像の設定を行う必要がある。図５は、画角ずれ検知処理における前処理である基準画像登録処理の手順を示すフロー図である。

【0069】

基準画像の設定登録は、監視端末１０３を介してユーザによって行われる。基準画像登録時、監視端末１０３では、図６に示すような、基本設定画面６０１が、ユーザ操作画面として表示される。

【0070】

基本設定画面６０１には、ライブ画像表示部６０２が設けられている。ライブ画像表示部６０２には、カメラ１０１が撮像した監視領域のカメラ画像３０１が表示される。画像解析サーバ１０２は、カメラ１０１よりカメラ画像３０１を取得し、監視端末１０３を介してユーザにカメラ画像３０１を表示する。（ＳＴ１０１）

【0071】

次に、ユーザは、ライブ画像表示部６０２に表示されるカメラ画像３０１の確認を行い、基準画像として登録可能な画像かどうかを判断する。（ＳＴ１０２）

【0072】

図６において、基本設定画面６０１には、カメラ情報取得ボタン６０４が設けられている。ユーザは、カメラ情報取得ボタン６０４を押下することでカメラパラメータ６０３を取得することが出来る。カメラパラメータ６０３には、カメラ１０１を設置した日時、カ
メラ１０１の名称、ＩＰアドレス、パン・チルト・ズーム等の情報が含まれる。

【0073】

ユーザは、カメラ画像３０１を基準画像として登録するのに適切でない画像であると判断する場合、カメラパラメータ６０３を操作することにより、カメラ１０１のパン・チルト等を調整することができる。（ＳＴ１０３）

【0074】

ＳＴ１０３にてカメラ１０１のパン・チルト等を調整することにより、画像解析サーバ１０２がカメラ１０１のパラメータ調整後のカメラ画像３０１を取得するため、ユーザはＳＴ１０２の作業を再度行う。なお、ＳＴ１０１からＳＴ１０３までの作業は、カメラ１０１から取得される画像が、基準画像として登録するのに適切な画像であるとユーザが判断するまで繰り返し行うことが出来る。

【0075】

カメラ画像３０１が基準画像として登録するに値する画像である場合、ユーザは、基本設定画面６０１に設けられている設定保存ボタン６０５を押下することで、カメラ画像３０１を基準画像として、カメラパラメータ６０３と紐づけて保存することができる。

【0076】

また、基本設定画面６０１には、重畳ボタン６０６が設けられている。ユーザは、重畳ボタン６０６を押下することで、ライブ画像表示部６０２に表示されるカメラ画像３０１上に、侵入検知エリア２０１および固定物エリア６０８（基準エリア）の少なくとも一方に対応した枠画像を重畳することが出来る。侵入検知エリア２０１および固定物エリア６０８の設定に関しては後述する。

【0077】

ユーザは、基本設定画面６０１に設けられている、画面切り替えタブ６０７を押下することで、監視端末１０３において、ユーザが表示を希望する画面に切り替えることができる。例えば、ユーザが、画面切り替えタブ６０７の侵入検知エリアのタブを押下した場合、図７に示すような、侵入検知エリア設定画面７０１に切り替わる。なお、基本設定画面６０１が表示されている状態で、ユーザが設定保存ボタン６０５を押下した場合、監視端末１０３の画面が、侵入検知エリア設定画面７０１に自動で切り替わるような仕様であってもよい。

【0078】

侵入検知エリア設定画面７０１には、ライブ画像表示部６０２が設けられている。ライブ画像表示部６０２には、基本設定画面６０１で登録された基準画像が表示される。

【0079】

侵入検知エリア設定画面７０１では、ユーザは、ライブ画像表示部６０２に表示されている基準画像上に、人や動物等の発報対象を検知する侵入検知エリア２０１を設定することができる。（ＳＴ１０４）

【0080】

ユーザは、検知エリア設定画面７０１に設けられている侵入検知エリア設定部７０２を操作することで侵入検知エリア２０１を設定することが出来る。具体的には、ユーザは、侵入検知エリア設定部６１２の侵入検知エリアの欄に設けられている追加ボタン７０３を押下した後、ライブ画像表示部６０２に表示されている基準画像を押下して任意の４点を設定することで、矩形状の侵入検知エリア２０１を設定することが出来る。なお、侵入検知エリア２０１の設定方法は、ユーザが基準画像上に任意の４点を設定する方法に限られず、種々の手法を採用することができる。また、侵入検知エリア２０１の形状は楕円や星形等でもよく、矩形に限られない。また、複数の侵入検知エリア２０１を設定してもよい。

【0081】

ユーザは、侵入検知エリア２０１の設定を完了した場合、侵入検知エリア設定部７０２の侵入検知エリアの欄に設けられている設定ボタン７０４を押下することで、侵入検知エリア２０１の設定を完了することが出来る。また、ユーザは、設定した侵入検知エリア２
０１を削除したい場合、侵入検知エリア設定部７０２の侵入検知エリアの欄に設けられている削除ボタン７０５を押下することで、設定を完了していた侵入検知エリア２０１を削除することが出来る。

【0082】

また、ユーザは、侵入検知エリア設定部７０２を操作することで、検知マスクエリアを設定することが出来る。なお、本実施形態において、検知マスクエリアとは、侵入検知エリア２０１内であるが、検知処理を行わない領域のことである。検知マスクエリアの該当例としては、侵入検知エリア２０１内に発報対象の写ったポスター等が存在する場合に、当該ポスター等の領域を検知処理エリアから除外する等が挙げられる。

【0083】

ユーザは、侵入検知エリア設定部７０２を操作して、侵入検知エリア２０１や検知マスクエリア、また人物検出感度の設定を終えた場合、侵入検知エリア設定画面７０１に設けられている設定保存ボタン７０６を押下することで、侵入検知エリア２０１等の設定状態を、ライブ画像表示部６０２に表示されている基準画像と紐づけて保存することができる。なお、侵入検知エリア２０１に頻繁に出入りする店舗関係者等は、発報対象から除外する必要があるため、発報対象除外の機械学習データ等を追加しておくとよい。

【0084】

また、侵入検知エリア設定画面７０１には、固定物エリア重畳ボタン７０７が設けられている。ユーザは、固定物エリア重畳ボタン７０７を押下することで、ライブ画像表示部６０２に表示されるカメラ画像３０１上に、固定物エリア６０８に対応した枠画像を重畳することが出来る。固定物エリア６０８の設定に関しては後述する。

【0085】

ユーザは、侵入検知エリア設定画面７０１に設けられている、画面切り替えタブ６０７を押下することで、監視端末１０３において、ユーザが表示を希望する画面に切り替えることができる。例えば、固定物エリアのタブを押下した場合、図８に示すような、画角固定物エリア設定画面８０１に切り替わる。なお、侵入検知エリア設定画面７０１が表示されている状態で、ユーザが設定保存ボタン７０６を押下した場合、監視端末１０３の画面が、固定物エリア設定画面８０１に自動で切り替わるような仕様であってもよい。

【0086】

固定物エリア設定画面８０１には、ライブ画像表示部６０２が設けられている。ライブ画像表示部６０２には、基本設定画面６０１で登録された基準画像が表示される。

【0087】

固定物エリア設定画面８０１では、ユーザは、ライブ画像表示部６０２に表示されている基準画像上に、監視領域内に設置されている時計や扉、また床のタイル等の領域を示す固定物エリア６０８を設定することができる。（ＳＴ１０５）

【0088】

固定物エリア６０８は、固定物エリア設定画面８０１に設けられている、固定物エリア設定部８０２を操作することで設定することができる。具体的には、固定物エリア設定部８０２の固定物エリアの欄に設けられている追加ボタン８０３を押下して、侵入検知エリア２０１設定時と同様の操作を行うことで、固定物エリア６０８を設定することが出来る。なお、固定物エリア６０８の設定方法は、ユーザが任意の４点を設定する手法に限らず、画像解析サーバ１０２によって自動検出される固定物の輪郭に基づく候補枠を表示させ、侵入検知エリア２０１から近い順に自動で選択してもよいし、また候補枠の中からユーザが選択して設定してもよい。なお、固定物の輪郭は、矩形、多角形または曲線を使用した図形であってもよい。また、候補枠は、固定物の輪郭を含んだ枠であるものとする。

【0089】

ユーザは、固定物エリア６０８の設定を完了したと判断する場合、固定物エリア設定部８０２の固定物エリアの欄に設けられている設定ボタン８０４を押下することで、固定物エリア６０８の設定を完了することが出来る。また、ユーザは、設定した固定物エリア６０８を削除したい場合、固定物エリア設定部８０２の固定物エリアの欄に設けられている
削除ボタン８０５を押下することで、設定を完了していた固定物エリア６０８を削除することが出来る。なお、ライブ画像に写る移動可能な物体（植木鉢等）は、ユーザの判断で固定物エリア６０８から除かれる。

【0090】

また、ユーザは、基準画像から固定物を複数選択することができ、３つ以上選択することも可能である。なお、選択する固定物は１つであってもよいが、固定物を複数選択し、多視点での画角ずれ量を把握することで、誤検知を減らすことができる。

【0091】

ユーザは、固定物エリア６０８等の設定を終えた場合、固定物エリア設定画面８０１に設けられている設定保存ボタン８０６を押下することで、検知エリア等の設定状態を基準画像と紐づけて保存することができる。

【0092】

また、固定物エリア設定画面８０１には、侵入検知エリア重畳ボタン８０７が設けられている。ユーザは、侵入検知エリア重畳ボタン８０７を押下することで、ライブ画像表示部６０２に表示されるカメラ画像３０１上に、侵入検知エリア２０１に対応した枠画像を重畳することが出来る。

【0093】

このように、ユーザが、ＳＴ１０２からＳＴ１０５までの処理を行うことにより、画角ずれ検知処理に用いられる基準画像の登録が完了となる。（ＳＴ１０６）

【0094】

図６、図７および図８に示すように、ユーザは、基本設定画面６０１、侵入検知エリア設定画面７０１および固定物エリア設定画面８０１の各種設定画面に設けられている、画面切り替えタブ６０７を押下することで、監視端末１０３において、ユーザが表示を希望する画面に切り替えることができる。これにより、ユーザは、好きなタイミングで基準画像の修正または変更を行うことができる。

【0095】

なお、本実施形態では、ＳＴ１０４の処理後にＳＴ１０５の処理を行っているが、これに限定されず、手順が入れ替わってもよい。

【0096】

続いて、基準画像登録処理で登録した基準画像を用いて行われる、画角ずれ検知処理について説明する。図９は、基準画像登録後の画角ずれ報知処理の手順を示すフロー図である。

【0097】

基準画像登録後の画角ずれ検知処理は、画像解析サーバ１０２内で行われる。画像解析サーバ１０２は、カメラ１０１によって撮像された監視領域のカメラ画像３０１を一定時間間隔で取得する。（ＳＴ２０１）

【0098】

画像解析サーバ１０２は、取得したカメラ画像３０１から複数（例えば、３つ）の固定物エリア６０８’（参照エリア）を検出して、基準画像で設定された侵入検知エリアの中心点または各頂点と、検出された固定物エリア６０８’の中心点または頂点間の距離を算出する。（ＳＴ２０２）

【0099】

なお、複数の固定物エリア６０８’を検出することとしたが、これに限定されず、検出する固定物エリア６０８’は１つであってもよい。また、監視領域を移動する人物や荷物を検知することで、固定物エリア６０８の各頂点の隠蔽の有無を判定して、隠蔽されている固定物エリア６０８の中心点および頂点は、距離算出に用いない仕様であってもよい。

【0100】

ＳＴ２０２の後、画像解析サーバ１０２は、基準画像で設定した侵入検知エリア２０１の中心点または各頂点と、基準画像で設定した固定物エリア６０８の中心点または頂点間の距離を算出する。（ＳＴ２０３）

【0101】

なお、ＳＴ２０３の算出時に選択される固定物は、公知の物体認識の同定処理により、ＳＴ２０２の算出時にカメラ画像３０１から検出される固定物と同一のものを選択するものとする。

【0102】

ここで、画角ずれが発生しているかどうかを判断する方法について説明する。本実施形態では、基準画像およびライブ画像で共通に設定される侵入検知エリア２０１の中心点（Ｐ４）と、複数（ここでは、３つ）の固定物エリア６０８の中心点の距離を算出し、その距離の変化を検知することで、画角ずれが発生しているかどうかを検知する。図１０は、基準点（絶対位置）を侵入検知エリアの中心点として、また参照点（基準位置）を固定物エリアの各中心点とする場合の概要図である。

【0103】

図１０（ａ）は、画像解析サーバ１０２がカメラ１０１より取得するカメラ画像３０１（ライブ画像）である。画像解析サーバ１０２は、カメラ画像３０１から複数（ここでは、３つ）の固定物エリア６０８’（破線枠）を検出する。なお、固定物エリア６０８’（破線枠）の検出は、侵入検知エリア２０１から近い順に選択される手法であってもよい。

【0104】

複数の固定物エリア６０８’（破線枠）を検出した後、画像解析サーバ１０２は、各固定物エリア６０８’（破線枠）に中心点を設定する。例えば、各固定物エリア６０８’（破線枠）をＰ１、Ｐ２およびＰ３とした場合、各固定物エリアＰ１、Ｐ２およびＰ３の各中心点は、Ｐ１Ａ、Ｐ２ＡおよびＰ３Ａとして設定される。

【0105】

画像解析サーバ１０２は、各固定物エリア６０８’（破線枠）の中心点と、基準画像登録処理において、ユーザによって設定されている侵入検知エリア２０１の中心点の距離を算出する。具体的には、侵入検知エリア２０１の中心点をＰ４として、画像解析サーバ１０２は、Ｐ１ＡとＰ４との距離Ｌ１Ａ、Ｐ２ＡとＰ４との距離Ｌ２Ａ、および、Ｐ３ＡとＰ４との距離Ｌ３Ａを算出する。

【0106】

図１０（ｂ）は、基準画像登録処理でユーザが設定登録した基準画像１００１である。基準画像１００１には、基準画像登録処理において、侵入検知エリア２０１および複数の固定物エリア６０８がユーザによって設定されている。また、各固定物エリア６０８（実線枠）の中心点が、参照点として保存されている。例えば、侵入検知エリア２０１中心点はＰ４として、また各固定物エリア６０８（実線枠）をＰ１’、Ｐ２’およびＰ３’とした場合、各固定物エリアＰ１’、Ｐ２’およびＰ３’の各中心点は、Ｐ１Ａ’、Ｐ２Ａ’およびＰ３Ａ’のように参照点として保存されている。

【0107】

画像解析サーバ１０２は、基準画像登録処理において設定されている固定物エリア６０８（実線枠）の中から、カメラ画像３０１から検出された固定物エリア６０８’（破線枠）と同じものを選択し、各固定物エリア６０８（実線枠）の中心点と、侵入検知エリア２０１の中心点と距離を算出する。具体的には、画像解析サーバ１０２は、Ｐ１Ａ’とＰ４との距離Ｌ１Ａ’、Ｐ２Ａ’とＰ４との距離Ｌ２Ａ、および、Ｐ３Ａ’とＰ４との距離Ｌ３Ａ’を算出する。

【0108】

画像解析サーバ１０２は、カメラ画像３０１を基に算出された３点間の距離（Ｌ１Ａ、Ｌ２ＡおよびＬ３Ａ）と、基準画像１００１を基に算出された３点間の距離（Ｌ１Ａ’、Ｌ２Ａ’およびＬ３Ａ’）を比較することで、３点間の距離の変化を検出して、画角ずれが発生しているかどうかを検知する。

【0109】

なお、本実施形態では、各固定物エリア６０８の中心点から３点を選択しているが、各固定物エリア６０８の頂点から３点を選択してもよい。

【0110】

図１１は、基準画像１００１およびカメラ画像３０１（ライブ画像）で共通に設定される侵入検知エリアの基準点（絶対位置）（Ｐ５～Ｐ７）と固定物エリアの各参照点（基準位置）との位置関係を比較する場合の概要図である。

【0111】

図１１（ａ）は、画像解析サーバ１０２がカメラ１０１より取得するカメラ画像３０１である。画像解析サーバ１０２は、カメラ画像３０１から少なくとも１つの固定物エリア６０８’（破線枠）を検出する。固定物エリア６０８’（破線枠）を検出した後、画像解析サーバ１０２は、各固定物エリア６０８’（破線枠）の頂点を設定する。例えば、各固定物エリア６０８’（破線枠）をＰ１、Ｐ２およびＰ３とした場合、各固定物エリアＰ１、Ｐ２およびＰ３の参照点は、Ｐ１Ｂ、Ｐ２ＢおよびＰ３Ｂとして設定される。

【0112】

なお、本実施形態では、各固定物エリアＰ１、Ｐ２およびＰ３から１点ずつ選択して参照点を設定しているが、１つの固定物エリアから３点を選択して参照点を設定してもよい。また、各参照点の選択方法は、侵入検知エリア２０１から近い順に選択されるものであってもよい。

【0113】

画像解析サーバ１０２は、各固定物エリア６０８’（破線枠）の頂点と、基準画像登録処理において、ユーザによって設定されている侵入検知エリアの頂点の距離を算出する。具体的には、侵入検知エリア２０１の基準点をＰ５、Ｐ６およびＰ７として、画像解析サーバ１０２は、Ｐ１ＢとＰ５との距離Ｌ１Ｂ、Ｐ２ＢとＰ６との距離Ｌ２Ｂ、および、Ｐ３ＢとＰ７との距離Ｌ３Ｂを算出する。なお、本実施形態では、各固定物エリア６０８’（破線枠）の参照点と侵入検知エリア２０１の基準点の距離を算出しているが、各固定物エリア６０８’（破線枠）の参照点と侵入検知エリア２０１の中心点の距離であってもよい。

【0114】

図１１（ｂ）は、基準画像登録処理でユーザが設定登録した基準画像１００１である。基準画像１００１には、基準画像登録処理において、侵入検知エリア２０１および複数の固定物エリア６０８（実線枠）がユーザによって設定されている。また、各固定物エリア６０８（実線枠）の頂点が、参照点として保存されている。例えば、侵入検知エリア２０１の基準点Ｐ５、Ｐ６およびＰ７として、また各固定物エリア６０８（実線枠）をＰ１’、Ｐ２’およびＰ３’とした場合、各固定物エリアＰ１’、Ｐ２’およびＰ３’の各参照点は、Ｐ１Ｂ’、Ｐ２Ｂ’およびＰ３Ｂ’のように保存されている。

【0115】

画像解析サーバ１０２は、基準画像登録処理において設定されている固定物エリア６０８（実線枠）の中から、カメラ画像３０１から検出された固定物エリア６０８’（破線枠）と同じものを選択し、固定物エリア６０８（実線枠）の参照点と、侵入検知エリア２０１の基準点との距離を算出する。具体的には、画像解析サーバ１０２は、Ｐ１Ｂ’とＰ５との距離Ｌ１Ｂ’、Ｐ２Ｂ’とＰ６との距離Ｌ２Ｂ’、および、Ｐ３Ｂ’とＰ７との距離Ｌ３Ｂ’を算出する。

【0116】

画像解析サーバ１０２は、カメラ画像３０１（ライブ画像）を基に算出された３点間の距離（Ｌ１Ｂ、Ｌ２ＢおよびＬ３Ｂ）と、基準画像１００１を基に算出された３点間の距離（Ｌ１Ｂ’、Ｌ２Ｂ’およびＬ３Ｂ’）を比較することで、３点間の距離の変化を検出して、画角ずれが発生しているかどうかを検知する。

【0117】

図９に戻り、すなわち、画像解析サーバ１０２は、ＳＴ２０２の算出結果とＳＴ２０３の算出結果を比較して（ＳＴ２０４）、選択した３点間の距離（算出結果）が変化しているかどうかを確認することで画角ずれが発生しているかどうかを検知する。（ＳＴ２０５）

【0118】

なお、ＳＴ２０２およびＳＴ２０３における３点（固定物エリア６０８’の中心点または参照点）の選択方法は、固定物エリア６０８’が２つ以上検出されるか否かによって切り替える仕様であってもよい。

【0119】

画像解析サーバ１０２は、選択した３点間の距離（算出結果）が変化していない場合、画角ずれ検知処理を終了する。

【0120】

次に、画像解析サーバ１０２は、選択した３点間の距離（算出結果）が変化している場合、画角ずれの発生を検知して、固定物エリア６０８’の座標を基にカメラ１０１のずれ量を算出する。画像解析サーバ１０２は、ずれ量を算出した後、監視端末１０３を介してユーザに結果を報知する。（ＳＴ２０６）なお、３点の比較結果に基づく、変化量が一定でない場合、その変化量の平均値を取得したり、近似する変化量から代表値を取得したりして、画角ずれ検知処理へ反映させることができる。

【0121】

なお、本実施形態では、侵入検知エリア２０１の基準点（絶対位置）を介在した、固定物エリア６０８の参照点（基準位置）と、固定物エリア６０８’の参照点（基準位置）の比較結果に基づいて画角ずれを検知しているが、これに限らず、前述した固定物エリア６０８（基準エリア）と固定物エリア６０８’（参照エリア）との重畳箇所の面積が、所定の閾値を超えるか否かを確認することで、画角ずれが発生しているかどうかを検知してもよい。

【0122】

また、本実施形態では、侵入検知エリア２０１の基準点（絶対位置）を介在して画角ずれを検知しているが、これに限らず、基準画像１００１で設定した固定エリア６０８の参照点を基準点（絶対位置）として、固定エリア６０８の基準点と、カメラ画像３０１から検出される固定エリア６０８’の参照点（基準位置）の比較結果に基づいて画角ずれを検知してもよい。

【0123】

報知処理では、画像解析サーバ１０２が、監視端末１０３を介して画角ずれ検知処理の結果をユーザに報知する。具体的には、監視端末１０３に、カメラ１０１の画角ずれが発生していることをユーザに知らせる報知動作を行わせる。

【0124】

次に、本実施形態に係る監視端末１０３に表示される報知画面について説明する。

【0125】

監視端末１０３では、画像解析サーバ１０２からの指示に応じて、カメラ１０１の画角ずれが発生していることをユーザに知らせる報知動作として、図１２に示すような、調整１画面１２０１が表示される。

【0126】

調整１画面１２０１には、ライブ画像表示部６０２が設けられている。ライブ画像表示部６０２には、カメラ１０１の画角ずれを検出したタイミングのカメラ画像３０１が表示される。

【0127】

また、調整１画面１２０１には、カメラパラメータ１２０２が設けられている。ユーザは、調整１画面１２０１に設けられているカメラ情報取得ボタン１２０３を押下することで、カメラパラメータ１２０２に、画角ずれを検知時のカメラ１０１のパラメータおよび基準画像登録時のカメラ１０１のパラメータを表示されることが出来る。カメラパラメータ１２０２には、カメラ１０１を設置した日時、カメラ１０１の名称、ＩＰアドレス、パン・チルト・ズームの情報が含まれる。

【0128】

カメラパラメータ１２０２には、画角ずれの原因となっているカメラ１０１のパラメー
タ項目の背景色が赤く表示されるため、ユーザはカメラ１０１のどのパラメータに異常が発生しているのかを速やかに把握することができる。なお、本実施形態では、背景色を変更するものとしたが、これに限定されず、その他、濃淡、模様、点滅などの強調表示を行ってもよい。

【0129】

また、カメラパラメータ１２０２には、画像解析サーバ１０２において得られるカメラ１０１のずれ量から算出されるパン・チルトの設定値が表示されるため、ユーザは、カメラパラメータ１２０２を直感的に操作することで、カメラ１０１の画角ずれを速やかに修正することができる。なお、カメラ１０１のずれ量とカメラ１０１のパン・チルトの設定値との換算テーブルが画像解析サーバ１０２内に事前保存されており、この換算テーブルを基に、カメラ１０１のパン・チルトの設定値が算出され、カメラパラメータ６０３に表示される。

【0130】

また、調整１画面１２０１には、重畳ボタン１２０４が設けられている。ユーザは、重畳ボタン１２０４を押下することで、ライブ画像表示部６０２に表示されるカメラ画像３０１上に、侵入検知エリア２０１または固定物エリア６０８の少なくとも一方に対応した枠画像を重畳することが出来る。

【0131】

また、調整１画面１２０１には、設定保存ボタン１２０５が設けられている。ユーザは、画角ずれが検知されたカメラ１０１のカメラパラメータ１２０２を確認または修正操作した後、設定保存ボタン１２０５を押下することで、図１３に示すような、調整２画面１３０１に移行することができる。なお、ユーザが、調整１画面１２０１に設けられている設定保存ボタン１２０５を押下しない限り、調整２画面１３０１への画面以降は行われない。

【0132】

調整２画面１３０１には、ライブ画像表示部６０２と基準画像表示部１３０２が設けられている。ライブ画像表示部６０２には、カメラ１０１の画角ずれ検出時のカメラ画像３０１が表示される。基準画像表示部１３０２には、基準画像登録処理において登録された基準画像が表示される。ライブ画像表示部６０２に表示されるカメラ画像３０１上には、基準画像登録処理において設定された侵入検知エリア２０１および固定物エリア６０８（実線枠）に加え、カメラ画像３０１から検知される固定物エリア６０８’（破線枠）が重畳して表示される。

【0133】

また、調整２画面１３０１には、再表示ボタン１３０３が設けられている。ユーザは、再表示ボタン１３０３を押下することにより、固定物エリア６０８（実線枠）と、修正後のカメラパラメータ１２０２が反映される固定物エリア６０８’（破線枠）との重なり具合（画角ずれ修正度合い）を確認することが出来る。ユーザは、固定物エリア６０８（実線枠）と固定物エリア６０８’（破線枠）の重なり具合を確認することで、画角ずれの修正具合を確認することが出来る。ユーザは、再表示の結果を適切でないと判断する場合、調整２画面１３０１に設けられている調整１ボタン１３０４を押下することで、監視端末１０３の表示画面を調整１画面１２０１に切り替えて、カメラパラメータ１２０２を操作することで画角ずれを再度修正することが出来る。

【0134】

また、調整２画面１３０１には、設定保存ボタン１３０５が設けられている。ユーザは、画角ずれの修正具合を確認して、修正具合が適切であると判断する場合、設定保存ボタン１３０５を押下することにより、修正後のカメラ画像３０１を新しい基準画像として、カメラパラメータ１２０２と紐づけて基準画像蓄積部４０３に保管し、更新することが出来る。

【0135】

図１２、図１３に示すように、ユーザは、調整１画面１２０１および調整２画面１３０
１の画角調整画面に設けられている、画面切り替えタブ６０７を押下することで、監視端末１０３において、ユーザが表示を希望する画面（例えば、各種設定画面）に切り替えることができる。

【0136】

次に、本実施形態に係る、カメラ１０１が複数設定されている場合の監視端末１０３に表示される報知画面について説明する。

【0137】

監視端末１０３では、複数設置されているカメラ１０１の内、画角ずれが発生しているカメラ１０１が検知された場合、画像解析サーバ１０２からの指示に応じて、ユーザに知らせる報知動作として、図１４に示すような、エリア単位でグループ化されたカメラ一覧画面１４０１が表示される。

【0138】

カメラ一覧画面１４０１には、各グループ（所定エリア）に含まれる各カメラ１０１に対応したライブ画像表示部６０２が設けられている。各ライブ画像表示部６０２には、画角ずれ検出時の各カメラ１０１より撮像されたカメラ画像３０１が表示される。

【0139】

画角ずれの発生が検知されたカメラ１０１のグループアイコンの背景が他のグループアイコンと異なる色（例えば、赤色）で表示されるため、ユーザは、複数設置されているカメラ１０１の内、どのカメラ１０１に異常が発生しているのかを速やかに把握することができる。なお、本実施形態では、背景色を変更するものとしたが、これに限定されず、その他、濃淡、模様、点滅などの強調表示を行ってもよい。

【0140】

また、ユーザは、カメラ一覧画面１４０１に設けられているカメラリスト１４０２のタブを押下することで、各グループに割り当てられたカメラ１０１の一覧画面を切り替えて確認することが出来る。なお、グループの例として、ホテルのロビーやダイニング等の所定の空間ごとに設定されるケースをあげることができるが、これに限定されない。

【0141】

ユーザは、カメラ一覧画面１４０１に設けられている、各カメラ１０１に対応している各ライブ画像表示部６０２のいずれかを押下することで、図１５に示すような、押下されたカメラ１０１のカメラ画像３０１、および、基準画像を表示するビューア画面１５０１に移行することができる。

【0142】

ビューア画面１５０１には、カメラ１０１のライブ画像表示部６０２よび基準画像表示部１３０２が設けられている。ライブ画像表示部６０２には、ユーザによって、カメラ一覧画面１４０１で選択されたカメラ１０１に対応した、画角ずれ検出時のカメラ画像３０１が表示される。また、基準画像表示部１３０２には、ユーザによって、カメラ一覧画面１４０１で選択されたカメラ１０１に対応した、基準画像が表示される。

【0143】

また、ビューア画面１５０１には、カメラパラメータ１５０２と、コメント表示部１５０３と、調整１ボタン１５０４が設けられている。コメント表示部９１２には、ユーザに、調整１ボタン１５０４の押下を促すようなコメントが表示される。

【0144】

ユーザは、調整１ボタン１５０４を押下することで、図１２に示すような、調整１画面１２０１に、監視端末１０３の表示画面を切り替えることが出来る。

【0145】

監視端末１０３の表示画面を調整１画面１２０１に切り替えた後、ユーザは、前述と同様の処理を行うことで、カメラ１０１の画角ずれを速やかに修正することが出来る。

【0146】

また、複数のカメラ１０１に画角ずれが発生している場合、ユーザは、画角ずれが発生しているカメラ１０１の内の１つの修正を完了した後、調整１画面１２０１に設けられて
いる画面切り替えタブ６０７のカメラリストのタブを押下することで、カメラ一覧画面１４０１を再度表示することが出来る。これにより、ユーザは、画角ずれが発生している残りのカメラ１０１の修正に速やかに移行することが出来る。

【0147】

なお、本実施形態では、画面切り替えタブ６０７のカメラリストのタブを押下することで、カメラ一覧画面１４０１を再度表示する仕様にしているが、これに限定されない。例えば、調整２画面１３０１に設けられている設定保存ボタン１３０５を押下することで、監視端末１０３の表示画面をカメラ一覧画面１４０１に、自動で切り替える仕様であってもよい。

【0148】

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１６は、輝度異常判定処理および画角ずれ検知処理の概要を示す説明図である。

【0149】

本実施形態では、図１６に示すように、画像解析サーバ１０２内に輝度異常検知部１６０１が設けられている。画像解析サーバ１０２は、カメラ１０１から一定時間間隔で取得されるカメラ画像３０１の輝度分布と、基準画像登録処理で登録されている基準画像の輝度分布を基に、カメラ１０１が故障しているか否かを検知する（輝度異常判定処理）。

【0150】

ここで、カメラ１０１が故障している場合には、画角ずれを調整したところで侵入検知処理を適切に実施できないことから、カメラ１０１が故障している旨をユーザに報知する。一方、カメラ１０１が故障していない状態の場合には、侵入検知処理を適切に実施できるため、侵入検知処理および画角ずれ検知処理が継続される。

【0151】

ところで、カメラ１０１が故障している旨の報知がユーザに対して行われると、作業者がカメラ１０１の交換を実施する。これにより、カメラ１０１が侵入検知処理および画角ずれ検知処理を継続できる状態に戻すことができる。このとき、画像解析サーバ１０２では、カメラ１０１が故障しているか否かの判定が行われ、カメラ１０１が侵入検知処理および画角ずれ検知処理を継続できる状態であると判定されて、侵入検知処理および画角ずれ検知処理を再開できる状態に戻った旨を係員に報知する。

【0152】

次に、第２実施形態に係る画像解析サーバ１０２で行われる輝度異常判定処理について説明する。図１７は、輝度異常判定処理の手順を示すフロー図である。

【0153】

輝度異常判定処理は、画像解析サーバ１０２内で行われる。画像解析サーバ１０２は、カメラ１０１によって撮像された監視領域のカメラ画像３０１を一定時間間隔で取得する。（ＳＴ３０１）

【0154】

画像解析サーバ１０２は、取得したカメラ画像３０１の輝度分布と、基準画像登録処理において登録された基準画像の輝度分布との差を算出する。（ＳＴ３０２）

【0155】

画像解析サーバ１０２は、基準画像の輝度信号平均値に、所定の閾値を超える変化があるかどうかを確認することで、カメラ１０１が故障しているか否かを検知する。（ＳＴ３０３）

【0156】

輝度の差が所定の閾値内である場合、画像解析サーバ１０２は、輝度異常判定処理を終了する。

【0157】

基準画像の輝度信号平均値に所定の閾値を超える変化がある場合、画像解析サーバ１０
２は、カメラ１０１の故障を検知して、監視端末１０３を介してユーザに結果を報知する。（ＳＴ３０４）

【0158】

なお、第２実施形態に係る画像解析サーバ１０２で行われる輝度異常判定処理は、カメラ画像３０１撮像時に適切な光量を得られる環境下で実施される必要がある。そのため、本実施形態に係る画像解析サーバ１０２では、タイマー等の機能により、適切な光量を得ることが出来ないような特定の時間帯において、前述した輝度異常判定処理の実施をオンとオフで切り替えが可能な仕様であってもよい。

【0159】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0160】

本発明に係る監視装置および監視システムは、カメラの画角ずれが発生した場合に、その画角ずれを確実に検知し、その画角ずれ量を簡易に調整することを可能とし、監視領域を撮影したカメラ画像に基づいて、侵入禁止エリアに人物が侵入したことを検知して報知を行う監視装置および監視システムなどとして有用である。

【符号の説明】

【0161】

１０１…カメラ
１０２…画像解析サーバ
１０３…監視端末
２０１…侵入検知エリア
３０１…カメラ画像（ライブ画像）
６０８…固定物エリア（基準エリア）
６０８’ …固定物エリア（参照エリア）
１００１…基準画像
１２０１…調整１画面
１３０１…調整２画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】