(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022158339
(43)【公開日】2022-10-17
(54)【発明の名称】検出装置、検出方法及びプログラム
(51)【国際特許分類】
G06T 7/62 20170101AFI20221006BHJP
【FI】
G06T7/62
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021063147
(22)【出願日】2021-04-01
(71)【出願人】
【識別番号】521139276
【氏名又は名称】クイックイタレート株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100207778
【弁理士】
【氏名又は名称】阿形 直起
(72)【発明者】
【氏名】加藤 義也
(72)【発明者】
【氏名】野村 和也
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA02
5L096CA04
5L096CA24
5L096DA03
5L096EA02
5L096EA06
5L096EA43
5L096FA02
5L096FA32
5L096FA59
5L096GA08
5L096GA51
5L096GA55
5L096HA02
5L096JA11
(57)【要約】 (修正有)
【課題】撮像装置に生じた撮像画像に影響を及ぼす異常を適切に検出する装置を提供する。
【解決手段】撮像装置と、検出装置と、監視端末とが、ネットワークを介して相互に通信可能に接続される検出システムにおいて、検出装置12は、撮像装置によって生成された第1撮像画像を取得する取得部131と、第1撮像画像より前に撮像装置によって生成された複数の第2撮像画像に基づいて生成された複数の候補参照画像を記憶する記憶部121と、第1撮像画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出する抽出部134と、第1撮像画像と参照画像との比較の結果に基づいて、撮像装置に付着物が付着しているか否かを判定する判定部137と、付着物が付着していると判定された場合に、通知を出力する出力部138と、を有する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
撮像装置によって生成された第1撮像画像を取得する取得部と、
前記第1撮像画像より前に前記撮像装置によって生成された複数の第2撮像画像に基づいて生成された複数の候補参照画像を記憶する記憶部と、
前記第1撮像画像との乖離度に基づいて、前記複数の候補参照画像のうちから参照画像を抽出する抽出部と、
前記第1撮像画像と前記参照画像との比較の結果に基づいて、前記撮像装置に付着物が付着しているか否かを判定する判定部と、
前記付着物が付着していると判定された場合に、通知を出力する出力部と、
を有することを特徴とする検出装置。
【請求項2】
前記取得部は、所定時間ごとに前記第1撮像画像を取得し、
前記抽出部は、連続する複数の第1撮像画像が取得されるごとに、当該第1撮像画像について参照画像を抽出し、
各第1撮像画像と各第1撮像画像に対応する各参照画像とを比較することにより、各第1撮像画像において付着物が付着している可能性がある疑義領域を検出する検出部をさらに有し、
前記判定部は、各第1撮像画像について検出された疑義領域に基づいて、前記撮像装置に付着物が付着しているか否かを判定する、
請求項1に記載の検出装置。
【請求項3】
前記連続する複数の第1撮像画像に共通して前記疑義領域として検出された共通疑義領域の面積を算出する算出部をさらに有し、
前記判定部は、前記面積が所定値以上である場合に、前記撮像装置に付着物が付着していると判定し、前記面積が所定値未満である場合に、前記撮像装置に付着物が付着していないと判定する、
請求項2に記載の検出装置。
【請求項4】
前記判定部は、前記共通疑義領域のうち、あらかじめ指定された検出対象領域に含まれる領域の面積を前記共通疑義領域の面積として算出する、
請求項3に記載の検出装置。
【請求項5】
前記検出部は、前記第1撮像画像と前記参照画像とを比較することにより前記第1撮像画像と前記参照画像との差分を示す差分画像を生成し、前記差分画像を構成する各画素の輝度値を、当該画素の輝度値及び周辺画素の輝度値のうち最も小さい輝度値に補正し、前記輝度値が補正された画像に基づいて前記疑義領域を検出する、
請求項2-4の何れか一項に記載の検出装置。
【請求項6】
前記第1撮像画像が取得されるごとに、当該第1撮像画像より前に生成された前記第2撮像画像に基づいて候補参照画像を生成して前記記憶部に記憶する生成部と、
前記記憶部に記憶されている候補参照画像が所定数以上である場合に、前記記憶されている候補参照画像のうちから前記抽出部によって抽出された回数が最も少ない候補参照画像を選択し、前記選択された候補参照画像が前記記憶されている候補参照画像のうち最も新しい候補参照画像である場合、前記記憶されている候補参照画像のうち最も古い候補参照画像を削除し、前記選択された候補参照画像が前記最も新しい候補参照画像でない場合、前記選択された候補参照画像を削除する削除部と、をさらに有する、
請求項1-5の何れか一項に記載の検出装置。
【請求項7】
記憶部を有する検出装置によって実行される検出方法であって、
撮像装置によって生成された第1撮像画像を取得し、
前記第1撮像画像より前に前記撮像装置によって生成された複数の第2撮像画像に基づいて生成された複数の候補参照画像を前記記憶部に記憶し、
前記第1撮像画像との乖離度に基づいて、前記複数の候補参照画像のうちから参照画像を抽出し、
前記第1撮像画像と前記参照画像との比較の結果に基づいて、前記撮像装置に付着物が付着しているか否かを判定し、
前記付着物が付着していると判定された場合に、通知を出力する、
ことを含むことを特徴とする検出方法。
【請求項8】
記憶部を有するコンピュータのプログラムであって、
撮像装置によって生成された第1撮像画像を取得し、
前記第1撮像画像より前に前記撮像装置によって生成された複数の第2撮像画像に基づいて生成された複数の候補参照画像を前記記憶部に記憶し、
前記第1撮像画像との乖離度に基づいて、前記複数の候補参照画像のうちから参照画像を抽出し、
前記第1撮像画像と前記参照画像との比較の結果に基づいて、前記撮像装置に付着物が付着しているか否かを判定し、
前記付着物が付着していると判定された場合に、通知を出力する、
ことを前記コンピュータに実行させることを特徴とするプログラム。
【請求項9】
撮像装置によって生成された第1撮像画像を取得する取得部と、
前記第1撮像画像より前に前記撮像装置によって生成された複数の第2撮像画像に基づいて参照画像を生成する生成部と、
前記第1撮像画像と前記参照画像とを比較する比較部と、
前記第1撮像画像に含まれる所定の対象物を検出する検出部と、
前記比較の結果と、前記検出の結果とに基づいて、前記撮像装置に画角ずれが発生しているか否かを判定する判定部と、
前記画角ずれが発生していると判定された場合に、通知を出力する出力部と、
を有することを特徴とする検出装置。
【請求項10】
検出装置によって実行される検出方法であって、
撮像装置によって生成された第1撮像画像を取得し、
前記第1撮像画像より前に前記撮像装置によって生成された複数の第2撮像画像に基づいて参照画像を生成し、
前記第1撮像画像と前記参照画像とを比較し、
前記第1撮像画像に含まれる所定の対象物を検出し、
前記比較の結果と、前記検出の結果とに基づいて、前記撮像装置に画角ずれが発生しているか否かを判定し、
前記画角ずれが発生していると判定された場合に、通知を出力する、
ことを含むことを特徴とする検出方法。
【請求項11】
撮像装置によって生成された第1撮像画像を取得し、
前記第1撮像画像より前に前記撮像装置によって生成された複数の第2撮像画像に基づいて参照画像を生成し、
前記第1撮像画像と前記参照画像とを比較し、
前記第1撮像画像に含まれる所定の対象物を検出し、
前記比較の結果と、前記検出の結果とに基づいて、前記撮像装置に画角ずれが発生しているか否かを判定し、
前記画角ずれが発生していると判定された場合に、通知を出力する、
ことをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出装置、検出方法及びプログラムに関する。
【背景技術】
【0002】
従来、防犯用の監視カメラ等の撮像装置から画像を取得し、取得した画像に基づいて敷地内の侵入者を検知することがなされている。侵入者を検知するための方法として、侵入者が含まれない状態で撮像された背景画像の輝度値と、撮像装置から取得された撮像画像の輝度値との差分値に基づく背景差分法が知られている。
【0003】
屋外に撮像装置を設置する場合、鳥獣の糞や、潮風に含まれる塩分等の付着物が撮像装置のレンズに付着することがあった。また、風を受けて撮像装置の画角がずれることがあった。このような場合には、撮像画像と背景画像との差分値が大きくなるため、背景差分法を用いた場合に、侵入者があったものと誤検知してしまうおそれがあった。
【0004】
特許文献1には、撮像画像においてカメラのレンズに付着した異物等に対応する、時間が経過しても変化しない領域を検出不可領域として決定し、この検出不可領域を障害物検出領域から除外する車両用障害物検出装置が記載されている。特許文献1の障害物検出装置は、レンズに付着した異物を検出し、異物の影響を受けないように撮像画像から障害物を検出することを可能とする。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
このような検出装置では、付着物や画角ずれなどの、撮像装置に生じた撮像画像に影響を及ぼす異常をより適切に検出することが求められている。
【0007】
本発明は、上述の課題を解決するためになされたものであり、撮像装置に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする検出装置、検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る検出装置は、撮像装置によって生成された第1撮像画像を取得する取得部と、第1撮像画像より前に撮像装置によって生成された複数の第2撮像画像に基づいて生成された複数の候補参照画像を記憶する記憶部と、第1撮像画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出する抽出部と、第1撮像画像と参照画像との比較の結果に基づいて、撮像装置に付着物が付着しているか否かを判定する判定部と、付着物が付着していると判定された場合に、通知を出力する出力部と、を有することを特徴とする。
【0009】
また、本発明に係る検出装置において、取得部は、所定時間ごとに第1撮像画像を取得し、抽出部は、連続する複数の第1撮像画像が取得されるごとに、第1撮像画像について参照画像を抽出し、各第1撮像画像と各第1撮像画像に対応する各参照画像とを比較することにより、各第1撮像画像において付着物が付着している可能性がある疑義領域を検出する検出部をさらに有し、判定部は、各第1撮像画像について検出された疑義領域に基づいて、撮像装置に付着物が付着しているか否かを判定する、ことが好ましい。
【0010】
また、本発明に係る検出装置は、連続する複数の第1撮像画像に共通して疑義領域として検出された共通疑義領域の面積を算出する算出部をさらに有し、判定部は、面積が所定値以上である場合に、撮像装置に付着物が付着していると判定し、面積が所定値未満である場合に、撮像装置に付着物が付着していないと判定する、ことが好ましい。
【0011】
また、本発明に係る検出装置において、判定部は、共通疑義領域のうち、あらかじめ指定された検出対象領域に含まれる領域の面積を共通疑義領域の面積として算出する、ことが好ましい。
【0012】
また、本発明に係る検出装置において、検出部は、第1撮像画像と参照画像とを比較することにより第1撮像画像と参照画像との差分を示す差分画像を生成し、差分画像を構成する各画素の輝度値を、画素の輝度値及び周辺画素の輝度値のうち最も小さい輝度値に補正し、輝度値が補正された画像に基づいて疑義領域を検出する、ことが好ましい。
【0013】
また、本発明に係る検出装置は、第1撮像画像が取得されるごとに、第1撮像画像より前に生成された第2撮像画像に基づいて候補参照画像を生成して記憶部に記憶する生成部と、記憶部に記憶されている候補参照画像が所定数以上である場合に、記憶されている候補参照画像のうちから抽出部によって抽出された回数が最も少ない候補参照画像を選択し、選択された候補参照画像が記憶されている候補参照画像のうち最も新しい候補参照画像である場合、記憶されている候補参照画像のうち最も古い候補参照画像を削除し、選択された候補参照画像が最も新しい候補参照画像でない場合、選択された候補参照画像を削除する削除部と、をさらに有する、ことが好ましい。
【0014】
本発明に係る検出方法は、記憶部を有する検出装置によって実行される検出方法であって、撮像装置によって生成された第1撮像画像を取得し、第1撮像画像より前に撮像装置によって生成された複数の第2撮像画像に基づいて生成された複数の候補参照画像を記憶部に記憶し、第1撮像画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出し、第1撮像画像と参照画像との比較の結果に基づいて、撮像装置に付着物が付着しているか否かを判定し、付着物が付着していると判定された場合に、通知を出力する、ことを含むことを特徴とする。
【0015】
本発明に係るプログラムは、記憶部を有するコンピュータのプログラムであって、撮像装置によって生成された第1撮像画像を取得し、第1撮像画像より前に撮像装置によって生成された複数の第2撮像画像に基づいて生成された複数の候補参照画像を記憶部に記憶し、第1撮像画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出し、第1撮像画像と参照画像との比較の結果に基づいて、撮像装置に付着物が付着しているか否かを判定し、付着物が付着していると判定された場合に、通知を出力する、ことをコンピュータに実行させることを特徴とする。
【0016】
本発明に係る検出装置は、撮像装置によって生成された第1撮像画像を取得する取得部と、第1撮像画像より前に撮像装置によって生成された複数の第2撮像画像に基づいて参照画像を生成する生成部と、第1撮像画像と参照画像とを比較する比較部と、第1撮像画像に含まれる所定の対象物を検出する検出部と、比較の結果と、検出の結果とに基づいて、撮像装置に画角ずれが発生しているか否かを判定する判定部と、画角ずれが発生していると判定された場合に、通知を出力する出力部と、を有することを特徴とする。
【0017】
本発明に係る検出方法は、検出装置によって実行される検出方法であって、撮像装置によって生成された第1撮像画像を取得し、第1撮像画像より前に撮像装置によって生成された複数の第2撮像画像に基づいて参照画像を生成し、第1撮像画像と参照画像とを比較し、第1撮像画像に含まれる所定の対象物を検出し、比較の結果と、検出の結果とに基づいて、撮像装置に画角ずれが発生しているか否かを判定し、画角ずれが発生していると判定された場合に、通知を出力する、ことを含むことを特徴とする。
【0018】
本発明に係るプログラムは、撮像装置によって生成された第1撮像画像を取得し、第1撮像画像より前に撮像装置によって生成された複数の第2撮像画像に基づいて参照画像を生成し、第1撮像画像と参照画像とを比較し、第1撮像画像に含まれる所定の対象物を検出し、比較の結果と、検出の結果とに基づいて、撮像装置に画角ずれが発生しているか否かを判定し、画角ずれが発生していると判定された場合に、通知を出力する、ことをコンピュータに実行させることを特徴とする。
【発明の効果】
【0019】
検出装置、検出方法及びプログラムは、撮像装置に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする。
【図面の簡単な説明】
【0020】
【
図1】検出システム10の概略構成の例を示す図である。
【
図2】検出装置12の概略構成の例を示すブロック図である。
【
図4】付着物検出処理の動作の例を示すフロー図である。
【
図5】疑義領域検出処理の動作の例を示すフロー図である。
【
図6】疑義領域検出処理について説明するための図である。
【
図7】検出装置22の概略構成の例を示すブロック図である。
【
図8】画角ずれ検出処理の動作の例を示すフロー図である。
【発明を実施するための形態】
【0021】
以下、図面を参照しつつ本発明の様々な実施形態について説明する。本発明の技術的範囲はこれらの実施形態に限定されず、特許請求の範囲に記載された発明及びその均等物に及ぶ点に留意されたい。
【0022】
図1は、実施形態に係る検出システム10の概略構成の例を示す図である。検出システム10は、例えば、監視対象である敷地において侵入者を検知するために用いられる。検出システム10は、撮像装置11、検出装置12及び監視端末14を有する。撮像装置11、検出装置12及び監視端末14は、ネットワーク15を介して相互に通信可能に接続される。
【0023】
撮像装置11は、サーマルカメラである。撮像装置11は、監視対象である敷地の内部又はその周辺に配置され、敷地の内部及びその周辺を撮像して、所定時間(例えば、30分の1秒)ごとに撮像画像を生成する。撮像画像は、それぞれに所定範囲(例えば、0以上255以下)の輝度値が関連付けられた複数の画素から構成される。撮像装置11は、ネットワーク15を介して、生成した撮像画像を検出装置12及び監視端末14に送信する。
【0024】
検出装置12は、サーバ、PC(Personal Computer)、携帯電話、多機能携帯電話(スマートフォン)、ゲーム機等の情報処理装置である。検出装置12は、撮像装置11から撮像画像を取得し、撮像画像に基づいて、撮像装置11に付着物が付着しているか否かを判定する。検出装置12は、付着物が付着していると判定された場合、ネットワーク15を介して監視端末14に通知を出力する。
【0025】
監視端末14は、PC、携帯電話、多機能携帯電話、ゲーム機等の情報処理装置である。監視端末14は、監視端末14を使用する監視者が侵入者の有無を確認するために、撮像装置11から撮像画像を取得して表示する。また、監視端末14は、検出装置12から通知が出力された場合に、監視者に撮像装置11に異常が生じたことを示す警報を出力する。これにより、監視者は、撮像装置11に異常が生じたことを早期に把握することができる。
【0026】
図2は、検出装置12の概略構成の例を示すブロック図である。検出装置12は、記憶部121、通信部122、処理部130を有する。
【0027】
記憶部121は、データ及びプログラムを記憶するための構成であり、例えば半導体メモリを備える。記憶部121は、処理部130による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、CD(Compact Disc)-ROM(Read Only Memory)等のコンピュータ読み取り可能且つ非一時的な可搬型記憶媒体からセットアッププログラムによりインストールされる。
【0028】
通信部122は、検出装置12を他の装置と通信可能にする構成であり、通信インタフェース回路を備える。通信部122が備える通信インタフェース回路は、有線LAN(Local Area Network)、無線LAN又はLTE(Long Term Evolution)等の通信インタフェース回路である。通信部122は、他の装置から受信したデータを処理部130に供給するとともに、処理部130から供給されたデータを他の装置に送信する。
【0029】
処理部130は、検出装置12の動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。処理部130は、例えば、CPU(Central Processing Unit)、LSI(Large Scale Integration)又はASIC(Application Specific Integrated Circuit)を備える。処理部130は、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)等を備えてもよい。処理部130は、記憶部121に記憶されているプログラムに基づいて、検出装置12の各種処理が適切に実行されるように検出装置12の各構成の動作を制御するとともに、各種の処理を実行する。
【0030】
処理部130は、取得部131、生成部132、削除部133、抽出部134、検出部135、算出部136、判定部137及び出力部138を有する。これらの各部は、処理部130によって実行されるプログラムによって実現される機能モジュールである。これらの各部は、ファームウェア又は処理部130から独立したプロセッサ又は回路として検出装置12に実装されてもよい。
【0031】
図3は、検出装置12によって実行される生成処理の動作の例を示すフロー図である。生成処理は、撮像装置11によって撮像された複数の撮像画像に基づいて、候補参照画像を生成するための処理である。候補参照画像は、所定時間に生成された複数の撮像画像の代表的な特徴を有し、いわゆる背景画像として用いられる。生成処理は、記憶部121に記憶されたプログラムに基づいて、処理部130が検出装置12の各構成要素と協働することにより実現される。
【0032】
最初に、取得部131は、直前に生成処理が実行されてから所定時間が経過しているか否かを判定する(ステップS101)。所定時間は、例えば1分である。所定時間が経過していない場合(ステップS101-No)、取得部131は、所定時間が経過するまで待機する。
【0033】
所定時間が経過している場合(ステップS101-Yes)、取得部131は、通信部122を介して、撮像装置11によって生成された撮像画像を取得する(ステップS102)。すなわち、取得部131は、所定時間ごとに撮像画像を取得する。例えば、取得部131は、撮像装置11に最新の撮像画像の送信を要求するHTTP(Hypertext Transfer Protocol)リクエストを送信することにより、撮像画像を取得する。取得部131は、取得した撮像画像を記憶部121に記憶する。なお、撮像画像は、第1撮像画像の一例である。
【0034】
続いて、生成部132は、所定数の撮像画像が新たに記憶部121に記憶されているか否かを判定する(ステップS103)。所定数は、2以上の任意の個数であり、例えば60個である。所定数の撮像画像がまだ新たに記憶部121に記憶されていない場合(ステップS103-No)、生成部132は処理をステップS101に戻す。すなわち、生成部132は、所定数の撮像画像が記憶部121に記憶されるまで待機する。
【0035】
所定数の撮像画像が新たに記憶部121に記憶されている場合(ステップS103-Yes)、生成部132は、所定数の撮像画像に基づいて候補参照画像を生成する(ステップS104)。生成部132は、直近に撮像装置11から取得されて記憶部121に記憶された所定数の撮像画像を記憶部121から取得する。生成部132は、取得した所定数の撮像画像の各画素の輝度値の中央値を、画素ごとに算出する。生成部132は、各画素の輝度値が、算出された中央値に等しい値である画像を候補参照画像として生成する。すなわち、生成部132は、ステップS102において取得された撮像画像、及び、その撮像画像より前に生成された撮像画像に基づいて、候補参照画像を生成する。生成部132は、生成した候補参照画像を記憶部121に記憶する。なお、ステップS102において取得された撮像画像より前に生成された撮像画像は、第2撮像画像の一例である。
【0036】
このようにして生成された候補参照画像は、直近の所定時間(例えば、60分)における撮像画像の時間軸方向における代表的な特徴を有する画像であり、背景画像として用いられる。候補参照画像は、輝度値の中央値に基づいて生成されるため、直近の所定時間のうちの一部の時間において撮像装置11に付着物が付着したり侵入者が撮像画像に含まれたりして輝度値が大きく変化したとしても、その影響を受ける可能性が小さい。したがって、候補参照画像は、背景画像として適した画像となる。なお、中央値に代えて最頻値が用いられてもよい。
【0037】
続いて、削除部133は、記憶部121に記憶されている候補参照画像の数が所定数を超えているか否かを判定する(ステップS105)。候補参照画像の数が所定数を超えていない場合(ステップS105-No)、削除部133は、候補参照画像を削除することなく生成処理を終了する。すなわち、生成処理が開始される時点において記憶部121に記憶されている候補参照画像の数が所定数未満である場合、生成処理によって、新たに一個の候補参照画像が生成され、記憶部121に記憶される。
【0038】
候補参照画像の数が所定数を超えている場合(ステップS105-Yes)、削除部133は、後述する付着物検出処理において参照画像として抽出された回数が最も少ない候補参照画像を選択する(ステップS106)。参照画像として抽出された回数が最も少ない候補参照画像は、背景画像としての使用頻度が最も小さい画像である。
【0039】
続いて、削除部133は、選択された候補参照画像が最新の候補参照画像であるか否かを判定する(ステップS107)。最新の候補参照画像は、生成された時刻又は記憶部121に記憶された時刻が最も新しい候補参照画像であり、直前に実行されたステップS104で生成された候補参照画像である。
【0040】
選択された候補参照画像が最新の候補参照画像でない場合(ステップS107-No)、削除部133は、選択された候補参照画像を削除し(ステップS108)、生成処理を終了する。選択された候補参照画像が最新の候補参照画像である場合(ステップS107-Yes)、削除部133は、生成された時刻又は記憶部121に記憶された時刻が最も古い候補参照画像を削除し(ステップS109)、生成処理を終了する。すなわち、生成処理が開始される時点において候補参照画像の数が所定数である場合、生成処理によって一つの候補参照画像が生成されるとともに一つの候補参照画像が削除されるため、候補参照画像の数が所定数に保たれる。なお、ステップS106において、削除部133は、生成処理が開始されて時点において記憶部121に記憶されていた候補参照画像のうちから、参照画像として抽出された回数が最も少ない候補参照画像を選択してもよい。
【0041】
図4は、検出装置12によって付着物検出処理の流れの一例を示すフロー図である。付着物検出処理は、撮像装置11に付着している付着物を検出するための処理である。付着物検出処理は、記憶部121が生成処理において生成された複数の候補参照画像を記憶している状態で定期的に実行される。付着物検出処理は、生成処理と並行して実行されてもよい。付着物検出処理は、記憶部121に記憶されたプログラムに基づいて、処理部130が検出装置12の各構成要素と協働することにより実現される。
【0042】
最初に、取得部131は、直前に付着物検出処理が実行されてから所定時間が経過しているか否かを判定する(ステップS201)。所定時間は、例えば1分である。所定時間が経過していない場合(ステップS201-No)、取得部131は、所定時間が経過するまで待機する。
【0043】
所定時間が経過している場合(ステップS201-Yes)、取得部131は、通信部122を介して、撮像装置11によって生成された撮像画像を検出対象画像として取得する(ステップS202)。すなわち、取得部131は、所定時間ごとに検出対象画像を取得する。取得部131は、取得した検出対象画像を記憶部121に記憶する。なお、検出対象画像は、第1撮像画像の一例である。
【0044】
続いて、抽出部134は、検出対象画像との乖離度に基づいて、記憶部121に記憶された複数の候補参照画像のうちから参照画像を抽出する(ステップS203)。抽出部134は、各候補参照画像について、検出対象画像との間の各画素の輝度値の絶対差分値(差分値の絶対値をいう。)を算出する。抽出部134は、候補参照画像ごとに、各画素について算出された絶対差分値の中央値を、その候補参照画像の検出対象画像との乖離度として算出する。抽出部134は、複数の候補参照画像のうち、算出された乖離度が最も小さい候補参照画像を参照画像として抽出する。なお、乖離度は、検出対象画像と候補参照画像との各画素の輝度値の差分値の二乗平均平方根又は二乗和平方根でもよい。
【0045】
続いて、検出部135は、検出対象画像と参照画像とを比較することにより、検出対象画像において付着物が付着している可能性がある疑義領域を検出する疑義領域検出処理を実行する(ステップS204)。疑義領域検出処理の詳細は後述する。
【0046】
続いて、算出部136は、連続する複数の検出対象画像に共通して疑義領域として検出された共通疑義領域の面積を算出する(ステップS205)。算出部136は、直近に実行された所定回数(例えば、30回)の付着物検出処理のステップS202において取得されて記憶部121に記憶された検出対象画像を過去画像として記憶部121から取得する。また、算出部136は、各付着物検出処理のステップS204において検出された疑義領域を過去疑義領域として記憶部121から取得する。これにより、算出部136は、連続する所定数(例えば、30個)の過去画像と各過去画像に対応する過去疑義領域とを取得する。なお、過去画像は、第2撮像画像の一例である。
【0047】
算出部136は、疑義領域と、各過去疑義領域とに共通する領域を共通疑義領域として特定する。算出部136は、特定された共通疑義領域の面積を算出する。算出部136は、例えば、共通疑義領域に含まれる画素を計数することにより、面積を算出する。
【0048】
疑義領域は、検出対象画像のみに着目した場合における、付着物が付着している可能性がある領域である。そのため、疑義領域は、例えば撮像装置11の前を飛翔する飛翔体のように、一時的に撮像画像に含まれた物体に対応する領域である可能性がある。他方で、共通疑義領域は、付着物が付着している可能性が、所定時間(例えば、30分)にわたって継続的にある領域である。そのため、共通疑義領域は、一時的に撮像画像に含まれた物体に対応する領域である可能性は小さい。検出装置12は、付着物の検出に共通疑義領域を用いることにより、飛翔体を付着物であると誤検出する可能性を低減して適切に付着物を検出することを可能とする。
【0049】
続いて、算出部136は、共通疑義領域のうち、監視者によってあらかじめ指定された検出対象領域に含まれる領域の面積を算出する(ステップS206)。算出部136は、共通疑義領域に含まれ、且つ、検出対象領域に含まれる画素を計数することにより、面積を算出する。
【0050】
一般に、撮像画像において、空に対応する領域や、日当たりのよい建物、塀、道路等に対応する領域は、天候や日照条件等の変化によりその領域に含まれる画素の輝度値が大きく変化するため、疑義領域として検出されやすい。検出対象領域としてこれらの日当たりのよい領域を除外した領域が指定されることにより、天候や日照条件等の変化の影響を付着物として誤検出するおそれが低減され、適切に付着物が検出される。
【0051】
続いて、判定部137は、算出された面積が所定値以上であるか否かを判定する(ステップS207)。判定部137は、共通疑義領域に含まれ、且つ、検出対象領域に含まれる画素の数が所定数以上である場合に、共通疑義領域の面積が所定値以上であると判定する。所定数は、例えば検出対象画像の画素数の5%に設定される。所定数は、1画素に設定されてもよい。
【0052】
検出対象領域に含まれる共通疑義領域の面積が所定値未満である場合(ステップS207-No)、判定部137は、付着物が撮像装置11に付着していないと判定し(ステップS208)、付着物検出処理を終了する。
【0053】
検出対象領域に含まれる共通疑義領域の面積が所定値以上である場合(ステップS207-Yes)、判定部137は、付着物が撮像装置11に付着していると判定する(ステップS209)。すなわち、判定部137は、検出部135による検出対象画像と参照画像との比較の結果に基づいて、付着物が撮像装置11に付着しているか否かを判定する。
【0054】
続いて、出力部138は、通知を出力し(ステップS210)、付着物検出処理を終了する。出力部138は、通信部122を介して、付着物が撮像装置11に付着している旨の通知の表示データを監視端末14に送信する。
【0055】
図5は、検出装置12によって実行される疑義領域検出処理の動作の例を示すフロー図である。疑義領域検出処理は、付着物検出処理のステップS204において実行される。
【0056】
最初に、検出部135は、検出対象画像と参照画像とを比較することにより、二値差分画像を生成する(ステップS301)。検出部135は、検出対象画像と参照画像との間の各画素の輝度値の絶対差分値を算出する。検出部135は、算出された絶対差分値が所定閾値(例えば、20)以上である画素の輝度値が最大値(例えば、255)であり、所定閾値未満である画素の輝度値が最小値(例えば、0)である二値差分画像を生成する。
【0057】
続いて、検出部135は、二値差分画像にフィルタを適用する(ステップS302)。適用されるフィルタは、各画素の輝度値を、その画素及び周辺画素の輝度値の平均値に補正する平均化フィルタである。周辺画素は、対象となる画素を含む矩形領域に含まれる画素であり、例えば、対象となる画素を中心とし且つ各辺が5画素に相当する正方形の領域に含まれる画素である。なお、検出部135は、平均化フィルタに代えてガウシアンフィルタ等を適用してもよい。
【0058】
続いて、検出部135は、フィルタが適用された画像にプーリング処理を適用する(ステップS303)。プーリング処理は、各画素の輝度値を、その画素及び周辺画素の輝度値のうち最も小さい輝度値に補正する処理(いわゆるミニマムプーリング処理)である。周辺画素は、対象となる画素を含む矩形領域に含まれる画素であり、例えば、対象となる画素を含み且つ各辺が20画素に相当する正方形の領域に含まれる画素である。
【0059】
続いて、検出部135は、プーリング処理が適用された画像に基づいて疑義領域を検出し(ステップS304)、疑義領域検出処理を終了する。検出部135は、プーリング処理が適用された画像において、画素の輝度値が所定閾値以上である領域を疑義領域として検出する。
【0060】
図6は、疑義領域検出処理について説明するための図である。
図6(A)は、検出対象画像の例を示す図であり、
図6(B)は、二値差分画像の例を示す図である。
図6(A)及び(B)に示す例では、建物や塀の側面、道路などに相当する領域が、検出対象画像と参照画像との間の各画素の輝度値が所定閾値以上異なる領域として示されている。
【0061】
図6(C)は、フィルタが適用された二値差分画像の例を示す図であり、
図6(D)は、さらにプーリング処理が適用された二値差分画像の例を示す図であり、
図6(E)は、疑義領域を示す図である。
図6(E)において白色の領域が疑義領域を示す。
図6(C)に示すように、フィルタが適用され、画像にぼかしがかけられる結果、局所的に輝度値が異なる領域が目立ちにくくなっている。また、
図6(D)に示すように、プーリング処理が適用されることにより、白色の領域(すなわち、輝度値が大きい領域)のうち、面積が小さい領域が除去される。そして、
図6(E)に示すように、面積が大きい白色の領域のみが疑義領域として検出される。
【0062】
図6(B)~(E)における白色の領域は、検出対象画像と抽出画像との間で輝度値の絶対差分値が大きい領域であるから、付着物が付着している可能性がある領域に対応する。フィルタ及びプーリング処理が適用されることにより、これらの領域のうち面積が大きい領域、すなわち、付着物による撮像画像に及ぼす影響が大きい領域のみが疑義領域として検出される。
【0063】
なお、
図6(E)に示す疑義領域は、
図6(A)に示すように、付着物に対応する領域ではなく、建物の外壁に相当する領域である。建物の外壁に相当する領域は天候や日照条件等の影響を強く受けるため、一時的に疑義領域として検出される場合があるが、継続的に疑義領域として検出される(すなわち、共通疑義領域として検出される)可能性は小さい。したがって、検出装置12がこのような疑義領域に基づいて付着物を誤検出する可能性は小さい。
【0064】
以上説明したように、検出装置12は、検出対象画像との乖離度に基づいて、複数の候補参照画像のうちから参照画像を抽出し、検出対象画像と参照画像との比較の結果に基づいて、撮像装置11に付着物が付着しているか否かを判定する。これにより、検出装置12は、撮像装置11に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする。
【0065】
すなわち、参照画像は、所定時間における撮像画像に基づいて生成されるため、各撮像画像が生成された時刻における天候や日照条件等の影響を受ける。他方で、付着物を適切に検出するためには、天候や日照条件等の付着物以外の条件が検出対象画像と近似する参照画像を検出対象画像と比較することが望ましい。検出装置12は、検出対象画像との乖離度に基づいて、複数の候補参照画像のうちから検出対象画像と近似する参照画像を抽出し、抽出された参照画像と検出対象画像とを比較することにより、撮像装置11に付着した付着物を適切に検出することを可能とする。
【0066】
また、検出装置12は、連続する複数の検出対象画像について疑義領域を検出し、各検出対象画像に共通して疑義領域として検出された共通疑義領域に基づいて、撮像装置に付着物が付着しているか否かを判定する。これにより、検出装置12は、検出対象画像に疑義領域が継続的に検出される場合にのみ付着物が付着していると判定することとなるため、付着物をより高精度に検出することを可能とする。
【0067】
また、検出装置12は、共通疑義領域の面積を算出し、面積が所定値以上である場合に、撮像装置11に付着物が付着していると判定し、面積が所定値未満である場合に、撮像装置11に付着物が付着していないと判定する。これにより、検出装置12は、撮像画像に影響を及ぼすような、撮像画像における面積が大きい付着物のみを検出することとなるため、撮像画像に影響を及ぼす撮像装置11の異常をより適切に検出することを可能とする。
【0068】
また、検出装置12は、共通疑義領域のうち、あらかじめ指定された検出対象領域に含まれる領域の面積を疑義領域の面積として算出する。これにより、検出装置12は、天候や日照条件等の変化により疑義領域として誤検出された領域の影響を受けることなく、付着物をより高精度に検出することを可能とする。
【0069】
また、検出装置12は、検出対象画像にプーリング処理を適用することにより、検出対象画像を構成する各画素の輝度値を、その画素及び周辺画素の輝度値のうち最も小さい輝度値に補正し、輝度値が補正された検出対象画像と参照画像とを比較する。これにより、検出装置12は、輝度値の局所的な変化を除去し、撮像画像上の面積が大きい付着物のみを検出することとなるため、撮像画像に影響を及ぼす付着物をより適切に検出することを可能とする。
【0070】
また、検出装置12は、記憶部121に記憶された候補参照画像が所定数以上である場合に、過去に生成された候補参照画像のうちから抽出された回数が最も少ない候補参照画像、又は、最も古い候補参照画像を削除する。これにより、検出装置12は、記憶部121の使用量を低減しつつ、検出対象画像と近似する候補参照画像を適切に保存することを可能とする。
【0071】
上述した説明では、撮像装置11がサーマルカメラであるものとしたが、撮像装置11は、各画素にRGB等の複数のチャネルの階調値が関連付けられたカラー画像を撮像画像として生成するカメラでもよい。この場合、生成処理のステップS104において、生成部132は、撮像画像の各画素の各チャネルの階調値の中央値を、画素ごとに算出し、各画素の各チャネルの階調値が算出した中央値に等しい画像を候補参照画像として生成する。また、付着物検出処理のステップS203において、抽出部134は候補参照画像と検出対象画像との間の各画素の階調値の色空間における距離を算出する。抽出部134は、各画素について算出された色空間における距離の中央値を、その候補参照画像の検出対象画像との乖離度として算出する。色空間における距離は、各チャネルの階調値の差分値の二乗和平方根である。このようにすることで、撮像装置11がカラー画像を生成するカメラである場合も、検出装置12は、撮像装置11に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする。
【0072】
上述した説明では、付着物検出処理は、生成処理と独立に実行されるものとしたが、このような例に限られない。例えば、付着物検出処理のステップS201及びS202が、生成処理のステップS101及びS102と兼ねられてもよい。これにより、検出装置12と撮像装置11との間の通信負荷及び検出装置12の処理負荷が低減される。この場合、生成処理が実行された後に、生成処理のステップS102で取得された画像を検出対象画像として、付着物検出処理のステップS203以降が実行される。また、生成処理のステップS102の後に付着物検出処理のステップS203以降が実行され、付着物検出処理の終了後に生成処理のステップS103以降が実行されてもよい。
【0073】
また、検出装置12の出力部138は、生成処理のステップS102又は付着物検出処理のS202において撮像装置11から撮像画像が取得されない場合には、通知を出力するようにしてもよい。これにより、検出装置12は、撮像装置11に異常が発生した旨を早期に監視者に知らせることができる。また、出力部138は、所定回数以上連続して撮像画像が取得されない場合に、通知を出力するようにしてもよい。
【0074】
図7は、他の実施形態に係る検出装置22の概略構成の例を示すブロック図である。検出装置22は、検出装置12と同様に、サーバ、PC、携帯電話、多機能携帯電話、ゲーム機等の情報処理装置である。検出装置22は、撮像装置11から撮像画像を取得し、撮像画像に基づいて、撮像装置11に画角ずれが発生しているか否かを判定する。検出装置22は、画角ずれが発生していると判定された場合、ネットワーク15を介して監視端末14に通知を出力する。検出装置22は、記憶部121、通信部122及び処理部230を備える。なお、以降では、上述した説明と同様の構成については同一の符号を付し、適宜説明を省略する。
【0075】
処理部230は、検出装置22の動作を統括的に制御する構成であり、処理部130と同様に、一又は複数個のプロセッサ及びその周辺回路を備える。処理部230は、例えば、CPU、LSI、ASIC、GPU、DSP、FPGA等を備える。処理部230は、記憶部121に記憶されているプログラムに基づいて、検出装置22の各種処理が適切に実行されるように検出装置22の各構成の動作を制御するとともに、各種の処理を実行する。
【0076】
処理部230は、取得部231、生成部232、変化領域検出部233、算出部234、判定部235、対象物検出部236及び出力部237を有する。これらの各部は、処理部230によって実行されるプログラムによって実現される機能モジュールである。これらの各部は、ファームウェア又は独立した回路として検出装置22に実装されてもよい。
【0077】
図8は、検出装置22によって実行される画角ずれ検出処理の動作の例を示すフロー図である。画角ずれ検出処理は、撮像装置11に発生した画角ずれを検出するための処理である。画角ずれ検出処理は、撮像装置11によって生成された複数の撮像画像が記憶部121に記憶されている状態で、所定時間(例えば、1分)ごとに定期的に実行される。画角ずれ検出処理は、記憶部121に記憶されたプログラムに基づいて、処理部230が検出装置22の各構成要素と協働することにより実現される。
【0078】
最初に、取得部231は、直前に画角ずれ検出処理が実行されてから所定時間が経過しているか否かを判定する(ステップS401)。所定時間は、例えば1分である。所定時間が経過していない場合(ステップS401-No)、取得部231は、所定時間が経過するまで待機する。
【0079】
所定時間が経過している場合(ステップS401-Yes)、取得部231は、通信部122を介して、撮像装置11によって生成された撮像画像を検出対象画像として取得する(ステップS402)。すなわち、取得部231は、所定時間ごとに検出対象画像を取得する。取得部231は、取得した検出対象画像を記憶部121に記憶する。なお、検出対象画像は、第1撮像画像の一例である。
【0080】
続いて、生成部232は、検出対象画像より前に撮像装置11によって生成された複数の撮像画像に基づいて参照画像を生成する(ステップS403)。生成部232は、直近に実行された画角ずれ検出処理のステップS401において取得されて記憶部121に記憶された所定数(例えば、30個)の検出対象画像を過去画像として記憶部121から取得する。生成部132は、取得した所定数の過去画像の各画素の輝度値の中央値を、画素ごとに算出する。生成部132は、各画素の輝度値が算出された中央値に等しい値である画像を参照画像として生成する。
【0081】
続いて、変化領域検出部233は、検出対象画像と参照画像とを比較することにより、検出対象画像において、画角ずれにより輝度値が変化している可能性がある変化領域を検出する(ステップS404)。変化領域検出部233は、検出対象画像と参照画像との間の各画素の輝度値の絶対差分値を算出する。変化領域検出部233は、算出された絶対差分値が所定閾値(例えば、20~40の任意の値)以上である画素を変化領域として検出する。変化領域検出部233は、検出された変化領域を検出対象画像と関連付けて記憶部121に記憶する。なお、変化領域検出部233は、比較部の一例である。
【0082】
続いて、算出部234は、連続する複数の検出対象画像に共通して変化領域として検出された共通変化領域の面積を算出する(ステップS405)。また、算出部234は、ステップS403において取得された各過去画像について検出された変化領域を過去変化領域として記憶部121から取得する。算出部234は、変化領域と、各過去変化領域とに共通する領域を共通変化領域として特定する。算出部234は、特定された共通変化領域の面積を算出する。算出部234は、例えば、共通変化領域に含まれる画素を計数することにより、面積を算出する。
【0083】
続いて、算出部234は、共通変化領域のうち、監視者によってあらかじめ指定された検出対象領域に含まれる領域の面積を算出する(ステップS406)。算出部234は、共通変化領域に含まれ、且つ、検出対象領域に含まれる画素を計数することにより、面積を算出する。
【0084】
続いて、判定部235は、算出された面積が所定値以上であるか否かを判定する(ステップS407)。判定部235は、共通疑義領域に含まれ、且つ、検出対象領域に含まれる画素の数が所定数以上である場合に、共通疑義領域の面積が所定値以上であると判定する。所定数は、例えば検出対象画像の画素数の5%に設定される。所定数は、1画素に設定されてもよい。
【0085】
検出対象領域に含まれる共通変化領域の面積が所定値未満である場合(ステップS407-No)、判定部235は、撮像装置11に画角ずれが発生していないと判定し(ステップS408)、画角ずれ検出処理を終了する。
【0086】
検出対象領域に含まれる共通変化領域の面積が所定値以上である場合(ステップS407-Yes)、対象物検出部236は、過去画像に含まれる所定の対象物を検出する(ステップS409)。所定の対象物は、撮像画像に含まれることが想定される移動物体であり、例えば、自動車及び人を含む。所定の対象物は、鳥獣、自転車等を含んでもよい。
【0087】
対象物検出部236は、画像が入力された場合にその画像に含まれる対象物に対応する領域及びその対象物の種類を出力するように学習された学習済みモデルに、連続する所定数の過去画像を入力することにより、対象物を検出する。学習済みモデルは、あらかじめ記憶部121に記憶される。学習済みモデルは、例えばYOLO(You Only Look Once)又はSSD(Single Shot Detector)等の物体検出モデルである。学習は、学習用画像が入力された場合に出力される対象物に対応する領域の形状及び位置並びに対象物の種類と、学習用画像に関連付けられた正解データである対象物に対応する領域の形状及び位置並びに対象物の種類との誤差が小さくなるようになされる。なお、対象物検出部236は、検出部の一例である。
【0088】
続いて、判定部235は、過去画像において対象物が検出されたか否かを判定する(ステップS410)。判定部235は、所定数の過去画像のうちの少なくとも一つの過去画像について、学習済みモデルから対象物に対応する領域が存在する旨の出力がされた場合に、過去画像において対象物が検出されたと判定する。判定部235は、所定数の過去画像のうちの所定割合(例えば、50%)以上の過去画像について対象物に対応する領域が存在する旨の出力がされた場合に、過去画像において対象物が検出されたと判定してもよい。判定部235は、所定数の過去画像の全てについて対象物に対応する領域が存在する旨の出力がされた場合に、過去画像において対象物が検出されたと判定してもよい。
【0089】
過去画像において対象物が検出された場合(ステップS410-Yes)、判定部235は、撮像装置11に画角ずれが発生していないと判定し(ステップS408)、画角ずれ検出処理を終了する。
【0090】
過去画像において対象物が検出された場合(ステップS410-No)、判定部235は、撮像装置11に画角ずれが発生していると判定する(ステップS411)。すなわち、判定部235は、検出対象画像と参照画像との比較の結果と、過去画像における所定の対象物の検出の結果とに基づいて、撮像装置11に画角ずれが発生しているか否かを判定する。変化領域は、撮像装置11に画角ずれが発生した場合のほか、参照画像に所定の対象物が含まれ且つ検出対象画像には所定の対象物が含まれていない場合にも検出される。判定部235は、参照画像の生成に用いられた過去画像において対象物が検出された場合に画角ずれが発生していないと判定することにより、参照画像に対象物が含まれていることに起因して画角ずれを誤検出することを防止することを可能とする。
【0091】
続いて、出力部237は、通知を出力し(ステップS412)、画角ずれ検出処理を終了する。出力部237は、通信部122を介して、撮像装置11に画角ずれが発生している旨の通知の表示データを監視端末14に送信する。
【0092】
以上説明したように、検出装置22は、検出対象画像と参照画像との比較の結果と、過去画像における所定の対象物の検出の結果とに基づいて、撮像装置11に画角ずれが発生しているか否かを判定する。これにより、検出装置22は、撮像装置11に生じた撮像画像に影響を及ぼす異常を適切に検出することを可能とする。
【0093】
上述した説明では、画角ずれ検出処理のステップS410において、過去画像に含まれる所定の対象物を検出するものとしたが、このような例に限られない。対象物検出部236は、学習済みモデルに参照画像を入力することにより、参照画像に含まれる所定の対象物を検出してもよい。
【0094】
また、ステップS410において、判定部235は、参照画像又は過去画像において対象物が検出された場合において、検出された対象物に対応する領域と共通変化領域との位置関係に基づいて画角ずれが発生しているか否かをさらに判定してもよい。例えば、判定部235は、共通変化領域が対象物に対応する領域の内部又は近傍に位置する場合に、画角ずれが発生していないと判定してもよい。すなわち、共通変化領域が対象物に対応する領域の内部又は近傍に含まれる場合には、変化領域が対象物に起因して検出された可能性が高く、共通変化領域が対象物に対応する領域とは異なる領域に含まれる場合には、変化領域が対象物に起因して検出された可能性は小さい。したがって、検出装置22は、対象物に対応する領域と共通変化領域との位置関係に基づいて画角ずれが発生しているか否かを判定することにより、参照画像に対象物が含まれていることに起因して画角ずれを誤検出することを良好に防止することを可能とする。なお、対象物に対応する領域の近傍とは、対象物に対応する領域の外部であって、対象物に対応する領域からの距離が所定画素数以下の領域である。
【0095】
当業者は、本発明の精神および範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した各部の処理は、本発明の範囲において、適宜に異なる順序で実行されてもよい。また、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。
【符号の説明】
【0096】
12 検出装置
121 記憶部
122 通信部
131 取得部
132 生成部
133 削除部
134 抽出部
135 検出部
136 算出部
137 判定部
138 出力部