特許 7252815 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-28

(45)【発行日】2023-04-05

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230329BHJP

   G03B 15/00 20210101ALI20230329BHJP

   G08B 25/00 20060101ALI20230329BHJP

   H04N 7/18 20060101ALI20230329BHJP

【ＦＩ】

H04N23/60 500

G03B15/00 S

G08B25/00 510M

H04N7/18 D

H04N7/18 K

【請求項の数】 7

(21)【出願番号】P 2019067975

(22)【出願日】2019-03-29

(65)【公開番号】P2020167585

(43)【公開日】2020-10-08

【審査請求日】2022-02-16

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】光信 拓也

(72)【発明者】

【氏名】山口 純

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２００３－１３４５０４（ＪＰ，Ａ）

【文献】特開２００５－２５２４７９（ＪＰ，Ａ）

【文献】特開平０８－２７３０６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １５／００

Ｇ０８Ｂ ２５／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮影装置により所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と同時期に撮影した第２撮影画像を取得する取得手段と、
前記第２撮影画像の各画素のＲＧＢ成分の値のうちいずれか一つの成分のみ飽和している画素からなるＲＧＢ光源領域を抽出する抽出手段と、
前記ＲＧＢ光源領域が抽出された場合、前記第１撮影画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の対象画像領域と、過去に前記第１露光量で撮影された基準画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の基準画像領域と、を比較し、当該基準画像領域よりも当該対象画像領域のエッジ数が第１エッジ判定基準値以上減少している場合、前記撮影装置の視野が妨害されたと判定する視野妨害判定手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記抽出手段は、前記第２撮影画像の各画素のＲＧＢ成分の値のうちいずれか一つの成分のみ飽和しており残り２つの成分の値が飽和している成分の値と比べて十分に小さい画素からなる画像領域を前記ＲＧＢ光源領域として抽出することを特徴とする画像処理装置。

【請求項3】

請求項１又は２に記載の画像処理装置であって、
前記抽出手段は、さらに前記第２撮影画像の各画素のうち輝度値が輝度基準値以上である画素からなる輝度光源領域を抽出し、
前記視野妨害判定手段は、前記輝度光源領域が抽出された場合、前記第１撮影画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記輝度光源領域に対応する領域以外の対象画像領域と、前記基準画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記輝度光源領域に対応する領域以外の基準画像領域と、を比較し、当該基準画像領域よりも当該対象画像領域のエッジ数が前記第１エッジ判定基準値よりも大きい第２エッジ判定基準値以上減少していた場合に前記撮影装置の視野が妨害されたと判定することを特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置であって、
前記視野妨害判定手段は、
前記輝度光源領域について、さらに前記輝度光源領域に対応する前記第１撮影画像の画像領域の周囲の画像領域の輝度の分散値が第１分散判定基準値未満である場合に前記撮影装置の視野が妨害されたと判定し、
前記ＲＧＢ光源領域について、さらに前記ＲＧＢ光源領域に対応する前記第１撮影画像の画像領域の周囲の画像領域の輝度の分散値が前記第１分散判定基準値以上である第２分散判定基準値以上である場合に前記撮影装置の視野が妨害されたと判定することを特徴とする画像処理装置。

【請求項5】

請求項１又は２に記載の画像処理装置であって、
前記視野妨害判定手段は、
前記第１撮影画像について抽出された前記ＲＧＢ光源領域の大きさが所定の領域基準値以下の場合には、前記基準画像領域よりも前記対象画像領域のエッジ数が前記第１エッジ判定基準値よりも高い第２エッジ判定基準値以上減少している場合、前記撮影装置の視野が妨害されたと判定することを特徴とする画像処理装置。

【請求項6】

撮影装置により所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と同時期に撮影した第２撮影画像を取得する取得手段と、
前記第２撮影画像の各画素のＲＧＢ成分の値のうちいずれか２成分の値を合計した値が飽和基準値以上である画素からなるＲＧＢ光源領域を抽出する抽出手段と、
前記第１撮影画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の対象画像領域と、当該第１撮影画像より過去に前記第１露光量で撮影された基準画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の基準画像領域と、を比較し、当該基準画像領域よりも当該対象画像領域のエッジ数がエッジ判定基準値以上減少している場合、前記撮影装置の視野が妨害されたと判定する視野妨害判定手段と、
を備えることを特徴とする画像処理装置。

【請求項7】

コンピュータを、
撮影装置により所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と同時期に撮影した第２撮影画像を取得する取得手段と、
前記第２撮影画像の各画素のＲＧＢ成分の値のうちいずれか一つの成分のみ飽和している画素からなるＲＧＢ光源領域を抽出する抽出手段と、
前記ＲＧＢ光源領域が抽出された場合、前記第１撮影画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の対象画像領域と、過去に前記第１露光量で撮影された基準画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の基準画像領域と、を比較し、当該基準画像領域よりも当該対象画像領域のエッジ数が第１エッジ判定基準値以上減少している場合、前記撮影装置の視野が妨害されたと判定する視野妨害判定手段と、
して機能させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置に対する視野妨害を検出する画像処理装置及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、所定の監視領域（所定領域という）に侵入する侵入者をカメラなどで監視するとき、侵入者が懐中電灯などのライトをカメラに照射してカメラの視野を妨害することで監視領域を撮影できないようにする視野妨害を検出するための技術が開示されている。例えば、監視領域を撮像する撮像手段によって撮像された画像の所定領域毎に輝度値を算出し、当該算出された輝度値が所定の輝度値以上である領域数を計算し、当該領域数が基準値以上となると撮像手段の視野が妨害されたと判断する技術が開示されている（特許文献１）。また、撮像部によって撮影された画像から抽出されたエッジの数と撮像部から出力される画像信号レベルを所定レベルに調整するためのゲイン値とを用いて、現画像のエッジ数が当該現画像より以前に撮影した元画像から得た基準エッジ数から所定のしきい値以上減少し、且つ、現画像のゲイン値が元画像の基準ゲイン値以上であるときに撮像部がマスクされたと判定する技術が開示されている（特許文献２）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０００－２２２６４６号公報

【文献】特開２００３－１３４５０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、撮影装置に対してレーザポインタのような単色光を照射された場合、輝度値に基づく処理では高輝度と判定され難く、撮像装置に対する視野妨害として検出し難い可能性があった。つまり、単色光（例えば、（Ｒ，Ｇ，Ｂ）＝（２５５，０，０））から求めた輝度値は、懐中電灯などの白色光（例えば、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５））から求めた輝度値よりも低くなるため高輝度とは判定され難く、視野妨害として検出し難い可能性があった。また、侵入者検知に用いる画像において高輝度領域を求める際に環境変化による輝度の飽和も撮像装置に対する視野妨害として判定してしまうおそれがあった。例えば、侵入者判定を行う撮影画像では、撮影装置に当たっていない太陽光やヘッドライトの光も高輝度と判定されてしまい、撮像装置に対する視野妨害として判定してしまうおそれがあった。

【0005】

本発明は、レーザポインタが照射された場合に撮影装置に対する視野妨害を検出することができる画像処理装置及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の１つの態様は、撮影装置により所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と同時期に撮影した第２撮影画像を取得する取得手段と、前記第２撮影画像の各画素のＲＧＢ成分の値のうちいずれか一つの成分のみ飽和している画素からなるＲＧＢ光源領域を抽出する抽出手段と、前記ＲＧＢ光源領域が抽出された場合、前記第１撮影画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の対象画像領域と、過去に前記第１露光量で撮影された基準画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の基準画像領域と、を比較し、当該基準画像領域よりも当該対象画像領域のエッジ数が第１エッジ判定基準値以上減少している場合、前記撮影装置の視野が妨害されたと判定する視野妨害判定手段と、を備えることを特徴とする画像処理装置である。

【0007】

本発明の別の態様は、コンピュータを、撮影装置により所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と同時期に撮影した第２撮影画像を取得する取得手段と、前記第２撮影画像の各画素のＲＧＢ成分の値のうちいずれか一つの成分のみ飽和している画素からなるＲＧＢ光源領域を抽出する抽出手段と、前記ＲＧＢ光源領域が抽出された場合、前記第１撮影画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の対象画像領域と、過去に前記第１露光量で撮影された基準画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の基準画像領域と、を比較し、当該基準画像領域よりも当該対象画像領域のエッジ数が第１エッジ判定基準値以上減少している場合、前記撮影装置の視野が妨害されたと判定する視野妨害判定手段と、して機能させることを特徴とする画像処理プログラムである。

【0008】

ここで、前記抽出手段は、前記第２撮影画像の各画素のＲＧＢ成分の値のうちいずれか一つの成分のみ飽和しており残り２つの成分の値が飽和している成分の値と比べて十分に小さい画素からなる画像領域を前記ＲＧＢ光源領域として抽出することが好適である。

【0009】

本発明の別の態様は、撮影装置により所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と同時期に撮影した第２撮影画像を取得する取得手段と、前記第２撮影画像の各画素のＲＧＢ成分の値のうちいずれか２成分の値を合計した値が飽和基準値以上である画素からなるＲＧＢ光源領域を抽出する抽出手段と、前記第１撮影画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の対象画像領域と、当該第１撮影画像より過去に前記第１露光量で撮影された基準画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の基準画像領域と、を比較し、当該基準画像領域よりも当該対象画像領域のエッジ数がエッジ判定基準値以上減少している場合、前記撮影装置の視野が妨害されたと判定する視野妨害判定手段と、を備えることを特徴とする画像処理装置である。

【0010】

本発明の別の態様は、コンピュータを、撮影装置により所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と同時期に撮影した第２撮影画像を取得する取得手段と、前記第２撮影画像の各画素のＲＧＢ成分の値のうちいずれか２成分の値を合計した値が飽和基準値以上である画素からなるＲＧＢ光源領域を抽出する抽出手段と、前記第１撮影画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の対象画像領域と、当該第１撮影画像より過去に前記第１露光量で撮影された基準画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記ＲＧＢ光源領域に対応する領域以外の基準画像領域と、を比較し、当該基準画像領域よりも当該対象画像領域のエッジ数がエッジ判定基準値以上減少している場合、前記撮影装置の視野が妨害されたと判定する視野妨害判定手段と、して機能させることを特徴とする画像処理プログラムである。

【0011】

ここで、前記抽出手段は、さらに前記第２撮影画像の各画素のうち輝度値が輝度基準値以上である画素からなる輝度光源領域を抽出し、前記視野妨害判定手段は、前記輝度光源領域が抽出された場合、前記第１撮影画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記輝度光源領域に対応する領域以外の対象画像領域と、前記基準画像における、当該第１撮影画像と同時期に撮影された前記第２撮影画像から抽出された前記輝度光源領域に対応する領域以外の基準画像領域と、を比較し、当該基準画像領域よりも当該対象画像領域のエッジ数が前記第１エッジ判定基準値よりも大きい第２エッジ判定基準値以上減少していた場合に前記撮影装置の視野が妨害されたと判定することが好適である。

【0012】

また、前記視野妨害判定手段は、前記輝度光源領域について、さらに前記輝度光源領域に対応する前記第１撮影画像の画像領域の周囲の画像領域の輝度の分散値が第１分散判定基準値未満である場合に前記撮影装置の視野が妨害されたと判定し、前記ＲＧＢ光源領域について、さらに前記ＲＧＢ光源領域に対応する前記第１撮影画像の画像領域の周囲の画像領域の輝度の分散値が前記第１分散判定基準値以上である第２分散判定基準値以上である場合に前記撮影装置の視野が妨害されたと判定することが好適である。

【0013】

また、前記視野妨害判定手段は、前記第１撮影画像について抽出された前記ＲＧＢ光源領域の大きさが所定の領域基準値以下の場合には、前記基準画像領域よりも前記対象画像領域のエッジ数が前記第１エッジ判定基準値よりも高い第２エッジ判定基準値以上減少している場合、前記撮影装置の視野が妨害されたと判定することが好適である。

【発明の効果】

【0014】

本発明によれば、撮影部に対してレーザポインタを照射された場合であっても高い精度で視野妨害と判定することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施の形態における警備システムの構成概略図である。

【図2】本発明の実施の形態における画像処理装置の構成概略図である。

【図3】本発明の実施の形態におけるＲＧＢ成分の例を示す図である。

【図4】本発明の実施の形態における輝度光源領域とＲＧＢ光源領域における輝度の分散状態を説明する図である。

【図5】本発明の実施の形態における視野妨害判定処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0016】

本実施形態に係る警備システム１０は、図１に示すように、店舗、オフィス、マンション、倉庫、家屋などの各監視対象物件１２に設置される警備装置１４、公衆電話回線などの通信網１６を介して各警備装置１４と接続される警備センタ装置１８、及び利用者装置２０とを含んで構成される。さらに、警備システム１０は、監視対象物件１２の監視領域を撮影した監視画像に基づいて監視対象物件１２の異常を検出するための１以上の画像処理装置としての画像処理装置２２、及び、画像処理装置２２により撮影された監視画像を記録する録画装置２４を含んで構成される。画像処理装置２２及び録画装置２４は警備装置１４と通信可能に接続される。

【0017】

警備装置１４は、構内ＬＡＮなどを介してそれ自体に接続された画像処理装置２２からアラーム信号を受信すると、そのアラーム信号及び警備装置１４自体の識別信号、又は、監視対象物件１２あるいは異常を検出した画像処理装置２２の識別信号を警備センタ装置１８へ送信する。そのために、警備装置１４は、画像処理装置２２と通信するための通信インターフェースと、警備センタ装置１８及び利用者装置２０と通信するための通信インターフェースと、それらを制御するための制御ユニットを有する。

【0018】

警備センタ装置１８は、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェースと、液晶ディスプレイなどの表示装置と、ブザーやＬＥＤなどで構成される報知部を備える。警備センタ装置１８は、警備装置１４から通信網１６を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置１４が設置された監視対象物件１２及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。

【0019】

利用者装置２０も、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェース、液晶ディスプレイなどの表示装置、及び、キーボードやマウスなど、警備装置１４を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置２０は、ユーザインターフェースを介して予め登録されている監視対象物件１２を観察する操作がなされると、登録されている監視対象物件１２に設置された警備装置１４に対して、現在撮影中の監視画像又は録画装置２４に記録されている監視画像を利用者装置２０に送信することを要求する各種の画像要求信号を送信する。そして、警備装置１４から監視画像を受信すると、利用者装置２０は要求された監視画像を表示装置に表示する。

【0020】

録画装置２４は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ－ＲＡＭなどの光記録媒体のように、録画装置２４に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。録画装置２４は、画像処理装置２２が撮影した監視画像を警備装置１４から受け取り、撮影時刻と関連付けて記録する。

【0021】

図２は、画像処理装置２２の構成概念図である。

【0022】

通信部３０は、画像処理装置２２と警備装置１４との間で構内ＬＡＮなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インターフェースであり、イーサネット（登録商標）などの各種の通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部３０は、後述の制御部３６によって侵入者が検出された場合に、侵入者を検出したことを示す侵入アラーム信号を警備装置１４に出力する。

【0023】

撮影部３２は、ＣＭＯＳなどの、可視光及び近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。撮影部３２は、監視領域を撮影することによって撮影画像を取得する。撮影部３２は、一定の時間間隔（例えば１／５秒）ごとに撮影を行うが、撮影部３２の撮影方法はこれには限られない。監視領域に侵入者が存在する場合、撮影部３２が取得した撮影画像には、当該人物（侵入者）に相当する人領域が含まれることとなる。取得された撮影画像は記憶部３４に記憶される。

【0024】

また、本実施の形態では、撮影部３２は、通常の露光量（侵入者判定に適した第１露光量）で通常露光画像４０を撮影し、通常の露光量よりも小さい低露光量（第２露光量）で低露光画像４２を撮影する。通常露光画像４０と低露光画像４２は同時期に撮影を行う。例えば、通常露光画像４０と低露光画像４２は交互に撮影を行うとよい。一定の時間間隔（例えば１／５秒）で交互に通常露光画像４０と低露光画像４２を撮影してもよいが、この間隔が離れすぎていなければ（例えば１／２秒以内程度）、交互に撮影する必要はなく、通常露光画像４０と低露光画像４２の間に別の画像を撮影してもよい。なお、撮影部３２の露光量は撮影環境に応じて変更される。すなわち、常に露光量を固定して撮影を行うのではなく、通常露光画像４０と低露光画像４２の露光量の比も固定されているものではない。

【0025】

記憶部３４は、半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブ及びその記録媒体で構成される記憶手段である。記憶部３４には、画像処理装置２２の各部を動作させるための画像処理プログラムが記憶される。また、記憶部３４は、通常露光画像４０、低露光画像４２、基準画像４４、飽和基準値４６、輝度基準値４８、輝度判定基準値５０（第１輝度判定基準値５０ａ，第２輝度判定基準値５０ｂ）、エッジ判定基準値５２（第１エッジ判定基準値５２ａ，第２エッジ判定基準値５２ｂ）、分散判定基準値５４（第１分散判定基準値５４ａ，第２分散判定基準値５４ｂ）を記憶する。すなわち、記憶部３４は、通常露光画像４０を記憶する通常露光画像記憶手段、低露光画像４２を記憶する低露光画像記憶手段、基準画像４４を記憶する基準画像記憶手段、飽和基準値を記憶する飽和基準値記憶手段、輝度基準値を記憶する輝度基準値記憶手段、輝度判定基準値を記憶する輝度判定基準値記憶手段、エッジ判定基準値を記憶するエッジ判定基準値記憶手段、分散判定基準値を記憶する分散判定基準値記憶手段として機能する。

【0026】

基準画像４４は、撮影部３２において撮影された通常露光画像４０のうち視野妨害だと判定されていない画像である。基準画像４４は１枚であってもよいが、複数枚の基準画像４４が作成されてもよい。なお、基準画像４４の露光量は、リアルタイムで撮影された通常露光画像４０の露光量と異なっていてもよい。また、基準画像４４は複数の通常露光画像４０から作成されてもよい。

【0027】

制御部３６は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像処理装置２２の各種信号処理を実行する。図２に示されるように、制御部３６は、光源領域抽出手段６０及び視野妨害判定手段６２を含んで構成され、全体として画像処理手段として機能する。制御部３６がこれらの手段として機能することで撮影部３２に対して光を照射することによって視野妨害されているか否かが判定される。以下、制御部３６が有する各手段について説明する。

【0028】

光源領域抽出手段６０は、レーザポインタや懐中電灯の光源等によって撮影部３２が照らされたときに通常露光画像４０に生ずる光源を撮影した画像領域である光源領域を抽出する。光源領域抽出手段６０は、レーザポインタによって通常露光画像４０に生ずるＲＧＢ光源領域と懐中電灯などのＬＥＤライトによって通常露光画像４０に生ずる輝度光源領域を抽出する。

【0029】

まず、レーザポインタによって通常露光画像４０に生ずるＲＧＢ光源領域の抽出処理について説明する。

【0030】

光源領域抽出手段６０は、図３に示すように、低露光画像４２の各画素の赤色の波長領域の成分（Ｒ成分）、緑色の波長領域の成分（Ｇ成分）、青色の波長領域の成分（Ｂ成分）を抽出する。そして、ＲＧＢ成分のうちいずれか１つの成分が飽和基準値４６以上である画素を抽出し、当該抽出された画素をＲＧＢ光源領域に設定する。なお、画素のＲＧＢ成分のいずれか１つの成分が完全に飽和している場合のみ、飽和基準値４６以上であるものとして当該画素をＲＧＢ光源領域としてもよいし、画素のＲＧＢ成分のいずれか１つの成分が所定の飽和基準値４６以上である場合に当該画素をＲＧＢ光源領域としてもよい。

【0031】

例えば、０～２５５階調で表わされる低露光画像４２のある画素のＲＧＢ成分のいずれか１つの成分が２５５である場合に当該画素をＲＧＢ光源領域とすればよい。また、例えば、飽和基準値４６を２５０として、０～２５５階調で表わされる低露光画像４２のある画素のＲＧＢ成分のいずれか１つの成分が２５０以上である場合に当該画素をＲＧＢ光源領域とすればよい。

【0032】

また、残りの２成分について飽和していなければＲＧＢ光源領域と設定してもよいし、飽和している一つの成分の値又は飽和基準値４６よりも十分に小さい値であればＲＧＢ光源領域と設定してもよい。ここで、十分に小さい値とは、例えば、ＲＧＢ成分の飽和値の１０％以下の値とすればよい。

【0033】

例えば、残りの２成分について飽和していなければＲＧＢ光源領域と設定する場合、０～２５５階調で表わされる低露光画像４２のある画素のＲＧＢ成分が（Ｒ，Ｇ，Ｂ）＝（２５５，１２５，１００）である場合であっても当該画素をＲＧＢ光源領域として設定する。一方、例えば、残りの２成分について飽和値の１０％以下であればＲＧＢ光源領域と設定する場合、０～２５５階調で表わされる低露光画像４２のある画素のＲＧＢ成分が（Ｒ，Ｇ，Ｂ）＝（２５５，１２５，１００）である場合には当該画素はＲＧＢ光源領域に設定せず、（Ｒ，Ｇ，Ｂ）＝（２５５，２５，２０）である場合には当該画素はＲＧＢ光源領域に設定する。

【0034】

また、低露光画像４２の画素のＲＧＢ成分のうち、いずれか２成分の値を合計した値が所定の飽和基準値４６以上であり、合計していない残りの１成分の値が合計した２成分の値よりも十分に小さい値である画素をＲＧＢ光源領域に設定してもよい。例えば、紫色のレーザポインタの場合、低露光画像４２の画素のＲＧＢ成分が（Ｒ，Ｇ，Ｂ）＝（１４０，０，１４０）等となるので、飽和基準値４６を２５５に設定して、当該画素がＲＧＢ光源領域に設定されるようにしてもよい。ここで、十分に小さい値とは、例えば、合計した２成分の値の１０％以下の値や、飽和基準値４６の１０％以下の値とすればよい。

【0035】

ここで、ＲＧＢ光源領域の設定処理において低露光画像４２を用いることによって、強い単色成分の光を放っている光源を撮影した画像領域のみをＲＧＢ光源領域として設定することができる。すなわち、通常露光画像４０では強い光を放っていない単色成分の物体もＲＧＢ光源領域として抽出してしまうおそれがあるので、低露光画像４２を用いることが好適である。

【0036】

次に、懐中電灯の照射によって通常露光画像４０に生ずる輝度光源領域の抽出処理について説明する。

【0037】

光源領域抽出手段６０は、低露光画像４２の各画素のうち所定の輝度基準値４８以上の輝度値をもつ画素を輝度光源領域に設定する。具体的には、通常露光画像４０と低露光画像４２の露光量の比率から低露光画像４２の各画素の輝度値を通常の露光量で撮影した場合の推定輝度値に換算し、各画素の推定輝度値が予め設定した輝度基準値４８以上である画素を輝度光源領域として設定する。

【0038】

輝度基準値４８は、通常露光画像４０のダイナミックレンジを越えた輝度値を表わす基準値である。すなわち、撮影部３２に対して懐中電灯の光が当てられたときの通常露光画像４０と低露光画像４２とを組として撮影し、視野妨害を検出するために必要な推定輝度値を輝度基準値４８として設定する。このとき、撮影部３２で光量が異なる種々の懐中電灯を用いて視野妨害を検出するために必要な推定輝度値を輝度基準値４８として設定することが好適である。

【0039】

輝度基準値４８は、以下のようにして具体的に求めることができる。予め通常露光画像４０と低露光画像４２とを一組として撮影して画像の組を複数取得する。そして、それぞれの組について後述する露光量比率に基づいて低露光画像４２の各画素の輝度値を通常露光画像４０の露光量に換算した推定輝度値（通常露光画像４０の露光量で撮影した場合に取得できる推定輝度値）に変換する。そして、視野妨害を検出できる推定輝度値を特定して、当該推定輝度値を輝度基準値４８に設定する。

【0040】

露光量比率は、撮影部３２のシャッタースピードとゲインを基に算出することができる。このとき、撮影部３２の絞りは固定とする。ただし、以下の計算に絞り等を追加して比率を求めてもよい。撮影部３２によって通常露光画像４０及び低露光画像４２を撮影したときのシャッタースピード及び撮像素子のゲインを取得する。シャッタースピードを数式（１）にしたがってデシベル表示［ｄＢ］に変換する。例えば、１／６０［ｍｓｅｃ］のシャッタースピードを基準にして撮影部３２において設定可能な各シャッタースピードをデシベル表示［ｄＢ］に変換する。なお、露光量比率を求める場合、シャッタースピード,ゲイン,絞り等のパラメータうち撮影部３２で固定せずに撮影を行ったパラメータを使って求めてもよい。例えば、シャッタースピード,ゲインを固定した撮影を行った場合は、ゲインから露光量比率を算出してもよい。

２０ｌｏｇ（Ｏｕｔ／Ｉｎ）＝デシベル表示［ｄＢ］・・・（１）

ここで、Ｏｕｔ：撮影に使用したシャッタースピード、Ｉｎ：基準のシャッタースピード（例えば、１／６０）

【表1】

【0041】

デシベル表示［ｄＢ］変換後のシャッタースピードとゲインから数式（２）に基づいて撮影画像の露光量を求める。

露光量［ｄＢ］＝ゲイン［ｄＢ］＋シャッタースピード［ｄＢ］・・・（２）

【0042】

例えば、通常露光画像４０のゲインが６［ｄＢ］で、シャッタースピードが１／６０（０［ｄＢ］）の場合には、通常露光画像４０の露光量は６［ｄＢ］となる。一方、低露光画像４２のゲインが０［ｄＢ］で、シャッタースピードが１／３２０（－１４［ｄＢ］）の場合には、低露光画像４２の露光量は－１４［ｄＢ］となる。通常露光画像４０と低露光画像４２の露光量が求められたら、露光差［ｄＢ］＝通常露光画像４０の露光量［ｄＢ］－低露光画像４２の露光量［ｄＢ］として数式（３）に基づいて露光量比率を算出する。

２０ｌｏｇ（露光量比率）＝露光差・・・（３）

【0043】

例えば、通常露光画像４０の露光量が６［ｄＢ］であり、低露光画像４２の露光量が－１４［ｄＢ］の場合には露光差は６－（－１４）＝２０［ｄＢ］となる。露光差が２０［ｄＢ］の場合、露光量比率は１０＾（２０／２０）＝１０となる。すなわち、低露光画像４２は通常露光画像４０よりも１０％の露光量で撮影されたと判定できる。表２は、通常露光画像４０の露光量と低露光画像４２の露光量の倍率と露光差との関係を示す。

【表2】

【0044】

推定輝度値は、低露光画像４２の各画素の輝度値を通常露光画像４０の露光量で撮影した場合の輝度値に換算した値である。したがって、低露光画像４２の各画素の輝度値に対して露光量比率を乗算することで推定輝度値を算出することができる。例えば、低露光画像４２が通常露光画像４０に対して１０％の露光量で撮影された場合、低露光画像４２の各画素の輝度値に露光量比率である１０を乗算して通常露光画像４０の露光量で撮影した場合の輝度値に換算した推定輝度値を算出する。低露光画像４２のある画素の輝度値が６０の場合は、推定輝度値は６００（６０（低露光画像４２の輝度値）×１０（露光量比率）＝６００（推定輝度値））となる。また、低露光画像４２のある画素の輝度値が２００の場合、推定輝度値は２０００となる。

【0045】

このように、露光量比率に基づいて推定輝度値を算出して、視野妨害を検出できる推定輝度値を特定して、当該推定輝度値を輝度基準値４８として設定する。例えば、輝度基準値４８を２０００と設定する。

【0046】

なお、同じ画像領域がＲＧＢ光源領域と輝度光源領域の両方と判定された場合、ＲＧＢ光源領域として設定することが好適である。

【0047】

視野妨害判定手段６２は、光源領域抽出手段６０においてＲＧＢ光源領域又は輝度光源領域が設定された場合、以下のように撮影部３２に対して視野妨害されたか否かの判定処理を行う。

【0048】

視野妨害判定手段６２は、光源領域の種類に応じて通常露光画像４０において光源領域の周囲近傍に位置する画像領域の輝度値及び輝度の分散値を算出する。このとき、輝度光源領域については、輝度光源領域の面積を第１倍率だけ膨張させた画像領域の平均輝度値及び分散値を算出する。第１倍率は、例えば、２０％に設定することが好適である。また、ＲＧＢ光源領域については、ＲＧＢ光源領域の面積を輝度光源領域に対する第１倍率よりも低い第２倍率だけ膨張させた画像領域の平均輝度値及び分散値を算出する。第２倍率は、例えば、１０％に設定することが好適である。ただし、光源領域の種類に応じて第１倍率と第２倍率とを異なる値にせず、一律にして平均輝度値及び分散値を算出してもよい。このとき、平均輝度値及び分散値を算出する画像領域は、膨張領域のうち光源領域を除いた画像領域から算出する。

【0049】

次に、視野妨害判定手段６２は、エッジ減少率を算出する。視野妨害判定されていない過去に撮影した基準画像４４のエッジ数と通常露光画像４０のエッジ数とを比較して、通常露光画像４０において基準画像４４から減少したエッジ数の比率を求める。ここで、エッジ数は、通常露光画像４０と基準画像４４ともＲＧＢ光源領域又は輝度光源領域に設定された画像領域を膨張させた画像領域以外の画像領域のエッジ数とする。画像領域の膨張率は、上記と同様に、輝度光源領域に対して第１倍率とし、ＲＧＢ光源領域に対して第２倍率とすればよい。また、エッジ数は、通常露光画像４０において輝度値が所定輝度値以上の画素を除いた画像領域から求めるようにしてもよい。エッジ減少率は、通常露光画像４０と基準画像４４のエッジ数を引き算した差分としてもよいし、｛（基準画像４４のエッジ数－通常露光画像４０のエッジ数）／基準画像４４のエッジ数｝としてもよい。また、通常露光画像４０と基準画像４４の画像全体に対して抽出されたエッジ数の比率の減少率を算出してもよい。なお、エッジ数は、通常露光画像４０と基準画像４４ともＲＧＢ光源領域又は輝度光源領域に設定された画像領域以外の画像領域からエッジ数を求めてもよい。

【0050】

なお、基準画像４４は、過去に撮影された視野妨害判定されていない通常露光画像４０であれば直前に撮影された画像でもよい。例えば、処理対象としている通常露光画像４０の１フレーム前に撮影された通常露光画像４０としてもよいし、数フレーム前に撮影された通常露光画像４０としてもよい。また、基準画像４４は、１枚ではなく複数枚としてもよい。例えば、複数の基準画像４４に対してエッジ数の比較処理を適用し、最もエッジ数の減少率が高い結果を採用してもよい。

【0051】

視野妨害判定手段６２は、平均輝度値、分散値及びエッジ減少率に基づいて、光源領域の種類に応じて撮影部３２に対して視野妨害されたか否かを判定する処理を行う。

【0052】

輝度光源領域に対して、算出された平均輝度値が第１輝度判定基準値５０ａ以上であり、算出されたエッジ減少率が第１エッジ判定基準値５２ａ以上であり、算出された分散値が第１分散判定基準値５４ａ未満の場合に視野妨害があったと判定する。また、ＲＧＢ光源領域に対して、算出された平均輝度値が第２輝度判定基準値５０ｂ以上であり、算出されたエッジ減少率が第２エッジ判定基準値５２ｂ以上であり、算出された分散値が第２分散判定基準値５４ｂ以上である場合に視野妨害があったと判定する。

【0053】

ここで、第２輝度判定基準値５０ｂは、第１輝度判定基準値５０ａより低い値に設定する。また、第２エッジ判定基準値５２ｂは、第１エッジ判定基準値５２ａより小さい値に設定する。また、第２分散判定基準値５４ｂは、第１分散判定基準値５４ａと等しい値としてもよいし、第１分散判定基準値５４ａとは異なる値に設定してもよい。第１分散判定基準値５４ａと第２分散判定基準値５４ｂとを異なる値に設定する場合は、第１分散判定基準値５４ａよりも第２分散判定基準値５４ｂの値のほうを高い値がよい。

【0054】

一般的に懐中電灯による輝度光源領域ではレーザポインタによるＲＧＢ光源領域より平均輝度値が高くなる傾向がある。そこで、第２輝度判定基準値５０ｂを第１輝度判定基準値５０ａより低い値に設定することによって、撮影部３２に対して照射されていないヘッドライトなどの単色光ではない光を視野妨害と誤判定してしまうことを抑制しつつ、レーザポインタによる視野妨害を高精度で検出することができる。

【0055】

また、懐中電灯などのライトの光は拡散するため、撮影部３２にピンポイントにライトの光を当てなくても通常露光画像４０の画像全体が白飛びすることが多い。対して、画像全体が白飛びしないときは、カメラレンズ以外にライトが当てられている場合であり、そのときは監視領域に侵入した侵入者を検知することができる。一方、一般的にレーザポインタの光は拡散しないため、撮影部３２に対してピンポイントに光を当てなければ通常露光画像４０の画像全体が白飛びすることはない。撮影部３２に対してピンポイントに光が当てられなかった場合、光源領域及び光源領域の周囲近傍の領域のみが白飛びし、その領域以外の画像領域は、白飛びはせず、輝度値が高くなっているだけの場合がある。したがって、基準画像４４に写っている背景物がそのまま通常露光画像４０にも写っている可能性があり、このような背景物から抽出されるエッジについては基準画像４４と通常露光画像４０とで変化が小さいのでエッジ減少率が小さくなり視野妨害と判定されない可能性がある。その一方で、ライトの光と違い、通常露光画像４０の画像全体の輝度値が高くなっているため、輝度が高い領域に侵入者が埋れてしまい、侵入者を検知することができない場合がある。そこで、第２エッジ判定基準値５２ｂを第１エッジ判定基準値５２ａより小さい値に設定することによって、侵入者判定に影響を及ぼす懐中電灯及びレーザポインタによる視野妨害を高精度で検出することができる。

【0056】

また、懐中電灯のように単色光でない光源の場合、図４（ａ）に示すように、通常露光画像４０において光が照射された画像領域全体において輝度値に大きな変化が見られず、輝度光源領域における輝度の分散値は小さくなる。これに対して、レーザポインタのように単色光（単一波長）の光源の場合、図４（ｂ）に示すように、空気中の塵やレンズカバーでの乱反射による散乱等の影響によって光の干渉が生じて輝度値の高い画像領域と低い画像領域が現れる。すなわち、通常露光画像４０において光が照射されたＲＧＢ光源領域における輝度の分散値は輝度光源領域よりも大きくなる。そこで、輝度光源領域では分散値が小さい場合に視野妨害と判定し、ＲＧＢ光源領域では分散値が大きい場合に視野妨害と判定することによって、視野妨害を高精度で検出することができる。

【0057】

ただし、平均輝度値及び分散値に対する判定を行わず、エッジ減少率に対する判定のみに基づいて視野妨害の有無を判定してもよい。また、エッジ減少率及び平均輝度値に対する判定を行い、分散値に対する判定を行うことなく視野妨害の有無を判定してもよい。また、エッジ減少率及び分散値に対する判定を行い、平均輝度値に対する判定を行うことなく視野妨害の有無を判定してもよい。

【0058】

以下、図５に示すフローチャートにしたがって視野妨害を検出する視野妨害判定処理の流れを説明する。

【0059】

光源領域抽出手段は、低露光画像４２の各画素において輝度基準値４８以上の輝度値からなる画素を輝度光源領域とし、ＲＧＢ成分のうちいずれかの１成分のみ飽和基準値４６以上である画素をＲＧＢ光源領域として抽出する（ステップＳ１０）。いずれの光源領域も抽出されなかった場合は、視野妨害判定処理を終了する。輝度光源領域が抽出された場合にはステップＳ１４に処理を移行させ、ＲＧＢ光源領域が抽出された場合にはステップＳ２６に処理を移行させ、輝度光源領域及びＲＧＢ光源領域のいずれも抽出されなかった場合には処理を終了させる（ステップＳ１２）。

【0060】

輝度光源領域が抽出された場合、視野妨害判定手段は、通常露光画像４０において輝度光源領域の周囲の画像領域の平均輝度値を算出する（ステップＳ１４）。平均輝度値が第１輝度判定基準値以上であればステップＳ１８に処理を移行させ、そうでなければ処理を終了させる（ステップＳ１６）。続いて、輝度光源領域の周囲の画像領域の輝度の分散値を算出する（ステップＳ１８）。分散値が第１分散判定基準値未満であればステップＳ２２に処理を移行させ、そうでなければ処理を終了させる（ステップＳ２０）。そして、通常露光画像４０と基準画像４４とのエッジ減少率を算出する（ステップＳ２２）。エッジ減少率が第１エッジ判定基準値以上であればステップＳ３８に処理を移行させ（ステップＳ２４）、撮影部３２に対して視野妨害されたと判定する（ステップＳ３８）。エッジ減少率が第１エッジ判定基準値未満であれば処理を終了させる（ステップＳ２４）。

【0061】

ＲＧＢ光源領域が抽出された場合、視野妨害判定手段は、通常露光画像４０においてＲＧＢ光源領域の周囲の画像領域の平均輝度値を算出する（ステップＳ２６）。平均輝度値が第２輝度判定基準値以上であればステップＳ３０に処理を移行させ、そうでなければ処理を終了させる（ステップＳ２８）。続いて、ＲＧＢ光源領域の周囲の画像領域の輝度の分散値を算出する（ステップＳ３０）。分散値が第２分散判定基準値以上であればステップＳ３４に処理を移行させ、そうでなければ処理を終了させる（ステップＳ３２）。そして、通常露光画像４０と基準画像４４とのエッジ減少率を算出する（ステップＳ３４）。エッジ減少率が第２エッジ判定基準値以上であればステップＳ３８に処理を移行させ（ステップＳ３６）、撮影部３２に対して視野妨害されたと判定する（ステップＳ３８）。エッジ減少率が第２エッジ判定基準値未満であれば処理を終了させる（ステップＳ３６）。

【0062】

以上のように、本実施の形態によれば、撮影部３２に対してレーザポインタを照射された場合であっても高い精度で視野妨害と判定することができる。

【0063】

上記実施の形態では、光源領域をＲＧＢ光源領域と輝度光源領域とに分けていたが、視野妨害判定手段６２は、光源領域の種類を設定せずに光源領域に大きさに応じて視野妨害判定処理を行ってもよい。例えば、抽出された光源領域の大きさが領域基準値以上か否かを判定し、抽出された光源領域の面積が領域基準値以上の場合は、光源領域の面積が領域基準値未満の場合よりもエッジ減少率を算出する基準値を低く設定して、視野妨害判定を行う。すなわち、抽出された光源領域の面積が大きい場合は、光源領域が小さい場合よりも光源領域による視野妨害が発生しているため、光源領域以外の画像領域のエッジ減少率を比較せずとも視野妨害と判定するのが好適である。対して光源領域が小さい場合は、光源領域による視野妨害は小さいため、光源領域以外の画像領域のエッジ減少率を光源領域が大きい場合よりも厳しく判定することで、視野妨害と判定するべき現象に対して精度良く判定することができる。なお、光源領域の大きさを判定する基準値は複数あってもよく、光源領域の大きさを多段階に分けてもよい。

【0064】

上記実施の形態では、撮影画像（通常露光画像４０及び低露光画像４２）一組が視野妨害を判定する条件を満たした場合、視野妨害されたと判定していたが、一組ではなく複数の組の視野妨害判定結果から視野妨害されたか否かを判定してもよい。例えば、６組（６フレーム）中に視野妨害を判定する条件を満たす撮影画像が３組（３フレーム）存在した場合は、視野妨害されたと判定してもよい。

【0065】

なお、画像処理装置２２は、自装置内の記憶部３４に記憶された画像を画像処理するものに限定されない。例えば、他の外部装置から読み出した画像を画像処理したり、外部のカメラから受信した画像を画像処理したりする構成としてもよい。また、カメラを複数設けて、通常露光画像４０と低露光画像４２とをそれぞれのカメラで撮影するようにしてもよい。その場合、通常露光画像４０と低露光画像４２とを同時に撮影してもよい。

【0066】

上記実施の形態では、レーザポインタの光による光源の抽出及び視野妨害判定と、懐中電灯などのライトの光による光源の抽出及び視野妨害判定とを行っていたが、画像処理装置２２は、懐中電灯などの光による光源の抽出及び視野妨害判定する構成は除き、レーザポインタの光による光源の抽出及び視野妨害判定のみを行ってもよい。

【0067】

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

【符号の説明】

【0068】

１０ 警備システム、１２ 監視対象物件、１４ 警備装置、１６ 通信網、１８ 警備センタ装置、２０ 利用者装置、２２ 画像処理装置、２４ 録画装置、３０ 通信部、３２ 撮影部、３４ 記憶部、３６ 制御部、４０ 通常露光画像、４２ 低露光画像、４４ 基準画像、４６ 飽和基準値、４８ 輝度基準値、５０ 輝度判定基準値、５０ａ 第１輝度判定基準値、５０ｂ 第２輝度判定基準値、５２ エッジ判定基準値、５２ａ 第１エッジ判定基準値、５２ｂ 第２エッジ判定基準値、５４ 分散判定基準値、５４ａ 第１分散判定基準値、５４ｂ 第２分散判定基準値、６０ 光源領域抽出手段、６２ 視野妨害判定手段。

【図1】

【図2】

【図3】

【図4】

【図5】