特開 2024-145322 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024145322

(43)【公開日】2024-10-15

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/194 20170101AFI20241004BHJP

   H04N 7/18 20060101ALI20241004BHJP

【ＦＩ】

G06T7/194

H04N7/18 D

H04N7/18 K

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023057614

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】大津 全史

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054FC12

5C054HA19

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096EA12

5L096FA02

5L096FA32

5L096FA33

5L096FA34

5L096FA81

5L096GA08

(57)【要約】

【課題】差分領域に明るい影領域と暗い影領域とが含まれる場合であっても検出の対象物に対する誤判定を抑制する。
【解決手段】所定領域を撮影した撮影画像のうち処理対象の入力画像と所定領域の背景画像との差分領域に基づき、入力画像における検出対象の有無を判定する画像センサ１４を含み、画像センサ１４は、入力画像の差分領域について、輝度値が低い画素からなる低輝度部分領域及び低輝度部分領域より輝度値が高い画素からなる高輝度部分領域のうち、当該低輝度部分領域から抽出した影らしさを示す特徴を用いて当該差分領域が影であるか検出対象であるか判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、前記入力画像における検出対象の有無を判定する画像処理部を含み、
前記画像処理部は、前記入力画像の前記差分領域について、輝度値が低い画素からなる低輝度部分領域及び前記低輝度部分領域より輝度値が高い画素からなる高輝度部分領域のうち、当該低輝度部分領域から抽出した影らしさを示す特徴を用いて当該差分領域が影であるか前記検出対象であるかを判定することを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記画像処理部は、前記低輝度部分領域から影らしさを示す第１の特徴を抽出するとともに、前記高輝度部分領域から影らしさを示す前記第１の特徴とは異なる第２の特徴を抽出し、前記第１の特徴及び前記第２の特徴を用いて前記差分領域が影であるか前記検出対象であるかを判定することを特徴とする画像処理装置。

【請求項3】

請求項２に記載の画像処理装置であって、
前記画像処理部は、前記第１の特徴及び前記第２の特徴に基づいて求めた前記差分領域の影らしさを示す属性値を用いて前記差分領域が影であるか前記検出対象であるかを判定し、前記属性値は、前記第２の特徴より前記第１の特徴を重視して求めることを特徴とする画像処理装置。

【請求項4】

請求項１に記載の画像処理装置であって、
前記画像処理部は、前記低輝度部分領域と共に、前記高輝度部分領域から抽出した影らしさを示す特徴を用いて前記差分領域が影であるか前記検出対象であるかを判定し、当該判定において前記低輝度部分領域から抽出された前記特徴に重み付けすることを特徴とする画像処理装置。

【請求項5】

請求項１～４のいずれか１項に記載の画像処理装置であって、
前記差分領域の平均輝度値を用いて、前記差分領域を前記低輝度部分領域と前記高輝度部分領域とに分離することを特徴とする画像処理装置。

【請求項6】

コンピュータを、
所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、前記入力画像における検出対象の有無を判定する画像処理部として機能させ、
前記画像処理部は、前記入力画像の前記差分領域について、輝度値が低い画素からなる低輝度部分領域及び前記低輝度部分領域より輝度値が高い画素からなる高輝度部分領域のうち、当該低輝度部分領域から抽出した影らしさを示す特徴を用いて当該差分領域が影であるか前記検出対象であるかを判定することを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内から検出対象を検出する画像処理装置及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、監視領域をカメラにて撮影して取得される撮影画像と、基準画像とを比較することで、両画像間において変化のある領域である差分領域を求め、差分領域の大きさあるいは形状などの画像特徴に基づいて「人物らしさ」を判定して、撮影画像内から侵入者などの検出対象を検出する画像処理装置がある。

【0003】

撮像された画像から得られた信号から画像間の演算により動いているものを抽出する動き抽出手段と、検出された動体の中から現在の画像の輝度レベルが背景の画像の輝度レベルに比べて低い所を検出する輝度低下検出手段と、検出された輝度レベルの低下割合から影を認識する影認識手段と、これらの結果から動体を識別する動体識別手段を含む動体抽出装置が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５－１５１３５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述のように、従来技術では、差分領域の輝度値が低い、又は、差分領域と背景画像とのテクスチャの類似度が高い等の条件を用いて、差分領域が人か影かを判定していた。

【0006】

しかしながら、光を遮る部分と光を一部透過する部分を有する物体による影が存在する場合、１つの差分領域の中に明るい影領域と暗い影領域のように輝度が大きく異なる領域が混在する。例えば、監視空間の近くをバスが走行した場合、太陽光がバスの窓ガラスを通過した明るい影領域と、太陽光がバスの車体によって遮光された暗い影領域とを含む差分領域が抽出されることがある。

【0007】

このような場合、輝度が高い明るい影領域によって差分領域全体としての輝度値が低くならず、また明るい影領域と暗い影領域が含まれることによって差分領域に新たなエッジが生じるために背景画像とのテクスチャの類似性も低下するため影らしさを示す特徴量が高くならず、差分領域を人と誤判定するおそれがあった。

【課題を解決するための手段】

【0008】

本発明の１つの態様は、所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、前記入力画像における検出対象の有無を判定する画像処理部を含み、前記画像処理部は、前記入力画像の前記差分領域について、輝度値が低い画素からなる低輝度部分領域及び前記低輝度部分領域より輝度値が高い画素からなる高輝度部分領域のうち、当該低輝度部分領域から抽出した影らしさを示す特徴を用いて当該差分領域が影であるか前記検出対象であるかを判定することを特徴とする画像処理装置である。

【0009】

本発明の別の態様は、コンピュータを、所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、前記入力画像における検出対象の有無を判定する画像処理部として機能させ、前記画像処理部は、前記入力画像の前記差分領域について、輝度値が低い画素からなる低輝度部分領域及び前記低輝度部分領域より輝度値が高い画素からなる高輝度部分領域のうち、当該低輝度部分領域から抽出した影らしさを示す特徴を用いて当該差分領域が影であるか前記検出対象であるかを判定することを特徴とする画像処理プログラムである。

【0010】

ここで、前記画像処理部は、前記低輝度部分領域から影らしさを示す第１の特徴を抽出するとともに、前記高輝度部分領域から影らしさを示す前記第１の特徴とは異なる第２の特徴を抽出し、前記第１の特徴及び前記第２の特徴を用いて前記差分領域が影であるか前記検出対象であるかを判定することが好適である。

【0011】

また、前記画像処理部は、前記第１の特徴及び前記第２の特徴に基づいて求めた前記差分領域の影らしさを示す属性値を用いて前記差分領域が影であるか前記検出対象であるかを判定し、前記属性値は、前記第２の特徴より前記第１の特徴を重視して求めることが好適である。

【0012】

また、前記画像処理部は、前記低輝度部分領域と共に、前記高輝度部分領域から抽出した影らしさを示す特徴を用いて前記差分領域が影であるか前記検出対象であるかを判定し、当該判定において前記低輝度部分領域から抽出された前記特徴に重み付けすることが好適である。

【0013】

また、前記差分領域の平均輝度値を用いて、前記差分領域を前記低輝度部分領域と前記高輝度部分領域とに分離することが好適である。

【発明の効果】

【0014】

本発明によれば、差分領域に明るい影領域と暗い影領域とが含まれる場合であっても検出の対象物に対する誤判定を抑制することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施の形態における警備システムの構成を示す図である。

【図2】本発明の実施の形態における画像センサの構成を示す図である。

【図3】取得時刻順に並ぶ複数の撮影画像を示す概念図である。

【図4】背景差分領域を抽出する処理を説明する図である。

【図5】差分領域から低輝度部分領域及び高輝度部分領域を分離する処理を説明する図である。

【図6】本発明の実施の形態における画像処理方法を示すフローチャートである。

【発明を実施するための形態】

【0016】

［警備システムの構成］
本発明の実施の形態における警備システム１００は、図１に示すように、監視対象物件１０２、警備センタ装置１０４、利用者装置１０６を含んで構成される。監視対象物件１０２、警備センタ装置１０４及び利用者装置１０６は、公衆電話回線などの通信網１０８を介して互いに情報を送受信できるように接続される。監視対象物件１０２は、店舗、オフィス、マンション、倉庫、一般宅、屋外等である監視空間が存在する物件である。各監視対象物件１０２には、警備装置１０、録画装置１２及び画像センサ１４が設置される。

【0017】

警備装置１０は、構内ＬＡＮなどを介してそれ自体に接続された画像センサ１４からアラーム信号を受信すると、そのアラーム信号及び警備装置１０自体の識別信号、又は、監視対象物件１０２若しくは異常を検出した画像センサ１４の識別信号を警備センタ装置１０４へ送信する。警備装置１０は、画像センサ１４と通信するための通信インタフェースと、警備センタ装置１０４及び利用者装置１０６と通信するための通信インタフェースと、それらを制御するための制御ユニットを有する。画像センサ１４は、画像処理装置を兼ねており、監視対象物件１０２における監視領域を撮影した撮影画像に基づいて監視領域から検出対象（本実施形態では人）を検出する。録画装置１２は、画像センサ１４によって撮影された撮影画像を記録する。録画装置１２は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ－ＲＡＭなどの光記録媒体のように、録画装置１２に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置等とすることができる。録画装置１２は、画像センサ１４が撮影した撮影画像を警備装置１０から受け取り、撮影時刻と関連付けて記録する。

【0018】

警備センタ装置１０４は、いわゆるコンピュータで構成され、通信網１０８を介して警備装置１０と通信するための通信インタフェースと、液晶ディスプレイなどの表示装置と、ブザーやＬＥＤなどで構成される報知部を備える。警備センタ装置１０４は、警備装置１０から通信網１０８を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置１０が設置された監視対象物件１０２及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。

【0019】

利用者装置１０６も、いわゆるコンピュータで構成され、通信網１０８を介して警備装置１０と通信するための通信インタフェース、液晶ディスプレイなどの表示装置、及び、キーボートやマウスなど、警備装置１０を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置１０６は、ユーザインターフェースを介して予め登録されている監視対象物件１０２を観察する操作がなされると、登録されている監視対象物件１０２に設置された警備装置１０に対して、現在撮影中の撮影画像又は録画装置１２に記録されている撮影画像を利用者装置１０６に送信することを要求する各種の画像要求信号を送信する。そして、警備装置１０から撮影画像を受信すると、利用者装置１０６は表示部に要求された撮影画像を表示する。

【0020】

以下、画像処理装置を兼ねた画像センサ１４について説明する。画像センサ１４は、図２に示すように、撮影部２０、照度センサ２２、照明部２４、記憶部２６、通信部２８、画像処理部３０を含んで構成される。

【0021】

撮影部２０は、監視対象物件１０２における監視領域を撮影して撮影画像を取得する。撮影部２０は、複数の撮影方法にて監視領域を撮影することが可能となっている。複数の撮影方法とは、例えば、可視光で撮影する方法（可視画像を撮影）と、近赤外照明を当てて撮影する方法（近赤外画像を撮影）と、を組み合わせて撮影を行う。

【0022】

撮影部２０は、ＣＣＤなどの、可視光や赤外光などに感度を有する光電変換器、光電変換器上に監視領域の像を結像する結像光学系、結像光学系に設けられるＩＲカットフィルタ（赤外線カットフィルタ）等を含んで構成される。

【0023】

撮影部２０は、複数の撮影方法として、監視領域を可視光で撮影する昼間モードと、監視領域に近赤外光照明を当てて撮影する夜間モードの２つの撮影モードを切り替えて撮影する。昼間モードは、近赤外光をカットするようにＩＲカットフィルタが結像光学系の光路内に挿入されて可視光画像を取得する。一方、夜間モードは、ＩＲカットフィルタは結像光学系の光路外へ外されて近赤外画像を取得する。なお、可視光画像を取得する可視カメラと、近赤外光画像を取得する近赤外線カメラを別個に設ける方式、積層型構造を有する有機薄膜へ加える電圧を変えることにより光電変換器の感度波長域を制御する方式等により、昼間モードと、夜間モードの撮影を切り替えてもよい。撮影モードの切り替えは、後述の照度センサ２２による照度の検出結果や撮影画像の輝度値に基づいて行うことができる。

【0024】

撮影部２０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行って撮影画像を取得するが、撮影部２０の撮影間隔はこれには限られない。取得された撮影画像は記憶部２６に記憶される。なお、本実施形態では、撮影部２０が画像センサ１４に含まれているが、撮影部２０は画像センサ１４の外部に設けられてもよい。

【0025】

照度センサ２２は、監視領域の照度（明るさ）を検出するセンサである。照度センサ２２は、公知の様々な照度センサを使用することができるが、例えばフォトダイオード等を含んで構成することができる。照度センサ２２によって検出された照度を示す照度信号は、撮影部２０において撮影モードを切り替える判定を行うために使用される。

【0026】

照明部２４は、監視領域に光を照射する照明を含んで構成される。照明部２４は、近赤外線ライトを含んで構成される。近赤外線ライトは、撮影部２０の撮影モードが夜間モードである場合に監視領域に向けて近赤外光を照射し、昼間モードである場合には消灯される。

【0027】

記憶部２６は、半導体メモリ、磁気ディスク（ＨＤＤ）、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ等の記憶手段を含んで構成される。記憶部２６には、画像センサ１４の各部を動作させるための画像処理プログラムが記憶される。また、記憶部２６には、撮影部２０において取得された撮影画像４０及び背景画像４２が記憶される。

【0028】

撮影画像４０は、撮影部２０が監視領域を順次撮影することで取得される画像である。記憶部２６には、複数の時刻に撮影された撮影画像４０が記憶される。新たな画像が撮影された場合、記憶部２６に記憶された複数の撮影画像４０のうち最も取得時刻が古い時刻に撮影された撮影画像４０を削除した上で最新の撮影画像４０を記憶するようにしてもよい。これによって、記憶部２６には、所定期間分の撮影画像４０が蓄積記憶される。

【0029】

図３は、取得時刻順に並んだ複数の撮影画像４０の概念図を示す。複数の撮影画像４０のうち、人物像検出の処理対象となる画像を入力画像４０ｔと示し、入力画像４０ｔよりも時間的に前に撮影された画像を過去画像４０ｐと示し、入力画像４０ｔよりも時間的に後に撮影された画像を未来画像４０ｆと示す。記憶部２６には、過去画像４０ｐが１０フレーム、入力画像４０ｔが１フレーム、未来画像４０ｆが１０フレーム記憶され、入力画像４０ｔは後述の侵入者判定処理が終了すると、入力画像４０ｔの次に撮影された撮影画像４０（入力画像４０ｔの１フレーム後の未来画像４０ｆ）が新たな入力画像４０ｔとされる。入力画像４０ｔは最新の（取得時刻が最も新しい）撮影画像４０とする必要はない。

【0030】

背景画像４２（基準画像）は、過去画像４０ｐを用いて設定される。背景画像４２は、過去画像４０ｐのうち、監視領域内に人などの移動物体が存在していないときの過去画像４０ｐに基づいて生成される。例えば、画像処理部３０は、時系列的に隣接する２つの過去画像４０ｐのフレーム間差分を求め、フレーム間での対応画素間の輝度差の絶対値の平均値を求める。両フレームの双方に移動物体が存在していない場合は、当該両フレーム間の輝度差の絶対値の平均値はかなり小さくなる。したがって、画像処理部３０は、その平均値が所定の基準よりも小さい過去画像４０ｐのいずれかを背景画像４２として記憶部２６に記憶させる。背景画像４２は、照明状態の変動、太陽の日周変動などによる監視領域の明るさの変動に対応するために、一定周期（例えば、１０分間隔）毎に更新される。なお、背景画像４２は、過去画像４０ｐよりも過去に撮影された撮影画像でもよい。

【0031】

撮影画像４０及び背景画像４２は、夜間モードにおいて照明部２４によって近赤外が照射されたときに撮影された画像毎、又は、昼間モード時に撮影された画像毎に記憶部２６に記憶して処理するようにしてもよい。また、本実施形態では、撮影画像４０及び背景画像４２を画像センサ１４内の記憶部２６に記憶する構成としたが、撮影画像４０及び背景画像４２を画像センサ１４の外部に設けられた記憶部であって画像センサ１４からアクセス可能な記憶部に記憶する構成としてもよい。

【0032】

通信部２８は、画像センサ１４と警備装置１０との間で構内ＬＡＮなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インタフェースであり、イーサネット（登録商標）などの各種の通信インタフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。通信部２８は、後述の画像処理部３０によって侵入者が検出された場合に、侵入者を検出したことを示す侵入アラーム信号を警備装置１０に出力する。

【0033】

画像処理部３０は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ１４の各種信号処理を実行する。図２に示されるように、画像処理部３０は、差分領域抽出手段５０、サイズ判定手段５２、差分領域分離手段５４、特徴量抽出手段５６及び判定手段５８を含んで構成される。

【0034】

差分領域抽出手段５０は、２つの画像を比較して背景差分領域を抽出する手段である。差分領域は、２つの両画像間で輝度値の差を算出し、輝度値の差の絶対値が所定の差分基準値より大きい１又は複数の変化画素からなる領域である。抽出された変化画素について互いに隣接している他の変化画素からなる一塊の画素群を１つの差分領域とする統合処理を行ってもよい。なお、互いに隣接する画素とは、上下左右方向に隣接する画素であってもよいし、斜め方向に隣接する画素まで含めてもよい。また、差分領域抽出手段５０は、楕円近似処理や矩形近似処理等を適用することによって、差分領域を楕円や矩形等の単純な形状に近似してもよい。差分領域抽出手段５０は、差分領域毎に識別子（ラベル）を付与するラベリング処理を行う。

【0035】

差分領域抽出手段５０は、撮像された画像のうち処理対象である入力画像４０ｔと背景画像４２とを比較して差分領域を抽出する。例えば、図４（ａ）に示す背景画像４２と図４（ｂ）に示すように人Ｘが映り込んだ入力画像４０ｔとを比較すると、図４（ｃ）に示すように差分領域４４が抽出される。なお、図４（ｃ）の差分領域４４は楕円近似処理した結果の例を示している。

【0036】

サイズ判定手段５２は、差分領域抽出手段５０において抽出された差分領域４４が検出対象物のサイズに該当するか否かを判定する。すなわち、サイズ判定手段５２は、差分領域４４のサイズを求め、求めたサイズと予め記憶された検出対象物らしさを表すサイズとを比較することにより、当該差分領域が検出対象物らしいかを判定する。

【0037】

検出対象物が人である場合、撮影画像４０に映り込む人の画像上のサイズの基準を予めサイズ基準値として調べて設定しておき、差分領域４４のサイズが当該サイズ基準値の範囲内であれば当該差分領域４４は人である可能性があると判定し、差分領域４４のサイズが当該サイズ基準値の範囲外であれば当該差分領域４４は人以外と判定する。

【0038】

差分領域分離手段５４は、差分領域抽出手段５０において抽出された差分領域４４から低輝度部分領域と高輝度部分領域とを分離する。差分領域分離手段５４は、各差分領域４４に含まれる画素の平均輝度値を算出し、差分領域４４において当該平均輝度値以下の輝度値である画素群を低輝度部分領域として抽出し、当該平均輝度値より高い輝度値である画素群を高輝度部分領域として抽出する。

【0039】

例えば、図５（ａ）に示すように、差分領域４４に明領域（ハッチングが薄い領域）と暗領域（ハッチングが濃い領域）が存在する場合、図５（ｂ）に示すように、差分領域分離手段５４によって明領域が高輝度部分領域４４ａとして抽出され、暗領域が低輝度部分領域４４ｂとして抽出される。

【0040】

なお、差分領域分離手段５４による低輝度部分領域と高輝度部分領域の抽出処理は、差分領域４４の平均輝度値を用いる処理に限定されない。例えば、差分領域４４が抽出された画像領域と同じ領域における背景画像４２の平均輝度値を用いてもよい。この場合、差分領域４４において背景画像４２の平均輝度値－補正値α（αは、規定値又は変動値）より高い輝度値である画像群を高輝度部分領域４４ａとし、それ以外を低輝度部分領域４４ｂとしてもよい。補正値αを変動値とする場合、背景画像４２の平均輝度値が高いほど補正値αを高い値とし、平均輝度値が低いほど補正値αを低い値とすることが好適である。

【0041】

特徴量抽出手段５６は、差分領域４４から特徴量を抽出する。本実施の形態では、特徴量抽出手段５６は、差分領域４４が影らしいか否かを判定するための特徴量を抽出するため、低輝度部分領域４４ｂに対して影らしさを示す第１の特徴量と高輝度部分領域４４ａに対して影らしさを示す第１の特徴量とは異なる第２の特徴量を抽出する。差分領域４４が影である場合、低輝度部分領域４４ｂには暗い影らしさが、高輝度部分領域４４ａには明るい影らしさが画像上に表れるため、それぞれの領域で異なる特徴を抽出する。

【0042】

特徴量抽出手段５６は、差分領域分離手段５４において抽出された低輝度部分領域４４ｂに対して影らしさを示す第１の特徴量を抽出する。影らしさを示す第１の特徴量は、低輝度部分領域４４ｂに対する分散値Ｔ１及び相関値Ｔ２である。低輝度部分領域４４ｂに対する分散値Ｔ１は、低輝度部分領域４４ｂにおける背景差分の差分値の分散値である。低輝度部分領域４４ｂに対する相関値Ｔ２は、低輝度部分領域４４ｂの画像領域における入力画像４０ｔと背景画像４２との輝度値の相関関係を示す値である。低輝度部分領域４４ｂに対する相関値Ｔ２は、輝度値の正規化相関により入力画像４０ｔと背景画像４２のテクスチャパターンの類似度を示す。

【0043】

低輝度部分領域４４ｂの分散値Ｔ１は、差分領域４４が影である場合、当該領域において背景画像４２に映る物体（例えば床等）は入力画像４０ｔでは輝度値のみが一様に低くなるだけである。したがって、背景差分の差分値の分散値は一様に同じ輝度値分低くなるため、各画素の差分値の分散値が小さいほど、影である可能性が高く、検出の対象物である人と判定し難くすることができる。また、低輝度部分領域４４ｂの相関値Ｔ２は、差分領域４４が影である場合、当該領域において背景画像４２と入力画像４０ｔとのテクスチャパターンは変わらない。したがって、低輝度部分領域４４ｂの相関値Ｔ２が高くなるほど、影である可能性が高く、検出の対象物である人と判定し難くすることができる。

【0044】

低輝度部分領域４４ｂに対して、他の指標を抽出して第１の特徴量としてもよい。例えば、低輝度部分領域４４ｂの平均輝度値を特徴量として抽出してもよい。平均輝度値が低いほど、影である可能性が高く、検出の対象物である人と判定し難くすることができる。

【0045】

また、特徴量抽出手段５６は、差分領域分離手段５４において抽出された高輝度部分領域４４ａに対して影らしさを示す第２の特徴量を抽出する。影らしさを示す第２の特徴量は、高輝度部分領域４４ａと背景画像４２の平均輝度値の類似度Ｔ３、つまり平均輝度値が高輝度部分領域４４ａと背景画像４２とで、大きく変わっていないかの特徴を抽出する。例えば、高輝度部分領域４４ａの画像領域における入力画像４０ｔの平均輝度値と背景画像４２の平均輝度値との輝度差を抽出する。当該差が輝度差分基準値未満であれば、影である可能性が高く、検出の対象物である人と判定し難くすることができる。これは、明るい影は窓ガラスなどを通過した影であり、背景画像の輝度値との変化が小さいためである。なお、輝度差分基準値は色付きのガラスなども考慮してある程度幅を持たせて設定するとよりよい。一方、低輝度部分領域４４ｂにおいて、低輝度部分領域４４ｂの画像領域における入力画像４０ｔと背景画像４２の平均輝度値の差の特徴量は、背景画像４２の輝度値が高い場合は輝度差が大きくなるが、背景画像４２の輝度値が高くない（暗い照明で照らされた領域など）場合には、輝度差が得られにくく、背景光の輝度値の変化に左右されるため、抽出する特徴として相応しくない。

【0046】

なお、影らしさを示す第２の特徴量は、高輝度部分領域４４ａの画像領域における背景画像４２の平均輝度値に対する入力画像４０ｔの平均輝度値の輝度の比率としてもよい。高輝度部分領域４４ａの画像領域における入力画像４０ｔの平均輝度値と背景画像４２の平均輝度値との輝度の比率が輝度比率基準値以上であれば、影である可能性が高く、検出の対象物である人と判定し難くすることができる。輝度比率基準値は、例えば７５％とすることができる。

【0047】

高輝度部分領域４４ａに対して、他の指標を抽出して第２の特徴量としてもよい。例えば、高輝度部分領域４４ａに対する相関値を特徴量として抽出してもよい。高輝度部分領域４４ａに対する相関値は、高輝度部分領域４４ａの画像領域における入力画像４０ｔと背景画像４２との輝度差の相関関係を示す値であり、輝度値の正規化相関によりテクスチャパターンの類似度を示す。差分領域４４が影である場合、当該領域において背景画像４２と入力画像４０ｔとのテクスチャパターンは変わらないため、高輝度部分領域４４ａに対する相関値が高くなるほど、影である可能性が高く、検出の対象物であると人と判定し難くすることができる。

【0048】

上述したように、第１の特徴量と第２の特徴量は別の指標を用いてもよいし、複数の指標のうち一部が同一（例えば、第１の特徴量と第２の特徴量の双方で相関値を抽出）であってもよい。

【0049】

なお、特徴量抽出手段５６は、差分領域４４から従来の手法を用いて虫らしさを示す特徴量や人らしさを示す特徴量等の他の特徴量を抽出してもよい。他の特徴量は、虫らしさを示す特徴量や人らしさを示す特徴量に限定されるものではなく、差分領域４４の判定に用いられるものであればよい。

【0050】

判定手段５８は、差分領域４４が検出の対象物であるか否かを判定する。判定手段５８は、特徴量抽出手段５６で抽出された特徴量に基づいて差分領域４４が人の可能性があるか、人以外であるかを判定する。

【0051】

判定手段５８は、特徴量抽出手段５６において差分領域４４から抽出された低輝度部分領域４４ｂに対する分散値Ｔ１、低輝度部分領域４４ｂに対する相関値Ｔ２及び高輝度部分領域４４ａに対する輝度値の類似度Ｔ３に基づいて影属性値を算出する。影属性値は、第２の特徴量より第１の特徴量の影響度が高くなるように算出する。

【0052】

影属性値は、数式（１）に示すように、所定の関数を用いて低輝度部分領域４４ｂに対する分散値Ｔ１、低輝度部分領域４４ｂに対する相関値Ｔ２及び高輝度部分領域４４ａに対する類似度Ｔ３をそれぞれ正規化した低輝度部分領域４４ｂに対する正規化分散値Ｓ１、低輝度部分領域４４ｂに対する正規化相関値Ｓ２及び高輝度部分領域４４ａに対する正規化相関値Ｓ３の乗算によって算出される。正規化分散値Ｓ１、正規化相関値Ｓ２及び正規化相関値Ｓ３は、差分領域４４が影らしいほど値が１に近くなり、差分領域４４が影らしくないほど値が０に近くなる。つまり、第１の特徴量は２種類の影らしさを示す指標を、第２の特徴量は１種類の影らしさを示す指標を用いて影属性値を算出しているため、第１の特徴量を重視して影属性値を求めている。

【0053】

（影属性値）＝Ｓ１×Ｓ２×Ｓ３・・・（１）

【0054】

判定手段５８は、影属性値に基づいて、影属性値が高いほど差分領域４４が影によるものと判定し易くし、人とは判定し難くする。具体的には、判定手段５８は、影属性値が所定の影基準値以上であれば差分領域４４が影によるものと判定し、当該影基準値未満であれば差分領域４４が影以外の人である可能性があると判定する。

【0055】

なお、低輝度部分領域４４ｂに対する分散値Ｔ１、低輝度部分領域４４ｂに対する相関値Ｔ２及び高輝度部分領域４４ａに対する類似度Ｔ３に基づいて差分領域４４が影によるものか否かを判定したが、これに限定されるものではない。

【0056】

例えば、低輝度部分領域４４ｂに対する分散値Ｔ１及び低輝度部分領域４４ｂに対する相関値Ｔ２のみに基づいて差分領域４４の影属性値を算出してもよい。この場合、影属性値は、低輝度部分領域４４ｂに対する分散値Ｔ１及び低輝度部分領域４４ｂに対する相関値Ｔ２をそれぞれ正規化した低輝度部分領域４４ｂに対する正規化分散値Ｓ１及び低輝度部分領域４４ｂに対する正規化相関値Ｓ２の乗算によって算出すればよい。影属性値に基づいて、影属性値が高いほど差分領域４４が影によるものと判定し易くし、人とは判定し難くする。具体的には、判定手段５８は、影属性値が所定の影基準値以上であれば差分領域４４が影によるものと判定し、当該影基準値未満であれば差分領域４４が影以外の人である可能性があると判定する。

【0057】

また、高輝度部分領域４４ａの影らしさが低くても、低輝度部分領域４４ｂの影らしさが高い場合には差分領域４４は影であると判定してもよい。例えば、低輝度部分領域４４ｂに対する分散値Ｔ１及び相関値Ｔ２をそれぞれ正規化した低輝度部分領域４４ｂに対する正規化分散値Ｓ１及び正規化相関値Ｓ２の乗算によって第１影属性値を算出する。また、高輝度部分領域４４ａに対する類似度Ｔ３を正規化した高輝度部分領域４４ａに対する正規化相関値Ｓ３を第２影属性値とする。そして、低輝度部分領域４４ｂに対する第１影属性値及び第２影属性値が第１基準値以上である場合に差分領域４４が影であると判定する。このとき、高輝度部分領域４４ａに対する第２影属性値が第１基準値よりも低い第２基準値以上である場合、低輝度部分領域４４ｂに対する第１影属性値が第１基準値よりも高い第３基準値以上である場合には差分領域４４が影であると判定してもよい。

【0058】

また、影属性値は、低輝度部分領域４４ｂから抽出した影らしさを示す特徴量に重み付けを行い、影属性値を算出してもよい。この場合、第１の特徴量と第２の特徴量は同じ特徴（同一の指標）を抽出する。

【0059】

また、影属性値は、低輝度部分領域４４ｂに対する正規化分散値Ｓ１及び正規化相関値Ｓ２及び高輝度部分領域４４ａに対する正規化相関値Ｓ３を乗算して算出してもよい。なお、低輝度部分領域４４ｂから抽出した影らしさを示す特徴量に重み付けを行い、影属性値を算出してもよい。差分領域４４が影である場合、高輝度部分領域４４ａよりも低輝度部分領域４４ｂの方が影らしさを示す特徴量を抽出しやすいためである。

【0060】

また、数式（１）の外乱属性値を用いずに、差分領域４４が影であるか否かを判定してもよい。例えば、低輝度部分領域４４ｂの分散値Ｔ１が分散基準値以下であり、低輝度部分領域４４ｂの相関値Ｔ２が相関閾値以上であり、高輝度部分領域４４ａに対する類似度Ｔ３が類似度閾値以上である場合、差分領域４４が影であると判定してもよい。なお、低輝度部分領域４４ｂから抽出した特徴量のみを用いて、差分領域４４が影であるか判定してもよい。

【0061】

なお、低輝度部分領域４４ｂに対する他の指標を用いて差分領域４４が影であるか否か判定してもよい。例えば、低輝度部分領域４４ｂの平均輝度値を特徴量として判定に用いてもよい。当該平均輝度値が平均輝度閾値以下である場合、影である可能性が高く、検出の対象物である人と判定し難くする。

【0062】

また、高輝度部分領域４４ａに対する他の指標を用いて差分領域４４が影であるか否か判定してもよい。例えば、高輝度部分領域４４ａに対する相関値を特徴量として判定に用いてもよい。当該相関値が高いほど、影である可能性が高く、検出の対象物である人と判定し難くする。

【0063】

上記処理によって差分領域４４が影であると判定されず、人の可能性があると判定された場合、判定手段５８は、さらに差分領域４４に対する他の特徴量に基づいて差分領域４４が人であるか否かを判定してもよい。判定手段５８は、特徴量抽出手段５６において差分領域４４に対して抽出した人らしさを示す特徴量や虫らしさを示す特徴量を用いて当該差分領域４４が人によるものか否かを判定する。例えば、虫らしさを示す特徴量が所定の基準値以上であれば差分領域４４は虫であると判定する。抽出した特徴量による判定方法は、既存の方法を適用することができる。なお、人らしさの特徴量は抽出せず、影らしさ、虫らしさなどの人以外の特徴量である外乱らしさの特徴量のみを抽出して、差分領域４４が人であるか否かを判定してもよい。

【0064】

また、差分領域４４の平均輝度値が、差分領域４４の画像領域に対応する背景画像４２の画像領域の平均輝度値よりも低い場合に、差分領域４４を高輝度部分領域４４ａと低輝度部分領域４４ｂとに分離してもよい。これは、影ができる条件としては、背景の輝度よりも低くなることが条件であるため、影の可能性がある領域に対して分離処理を行える。また、差分領域４４の平均輝度値が、差分領域４４の画像領域に対応する背景画像４２の画像領域の平均輝度値よりも低い場合に、低輝度部分領域４４ｂと高輝度部分領域４４ａから抽出した影らしさを示す特徴量を用いて検出対象の有無を判定してもよい。

【0065】

また、明るい影と暗い影が混在している差分領域４４に対してのみ分離処理を行ってもよい。例えば、差分領域４４の画像領域に対応する入力画像４０ｔの画像領域の輝度値の分散値を求め、分散値が閾値以上である場合、分離処理を行う。また、差分領域４４から抽出する影らしさを示す特徴量の一つとして、明るい影と暗い影が混在しているかを示す特徴量を抽出して、検出対象の有無を判定してもよい。例えば、差分領域４４の画像領域に対応する入力画像４０ｔの画像領域の各画素の輝度値の分散値も含めて差分領域４４の影属性値を求める。なお、差分領域４４の画像領域に対応する入力画像４０ｔの画像領域の輝度値の分散値が閾値以上であり、差分領域４４から抽出した他の特徴量も基準を満たしていた場合に、検出対象ではないと判定してもよい。

【0066】

判定手段５８は、差分領域４４が人である可能性があると判定すると、通信部２８を用いて侵入アラーム信号を警備装置１０へ送信する。

【0067】

［画像処理方法］
以下、図６に示すフローチャートを参照しつつ、画像センサ１４によって実行される画像処理方法について説明する。

【0068】

まず、差分領域抽出手段５０において、入力画像４０ｔと背景画像４２との差分をとって差分領域４４を抽出する（ステップＳ１０）。差分領域が抽出されなければ処理を終了し、差分領域が抽出されればステップＳ１４に処理を移行させる（ステップＳ１２）。差分領域が抽出された場合、サイズ判定手段５２において差分領域が人物サイズであるか否かを判定する（ステップＳ１４）。差分領域が人物サイズでなければ差分領域は人以外であると判定し（ステップＳ２４）、差分領域が人物サイズであればステップＳ１６に処理を移行させる。差分領域が人物サイズである場合、差分領域分離手段５４にて差分領域４４を高輝度部分領域４４ａ及び低輝度部分領域４４ｂに分離する（ステップＳ１６）。さらに、低輝度部分領域４４ｂから影らしさを示す第１の特徴量を抽出する（ステップＳ１８）。また、高輝度部分領域４４ａから影らしさを示す第２の特徴量を抽出する（ステップＳ２０）。

【0069】

続いて、判定手段５８において、差分領域４４について高輝度部分領域４４ａ及び低輝度部分領域４４ｂが影らしいか否かを範囲する。高輝度部分領域４４ａ及び低輝度部分領域４４ｂが影らしい条件を満たす場合には差分領域４４が人でないと判定し（ステップＳ２４）、影らしい条件を満たさない場合には他の特徴量による判定を行うためにステップＳ２６に処理を移行させる（ステップＳ２２）。影らしい条件を満たさない場合、判定手段５８において、さらに他の特徴量を用いて差分領域４４が人らしいか否かが判定される。判定手段５８は、例えば虫らしさを示す特徴量や人らしさを示す特徴量等の他の特徴量に基づいて差分領域４４が人以外によるものであればステップＳ２４に処理を移行させ、人以外によるものでなければステップＳ２８に処理を移行させる（ステップＳ２６）。差分領域４４が人以外によるものである場合、判定手段５８において、差分領域４４は人以外と判定する（ステップＳ２４）。差分領域４４が人以外によるものでない場合、判定手段５８において、差分領域４４は人と判定する（ステップＳ２８）。

【0070】

［発明の構成］
［構成１］
所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、前記入力画像における検出対象の有無を判定する画像処理部を含み、
前記画像処理部は、前記入力画像の前記差分領域について、輝度値が低い画素からなる低輝度部分領域及び前記低輝度部分領域より輝度値が高い画素からなる高輝度部分領域のうち、当該低輝度部分領域から抽出した影らしさを示す特徴を用いて当該差分領域が影であるか前記検出対象であるかを判定することを特徴とする画像処理装置。
［構成２］
構成１に記載の画像処理装置であって、
前記画像処理部は、前記低輝度部分領域から影らしさを示す第１の特徴を抽出するとともに、前記高輝度部分領域から影らしさを示す前記第１の特徴とは異なる第２の特徴を抽出し、前記第１の特徴及び前記第２の特徴を用いて前記差分領域が影であるか前記検出対象であるかを判定することを特徴とする画像処理装置。
［構成３］
構成２に記載の画像処理装置であって、
前記画像処理部は、前記第１の特徴及び前記第２の特徴に基づいて求めた前記差分領域の影らしさを示す属性値を用いて前記差分領域が影であるか前記検出対象であるかを判定し、前記属性値は、前記第２の特徴より前記第１の特徴を重視して求めることを特徴とする画像処理装置。
［構成４］
構成１～３のいずれか１項に記載の画像処理装置であって、
前記画像処理部は、前記低輝度部分領域と共に、前記高輝度部分領域から抽出した影らしさを示す特徴を用いて前記差分領域が影であるか前記検出対象であるかを判定し、当該判定において前記低輝度部分領域から抽出された前記特徴に重み付けすることを特徴とする画像処理装置。
［構成５］
構成１～４のいずれか１項に記載の画像処理装置であって、
前記差分領域の平均輝度値を用いて、前記差分領域を前記低輝度部分領域と前記高輝度部分領域とに分離することを特徴とする画像処理装置。
［構成６］
コンピュータを、
所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、前記入力画像における検出対象の有無を判定する画像処理部として機能させ、
前記画像処理部は、前記入力画像の前記差分領域について、輝度値が低い画素からなる低輝度部分領域及び前記低輝度部分領域より輝度値が高い画素からなる高輝度部分領域のうち、当該低輝度部分領域から抽出した影らしさを示す特徴を用いて当該差分領域が影であるか前記検出対象であるかを判定することを特徴とする画像処理プログラム。

【符号の説明】

【0071】

１０ 警備装置、１２ 録画装置、１４ 画像センサ、２０ 撮影部、２２ 照度センサ、２４ 照明部、２６ 記憶部、２８ 通信部、３０ 画像処理部、４０ 撮影画像、４０ｆ 未来画像、４０ｐ 過去画像、４０ｔ 入力画像、４２ 背景画像、４４ 差分領域、４４ａ 高輝度部分領域、４４ｂ 低輝度部分領域、５０ 差分領域抽出手段、５２ サイズ判定手段、５４ 差分領域分離手段、５６ 特徴量抽出手段、５８ 判定手段、１００ 警備システム、１０２ 監視対象物件、１０４ 警備センタ装置、１０６ 利用者装置、１０８ 通信網。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】