特開 2024-145293 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024145293

(43)【公開日】2024-10-15

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/215 20170101AFI20241004BHJP

   H04N 7/18 20060101ALI20241004BHJP

【ＦＩ】

G06T7/215

H04N7/18 D

H04N7/18 K

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023057582

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】大津 全史

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054FC12

5C054HA19

5L096BA02

5L096CA04

5L096DA02

5L096FA54

5L096FA60

5L096FA64

5L096FA66

5L096FA69

5L096GA08

5L096GA51

(57)【要約】

【課題】監視空間におけるクモの糸等の細長く映る外乱を検出の対象物である人等と誤判定することを抑制する。
【解決手段】所定領域を撮影した撮影画像のうち処理対象の入力画像と所定領域の背景画像との差分領域に基づき、当該入力画像における検出対象の有無を判定する画像センサ１４を含み、画像センサ１４は、入力画像の第１差分領域と、入力画像とは異なる時刻に撮影された撮影画像と背景画像との第２差分領域とを比較し、第１差分領域及び第２差分領域の形状と、撮影画像における第１差分領域と第２差分領域との位置変化に基づいて第１差分領域が検出対象か否かを判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、当該入力画像における検出対象の有無を判定する画像処理部を含み、
前記画像処理部は、前記入力画像の第１差分領域と、前記入力画像とは異なる時刻に撮影された前記撮影画像と前記背景画像との第２差分領域とを比較し、前記第１差分領域及び前記第２差分領域の形状と、前記撮影画像における前記第１差分領域と前記第２差分領域との位置変化に基づいて前記第１差分領域が前記検出対象か否かを判定することを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記画像処理部は、前記第１差分領域及び前記第２差分領域の形状が細長く且つ前記位置変化が大きいほど前記検出対象とは判定し難くすることを特徴とする画像処理装置。

【請求項3】

請求項２に記載の画像処理装置であって、
前記画像処理部は、前記位置変化として、前記第１差分領域と前記第２差分領域の画像上の位置の重なり比率を求めることを特徴とする画像処理装置。

【請求項4】

コンピュータを、
所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、当該入力画像における検出対象の有無を判定する画像処理部として機能させ、
前記画像処理部は、前記入力画像の第１差分領域と、前記入力画像とは異なる時刻に撮影された前記撮影画像と前記背景画像との第２差分領域とを比較し、前記第１差分領域及び前記第２差分領域の形状と、前記撮影画像における前記第１差分領域と前記第２差分領域との位置変化に基づいて前記第１差分領域が前記検出対象か否かを判定することを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内から検出対象を検出する画像処理装置及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、監視領域をカメラにて撮影して取得される撮影画像と、基準画像とを比較することで、両画像間において変化のある領域である差分領域を求め、差分領域の大きさあるいは形状などの画像特徴に基づいて「人らしさ」を判定して、撮影画像内から侵入者などの検出対象を検出する画像処理装置がある。

【0003】

監視画像と背景画像から差分領域を抽出し、差分領域が侵入物体の性質を持つ度合いを侵入物体属性値として算出し、差分領域が侵入物体以外の外乱である特定外乱の性質を持つ度合いを外乱属性値として算出し、外乱属性値の高い差分領域が所定時間内に所定頻度で重なって現れる領域を外乱領域として設定し、差分領域毎に外乱領域に重なる割合が大きいほど侵入物体と判定し難くする画像センサが開示されている（特許文献１）。これによって、侵入物体よりも撮影部に近い位置に発生する外乱を侵入物体と誤判定することを抑制できるとされている。

【0004】

また、照明を当てて撮像された画像を照明背景画像とし、画像に基づいて侵入物を検出し、照明を当てて撮像し取得した照明入力画像と照明背景画像との差分画像に基づき処理対象領域を抽出し、処理対象領域における照明入力画像の輝度の空間周波数を算出し、処理対象領域における照明入力画像の輝度が照明背景画像の輝度より増加している領域の割合である輝度増加比率を算出し、空間周波数及び輝度増加比率を用いて処理対象領域におけるクモの糸らしさを示す属性値を算出する技術が開示されている（特許文献２）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２－０８４００９号公報

【特許文献2】特開２００６－１８５３１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来技術では、照明が当たり難い場所にクモの糸が張られると、撮像された画像において輝度差等が十分に得られず、クモの糸を検出の対象物である人等と誤判定するおそれがある。

【課題を解決するための手段】

【0007】

本発明の１つの態様は、所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、当該入力画像における検出対象の有無を判定する画像処理部を含み、前記画像処理部は、前記入力画像の第１差分領域と、前記入力画像とは異なる時刻に撮影された前記撮影画像と前記背景画像との第２差分領域とを比較し、前記第１差分領域及び前記第２差分領域の形状と、前記撮影画像における前記第１差分領域と前記第２差分領域との位置変化に基づいて前記第１差分領域が前記検出対象か否かを判定することを特徴とする画像処理装置である。

【0008】

本発明の別の態様は、コンピュータを、所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、当該入力画像における検出対象の有無を判定する画像処理部として機能させ、前記画像処理部は、前記入力画像の第１差分領域と、前記入力画像とは異なる時刻に撮影された前記撮影画像と前記背景画像との第２差分領域とを比較し、前記第１差分領域及び前記第２差分領域の形状と、前記撮影画像における前記第１差分領域と前記第２差分領域との位置変化に基づいて前記第１差分領域が前記検出対象か否かを判定することを特徴とする画像処理プログラムである。

【0009】

ここで、前記画像処理部は、前記第１差分領域及び前記第２差分領域の形状が細長く且つ前記位置変化が大きいほど前記検出対象とは判定し難くすることが好適である。

【0010】

また、前記画像処理部は、前記位置変化として、前記第１差分領域と前記第２差分領域の画像上の位置の重なり比率を求めることが好適である。

【発明の効果】

【0011】

本発明によれば、監視空間におけるクモの糸等の細長く映る外乱を検出の対象物である人等と誤判定することを抑制することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態における警備システムの構成を示す図である。

【図2】本発明の実施の形態における画像センサの構成を示す図である。

【図3】取得時刻順に並ぶ複数の撮影画像を示す概念図である。

【図4】背景差分領域を抽出する処理を説明する図である。

【図5】差分領域から重複率を求める処理を説明する図である。

【図6】差分領域から重複率を求める処理を説明する図である。

【図7】本発明の実施の形態における画像処理方法を示すフローチャートである。

【発明を実施するための形態】

【0013】

［警備システムの構成］
本発明の実施の形態における警備システム１００は、図１に示すように、監視対象物件１０２、警備センタ装置１０４、利用者装置１０６を含んで構成される。監視対象物件１０２、警備センタ装置１０４及び利用者装置１０６は、公衆電話回線などの通信網１０８を介して互いに情報を送受信できるように接続される。監視対象物件１０２は、店舗、オフィス、マンション、倉庫、一般宅、屋外等である監視空間が存在する物件である。各監視対象物件１０２には、警備装置１０、録画装置１２及び画像センサ１４が設置される。

【0014】

警備装置１０は、構内ＬＡＮなどを介してそれ自体に接続された画像センサ１４からアラーム信号を受信すると、そのアラーム信号及び警備装置１０自体の識別信号、又は、監視対象物件１０２若しくは異常を検出した画像センサ１４の識別信号を警備センタ装置１０４へ送信する。警備装置１０は、画像センサ１４と通信するための通信インタフェースと、警備センタ装置１０４及び利用者装置１０６と通信するための通信インタフェースと、それらを制御するための制御ユニットを有する。画像センサ１４は、画像処理装置を兼ねており、監視対象物件１０２における監視領域を撮影した撮影画像に基づいて監視領域から検出対象（本実施形態では人）を検出する。録画装置１２は、画像センサ１４によって撮影された撮影画像を記録する。録画装置１２は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ－ＲＡＭなどの光記録媒体のように、録画装置１２に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置等とすることができる。録画装置１２は、画像センサ１４が撮影した撮影画像を警備装置１０から受け取り、撮影時刻と関連付けて記録する。

【0015】

警備センタ装置１０４は、いわゆるコンピュータで構成され、通信網１０８を介して警備装置１０と通信するための通信インタフェースと、液晶ディスプレイなどの表示装置と、ブザーやＬＥＤなどで構成される報知部を備える。警備センタ装置１０４は、警備装置１０から通信網１０８を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置１０が設置された監視対象物件１０２及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。

【0016】

利用者装置１０６も、いわゆるコンピュータで構成され、通信網１０８を介して警備装置１０と通信するための通信インタフェース、液晶ディスプレイなどの表示装置、及び、キーボートやマウスなど、警備装置１０を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置１０６は、ユーザインターフェースを介して予め登録されている監視対象物件１０２を観察する操作がなされると、登録されている監視対象物件１０２に設置された警備装置１０に対して、現在撮影中の撮影画像又は録画装置１２に記録されている撮影画像を利用者装置１０６に送信することを要求する各種の画像要求信号を送信する。そして、警備装置１０から撮影画像を受信すると、利用者装置１０６は表示部に要求された撮影画像を表示する。

【0017】

以下、画像処理装置を兼ねた画像センサ１４について説明する。画像センサ１４は、図２に示すように、撮影部２０、照度センサ２２、照明部２４、記憶部２６、通信部２８、画像処理部３０を含んで構成される。

【0018】

撮影部２０は、監視対象物件１０２における監視領域を撮影して撮影画像を取得する。撮影部２０は、複数の撮影方法にて監視領域を撮影することが可能となっている。複数の撮影方法とは、例えば、可視光で撮影する方法（可視画像を撮影）と、近赤外照明を当てて撮影する方法（近赤外画像を撮影）と、を組み合わせて撮影を行う。

【0019】

撮影部２０は、ＣＣＤなどの、可視光や赤外光などに感度を有する光電変換器、光電変換器上に監視領域の像を結像する結像光学系、結像光学系に設けられるＩＲカットフィルタ（赤外線カットフィルタ）等を含んで構成される。

【0020】

撮影部２０は、複数の撮影方法として、監視領域を可視光で撮影する昼間モードと、監視領域に近赤外光照明を当てて撮影する夜間モードの２つの撮影モードを切り替えて撮影する。昼間モードは、近赤外光をカットするようにＩＲカットフィルタが結像光学系の光路内に挿入されて可視光画像を取得する。一方、夜間モードは、ＩＲカットフィルタは結像光学系の光路外へ外されて近赤外画像を取得する。なお、可視光画像を取得する可視カメラと、近赤外光画像を取得する近赤外線カメラを別個に設ける方式、積層型構造を有する有機薄膜へ加える電圧を変えることで光電変換器の感度波長域を制御する方式等により、昼間モードと夜間モードの撮影を切り替えてもよい。撮影モードの切り替えは、後述の照度センサ２２による照度の検出結果や撮影画像の輝度値に基づいて行うことができる。

【0021】

撮影部２０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行って撮影画像を取得するが、撮影部２０の撮影間隔はこれには限られない。取得された撮影画像は記憶部２６に記憶される。なお、本実施形態では、撮影部２０が画像センサ１４に含まれているが、撮影部２０は画像センサ１４の外部に設けられてもよい。

【0022】

照度センサ２２は、監視領域の照度（明るさ）を検出するセンサである。照度センサ２２は、公知の様々な照度センサを使用することができるが、例えばフォトダイオード等を含んで構成することができる。照度センサ２２によって検出された照度を示す照度信号は、撮影部２０において撮影モードを切り替える判定を行うために使用される。

【0023】

照明部２４は、監視領域に光を照射する照明を含んで構成される。照明部２４は、近赤外線ライトを含んで構成される。近赤外線ライトは、撮影部２０の撮影モードが夜間モードである場合に監視領域に向けて近赤外光を照射し、昼間モードである場合には消灯される。照明部２４は、さらに監視領域において撮影部２０の直近の領域のみを照らす可視光ライトを含んで構成される。可視光ライトによって可視光を撮影部２０の直近の領域に照射することで、撮影部２０の近傍に存在する虫等が明るく照らされて撮影される。

【0024】

記憶部２６は、半導体メモリ、磁気ディスク（ＨＤＤ）、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ等の記憶手段を含んで構成される。記憶部２６には、画像センサ１４の各部を動作させるための画像処理プログラムが記憶される。また、記憶部２６には、撮影部２０において取得された撮影画像４０及び背景画像４２が記憶される。

【0025】

撮影画像４０は、撮影部２０が監視領域を順次撮影することで取得される画像である。記憶部２６には、複数の時刻に撮影された撮影画像４０が記憶される。新たな画像が撮影された場合、記憶部２６に記憶された複数の撮影画像４０のうち最も取得時刻が古い時刻に撮影された撮影画像４０を削除した上で最新の撮影画像４０を記憶するようにしてもよい。これによって、記憶部２６には、所定期間分の撮影画像４０が蓄積記憶される。

【0026】

図３は、取得時刻順に並んだ複数の撮影画像４０の概念図を示す。複数の撮影画像４０のうち、人物像検出の処理対象となる画像を入力画像４０ｔと示し、入力画像４０ｔよりも時間的に前に撮影された画像を過去画像４０ｐと示し、入力画像４０ｔよりも時間的に後に撮影された画像を未来画像４０ｆと示す。記憶部２６には、過去画像４０ｐが１０フレーム、入力画像４０ｔが１フレーム、未来画像４０ｆが１０フレーム記憶され、入力画像４０ｔは後述の侵入者判定処理が終了すると、入力画像４０ｔの次に撮影された撮影画像４０（入力画像４０ｔの１フレーム後の未来画像４０ｆ）が新たな入力画像４０ｔとされる。入力画像４０ｔは最新の（取得時刻が最も新しい）撮影画像４０とする必要はない。

【0027】

背景画像４２（基準画像）は、過去画像４０ｐを用いて設定される。背景画像４２は、過去画像４０ｐのうち、監視領域内に人などの移動物体が存在していないときの過去画像４０ｐに基づいて生成される。例えば、画像処理部３０は、時系列的に隣接する２つの過去画像４０ｐのフレーム間差分を求め、フレーム間での対応画素間の輝度差の絶対値の平均値を求める。両フレームの双方に移動物体が存在していない場合は、当該両フレーム間の輝度差の絶対値の平均値はかなり小さくなる。したがって、画像処理部３０は、その平均値が所定の基準よりも小さい過去画像４０ｐのいずれかを背景画像４２として記憶部２６に記憶させる。背景画像４２は、照明状態の変動、太陽の日周変動などによる監視領域の明るさの変動に対応するために、一定周期（例えば、１０分間隔）毎に更新される。なお、背景画像４２は、過去画像４０ｐよりも過去に撮影された撮影画像でもよい。

【0028】

撮影画像４０及び背景画像４２は、夜間モードにおいて照明部２４によって近赤外が照射されたときに撮影された画像毎、又は、昼間モード時に撮影された画像毎に記憶部２６に記憶して処理するようにしてもよい。また、本実施形態では、撮影画像４０及び背景画像４２を画像センサ１４内の記憶部２６に記憶する構成としたが、撮影画像４０及び背景画像４２を画像センサ１４の外部に設けられた記憶部であって画像センサ１４からアクセス可能な記憶部に記憶する構成としてもよい。

【0029】

通信部２８は、画像センサ１４と警備装置１０との間で構内ＬＡＮなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インタフェースであり、イーサネット（登録商標）などの各種の通信インタフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。通信部２８は、後述の画像処理部３０によって侵入者が検出された場合に、侵入者を検出したことを示す侵入アラーム信号を警備装置１０に出力する。

【0030】

画像処理部３０は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ１４の各種信号処理を実行する。図２に示されるように、画像処理部３０は、差分領域抽出手段５０、サイズ判定手段５２、形状特徴量抽出手段５４、差分領域比較手段５６及び判定手段５８を含んで構成される。

【0031】

差分領域抽出手段５０は、２つの画像を比較して背景差分領域を抽出する手段である。差分領域は、２つの両画像間で輝度値の差を算出し、輝度値の差の絶対値が所定の差分基準値より大きい１又は複数の変化画素からなる領域である。抽出された変化画素について互いに隣接している他の変化画素からなる一塊の画素群を１つの差分領域とする統合処理を行ってもよい。なお、互いに隣接する画素とは、上下左右方向に隣接する画素であってもよいし、斜め方向に隣接する画素まで含めてもよい。また、差分領域抽出手段５０は、楕円近似処理や矩形近似処理等を適用することによって、差分領域を楕円や矩形等の単純な形状に近似してもよい。差分領域抽出手段５０は、差分領域毎に識別子（ラベル）を付与するラベリング処理を行う。

【0032】

差分領域抽出手段５０は、撮像された画像のうち処理対象である入力画像４０ｔと背景画像４２とを比較して差分領域を抽出する。例えば、図４（ａ）に示す背景画像４２と図４（ｂ）に示すように人Ｘが映り込んだ入力画像４０ｔとを比較すると、図４（ｃ）に示すように差分領域４４が抽出される。以下、処理対象である入力画像４０ｔと背景画像４２とから抽出された差分領域４４は第１差分領域と示す。なお、図４（ｃ）の差分領域４４は楕円近似処理した結果の例を示している。

【0033】

また、差分領域抽出手段５０は、入力画像４０ｔとは異なる時刻に撮影された撮影画像４０と背景画像４２とを比較して背景差分領域を抽出する。ここで、異なる時刻とは、特に限定されるものではなく、入力画像４０ｔの撮影時刻から所定の時間（例えば０．５秒）内であればよい。例えば、入力画像４０ｔとは異なる時刻に撮影された撮影画像４０は、入力画像４０ｔから１フレーム前又は１フレーム後に撮影された撮影画像４０とすることができる。以下、入力画像４０ｔとは異なる時刻に撮影された撮影画像４０と背景画像４２とから抽出された差分領域４４は第２差分領域と示す。

【0034】

サイズ判定手段５２は、差分領域抽出手段５０において抽出された差分領域４４が検出対象物のサイズに該当するか否かを判定する。すなわち、サイズ判定手段５２は、差分領域４４のサイズを求め、求めたサイズと予め記憶された検出対象物らしさを表すサイズとを比較することにより、当該差分領域が検出対象物らしいかを判定する。

【0035】

検出対象物が人である場合、撮影画像４０に映り込む人の画像上のサイズの基準を予めサイズ基準値として調べて設定しておき、差分領域４４のサイズが当該サイズ基準値の範囲内であれば当該差分領域４４は人である可能性があると判定し、差分領域４４のサイズが当該サイズ基準値の範囲外であれば当該差分領域４４は人以外と判定する。

【0036】

形状特徴量抽出手段５４は、差分領域抽出手段５０において抽出された差分領域４４の形状が検出対象物の形状に該当するか否かを判定するための特徴量を抽出する。すなわち、形状特徴量抽出手段５４は、差分領域４４の形状（幅・高さ）などの特徴量を求める。当該特徴量は、予め記憶された検出対象物らしさや外乱らしさを表す特徴量と比較することにより、当該差分領域が検出対象物らしいか否かを判定するために用いられる。

【0037】

本実施の形態では、特徴量として差分領域４４の細長さを求める。形状特徴量抽出手段５４は、差分領域４４の短辺の長さと短辺長／長辺長比を特徴量として抽出する。例えば、楕円近似された差分領域４４の短軸長と短軸長／長軸長比を特徴量として抽出する。また、短軸長と短軸長／長軸長比のいずれか一方のみを使用する場合、これらのいずれか一方のみを抽出してもよい。なお、楕円近似ではなく、矩形近似した差分領域４４とした場合にも同様に短軸長と短軸長／長軸長比を特徴量として抽出する。また、楕円近似等はせず、抽出した差分領域の横幅と横幅／縦幅比を特徴量として抽出してもよい。なお、細長さは縦を長辺とした縦長であるか否かを判定してもよい。また、クモの糸ができる方向や風などで動く方向は多々あるため、縦長の直接だけでなく斜めも縦長に含む。

【0038】

差分領域比較手段５６は、入力画像４０ｔと背景画像４２とから抽出された第１差分領域と、入力画像４０ｔとは異なる時刻に撮影された撮影画像４０と背景画像４２とから抽出された第２差分領域とを比較する処理を行う。

【0039】

差分領域比較手段５６は、第１差分領域と第２差分領域とを比較し、第１差分領域と第２差分領域の画像上の位置変化を求める。例えば、第１差分領域に含まれる画素数に対する２つの差分領域において重なり合う画素の画素数の比率を重複比率として算出する。なお、重複比率は、第２差分領域に含まれる画素数に対する２つの差分領域において重なり合う画素の画素数の比率、又は、第１差分領域と第２差分領域の画素数の平均値若しくは合計値に対する２つの差分領域において重なり合う画素の画素数の比率としてもよい。

【0040】

図５は、差分領域比較手段５６における処理の１例を示す。差分領域比較手段５６は、図５（ａ）に示す第１差分領域４４ａと図５（ｂ）に示す第２差分領域４４ｂとを比較し、第１差分領域４４ａと第２差分領域４４ｂにおいて重複する画素を抽出する。図５の例では、図５（ｃ）に破線で示すように、第１差分領域４４ａと第２差分領域４４ｂはまったく重複しておらず、重複比率は０と算出される。

【0041】

図６は、差分領域比較手段５６における処理の別例を示す。差分領域比較手段５６は、図６（ａ）に示す第１差分領域４４ａと図６（ｂ）に示す第２差分領域４４ｂとを比較し、第１差分領域４４ａと第２差分領域４４ｂにおいて重複する画素を抽出する。図６の例では、図６（ｃ）に実線及びハッチングで示すように、第１差分領域４４ａと第２差分領域４４ｂは重複する画素の重複領域４６を有しており、重複比率は例えば９０％と算出される。

【0042】

また、差分領域抽出手段５０では、第１差分領域と第２差分領域との重複比率に代えて、第１差分領域と第２差分領域の移動量から位置変化を求めるようにしてもよい。第１差分領域と第２差分領域との移動量は、画像上における第１差分領域と第２差分領域の重心位置の距離とすることができる。また、移動量は、画像上における第１差分領域と第２差分領域から実空間において人が存在する位置を算出し、第１差分領域の位置から第２差分領域の位置の変化方向から移動方向を求め、さらに第１差分領域の位置から第２差分領域への位置までの距離を、移動方向を考慮して求めてもよい。実空間における移動距離は、カメラの方向に向かって移動する視軸移動の動きは画像上では変化がほぼないが、実空間上では大きく変化している場合もあるため、移動方向を考慮して求める。

【0043】

また、移動量は、第１差分領域と第２差分領域の画像上の位置の変化から求めた移動速度であってもよい。移動速度は、第１差分領域を抽出した入力画像４０ｔと第２差分領域を抽出した撮影画像４０の撮影時刻の時間差と上記で求めた移動距離から求める。なお、移動方向や移動距離は、第１差分領域と第２差分領域のそれぞれの重心位置の変化から求めてもよい。移動速度が速いほど移動量も大きくなるため、移動速度も移動量に含まれる指標である。

【0044】

判定手段５８は、第１差分領域が検出の対象物であるか否かを判定する。判定手段５８は、形状特徴量抽出手段５４で抽出された第１差分領域の形状についての特徴量、及び、差分領域比較手段５６で求められた特徴量に基づいて、第１差分領域が人の可能性があるか、人以外であるかを判定する。

【0045】

判定手段５８は、第１差分領域と第２差分領域が細長いとする条件を満たすか否か、及び、第１差分領域と第２差分領域とから算出された位置変化に基づいて検出の対象物らしさを判定する。撮影画像４０において人相当の大きさに写り込むような撮影部２０の近傍に張られたクモの糸は風等によって少し移動すると撮影画像４０上では短時間に大きく移動するという特徴をもつ。一方、監視空間に存在する人が細長く撮影されるときは撮影部２０から離れた位置に存在するため撮影画像４０上では、クモの糸に比べて短時間に大きく移動しない特徴をもつ。そこで、楕円近似された第１差分領域と第２差分領域の短軸長が短く、かつ、短軸長と長軸長の比率が短軸長の方が短く、さらに、第１差分領域と第２差分領域とから算出された位置変化が大きいほど、人ではないと判定し易くし、位置変化が小さいほど、人の可能性があると判定する。

【0046】

判定手段５８は、例えば、短軸長が基準ピクセル以下かつ短軸長が長軸長の基準比率以下であり、重複比率が所定の重複比率基準値以上であれば第１差分領域は人の可能性があると判定し、短軸長が基準ピクセル以下かつ短軸長が長軸長の基準比率以下であり、重複比率が当該重複比率基準値未満であれば第１差分領域は人以外であると判定する。これは、重複比率が小さいほど、２つの差分領域のずれ幅は大きいため位置変化が大きいと判定できる。例えば、楕円近似された第１差分領域の短軸長が２０ピクセル以下かつ短軸長が長軸長の４５％以下であり、重複比率が３５％未満である場合には当該第１差分領域は人以外と判定し、重複比率が３５％以上である場合には、人の可能性があると判定する。なお、第１差分領域の短軸長が２０ピクセルより大きい又は短軸長が長軸長の４５％より大きい場合には当該第１差分領域は人である可能性があると判定し、第１差分領域にて抽出した背景画像との相関などの他の特徴量を用いて、第１差分領域が人であるか否かを判定する。ここで、細長いとする条件を満たすか否かは、短軸長と、短軸長／長軸長比との一方のみの条件を適用してもよい。

【0047】

また、監視空間と撮影部２０の設置場所との関係において、人が細長く写らない画像領域（例えば、撮影画像４０の下部等）に細長い差分領域４４が抽出された場合には人ではないと判定してもよい。

【0048】

なお、撮影部２０の近傍に張られたクモの糸だけでなく、撮影画像４０において細長く写り込む外乱も人と区別するように判定することができる。例えば、朝や夕方に監視空間の外にいる人の影による外乱や監視空間の外から差し込む車両のヘッドライトの光による外乱等と人を区別するように判定することができる。

【0049】

また、重複比率に代えて移動量を用いる場合、移動量が小さい場合人の可能性があると判定し、移動量が大きいほど人ではないと判定し易くすることができる。判定手段５８は、移動量が所定の移動量基準値以下であれば第１差分領域は人の可能性があると判定し、移動量が当該移動量基準値より大きければ第１差分領域は人以外と判定する。

【0050】

なお、重複比率基準値及び移動量基準値は、撮影画像４０の撮影条件、第１差分領域を抽出した入力画像４０ｔと第２差分領域を抽出した撮影画像４０の撮影時刻の時間差等に応じて設定することが好適である。なお、クモの糸と人の移動の違いを判定するため、比較する撮影画像同士の撮影時刻の差が離れすぎると画像上で人も大きく移動し、クモの糸と誤判定する虞があり、また時刻差が小さすぎるとクモの糸も画像上で大きく移動できないため、人以外と判定できない虞がある。したがって、時間差に応じて基準値を設定しない場合は、第１時間（例えば、３０ｆｐｓ）以上第２時間（例えば、２ｆｐｓ）以内の時間差で撮影を行うのが望ましい。

【0051】

また、細長い特徴量、重複比率の特徴量などは、数式（１）に示すように、外乱属性値の算出に用いて、第１差分領域が外乱によるものか、それ以外によるものかを判定してもよい。外乱属性値は、外乱らしさの度合い、すなわち外乱の性質を持つ度合いを表す値であり、判定手段５８は、外乱属性値が所定の外乱基準値以上であれば、第１差分領域が外乱によるものと判定し、当該外乱基準値未満であれば第１差分領域が外乱以外によるものと判定する。

【0052】

外乱属性値は、所定の関数を用いて第１差分領域及び第２差分領域の短軸長の長さ、短軸長／長軸長比、重複比率をそれぞれ正規化した第１差分領域及び第２差分領域に対する正規化短軸長値（Ｓ１）、正規化短軸長／長軸長比（Ｓ２）、正規化重複比率（Ｓ３）の乗算によって算出され、第１差分領域が人ではないほど出力値が１に近くなる。つまり、細長ければ細長いほど、また重複比率が低ければ低いほど出力値が１に近くなり、人以外と判定されやすくなる。

【0053】

(数１)
（外乱属性値）＝Ｓ１×Ｓ２×Ｓ３・・・（１）

【0054】

上記処理によって第１差分領域が人の可能性があると判定された場合、判定手段５８は、さらに外乱らしさを示す他の特徴量に基づいて第１差分領域が外乱であるか否かを判定する。判定手段５８は、他の特徴量から外乱属性値を算出し、算出した外乱属性値に基づいて当該第１差分領域が外乱によるものか否かを判定する。

【0055】

公知の手法にて、影らしさやクモ糸らしさなどの特徴量を抽出して、外乱属性値を算出する。例えば、第１差分領域における入力画像４０ｔと背景画像４２の輝度の分散値や相関値や、可視光ライト照射前後の第１差分領域の輝度増加率、複数の過去画像から抽出した差分領域から第１差分領域をトラッキングして抽出した移動変化などの特徴量を抽出して、外乱属性値を求める。

【0056】

判定手段５８は、第１差分領域が外乱以外であると判定した場合、当該第１差分領域は人と判定し、通信部２８を用いて侵入者が存在する可能性があることを示すアラーム信号を警備装置１０へ送信する。

【0057】

なお、本実施の形態では、外乱らしさを示す特徴量を抽出して、当該第１差分領域は人である可能性があるか否かを判定する構成としたが、第１差分領域について人らしさを示す特徴量を抽出して、当該特徴量に基づいて第１差分領域が人であるか否かを判定する構成としてもよい。

【0058】

［画像処理方法］
以下、図７に示すフローチャートを参照しつつ、画像センサ１４によって実行される画像処理方法（侵入者判定処理）について説明する。

【0059】

まず、差分領域抽出手段５０において、入力画像４０ｔ及びそれとは異なる時刻に撮影された撮影画像４０と背景画像４２との差分をとって第１差分領域及び第２差分領域を抽出する（ステップＳ１０）。差分領域が抽出されなければ処理を終了し、差分領域が抽出されればステップＳ１４に処理を移行させる（ステップＳ１２）。差分領域が抽出された場合、サイズ判定手段５２において差分領域が人物サイズであるか否かを判定する（ステップＳ１４）。差分領域が人物サイズでなければ差分領域は人以外であると判定し（ステップＳ２２）、差分領域が人物サイズであればステップＳ１６に処理を移行させる。差分領域が人物サイズである場合、形状特徴量抽出手段５４及び差分領域比較手段５６において第１差分領域及び第２差分領域から細長さを示す特徴量及び重複比率の特徴量を抽出する（ステップＳ１６）。なお、ステップＳ２２で差分領域は人以外であると判定された場合、入力画像４０ｔの他の差分領域が人であるか否かを判定し、全ての差分領域が人以外であると判定された場合、終了する。

【0060】

続いて、判定手段５８において、第１差分領域が細長い条件を満たすか否かを判定し、細長い条件を満たす場合にはステップＳ２０に処理を移行させ、細長い条件を満たさない場合には他の特徴量による判定を行うためにステップＳ２４に処理を移行させる（ステップＳ１８）。細長い条件を満たす場合、判定手段５８において、さらに重複比率が重複比率基準値以上であるか否かを判定し、重複比率が重複比率基準値以上である場合にはステップＳ２４に処理を移行させ、重複比率が重複比率基準値未満の場合にはステップＳ２２に処理を移行させる（ステップＳ２０）。重複比率が重複比率基準値未満である場合、判定手段５８において、第１差分領域は人以外と判定する（ステップＳ２２）。なお、ステップＳ２０では、重複比率に代えて移動量、移動の速さを用いて判定を行うようにしてもよい。

【0061】

重複比率が重複比率基準値以上である場合、他の特徴量によって第１差分領域が人以外か否かが判定される。判定手段５８は、外乱属性値に基づいて第１差分領域が人以外の外乱によるものと判定されるとステップＳ２２に処理を移行させ、外乱以外によるものであればステップＳ２６に処理を移行させる（ステップＳ２４）。第１差分領域が人以外の外乱によるものである場合、判定手段５８において、第１差分領域は人以外と判定する（ステップＳ２２）。第１差分領域が外乱以外によるものである場合、判定手段５８において、第１差分領域は人と判定し、アラーム信号を送信する（ステップＳ２６）。

【0062】

［発明の構成］
［構成１］
所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、当該入力画像における検出対象の有無を判定する画像処理部を含み、
前記画像処理部は、前記入力画像の第１差分領域と、前記入力画像とは異なる時刻に撮影された前記撮影画像と前記背景画像との第２差分領域とを比較し、前記第１差分領域及び前記第２差分領域の形状と、前記撮影画像における前記第１差分領域と前記第２差分領域との位置変化に基づいて前記第１差分領域が前記検出対象か否かを判定することを特徴とする画像処理装置。
［構成２］
構成１に記載の画像処理装置であって、
前記画像処理部は、前記第１差分領域及び前記第２差分領域の形状が細長く且つ前記位置変化が大きいほど前記検出対象とは判定し難くすることを特徴とする画像処理装置。
［構成３］
構成１又は２に記載の画像処理装置であって、
前記画像処理部は、前記位置変化として、前記第１差分領域と前記第２差分領域の画像上の位置の重なり比率を求めることを特徴とする画像処理装置。
［構成４］
コンピュータを、
所定領域を撮影した撮影画像のうち処理対象の入力画像と前記所定領域の背景画像との差分領域に基づき、当該入力画像における検出対象の有無を判定する画像処理部として機能させ、
前記画像処理部は、前記入力画像の第１差分領域と、前記入力画像とは異なる時刻に撮影された前記撮影画像と前記背景画像との第２差分領域とを比較し、前記第１差分領域及び前記第２差分領域の形状と、前記撮影画像における前記第１差分領域と前記第２差分領域との位置変化に基づいて前記第１差分領域が前記検出対象か否かを判定することを特徴とする画像処理プログラム。

【符号の説明】

【0063】

１０ 警備装置、１２ 録画装置、１４ 画像センサ、２０ 撮影部、２２ 照度センサ、２４ 照明部、２６ 記憶部、２８ 通信部、３０ 画像処理部、４０ 撮影画像、４０ｆ 未来画像、４０ｐ 過去画像、４０ｔ 入力画像、４２ 背景画像、４４ 差分領域、４４ａ 第１差分領域、４４ｂ 第２差分領域、４６ 重複領域、５０ 差分領域抽出手段、５２ サイズ判定手段、５４ 形状特徴量抽出手段、５６ 差分領域比較手段、５８ 判定手段、１００ 警備システム、１０２ 監視対象物件、１０４ 警備センタ装置、１０６ 利用者装置、１０８ 通信網。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】