特許 5954212 画像処理装置、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5954212

(24)【登録日】2016年6月24日

(45)【発行日】2016年7月20日

(54)【発明の名称】画像処理装置、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   G06T 7/20 20060101AFI20160707BHJP

   G06T 7/60 20060101ALI20160707BHJP

   H04N 5/232 20060101ALI20160707BHJP

【ＦＩ】

   G06T7/20 200B

   G06T7/60 300A

   H04N5/232 Z

【請求項の数】7

【全頁数】11

(21)【出願番号】特願2013-27477(P2013-27477)

(22)【出願日】2013年2月15日

(65)【公開番号】特開2014-157453(P2014-157453A)

(43)【公開日】2014年8月28日

【審査請求日】2015年3月9日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】特許業務法人 楓国際特許事務所

(72)【発明者】

【氏名】田中 文三

(72)【発明者】

【氏名】東郷 康二

(72)【発明者】

【氏名】小暮 正道

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００６−０５９１８３（ＪＰ，Ａ）

【文献】 特開２００８−００５３６５（ＪＰ，Ａ）

【文献】 特開平１０−０２３４５２（ＪＰ，Ａ）

【文献】 特開平０９−２８２４５２（ＪＰ，Ａ）

【文献】 特開２０１１−０６０１８７（ＪＰ，Ａ）

【文献】 特開２００８−２４１７０７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／６０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

カメラで撮像した対象エリアの可視光画像を入力する画像入力部と、
前記対象エリアの背景画像を記憶する背景画像記憶部と、
前記対象エリアの背景エッジ画像を記憶する背景エッジ画像記憶部と、
前記画像入力部に入力された可視光画像と、前記背景画像記憶部が記憶する背景画像と、の差分画像を生成し、この可視光画像に撮像されているオブジェクトを検出する第１の画像処理部と、
前記画像入力部に入力された可視光画像のエッジ画像を生成し、ここで生成したエッジ画像と、前記背景エッジ画像記憶部が記憶する背景エッジ画像と、のパターンマッチングにより、この可視光画像に撮像されているオブジェクトを検出する第２の画像処理部と、
前記画像入力部に入力された前記対象エリアの可視光画像を複数に分割したブロック毎に、そのブロックが前記第１の画像処理部におけるオブジェクトの検出に適さない画像領域であるかどうかを、当該ブロック内の画素であって、その画素値が予め定めた画素値の範囲外である画素の総数に基づいて判定する画像判定部と、
前記画像入力部に入力された前記対象エリアの可視光画像に対するオブジェクトの検出処理の実行を、前記画像判定部の判定結果に応じて前記第１の画像処理部または前記第２の画像処理部に振り分ける振分処理部と、を備えた画像処理装置。

【請求項2】

前記画像判定部は、前記画像入力部に入力された前記対象エリアの可視光画像を複数に分割したブロック毎に、そのブロックが前記第１の画像処理部におけるオブジェクトの検出に適さない画像領域であるかどうかを、当該ブロック内の画素であって、その画素値が予め定めた画素値の範囲外である画素の総数と、このブロックの総画素数と、の比率により判定する、請求項１に記載の画像処理装置。

【請求項3】

前記振分処理部は、前記画像判定部が前記第１の画像処理部におけるオブジェクトの検出に適する画像領域と判定したブロックに対するオブジェクトの検出処理の実行を前記第１の画像処理部に振り分け、前記画像判定部が前記第１の画像処理部におけるオブジェクトの検出に適さない画像領域と判定したブロックに対するオブジェクトの検出処理の実行を前記第２の画像処理部に振り分ける、請求項１、または２に記載の画像処理装置。

【請求項4】

前記振分処理部は、前記画像判定部が前記第１の画像処理部におけるオブジェクトの検出に適さない画像領域であると判定したブロックが１つもない前記対象エリアの可視光画像に対するオブジェクトの検出処理の実行を前記第１の画像処理部に振り分け、前記画像判定部が前記第１の画像処理部におけるオブジェクトの検出に適さない画像領域であると判定したブロックがすくなくとも１つある前記対象エリアの可視光画像に対するオブジェクトの検出処理の実行を、前記第２の画像処理部に振り分ける、請求項１、または２に記載の画像処理装置。

【請求項5】

前記第１の画像処理部、および前記第２の画像処理部によるオブジェクトの検出結果を統合し、出力する出力部を備えた請求項３に記載の画像処理装置。

【請求項6】

画像入力部に入力された、カメラで撮像した対象エリアの可視光画像と、背景画像記憶部が記憶する背景画像と、の差分画像を生成し、この可視光画像に撮像されているオブジェクトを検出する第１の画像処理ステップと、
前記画像入力部に入力された可視光画像のエッジ画像を生成し、ここで生成したエッジ画像と、背景エッジ画像記憶部が記憶する背景エッジ画像と、のパターンマッチングにより、この可視光画像に撮像されているオブジェクトを検出する第２の画像処理ステップと、
前記画像入力部に入力された前記対象エリアの可視光画像を複数に分割したブロック毎に、そのブロックが前記第１の画像処理ステップにおけるオブジェクトの検出に適さない画像領域であるかどうかを、当該ブロック内の画素であって、その画素値が予め定めた画素値の範囲外である画素の総数に基づいて判定する画像判定ステップと、
前記画像入力部に入力された前記対象エリアの可視光画像に対するオブジェクトの検出処理の実行を、前記画像判定部の判定結果に応じて前記第１の画像処理ステップまたは前記第２の画像処理ステップに振り分ける振分処理ステップと、をコンピュータが実行する画像処理方法。

【請求項7】

画像入力部に入力された、カメラで撮像した対象エリアの可視光画像と、背景画像記憶部が記憶する背景画像と、の差分画像を生成し、この可視光画像に撮像されているオブジェクトを検出する第１の画像処理ステップと、
前記画像入力部に入力された可視光画像のエッジ画像を生成し、ここで生成したエッジ画像と、背景エッジ画像記憶部が記憶する背景エッジ画像と、のパターンマッチングにより、この可視光画像に撮像されているオブジェクトを検出する第２の画像処理ステップと、
前記画像入力部に入力された前記対象エリアの可視光画像を複数に分割したブロック毎に、そのブロックが前記第１の画像処理ステップにおけるオブジェクトの検出に適さない画像領域であるかどうかを、当該ブロック内の画素であって、その画素値が予め定めた画素値の範囲外である画素の総数に基づいて判定する画像判定ステップと、
前記画像入力部に入力された前記対象エリアの可視光画像に対するオブジェクトの検出処理の実行を、前記画像判定部の判定結果に応じて前記第１の画像処理ステップまたは前記第２の画像処理ステップに振り分ける振分処理ステップと、をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、対象エリアを撮像した可視光画像を処理し、撮像されているオブジェクトを検出する技術に関する。

【背景技術】

【0002】

従来、カメラで撮像した対象エリアの可視光画像を処理し、撮像されている人や車両等のオブジェクトの検出や、検出したオブジェクトの追跡を行う画像処理装置がある（特許文献１等参照）。特許文献１は、カメラが撮像した対象エリアの可視光画像と、この対象エリアの背景画像と、の差分画像（背景差分画像）や、時間的に連続する２つの撮像画像（可視項画像）の差分画像（フレーム間差分画像）等を生成することにより、撮像されているオブジェクトの検出や追跡を行っている。

【0003】

また、オブジェクトとして人を検出する場合は、検出した人の顔を切り出し、その人の性別、年齢等の属性を推定する属性推定処理や、検出した人が予め登録されている登録者であるかどうかを認証する顔認証処理等が行える。また、オブジェクトとして車両を検出する場合は、その車両に取り付けられているナンバープレートを切り出し、このナンバープレートに表記されているナンバープレート番号を認識する文字認識処理等が行える。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平９−２６５５８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、可視光画像は、対象エリアの照度変化の影響を受けやすい。光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した可視光画像の画像領域においては、差分方式によるオブジェクトの検出が適正に行えないことがある。すなわち、差分方式では、白トビや黒ツブレになった画素がある程度集中した可視光画像の画像領域においては、オブジェクトの見逃しが生じやすい。オブジェクトの見逃しが生じると、対象エリアに進入したオブジェクトが検出できないだけでなく、追跡していたオブジェクトを見失うことになり、このオブジェクトの追跡に失敗する。

【0006】

この発明の目的は、対象エリアに進入したオブジェクトの見逃しや、追跡しているオブジェクトを見失う事態の発生を抑えることで、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う処理の信頼性を向上させることができる技術を提供することにある。

【課題を解決するための手段】

【0007】

この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。

【0008】

画像入力部には、カメラで撮像した対象エリアの可視光画像が入力される。背景画像記憶部は、対象エリアの背景画像を記憶し、背景エッジ画像記憶部は、対象エリアの背景エッジ画像を記憶する。

【0009】

第１の画像処理部は、画像入力部に入力された可視光画像と、背景画像記憶部が記憶する背景画像と、の差分画像を生成し、この可視光画像に撮像されているオブジェクトを検出する。第１の画像処理部は、画像入力部に入力された可視光画像の各画素について、その画素が前景画素であるか、背景画素であるかを判定し、前景画素をグルーピングすることによって、撮像されているオブジェクトを検出する。

【0010】

また、第２の画像処理部は、画像入力部に入力された可視光画像のエッジ画像を生成し、ここで生成したエッジ画像と、背景エッジ画像記憶部が記憶する背景エッジ画像と、のパターンマッチングにより、この可視光画像に撮像されているオブジェクトを検出する。

【0011】

画像判定部は、画像入力部に入力された対象エリアの可視光画像を複数に分割したブロック毎に、そのブロックが第１の画像処理部におけるオブジェクトの検出に適さない画像領域であるかどうかを、当該ブロック内の画素であって、その画素値が予め定めた画素値の範囲外である画素の総数に基づいて判定する。この画像判定部は、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中しているブロックを第１の画像処理部におけるオブジェクトの検出に適さない画像領域であると判定する。

【0012】

振分処理部は、画像入力部に入力された対象エリアの可視光画像に対するオブジェクトの検出処理の実行を、画像判定部の判定結果に応じて第１の画像処理部または第２の画像処理部に振り分ける。振分処理部は、例えば、画像判定部が第１の画像処理部におけるオブジェクトの検出に適さない画像領域であると判定したブロックが１つもない対象エリアの可視光画像に対するオブジェクトの検出処理の実行を第１の画像処理部に振り分け、画像判定部が第１の画像処理部におけるオブジェクトの検出に適さない画像領域であると判定したブロックがすくなくとも１つある対象エリアの可視光画像に対するオブジェクトの検出処理の実行を、第２の画像処理部に振り分ける構成にすればよい。

【0013】

このように、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した画像領域を有する画像については、パターンマッチングにより撮像されているオブジェクトの検出を行うので、撮像されているオブジェクトの見逃しを抑えることができる。これにより、対象エリアに進入したオブジェクトの検出や追跡等を行う処理の信頼性を向上させることができる。

【0014】

画像判定部は、例えば、画像入力部に入力された対象エリアの可視光画像を複数に分割したブロック毎に、そのブロックが第１の画像処理部におけるオブジェクトの検出に適さない画像領域であるかどうかを、当該ブロック内の画素であって、その画素値が予め定めた画素値の範囲外である画素の総数と、このブロックの総画素数と、の比率により判定する構成にしてもよい。

【0015】

また、振分処理部は、画像判定部が第１の画像処理部におけるオブジェクトの検出に適する画像領域と判定したブロックに対するオブジェクトの検出処理の実行を第１の画像処理部に振り分け、画像判定部が第１の画像処理部におけるオブジェクトの検出に適さない画像領域と判定したブロックに対するオブジェクトの検出処理の実行を第２の画像処理部に振り分ける、構成にしてもよい。

【発明の効果】

【0016】

この発明によれば、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う処理の信頼性を向上させることができる。

【図面の簡単な説明】

【0017】

【図1】画像処理装置の主要部の構成を示す図である。

【図2】対象エリアの背景画像、背景エッジ画像を示す図である。

【図3】画像処理装置におけるオブジェクトの検出処理を示すフローチャートである。

【図4】カメラが撮像した対象エリアの可視光画像を示す図である。

【図5】別の例にかかるオブジェクト検出処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、この発明の実施形態である画像処理装置について説明する。

【0019】

図１は、この発明の実施形態にかかる画像処理装置の主要部の構成を示す図である。

【0020】

この画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。

【0021】

制御部２は、画像処理装置１本体各部の動作を制御する。

【0022】

この画像処理装置１には、カメラ１０が接続されている。カメラ１０は、対象エリアの可視光画像を撮像する。このカメラ１０は、この画像処理装置１本体に一体的に設けた構成であってもよいし、この画像処理装置１本体とは別筐体であってもよい。

【0023】

画像入力部３には、カメラ１０が撮像した対象エリアの可視光画像が入力される。

【0024】

画像処理部４は、背景画像記憶部４１と、背景エッジ画像記憶部４２とを有する。背景画像記憶部４１は、図２（Ａ）に示す対象エリアの背景画像にかかる画像データを記憶する。背景画像は、各画素に画素値を対応付けたものであってもよいし、各画素に画素値の確率分布（確率モデル）を対応付けたものであってもよい。

【0025】

また、背景エッジ画像記憶部４２は、図２（Ｂ）に示す対象エリアの背景エッジ画像にかかる画像データを記憶する。この背景エッジ画像は、対象エリア内に位置し、この対象エリアの背景を構成する物体（例えば、家等の建造物、木等の植物、放置されている放置物等）の外形形状を示すエッジ画像である。この背景エッジ画像は、カメラ１０で撮像した対象エリアの背景画像において、隣接する画素間での画素値の変化量が予め定めた値よりも大きい画素をエッジ画素とし、その他の画素を非エッジ画素とした２値の画像である。

【0026】

画像処理部４は、画像入力部３に入力された対象エリアの可視光画像を処理し、撮像されているオブジェクトの検出等を行う。画像処理部４は、このオブジェクトの検出において、背景画像記憶部４１が記憶する背景画像や、背景エッジ画像記憶部４２が記憶する背景エッジ画像を用いる。また、画像処理部４は、画像入力部３に入力された対象エリアの可視光画像を用いて、背景画像記憶部４１が記憶する背景画像の更新も行う。また、画像処理部４は、画像入力部３に入力された対象エリアの可視光画像を用いて、背景エッジ画像記憶部４２が記憶する背景エッジ画像を更新してもよいが、背景エッジ画像は対象エリアの明るさの変化等の影響が小さいことから、特に更新しなくてもよい。

【0027】

なお、背景エッジ画像記憶部４２は、時間帯毎に、背景エッジ画像を複数記憶させておく構成としてもよい。

【0028】

また、画像処理部４が検出するオブジェクトは、その用途に応じて予め定めており、例えば人や車両である。また、画像処理部４は、オブジェクトとして人を検出する場合は、検出した人の顔を切り出し、その人の性別、年齢等の属性を推定する属性推定処理や、検出した人が予め登録されている登録者であるかどうかを認証する顔認証処理等を行う。また、画像処理部４は、オブジェクトとして車両を検出する場合は、その車両に取り付けられているナンバープレートを切り出し、このナンバープレートに表記されているナンバープレート番号を認識する文字認識処理等を行う。

【0029】

入出力部５は、画像処理部４におけるオブジェクトの検出結果を、図示していない上位装置等に出力する。また、入出力部５は、上位装置等からの入力も受け付ける。

【0030】

画像処理部４は、１チップのプロセッサで構成される。また、画像処理部４が、この発明にかかる画像処理方法を実行するコンピュータに相当し、また、この発明にかかる画像処理プログラムを実行させるコンピュータに相当する。

【0031】

以下、この画像処理装置１の動作について説明する。

【0032】

画像処理部４は、カメラ１０が撮像した対象エリアの可視光画像が画像入力部３に入力されるごとに、入力された可視光画像を用いて、背景画像記憶部４１が記憶する対象エリアの背景画像を更新する。この背景画像の更新については、すでに様々な方法が提案され、公知であるので、ここでは説明を省略する。背景画像の更新方法は、カメラ１０の撮像特性や、対象エリアの環境等に応じて決定すればよい。画像処理部４は、背景画像とともに、背景エッジ画像を更新する構成であってもよい。

【0033】

図３は、画像処理装置におけるオブジェクト検出処理を示すフローチャートである。

【0034】

画像処理装置１は、画像処理部４が画像入力部３に入力された可視光画像に対して、白トビや黒ツブレの画素がある程度集中している画像（背景差分でのオブジェクトの検出に適していない画像）であるかどうかを判定する（ｓ１）。

【0035】

このｓ１では、例えば画像入力部３に入力された可視光画像が図４（Ａ）に示す画像である場合、この画像を図４（Ｂ）に示すように３×３の９ブロックに分割し、ブロック毎に、白トビや黒ツブレの画素がある程度集中しているかどうかを判定する。図４（Ｂ）に示す破線が、画像入力部３に入力された可視光画像を分割するラインである。ここでは、画像入力部３に入力された可視光画像を分割するブロック数を、３×３の９ブロックとした場合を例示しているが、この９ブロックに限らず、１２ブロックや１６ブロック等であってもよい。また、各ブロックのサイズは、均一であってもよいし、異なっていてもよい。画像処理部４は、白トビや黒ツブレの画素がある程度集中しているブロックであるかどうかの判定を、以下のようにして行う。

【0036】

まず、画像処理部４は、処理対象のブロック内の画素毎に、その画素の画素値（輝度値）が予め定めた画像値の範囲内であるかどうかを判定し、この範囲内でない画素の総数を計数する。この画素値の範囲は、下限が黒ツブレと判定する画素の画素値であり、上限が白トビと判定する画素の画素値である。

【0037】

画像処理部４は、計数した画素の総数（画素値が上記の範囲外である画素の総数）が、予め定めた個数を超えていれば、白トビや黒ツブレの画素がある程度集中しているブロックであると判定する。

【0038】

また、この判定は、計数した画素の総数（画素値が上記の範囲外である画素の総数）と、処理対象のブロックの総画素数との比率が、予め定めた値を超えていれば、白トビや黒ツブレの画素がある程度集中しているブロックであると判定する処理としてもよい。

【0039】

白トビや黒ツブレの画素がある程度集中しているブロックは、背景差分でのオブジェクトの検出に適さない。一方で、白トビや黒ツブレの画素がある程度集中しているブロックであっても、エッジ画像についてはある程度の精度で得ることができる。

【0040】

なお、ほとんどの画素が白トビや黒ツブレの画素であるブロックについては、エッジ画像も得ることはできない。

【0041】

画像処理部４は、白トビや黒ツブレの画素がある程度集中しているブロックが少なくとも１つあれば、画像入力部３に入力された可視光画像をｓ１で背景差分によるオブジェクトの検出に適していない画像と判定する。言い換えれば、画像処理部４は、白トビや黒ツブレの画素がある程度集中しているブロックが１つもなければ、画像入力部３に入力された可視光画像をｓ１で背景差分によるオブジェクトの検出に適している画像であると判定する。

【0042】

画像処理部４は、画像入力部３に入力された可視光画像を、ｓ１で背景差分によるオブジェクトの検出に適している画像であると判定すると、画像入力部３に入力された可視光画像に撮像されているオブジェクトの検出を背景差分により行う（ｓ２）。ｓ２では、この時点で背景画像記憶部４１が記憶している背景画像を用いて、背景差分画像を生成し、撮像されているオブジェクトを検出する。また、ｓ２では、検出したオブジェクトに対して、予め定められている属性推定処理、顔認証処理、文字認識処理等も行う。

【0043】

一方、画像処理部４は、画像入力部３に入力された可視光画像を、ｓ１で背景差分によるオブジェクトの検出に適していない画像であると判定すると、画像入力部３に入力された可視光画像について、エッジ画像を生成する（ｓ３）。ｓ３では、隣接する画素間での画素値の変化量が予め定めた値よりも大きい画素をエッジ画素とし、その他の画素を非エッジ画素とした２値の画像を生成する。ｓ３で生成されるエッジ画像は、対象エリアの背景を構成する物体（例えば、家等の建造物、木等の植物、放置されている放置物等）の外形形状だけでなく、この可視光画像に撮像されているオブジェクトの外形形状も示す。

【0044】

画像処理部４は、ｓ３で生成したエッジ画像と、背景エッジ画像記憶部４２が記憶するエッジ画像とのパターンマッチングにより、この可視光画像に撮像されているオブジェクトを検出する（ｓ４）。ｓ４では、背景エッジ画像記憶部４２が時間帯毎に複数の背景エッジ画像を記憶している場合には、この時点に該当する時間帯の背景エッジ画像を用いる。ｓ４にかかるパターンマッチングでは、両エッジ画像において、外形形状が類似する物体を対象エリアの背景を構成する物体として検出し、ｓ３で生成したエッジ画像に外形が現われており、且つ背景エッジ画像に外形が現われていない物体を、撮像されているオブジェクトとして検出する。

【0045】

なお、ｓ３で生成したエッジ画像に外形が現われておらず、且つ背景エッジ画像に外形が現われている物体については、撮像されているオブジェクトとして検出しない（背景とみなす。）。また、ｓ４では、検出したオブジェクトに対して、予め定められている属性推定処理、顔認証処理、文字認識処理等も行うことはない。

【0046】

画像処理装置１は、ｓ２、またはｓ４にかかるオブジェクトの検出結果を、入出力部５から上位装置に出力し（ｓ５）、ｓ１に戻る。

【0047】

このように、この例にかかる画像処理装置１では、可視光画像において、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した画像については、エッジ画像を用いたパターンマッチングでオブジェクトの検出を行う。このため、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した可視光画像であっても、撮像されているオブジェクトを見逃すことなく検出できる。したがって、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う処理の信頼性を向上させることができる。

【0048】

次に、この発明の別の例について説明する。この例にかかる画像処理装置１の構成は上述した例と同じであり、オブジェクトを検出する処理が異なっている。図５は、この例にかかる画像処理装置のオブジェクト検出処理を示すフローチャートである。

【0049】

画像処理装置１は、画像処理部４が画像入力部３に入力された可視光画像に対して、背景差分によるオブジェクトの検出に適さない画像領域を抽出する処理を行う（ｓ１１）。ｓ１１では、画像処理部４は、図４（Ｂ）に示す破線で分割したブロック毎に、そのブロックが背景差分でのオブジェクトの検出に適さない画像領域であるかどうかを判定し、オブジェクトの検出に適さないと判定したブロックを抽出する。

【0050】

背景差分でのオブジェクトの検出に適さない画像領域（ブロック）であるかどうかの判定は、上述した例と同様である。

【0051】

画像処理部４は、ｓ１１で背景差分でのオブジェクトの検出に適さないと判定し、抽出したブロック以外に対して、背景差分でのオブジェクトの検出処理を行う（ｓ１２）。すなわち、画像処理部４は、ｓ１２では、背景差分でのオブジェクトの検出に適している可視光画像の画像領域（ブロック）に対して、背景差分でのオブジェクトの検出処理を行う。例えば、図４（Ｂ）に示す右上角のブロックを、ｓ１１で背景差分でのオブジェクトの検出に適さないブロックとして抽出した場合、この右上角のブロック以外のブロックに対して、背景差分でのオブジェクトの検出処理を行う。画像処理部４は、全てのブロックに対して、背景差分でのオブジェクトの検出処理を行ってもよいが、処理負荷を低減する目的から、ｓ１１で背景差分でのオブジェクトの検出に適さないとして抽出したブロックについては、背景差分でのオブジェクトの検出処理を行わない構成とするのが好ましい。ｓ１２では、この時点で背景画像記憶部４１が記憶している背景画像を用いて、背景差分画像を生成し、撮像されているオブジェクトを検出する。

【0052】

また、画像処理部４は、ｓ１１で背景差分でのオブジェクトの検出に適さないと判定し、抽出したブロックの有無を判定し（ｓ１３）、ｓ１１で抽出されたブロックがなければ、ｓ１２におけるオブジェクトの検出結果を上位装置に出力し（ｓ１７）、ｓ１１に戻る。

【0053】

一方、画像処理部４は、ｓ１１で抽出されたブロックがあれば、そのブロックについてエッジ画像を生成する（ｓ１４）。画像処理部４は、ｓ１４で生成したエッジ画像と、背景エッジ画像記憶部４２が記憶するエッジ画像とのパターンマッチングにより、この可視光画像に撮像されているオブジェクトを検出する（ｓ１５）。ｓ１５では、背景エッジ画像記憶部４２が時間帯毎に複数の背景エッジ画像を記憶している場合には、この時点に該当する時間帯の背景エッジ画像を用いる。また、ｓ１４にかかるエッジ画像の生成、およびｓ１５にかかるパターンマッチングは、処理負荷を低減する目的から、ｓ１１で背景差分でのオブジェクトの検出に適さないとして抽出したブロックについてのみ行う構成とするのが好ましい。

【0054】

画像処理部４は、ｓ１２における背景差分でのオブジェクトの検出結果と、ｓ１５におけるパターンマッチングでのオブジェクトの検出結果と、を統合し（ｓ１６）、これを今回のオブジェクトの検出結果として上位装置に出力する（ｓ１７）。

【0055】

このように、この例にかかる画像処理装置１では、可視光画像において、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した画像領域については、エッジ画像を用いたパターンマッチングでオブジェクトを検出する。このため、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した画像領域に撮像されているオブジェクトの見逃しが抑えられる。したがって、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う処理の信頼性を向上させることができる。

【0056】

また、また背景差分でのオブジェクトの検出に適している画像領域については、背景差分によりオブジェクトを検出するので、検出したオブジェクトに対して、上述した属性推定処理、顔認証処理、文字認識処理等が行える。

【0057】

なお、対象エリアに進入したオブジェクトの追跡については、画像処理部４で行ってもよいが、ｓ５やｓ１７で出力されたオブジェクトの検出結果を用いて、上位装置が行う構成としてもよい。

【符号の説明】

【0058】

１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
５…入出力部
１０…カメラ
４１…背景画像記憶部
４２…背景エッジ画像記憶部

【図1】

【図2】

【図3】

【図4】

【図5】