(58)【調査した分野】(Int.Cl.,DB名)
前記仮定画像は、第2撮影装置により所定物体が撮影された準備画像に含まれる各画素の輝度値を、前記所定物体の反射率と前記所定の高反射率との比率、及び、当該画素に対応する前記所定物体の位置と前記第2撮影装置との間の第2距離と当該画素に対応する前記所定空間における基準面の位置と前記第1撮影装置との間の第1距離との比率に基づいて補正することにより生成される、請求項1に記載の画像処理装置。
前記準備画像又は前記入力画像は、照明装置が点灯した状態で撮影された点灯画像、及び、前記照明装置が消灯した状態で撮影された消灯画像に基づいて、外乱光の影響が除去された画像である、請求項2または3に記載の画像処理装置。
【発明を実施するための形態】
【0017】
以下、本発明の画像処理装置が適用される監視システムについて図を参照しつつ説明する。
【0018】
図1は、本実施形態による監視システム100の概略構成を示す図である。監視システム100は、画像処理装置1及び撮影ユニット2を有する。
【0019】
撮影ユニット2は、撮影部10及び照明部20を有する。
撮影部10は、CCD素子またはC−MOS素子など、近赤外光または可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ/デジタル(A/D)変換するA/D変換器とを有する。撮影部10は、人物等の検出対象物の侵入を監視する監視空間を撮影するように固定設置される。監視空間は所定空間の一例である。撮影部10は、画像処理装置1と接続され、撮影したRGB各色の画像を各画素が0〜255の範囲の輝度値を有するデジタルの画像に変換して画像処理装置1へ出力する。
【0020】
照明部20は、監視空間に光を照射する光源であり、撮影部10の光電変換素子が感度を有する近赤外光領域または可視光領域の波長に十分な輝度を持つ光源(例えば複数のLED等)を有する。照明部20は、撮影部10の設置位置と略同一の位置に、光の照射方向が撮影部10の撮影方向と略同一となるように固定設置される。照明部20は、画像処理装置1と接続され、画像処理装置1による制御に従って監視空間に光を照射する。
なお、撮影ユニット2は、画像処理装置1と接続されるように画像処理装置1の外部に設けられるのでなく、画像処理装置1に含まれるように画像処理装置1の内部に設けられてもよい。
【0021】
画像処理装置1は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、周辺回路、端子、各種メモリ等を有する。画像処理装置1は、撮影ユニット2により監視空間が撮影された入力画像を処理し、入力画像内で、床面等の基準面以外の物体が写っている非基準面領域を検出する。また、画像処理装置1は、検出した非基準面領域の情報を利用して、撮影ユニット2により監視空間が撮影された撮影画像から人物等の検出対象物を検出し、撮影画像から検出対象物を抽出した画像を出力する。画像処理装置1は、出力部30、記憶部40及び制御部50等を有する。なお、本実施形態では、人物を検出対象物として説明するが、本発明はこれに限定されない。例えば、小動物等を検出対象物としてもよい。
【0022】
出力部30は、外部装置(不図示)と接続するインタフェース及びその制御回路である。出力部30は、制御部50から、撮影画像に検出対象物が含まれるか否かの判定結果を含む結果信号を受け取ると、外部装置が受信可能な形式の信号に変換して出力する。なお、判定結果が撮影画像に検出対象物が含まれていることを示す場合、結果信号には、監視空間を監視する監視員に警報を通知するための情報、撮影画像から抽出された検出対象物を含む画像等がさらに含まれてもよい。また、出力部30は、制御部50から、入力画像から検出された非基準面領域の画像、又は入力画像における非基準面領域の座標情報及び大きさを示す情報を受け取ると、外部装置が受信可能な形式の信号に変換して出力する。
なお、出力部30は、一般公衆回線、携帯電話回線などの通信回線を介して各情報を監視センタ装置などの外部装置へ出力してもよい。
【0023】
記憶部40は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置もしくは光記録媒体及びそのアクセス装置等を有する。記憶部40は、画像処理装置1を制御するためのコンピュータプログラム及び各種データを記憶し、制御部50との間でこれらの情報を入出力する。コンピュータプログラムは、CD−ROM(compact disk read only memory)、DVD−ROM(digital versatile disk read only memory)等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部40にインストールされてもよい。
記憶部40には、モード情報41、設置情報42、距離情報43、第2準備画像44、第2準備画像パラメータ45、露光情報46及び背景画像47等が記憶される。
【0024】
モード情報41は、現在設定されている画像処理装置1の動作モードを示す。
設置情報42は、監視空間における撮像部10の設置状態を示し、例えば撮影部10の設置高さ、俯角、画角等である。
距離情報43は、監視空間における基準面の位置と撮影部10との間の第1距離を示す。本実施形態では、距離情報43として、撮影部10により監視空間が事前に撮影された第1準備画像に含まれる画素毎の、各画素に対応する基準面の位置と撮影部10との間の第1距離が記憶される。各第1距離は、第1準備画像に基づいて、第1準備画像に写っている監視空間内に基準面が存在すると仮定して算出される。本実施形態では、基準面として床面が用いられ、第1準備画像全体に床面が写っていると仮定して、各画素についての第1距離が算出される。第1距離は、設置情報42から事前に算出される。なお、各第1距離は、公知の測距技術などを用いて算出されてもよいし、管理者により設定されてもよい。
【0025】
第2準備画像44は、所定の物体を事前に撮影した準備画像の一例であり、画像内の全ての画素について、各画素に写っている当該物体の反射率、及び、各画素に対応する当該物体の位置と撮影部10の位置の間の第2距離が既知である画像である。本実施形態では、第2準備画像44として、撮影部10及び照明部20を用いて、予め反射率が既知である壁等の一又は複数の物体が画像全体に写るように事前に撮影された画像が記憶される。なお、第2準備画像44は、画像情報に限らず、各画素の輝度値を示すデータ群として記憶されてもよい。
第2準備画像パラメータ45は、第2準備画像44内の全ての画素について、各画素に写っている所定の物体の反射率、及び、各画素に対応する当該物体の位置と撮影部10との間の第2距離を示す。なお、第2準備画像44全体に一つの所定の物体が写っている場合、各画素に写っている当該物体の反射率として、全て同一の反射率が記憶される。また、第2準備画像44に写っている所定の物体が平面である場合、撮像部10の光軸に対する平面の角度と、撮像部10から平面内の1点までの距離とを記憶しておき、記憶しておいた各情報から、各画素に対応する第2距離を算出してもよい。また、各反射率又は各第2距離は、公知の測距技術などを用いて算出されてもよいし、管理者により設定されてもよい。
露光情報46は、シャッター速度又はゲイン(感度)値等を示す。露光情報46として、第2準備画像が撮影されたときの第2準備画像露光情報と、入力画像が撮影されたときの入力画像露光情報とが記憶される。
背景画像47は、検出対象物が存在しない状態の監視空間を撮影した画像であり、公知の更新方法に基づいて、適宜最適になるように更新される。
【0026】
制御部50は、CPU、MPU、周辺回路等を有する。制御部50は、記憶部40を参照しながら入力画像から非基準面領域を検出するとともに、検出した非基準面領域の情報を利用して検出対象物を検出し、結果信号を出力部30に出力する。制御部50は、モード設定手段51、撮影制御手段52、準備画像生成手段53、距離取得手段54、準備画像取得手段55、仮定画像生成手段56、入力画像取得手段57、露光補正手段58、検出手段59及び対象物検出手段60等を有する。
制御部50の各手段は、マイクロプロセッサ上で動作するソフトウェアにより実現される機能モジュールである。なお、制御部50の各手段は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、制御部50の各手段について詳細に説明する。
【0027】
モード設定手段51は、画像処理装置1の動作モードを設定する。画像処理装置1の動作モードには、監視空間を撮影した入力画像から当該監視空間における非基準面領域を検出する非基準面検出モードと、監視空間を撮影した撮影画像から監視空間に存在する人物等の検出対象物を検出する対象物検出モードが含まれる。モード設定手段51は、入力部(不図示)を介して、対処員が操作する外部装置から制御信号を受信し、受信した制御信号に従って画像処理装置1の動作モードを切り替える。モード設定手段51は、画像処理装置1の動作モードを示すモード情報を記憶部40に記憶する。
なお、モード設定手段51は、動作モードが非基準面検出モードである場合、非基準面検出処理が終了したときに動作モードを自動的に対象物検出モードに切り替えてもよい。また、画像処理装置1は、スケジュール情報を予め記憶部40に記憶しておき、モード設定手段51は、記憶されたスケジュール情報に従って、動作モードを切り替えてもよい。また、モード設定手段51は、動作モードが対象物検出モードである場合、検出対象物の検出結果に基づいて、動作モードを切り替えてもよい。例えば、モード設定手段51は、非基準面検出モードを設定するための制御信号を受信した場合、検出対象物の検出結果を参照し、監視空間内に検出対象物が存在しない場合に限り動作モードを自動的に非基準面検出モードに切り替えてもよい。
【0028】
撮影制御手段52は、撮影部10及び照明部20を制御する。撮影制御手段52は、撮影部10により撮影される画像において輝度が飽和しないように、撮影部10にシャッター速度、ゲイン値等を設定して露光制御を行うとともに、撮影部10による撮影の実行を制御する。また、撮影制御手段52は、照明部20に点灯時間、強度等を設定するとともに、照明部20による点灯及び消灯の実行を制御する。撮影制御手段52は、記憶部40に記憶されたモード情報41を参照し、現在設定されている動作モードに応じて撮影部10及び照明部20を制御する。
【0029】
撮影制御手段52は、対処員が操作する外部装置から入力部(不図示)を介して準備画像生成処理の実行を指示する制御信号を受信したときに、照明部20を点灯させた状態で撮影部10に点灯準備画像を撮影させるとともに、照明部20を消灯させた状態で撮影部10に消灯準備画像を撮影させる。撮影制御手段52は、白とび及び黒つぶれが発生しないように撮影した点灯準備画像の撮影時の露光条件に、消灯準備画像の撮影時の露光条件を一致させ、点灯準備画像を撮影させた際に設定したシャッター速度、ゲイン値等を準備画像露光情報として記憶部40に記憶する。なお、撮影制御手段52は、点灯準備画像の撮影時とは異なる露光条件で消灯準備画像を撮影してもよい。その場合、後述する準備画像生成手段53が、消灯準備画像に対して、後述する露光補正手段58による露光補正と同様の露光補正を実行して、各準備画像における露光条件を一致させる。そして、点灯準備画像におけるシャッター速度、ゲイン値等を準備画像露光情報として記憶部40に記憶する。
【0030】
また、撮影制御手段52は、動作モードが非基準面検出モードである場合、照明部20を点灯させた状態で撮影部10に点灯入力画像を撮影させるとともに、照明部20を消灯させた状態で撮影部10に消灯入力画像を撮影させる。撮影制御手段52は、白とび及び黒つぶれが発生しないように撮影した点灯入力画像の撮影時の露光条件に、消灯入力画像の撮影時の露光条件を一致させ、点灯入力画像を撮影させた際に設定したシャッター速度、ゲイン値等を入力画像露光情報として記憶部40に記憶する。なお、撮影制御手段52は、点灯入力画像の撮影時とは異なる露光条件で消灯入力画像を撮影してもよい。その場合、後述する入力画像取得手段57が、消灯入力画像に対して、後述する露光補正手段58による露光補正と同様の露光補正を実行して、各入力画像における露光条件を一致させる。そして、点灯入力画像におけるシャッター速度、ゲイン値等を入力画像露光情報として記憶部40に記憶する。
一方、撮影制御手段52は、動作モードが対象物検出モードである場合、公知の方法によって監視空間の明るさを検出し、監視空間の明るさに応じて、照明部20の点灯と消灯を切り替えながら撮影部10に撮影を実行させる。例えば、撮影制御手段52は、昼間と夜間で照明部20の消灯と点灯を切り替える。撮影制御手段52は、所定の時間間隔(例えば1/5秒間隔)で、撮影部10に順次撮影を実行させる。
【0031】
準備画像生成手段53は、対処員が操作する外部装置から入力部(不図示)を介して準備画像生成処理の実行を指示する制御信号を受信したときに、撮影部10から点灯準備画像及び消灯準備画像を取得する。前述したとおり、点灯準備画像は、照明部20が点灯した状態で所定物体が撮影された画像であり、消灯準備画像は、照明部20が消灯した状態で所定物体が撮影された画像である。
【0032】
図2(a)は、点灯準備画像の一例を示し、
図2(b)は、消灯準備画像の一例を示す。
図2(a)に示す点灯準備画像200には、全体に壁201が写っており、照明部20以外の照明機器により照らされた光202が写っている。なお、点灯準備画像200において、光202が写っていない部分では、照明部20による配光特性により輝度が異なっている。一方、
図2(b)に示す消灯入力画像210では、照明部20による照明が消灯されているため、壁201は写っておらず、照明部20以外の照明機器により照らされた光212のみが写っている。
【0033】
次に、準備画像生成手段53は、点灯準備画像及び消灯準備画像に基づいて、各画素が、点灯準備画像内の対応する画素の輝度値から、消灯準備画像内の対応する画素の輝度値を減算した値を有する第2準備画像を生成し、記憶部40に記憶する。
【0034】
図2(c)は、第2準備画像の一例を示す。
図2(c)に示す第2準備画像220には、壁201が写り、照明部20以外の照明機器により照らされた光202は写っていない。このように、第2準備画像220は、照明部20による照明光以外の外乱光の影響が除去された画像となる。
【0035】
なお、監視空間が外乱光によって照らされない場合、準備画像生成手段53は、消灯準備画像の取得を省略し、点灯準備画像を第2準備画像として使用してもよい。
【0036】
距離取得手段54は、対処員が操作する外部装置から入力部(不図示)を介して仮定画像生成処理の実行を指示する制御信号を受信したときに、記憶部40から距離情報43を読出す。これにより、距離取得手段54は、撮影部10により監視空間が撮影された第1準備画像に基準面が写っていると仮定した場合の、第1準備画像に含まれる画素毎の、各画素に対応する基準面の位置と撮影部10との間の第1距離を取得する。
【0037】
準備画像取得手段55は、記憶部40から第2準備画像を読出して取得する。また、準備画像取得手段55は、記憶部40から第2準備画像パラメータを読出し、第2準備画像に含まれる画素毎の、各画素に写っている所定の物体の反射率、及び、各画素に対応する当該物体の位置と撮影部10との間の第2距離を取得する。
【0038】
仮定画像生成手段56は、予め、第2準備画像に基づいて、所定の反射率の基準面が撮影された場合を仮定した仮定画像を生成し、記憶部40に記憶する。所定の反射率は、例えば100%である。以下では、所定の反射率が100%である例について説明するが、所定の反射率は100%に限定されず、100%に近い、高反射率な値(例えば90%等)であればよい。仮定画像生成手段56は、第2準備画像に含まれる各画素の輝度値を、当該画素に対応する所定の物体の反射率と所定の反射率(基準面の反射率)との比率、及び、第2距離と、第1準備画像において第2準備画像の当該画素に対応する位置の画素における第1距離との比率に基づいて補正して、仮定画像を生成する。
【0039】
監視空間内の特定の位置における反射光強度Sは、その位置の方向に向けて照射される照明の強度をL、その位置における反射率をR、その位置と撮影部10の位置の間の距離をDとすると、以下の式(1)のように表される。
【数1】
撮影部10により撮影される画像は、反射光強度Sを画像化したものであり、画像内の各画素の輝度値は、反射光強度Sと線形な関係を有する。したがって、撮影部10により撮影されたものと仮定された仮定画像内の各画素の輝度値I
1、及び、撮影部10により撮影された第2準備画像内の各画素の輝度値I
2は、以下の式(2)、(3)のように表される。
【数2】
【数3】
ここで、L
1、L
2は、各画素の視軸方向に向けて照射される照明の強度であり、R
1、R
2は、各画素に対応する監視空間内の位置における反射率であり、D
1、D
2は、各画素に対応する監視空間内の位置と撮影部10の位置の間の距離である。
上記したように、第2準備画像は照明部20による照明光以外の外乱光の影響が除去された画像であるため、照明の強度L
2は照明部20による照明にのみ依存する。したがって、仮定画像を撮影したときの照明部20による照明の強度L
1が、第2準備画像を撮影したときの照明部20による照明の強度と同一であると仮定すると、各画素におけるL
1、L
2の値は同一値となる。また、仮定画像に写っている基準面の反射率が100%であると仮定した場合、R
1は1となる。
【0040】
したがって、仮定画像内の各画素の輝度値I
1は、第2準備画像内の各画素の輝度値I
2、各画素における反射率R
2、及び、各画素における第2距離D
2と、第1準備画像において第2準備画像の当該画素に対応する位置の画素における第1距離D
1との比率を用いて、以下の式(4)により算出される。
【数4】
仮定画像生成手段56は、式(4)により仮定画像内の全ての画素を算出することにより、仮定画像として、所定の反射率(100%)の基準面のみを撮影したものと仮定した画像を生成する。
例えば、第2準備画像に写っている壁の反射率が50%である場合、R
2は0.5となる。また、第2準備画像内の特定の画素に対応する壁の位置と撮影部10との間の第2距離が1mであり、第1準備画像においてその特定の画素に対応する位置の画素における床面の位置と撮影部10との間の第1距離が4mである場合、(D
2/D
1)
2は1/16になる。したがって、仮定画像においてその特定の画素に対応する位置の画素の輝度値は、第2準備画像内のその特定の画素の輝度値の1/8となる。
【0041】
図3(a)は、仮定画像の一例を示す。
図3(a)に示す仮定画像300は、反射率が100%である床面のみを撮影したと仮定した画像である。仮定画像300の下側の領域301では、対応する床面の位置が撮像部10に近く、照明部20の光により強く照らされるため、画素の輝度値は高くなっている。一方、仮定画像300の上側の領域302では、対応する床面の位置が撮像部10から離れて、照明部20の光により弱く照らされるため、画素の輝度値は低くなっている。
【0042】
入力画像取得手段57は、動作モードが非基準面検出モードである場合に、撮影部10から点灯入力画像及び消灯入力画像を取得する。点灯入力画像は、照明部20が点灯した状態で監視空間が撮影された画像であり、消灯入力画像は、照明部20が消灯した状態で監視空間が撮影された画像である。
【0043】
図3(b)は、点灯入力画像の一例を示し、
図3(c)は、消灯入力画像の一例を示す。
図3(b)に示す点灯入力画像310には、監視空間内の床311、壁312、植栽313等が写っており、照明部20以外の照明機器により照らされた光314が写っている。一方、
図3(c)に示す消灯入力画像320では、照明部20による照明が消灯されているため、床311、壁312、植栽313等は写っておらず、照明部20以外の照明機器により照らされた光324のみが写っている。
【0044】
次に、入力画像取得手段57は、点灯入力画像及び消灯入力画像に基づいて、各画素が、点灯入力画像内の対応する画素の輝度値から、消灯入力画像内の対応する画素の輝度値を減算した値を有する入力画像を生成して取得する。
【0045】
図3(d)は、入力画像の一例を示す。
図3(d)に示す入力画像330には、床311、壁312、植栽313等が写り、照明部20以外の照明機器により照らされた光314は写っていない。このように、入力画像330は、照明部20による照明光以外の外乱光の影響が除去された画像となる。
【0046】
なお、準備画像生成手段53と同様に、監視空間が外乱光によって照らされない場合、入力画像生成手段57は、消灯入力画像の取得を省略し、点灯入力画像を入力画像として取得してもよい。
【0047】
露光補正手段58は、記憶部40から仮定画像を読み出して取得するとともに、露光情報を読み出して取得する。露光補正手段58は、第2準備画像露光情報及び入力画像露光情報に基づいて、仮定画像における露光条件が入力画像における露光条件と一致するように仮定画像に対して露光補正を実行する。
露光補正手段58は、仮定画像に含まれる各画素の輝度値に、第2準備画像の撮影時のシャッター速度に対する入力画像の撮影時のシャッター速度の比率を乗算することにより、仮定画像を補正する。例えば、露光補正手段58は、第2準備画像の撮影時のシャッター速度が8msecであり、入力画像の撮影時のシャッター速度が16msecであった場合、仮定画像に含まれる各画素の輝度値が2倍になるように仮定画像を補正する。
また、露光補正手段58は、仮定画像を、第2準備画像の撮影時のゲイン値及び入力画像の撮影時のゲイン値に基づいて補正する。撮影時のゲイン値Gは、増幅前の信号値S
IN及び増幅後の信号値S
OUTを用いて以下の式(5)により算出される。
【数5】
露光補正手段58は、仮定画像に含まれる各画素の輝度値に、以下の式(6)により算出される比率Pを乗算することにより、仮定画像を補正する。
【数6】
ここで、G
1は入力画像の撮影時のゲイン値であり、G
2は第2準備画像の撮影時のゲイン値である。例えば、露光補正手段58は、第2準備画像の撮影時のゲイン値が6dBであり、入力画像の撮影時のゲイン値が12dBであった場合、仮定画像に含まれる各画素の輝度値が2倍になるように仮定画像を補正する。
【0048】
なお、露光補正手段58は、仮定画像に対して露光補正を行う代わりに、入力画像に対して露光補正を行ってもよい。即ち、露光補正手段58は、仮定画像及び入力画像において、白とび及び黒つぶれの発生がより少なくなるように、露光補正を行う画像を決定すればよい。
また、第2準備画像における露光条件と入力画像における露光条件が初めから一致している場合、露光補正手段58は、露光補正を省略してもよい。
【0049】
図3(e)は、露光補正後の仮定画像の一例を示す。
図3(e)に示す仮定画像340では、
図3(a)に示した仮定画像300に対して輝度値が変化している。
【0050】
検出手段59は、入力画像に含まれる各画素の輝度値と、仮定画像に含まれる、入力画像の当該画素の位置に対応する画素の輝度値とを比較して、入力画像において基準面以外の物体が写っている非基準面領域を検出する。
自然界に反射率が100%より大きい物体は存在しない。そのため、入力画像内の特定の画素の輝度値が、反射率が100%である基準面が写っていると仮定した仮定画像内の対応する画素の輝度値よりも高い(明るい)場合、その特定の画素には撮像部10に対して基準面より近い位置にある物体が写っているとみなすことができる。特に、本実施形態のように基準面を床面としている場合、入力画像内の特定の画素の輝度値が、仮定画像内の対応する画素の輝度値よりも高い(明るい)場合、その特定の画素には、床面よりも高い位置にある物体が写っているとみなすことができる。
そこで、検出手段59は、入力画像内の特定の画素の輝度値が、入力画像内のその特定の画素の位置に対応する仮定画像内の画素の輝度値より高い場合、その特定の画素には基準面以外の物体が写っていると判定する。一方、検出手段59は、入力画像内の特定の画素の輝度値が、入力画像内のその特定の画素の位置に対応する仮定画像内の画素の輝度値以下である場合、その特定の画素には基準面が写っていると判定する。検出手段59は、基準面以外の物体が写っていると判定した画素の集合を非基準面領域として検出し、基準面が写っていると判定した画素の集合を基準面領域として検出する。
【0051】
図3(f)は、非基準面領域の検出について説明するための模式図である。
図3(f)に示す画像350において、
図3(d)に示した床311に対応する領域351が基準面領域として検出され、壁312に対応する網掛け領域352と、植栽313に対応する網掛け領域353とが非基準面領域として検出されている。
【0052】
検出手段59は、検出した各非基準面領域の位置情報を記憶部40に記憶する。なお、検出手段59は、検出した各非基準面領域の位置情報を記憶部40に記憶せずに出力部30に出力してもよい。
また、検出手段59は、定期的に非基準面領域を検出し、入力画像内における非基準面領域の位置、サイズ等が変化した場合、監視空間のレイアウトが変更になった可能性がある旨を出力部30を介して通知してもよい。
また、検出手段59は、予め監視空間内に存在する壁、柱、植栽等の位置を記憶部40に記憶しておき、検出した非基準面領域と記憶部40に記憶された位置が一致しない場合、撮影部10が移動された(画策行為)可能性がある旨を出力部30を介して通知してもよい。
【0053】
対象物検出手段60は、動作モードが対象物検出モードである場合に、撮影部10から監視空間を撮影した撮影画像を取得し、取得した撮影画像から、その監視空間に存在する検出対象物を検出する。そのために、対象物検出手段60は、変化領域検出手段601及び対象物判定手段602等を有する。
【0054】
変化領域検出手段601は、撮影部10により監視空間が異なるタイミングで撮影された複数の撮影画像から輝度値が変化する変化領域を検出する。
変化領域検出手段601は、撮影画像内の各画素の輝度値と、記憶部40に記憶されている背景画像の対応する各画素の輝度値との差の絶対値を算出し、算出した差の絶対値が所定閾値以上となる画素の領域を差分領域として抽出する。変化領域検出手段601は、同一物体による差分領域をラベリングによりグループ化し、変化領域として検出する。即ち、変化領域検出手段601は、一枚のフレームから抽出した差分領域の内、相互に隣接(8連結)する画素をグループ化し、相互に近接する(所定範囲内に位置する)グループを、大きさ又は位置関係に基づいて結合し、結合した領域を変化領域として結合する。
なお、変化領域検出手段601は、フレーム間差分、背景画像と撮影画像の正規化相関、学習識別器等の他の公知の技術を用いて、変化領域を検出してもよい。
【0055】
対象物判定手段602は、変化領域が非基準面領域と重複する度合いに基づいて、変化領域に検出対象物が写っているか否かを判定し、変化領域に検出対象物が写っている場合、判定結果を含む結果信号を出力部30を介して外部装置へ出力する。
【0056】
対象物判定手段602は、まず、変化領域の大きさ、縦横比等の特徴量に基づいて、その変化領域に写っている物体が検出対象物らしいか否かを判定する。例えば検出対象物が人物である場合、対象物判定手段602は、変化領域の大きさが人物の大きさに相当する所定範囲内であり、且つ、変化領域の縦横比が人物の縦横比に相当する所定範囲内であるか否かにより、その変化領域に写っている物体が人物らしいか否かを判定する。なお、各変化領域の大きさは、撮影画像内の位置、及び、記憶部40に記憶されている撮影部10の設置情報42等を用いて実際の大きさに変換される。
次に、対象物判定手段602は、検出手段59が検出した非基準面領域の位置情報を記憶部40から読出し、写っている物体が人物らしいと判定された各変化領域が非基準面領域と重複する度合いである重複度を算出する。対象物判定手段602は、重複度が所定値(例えば98%)以上である場合、その変化領域に人物が写っていないと判定する。一方、対象物判定手段602は、重複度が所定値未満である場合、その変化領域に人物が写っていると判定する。
【0057】
図4(a)は、非基準面領域と人物との関係について説明するための模式図であり、
図4(b)は、非基準面領域と小動物、光又は植栽との関係について説明するための模式図である。
図4(a)の画像400に示すように、人物は、通常、床面(基準面)上に立っており、壁、柱、植栽等の非床面(非基準面)上には立っていない。したがって、人物が写っている変化領域404の少なくとも一部(下部)は、基準面領域401に含まれ、人物が写っている変化領域404の全部が、非基準面領域403、404に内包されることはない。一方、
図4(b)の画像410に示すように、変化領域411、412、413の全部が、非基準面領域403、404に含まれる場合、その変化領域411、412、413には、小動物、光、植栽等が写っている可能性が高い。したがって、対象物判定手段602は、変化領域と非基準面領域の重複度を用いることにより、変化領域に人物が写っているか否かを精度良く判定することが可能となる。
【0058】
なお、対象物判定手段602は、先に、変化領域検出手段601が抽出した各変化領域と非基準面領域の重複度を算出し、重複度が所定値未満である変化領域についてのみ、大きさ、縦横比等の特徴量に基づいて、その変化領域に写っている物体が検出対象物らしいか否かを判定してもよい。
また、対象物判定手段602は、変化領域が非基準面領域と重複する位置に基づいて、変化領域に検出対象物が写っているか否かを判定してもよい。例えば、対象物判定手段602は、変化領域の下端が、非基準面領域と重複している場合、その変化領域に人物が写っていないと判定し、重複していない場合、その変化領域に人物が写っていると判定する。
これらの場合も、対象物判定手段602は、変化領域に人物が写っているか否かを精度良く判定することが可能となる。
【0059】
また、小動物を検出対象物とする場合、対象物判定手段602は、変化領域と、非基準面領域の重複度が所定値(例えば90%)以上であるときに、その変化領域に小動物が写っていると判定してもよい。また、対象物判定手段602は、非基準面領域での変化領域の時間的な変化(移動方向)に基づいて、その変化領域に小動物が写っているか否かを判定してもよい。例えば、対象物判定手段602は、変化領域が、非基準面領域内を上方向又は下方向に向かって移動していく場合、その変化領域に小動物が写っていると判定する。
【0060】
図5は、画像処理装置1による準備画像生成処理の動作を示すフローチャートである。
以下、
図5に示したフローチャートを参照しつつ、本実施形態による準備画像生成処理の動作を説明する。なお、以下に説明する動作のフローは、記憶部40に記憶され、制御部50に読み込まれたプログラムに従って、制御部50により実行される。この動作のフローは、対処員が操作する外部装置から入力部(不図示)を介して準備画像生成処理の実行を指示する制御信号を受信したときに実行される。
最初に、準備画像生成手段53は、撮影部10から点灯準備画像及び消灯準備画像を取得する(ステップS101)。次に、準備画像生成手段53は、点灯準備画像及び消灯準備画像に基づいて第2準備画像を生成し、記憶部40に記憶し(ステップS102)、一連のステップを終了する。
【0061】
図6は、画像処理装置1による仮定画像生成処理の動作を示すフローチャートである。
以下、
図6に示したフローチャートを参照しつつ、本実施形態による仮定画像生成処理の動作を説明する。なお、以下に説明する動作のフローは、記憶部40に記憶され、制御部50に読み込まれたプログラムに従って、制御部50により実行される。この動作のフローは、対処員が操作する外部装置から入力部(不図示)を介して仮定画像生成処理の実行を指示する制御信号を受信したときに実行される。なお、この動作のフローは、準備画像生成処理に続けて実行されてもよい。
最初に、距離取得手段54は、記憶部40を参照して、第1準備画像に含まれる各画素に対応する基準面の位置と撮影部10との間の第1距離を取得する(ステップS201)。次に、準備画像取得手段55は、第2準備画像を取得する(ステップS202)。次に、準備画像取得手段55は、第2準備画像に含まれる各画素に写っている物体の反射率、及び、各画素に対応する物体の位置と撮影部10との間の第2距離を取得する(ステップS203)。次に、仮定画像生成手段56は、第2準備画像に基づいて仮定画像を生成し、記憶部40に記憶し(ステップS204)、一連のステップを終了する。
なお、ステップS201、S202、S203の各処理は、どのような順序で実行されてもよい。
【0062】
図7は、画像処理装置1による非基準面領域検出処理の動作を示すフローチャートである。
以下、
図7に示したフローチャートを参照しつつ、本実施形態による非基準面領域検出処理の動作を説明する。なお、以下に説明する動作のフローは、記憶部40に記憶され、制御部50に読み込まれたプログラムに従って、制御部50により実行される。この動作のフローは、動作モードが非基準面検出モードである場合に定期的に実行される。
最初に、入力画像取得手段57は、撮影部10から点灯入力画像及び消灯入力画像を取得する(ステップS301)。次に、入力画像取得手段57は、点灯入力画像及び消灯入力画像に基づいて入力画像を生成する(ステップS302)。次に、露光補正手段58は、仮定画像を取得する(ステップS303)。次に、露光補正手段58は、露光情報を取得する(ステップS304)。次に、露光補正手段58は、露光情報に基づいて仮定画像を補正する(ステップS305)。次に、検出手段59は、入力画像と仮定画像とを比較して、入力画像において非基準面領域を検出し、その位置情報を記憶部40に記憶し(ステップS306)、一連のステップを終了する。
【0063】
図8は、検出対象物が人物である場合の画像処理装置1による対象物検出処理の動作を示すフローチャートである。
以下、
図8に示したフローチャートを参照しつつ、本実施形態による対象物検出処理の動作を説明する。なお、以下に説明する動作のフローは、記憶部40に記憶され、制御部50に読み込まれたプログラムに従って、制御部50により実行される。この動作のフローは、動作モードが対象物検出モードである場合に定期的に実行される。
最初に、対象物検出手段60は、撮影部10から撮影画像を取得する(ステップS401)。次に、変化領域検出手段601は、撮影画像から変化領域を検出する(ステップS402)。撮影画像から変化領域が検出されなかった場合、対象物検出手段60は、処理をステップS401へ戻し、再度、撮影部10から撮影画像を取得するまで待機する。一方、撮影画像から変化領域が検出された場合、変化領域検出手段601は、検出した各変化領域についてステップS404〜S410の処理を実行する。
【0064】
最初に、対象物判定手段602は、検出した変化領域について人物の特徴量を算出する(ステップS404)。次に、対象物判定手段602は、算出した特徴量に基づいて、その変化領域に写っている物体が人物らしいか否かを判定する(ステップS405)。変化領域に写っている物体が人物らしくない場合、対象物判定手段602は、変化領域に人物が写っていないと判定する(ステップS406)。一方、変化領域に写っている物体が人物らしい場合、対象物判定手段602は、変化領域と、非基準面領域の重複度を算出する(ステップS407)。次に、対象物判定手段602は、重複度が所定値以上であるか否かを判定する(ステップS408)。重複度が所定値以上である場合、対象物判定手段602は、変化領域に人物が写っていないと判定する(ステップS406)。一方、重複度が所定値未満である場合、対象物判定手段602は、変化領域に人物が写っていると判定し(ステップS409)、判定結果を含む結果信号を出力部30を介して外部装置へ出力する(ステップS410)。対象物判定手段602は、検出した各変化領域についてステップS404〜S410の処理を実行し、全ての変化領域についての処理が完了した場合、処理をステップS401へ戻し、再度、撮影部10から撮影画像を取得するまで待機する。
【0065】
以上説明してきたように、本実施形態による画像処理装置1は、所定の高反射率の基準面が撮影された場合を仮定した仮定画像を生成し、入力画像と仮定画像とを比較して非基準面領域を検出する。これにより、画像処理装置1は、第2準備画像を撮影する際の撮像部10の照明条件と、入力画像を撮影する際の撮像部10の照明条件とを一致させれば、撮像部10と撮像部10により撮影される監視空間に存在する壁、柱、植栽等の物体との位置関係を固定させることなく、非基準面領域を検出することができる。したがって、画像処理装置1は、撮影部10により撮影された画像から基準面以外の物体が写っている領域を容易に且つ精度良く検出することができる。
【0066】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、第2準備画像(点灯準備画像及び消灯準備画像)を撮影する撮影装置は、入力画像を撮影する撮影部10と同一の撮影装置であることに限定されず、撮影部10とは異なる装置でもよい。その場合、第2準備画像パラメータにおける第2距離として、第2準備画像内の各画素に対応する物体の位置と、第2準備画像を撮影した撮影装置との間の第2距離が記憶部40に記憶される。また、第2準備画像露光情報として、第2準備画像を撮影した撮影装置に設定された、シャッター速度又はゲイン値等の露光情報が記憶部40に記憶される。
【0067】
また、仮定画像を生成する装置は、画像処理装置1に限定されず、画像処理装置1以外の他の装置が、仮定画像を生成するために必要な各情報を記憶して、仮定画像を生成してもよい。その場合、画像処理装置1は、予め、不図示の入力部を介して仮定画像を取得して記憶部40に記憶しておく。
【0068】
また、監視空間内に設定する基準面は、床面に限定されず、例えば壁面、柱面等でもよい。その場合、画像処理装置1は、壁面、柱面等の前に物体が存在する領域を非基準面として検出することができる。
【0069】
また、第1距離は、第1準備画像に基づいて、第1準備画像に写っている監視空間内に基準面が存在すると仮定して算出されることに限定されない。撮影部10の基準面からの設置高さ、俯角及び画角が定まれば、監視空間における基準面の位置と撮影部10との間の第1距離は、一義的に算出される。したがって、例えば、第2準備画像内の各画素に、撮影部10により事前に撮影された監視空間内の基準面が写っていると仮定して、第2準備画像に含まれる各画素毎に、各画素に対応する基準面の位置と撮影部10との間の第1距離が算出され、距離情報43として記憶されてもよい。その場合、仮定画像生成部56は、準備画像に含まれる各画素の輝度値を、第2準備画像内の各画素における第2距離と各画素に対応する第1距離との比率に基づいて補正して仮定画像を生成する。
なお、画像処理装置1は、撮影部10の基準面からの設置高さ等が変更された場合、第1距離を再算出し、前述の方法により、仮定画像を再生成して更新し、非基準面領域を再検出して更新してもよい。その場合、画像処理装置1は、第1距離を定期的に測定し、第1距離に変化があった場合に、第1距離、仮定画像及び非基準面領域を更新してもよい。
【0070】
また、仮定画像は、準備画像を用いて算出されることに限定されない。例えば、仮定画像として、入力画像が撮影される場合と同じ照明条件で、撮像部10から第1距離の位置に高反射率(例えば100%)の床面が写っていると仮定した画像が、公知のCG(コンピュータグラフィック)技術を用いてシミュレーションにより生成されて記憶部40に記憶されてもよい。その場合、仮定画像は、撮像部10のレンズ特性又は各種の撮影パラメータを用いてシミュレーションにより生成されてもよい。
また、シミュレーションにより仮定画像を生成した際に用いた露光条件を露光情報として、入力画像の露光条件と一致させる露光補正を行えばよい。また、これに限らず、入力画像の露光情報を用いてシミュレーションにより仮定画像を生成するようにしてもよい。
【0071】
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。